CN110459221A - 多设备协同语音交互的方法和装置 - Google Patents
多设备协同语音交互的方法和装置 Download PDFInfo
- Publication number
- CN110459221A CN110459221A CN201910796064.XA CN201910796064A CN110459221A CN 110459221 A CN110459221 A CN 110459221A CN 201910796064 A CN201910796064 A CN 201910796064A CN 110459221 A CN110459221 A CN 110459221A
- Authority
- CN
- China
- Prior art keywords
- equipment
- response
- speech ciphering
- ciphering equipments
- speech
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 59
- 238000000034 method Methods 0.000 title claims abstract description 58
- 230000004044 response Effects 0.000 claims abstract description 159
- 238000004891 communication Methods 0.000 claims abstract description 36
- 238000001514 detection method Methods 0.000 claims abstract description 21
- 230000007246 mechanism Effects 0.000 claims abstract description 13
- 230000015654 memory Effects 0.000 claims description 15
- 238000003860 storage Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 9
- 230000005540 biological transmission Effects 0.000 claims description 5
- 230000006870 function Effects 0.000 description 9
- 230000003993 interaction Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000005266 casting Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 206010002320 anencephaly Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000009415 formwork Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/2803—Home automation networks
- H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
- H04L12/282—Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/2803—Home automation networks
- H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
- H04L12/2821—Avoiding conflicts related to the use of home appliances
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Automation & Control Theory (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Telephonic Communication Services (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明公开多设备协同语音交互的方法和装置，其中，方法包括：响应于当前语音设备被启动，检测在同一局域网下是否存在其他语音设备；响应于检测到其他语音设备，与其他语音设备建立通信连接；响应于经由建立的通信连接获知所有语音设备中至少一个设备接收到用户指令，基于预设的仲裁机制在所有语音设备之间推举出应答响应设备，其中，所有语音设备包括当前语音设备以及其他语音设备；响应于被推举为应答响应设备，对用户指令作出语音应答。本申请的提供的方案可以使得设备之间自动形成联动，不管是在哪个设备跟前，对哪个设备发出指令，都可以得到相应的响应，即使相应的设备很远，没有听到使用者发出的指令，也会响应。
Description
技术领域
本发明属于语音交互技术领域，尤其涉及多设备协同语音交互的方法和装置。
背景技术
相关技术中，语音交互主要是以单个产品的语音交互为主，而单一产品的语音交互非常局限，要避免多个设备叫相同的名字，才能实现每次语音交互都能精准地对应到某一设备。
现有的语音交互场景中，例如智能家居语音交互场景，一个用户的家中可能会存在多个同一厂商生产的产品，这些产品出厂时可能会具有相同的默认名字，这种情况下如果用户不对每一个设备区别命名，可能会存在发送唤醒指令时多个设备同时响应或者先后响应，而实际上用户其实只是想使用其中的某一个设备，从而对用户造成非常不好的使用体验。而且即使用户对每一个设备区别命名，对用户日常使用也会造成负担，从而严重影响使用体验。
发明人在实现本申请的过程中发现，现有的方案主要存在以下缺陷：
如果多个设备叫相同的名字的话，设备无法区分出使用者是否在使唤它，无法形成语音的仲裁，可能会出现同时响应或先后响应的现象。如果多个设备区别命名，又会对用户造成额外的负担，用户体验极差，设备间也缺乏交流和协作。
发明内容
本发明实施例提供一种多设备协同语音交互的方法和装置，用于至少解决上述技术问题之一。
第一方面，本发明实施例提供一种多设备协同语音交互的方法，包括：响应于当前语音设备被启动，检测在同一局域网下是否存在其他语音设备；响应于检测到其他语音设备，与所述其他语音设备建立通信连接；响应于经由建立的通信连接获知所有语音设备中至少一个设备接收到用户指令，基于预设的仲裁机制在所述所有语音设备之间推举出应答响应设备，其中，所述所有语音设备包括所述当前语音设备以及所述其他语音设备；响应于被推举为应答响应设备，对所述用户指令作出语音应答。
第二方面，本发明实施例提供一种多设备协同语音交互的装置，包括：检测模块，配置为响应于当前语音设备被启动，检测在同一局域网下是否存在其他语音设备；通信建立模块，配置为响应于检测到其他语音设备，与所述其他语音设备建立通信连接；仲裁推举模块，配置为响应于经由建立的通信连接获知所有语音设备中至少一个设备接收到用户指令，基于预设的仲裁机制在所述所有语音设备之间推举出应答响应设备，其中，所述所有语音设备包括所述当前语音设备以及所述其他语音设备；应答响应模块，配置为响应于被推举为应答响应设备，对所述用户指令作出语音应答。
第三方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例的多设备协同语音交互的方法的步骤。
第四方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行本发明任一实施例的多设备协同语音交互的方法的步骤。
本申请的方法和装置提供的方案通过让同一局域网下的各个设备之间建立通信连接并形成仲裁委员会(响应队列)，当收到用户指令时，也会推举出响应设备对用户指令进行响应，从而所有的语音设备都成为整个系统的耳朵，而最终只会有一个设备对用户进行响应，不会出现多个设备响应的混乱现象。可以使得设备之间自动形成联动，不管用户是在哪个设备跟前，对哪个设备发出指令，都可以得到相应的响应，即使相应的设备很远，没有听到使用者发出的指令，也会响应。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的一种多设备协同语音交互的方法的流程图；
图2为本发明一实施例提供的另一种多设备协同语音交互的方法的流程图；
图3为本发明一实施例提供的又一种多设备协同语音交互的方法的流程图；
图4为本发明一实施例提供的再一种多设备协同语音交互的方法的流程图；
图5为本发明一实施例提供的还一种多设备协同语音交互的方法的流程图；
图6为本发明一实施例提供的还一种多设备协同语音交互的方法的流程图；
图7为本发明一实施例提供的还一种多设备协同语音交互的方法的流程图；
图8为本发明一实施例提供的一种多设备协同语音交互的方法的一个具体示例的流程图；
图9为本发明一实施例提供的一种多设备协同语音交互的装置的框图；
图10是本发明一实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，其示出了本申请的多设备协同语音交互的方法一实施例的流程图，本实施例的多设备协同语音交互的方法可以适用于具备语音唤醒、识别、理解和反馈能力的终端、如智能语音电视、智能音箱、智能对话玩具以及其他现有的具备语音唤醒、识别、理解和反馈能力的智能语音终端等。多设备协同语音交互装置可以是位于每一个语音设备上的一个小插件、一段额外的程序，或者也可以是已经与当前语音设备融为一体。
如图1所示，在步骤101中，响应于当前语音设备被启动，检测在同一局域网下是否存在其他语音设备；
在步骤102中，响应于检测到其他语音设备，与其他语音设备建立通信连接；
在步骤103中，响应于经由建立的通信连接获知所有语音设备中至少一个设备接收到用户指令，基于预设的仲裁机制在所有语音设备之间推举出应答响应设备；
在步骤104中，响应于被推举为应答响应设备，对用户指令作出语音应答。
在本实施例中，对于步骤101，多设备协同语音交互装置检测到所在的语音设备启动之后，会先检测在同一局域网下是否存在其他的语音设备。之后，对于步骤102，如果检测到其他的语音设备，会和其他的语音设备建立通信连接，从而能够互相传递信息，例如当其中某一个语音设备接收到一个用户指令，它就会告知其他所有的语音设备它收到了一个用户指令，从而所有的语音设备都能知道。
之后，对于步骤103，多设备协同语音交互装置如果经由建立的通信连接获知所有语音设备中至少一个设备接收到用户指令，会根据预设的仲裁机制在所有语音设备之间推举出应答响应设备，其中，所有语音设备包括当前语音设备以及其他语音设备。最后，对于步骤104，如果被推举出来的应答响应装置正好是当前语音设备本身，则多设备协同语音交互装置会允许当前语音设备对用户指令作出语音应答，同时，未被推举为应答响应装置的其他语音设备则不会对该用户指令作出语音应答，即不会发出声音，或者其他语音设备上的多设备协同语音交互装置会阻止相应的语音设备对该用户指令作出语音应答。
本申请的方法和装置提供的方案通过让同一局域网下的各个设备之间建立通信连接，当收到用户指令时，也会推举出应答响应设备对用户指令进行响应，从而所有的语音设备都成为整个系统的耳朵，而最终只会有一个设备对用户进行响应，不会出现多个设备响应的混乱现象。可以使得设备之间自动形成联动，不管用户是在哪个设备跟前，对哪个设备发出指令，都可以得到相应的响应，即使相应的设备很远，没有听到使用者发出的指令，也会响应。
继续参考图2，其示出了本申请的多设备协同语音交互的方法另一实施例的流程图。该流程图主要是对流程图图1中步骤102之后的步骤进一步限定的流程图。
如图2所示，在步骤201中，获取并存储其他语音设备的信息；
在步骤202中，基于预设优先级与其他语音设备形成响应优先队列。
在本实施例中，对于步骤201，多设备协同语音交互的装置在使得当前语音设备与其他语音设备建立通信连接之后，会获取并存储其他语音设备的信息，其中，该信息至少包括与各语音设备对应的预设的优先级。之后，对于步骤202，基于该预设的优先级让当前语音设备与其他语音设备之间形成响应优先队列，之后对用户指令进行响应时该响应优先队列也会起到关键作用。
本实施例的方法通过在当前语音设备上存储其他语音设备的信息，并与其他语音队列形成响应优先队列，可以使得各个语音设备更有秩序，在后续仲裁响应的过程中更加有序快捷。
请参考图3，其示出了本申请的多设备协同语音交互的方法又一实施例的流程图。该流程图主要是对流程图图1中步骤103的子步骤进一步限定的流程图。
如图3所示，在步骤301中，检测当前语音设备与用户指令的声源位置的距离；
在步骤302中，经由建立的通信连接获取其他语音设备检测的距离；
在步骤303中，至少基于距离和预设优先级推举出应答响应设备。
在本实施例中，对于步骤301，多设备协同语音交互的装置在仲裁由哪个语音设备作为应答响应设备的时候，会先检测当前语音设备与用户指令的声源位置的距离。然后，对于步骤302，还需要经由之前建立的通信连接获取其他语音设备检测的距离。之后对于步骤303，多设备协同语音交互的装置至少基于各距离和预设优先级推举出应答响应设备。
例如，如果有一个语音设备距离用户的距离小于预设的距离，即距离用户特别近，而其他的语音设备距离用户都不近的情况下，可以直接推举该距离特别近的语音设备为应答响应设备。又例如，同时存在多个语音设备距离用户的距离差不多时，可以根据多个语音设备的响应优先队列推举出优先级最高的为应答响应设备。当然，还可以按照其他的方式进行推举，本申请在此没有限制。进一步地，还可以考虑其他的因素，例如各语音设备的处理能力也可以作为一个考虑因素，本申请在此没有限制。
需要说明的是，检测距离的方式可以有很多，例如可以根据现有的专门用于计算距离的算法，或者直接根据收到的用户指令声音的强弱直接对距离进行比对，本申请在此没有限制。
本实施例的方法通过至少声源与各语音设备之间的距离以及预设优先级来推举应答响应设备，可以尽量保证离用户比较近的设备对用户指令进行响应，让用户能具有更好的体验。
进一步参考图4，其示出了本申请的多设备协同语音交互的方法再一实施例的流程图。该流程图主要是对流程图图3之后的步骤(收到新的用户指令)进一步限定的流程图。
如图4所示，在步骤401中，响应于经由建立的通信连接获知所有语音设备中至少一个设备接收到新的用户指令，检测当前语音设备与新的用户指令的声源位置的新的距离；
在步骤402中，经由建立的通信连接获取其他语音设备检测的新的距离；
在步骤403中，至少基于新的距离和预设优先级重新推举出新的应答响应设备。
在本实施例中，对于步骤401，当多设备协同语音交互的装置经由建立的通信连接得知整个语音设备集群中有至少一个设备接收到新的用户指令时，可以重新检测当前设备与该新的用户指令的声源位置之间的新的距离。其中，任意一个语音设备在收到用户指令之后，可以自己先不处理，(或者由该语音设备上的多设备协同语音交互的装置阻止该语音设备对用户指令进行响应，本申请在此没有限制)，而是告知其他的语音设备，等待仲裁决定再根据仲裁决定的应答响应设备的命令进行相关处理。之后，对于步骤402，重新获得其他语音设备检测的新的距离。最后，对于步骤403，基于该所有的新的距离和预设优先级重新仲裁推举出新的应答响应设备。当然，如果声源与各语音设备的距离变化不大时，也可以继续沿用之前的语音设备作为应答响应设备，从而也能让用户有比较稳定的交互体验，本申请在此没有限制。
本实施例的方法通过在收到新的用户指令时，重新仲裁推举新的应答响应设备，可以尽量保证用户始终能有比较好的交互体验。
请参考图5，其示出了本申请的多设备协同语音交互的方法还一实施例的流程图。该流程图主要是对流程图图1中步骤104进一步限定的步骤的流程图，其中，用户指令包括意图指令。
如图5所示，在步骤501中，响应于被推举为应答响应设备，基于意图指令向所有语音设备发送意图命令；
在步骤502中，接收所有语音设备中至少一个设备针对意图命令的至少一个反馈信息；
在步骤503中，基于预设优先级将至少一个反馈信息中优先级最高的反馈信息播报给用户。
在本实施例中，对于步骤501，多设备协同语音交互的装置响应于当前语音设备被推举为应答响应设备，为了确保所有的语音设备都能收到用户的意图指令，可以再群发一次该意图指令向所有语音设备发送意图命令。然后对于步骤502，多设备协同语音交互的装置接收各设备针对该意图命令的反馈信息。最后，对于步骤503，多设备协同语音交互的装置基于预设优先级从至少一个反馈信息中选出优先级最高的语音设备的反馈信息播报给用户。即最终播报反馈信息的设备与实际对用户指令作出响应的设备可能不是同一个设备，从而用户即使距离实际响应的设备很远，也能通过距离比较近的设备听到实际响应设备的播报信息。
在一些可选的实施例中，还可以先根据预设优先级确定实际响应的语音设备，然后使得应答响应设备只单独向该实际响应的语音设备发送意图命令，从而可以简化步骤。但是这种情况可能还需要分析意图命令有哪些语音设备能做出响应，可能计算量会比较大，所以采用上述方案会少一些分析的过程，相对简单无脑一点。
请参考图6，其示出了本申请的多设备协同语音交互的方法还一实施例的流程图。该流程图主要是对流程图图1中步骤104进一步限定的步骤的流程图，其中，用户指令包括唤醒指令。
如图6所示，在步骤601中，响应于被推举为应答响应设备，基于唤醒指令向所有语音设备发送唤醒命令以唤醒所有语音设备；
在步骤602中，由应答响应设备对唤醒指令作出语音应答。
在本实施例中，对于步骤601，多设备协同语音交互的装置响应于当前设备被推举为应答响应设备，基于收到的用户的唤醒指令(真正收到唤醒指令的设备反馈给被推举为应答响应设备的唤醒指令)向所有的语音设备发送唤醒命令以对所有的语音设备进行唤醒。之后，对于步骤602，多设备协同语音交互的装置控制应答相应设备对唤醒指令作出语音应答，告知用户已被唤醒。
进一步地，如果该用户指令并不能够唤醒任何一个语音设备的话，当所有设备都向应答响应设备反馈没有听懂时，也可以由应答语音设备告知用户，如：主人，没有听懂您说的话，能再说一遍吗，等等，本申请在此没有限制。如果至少存在一台语音设备被唤醒时，也可以基于该设备被唤醒，由应答响应设备去唤醒所有的语音设备，本申请在此没有限制。
继续参考图7，其示出了本申请的多设备协同语音交互的方法还一实施例的流程图。该流程图主要是对流程图图1中与步骤104并列的另一种情况(未被推举为应答相应设备)进一步限定的步骤的流程图。
如图7所示，在步骤701中，响应于未被推举为应答响应设备，接收应答响应设备发送的各项命令；
在步骤702中，执行应答响应设备发送的各项命令和/或向应答响应设备发送与各项命令相关的反馈信息。
在本实施例中，对于步骤701，如果多设备协同语音交互的装置获知当前设备未被推举为应答响应设备，则只需要经由通信连接向应答响应设备汇报是否收到用户指令，以及将具体的用户指令反馈给应答相应设备，然后接受应答响应设备发送的各项命令。之后，对于步骤702，执行应答响应设备的命令和/或向应答响应设备发送与各项命令相关的反馈信息即可。当然，为了实现只有应答响应设备对用户的指令作出语音应答，可能还需要阻止多设备协同语音交互的装置所在的语音设备对用户指令作出响应，由于该技术比较现有，本申请在此没有限制也不再赘述。
本实施例的方法通过在多设备协同语音交互的装置所在的设备没有被推举为应答响应设备时，只向应答响应设备反馈收到的用户指令，并只执行应答响应设备发送的命令，可以确保对外只有应答响应设备对用户指令进行语音响应，用户体验更好。
下面对通过描述发明人在实现本发明的过程中遇到的一些问题和对最终确定的方案的一个具体实施例进行说明，以使本领域技术人员更好地理解本申请的方案。
发明人对现有技术进行仔细研究后发现，现有技术方案的缺陷主要是由于以下原因导致的：
(1)从业人员主要将精力集中在单一产品语音功能的开发，接触的产品或视野非常局限；
(2)思维局限，没有系统思维，很难将多语音设备之间的协同工作联系起来。
本申请的方案提出了一种多设备协同语音交互的装置：
通过语音与无线技术相结合解决多设备之间的响应、联动，从而形成一个系统生态的解决方案。
请参考图8，其示出了本申请的方案的一个具体实施例的流程图，需要说明的是以下实施例中虽然提到了一些具体的例子，但并不用于限制本申请的方案。
如图8所示，详细的步骤如下：
首先，多个语音交互设备，如A、B、C、D，在上电启动时通过局域网或蓝牙建立通信连接，认识彼此并根据预设的优先级形成响应优先队列；
其次，设备建立连接之后，进入语音接听等待状态；
接着，当使用者在一个位置说出唤醒命令时(多台设备通常具有相同的响应命令词或通熟地称为名字)，这些设备中可能有多台设备都会侦听到使用者在叫自己。这些设备根据预设的仲裁机制，推举出响应的设备，如B。B负责响应使用者，与使用者进行语音交互。当使用者想与D进行语音交互，本能的走到离D更很近的位置，说出唤醒命令，这个时候设备间的仲裁就会推举出D为应答响应设备。
需要说明的是，这一套机制中，即使某个设备如C距离使用者很远，它没有听到使用者，也会被唤醒。设备仲裁自动推举出距离使用者近的设备响应使用者的吩咐。
申请人在实施本申请的过程中，还采用过如下备选方案：
基本与本方案一致，但对未在使用者声波所达范围内的设备不进行响应。该方案主要问题还是将设备孤立考虑，未将多个设备作为一个整体，都是系统的一部分，都是系统的耳朵，处处在倾听使用者的吩咐。
上述实施例至少能够实现如下技术效果：
使用本方案的设备自动形成联动，不管是在哪个设备跟前，对哪个设备发出指令，都可以得到相应的响应，即使相应的设备很远，没有听到使用者发出的指令，也会响应。从而语音设备变得更加的智能，人机交互的体验会更好。
设备响应使用者发出的指令，使用思必驰的语音唤醒和识别技术，根据产品形态还会涉及麦克风阵列语音信号的增强技术；如设备本身有播放的需要打断功能，还会涉及回声消除。
语音设备之间的通信，依赖于蓝牙、wifi或lan进行私有协议或通用NBIOT协议进行通信。
请参考图9，其示出了本发明一实施例提供的多设备协同语音交互的装置的框图。
如图9所示，多设备协同语音交互的装置900，包括检测模块910、通信建立模块920、仲裁推举模块930和应答响应模块940。
其中，检测模块910，配置为响应于当前语音设备被启动，检测在同一局域网下是否存在其他语音设备；通信建立模块920，配置为响应于检测到其他语音设备，与所述其他语音设备建立通信连接；仲裁推举模块930，配置为响应于经由建立的通信连接获知所有语音设备中至少一个设备接收到用户指令，基于预设的仲裁机制在所述所有语音设备之间推举出应答响应设备，其中，所述所有语音设备包括所述当前语音设备以及所述其他语音设备；应答响应模块940，配置为响应于被推举为应答响应设备，对所述用户指令作出语音应答。
应当理解，图9中记载的诸模块与参考图1、图2、图3、图4、图5、图6和图7中描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作和特征以及相应的技术效果同样适用于图9中的诸模块，在此不再赘述。
值得注意的是，本申请的实施例中的模块并不用于限制本申请的方案，例如应答响应模块可以描述为响应于被推举为应答响应设备，对所述用户指令作出语音应答的模块。另外，还可以通过硬件处理器来实现相关功能模块，例如应答响应模块也可以用处理器实现，在此不再赘述。
在另一些实施例中，本发明实施例还提供了一种非易失性计算机存储介质，计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的多设备协同语音交互的方法；
作为一种实施方式，本发明的非易失性计算机存储介质存储有计算机可执行指令，计算机可执行指令设置为：
响应于当前语音设备被启动，检测在同一局域网下是否存在其他语音设备；
响应于检测到其他语音设备，与所述其他语音设备建立通信连接；
响应于经由建立的通信连接获知所有语音设备中至少一个设备接收到用户指令，基于预设的仲裁机制在所述所有语音设备之间推举出应答响应设备，其中，所述所有语音设备包括所述当前语音设备以及所述其他语音设备；
响应于被推举为应答响应设备，对所述用户指令作出语音应答。
非易失性计算机可读存储介质可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据多设备协同语音交互的装置的使用所创建的数据等。此外，非易失性计算机可读存储介质可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，非易失性计算机可读存储介质可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至多设备协同语音交互的装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本发明实施例还提供一种计算机程序产品，计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被计算机执行时，使计算机执行上述任一项多设备协同语音交互的方法。
图10是本发明实施例提供的电子设备的结构示意图，如图10所示，该设备包括：一个或多个处理器1010以及存储器1020，图10中以一个处理器1010为例。多设备协同语音交互的方法的设备还可以包括：输入装置1030和输出装置1040。处理器1010、存储器1020、输入装置1030和输出装置1040可以通过总线或者其他方式连接，图10中以通过总线连接为例。存储器1020为上述的非易失性计算机可读存储介质。处理器1010通过运行存储在存储器1020中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例多设备协同语音交互的方法。输入装置1030可接收输入的数字或字符信息，以及产生与多设备协同语音交互算法的装置的用户设置以及功能控制有关的键信号输入。输出装置1040可包括显示屏等显示设备。
上述产品可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的方法。
作为一种实施方式，上述电子设备应用于多设备协同语音交互的装置中，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够：
响应于当前语音设备被启动，检测在同一局域网下是否存在其他语音设备；
响应于检测到其他语音设备，与所述其他语音设备建立通信连接；
响应于经由建立的通信连接获知所有语音设备中至少一个设备接收到用户指令，基于预设的仲裁机制在所述所有语音设备之间推举出应答响应设备，其中，所述所有语音设备包括所述当前语音设备以及所述其他语音设备；
响应于被推举为应答响应设备，对所述用户指令作出语音应答。
本申请实施例的电子设备以多种形式存在，包括但不限于：
(1)移动通信设备：这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。
(2)超移动个人计算机设备：这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括：PDA、MID和UMPC设备等，例如iPad。
(3)便携式娱乐设备：这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
(4)服务器:提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
(5)其他具有数据交互功能的电子装置。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种多设备协同语音交互的方法，包括：
响应于当前语音设备被启动，检测在同一局域网下是否存在其他语音设备；
响应于检测到其他语音设备，与所述其他语音设备建立通信连接；
响应于经由建立的通信连接获知所有语音设备中至少一个设备接收到用户指令，基于预设的仲裁机制在所述所有语音设备之间推举出应答响应设备，其中，所述所有语音设备包括所述当前语音设备和所述其他语音设备；
响应于被推举为应答响应设备，对所述用户指令作出语音应答。
2.根据权利要求1所述的方法，其中，在所述响应于检测到其他语音设备，与所述其他语音设备建立通信连接之后，所述方法还包括：
获取并存储所述其他语音设备的信息，所述信息包括预设优先级；
基于预设优先级与其他语音设备形成响应优先队列。
3.根据权利要求2所述的方法，其中，所述基于预设的仲裁机制在所述所有语音设备之间推举出应答响应设备包括：
检测所述当前语音设备与所述用户指令的声源位置的距离；
经由建立的通信连接获取所述其他语音设备检测的距离；
至少基于所述距离和所述预设优先级推举出应答响应设备。
4.根据权利要求3所述的方法，其中，所述方法还包括：
响应于经由建立的通信连接获知所述所有语音设备中至少一个设备接收到新的用户指令，检测所述当前语音设备与所述新的用户指令的声源位置的新的距离；
经由建立的通信连接获取所述其他语音设备检测的新的距离；
至少基于所述新的距离和所述预设优先级重新推举出新的应答响应设备。
5.根据权利要求4所述的方法，其中，所述用户指令包括意图指令，所述响应于被推举为应答响应设备，对所述用户指令作出语音应答包括：
响应于被推举为应答响应设备，基于所述意图指令向所述所有语音设备发送意图命令；
接收所述所有语音设备中至少一个设备针对所述意图命令的至少一个反馈信息；
基于所述预设优先级将所述至少一个反馈信息中优先级最高的反馈信息播报给所述用户。
6.根据权利要求1-4中任一项所述的方法，其中，所述用户指令包括唤醒指令，所述响应于被推举为应答响应设备，对所述用户指令作出语音应答包括：
响应于被推举为应答响应设备，基于所述唤醒指令向所述所有语音设备发送唤醒命令以唤醒所述所有语音设备；
控制应答响应设备对所述唤醒指令作出语音应答。
7.根据权利要求1-4中任一项所述的方法，其中，所述方法还包括：
响应于未被推举为应答响应设备，接收所述应答响应设备发送的各项命令；
执行所述应答响应设备发送的各项命令和/或向所述应答响应设备发送与所述各项命令相关的反馈信息。
8.一种多设备协同语音交互的装置，包括：
检测模块，配置为响应于当前语音设备被启动，检测在同一局域网下是否存在其他语音设备；
通信建立模块，配置为响应于检测到其他语音设备，与所述其他语音设备建立通信连接；
仲裁推举模块，配置为响应于经由建立的通信连接获知所有语音设备中至少一个设备接收到用户指令，基于预设的仲裁机制在所述所有语音设备之间推举出应答响应设备，其中，所述所有语音设备包括所述当前语音设备以及所述其他语音设备；
应答响应模块，配置为响应于被推举为应答响应设备，对所述用户指令作出语音应答。
9.一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至7任一项所述方法的步骤。
10.一种存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1至7任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910796064.XA CN110459221B (zh) | 2019-08-27 | 2019-08-27 | 多设备协同语音交互的方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910796064.XA CN110459221B (zh) | 2019-08-27 | 2019-08-27 | 多设备协同语音交互的方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110459221A true CN110459221A (zh) | 2019-11-15 |
| CN110459221B CN110459221B (zh) | 2022-02-22 |
Family
ID=68489352
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910796064.XA Active CN110459221B (zh) | 2019-08-27 | 2019-08-27 | 多设备协同语音交互的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110459221B (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110989372A (zh) * | 2019-11-18 | 2020-04-10 | 北京小米移动软件有限公司 | 基于位置信息的设备控制方法、装置及系统 |
| CN111210819A (zh) * | 2019-12-31 | 2020-05-29 | 联想(北京)有限公司 | 信息处理方法、装置和电子设备 |
| CN111312250A (zh) * | 2020-02-21 | 2020-06-19 | 珠海荣邦电子科技有限公司 | 基于语音的多设备适配控制方法、装置及系统 |
| CN111338221A (zh) * | 2020-02-21 | 2020-06-26 | 珠海荣邦电子科技有限公司 | 一种多设备的自适应控制方法、装置及系统 |
| CN112003943A (zh) * | 2020-08-25 | 2020-11-27 | 苏州思必驰信息科技有限公司 | 语音数据同步方法和装置 |
| CN112102826A (zh) * | 2020-08-31 | 2020-12-18 | 南京创维信息技术研究院有限公司 | 一种控制语音设备多端唤醒的系统和方法 |
| CN112201242A (zh) * | 2020-09-29 | 2021-01-08 | 北京小米移动软件有限公司 | 唤醒设备的方法、装置、电子设备及存储介质 |
| CN112863511A (zh) * | 2021-01-15 | 2021-05-28 | 北京小米松果电子有限公司 | 信号处理方法、装置以及存储介质 |
| CN112951223A (zh) * | 2021-01-25 | 2021-06-11 | 珠海格力电器股份有限公司 | 多语音设备交互方法、装置、语音设备和存储介质 |
| CN113055827A (zh) * | 2021-03-12 | 2021-06-29 | 云知声智能科技股份有限公司 | 基于ac+ap网络下实现分布式设备就近唤醒方法、装置及系统 |
| CN113421559A (zh) * | 2021-06-01 | 2021-09-21 | 荣耀终端有限公司 | 基于语音唤醒的控制方法、电子设备及控制器 |
| CN113496701A (zh) * | 2020-04-02 | 2021-10-12 | 阿里巴巴集团控股有限公司 | 语音交互系统、方法、设备和会议系统 |
| CN115035894A (zh) * | 2020-12-01 | 2022-09-09 | 华为技术有限公司 | 一种设备响应方法和装置 |
| WO2022199497A1 (zh) * | 2021-03-22 | 2022-09-29 | 华为技术有限公司 | 一种协同唤醒第一电子设备的方法及第一电子设备 |
| WO2023029453A1 (zh) * | 2021-08-30 | 2023-03-09 | 佛山市顺德区美的电子科技有限公司 | 响应设备的确定方法、设备和服务器 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106469040A (zh) * | 2015-08-19 | 2017-03-01 | 华为终端（东莞）有限公司 | 通信方法、服务器及设备 |
| US20170111915A1 (en) * | 2015-10-16 | 2017-04-20 | Apple Inc. | Delivery of Messages in a Multi Device Configuration |
| CN107622767A (zh) * | 2016-07-15 | 2018-01-23 | 青岛海尔智能技术研发有限公司 | 家电系统的语音控制方法与家电控制系统 |
| CN107622652A (zh) * | 2016-07-15 | 2018-01-23 | 青岛海尔智能技术研发有限公司 | 家电系统的语音控制方法与家电控制系统 |
| CN109391528A (zh) * | 2018-08-31 | 2019-02-26 | 百度在线网络技术（北京）有限公司 | 语音智能设备的唤醒方法、装置、设备及存储介质 |
-
2019
- 2019-08-27 CN CN201910796064.XA patent/CN110459221B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106469040A (zh) * | 2015-08-19 | 2017-03-01 | 华为终端（东莞）有限公司 | 通信方法、服务器及设备 |
| US20170111915A1 (en) * | 2015-10-16 | 2017-04-20 | Apple Inc. | Delivery of Messages in a Multi Device Configuration |
| CN107622767A (zh) * | 2016-07-15 | 2018-01-23 | 青岛海尔智能技术研发有限公司 | 家电系统的语音控制方法与家电控制系统 |
| CN107622652A (zh) * | 2016-07-15 | 2018-01-23 | 青岛海尔智能技术研发有限公司 | 家电系统的语音控制方法与家电控制系统 |
| CN109391528A (zh) * | 2018-08-31 | 2019-02-26 | 百度在线网络技术（北京）有限公司 | 语音智能设备的唤醒方法、装置、设备及存储介质 |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110989372B (zh) * | 2019-11-18 | 2024-05-24 | 北京小米移动软件有限公司 | 基于位置信息的设备控制方法、装置及系统 |
| CN110989372A (zh) * | 2019-11-18 | 2020-04-10 | 北京小米移动软件有限公司 | 基于位置信息的设备控制方法、装置及系统 |
| CN111210819A (zh) * | 2019-12-31 | 2020-05-29 | 联想(北京)有限公司 | 信息处理方法、装置和电子设备 |
| CN111210819B (zh) * | 2019-12-31 | 2023-11-21 | 联想(北京)有限公司 | 信息处理方法、装置和电子设备 |
| CN111338221A (zh) * | 2020-02-21 | 2020-06-26 | 珠海荣邦电子科技有限公司 | 一种多设备的自适应控制方法、装置及系统 |
| CN111312250A (zh) * | 2020-02-21 | 2020-06-19 | 珠海荣邦电子科技有限公司 | 基于语音的多设备适配控制方法、装置及系统 |
| CN111338221B (zh) * | 2020-02-21 | 2023-07-25 | 珠海荣邦电子科技有限公司 | 一种多设备的自适应控制方法、装置及系统 |
| CN113496701A (zh) * | 2020-04-02 | 2021-10-12 | 阿里巴巴集团控股有限公司 | 语音交互系统、方法、设备和会议系统 |
| CN112003943A (zh) * | 2020-08-25 | 2020-11-27 | 苏州思必驰信息科技有限公司 | 语音数据同步方法和装置 |
| CN112102826A (zh) * | 2020-08-31 | 2020-12-18 | 南京创维信息技术研究院有限公司 | 一种控制语音设备多端唤醒的系统和方法 |
| CN112201242A (zh) * | 2020-09-29 | 2021-01-08 | 北京小米移动软件有限公司 | 唤醒设备的方法、装置、电子设备及存储介质 |
| CN115035894A (zh) * | 2020-12-01 | 2022-09-09 | 华为技术有限公司 | 一种设备响应方法和装置 |
| CN112863511A (zh) * | 2021-01-15 | 2021-05-28 | 北京小米松果电子有限公司 | 信号处理方法、装置以及存储介质 |
| CN112863511B (zh) * | 2021-01-15 | 2024-06-04 | 北京小米松果电子有限公司 | 信号处理方法、装置以及存储介质 |
| CN112951223A (zh) * | 2021-01-25 | 2021-06-11 | 珠海格力电器股份有限公司 | 多语音设备交互方法、装置、语音设备和存储介质 |
| CN113055827B (zh) * | 2021-03-12 | 2022-06-17 | 云知声智能科技股份有限公司 | 基于ac+ap网络下实现分布式设备就近唤醒方法、装置及系统 |
| CN113055827A (zh) * | 2021-03-12 | 2021-06-29 | 云知声智能科技股份有限公司 | 基于ac+ap网络下实现分布式设备就近唤醒方法、装置及系统 |
| WO2022199497A1 (zh) * | 2021-03-22 | 2022-09-29 | 华为技术有限公司 | 一种协同唤醒第一电子设备的方法及第一电子设备 |
| CN113421559A (zh) * | 2021-06-01 | 2021-09-21 | 荣耀终端有限公司 | 基于语音唤醒的控制方法、电子设备及控制器 |
| WO2023029453A1 (zh) * | 2021-08-30 | 2023-03-09 | 佛山市顺德区美的电子科技有限公司 | 响应设备的确定方法、设备和服务器 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110459221B (zh) | 2022-02-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110459221A (zh) | 多设备协同语音交互的方法和装置 | |
| US11282520B2 (en) | Method, apparatus and device for interaction of intelligent voice devices, and storage medium | |
| CN104285428B (zh) | 用于运行通信服务的方法和系统 | |
| US11934740B2 (en) | Audio associating of computing devices | |
| CN109637548A (zh) | 基于声纹识别的语音交互方法及装置 | |
| CN103634683A (zh) | 对智能电视进行截屏的方法及装置 | |
| CN106301811A (zh) | 实现多媒体会议的方法及装置 | |
| CN109348051A (zh) | 自动接听手机通话的方法、装置、设备及介质 | |
| WO2016177173A1 (zh) | 发言处理方法、装置、授课终端及听课终端 | |
| CN108228134A (zh) | 一种任务语音的处理方法、装置、智能音箱和存储介质 | |
| CN112735398B (zh) | 人机对话模式切换方法及系统 | |
| CN107731231A (zh) | 一种支持多云端语音服务的方法及一种存储设备 | |
| CN109671429A (zh) | 语音交互方法及设备 | |
| CN109741740A (zh) | 基于外部触发的语音交互方法及装置 | |
| EP4047489A1 (en) | Human-machine conversation processing method | |
| CN108271096A (zh) | 一种任务执行方法、装置、智能音箱及存储介质 | |
| CN109364477A (zh) | 基于语音控制进行打麻将游戏的方法及装置 | |
| CN102882565B (zh) | 一种数据处理、发送方法及相关设备 | |
| CN109686370A (zh) | 基于语音控制进行斗地主游戏的方法及装置 | |
| CN112702468A (zh) | 一种通话控制方法及其装置 | |
| KR20230133864A (ko) | 스피치 오디오 스트림 중단들을 처리하는 시스템들및 방법들 | |
| CN110471302A (zh) | 家居设备联网控制方法、智能音箱及存储介质 | |
| CN109658934A (zh) | 通过语音控制多媒体app的方法及装置 | |
| CN113271376A (zh) | 通信控制方法、电子设备和耳机 | |
| CN106970813A (zh) | 软件升级控制方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 215123 building 14, Tengfei Innovation Park, 388 Xinping street, Suzhou Industrial Park, Suzhou City, Jiangsu Province Applicant after: Sipic Technology Co.,Ltd. Address before: 215123 building 14, Tengfei Innovation Park, 388 Xinping street, Suzhou Industrial Park, Suzhou City, Jiangsu Province Applicant before: AI SPEECH Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |