CN112585675B - 选择地使用多个语音数据接收装置进行智能服务的方法、装置和系统 - Google Patents
选择地使用多个语音数据接收装置进行智能服务的方法、装置和系统 Download PDFInfo
- Publication number
- CN112585675B CN112585675B CN201980054861.9A CN201980054861A CN112585675B CN 112585675 B CN112585675 B CN 112585675B CN 201980054861 A CN201980054861 A CN 201980054861A CN 112585675 B CN112585675 B CN 112585675B
- Authority
- CN
- China
- Prior art keywords
- electronic device
- information
- wake
- leader
- word
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title description 38
- 238000004891 communication Methods 0.000 claims abstract description 107
- 230000004044 response Effects 0.000 claims description 25
- 230000008859 change Effects 0.000 claims description 17
- 238000010586 diagram Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 18
- 230000005540 biological transmission Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 5
- 238000010295 mobile communication Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 241000238558 Eucarida Species 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003155 kinesthetic effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/04—Segmentation; Word boundary detection
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification
- G10L17/22—Interactive procedures; Man-machine interfaces
- G10L17/24—Interactive procedures; Man-machine interfaces the user being prompted to utter a password or a predefined phrase
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification
Abstract
提供了一种电子装置,其包括:用户接口;至少一个通信模块;麦克风;至少一个扬声器;至少一个处理器,与用户接口、至少一个通信模块、麦克风和至少一个扬声器可操作地连接;以及至少一个存储器,与至少一个处理器可操作地连接,其中,至少一个存储器存储有指令,所述指令在被执行时指示至少一个处理器:当电子装置有线或无线连接到与至少一个外部电子装置连接的接入点(AP)时,在通过麦克风接收到调用基于语音的智能助手服务的唤醒话语的一部分之后,广播关于电子装置的标识信息并接收从外部电子装置广播的标识信息,在通过麦克风接收到整个唤醒话语之后,将通过麦克风接收的与唤醒话语有关的第一信息单独发送到至少一个外部电子装置,并从外部电子装置单独接收由至少一个外部电子装置接收的与唤醒话语有关的第二信息,以及基于第一信息和第二信息的至少一部分来确定是否将在唤醒话语之后接收的语音信息发送到外部服务器。其他各种实施例也是可能的。
Description
技术领域
本公开总体上涉及智能服务,并且更具体地,涉及从多个语音接收装置中选择接收语音的装置的方法、装置和系统。
背景技术
诸如智能电视(TV)、智能手机、空调、冰箱、扬声器等的电子装置能够提供智能助手服务,以响应于用户语音输入来执行各种任务。
发明内容
技术问题
为了使用基于语音的智能助手服务,用户可以向用作用于智能助手服务的用户接口的电子装置说出请求。在现有技术中,如果多个装置在同一空间中提供相同的智能助手服务,则由于每个装置都提供其响应,因此可能会重复对用户的请求的处理,这可能使用户体验劣化并且不必要地消耗处理资源。因此,需要一种实现智能服务以解决上述问题的方法、装置和系统。
以上信息仅作为背景信息呈现,以帮助理解本公开。关于以上内容中的任何内容是否可以用作关于本公开的现有技术,没有确定,也没有断言。
解决问题的方法
因此,本公开被设计为至少解决上述问题和/或缺点,并至少提供下述优点。
根据本公开的一方面,提供了一种电子装置,该电子装置包括:用户接口;至少一个通信模块;麦克风;至少一个扬声器;至少一个处理器,所述至少一个处理器与所述用户接口、所述至少一个通信模块、所述麦克风和所述至少一个扬声器可操作地连接;以及至少一个存储器,所述至少一个存储器与所述至少一个处理器可操作地连接,其中,所述至少一个存储器存储有指令,所述指令在被执行时指示所述至少一个处理器:当所述电子装置有线地或无线地连接到与至少一个外部电子装置连接的接入点(AP)时,在通过所述麦克风接收到调用基于语音的智能助手服务的唤醒话语的一部分之后,广播关于所述电子装置的标识信息并接收从所述至少一个外部电子装置广播的标识信息,在通过所述麦克风接收到整个唤醒话语之后,将通过所述麦克风接收到的与所述唤醒话语有关的第一信息单独地发送到所述至少一个外部电子装置,并从所述外部电子装置单独地接收由所述至少一个外部电子装置接收到的与所述唤醒话语有关的第二信息,以及基于所述第一信息和所述第二信息的至少一部分确定是否将在所述唤醒话语之后接收到的语音信息发送到外部服务器。
根据本公开的另一方面,提供了一种电子装置,该电子装置包括:通信模块;麦克风;扬声器;至少一个处理器,所述至少一个处理器可操作地与所述通信模块、所述麦克风和所述扬声器连接;以及存储器,所述存储器与所述至少一个处理器可操作地连接,其中,所述存储器存储有指令,所述指令在被执行时指示所述处理器:在通过所述麦克风接收到调用基于语音的智能助手服务的唤醒话语的一部分之后确定所述电子装置是否处于通过所述通信模块与接入点(AP)连接的状态,当所述电子装置处于与所述AP连接的状态时,通过所述通信模块广播关于所述电子装置的标识信息,接收从与所述AP连接的至少一个外部电子装置广播的至少一条标识信息,在通过所述麦克风接收到整个唤醒话语之后,将关于所述唤醒话语的第一信息发送到所述至少一个外部电子装置中的每一个外部电子装置,从所述至少一个外部电子装置中的每一个外部电子装置接收关于所述唤醒话语的至少一条第二信息,基于所述第一信息和所述至少一条第二信息确定所述电子装置是否是领导者装置;当所述电子装置未处于与所述AP连接的状态时,在通过所述麦克风接收到整个唤醒话语之后,将关于所述唤醒话语的所述第一信息发送到外部服务器,并从所述外部服务器接收基于所述第一信息和所述至少一条第二信息获得的领导者信息。
根据本公开的另一方面,提供了一种服务器,所述服务器包括:至少一个通信模块;至少一个处理器,所述至少一个处理器与所述至少一个通信模块可操作地连接;以及至少一个存储器,所述至少一个存储器与所述至少一个处理器可操作地连接,其中,所述至少一个存储器存储有指令,所述指令在被执行时指示所述处理器:通过所述至少一个通信模块从第一电子装置接收第一信息和领导者请求以选择领导者装置,响应于所述领导者请求,通过所述至少一个通信模块将领导者选择发送到所述第一电子装置,并通过所述至少一个通信模块从第一电子装置接收领导者锁定请求。
根据本公开的另一方面,提供了一种电子装置,该电子装置包括:用户接口;通信模块;麦克风;扬声器;处理器,所述处理器可操作地与所述用户接口、所述通信模块、所述麦克风和所述扬声器连接;以及存储器,所述存储器与所述处理器可操作地连接,其中,所述存储器存储有指令,所述指令在被执行时指示处理器:响应于通过所述麦克风接收到调用基于语音的智能助手服务的唤醒命令的一部分,将所述电子装置与和所述外部电子装置相连接的接入点(AP)进行连接,将关于所述电子装置的标识信息发送到所述AP,并接收从所述AP广播的关于所述外部电子装置的标识信息,响应于通过所述麦克风接收到整个唤醒命令,将通过所述麦克风接收到的与所述唤醒命令的强度有关的第一信息发送到所述外部电子装置,并从所述外部电子装置接收与由所述外部电子装置接收到的唤醒命令的强度有关的第二信息,并基于第一信息和第二信息的至少一部分确定是否将在所述唤醒命令之后接收到的语音信息发送到所外部服务器。
根据下面的详细描述,本公开的其他方面、优点和显著特征对于本领域技术人员将变得显而易见,以下详细描述结合附图公开了本公开的示例性实施例。
发明的有益效果
根据各种实施例,可以提供从多个电子装置中选择对用户的唤醒话语进行回应的电子装置的电子装置和服务器。
根据各种实施例,可以提供一种电子装置,当接收到唤醒话语的一部分时,该电子装置向周围的电子装置广播其标识信息并且接收从周围的电子装置广播的关于周围的电子装置的标识信息。根据各种实施例,可以提供一种电子装置,当接收到整个唤醒话语时,该电子装置将关于唤醒话语的信息发送到周围的电子装置,从周围的电子装置接收关于唤醒话语的信息,并使用关于唤醒话语的信息选择电子装置以将用户的语音信息传送到服务器。
因此,可以从多个电子装置中选择对用户的唤醒话语进行回应的电子装置。
附图说明
根据以下结合附图的详细描述,本公开的某些实施例的上述以及其他方面、特征和优点将变得更加明显,其中:
图1示出了根据实施例的网络环境中的电子装置;
图2A示出了根据实施例的智能助手服务系统;
图2B和图2C是示出了根据实施例的确定领导者装置的方法的流程图;
图3示出了根据实施例的接收唤醒命令的一部分以接收关于至少一个外部电子装置的标识信息的操作;
图4A和图4B示出了根据实施例的接收关于至少一个外部电子装置的标识信息的操作;
图5示出了根据实施例的接收关于至少一个外部电子装置的标识信息的操作;
图6A和图6B示出了根据实施例的发送关于唤醒命令的信息的操作;
图7是示出了根据实施例的发送关于唤醒命令的信息的方法的流程图;
图8A和图8B示出了根据实施例的接收关于唤醒命令的信息的操作;
图9A、图9B和图9C示出了根据实施例的确定是否将语音信息发送到外部服务器的操作;
图10示出了根据实施例的接收语音信息并将语音信息发送到外部服务器的操作;
图11是示出了根据实施例的根据选择领导者装置来发送语音信息的方法的流程图;
图12A和图12B示出了根据实施例的根据选择领导者装置来发送语音信息的操作;
图13是示出了根据实施例的改变领导者装置的方法的流程图;
图14A和图14B是示出了根据实施例的确定领导者装置的方法的流程图;
图15是示出了根据实施例的确定领导者装置的方法的流程图;
图16是示出了根据实施例的确定领导者装置的方法的流程图;
图17是示出了根据实施例的确定领导者装置的方法的流程图;
图18是示出了根据实施例的确定领导者装置的方法的流程图;
图19示出了根据实施例的确定领导者装置的操作;
图20示出了根据实施例的确定领导者装置的操作;
图21是示出了根据实施例的确定领导者装置的方法的流程图;
图22示出了根据实施例的确定领导者装置的操作;
图23是示出了根据实施例的确定领导者装置的方法的流程图;
图24示出了根据实施例的确定领导者装置的操作;
图25是示出了根据实施例的确定领导者装置的操作的流程图;
图26A和图26B示出了根据实施例的确定领导者装置的操作;
图27是示出了根据实施例的确定领导者装置的方法的流程图;
图28A和图28B示出了根据实施例的确定领导者装置的操作;
图29A和图29B示出了根据实施例的确定领导者装置的操作;以及
图30是示出了根据实施例的确定领导者装置的方法的流程图。
在整个附图中,相似的附图标记将被理解为指代相似的部件、组件和结构。
具体实施方式
现在将参考附图详细描述本公开的各种实施例。在以下描述中,仅提供诸如详细配置和组件之类的具体细节以帮助对本公开的这些实施例的整体理解。因此,对于本领域技术人员而言应显而易见的是,在不脱离本公开的范围和精神的情况下,可以对本文所述的实施例进行各种改变和修改。另外,为了清楚和简洁,省略了对公知功能和构造的描述。
图1是示出根据各种实施例的网络环境100中的电子装置101的框图。
参考图1,网络环境100中的电子装置101可经由第一网络198(例如,短距离无线通信网络)与电子装置102进行通信,或者经由第二网络199(例如,长距离无线通信网络)与电子装置104或服务器108进行通信。根据实施例,电子装置101可经由服务器108与电子装置104进行通信。根据实施例,电子装置101可包括处理器120、存储器130、输入装置150、声音输出装置155、显示装置160、音频模块170、传感器模块176、接口177、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190、用户识别模块(SIM)196或天线模块197。在一些实施例中,可从电子装置101中省略所述部件中的至少一个(例如,显示装置160或相机模块180),或者可将一个或更多个其它部件添加到电子装置101中。在一些实施例中,可将所述部件中的一些部件实现为单个集成电路。例如,可将传感器模块176(例如,指纹传感器、虹膜传感器、或照度传感器)实现为嵌入在显示装置160(例如,显示器)中。
处理器120可运行例如软件(例如,程序140)来控制电子装置101的与处理器120连接的至少一个其它部件(例如,硬件部件或软件部件),并可执行各种数据处理或计算。根据一个实施例,作为所述数据处理或计算的至少部分,处理器120可将从另一部件(例如,传感器模块176或通信模块190)接收到的命令或数据加载到易失性存储器132中,对存储在易失性存储器132中的命令或数据进行处理,并将结果数据存储在非易失性存储器134中。根据实施例,处理器120可包括主处理器121(例如,中央处理单元(CPU)或应用处理器(AP))以及与主处理器121在操作上独立的或者相结合的辅助处理器123(例如,图形处理单元(GPU)、图像信号处理器(ISP)、传感器中枢处理器或通信处理器(CP))。另外地或者可选择地,辅助处理器123可被适配为比主处理器121耗电更少,或者被适配为具体用于指定的功能。可将辅助处理器123实现为与主处理器121分离,或者实现为主处理器121的部分。
在主处理器121处于未激活(例如,睡眠)状态时,辅助处理器123可控制与电子装置101(而非主处理器121)的部件之中的至少一个部件(例如,显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些,或者在主处理器121处于激活状态(例如,运行应用)时,辅助处理器123可与主处理器121一起来控制与电子装置101的部件之中的至少一个部件(例如,显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些。根据实施例,可将辅助处理器123(例如,图像信号处理器或通信处理器)实现为在功能上与辅助处理器123相关的另一部件(例如,相机模块180或通信模块190)的部分。
存储器130可存储由电子装置101的至少一个部件(例如,处理器120或传感器模块176)使用的各种数据。所述各种数据可包括例如软件(例如,程序140)以及针对与其相关的命令的输入数据或输出数据。存储器130可包括易失性存储器132或非易失性存储器134。
可将程序140作为软件存储在存储器130中,并且程序140可包括例如操作系统(OS)142、中间件144或应用146。
输入装置150可从电子装置101的外部(例如,用户)接收将由电子装置101的其它部件(例如,处理器120)使用的命令或数据。输入装置150可包括例如麦克风、鼠标或键盘。
声音输出装置155可将声音信号输出到电子装置101的外部。声音输出装置155可包括例如扬声器或接收器。扬声器可用于诸如播放多媒体或播放唱片的通用目的,接收器可用于呼入呼叫。根据实施例,可将接收器实现为与扬声器分离,或实现为扬声器的部分。
显示装置160可向电子装置101的外部(例如,用户)视觉地提供信息。显示装置160可包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置和投影仪中的相应一个的控制电路。根据实施例,显示装置160可包括被适配为检测触摸的触摸电路或被适配为测量由触摸引起的力的强度的传感器电路(例如,压力传感器)。
音频模块170可将声音转换为电信号,反之亦可。根据实施例,音频模块170可经由输入装置150获得声音,或者经由声音输出装置155或与电子装置101直接连接或无线连接的外部电子装置(例如,电子装置102(例如,扬声器或耳机))输出声音。
传感器模块176可检测电子装置101的操作状态(例如,功率或温度)或电子装置101外部的环境状态(例如,用户的状态),然后产生与检测到的状态相应的电信号或数据值。根据实施例,传感器模块176可包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。
接口177可支持将用来使电子装置101与外部电子装置(例如,电子装置102)直接(例如,有线地)或无线连接的一个或更多个特定协议。根据实施例,接口177可包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。
连接端178可包括连接器,其中,电子装置101可经由所述连接器与外部电子装置(例如,电子装置102)物理连接。根据实施例,连接端178可包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如,耳机连接器)。
触觉模块179可将电信号转换为可被用户经由用户的触觉或动觉识别的机械刺激(例如,振动或运动)或电刺激。根据实施例,触觉模块179可包括例如电机、压电元件或电刺激器。
相机模块180可捕获静止图像或运动图像。根据实施例,相机模块180可包括一个或更多个透镜、图像传感器、图像信号处理器或闪光灯。
电力管理模块188可管理对电子装置101的供电。根据一个实施例,可将电力管理模块188实现为例如电力管理集成电路(PMIC)的至少部分。
电池189可对电子装置101的至少一个部件供电。根据实施例,电池189可包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。
通信模块190可支持在电子装置101与外部电子装置(例如,电子装置102、电子装置104或服务器108)之间建立直接(例如,有线)通信信道或无线通信信道,并经由建立的通信信道执行通信。通信模块190可包括能够与处理器120(例如,应用处理器(AP))独立操作的一个或更多个通信处理器,并支持直接(例如,有线)通信或无线通信。根据实施例,通信模块190可包括无线通信模块192(例如,蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(GNSS)通信模块)或有线通信模块194(例如,局域网(LAN)通信模块或电力线通信(PLC)模块)。这些通信模块中的相应一个可经由第一网络198(例如,短距离通信网络,诸如蓝牙、无线保真(Wi-Fi)直连或红外数据协会(IrDA))或第二网络199(例如,长距离通信网络,诸如蜂窝网络、互联网、或计算机网络(例如,LAN或广域网(WAN)))与外部电子装置进行通信。可将这些各种类型的通信模块实现为单个部件(例如,单个芯片),或可将这些各种类型的通信模块实现为彼此分离的多个部件(例如,多个芯片)。无线通信模块192可使用存储在用户识别模块196中的用户信息(例如,国际移动用户识别码(IMSI))识别并验证通信网络(诸如第一网络198或第二网络199)中的电子装置101。
天线模块197可将信号或电力发送到电子装置101的外部(例如,外部电子装置)或者从电子装置101的外部(例如,外部电子装置)接收信号或电力。根据实施例,天线模块197可包括一个或更多个天线,并且因此,可由例如通信模块190(例如,无线通信模块192)选择适合于在通信网络(诸如第一网络198或第二网络199)中使用的通信方案的至少一个天线。随后可经由所选择的至少一个天线在通信模块190和外部电子装置之间发送或接收信号或电力。
上述部件中的至少一些可经由外设间通信方案(例如,总线、通用输入输出(GPIO)、串行外设接口(SPI)或移动工业处理器接口(MIPI))相互连接并在它们之间传送信号(例如,命令或数据)。
根据实施例,可经由与第二网络199连接的服务器108在电子装置101和外部电子装置104之间发送或接收命令或数据。第一外部电子装置102和第二外部电子装置104均可以是与电子装置101相同类型的装置,或者是与电子装置101不同类型的装置。根据实施例,将在电子装置101处运行的全部操作或一些操作可在外部电子装置102、外部电子装置104或服务器108中的一个或更多个处运行。例如,如果电子装置101应该自动执行功能或服务或者应该响应于来自用户或另一装置的请求执行功能或服务,则电子装置101可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分,而不是运行所述功能或服务,或者电子装置101除了运行所述功能或服务以外,还可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分。接收到所述请求的所述一个或更多个外部电子装置可执行所请求的功能或服务中的所述至少部分,或者执行与请求相关的另外功能或另外服务,并将执行的结果传送到电子装置101。电子装置101可在对所述结果进行进一步处理的情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供为对所述请求的至少部分答复。为此,可使用例如云计算技术、分布式计算技术或客户机-服务器计算技术。
图2A示出了根据实施例的智能助手服务系统。
参考图2A,根据实施例,智能助手服务系统10可以包括提供基于语音的UI的电子装置202、204和206中的至少一个(以下称为“用户接口(UI)装置”)和经由互联网210与第一至第三UI装置202、204和206连接的服务器212(以下称为“处理服务器”)。可选地,第一至第三UI装置202、204和206可以包括可视用户接口(例如,触摸屏显示器)。第一至第三UI装置202、204和206可以具有与图1的电子装置101类似的配置,但是不限于此。
在图2A中,第一至第三UI装置202、204和206可以经由接入点(AP)208连接到服务器212。多个UI装置202、204和206可以包括第一UI装置202(也称为“第一电子装置”)、第二UI装置204(也称为“第二电子装置”)和第三UI装置206(也称为“第三电子装置”)。第一至第三UI装置202、204和206可以具有例如图1的电子装置101的配置,但是不限于此。
在以上实施例中,用户可以提供请求第一UI装置202执行工作或任务的话语,并且第一UI装置202可以将话语数据提供给处理服务器212。处理服务器212可以使用自动语音识别(ASR)和自然语言理解(NLU)来处理话语数据,从而生成响应数据。处理服务器212可以将生成的响应数据提供给第一UI装置202,并且第一UI装置202可以使用语音和/或显示器向用户提供响应。或者,上述语音数据处理可以至少部分地由第一UI装置202执行。第二UI装置204和第三UI装置206还可以执行与第一UI装置202相同的功能。
某些智能助手服务可以配置为不始终开启,而无需由用户触发。在这种情况下,用户可以通过向UI装置发出唤醒话语或使用UI装置上的触摸屏或按钮来触发智能服务。唤醒话语可以是由用户或智能助手服务系统10预先选择的话语(例如,“Bixby”、“Ok,Google”、“Alexa”或“Siri”),并且可以预先存储在第一UI装置202、第二UI装置204和第三UI装置206中的每一个中。在服务启动(例如叫出“Bixby”)之后,用户可以向UI装置提供任务请求的话语,例如“今天天气如何?”。
在某些情况下,在提供相同智能助手服务的同时,同一空间中可能有多个UI装置。在这种情况下,当用户发出使用智能助手服务的唤醒话语时,位于同一位置的多个UI装置可以各自识别该唤醒话语并对用户话语进行响应,从而造成用户体验混乱和资源浪费。为了解决该问题,可以将多个UI装置配置为使得所有UI装置都与处理服务器执行网络通信,并且在多个UI装置中,仅最靠近用户的UI可以响应用户的唤醒话语。然而,使多个UI装置中的所有UI装置与服务器进行网络通信可能导致通信资源的不必要消耗。
如图2A所示,根据实施例,当多个UI装置202、204和206在同一空间中同时接收到唤醒话语时,它们可以按照广播方案相互发送和接收信息,从而允许确定响应于唤醒话语的电子装置(以下称为“领导者”)。
更具体地,如本文所使用的,术语“领导者装置”可以指为多个电子装置202、204和206中的被选择为响应唤醒话语并且与智能助手服务器(例如处理服务器212)连接以提供智能助手服务的电子装置。因为仅一个电子装置被选择与处理服务器212通信,所以可以防止通信资源的浪费。
根据实施例,当多个电子装置202、204和206在同一空间中接收唤醒话语的至少一部分时,它们可以按照广播方案接收其相邻电子装置202、204和206的互联网协议(IP)地址,然后接收整个唤醒话语,然后通过用户数据报协议(UDP)通信从每个电子装置202、204和206接收关于唤醒话语的信息。此时,多个电子装置202、204和206可以基于接收到的关于唤醒话语的信息来选择领导者装置以响应唤醒话语。
图2B和图2C是示出了根据实施例的确定领导者的方法200的流程图。在图2A所示的实施例中,第一至第三电子装置202、204和206中的每一个可以有线或无线地(例如,无线保真(Wi-Fi))连接到AP 208,并且同时接收调用基于语音的智能助手服务的唤醒话语。在这种情况下,第一至第三电子装置202、204和206均可以执行图2B和图2C所示的操作。为了说明的目的,下面仅描述由第一至第三电子装置202、204和206中的第一电子装置202执行的操作。
参考图2B,在操作201中,第一电子装置202以及第二电子装置204和第三电子装置206与AP 208连接,同时从用户接收调用基于语音的智能助手服务的唤醒话语。可以在接收到唤醒话语的一部分时触发操作201。例如,当唤醒话语是“Hi,Bixby”时,接收到唤醒话语的一部分的时间可以是接收到“Hi,Bixby”中的“Hi”部分的第一时间。
在操作203中,第一电子装置202可以向第二电子装置204和第三电子装置206广播关于第一电子装置202的标识信息。例如,关于第一电子装置202的标识信息可以包括第一电子装置202的IP地址。此时,第二电子装置204和第三电子装置206中的每一个也可以在第一时间之后立即广播其自身的标识信息。因为第一电子装置202例如经由AP 208向第二电子装置204和第三电子装置206广播标识信息,所以它可能没有从第二电子装置204和第三电子装置206接收标识信息的确认(ACK)。
在操作205中,第一电子装置202可以接收从第二电子装置204和第三电子装置206广播的标识信息。例如,关于第二电子装置204和第三电子装置206的标识信息可以是第二电子装置204和第三电子装置206各自的IP地址。
当第一电子装置202接收到整个唤醒话语时,可以在第二时间之后启动操作207。第一电子装置202可以使用单独接收到的关于第二电子装置204和第三电子装置206的标识信息来发送与通过第一电子装置202的麦克风接收的唤醒话语有关的第一信息。
此时,第二电子装置204和第三电子装置206中的每一个可以使用关于其他电子装置的标识信息将与它们接收到的唤醒话语有关的信息发送给其他装置。此时,第二电子装置204可以发送第二电子装置204接收到的关于唤醒话语的第二信息,并且第三电子装置206可以发送第三电子装置206接收到的关于唤醒话语的第三信息。例如,第一至第三信息可以包括第一至第三电子装置202、204和206中的每个通过其麦克风接收到的唤醒话语的信噪比(SNR)、音频质量、声压、输入语音信号的特征值或置信度得分中的至少之一。例如,唤醒话语的置信度得分可以是指示预先存储的唤醒话语与通过麦克风接收到的唤醒话语之间的相似度的值。可以将预先存储的唤醒话语与通过麦克风接收到的唤醒话语之间的匹配度设置为从0到100的值,并且随着用户与装置之间的距离减小,相似度可能会增加。
尽管在操作203至205中,第一电子装置202向第二电子装置204和第三电子装置206广播关于第一电子装置202的标识信息,并且接收从第二电子装置204和第三电子装置206广播的标识信息,但是在存在存储的标识信息的情况下,可以省略操作203至205。例如,第一电子装置202可以接收从第二电子装置204和第三电子装置206广播的标识信息,并且将接收到的标识信息存储指定的时间。在第一UI装置202维持存储的标识信息的同时,可以省略操作203至205。
当省略操作203至205时,在操作207中,第一电子装置202可以接收整个唤醒话语,然后使用存储的标识信息来发送与唤醒话语有关的第一信息。
在操作209中,第一电子装置202可以单独地从第二电子装置204和第三电子装置206接收由第二电子装置204和第三电子装置206接收到的与唤醒话语有关的信息。例如,第一电子装置202可以从第二电子装置204接收第二信息,并从第三电子装置206接收第三信息。
在操作211中,第一电子装置202可以基于第一信息至第三信息的至少一部分来确定第一电子装置202是否将在唤醒话语之后接收到的语音信息发送到外部服务器。当第一信息中包括的SNR大于第二信息中包括的SNR和第三信息中包括的SNR时,第一电子装置202可以确定第一电子装置202将在唤醒话语之后接收到的语音信息发送到外部服务器。
第一信息中包括的SNR最大可以意味着当第一电子装置202的位置最靠近用户时用户使用第一电子装置202发出语音命令的唤醒话语的可能性更大。因为被识别为具有更大SNR的电子装置可以更精确地执行语音识别,所以如果第一电子装置202接收比其他电子装置(例如,第二电子装置204和第三电子装置设备206)的信噪比相对更大的信噪比的语音,则第一电子装置202可以将自己确定为领导者装置并发送语音信息。然而,当第一电子装置202中包括的SNR小于第二信息中包括的SNR和第三信息中包括的SNR时,第一电子装置202可以确定不将在唤醒话语之后接收到的语音信息发送到外部服务器。
尽管在上面的示例中,第一电子装置202已经被识别为具有更大的SNR,但是第一电子装置202可能不是位置最靠近用户的电子装置。例如,当第一电子装置202是用于确保远程识别性能的噪声消除和音量应用解决方案的装置时,其可能被识别为比实际上更靠近用户的电子装置(例如,第二电子装置204和第三电子装置206)具有更大的SNR。为了防止这种情况的发生,第一电子装置202可以基于第一信息中包括的唤醒话语的置信度得分和第三信息中包括的唤醒话语的置信度得分来确定第一电子装置202自身将在唤醒话语之后接收到的语音信息发送给外部服务器。
当第一信息中包括的SNR比第二信息中包括的SNR大特定值(例如,10)时,第一电子装置202可以将在唤醒话语之后接收到的语音信息发送到外部服务器。当第一信息中包括的SNR与第二信息中包括的SNR之差小于特定值时,第一电子装置202可以在考虑第一信息和第二信息中包括的其他元素的情况下确定第一电子装置202自身是否将在唤醒话语之后接收到的语音信息发送给外部服务器。例如,当第一信息中包括的SNR与第二信息中包括的SNR之差小于特定值时,第一电子装置202可以在考虑唤醒话语的置信度得分的情况下确定第一电子装置202自身是否将在唤醒话语之后接收到的语音信息发送到外部服务器。作为另一示例,当第一信息中包括的SNR与第二信息中包括的SNR之差小于特定值时,第一电子装置202可以在考虑到状态信息的情况下确定第一电子装置202自身是否将在唤醒话语之后接收到的语音信息发送到外部服务器。例如,状态信息可以包括指示第一电子装置202是否处于屏幕开启状态、用户是否在特定时间内使用了该装置、或者先前是否已经设置了电子装置的优先级的信息。这样,当基于除SNR之外的其他附加状态信息确定领导者装置时,下面参考图9B描述装置之间的状态信息交换。
图2C是示出了根据实施例的确定领导者的方法的流程图。为了避免多余的解释,从下面的描述中省略了与上述图2B的操作基本相似的图2C的操作。
参考图2C,在操作231中,第一电子装置202以及第二电子装置204和第三电子装置206与AP 208连接,同时从用户接收调用基于语音的智能助手服务的唤醒话语。操作231可以与图2B的操作201相同。
在操作233中,第一电子装置202可以向第二电子装置204和第三电子装置206广播关于第一电子装置202的标识信息。操作233可以与图2B的操作203相同。
在操作235中,第一电子装置202可以接收从第二电子装置204和第三电子装置206广播的标识信息。操作235可以与图2B的操作205相同。
在操作237中,第一电子装置202可以接收整个唤醒话语。当第一电子装置202接收到整个唤醒话语时,可以在第二时间之后启动操作237。
在操作239中,第一电子装置202可以确定是否满足预设条件。例如,预设条件可以是当第一电子装置202与用户交互时或当用户先前将第一电子装置202设置为执行语音命令的装置时。例如,当第一电子装置202正在提供基于语音的智能助手服务(例如,通过基于语音的智能助手服务播放音乐或进行文本语音转换(TTS)或输入后续命令)时,第一电子装置202可以确定满足了预设条件。例如,当用户将第一电子装置202设置为具有最高优先级时,第一电子装置202可以确定满足了预设条件。
在确定满足了预设条件时,在操作241中,第一电子装置202可以确定将在唤醒话语之后接收到的语音信息发送到外部服务器。例如,当第一电子装置202与用户交互时或当第一电子装置202被设置为具有最高优先级时,第一电子装置202可以确定第一电子装置202将语音信息发送到外部服务器。换言之,当满足预设条件时,第一电子装置202可以将自身(第一电子装置202)确定为领导者装置,而无需考虑通过麦克风从至少一个外部电子装置接收到的关于唤醒话语的信息(即,不执行图2B的操作207和209)。因此,当第一电子装置202与用户交互时,尽管第二电子装置204和第三电子装置206接收到用户的话语,但是第一电子装置202也可以用作领导者装置。
当在操作239中确定满足预设条件时,第一电子装置202可以在操作243中将通过麦克风接收到的与唤醒话语的强度有关的第一信息分别发送到第二电子装置204和第三电子装置206。操作243可以与图2B的操作207相同。
在操作245中,第一电子装置202可以单独地从第二电子装置204和第三电子装置206接收由第二电子装置204和第三电子装置206所接收的关于唤醒话语的信息。操作245可以与图2B的操作209相同。
在操作247中,第一电子装置202可以基于第一信息至第三信息的至少一部分来确定第一电子装置202是否将在唤醒话语之后接收到的语音信息发送到外部服务器。操作247可以与图2B的操作211相同。
尽管结合图2B和图2C的描述假定接收到唤醒话语并且语音命令是单独接收到的,但是可以连续地执行唤醒话语的接收和语音命令的接收(例如,无缝命令)。当接收到无缝命令时,如果第一电子装置202是不能处理无缝命令的装置,则第一电子装置202可以不发送第一信息,并且当第一电子装置202是能够处理无缝命令的装置时,第一电子装置202可以将第一信息发送到至少一个外部电子装置中的每个外部电子装置。因此,当用户发出无缝命令时,可以在能够处理无缝命令的装置中识别领导者装置。
图3示出了根据实施例的接收唤醒命令的一部分以接收关于至少一个外部电子装置的标识信息的操作。
参考图3,下面更详细地描述如在图2B的操作201中那样接收唤醒话语的一部分的实施例。如图所示,第一电子装置202可以包括麦克风301、数字信号处理器(DSP)303和应用处理器305。
麦克风301可以用于第一电子装置202以接收语音信息。DSP 303可以一直处于活动状态,因此可以是低功耗工作的芯片。当通过麦克风接收到的语音信息包括唤醒话语的至少一部分时,DSP 303可以发送唤醒AP 305的信号。DSP 303可以将通过麦克风301接收到的SNR和语音信息发送给AP 305。
AP 305可以基于从DSP 303接收到的语音信息来检测唤醒话语并确定该用户是注册用户还是注册用户中的已被授权使用相应功能的用户。尽管图3示出了DSP 303和AP 305是分离的组件,但是DSP 303可以在AP 305中实现。例如,如图1所示,应用处理器305和DSP303可以被实现为主处理器121。
图4A和图4B示出了根据实施例的接收关于至少一个外部电子装置的标识信息的操作。
参考图4A和图4B,下面更详细地描述实施例400,其中,第一电子装置202如在图2B的操作202中那样广播标识信息并且接收从至少一个电子装置204和206广播的至少一条标识信息。在示出的实施例中,当电子装置101(例如,图2A的第一电子装置202)、第一外部电子装置401(例如,图2A的第二电子装置204)和第二外部电子装置403(例如,图2A的第三电子装置206)彼此靠近布置并且用户发出语音信息时,电子装置101、第一外部电子装置401和第二外部电子装置403都可以接收语音信息。根据实施例,电子装置101、第一外部电子装置401和第二外部电子装置403可以连接到一个AP 405(例如,图2A的AP 208)。尽管图4A和图4B示出了电子装置101通过AP 405广播标识信息,但是本公开的实施例不限于此。例如,电子装置101可以向第一外部电子装置401和第二外部电子装置403直接广播标识信息。
参考图4A,在操作413中,在通过麦克风接收到语音信息411之后,电子装置101可以向AP 405发送IP地址。例如,通过麦克风接收到的语音信息411可以是唤醒话语的一部分。当接收到语音信息411时,电子装置101的DSP可以被唤醒并将IP地址发送到AP 405。
在操作415中,在从电子装置101接收到IP地址之后,AP 405可以将电子装置101的IP地址发送到与AP 405连接的第一外部电子装置401和第二外部电子装置403。
在操作417和操作419中,第一外部电子装置401和第二外部电子装置403可以从AP405接收电子装置101的IP地址。
例如,如图4B中所示,当电子装置101通过AP 405广播关于电子装置101的标识信息441时,第一外部电子装置401可以存储关于第一外部电子装置401的标识信息443以及关于电子装置101的标识信息441。当电子装置101通过AP 405广播关于电子装置101的标识信息441时,第二外部电子装置403可以存储关于第二外部电子装置403的标识信息445以及关于电子装置101的标识信息441。
再次参考图4A,在操作421中,当接收到语音信息411时,第一外部电子装置401的DSP可以被唤醒,以便将第一外部电子装置401的IP地址发送到AP 405。
在操作423中,在从第一外部电子装置401接收到IP地址后,AP 405将第一外部电子装置401的IP地址发送到与AP 405连接的电子装置101和第二外部电子装置403。在操作425和操作427中,电子装置101和第二外部电子装置403从AP 405接收第一外部电子装置101的IP地址。
在操作429中,当接收到语音信息411时,第二外部电子装置403的DSP可以被唤醒,以便将第二外部电子装置401的IP地址发送到AP 405。在操作431中,在从第二外部电子装置101接收到IP地址之后,AP 405将第二外部电子装置403的IP地址发送到与AP 405连接的电子装置101和第一外部电子装置401。在操作433和操作435中,电子装置101和第一外部电子装置401可以从AP 405接收第二外部电子装置101的IP地址。
尽管图4A示出了AP 405一次接收和发送一个IP地址,但是可以在发送之前接收多个IP地址,然后可以一起发送该多个IP地址。例如,在操作415中,AP 405可以一起发送电子装置101的IP地址和第一外部电子装置401的IP地址,而不是发送电子装置101自己的IP地址。
图5示出了根据实施例的接收关于至少一个外部电子装置的标识信息的操作。
在图5中,下面描述实施例500,其中,在图2的操作205中,电子装置101(例如,图2A的第一电子装置202)广播标识信息并接收从至少一个外部电子装置广播的标识信息。例如,在关于图5的描述中可以假定电子装置101、第一外部电子装置501(例如,图2A的第二电子装置204)和第二外部电子装置503(例如,图2A的第三电子装置206)被布置在任何空间中,并且在如下环境中执行操作:当用户发出语音信息,电子装置101、第一外部电子装置501和第二外部电子装置503都能够接收语音信息并且电子装置101、第一外部电子装置501和第二外部电子装置503与一个AP 505(例如,图2A的AP 208)连接时。AP 505可以实现为管理周围装置的IP地址列表的单独的装置。
参考图5,在操作515中,在通过麦克风接收到语音信息511之后,电子装置101向AP505发送对IP地址列表的请求。通过麦克风接收到的语音信息511可以是唤醒命令的一部分。当接收到语音信息511时,可以唤醒电子装置101的DSP,以便将对IP地址列表的请求发送给AP 505。
在操作517,在从电子装置101接收到IP地址列表请求时,AP 505发送包括与AP505连接的电子装置101、第一外部电子装置501和第二外部电子装置503的IP地址的IP地址列表。在操作519中,电子装置101接收并存储IP地址列表。存储的IP地址列表可以稍后用于发送唤醒命令信息。
AP 505可能预先识别了所连接的电子装置的IP地址并存储IP地址。例如,AP 505可以生成并预先存储IP地址列表。
在操作521中,在通过麦克风接收到语音信息511之后,第一外部电子装置501向AP505发送对IP地址列表的请求。在操作523中,在从第一外部电子装置501接收到IP地址列表请求时,AP 505发送包括与AP 505连接的电子装置101、第一外部电子装置501和第二外部电子装置503的IP地址的IP地址列表。在操作525中,第一外部电子装置501接收并存储该IP地址列表。
在操作527中,在通过麦克风接收到语音信息511之后,第二外部电子装置503向AP505发送对IP地址列表的请求。在操作529中,在从第一外部电子装置501接收到IP地址列表请求时,AP 505发送包括与AP 505连接的电子装置101、第一外部电子装置501和第二外部电子装置503的IP地址的IP地址列表。在操作531中,第二外部电子装置503接收并存储该IP地址列表。
图6A和图6B示出了根据实施例的发送关于唤醒命令的信息的操作。
参考图6A和图6B,下面描述实施例600,其中,在图2的操作207中,电子装置101(例如,图2A的第一电子装置202)将关于唤醒话语的第一信息发送到至少一个第一外部电子装置601(例如,图2A的第二电子装置204)或第二外部电子装置603(例如,图2A的第三电子装置206)。
例如,如图6A中所示,在操作611中,电子装置101可以生成(611)或识别与AP 605(例如,图2A的AP 208)连接的至少一个外部电子装置601和603的IP地址列表。在操作617中,电子装置101可以通过麦克风接收整个唤醒话语。例如,电子装置101可以接收语音信息,并确定是否接收到整个唤醒话语。在操作623中,在接收到唤醒话语之后,电子装置101可以将关于唤醒话语的第一信息发送到第一外部电子装置601和第二外部电子装置603。例如,第一信息可以包括接收到的唤醒话语的SNR、音频质量、音量、声压或置信度得分中的至少一项。例如,如图6B所示,在操作631和操作633中,电子装置101可以通过用户数据报协议(UDP)通信将第一信息发送到第一外部电子装置601和第二外部电子装置603中的每一个。在操作635和操作637中,电子装置101可以从第一外部电子装置601和第二外部电子装置603接收(635和637)与第一信息的传输相对应的ACK。电子装置101可以通过一对N通信将第一信息发送给第一外部电子装置601和第二外部电子装置603中的每一个并接收ACK,从而识别每个外部电子装置601和603是否已经接收到第一信息。当电子装置101未接收到ACK时,电子装置101可以将第一信息重新发送到相应的外部电子装置。电子装置101可以通过不将第一信息重新发送到已经接收到ACK的外部电子装置来最小化传输计数。
参考图6A,在操作613中,第一外部电子装置601可以生成与AP 605连接的电子装置101和第二外部电子装置603的IP地址列表。在操作619中,第一外部电子装置601通过麦克风接收整个唤醒话语并且在操作625中将关于唤醒话语的第二信息发送到电子装置101和第二外部电子装置603。例如,第二信息可以包括通过第一外部电子装置601的麦克风接收到的唤醒话语的SNR、音频质量、音量、声压或置信度得分中的至少一项。
在操作615中,第二外部电子装置603可以生成与AP 605连接的电子装置101和第一外部电子装置601的IP地址列表。第二外部电子装置603可以在操作621中通过麦克风接收整个唤醒话语并且在操作627中将关于唤醒话语的第三信息发送到电子装置101和第一外部电子装置601。例如,第三信息可以包括通过第二外部电子装置603的麦克风接收到的唤醒话语的SNR、音频质量、音量、声压或置信度得分中的至少一项。
尽管电子装置101、第一外部电子装置601和第二外部电子装置603接收到由用户发出的相同的唤醒话语,但是第一信息、第二信息和第三信息可以彼此不同,这取决于电子装置101、第一外部电子装置601和第二外部电子装置603的布置位置以及周围环境。
图7是示出了根据实施例的发送关于唤醒命令的信息的方法的流程图。
参考图7,下面描述实施例700,在该实施例中,在图2的操作207中,第一电子装置202将关于唤醒话语的第一信息发送到至少一个第二电子装置204或第三电子装置206。图7是示出了根据实施例的发送关于唤醒话语的信息的操作的图。
参考图7,在操作701中,第一电子装置202可以接收语音信息。在操作703中,第一电子装置202可以确定接收到的语音信息是否是唤醒话语。例如,唤醒话语可以是“Bixby”、“Siri”或“Alexa”之一。例如,第一电子装置202可以使用关键字识别算法来确定语音信息是否是唤醒话语,以仅提取和识别要识别的词语。
在操作705中,当接收到的语音信息不是唤醒话语时,第一电子装置202可以忽视接收到的语音信息。
在操作707中,当接收到的语音信息是唤醒话语时,第一电子装置202可以确定接收到的语音信息是否是由注册说话者发出的话语。例如,电子装置101可以使用说话者识别算法确定接收到的语音信息是否是由注册说话者发出的话语,以识别特定说话者的语音。
在操作705中,当接收到的语音信息不是由注册说话者发出的话语时,第一电子装置202可以忽视接收到的语音信息。
在操作709中,当接收到的语音信息是由注册说话者发出的话语时,第一电子装置202可以确定接收到的语音信息是否是由注册说话者中的被授权使用第一电子装置202的人发出的话语。例如,第一电子装置202可以使用说话者识别算法来确定接收到的语音信息是否是由注册说话者中的被授权使用第一电子装置202的人发出的话语,以识别特定说话者的语音。例如,当第一电子装置202是智能手机时,仅智能手机用户可以是被授权使用智能手机的注册人。例如,在已经在第一电子装置202中注册的说话者A、说话者B和说话者C中,仅说话者A可以被授权使用第一电子装置202。
在操作705中,当接收到的语音信息是由注册说话者中的未被授权使用第一电子装置202的人发出的话语时,第一电子装置202可以忽视接收到的语音信息。
在操作711,当接收到的语音信息是由注册说话者中的被授权使用第一电子装置202的人发出的话语时,第一电子装置202可以将与唤醒话语有关的信息发送到至少一个第二电子装置204或第三电子装置206并接收其ACK。因为仅当唤醒话语是由注册说话者中的被授权使用第一电子装置202的人发出的话语时才将与唤醒话语有关的信息发送到外部电子装置,所以可以防止第一电子装置202由于未被授权使用第一电子装置202的人发出的语音信息而参加确定领导者装置的竞争。
图8A和8B示出了根据实施例的接收关于唤醒命令的信息的操作。
参考图8A和8B,以下描述了实施例800和810,在实施例800和810中,在图2的操作209中,电子装置101(例如,图2A的第一电子装置202)从第一外部电子装置801(例如,图2A的第二电子装置204)和第二外部电子装置803(例如,图2A的第三电子装置206)接收由至少一个外部电子装置801和803接收到的关于唤醒话语的信息。
例如,如图8A所示,电子装置101可以生成(811)与AP 805(例如,图2A的第三电子装置206)连接的第一外部电子装置801和第二外部电子装置803的IP地址列表。
在操作813中,电子装置101可以通过麦克风接收整个唤醒话语。
在操作815中,在接收到唤醒话语之后,电子装置101可以将关于唤醒话语的第一信息发送到第一外部电子装置801和第二外部电子装置803。
当在操作817中第一外部电子装置801发送由第一外部电子装置801接收到的关于唤醒话语的第二信息时,在操作819中,电子装置101可以在发送第一信息之后并且在经过保护时间825之前接收第二信息。
当在操作821中第二外部电子装置803发送由第二外部电子装置803接收到的关于唤醒话语的第三信息时,在操作823中,电子装置101可以在发送第一信息之后并且在经过保护时间825之前接收第三信息。在这种情况下,电子装置101可以确定在保护时间825内从包括在IP地址列表中的所有外部电子装置801和803接收到关于唤醒话语的信息。
作为另一示例,当在保护时间825内包括在IP地址列表中的外部电子装置中识别出没有发送关于唤醒话语的信息的外部电子装置时,电子装置101可以另外请求识别出的外部电子装置来发送关于唤醒话语的信息,从而从所有外部电子装置接收关于唤醒话语的信息。
例如,如图8B所示,在操作841中,电子装置101可以生成与AP 805连接的第一外部电子装置801和第二外部电子装置803的IP地址列表。在操作843中,电子装置101可以通过麦克风接收整个唤醒话语。
在操作845中,在接收到唤醒话语之后,电子装置101可以将关于唤醒话语的第一信息发送到第一外部电子装置801和第二外部电子装置803。
当在操作847中第一外部电子装置801发送由第一外部电子装置801接收到的关于唤醒话语的第二信息时,在操作849中电子装置101可以在发送第一信息之后并且在经过保护时间853之前接收第二信息。电子装置101可以在发送第一信息之后,在保护时间853内确定其未能从IP地址列表中包括的外部电子装置中的第二外部电子装置805中接收到关于唤醒话语的信息,并且向第二外部电子装置805发送针对由第二外部电子装置805接收到的关于唤醒话语的第三信息的附加请求851。
因为电子装置101在IP地址列表中包括的外部电子装置中确定出不发送关于唤醒话语的信息的外部电子装置并发送附加请求,所以在确定领导者装置时可以防止错失任何外部电子装置。
图9A、图9B和图9C示出了根据实施例的确定是否将语音信息发送到外部服务器的操作。
参考图9A至图9C,下面描述在图2的操作211中第一电子装置202确定是否将在唤醒话语之后接收到的语音信息发送到外部服务器的实施例。第一电子装置202可以存储从多个电子装置广播的标识信息。例如,从多个电子装置广播的标识信息可以是IP地址,例如如图9A所示的10.251.xx.1(913)、10.251.xx.2(915)和10.251.xx.4(917)。第一电子装置202可以从与包括在IP地址列表中的标识信息相对应的多个电子装置接收关于唤醒话语的信息,并且以表910的形式存储该信息。与唤醒话语有关的信息可以是由每个电子装置接收到的唤醒话语的SNR,例如50(921)、60(923)或70(925)。第一电子装置202可以存储关于第一电子装置202的标识信息(即,10.251.xx.3)(911),以及由第一电子装置202接收到的唤醒话语的SNR(即,100)(919)。当第一电子装置202的SNR在表910中存储的SNR中为最大时,第一电子装置202可以确定将在唤醒话语之后接收到的语音信息发送到外部服务器。
参考图9B,从多个电子装置广播的标识信息可以是IP地址,例如10.251.xx.1(953)、10.251.xx.2(955)和10.251.xx.4(957)。第一电子装置202可以从与包括在IP地址列表中的标识信息相对应的多个电子装置接收关于唤醒话语的信息,并且以表950的形式存储该信息。例如,与唤醒话语有关的信息可以是由每个电子装置接收到的唤醒话语的置信度得分,例如20(961)、30(963)或40(965)。第一电子装置202可以存储关于第一电子装置202的标识信息(即,10.251.xx.3)(951)以及由第一电子装置202接收到的唤醒话语的置信度得分(即,80)(959)。当第一电子装置202的唤醒话语的置信度得分在表950中存储的唤醒话语的置信度得分中为最大时,第一电子装置202可以确定将在唤醒话语之后接收到的语音信息发送到外部服务器。
将在唤醒话语之后接收到的语音信息发送到外部服务器的电子装置可以是领导者装置。尽管这样的示例被描述为基于唤醒话语的SNR或置信度得分的比较来确定领导者装置,但是也可以基于唤醒话语的至少一种属性(例如音频质量、音量、或声压)来确定领导者装置。
还可以考虑关于第一电子装置202或多个电子装置的状态信息以及唤醒话语的属性来确定领导者装置。例如,状态信息可以包括关于第一电子装置202的类型信息、关于在第一电子装置202上运行的应用的信息、用户与第一电子装置202之间的距离或第一电子装置202的能力中的至少一个。参考图9C,下面描述第一电子装置202基于状态信息和关于唤醒话语的信息来确定领导者装置的实施例。
例如,如图9C所示,用户931可以在唤醒话语之后发出语音信息,例如“Hi,Bixby!(933),今天的天气如何?(935)”。电子装置101(例如,图2A的第一电子装置202)可以算出“Hi,Bixby!(933)”的SNR为80(937),并且确定与用户的接近度为近(939)。电子装置101可以接收第一外部电子装置901(例如,图2A的第二电子装置204)与用户的接近度为远(943),并且可以接收由第一外部电子装置901计算的“Hi,Bixby!(933)”的SNR值80(941)。尽管其自身的SNR与第一外部电子装置901的SNR相同,但是电子装置101可以基于与用户的接近度确定电子装置101是领导者装置。
作为另一示例,当电子装置101是TV并且正在运行图像播放应用时,可以确定不将在唤醒话语之后接收到的语音信息发送到外部服务器(即,它不是领导者装置),而不管由电子装置101接收到的关于唤醒话语的信息如何。如果电子装置101将在唤醒话语之后接收到的语音信息发送到外部服务器,则可能需要从外部服务器接收与语音信息相对应的命令并执行命令。因此,可以首先确定当前正在运行的应用。
当电子装置101被确定为领导者装置时,电子装置101可以与外部服务器连接并且将在唤醒话语之后接收到的语音信息发送到外部服务器。
图10示出了根据实施例的接收语音信息并将语音信息发送到外部服务器的操作。
参考图10,下面描述当电子装置101(例如,图2A的第一电子装置202)被确定为领导者装置时由电子装置101执行的操作。图10是示出了根据实施例的接收语音信息并将语音信息发送到外部服务器的操作的图。如图10所示,当电子装置101被确定为领导者装置时,电子装置101可以向外部服务器1009(例如,图2A的处理服务器212)发送(1011)指示电子装置101是领导者装置的信号并通过AP 1007(例如,图2A的AP 208)向第一外部电子装置1001(例如,图2A的第二电子装置204)、第二外部电子装置1003(例如,图2A的第三电子装置206)和第三外部电子装置1005广播(1013、1015、1017和1019)指示电子装置101是领导者装置的信号。电子装置101可以通过1:N(可靠多播传输协议)通信向与AP 1007连接的第一外部电子装置1001、第二外部电子装置1003和第三外部电子装置1005发送(1021、1023和1025)指示电子装置101是领导者装置的信号并接收ACK(1027、1029和1031)。
因为电子装置101向AP 1007以及与AP 1007连接的多个外部电子装置1001、1003和1005发送指示电子装置101是领导者装置的信号时,所以可以防止与AP 1007连接的多个外部电子装置1001、1003和1005将语音信息发送到外部服务器1009。
图11是示出了根据实施例的根据选择领导者来发送语音信息的操作的流程图(1100)。
在图11中,选择领导者装置可能意味着电子装置确定并通知外部服务器电子装置本身是领导者装置,并且由外部服务器确认它是领导者装置。
在操作1101中,根据实施例,电子装置101(例如,处理器120)可以将指示电子装置是领导者装置的领导者信息发送到外部服务器或集线器装置。例如,集线器装置可以是提供智能助手服务的电子装置之一,或者可以是具有管理电子装置的功能的家用电器,例如电缆盒。
在操作1103中,电子装置101可以从外部服务器或集线器装置接收领导者选择。领导者选择可以是外部服务器或集线器装置响应于来自电子装置101的领导者信息发送指示它是领导者的信号。
在操作1105中,根据实施例,在从外部服务器或集线器装置接收到领导者选择后,电子装置101可以接收语音信息。语音信息可以是由用户发出的使用智能助手服务的语音命令。例如,语音信息可以是询问(例如,“今天的天气预报是什么?”)或命令(例如“播放音乐播放列表1”)。
在操作1107中,根据实施例,电子装置101可以将接收到的语音信息发送到外部服务器。例如,电子装置101可以将接收到的语音信息发送到外部服务器,并且外部服务器可以分析该语音信息。或者,电子装置101可以将通过分析语音信息而得到的数据发送到外部服务器。
根据实施例,如果在操作1103中没有从外部服务器或集线器装置接收到领导者选择,则电子装置101可以在操作1109中接收语音信息。
根据实施例,在操作1111中,电子装置101可以忽视接收到的语音信息。如果没有从外部服务器或集线器装置接收到领导者选择,则电子装置101可能不是领导者装置。例如,尽管在与连接了电子装置101的AP连接的多个外部电子装置中,电子装置101已经确定其自身是领导者装置,但是由于不与AP连接的外部电子装置的竞争,电子装置101可能未被选择为领导者装置。在这种情况下,被选择为领导者装置的外部电子装置可以发送语音信息,因此,电子装置101尽管接收到语音信息,但是会忽视接收到的语音信息。
图12A和图12B是示出了根据实施例的根据选择领导者来发送语音信息的操作的图。图12A和图12B假定如下环境:电子装置101、第一外部电子装置1201和第二外部电子装置1203与第一AP连接,并且第二外部电子装置1203、第三外部电子装置1205和第四外部电子装置1207与第二AP连接。
参考图12A,当外部服务器1211确定领导者装置时,电子装置101可以仅使用从与第一AP连接的第一外部电子装置1201和第二外部电子装置1203接收到的关于唤醒话语的信息来确定电子装置101本身是领导者装置,并且在操作1213中将指示电子装置101是领导者装置的领导者信息发送到外部服务器1211。在与第二AP连接的外部电子装置1203、1205和1207中具有最高SNR的第三外部电子装置1205可以确定第三外部电子装置1205是领导者装置,并且在操作1215中将指示第三外部电子装置1205是领导者装置的领导者信息发送到外部服务器1211。
执行在唤醒话语之后接收到的语音信息的电子装置(即,领导者装置)的数量为一个。因此,在从电子装置101和第三外部电子装置1205接收到领导者信息时,外部服务器1211可以确定领导者装置,并且在操作1217中,将指示其已被选择为领导者装置的领导者选择发送给电子装置101。例如,外部服务器1211可以将领导者装置确定为具有电子装置101的唤醒话语的更大的SNR和/或更大的置信度得分的电子装置101和已经发送了领导者信息的第三外部电子装置1205。
参考图12B,当第二外部电子装置1203操作为集线器装置时,电子装置101可以仅使用从与第一AP连接的第一外部电子装置1201和第二外部电子装置1203接收到的关于唤醒话语的信息来确定电子装置101本身是领导者装置,并且在操作1221中将指示电子装置101是领导者装置的领导者信息发送到第二外部电子装置1203。在与第二AP连接的外部电子装置1203、1205和1207中具有最高SNR的第三外部电子装置1205可以确定第三外部电子装置1205是领导者装置,并且在操作1223中将指示第三外部电子装置1205是领导者装置的领导者信息发送到第二外部电子装置1203。第二外部电子装置1203可以确定电子装置101是领导者装置,并且在操作1225中将领导者选择发送给电子装置101。尽管第二外部电子装置1203在图12B中操作为集线器装置,但是集线器装置可以是单独的装置。
图13是示出了根据实施例的改变领导者的方法的流程图(1300)。
参考图13,在步骤1301中,根据实施例,电子装置101(例如,处理器120)可以通过例如通信模块190将指示电子装置101是领导者装置的领导者信息发送到外部服务器。
在操作1303中,根据实施例,电子装置101可以输出与唤醒话语相对应的响应。例如,电子装置101可以通过扬声器输出与用户发出的“Hi,Bixby”相对应的“输入命令”。或者,电子装置101可以对应于用户发出的“Hi,Bixby”通过在显示器上闪烁来通知用户接收到唤醒话语。
在操作1305中,根据实施例,电子装置101可以接收指示领导者改变的语音信息。因为用户可以使用第一外部电子装置来调用智能助手服务,所以尽管电子装置101已经被确定为领导者装置,但是仍然可以将用于将领导者装置改变为第一外部电子装置的语音信息输入到电子装置101。
在操作1307中,根据实施例,电子装置101可以根据处理指示领导者改变的语音信息的结果来获得关于领导者改变的信息。例如,电子装置101可以将指示领导者改变的语音信息发送给外部服务器并且从外部服务器接收关于领导者改变的信息。作为另一示例,电子装置101可以处理指示领导者改变的语音信息并且判断关于领导者改变的信息。
在操作1309中,根据实施例,电子装置101可以接收在唤醒话语之后接收到的语音信息。
在操作1311中,根据实施例,电子装置101可以忽视接收到的语音信息。例如,当接收到指示领导者改变的语音信息时,领导者装置可以从电子装置101改变为另一外部电子装置。由于电子装置101不再是领导者装置,因此电子装置101可以忽视接收到的语音信息。
图14A是示出了根据实施例的确定领导者的方法的流程图1400。
参考图14A,在操作1401中,根据实施例,电子装置101接收语音信息。例如,语音信息可以包括调用智能助手服务的唤醒话语和用于智能助手服务的语音命令。
在操作1403中,根据实施例,电子装置101可以确定语音识别的等级是否大于第一阈值。例如,第一阈值可以是唤醒话语的一部分,例如,指示“Hi,Bixby”的一部分“Hi”或者“Alexa”的一部分“Alex”的值。例如,第一阈值可以是指示相对于整个唤醒话语的匹配比例的值。电子装置101可以识别接收到的语音信息与整个唤醒话语之间的匹配率并且识别匹配率是否超过第一阈值。当在操作1403中语音识别的等级不大于第一阈值时,电子装置101可以返回到操作1401以接收语音信息。
当在操作1403中语音识别的等级大于第一阈值时,电子装置101可以在操作1405中在第一保护时间内收集周围的IP地址。第一保护时间可以是在确定语音识别的等级大于第一阈值的时间之后的任何时间,并且可以例如为100ms至150ms。收集IP地址可以意味着接收与连接了电子装置101的AP连接的至少一个外部电子装置的IP地址。通过接收部分唤醒话语并收集周围的IP地址,电子装置101可以在接收到整个唤醒话语并算出SNR时在周围的IP地址处立即发送SNR。
在操作1407中,根据实施例,电子装置101可以检测唤醒话语。例如,电子装置101可以使用仅提取并识别用于识别的目标词的“关键词识别”来检测唤醒话语。
在操作1409中,根据实施例,在检测到唤醒话语时,电子装置101可以计算唤醒话语的SNR并且在收集的IP地址处发送计算出的SNR。例如,电子装置101可以通过UDP通信在周围的IP地址处发送SNR并且从与周围的IP地址相对应的外部电子装置接收ACK。
在操作1411中,电子装置101可以确定其是否在第二保护时间内从IP地址的所有外部电子装置接收到SNR。例如,第二保护时间可以是在操作1409中电子装置101发送唤醒话语的SNR时的时间之后的任何时间。
在操作1413中,在操作1411中,在第二保护时间内未能从IP地址的所有外部电子装置接收到SNR时,电子装置101可以向没有接收到SNR的外部电子装置发送对SNR的附加请求。
例如,如果电子装置101存储了第一外部电子装置和第二外部电子装置的IP地址,并且在第二保护时间内从第一外部电子装置接收SNR,则电子装置101可以向第二外部电子装置发送对SNR的附加请求。在这样的操作中,电子装置101可以从与AP连接的所有外部电子装置接收SNR。
在操作1411中在第二保护时间内从IP地址的所有外部电子装置接收到SNR之后,在操作1415中,根据实施例,电子装置101可以基于多个接收到的SNR来确定领导者装置。例如,电子装置101可以将从与AP连接的多个外部电子装置接收到的SNR与通过麦克风接收到的唤醒话语的SNR进行比较,从而确定领导者装置。例如,当通过麦克风接收到的唤醒话语的SNR最大时,电子装置101可以确定电子装置101本身是领导者装置。
在操作1417中,电子装置101可以向周围的外部电子装置通知电子装置101是领导者装置,并且接收响应ACK。例如,电子装置101可以经由UDP通信向与AP连接的每个外部电子装置发送指示电子装置101是领导者装置的信号并接收ACK。电子装置101可以将指示电子装置101是领导者装置的信号重新发送到没有从其接收到ACK的任何外部电子装置。
在操作1419中,根据实施例,在电子装置101可以从与AP连接的每个外部电子装置接收到ACK之后向外部服务器发送语音命令。
如上所述,根据实施例,电子装置101可以接收唤醒话语的一部分,收集周围的外部电子装置的IP地址,检测唤醒话语,将唤醒话语的SNR发送到收集到的IP地址,并从周围的外部电子装置接收SNR,从而确定领导者装置。因此,可以确定在与AP连接的多个电子装置中执行用户的语音命令的一个装置。
图14B是示出根据实施例的确定领导者的方法的流程图1450。
参考图14B,在操作1451中,根据实施例,电子装置101(例如,处理器120)可以接收语音信息。
在操作1453中,根据实施例,电子装置101可以确定语音识别的等级是否大于第一阈值。
在操作1455中,电子装置101可以在第一保护时间内收集周围的IP地址。
在操作1457中,根据实施例,电子装置101可以检测唤醒话语。操作1451至操作1457与以上结合图14A描述的操作1401至操作1407相同,因此,未给出其详细描述。
在操作1459中,根据实施例,一旦检测到唤醒话语,电子装置101可以计算唤醒话语的置信度得分并且将计算出的置信度得分发送到收集的IP地址。例如,电子装置101可以通过UDP通信在周围的环境IP地址处发送置信度得分并且从与周围的环境IP地址相对应的外部电子装置接收ACK。
在操作1461中,电子装置101可以确定其是否在第二保护时间内从IP地址的所有外部电子装置接收到置信度得分。例如,第二保护时间可以是在操作1459中电子装置101发送唤醒话语的置信度得分时的时间之后的任何时间。
在操作1463中,一旦在操作1461中在第二保护时间内未能从IP地址的所有外部电子装置接收到置信度得分,电子装置101可以向没有接收到置信度得分的外部电子装置发送对置信度得分的附加请求。例如,如果电子装置101存储了第一外部电子装置和第二外部电子装置的IP地址,并且在第二保护时间内从第一外部电子装置而不是从第二外部电子装置接收到置信度得分,则电子装置设备101可以向第二外部电子装置发送对置信度得分的附加请求。在这样的操作中,电子装置101可以从与AP连接的所有外部电子装置接收置信度得分。
当电子装置101在操作1461中在第二保护时间内从IP地址的所有外部电子装置接收到置信度得分时,在操作1465中,根据实施例,电子装置101可以基于多个接收到的置信度得分来确定领导者装置。例如,电子装置101可以将从与AP连接的多个外部电子装置接收到的置信度得分与通过麦克风接收到的唤醒话语的置信度得分进行比较,从而确定领导者装置。例如,当通过麦克风接收到的唤醒话语的置信度得分最大时,电子装置101可以确定电子装置101本身是领导者装置。“置信度得分最大”可以意味着预先存储在电子装置101中的唤醒话语与通过麦克风接收到的唤醒话语之间的相似度最大,因此,可以意味着用户的唤醒话语的清晰度高。
在操作1467中,电子装置101可以向周围的外部电子装置通知电子装置101是领导者装置并且接收响应ACK。
在操作1469中,根据实施例,电子装置101可以从与AP连接的每个外部电子装置接收ACK并且向外部服务器发送语音命令。操作1467和操作1469与以上结合图14A描述的操作1417和操作1419相同,因此,未给出其详细描述。
如上所述,根据实施例,电子装置101可以接收唤醒话语的一部分,收集周围的外部电子装置的IP地址,检测唤醒话语,在收集的IP地址处发送唤醒话语的置信度得分,并从周围的外部电子装置接收置信度得分,从而确定领导者装置。因此,可以确定在与AP连接的多个电子装置中执行用户语音命令的一个装置。
图15是示出了根据实施例的确定领导者的方法的流程图(1500)。
参考图15,在操作1501中,根据实施例,电子装置101(例如,处理器120)可以接收唤醒话语的一部分,以通过麦克风来调用基于语音的智能助手服务。
在操作1503中,根据实施例,电子装置101可以确定其是否处于通过通信电路与AP连接的状态。例如,如果未与AP连接,则电子装置101可以处于经由第四代(4G)移动通信或第五代(5G)移动通信方案进行通信的状态。
在操作1505中,根据实施例,如果电子装置101经由通信电路与AP连接,则电子装置101可以广播关于电子装置101的标识信息。例如,电子装置101可以请求AP广播电子装置101的IP地址或者向与AP连接的至少一个外部电子装置广播电子装置101的IP地址。
在操作1507中,根据实施例,电子装置101可以接收从与AP连接的至少一个外部电子装置广播的至少一条标识信息。例如,电子装置101可以接收与AP连接的至少一个外部电子装置中的每一者的IP地址并且另外请求没有从其接收到IP地址的外部电子装置。
在操作1509中,根据实施例,电子装置101可以通过麦克风来接收唤醒话语并且将关于唤醒话语的第一信息发送到每个外部电子装置。具体地,电子装置101可以检测整个唤醒话语并且获得关于唤醒话语的第一信息。例如,第一信息可以包括唤醒话语的SNR、音频质量、音量或声压中的至少一项。电子装置101可以通过UDP通信将第一信息发送到至少一个外部电子装置中的每个外部电子装置。因为电子装置101通过UDP通信发送第一信息,所以电子装置101可以从至少一个外部电子装置中的每个外部电子装置接收ACK。
在操作1511中,根据实施例,电子装置101可以从至少一个外部电子装置中的每个外部电子装置接收关于唤醒话语的至少一条第二信息。例如,当电子装置101、第一外部电子装置和第二外部电子装置与AP连接时,电子装置101可以从第一外部电子装置和第二外部电子装置接收第二信息。从第一外部电子装置接收到的第二信息可以包括由第一外部电子装置接收到的唤醒话语的SNR、音频质量、音量、声压或置信度得分中的至少一项。从第二外部电子装置接收到的第二信息可以包括由第二外部电子装置接收到的唤醒话语的SNR、音频质量、音量、声压或置信度得分中的至少一项。电子装置101、第一外部电子装置和第二外部电子装置接收由用户发出的一个唤醒话语。然而,由于电子装置101、第一外部电子装置和第二外部电子装置被布置在不同的位置,所以关于唤醒话语的多条信息可能彼此不同。
在操作1513中,根据实施例,电子装置101可以基于第一信息和至少一条第二信息将第一信息发送到外部服务器。如果基于第一信息和第二信息将电子装置101确定为领导者装置,则电子装置101可以向外部服务器通知电子装置101是领导者装置并通知第一信息。
在操作1515中,根据实施例,如果在操作1503中未经由通信电路与AP连接,则电子装置101可以通过麦克风接收唤醒话语,并且将关于唤醒话语的第一信息发送给外部服务器。例如,外部服务器可以是用于选择领导者装置或智能助手服务器的服务器。
在操作1517中,根据实施例,电子装置101可以从外部服务器接收领导者信息。例如,可以基于在操作1513中发送的第一信息和在操作1515中发送的第一信息来确定领导者信息。即,可以基于关于与AP连接的多个电子装置中的被确定为领导者装置的电子装置的信息以及与关于没有与AP连接的电子装置的信息来确定领导者装置。因此,尽管电子装置101未与AP连接(即,尽管电子装置101和至少一个外部电子装置未与一个AP连接),但是可以在电子装置101与至少一个外部电子装置之中确定领导者装置。
图16是示出根据实施例的确定领导者的方法的流程图(1600)。
参考图16,在操作1601中,根据实施例,电子装置101(例如,处理器120)可以接收语音信息。例如,语音信息可以包括调用智能助手服务的唤醒话语和用于智能助手服务的语音命令。例如,唤醒话语可以是“Hi,Bixby!”而语音命令可以是“今天的天气如何?”。
在操作1603中,根据实施例,电子装置101可以确定语音识别的等级是否大于第一阈值。例如,第一阈值可以是唤醒话语的一部分,例如,作为“Hi,Bixby”的一部分“Hi”或者“Alexa”的一部分“Alex”。当语音识别的等级不大于第一阈值时,电子装置101可以返回操作1601以接收语音信息。
根据实施例,当在操作1605中语音识别的等级不大于第一阈值时,在操作1605中,电子装置101可以确定其是否处于与AP连接的状态。
在操作1607中,根据实施例,如果与AP连接,则电子装置101可以在第一保护时间内收集周围的环境IP地址。第一保护时间可以是在确定语音识别的等级大于第一阈值的时间之后的任何时间,并且可以例如是100ms至150ms。
在操作1609中,根据实施例,电子装置101可以检测唤醒话语。例如,电子装置101可以使用仅提取并识别用于识别的目标词的“关键词识别”来检测唤醒话语。
在操作1611中,根据实施例,在检测到唤醒话语时,电子装置101可以计算唤醒话语的SNR,并且将计算出的SNR发送到收集的IP地址。例如,电子装置101可以通过UDP通信将SNR发送到周围的IP地址,并且从与周围的IP地址相对应的外部电子装置接收ACK。
在操作1613中,电子装置101可以确定其是否在第二保护时间内从IP地址的外部电子装置接收到所有SNR。例如,第二保护时间可以是在操作1409中电子装置101发送唤醒话语的SNR时的时间之后的任何时间。
在操作1615中,当在操作1613中在第二保护时间内未能从IP地址的所有外部电子装置接收到SNR时,电子装置101可以在操作1615中向没有从其接收到SNR的外部电子装置发送对SNR的附加请求。例如,如果电子装置101存储了第一外部电子装置和第二外部电子装置的IP地址并且在第二保护时间内接收到来自第一外部电子装置的SNR,则电子装置101可以向第二外部电子装置发送对SNR的附加请求。在这样的操作中,电子装置101可以从与AP连接的所有外部电子装置接收SNR。
在操作1617中,根据实施例,电子装置101可以基于多个接收到的SNR来确定领导者装置。例如,电子装置101可以将从与AP连接的多个外部电子装置接收到的SNR与通过麦克风接收到的唤醒话语的SNR进行比较,从而确定领导者装置。例如,当通过麦克风接收到的唤醒话语的SNR最大时,电子装置101可以确定电子装置101本身是领导者装置。
在操作1623中,根据实施例,如果未与AP连接,则当针对接收到的唤醒话语的SNR计算完成时,电子装置101可以将SNR发送到集线器装置或外部服务器。
在操作1625中,根据实施例,电子装置101可以从集线器装置或外部服务器接收指示其是领导者装置的信号。例如,集线器装置或外部服务器可以将从电子装置101接收到的SNR与从外部电子装置接收的SNR进行比较,从而确定领导者装置。在这种情况下,外部电子装置可以是在与未连接电子装置101的AP连接的多个外部电子装置中的被确定为领导者装置的装置。
在操作1619中,电子装置101可以向周围的外部电子装置通知电子装置101是领导者装置并且接收响应ACK。例如,如果与AP连接,则电子装置101可以经由UDP通信向与AP连接的每个外部电子装置发送指示电子装置101是领导者装置的信号并接收ACK。电子装置101可以将指示电子装置101是领导者装置的信号重新发送到没有从其接收到ACK的外部电子装置。
在操作1621中,根据实施例,电子装置101可以从与AP连接的每个外部电子装置接收ACK并且向外部服务器发送语音命令。
尽管在关于图16的描述中使用唤醒话语的SNR来确定领导者装置,但这仅是示例。还可以基于唤醒话语的置信度得分或者唤醒话语的SNR和置信度得分两者来确定领导者装置。例如,当在多个唤醒话语的置信度得分中外部电子装置的最大置信度得分与电子装置101的唤醒话语的置信度得分之间的差值在阈值内时,可以使用外部电子装置的SNR和电子装置101的SNR来确定领导者装置。
作为另一示例,当多个SNR中的外部电子装置的最大SNR与电子装置101的SNR之间的差值在阈值内时,可以使用外部电子装置的唤醒话语的置信度得分和电子装置101的置信度得分来确定领导者装置。
如上所述,根据实施例,如果未与AP连接,则电子装置101可以将关于唤醒话语的信息直接发送到外部服务器或集线器装置并且接收指示领导者装置的信息。因此,即使未与AP连接,电子装置101也可以跟与AP连接(即,使用其他通信方案)的至少一个外部电子装置参与确定领导者装置的竞争。
图17是示出了根据实施例的确定领导者的方法的流程图(1700)。
参考图17,在操作1701中,根据实施例,外部服务器108(例如,服务器108)可以从第一电子装置(例如,电子装置101)接收第一信息和领导者请求以选择领导者。例如,第一电子装置可以是在与和第一电子装置相连接的AP连接的多个外部电子装置中的被确定为领导者装置的电子装置。
在操作1703中,根据实施例,外部服务器108可以将领导者选择发送到与领导者请求相对应的第一电子装置。根据实施例,通过从外部服务器108接收领导者选择而不是通过其自己所做出的第一电子装置是领导者装置的确定,第一电子装置可以为领导者装置。
在操作1705中,根据实施例,外部服务器108可以从第一电子装置接收领导者锁定请求。例如,领导者锁定可以意味着在外部服务器108确认领导者锁定之后的任何时间内拒绝来自除第一电子装置之外的其他外部电子装置的领导者请求。
如上所述,根据实施例,外部服务器108可以从第一电子装置接收领导者请求,发送领导者选择,并且接收领导者锁定请求。因此,当存在除了第一电子装置之外的外部电子装置确定其是领导者装置时,可以选择一个领导者装置。
图18是示出了根据实施例的确定领导者的方法的流程图(1800)。参考图19和图20进一步详细描述图18的实施例。图18是示出了根据实施例的确定领导者的操作的图。图19是示出了根据实施例的确定领导者的操作的图。
参考图18,在操作1801中,根据实施例,外部服务器108(例如,服务器108)可以从第一电子装置(例如,电子装置101)接收第一信息和领导者请求以选择领导者。例如,第一电子装置可以是在与和第一电子装置相连接的AP连接的多个外部电子装置中的被确定为领导者装置的电子装置。
在操作1803中,根据实施例,外部服务器108可以将领导者选择发送到与领导者请求相对应的第一电子装置。根据实施例,通过从外部服务器108接收领导者选择而不是通过其自己所做出的第一电子装置是领导者装置的确定,第一电子装置可以为领导者装置。
在操作1805中,根据实施例,外部服务器108可以从第一电子装置接收领导者锁定请求。例如,领导者锁定可以意味着在外部服务器108确认领导者锁定之后的任何时间内拒绝来自除第一电子装置之外的外部电子装置的领导者请求。
在操作1807中,根据实施例,外部服务器108可以从第二电子装置(例如,第三外部电子装置1205)接收第二信息和领导者请求以选择领导者。例如,第二电子装置可以处于与除了与第一电子装置连接的AP之外的AP连接的状态或者处于使用5G移动通信方案的状态。换言之,第一电子装置和第二电子装置可以处于与不同的AP连接的状态,或者处于通过不同的通信方案发送或接收信号的状态。
在操作1809中,根据实施例,外部服务器108可以基于从第一电子装置接收到的第一信息和从第二电子装置接收到的第二信息来识别领导者装置。
图19示出了根据实施例的确定领导者装置的操作。
参考图19,第一电子装置1901、第一外部电子装置1905、第二外部电子装置1907和第三外部电子装置1909可以处于与相同的第一AP连接的状态。在操作1915中,外部服务器108可以从第一电子装置1901接收第一信息和领导者请求。第二电子装置1903可以以不通过第一AP的不同通信方案与服务器108通信或者通过与第一AP不同的第二AP与服务器108通信。尽管示出了外部电子装置不与第二AP连接,但是可以存在与第二AP连接的至少一个外部电子装置。
在操作1913中,外部服务器108可以从第二电子装置1903接收第二信息和对第二电子装置1903的领导者请求,以请求选择领导者。外部服务器108可以将从第一电子装置1901接收到的唤醒话语的置信度得分和SNR的至少一部分与从第二电子装置1903接收到的唤醒话语的置信度得分和SNR的至少一部分进行比较,从而将第一电子装置1901和第二电子装置1903中的任何一个电子装置识别为领导者装置。
图20示出了根据实施例的确定领导者装置的操作。
参考图20,第一电子装置2001处于未与AP连接的状态,第二电子装置2003和第三电子装置2005处于与一个AP连接的状态,第二电子装置2003和第三电子装置2005中的第二电子装置2003处于被确定为领导者装置的状态。外部服务器108可以从第一电子装置2001接收关于第一电子装置的第一状态信息和从第一电子装置2001接收到的关于唤醒话语的第一信息。例如,关于唤醒话语的第一信息可以包括SNR(3.1dB)和置信度得分(40),并且第一状态信息可以包括关于第一电子装置2001的类型(例如,冰箱)信息、帐户信息、关于使用中的应用的信息、或关于与用户的接近度的信息中的至少一项。外部服务器108可以从第二电子装置2003接收关于第二电子装置的第二状态信息和从第二电子装置2003接收的关于唤醒话语的第二信息。例如,关于唤醒话语的第二信息可以包括SNR(4.1dB)和置信度得分(80),并且第二状态信息可以包括关于第二电子装置2003的类型(例如,智能电视)信息、帐户信息、关于使用中的应用的信息或与用户的接近度的信息中的至少一项。电子装置101可以基于关于唤醒话语的第一信息、关于第一电子装置2001的状态信息、关于唤醒话语的第二信息和关于第二电子装置2003的状态信息来确定领导者装置。
返回参考图18,在操作1811中,根据实施例,外部服务器108可以确定第一电子装置是否是领导者装置。
在操作1813中,根据实施例,当在操作1811中确定第一电子装置是领导者装置时,外部服务器108可以确认第一电子装置的领导者锁定。确认领导者锁定可以意味着在确认领导者锁定之后的任何时间期间拒绝来自除了第一电子装置之外的其他外部电子装置的领导者请求。
在操作1815中,根据实施例,当第一电子装置不是领导者装置时(即,如果第二电子装置被识别为领导者装置),则外部服务器108可以拒绝来自第一电子装置的领导者锁定请求。
图21是示出了根据实施例的确定领导者的方法的流程图(2100)。参考图21,在操作2101中,根据实施例,外部服务器108(例如,服务器108)可以从第一电子装置(例如,电子装置101)接收第一信息和领导者请求以选择领导者。
图22示出了根据实施例的确定领导者装置的操作。
参考图22,第一电子装置2201、第一外部电子装置2205、第二外部电子装置2207和第三外部电子装置2209处于与相同的第一AP连接的状态。还可以假定第二电子装置2203未与第一AP连接并且以另一通信方案执行通信或者与第二AP连接。尽管示出了没有外部电子装置与第二AP连接,但是可以存在与第二AP连接的至少一个外部电子装置。在操作2211中,外部服务器108可以从第一电子装置2201接收第一信息和领导者请求以选择领导者。
返回参考图21,在操作2103中,根据实施例,外部服务器108可以向与领导者请求相对应的第一电子装置发送领导者选择。例如,如图22所示,在操作2213中,外部服务器108可以将领导者选择发送到第一电子装置2201。
返回参考图21,在操作2105中,根据实施例,外部服务器108可以在将领导者选择发送到第一电子装置的同时执行领导者锁定。
例如,如图22所示,如果外部服务器108确定第一电子装置2201是领导者装置,则可以在没有来自第一电子装置2201的领导者锁定请求的情况下执行领导者锁定。例如,领导者锁定可以意味着在外部服务器108执行领导者锁定时的时间之后的任何时间内拒绝从除第一电子装置之外的外部电子装置接收到的领导者选择。
返回参考图21,在操作2107中,根据实施例,外部服务器108可以从第二电子装置接收第二信息和领导者请求以选择领导者。例如,如图22所示,在操作2217中,外部服务器108从第二电子装置2203接收第二信息和领导者请求以选择领导者。
返回参考图21,在操作2109中,根据实施例,外部服务器108可以拒绝来自第二电子装置的领导者请求。
例如,如图22所示,在领导者锁定(2215)期间在操作2217中从第二电子装置2203接收到领导者请求后,外部服务器108可以在操作2219中拒绝领导者请求。
如上所述,如果选择第一电子装置作为领导者装置,则外部服务器108可以在选择第一电子装置作为领导者装置时立即执行领导者锁定(即,没有从第一电子装置接收到领导者锁定请求)。因此,可以首先考虑选择领导者装置的速度。
图23是示出了根据实施例的确定领导者的方法的流程图(2300)。参考图23,在操作2301中,服务器108从第一电子装置接收第一信息和领导者请求以选择领导者。第一电子装置可以是与和第一电子装置连接的AP连接的多个外部电子装置中的被确定为领导者装置的电子装置。
图24示出了根据实施例的确定领导者装置的操作。
参考图24,第一电子装置2401、第一外部电子装置2405、第二外部电子装置2407和第三外部电子装置2409处于与相同的第一AP连接的状态。还可以假设第二电子装置2403不与第一AP连接并且以另一通信方案执行通信或者与第二AP连接。尽管示出了没有外部电子装置与第二AP连接,但是可以存在与第二AP连接的至少一个外部电子装置。在操作2411中,外部服务器108可以从第一电子装置2401接收第一信息和领导者请求以选择领导者。
返回参考图23,在操作2303中,根据实施例,外部服务器108可以将领导者选择发送到与领导者请求相对应的第一电子装置。例如,如图24所示,在操作2413中,外部服务器108可以将领导者选择发送到第一电子装置2401。
返回参考图23,在操作2305中,根据实施例,外部服务器108可以从第二电子装置接收第二信息和领导者请求以选择领导者。
例如,如图24所示,外部服务器108可以从第二电子装置2403接收第二信息和领导者请求以选择领导者。
返回参考图23,在操作2307中,根据实施例,外部服务器108可以基于从第一电子装置接收到的第一信息和从第二电子装置接收到的第二信息,将第二电子装置识别为领导者装置并将领导者选择发送到第二电子装置。
例如,如图24所示,外部服务器108可以将第二电子装置2403识别为领导者装置,并且在操作2417中,将领导者选择发送给第二电子装置2403。
返回参考图23,在操作2309中,根据实施例,外部服务器108可以从第一电子装置接收领导者锁定请求。例如,领导者锁定可以意味着在外部服务器108确认领导者锁定时的时间之后的任何时间内拒绝从除第一电子装置以外的其他外部电子装置接收到的领导者选择请求。
例如,如图24所示,在操作2419中,外部服务器108可以从第一电子装置2401接收领导者锁定请求。
返回参考图23,在操作2311中,根据实施例,外部服务器108可以拒绝来自第一电子装置的领导者锁定请求。
返回参考图24,尽管第一电子装置2401在从外部服务器108接收(2413)领导者选择之后的任何时间内发送领导者锁定请求,但是在发送领导者锁定请求之前(2419)且在接收领导者选择之后(2413),第二电子装置2403可以被选择为领导者装置。在这种情况下,由于当外部服务器108从第一电子装置接收到领导者锁定时第二电子装置是领导者装置,因此可以拒绝来自第一电子装置的领导者锁定请求。因此,当领导者锁定与领导者选择同时执行时,图24所示的实施例在识别领导者装置方面提供了增加的准确度。
图25是示出了根据实施例的确定领导者的操作的流程图(2500)。图26A和图26B示出了根据实施例的确定领导者装置的操作。
参考图25和图26A,在操作2501中,根据实施例,外部服务器108(例如,服务器108)可以定期地从电子装置2601接收关于电子装置2601(例如,电子装置101)的网络环境的第一分组因特网探索器(ping)。
在操作2503中,根据实施例,外部服务器108可以定期地从第一外部电子装置2603接收关于第一外部电子装置2603(例如,电子装置102或104)的网络环境的第二ping。如图26A所示,外部服务器108可以定期地分别从电子装置2601和第一外部电子装置2603接收第一ping和第二ping。
返回参考图25,在操作2505中,根据实施例,外部服务器108可以从电子装置2601接收第一信息和领导者请求以选择领导者。例如,如果电子装置2601接收到唤醒话语并发送关于唤醒话语的第一信息,则外部服务器108可以从电子装置2601接收第一信息和领导者请求。外部服务器108可以定期地接收第一ping,直到从电子装置2601接收到领导者请求。
在操作2507中,根据实施例,外部服务器108可以从第一外部电子装置2603接收第二信息和领导者请求以选择领导者。例如,如果第一外部电子装置2603接收到唤醒话语并且发送关于唤醒话语的第二信息,则外部服务器108可以从第一外部电子装置2603接收第二信息和领导者请求。外部服务器108可以定期地接收第二ping,直到从第一外部电子装置2603接收到领导者请求。
在操作2509中,根据实施例,外部服务器108可以使用第一信息、关于第一ping的信息、第二信息和关于第二ping的信息来选择领导者装置。例如,如果第一信息中包括的SNR大于第二信息中包括的SNR并且基于关于第一ping的信息和关于第二ping的信息将电子装置的网络环境和第一外部电子装置2603的网络环境确定为正常(健康),则外部服务器108可以选择具有更大SNR的电子装置作为领导者装置。作为另一示例,如果基于关于第一ping的信息确定电子装置2601的网络不正常(不健康),则尽管第一信息中包括的SNR大于第二信息中包括的SNR,如图26B所示,外部服务器108仍然可以将第一外部电子装置2603识别为领导者装置。例如,如果第一ping的计数小于第二ping的计数,则可以将电子装置的网络状态确定为不正常(不健康)。
如上所述,根据实施例,外部服务器108可以基于已经请求选择领导者装置的电子装置101和第一外部电子装置的网络环境来选择领导者装置。因此,可以防止选择具有差的网络环境的电子装置作为领导者装置。
图27是示出了根据实施例的确定领导者的操作的流程图(2700)。图28A和图28B示出了根据实施例的确定领导者装置的操作。
参考图27和图28A,在操作2701中,根据实施例,外部服务器108-1(例如,服务器108)可以从第一电子装置101(例如,电子装置101)接收第一信息和领导者请求以选择领导者。例如,如图28A所示,外部服务器108-1可以从第一电子装置2801接收第一信息和领导者请求以选择领导者。例如,第一电子装置2801可以处于与第一AP连接的状态,并且可以从与第一AP连接的第一电子装置2801、第一外部电子装置2805和第二外部电子装置2807中确定出领导者装置。
返回参考图27,在操作2703中,根据实施例,外部服务器108-1可以从第二电子装置(例如,电子装置102)接收第二信息和领导者请求以选择领导者。例如,如图28A所示,外部服务器108-1可以从第二电子装置2803接收第二信息和领导者请求以选择领导者。第二电子装置2803可以处于与不同于第一AP的第二AP连接的状态,并且可以从与第二AP连接的至少一个外部电子装置中确定领导者装置。或者,第二电子装置2803可以处于使用4G或5G移动通信方案的状态。
返回参考图27,在操作2705中,根据实施例,外部服务器108-1可以基于从第一电子装置101接收到的第一信息和从第二电子装置接收到的第二信息来选择第一电子装置作为领导者装置。例如,如果外部服务器108-1的领导者选择被延迟预定时间或更长时间,则第一电子装置101和第二电子装置可以连接到服务器108-2以提供智能助手服务,而无需外部服务器108-1的领导者选择。
在操作2707中,根据实施例,外部服务器108-1可以终止与向第二电子装置提供智能助手服务的服务器108-2的连接。参考图28B,如果当外部服务器108-1完成领导者选择时被选择作为领导者装置的除第一电子装置2801以外的电子装置(即,第二电子装置2803)与提供智能助手服务的服务器108-2连接,则可以终止该连接。因此,可以仅唤醒请求选择领导者的电子装置,同时防止接收到唤醒话语的所有电子装置被唤醒。
图29A和图29B是示出了根据实施例的确定领导者装置的操作的序列图(2900和2910)。在图29A和图29B中,可以假设电子装置101、第一外部电子装置2901和第二外部电子装置2903处于与AP 2905连接的状态。电子装置101、第一外部设备电子装置2901和第二外部电子装置2903可以接收由用户发出的语音信息2911,并且语音信息2911可以包括唤醒话语和语音命令。尽管图29A和图29B示出了在接收到语音信息2911之后执行操作2913至2957,但是可以在接收语音信息2911的同时执行操作2913至2957。
参考图29A,在操作2913中,根据实施例,当接收到唤醒话语的至少一部分时,电子装置101(例如,处理器120)可以广播电子装置101的IP地址。例如,如图29A所示,电子装置101可以通过AP 2905广播IP地址。例如,电子装置101可以通过AP广播IP地址。
在操作2915中,根据实施例,第一外部电子装置2901(例如,电子装置102或104)可以接收电子装置101的IP地址。
在操作2917中,根据实施例,第二外部电子装置2903(例如,电子装置102或104)可以接收电子装置101的IP地址。
在操作2919中,根据实施例,当接收到唤醒话语的至少一部分时,第一外部电子装置2901可以广播第一外部电子装置2901的IP地址。
在操作2923中,根据实施例,电子装置101可以接收第一外部电子装置2901的IP地址。
在操作2921中,根据实施例,第二外部电子装置2903可以接收第一外部电子装置2901的IP地址。
在操作2925中,根据实施例,当接收到唤醒话语的至少一部分时,第二外部电子装置2903可以广播第二外部电子装置2903的IP地址。
在操作2929中,根据实施例,电子装置101可以接收第二外部电子装置2903的IP地址。
在操作2927中,根据实施例,第一外部电子装置2901可以接收第二外部电子装置2903的IP地址。
在操作2931中,根据实施例,电子装置101可以基于第一外部电子装置2901的IP地址和第二外部电子装置的IP地址生成与AP连接的外部电子装置的IP地址列表。
在操作2933中,根据实施例,第一外部电子装置2901可以基于电子装置101的IP地址和第二外部电子装置的IP地址生成与AP连接的外部电子装置的IP地址列表。
在操作2935中,根据实施例,第二外部电子装置2903可以基于电子装置101的IP地址和第一外部电子装置的IP地址生成与AP连接的外部电子装置的IP地址列表。
参考图29B,根据实施例,在操作2937中,在接收到整个唤醒话语时,电子装置101可以发送关于接收到的唤醒话语的第一信息。例如,第一信息可以包括从电子装置101接收到的唤醒话语的SNR、音频质量、音量、声压或置信度得分中的至少一项。例如,电子装置101可以通过UDP通信方案将第一信息发送到第一外部电子装置2901和第二外部电子装置2903中的每个。尽管在图29A和图29B中未示出,但是电子装置101可以与第一信息的传输相对应地从第一外部电子装置2901和第二外部电子装置2903中的每一个接收ACK。
在操作2939中,根据实施例,在接收到整个唤醒话语时,第一外部电子装置2901可以发送关于接收到的唤醒话语的第二信息。例如,第二信息可以包括从第一外部电子装置2901接收到的唤醒话语的SNR、音频质量、音量、声压或置信度得分中的至少一项。
在操作2941中,根据实施例,在接收到整个唤醒话语时,第二外部电子装置2903可以发送关于接收到的唤醒话语的第三信息。例如,第三信息可以包括从第二电子装置2903接收到的唤醒话语的SNR、音频质量、音量、声压或置信度得分中的至少一项。
尽管电子装置101、第一外部电子装置2901和第二外部电子装置2903接收由用户发出的同一语音信息,但是第一信息、第二信息和第三信息可以根据周围环境的不同以及电子装置101、第一外部电子装置2901和第二外部电子装置2903所在的位置而彼此不同。
尽管图29A和图29B示出了在操作2913至2935中当接收到唤醒话语的至少一部分时,电子装置101广播电子装置101的IP地址并从第一外部电子装置2901和第二外部电子装置2903接收IP地址,但是如果存在存储的IP地址列表,则可以省略操作2913至2935。在这种情况下,在操作2937至2941中,电子装置101可以使用存储的IP地址列表中包含的信息通过与外部电子装置的连接(例如,对等(P2P))来发送关于唤醒话语的第一信息并从外部电子装置接收关于唤醒话语的信息。
电子装置101可以将在操作2913至2929中接收到的IP地址添加到存储的IP地址列表中。因此,电子装置101可以通过与包括在IP地址列表中的外部电子装置的连接(例如,对等(P2P))来发送和接收关于唤醒话语的第一信息,并且通过AP与未包括在IP地址列表中的外部电子装置进行连接来发送和接收关于唤醒话语的第一信息。
IP地址列表可以是在电子装置101接收语音信息2911之前从外部电子装置接收到的IP地址的列表,并且可以被存储预定时间(例如,24小时)。电子装置101可以在每个周期(例如,24小时)初始化IP地址列表,以更新关于与AP 2905连接的外部电子装置的信息。当经由与包括在IP地址列表中的外部电子装置的连接进行通信的同时在特定时间期间无响应或无响应达到特定次数时,可以将外部电子装置从IP地址列表中删除。
在操作2943中,根据实施例,电子装置101可以基于接收到的第二信息和第三信息来确定领导者装置。例如,当第一信息中包括的SNR在第一信息中包括的SNR、第二信息中包括的SNR和第三信息中包括的SNR之中为最大时,电子装置101可以确定电子装置101本身为领导者装置。作为另一示例,当第一信息中包括的唤醒话语的置信度得分在第一信息中包括的唤醒话语的置信度得分、第二信息中包括的唤醒话语的置信度得分和第三信息中包括的唤醒话语的置信度得分之中为最大时,电子装置101可以确定电子装置101本身是领导者装置。电子装置101可以使用唤醒话语的SNR和置信度得分两者来确定领导者装置。
在操作2945中,根据实施例,第一外部电子装置2901可以基于接收到的第一信息和第三信息来确定领导者装置。例如,当第一信息中包括的SNR在第一信息中包括的SNR、第二信息中包括的SNR和第三信息中包括的SNR之中为最大时,第一外部电子装置2901可以确定电子装置101是领导者装置(即,第一外部电子装置2901不是领导者装置)。作为另一示例,当第一信息中包括的唤醒话语的置信度得分在第一信息中包括的唤醒话语的置信度得分、第二信息中包括的唤醒话语的置信度得分和第三信息中包括的唤醒话语的置信度得分之中为最大时,第一外部电子装置2901可以确定电子装置101是领导者装置(即,第一外部电子装置2901不是领导者装置)。第一外部电子装置2901可以使用唤醒话语的SNR和置信度得分两者来确定领导者装置。
在操作2947中,根据实施例,第二外部电子装置2903可以基于接收到的第一信息和第二信息来确定领导者装置。例如,当第一信息中包括的SNR在第一信息中包括的SNR、第二信息中包括的SNR和第三信息中包括的SNR之中为最大时,第二外部电子装置2903可以确定电子装置101是领导者装置(即,第二外部电子装置2903不是领导者装置)。作为另一示例,当第一信息中包括的唤醒话语的置信度得分在第一信息中包括的唤醒话语的置信度得分、第二信息中包括的唤醒话语的置信度得分和第三信息中包括的唤醒话语的置信度得分之中为最大时,第二外部电子装置2903可以确定电子装置101是领导者装置(即,第二外部电子装置2903不是领导者装置)。第二外部电子装置2903可以使用唤醒话语的SNR和置信度得分两者来确定领导者装置。
在操作2949中,根据实施例,电子装置101可以向第一外部电子装置2901和第二外部电子装置2903发送指示电子装置101是领导者装置的领导者信息。例如,电子装置101可以通过UDP通信方案(1:N)将领导者信息发送到第一外部电子装置2901和第二外部电子装置2903中的每一个。
在操作2951中,根据实施例,第一外部电子装置2901可以对应于领导者信息的接收将ACK发送到电子装置101。
在操作2953中,根据实施例,第二外部电子装置2903可以对应于领导者信息的接收将ACK发送到电子装置101。
在操作2955中,根据实施例,电子装置101可以从向其发送了领导者信息的第一外部电子装置2901和第二外部电子装置2903两者接收ACK。
在操作2957中,根据实施例,电子装置101可以将语音命令发送到服务器。
如上所述,根据实施例,在接收到唤醒话语的一部分时,电子装置101可以广播IP地址并使用从外部电子装置广播的IP地址来生成IP地址列表。在接收到整个唤醒话语时,电子装置101可以基于所生成的IP地址列表将关于唤醒话语的信息发送到每个外部电子装置并且使用从外部电子装置发送的关于唤醒话语的信息来确定领导者装置。因此,尽管不是所有的装置都连接到服务器,但是可以对发送或接收的关于唤醒话语的信息实现增加的准确度,并可以向用户提供智能助手服务。
图30是示出了根据实施例的确定领导者的操作的流程图(3000)。
参考图30,在操作3001中,电子装置202与第二电子装置204和第三电子装置206一起与AP 208连接,同时从用户接收调用基于语音的智能助手服务的唤醒话语。可以在接收到部分唤醒话语时触发操作3001。例如,当唤醒话语是“Hi,Bixby”时,接收部分唤醒话语的时间可以是在接收到“Hi,Bixby”的“Hi”部分时的第一时间。
在操作3003中,电子装置101可以确定是否存在IP地址列表。例如,IP地址列表可以是从AP 208接收到的列表或者接收和存储的IP地址的列表,其在电子装置101在操作3001中接收唤醒话语之前从外部电子装置所广播的。电子装置101可以在指定时间(例如,24小时)期间存储IP地址列表。
当在操作3003中确定存在IP地址列表时,电子装置101可以在操作3005中设置第一保护时间。例如,电子装置101可以缩短预设保护时间并将其设置为第一保护时间。
在操作3007中,电子装置101可以将关于唤醒话语的信息发送到IP地址列表中包括的每个外部电子装置。在电子装置101接收到整个唤醒话语时的第二时间之后,可以启动操作3007。例如,关于唤醒话语的信息可以包括由电子装置101通过麦克风接收到的唤醒话语的SNR、音频质量或声压、输入声音信号的特征值、或唤醒话语的置信度得分中的至少一项。例如,唤醒话语的置信度得分可以是指示预先存储的唤醒话语与通过麦克风接收的唤醒话语之间的相似度的值。可以将预先存储的唤醒话语与通过麦克风接收的唤醒话语之间的匹配度设置为从0到100的值,并且随着用户与装置之间的距离减小,相似度会增加。
在操作3009中,电子装置101可以从包括在IP地址列表中的每个外部电子装置中单独地接收从每个外部电子装置接收的关于唤醒话语的信息。
在操作3011中,电子装置101可以确定是否经过了第一保护时间或者是否接收到由每个外部电子装置接收到的关于唤醒话语的所有信息。
在操作3027中,当经过了第一保护时间或接收到关于唤醒话语的所有信息时,电子装置101可以基于关于唤醒话语的信息确定领导者装置。换言之,即便没有接收到所有关于唤醒话语的信息,但如果经过了第一保护时间,则电子装置101仍然可以确定领导者装置。
当确定不存在IP地址列表时,电子装置101可以在操作3013中设置第二保护时间。例如,电子装置101可以延长预设保护时间并将其设置为第二保护时间。
在操作3015中,电子装置101可以广播关于电子装置101的标识信息。例如,关于电子装置101的标识信息可以包括电子装置101的IP地址。
在操作3017中,电子装置101可以接收从至少一个外部电子装置广播的标识信息。例如,从至少一个外部电子装置广播的标识信息可以包括至少一个外部电子装置的IP地址。
在操作3019中,电子装置101可以基于接收到的标识信息来生成IP地址列表。
在操作3021中,电子装置101可以向IP地址列表中包括的每个外部电子装置发送关于唤醒话语的信息。例如,关于唤醒话语的信息可以包括由电子装置101通过麦克风接收到的唤醒话语的SNR、音频质量或声压、输入声音信号的特征值、或唤醒话语的置信度得分中的至少一项。
在操作3023中,电子装置101可以从包括在IP地址列表中的每个外部电子装置接收关于唤醒话语的信息。从外部电子装置接收到的关于唤醒话语的信息可以包括由外部电子装置通过麦克风接收的唤醒话语的SNR、音频质量或声压、输入声音信号的特征值、或唤醒话语的置信度得分中的至少一项。
在操作3025中,电子装置101可以确定是否经过了第二保护时间或者是否接收到由每个外部电子装置接收的关于唤醒话语的所有信息。
在操作3027中,当经过了第二保护时间或接收到关于唤醒话语的所有信息时,电子装置101可以基于关于唤醒话语的信息来确定领导者装置。
在操作3029中,电子装置101可以将领导者信息发送到IP地址列表中包括的外部电子装置。在操作3029中,可以假设电子装置101被确定为领导者装置。电子装置101可以经由连接发送领导者信息并接收ACK。
在操作3031中,电子装置101可以经由与智能助手服务器的连接来发送语音命令。因此,如果存在存储的IP地址列表,则电子装置101可以省略发送或接收IP地址的过程,从而缩短确定领导者装置的时间。
根据实施例,一种电子装置101包括用户接口、至少一个通信模块(例如,通信模块190)、麦克风、至少一个扬声器(例如,声音输出装置155)、与用户接口、至少一个通信模块(例如,通信模块190)、麦克风和至少一个扬声器(例如,声音输出装置155)可操作性地连接的至少一个处理器(例如,处理器120)、以及与至少一个处理器(例如,处理器120)可操作地连接的至少一个存储器(例如,存储器130),其中,该至少一个存储器(例如,存储器130)存储指令,该指令被执行以使得至少一个处理器(例如,处理器120):在电子装置101与和至少一个外部电子装置(例如,电子装置102和104)相连接的接入点(AP)(例如,AP 405)有线或无线连接的同时,在通过麦克风接收调用基于语音的智能助手服务的唤醒话语的一部分之后,广播关于电子装置101的标识信息并接收从至少一个外部电子装置(例如,电子装置102和104)广播的标识信息,在通过麦克风接收到整个唤醒话语之后,将通过麦克风接收到的与唤醒话语有关的第一信息单独地发送到至少一个外部电子装置(例如,电子装置102和104),并单独地从至少一个外部电子装置(例如,电子装置102和104)接收由至少一个外部电子装置(例如,电子装置102和104)接收到的与唤醒话语有关的第二信息,并基于第一信息和第二信息的至少一部分确定是否将在唤醒话语之后接收到的语音信息发送到外部服务器(例如,服务器108)。
根据实施例,第一信息和第二信息可以包括唤醒话语的信噪比(SNR)、音频质量、音量、声压或唤醒话语的置信度得分中的至少一项。
根据实施例,第一信息中包括的第一唤醒话语的置信度得分可以是指示存储在存储器(例如,存储器130)中的关于唤醒话语的信息与通过麦克风接收到的唤醒话语匹配的程度的值。
根据实施例,指令可以被配置为使得处理器(例如,处理器120):当第一信息中包括的第一值大于第二信息中包括的第二值时,将在唤醒话语之后接收到的语音信息发送到外部服务器(例如,服务器108),并且当第一值小于第二值时,避免将在唤醒话语之后接收到的语音信息发送到外部服务器(例如,服务器108)。
根据实施例,指令可以被配置为使得处理器(例如,处理器120):向至少一个外部电子装置中的未接收到与唤醒话语有关的第二信息的至少一个外部电子装置(例如,电子装置102和104)发送对第二信息的请求,以及从被发送了请求的至少一个外部电子装置(例如,电子装置102和104)接收第二信息。
根据实施例,第一信息包括关于电子装置101的状态信息,并且第二信息包括关于至少一个外部电子装置(例如,电子装置102和104)的状态信息。状态信息包括类型信息、关于正在运行的应用的信息、关于与用户的距离的信息、或优先级信息中的至少一项。
根据实施例,指令可以被配置为使得处理器(例如,处理器120):基于关于至少一个外部电子装置(例如,电子装置102和104)的标识信息,通过用户数据报协议(UDP)通信,将第一信息单独地发送到至少一个外部电子装置(例如,电子装置102和104)。
根据实施例,指令可以被配置为使得处理器(例如,处理器120):基于通过麦克风接收到的唤醒话语执行用户认证,以指示唤醒话语是否是从至少一个注册用户发出的话语。
根据实施例,指令可以被配置为使得处理器(例如,处理器120):当确定在唤醒话语之后接收到的语音信息要被发送到外部服务器(例如,服务器108)时,将指示电子装置101是领导者装置的领导者信息发送到外部服务器(例如,服务器108)。
根据实施例,指令可以被配置为使得处理器(例如,处理器120):响应于来自外部服务器(例如,服务器108)的领导者信息接收领导者选择,并基于接收到的领导者选择接收语音信息,以及将语音信息发送到外部服务器(例如,服务器108)。
根据实施例,指令可以被配置为使得处理器(例如,处理器120):响应于来自外部服务器(例如,服务器108)的领导者信息接收领导者改变命令,并且基于接收到的领导者改变命令避免将语音信息发送到外部服务器(例如,服务器108)。
根据实施例,指令可以被配置为使得处理器(例如,处理器120):当确定在唤醒话语之后接收到的语音信息要被发送到外部服务器(例如,服务器108)时,通过至少一个扬声器(例如,声音输出装置155)或用户接口中的至少一个输出与唤醒话语相对应的响应。
根据实施例,指令可以被配置为使得处理器(例如,处理器120):通过麦克风接收指示领导者改变命令的语音命令,并且至少基于处理指示领导者改变命令的语音命令的结果来避免将语音信息发送到外部服务器(例如,服务器108)。
根据实施例,一种电子装置101包括:通信模块(例如,通信模块190);麦克风;扬声器(例如,声音输出装置155);至少一个处理器(例如,处理器120),该至少一个处理器可操作地与通信模块(例如,通信模块190)、麦克风和扬声器(例如,声音输出装置155)连接;以及存储器(例如,存储器130),该存储器与至少一个处理器(例如,处理器120)可操作地连接,其中该存储器(例如,存储器130)可以存储指令,该指令在被执行时使得该至少一个处理器(例如,处理器120):在通过麦克风接收到调用基于语音的智能助手服务的唤醒话语的一部分时,确定电子装置101是否处于通过通信模块(例如,通信模块190)与AP(例如,AP405)连接的状态,当电子装置101处于与AP(例如,AP405)连接的状态时,通过通信模块(例如,通信模块190)广播关于电子装置101的标识信息,接收从与AP(例如,AP 405)连接的至少一个外部电子装置(例如,电子装置102和104)广播的至少一条标识信息,在通过麦克风接收到整个唤醒话语之后,将关于唤醒话语的第一信息发送到至少一个外部电子装置(例如,电子装置102和104)中的每一个,从至少一个外部电子装置(例如,电子装置102和104)中的每一个接收关于唤醒话语的至少一条第二信息,基于第一信息和至少一条第二信息,确定电子装置101是否为领导者装置;当电子装置101处于未与AP(例如,AP 405)连接的状态时,在通过麦克风接收到整个唤醒话语之后,将关于唤醒话语的第一信息发送到外部服务器(例如,服务器108),并从外部服务器(例如,服务器108)接收基于第一信息和至少一条第二信息获得的领导者信息。
根据实施例,第一信息和第二信息可以包括唤醒话语的信噪比(SNR)、音频质量、音量、声压或置信度得分中的至少一项。
根据实施例,包括在第一信息中的第一唤醒话语的置信度得分可以是指示存储在存储器(例如,存储器130)中的关于唤醒话语的信息与通过麦克风接收到的唤醒话语匹配的程度的值。
根据实施例,第一信息可以包括指示通过麦克风接收到的唤醒话语的强度的第一值,至少一条第二信息可以包括指示由至少一个外部电子装置(例如,电子装置102和104)接收到的唤醒话语的强度的第二值。该指令可以使得处理器(例如,处理器120):当第一值大于第二值时确定电子装置101是领导者装置,并且当第一值小于第二值时避免将电子装置101确定为领导者装置。
根据实施例,第一信息可以包括指示通过麦克风接收到的唤醒话语的置信度得分的第三值,至少一条第二信息可以包括指示由至少一个外部电子装置(例如,电子装置102和104)接收到的唤醒话语的置信度得分的第四值。该指令可以使得处理器(例如,处理器120):当第三值大于第四值时确定电子装置101是领导者装置,并且当第三值小于第四值时避免将电子装置101确定为领导者装置。
根据实施例,该指令可以被配置为使得处理器(例如,处理器120)基于接收到的至少一条第二信息确定至少一个外部电子装置(例如,电子装置102和104)是否包括不发送第二信息的外部电子装置(例如,电子装置102和104),并且当存在不发送第二信息的外部电子装置(例如,电子装置102和104)时,请求外部电子装置(例如,电子装置102和104)发送第二信息,并且当不存在不发送第二信息的外部电子装置(例如,电子装置102和104)时,基于第一信息和至少一条第二信息确定电子装置(电子装置101)是领导者装置。
根据实施例,一种服务器包括:至少一个通信模块;至少一个处理器,与所述至少一个通信模块可操作地连接;以及至少一个存储器,与所述至少一个处理器可操作地连接,其中所述至少一个存储器可以存储指令,所述指令在被执行时使得所述至少一个处理器:通过所述至少一个通信模块从第一电子装置接收第一信息和领导者请求以选择领导者,响应于所述领导者请求通过所述至少一个通信模块将领导者选择发送到所述第一电子装置,并通过所述至少一个通信模块从所述第一电子装置接收领导者锁定请求。
根据实施例,该指令可以被配置为使得处理器:通过所述至少一个通信模块从第二电子装置接收第二信息和领导者请求以选择领导者,基于所述第一信息和所述第二信息确定领导者装置,当所述第一电子装置被识别为所述领导者装置时,确认来自所述第一电子装置的所述领导者锁定请求,以及当所述第二电子装置被识别为所述领导者装置时,拒绝来自所述第一电子装置的所述领导者锁定请求。
根据实施例,该指令可以被配置为使得处理器:定期地接收关于第一电子装置的网络环境的第一ping,定期地接收关于第二电子装置的网络环境的第二ping,使用关于第一ping的信息、关于第二ping的信息、第一信息和第二信息确定领导者装置。
根据实施例,该指令可以被配置为使得处理器:响应于领导者锁定请求确认来自第一电子装置的领导者锁定请求,在确认来自第一电子装置的领导者锁定请求之后,当在预设时间内接收到来自第二电子装置的选择领导者装置的领导者请求时,拒绝来自第二电子装置的领导者请求。根据实施例,该指令可以被配置为使得处理器:单独地向至少一个外部电子装置发送指示存储在存储器中的关于唤醒话语的信息与通过麦克风接收到的唤醒话语匹配的程度的第一唤醒话语的置信度得分,并且从至少一个外部电子装置单独地接收指示存储在至少一个外部电子装置中的关于唤醒话语的信息与由至少一个外部电子装置接收到的唤醒话语匹配的程度的第二唤醒话语的置信度得分。
根据各种实施例的电子装置可以是各种类型的电子装置之一。电子装置可包括例如便携式通信装置(例如,智能电话)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置、冰箱或其他家用电器。根据本公开的实施例,电子装置不限于以上列出的实施例。
应该理解的是,本公开的各种实施例以及其中使用的术语并不意图将在此阐述的技术特征限制于具体实施例,而是包括针对相应实施例的各种改变、等同形式或替换形式。对于附图的描述,相似的参考标号可用来指代相似或相关的元件。与术语相应的单数形式的名词可包括一个或更多个事物,除非相关上下文另有明确指示。如这里所使用的,诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”以及“A、B或C中的至少一个”的此类短语均可包括在与相应一个短语中一起列举出的项的所有可能组合。
如这里所使用的,诸如“第1”和“第2”或者“第一”和“第二”的术语可用于将相应部件与另一部件进行简单区分,并且不在其它方面(例如,重要性或顺序)限制所述部件。
如果元件(例如,第一元件)在使用术语“可操作地”或“通信地”的情况下或者在不使用术语“可操作地”或“通信地”的情况下被称为“与另一元件(例如,第二元件)结合”、“结合到另一元件(例如,第二元件)”、“与另一元件(例如,第二元件)连接”或“连接到另一元件(例如,第二元件)”,则该元件可与另一元件直接(例如,有线地)连接、与另一元件无线连接、或经由第三元件与另一元件连接。
如这里所使用的,术语“模块”可包括以硬件、软件或固件实现的单元,并可与其他术语(例如,“逻辑”、“逻辑块”、“部分”或“电路”)可互换地使用。模块可以是被适配为执行一个或更多个功能的单个集成部件或者是该单个集成部件的最小单元或部分。例如,根据实施例,可以以专用集成电路(ASIC)的形式来实现模块。
可将在此阐述的各种实施例实现为包括存储在存储介质(例如,内部存储器136或外部存储器138)中的可由机器(例如,电子装置101)读取的一个或更多个指令的软件(例如,程序140)。例如,在处理器的控制下,所述机器(例如,电子装置101)的处理器(例如,处理器120)可在使用或无需使用一个或更多个其它部件的情况下调用存储在存储介质中的所述一个或更多个指令中的至少一个指令并运行所述至少一个指令。这使得所述机器能够操作用于根据所调用的至少一个指令执行至少一个功能。所述一个或更多个指令可包括由编译器产生的代码或能够由解释器运行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。其中,术语“非暂时性”仅意味着所述存储介质是有形装置,并且不包括信号(例如,电磁波),但是该术语并不在数据被半永久性地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。
根据实施例,可在计算机程序产品中包括和提供根据本公开的各种实施例的方法。计算机程序产品可作为产品在销售者和购买者之间进行交易。可以以机器可读存储介质(例如,紧凑盘只读存储器(CD-ROM))的形式来发布计算机程序产品,或者可经由应用商店(例如,Play StoreTM)在线发布(例如,下载或上传)计算机程序产品,或者可直接在两个用户装置(例如,智能电话)之间分发(例如,下载或上传)计算机程序产品。如果是在线发布的,则计算机程序产品中的至少部分可以是临时产生的,或者可将计算机程序产品中的至少部分至少临时存储在机器可读存储介质(诸如制造商的服务器、应用商店的服务器或中继服务器的存储器)中。
根据各种实施例,上述部件中的每个部件(例如,模块或程序)可包括单个实体或多个实体。根据各种实施例,可省略上述部件中的一个或更多个部件,或者可添加一个或更多个其它部件。可选择地或者另外地,可将多个部件(例如,模块或程序)集成为单个部件。在这种情况下,根据各种实施例,该集成部件可仍旧按照与所述多个部件中的相应部件在集成之前执行一个或更多个功能相同或相似的方式,执行所述多个部件中的每一个部件的所述一个或更多个功能。根据各种实施例,由模块、程序或另一部件所执行的操作可顺序地、并行地、重复地或以启发式方式来执行,或者所述操作中的一个或更多个操作可按照不同的顺序来运行或被省略,或者可添加一个或更多个其它操作。
从前面的描述显而易见的是,根据各种实施例,可以提供一种电子装置和服务器,以从多个电子装置中选择对用户的唤醒话语进行响应的电子装置。
根据各种实施例,可以提供一种电子装置,当接收到唤醒话语的一部分时,该电子装置将其标识信息广播到周围的电子装置并且接收从周围的电子装置广播的关于周围的电子装置的标识信息。根据各种实施例,可以提供一种电子装置,当接收到整个唤醒话语时,将关于唤醒话语的信息发送到周围的电子装置,从周围的电子装置接收关于唤醒话语的信息,并使用关于唤醒话语的信息选择电子装置以将用户的语音信息传送到服务器。
因此,可以从多个电子装置中选择对用户的唤醒话语进行响应的电子装置。
尽管已经参考本公开的某些示例性实施例示出和描述了本公开,但是本领域技术人员将理解,在不脱离由所附权利要求及其等同物限定的本公开的精神和范围的情况下,可以在其中进行形式和细节上的各种改变。
Claims (15)
1.一种电子装置,所述电子装置包括:
用户接口;
至少一个通信模块;
麦克风;
至少一个扬声器;
至少一个处理器,所述至少一个处理器与所述用户接口、所述至少一个通信模块、所述麦克风和所述至少一个扬声器可操作地连接;以及
至少一个存储器,所述至少一个存储器与所述至少一个处理器可操作地连接,其中,所述至少一个存储器存储有指令,所述指令在被执行时指示所述电子装置:
在所述电子装置有线地或无线地连接到与至少一个外部电子装置连接的接入点(AP)的同时,
在当通过所述麦克风接收到调用基于语音的智能助手服务的唤醒话语的一部分时的第一时间之后,广播关于所述电子装置的第一标识信息并接收从所述至少一个外部电子装置广播的第二标识信息,其中,所述第二标识信息是在由所述至少一个外部电子装置接收到所述唤醒话语的所述一部分之后广播的,
在当通过所述麦克风接收到整个所述唤醒话语时的第二时间之后,基于所述第二标识信息,将通过所述麦克风接收到的与所述唤醒话语有关的第一信息单独地发送到所述至少一个外部电子装置,并从所述至少一个外部电子装置单独地接收由所述至少一个外部电子装置接收的与所述唤醒话语有关的第二信息,所述第二信息是基于广播的所述第一标识信息由所述至少一个外部电子装置发送的,以及
基于所述第一信息和所述第二信息的至少一部分,确定是否将在所述唤醒话语之后接收到的语音信息发送到外部服务器。
2.根据权利要求1所述的电子装置,其中,所述第一信息和所述第二信息包括所述唤醒话语的信噪比(SNR)、音频质量、音量、声压或置信度得分中的至少一项。
3.根据权利要求2所述的电子装置,其中,所述第一信息中包括的第一唤醒话语的所述置信度得分是指示存储在所述存储器中的关于唤醒话语的信息与通过所述麦克风接收到的所述唤醒话语匹配的程度的值。
4.根据权利要求1所述的电子装置,其中,所述指令还指示所述电子装置:
当所述第一信息中包括的第一值大于所述第二信息中包括的第二值时,将在所述唤醒话语之后接收到的所述语音信息发送到所述外部服务器,
当所述第一值小于所述第二值时,避免将在所述唤醒话语之后接收到的所述语音信息发送到所述外部服务器。
5.根据权利要求1所述的电子装置,其中,所述指令还指示所述电子装置:
向所述至少一个外部电子装置中的未接收到与所述唤醒话语有关的第二信息的至少一个外部电子装置发送对所述第二信息的请求,以及
从被发送了所述请求的所述至少一个外部电子装置接收所述第二信息。
6.根据权利要求1所述的电子装置,其中,所述第一信息包括关于所述电子装置的状态信息,并且所述第二信息包括关于所述至少一个外部电子装置的状态信息,并且
其中,所述状态信息包括类型信息、关于正在运行的应用的信息、关于与用户的距离的信息或优先级信息中的至少一项。
7.根据权利要求1所述的电子装置,其中,所述指令还指示所述电子装置:
基于关于所述至少一个外部电子装置的标识信息,通过用户数据报协议(UDP)通信,将所述第一信息单独地发送到所述至少一个外部电子装置。
8.根据权利要求1所述的电子装置,其中,所述指令还指示所述电子装置基于通过所述麦克风接收到的所述唤醒话语执行用户认证,以指示所述唤醒话语是否是从至少一个注册用户发出的话语。
9.根据权利要求1所述的电子装置,其中,所述指令还指示所述电子装置:当确定在所述唤醒话语之后接收到的所述语音信息要被发送到所述外部服务器时,将指示了所述电子装置是领导者装置的领导者信息发送到所述外部服务器。
10.根据权利要求9所述的电子装置,其中,所述指令还指示所述电子装置:
响应于来自所述外部服务器的领导者信息接收领导者选择,并基于接收到的领导者选择接收所述语音信息,以及
将所述语音信息发送到所述外部服务器。
11.根据权利要求9所述的电子装置,其中,所述指令还指示所述电子装置:
响应于来自所述外部服务器的所述领导者信息接收领导者改变命令,并且
基于接收到的领导者改变命令避免将所述语音信息发送到所述外部服务器。
12.根据权利要求1所述的电子装置,其中,所述指令还指示所述电子装置:当确定在所述唤醒话语之后接收到的所述语音信息要被发送到所述外部服务器时,通过所述至少一个扬声器或所述用户接口中的至少一者输出与所述唤醒话语相对应的响应。
13.根据权利要求12所述的电子装置,其中,所述指令还指示所述电子装置:
通过所述麦克风接收指示领导者改变命令的语音命令,并且至少基于对指示所述领导者改变命令的所述语音命令进行处理的结果来避免将所述语音信息发送到所述外部服务器。
14.一种电子装置,所述电子装置包括:
通信模块;
麦克风;
扬声器;
至少一个处理器,所述至少一个处理器可操作地与所述通信模块、所述麦克风和所述扬声器连接;以及
存储器,所述存储器与所述至少一个处理器可操作地连接,
其中,所述存储器存储有指令,所述指令在被执行时指示所述电子装置:
在当通过所述麦克风接收到调用基于语音的智能助手服务的唤醒话语的一部分时的第一时间之后,确定所述电子装置是否处于通过所述通信模块与接入点(AP)连接的状态,
当所述电子装置与所述AP连接时,
通过所述通信模块广播关于所述电子装置的第一标识信息,
接收从与所述AP连接的外部电子装置广播的第二标识信息,其中,所述第二标识信息是在由所述外部电子装置接收到所述唤醒话语的所述一部分之后广播的,
在当通过所述麦克风接收到整个所述唤醒命令时的第二时间之后,基于所述第二标识信息,将与所述唤醒命令有关的第一信息发送到所述外部电子装置,并且从所述外部电子装置接收与所述唤醒命令有关的第二信息,所述第二信息是基于广播的所述第一标识信息由所述外部电子装置发送的,
基于所述第一信息和所述第二信息,确定所述电子装置是否为领导者装置;
当所述电子装置未与所述AP连接时,
响应于通过所述麦克风接收到整个所述唤醒命令,将关于所述唤醒命令的所述第一信息发送到外部服务器,并从所述外部服务器接收基于所述第一信息和所述第二信息获得的领导者信息。
15.根据权利要求14所述的电子装置,其中,所述第一信息和所述第二信息均包括所述唤醒话语的信噪比(SNR)、音频质量、声压或置信度得分中的至少一项。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2018-0100238 | 2018-08-27 | ||
KR20180100238 | 2018-08-27 | ||
KR10-2019-0024396 | 2019-02-28 | ||
KR1020190024396A KR20200024068A (ko) | 2018-08-27 | 2019-02-28 | 인텔리전트 서비스를 위해, 복수의 음성 데이터 수신 장치들을 선택적으로 이용하는 방법, 장치, 및 시스템 |
PCT/KR2019/010918 WO2020045950A1 (en) | 2018-08-27 | 2019-08-27 | Method, device, and system of selectively using multiple voice data receiving devices for intelligent service |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112585675A CN112585675A (zh) | 2021-03-30 |
CN112585675B true CN112585675B (zh) | 2023-12-08 |
Family
ID=69802691
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980054861.9A Active CN112585675B (zh) | 2018-08-27 | 2019-08-27 | 选择地使用多个语音数据接收装置进行智能服务的方法、装置和系统 |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP3830821A4 (zh) |
KR (1) | KR20200024068A (zh) |
CN (1) | CN112585675B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4216211A4 (en) * | 2020-10-30 | 2024-03-27 | Samsung Electronics Co Ltd | ELECTRONIC DEVICE AND CONTROL METHOD THEREOF |
US11967322B2 (en) | 2021-05-06 | 2024-04-23 | Samsung Electronics Co., Ltd. | Server for identifying false wakeup and method for controlling the same |
WO2023163427A1 (ko) * | 2022-02-28 | 2023-08-31 | 삼성전자주식회사 | 전자 장치의 음량 조절 방법 및 장치 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20100066918A (ko) * | 2008-12-10 | 2010-06-18 | 한국전자통신연구원 | 유비쿼터스 지능형 로봇을 이용한 홈 네트워크 서비스 방법 |
KR20150103586A (ko) * | 2014-03-03 | 2015-09-11 | 삼성전자주식회사 | 음성 입력을 처리하는 방법 및 이를 수행하는 전자 장치 |
CN104965426A (zh) * | 2015-06-24 | 2015-10-07 | 百度在线网络技术(北京)有限公司 | 基于人工智能的智能机器人控制系统、方法和装置 |
WO2018067528A1 (en) * | 2016-10-03 | 2018-04-12 | Google Llc | Device leadership negotiation among voice interface devices |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9460715B2 (en) * | 2013-03-04 | 2016-10-04 | Amazon Technologies, Inc. | Identification using audio signatures and additional characteristics |
US9875081B2 (en) * | 2015-09-21 | 2018-01-23 | Amazon Technologies, Inc. | Device selection for providing a response |
-
2019
- 2019-02-28 KR KR1020190024396A patent/KR20200024068A/ko unknown
- 2019-08-27 CN CN201980054861.9A patent/CN112585675B/zh active Active
- 2019-08-27 EP EP19854239.1A patent/EP3830821A4/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20100066918A (ko) * | 2008-12-10 | 2010-06-18 | 한국전자통신연구원 | 유비쿼터스 지능형 로봇을 이용한 홈 네트워크 서비스 방법 |
KR20150103586A (ko) * | 2014-03-03 | 2015-09-11 | 삼성전자주식회사 | 음성 입력을 처리하는 방법 및 이를 수행하는 전자 장치 |
CN104965426A (zh) * | 2015-06-24 | 2015-10-07 | 百度在线网络技术(北京)有限公司 | 基于人工智能的智能机器人控制系统、方法和装置 |
WO2018067528A1 (en) * | 2016-10-03 | 2018-04-12 | Google Llc | Device leadership negotiation among voice interface devices |
Also Published As
Publication number | Publication date |
---|---|
EP3830821A4 (en) | 2021-11-03 |
CN112585675A (zh) | 2021-03-30 |
EP3830821A1 (en) | 2021-06-09 |
KR20200024068A (ko) | 2020-03-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11514917B2 (en) | Method, device, and system of selectively using multiple voice data receiving devices for intelligent service | |
US11443744B2 (en) | Electronic device and voice recognition control method of electronic device | |
US11900930B2 (en) | Method and apparatus for managing voice-based interaction in Internet of things network system | |
US11355110B2 (en) | Electronic device and method of performing functions of electronic devices by voice therebetween | |
US11398230B2 (en) | Method for controlling plurality of voice recognizing devices and electronic device supporting the same | |
US11031011B2 (en) | Electronic device and method for determining electronic device to perform speech recognition | |
US11557291B2 (en) | Method for location inference of IoT device, server, and electronic device supporting the same | |
CN112585675B (zh) | 选择地使用多个语音数据接收装置进行智能服务的方法、装置和系统 | |
US20200184963A1 (en) | Virtual assistant augmentation system | |
US20200099545A1 (en) | Method and apparatus for providing notification by interworking plurality of electronic devices | |
US20200051558A1 (en) | Electronic device supporting personalized device connection and method thereof | |
US20200257496A1 (en) | Electronic device for providing voice-based service using external device, external device and operation method thereof | |
US11308953B2 (en) | Speech recognition method and electronic device for supporting the same | |
US11244676B2 (en) | Apparatus for processing user voice input | |
KR102606041B1 (ko) | 상태 정보에 기반하여 식별 정보를 변경하는 전자 장치 및 상기 식별 정보를 확인할 수 있는 다른 전자 장치 | |
US20200379731A1 (en) | Voice assistant | |
US20220179619A1 (en) | Electronic device and method for operating thereof | |
US11516039B2 (en) | Performance mode control method and electronic device supporting same | |
CN108432160A (zh) | 在无线通信系统中基于声音信号发送和接收数据的设备和方法 | |
US11948579B2 (en) | Electronic device performing operation based on user speech in multi device environment and operating method thereof | |
US20230127543A1 (en) | Method of identifying target device based on utterance and electronic device therefor | |
US11863340B2 (en) | Method and system for controlling home appliance | |
US20210110834A1 (en) | Communication method between different electronic devices, server and electronic device supporting same | |
KR20220037846A (ko) | 음성 인식을 수행하기 위한 전자 장치를 식별하기 위한 전자 장치 및 그 동작 방법 | |
WO2019202852A1 (ja) | 情報処理システム、クライアント装置、情報処理方法及び情報処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |