CN106445654B - 确定响应控制命令优先顺序的方法及装置 - Google Patents

Abstract

本发明提出一种确定响应控制命令优先顺序的方法及装置。该方法包括：获取多个参与者对话过程中的现场信息；从所述现场图像信息中提取各个参与者的头像信息；建立各个参与者的头像信息与各个参与者对话过程中的语音信息的对应关系；分析所述各个参与者对话过程中的现场信息，确定各个参与者在多人交流的场景下的人物之间的关系；根据所述人物之间的关系，确定响应不同人物控制命令的优先顺序。本发明提供的技术方案可以自动判断响应控制命令的先后顺序，不需要事先进行设定，或者事后进行频繁的修改，具有智能、便捷的特点。

Description

确定响应控制命令优先顺序的方法及装置

技术领域

本发明涉及机器人智能控制领域，具体而言，涉及一种确定响应控制命令优先顺序的方法及装置。

背景技术

随着科学技术的发展以及人们生活水平的提升，智能机器人越来越受到人们的重视，智能机器人与人们的生产、生活的联系也越来越密切。一个语音控制指令即可让智能机器人去完成特定的任务，不必让人去亲力亲为，使得人们的生活变得更智能、更便捷。然而，智能机器人虽然能够根据语音控制指令执行特定的任务，但智能机器人在同一时间段内接收到多条语音控制指令时，如何选择那一条先执行，那一条后执行，却是一个让人头疼的问题。

发明内容

有鉴于此，本发明一较佳实施例的目的在于提供一种能确定响应控制命令优先顺序的方法，该方法包括：

获取多个参与者对话过程中的现场信息，其中，所述现场信息包括语音信息和现场图像信息；

从所述现场图像信息中提取各个参与者的头像信息；

建立各个参与者的头像信息与各个参与者对话过程中的语音信息的对应关系；

分析所述各个参与者对话过程中的现场信息，确定各个参与者在多人交流的场景下的人物之间的关系，所述人物之间的关系包括：上下级关系、同事关系、夫妻关系或父子关系；

根据所述人物之间的关系，确定响应不同人物控制命令的优先顺序。

本发明另一较佳实施例还提供一种确定响应控制命令优先顺序的装置，所述装置包括：

获取模块，用于获取多个参与者对话过程中的现场信息，其中，所述现场信息包括语音信息和现场图像信息；

提取模块，用于从所述现场图像信息中提取各个参与者的头像信息；

建立模块，用于建立各个参与者的头像信息与各个参与者对话过程中的语音信息的对应关系；

分析模块，用于分析所述各个参与者对话过程中的现场信息，确定各个参与者在多人交流的场景下的人物之间的关系，所述人物之间的关系包括：上下级关系、同事关系、夫妻关系或父子关系；

确定模块，用于根据所述人物之间的关系，确定响应不同人物控制命令的优先顺序。

与现有技术相比，本发明实施例提供的确定响应控制命令优先顺序的方法及装置，智能机器人通过对日常生活或者工作中多人聊天场景进行分析，得到在该多人聊天场景下各个参与者之间的关系，所述智能机器人根据上述各个参与者之间的关系确定响应不同人物控制命令的优先顺序。通过上述方法智能机器人可以自动判断响应控制命令的先后顺序，不需要事先进行设定，或者事后进行频繁的修改。具有智能、便捷的特点。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是本发明较佳实施例提供的智能机器人的方框示意图。

图2是本发明较佳实施例提供的图1中所示的确定响应控制命令优先顺序的装置的一种功能模块框图。

图3是本发明较佳实施例提供的图1中所示的确定响应控制命令优先顺序的装置的另一种功能模块框图。

图4是本发明较佳实施例提供的一种确定响应控制命令优先顺序的方法的具体流程图。

图5是图4中步骤S114包括的子步骤流程示意图。

图6是本发明较佳实施例提供的另一种确定响应控制命令优先顺序的方法的具体流程图。

图7是图6中步骤S117包括的子步骤流程示意图。

图标：100-智能机器人；110-确定响应控制命令优先顺序的装置；111-存储器；112-存储控制器；113-处理器；114-输入单元；1101-获取模块；1102-提取模块；1103-建立模块；1104-分析模块；11041-语音特征分析子模块；11042-形体特征分析子模块；11043-总体得分计算子模块；11044-人物关系确定子模块；1105-确定模块；1106-查找模块；11061-用户身份确定子模块；11062-优选顺序对比子模块；1107-执行模块；1108-工作模式设置模块；1109-优选顺序建立模块。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

请参照图1，是本发明较佳实施例提供的智能机器人100的硬件结构方框示意图。所述智能机器人100可以包括确定响应控制命令优先顺序的装置110、存储器111、存储控制器112、处理器113以及输入单元114。

所述存储器111、存储控制器112、处理器113及输入单元114各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述确定响应控制命令优先顺序的装置110可以包括至少一个可以软件或固件(firmware)的形式存储于所述存储器111中或固化在所述智能机器人100的操作系统(operating system，OS)中的软件功能模块。所述处理器113用于执行所述存储器111中存储的可执行模块，例如所述确定响应控制命令优先顺序的装置110所包括的软件功能模块及计算机程序等。

其中，所述存储器111可以是，但不限于，随机存取存储器(Random AccessMemory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(ProgrammableRead-Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read-OnlyMemory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-OnlyMemory，EEPROM)等。其中，存储器111用于存储程序，所述处理器113在接收到执行指令后，执行所述程序。所述处理器113以及其他可能的组件对存储器111的访问可在所述存储控制器112的控制下进行。

所述处理器113可能是一种集成电路芯片，具有信号的处理能力。上述的处理器113可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述输入单元114用于接收用户输入的控制指令，当输入控制指令为语音控制指令时，所述所述输入单元114可以是用于拾取用户语音控制指令的听筒。

请参照图2，是本发明较佳实施例提供的图1所示确定响应控制命令优先顺序的装置的功能模块框图。所述确定响应控制命令优先顺序的装置110包括获取模块1101、提取模块1102、建立模块1103、分析模块1104及确定模块1105。

所述获取模块1101，用于获取多个参与者对话过程中的现场信息，其中，所述现场信息包括语音信息和现场图像信息。

在本实施例中，所述获取模块1101可以通过设置在其上的图像采集装置(比如：摄像头)采集多个参与者对话过程中的现场信息。其中，所述现场信息包括语音信息和现场图像信息。

所述获取模块1101通过对采集图像进行人物识别来判断是否存在多个人。当存在多个人时，所述获取模块1101开启听筒对该多个人的聊天语音进行识别。

所述提取模块1102，用于从所述现场图像信息中提取各个参与者的头像信息。

在本实施例中，所述提取模块1102对采集的包括多个人的图像进行图像处理，获得每个人可以识别的头像信息。所述提取模块1102可以从拍摄的现场视频图像中进行随机抽样的方式获取待处理图像，并对获取的待处理图像进行图像处理，直到每个人的可识别头像信息均被提取出来。

所述建立模块1103，用于建立各个参与者的头像信息与各个参与者对话过程中的语音信息的对应关系。

具体地，在本实施例中，所述建立模块1103可以根据所述获取模块1101获取的现场图像中各个参与者的口型，现场的语音，建立起各个参与者与语音之间的联系。将所述提取模块1102提取的各个参与者的头像信息与语音信息建立起关联关系。同时因每一个人说话时的发音都存在区别，提取语音的发音特征，将具有同一发音特征的语音信息与其中一个参与者进行关联。当然，所述建立模块1103可以通过建立起来的关联，时时检测采用口型建立的对应关系是否正确，在对应关系不正确是进行相应的调整。

在本实施例的另一种实施方式中，所述建立模块1103还可以通过各个参与者在现场所处的位置，及语音传入所述智能机器人的方位来确定所述参与者与其语音之间的对应关系。

所述分析模块1104，用于分析所述各个参与者对话过程中的现场信息，确定各个参与者在多人交流的场景下的人物之间的关系。

在本实施例中，所述人物之间的关系包括，但不限于上下级关系、同事关系、夫妻关系或父子关系。

请参照图3，具体地，所述分析模块1104还可以包括语音特征分析子模块11041、形体特征分析子模块11042、总体得分计算子模块11043及人物关系确定子模块11044。

所述语音特征分析子模块11041，用于分析所述各个参与者在对话过程中的语音特征，对各个参与者的语音特征进行评分。其中，所述语音特征包括：关键字、语速、声调。

在本实施例中，当对话过程中出现称为(比如：老板、老婆、儿子及妈妈)这样的关键字时，即可以确定对话过程中人物之间的关系或者讨论的话题。同时，结合语音特征的其它因素(比如：语速或声调等)确定对话过程中人物之间谁更具有话语权。比如，在仅考虑语音特征时，当人物的语速越快、声调越高时给出的语音特征评分可以相比语速较慢、声调较低的语音特征评分高。

所述形体特征分析子模块11042，用于分析所述各个参与者在对话过程中的形体特征，对各个参与者的形体特征进行评分。所述形体特征包括：坐姿、站姿。

在本实施例中，所述形体特征分析子模块11042对形体特征进行评分的规则可以是，当多个人的形体特征中不仅有坐姿还有站姿时，给予坐姿的人物较高评分，给予站姿的人物较低评分；当多个人的形体特征均为坐姿或者站姿时，给予面向人数较多的人物较高的评分，给予面向人数较少的人物较低的评分。

所述总体得分计算子模块11043，用于根据所述语音特征进行评分和各个参与者的形体特征进行评分得到所述各个参与者的总体得分。

在本实施例中，所述总体得分计算子模块11043可以采用将各个参与者的语音特征评分和形体特征评分直接相加的方式，或者进行加权求和的方式获得各个参与者的总体得分。

所述人物关系确定子模块11044，用于根据所述各个参与者的总体得分确定所述各个参与者在多人交流场景下的人物之间的关系。

在本实施例中，所述人物关系确定子模块11044根据所述各个参与者的总体得分的高低确定人物控制命令执行的先后顺序。

请再次参照图3，在本实施例中，所述确定响应控制命令优先顺序的装置还可以包括：接收模块1105、查找模块1106及执行模块1107。

所述接收模块1105，用于接收用户的语音控制指令。

所述查找模块1106，用于查找是否存在有比该用户响应控制命令优先顺序更高的用户的命令正在被执行。

请再次参照图3，在本实施例中，所述查找模块还可以包括用户身份确定子模块11061及优选顺序对比子模块11062。

所述用户身份确定子模块11061，用于根据所述用户的语音控制指令中的声音特征或者用户的头像确定所述用户的身份；

所述优选顺序对比子模块11062，用于对比所述用户的身份与已经接受控制命令所对应用户的身份，确定是否存在有比该用户响应控制命令优先顺序更高的用户存在。

所述执行模块1107，用于当存在时，将用户的语音控制指令加入待处理任务队列中，等待执行，当不存在时，立即执行该用户的语音控制指令。

请再次参照图3，在本实施例中，所述确定响应控制命令优先顺序的装置还可以包括：工作模式设置模块1108及优先顺序建立模块1109。

所述工作模式设置模块1108用于设置不同工作模式。

在本实施例中，根据智能机器人100的功能用途不同，所述工作模式设置模块1108可以将智能机器人100设置成不同工作模式。比如，当智能机器人100为一家庭机器人时，可以设置清洁模式、教育模式及游戏模式。

所述优先顺序建立模块1109，用于根据所述人物之间的关系，建立所述不同工作模式下响应不同人物控制命令的优先顺序。

具体地，以上面描述的家庭机器人为例，当为清洁模式时，家庭人员中可以设置相同的权限，按照命令的先后顺序进行执行；当为教育模式或者游戏模式时，父母长辈具有优先的权限，父母的命令优先与小孩的命令执行。

请参照图4，是本发明较佳实施例提供的应用于智能机器人的确定响应控制命令优先顺序的方法的流程图。所述方法相关的流程定义的方法步骤可以由所述处理器113实现。下面对图4所示的具体流程进行详细阐述。

步骤S111，获取多个参与者对话过程中的现场信息，其中，所述现场信息包括语音信息和现场图像信息。

步骤S112，从所述现场图像信息中提取各个参与者的头像信息。

步骤S113，建立各个参与者的头像信息与各个参与者对话过程中的语音信息的对应关系。

步骤S114，分析所述各个参与者对话过程中的现场信息，确定各个参与者在多人交流的场景下的人物之间的关系，所述人物之间的关系包括：上下级关系、同事关系、夫妻关系或父子关系。

请参照图5，所述步骤S114包括以下子步骤。

子步骤S1141，分析所述各个参与者在对话过程中的语音特征，对各个参与者的语音特征进行评分。其中，所述语音特征包括：关键字、语速、声调。

子步骤S1142，分析所述各个参与者在对话过程中的形体特征，对各个参与者的形体特征进行评分。其中，所述形体特征包括：坐姿、站姿。

子步骤S1143，根据所述语音特征进行评分和各个参与者的形体特征进行评分得到所述各个参与者的总体得分。

子步骤S1144，根据所述各个参与者的总体得分确定所述各个参与者在多人交流场景下的人物之间的关系。

步骤S115，根据所述人物之间的关系，确定响应不同人物控制命令的优先顺序。

具体地，根据所述各个参与者的总体得分的高低确定人物控制命令执行的先后顺序。

请参照图6，在本实施例中，所述方法还包括以下步骤。

步骤S116，接收用户的语音控制指令。

步骤S117，查找是否存在有比该用户响应控制命令优先顺序更高的用户的命令正在被执行。

请参照图7，所述步骤S117还可以包括以下子步骤。

子步骤S1171，根据所述用户的语音控制指令中的声音特征或者用户的头像确定所述用户的身份。

子步骤S1172，对比所述用户的身份与已经接受控制命令所对应用户的身份，确定是否存在有比该用户响应控制命令优先顺序更高的用户存在。

步骤S118，当存在时，将用户的语音控制指令加入待处理任务队列中，等待执行，当不存在时，立即执行该用户的语音控制指令。

在本实施例中，所述方法还可以包括以下步骤。

设置不同工作模式；

根据所述人物之间的关系，建立所述不同工作模式下响应不同人物控制命令的优先顺序。

综上所述，本发明实施例提供的确定响应控制命令优先顺序的方法及装置，智能机器人通过对日常生活或者工作中多人聊天场景进行分析，得到在该多人聊天场景下各个参与者之间的关系，所述智能机器人根据上述各个参与者之间的关系确定响应不同人物控制命令的优先顺序。通过上述方法智能机器人可以自动判断响应控制命令的先后顺序，不需要事先进行设定，或者事后进行频繁的修改。具有智能、便捷的特点。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，也可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的设备、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (8)

1.一种确定响应控制命令优先顺序的方法，应用于智能机器人，其特征在于，所述方法包括：

获取多个参与者对话过程中的现场信息，其中，所述现场信息包括语音信息和现场图像信息；

从所述现场图像信息中提取各个参与者的头像信息；

建立各个参与者的头像信息与各个参与者对话过程中的语音信息的对应关系；

分析所述各个参与者对话过程中的现场信息，确定各个参与者在多人交流的场景下的人物之间的关系，所述人物之间的关系包括：上下级关系、同事关系、夫妻关系或父子关系；

根据所述人物之间的关系，确定响应不同人物控制命令的优先顺序；

其中，所述分析所述各个参与者对话过程中的现场信息，确定各个参与者在该多人交流的场景下的人物之间的关系的步骤包括：

分析所述各个参与者在对话过程中的语音特征，对各个参与者的语音特征进行评分，所述语音特征包括：关键字、语速、声调；

分析所述各个参与者在对话过程中的形体特征，对各个参与者的形体特征进行评分，所述形体特征包括：坐姿、站姿；

根据所述语音特征进行评分和各个参与者的形体特征进行评分得到所述各个参与者的总体得分；

根据所述各个参与者的总体得分确定所述各个参与者在多人交流场景下的人物之间的关系。

2.如权利要求1所述的确定响应控制命令优先顺序的方法，其特征在于，所述方法还包括：

接收用户的语音控制指令；

查找是否存在有比该用户响应控制命令优先顺序更高的用户的命令正在被执行；

当存在时，将用户的语音控制指令加入待处理任务队列中，等待执行，当不存在时，立即执行该用户的语音控制指令。

3.如权利要求2所述的确定响应控制命令优先顺序的方法，其特征在于，所述查找是否存在有比该用户响应控制命令优先顺序更高的用户的命令正在被执行的步骤包括:

根据所述用户的语音控制指令中的声音特征或者用户的头像确定所述用户的身份；

对比所述用户的身份与已经接受控制命令所对应用户的身份，确定是否存在有比该用户响应控制命令优先顺序更高的用户存在。

4.如权利要求1所述的确定响应控制命令优先顺序的方法，其特征在于，所述根据所述人物之间的关系，确定响应人物控制命令的优先顺序的步骤包括：

根据所述各个参与者的总体得分的高低确定人物控制命令执行的先后顺序。

5.如权利要求1所述的确定响应控制命令优先顺序的方法，其特征在于，所述方法还包括：

设置不同工作模式；

根据所述人物之间的关系，建立所述不同工作模式下响应不同人物控制命令的优先顺序。

6.一种确定响应控制命令优先顺序的装置，应用于智能机器人，其特征在于，所述装置包括：

获取模块，用于获取多个参与者对话过程中的现场信息，其中，所述现场信息包括语音信息和现场图像信息；

提取模块，用于从所述现场图像信息中提取各个参与者的头像信息；

建立模块，用于建立各个参与者的头像信息与各个参与者对话过程中的语音信息的对应关系；

分析模块，用于分析所述各个参与者对话过程中的现场信息，确定各个参与者在多人交流的场景下的人物之间的关系，所述人物之间的关系包括：上下级关系、同事关系、夫妻关系或父子关系；

确定模块，用于根据所述人物之间的关系，确定响应不同人物控制命令的优先顺序；

其中，所述分析模块包括：

语音特征分析子模块，用于分析所述各个参与者在对话过程中的语音特征，对各个参与者的语音特征进行评分，所述语音特征包括：关键字、语速、声调；

形体特征分析子模块，用于分析所述各个参与者在对话过程中的形体特征，对各个参与者的形体特征进行评分，所述形体特征包括：坐姿、站姿；

总体得分计算子模块，用于根据所述语音特征进行评分和各个参与者的形体特征进行评分得到所述各个参与者的总体得分；

人物关系确定子模块，用于根据所述各个参与者的总体得分确定所述各个参与者在多人交流场景下的人物之间的关系。

7.如权利要求6所述的确定响应控制命令优先顺序的装置，其特征在于，所述装置还包括：

接收模块，用于接收用户的语音控制指令；

查找模块，用于查找是否存在有比该用户响应控制命令优先顺序更高的用户的命令正在被执行；

执行模块，用于当存在时，将用户的语音控制指令加入待处理任务队列中，等待执行，当不存在时，立即执行该用户的语音控制指令。

8.如权利要求7所述的确定响应控制命令优先顺序的装置，其特征在于，所述查找模块包括:

用户身份确定子模块，用于根据所述用户的语音控制指令中的声音特征或者用户的头像确定所述用户的身份；

优选顺序对比子模块，用于对比所述用户的身份与已经接受控制命令所对应用户的身份，确定是否存在有比该用户响应控制命令优先顺序更高的用户存在。