CN115617169B - 一种语音控制机器人及基于角色关系的机器人控制方法 - Google Patents

一种语音控制机器人及基于角色关系的机器人控制方法 Download PDF

Info

Publication number
CN115617169B
CN115617169B CN202211244231.8A CN202211244231A CN115617169B CN 115617169 B CN115617169 B CN 115617169B CN 202211244231 A CN202211244231 A CN 202211244231A CN 115617169 B CN115617169 B CN 115617169B
Authority
CN
China
Prior art keywords
data
motion
intelligent
acquiring
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211244231.8A
Other languages
English (en)
Other versions
CN115617169A (zh
Inventor
贾明华
郭克新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Qile Technology Co ltd
Original Assignee
Shenzhen Qile Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Qile Technology Co ltd filed Critical Shenzhen Qile Technology Co ltd
Priority to CN202211244231.8A priority Critical patent/CN115617169B/zh
Publication of CN115617169A publication Critical patent/CN115617169A/zh
Application granted granted Critical
Publication of CN115617169B publication Critical patent/CN115617169B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Numerical Control (AREA)
  • Manipulator (AREA)

Abstract

本发明提出一种语音控制机器人及基于角色关系的机器人控制方法，通过利用交互行为、角色与语言之间的内在联系，利用交互行为数据建立控制命令解析库，以达到利用角色关系对语音控制命令进行解释目的，并用解析出来的控制命令控制角色相对方对应的机器人，不仅提高了语音控制命令的识别率，也能基于用户的个性提供更智能化更优质的服务。

Description

一种语音控制机器人及基于角色关系的机器人控制方法
技术领域
本发明涉及智能控制技术领域，具体涉及一种语音控制机器人及基于角色关系的机器人控制方法。
背景技术
近年来，随着人工智能特别是机器人科学的快速发展，机器人逐渐应用于社会的各个领域，当前，机器人因其智能性、多功能性逐渐渗入到人们生产生活的方方面面。特别是，语音识别技术的发展，提供了语音交互的方式，用户可以通过直接发出语音指令控制机器人，给予用户对机器人操作的更大自由性。
但是，目前对机器人的语音控制方法仍存在语音识别率低、控制不够智能等问题。
发明内容
本发明正是基于上述问题，提出了一种语音控制机器人及基于角色关系的机器人控制方法，通过利用交互行为、角色与语言之间的内在联系，利用交互行为数据建立控制命令解析库，以达到利用角色关系对语音控制命令进行解释目的，并用解析出来的控制命令控制角色相对方对应的机器人，不仅提高了语音控制命令的识别率，也能基于用户的个性提供更智能化更优质的服务。
有鉴于此，本发明的一方面提出了一种语音控制机器人，包括：获取模块、处理模块以及用于发送和接收数据的通信模块；
所述获取模块被配置为：
获取第一人物对象的交互行为数据；
获取所述第一人物对象的多个角色信息，根据所述多个角色信息，将所述交互行为数据按角色的不同进行分类；
所述处理模块被配置为：利用分类后的所述交互行为数据建立每个角色对应的控制命令解析库；
所述获取模块被配置为：获取第一语音控制命令；
所述处理模块被配置为：确定所述第一语音控制命令对应的第一角色信息，并从所述控制命令解析库中确定所述第一角色信息对应的第一语音控制命令解析库；
所述通信模块被配置为：
基于所述第一角色信息发送包含角色配对验证消息的第一广播信息；
接收第二机器人发送的对所述第一广播信息的第一反馈消息；
所述处理模块被配置为：当所述第一反馈消息表明通过对所述角色配对验证消息的验证时，根据所述第一语音控制命令解析库对所述第一语音控制命令进行解析得到第二控制命令；
所述通信模块被配置为：将所述第二控制命令分发至对应的所述第二机器人；
所述获取模块被配置为：获取所述第一角色信息的相对方的对所述第二机器人执行所述第二控制命令的状态的第二反馈数据；
所述处理模块被配置为：根据所述第二反馈数据修正所述第一语音控制命令解析库。
可选地，所述获取第一人物对象的交互行为数据的步骤中，所述获取模块被具体配置为：
通过所述通信模块与智能穿戴设备连接，控制所述智能穿戴设备采集所述第一人物对象的交互行为数据；
其中，所述智能穿戴设备穿戴在所述第一人物对象身上，所述智能穿戴设备包括智能头盔、智能背心、左右智能臂套、左右智能手套、左右智能护膝、左右智能鞋。
可选地，所述通过所述通信模块与智能穿戴设备连接，控制所述智能穿戴设备采集所述第一人物对象的交互行为数据的步骤中，所述获取模块被具体配置为：
控制设置于所述智能头盔的声音采集模块、图像采集模块和头部运动传感器分别采集所述第一人物对象的第一语音数据、第一面部图像数据和头部运动数据；
控制分别设置于所述智能背心的两侧肩关节部位的第一运动传感器和第二运动传感器采集所述肩关节部位的肩关节运动数据；
控制分别设置于所述左右智能臂套的肘关节部位的第三运动传感器和第四运动传感器采集所述肘关节部位的肘关节运动数据；
控制分别设置于所述左右智能手套的第五运动传感器和第六运动传感器采集手部运动数据；
控制分别设置于所述左右智能护膝的膝关节部位的第七运动传感器和第八运动传感器采集膝关节运动数据；
控制分别设置于所述左右智能鞋的第九运动传感器和第一压力传感、第十运动传感器和第二压力传感器采集足部运动数据和足部用力数据；
通过所述处理模块从所述第一语音数据中提取交互语音数据；
通过所述处理模块从所述第一面部图像数据中提取交互表情数据；
通过所述处理模块根据所述头部运动数据、所述肩关节运动数据、所述肘关节运动数据、所述手部运动数据、所述膝关节运动数据、所述足部运动数据和所述足部用力数据生成交互动作数据；
通过所述处理模块将所述交互语音数据、交互表情数据和交互动作数据作为所述交互行为数据。
可选地，所述通过所述处理模块根据头部运动数据、所述肩关节运动数据、所述肘关节运动数据、所述手部运动数据、所述膝关节运动数据、所述足部运动数据和所述足部用力数据生成交互动作数据的步骤中，所述获取模块被具体配置为：
在所述第一人物对象处于标准静止站姿或坐姿时，获取所述智能头盔的对称轴经过其边沿的交点以及所述第一运动传感器至所述第十运动传感器共11个点的位置数据；
根据所述位置数据，结合世界坐标系，将所述交点和所述第一运动传感器至所述第十运动传感器共11个点的坐标映射至所述世界坐标系中；
根据头部运动数据、所述肩关节运动数据、所述肘关节运动数据、所述手部运动数据、所述膝关节运动数据、所述足部运动数据确定所述交点和所述第一运动传感器至所述第十运动传感器共11个点的坐标值随时间的坐标变化数据；
从所述坐标变化数据中取从T0时刻开始、时间为T对应的第一坐标变化数据；
基于所述第一坐标变化数据，每隔预设时间t，从所述交点出发，分别依次连接与所述第一人物对象对应的两侧的5个点，得到N个图形轮廓数据,其中，N＝int(T-T0/t),表示(T-T0/t)的整数部分；
结合所述第一坐标变化数据中的时间数据，将所述N个图形轮廓数据转化为动画数据；
结合动作识别算法，从所述动画数据中得到所述第一人物对象的肢体行为数据；
从所述左右智能手套获取从TO开始T时间内的手指动作数据；
从所述足部压力数据中获取从TO开始T时间内的第一足部压力数据；
将所述肢体行为数据、所述手指动作数据和所述第一足部压力数据作为所述交互动作数据。
可选地，所述获取所述第一人物对象的多个角色信息，根据所述多个角色信息，将所述交互行为数据按角色的不同进行分类的步骤中，所述获取模块被具体配置为：
获取所述第一人物对象的社交数据、工作关系数据与家庭关系数据；
从所述社交数据、所述工作关系数据与所述家庭关系数据中提取所述第一人物对象的多个角色信息；
获取依据历史交互行为数据生成的人物角色画像模型；
根据所述人物角色画像模型，将所述交互行为数据进行角色画像标记；
根据所述角色画像标记与所述多个角色信息之间的对应关系，将所述交互行为数据按角色的不同进行分类。
本发明的另一方面提供一种基于角色关系的机器人控制方法，所述基于角色关系的机器人控制方法包括：
获取第一人物对象的交互行为数据；
获取所述第一人物对象的多个角色信息，根据所述多个角色信息，将所述交互行为数据按角色的不同进行分类；
利用分类后的所述交互行为数据建立每个角色对应的控制命令解析库；
获取对第一机器人的第一语音控制命令；
所述第一机器人确定所述第一语音控制命令对应的第一角色信息，并从所述控制命令解析库中确定所述第一角色信息对应的第一语音控制命令解析库；
所述第一机器人基于所述第一角色信息发送包含角色配对验证消息的第一广播信息；
所述第一机器人接收第二机器人发送的对所述第一广播信息的第一反馈消息；
当所述第一反馈消息表明通过对所述角色配对验证消息的验证时，所述第一机器人根据所述第一语音控制命令解析库对所述第一语音控制命令进行解析得到第二控制命令；
将所述第二控制命令分发至对应的所述第二机器人；
所述第二机器人执行所述第二控制命令；
获取所述第一角色信息的相对方的对所述第二机器人执行所述第二控制命令的状态的第二反馈数据；
根据所述第二反馈数据修正所述第一语音控制命令解析库。
可选地，所述获取第一人物对象的交互行为数据的步骤，包括：
在所述第一人物对象身上穿戴好智能穿戴设备，所述智能穿戴设备包括智能头盔、智能背心、左右智能臂套、左右智能手套、左右智能护膝、左右智能鞋；
通过所述智能穿戴设备采集所述第一人物对象的交互行为数据。
可选地，所述通过所述智能穿戴设备采集所述第一人物对象的交互行为数据的步骤，包括：
通过设置于所述智能头盔的声音采集模块、图像采集模块和头部运动传感器分别采集所述第一人物对象的第一语音数据、第一面部图像数据和头部运动数据；
通过分别设置于所述智能背心的两侧肩关节部位的第一运动传感器和第二运动传感器采集所述肩关节部位的肩关节运动数据；
通过分别设置于所述左右智能臂套的肘关节部位的第三运动传感器和第四运动传感器采集所述肘关节部位的肘关节运动数据；
通过分别设置于所述左右智能手套的第五运动传感器和第六运动传感器采集手部运动数据；
通过分别设置于所述左右智能护膝的膝关节部位的第七运动传感器和第八运动传感器采集膝关节运动数据；
通过分别设置于所述左右智能鞋的第九运动传感器和第一压力传感、第十运动传感器和第二压力传感器采集足部运动数据和足部用力数据；
从所述第一语音数据中提取交互语音数据；
从所述第一面部图像数据中提取交互表情数据；
根据所述头部运动数据、所述肩关节运动数据、所述肘关节运动数据、所述手部运动数据、所述膝关节运动数据、所述足部运动数据和所述足部用力数据生成交互动作数据；
将所述交互语音数据、交互表情数据和交互动作数据作为所述交互行为数据。
可选地，所述根据头部运动数据、所述肩关节运动数据、所述肘关节运动数据、所述手部运动数据、所述膝关节运动数据、所述足部运动数据和所述足部用力数据生成交互动作数据的步骤，包括：
在所述第一人物对象处于标准静止站姿或坐姿时，获取所述智能头盔的对称轴经过其边沿的交点以及所述第一运动传感器至所述第十运动传感器共11个点的位置数据；
根据所述位置数据，结合世界坐标系，将所述交点和所述第一运动传感器至所述第十运动传感器共11个点的坐标映射至所述世界坐标系中；
根据头部运动数据、所述肩关节运动数据、所述肘关节运动数据、所述手部运动数据、所述膝关节运动数据、所述足部运动数据确定所述交点和所述第一运动传感器至所述第十运动传感器共11个点的坐标值随时间的坐标变化数据；
从所述坐标变化数据中取从T0时刻开始、时间为T对应的第一坐标变化数据；
基于所述第一坐标变化数据，每隔预设时间t，从所述交点出发，分别依次连接与所述第一人物对象对应的两侧的5个点，得到N个图形轮廓数据,其中，N＝int(T-T0/t),表示(T-T0/t)的整数部分；
结合所述第一坐标变化数据中的时间数据，将所述N个图形轮廓数据转化为动画数据；
结合动作识别算法，从所述动画数据中得到所述第一人物对象的肢体行为数据；
从所述左右智能手套获取从TO开始T时间内的手指动作数据；
从所述足部压力数据中获取从TO开始T时间内的第一足部压力数据；
将所述肢体行为数据、所述手指动作数据和所述第一足部压力数据作为所述交互动作数据。
可选地，所述获取所述第一人物对象的多个角色信息，根据所述多个角色信息，将所述交互行为数据按角色的不同进行分类的步骤，包括：
获取所述第一人物对象的社交数据、工作关系数据与家庭关系数据；
从所述社交数据、所述工作关系数据与所述家庭关系数据中提取所述第一人物对象的多个角色信息；
获取依据历史交互行为数据生成的人物角色画像模型；
根据所述人物角色画像模型，将所述交互行为数据进行角色画像标记；
根据所述角色画像标记与所述多个角色信息之间的对应关系，将所述交互行为数据按角色的不同进行分类。
采用本发明的技术方案，通过利用交互行为、角色与语言之间的内在联系，利用交互行为数据建立控制命令解析库，以达到利用角色关系对语音控制命令进行解释目的，并用解析出来的控制命令控制角色相对方对应的机器人，不仅提高了语音控制命令的识别率，也能基于用户的个性提供更智能化更优质的服务。
附图说明
图1是本发明一个实施例提供的语音控制机器人的示意框图；
图2是本发明一个实施例提供的基于角色关系的机器人控制方法流程图；
图3是本发明另一个实施例提供的基于角色关系的机器人控制方法流程图；
图4是本发明另一个实施例提供的基于角色关系的机器人控制方法流程图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
下面参照图1至图4来描述根据本发明一些实施方式提供的一种语音控制机器人及基于角色关系的机器人控制方法。
如图1所示，本发明一个实施例提供一种语音控制机器人，包括：获取模块、处理模块以及用于发送和接收数据的通信模块；
所述获取模块被配置为：
获取第一人物对象的交互行为数据；
获取所述第一人物对象的多个角色信息，根据所述多个角色信息，将所述交互行为数据按角色的不同进行分类；
所述处理模块被配置为：利用分类后的所述交互行为数据建立每个角色对应的控制命令解析库；
所述获取模块被配置为：获取第一语音控制命令；
所述处理模块被配置为：确定所述第一语音控制命令对应的第一角色信息，并从所述控制命令解析库中确定所述第一角色信息对应的第一语音控制命令解析库；
所述通信模块被配置为：
基于所述第一角色信息发送包含角色配对验证消息的第一广播信息；
接收第二机器人发送的对所述第一广播信息的第一反馈消息；
所述处理模块被配置为：当所述第一反馈消息表明通过对所述角色配对验证消息的验证时，根据所述第一语音控制命令解析库对所述第一语音控制命令进行解析得到第二控制命令；
所述通信模块被配置为：将所述第二控制命令分发至对应的所述第二机器人；
所述获取模块被配置为：获取所述第一角色信息的相对方的对所述第二机器人执行所述第二控制命令的状态的第二反馈数据；
所述处理模块被配置为：根据所述第二反馈数据修正所述第一语音控制命令解析库。
可以理解的是，在现实生活中存在多个机器人间进行协同工作的需要，例如多个家庭人员的多个陪伴机器人或者具有不同功能的多个机器人间都存在通信互通与工作协同的可能。在本发明实施例中，基于主控人(即第一人物对象)的交互行为数据，并结合主控人在工作与生活中承担/扮演的多个不同的角色信息，因不同的角色对应的交互行为存在不同，而交互行为又能对人的语言进行辅助解释，故根据多个角色信息，将所述交互行为数据按角色的不同进行分类，利用分类后的所述交互行为数据建立每个角色对应的控制命令解析库。
获取第一语音控制命令，从所述第一语音控制命令可以提取能表明角色/身份的关键词，根据所述关键词即可确定所述第一语音控制命令当前对应的第一角色信息。
基于所述第一角色信息发送包含角色配对验证消息的第一广播信息，以查找所述第一角色信息的相对方，如第一角色信息为“丈夫”，则相对方为“妻子”；又如第一角色信息为“老板”，则相对方“员工”等。当然相对方的确定，也可以结合时间、地点来进行确定。
当经过验证查找到对应的第二机器人时，根据所述第一语音控制命令解析库对所述第一语音控制命令进行解析得到第二控制命令，并将所述第二控制命令分发至对应的所述第二机器人。所述第二机器人执行所述第二控制命令，并且获取所述第一角色信息的相对方发出/提交的对所述第二机器人执行所述第二控制命令的状态的第二反馈数据(如表示对第二机器人的服务满意或不满意的评价，或者表示懂或不懂的回复，或者是对第二机器人行为/工作参数的纠正/更改等)；根据所述第二反馈数据修正所述第一语音控制命令解析库，以使所述第一语音控制命令解析库达到最优状态。
采用该实施例的技术方案，通过利用交互行为、角色与语言之间的内在联系，利用交互行为数据建立控制命令解析库，以达到利用角色关系对语音控制命令进行解释目的，并用解析出来的控制命令控制角色相对方对应的机器人，不仅提高了语音控制命令的识别率，也能基于用户的个性提供更智能化更优质的服务。
应当知道的是，图1所示的语音控制机器人的框图仅作示意，其所示出的各模块的数量并不对本发明的保护范围进行限定。
在本发明一些可能的实施方式中，所述获取第一人物对象的交互行为数据的步骤中，所述获取模块被具体配置为：
通过所述通信模块与智能穿戴设备连接，控制所述智能穿戴设备采集所述第一人物对象的交互行为数据；
其中，所述智能穿戴设备穿戴在所述第一人物对象身上，所述智能穿戴设备包括智能头盔、智能背心、左右智能臂套、左右智能手套、左右智能护膝、左右智能鞋。
可以理解的是，为了精准的获取交互行为数据，在本实施例中，在所述第一人物对象身上穿戴好智能穿戴设备，通过所述智能穿戴设备采集所述第一人物对象的交互行为数据所述智能穿戴设备包括智能头盔、智能背心、左右智能臂套、左右智能手套、左右智能护膝、左右智能鞋，所述智能穿戴设备均集成了多种传感器，能有效地采集人体的生理数据、图像数据、运动数据、位置数据等。
在本发明一些可能的实施方式中，所述通过所述通信模块与智能穿戴设备连接，控制所述智能穿戴设备采集所述第一人物对象的交互行为数据的步骤中，所述获取模块被具体配置为：
控制设置于所述智能头盔的声音采集模块、图像采集模块和头部运动传感器分别采集所述第一人物对象的第一语音数据、第一面部图像数据和头部运动数据；
控制分别设置于所述智能背心的两侧肩关节部位的第一运动传感器和第二运动传感器采集所述肩关节部位的肩关节运动数据；
控制分别设置于所述左右智能臂套的肘关节部位的第三运动传感器和第四运动传感器采集所述肘关节部位的肘关节运动数据；
控制分别设置于所述左右智能手套的第五运动传感器和第六运动传感器采集手部运动数据；
控制分别设置于所述左右智能护膝的膝关节部位的第七运动传感器和第八运动传感器采集膝关节运动数据；
控制分别设置于所述左右智能鞋的第九运动传感器和第一压力传感、第十运动传感器和第二压力传感器采集足部运动数据和足部用力数据；
通过所述处理模块从所述第一语音数据中提取交互语音数据；
通过所述处理模块从所述第一面部图像数据中提取交互表情数据；
通过所述处理模块根据所述头部运动数据、所述肩关节运动数据、所述肘关节运动数据、所述手部运动数据、所述膝关节运动数据、所述足部运动数据和所述足部用力数据生成交互动作数据；
通过所述处理模块将所述交互语音数据、交互表情数据和交互动作数据作为所述交互行为数据。
可以理解的是，为了能更好的采集到最有价值的数据，在所述智能穿戴设备穿戴后对应人体的重要关节/部位设置有运动传感器或压力传感器或声音采集模块、图像采集模块和头部运动传感器，以采集所述第一人物对象的第一语音数据、第一面部图像数据、头部运动数据以及肩关节运动数据、肘关节运动数据、手部运动数据、膝关节运动数据、足部运动数据和足部用力数据(人体运动时，足部用力数据可以反映出人物的精神/生理状态)，并根据这些数据得到所述交互行为数据。
在本发明一些可能的实施方式中，所述通过所述处理模块根据头部运动数据、所述肩关节运动数据、所述肘关节运动数据、所述手部运动数据、所述膝关节运动数据、所述足部运动数据和所述足部用力数据生成交互动作数据的步骤中，所述获取模块被具体配置为：
在所述第一人物对象处于标准静止站姿或坐姿时，获取所述智能头盔的对称轴经过其边沿的交点以及所述第一运动传感器至所述第十运动传感器共11个点的位置数据；
根据所述位置数据，结合世界坐标系，将所述交点和所述第一运动传感器至所述第十运动传感器共11个点的坐标映射至所述世界坐标系中；
根据头部运动数据、所述肩关节运动数据、所述肘关节运动数据、所述手部运动数据、所述膝关节运动数据、所述足部运动数据确定所述交点和所述第一运动传感器至所述第十运动传感器共11个点的坐标值随时间的坐标变化数据；
从所述坐标变化数据中取从T0时刻开始、时间为T对应的第一坐标变化数据；
基于所述第一坐标变化数据，每隔预设时间t，从所述交点出发，分别依次连接与所述第一人物对象对应的两侧的5个点，得到N个图形轮廓数据,其中，N＝int(T-T0/t),表示(T-T0/t)的整数部分；其中，T0、T及t的值，可以根据动画制作中对图像帧的要求确定；
结合所述第一坐标变化数据中的时间数据，将所述N个图形轮廓数据转化为动画数据；
结合动作识别算法，从所述动画数据中得到所述第一人物对象的肢体行为数据；
从所述左右智能手套获取从TO开始T时间内的手指动作数据；
从所述足部压力数据中获取从TO开始T时间内的第一足部压力数据；
将所述肢体行为数据、所述手指动作数据和所述第一足部压力数据作为所述交互动作数据。
可以理解的是，本实施例中，通过设置于可穿戴设备上对应11个关键关节/部位处的传感器获取数据，确定人体的11个关键关节/部位在世界坐标系中坐标。再记录这些点的坐标变化数据(即运动数据)，可以得到第一人物对象的肢体行为数据，再结合对应时段内从所述左右智能手套获取的手指动作数据和从所述足部压力数据中获取的第一足部压力数据，即可得到所述交互动作数据。
本实施例的方案，通过N个图形轮廓数据得到肢体行为数据，计算简单、数据量小、不用作复杂的图像处理，既能保证准确度，又能大大提高处理效率，节省计算资源。
在本发明一些可能的实施方式中，所述获取所述第一人物对象的多个角色信息，根据所述多个角色信息，将所述交互行为数据按角色的不同进行分类的步骤中，所述获取模块被具体配置为：
获取所述第一人物对象的社交数据、工作关系数据与家庭关系数据；
从所述社交数据、所述工作关系数据与所述家庭关系数据中提取所述第一人物对象的多个角色信息；
获取依据历史交互行为数据生成的人物角色画像模型；
根据所述人物角色画像模型，将所述交互行为数据进行角色画像标记；
根据所述角色画像标记与所述多个角色信息之间的对应关系，将所述交互行为数据按角色的不同进行分类。
可以理解的是，为了使得更贴合个体性化需求，在本实施例中，获取依据历史交互行为数据生成的人物角色画像模型，根据所述人物角色画像模型，将所述交互行为数据进行角色画像标记；再依据所述角色画像标记与所述多个角色信息之间的对应关系，将所述交互行为数据按角色的不同进行分类。
请参见图2，本发明的另一实施例提供一种基于角色关系的机器人控制方法，所述基于角色关系的机器人控制方法包括：
获取第一人物对象的交互行为数据；
获取所述第一人物对象的多个角色信息，根据所述多个角色信息，将所述交互行为数据按角色的不同进行分类；
利用分类后的所述交互行为数据建立每个角色对应的控制命令解析库；
获取对第一机器人的第一语音控制命令；
所述第一机器人确定所述第一语音控制命令对应的第一角色信息，并从所述控制命令解析库中确定所述第一角色信息对应的第一语音控制命令解析库；
所述第一机器人基于所述第一角色信息发送包含角色配对验证消息的第一广播信息；
所述第一机器人接收第二机器人发送的对所述第一广播信息的第一反馈消息；
当所述第一反馈消息表明通过对所述角色配对验证消息的验证时，所述第一机器人根据所述第一语音控制命令解析库对所述第一语音控制命令进行解析得到第二控制命令；
将所述第二控制命令分发至对应的所述第二机器人；
所述第二机器人执行所述第二控制命令；
获取所述第一角色信息的相对方的对所述第二机器人执行所述第二控制命令的状态的第二反馈数据；
根据所述第二反馈数据修正所述第一语音控制命令解析库。
可以理解的是，在现实生活中存在多个机器人间进行协同工作的需要，例如多个家庭人员的多个陪伴机器人或者具有不同功能的多个机器人间都存在通信互通与工作协同的可能。在本发明实施例中，基于主控人(即第一人物对象)的交互行为数据，并结合主控人在工作与生活中承担/扮演的多个不同的角色信息，因不同的角色对应的交互行为存在不同，而交互行为又能对人的语言进行辅助解释，故根据多个角色信息，将所述交互行为数据按角色的不同进行分类，利用分类后的所述交互行为数据建立每个角色对应的控制命令解析库。
获取对第一机器人的第一语音控制命令，从所述第一语音控制命令可以提取能表明角色/身份的关键词，根据所述关键词即可确定所述第一语音控制命令当前对应的第一角色信息。
所述第一机器人基于所述第一角色信息发送包含角色配对验证消息的第一广播信息，以查找所述第一角色信息的相对方，如第一角色信息为“丈夫”，则相对方为“妻子”；又如第一角色信息为“老板”，则相对方“员工”等。当然相对方的确定，也可以结合时间、地点来进行确定。
当经过验证查找到对应的第二机器人时，所述第一机器人根据所述第一语音控制命令解析库对所述第一语音控制命令进行解析得到第二控制命令，并将所述第二控制命令分发至对应的所述第二机器人。所述第二机器人执行所述第二控制命令，并且获取所述第一角色信息的相对方发出/提交的对所述第二机器人执行所述第二控制命令的状态的第二反馈数据(如表示对第二机器人的服务满意或不满意的评价，或者表示懂或不懂的回复，或者是对第二机器人行为/工作参数的纠正/更改等)；根据所述第二反馈数据修正所述第一语音控制命令解析库，以使所述第一语音控制命令解析库达到最优状态。
采用该实施例的技术方案，通过利用交互行为、角色与语言之间的内在联系，利用交互行为数据建立控制命令解析库，以达到利用角色关系对语音控制命令进行解释目的，并用解析出来的控制命令控制角色相对方对应的机器人，不仅提高了语音控制命令的识别率，也能基于用户的个性提供更智能化更优质的服务。
在本发明一些可能的实施方式中，所述获取第一人物对象的交互行为数据的步骤，包括：
在所述第一人物对象身上穿戴好智能穿戴设备，所述智能穿戴设备包括智能头盔、智能背心、左右智能臂套、左右智能手套、左右智能护膝、左右智能鞋；
通过所述智能穿戴设备采集所述第一人物对象的交互行为数据。
可以理解的是，为了精准的获取交互行为数据，在本实施例中，在所述第一人物对象身上穿戴好智能穿戴设备，通过所述智能穿戴设备采集所述第一人物对象的交互行为数据所述智能穿戴设备包括智能头盔、智能背心、左右智能臂套、左右智能手套、左右智能护膝、左右智能鞋，所述智能穿戴设备均集成了多种传感器，能有效地采集人体的生理数据、图像数据、运动数据、位置数据等。
请参见图3，在本发明一些可能的实施方式中，所述通过所述智能穿戴设备采集所述第一人物对象的交互行为数据的步骤，包括：
通过设置于所述智能头盔的声音采集模块、图像采集模块和头部运动传感器分别采集所述第一人物对象的第一语音数据、第一面部图像数据和头部运动数据；
通过分别设置于所述智能背心的两侧肩关节部位的第一运动传感器和第二运动传感器采集所述肩关节部位的肩关节运动数据；
通过分别设置于所述左右智能臂套的肘关节部位的第三运动传感器和第四运动传感器采集所述肘关节部位的肘关节运动数据；
通过分别设置于所述左右智能手套的第五运动传感器和第六运动传感器采集手部运动数据；
通过分别设置于所述左右智能护膝的膝关节部位的第七运动传感器和第八运动传感器采集膝关节运动数据；
通过分别设置于所述左右智能鞋的第九运动传感器和第一压力传感、第十运动传感器和第二压力传感器采集足部运动数据和足部用力数据；
从所述第一语音数据中提取交互语音数据；
从所述第一面部图像数据中提取交互表情数据；
根据所述头部运动数据、所述肩关节运动数据、所述肘关节运动数据、所述手部运动数据、所述膝关节运动数据、所述足部运动数据和所述足部用力数据生成交互动作数据；
将所述交互语音数据、交互表情数据和交互动作数据作为所述交互行为数据。
可以理解的是，为了能更好的采集到最有价值的数据，在所述智能穿戴设备穿戴后对应人体的重要关节/部位设置有运动传感器或压力传感器或声音采集模块、图像采集模块和头部运动传感器，以采集所述第一人物对象的第一语音数据、第一面部图像数据、头部运动数据以及肩关节运动数据、肘关节运动数据、手部运动数据、膝关节运动数据、足部运动数据和足部用力数据(人体运动时，足部用力数据可以反映出人物的精神/生理状态)，并根据这些数据得到所述交互行为数据。
请参见图4，在本发明一些可能的实施方式中，所述根据头部运动数据、所述肩关节运动数据、所述肘关节运动数据、所述手部运动数据、所述膝关节运动数据、所述足部运动数据和所述足部用力数据生成交互动作数据的步骤，包括：
在所述第一人物对象处于标准静止站姿或坐姿时，获取所述智能头盔的对称轴经过其边沿的交点以及所述第一运动传感器至所述第十运动传感器共11个点的位置数据；
根据所述位置数据，结合世界坐标系，将所述交点和所述第一运动传感器至所述第十运动传感器共11个点的坐标映射至所述世界坐标系中；
根据头部运动数据、所述肩关节运动数据、所述肘关节运动数据、所述手部运动数据、所述膝关节运动数据、所述足部运动数据确定所述交点和所述第一运动传感器至所述第十运动传感器共11个点的坐标值随时间的坐标变化数据；
从所述坐标变化数据中取从T0时刻开始、时间为T对应的第一坐标变化数据；
基于所述第一坐标变化数据，每隔预设时间t，从所述交点出发，分别依次连接与所述第一人物对象对应的两侧的5个点，得到N个图形轮廓数据，其中，N＝int(T-T0/t),表示(T-T0/t)的整数部分；其中，T0、T及t的值，可以根据动画制作中对图像帧的要求确定；
结合所述第一坐标变化数据中的时间数据，将所述N个图形轮廓数据转化为动画数据；
结合动作识别算法，从所述动画数据中得到所述第一人物对象的肢体行为数据；
从所述左右智能手套获取从TO开始T时间内的手指动作数据；
从所述足部压力数据中获取从TO开始T时间内的第一足部压力数据；
将所述肢体行为数据、所述手指动作数据和所述第一足部压力数据作为所述交互动作数据。
可以理解的是，本实施例中，通过设置于可穿戴设备上对应11个关键关节/部位处的传感器获取数据，确定人体的11个关键关节/部位在世界坐标系中坐标。再记录这些点的坐标变化数据(即运动数据)，可以得到第一人物对象的肢体行为数据，再结合对应时段内从所述左右智能手套获取的手指动作数据和从所述足部压力数据中获取的第一足部压力数据，即可得到所述交互动作数据。
本实施例的方案，通过N个图形轮廓数据得到肢体行为数据，计算简单、数据量小、不用作复杂的图像处理，既能保证准确度，又能大大提高处理效率，节省计算资源。
在本发明一些可能的实施方式中，所述获取所述第一人物对象的多个角色信息，根据所述多个角色信息，将所述交互行为数据按角色的不同进行分类的步骤，包括：
获取所述第一人物对象的社交数据、工作关系数据与家庭关系数据；
从所述社交数据、所述工作关系数据与所述家庭关系数据中提取所述第一人物对象的多个角色信息；
获取依据历史交互行为数据生成的人物角色画像模型；
根据所述人物角色画像模型，将所述交互行为数据进行角色画像标记；
根据所述角色画像标记与所述多个角色信息之间的对应关系，将所述交互行为数据按角色的不同进行分类。
可以理解的是，为了使得更贴合个体性化需求，在本实施例中，获取依据历史交互行为数据生成的人物角色画像模型，根据所述人物角色画像模型，将所述交互行为数据进行角色画像标记；再依据所述角色画像标记与所述多个角色信息之间的对应关系，将所述交互行为数据按角色的不同进行分类。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，可轻易想到变化或替换，均可作各种更动与修改，包含上述不同功能、实施步骤的组合，包含软件和硬件的实施方式，均在本发明的保护范围。

Claims (10)

1.一种语音控制机器人，其特征在于，包括：获取模块、处理模块以及用于发送和接收数据的通信模块；
所述获取模块被配置为：
获取第一人物对象的交互行为数据；
获取所述第一人物对象的多个角色信息，根据所述多个角色信息，将所述交互行为数据按角色的不同进行分类；
所述处理模块被配置为：利用分类后的所述交互行为数据建立每个角色对应的控制命令解析库；
所述获取模块被配置为：获取第一语音控制命令；
所述处理模块被配置为：确定所述第一语音控制命令对应的第一角色信息，并从所述控制命令解析库中确定所述第一角色信息对应的第一语音控制命令解析库；
所述通信模块被配置为：
基于所述第一角色信息发送包含角色配对验证消息的第一广播信息；
接收第二机器人发送的对所述第一广播信息的第一反馈消息；
所述处理模块被配置为：当所述第一反馈消息表明通过对所述角色配对验证消息的验证时，根据所述第一语音控制命令解析库对所述第一语音控制命令进行解析得到第二控制命令；
所述通信模块被配置为：将所述第二控制命令分发至对应的所述第二机器人；
所述获取模块被配置为：获取所述第一角色信息的相对方的对所述第二机器人执行所述第二控制命令的状态的第二反馈数据；
所述处理模块被配置为：根据所述第二反馈数据修正所述第一语音控制命令解析库。
2.根据权利要求1所述的语音控制机器人，其特征在于，所述获取第一人物对象的交互行为数据的步骤中，所述获取模块被具体配置为：
通过所述通信模块与智能穿戴设备连接，控制所述智能穿戴设备采集所述第一人物对象的交互行为数据；
其中，所述智能穿戴设备穿戴在所述第一人物对象身上，所述智能穿戴设备包括智能头盔、智能背心、左右智能臂套、左右智能手套、左右智能护膝、左右智能鞋。
3.根据权利要求2所述的语音控制机器人，其特征在于，所述通过所述通信模块与智能穿戴设备连接，控制所述智能穿戴设备采集所述第一人物对象的交互行为数据的步骤中，所述获取模块被具体配置为：
控制设置于所述智能头盔的声音采集模块、图像采集模块和头部运动传感器分别采集所述第一人物对象的第一语音数据、第一面部图像数据和头部运动数据；
控制分别设置于所述智能背心的两侧肩关节部位的第一运动传感器和第二运动传感器采集所述肩关节部位的肩关节运动数据；
控制分别设置于所述左右智能臂套的肘关节部位的第三运动传感器和第四运动传感器采集所述肘关节部位的肘关节运动数据；
控制分别设置于所述左右智能手套的第五运动传感器和第六运动传感器采集手部运动数据；
控制分别设置于所述左右智能护膝的膝关节部位的第七运动传感器和第八运动传感器采集膝关节运动数据；
控制分别设置于所述左右智能鞋的第九运动传感器和第一压力传感、第十运动传感器和第二压力传感器采集足部运动数据和足部用力数据；
通过所述处理模块从所述第一语音数据中提取交互语音数据；
通过所述处理模块从所述第一面部图像数据中提取交互表情数据；
通过所述处理模块根据所述头部运动数据、所述肩关节运动数据、所述肘关节运动数据、所述手部运动数据、所述膝关节运动数据、所述足部运动数据和所述足部用力数据生成交互动作数据；
通过所述处理模块将所述交互语音数据、交互表情数据和交互动作数据作为所述交互行为数据。
4.根据权利要求3所述的语音控制机器人，其特征在于，所述通过所述处理模块根据所述头部运动数据、所述肩关节运动数据、所述肘关节运动数据、所述手部运动数据、所述膝关节运动数据、所述足部运动数据和所述足部用力数据生成交互动作数据的步骤中，所述获取模块被具体配置为：
在所述第一人物对象处于标准静止站姿或坐姿时，获取所述智能头盔的对称轴经过其边沿的交点以及所述第一运动传感器至所述第十运动传感器共11个点的位置数据；
根据所述位置数据，结合世界坐标系，将所述交点和所述第一运动传感器至所述第十运动传感器共11个点的坐标映射至所述世界坐标系中；
根据所述头部运动数据、所述肩关节运动数据、所述肘关节运动数据、所述手部运动数据、所述膝关节运动数据、所述足部运动数据确定所述交点和所述第一运动传感器至所述第十运动传感器共11个点的坐标值随时间的坐标变化数据；
从所述坐标变化数据中取从T0时刻开始、时间为T对应的第一坐标变化数据；
基于所述第一坐标变化数据，每隔预设时间t，从所述交点出发，分别依次连接与所述第一人物对象对应的两侧的5个点，得到N个图形轮廓数据,其中，
Figure QLYQS_1
,表示
Figure QLYQS_2
的整数部分；
结合所述第一坐标变化数据中的时间数据，将所述N个图形轮廓数据转化为动画数据；
结合动作识别算法，从所述动画数据中得到所述第一人物对象的肢体行为数据；
从所述左右智能手套获取从TO开始T时间内的手指动作数据；
从所述足部用力数据中获取从TO开始T时间内的第一足部压力数据；
将所述肢体行为数据、所述手指动作数据和所述第一足部压力数据作为所述交互动作数据。
5.根据权利要求1-4任一所述的语音控制机器人，其特征在于，所述获取所述第一人物对象的多个角色信息，根据所述多个角色信息，将所述交互行为数据按角色的不同进行分类的步骤中，所述获取模块被具体配置为：
获取所述第一人物对象的社交数据、工作关系数据与家庭关系数据；
从所述社交数据、所述工作关系数据与所述家庭关系数据中提取所述第一人物对象的多个角色信息；
获取依据历史交互行为数据生成的人物角色画像模型；
根据所述人物角色画像模型，将所述交互行为数据进行角色画像标记；
根据所述角色画像标记与所述多个角色信息之间的对应关系，将所述交互行为数据按角色的不同进行分类。
6.一种基于角色关系的机器人控制方法，其特征在于，所述基于角色关系的机器人控制方法包括：
获取第一人物对象的交互行为数据；
获取所述第一人物对象的多个角色信息，根据所述多个角色信息，将所述交互行为数据按角色的不同进行分类；
利用分类后的所述交互行为数据建立每个角色对应的控制命令解析库；
获取对第一机器人的第一语音控制命令；
所述第一机器人确定所述第一语音控制命令对应的第一角色信息，并从所述控制命令解析库中确定所述第一角色信息对应的第一语音控制命令解析库；
所述第一机器人基于所述第一角色信息发送包含角色配对验证消息的第一广播信息；
所述第一机器人接收第二机器人发送的对所述第一广播信息的第一反馈消息；
当所述第一反馈消息表明通过对所述角色配对验证消息的验证时，所述第一机器人根据所述第一语音控制命令解析库对所述第一语音控制命令进行解析得到第二控制命令；
将所述第二控制命令分发至对应的所述第二机器人；
所述第二机器人执行所述第二控制命令；
获取所述第一角色信息的相对方的对所述第二机器人执行所述第二控制命令的状态的第二反馈数据；
根据所述第二反馈数据修正所述第一语音控制命令解析库。
7.根据权利要求6所述的基于角色关系的机器人控制方法，其特征在于，所述获取第一人物对象的交互行为数据的步骤，包括：
在所述第一人物对象身上穿戴好智能穿戴设备，所述智能穿戴设备包括智能头盔、智能背心、左右智能臂套、左右智能手套、左右智能护膝、左右智能鞋；
通过所述智能穿戴设备采集所述第一人物对象的交互行为数据。
8.根据权利要求7所述的基于角色关系的机器人控制方法，其特征在于，所述通过所述智能穿戴设备采集所述第一人物对象的交互行为数据的步骤，包括：
通过设置于所述智能头盔的声音采集模块、图像采集模块和头部运动传感器分别采集所述第一人物对象的第一语音数据、第一面部图像数据和头部运动数据；
通过分别设置于所述智能背心的两侧肩关节部位的第一运动传感器和第二运动传感器采集所述肩关节部位的肩关节运动数据；
通过分别设置于所述左右智能臂套的肘关节部位的第三运动传感器和第四运动传感器采集所述肘关节部位的肘关节运动数据；
通过分别设置于所述左右智能手套的第五运动传感器和第六运动传感器采集手部运动数据；
通过分别设置于所述左右智能护膝的膝关节部位的第七运动传感器和第八运动传感器采集膝关节运动数据；
通过分别设置于所述左右智能鞋的第九运动传感器和第一压力传感、第十运动传感器和第二压力传感器采集足部运动数据和足部用力数据；
从所述第一语音数据中提取交互语音数据；
从所述第一面部图像数据中提取交互表情数据；
根据所述头部运动数据、所述肩关节运动数据、所述肘关节运动数据、所述手部运动数据、所述膝关节运动数据、所述足部运动数据和所述足部用力数据生成交互动作数据；
将所述交互语音数据、交互表情数据和交互动作数据作为所述交互行为数据。
9.根据权利要求8所述的基于角色关系的机器人控制方法，其特征在于，所述根据所述头部运动数据、所述肩关节运动数据、所述肘关节运动数据、所述手部运动数据、所述膝关节运动数据、所述足部运动数据和所述足部用力数据生成交互动作数据的步骤，包括：
在所述第一人物对象处于标准静止站姿或坐姿时，获取所述智能头盔的对称轴经过其边沿的交点以及所述第一运动传感器至所述第十运动传感器共11个点的位置数据；
根据所述位置数据，结合世界坐标系，将所述交点和所述第一运动传感器至所述第十运动传感器共11个点的坐标映射至所述世界坐标系中；
根据所述头部运动数据、所述肩关节运动数据、所述肘关节运动数据、所述手部运动数据、所述膝关节运动数据、所述足部运动数据确定所述交点和所述第一运动传感器至所述第十运动传感器共11个点的坐标值随时间的坐标变化数据；
从所述坐标变化数据中取从T0时刻开始、时间为T对应的第一坐标变化数据；
基于所述第一坐标变化数据，每隔预设时间t，从所述交点出发，分别依次连接与所述第一人物对象对应的两侧的5个点，得到N个图形轮廓数据,其中，
Figure QLYQS_3
,表示
Figure QLYQS_4
的整数部分；
结合所述第一坐标变化数据中的时间数据，将所述N个图形轮廓数据转化为动画数据；
结合动作识别算法，从所述动画数据中得到所述第一人物对象的肢体行为数据；
从所述左右智能手套获取从TO开始T时间内的手指动作数据；
从所述足部用力数据中获取从TO开始T时间内的第一足部压力数据；
将所述肢体行为数据、所述手指动作数据和所述第一足部压力数据作为所述交互动作数据。
10.根据权利要求6-9任一所述的基于角色关系的机器人控制方法，其特征在于，所述获取所述第一人物对象的多个角色信息，根据所述多个角色信息，将所述交互行为数据按角色的不同进行分类的步骤，包括：
获取所述第一人物对象的社交数据、工作关系数据与家庭关系数据；
从所述社交数据、所述工作关系数据与所述家庭关系数据中提取所述第一人物对象的多个角色信息；
获取依据历史交互行为数据生成的人物角色画像模型；
根据所述人物角色画像模型，将所述交互行为数据进行角色画像标记；
根据所述角色画像标记与所述多个角色信息之间的对应关系，将所述交互行为数据按角色的不同进行分类。
CN202211244231.8A 2022-10-11 2022-10-11 一种语音控制机器人及基于角色关系的机器人控制方法 Active CN115617169B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211244231.8A CN115617169B (zh) 2022-10-11 2022-10-11 一种语音控制机器人及基于角色关系的机器人控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211244231.8A CN115617169B (zh) 2022-10-11 2022-10-11 一种语音控制机器人及基于角色关系的机器人控制方法

Publications (2)

Publication Number Publication Date
CN115617169A CN115617169A (zh) 2023-01-17
CN115617169B true CN115617169B (zh) 2023-05-30

Family

ID=84862573

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211244231.8A Active CN115617169B (zh) 2022-10-11 2022-10-11 一种语音控制机器人及基于角色关系的机器人控制方法

Country Status (1)

Country Link
CN (1) CN115617169B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109360558A (zh) * 2018-10-15 2019-02-19 珠海格力电器股份有限公司 一种语音应答的方法和设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102750125A (zh) * 2011-04-19 2012-10-24 无锡天堂软件技术有限公司 基于语音的控制方法与控制系统
US10178218B1 (en) * 2015-09-04 2019-01-08 Vishal Vadodaria Intelligent agent / personal virtual assistant with animated 3D persona, facial expressions, human gestures, body movements and mental states
US20190143527A1 (en) * 2016-04-26 2019-05-16 Taechyon Robotics Corporation Multiple interactive personalities robot
EP3451335B1 (en) * 2016-04-29 2023-06-14 Vtouch Co., Ltd. Optimum control method based on multi-mode command of operation-voice, and electronic device to which same is applied
CN109801349B (zh) * 2018-12-19 2023-01-24 武汉西山艺创文化有限公司 一种声音驱动的三维动画角色实时表情生成方法和系统
CN111833863B (zh) * 2019-04-22 2023-04-07 阿里巴巴集团控股有限公司 语音控制系统、方法和装置以及计算设备和存储介质
CN110531860B (zh) * 2019-09-02 2020-07-24 腾讯科技（深圳）有限公司 一种基于人工智能的动画形象驱动方法和装置
CN112162628A (zh) * 2020-09-01 2021-01-01 魔珐(上海)信息科技有限公司 基于虚拟角色的多模态交互方法、装置及系统、存储介质、终端
CN114974253A (zh) * 2022-05-20 2022-08-30 北京北信源软件股份有限公司 一种基于人物画像的自然语言解释方法、装置及存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109360558A (zh) * 2018-10-15 2019-02-19 珠海格力电器股份有限公司 一种语音应答的方法和设备

Also Published As

Publication number Publication date
CN115617169A (zh) 2023-01-17

Similar Documents

Publication Publication Date Title
CN108780228B (zh) 利用映像的增强现实系统和方法
CN108665492B (zh) 一种基于虚拟人的舞蹈教学数据处理方法及系统
CN104134060B (zh) 基于肌电信号和运动传感器的手语翻译和显示发声系统
US9031293B2 (en) Multi-modal sensor based emotion recognition and emotional interface
Mitra et al. KNOWME: a case study in wireless body area sensor network design
CN112034977B (zh) Mr智能眼镜内容交互、信息输入、应用推荐技术的方法
US20190188903A1 (en) Method and apparatus for providing virtual companion to a user
EP4025982A1 (en) Systems, methods, and interfaces for performing inputs based on neuromuscular control
CN108983636B (zh) 人机智能共生平台系统
JP6756236B2 (ja) アクション指示プログラム、アクション指示方法及び画像生成装置
CN114998983A (zh) 一种基于增强现实技术和姿态识别技术的肢体康复方法
Garber-Barron et al. Using body movement and posture for emotion detection in non-acted scenarios
CN109766782A (zh) 基于svm的实时肢体动作识别方法
Dael et al. Measuring body movement: Current and future directions in proxemics and kinesics.
Zhang et al. Intelligent Facial Action and emotion recognition for humanoid robots
CN114035678A (zh) 一种基于深度学习和虚拟现实的辅助判断方法
Razzaq et al. Unskem: unobtrusive skeletal-based emotion recognition for user experience
CN115617169B (zh) 一种语音控制机器人及基于角色关系的机器人控制方法
US20230098296A1 (en) Method and system for generating data set relating to facial expressions, and non-transitory computer-readable recording medium
CN111625098B (zh) 一种基于多通道信息融合的虚拟化身智能交互方法和装置
Suenaga et al. Human reader: An advanced man‐machine interface based on human images and speech
CN109508092A (zh) 基于眼球追踪控制终端设备的方法、装置和终端
Wei et al. 3D facial expression recognition based on Kinect
CN117582643B (zh) 基于虚拟现实的视听综合训练方法及系统
CN115810099B (zh) 一种用于虚拟沉浸式抑郁症治疗系统的图像融合设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant