CN106096716A - 一种面部表情机器人多通道信息情感表达映射方法 - Google Patents

一种面部表情机器人多通道信息情感表达映射方法 Download PDF

Info

Publication number
CN106096716A
CN106096716A CN201610377973.6A CN201610377973A CN106096716A CN 106096716 A CN106096716 A CN 106096716A CN 201610377973 A CN201610377973 A CN 201610377973A CN 106096716 A CN106096716 A CN 106096716A
Authority
CN
China
Prior art keywords
expression
gesture
facial
storehouse
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610377973.6A
Other languages
English (en)
Inventor
虞焰兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Voice Communication Information Technology Co Ltd
Original Assignee
Anhui Voice Communication Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Voice Communication Information Technology Co Ltd filed Critical Anhui Voice Communication Information Technology Co Ltd
Priority to CN201610377973.6A priority Critical patent/CN106096716A/zh
Publication of CN106096716A publication Critical patent/CN106096716A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Robotics (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种面部表情机器人多通道信息情感表达映射方法，包括以下步骤：S1：预建表情库、语音库、手势库、表情输出库、语音输出库和手势输出库；S2：采集对话人的语音并通过与语音库对比识别声音表情，采集对话人的表情并通过与表情库对比识别情感表情，采集对话人的手势并通过与手势库对比识别手势表情，将声音表情、情感表情和手势表情进行融合，获得复合表情指令；S3：面部表情机器人根据复合表情指令从语音输出库中选择语音流数据进行输出，面部表情机器人根据复合表情指令从表情输出库中选择表情动作指令进行面部表情表达。本发明能够实现面部表情机器人多通道信息情感表达，方法简单，使用方便，成本低。

Description

一种面部表情机器人多通道信息情感表达映射方法
技术领域
本发明涉及面部表情机器人技术领域，尤其涉及一种面部表情机器人多通道信息情感表达映射方法。
背景技术
面部表情机器人对于实现人机自然交互，减少人类与机器人之间的情感距离，具有积极的促进意义。
与传统的固定工位、固定工序和固定操作场景的工业机器人不同，面部表情机器人对于交互性、智能性和自主性的要求更高，其研究涉及机械设计、自动控制、计算机智能、心理学及认知科学等多领域知识，具有典型的多学科交叉特征；这使得一些研究机构及公司虽然能够设计出一些具有一定情感表达的面部表情机器人，但由于涉及情感表达的技术非常繁多复杂，多数的研究仍处于实验室探索阶段，表情机器人多通道情感表达欠缺；表情机器人的情感表达涉及交叉学科，如何综合运用多领域知识成为情感表达的一个关键问题；缺乏面向表情机器人的通用性情感表达建模方法；人类的脸部不仅运动器官众多，而且器官运动幅度的细微瞬间变化都可能表达不同的情感；因此，在国内的表情机器人研究领域，多数的研究工作仍重点围绕头部的机构设计方面，对于如何将视觉表情分析、语音识别等智能技术应用于表情机器人明显不足，尤其缺乏统一的通用性情感表达建模标准。
发明内容
基于背景技术存在的技术问题，本发明提出了一种面部表情机器人多通道信息情感表达映射方法。
本发明提出的一种面部表情机器人多通道信息情感表达映射方法，包括以下步骤：
S1：预建表情库、语音库、手势库、表情输出库、语音输出库和手势输出库；
S2：采集对话人的语音并通过与语音库对比识别声音表情，采集对话人的表情并通过与表情库对比识别情感表情，采集对话人的手势并通过与手势库对比识别手势表情，将声音表情、情感表情和手势表情进行融合，获得复合表情指令；
S3：面部表情机器人根据复合表情指令从语音输出库中选择语音流数据进行输出，面部表情机器人根据复合表情指令从表情输出库中选择表情动作指令进行面部表情表达，同时面部表情机器人根据复合表情指令从手势输出库中选择手势动作指令进行手势表达，实现面部表情机器人多通道信息情感表达。
优选地，所述S1中，预建表情库、语音库、手势库、语音输出参考模型、表情输出参考模型、手势输出参考模型、表情输出库、语音输出库和手势输出库。
优选地，所述S2中，采集语音并通过与语音库对比识别声音表情，采集待识别的人脸图像并通过与表情库对比识别情感表情，采集手势并通过与手势库对比识别手势表情，将声音表情、情感表情和手势表情进行融合，获得复合表情指令。
优选地，所述S3中，面部表情机器人根据复合表情指令并通过与语音输出参考模型对比，从语音输出库中选择语音流数据进行输出，面部表情机器人根据复合表情指令并通过与表情输出参考模型对比，从表情输出库中选择表情动作指令进行面部表情表达，同时面部表情机器人根据复合表情指令并通过与手势输出参考模型对比，从手势输出库中选择手势动作指令进行手势表达，实现面部表情机器人多通道信息情感表达。
本发明中，所述的一种面部表情机器人多通道信息情感表达映射方法通过预建表情库、语音库和手势库能够对人们说话时的语音、表情和手势进行识别对比，从而获得复合表情指令，通过预建的语音输出库、表情输出库和手势输出库使得面部表情机器人能够根据复合表情指令输出对应的语音、表情和手势，本发明能够实现面部表情机器人多通道信息情感表达，方法简单，使用方便，成本低。
具体实施方式
下面结合具体实施例对本发明作进一步解说。
实施例
本实施例提出了一种面部表情机器人多通道信息情感表达映射方法，包括以下步骤：
S1：预建表情库、语音库、手势库、表情输出库、语音输出库和手势输出库；
S2：采集对话人的语音并通过与语音库对比识别声音表情，采集对话人的表情并通过与表情库对比识别情感表情，采集对话人的手势并通过与手势库对比识别手势表情，将声音表情、情感表情和手势表情进行融合，获得复合表情指令；
S3：面部表情机器人根据复合表情指令从语音输出库中选择语音流数据进行输出，面部表情机器人根据复合表情指令从表情输出库中选择表情动作指令进行面部表情表达，同时面部表情机器人根据复合表情指令从手势输出库中选择手势动作指令进行手势表达，实现面部表情机器人多通道信息情感表达。
本实施例中，S1中，预建表情库、语音库、手势库、语音输出参考模型、表情输出参考模型、手势输出参考模型、表情输出库、语音输出库和手势输出库，S2中，采集语音并通过与语音库对比识别声音表情，采集待识别的人脸图像并通过与表情库对比识别情感表情，采集手势并通过与手势库对比识别手势表情，将声音表情、情感表情和手势表情进行融合，获得复合表情指令，S3中，面部表情机器人根据复合表情指令并通过与语音输出参考模型对比，从语音输出库中选择语音流数据进行输出，面部表情机器人根据复合表情指令并通过与表情输出参考模型对比，从表情输出库中选择表情动作指令进行面部表情表达，同时面部表情机器人根据复合表情指令并通过与手势输出参考模型对比，从手势输出库中选择手势动作指令进行手势表达，实现面部表情机器人多通道信息情感表达，的一种面部表情机器人多通道信息情感表达映射方法通过预建表情库、语音库和手势库能够对人们说话时的语音、表情和手势进行识别对比，从而获得复合表情指令，通过预建的语音输出库、表情输出库和手势输出库使得面部表情机器人能够根据复合表情指令输出对应的语音、表情和手势，本发明能够实现面部表情机器人多通道信息情感表达，方法简单，使用方便，成本低。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (4)

1.一种面部表情机器人多通道信息情感表达映射方法，其特征在于，包括以下步骤：
S1：预建表情库、语音库、手势库、表情输出库、语音输出库和手势输出库；
S2：采集对话人的语音并通过与语音库对比识别声音表情，采集对话人的表情并通过与表情库对比识别情感表情，采集对话人的手势并通过与手势库对比识别手势表情，将声音表情、情感表情和手势表情进行融合，获得复合表情指令；
S3：面部表情机器人根据复合表情指令从语音输出库中选择语音流数据进行输出，面部表情机器人根据复合表情指令从表情输出库中选择表情动作指令进行面部表情表达，同时面部表情机器人根据复合表情指令从手势输出库中选择手势动作指令进行手势表达，实现面部表情机器人多通道信息情感表达。
2.根据权利要求1所述的一种面部表情机器人多通道信息情感表达映射方法，其特征在于，所述S1中，预建表情库、语音库、手势库、语音输出参考模型、表情输出参考模型、手势输出参考模型、表情输出库、语音输出库和手势输出库。
3.根据权利要求1所述的一种面部表情机器人多通道信息情感表达映射方法，其特征在于，所述S2中，采集语音并通过与语音库对比识别声音表情，采集待识别的人脸图像并通过与表情库对比识别情感表情，采集手势并通过与手势库对比识别手势表情，将声音表情、情感表情和手势表情进行融合，获得复合表情指令。
4.根据权利要求1或2所述的一种面部表情机器人多通道信息情感表达映射方法，其特征在于，所述S3中，面部表情机器人根据复合表情指令并通过与语音输出参考模型对比，从语音输出库中选择语音流数据进行输出，面部表情机器人根据复合表情指令并通过与表情输出参考模型对比，从表情输出库中选择表情动作指令进行面部表情表达，同时面部表情机器人根据复合表情指令并通过与手势输出参考模型对比，从手势输出库中选择手势动作指令进行手势表达，实现面部表情机器人多通道信息情感表达。
CN201610377973.6A 2016-06-01 2016-06-01 一种面部表情机器人多通道信息情感表达映射方法 Pending CN106096716A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610377973.6A CN106096716A (zh) 2016-06-01 2016-06-01 一种面部表情机器人多通道信息情感表达映射方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610377973.6A CN106096716A (zh) 2016-06-01 2016-06-01 一种面部表情机器人多通道信息情感表达映射方法

Publications (1)

Publication Number Publication Date
CN106096716A true CN106096716A (zh) 2016-11-09

Family

ID=57229712

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610377973.6A Pending CN106096716A (zh) 2016-06-01 2016-06-01 一种面部表情机器人多通道信息情感表达映射方法

Country Status (1)

Country Link
CN (1) CN106096716A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108732943A (zh) * 2017-04-18 2018-11-02 深圳市丰巨泰科电子有限公司 表情机器人人机交互方法
CN109087644A (zh) * 2018-10-22 2018-12-25 奇酷互联网络科技（深圳）有限公司 电子设备及其语音助手的交互方法、具有存储功能的装置
CN109256149A (zh) * 2018-08-09 2019-01-22 上海常仁信息科技有限公司 一种机器人的情感交流系统和方法
CN110347247A (zh) * 2019-06-19 2019-10-18 深圳前海达闼云端智能科技有限公司 人机交互方法、装置、存储介质及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103218654A (zh) * 2012-01-20 2013-07-24 沈阳新松机器人自动化股份有限公司 一种机器人情绪情感生成与表达系统
CN103246879A (zh) * 2013-05-13 2013-08-14 苏州福丰科技有限公司 一种基于表情识别的智能机器人系统
CN103488293A (zh) * 2013-09-12 2014-01-01 北京航空航天大学 一种基于表情识别的人机情感交互系统及方法
CN105046238A (zh) * 2015-08-17 2015-11-11 华侨大学 一种面部表情机器人多通道信息情感表达映射方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103218654A (zh) * 2012-01-20 2013-07-24 沈阳新松机器人自动化股份有限公司 一种机器人情绪情感生成与表达系统
CN103246879A (zh) * 2013-05-13 2013-08-14 苏州福丰科技有限公司 一种基于表情识别的智能机器人系统
CN103488293A (zh) * 2013-09-12 2014-01-01 北京航空航天大学 一种基于表情识别的人机情感交互系统及方法
CN105046238A (zh) * 2015-08-17 2015-11-11 华侨大学 一种面部表情机器人多通道信息情感表达映射方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王为: "基于情感计算的机器人学习系统研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
胡云斗等: "一种基于任务的机器人情感决策模型的构建", 《机器人ROBOT》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108732943A (zh) * 2017-04-18 2018-11-02 深圳市丰巨泰科电子有限公司 表情机器人人机交互方法
CN109256149A (zh) * 2018-08-09 2019-01-22 上海常仁信息科技有限公司 一种机器人的情感交流系统和方法
CN109087644A (zh) * 2018-10-22 2018-12-25 奇酷互联网络科技（深圳）有限公司 电子设备及其语音助手的交互方法、具有存储功能的装置
CN110347247A (zh) * 2019-06-19 2019-10-18 深圳前海达闼云端智能科技有限公司 人机交互方法、装置、存储介质及电子设备

Similar Documents

Publication Publication Date Title
Lu et al. Humans are not machines—anthropocentric human–machine symbiosis for ultra-flexible smart manufacturing
US9431027B2 (en) Synchronized gesture and speech production for humanoid robots using random numbers
CN106096716A (zh) 一种面部表情机器人多通道信息情感表达映射方法
CN105046238A (zh) 一种面部表情机器人多通道信息情感表达映射方法
CN106737760B (zh) 一种人型智能机器人及人机交流系统
CN105912128B (zh) 面向智能机器人的多模态交互数据处理方法及装置
Barattini et al. A proposed gesture set for the control of industrial collaborative robots
CN108009490A (zh) 一种基于识别情绪的聊天机器人系统及该系统的判断方法
Chang et al. A kinect-based gesture command control method for human action imitations of humanoid robots
CN106782606A (zh) 用于导讲机器人的语言交流与互动系统及其工作方法
Korayem et al. Design and implementation of the voice command recognition and the sound source localization system for human–robot interaction
Abdullahi et al. Mobile robot voice recognition in control movements
CN1320497C (zh) 基于统计与规则结合的语音驱动人脸动画方法
Lim et al. Converting emotional voice to motion for robot telepresence
Nagy et al. A framework for integrating gesture generation models into interactive conversational agents
Haider et al. Active speaker detection in human machine multiparty dialogue using visual prosody information
Azargoshasb et al. A voice command detection system for controlling movement of SCOUT robot
Quek The catchment feature model: A device for multimodal fusion and a bridge between signal and sense
Rett et al. Bayesian reasoning for Laban Movement Analysis used in human-machine interaction
Wachsmuth et al. The robot head ‘Flobi’: a research platform for cognitive interaction technology
CN211164044U (zh) 一种基于语音交互的机器人表情显示系统
Huseein Design and Implementation of Artificial Upper Limbs Based on Arabic Speech Words
CN209132616U (zh) 一种基于模式识别的机器人控制系统
Beuter et al. Where is this?-gesture based multimodal interaction with an anthropomorphic robot
Haider et al. Improving Response Time of Active Speaker Detection Using Visual Prosody Information Prior to Articulation.

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20161109