CN106293102A - 一种基于用户心情变化情绪的机器人情感交流方法 - Google Patents
一种基于用户心情变化情绪的机器人情感交流方法 Download PDFInfo
- Publication number
- CN106293102A CN106293102A CN201610892471.7A CN201610892471A CN106293102A CN 106293102 A CN106293102 A CN 106293102A CN 201610892471 A CN201610892471 A CN 201610892471A CN 106293102 A CN106293102 A CN 106293102A
- Authority
- CN
- China
- Prior art keywords
- user
- mood
- robot
- unit
- emotion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 19
- 230000003993 interaction Effects 0.000 title claims abstract description 16
- 206010027940 Mood altered Diseases 0.000 title claims abstract description 13
- 238000000034 method Methods 0.000 title claims abstract description 13
- 230000007510 mood change Effects 0.000 title claims abstract description 13
- 230000036651 mood Effects 0.000 claims abstract description 35
- 230000006399 behavior Effects 0.000 claims abstract description 12
- 230000008921 facial expression Effects 0.000 claims abstract description 9
- 206010016275 Fear Diseases 0.000 description 1
- 206010044565 Tremor Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种基于用户心情变化情绪的机器人情感交流方法，包括摄像头单元、声音传感器单元、心情分析单元和情绪表达单元，机器人通过摄像头单元扫描当前环境，识别出用户目标，并获取用户面部表情及其行为动作；利用声音传感器单元采集识别用户的语言信息；采用心情分析单元对得到关于用户的面部表情信息、行为动作信息和语言信息进行分析，计算出用户当前的心情。本发明提供一种基于用户心情变化情绪的机器人情感交流方法，机器人扫描环境识别当前用户目标，通过采集用户相关表情、行为动作、语言信息，分析用户心情，根据其心情变化，机器人做出相应的反应，机器人能够根据用户心情变化，做出一系列仿人行为增强人机交互的智能性。
Description
技术领域
本发明涉及一种机器人，具体是一种基于用户心情变化情绪的机器人情感交流方法。
背景技术
在机器人的研究发展中，大多数机器人缺少与用户之间进行情感的交流，用户只能够通过控制命令机器人执行工作任务，而对于用户心情发生的变化无法做出合理的反应，阻碍了人机交互智能性的长远发展。目前移动机器人只具备协助用户进行简单工作的功能，功能单一。目前移动机器人只具备协助用户进行简单工作的功能，缺少与用户进行情感上的交流。
发明内容
本发明的目的在于提供一种基于用户心情变化情绪的机器人情感交流方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
一种基于用户心情变化情绪的机器人情感交流方法，包括摄像头单元、声音传感器单元、心情分析单元和情绪表达单元，机器人通过摄像头单元扫描当前环境，识别出用户目标，并获取用户面部表情及其行为动作；利用声音传感器单元采集识别用户的语言信息；采用心情分析单元对得到关于用户的面部表情信息、行为动作信息和语言信息进行分析，计算出用户当前的心情；当计算出用户当前的心情后，机器人会根据用户心情自动分类，并作出所对应的反应。
作为本发明再进一步的方案：所述心情包括开心、生气、忧愁、悲伤和恐慌五大类。
与现有技术相比，本发明的有益效果是：本发明提供一种基于用户心情变化情绪的机器人情感交流方法，机器人扫描环境识别当前用户目标，通过采集用户相关表情、行为动作、语言信息，分析用户心情，根据其心情变化，机器人做出相应的反应，机器人能够根据用户心情变化，做出一系列仿人行为，表达机器人自身情感，增强人机交互的智能性。
附图说明
图1为基于用户心情变化情绪的机器人情感交流方法的结构示意图。
图2为基于用户心情变化情绪的机器人情感交流方法的实现流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1～2，本发明实施例中，一种基于用户心情变化情绪的机器人情感交流方法，包括摄像头单元、声音传感器单元、心情分析单元和情绪表达单元，机器人通过摄像头单元扫描当前环境，识别出用户目标，并获取用户面部表情及其行为动作；利用声音传感器单元采集识别用户的语言信息；采用心情分析单元对得到关于用户的面部表情信息、行为动作信息和语言信息进行分析，计算出用户当前的心情；当计算出用户当前的心情后，机器人会根据用户心情自动分类，并作出所对应的反应；所述心情包括开心、生气、忧愁、悲伤和恐慌五大类。
本发明的工作原理是：
1.机器人对当前环境进行扫描，识别出用户当前位置。
2.对识别到的用户进行采集面部表情及其行为动作信息，同时利用声音传感器收集用户的语言信息。
3.根据采集关于用户的相关信息，对其进行分析，计算出用户当前的心情，并归类到五种心情中。
4.根据所归类的心情，机器人做出相对的反应。
若用户当前心情为开心，机器人手部变化闪烁不同颜色灯光，屏幕显示笑脸，并对用户进行绕圈且发出愉悦音调。
若用户当前心情为生气，机器人手部闪烁微弱的灰灯，屏幕显示害怕的表情，并用颤抖语气说‘你生气了，我好害怕’，并以原地前后5cm范围内进行前后移动。
若用户当前心情为忧愁，机器人手部亮起紫色灯光，屏幕显示微笑表情，用和蔼的语气说‘有什么烦恼，可以和我倾诉’。
若用户当前心情为悲伤，机器人手部亮起蓝色灯光，屏幕显示担心表情，用担心的语气说‘不要伤心，给你一个拥抱’并抬起手部做拥抱姿势。
若用户当前心情为恐慌，机器人手部亮起红色灯光，屏幕显示微笑表情，用温暖的语气说‘我会保护你的’并上下摆动手部做抚摸动作。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
Claims (2)
1.一种基于用户心情变化情绪的机器人情感交流方法，包括摄像头单元、声音传感器单元、心情分析单元和情绪表达单元，其特征在于，机器人通过摄像头单元扫描当前环境，识别出用户目标，并获取用户面部表情及其行为动作；利用声音传感器单元采集识别用户的语言信息；采用心情分析单元对得到关于用户的面部表情信息、行为动作信息和语言信息进行分析，计算出用户当前的心情；当计算出用户当前的心情后，机器人会根据用户心情自动分类，并作出所对应的反应。
2.根据权利要求1所述的基于用户心情变化情绪的机器人情感交流方法，其特征在于，所述心情包括开心、生气、忧愁、悲伤和恐慌五大类。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610892471.7A CN106293102A (zh) | 2016-10-13 | 2016-10-13 | 一种基于用户心情变化情绪的机器人情感交流方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610892471.7A CN106293102A (zh) | 2016-10-13 | 2016-10-13 | 一种基于用户心情变化情绪的机器人情感交流方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106293102A true CN106293102A (zh) | 2017-01-04 |
Family
ID=57718350
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610892471.7A Pending CN106293102A (zh) | 2016-10-13 | 2016-10-13 | 一种基于用户心情变化情绪的机器人情感交流方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106293102A (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107092664A (zh) * | 2017-03-30 | 2017-08-25 | 华为技术有限公司 | 一种内容解释方法及装置 |
| CN108577866A (zh) * | 2018-04-03 | 2018-09-28 | 中国地质大学（武汉） | 一种多维情感识别与缓解的系统及方法 |
| CN109256149A (zh) * | 2018-08-09 | 2019-01-22 | 上海常仁信息科技有限公司 | 一种机器人的情感交流系统和方法 |
| CN109446303A (zh) * | 2018-10-09 | 2019-03-08 | 深圳市三宝创新智能有限公司 | 机器人交互方法、装置、计算机设备及可读存储介质 |
| CN109955264A (zh) * | 2017-12-22 | 2019-07-02 | 卡西欧计算机株式会社 | 机器人、机器人控制系统、机器人的控制方法以及记录介质 |
| CN110910297A (zh) * | 2019-10-14 | 2020-03-24 | 梁剑 | 一种基于行为模拟机器人的信息采集系统 |
| CN111038447A (zh) * | 2018-10-11 | 2020-04-21 | 现代自动车株式会社 | 用于控制车辆的装置和方法 |
| CN111316313A (zh) * | 2017-11-06 | 2020-06-19 | 松下知识产权经营株式会社 | 整理辅助系统、整理辅助方法以及程序 |
| CN111354361A (zh) * | 2018-12-21 | 2020-06-30 | 深圳市优必选科技有限公司 | 一种情感交流的方法、系统及机器人 |
| CN111611384A (zh) * | 2020-05-26 | 2020-09-01 | 天津市微卡科技有限公司 | 一种用于机器人的语言情绪感知应答方法 |
| CN112786151A (zh) * | 2020-12-28 | 2021-05-11 | 深圳市艾利特医疗科技有限公司 | 一种语言功能训练系统以及方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105046238A (zh) * | 2015-08-17 | 2015-11-11 | 华侨大学 | 一种面部表情机器人多通道信息情感表达映射方法 |
| CN105082150A (zh) * | 2015-08-25 | 2015-11-25 | 国家康复辅具研究中心 | 一种基于用户情绪及意图识别的机器人人机交互方法 |
-
2016
- 2016-10-13 CN CN201610892471.7A patent/CN106293102A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105046238A (zh) * | 2015-08-17 | 2015-11-11 | 华侨大学 | 一种面部表情机器人多通道信息情感表达映射方法 |
| CN105082150A (zh) * | 2015-08-25 | 2015-11-25 | 国家康复辅具研究中心 | 一种基于用户情绪及意图识别的机器人人机交互方法 |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107092664A (zh) * | 2017-03-30 | 2017-08-25 | 华为技术有限公司 | 一种内容解释方法及装置 |
| US11574203B2 (en) | 2017-03-30 | 2023-02-07 | Huawei Technologies Co., Ltd. | Content explanation method and apparatus |
| CN107092664B (zh) * | 2017-03-30 | 2020-04-28 | 华为技术有限公司 | 一种内容解释方法及装置 |
| CN111316313A (zh) * | 2017-11-06 | 2020-06-19 | 松下知识产权经营株式会社 | 整理辅助系统、整理辅助方法以及程序 |
| CN109955264A (zh) * | 2017-12-22 | 2019-07-02 | 卡西欧计算机株式会社 | 机器人、机器人控制系统、机器人的控制方法以及记录介质 |
| CN109955264B (zh) * | 2017-12-22 | 2022-05-03 | 卡西欧计算机株式会社 | 机器人、机器人控制系统、机器人的控制方法以及记录介质 |
| US11325262B2 (en) | 2017-12-22 | 2022-05-10 | Casio Computer Co., Ltd. | Robot, robot control system, robot control method, and non-transitory storage medium |
| CN108577866A (zh) * | 2018-04-03 | 2018-09-28 | 中国地质大学（武汉） | 一种多维情感识别与缓解的系统及方法 |
| CN109256149A (zh) * | 2018-08-09 | 2019-01-22 | 上海常仁信息科技有限公司 | 一种机器人的情感交流系统和方法 |
| CN109446303A (zh) * | 2018-10-09 | 2019-03-08 | 深圳市三宝创新智能有限公司 | 机器人交互方法、装置、计算机设备及可读存储介质 |
| CN111038447A (zh) * | 2018-10-11 | 2020-04-21 | 现代自动车株式会社 | 用于控制车辆的装置和方法 |
| CN111038447B (zh) * | 2018-10-11 | 2023-05-05 | 现代自动车株式会社 | 用于控制车辆的装置和方法 |
| CN111354361A (zh) * | 2018-12-21 | 2020-06-30 | 深圳市优必选科技有限公司 | 一种情感交流的方法、系统及机器人 |
| CN110910297A (zh) * | 2019-10-14 | 2020-03-24 | 梁剑 | 一种基于行为模拟机器人的信息采集系统 |
| CN111611384A (zh) * | 2020-05-26 | 2020-09-01 | 天津市微卡科技有限公司 | 一种用于机器人的语言情绪感知应答方法 |
| CN112786151A (zh) * | 2020-12-28 | 2021-05-11 | 深圳市艾利特医疗科技有限公司 | 一种语言功能训练系统以及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106293102A (zh) | 一种基于用户心情变化情绪的机器人情感交流方法 | |
| CN103824481B (zh) | 一种检测用户背诵的方法及装置 | |
| CN102854983B (zh) | 一种基于手势识别的人机交互方法 | |
| CN107463888B (zh) | 基于多任务学习与深度学习的人脸情绪分析方法及系统 | |
| Gunes et al. | Is automatic facial expression recognition of emotions coming to a dead end? The rise of the new kids on the block | |
| TWI621999B (zh) | 一種人臉檢測方法 | |
| KR20110129042A (ko) | 표정인식을 이용한 휴대 기기의 상호작용 방법 | |
| CN111009028A (zh) | 虚拟脸部模型的表情拟真系统及方法 | |
| CN108968989A (zh) | 一种基于心理学的应激训练系统及其使用方法 | |
| Vu et al. | Emotion recognition based on human gesture and speech information using RT middleware | |
| CN105759677A (zh) | 一种适于视觉终端作业岗位的多模态行为分析与监控系统及方法 | |
| CN107578015A (zh) | 一种基于深度学习的第一印象识别与回馈系统及方法 | |
| KR101309562B1 (ko) | 사용자의 행동을 판단하여 몸을 움직여 감정을 표현하는로봇 및 그 방법 | |
| Gajjar et al. | Hand gesture real time paint tool-box: Machine learning approach | |
| CN107785017A (zh) | 一种基于手语识别的交互系统 | |
| JP2005202578A (ja) | コミュニケーション装置およびコミュニケーション方法 | |
| CN106547339B (zh) | 计算机设备的控制方法和装置 | |
| CN205817879U (zh) | 一种智能家居移动机器人 | |
| CN106815264B (zh) | 一种信息处理方法及系统 | |
| Siby et al. | Hand gesture recognition | |
| CN108960200A (zh) | 一种基于智能交互的数据处理方法及电子设备 | |
| Liu et al. | Development of a fatigue detection and early warning system for crane operators: A preliminary study | |
| Sai | Image classification for user feedback using Deep Learning Techniques | |
| CN106997449A (zh) | 具有人脸识别功能的机器人和人脸识别方法 | |
| CN207337339U (zh) | 透明显示互动系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20190617 Address after: 518000 Guangdong 28, Shenzhen, Futian District, Huafu street, No. 5001 Huanggang Road, Shenzhen Industrial upper city (two phase of the Southern District) Applicant after: Shenzhen Sanbao Innovation Intelligence Co.,Ltd. Address before: 518055 20, Times Technology Building, 7028 Shennan Road, Futian District, Shenzhen, Guangdong. Applicant before: QIHAN TECHNOLOGY Co.,Ltd. |
|
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170104 |