CN109117952B - 一种基于深度学习的机器人情感认知的方法 - Google Patents

一种基于深度学习的机器人情感认知的方法 Download PDF

Info

Publication number
CN109117952B
CN109117952B CN201810813481.6A CN201810813481A CN109117952B CN 109117952 B CN109117952 B CN 109117952B CN 201810813481 A CN201810813481 A CN 201810813481A CN 109117952 B CN109117952 B CN 109117952B
Authority
CN
China
Prior art keywords
information
model
decision
robot
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810813481.6A
Other languages
English (en)
Other versions
CN109117952A (zh
Inventor
佘莹莹
陈锦
汪亚东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen University
Original Assignee
Xiamen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen University filed Critical Xiamen University
Priority to CN201810813481.6A priority Critical patent/CN109117952B/zh
Publication of CN109117952A publication Critical patent/CN109117952A/zh
Application granted granted Critical
Publication of CN109117952B publication Critical patent/CN109117952B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Manipulator (AREA)

Abstract

本发明提供一种基于深度学习的机器人情感认知的方法，包括：获取得到多模态信息，通过多模态信息融合算法得到情绪状态；将情绪状态输入到交互决策模型进行处理得到决策信息，将所述决策信息输出到满意度模型中；由满意度模型来检测交互决策模型输出的决策信息是否符合当前用户的喜好，若是，则进入到长期记忆中，进行数据更新，将获取到的决策信息输出给行为选择器得到机器人行为输出；否则，从短期记忆中获取记录的片段以及对应用户的情绪变化，并从长期记忆中提取用户特征，利用LSTM深度学习模型计算得出决策信息，将获取到的决策信息输出给行为选择器得到机器人行为输出。本发明通过交互决策模型，提高机器人认知能力，更好的进行人机交互。

Description

一种基于深度学习的机器人情感认知的方法
技术领域
本发明涉及信息技术领域，尤其涉及一种基于深度学习的机器人情感认知的方法。
背景技术
从目前的机器人情感认知方面的成果来看，主要是基于物理行为为基础进行计算，在情感认知方面还未有进展。现有的方法存在以下缺陷：1、市面上的机器人大多属于工业机器人的范畴，交互过程中没有考虑到基于人类的情感做进一步人机交互；2、机器人都有着决策模块，但都不基于情感而进行行为决策，不利于机器人与人的社交行为的发展；3、现有的研究很少有基于深度学习的情感认知框架，无法对不同对象进行交互，也不能进行较好的自我认知更新。
发明内容
本发明要解决的技术问题，在于提供一种基于深度学习的机器人情感认知的方法，通过交互决策模型，提高机器人认知能力，更好的进行人机交互，促进社交机器人的发展，并建立自我更新的认知模型，适应不同人的交互需求。
本发明是这样实现的：一种基于深度学习的机器人情感认知的方法，包括如下步骤：
步骤1、获取得到多模态信息，通过多模态信息融合算法得到情绪状态；
步骤2、将所述情绪状态输入到交互决策模型进行处理得到决策信息，将所述决策信息输出到满意度模型中；
步骤3、由满意度模型来检测交互决策模型输出的决策信息是否符合当前用户的喜好，若是，则进入到长期记忆中，进行数据更新，进入步骤5；否则，进入步骤4；
步骤4、从短期记忆中获取记录的片段以及对应用户的情绪变化，并从长期记忆中提取用户特征，利用LSTM深度学习模型计算得出决策信息，进入步骤5；
步骤5、将获取到的决策信息输出给行为选择器，得到行为，作为机器人行为输出。
进一步的，所述步骤1进一步包括：
步骤11、获取得到多模态信息，通过实时捕捉与机器人交互的人的语言信息以及非语言信息，包括面部表情、头眼关注、手势和文本；
步骤12、构建不同信息的处理通道进行特征分类与识别，包括语言信息和非语言信息的特征分类与识别；
步骤13、对多模态信息进行处理，通过PAD模型与OCC模型将信息映射到PAD三维空间上；
步骤14、对各个模态信息在决策层融合时进行时序对齐，进行基于时序的情感维度空间的计算。
进一步的，所述步骤3中“进行数据更新”中的数据包括用户、情绪变化与喜好度。
进一步的，所述方法还包括步骤6、在交互过程中，根据用户的反馈信息不断更新记忆模块的内容，与其共同完成面向对象的适应性交互知识体系更新。
进一步的，所述LSTM模型是根据标定的数据预先训练得到的。
本发明具有如下优点：
1、机器人采用情感认知能够使机器人高效、准确地识别用户的情绪状态并作出相应的决策，能够提高机器人认知能力，更好的进行人机交互，促进社交机器人的发展；
2、结合情感建模与认知模型原理，构建出适合人机交互的情感计算与交互决策模型，完成机器人的认知计算与行为决策，拓展了认知计算在机器人领域的适用范围；
3、建立自我更新的认知模型，能够适应不同人的交互需求；
4、利用了深度学习LSTM框架，对决策进行训练，达到更好的决策效果。
附图说明
下面参照附图结合实施例对本发明作进一步的说明。
图1为本发明一种基于深度学习的机器人情感认知的方法执行流程图。
图2为本发明一种基于深度学习的机器人情感认知计算框架的原理示意图。
具体实施方式
请参阅图1和图2，本发明一种基于深度学习的机器人情感认知的方法，包括如下步骤：
步骤1、获取得到多模态信息，通过多模态信息融合算法得到情绪状态；
步骤2、将所述情绪状态输入到交互决策模型进行处理得到决策信息，将所述决策信息输出到满意度模型中；
步骤3、由满意度模型来检测交互决策模型输出的决策信息是否符合当前用户的喜好，若是，则进入到长期记忆中，进行数据更新，包括用户、情绪变化与喜好度等的更新，进入步骤5；否则，进入步骤4；
步骤4、从短期记忆中获取记录的片段以及对应用户的情绪变化，并从长期记忆中提取用户特征，利用LSTM深度学习模型计算得出决策信息，进入步骤5；
步骤5、将获取到的决策信息输出给行为选择器，得到行为，作为机器人行为输出。
较佳的，所述步骤1进一步包括：
步骤11、获取得到多模态信息，通过实时捕捉与机器人交互的人的语言信息以及非语言信息，包括面部表情、头眼关注、手势和文本；
步骤12、构建不同信息的处理通道进行特征分类与识别，包括语言信息和非语言信息的特征分类与识别；
步骤13、对多模态信息进行处理，通过PAD模型与OCC模型将信息映射到PAD三维空间上；
步骤14、对各个模态信息在决策层融合时进行时序对齐，进行基于时序的情感维度空间的计算。
较佳的，所述方法还包括步骤6、在交互过程中，根据用户的反馈信息不断更新记忆模块的内容，与其共同完成面向对象的适应性交互知识体系更新。
较佳的，所述LSTM模型是根据标定的数据预先训练得到的。
下面结合一具体实施例对本发明做进一步说明：
本发明为了对人类的情感做进一步设计与验证，提出了新的认知模型——交互决策模型，通过获取到的多模态信息，将信息传入到交互模型中，利用深度学习LSTM框架对行为进行决策输出。
本发明的主要技术路线为：
首先，收集多模态信息，通过多模态信息融合算法得到情绪状态(例如，可将情感计算模块设置到在客户端上进行，计算得到多模态融合后的PAD值，作为服务端交互决策的前提，而且情感计算是放在程序的客户端)，该模块完成了信息收集与处理，具体的，多模态信息的处理可以采用以下方式实现：获取得到多模态信息，通过实时捕捉与机器人交互的人的语言信息以及非语言信息，包括面部表情、头眼关注、手势和文本；构建不同信息的处理通道进行特征分类与识别，包括语言信息和非语言信息的特征分类与识别；对多模态信息进行处理，通过PAD模型与OCC模型将信息映射到PAD三维空间上；对各个模态信息在决策层融合时进行时序对齐，进行基于时序的情感维度空间的计算；
然后，将融合后的PAD值、人机对话内容等输入到交互决策模型中，交互决策模型将会输出决策信息，该决策信息是用于决定做出何种行为来反馈给当前情感状态下的用户的，输出到满意度模型中，由满意度模型来检测行为是否符合当前用户的喜好，如果符合的话进入长期记忆中，进行数据更新，包括用户、情绪变化与喜好度等；否则，从短期记忆中获取记录的片段以及对应用户的情绪变化，利用深度学习的循环神经网络(RNN,RecurrentNeural Networks)的变种LSTM(Long Short-Term Memory)进行决策计算，计算时从短期记忆中提取当前情景下交互内容，从长期记忆中提取用户特征，然后利用训练好的LSTM深度学习模型来进行决策，该LSTM模型是根据标定的数据提前训练好的。本发明基于LSTM，搭建了适用于人机交互的情感认知模型，在训练时我们先利用LSTM层根据一段时序PAD预测下一刻用户可能的PAD值，然后结合用户当前谈论的话题以及情境，在全连接层进行综合决策。
最后，将决策输出给行为选择器输出行为，作为机器人的行为输出，实现机器人交互行为，在交互过程中，根据用户的反馈不断更新记忆模块中的长短期记忆的内容，例如交互时询问用户要吃点蛋糕吗，但是用户说我不喜欢吃蛋糕，这时就将这一事实记录进长期记忆中，与其共同完成面向对象的适应性交互知识体系更新。
虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。

Claims (4)

1.一种基于深度学习的机器人情感认知的方法，其特征在于：包括如下步骤：
步骤1、获取得到多模态信息，通过多模态信息融合算法得到情绪状态；
步骤2、将所述情绪状态输入到交互决策模型进行处理得到决策信息，将所述决策信息输出到满意度模型中；
步骤3、由满意度模型来检测交互决策模型输出的决策信息是否符合当前用户的喜好，若是，则进入到长期记忆中，进行数据更新，进入步骤5；否则，进入步骤4；
步骤4、从短期记忆中获取记录的片段以及对应用户的情绪变化，并从长期记忆中提取用户特征，利用LSTM深度学习模型计算得出决策信息，进入步骤5；
步骤5、将获取到的决策信息输出给行为选择器，得到行为，作为机器人行为输出；
所述步骤1进一步包括：
步骤11、获取得到多模态信息，通过实时捕捉与机器人交互的人的语言信息以及非语言信息，包括面部表情、头眼关注、手势和文本；
步骤12、构建不同信息的处理通道进行特征分类与识别，包括语言信息和非语言信息的特征分类与识别；
步骤13、对多模态信息进行处理，通过PAD模型与OCC模型将信息映射到PAD三维空间上；
步骤14、对各个模态信息在决策层融合时进行时序对齐，进行基于时序的情感维度空间的计算。
2.根据权利要求1所述的一种基于深度学习的机器人情感认知的方法，其特征在于：所述步骤3中“进行数据更新”中的数据包括用户、情绪变化与喜好度。
3.根据权利要求1所述的一种基于深度学习的机器人情感认知的方法，其特征在于：所述方法还包括步骤6、在交互过程中，根据用户的反馈信息不断更新记忆模块的内容，与其共同完成面向对象的适应性交互知识体系更新。
4.根据权利要求1所述的一种基于深度学习的机器人情感认知的方法，其特征在于：所述LSTM模型是根据标定的数据预先训练得到的。
CN201810813481.6A 2018-07-23 2018-07-23 一种基于深度学习的机器人情感认知的方法 Active CN109117952B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810813481.6A CN109117952B (zh) 2018-07-23 2018-07-23 一种基于深度学习的机器人情感认知的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810813481.6A CN109117952B (zh) 2018-07-23 2018-07-23 一种基于深度学习的机器人情感认知的方法

Publications (2)

Publication Number Publication Date
CN109117952A CN109117952A (zh) 2019-01-01
CN109117952B true CN109117952B (zh) 2021-12-14

Family

ID=64863003

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810813481.6A Active CN109117952B (zh) 2018-07-23 2018-07-23 一种基于深度学习的机器人情感认知的方法

Country Status (1)

Country Link
CN (1) CN109117952B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109961152B (zh) * 2019-03-14 2021-03-02 广州多益网络股份有限公司 虚拟偶像的个性化互动方法、系统、终端设备及存储介质
CN110197659A (zh) * 2019-04-29 2019-09-03 华为技术有限公司 基于用户画像的反馈方法、装置及系统
CN110363074B (zh) * 2019-06-03 2021-03-30 华南理工大学 一种针对复杂抽象化事物的类人化识别交互方法
CN111625098B (zh) * 2020-06-01 2022-11-18 广州市大湾区虚拟现实研究院 一种基于多通道信息融合的虚拟化身智能交互方法和装置
CN112084922B (zh) * 2020-08-31 2022-10-14 中国人民解放军军事科学院国防科技创新研究院 一种基于手势和面部表情的行为异常人群检测方法
CN112329648B (zh) * 2020-11-09 2023-08-08 东北大学 基于面部表情交互的人际关系行为模式识别方法
CN113658254B (zh) * 2021-07-28 2022-08-02 深圳市神州云海智能科技有限公司 一种处理多模态数据的方法及装置、机器人

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107340859A (zh) * 2017-06-14 2017-11-10 北京光年无限科技有限公司 多模态虚拟机器人的多模态交互方法和系统
CN107679234A (zh) * 2017-10-24 2018-02-09 上海携程国际旅行社有限公司 客服信息提供方法、装置、电子设备、存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2015315225A1 (en) * 2014-09-09 2017-04-27 Botanic Technologies, Inc. Systems and methods for cinematic direction and dynamic character control via natural language output

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107340859A (zh) * 2017-06-14 2017-11-10 北京光年无限科技有限公司 多模态虚拟机器人的多模态交互方法和系统
CN107679234A (zh) * 2017-10-24 2018-02-09 上海携程国际旅行社有限公司 客服信息提供方法、装置、电子设备、存储介质

Also Published As

Publication number Publication date
CN109117952A (zh) 2019-01-01

Similar Documents

Publication Publication Date Title
CN109117952B (zh) 一种基于深度学习的机器人情感认知的方法
US11226673B2 (en) Affective interaction systems, devices, and methods based on affective computing user interface
CN110728997B (zh) 一种基于情景感知的多模态抑郁症检测系统
Erol et al. Toward artificial emotional intelligence for cooperative social human–machine interaction
CN112651448B (zh) 一种面向社交平台表情包的多模态情感分析方法
JP7022062B2 (ja) 統合化された物体認識および顔表情認識を伴うｖｐａ
CN105843381B (zh) 用于实现多模态交互的数据处理方法及多模态交互系统
Vinola et al. A survey on human emotion recognition approaches, databases and applications
CN106997243B (zh) 基于智能机器人的演讲场景监控方法及装置
CN107030691A (zh) 一种看护机器人的数据处理方法及装置
CN108664932B (zh) 一种基于多源信息融合的学习情感状态识别方法
CN107797663A (zh) 基于虚拟人的多模态交互处理方法及系统
CN106560891A (zh) 使用声学建模的语音识别设备和方法
CN106502382B (zh) 用于智能机器人的主动交互方法和系统
CN102298694A (zh) 一种应用于远程信息服务的人机交互识别系统
CN103123619A (zh) 基于情感上下文的视觉语音多模态协同分析方法及系统
CN107016046A (zh) 基于视觉场景化的智能机器人对话方法及系统
CN112016367A (zh) 一种情绪识别系统、方法及电子设备
CN110570873A (zh) 声纹唤醒方法、装置、计算机设备以及存储介质
CN112529054B (zh) 一种多源异构数据的多维度卷积神经网络学习者建模方法
CN113343860A (zh) 一种基于视频图像和语音的双模态融合情感识别方法
CN114724224A (zh) 一种用于医疗护理机器人的多模态情感识别方法
CN111126280A (zh) 基于融合手势识别的失语症患者辅助康复训练系统及方法
US11468247B2 (en) Artificial intelligence apparatus for learning natural language understanding models
CN117251057A (zh) 一种基于aigc构建ai数智人的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant