CN108960191B - 一种面向机器人的多模态融合情感计算方法及系统 - Google Patents

一种面向机器人的多模态融合情感计算方法及系统 Download PDF

Info

Publication number
CN108960191B
CN108960191B CN201810813473.1A CN201810813473A CN108960191B CN 108960191 B CN108960191 B CN 108960191B CN 201810813473 A CN201810813473 A CN 201810813473A CN 108960191 B CN108960191 B CN 108960191B
Authority
CN
China
Prior art keywords
language
information
fusion
pad
equation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810813473.1A
Other languages
English (en)
Other versions
CN108960191A (zh
Inventor
佘莹莹
陈锦
舒杨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen University
Original Assignee
Xiamen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen University filed Critical Xiamen University
Priority to CN201810813473.1A priority Critical patent/CN108960191B/zh
Publication of CN108960191A publication Critical patent/CN108960191A/zh
Application granted granted Critical
Publication of CN108960191B publication Critical patent/CN108960191B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Manipulator (AREA)

Abstract

本发明提供一种面向机器人的多模态融合情感计算方法，包括：获取得到多模态信息，通过实时捕捉与机器人交互的人的语言信息以及非语言信息；构建不同信息的处理通道进行特征分类与识别，包括语言信息和非语言信息的特征分类与识别；对多模态信息进行处理，通过PAD模型与OCC模型将信息映射到PAD三维空间上；对各个模态信息在决策层融合时进行时序对齐，进行基于时序的情感维度空间的计算。本发明还提供一种面向机器人的多模态融合情感计算系统，通过获取用户的多模态信息，包括非语言与语言信息，使用PAD模型、OCC模型，以及线性回归模型分别对语言信息和非语言信息进行融合之后，再使用线性回归模型进行最终融合，实现机器人更佳精确的情感计算。

Description

一种面向机器人的多模态融合情感计算方法及系统
技术领域
本发明涉及信息技术领域，尤其涉及一种面向机器人的多模态融合情感计算方法及系统。
背景技术
从目前来看，多模态融合的相关研究较少，目前的方法并没有做到对多模态信息进行融合，大部分都是语言部分信息。大部分研究存在有如下缺陷：1、局限于某个模态的信息采集与获取；2、仅对语言部分进行识别，无法很好的识别用户情绪；3、非语言信息部分仅对于交互对象的面部表情进行情感计算，而没有将其生理信息、面部表情、肢体语言及视觉信息等多种信号准确融合；4、没有进行语言与非语言多模态信息的融合方法，与对应的情感计算方法；5、机器人基本都没有采用多模态情感计算。
发明内容
本发明要解决的技术问题之一，在于提供一种面向机器人的多模态融合情感计算方法，通过获取用户的多模态信息，包括非语言与语言信息，使用PAD模型、OCC模型，将多模态信息映射到PAD空间上，利用线性回归模型分别对语言信息和非语言信息进行融合之后，再次使用模型进行最终融合，即最终的决策层融合。
本发明要解决的技术问题之一是这样实现的：一种面向机器人的多模态融合情感计算方法，包括如下步骤：
步骤1、获取得到多模态信息，通过实时捕捉与机器人交互的人的语言信息以及非语言信息，包括面部表情、头眼关注、手势和文本；
步骤2、构建不同信息的处理通道进行特征分类与识别，包括语言信息和非语言信息的特征分类与识别；
步骤3、对多模态信息进行处理，通过PAD模型与OCC模型将信息映射到PAD三维空间上；
步骤4、对各个模态信息在决策层融合时进行时序对齐，进行基于时序的情感维度空间的计算。
进一步的，所述步骤2进一步包括：
针对非语言信息，完成对面部表情、头眼部关注以及兴趣物的识别、身体姿势以及手势的识别；
针对语言信息，完成自然语言处理，并输出对应的句子成分与语音特征。
进一步的，所述步骤4进一步包括：
步骤41、对非语言信息，使用线性回归模型来对获取的9个PAD参数值进行不同时间不同模态的融合预测，使用线性回归器进行融合：
Pn＝μ1·P1+μ2·P2+μ3·P3 公式1
An＝θ1·A1+θ2·A2+θ3·A3 公式2
Dn＝σ1·D1+σ2·D2+σ3·D3 公式3
其中P1，P2，P3；A1，A2，A3；D1，D2，D3分别为面部、手势、眼部关注度三个模块的PAD参数值，Pn，An，Dn为融合后非语言部分的PAD参数值；μ1，μ1，μ1分别为愉悦度线性方程中的常量，θ1，θ2，θ3分别为激活度线性方程中的常量，σ1，σ2，σ3分别为控制度线性方程中的常量；
步骤42、使用一次线性回归模型，将非语言信息和语言信息进行最终的融合，公式如下：
P融合＝μ4·P非语音+μ5·P语音 公式4
A融合＝θ4·A非语音+θ5·A语音 公式5
D融合＝σ4·D非语音+σ5·D语音 公式6。
其中，P融合、A融合和D融合分别为最终融合后的PAD参数值，μ4，μ5分别为愉悦度线性方程中的常量，θ4，θ5分别为激活度线性方程中的常量，σ4，σ5分别为控制度线性方程中的常量。根据融合得到的语言与非语言部分的PAD值，进行最终的融合，得到最终的PAD参数值。
本发明要解决的技术问题之二，在于提供一种面向机器人的多模态融合情感计算系统，通过获取用户的多模态信息，包括非语言与语言信息，使用PAD模型、OCC模型，将多模态信息映射到PAD空间上，利用线性回归模型分别对语言信息和非语言信息进行融合之后，再次使用模型进行最终融合，即最终的决策层融合。
本发明要解决的技术问题之二是这样实现的：一种面向机器人的多模态融合情感计算系统，包括：
信息获取模块，用于获取得到多模态信息，通过实时捕捉与机器人交互的人的语言信息以及非语言信息，包括面部表情、头眼关注、手势和文本；
特征分类与识别模块，用于构建不同信息的处理通道进行特征分类与识别，包括语言信息和非语言信息的特征分类与识别；
模型构建模块，用于对多模态信息进行处理，通过PAD模型与OCC模型将信息映射到PAD三维空间上；以及
融合模块，用于对各个模态信息在决策层融合时进行时序对齐，进行基于时序的情感维度空间的计算。
进一步的，所述特征分类与识别模块进一步包括：
针对非语言信息，完成对面部表情、头眼部关注以及兴趣物的识别、身体姿势以及手势的识别；
针对语言信息，完成自然语言处理，并输出对应的句子成分与语音特征。
进一步的，所述融合模块进一步包括融合预测模块和决策层融合模块：
所述融合预测模块，用于对非语言信息，使用线性回归模型来对获取的9个PAD参数值进行不同时间不同模态的融合预测，使用线性回归器进行融合：
Pn＝μ1·P1+μ2·P2+μ3·P3 公式1
An＝θ1·A1+θ2·A2+θ3·A3 公式2
Dn＝σ1·D1+σ2·D2+σ3·D3 公式3
其中P1，P2，P3；A1，A2，A3；D1，D2，D3分别为面部、手势、眼部关注度三个模块的PAD参数值，Pn，An，Dn为融合后非语言部分的PAD参数值；μ1，μ2，μ3分别为愉悦度线性方程中的常量，θ1，θ2，θ3分别为激活度线性方程中的常量，σσ1，σ2，σ3分别为控制度线性方程中的常量；
所述决策层融合模块，用于使用一次线性回归模型，将非语言信息和语言信息进行最终的融合，公式如下：
P融合＝μ4·P非语音+μ5·P语音 公式4
A融合＝θ4·A非语音+θ5·A语音 公式5
D融合＝σ4·D非语音+σ5·D语音 公式6。
其中，P融合、A融合和D融合分别为最终融合后的PAD参数值，μ4，μ5分别为愉悦度线性方程中的常量，θ4，θ5分别为激活度线性方程中的常量，σ4，σ5分别为控制度线性方程中的常量。根据融合得到的语言与非语言部分的PAD值，进行最终的融合，得到最终的PAD参数值。
本发明具有如下优点：
1、采用多模态信息融合框架，提供更为更为准确的情感计算方式；
2.使用PAD、OCC模型的情感计算框架计算PAD空间上的情感值使得机器人能更好的识别用户情感，更好地理解了说话者的意图，使得机器人更加人性化。
附图说明
下面参照附图结合实施例对本发明作进一步的说明。
图1为本发明一种面向机器人的多模态融合情感计算方法执行流程图。
图2为本发明一种面向机器人的多模态融合情感计算框架的原理示意图。
具体实施方式
请参阅图1和图2，本发明一种面向机器人的多模态融合情感计算方法，包括如下步骤：
步骤1、获取得到多模态信息，通过实时捕捉与机器人交互的人的语言信息以及非语言信息，包括面部表情、头眼关注、手势和文本；
步骤2、构建不同信息的处理通道进行特征分类与识别，包括语言信息和非语言信息的特征分类与识别；
步骤3、对多模态信息进行处理，通过PAD模型(P-pleasure、A-arousal、D-dominance)与OCC模型将信息映射到PAD三维空间上；
步骤4、对各个模态信息在决策层融合时进行时序对齐，进行基于时序的情感维度空间的计算。
较佳的，所述步骤2进一步包括：
针对非语言信息，完成对面部表情、头眼部关注以及兴趣物的识别、身体姿势以及手势的识别；
针对语言信息，完成自然语言处理，并输出对应的句子成分与语音特征。
较佳的，所述步骤4进一步包括：
步骤41、对非语言信息，使用线性回归模型来对获取的9个PAD参数值进行不同时间不同模态的融合预测，使用线性回归器进行融合：
Pn＝μ1·P1+μ2·P2+μ3·P3 公式1
An＝θ1·A1+θ2·A2+θ3·A3 公式2
Dn＝σ1·D1+σ2·D2+σ3·D3 公式3
其中P1，P2，P3；A1，A2，A3；D1，D2，D3分别为面部、手势、眼部关注度三个模块的PAD参数值，Pn，An，Dn为融合后非语言部分的PAD参数值；μ1，μ1，μ1分别为愉悦度线性方程中的常量，θ1，θ2，θ3分别为激活度线性方程中的常量，σ1，σ2，σ3分别为控制度线性方程中的常量；
步骤42、使用一次线性回归模型，将非语言信息和语言信息进行最终的融合，公式如下：
P融合＝μ4·P非语音+μ5·P语音 公式4
A融合＝θ4·A非语音+θ5·A语音 公式5
D融合＝σ4·D非语音+σ5·D语音 公式6。
其中，P融合、A融合和D融合分别为最终融合后的PAD参数值，μ4，μ5分别为愉悦度线性方程中的常量，θ4，θ5分别为激活度线性方程中的常量，σ4，σ5分别为控制度线性方程中的常量。根据融合得到的语言与非语言部分的PAD值，进行最终的融合，得到最终的PAD参数值。
请参阅图2，本发明的一种面向机器人的多模态融合情感计算系统，包括：
信息获取模块，用于获取得到多模态信息，通过实时捕捉与机器人交互的人的语言信息以及非语言信息，包括面部表情、头眼关注、手势和文本；
特征分类与识别模块，用于构建不同信息的处理通道进行特征分类与识别，包括语言信息和非语言信息的特征分类与识别；
模型构建模块，用于对多模态信息进行处理，通过PAD模型与OCC模型将信息映射到PAD三维空间上；以及
融合模块，用于对各个模态信息在决策层融合时进行时序对齐，进行基于时序的情感维度空间的计算。
较佳的，所述特征分类与识别模块进一步包括：
针对非语言信息，完成对面部表情、头眼部关注以及兴趣物的识别、身体姿势以及手势的识别；
针对语言信息，完成自然语言处理，并输出对应的句子成分与语音特征。
较佳的，所述融合模块进一步包括融合预测模块和决策层融合模块：
所述融合预测模块，用于对非语言信息，使用线性回归模型来对获取的9个PAD参数值进行不同时间不同模态的融合预测，使用线性回归器进行融合：
Pn＝μ1·P1+μ2·P2+μ3·P3 公式1
An＝θ1·A1+θ2·A2+θ3·A3 公式2
Dn＝σ1·D1+σ2·D2+σ3·D3 公式3
其中P1，P2，P3；A1，A2，A3；D1，D2，D3分别为面部、手势、眼部关注度三个模块的PAD参数值，Pn，An，Dn为融合后非语言部分的PAD参数值；μ1，μ2，μ3分别为愉悦度线性方程中的常量，θ1，θ2，θ3分别为激活度线性方程中的常量，σσ1，σ2，σ3分别为控制度线性方程中的常量；
所述决策层融合模块，用于使用一次线性回归模型，将非语言信息和语言信息进行最终的融合，公式如下：
P融合＝μ4·P非语音+μ5·P语音 公式4
A融合＝θ4·A非语音+θ5·A语音 公式5
D融合＝σ4·D非语音+σ5·D语音 公式6
其中，P融合、A融合和D融合分别为最终融合后的PAD参数值，μ4，μ5分别为愉悦度线性方程中的常量，θ4，θ5分别为激活度线性方程中的常量，σ4，σ5分别为控制度线性方程中的常量。根据融合得到的语言与非语言部分的PAD值，进行最终的融合，得到最终的PAD参数值。
下面结合一具体实施例对本发明做进一步说明：
本发明通过获取用户的多模态信息，包括非语言信息与语言信息，使用PAD模型、OCC模型，将多模态信息映射到PAD空间上，利用线性回归模型分别对语言信息和非语言信息进行融合之后，再次使用模型进行最终融合，即最终的决策层融合。
本发明的主要技术路线为：
1、通过交互设备实时捕捉与机器人交互的人的语言类信息以及非语言类信息包括面部表情、头眼关注、手势、文本、语音语速等；
2、构建不同信息的处理通道，对每个模态的信息进行特征分类与识别；例如，针对非语言信息，完成对面部表情、头部运动、眼部关注以及兴趣物的识别、身体姿势以及手势的识别。对语言信息，完成自然语言处理，并输出对应的句子成分与语音特征。
3、对多模态信息进行处理，通过PAD模型(Pleasure-Arousal-Dominance模型)与OCC模型(Ortony、Clore、和Collins模型)将信息映射到PAD空间上。PAD三个维度，可以解释情感量表中的大部分情感，并且三个维度不限于描述情感的主观体验，它与情感的外部表现、生理唤醒都具有较好的映射关系；例如对面部表情的计算：将用户表情与美国心理学家Ekman和Friesen通过充分的测试实验所得的基本表情类别相对应，基本表情类别在PAD三维情感空间中与PAD值对应；在PAD三维情感空间(P-pleasure、A-arousal、D-dominance)中愉悦度代表个体情感状态的正负特性，激活度代表个体的神经生理激活水平，优势度代表个体对情景和他人的控制状态。如果PAD值距离中心点越远，离散点的强度越高，乐趣和唤醒维度也越高，进而能得出用户当前面部表情对应的PAD参数值。
4、对各模态的信息在决策层融合时进行时序对齐，进行基于时序的情感维度空间的计算，具体如下：
对非语言部分信息，我们将获取的9个PAD参数值使用线性回归模型来进行不同时间不同模态的融合预测，使用线性回归器进行融合：
Pn＝μ1·P1+μ2·P2+μ3·P3 公式1
An＝θ1·A1+θ2·A2+θ3·A3 公式2
Dn＝σ1·D1+σ2·D2+σ3·D3 公式3
其中P1，P2，P3；A1，A2，A3；D1，D2，D3分别为面部、手势、眼部关注度三个模块的PAD参数值，Pn，An，Dn为融合后非语言部分的PAD参数值。μ1，μ2，μ3分别为愉悦度线性方程中的常量，θ1，θ2，θ3分别为激活度线性方程中的常量，σ1，σ2，σ3分别为控制度线性方程中的常量。最后再使用一次线性回归模型，将非语言信息和语言信息进行最终的融合，公式如下：
P融合＝μ4·P非语音+μ5·P语音 公式4
A融合＝θ4·A非语音+θ5·A语音 公式5
D融合＝σ4·D非语音+σ5·D语音 公式6
其中，P融合、A融合和D融合分别为最终融合后的PAD参数值，μ4，μ5分别为愉悦度线性方程中的常量，θ4，θ5分别为激活度线性方程中的常量，σ4，σ5分别为控制度线性方程中的常量。根据融合得到的语言与非语言部分的PAD值，进行最终的融合，得到最终的PAD参数值。
为了在人机交互过程中，机器人能够获取用户表情，手势，眼睛关注度，语言等信息，能够理解多模态交互信息，使机器人能够进行情感计算，适应交互需求，本发明提供的上述基于PAD、OCC模型的情感计算框架，并采用线性回归对多模态信息进行融合计算，提供更为准确的情感计算方式；使得机器人更好的识别用户情感，更好地理解了说话者的意图，使得机器人更加人性化。
虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。

Claims (6)

1.一种面向机器人的多模态融合情感计算方法，其特征在于：包括如下步骤：
步骤1、获取得到多模态信息，通过实时捕捉与机器人交互的人的语言信息以及非语言信息，包括面部表情、头眼关注、手势和文本；
步骤2、构建不同信息的处理通道进行特征分类与识别，包括语言信息和非语言信息的特征分类与识别；
步骤3、对多模态信息进行处理，通过PAD模型与OCC模型将信息映射到PAD三维空间上；
步骤4、对各个模态信息在决策层融合时进行时序对齐，进行基于时序的情感维度空间的计算。
2.根据权利要求1所述的一种面向机器人的多模态融合情感计算方法，其特征在于：所述步骤2进一步包括：
针对非语言信息，完成对面部表情、头眼部关注以及兴趣物的识别、身体姿势以及手势的识别；
针对语言信息，完成自然语言处理，并输出对应的句子成分与语音特征。
3.根据权利要求1所述的一种面向机器人的多模态融合情感计算方法，其特征在于：所述步骤4进一步包括：
步骤41、对非语言信息，使用线性回归模型来对获取的9个PAD参数值进行不同时间不同模态的融合预测，使用线性回归器进行融合：
Pn＝μ1·P1+μ2·P2+μ3·P3 公式1
An＝θ1·A1+θ2·A2+θ3·A3 公式2
Dn＝σ1·D1+σ2·D2+σ3·D3 公式3
其中P1，P2，P3；A1，A2，A3；D1，D2，D3分别为面部、手势、眼部关注度三个模块的PAD参数值，Pn，An，Dn为融合后非语言部分的PAD参数值；μ1，μ2，μ3分别为愉悦度线性方程中的常量，θ1，θ2，θ3分别为激活度线性方程中的常量，σ1，σ2，σ3分别为控制度线性方程中的常量；
步骤42、使用一次线性回归模型，将非语言信息和语言信息进行最终的融合，公式如下：
P融合＝μ4·P非语言+μ5·P语言 公式4
A融合＝θ4·A非语言+θ5·A语言 公式5
D融合＝σ4·D非语言+σ5·D语言 公式6
其中，P融合、A融合和D融合分别为最终融合后的PAD参数值，μ4，μ5分别为愉悦度线性方程中的常量，θ4，θ5分别为激活度线性方程中的常量，σ4，σ5分别为控制度线性方程中的常量；根据融合得到的语言与非语言部分的PAD值，进行最终的融合，得到最终的PAD参数值。
4.一种面向机器人的多模态融合情感计算系统，其特征在于：包括：
信息获取模块，用于获取得到多模态信息，通过实时捕捉与机器人交互的人的语言信息以及非语言信息，包括面部表情、头眼关注、手势和文本；
特征分类与识别模块，用于构建不同信息的处理通道进行特征分类与识别，包括语言信息和非语言信息的特征分类与识别；
模型构建模块，用于对多模态信息进行处理，通过PAD模型与OCC模型将信息映射到PAD三维空间上；以及
融合模块，用于对各个模态信息在决策层融合时进行时序对齐，进行基于时序的情感维度空间的计算。
5.根据权利要求4所述的一种面向机器人的多模态融合情感计算系统，其特征在于：所述特征分类与识别模块进一步包括：
针对非语言信息，完成对面部表情、头眼部关注以及兴趣物的识别、身体姿势以及手势的识别；
针对语言信息，完成自然语言处理，并输出对应的句子成分与语音特征。
6.根据权利要求4所述的一种面向机器人的多模态融合情感计算系统，其特征在于：所述融合模块进一步包括融合预测模块和决策层融合模块：
所述融合预测模块，用于对非语言信息，使用线性回归模型来对获取的9个PAD参数值进行不同时间不同模态的融合预测，使用线性回归器进行融合：
Pn＝μ1·P1+μ2·P2+μ3·P3 公式1
An＝θ1·A1+θ2·A2+θ3·A3 公式2
Dn＝σ1·D1+σ2·D2+σ3·D3 公式3
其中P1，P2，P3；A1，A2，A3；D1、D2，D3分别为面部、手势、眼部关注度三个模块的PAD参数值，Pn，An，Dn为融合后非语言部分的PAD参数值；μ1，μ2，μ3分别为愉悦度线性方程中的常量，θ1，θ2，θ3分别为激活度线性方程中的常量，σ1，σ2，σ3分别为控制度线性方程中的常量；
所述决策层融合模块，用于使用一次线性回归模型，将非语言信息和语言信息进行最终的融合，公式如下：
P融合＝μ4·P非语言+μ5·P语言 公式4
A融合＝θ4·A非语言+θ5·A语言 公式5
D融合＝σ4·D非语言+σ5·D语言 公式6
其中，P融合、A融合和D融合分别为最终融合后的PAD参数值，μ4，μ5分别为愉悦度线性方程中的常量，θ4，θ5分别为激活度线性方程中的常量，σ4，σ5分别为控制度线性方程中的常量；根据融合得到的语言与非语言部分的PAD值，进行最终的融合，得到最终的PAD参数值。
CN201810813473.1A 2018-07-23 2018-07-23 一种面向机器人的多模态融合情感计算方法及系统 Active CN108960191B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810813473.1A CN108960191B (zh) 2018-07-23 2018-07-23 一种面向机器人的多模态融合情感计算方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810813473.1A CN108960191B (zh) 2018-07-23 2018-07-23 一种面向机器人的多模态融合情感计算方法及系统

Publications (2)

Publication Number Publication Date
CN108960191A CN108960191A (zh) 2018-12-07
CN108960191B true CN108960191B (zh) 2021-12-14

Family

ID=64463552

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810813473.1A Active CN108960191B (zh) 2018-07-23 2018-07-23 一种面向机器人的多模态融合情感计算方法及系统

Country Status (1)

Country Link
CN (1) CN108960191B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111898670B (zh) * 2020-07-24 2024-04-05 深圳市声希科技有限公司 多模态情感识别方法、装置、设备及存储介质
CN113033450B (zh) * 2021-04-02 2022-06-24 山东大学 多模态连续情感识别方法、服务推理方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101452529A (zh) * 2007-12-07 2009-06-10 索尼株式会社 信息处理设备和信息处理方法与计算机程序
CN106203344A (zh) * 2016-07-12 2016-12-07 北京光年无限科技有限公司 一种用于智能机器人的情绪识别方法及系统
CN107053191A (zh) * 2016-12-31 2017-08-18 华为技术有限公司 一种机器人，服务器及人机互动方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110291953A1 (en) * 2010-05-31 2011-12-01 National University Of Singapore Robot device and platform for social networking

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101452529A (zh) * 2007-12-07 2009-06-10 索尼株式会社 信息处理设备和信息处理方法与计算机程序
CN106203344A (zh) * 2016-07-12 2016-12-07 北京光年无限科技有限公司 一种用于智能机器人的情绪识别方法及系统
CN107053191A (zh) * 2016-12-31 2017-08-18 华为技术有限公司 一种机器人，服务器及人机互动方法

Also Published As

Publication number Publication date
CN108960191A (zh) 2018-12-07

Similar Documents

Publication Publication Date Title
JP7022062B2 (ja) 統合化された物体認識および顔表情認識を伴うｖｐａ
Erol et al. Toward artificial emotional intelligence for cooperative social human–machine interaction
Eskimez et al. Speech driven talking face generation from a single image and an emotion condition
Sadoughi et al. Speech-driven expressive talking lips with conditional sequential generative adversarial networks
Kessous et al. Multimodal emotion recognition in speech-based interaction using facial expression, body gesture and acoustic analysis
TWI766499B (zh) 互動物件的驅動方法、裝置、設備以及儲存媒體
Varghese et al. Overview on emotion recognition system
CN106997243B (zh) 基于智能机器人的演讲场景监控方法及装置
Wu et al. Two-level hierarchical alignment for semi-coupled HMM-based audiovisual emotion recognition with temporal course
CN108363706A (zh) 人机对话交互的方法和装置、用于人机对话交互的装置
CN113158727A (zh) 一种基于视频和语音信息的双模态融合情绪识别方法
CN109117952B (zh) 一种基于深度学习的机器人情感认知的方法
KR20190088125A (ko) 감정 인식을 위한 학습 방법, 감정을 인식하는 방법 및 장치
CN109508687A (zh) 人机交互控制方法、装置、存储介质和智能设备
CN108491808B (zh) 用于获取信息的方法及装置
CN105895105A (zh) 语音处理方法及装置
Prado et al. Visuo-auditory multimodal emotional structure to improve human-robot-interaction
WO2023284435A1 (zh) 生成动画的方法及装置
CN109949438B (zh) 异常驾驶监测模型建立方法、装置及存储介质
CN111539245B (zh) 一种基于虚拟环境的cpr技术训练评价方法
Yang et al. Modeling dynamics of expressive body gestures in dyadic interactions
CN111459452A (zh) 交互对象的驱动方法、装置、设备以及存储介质
CN109116981A (zh) 一种被动触觉反馈的混合现实交互系统
Mariooryad et al. Facial expression recognition in the presence of speech using blind lexical compensation
CN108960191B (zh) 一种面向机器人的多模态融合情感计算方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant