CN111539376A - 一种基于视频图像的多模态情感识别系统及方法 - Google Patents

一种基于视频图像的多模态情感识别系统及方法 Download PDF

Info

Publication number
CN111539376A
CN111539376A CN202010389939.7A CN202010389939A CN111539376A CN 111539376 A CN111539376 A CN 111539376A CN 202010389939 A CN202010389939 A CN 202010389939A CN 111539376 A CN111539376 A CN 111539376A
Authority
CN
China
Prior art keywords
module
emotion
signal
person
signals
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010389939.7A
Other languages
English (en)
Inventor
范习健
杨绪兵
张严
蒋安纳
张礼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Forestry University
Original Assignee
Nanjing Forestry University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Forestry University filed Critical Nanjing Forestry University
Priority to CN202010389939.7A priority Critical patent/CN111539376A/zh
Publication of CN111539376A publication Critical patent/CN111539376A/zh
Priority to PCT/CN2021/076431 priority patent/WO2021227585A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment

Abstract

本发明公开了一种基于视频图像的多模态情感识别系统及方法，该系统包括人脸提取模块、生理信号感应模块、姿态信号采集模块、着装信号扫描模块、场景分析模块、情感时序编码模块，情感信息建模模块，情感空间映射模块。本发明还提供了一种基于视频图像的多模态情感识别方法。本发明的基于视频图像的多模态情感识别系统通过功能模块的设计，采用多模态情感特征提取，具有识别结构更加准确可靠的特点，适合推广应用。

Description

一种基于视频图像的多模态情感识别系统及方法
技术领域
本发明属于情感计算技术领域，涉及一种基于视频图像的多模态情感识别系统及方法。
背景技术
在较长一段时期内，情感一直位于认知科学研究者的视线以外。直到20世纪末期，情感作为认知过程重要组成部分的身份才得到了学术界的普遍认同。当代的认知科学家们把情感与知觉、学习、记忆、言语等经典认知过程相提并论，关于情感本身及情感与其他认知过程间相互作用的研究成为当代认知科学的研究热点，情感计算（ affectivecomputing ）也成为一个新兴研究领域。
众所周知，人随时随地都会有喜怒哀乐等情感的起伏变化。那么在人与计算机交互过程中，计算机是否能够体会人的喜怒哀乐，并见机行事呢。情感计算研究就是试图创建一种能感知、识别和理解人的情感，并能针对人的情感做出智能、灵敏、友好反应的计算系统，即赋予计算机像人一样的观察、理解和生成各种情感特征的能力。
目前情感计算研究面临的挑战还很多，例如，情感信息的获取与建模问题，情感识别与理解问题，情感表达问题，以及自然和谐的人性化和智能化的人机交互的实现问题。显然，为解决上述问题，我们需要知道人是如何感知环境的，人会产生什么样的情感和意图，人如何作出恰当的反应。而人类的情感交流是个非常复杂的过程，不仅受时间、地点、环境、人物对象和经历的影响，而且有表情、语言、动作或身体的接触。因此，在人和计算机的交互过程中，计算机需要捕捉关键信息，识别使用者的情感状态，觉察人的情感变化，利用有效的线索选择合适的使用者模型（依据使用者的操作方式、表情特点、态度喜好、认知风格、知识背景等构建的模型），并对使用者情感变化背后的意图形成预期，进而激活相应的数据库，及时主动地提供使用者需要的新信息。
现有技术中，有关于视频图像的情感识别技术有：发明名称：用于视频图像的情感识别系统及方法，申请号：201810026649.9 申请日：2018-01-11，该发明涉及情感计算领域，提出用于视频图像的情感识别系统，旨在解决由于图片之间信息的损失，造成情感识别的准确率低下的问题，系统包括：人脸提取模块，情感时序编码模块，情感信息建模模块，情感空间映射模块，人脸提取模块对视频图像进行分帧，从分帧后的图片中提取人脸图片，组成图片序列；情感时序编码模块利用3D卷积算法对图片序列的各人脸图片前后帧信息进行情感信息计算，生成情感的时序信息编码；情感信息建模模块接收时序信息编码，基于情感信息的长时动态特性，利用卷积长短时记忆模型确定时序信息的情感特征矩阵；情感空间映射模块接收情感特征矩阵，通过全连接映射到情感空间，输出情感识别结果。实现了对视频图像的情感识别。但是，该系统为单模态情感特征提取，其结果的精确性较低。
发明内容
本发明的目的在于提供一种基于视频图像的多模态情感识别系统及方法。
其具体技术方案为：
一种基于视频图像的多模态情感识别系统，包括人脸提取模块、生理信号感应模块、姿态信号采集模块、着装信号扫描模块、场景分析模块、情感时序编码模块，情感信息建模模块，情感空间映射模块；
所述生理信号感应模块用于感应人的生理信号；
所述姿态信号采集模块用于采集人的身体动作信号；
所述着装信号扫描模块用于扫描人身上的着装和配饰信号；
所述场景分析模块用于分析人所处的环境信号。
进一步，生理信号感应器感应的人的生理信号包括呼吸、体温、脉搏。
进一步，还包括语音信号采集模块用于采集人的声音信号。
一种基于视频图像的多模态情感识别方法，包括以下步骤：
步骤1、生理信号感应模块感应人的呼吸、体温、脉搏生理信号；
步骤2、所述姿态信号采集模块采集人的身体动作信号；
步骤3、所述着装信号扫描模块扫描人身上的着装和配饰信号；
步骤4、所述场景分析模块分析人所处的环境信号。
有益效果：
本发明的基于视频图像的多模态情感识别系统通过功能模块的设计，采用多模态情感特征提取，采用生理信号辅助视频进行判断，具有识别结果更加准确可靠的特点，适合推广应用。
附图说明
图1为本发明基于视频图像的多模态情感识别系统的原理图。
具体实施方式
下面结合附图和具体实施例对本发明的技术方案作进一步详细地说明。
参照图1，一种基于视频图像的多模态情感识别系统，包括人脸提取模块、生理信号感应模块、姿态信号采集模块、着装信号扫描模块、场景分析模块、情感时序编码模块，情感信息建模模块，情感空间映射模块；
所述生理信号感应模块用于感应人的生理信号；
所述姿态信号采集模块用于采集人的身体动作信号；
所述着装信号扫描模块用于扫描人身上的着装和配饰信号；
所述场景分析模块用于分析人所处的环境信号。
生理信号感应器感应的人的生理信号包括呼吸、体温、脉搏。
还包括语音信号采集模块用于采集人的声音信号。
本发明的基于视频图像的多模态情感识别系统在具体应用过程中，包括以下步骤：
步骤1、生理信号感应模块感应人的呼吸、体温、脉搏生理信号；
步骤2、所述姿态信号采集模块采集人的身体动作信号；
步骤3、所述着装信号扫描模块扫描人身上的着装和配饰信号；
步骤4、所述场景分析模块分析人所处的环境信号。
以上所述，仅为本发明较佳的具体实施方式，本发明的保护范围不限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可显而易见地得到的技术方案的简单变化或等效替换均落入本发明的保护范围内。

Claims (3)

1.一种基于视频图像的多模态情感识别系统，其特征在于，包括人脸提取模块、生理信号感应模块、姿态信号采集模块、着装信号扫描模块、场景分析模块、情感时序编码模块，情感信息建模模块，情感空间映射模块；
所述生理信号感应模块用于感应人的生理信号；
所述姿态信号采集模块用于采集人的身体动作信号；
所述着装信号扫描模块用于扫描人身上的着装和配饰信号；
所述场景分析模块用于分析人所处的环境信号。
2.根据权利要求1所述的基于视频图像的多模态情感识别系统，其特征在于，生理信号感应器感应的人的生理信号包括呼吸、体温、脉搏。
3.根据权利要求1所述的基于视频图像的多模态情感识别系统，其特征在于，还包括语音信号采集模块用于采集人的声音信号。
CN202010389939.7A 2020-05-11 2020-05-11 一种基于视频图像的多模态情感识别系统及方法 Pending CN111539376A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010389939.7A CN111539376A (zh) 2020-05-11 2020-05-11 一种基于视频图像的多模态情感识别系统及方法
PCT/CN2021/076431 WO2021227585A1 (zh) 2020-05-11 2021-02-10 一种基于视频图像的多模态情感识别系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010389939.7A CN111539376A (zh) 2020-05-11 2020-05-11 一种基于视频图像的多模态情感识别系统及方法

Publications (1)

Publication Number Publication Date
CN111539376A true CN111539376A (zh) 2020-08-14

Family

ID=71977835

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010389939.7A Pending CN111539376A (zh) 2020-05-11 2020-05-11 一种基于视频图像的多模态情感识别系统及方法

Country Status (2)

Country Link
CN (1) CN111539376A (zh)
WO (1) WO2021227585A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112423106A (zh) * 2020-11-06 2021-02-26 四川长虹电器股份有限公司 一种自动翻译伴音的方法及系统
CN112766173A (zh) * 2021-01-21 2021-05-07 福建天泉教育科技有限公司 一种基于ai深度学习的多模态情感分析方法及其系统
CN113361617A (zh) * 2021-06-15 2021-09-07 西南交通大学 基于多元注意力修正的方面级情感分析建模方法
WO2021227585A1 (zh) * 2020-05-11 2021-11-18 南京林业大学 一种基于视频图像的多模态情感识别系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106600289A (zh) * 2016-12-01 2017-04-26 合肥大多数信息科技有限公司 一种基于情感计算的智能坐席系统及其现实方法
CN107220591A (zh) * 2017-04-28 2017-09-29 哈尔滨工业大学深圳研究生院 多模态智能情绪感知系统
CN108376234A (zh) * 2018-01-11 2018-08-07 中国科学院自动化研究所 用于视频图像的情感识别系统及方法
CN109598578A (zh) * 2018-11-09 2019-04-09 深圳壹账通智能科技有限公司 业务对象数据的推送方法及装置、存储介质、计算机设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107137096A (zh) * 2017-06-22 2017-09-08 中国科学院心理研究所 一种多模态生理和行为数据融合采集系统
CN108805089B (zh) * 2018-06-14 2021-06-29 南京云思创智信息科技有限公司 基于多模态的情绪识别方法
CN111000572A (zh) * 2019-12-31 2020-04-14 南京煌和信息技术有限公司 一种智能工程师情绪监测系统
CN111539376A (zh) * 2020-05-11 2020-08-14 南京林业大学 一种基于视频图像的多模态情感识别系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106600289A (zh) * 2016-12-01 2017-04-26 合肥大多数信息科技有限公司 一种基于情感计算的智能坐席系统及其现实方法
CN107220591A (zh) * 2017-04-28 2017-09-29 哈尔滨工业大学深圳研究生院 多模态智能情绪感知系统
CN108376234A (zh) * 2018-01-11 2018-08-07 中国科学院自动化研究所 用于视频图像的情感识别系统及方法
CN109598578A (zh) * 2018-11-09 2019-04-09 深圳壹账通智能科技有限公司 业务对象数据的推送方法及装置、存储介质、计算机设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021227585A1 (zh) * 2020-05-11 2021-11-18 南京林业大学 一种基于视频图像的多模态情感识别系统及方法
CN112423106A (zh) * 2020-11-06 2021-02-26 四川长虹电器股份有限公司 一种自动翻译伴音的方法及系统
CN112766173A (zh) * 2021-01-21 2021-05-07 福建天泉教育科技有限公司 一种基于ai深度学习的多模态情感分析方法及其系统
CN112766173B (zh) * 2021-01-21 2023-08-04 福建天泉教育科技有限公司 一种基于ai深度学习的多模态情感分析方法及其系统
CN113361617A (zh) * 2021-06-15 2021-09-07 西南交通大学 基于多元注意力修正的方面级情感分析建模方法

Also Published As

Publication number Publication date
WO2021227585A1 (zh) 2021-11-18

Similar Documents

Publication Publication Date Title
CN111539376A (zh) 一种基于视频图像的多模态情感识别系统及方法
US11226673B2 (en) Affective interaction systems, devices, and methods based on affective computing user interface
Fan et al. Facial expression recognition with deeply-supervised attention network
US11263409B2 (en) System and apparatus for non-intrusive word and sentence level sign language translation
Chen et al. WristCam: A wearable sensor for hand trajectory gesture recognition and intelligent human–robot interaction
US20190188903A1 (en) Method and apparatus for providing virtual companion to a user
WO2016150001A1 (zh) 语音识别的方法、装置及计算机存储介质
Madhuri et al. Vision-based sign language translation device
CN107515900B (zh) 智能机器人及其事件备忘系统和方法
CN112016367A (zh) 一种情绪识别系统、方法及电子设备
Kour et al. Sign language recognition using image processing
CN110992783A (zh) 一种基于机器学习的手语翻译方法及翻译设备
Hu et al. Speech Emotion Recognition Model Based on Attention CNN Bi-GRU Fusing Visual Information.
CN110413106B (zh) 一种基于语音和手势的增强现实输入方法及系统
KR102569000B1 (ko) 감성 적응형 UI(User Interface)를 제공하는 방법 및 장치
CN112149599A (zh) 表情追踪方法、装置、存储介质和电子设备
CN112419808B (zh) 一种便携式多模态学习分析智能眼镜
CN112487951B (zh) 一种手语识别和翻译方法
CN112437226B (zh) 图像处理方法、设备及存储介质
CN113873297A (zh) 一种数字人物视频的生成方法及相关装置
CN111444791A (zh) 一种基于计算机视觉的手语翻译系统
CN112784631A (zh) 一种基于深度神经网络进行人脸情绪识别的方法
CN117828281B (zh) 一种基于跨模态超图的行为意图识别方法、系统及终端
CN117289804B (zh) 虚拟数字人面部表情管理方法、装置、电子设备及介质
CN211604463U (zh) 一种基于fpga的手语翻译器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination