CN107220591A - 多模态智能情绪感知系统 - Google Patents
多模态智能情绪感知系统 Download PDFInfo
- Publication number
- CN107220591A CN107220591A CN201710295623.XA CN201710295623A CN107220591A CN 107220591 A CN107220591 A CN 107220591A CN 201710295623 A CN201710295623 A CN 201710295623A CN 107220591 A CN107220591 A CN 107220591A
- Authority
- CN
- China
- Prior art keywords
- mood
- module
- feature
- voice
- emotion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/24—Speech recognition using non-acoustical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/178—Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition
Abstract
本发明提供了一种多模态智能情绪感知系统,包括采集模块、识别模块、融合模块,所述识别模块包括基于表情的情绪识别单元、基于语音的情绪识别单元、基于行为的情绪识别单元、以及基于生理信号的情绪识别单元,所述识别模块中的各情绪识别单元对多模态信息进行识别,从而获得情绪分量,所述情绪分量包含情绪类型和情绪强度,所述融合模块将所述识别模块的情绪分量进行融合实现人体情绪的准确感知。本发明的有益效果是:相较于现有技术,本发明可以更加准确地识别出情绪,有效检测出用户在表里不一的情况下的真实情绪。
Description
技术领域
本发明涉及情绪识别技术领域,尤其涉及一种多模态智能情绪感知系统。
背景技术
目前的技术如下:
1.基于视觉和语音的智能性别、情绪识别检测系统及方法,该系统包括,基于图像的情绪和性别识别模块,用以根据人脸图像进行车内人员的情绪识别,以及根据人脸进行车内人员的性别识别;基于语音的情绪和性别识别模块,用以根据人的语音进行车内人员的情绪识别,以及根据语音进行车内人员的性别识别;融合模块,用以将所述性别识别的结果进行匹配和情绪识别的结果进行融合,并发送到个性化智能语音交互系统;个性化智能语音交互系统,可进行语音交互。该发明通过融合图像和语音的识别结果,提升性别/情绪识别的精准度,通过个性化语音交互系统提升驾驶体验,提升驾驶安全性,通过语音交互,增加车载设备使用的乐趣和信息服务精准性。
2.一种用于智能机器人的情绪识别方法及系统,该系统包括:交互信息获取步骤,获取用户输入的多模态交互信息:交互信息解析步骤,对多模态交互信息进行解析,分别根据多模态交互信息确定出至少两种情绪信息,得到情绪信息集合;情绪识别步骤,根据情绪信息集合,确定出用户的当前情绪。相较于现有技术,本方法能够使得情绪识别结果更加准确可靠,这样也就可以避免在用户言行不一等情况下情绪识别结果错误的问题。
3.一种穿戴设备识别语义的方法与系统,该发明公开了一种穿戴设备识别语义的方法与系统。该方法通过获取用户发出的语音和发出语音时的生理数据参数;识别所述语音的文字,根据所述生理数据参数识别出用户情绪;通过所述文字和所述用户情绪识别出语义。本发明在识别语音语义过程中,将用户发出的语音与发出语音时用户的情绪相结合,能准确的识别语义,极大的提高了用户的体验。
目前最相近的已有技术方案是基于视觉和语音的智能性别、情绪识别检测系统及方法,该系统包括,基于图像的情绪和性别识别模块,用以根据人脸图像进行车内人员的情绪识别,以及根据人脸进行车内人员的性别识别;基于语音的情绪和性别识别模块,用以根据人的语音进行车内人员的情绪识别,以及根据语音进行车内人员的性别识别;融合模块,用以将所述性别识别的结果进行匹配和情绪识别的结果进行融合,并发送到个性化智能语音交互系统;个性化智能语音交互系统,可进行语音交互。该发明通过融合图像和语音的识别结果,提升性别/情绪识别的精准度,通过个性化语音交互系统提升驾驶体验,提升驾驶安全性,通过语音交互,增加车载设备使用的乐趣和信息服务精准性。(专利名称:基于视觉和语音的智能性别、情绪识别检测系统及方法)。
但是目前技术存在如在缺陷:
1.集成度差:现有的技术采集的信号比较单一,测量多种信号需要连接多种不同的设备。不能做到多种信息的同时采集,即不能够感知受试者当前情绪状态下的多种能够表征情绪的信息。
2.准确性低:依靠单模态的信号不能准确地识别出真实的情绪,会出现表里不一的情况。譬如,一个人的表情信息有可能会受到主观因素的影响,容易伪装,此时仅仅依靠面部表情信息来感知一个人的情绪状态,得到的结果往往是相悖的。事实上一个人的情绪状态会通过多种信号表征出来,融合多模态信息进行情绪感知所得结果才会更加客观、精确。而这也正是现有技术中所缺少的。
3.忽略了情绪强度的测量:现有的技术往往只注重于情绪类型的识别,而忽略了情绪强度的测量。在不同的情境下,同一种情绪类型的情绪强度会有不同。情绪的变化不仅仅是情绪类型的转换,也包括情绪强度的变化。忽略了情绪强度的测量将不能够对情绪的变化做到实时精确的感知。
4.忽略了人体行为对情绪感知的影响:现有技术多是利用主观判断、表情信息、语音信息等来识别情绪,而忽略了人体行为信息与情绪的映射关系。比如,当人体的上臂伸展程度较大时,可推断该人当前的情绪状态应为积极的。而当一个人的上臂摆动幅度比较大并且重心前移的时候,可推断该人当前的情绪状态是恐惧的。事实上不同的人体行为在一定程度上也表征着不同的情绪。
5.忽略了生理信号对情绪感知的影响:现有技术大都忽略了生理信号对情绪感知的影响。现有技术中的基于主观判断、面部表情以及语音信息的情绪识别简单直观,测量简单,但是其结果往往受主观因素影响,容易伪装,有时不能够真实地反应受试者当时的情绪状态。而生理信号的变化只受人的自主神经系统和内分泌系统支配,不受人的主观控制,因而采用生理信号进行情绪感知得到的结果更加客观,相对精确。
发明内容
本发明提供了一种多模态智能情绪感知系统,包括采集模块、识别模块、融合模块,所述采集模块将采集到的信息传输给所述识别模块,所述采集模块包括视频采集装置、语音采集装置、动作捕捉装置以及生理信号采集装置,所述识别模块包括基于表情的情绪识别单元、基于语音的情绪识别单元、基于行为的情绪识别单元、以及基于生理信号的情绪识别单元,所述识别模块中的各情绪识别单元对多模态信息进行识别,从而获得情绪分量,所述情绪分量包含情绪类型和情绪强度,所述融合模块将所述识别模块的情绪分量进行融合实现人体情绪的准确感知;
所述基于表情的情绪识别单元通过对采集到的视频或者图像,提取有效的动态表情特征或静态表情特征,训练出人脸表情与情绪的映射模型,在训练好的模型基础上,通过分类器对表情特征进行识别从而得到表情的情绪分量;
基于语音的情绪识别单元从实时采集的语音信号中提取能够表征情绪变化的特征参数,通过对表达情绪的有效参数的提取、分析,进而通过分类器进行情绪的判别,得到语音的情绪分量;
基于行为的情绪识别单元通过分析和提取与情绪相关的行为特征,将其量化为表征情绪的参数,得到人体动作与情绪的映射模型,在识别的过程中,通过对固定长度的运动序列进行动作识别,得到不同的行为特征的数值,将其放入映射模型中从而得到了行为的情绪分量;
基于生理信号的情绪识别单元用于对通过接触或非接触式方式采集的用户生理信号,滤除生理信号中的噪声后,利用经典模态分解和希尔伯特-黄变换算法提取心电、脉搏、肌电、皮肤电、脑电和呼吸信号的生理信号的特征,通过线性融合的方法对上述特征进行特征融合,并用信息增益率对特征进行选择,最后,通过分类器对特征进行识别得到基于生理信号的情绪分量。
作为本发明的进一步改进,所述基于表情的情绪识别单元包括:
表情特征提取模块,用于对采集到的视频或者图像进行预处理操作,从预处理后的图像或者视频中提取有效的表情特征;
训练映射模型模块,用于利用提取到的有效的表情特征训练出情绪模型;
分类器判别情绪模块,用于利用训练好的情绪模型,选取分类器进行情绪类型判别和情绪强度的计算,得到表情的情绪分量。
作为本发明的进一步改进,在表情特征提取模块中,对采集到的视频序列进行关键帧提取,在检测到视频序列的关键帧后,将单个表情的一段完整的视频序列分割出来,对分割后的视频片段进行预处理操作,对预处理后的视频序列提取动态特征或者静态特征,从而提取有效的表情特征;
在训练映射模型模块中,对提取到的动态特征或静态特征,采用特征降维方法进行特征降维去取特征间的相关性,并对降维后的特征用reliefF特征选择方法进行特征选择加权,使得加权后的综合特征更加具有区分能力。
作为本发明的进一步改进,在表情特征提取模块中,关键帧提取的特征是视频序列的三维空间梯度的幅值特征或是光流应变幅值。
作为本发明的进一步改进,在所述表情特征提取模块中,所述预处理操作包括对分割后的视频片段进行人脸检测、人眼定位、根据人眼进行配准、旋转至水平、剪切归一化人脸、直方图均衡化,所述预处理操作包括上述操作的一种或几种。
作为本发明的进一步改进,所述基于语音的情绪识别单元包括:
语音提取分析模块,对采集到的语音信号进行预处理,并从中提取能够表征情绪变化的特征参数;
分类器判断模块,针对表征情绪变化的特征参数,通过分类器进行情绪的判别,得到语音情绪分量;
在所述语音提取分析模块中,对采集到的语音信号进行采样、量化,使之变成数字信号,然后对语音信号进行分帧、加窗的预处理,对原始特征向量集合进行降维,得到简约向量集,降低网络模型的复杂性,降低训练时间;
在所述分类器判断模块中,采用分类器的分类识别算法进行分类识别,从而得到语音的情绪识别分量。
作为本发明的进一步改进,所述基于行为的情绪识别单元包括:
行为特征提取模块,提取动作捕捉数据中与情绪相关的行为特征,行为特征包括人体重心的倾向、人体各肢体与重心的相对位置、人体的动作及速率;
特征参数量化模块,将提取到的与情绪相关的行为特征进行量化,形成表征情绪的参数;
映射模型单元,建立人体动作与情绪的映射关系模型;
分类识别模块,利用分类器对当前的行为信息进行识别,并将其作为参数传入映射模型单元中得到行为的情绪分量。
作为本发明的进一步改进,所述基于生理信号的情绪识别单元包括:
生理信号去噪模块,通过小波变换和自适应滤波器去除采集到的生理信号中的噪声;
生理信号特征提取模块,采用经典模态分解和希尔伯特-黄变换算法提取生理信号中的特征;
特征融合及选择模块,采用线性融合的方法对提取到的信号特征进行特征融合,并利用信息增益率对特征进行选择;
分类器识别模块,将特征放入分类器中得到生理信号的情绪分量。
作为本发明的进一步改进,所述分类器包括支持向量机、K近邻、决策树、随机森林、隐马尔可夫、神经网络算法。
作为本发明的进一步改进,该多模态智能情绪感知系统还包括显示模块,所述显示模块对采集到的信息进行实时显示,并显示最终识别出来的情绪类型和情绪强度。
本发明的有益效果是:本发明所提供的多模态智能情绪感知系统不再像现有的情绪识别方法依靠主观判断或者单一模态进行情绪识别,本发明融合了表情、语音、行为以及生理信号等多模态进行情绪识别,实际使用时能够自由灵活组合,可以是基于单个生理特征的智能感知系统,也可以是基于多个模态生理特征的任意组合的智能感知系统,相较于现有技术,本发明可以更加准确地识别出情绪,有效检测出用户在表里不一的情况下的真实情绪。
附图说明
图1是本发明的原理框图。
图2是本发明的基于表情的情绪识别单元的原理框图。
图3是本发明的基于语音的情绪识别单元的原理框图。
图4是本发明的基于行为的情绪识别单元的原理框图。
图5是本发明的基于生理信号的情绪识别单元的原理框图。
具体实施方式
如图1所示,本发明公开了一种多模态智能情绪感知系统,包括采集模块、识别模块、融合模块,所述采集模块包括视频采集装置、图像采集装置、语音采集装置、动作捕捉装置以及生理信号采集装置,该采集模块可以为接触式采集,也可以为非接触式采集。所述识别模块包括基于表情的情绪识别单元、基于语音的情绪识别单元、基于行为的情绪识别单元、以及基于生理信号的情绪识别单元。通过识别模块可获得各个情绪识别单元的情绪分量,情绪分量包含了情绪类型和情绪强度。融合模块是将识别模块中各情绪识别单元的情绪分量进行融合实现人体情绪的准确感知。显示模块是将采集到的信息进行实时显示,并显示最终识别出来的情绪类型和情绪强度。
基于面部表情的情绪识别单元通过对采集到的视频或者图像,提取有效的动态表情特征或静态表情特征,训练出人脸表情与情绪的映射模型,在训练好的模型基础上,通过分类器对表情特征进行识别从而得到表情情绪分量。
基于语音的情绪识别单元采用声音采集装置实时采集语音信号,并从中提取能够表征情绪变化的特征参数,通过对表达情绪的有效参数的提取、分析,进而通过分类器进行情绪的判别,得到语音情绪分量。
基于行为的情绪识别单元通过分析和提取与情绪相关的行为特征,将其量化为表征情绪的参数,得到人体动作与情绪的映射模型。在识别的过程中,通过对固定长度的运动序列进行动作识别,得到不同的行为特征的数值,将其放入映射模型中从而得到了行为情绪分量。
基于生理信号的情绪识别单元通过接触或非接触式方式采集用户生理信号,滤除生理信号中的噪声后,利用经典模态分解和希尔伯特-黄变换算法提取心电、脉搏、肌电、皮肤电、脑电和呼吸信号等生理信号的特征。通过线性融合的方法对上述特征进行特征融合,并用信息增益率对特征进行选择。最后,通过分类器对特征进行识别得到基于生理信号情绪分量。
本发明所描述的多模态情绪智能感知系统在实际应用时可以是基于单个生理特征的智能感知系统,也可以是基于多个模态生理特征的任意组合的智能感知系统。
本发明可通过穿戴式获取用户的多模态信息,这些多模态信息包含:表情信息、语音信息、行为信息以及生理信息。其中,用户的表情信息可通过视频采集装置(如摄像头)获取,用户的语音信息可通过语音采集装置(如麦克风)获取,用户的行为信息可通过动作捕捉装置(如穿戴式动作捕捉装置,基于光影或视频技术的动作捕捉装置)获取,用户的生理信息可通过生理信号采集装置(如接触式智能手环,非接触式雷达等)采集。
当系统采集到上述多模态信息后,识别模块中的各情绪识别单元对相应的信息进行处理。
如图2所示,所述基于表情的情绪识别单元包括:
表情特征提取模块,用于对采集到的视频或者图像进行预处理操作,从预处理后的图像或者视频中提取有效的表情特征;
训练映射模型模块,用于利用提取到的有效的表情特征训练出情绪模型;
分类器判别情绪模块,用于利用训练好的情绪模型,选取分类器进行情绪类型判别和情绪强度的计算,得到表情的情绪分量。
在表情特征提取模块中,对采集到的视频序列进行关键帧提取,关键帧提取的特征可以是视频序列的三维空间梯度的幅值特征,亦或是光流应变幅值,当然,并不局限于这些。在检测到视频序列的关键帧后,则可以将单个表情的一段完整的视频序列分割出来。对分割后的视频片段可以进行人脸检测、人眼定位、根据人眼进行配准、旋转至水平、剪切归一化人脸、直方图均衡化等预处理操作。预处理操作可以是这些操作中的一种或几种,当然也可以是其他合理的预处理操作。对预处理后的视频序列提取动态特征或者静态特征,本实施例中,我们优选动态特征,并采用特征降维方法(例如PCA(主成分分析))进行特征降维去取特征间的相关性,并对降维后的特征优选公认较好的reliefF特征选择方法进行特征选择加权。使得加权后的综合特征更加具有区分能力。reliefF算法从训练集D中随机选择一个样本R,然后从和R同类的样本中寻找最近邻样本H,称为Near Hit,从和R不同类的样本中寻找最近邻样本M,称为NearMiss。它的更新每个特征权重的规则:如果R和Near Hit在某个特征上的距离小于R和Near Miss上的距离,则说明该特征对区分同类和不同类的最近邻是有益的,则增加该特征的权重;反之,说明该特征对区分同类和不同类的最近邻起负面作用,则降低该特征的权重。以上过程重复m次,最后得到各特征的平均权重。特征的权重越大,表示该特征的分类能力越强,反之,表示该特征分类能力越弱。最后是将提取到的综合特征放进分类器进行情绪的分类识别。以此得到基于面部表情的情绪识别分量。融入到最终的融合模块进行最终的情绪判定。
如图3所示,所述基于语音的情绪识别单元包括:
语音提取分析模块,对采集到的语音信号进行预处理,并从中提取能够表征情绪变化的特征参数;
分类器判断模块,针对表征情绪变化的特征参数,通过分类器进行情绪的判别,得到语音情绪分量;
对于语音信息,首先对原语音信号进行预处理操作。由于语音信号是连续信号,我们需要对它进行采样、量化,使之变成数字信号。根据采样定理,我们选定合适的采样频率进行采样使之离散化。之后选择合适的量化精度对采样后的离散信号进行量化。由于语音信号是随时间变化的非平稳信号,不能够用现有的数字信号处理技术进行直接研究。但研究表明语音信号是短时平稳信号,我们对语音信号进行分帧、加窗等预处理操作。特征提取中,采用样本熵及目前比较成熟的声学参数及其统计参数,进行特征融合应用于语音情绪识别。采用PCA贡献分析对原始特征向量集合进行降维,得到最简约向量集,降低网络模型的复杂性,降低训练时间。在最终的分类识别中可以采用人工神经网络、支持向量机、动态时间规整算法、隐马尔可夫模型等分类识别算法进行分类识别。以此得到语音的情绪识别分量。融入到最终的融合模块进行最终的情绪判定。
如图4所示,所述基于行为的情绪识别单元包括:
行为特征提取模块,提取动作捕捉数据中与情绪相关的行为特征,行为特征包括人体重心的倾向、人体各肢体与重心的相对位置、人体的动作及速率;
特征参数量化模块,将提取到的与情绪相关的行为特征进行量化,形成表征情绪的参数;
映射模型单元,建立人体动作与情绪的映射关系模型;
分类识别模块,利用分类器对当前的行为信息进行识别,并将其作为参数传入映射模型单元中得到行为的情绪分量。
具体为,对于行为信息,首先对行为信息进行分析提取出与情绪相关的行为特征,包括人体重心的倾向、人体各肢体与重心的相对位置、人体的动作及速率等。将这些特征量化形成可以表征情绪的参数,进而得到人体动作与情绪的映射关系。比如,当人体的上臂伸展程度较大时,可推断该人当前的情绪状态应为积极的。而当一个人的上臂摆动幅度比较大并且重心前移的时候,可推断该人当前的情绪状态时恐惧的。对于人体的不同动作,一个人在跳舞的时候,情绪一般为积极的状态。一个人在走路时,缓慢的行走在大多数情况下该人的情绪智能是开心或是悲伤,当该人快速地行走时,表明该人的情绪色彩很浓厚,所以可能是愤怒或是害怕,而当该人忽快忽慢地行走时,表明该人是受到了某件事情的刺激而变得喜悦,所以其情绪应该是惊喜。在建立动作与情绪之间的映射后,系统利用分类器对当前的行为信息进行识别,判断用户当前的人体重心的倾向程度,人体各肢体相对于人体重心的距离的远近,动作类型,动作的速率快慢等。并将其作为参数传入动作与情绪的关系模型中得到行为情绪分量。
如图5所示,所述基于生理信号的情绪识别单元包括:
生理信号去噪模块,通过小波变换和自适应滤波器去除采集到的生理信号中的噪声;
生理信号特征提取模块,采用经典模态分解和希尔伯特-黄变换算法提取生理信号中的特征;
特征融合及选择模块,采用线性融合的方法对提取到的信号特征进行特征融合,并利用信息增益率对特征进行选择;
分类器识别模块,将特征放入分类器中得到生理信号的情绪分量。
对于生理信息,首先通过小波变换和自适应滤波器去除生理信号中的噪声,采用经典模态分解和希尔伯特-黄变换算法提取生理信号中的特征。希尔伯特-黄算法利用尺度函数和信号自身的特点将信号进行分解和变换得到信号的瞬时幅值和瞬时频率信息,从而更加全面的提取生理信号的特征信息。为使特征集最优化,该系统不仅采用线性融合的方法将特征融合,还用信息增益率对特征进行选择。线性融合可以将多种类特征组合构成综合特征集用于情绪识别中,相较于单一种类特征集,综合特征集包含更全面的信号特征和信息;而基于信息增益率的特征选择方法则可以将无用的特征去除,不仅可以降低特征集的维数提高算法效率,还可以表面“特征冗余”对识别效果的影响。最后,将特征放入分类器中得到生理信号情绪分量。
在得到表情的情绪分量、语音的情绪分量、行为的情绪分量和生理信号的情绪分量后,该系统通过融合模块通过上述不同情绪分量的不同比重进行融合,从而得到最终的情绪类型以及情绪强度。情绪类型包括高兴、惊讶、愤怒、恶心、悲伤、恐惧和平静。
最后,通过无线智能终端或上位机系统,将上述采集信息、情绪类型以及情绪强度进行实时显示,并进行实时分析。
在本发明的采集模块中,采集方式包括:在面部表情采集当中,视频或图像采集装置我们可以采用普通的USB摄像头、3D摄像头等,也可用其他可用视频采集装置代替。行为采集方式中,可以通过穿戴式动作传感器采集,也可通过非接触式的摄像头等方式采集;生理信号采集方式中,可以通过穿戴式接触式设备采集,也可通过非接触式设备如UWB雷达等采集。
表情特征:在面部表情特征提取中,我们可以提取动态的表情特征和静态的表情特征,表情特征可以是纹理特征、几何特征、形状特征等,可以是其中一种特征或多种特征的融合特征,当然,本发明包括但不限于这些特征。
降维方法:常见的特征降维方法有PCA、LDA、KPCA、KFDA、ISOMap、LE、LLE、LPP等,本发明中所使用到的降维方法可以用这些但不限于这些的特征降维方法来替换。
特征选择有三种基本的方法:嵌入(embed)、封装(Wrapper)、过滤(Filter)。我们可以采用三种特征选择方法中的任意一种,当然也不局限于这些特征选择方法。
分类器包括支持向量机、K近邻、决策树、随机森林、隐马尔可夫、神经网络等算法,但不限于这些分类方法。
语音信息提取的特征包括MFCC、LPC、CEP、Mel等特征,但不限于这些特征。
行为特征还包括头部旋转的角度、膝关节角(大腿与小腿所成夹角)、肘关节角(前臂和上臂所成夹角)、躯干向前弯曲的角度,但不限于这些信号。
生理信号还包括皮温、眼电,但不限于这些信号。
本发明所提供的多模态智能情绪感知系统不再像现有的情绪识别方法依靠主观判断或者单一模态进行情绪识别,本发明融合了表情、语音、行为以及生理信号等多模态进行情绪识别,实际使用时能够自由灵活组合,可以是基于单个生理特征的智能感知系统,也可以是基于多个模态生理特征的任意组合的智能感知系统,相较于现有技术,本发明可以更加准确地识别出情绪,有效检测出用户在表里不一的情况下的真实情绪。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的保护范围。
Claims (10)
1.一种多模态智能情绪感知系统,其特征在于,包括采集模块、识别模块、融合模块,所述采集模块将采集到的信息传输给所述识别模块,所述采集模块包括视频采集装置、语音采集装置、动作捕捉装置以及生理信号采集装置,所述识别模块包括基于表情的情绪识别单元、基于语音的情绪识别单元、基于行为的情绪识别单元、以及基于生理信号的情绪识别单元,所述识别模块中的各情绪识别单元对多模态信息进行识别,从而获得情绪分量,所述情绪分量包含情绪类型和情绪强度,所述融合模块将所述识别模块的情绪分量进行融合实现人体情绪的准确感知;
所述基于表情的情绪识别单元通过对采集到的视频或者图像,提取有效的动态表情特征或静态表情特征,训练出人脸表情与情绪的映射模型,在训练好的模型基础上,通过分类器对表情特征进行识别从而得到表情的情绪分量;
基于语音的情绪识别单元从实时采集的语音信号中提取能够表征情绪变化的特征参数,通过对表达情绪的有效参数的提取、分析,进而通过分类器进行情绪的判别,得到语音的情绪分量;
基于行为的情绪识别单元通过分析和提取与情绪相关的行为特征,将其量化为表征情绪的参数,得到人体动作与情绪的映射模型,在识别的过程中,通过对固定长度的运动序列进行动作识别,得到不同的行为特征的数值,将其放入映射模型中从而得到了行为的情绪分量;
基于生理信号的情绪识别单元用于对通过接触或非接触式方式采集的用户生理信号,滤除生理信号中的噪声后,利用经典模态分解和希尔伯特-黄变换算法提取心电、脉搏、肌电、皮肤电、脑电和呼吸信号的生理信号的特征,通过线性融合的方法对上述特征进行特征融合,并用信息增益率对特征进行选择,最后,通过分类器对特征进行识别得到基于生理信号的情绪分量。
2.根据权利要求1所述的多模态智能情绪感知系统,其特征在于,所述基于表情的情绪识别单元包括:
表情特征提取模块,用于对采集到的视频或者图像进行预处理操作,从预处理后的图像或者视频中提取有效的表情特征;
训练映射模型模块,用于利用提取到的有效的表情特征训练出情绪模型;分类器判别情绪模块,用于利用训练好的情绪模型,选取分类器进行情绪类型判别和情绪强度的计算,得到表情的情绪分量。
3.根据权利要求2所述的多模态智能情绪感知系统,其特征在于,
在表情特征提取模块中,对采集到的视频序列进行关键帧提取,在检测到视频序列的关键帧后,将单个表情的一段完整的视频序列分割出来,对分割后的视频片段进行预处理操作,对预处理后的视频序列提取动态特征或者静态特征,从而提取有效的表情特征;
在训练映射模型模块中,对提取到的动态特征或静态特征,采用特征降维方法进行特征降维去取特征间的相关性,并对降维后的特征用reliefF特征选择方法进行特征选择加权,使得加权后的综合特征更加具有区分能力。
4.根据权利要求3所述的多模态智能情绪感知系统,其特征在于,在表情特征提取模块中,关键帧提取的特征是视频序列的三维空间梯度的幅值特征或是光流应变幅值。
5.根据权利要求3所述的多模态智能情绪感知系统,其特征在于,在所述表情特征提取模块中,所述预处理操作包括对分割后的视频片段进行人脸检测、人眼定位、根据人眼进行配准、旋转至水平、剪切归一化人脸、直方图均衡化,所述预处理操作包括上述操作的一种或几种。
6.根据权利要求1所述的多模态智能情绪感知系统,其特征在于,所述基于语音的情绪识别单元包括:
语音提取分析模块,对采集到的语音信号进行预处理,并从中提取能够表征情绪变化的特征参数;
分类器判断模块,针对表征情绪变化的特征参数,通过分类器进行情绪的判别,得到语音情绪分量;
在所述语音提取分析模块中,对采集到的语音信号进行采样、量化,使之变成数字信号,然后对语音信号进行分帧、加窗的预处理,对原始特征向量集合进行降维,得到简约向量集,降低网络模型的复杂性,降低训练时间;
在所述分类器判断模块中,采用分类器的分类识别算法进行分类识别,从而得到语音的情绪识别分量。
7.根据权利要求1所述的多模态智能情绪感知系统,其特征在于,所述基于行为的情绪识别单元包括:
行为特征提取模块,提取动作捕捉数据中与情绪相关的行为特征,行为特征包括人体重心的倾向、人体各肢体与重心的相对位置、人体的动作及速率;
特征参数量化模块,将提取到的与情绪相关的行为特征进行量化,形成表征情绪的参数;
映射模型单元,建立人体动作与情绪的映射关系模型;
分类识别模块,利用分类器对当前的行为信息进行识别,并将其作为参数传入映射模型单元中得到行为的情绪分量。
8.根据权利要求1所述的多模态智能情绪感知系统,其特征在于,所述基于生理信号的情绪识别单元包括:
生理信号去噪模块,通过小波变换和自适应滤波器去除采集到的生理信号中的噪声;
生理信号特征提取模块,采用经典模态分解和希尔伯特-黄变换算法提取生理信号中的特征;
特征融合及选择模块,采用线性融合的方法对提取到的信号特征进行特征融合,并利用信息增益率对特征进行选择;
分类器识别模块,将特征放入分类器中得到生理信号的情绪分量。
9.根据权利要求1至8任一项所述的多模态智能情绪感知系统,其特征在于,所述分类器包括支持向量机、K近邻、决策树、随机森林、隐马尔可夫、神经网络算法。
10.根据权利要求9所述的多模态智能情绪感知系统,其特征在于,该多模态智能情绪感知系统还包括显示模块,所述显示模块对采集到的信息进行实时显示,并显示最终识别出来的情绪类型和情绪强度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710295623.XA CN107220591A (zh) | 2017-04-28 | 2017-04-28 | 多模态智能情绪感知系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710295623.XA CN107220591A (zh) | 2017-04-28 | 2017-04-28 | 多模态智能情绪感知系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107220591A true CN107220591A (zh) | 2017-09-29 |
Family
ID=59943611
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710295623.XA Pending CN107220591A (zh) | 2017-04-28 | 2017-04-28 | 多模态智能情绪感知系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107220591A (zh) |
Cited By (110)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107798318A (zh) * | 2017-12-05 | 2018-03-13 | 四川文理学院 | 一种机器人识别面部快乐微表情的方法及其装置 |
CN107886953A (zh) * | 2017-11-27 | 2018-04-06 | 四川长虹电器股份有限公司 | 一种基于表情和语音识别的婴儿哭声翻译系统 |
CN107995370A (zh) * | 2017-12-21 | 2018-05-04 | 广东欧珀移动通信有限公司 | 通话控制方法、装置及存储介质和移动终端 |
CN108052889A (zh) * | 2017-12-08 | 2018-05-18 | 上海壹账通金融科技有限公司 | 情绪识别方法、装置及存储介质 |
CN108186033A (zh) * | 2018-01-08 | 2018-06-22 | 杭州草莽科技有限公司 | 一种基于人工智能的幼儿情绪监控方法及其系统 |
CN108200483A (zh) * | 2017-12-26 | 2018-06-22 | 中国科学院自动化研究所 | 动态多模态视频描述生成方法 |
CN108288034A (zh) * | 2018-01-11 | 2018-07-17 | 中国地质大学(武汉) | 一种游戏设计的质量评估方法及系统 |
CN108320735A (zh) * | 2018-01-23 | 2018-07-24 | 北京易智能科技有限公司 | 一种多数据融合的情感识别方法及系统 |
CN108399358A (zh) * | 2018-01-11 | 2018-08-14 | 中国地质大学(武汉) | 一种在视频聊天的表情显示方法及系统 |
CN108416542A (zh) * | 2018-05-11 | 2018-08-17 | 新华网股份有限公司 | 基于生理传感技术的体验度评估系统及方法和计算机可读存储介质 |
CN108596039A (zh) * | 2018-03-29 | 2018-09-28 | 南京邮电大学 | 一种基于3d卷积神经网络的双模态情感识别方法及系统 |
CN108764010A (zh) * | 2018-03-23 | 2018-11-06 | 姜涵予 | 情绪状态确定方法及装置 |
CN108805089A (zh) * | 2018-06-14 | 2018-11-13 | 南京云思创智信息科技有限公司 | 基于多模态的情绪识别方法 |
CN108805087A (zh) * | 2018-06-14 | 2018-11-13 | 南京云思创智信息科技有限公司 | 基于多模态情绪识别系统的时序语义融合关联判断子系统 |
CN108805088A (zh) * | 2018-06-14 | 2018-11-13 | 南京云思创智信息科技有限公司 | 基于多模态情绪识别系统的生理信号分析子系统 |
CN108877801A (zh) * | 2018-06-14 | 2018-11-23 | 南京云思创智信息科技有限公司 | 基于多模态情绪识别系统的多轮对话语义理解子系统 |
CN108899050A (zh) * | 2018-06-14 | 2018-11-27 | 南京云思创智信息科技有限公司 | 基于多模态情绪识别系统的语音信号分析子系统 |
CN108937973A (zh) * | 2018-06-15 | 2018-12-07 | 四川文理学院 | 一种机器人诊断人体愤怒情绪方法及装置 |
CN109104786A (zh) * | 2018-07-24 | 2018-12-28 | 广东金熙商业建设股份有限公司 | 一种智能化情景感知光源管理系统 |
CN109145890A (zh) * | 2018-11-19 | 2019-01-04 | 东南大学 | 一种基于单模态生理信号的驾驶员心理应激强度智能识别的模型 |
CN109191425A (zh) * | 2018-07-23 | 2019-01-11 | 中国科学院自动化研究所 | 医学影像分析方法 |
CN109376225A (zh) * | 2018-11-07 | 2019-02-22 | 广州市平道信息科技有限公司 | 聊天机器人装置及系统 |
CN109460737A (zh) * | 2018-11-13 | 2019-03-12 | 四川大学 | 一种基于增强式残差神经网络的多模态语音情感识别方法 |
CN109460752A (zh) * | 2019-01-10 | 2019-03-12 | 广东乐心医疗电子股份有限公司 | 一种情绪分析方法、装置、电子设备及存储介质 |
CN109498041A (zh) * | 2019-01-15 | 2019-03-22 | 吉林大学 | 基于脑电与脉搏信息的驾驶员路怒状态识别方法 |
CN109512441A (zh) * | 2018-12-29 | 2019-03-26 | 中山大学南方学院 | 基于多元信息的情绪识别方法及装置 |
CN109522945A (zh) * | 2018-10-31 | 2019-03-26 | 中国科学院深圳先进技术研究院 | 一种群体情感识别方法、装置、智能设备及存储介质 |
CN109584885A (zh) * | 2018-10-29 | 2019-04-05 | 李典 | 一种基于多模情感识别技术的音视频输出方法 |
CN109620262A (zh) * | 2018-12-12 | 2019-04-16 | 华南理工大学 | 一种基于可穿戴手环的情绪识别系统及方法 |
CN109656366A (zh) * | 2018-12-19 | 2019-04-19 | 电子科技大学中山学院 | 一种情感状态识别方法、装置、计算机设备及存储介质 |
CN109685149A (zh) * | 2018-12-28 | 2019-04-26 | 杭州翼兔网络科技有限公司 | 情绪精细划归模型构建及自动进行情绪精细获取的方法 |
CN109697472A (zh) * | 2018-12-28 | 2019-04-30 | 杭州翼兔网络科技有限公司 | 一种子情绪划归方法 |
CN109710055A (zh) * | 2017-12-15 | 2019-05-03 | 蔚来汽车有限公司 | 车载智能交互系统和车载交互终端的交互控制方法 |
CN109740531A (zh) * | 2018-12-29 | 2019-05-10 | 中山大学南方学院 | 监护设备及监护轮椅 |
CN109747657A (zh) * | 2018-12-17 | 2019-05-14 | 北京百度网讯科技有限公司 | 自动驾驶汽车远程控制方法和装置 |
CN109766759A (zh) * | 2018-12-12 | 2019-05-17 | 成都云天励飞技术有限公司 | 情绪识别方法及相关产品 |
CN109875579A (zh) * | 2019-02-28 | 2019-06-14 | 京东方科技集团股份有限公司 | 情绪健康管理系统和情绪健康管理方法 |
CN109903837A (zh) * | 2019-03-05 | 2019-06-18 | 浙江强脑科技有限公司 | 心理检测方法、装置及计算机可读存储介质 |
WO2019132772A1 (en) * | 2017-12-30 | 2019-07-04 | Kaha Pte. Ltd. | Method and system for monitoring emotions |
CN109993180A (zh) * | 2017-12-29 | 2019-07-09 | 新华网股份有限公司 | 人体生物电数据处理方法和装置、存储介质和处理器 |
CN110010225A (zh) * | 2019-02-22 | 2019-07-12 | 张玲 | 一种基于音视频的心理干预算法 |
WO2019137538A1 (en) * | 2018-01-12 | 2019-07-18 | Huawei Technologies Co., Ltd. | Emotion representative image to derive health rating |
CN110033029A (zh) * | 2019-03-22 | 2019-07-19 | 五邑大学 | 一种基于多模态情感模型的情感识别方法和装置 |
CN110101398A (zh) * | 2018-11-29 | 2019-08-09 | 华南理工大学 | 一种检测情绪的方法和系统 |
CN110147822A (zh) * | 2019-04-16 | 2019-08-20 | 北京师范大学 | 一种基于人脸动作单元检测的情绪指数计算方法 |
CN110147729A (zh) * | 2019-04-16 | 2019-08-20 | 深圳壹账通智能科技有限公司 | 用户情绪识别方法、装置、计算机设备及存储介质 |
CN110215218A (zh) * | 2019-06-11 | 2019-09-10 | 北京大学深圳医院 | 一种基于大数据情绪鉴定模型的智慧穿戴设备及其情绪鉴定方法 |
CN110309791A (zh) * | 2019-07-04 | 2019-10-08 | 东北大学 | 一种峰值时空表情识别的方法 |
CN110363074A (zh) * | 2019-06-03 | 2019-10-22 | 华南理工大学 | 一种针对复杂抽象化事物的类人化识别交互方法 |
CN110378428A (zh) * | 2019-07-23 | 2019-10-25 | 上海思依暄机器人科技股份有限公司 | 一种家用机器人及其情绪识别方法和装置 |
CN110390311A (zh) * | 2019-07-27 | 2019-10-29 | 苏州过来人科技有限公司 | 一种基于注意力和子任务预训练的视频分析算法 |
CN110399793A (zh) * | 2019-06-19 | 2019-11-01 | 深圳壹账通智能科技有限公司 | 基于图像识别的驾驶行为预警方法、装置和计算机设备 |
CN110464366A (zh) * | 2019-07-01 | 2019-11-19 | 华南师范大学 | 一种情绪识别方法、系统及存储介质 |
CN110464345A (zh) * | 2019-08-22 | 2019-11-19 | 北京航空航天大学 | 一种独立头部生物电源信号干扰剔除方法及系统 |
CN110516593A (zh) * | 2019-08-27 | 2019-11-29 | 京东方科技集团股份有限公司 | 一种情绪预测装置、情绪预测方法及显示装置 |
CN110507335A (zh) * | 2019-08-23 | 2019-11-29 | 山东大学 | 基于多模态信息的服刑人员心理健康状态评估方法及系统 |
CN110555346A (zh) * | 2018-06-01 | 2019-12-10 | 杭州海康威视数字技术股份有限公司 | 驾驶员情绪检测方法、装置、电子设备及存储介质 |
CN110598607A (zh) * | 2019-09-02 | 2019-12-20 | 中国航天员科研训练中心 | 非接触式与接触式协同的实时情绪智能监测系统 |
CN110693508A (zh) * | 2019-09-02 | 2020-01-17 | 中国航天员科研训练中心 | 多通道协同的心理生理主动感知方法及服务机器人 |
CN110705584A (zh) * | 2019-08-21 | 2020-01-17 | 深圳壹账通智能科技有限公司 | 情绪识别方法、装置、计算机装置及存储介质 |
CN110717542A (zh) * | 2019-10-12 | 2020-01-21 | 广东电网有限责任公司 | 一种情绪识别方法、装置和设备 |
CN110781719A (zh) * | 2019-09-02 | 2020-02-11 | 中国航天员科研训练中心 | 非接触式与接触式协同的心理状态智能监测系统 |
CN110807471A (zh) * | 2019-10-12 | 2020-02-18 | 深圳大学 | 一种多模态传感器的行为识别系统及识别方法 |
CN110826358A (zh) * | 2018-08-08 | 2020-02-21 | 杭州海康威视数字技术股份有限公司 | 动物情绪的识别方法、装置及存储介质 |
CN110865705A (zh) * | 2019-10-24 | 2020-03-06 | 中国人民解放军军事科学院国防科技创新研究院 | 多模态融合的通讯方法、装置、头戴设备及存储介质 |
CN110900617A (zh) * | 2018-09-14 | 2020-03-24 | Lg电子株式会社 | 机器人及其操作方法 |
CN110930545A (zh) * | 2018-08-31 | 2020-03-27 | 中兴通讯股份有限公司 | 一种智能门锁控制方法、控制装置、控制设备及存储介质 |
CN110991427A (zh) * | 2019-12-25 | 2020-04-10 | 北京百度网讯科技有限公司 | 用于视频的情绪识别方法、装置和计算机设备 |
CN111079465A (zh) * | 2018-10-18 | 2020-04-28 | 北京入思技术有限公司 | 一种基于三维成像分析的情绪状态综合判定方法 |
CN111222464A (zh) * | 2020-01-07 | 2020-06-02 | 中国医学科学院生物医学工程研究所 | 情感分析方法以及系统 |
CN111222044A (zh) * | 2019-12-31 | 2020-06-02 | 深圳Tcl数字技术有限公司 | 基于情绪感知的信息推荐方法、设备及存储介质 |
CN111262637A (zh) * | 2020-01-15 | 2020-06-09 | 湖南工商大学 | 一种基于Wi-Fi信道状态信息CSI的人体行为识别方法 |
CN111312210A (zh) * | 2020-03-05 | 2020-06-19 | 云知声智能科技股份有限公司 | 一种融合图文的语音合成方法及装置 |
CN111310798A (zh) * | 2020-01-19 | 2020-06-19 | 浙江大学 | 基于几何特征和纹理特征的脸部运动迟缓的检测模型的构建方法 |
CN111368609A (zh) * | 2018-12-26 | 2020-07-03 | 深圳Tcl新技术有限公司 | 基于情绪引擎技术的语音交互方法、智能终端及存储介质 |
CN111368649A (zh) * | 2020-02-17 | 2020-07-03 | 杭州电子科技大学 | 一种运行于树莓派的情绪感知方法 |
CN111401198A (zh) * | 2020-03-10 | 2020-07-10 | 广东九联科技股份有限公司 | 观众情绪识别方法、装置及系统 |
CN111419250A (zh) * | 2020-04-08 | 2020-07-17 | 恒爱高科(北京)科技有限公司 | 一种基于脉搏波的情绪识别方法 |
CN111447124A (zh) * | 2020-04-02 | 2020-07-24 | 张瑞华 | 基于生物特征识别的智能家居控制方法及智能控制设备 |
CN111476217A (zh) * | 2020-05-27 | 2020-07-31 | 上海乂学教育科技有限公司 | 基于情绪识别的智能学习系统和方法 |
CN111539376A (zh) * | 2020-05-11 | 2020-08-14 | 南京林业大学 | 一种基于视频图像的多模态情感识别系统及方法 |
CN111920420A (zh) * | 2020-07-28 | 2020-11-13 | 复旦大学 | 一种基于统计学习的患者行为多模态分析与预测系统 |
CN111967361A (zh) * | 2020-08-07 | 2020-11-20 | 盐城工学院 | 一种基于婴儿表情识别与哭声的情绪检测方法 |
CN112016367A (zh) * | 2019-05-31 | 2020-12-01 | 沈阳新松机器人自动化股份有限公司 | 一种情绪识别系统、方法及电子设备 |
CN112043252A (zh) * | 2020-10-10 | 2020-12-08 | 山东大学 | 基于脉搏信号中呼吸成分的情绪识别系统及方法 |
CN112069897A (zh) * | 2020-08-04 | 2020-12-11 | 华南理工大学 | 基于知识图谱的语音和微表情识别自杀情绪感知方法 |
CN112618911A (zh) * | 2020-12-31 | 2021-04-09 | 四川音乐学院 | 基于信号处理的音乐反馈调节系统 |
CN112699785A (zh) * | 2020-12-29 | 2021-04-23 | 中国民用航空飞行学院 | 基于维度情感模型的群体情感识别与异常情感检测方法 |
CN113128399A (zh) * | 2021-04-19 | 2021-07-16 | 重庆大学 | 一种用于情感识别的语音图像关键帧提取方法 |
CN113128284A (zh) * | 2019-12-31 | 2021-07-16 | 上海汽车集团股份有限公司 | 一种多模态情感识别方法和装置 |
CN113143270A (zh) * | 2020-12-02 | 2021-07-23 | 长春理工大学 | 一种基于生物雷达和语音信息的双模态融合情绪识别方法 |
US11087091B2 (en) | 2018-12-27 | 2021-08-10 | Wipro Limited | Method and system for providing contextual responses to user interaction |
CN113408503A (zh) * | 2021-08-19 | 2021-09-17 | 明品云(北京)数据科技有限公司 | 一种情绪识别方法、装置、计算机可读存储介质及设备 |
CN113421630A (zh) * | 2021-06-02 | 2021-09-21 | 沃民高新科技(北京)股份有限公司 | 身心健康智能管理方法和系统 |
CN113808623A (zh) * | 2021-09-18 | 2021-12-17 | 武汉轻工大学 | 一种可以供盲人使用的情绪识别眼镜 |
CN113887365A (zh) * | 2021-09-26 | 2022-01-04 | 山东大学 | 一种基于多模态数据融合的特殊人员情感识别方法及系统 |
CN114170585A (zh) * | 2021-11-16 | 2022-03-11 | 广西中科曙光云计算有限公司 | 危险驾驶行为的识别方法、装置、电子设备及存储介质 |
CN114391846A (zh) * | 2022-01-21 | 2022-04-26 | 中山大学 | 一种基于过滤式特征选择的情绪识别方法及系统 |
CN114533063A (zh) * | 2022-02-23 | 2022-05-27 | 金华高等研究院(金华理工学院筹建工作领导小组办公室) | 一种多源监测结合的情感计算系统及方法 |
CN114844692A (zh) * | 2022-04-22 | 2022-08-02 | 湖北工业大学 | 一种基于网络安全的智能信息交互用控制方法 |
CN115035438A (zh) * | 2022-05-27 | 2022-09-09 | 中国科学院半导体研究所 | 情绪分析方法、装置及电子设备 |
CN115271002A (zh) * | 2022-09-29 | 2022-11-01 | 广东机电职业技术学院 | 识别方法、急救决策方法、介质及生命健康智能监护系统 |
CN115376695A (zh) * | 2022-10-25 | 2022-11-22 | 安徽星辰智跃科技有限责任公司 | 基于扩展现实的神经心理评估及干预的方法、系统和装置 |
CN115439920A (zh) * | 2022-11-03 | 2022-12-06 | 之江实验室 | 基于情绪视听刺激和面部表情的意识状态检测系统、设备 |
CN115431288A (zh) * | 2022-11-10 | 2022-12-06 | 深圳市神州云海智能科技有限公司 | 基于多元融合信息进行情感反馈及信息交互的导诊机器人 |
CN115813389A (zh) * | 2022-12-02 | 2023-03-21 | 复旦大学 | 基于皮肤电信号分析的孕妇分娩恐惧检测方法和系统 |
CN115840890A (zh) * | 2023-02-24 | 2023-03-24 | 北京科技大学 | 一种基于非接触生理信号的情绪识别方法及装置 |
CN116127366A (zh) * | 2023-04-17 | 2023-05-16 | 深圳市齐奥通信技术有限公司 | 一种基于tws耳机的情绪识别方法、系统及介质 |
CN116935480A (zh) * | 2023-09-18 | 2023-10-24 | 四川天地宏华导航设备有限公司 | 一种情绪识别方法及装置 |
CN114844692B (zh) * | 2022-04-22 | 2024-05-03 | 湖北工业大学 | 一种基于网络安全的智能信息交互用控制方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101271589A (zh) * | 2007-03-22 | 2008-09-24 | 中国科学院计算技术研究所 | 一种三维人体模型关节中心提取方法 |
CN102968643A (zh) * | 2012-11-16 | 2013-03-13 | 华中科技大学 | 一种基于李群论的多模态情感识别方法 |
CN103020598A (zh) * | 2012-12-11 | 2013-04-03 | 杭州电子科技大学 | 一种用于对人完成特定动作时的姿态变异进行识别的方法 |
CN104573030A (zh) * | 2015-01-14 | 2015-04-29 | 哈尔滨工业大学深圳研究生院 | 一种文本情绪预测方法及装置 |
CN104835507A (zh) * | 2015-03-30 | 2015-08-12 | 渤海大学 | 一种串并结合的多模式情感信息融合与识别方法 |
US20160171292A1 (en) * | 2011-02-10 | 2016-06-16 | Sony Corporation | Information processing device, information processing method, and program for recognizing facial expression and permitting use of equipment based on the recognized facial emotion expression |
CN105739688A (zh) * | 2016-01-21 | 2016-07-06 | 北京光年无限科技有限公司 | 一种基于情感体系的人机交互方法、装置和交互系统 |
US20160217319A1 (en) * | 2012-10-01 | 2016-07-28 | The Regents Of The University Of California | Unified face representation for individual recognition in surveillance videos and vehicle logo super-resolution system |
CN105976809A (zh) * | 2016-05-25 | 2016-09-28 | 中国地质大学(武汉) | 基于语音和面部表情的双模态情感融合的识别方法及系统 |
-
2017
- 2017-04-28 CN CN201710295623.XA patent/CN107220591A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101271589A (zh) * | 2007-03-22 | 2008-09-24 | 中国科学院计算技术研究所 | 一种三维人体模型关节中心提取方法 |
US20160171292A1 (en) * | 2011-02-10 | 2016-06-16 | Sony Corporation | Information processing device, information processing method, and program for recognizing facial expression and permitting use of equipment based on the recognized facial emotion expression |
US20160217319A1 (en) * | 2012-10-01 | 2016-07-28 | The Regents Of The University Of California | Unified face representation for individual recognition in surveillance videos and vehicle logo super-resolution system |
CN102968643A (zh) * | 2012-11-16 | 2013-03-13 | 华中科技大学 | 一种基于李群论的多模态情感识别方法 |
CN103020598A (zh) * | 2012-12-11 | 2013-04-03 | 杭州电子科技大学 | 一种用于对人完成特定动作时的姿态变异进行识别的方法 |
CN104573030A (zh) * | 2015-01-14 | 2015-04-29 | 哈尔滨工业大学深圳研究生院 | 一种文本情绪预测方法及装置 |
CN104835507A (zh) * | 2015-03-30 | 2015-08-12 | 渤海大学 | 一种串并结合的多模式情感信息融合与识别方法 |
CN105739688A (zh) * | 2016-01-21 | 2016-07-06 | 北京光年无限科技有限公司 | 一种基于情感体系的人机交互方法、装置和交互系统 |
CN105976809A (zh) * | 2016-05-25 | 2016-09-28 | 中国地质大学(武汉) | 基于语音和面部表情的双模态情感融合的识别方法及系统 |
Non-Patent Citations (6)
Title |
---|
WU D等: "acoustic feature analysis in speech emotion primitive estimation", 《INTERSPEECH》 * |
刘艳等: "基于动作识别的情绪提取方法研究", 《计算机工程》 * |
周红标: "融合语音和脉搏的多模态情感识别研究", 《微电子学与计算机》 * |
张培林著: "《机械故障信号的量子计算分析及智能诊断》", 31 December 2015 * |
曾向阳著: "《智能水中目标识别》", 31 March 2016 * |
王海宁: "《基于多通道生理信号的情绪识别技术研究》", 31 December 2016 * |
Cited By (154)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107886953A (zh) * | 2017-11-27 | 2018-04-06 | 四川长虹电器股份有限公司 | 一种基于表情和语音识别的婴儿哭声翻译系统 |
CN107798318A (zh) * | 2017-12-05 | 2018-03-13 | 四川文理学院 | 一种机器人识别面部快乐微表情的方法及其装置 |
CN108052889B (zh) * | 2017-12-08 | 2020-07-24 | 深圳壹账通智能科技有限公司 | 情绪识别方法、装置及存储介质 |
CN108052889A (zh) * | 2017-12-08 | 2018-05-18 | 上海壹账通金融科技有限公司 | 情绪识别方法、装置及存储介质 |
CN109710055A (zh) * | 2017-12-15 | 2019-05-03 | 蔚来汽车有限公司 | 车载智能交互系统和车载交互终端的交互控制方法 |
CN107995370A (zh) * | 2017-12-21 | 2018-05-04 | 广东欧珀移动通信有限公司 | 通话控制方法、装置及存储介质和移动终端 |
CN108200483A (zh) * | 2017-12-26 | 2018-06-22 | 中国科学院自动化研究所 | 动态多模态视频描述生成方法 |
CN108200483B (zh) * | 2017-12-26 | 2020-02-28 | 中国科学院自动化研究所 | 动态多模态视频描述生成方法 |
CN109993180A (zh) * | 2017-12-29 | 2019-07-09 | 新华网股份有限公司 | 人体生物电数据处理方法和装置、存储介质和处理器 |
WO2019132772A1 (en) * | 2017-12-30 | 2019-07-04 | Kaha Pte. Ltd. | Method and system for monitoring emotions |
CN108186033A (zh) * | 2018-01-08 | 2018-06-22 | 杭州草莽科技有限公司 | 一种基于人工智能的幼儿情绪监控方法及其系统 |
CN108186033B (zh) * | 2018-01-08 | 2021-06-25 | 杭州不亦乐乎健康管理有限公司 | 一种基于人工智能的幼儿情绪监控方法及其系统 |
CN108399358A (zh) * | 2018-01-11 | 2018-08-14 | 中国地质大学(武汉) | 一种在视频聊天的表情显示方法及系统 |
CN108288034A (zh) * | 2018-01-11 | 2018-07-17 | 中国地质大学(武汉) | 一种游戏设计的质量评估方法及系统 |
CN108399358B (zh) * | 2018-01-11 | 2021-11-05 | 中国地质大学(武汉) | 一种在视频聊天的表情显示方法及系统 |
US10610109B2 (en) | 2018-01-12 | 2020-04-07 | Futurewei Technologies, Inc. | Emotion representative image to derive health rating |
WO2019137538A1 (en) * | 2018-01-12 | 2019-07-18 | Huawei Technologies Co., Ltd. | Emotion representative image to derive health rating |
CN108320735A (zh) * | 2018-01-23 | 2018-07-24 | 北京易智能科技有限公司 | 一种多数据融合的情感识别方法及系统 |
CN108764010A (zh) * | 2018-03-23 | 2018-11-06 | 姜涵予 | 情绪状态确定方法及装置 |
CN108596039A (zh) * | 2018-03-29 | 2018-09-28 | 南京邮电大学 | 一种基于3d卷积神经网络的双模态情感识别方法及系统 |
CN108596039B (zh) * | 2018-03-29 | 2020-05-05 | 南京邮电大学 | 一种基于3d卷积神经网络的双模态情感识别方法及系统 |
CN108416542A (zh) * | 2018-05-11 | 2018-08-17 | 新华网股份有限公司 | 基于生理传感技术的体验度评估系统及方法和计算机可读存储介质 |
CN110555346A (zh) * | 2018-06-01 | 2019-12-10 | 杭州海康威视数字技术股份有限公司 | 驾驶员情绪检测方法、装置、电子设备及存储介质 |
CN108805089A (zh) * | 2018-06-14 | 2018-11-13 | 南京云思创智信息科技有限公司 | 基于多模态的情绪识别方法 |
CN108877801B (zh) * | 2018-06-14 | 2020-10-02 | 南京云思创智信息科技有限公司 | 基于多模态情绪识别系统的多轮对话语义理解子系统 |
CN108805087A (zh) * | 2018-06-14 | 2018-11-13 | 南京云思创智信息科技有限公司 | 基于多模态情绪识别系统的时序语义融合关联判断子系统 |
CN108805088B (zh) * | 2018-06-14 | 2021-05-28 | 南京云思创智信息科技有限公司 | 基于多模态情绪识别系统的生理信号分析子系统 |
CN108805087B (zh) * | 2018-06-14 | 2021-06-15 | 南京云思创智信息科技有限公司 | 基于多模态情绪识别系统的时序语义融合关联判断子系统 |
CN108805089B (zh) * | 2018-06-14 | 2021-06-29 | 南京云思创智信息科技有限公司 | 基于多模态的情绪识别方法 |
CN108899050A (zh) * | 2018-06-14 | 2018-11-27 | 南京云思创智信息科技有限公司 | 基于多模态情绪识别系统的语音信号分析子系统 |
CN108877801A (zh) * | 2018-06-14 | 2018-11-23 | 南京云思创智信息科技有限公司 | 基于多模态情绪识别系统的多轮对话语义理解子系统 |
CN108805088A (zh) * | 2018-06-14 | 2018-11-13 | 南京云思创智信息科技有限公司 | 基于多模态情绪识别系统的生理信号分析子系统 |
CN108937973A (zh) * | 2018-06-15 | 2018-12-07 | 四川文理学院 | 一种机器人诊断人体愤怒情绪方法及装置 |
CN109191425B (zh) * | 2018-07-23 | 2022-02-11 | 中国科学院自动化研究所 | 基于多层神经网络模型医学影像分析方法 |
CN109191425A (zh) * | 2018-07-23 | 2019-01-11 | 中国科学院自动化研究所 | 医学影像分析方法 |
CN109104786A (zh) * | 2018-07-24 | 2018-12-28 | 广东金熙商业建设股份有限公司 | 一种智能化情景感知光源管理系统 |
CN110826358A (zh) * | 2018-08-08 | 2020-02-21 | 杭州海康威视数字技术股份有限公司 | 动物情绪的识别方法、装置及存储介质 |
CN110826358B (zh) * | 2018-08-08 | 2022-12-06 | 杭州海康威视数字技术股份有限公司 | 动物情绪的识别方法、装置及存储介质 |
CN110930545A (zh) * | 2018-08-31 | 2020-03-27 | 中兴通讯股份有限公司 | 一种智能门锁控制方法、控制装置、控制设备及存储介质 |
CN110900617A (zh) * | 2018-09-14 | 2020-03-24 | Lg电子株式会社 | 机器人及其操作方法 |
CN111079465A (zh) * | 2018-10-18 | 2020-04-28 | 北京入思技术有限公司 | 一种基于三维成像分析的情绪状态综合判定方法 |
CN109584885A (zh) * | 2018-10-29 | 2019-04-05 | 李典 | 一种基于多模情感识别技术的音视频输出方法 |
CN109522945A (zh) * | 2018-10-31 | 2019-03-26 | 中国科学院深圳先进技术研究院 | 一种群体情感识别方法、装置、智能设备及存储介质 |
CN109376225A (zh) * | 2018-11-07 | 2019-02-22 | 广州市平道信息科技有限公司 | 聊天机器人装置及系统 |
CN109460737A (zh) * | 2018-11-13 | 2019-03-12 | 四川大学 | 一种基于增强式残差神经网络的多模态语音情感识别方法 |
CN109145890A (zh) * | 2018-11-19 | 2019-01-04 | 东南大学 | 一种基于单模态生理信号的驾驶员心理应激强度智能识别的模型 |
CN110101398A (zh) * | 2018-11-29 | 2019-08-09 | 华南理工大学 | 一种检测情绪的方法和系统 |
CN109766759A (zh) * | 2018-12-12 | 2019-05-17 | 成都云天励飞技术有限公司 | 情绪识别方法及相关产品 |
CN109620262A (zh) * | 2018-12-12 | 2019-04-16 | 华南理工大学 | 一种基于可穿戴手环的情绪识别系统及方法 |
CN109747657A (zh) * | 2018-12-17 | 2019-05-14 | 北京百度网讯科技有限公司 | 自动驾驶汽车远程控制方法和装置 |
US11619936B2 (en) | 2018-12-17 | 2023-04-04 | Apollo Intelligent Driving Technology (Beijing) Co., Ltd. | Method and apparatus for remotely controlling self-driving vehicle |
CN109656366A (zh) * | 2018-12-19 | 2019-04-19 | 电子科技大学中山学院 | 一种情感状态识别方法、装置、计算机设备及存储介质 |
CN111368609B (zh) * | 2018-12-26 | 2023-10-17 | 深圳Tcl新技术有限公司 | 基于情绪引擎技术的语音交互方法、智能终端及存储介质 |
CN111368609A (zh) * | 2018-12-26 | 2020-07-03 | 深圳Tcl新技术有限公司 | 基于情绪引擎技术的语音交互方法、智能终端及存储介质 |
US11087091B2 (en) | 2018-12-27 | 2021-08-10 | Wipro Limited | Method and system for providing contextual responses to user interaction |
CN109685149A (zh) * | 2018-12-28 | 2019-04-26 | 杭州翼兔网络科技有限公司 | 情绪精细划归模型构建及自动进行情绪精细获取的方法 |
CN109697472B (zh) * | 2018-12-28 | 2021-05-04 | 泰州市津达电子科技有限公司 | 一种子情绪划归方法 |
CN109697472A (zh) * | 2018-12-28 | 2019-04-30 | 杭州翼兔网络科技有限公司 | 一种子情绪划归方法 |
CN109740531A (zh) * | 2018-12-29 | 2019-05-10 | 中山大学南方学院 | 监护设备及监护轮椅 |
CN109740531B (zh) * | 2018-12-29 | 2022-12-30 | 中山大学南方学院 | 监护设备及监护轮椅 |
CN109512441A (zh) * | 2018-12-29 | 2019-03-26 | 中山大学南方学院 | 基于多元信息的情绪识别方法及装置 |
CN109460752B (zh) * | 2019-01-10 | 2020-10-16 | 广东乐心医疗电子股份有限公司 | 一种情绪分析方法、装置、电子设备及存储介质 |
CN109460752A (zh) * | 2019-01-10 | 2019-03-12 | 广东乐心医疗电子股份有限公司 | 一种情绪分析方法、装置、电子设备及存储介质 |
CN109498041A (zh) * | 2019-01-15 | 2019-03-22 | 吉林大学 | 基于脑电与脉搏信息的驾驶员路怒状态识别方法 |
CN109498041B (zh) * | 2019-01-15 | 2021-04-16 | 吉林大学 | 基于脑电与脉搏信息的驾驶员路怒状态识别方法 |
CN110010225A (zh) * | 2019-02-22 | 2019-07-12 | 张玲 | 一种基于音视频的心理干预算法 |
CN109875579A (zh) * | 2019-02-28 | 2019-06-14 | 京东方科技集团股份有限公司 | 情绪健康管理系统和情绪健康管理方法 |
CN109903837A (zh) * | 2019-03-05 | 2019-06-18 | 浙江强脑科技有限公司 | 心理检测方法、装置及计算机可读存储介质 |
CN110033029A (zh) * | 2019-03-22 | 2019-07-19 | 五邑大学 | 一种基于多模态情感模型的情感识别方法和装置 |
CN110147729A (zh) * | 2019-04-16 | 2019-08-20 | 深圳壹账通智能科技有限公司 | 用户情绪识别方法、装置、计算机设备及存储介质 |
CN110147822B (zh) * | 2019-04-16 | 2021-04-02 | 北京师范大学 | 一种基于人脸动作单元检测的情绪指数计算方法 |
CN110147822A (zh) * | 2019-04-16 | 2019-08-20 | 北京师范大学 | 一种基于人脸动作单元检测的情绪指数计算方法 |
CN112016367A (zh) * | 2019-05-31 | 2020-12-01 | 沈阳新松机器人自动化股份有限公司 | 一种情绪识别系统、方法及电子设备 |
CN110363074A (zh) * | 2019-06-03 | 2019-10-22 | 华南理工大学 | 一种针对复杂抽象化事物的类人化识别交互方法 |
CN110215218A (zh) * | 2019-06-11 | 2019-09-10 | 北京大学深圳医院 | 一种基于大数据情绪鉴定模型的智慧穿戴设备及其情绪鉴定方法 |
CN110399793A (zh) * | 2019-06-19 | 2019-11-01 | 深圳壹账通智能科技有限公司 | 基于图像识别的驾驶行为预警方法、装置和计算机设备 |
WO2020253349A1 (zh) * | 2019-06-19 | 2020-12-24 | 深圳壹账通智能科技有限公司 | 基于图像识别的驾驶行为预警方法、装置和计算机设备 |
CN110464366A (zh) * | 2019-07-01 | 2019-11-19 | 华南师范大学 | 一种情绪识别方法、系统及存储介质 |
CN110309791A (zh) * | 2019-07-04 | 2019-10-08 | 东北大学 | 一种峰值时空表情识别的方法 |
CN110378428A (zh) * | 2019-07-23 | 2019-10-25 | 上海思依暄机器人科技股份有限公司 | 一种家用机器人及其情绪识别方法和装置 |
CN110390311A (zh) * | 2019-07-27 | 2019-10-29 | 苏州过来人科技有限公司 | 一种基于注意力和子任务预训练的视频分析算法 |
CN110705584A (zh) * | 2019-08-21 | 2020-01-17 | 深圳壹账通智能科技有限公司 | 情绪识别方法、装置、计算机装置及存储介质 |
CN110464345A (zh) * | 2019-08-22 | 2019-11-19 | 北京航空航天大学 | 一种独立头部生物电源信号干扰剔除方法及系统 |
CN110507335A (zh) * | 2019-08-23 | 2019-11-29 | 山东大学 | 基于多模态信息的服刑人员心理健康状态评估方法及系统 |
CN110507335B (zh) * | 2019-08-23 | 2021-01-01 | 山东大学 | 基于多模态信息的服刑人员心理健康状态评估方法及系统 |
CN110516593A (zh) * | 2019-08-27 | 2019-11-29 | 京东方科技集团股份有限公司 | 一种情绪预测装置、情绪预测方法及显示装置 |
CN110781719A (zh) * | 2019-09-02 | 2020-02-11 | 中国航天员科研训练中心 | 非接触式与接触式协同的心理状态智能监测系统 |
CN110598607A (zh) * | 2019-09-02 | 2019-12-20 | 中国航天员科研训练中心 | 非接触式与接触式协同的实时情绪智能监测系统 |
CN110693508A (zh) * | 2019-09-02 | 2020-01-17 | 中国航天员科研训练中心 | 多通道协同的心理生理主动感知方法及服务机器人 |
CN110598607B (zh) * | 2019-09-02 | 2022-04-15 | 中国航天员科研训练中心 | 非接触式与接触式协同的实时情绪智能监测系统 |
CN110807471A (zh) * | 2019-10-12 | 2020-02-18 | 深圳大学 | 一种多模态传感器的行为识别系统及识别方法 |
CN110717542A (zh) * | 2019-10-12 | 2020-01-21 | 广东电网有限责任公司 | 一种情绪识别方法、装置和设备 |
CN110807471B (zh) * | 2019-10-12 | 2024-02-02 | 深圳大学 | 一种多模态传感器的行为识别系统及识别方法 |
CN110865705B (zh) * | 2019-10-24 | 2023-09-19 | 中国人民解放军军事科学院国防科技创新研究院 | 多模态融合的通讯方法、装置、头戴设备及存储介质 |
CN110865705A (zh) * | 2019-10-24 | 2020-03-06 | 中国人民解放军军事科学院国防科技创新研究院 | 多模态融合的通讯方法、装置、头戴设备及存储介质 |
CN110991427A (zh) * | 2019-12-25 | 2020-04-10 | 北京百度网讯科技有限公司 | 用于视频的情绪识别方法、装置和计算机设备 |
CN110991427B (zh) * | 2019-12-25 | 2023-07-14 | 北京百度网讯科技有限公司 | 用于视频的情绪识别方法、装置和计算机设备 |
CN111222044A (zh) * | 2019-12-31 | 2020-06-02 | 深圳Tcl数字技术有限公司 | 基于情绪感知的信息推荐方法、设备及存储介质 |
CN113128284A (zh) * | 2019-12-31 | 2021-07-16 | 上海汽车集团股份有限公司 | 一种多模态情感识别方法和装置 |
CN111222464A (zh) * | 2020-01-07 | 2020-06-02 | 中国医学科学院生物医学工程研究所 | 情感分析方法以及系统 |
CN111222464B (zh) * | 2020-01-07 | 2023-11-07 | 中国医学科学院生物医学工程研究所 | 情感分析方法以及系统 |
CN111262637B (zh) * | 2020-01-15 | 2021-09-28 | 湖南工商大学 | 一种基于Wi-Fi信道状态信息CSI的人体行为识别方法 |
CN111262637A (zh) * | 2020-01-15 | 2020-06-09 | 湖南工商大学 | 一种基于Wi-Fi信道状态信息CSI的人体行为识别方法 |
CN111310798A (zh) * | 2020-01-19 | 2020-06-19 | 浙江大学 | 基于几何特征和纹理特征的脸部运动迟缓的检测模型的构建方法 |
CN111310798B (zh) * | 2020-01-19 | 2023-05-16 | 浙江大学 | 基于几何特征和纹理特征的脸部运动迟缓的检测模型的构建方法 |
CN111368649B (zh) * | 2020-02-17 | 2023-05-12 | 杭州电子科技大学 | 一种运行于树莓派的情绪感知方法 |
CN111368649A (zh) * | 2020-02-17 | 2020-07-03 | 杭州电子科技大学 | 一种运行于树莓派的情绪感知方法 |
CN111312210A (zh) * | 2020-03-05 | 2020-06-19 | 云知声智能科技股份有限公司 | 一种融合图文的语音合成方法及装置 |
CN111401198A (zh) * | 2020-03-10 | 2020-07-10 | 广东九联科技股份有限公司 | 观众情绪识别方法、装置及系统 |
CN111401198B (zh) * | 2020-03-10 | 2024-04-23 | 广东九联科技股份有限公司 | 观众情绪识别方法、装置及系统 |
CN111447124A (zh) * | 2020-04-02 | 2020-07-24 | 张瑞华 | 基于生物特征识别的智能家居控制方法及智能控制设备 |
CN111447124B (zh) * | 2020-04-02 | 2021-03-23 | 深圳华筑人居科技有限公司 | 基于生物特征识别的智能家居控制方法及智能控制设备 |
CN111419250A (zh) * | 2020-04-08 | 2020-07-17 | 恒爱高科(北京)科技有限公司 | 一种基于脉搏波的情绪识别方法 |
CN111539376A (zh) * | 2020-05-11 | 2020-08-14 | 南京林业大学 | 一种基于视频图像的多模态情感识别系统及方法 |
WO2021227585A1 (zh) * | 2020-05-11 | 2021-11-18 | 南京林业大学 | 一种基于视频图像的多模态情感识别系统及方法 |
CN111476217A (zh) * | 2020-05-27 | 2020-07-31 | 上海乂学教育科技有限公司 | 基于情绪识别的智能学习系统和方法 |
CN111920420A (zh) * | 2020-07-28 | 2020-11-13 | 复旦大学 | 一种基于统计学习的患者行为多模态分析与预测系统 |
CN111920420B (zh) * | 2020-07-28 | 2023-08-08 | 复旦大学 | 一种基于统计学习的患者行为多模态分析与预测系统 |
CN112069897A (zh) * | 2020-08-04 | 2020-12-11 | 华南理工大学 | 基于知识图谱的语音和微表情识别自杀情绪感知方法 |
CN112069897B (zh) * | 2020-08-04 | 2023-09-01 | 华南理工大学 | 基于知识图谱的语音和微表情识别自杀情绪感知方法 |
CN111967361A (zh) * | 2020-08-07 | 2020-11-20 | 盐城工学院 | 一种基于婴儿表情识别与哭声的情绪检测方法 |
CN112043252B (zh) * | 2020-10-10 | 2021-09-28 | 山东大学 | 基于脉搏信号中呼吸成分的情绪识别系统及方法 |
CN112043252A (zh) * | 2020-10-10 | 2020-12-08 | 山东大学 | 基于脉搏信号中呼吸成分的情绪识别系统及方法 |
CN113143270A (zh) * | 2020-12-02 | 2021-07-23 | 长春理工大学 | 一种基于生物雷达和语音信息的双模态融合情绪识别方法 |
CN112699785B (zh) * | 2020-12-29 | 2022-06-07 | 中国民用航空飞行学院 | 基于维度情感模型的群体情感识别与异常情感检测方法 |
CN112699785A (zh) * | 2020-12-29 | 2021-04-23 | 中国民用航空飞行学院 | 基于维度情感模型的群体情感识别与异常情感检测方法 |
CN112618911A (zh) * | 2020-12-31 | 2021-04-09 | 四川音乐学院 | 基于信号处理的音乐反馈调节系统 |
CN113128399A (zh) * | 2021-04-19 | 2021-07-16 | 重庆大学 | 一种用于情感识别的语音图像关键帧提取方法 |
CN113128399B (zh) * | 2021-04-19 | 2022-05-17 | 重庆大学 | 用于情感识别的语音图像关键帧提取方法 |
CN113421630A (zh) * | 2021-06-02 | 2021-09-21 | 沃民高新科技(北京)股份有限公司 | 身心健康智能管理方法和系统 |
CN113408503B (zh) * | 2021-08-19 | 2021-12-21 | 明品云(北京)数据科技有限公司 | 一种情绪识别方法、装置、计算机可读存储介质及设备 |
CN113408503A (zh) * | 2021-08-19 | 2021-09-17 | 明品云(北京)数据科技有限公司 | 一种情绪识别方法、装置、计算机可读存储介质及设备 |
CN113808623A (zh) * | 2021-09-18 | 2021-12-17 | 武汉轻工大学 | 一种可以供盲人使用的情绪识别眼镜 |
CN113887365A (zh) * | 2021-09-26 | 2022-01-04 | 山东大学 | 一种基于多模态数据融合的特殊人员情感识别方法及系统 |
CN114170585A (zh) * | 2021-11-16 | 2022-03-11 | 广西中科曙光云计算有限公司 | 危险驾驶行为的识别方法、装置、电子设备及存储介质 |
CN114391846B (zh) * | 2022-01-21 | 2023-12-01 | 中山大学 | 一种基于过滤式特征选择的情绪识别方法及系统 |
CN114391846A (zh) * | 2022-01-21 | 2022-04-26 | 中山大学 | 一种基于过滤式特征选择的情绪识别方法及系统 |
CN114533063B (zh) * | 2022-02-23 | 2023-10-27 | 金华高等研究院(金华理工学院筹建工作领导小组办公室) | 一种多源监测结合的情感计算系统及方法 |
CN114533063A (zh) * | 2022-02-23 | 2022-05-27 | 金华高等研究院(金华理工学院筹建工作领导小组办公室) | 一种多源监测结合的情感计算系统及方法 |
CN114844692B (zh) * | 2022-04-22 | 2024-05-03 | 湖北工业大学 | 一种基于网络安全的智能信息交互用控制方法 |
CN114844692A (zh) * | 2022-04-22 | 2022-08-02 | 湖北工业大学 | 一种基于网络安全的智能信息交互用控制方法 |
CN115035438A (zh) * | 2022-05-27 | 2022-09-09 | 中国科学院半导体研究所 | 情绪分析方法、装置及电子设备 |
CN115271002B (zh) * | 2022-09-29 | 2023-02-17 | 广东机电职业技术学院 | 识别方法、急救决策方法、介质及生命健康智能监护系统 |
CN115271002A (zh) * | 2022-09-29 | 2022-11-01 | 广东机电职业技术学院 | 识别方法、急救决策方法、介质及生命健康智能监护系统 |
CN115376695A (zh) * | 2022-10-25 | 2022-11-22 | 安徽星辰智跃科技有限责任公司 | 基于扩展现实的神经心理评估及干预的方法、系统和装置 |
CN115439920B (zh) * | 2022-11-03 | 2023-03-24 | 之江实验室 | 基于情绪视听刺激和面部表情的意识状态检测系统、设备 |
CN115439920A (zh) * | 2022-11-03 | 2022-12-06 | 之江实验室 | 基于情绪视听刺激和面部表情的意识状态检测系统、设备 |
CN115431288A (zh) * | 2022-11-10 | 2022-12-06 | 深圳市神州云海智能科技有限公司 | 基于多元融合信息进行情感反馈及信息交互的导诊机器人 |
CN115813389A (zh) * | 2022-12-02 | 2023-03-21 | 复旦大学 | 基于皮肤电信号分析的孕妇分娩恐惧检测方法和系统 |
CN115840890A (zh) * | 2023-02-24 | 2023-03-24 | 北京科技大学 | 一种基于非接触生理信号的情绪识别方法及装置 |
CN116127366B (zh) * | 2023-04-17 | 2023-06-20 | 深圳市齐奥通信技术有限公司 | 一种基于tws耳机的情绪识别方法、系统及介质 |
CN116127366A (zh) * | 2023-04-17 | 2023-05-16 | 深圳市齐奥通信技术有限公司 | 一种基于tws耳机的情绪识别方法、系统及介质 |
CN116935480A (zh) * | 2023-09-18 | 2023-10-24 | 四川天地宏华导航设备有限公司 | 一种情绪识别方法及装置 |
CN116935480B (zh) * | 2023-09-18 | 2023-12-29 | 四川天地宏华导航设备有限公司 | 一种情绪识别方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107220591A (zh) | 多模态智能情绪感知系统 | |
CN108776788B (zh) | 一种基于脑电波的识别方法 | |
Page et al. | Utilizing deep neural nets for an embedded ECG-based biometric authentication system | |
US11709548B2 (en) | Systems, methods, devices and apparatuses for detecting facial expression | |
CN110353702A (zh) | 一种基于浅层卷积神经网络的情感识别方法及系统 | |
CN113729707A (zh) | 一种基于fecnn-lstm的眼动和ppg多模态融合的情感识别方法 | |
Luque et al. | End-to-end photopleth YsmographY (PPG) based biometric authentication by using convolutional neural networks | |
CN106620990A (zh) | 一种调节情绪的方法及其装置 | |
CN111920420B (zh) | 一种基于统计学习的患者行为多模态分析与预测系统 | |
CN107066514A (zh) | 老年人的情绪识别方法和系统 | |
Abtahi et al. | Emotion analysis using audio/video, emg and eeg: A dataset and comparison study | |
CN111000556A (zh) | 一种基于深度模糊森林的情绪识别方法 | |
CN110135244B (zh) | 一种基于脑-机协同智能的表情识别方法 | |
CN105212949A (zh) | 一种使用皮肤电信号进行文化体验情感识别的方法 | |
An et al. | Electroencephalogram emotion recognition based on 3D feature fusion and convolutional autoencoder | |
CN111028919A (zh) | 基于人工智能算法的恐惧症自我诊疗系统 | |
Alharthi et al. | Deep learning for ground reaction force data analysis: Application to wide-area floor sensing | |
CN107918487A (zh) | 一种基于皮肤电信号识别中文情感词的方法 | |
CN109394203A (zh) | 精神障碍康复期情绪监测与干预方法 | |
CN113116361A (zh) | 一种基于单导脑电的睡眠分期方法 | |
Nguyen et al. | A potential approach for emotion prediction using heart rate signals | |
CN116230234A (zh) | 多模态特征一致性心理健康异常识别方法及系统 | |
WO2022100187A1 (zh) | 一种基于移动端对用户的情感进行识别与监测方法 | |
Jamal et al. | Cloud-Based Human Emotion Classification Model from EEG Signals | |
Ghonchi et al. | Spatio-temporal deep learning for EEG-fNIRS brain computer interface |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170929 |