CN110598607B - 非接触式与接触式协同的实时情绪智能监测系统 - Google Patents
非接触式与接触式协同的实时情绪智能监测系统 Download PDFInfo
- Publication number
- CN110598607B CN110598607B CN201910823238.7A CN201910823238A CN110598607B CN 110598607 B CN110598607 B CN 110598607B CN 201910823238 A CN201910823238 A CN 201910823238A CN 110598607 B CN110598607 B CN 110598607B
- Authority
- CN
- China
- Prior art keywords
- data
- probability distribution
- preset
- target individual
- emotion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration by the use of histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/02—Preprocessing
- G06F2218/04—Denoising
- G06F2218/06—Denoising by applying a scale-space analysis, e.g. using wavelet analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
Abstract
本申请提供一种非接触式与接触式协同的实时情绪智能监测系统。该系统基于用于采集目标个体生理信息的接触式数据采集模块,用于采集目标个体可见光视频、红外热图视频、音频数据的非接触式数据采集模块,搭建数据分析模块确定各类监测数据下目标个体对于每种预设情绪类别的概率分布,并将各类监测数据对应的概率分布通过adaboost策略进行集成学习,采用soft voting投票法确定监测目标个体的最终情绪分布。本申请克服了现有技术中在确定监测目标个体的情绪状态时使用的监测数据类型单一、无法将多类的数据进行语义关联及跨媒体融合的缺陷,全面提高了实时情绪监测的准确度。
Description
技术领域
本申请涉及心理和数据处理领域,具体涉及一种非接触式与接触式协同的实时情绪智能监测系统。
背景技术
情绪,是对一系列主观认知经验的通称,是多种感觉、思想和行为综合产生的心理和生理状态。最普遍、通俗的情绪有喜、怒、哀、惊、恐、爱等,也有一些细腻微妙的情绪,例如嫉妒、惭愧、羞耻、自豪等。情绪常和心情、性格、脾气、目的等因素互相作用,也受到荷尔蒙和神经递质影响。无论正面还是负面的情绪,都是引发人们行动的动机。尽管一些情绪引发的行为看上去没有经过思考,但实际上意识是产生情绪重要的一环。可见关注个体的情绪特征对于进行情绪引导和人们的安全能够起到非常重要的作用。
目前,分析个体的情绪特征的技术方案中,使用的数据类型单一、无法将多种类型的数据进行有效的融合,造成确定的情绪特征准确度低。
发明内容
(一)解决的技术问题
针对现有技术的不足,本申请提供了一种非接触式与接触式协同的实时情绪智能监测系统,解决了现有技术中在确定目标个体的情绪特征时使用的数据类型单一、无法将多种类型的数据进行有效的融合,情绪特征准确度低的缺陷。
(二)技术方案
为实现以上目的,本申请通过以下技术方案予以实现:
本申请提供了一种非接触式与接触式协同的实时情绪智能监测系统,包括:
接触式数据采集模块,用于采集目标个体的生理信息;
非接触式数据采集模块,用于采集目标个体的可见光图像、红外热图、音频信息;
数据传输模块,用于将所述生理信息、可见光图像、红外热图、音频信息发送给数据存储模块、数据分析处理模块和数据动态展示模块;
所述数据存储模块,用于存储所述生理信息、可见光图像、红外热图、音频信息;
所述数据分析模块,用于利用小波变换对所述生理信息进行去噪处理,并利用长短期记忆网络提取去噪处理后的生理信息的时间序列特征,得到第一特征向量、第二特征向量、第三特征向量;运用前向浮动搜索法从所述第一特征向量、第二特征向量、第三特征向量中分别进行关键特征选择,并利用强分类器,基于选择的关键特征,确定目标个体针对各个预设情绪类别的第一概率分布、第二概率分布、第三概率分布;还用于利用直方图均衡、中值滤波对可见光图像进行灰度校正、噪声过滤的预处理,并标定处理后图像中的多个预设特征点,基于标定的预设特征点,提取反应面部情绪状态的第四特征向量,并利用强分类器,基于第四特征向量,确定目标个体针对各个预设情绪类别的第四概率分布;还用于从可见光图像中获取预设区域内的图像,利用欧拉影像放大算法放大预设区域内的图像的颜色信号变化,并提取放大后的图像中R、G、B三通道的信号,运用小波变换对提取的R、G、B三通道的信号进行去噪,之后对去噪后的R、G、B三通道的信号进行归一化处理,并基于归一化处理后的R、G、B三通道的信号提取三通道的有效信号,基于提取的有效信号计算色度信号,利用傅里叶变换将色度信号变换为频域信号,基于频域信号确定心率值,利用强分类器,基于心率值,确定目标个体针对各个预设情绪类别的第五概率分布;还用于将第四概率分布和第五概率分布进行加权平均,得到目标个体针对各个预设情绪类别的第六概率分布;还用于提取红外图中前额区域的图像,并利用传热模型将前额皮肤的温度数据转换成血液灌注值,利用opencv将血液灌注值数据转换成血液灌注伪彩色图,利用深度学习中的卷积神经网络和时间序列神经网络对血液灌注伪彩色图进行处理,并利用强分类器,得到目标个体针对各个预设情绪类别的第七概率分布;还用于对音频信息进行预加重、加窗分帧、端点检测处理;基于深度信念网络提取处理后的音频信息中的特征,并利用强分类器,基于得到的音频信息中的特征与语音情感语料库进行特征相似性匹配,得到得到目标个体针对各个预设情绪类别的第八概率分布;还用于基于所述第一概率分布、第二概率分布、第三概率分布、第六概率分布、第七概率分布、第八概率分布确定每种预设情绪类别对应的平均概率值;筛选平均概率值最大的预设情绪类别作为目标个体的目标情绪类别;还用于将所述目标情绪类别发送给所述数据传输模块;
所述数据传输模块将所述目标情绪类别发送给所述数据存储模块和数据动态展示模块;
所述数据存储模块存储所述目标情绪类别;
所述数据动态展示模块,用于展示所述目标情绪类别、所述生理信息的波形图、所述音频信号的波形图、所述可见光图像、所述红外热图。
在一种可能的实施方式中,上述系统还包括强分类器构建模块,用于:
利用初始权重对应的训练集训练得到第一个弱学习器,根据第一个弱学习器的学习误差率更新训练样本的权重;基于调整权重后的训练集来训练第二个弱学习器,直到弱学习器数达到预定数量(n个),将得到的多个弱学习器通过集合策略进行整合,得到强学习器。
在一种可能的实施方式中,所述预定数量为6个。
在一种可能的实施方式中,所述非接触式数据采集模块包括:可见光摄像头、红外摄像头、麦克风。
在一种可能的实施方式中,所述生理信息包括:目标个体的皮电信息、脉搏信息、血氧信息。
在一种可能的实施方式中,所述数据动态展示模块包括PC机。
(三)有益效果
本申请提供了一种非接触式与接触式协同的实时情绪智能监测系统。具备以下有益效果:
本申请利用触式数据采集模块采集目标个体的生理信息,利用非接触式数据采集模块采集目标个体的可见光图像、红外热图、音频信息,利用数据分析模块确定每种类型的数据下,目标个体针对每种预设情绪类别的概率分布,并将每种类型的数据对应的概率分布进行融合和处理,确定目标个体的目标情绪类别。本申请克服了现有技术中在确定目标个体的情绪特征时使用的数据类型单一、无法将多种类型的数据进行有效的融合的缺陷,提高了确定的情绪特征准确度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示意性的示出了本申请一实施例的非接触式与接触式协同的实时情绪智能监测系统结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
为了解决现有技术中在确定目标个体的情绪特征时使用的数据类型单一、无法将多种类型的数据进行有效的融合,情绪特征准确度低的缺陷,本申请提供了一种非接触式与接触式协同的实时情绪智能监测系统。该系统利用触式数据采集模块,用于采集目标个体的生理信息,利用非接触式数据采集模块,用于采集目标个体的可见光图像、红外热图、音频信息,利用数据分析模块确定每种类型的数据下,目标个体针对每种预设情绪类别的概率分布,并将每种类型的数据对应的概率分布进行融合和处理,确定目标个体的目标情绪类别。本申请克服了现有技术中在确定目标个体的情绪特征时使用的数据类型单一、无法将多种类型的数据进行有效的融合的缺陷,提高了确定的情绪特征准确度。
具体地,如图1所示,上述非接触式与接触式协同的实时情绪智能监测系统包括接触式数据采集模块100、非接触式数据采集模块110、数据传输模块120、数据存储模块130、数据分析模块140、数据动态展示模块150。
接触式数据采集模块100,用于采集目标个体的生理信息。
这里可以利用指夹式采集设备实施采集目标个体的皮电、脉搏、血氧等生理信息。
非接触式数据采集模块110,用于采集目标个体的可见光图像、红外热图、音频信息。
这里可以利用可见光摄像头、热红外摄像头、麦克风的非接触式设备与接触式采集设备同步采集目标个体的可见光图像、红外热图、音频信息。
在具体实施时,可以利用接触式数据采集模块和非接触式数据采集模块在一天中多次实时采集并实时发送给数据传输模块。
数据传输模块120,用于将所述生理信息、可见光图像、红外热图、音频信息发送给数据存储模块、数据分析处理模块和数据动态展示模块。
数据存储模块130,用于存储所述生理信息、可见光图像、红外热图、音频信息。
数据分析模块140,用于利用小波变换对所述生理信息进行去噪处理,并利用长短期记忆网络提取去噪处理后的生理信息的时间序列特征,得到第一特征向量、第二特征向量、第三特征向量;运用前向浮动搜索法从所述第一特征向量、第二特征向量、第三特征向量中分别进行关键特征选择,并利用强分类器,基于选择的关键特征,确定目标个体针对各个预设情绪类别的第一概率分布、第二概率分布、第三概率分布;还用于利用直方图均衡、中值滤波对可见光图像进行灰度校正、噪声过滤的预处理,并标定处理后图像中的多个预设特征点,基于标定的预设特征点,提取反应面部情绪状态的第四特征向量,并利用强分类器,基于第四特征向量,确定目标个体针对各个预设情绪类别的第四概率分布;还用于从可见光图像中获取预设区域内的图像,利用欧拉影像放大算法放大预设区域内的图像的颜色信号变化,并提取放大后的图像中R、G、B三通道的信号,运用小波变换对提取的R、G、B三通道的信号进行去噪,之后对去燥后的R、G、B三通道的信号进行归一化处理,并基于归一化处理后的R、G、B三通道的信号提取三通道的有效信号,基于提取的有效信号计算色度信号,利用傅里叶变换将色度信号变换为频域信号,基于频域信号确定心率值,利用强分类器,基于心率值,确定目标个体针对各个预设情绪类别的第五概率分布;还用于将第四概率分布和第五概率分布进行加权平均,得到目标个体针对各个预设情绪类别的第六概率分布;还用于提取红外图中前额区域的图像,并利用传热模型将前额皮肤的温度数据转换成血液灌注值,利用opencv将血液灌注值数据转换成血液灌注伪彩色图,利用深度学习中的卷积神经网络和时间序列神经网络对血液灌注伪彩色图进行处理,并利用强分类器,得到目标个体针对各个预设情绪类别的第七概率分布;还用于对音频信息进行预加重、加窗分帧、端点检测处理;基于深度信念网络提取处理后的音频信息中的特征,并利用强分类器,基于得到的音频信息中的特征与语音情感语料库进行特征相似性匹配,得到得到目标个体针对各个预设情绪类别的第八概率分布;还用于基于所述第一概率分布、第二概率分布、第三概率分布、第六概率分布、第七概率分布、第八概率分布确定每种预设情绪类别对应的平均概率值;筛选平均概率值最大的预设情绪类别作为目标个体的目标情绪类别;还用于将所述目标情绪类别发送给所述数据传输模块。
数据分析模块在具体实施时,运用SVM建立情绪分类识别模型,分别确定上述多个概率分布。
数据分析模块可以对面部的可见光图像,通过面部81个预设特征点和特定面部感兴趣区域(即上述预设区域)分析目标个体的情绪特征。
数据分析模块将所有概率分布中某一类别的概率的平均值作为标准,概率最高的对应的类型为最终的预测结果,即上述目标情绪类别;相较于hard voting(少数服从多数)来说,选用soft voting丰富了样本的信息,并使得最终的结果更加准确。
所述数据传输模块将所述目标情绪类别发送给所述数据存储模块和数据动态展示模块;所述数据存储模块存储所述目标情绪类别。
所述数据动态展示模块150,用于展示所述目标情绪类别、所述生理信息的波形图、所述音频信号的波形图、所述可见光图像、所述红外热图。
数据动态展示模块包括PC机。
上述实施例不仅能够实现对采集到的数据进行动态展示,而且将以上多模态数据分别提取特征向量并进行跨维度关联融合,建立实时情绪评估模型,将目标个体的实时情绪分析结果反馈给用户。本申请可全方位、多角度地对目标个体情绪进行实时量化和监测。
在一些实施例中,上述非接触式与接触式协同的实时情绪智能监测系统还包括强分类器构建模块160,用于:利用初始权重对应的训练集训练得到第一个弱学习器,根据第一个弱学习器的学习误差率更新训练样本的权重;基于调整权重后的训练集来训练第二个弱学习器,直到弱学习器数达到预定数量,将得到的多个弱学习器通过集合策略进行整合,得到六个通道数据的强学习器。
本申请结合非接触式和接触式两种方式采集数据,分别采用不同的方法提取特征向量,运用不同的方法得到各个单通道数据的情绪分布,将多模态数据所得到的情绪分布进行跨维度关联融合,综合分析目标个体的实时情绪状态,相比单一数据分析情绪的方法更加准确反应目标个体的真实情绪状态。本申请基于adaboost算法集成学习,通过弱分类器的组合构建强分类器,运用soft voting的方式判断最终情绪状态标签及概率,提高分析结果的准确性。
上述非接触式与接触式协同的实时情绪智能监测系统,基于用于采集目标个体生理信息的接触式数据采集模块,用于采集目标个体可见光视频、红外热图视频、音频数据的非接触式数据采集模块,搭建数据分析模块确定各类监测数据下目标个体对于每种预设情绪类别的概率分布,并将各类监测数据对应的概率分布通过adaboost策略进行集成学习,采用soft voting投票法确定监测目标个体的最终情绪分布。本申请克服了现有技术中在确定监测目标个体的情绪状态时使用的监测数据类型单一、无法将多类的数据进行语义关联及跨媒体融合的缺陷,全面提高了实时情绪监测的准确度。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (5)
1.一种非接触式与接触式协同的实时情绪智能监测系统,其特征在于,包括:
接触式数据采集模块,用于采集目标个体的生理信息;
非接触式数据采集模块,用于采集目标个体的可见光图像、红外热图、音频信息;
数据传输模块,用于将所述生理信息、可见光图像、红外热图、音频信息发送给数据存储模块、数据分析处理模块和数据动态展示模块;
所述数据存储模块,用于存储所述生理信息、可见光图像、红外热图、音频信息;
所述数据分析模块,用于利用小波变换对皮电、脉搏、血氧三种生理信息进行去噪处理,并利用长短期记忆网络提取去噪处理后的生理信息的时间序列特征,得到第一特征向量、第二特征向量、第三特征向量;运用前向浮动搜索法从所述第一特征向量、第二特征向量、第三特征向量中分别进行关键特征选择,并利用强分类器,基于选择的关键特征,确定目标个体针对各个预设情绪类别的第一概率分布、第二概率分布、第三概率分布;还用于利用直方图均衡、中值滤波对可见光图像进行灰度校正、噪声过滤的预处理,并标定处理后图像中的多个预设特征点,基于标定的预设特征点,提取反应面部情绪状态的第四特征向量,并利用强分类器,基于第四特征向量,确定目标个体针对各个预设情绪类别的第四概率分布;还用于从可见光图像中获取预设区域内的图像,利用欧拉影像放大算法放大预设区域内的图像的颜色信号变化,并提取放大后的图像中R、G、B三通道的信号,运用小波变换对提取的R、G、B三通道的信号进行去噪,之后对去噪后的R、G、B三通道的信号进行归一化处理,并基于归一化处理后的R、G、B三通道的信号提取三通道的有效信号,基于提取的有效信号计算色度信号,利用傅里叶变换将色度信号变换为频域信号,基于频域信号确定心率值,利用强分类器,基于心率值,确定目标个体针对各个预设情绪类别的第五概率分布;还用于将第四概率分布和第五概率分布进行加权平均,得到目标个体针对各个预设情绪类别的第六概率分布;还用于提取红外热图中前额区域的图像,并利用传热模型将前额皮肤的温度数据转换成血液灌注值,利用opencv将血液灌注值数据转换成血液灌注伪彩色图,利用深度学习中的卷积神经网络和时间序列神经网络对血液灌注伪彩色图进行处理,并利用强分类器,得到目标个体针对各个预设情绪类别的第七概率分布;还用于对音频信息进行预加重、加窗分帧、端点检测处理;基于深度信念网络提取处理后的音频信息中的特征,并利用强分类器,基于得到的音频信息中的特征与语音情感语料库进行特征相似性匹配,得到得到目标个体针对各个预设情绪类别的第八概率分布;还用于基于所述第一概率分布、第二概率分布、第三概率分布、第六概率分布、第七概率分布、第八概率分布确定每种预设情绪类别对应的平均概率值;筛选平均概率值最大的预设情绪类别作为目标个体的目标情绪类别;还用于将所述目标情绪类别发送给所述数据传输模块;
所述数据传输模块将所述目标情绪类别发送给所述数据存储模块和数据动态展示模块;
所述数据存储模块存储所述目标情绪类别;
所述数据动态展示模块,用于展示所述目标情绪类别、所述生理信息的波形图、所述音频信息的波形图、所述可见光图像、所述红外热图。
2.根据权利要求1所述的系统,其特征在于,还包括强分类器构建模块,用于:
利用初始权重对应的训练集训练得到第一个弱学习器,根据第一个弱学习器的学习误差率更新训练样本的权重;基于调整权重后的训练集来训练第二个弱学习器,直到弱学习器数达到预定数量,将得到的多个弱学习器通过集合策略进行整合,得到强学习器。
3.根据权利要求2所述的系统,其特征在于,所述预定数量为n个。
4.根据权利要求1所述的系统,其特征在于,所述非接触式数据采集模块包括:可见光摄像头、红外摄像头、麦克风。
5.根据权利要求1所述的系统,其特征在于,所述数据动态展示模块包括PC机。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910823238.7A CN110598607B (zh) | 2019-09-02 | 2019-09-02 | 非接触式与接触式协同的实时情绪智能监测系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910823238.7A CN110598607B (zh) | 2019-09-02 | 2019-09-02 | 非接触式与接触式协同的实时情绪智能监测系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110598607A CN110598607A (zh) | 2019-12-20 |
CN110598607B true CN110598607B (zh) | 2022-04-15 |
Family
ID=68856970
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910823238.7A Active CN110598607B (zh) | 2019-09-02 | 2019-09-02 | 非接触式与接触式协同的实时情绪智能监测系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110598607B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112215700A (zh) * | 2020-10-13 | 2021-01-12 | 中国银行股份有限公司 | 信贷面审的审核方法及装置 |
CN113241096B (zh) * | 2021-07-09 | 2021-12-21 | 明品云(北京)数据科技有限公司 | 一种情绪监测装置及方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107220591A (zh) * | 2017-04-28 | 2017-09-29 | 哈尔滨工业大学深圳研究生院 | 多模态智能情绪感知系统 |
CN108216254A (zh) * | 2018-01-10 | 2018-06-29 | 山东大学 | 基于面部图像与脉搏信息融合的路怒情绪识别方法 |
WO2018151628A1 (ru) * | 2017-02-17 | 2018-08-23 | Георгий Игоревич ПЛИЕВ | Алгоритм комплексного дистанционного бесконтактного мультиканального анализа психоэмоционального и физиологического состояния объекта по аудио- и видеоконтенту |
CN108805089A (zh) * | 2018-06-14 | 2018-11-13 | 南京云思创智信息科技有限公司 | 基于多模态的情绪识别方法 |
CN109145861A (zh) * | 2018-09-04 | 2019-01-04 | 京东方科技集团股份有限公司 | 情绪识别装置及方法、头戴式显示设备、存储介质 |
CN109512441A (zh) * | 2018-12-29 | 2019-03-26 | 中山大学南方学院 | 基于多元信息的情绪识别方法及装置 |
CN109993068A (zh) * | 2019-03-11 | 2019-07-09 | 华南理工大学 | 一种基于心率和面部特征的非接触式的人类情感识别方法 |
CN110135242A (zh) * | 2019-03-28 | 2019-08-16 | 福州大学 | 基于低分辨率红外热成像深度感知的情绪识别装置及方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10628741B2 (en) * | 2010-06-07 | 2020-04-21 | Affectiva, Inc. | Multimodal machine learning for emotion metrics |
-
2019
- 2019-09-02 CN CN201910823238.7A patent/CN110598607B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018151628A1 (ru) * | 2017-02-17 | 2018-08-23 | Георгий Игоревич ПЛИЕВ | Алгоритм комплексного дистанционного бесконтактного мультиканального анализа психоэмоционального и физиологического состояния объекта по аудио- и видеоконтенту |
CN107220591A (zh) * | 2017-04-28 | 2017-09-29 | 哈尔滨工业大学深圳研究生院 | 多模态智能情绪感知系统 |
CN108216254A (zh) * | 2018-01-10 | 2018-06-29 | 山东大学 | 基于面部图像与脉搏信息融合的路怒情绪识别方法 |
CN108805089A (zh) * | 2018-06-14 | 2018-11-13 | 南京云思创智信息科技有限公司 | 基于多模态的情绪识别方法 |
CN109145861A (zh) * | 2018-09-04 | 2019-01-04 | 京东方科技集团股份有限公司 | 情绪识别装置及方法、头戴式显示设备、存储介质 |
CN109512441A (zh) * | 2018-12-29 | 2019-03-26 | 中山大学南方学院 | 基于多元信息的情绪识别方法及装置 |
CN109993068A (zh) * | 2019-03-11 | 2019-07-09 | 华南理工大学 | 一种基于心率和面部特征的非接触式的人类情感识别方法 |
CN110135242A (zh) * | 2019-03-28 | 2019-08-16 | 福州大学 | 基于低分辨率红外热成像深度感知的情绪识别装置及方法 |
Non-Patent Citations (2)
Title |
---|
TERNet: A deep learning approach for thermal face emotion recognition;Shreyas Kamath K.M等;《PROCEEDINGS OF SPIE》;20190531;全文 * |
基于面部红外热图的恐惧情绪识别;刘小燕等;《电子测量与仪器学报》;20170331;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN110598607A (zh) | 2019-12-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020010785A1 (zh) | 一种课堂教学认知负荷测量系统 | |
CN110674748B (zh) | 图像数据处理方法、装置、计算机设备以及可读存储介质 | |
CN105516280B (zh) | 一种多模态学习过程状态信息压缩记录方法 | |
CN110598608B (zh) | 非接触式与接触式协同的心理生理状态智能监测系统 | |
CN108399376A (zh) | 学生课堂学习兴趣智能分析方法及系统 | |
CN112800998B (zh) | 融合注意力机制和dmcca的多模态情感识别方法及系统 | |
WO2021077382A1 (zh) | 一种学习状态的判断方法、装置及智能机器人 | |
CN110287895B (zh) | 一种基于卷积神经网络进行情绪测量的方法 | |
CN112766173A (zh) | 一种基于ai深度学习的多模态情感分析方法及其系统 | |
CN110751015B (zh) | 面部红外热图的灌注优化及人工智能情绪监测方法 | |
CN110598607B (zh) | 非接触式与接触式协同的实时情绪智能监测系统 | |
CN113780150A (zh) | 一种基于多维身体状态感知的疲劳检测方法及系统 | |
Bhamare et al. | Deep neural networks for lie detection with attention on bio-signals | |
CN111401105A (zh) | 一种视频表情识别方法、装置及设备 | |
CN116230234A (zh) | 多模态特征一致性心理健康异常识别方法及系统 | |
Nithya | Automated class attendance system based on face recognition using PCA algorithm | |
CN110675312B (zh) | 图像数据处理方法、装置、计算机设备以及存储介质 | |
CN116522212B (zh) | 基于图像文本融合的谎言检测方法、装置、设备及介质 | |
CN111222374A (zh) | 测谎数据处理方法、装置、计算机设备和存储介质 | |
CN115905977A (zh) | 家庭同胞互动过程中负面情绪的监督系统及方法 | |
Guo et al. | Deep neural networks for depression recognition based on facial expressions caused by stimulus tasks | |
CN110353703B (zh) | 基于鹦鹉学舌语言范式行为分析的孤独症评估装置及系统 | |
CN112084814B (zh) | 一种学习辅助方法和智能装置 | |
CN113642446A (zh) | 一种基于人脸动态情绪识别的检测方法和装置 | |
Peng et al. | Sleep-deprived fatigue pattern analysis using large-scale selfies from social media |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |