CN109145861A - 情绪识别装置及方法、头戴式显示设备、存储介质 - Google Patents

情绪识别装置及方法、头戴式显示设备、存储介质 Download PDF

Info

Publication number
CN109145861A
CN109145861A CN201811028073.6A CN201811028073A CN109145861A CN 109145861 A CN109145861 A CN 109145861A CN 201811028073 A CN201811028073 A CN 201811028073A CN 109145861 A CN109145861 A CN 109145861A
Authority
CN
China
Prior art keywords
emotion identification
target individual
result
infrared light
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811028073.6A
Other languages
English (en)
Other versions
CN109145861B (zh
Inventor
姜东宇
王海旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Beijing BOE Display Technology Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Beijing BOE Display Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd, Beijing BOE Display Technology Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201811028073.6A priority Critical patent/CN109145861B/zh
Publication of CN109145861A publication Critical patent/CN109145861A/zh
Application granted granted Critical
Publication of CN109145861B publication Critical patent/CN109145861B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及人工智能产品技术领域，公开一种情绪识别装置及方法、头戴式显示设备、存储介质，其中，情绪识别装置包括：摄像模块，用于获取目标个体的可见光图像和红外光图像；第一处理模块，用于对可见光图像中的目标个体进行脸部情绪识别，以得到第一情绪识别结果；第二处理模块，用于根据人体热量检测分析技术，对红外光图像中的目标个体进行情绪识别，以得到第二情绪识别结果；确定模块，用于根据第一情绪识别结果和第二情绪识别结果，确定目标个体的情绪。本发明实施例提供的情绪识别装置，采用图像技术，综合分析了目标个体的面部表情和人体热量分布，通过两种分析结果可以准确地识别目标个体的情绪。

Description

情绪识别装置及方法、头戴式显示设备、存储介质
技术领域
本发明涉及人工智能产品技术领域，特别涉及一种情绪识别装置及方法、头戴式显示设备、存储介质。
背景技术
情绪识别原本是指个体对于他人情绪的识别，现多指AI通过获取个体的生理或非生理信号对个体的情绪状态进行自动辨别，是情感计算的一个重要组成部分。情绪识别研究的内容包括面部表情、语音、心率、行为、文本和生理信号识别等方面。
当前情绪识别应用最为广泛的技术之一就是人脸表情识别技术，通过图像技术，让计算机对人类表情进行识别，进而识别人类情绪；然而，很多时候，面部表情并不能够完全准确的表达人类情绪，情绪识别结果并不理想，因此，情绪识别技术的研究还有待进一步深入。
发明内容
本发明公开了一种情绪识别装置及方法、头戴式显示设备、存储介质，用于提供一种识别准确度较高的情绪识别装置。
为达到上述目的，本发明提供以下技术方案：
一种情绪识别装置，包括：
摄像模块，用于获取目标个体的可见光图像和红外光图像；
第一处理模块，用于对所述可见光图像中的目标个体进行脸部情绪识别，以得到第一情绪识别结果；
第二处理模块，用于根据人体热量检测分析技术，对所述红外光图像中的目标个体进行情绪识别，以得到第二情绪识别结果；
确定模块，用于根据所述第一情绪识别结果和所述第二情绪识别结果，确定所述目标个体的情绪。
最新研究表明，人的情绪不仅会反应在表情上，也会改变人体的热量分布。本发明实施例提供的情绪识别装置中，可以同时获取待测目标个体的可见光图像和红外光图像，并分别对于上述两个图像进行分析处理，通过对可见光图像中的人脸表情进行分析得到第一情绪识别结果，通过对红外光图像中的目标个体的人体热量分布状态进行分析得到第二情绪识别结果，并综合上述两个情绪识别结果，确定目标个体的情绪；该情绪识别装置，采用图像技术，综合分析了目标个体的面部表情和人体热量分布，可以准确地识别目标个体的情绪，便于人们相互间更好的实现社会交际。
一种可选的实施例中，所述第一处理模块，包括：
人脸检测模块，用于对所述可见光图像中的目标个体进行脸部检测；
表情识别模块，用于对检测到的脸部进行表情识别；
第一情绪识别模块，用于根据表情识别结果得出第一情绪识别结果。
一种可选的实施例中，所述第一处理模块包括Open CV计算机视觉库和人脸特征参数集、表情特征参数集。
一种可选的实施例中，所述第二处理模块，包括：
人体检测模块，用于对所述红外光图像中的目标个体进行检测；
热量分析模块，用于对检测到的目标个体的人体热量分布状态进行分析；
第二情绪识别模块，用于根据人体热量分布状态分析结果得出第二情绪识别结果。
一种可选的实施例中，所述第二处理模块包括Open CV计算机视觉库和人体特征参数集、人体热量分布特征参数集。
一种可选的实施例中，所述确定模块，具体用于：对所述第一情绪识别结果和所述第二情绪识别结果进行加权计算，根据加权计算结果确定所述目标个体的情绪。
一种可选的实施例中，所述摄像模块包括：
主镜头，包括可见光滤光片和红外光滤光片，所述可见光滤光片和所述红外光滤光片拼接设置以组成主镜头的光瞳面；
CCD传感器，用于成像；
微镜头阵列，用于将经由主镜头的电磁辐射成像于所述CCD传感器上。
一种头戴式显示装置，包括上述任一项所述的情绪识别装置；还包括：
第三处理模块，用于将所述情绪识别装置最终确定的情绪识别结果标注在所述可见光图像上；
显示模块，用于将标注有情绪识别结果的可见光图像进行显示，所述显示模块为增强现实的显示模块。
一种情绪识别方法，包括：
获取目标个体的可见光图像和红外光图像；
对所述可见光图像中的目标个体进行脸部情绪识别，以得到第一情绪识别结果；
根据人体热量检测分析技术，对所述红外光图像中的目标个体进行情绪识别，以得到第二情绪识别结果；
根据所述第一情绪识别结果和所述第二情绪识别结果，确定所述目标个体的情绪。
一种可选的实施例中，对所述可见光图像中的目标个体进行脸部情绪识别，以得到第一情绪识别结果，包括以下步骤：
对所述可见光图像中的目标个体进行脸部检测；
对检测到的脸部进行表情识别；
根据表情识别的结果得出第一情绪识别结果。
一种可选的实施例中，所述对可见光图像中的目标个体进行脸部情绪识别，是基于Open CV库函数，通过调用人脸特征参数集和表情特征参数集实现。
一种可选的实施例中，对所述红外光图像中的目标个体进行情绪识别分析，以得到第二情绪识别结果，具体包括：
对所述红外光图像中的目标个体进行检测；
对检测到的目标个体的人体热量分布状态进行分析；
根据人体热量分布状态的分析结果得出第二情绪识别结果。
一种可选的实施例中，所述对红外光图像中的目标个体进行情绪识别分析，是基于Open CV库函数，通过调用人体特征参数集、人体热量分布特征参数集实现。
一种可选的实施例中，根据所述第一情绪识别结果和所述第二情绪识别结果，确定所述目标个体的情绪，具体包括：
对所述第一情绪识别结果和所述第二情绪识别结果进行加权计算，根据加权计算结果确定所述目标个体的情绪。
一种可选的实施例中，所述获取目标个体的可见光图像和红外光图像，具体为通过一次成像同时获取目标个体的可见光图像和红外光图像。
一种电子设备，包括至少一个处理器、以及至少一个存储器，其中，所述存储器存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器执行上述任一项情绪识别方法中的步骤。
一种存储介质，其存储有可由计算设备执行的计算机程序，当所述程序在计算设备上运行时，使得所述计算设备执行上述任一项情绪识别方法中的步骤。
附图说明
图1为本发明实施例提供的一种情绪识别装置的结构框图；
图2为本发明实施例提供的一种情绪识别装置中第一处理模块的处理流程图；
图3为本发明实施例提供的一种情绪识别装置中第二处理模块的处理流程图；
图4为本发明实施例提供的一种情绪识别装置中摄像模块的结构原理示意图；
图5为本发明实施例提供的一种头戴式显示装置的结构示意图；
图6为本发明实施例提供的一种情绪识别方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提供了一种情绪识别装置，包括：
摄像模块1，用于获取目标个体的可见光图像和红外光图像；具体的，本发明实施例中的目标个体是指人体；
第一处理模块2，用于对可见光图像中的目标个体进行脸部情绪识别，以得到第一情绪识别结果；
第二处理模块3，用于根据人体热量检测分析技术，对红外光图像中的目标个体进行情绪识别，以得到第二情绪识别结果；
确定模块4，用于根据第一情绪识别结果和第二情绪识别结果，确定目标个体的情绪。
最新研究表明，人的情绪不仅会反应在表情上，也会改变人体的热量分布。本发明实施例提供的情绪识别装置中，可以同时获取待测目标个体的可见光图像和红外光图像，并分别对于上述两个图像进行分析处理，通过对可见光图像中的人脸表情进行分析得到第一情绪识别结果，通过对红外光图像中的目标个体的人体热量分布状态进行分析得到第二情绪识别结果，并综合上述两个情绪识别结果，确定目标个体的情绪；该情绪识别装置，采用图像技术，综合分析了目标个体的面部表情和人体热量分布，可以准确地识别目标个体的情绪，便于人们相互间更好的实现社会交际。
一种具体的实施例中，第一处理模块2，可以包括：
人脸检测模块，用于对可见光图像中的目标个体进行脸部检测；
表情识别模块，用于对检测到的脸部进行表情识别；
第一情绪识别模块，用于根据表情识别结果得出第一情绪识别结果。
具体的，通过人脸检测模块，可以确定人脸以及脸部各器官的位置和形状，通过提取特征点，并将特征点之间的几何关系(距离，角度等)作为特征参数输入分类器实现自动表情识别和情绪识别。
一种具体的实施例中，第一处理模块2可以包括Open CV计算机视觉库(Open CV是开源的计算机视觉库，具有开源，轻量，高效，跨平台等特点)；进一步的，第一处理模块2还包括第一参数集库，其中包括有脸部特征参数集，表情特征参数集等；具体的，人脸检测模块、表情识别模块和第一情绪识别模块基于Open CV计算机视觉库和第一参数集库实现其各自功能。
如图2所示，第一处理模块2的处理过程主要包括：101，图像缩放；102，图像灰度化；103，直方图均衡化；104，载入人脸特征参数集；105，构成级联分类器(Haar分类器)；106，输出人脸位置；107，载入表情特征参数集；108，构成支持向量机分类器；109，输出第一情绪识别结果。
可选的，通过摄像模块1获取的图像可以为视频流；接下来，对采用第一处理模块2对可见光图像进行处理分析的具体流程进行举例说明。首先，人脸检测基于Open CV实现，利用Open CV对视频流逐帧处理，每帧图像处理结果应在下一帧图像刷新之前得出。具体的，可以通过Open CV中的Haar分类器实现人脸位置的检测，可以包括以下步骤：首先对图像进行预处理，预处理包括图像缩放，图像灰度化和直方图均衡化三个步骤，其中图像缩放可选用双线性插值法(替代地可选用临近取样差值，三线性插值)；然后使用矩形滤波窗口，识别窗口内的类Haar(Haar-like)特征，对特征，即黑白区域像素之差进行阈值化处理，同时应用积分图像加速特征计算；接下来对特征进行分类，分类算法采用Boosting算法的自适应实用版本Ada Boost，载入Open CV的训练参数集Haar人脸特征参数集后，即可构建不同的分类器节点(弱分类器，即分类正确率略高于随机分类)，多个分配了不同权重的经过优化的弱分类器串联，就构成了级联分类器，也就是Haar分类器，通过该分类器可实现一般识别率和低误识率的人脸检测。接下来，载入表情特征参数集，构成支持向量机(SVM)分类器，实现目标个体人脸表情的识别，最后，根据表情与情绪的对应性，给出识别结果。
一种具体的实施例中，第二处理模块3，包括：
人体检测模块，用于对红外光图像中的目标个体进行检测；
热量分析模块，用于对检测到的目标个体的人体热量分布状态进行分析；
第二情绪识别模块，用于根据人体热量分布状态分析结果得出第二情绪识别结果。
具体的，通过人体检测模块，可以确定红外光图像中人体及人体各器官的位置和形状，通过分析各部位(即特征点)的热量分布，并将特征点和特征点处的热量值作为特征参数输入分类器中实现自动情绪识别。
一种具体的实施例中，第二处理模块3可以包括Open CV计算机视觉库；进一步的，第二处理模块3还包括第二参数集库，其中包括有人体特征参数集，人体热量分布特征参数集等；具体的，人体检测模块、热量分析模块和第二情绪识别模块基于Open CV计算机视觉库和第二参数集库实现其各自功能。
如图3所示，第二处理模块3的处理流程主要包括：201，图像缩放；202，图像灰度化；203，直方图均衡化；204，载入人体特征参数集；205，构成级联分类器(Haar分类器)；206，输出人体位置；207，载入人体热量分布特征参数集；208，构成支持向量机分类器；209，输出第二情绪识别结果。
可选的，基于Open CV和Haar分类器得到第二情绪识别结果的具体过程与得到第一情绪识别结果的过程基本相同；具体包括：对红外光图像依次进行图像缩放、图像灰度化和直方图均衡化等预处理，然后对图像特征进行分类，此分类过程中，与可见光图像处理步骤不同的是，需要载入不同的训练参数集，具体为载入人体特征参数集，构成Haar分类器，同理地，可以实现在灰度化的红外图像上进行人体检测。接下来，构成支持向量机(SVM)分类器的过程中，载入的训练参数集与可见光图像处理步骤中载入的也不同，具体的，红外光图像处理中需要载入人体热量分布特征参数集，同理地，通过构成支持向量机(SVM)分类器，实现对目标个体的人体热量分布状态的识别，并匹配该状态所对应的情绪，给出识别结果。
一种可选的实施例中，第一处理模块2和第二处理模块3可以共用一套Open CV计算机视觉库和Haar分类器；不同的是，第一处理模块2是基于Open CV库函数，调用第一参数集库中的参数集，对可见光图像进行处理和分析，以得到第一情绪识别结果；第二处理模块3是基于Open CV库函数，调用第二参数集库中的参数集，对红外光图像进行处理和分析，以得到第二情绪识别结果。
一种具体的实施例中，确定模块4，具体用于：对第一情绪识别结果和第二情绪识别结果进行加权计算，根据加权计算结果确定目标个体的情绪。
一种具体的实施例中，如图4所示，摄像模块1为光场相机，主要包括主镜头11、微镜头阵列12和CCD传感器13，其中：主镜头11包括滤光片阵列，具体的，滤光片阵列包括允许可见光通过的可见光滤光片111和允许红外光通过的红外光滤光片112，可见光滤光片111和红外光滤光片112拼接设置以组成主镜头11的光瞳面；CCD传感器13用于成像；微镜头阵列12用于将经由主镜头11的电磁辐射成像于CCD传感器13上。
如图4所示，目标A反射的可见光和发出的红外辐射通过前置光学系统(可简化为主透镜110)，主透镜110前放置滤光片阵列，主透镜110将光线聚焦于焦平面，焦平面处放置微透镜阵列12，微透镜阵列12作为散焦元件，将目标A的电磁辐射成像于CCD传感器13上，进行相对辐射校正和绝对辐射校正后，实现了经由一次成像同时获取目标A的可见光图像和红外光图像。具体的，目标A通过主镜头11以及每个微透镜成像后，在CCD传感器13上表现为一个宏像素B，滤光片阵列相当于将主镜头11分割为两个子孔径，分别对应可见光通道和红外光通道，当所探测目标A发出的电磁波辐射经过主镜头11，每个子孔径便通过不同波长滤光，为CCD传感器13上不同的像素所接收，从而将光场成像中的方向采样转换为光谱采样，实现一次曝光获取可见光图像与红外光图像。每个微透镜后所对应宏像素B上同一位置，即同名像素均为主镜头11上同一子孔径的成像，CCD传感器13上所有同名像素构成一幅子孔径图像，将两个子孔径图像分别提取，即可重构出目标A的可见光图像和红外光图像，图像经由相对辐射校正和绝对辐射校正后(相对辐射校正和绝对辐射校正参数矩阵由辐射标定获得)，成为可供情绪识别的图像。
可替代地，上述摄像模块1也可以是基于针孔阵列的光场相机和双摄像头系统。
本发明实施例还提供了一种头戴式显示装置，包括上述任一实施例的情绪识别装置。
进一步的，如图5所示，该头戴式显示装置还包括：
第三处理模块，用于将情绪识别装置最终确定的情绪识别结果标注在可见光图像上；即将情绪识别装置所识别的目标个体的情绪标注在目标个体的可见光图像上；
显示模块5，用于将标注有情绪识别结果的可见光图像进行显示，该显示模块5为增强现实的显示模块(AR)。
AR是指通过设备识别判断(二维、三维、GPS、体感、面部等识别物)将虚拟信息叠加在以识别物为基准的某个位置，并显示在设备屏幕上，可实时交互虚拟信息；总结起来即识别、虚实结合、实时交互。结合于本实施例中，虚拟信息即为可见光图像。
具体的，显示模块5可以包括微显示器51和透镜组52，叠加了目标个体情绪标签的可见光图像显示在微显示器51上，微显示器51的画面经由透镜组52被人眼C所感知，从而营造一种混合现实的体验。
可选的，可见光图像为视频流时，目标情绪标签可以叠加在可见光图像上相应的人脸或人体位置附近，逐帧输出至头戴式显示设备的微显示器51上，成为增强现实的视频向用户输出。
该头戴式显示装置可以为眼镜式结构，包括支撑框架6；摄像模块1和显示模块5均可以安装于支撑框架6上；其他的模块，如第一处理模块2、第二处理模块3、第三处理模块、确定模块4等可以集成于芯片上并隐藏设置。
可选的，除了头戴式显示装置，本发明实施例提供的情绪识别装置还可以应用于其它领域和设备中，如人工智能机器人。
另外，本发明实施例还提供了一种情绪识别方法，如图6所示，该方法包括：
步骤301，获取目标个体的可见光图像和红外光图像；
步骤302，对可见光图像中的目标个体进行脸部情绪识别，以得到第一情绪识别结果；
步骤303，根据人体热量检测分析技术，对红外光图像中的目标个体进行情绪识别，以得到第二情绪识别结果；
步骤304，根据第一情绪识别结果和第二情绪识别结果，确定目标个体的情绪。
一种具体的实施例中，步骤302，可以包括以下步骤：
对可见光图像中的目标个体进行脸部检测；
对检测到的脸部进行表情识别；
根据表情识别的结果得出第一情绪识别结果。
一种可选的实施例中，步骤302基于Open CV计算机视觉库实现。如图2所示，步骤302的处理过程主要包括：101，图像缩放；102，图像灰度化；103，直方图均衡化；104，载入人脸特征参数集；105，构成级联分类器(Haar分类器)；106，输出人脸位置；107，载入表情特征参数集；108，构成支持向量机分类器；109，输出第一情绪识别结果。
可选的，步骤301中获取的图像可以为视频流；接下来，对步骤302的具体流程进行举例说明。首先，人脸检测基于Open CV实现，利用Open CV对视频流逐帧处理，每帧图像处理结果应在下一帧图像刷新之前得出。具体的，可以通过Open CV库函数中的Haar分类器实现人脸位置的检测，可以包括以下步骤：首先对图像进行预处理，预处理包括图像缩放，图像灰度化和直方图均衡化三个步骤，其中图像缩放可选用双线性插值法(替代地可选用临近取样差值，三线性插值)；然后使用矩形滤波窗口，识别窗口内的类Haar(Haar-like)特征，对特征，即黑白区域像素之差进行阈值化处理，同时应用积分图像加速特征计算；接下来对特征进行分类，分类算法采用Boosting算法的自适应实用版本Ada Boost，载入OpenCV的训练参数集Haar人脸特征参数集后，即可构建不同的分类器节点(弱分类器，即分类正确率略高于随机分类)，多个分配了不同权重的经过优化的弱分类器串联，就构成了级联分类器，也就是Haar分类器，通过该分类器可实现一般识别率和低误识率的人脸检测。接下来，载入表情特征参数集，构成支持向量机(SVM)分类器，实现目标个体人脸表情的识别，最后，根据表情与情绪的对应性，给出识别结果。
一种具体的实施例中，步骤303，具体可以包括：
对红外光图像中的目标个体进行检测；
对检测到的目标个体的人体热量分布状态进行分析；
根据人体热量分布状态的分析结果得出第二情绪识别结果。
一种可选的实施例中，步骤303基于OpenCV计算机视觉库实现。如图3所示，步骤303的处理流程主要包括：201，图像缩放；202，图像灰度化；203，直方图均衡化；204，载入人体特征参数集；205，构成级联分类器(Haar分类器)；206，输出人体位置；207，载入人体热量分布特征参数集；208，构成支持向量机分类器；209，输出第二情绪识别结果。
可选的，基于Open CV得到第二情绪识别结果的具体过程与得到第一情绪识别结果的过程基本相同，具体包括：对红外光图像依次进行图像缩放、图像灰度化和直方图均衡化等预处理，然后对图像特征进行分类，此分类过程中，与可见光图像处理步骤不同的是，需要载入不同的训练参数集，具体为载入人体特征参数集，构成Haar分类器，同理地，可以实现在灰度化的红外图像上进行人体检测。接下来，构成支持向量机(SVM)分类器的过程中，载入的训练参数集与可见光图像处理步骤中载入的也不同，具体的，红外光图像处理中需要载入人体热量分布特征参数集，同理地，通过构成支持向量机(SVM)分类器，实现对目标个体的人体热量分布状态的识别，并匹配该状态所对应的情绪，给出识别结果。
一种可选的实施例中，步骤302和步骤303可以基于同一套Open CV计算机视觉库和Haar分类器实现；不同的是，步骤302是基于Open CV库函数，通过调用人脸特征参数集和表情特征参数集，对可见光图像进行处理和分析，以得到第一情绪识别结果；步骤303是基于Open CV库函数，通过调用人体特征参数集和人体热量分布特征参数集，对红外光图像进行处理和分析，以得到第二情绪识别结果。
一种具体的实施例中，步骤304，具体可以包括：
对第一情绪识别结果和第二情绪识别结果进行加权计算，根据加权计算结果确定目标个体的情绪。
一种具体的实施例中，步骤301中，获取目标个体的可见光图像和红外光图像，具体可以为通过一次成像同时获取目标个体的可见光图像和红外光图像。可选的，步骤301可以采用光场相机实现。
另外，本发明实施例还提供了一种电子设备，该电子设备包括至少一个处理器、以及至少一个存储器，其中，存储器存储有计算机程序，当程序被处理器执行时，使得处理器执行上述任一实施例中的情绪识别方法的步骤。
本发明实施例还提供了一种存储介质，其存储有可由计算设备执行的计算机程序，当程序在计算设备上运行时，使得计算设备执行上述任一实施例中的情绪识别方法的步骤。
显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (17)

1.一种情绪识别装置，其特征在于，包括：
摄像模块，用于获取目标个体的可见光图像和红外光图像；
第一处理模块，用于对所述可见光图像中的目标个体进行脸部情绪识别，以得到第一情绪识别结果；
第二处理模块，用于根据人体热量检测分析技术，对所述红外光图像中的目标个体进行情绪识别，以得到第二情绪识别结果；
确定模块，用于根据所述第一情绪识别结果和所述第二情绪识别结果，确定所述目标个体的情绪。
2.如权利要求1所述的情绪识别装置，其特征在于，所述第一处理模块，包括：
人脸检测模块，用于对所述可见光图像中的目标个体进行脸部检测；
表情识别模块，用于对检测到的脸部进行表情识别；
第一情绪识别模块，用于根据表情识别结果得出第一情绪识别结果。
3.如权利要求2所述的情绪识别装置，其特征在于，所述第一处理模块包括Open CV计算机视觉库和人脸特征参数集、表情特征参数集。
4.如权利要求1所述的情绪识别装置，其特征在于，所述第二处理模块，包括：
人体检测模块，用于对所述红外光图像中的目标个体进行检测；
热量分析模块，用于对检测到的目标个体的人体热量分布状态进行分析；
第二情绪识别模块，用于根据人体热量分布状态分析结果得出第二情绪识别结果。
5.如权利要求4所述的情绪识别装置，其特征在于，所述第二处理模块包括Open CV计算机视觉库和人体特征参数集、人体热量分布特征参数集。
6.如权利要求1所述的情绪识别装置，其特征在于，
所述确定模块，具体用于：对所述第一情绪识别结果和所述第二情绪识别结果进行加权计算，根据加权计算结果确定所述目标个体的情绪。
7.如权利要求1-6任一项所述的情绪识别装置，其特征在于，所述摄像模块包括：
主镜头，包括可见光滤光片和红外光滤光片，所述可见光滤光片和所述红外光滤光片拼接设置以组成主镜头的光瞳面；
CCD传感器，用于成像；
微镜头阵列，用于将经由主镜头的电磁辐射成像于所述CCD传感器上。
8.一种头戴式显示装置，其特征在于，包括权利要求1-7任一项所述的情绪识别装置；还包括：
第三处理模块，用于将所述情绪识别装置最终确定的情绪识别结果标注在所述可见光图像上；
显示模块，用于将标注有情绪识别结果的可见光图像进行显示，所述显示模块为增强现实的显示模块。
9.一种情绪识别方法，其特征在于，包括：
获取目标个体的可见光图像和红外光图像；
对所述可见光图像中的目标个体进行脸部情绪识别，以得到第一情绪识别结果；
根据人体热量检测分析技术，对所述红外光图像中的目标个体进行情绪识别，以得到第二情绪识别结果；
根据所述第一情绪识别结果和所述第二情绪识别结果，确定所述目标个体的情绪。
10.如权利要求9所述的方法，其特征在于，对所述可见光图像中的目标个体进行脸部情绪识别，以得到第一情绪识别结果，包括以下步骤：
对所述可见光图像中的目标个体进行脸部检测；
对检测到的脸部进行表情识别；
根据表情识别的结果得出第一情绪识别结果。
11.如权利要求10所述的方法，其特征在于，所述对可见光图像中的目标个体进行脸部情绪识别，是基于OpenCV库函数，通过调用人脸特征参数集和表情特征参数集实现。
12.如权利要求9所述的方法，其特征在于，对所述红外光图像中的目标个体进行情绪识别分析，以得到第二情绪识别结果，具体包括：
对所述红外光图像中的目标个体进行检测；
对检测到的目标个体的人体热量分布状态进行分析；
根据人体热量分布状态的分析结果得出第二情绪识别结果。
13.如权利要求12所述的方法，其特征在于，所述对红外光图像中的目标个体进行情绪识别分析，是基于Open CV库函数，通过调用人体特征参数集和人体热量分布特征参数集实现。
14.如权利要求9所述的方法，其特征在于，根据所述第一情绪识别结果和所述第二情绪识别结果，确定所述目标个体的情绪，具体包括：
对所述第一情绪识别结果和所述第二情绪识别结果进行加权计算，根据加权计算结果确定所述目标个体的情绪。
15.如权利要求9-14任一项所述的方法，其特征在于，所述获取目标个体的可见光图像和红外光图像，具体为通过一次成像同时获取目标个体的可见光图像和红外光图像。
16.一种电子设备，其特征在于，包括至少一个处理器、以及至少一个存储器，其中，所述存储器存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器执行权利要求9-15任一权利要求所述方法的步骤。
17.一种存储介质，其特征在于，其存储有可由计算设备执行的计算机程序，当所述程序在计算设备上运行时，使得所述计算设备执行权利要求9-15任一项所述方法的步骤。
CN201811028073.6A 2018-09-04 2018-09-04 情绪识别装置及方法、头戴式显示设备、存储介质 Active CN109145861B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811028073.6A CN109145861B (zh) 2018-09-04 2018-09-04 情绪识别装置及方法、头戴式显示设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811028073.6A CN109145861B (zh) 2018-09-04 2018-09-04 情绪识别装置及方法、头戴式显示设备、存储介质

Publications (2)

Publication Number Publication Date
CN109145861A true CN109145861A (zh) 2019-01-04
CN109145861B CN109145861B (zh) 2021-01-22

Family

ID=64826951

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811028073.6A Active CN109145861B (zh) 2018-09-04 2018-09-04 情绪识别装置及方法、头戴式显示设备、存储介质

Country Status (1)

Country Link
CN (1) CN109145861B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110135357A (zh) * 2019-05-17 2019-08-16 西南大学 一种基于远程遥感的幸福感实时检测方法
CN110598607A (zh) * 2019-09-02 2019-12-20 中国航天员科研训练中心 非接触式与接触式协同的实时情绪智能监测系统
CN112597938A (zh) * 2020-12-29 2021-04-02 杭州海康威视系统技术有限公司 一种表情检测方法、装置、电子设备及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101937605A (zh) * 2010-09-08 2011-01-05 无锡中星微电子有限公司 基于人脸检测的睡眠监控系统
CN102402679A (zh) * 2010-09-07 2012-04-04 北京北科慧识科技股份有限公司 非接触式掌纹掌脉识别系统
CN102789114A (zh) * 2011-05-18 2012-11-21 中国科学院微电子研究所 一种可见-红外双通摄像机
CN104065898A (zh) * 2014-06-05 2014-09-24 深圳市九洲电器有限公司 一种电视节目控制方法及装置
CN105681900A (zh) * 2015-12-31 2016-06-15 宇龙计算机通信科技(深圳)有限公司 一种信息处理方法及移动终端
CN106056594A (zh) * 2016-05-27 2016-10-26 四川桑莱特智能电气设备股份有限公司 一种基于双光谱的可见光图像提取系统与方法
CN106343977A (zh) * 2016-09-21 2017-01-25 中国人民解放军国防科学技术大学 基于多传感器融合的无人机操作员状态监视系统
US20170160813A1 (en) * 2015-12-07 2017-06-08 Sri International Vpa with integrated object recognition and facial expression recognition
CN107256392A (zh) * 2017-06-05 2017-10-17 南京邮电大学 一种联合图像、语音的全面情绪识别方法
CN107320114A (zh) * 2017-06-29 2017-11-07 京东方科技集团股份有限公司 基于脑电波检测的拍摄处理方法、系统及其设备
CN108377418A (zh) * 2018-02-06 2018-08-07 北京奇虎科技有限公司 一种视频标注处理方法和装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102402679A (zh) * 2010-09-07 2012-04-04 北京北科慧识科技股份有限公司 非接触式掌纹掌脉识别系统
CN101937605A (zh) * 2010-09-08 2011-01-05 无锡中星微电子有限公司 基于人脸检测的睡眠监控系统
CN102789114A (zh) * 2011-05-18 2012-11-21 中国科学院微电子研究所 一种可见-红外双通摄像机
CN104065898A (zh) * 2014-06-05 2014-09-24 深圳市九洲电器有限公司 一种电视节目控制方法及装置
US20170160813A1 (en) * 2015-12-07 2017-06-08 Sri International Vpa with integrated object recognition and facial expression recognition
CN105681900A (zh) * 2015-12-31 2016-06-15 宇龙计算机通信科技(深圳)有限公司 一种信息处理方法及移动终端
CN106056594A (zh) * 2016-05-27 2016-10-26 四川桑莱特智能电气设备股份有限公司 一种基于双光谱的可见光图像提取系统与方法
CN106343977A (zh) * 2016-09-21 2017-01-25 中国人民解放军国防科学技术大学 基于多传感器融合的无人机操作员状态监视系统
CN107256392A (zh) * 2017-06-05 2017-10-17 南京邮电大学 一种联合图像、语音的全面情绪识别方法
CN107320114A (zh) * 2017-06-29 2017-11-07 京东方科技集团股份有限公司 基于脑电波检测的拍摄处理方法、系统及其设备
CN108377418A (zh) * 2018-02-06 2018-08-07 北京奇虎科技有限公司 一种视频标注处理方法和装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110135357A (zh) * 2019-05-17 2019-08-16 西南大学 一种基于远程遥感的幸福感实时检测方法
CN110135357B (zh) * 2019-05-17 2021-09-21 西南大学 一种基于远程遥感的幸福感实时检测方法
CN110598607A (zh) * 2019-09-02 2019-12-20 中国航天员科研训练中心 非接触式与接触式协同的实时情绪智能监测系统
CN110598607B (zh) * 2019-09-02 2022-04-15 中国航天员科研训练中心 非接触式与接触式协同的实时情绪智能监测系统
CN112597938A (zh) * 2020-12-29 2021-04-02 杭州海康威视系统技术有限公司 一种表情检测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN109145861B (zh) 2021-01-22

Similar Documents

Publication Publication Date Title
CN109300121B (zh) 一种心血管疾病诊断模型的构建方法、系统及该诊断装置
CN108509941B (zh) 情绪信息生成方法和装置
CN104123543B (zh) 一种基于人脸识别的眼球运动识别方法
Wang et al. Investigation into recognition algorithm of helmet violation based on YOLOv5-CBAM-DCN
CN110175501A (zh) 基于人脸识别的多人场景专注度识别方法
CN109799073B (zh) 一种光学畸变测量装置及方法、图像处理系统、电子设备和显示设备
CN109145861A (zh) 情绪识别装置及方法、头戴式显示设备、存储介质
CN116452937A (zh) 基于动态卷积与注意力机制的多模态特征目标检测方法
CN115131503A (zh) 一种虹膜三维识别的健康监测方法及其系统
CN114170537A (zh) 一种多模态三维视觉注意力预测方法及其应用
CN111654694A (zh) 图像处理算法的质量评测方法、装置及电子设备
CN113469099A (zh) 目标检测模型的训练方法、检测方法、装置、设备及介质
CN111311565A (zh) 基于眼部oct图像的视杯和视盘定位点检测方法及装置
CN113065637B (zh) 一种感知网络及数据处理方法
CN114332993A (zh) 人脸识别方法、装置、电子设备及计算机可读存储介质
CN112508863B (zh) 一种基于rgb图像和msr图像双通道的目标检测方法
CN115187982B (zh) 藻类检测方法、装置及终端设备
CN114998980B (zh) 一种虹膜检测方法、装置、电子设备及存储介质
CN108399365B (zh) 利用瞳孔直径检测活体人脸的方法及其设备
Putro et al. Fast eye detector using CPU based lightweight convolutional neural network
CN113361336B (zh) 基于注意力机制的视频监控场景下行人视图属性的定位与识别方法
Paul et al. A review on computational methods based on machine learning and deep learning techniques for malaria detection
Shang et al. Real-time Accurate Object Counting for Smart Farms
CN109918988A (zh) 一种结合成像仿真技术的可移植的无人机检测系统
CN114092844A (zh) 一种基于生成对抗网络的多波段图像目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant