CN116825365A - 基于多角度微表情的心理健康分析方法 - Google Patents
基于多角度微表情的心理健康分析方法 Download PDFInfo
- Publication number
- CN116825365A CN116825365A CN202311101926.5A CN202311101926A CN116825365A CN 116825365 A CN116825365 A CN 116825365A CN 202311101926 A CN202311101926 A CN 202311101926A CN 116825365 A CN116825365 A CN 116825365A
- Authority
- CN
- China
- Prior art keywords
- expression
- emotion
- micro
- image
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 48
- 230000004630 mental health Effects 0.000 title claims abstract description 24
- 230000014509 gene expression Effects 0.000 claims abstract description 92
- 230000008451 emotion Effects 0.000 claims abstract description 77
- 230000003287 optical effect Effects 0.000 claims abstract description 37
- 230000001815 facial effect Effects 0.000 claims abstract description 23
- 230000008909 emotion recognition Effects 0.000 claims abstract description 17
- 238000010195 expression analysis Methods 0.000 claims abstract description 13
- 238000012544 monitoring process Methods 0.000 claims abstract description 9
- 238000007781 pre-processing Methods 0.000 claims abstract description 5
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 4
- 230000008921 facial expression Effects 0.000 claims description 51
- 230000008859 change Effects 0.000 claims description 36
- 238000000034 method Methods 0.000 claims description 28
- 239000013598 vector Substances 0.000 claims description 13
- 230000009323 psychological health Effects 0.000 claims description 12
- 238000006073 displacement reaction Methods 0.000 claims description 9
- 238000012216 screening Methods 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 claims description 7
- 210000000887 face Anatomy 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 238000013135 deep learning Methods 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 claims description 4
- 210000004709 eyebrow Anatomy 0.000 claims description 4
- 210000000744 eyelid Anatomy 0.000 claims description 4
- 210000004209 hair Anatomy 0.000 claims description 4
- 210000000088 lip Anatomy 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 210000001097 facial muscle Anatomy 0.000 claims description 3
- 238000005429 filling process Methods 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000003340 mental effect Effects 0.000 abstract description 3
- 230000002596 correlated effect Effects 0.000 abstract 1
- 238000012549 training Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/176—Dynamic expression
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Pathology (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开了基于多角度微表情的心理健康分析方法，包括图像获取单元、表情识别单元、存储单元、表情分析单元、表情比对单元、情绪识别单元和情绪分析单元，首先从左、中、右的三个维度自动识别人脸，锁定人脸，并在不同的情境下捕捉若干人脸情绪表情图像，建立个性化标准表情库，对三个维度的表情图像序列进行预处理，使用关键点特征和光流特征双通道识别用户微表情，建立精细微表情与心理情绪关联模型，得到关联的心理情绪，合成完整表情图像序列，比对不同情境下的表情变化，分析用户情绪的动态变化，实时监测与评定心理健康状态。本发明通过从三个维度捕捉用户微表情并合成3D人像进行综合分析，而非平面微表情，增加识别的准确性。
Description
技术领域
本发明涉及微表情分析技术领域，具体为基于多角度微表情的心理健康分析方法。
背景技术
微表情传达着各种情绪，并且简短、不易察觉、不易掩饰，人可以通过控制情感来掩盖内心的真实想法，由于微表情有着不受控制，持续时间短且活动幅度小的特点，所以它可以泄露人们压抑或试图隐藏的真实情绪，而现有技术中利用微表情分析心理健康大多是对平面的微表情进行分析，微表情识别的准确性得不到保障。
现有的心理健康分析方法存在的缺陷是：
1、专利文件JP2022189703A中，主要考虑如何通过面部表情变化速度来估计用户情绪，并没有考虑到现有的基于多角度微表情来分析心理健康时大多是对平面的微表情进行分析，识别的准确性较差；
2、专利文件JP2020057111A中，主要考虑如何提高面部表情识别的准确性，并没有考虑到现有的基于多角度微表情来分析心理健康时大多是将截取的面部表情信息与大众化的表情库的比对，比对分析的准确性较差；
3、专利文件JP2019532374A中，主要考虑如何提高用户的使用感受，并没有考虑到现有的基于多角度微表情的心理健康分析方法在分析用户心理健康时情绪识别的精确度得不到保障；
4、专利文件CN112232191A中，主要考虑如何提高微表情识别的速度和准确性，并没有考虑到现有的基于多角度微表情的心理健康分析方法在分析用户心理健康时不方便动态监测心理情绪。
发明内容
本发明的目的在于提供基于多角度微表情的心理健康分析方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：基于多角度微表情的心理健康分析方法，包括图像获取单元、表情识别单元、存储单元、表情分析单元、表情比对单元、情绪识别单元和情绪分析单元，所述图像获取单元用于获取视频图像并筛选出人脸表情图像，所述表情识别单元用于识别处理人脸表情图像获得纯人脸情绪图像，所述存储单元用于存储视频图像和纯人脸情绪图像，所述表情分析单元用于对纯人脸情绪图像进行关键点分析得到人脸表情特征图像，所述表情比对单元用于比对不同情境下获取的人脸表情特征图像，所述情绪识别单元用于识别比对后的人脸表情特征图像中的情绪特征，所述情绪分析单元用于分析情绪特征来观测用户情绪的动态变化；
所述图像获取单元包括房间内布设三个不同角度的摄像头，且摄像头用于从左、中、右三个维度自动识别人脸，便于对同一时刻捕捉到的图像进行3D建模操作，所述摄像头的内部内嵌AI智能算法用于筛选人脸表情图像；
所述基于多角度微表情的心理健康分析方法如下：
S1、在分析前，首先在房间内设置三个不同角度的摄像头，从左、中、右的三个维度自动识别人脸；
S2、识别人脸后，锁定人脸，并在不同的情境下捕捉若干人脸表情图像，建立个性化标准表情库；
S3、对三个维度的表情图像序列进行预处理；
S4、使用关键点特征和光流特征双通道识别用户微表情；
S5、建立精细微表情与心理情绪关联模型，得到关联的心理情绪；
S6、合成完整表情图像序列；
S7、比对不同情境下的表情变化；
S8、情绪识别判定；
S9、结合时间维度，分析用户情绪的动态变化，实时监测与评定心理健康状态。
优选的，所述步骤S2中，还包括如下步骤：
S21、面向不同的用户提出不同的指示，使用户做出包括微笑、大笑、苦笑和勉强笑的表情，存入个性化标准表情库；
S22、面向用户询问问题，并通过摄像头记录，然后通过AI智能算法筛选出人脸表情图像，存入个性化标准表情库；
S23、用户在手机或电脑上填写问卷调查，在填写过程中使用手机或电脑上的镜头来采集记录人脸微表情变化，并通过摄像头记录，然后通过AI智能算法筛选出人脸表情图像，存入个性化标准表情库。
优选的，所述步骤S3中，还包括如下步骤：
S31、对获得的人脸表情图像进行剪切处理，去除表情图像中头发、背景和轮廓不相关的区域，并对人脸表情图像进行尺度归一化和灰度归一化处理，获得纯人脸情绪图像。
优选的，所述步骤S4中，还包括如下步骤：
S41、使用关键点特征，进行表情特征提取，提取面部关键特征点的位置作为特征区域，关键特征点包括眉毛、眼睑、嘴唇和下巴；
S42、对步骤S41中获取的关键特征点进行强度分级，生成人脸表情特征图像，接着使用光流特征，计算光流，分析视频人物面部表情的变化信息，实现时间维度的深度学习，优化人脸微表情的识别过程。
优选的，所述步骤S5中，还包括如下步骤：
S51、情绪识别采用特征脸法，将一部分图集转换为一个特征向量集，运用投影点在此空间内相应的方向和长度判断位置，相同的特征向量用PCA技术做空间变化，提高人脸情绪识别的效率。
优选的，所述步骤S6中，还包括如下步骤：
S61、通过对同一时刻捕捉到的图像进行3D建模，还原用户面部肌肉变化。
优选的，所述步骤S7中，还包括如下步骤：
S71、针对步骤S21和S22中得到的个性化表情库，通过步骤S61获得的微表情拉出进行比对，判断是否存在虚假微表情；
S72、针对步骤S23中得到的个性化表情库，将在手机或电脑上填写问卷调查时，通过手机电脑自带的镜头获取人脸的微表情变化与通过步骤S61后获得的微表情拉出进行比对，通过平面和3D两种微表情分析方法来对相同情境下的微表情进行比对，分析判断用户的具体情绪。
优选的，所述步骤S8中，还包括如下步骤：
S81、用步骤S71中经过比对后的微表情特征图像与数据库中的标准表情图像进行对比分析，并识别判定用户的情绪，建立评分机制，并规定正面情绪为正分数，负面情绪为负分数，分数绝对值大小与情绪起伏程度成正相关，计分数为M：
便于动态监测并绘制波动图。
优选的，在所述步骤S42中，进行以下假设：
（1）亮度是恒定的，图像中对象的像素亮度在连续帧之间不会改变；
（2）短距离运动，相邻帧之间的时间足够短，并且人物表情变化幅度很小；
（3）空间一致性，相邻像素具有相似的表情运动；
（4）恒定亮度，某些像素的跟踪不随时间变化，t时刻像素点（x，y）的像素值：
F（x,t）=I（x（t），t）=I（x（d+dt），t+dt）
其中x（t）表示t时刻光流场的x分量，当被跟踪像素的灰度不随时间变化时：
当相邻帧之间存在少量运动时，运动的变化在一维空间内通过：
其中，lx是图像的偏导数，lt是图像随时间的导数，v是所需速度；
（5）假设光流在短时间T内，前后两帧满足：
其中D为变形矩阵，d称为位移向量，D表示两像素窗口块移动后的变形量：
J（x+d）=I（x）
在相邻帧的像素窗口下，构造误差函数：
ε=∬W［J（Ax+d）-I（x）］2w（x）dx
其中w（x）是权重函数，分别用于对变量d和D进行微分：
其中
光流u=Dx+d，然后对运动后的像素点进行泰勒展开：
其中g为光流的估计值，u是原图像位移，gT(u)为T时刻下通过计算图像的位移并结合光流的估计值来得到光流的准确值；
给出了平移运动模型的结果，设D=0：
其中Z是2×2矩阵，e是2×1向量，然后就能够通过计算来获取图像视频中相邻帧之间的人物表情变化信息。
与现有技术相比，本发明的有益效果是：
1、本发明通过布设三个不同角度的摄像头，在通过微表情分析心理健康时能够从三个维度捕捉用户微表情并合成3D人像进行综合分析，而非平面微表情，增加识别的准确性。
2.本发明通过在不同的情境下捕捉人脸情绪表情图像，并建立个性化表情体系，更加精准，自成一套衡量判断体系，而非大众化的表情库，增加了判断准确率，降低误判的概率。
3.本发明通过在获取人脸表情图像后，对关键特征点进行强度分级，生成表情特征图像，并将人脸关键点和光流两种特征结合起来识别微表情，在一定范围内增加识别精确度，从而在一定程度上能够实现时间维度的深度学习，优化识别过程。
4.本发明通过建立精细微表情与心理情绪关联模型，得到关联的心理情绪，准确定位人脸情绪特征，同时对心理情绪进行赋分，便于动态监测并绘制波动图，在一定程度上能够提高分析用户情绪动态变化的便捷性。
附图说明
图1为本发明的系统图；
图2为本发明的流程图；
图3为本发明的表情识别单元和表情分析单元的流程示意图；
图4为本发明的图像获取单元的流程示意图；
图5为本发明的表情分析单元的流程图；
图6为本发明的分析人物表情变化信息的流程示意图；
图7为本发明的情绪分数波动流程示意图；
图8为本发明的表情比对单元流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一：
请参阅图1和图2，基于多角度微表情的心理健康分析方法，包括图像获取单元、表情识别单元、存储单元、表情分析单元、表情比对单元、情绪识别单元和情绪分析单元，图像获取单元用于获取视频图像并筛选出人脸表情图像，表情识别单元用于识别处理人脸表情图像获得纯人脸情绪图像，存储单元用于存储视频图像和纯人脸情绪图像，表情分析单元用于对纯人脸情绪图像进行关键点分析得到人脸表情特征图像，表情比对单元用于比对不同情境下获取的人脸表情特征图像，情绪识别单元用于识别比对后的人脸表情特征图像中的情绪特征，情绪分析单元用于分析情绪特征来观测用户情绪的动态变化；
图像获取单元包括房间内布设三个不同角度的摄像头，且摄像头用于从左、中、右三个维度自动识别人脸，便于对同一时刻捕捉到的图像进行3D建模操作，摄像头的内部内嵌AI智能算法用于筛选人脸表情图像；
基于多角度微表情的心理健康分析方法如下：
S1、在分析前，首先在房间内设置三个不同角度的摄像头，从左、中、右的三个维度自动识别人脸；
S2、识别人脸后，锁定人脸，并在不同的情境下捕捉若干人脸表情图像，建立个性化标准表情库；
S3、对三个维度的表情图像序列进行预处理；
S4、使用关键点特征和光流特征双通道识别用户微表情；
S5、建立精细微表情与心理情绪关联模型，得到关联的心理情绪；
S6、合成完整表情图像序列；
S7、比对不同情境下的表情变化；
S8、情绪识别判定；
S9、结合时间维度，分析用户情绪的动态变化，实时监测与评定心理健康状态。
进一步，首先在房间内布设三个不同角度的摄像头，在通过微表情分析心理健康时能够从三个维度捕捉用户微表情并合成3D人像进行综合分析，合成精细化的时刻微表情，而非平面微表情，增加识别的准确性，并在捕捉用户人脸图像时，设定多种不同的情境，使得摄像头能够捕捉不同情境下的人脸图像，并进行比对分析，从而提高人脸情绪表情识别的准确性，进而能够为后续的心理健康分析提供便利。
实施例二：
请参阅图3，步骤S3中，还包括如下步骤：
S31、对获得的人脸表情图像进行剪切处理，去除表情图像中头发、背景和轮廓不相关的区域，并对人脸表情图像进行尺度归一化和灰度归一化处理，获得纯人脸情绪图像。
步骤S5中，还包括如下步骤：
S51、情绪识别采用特征脸法，将一部分图集转换为一个特征向量集，运用投影点在此空间内相应的方向和长度判断位置，相同的特征向量用PCA技术做空间变化，提高人脸情绪识别的效率。
步骤S6中，还包括如下步骤：
S61、通过对同一时刻捕捉到的图像进行3D建模，还原用户面部肌肉变化。
进一步，在获得纯人脸情绪图像后，分别选择每个微表情序列的起始帧和峰值帧进行预处理，然后提取人脸关键点为凸显人脸关键区域，同时避免光照变化影响，将人脸图片与人脸关键点分离，然后将两帧关键点叠加输入到预训练好的ResNet-10中进行训练，得到人脸关键点特征，使用ELRCN模型，通过叠加光流图像，并通过叠加深度特征实现时间维度的学习，分别计算每个微表情序列中起始帧到峰值帧的光流，将水平光流和垂直光流与光学应变、光流幅值、图片灰度值三者其一进行通道拼接，得到一种基于光流的三维特征，将其送入到预训练好的ResNet-10中进行训练，将双流通道的输出特征向量进行合并，得到最终分类输出，通过三个阶段实现了对图像数据的特征提取、识别分析，提高了图像情绪识别率。
实施例三：
请参阅图4和图7，步骤S2中，还包括如下步骤：
S21、面向不同的用户提出不同的指示，使用户做出包括微笑、大笑、苦笑和勉强笑的表情，存入个性化标准表情库；
S22、面向用户询问问题，并通过摄像头记录，然后通过AI智能算法筛选出人脸表情图像，存入个性化标准表情库；
S23、用户在手机或电脑上填写问卷调查，在填写过程中使用手机或电脑上的镜头来采集记录人脸微表情变化，并通过摄像头记录，然后通过AI智能算法筛选出人脸表情图像，存入个性化标准表情库。
进一步，在获取人脸表情图像时，能够根据使用需要选择不同的获取方式，还能够在不同情境下获取不知情的同一用户的面部微表情，首先当检测用户的心理健康时，首先让用户在手机或者电脑上填写问卷调查，然后利用手机或电脑上的镜头来获取用户的人脸表情图像，并在此过程中通过提前设置的三组摄像头来从不同的维度获取3D的人脸表情图像，从而能够方便后续对同一情境下的微表情进行分析比对，接着面向用户进行提问或让用户根据指令做出相对应的表情，并通过摄像头获取人脸表情图像，从而建立个性化标准表情库。
实施例四：
请参阅图5，步骤S8中，还包括如下步骤：
S81、用步骤S71中经过比对后的微表情特征图像与数据库中的标准表情图像进行对比分析，并识别判定用户的情绪，建立评分机制，并规定正面情绪为正分数，负面情绪为负分数，分数绝对值大小与情绪起伏程度成正相关，计分数为M：
便于动态监测并绘制波动图。
进一步，在识别分析完人脸微表情后，建立精细微表情与心理情绪关联模型，得到关联的心理情绪，准确定位人脸情绪特征，同时对心理情绪进行赋分，便于动态监测并绘制波动图，从而能够提高分析用户情绪动态变化的便捷性。
实施例五：
请参阅图6，步骤S4中，还包括如下步骤：
S41、使用关键点特征，进行表情特征提取，提取面部关键特征点的位置作为特征区域，关键特征点包括眉毛、眼睑、嘴唇和下巴；
S42、对步骤S41中获取的关键特征点进行强度分级，生成人脸表情特征图像，接着使用光流特征，计算光流，分析视频人物面部表情的变化信息，实现时间维度的深度学习，优化人脸微表情的识别过程，在步骤S42中，进行以下假设：
（1）亮度是恒定的，图像中对象的像素亮度在连续帧之间不会改变；
（2）短距离运动，相邻帧之间的时间足够短，并且人物表情变化幅度很小；
（3）空间一致性，相邻像素具有相似的表情运动；
（4）恒定亮度，某些像素的跟踪不随时间变化，t时刻像素点（x，y）的像素值：
F（x,t）=I（x（t），t）=I（x（d+dt），t+dt）
其中x（t）表示t时刻光流场的x分量，当被跟踪像素的灰度不随时间变化时：
当相邻帧之间存在少量运动时，运动的变化在一维空间内通过：
其中，lx是图像的偏导数，lt是图像随时间的导数，v是所需速度；
（5）假设光流在短时间T内，前后两帧满足：
其中D为变形矩阵，d称为位移向量，D表示两像素窗口块移动后的变形量：
J（x+d）=I（x）
在相邻帧的像素窗口下，构造误差函数：
ε=∬W［J（Ax+d）-I（x）］2w（x）dx
其中w（x）是权重函数，分别用于对变量d和D进行微分：
其中
光流u=Dx+d，然后对运动后的像素点进行泰勒展开：
其中g为光流的估计值，u是原图像位移，gT(u)为T时刻下通过计算图像的位移并结合光流的估计值来得到光流的准确值；
给出了平移运动模型的结果，设D=0：
其中Z是2×2矩阵，e是2×1向量，然后就能够通过计算来获取图像视频中相邻帧之间的人物表情变化信息。
进一步，在捕捉到不同情境下获得的人脸图像后，对获得的表情图像进行剪切处理，去除头发、背景、轮廓不相关区域，并且对表情图像进行尺度归一化和灰度归一化处理，获得纯人脸情绪图像，接着提取不同情境下获得的人脸情绪图像中的眼睛、眉毛、眼睑、嘴唇、嘴巴和下巴作为关键点特征，并对关键特征点进行强度分级，生成表情特征图像，并计算相邻帧下的光流，提高人脸表情分析的便捷性。
实施例六：
请参阅图8，步骤S7中，还包括如下步骤：
S71、针对步骤S21和S22中得到的个性化表情库，通过步骤S61获得的微表情拉出进行比对，判断是否存在虚假微表情；
S72、针对步骤S23中得到的个性化表情库，将在手机或电脑上填写问卷调查时，通过手机电脑自带的镜头获取人脸的微表情变化与通过步骤S61后获得的微表情拉出进行比对，通过平面和3D两种微表情分析方法来对相同情境下的微表情进行比对，分析判断用户的具体情绪。
进一步，将相同情境下获取的微表情进行比对分析，分析表情变化趋势，并比对表情变化是否存在差异，从而分辨是否存在虚假表情，还能够将不同情境下的微表情结合在一起分析用户心理健康，提高分析的多样性，进而在一定程度上能够提高后续用户心理健康分析的准确性。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
Claims (9)
1.基于多角度微表情的心理健康分析方法，包括图像获取单元、表情识别单元、存储单元、表情分析单元、表情比对单元、情绪识别单元和情绪分析单元，其特征在于：所述图像获取单元用于获取视频图像并筛选出人脸表情图像，所述表情识别单元用于识别处理人脸表情图像获得纯人脸情绪图像，所述存储单元用于存储视频图像和纯人脸情绪图像，所述表情分析单元用于对纯人脸情绪图像进行关键点分析得到人脸表情特征图像，所述表情比对单元用于比对不同情境下获取的人脸表情特征图像，所述情绪识别单元用于识别比对后的人脸表情特征图像中的情绪特征，所述情绪分析单元用于分析情绪特征来观测用户情绪的动态变化；
所述图像获取单元包括房间内布设三个不同角度的摄像头，且摄像头用于从左、中、右三个维度自动识别人脸，便于对同一时刻捕捉到的图像进行3D建模操作，所述摄像头的内部内嵌AI智能算法用于筛选人脸表情图像；
所述基于多角度微表情的心理健康分析方法如下：
S1、在分析前，首先在房间内设置三个不同角度的摄像头，从左、中、右的三个维度自动识别人脸；
S2、识别人脸后，锁定人脸，并在不同的情境下捕捉若干人脸表情图像，建立个性化标准表情库；
S3、对三个维度的表情图像序列进行预处理；
S4、使用关键点特征和光流特征双通道识别用户微表情；
S5、建立精细微表情与心理情绪关联模型，得到关联的心理情绪；
S6、合成完整表情图像序列；
S7、比对不同情境下的表情变化；
S8、情绪识别判定；
S9、结合时间维度，分析用户情绪的动态变化，实时监测与评定心理健康状态。
2.根据权利要求1所述的基于多角度微表情的心理健康分析方法，其特征在于：所述步骤S2中，还包括如下步骤：
S21、面向不同的用户提出不同的指示，使用户做出包括微笑、大笑、苦笑和勉强笑的表情，存入个性化标准表情库；
S22、面向用户询问问题，并通过摄像头记录，然后通过AI智能算法筛选出人脸表情图像，存入个性化标准表情库；
S23、用户在手机或电脑上填写问卷调查，在填写过程中使用手机或电脑上的镜头来采集记录人脸微表情变化，并通过摄像头记录，然后通过AI智能算法筛选出人脸表情图像，存入个性化标准表情库。
3.根据权利要求1所述的基于多角度微表情的心理健康分析方法，其特征在于：所述步骤S3中，还包括如下步骤：
S31、对获得的人脸表情图像进行剪切处理，去除表情图像中头发、背景和轮廓不相关的区域，并对人脸表情图像进行尺度归一化和灰度归一化处理，获得纯人脸情绪图像。
4.根据权利要求1所述的基于多角度微表情的心理健康分析方法，其特征在于：所述步骤S4中，还包括如下步骤：
S41、使用关键点特征，进行表情特征提取，提取面部关键特征点的位置作为特征区域，关键特征点包括眉毛、眼睑、嘴唇和下巴；
S42、对步骤S41中获取的关键特征点进行强度分级，生成人脸表情特征图像，接着使用光流特征，计算光流，分析视频人物面部表情的变化信息，实现时间维度的深度学习，优化人脸微表情的识别过程。
5.根据权利要求1所述的基于多角度微表情的心理健康分析方法，其特征在于：所述步骤S5中，还包括如下步骤：
S51、情绪识别采用特征脸法，将一部分图集转换为一个特征向量集，运用投影点在此空间内相应的方向和长度判断位置，相同的特征向量用PCA技术做空间变化，提高人脸情绪识别的效率。
6.根据权利要求2所述的基于多角度微表情的心理健康分析方法，其特征在于：所述步骤S6中，还包括如下步骤：
S61、通过对同一时刻捕捉到的图像进行3D建模，还原用户面部肌肉变化。
7.根据权利要求6所述的基于多角度微表情的心理健康分析方法，其特征在于：所述步骤S7中，还包括如下步骤：
S71、针对步骤S21和S22中得到的个性化表情库，通过步骤S61获得的微表情拉出进行比对，判断是否存在虚假微表情；
S72、针对步骤S23中得到的个性化表情库，将在手机或电脑上填写问卷调查时，通过手机电脑自带的镜头获取人脸的微表情变化与通过步骤S61后获得的微表情拉出进行比对，通过平面和3D两种微表情分析方法来对相同情境下的微表情进行比对，分析判断用户的具体情绪。
8.根据权利要求7所述的基于多角度微表情的心理健康分析方法，其特征在于：所述步骤S8中，还包括如下步骤：
S81、用步骤S71中经过比对后的微表情特征图像与数据库中的标准表情图像进行对比分析，并识别判定用户的情绪，建立评分机制，并规定正面情绪为正分数，负面情绪为负分数，分数绝对值大小与情绪起伏程度成正相关，计分数为M：
便于动态监测并绘制波动图。
9.根据权利要求4所述的基于多角度微表情的心理健康分析方法，其特征在于，在所述步骤S42中，进行以下假设：
（1）亮度是恒定的，图像中对象的像素亮度在连续帧之间不会改变；
（2）短距离运动，相邻帧之间的时间足够短，并且人物表情变化幅度很小；
（3）空间一致性，相邻像素具有相似的表情运动；
（4）恒定亮度，某些像素的跟踪不随时间变化，t时刻像素点（x，y）的像素值：
F（x,t）=I（x（t），t）=I（x（d+dt），t+dt）
其中x（t）表示t时刻光流场的x分量，当被跟踪像素的灰度不随时间变化时：
当相邻帧之间存在少量运动时，运动的变化在一维空间内通过：
其中，lx是图像的偏导数，lt是图像随时间的导数，v是所需速度；
（5）假设光流在短时间T内，前后两帧满足：
其中D为变形矩阵，d称为位移向量，D表示两像素窗口块移动后的变形量：
J（x+d）=I（x）
在相邻帧的像素窗口下，构造误差函数：
ε=∬W［J（Ax+d）-I（x）］2w（x）dx
其中w（x）是权重函数，分别用于对变量d和D进行微分：
其中
光流u=Dx+d，然后对运动后的像素点进行泰勒展开：
其中g为光流的估计值，u是原图像位移，gT(u)为T时刻下通过计算图像的位移并结合光流的估计值来得到光流的准确值；
给出了平移运动模型的结果，设D=0：
其中Z是2×2矩阵，e是2×1向量，然后就能够通过计算来获取图像视频中相邻帧之间的人物表情变化信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311101926.5A CN116825365B (zh) | 2023-08-30 | 2023-08-30 | 基于多角度微表情的心理健康分析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311101926.5A CN116825365B (zh) | 2023-08-30 | 2023-08-30 | 基于多角度微表情的心理健康分析方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116825365A true CN116825365A (zh) | 2023-09-29 |
| CN116825365B CN116825365B (zh) | 2023-11-28 |
Family
ID=88127801
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311101926.5A Active CN116825365B (zh) | 2023-08-30 | 2023-08-30 | 基于多角度微表情的心理健康分析方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116825365B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117312992A (zh) * | 2023-11-30 | 2023-12-29 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 多视角人脸特征与音频特征融合的情绪识别方法及系统 |
| CN117671774A (zh) * | 2024-01-11 | 2024-03-08 | 好心情健康产业集团有限公司 | 一种人脸情绪智能识别分析设备 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6330353B1 (en) * | 1997-12-18 | 2001-12-11 | Siemens Corporate Research, Inc. | Method of localization refinement of pattern images using optical flow constraints |
| US20080260212A1 (en) * | 2007-01-12 | 2008-10-23 | Moskal Michael D | System for indicating deceit and verity |
| US20100111370A1 (en) * | 2008-08-15 | 2010-05-06 | Black Michael J | Method and apparatus for estimating body shape |
| WO2020253372A1 (zh) * | 2019-06-19 | 2020-12-24 | 深圳壹账通智能科技有限公司 | 基于大数据分析的信息推送方法、装置、设备及存储介质 |
| CN112766159A (zh) * | 2021-01-20 | 2021-05-07 | 重庆邮电大学 | 一种基于多特征融合的跨数据库微表情识别方法 |
| WO2022067524A1 (zh) * | 2020-09-29 | 2022-04-07 | 香港教育大学 | 自动情绪识别方法、系统、计算设备及计算机可读存储介质 |
| WO2022184133A1 (zh) * | 2021-03-03 | 2022-09-09 | 郑州航空工业管理学院 | 一种基于视觉的人脸表情识别方法 |
-
2023
- 2023-08-30 CN CN202311101926.5A patent/CN116825365B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6330353B1 (en) * | 1997-12-18 | 2001-12-11 | Siemens Corporate Research, Inc. | Method of localization refinement of pattern images using optical flow constraints |
| US20080260212A1 (en) * | 2007-01-12 | 2008-10-23 | Moskal Michael D | System for indicating deceit and verity |
| US20100111370A1 (en) * | 2008-08-15 | 2010-05-06 | Black Michael J | Method and apparatus for estimating body shape |
| WO2020253372A1 (zh) * | 2019-06-19 | 2020-12-24 | 深圳壹账通智能科技有限公司 | 基于大数据分析的信息推送方法、装置、设备及存储介质 |
| WO2022067524A1 (zh) * | 2020-09-29 | 2022-04-07 | 香港教育大学 | 自动情绪识别方法、系统、计算设备及计算机可读存储介质 |
| CN112766159A (zh) * | 2021-01-20 | 2021-05-07 | 重庆邮电大学 | 一种基于多特征融合的跨数据库微表情识别方法 |
| WO2022184133A1 (zh) * | 2021-03-03 | 2022-09-09 | 郑州航空工业管理学院 | 一种基于视觉的人脸表情识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 姚贇: "无人机多路航拍视频拼接方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, pages 46 - 49 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117312992A (zh) * | 2023-11-30 | 2023-12-29 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 多视角人脸特征与音频特征融合的情绪识别方法及系统 |
| CN117312992B (zh) * | 2023-11-30 | 2024-03-12 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 多视角人脸特征与音频特征融合的情绪识别方法及系统 |
| CN117671774A (zh) * | 2024-01-11 | 2024-03-08 | 好心情健康产业集团有限公司 | 一种人脸情绪智能识别分析设备 |
| CN117671774B (zh) * | 2024-01-11 | 2024-04-26 | 好心情健康产业集团有限公司 | 一种人脸情绪智能识别分析设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116825365B (zh) | 2023-11-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | Facial: Synthesizing dynamic talking face with implicit attribute learning | |
| CN111370020B (zh) | 一种将语音转换成唇形的方法、系统、装置和存储介质 | |
| CN116825365B (zh) | 基于多角度微表情的心理健康分析方法 | |
| CN110889672B (zh) | 一种基于深度学习的学生打卡及上课状态的检测系统 | |
| Zhang et al. | A high-resolution spontaneous 3d dynamic facial expression database | |
| US20210174072A1 (en) | Microexpression-based image recognition method and apparatus, and related device | |
| KR20200063292A (ko) | 얼굴 영상 기반의 감정 인식 시스템 및 방법 | |
| CN105426827A (zh) | 活体验证方法、装置和系统 | |
| KR20140055819A (ko) | 얼굴인식장치 및 그 제어방법 | |
| Barnich et al. | Frontal-view gait recognition by intra-and inter-frame rectangle size distribution | |
| Karaman et al. | Human daily activities indexing in videos from wearable cameras for monitoring of patients with dementia diseases | |
| Yargıç et al. | A lip reading application on MS Kinect camera | |
| CN114241379A (zh) | 一种乘客异常行为识别方法、装置、设备及乘客监控系统 | |
| CN114170537A (zh) | 一种多模态三维视觉注意力预测方法及其应用 | |
| Esmaeili et al. | A comprehensive survey on facial micro-expression: approaches and databases | |
| Zeng et al. | One-class classification for spontaneous facial expression analysis | |
| CN115131405A (zh) | 一种基于多模态信息的发言人跟踪方法及系统 | |
| CN114550270A (zh) | 一种基于双注意力机制的微表情识别方法 | |
| CN117095471B (zh) | 基于多尺度特征的人脸伪造溯源方法 | |
| US20240161461A1 (en) | Object detection method, object detection apparatus, and object detection system | |
| RU2005100267A (ru) | Способ и система автоматической проверки присутствия живого лица человека в биометрических системах безопасности | |
| CN112488165A (zh) | 一种基于深度学习模型的红外行人识别方法及系统 | |
| Sui et al. | A 3D audio-visual corpus for speech recognition | |
| CN110062132B (zh) | 剧场表演重建方法及装置 | |
| CN111881818A (zh) | 医疗行为细粒度识别装置及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |