CN117409454A - 一种基于面部肌肉运动监测的情绪动态识别方法和装置 - Google Patents
一种基于面部肌肉运动监测的情绪动态识别方法和装置 Download PDFInfo
- Publication number
- CN117409454A CN117409454A CN202311080877.1A CN202311080877A CN117409454A CN 117409454 A CN117409454 A CN 117409454A CN 202311080877 A CN202311080877 A CN 202311080877A CN 117409454 A CN117409454 A CN 117409454A
- Authority
- CN
- China
- Prior art keywords
- muscle
- emotion
- change
- key
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 120
- 230000008451 emotion Effects 0.000 title claims abstract description 118
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000012544 monitoring process Methods 0.000 title claims abstract description 26
- 210000001097 facial muscle Anatomy 0.000 title claims abstract description 25
- 210000003205 muscle Anatomy 0.000 claims abstract description 206
- 230000008921 facial expression Effects 0.000 claims abstract description 44
- 230000008909 emotion recognition Effects 0.000 claims abstract description 32
- 230000000694 effects Effects 0.000 claims abstract description 27
- 238000012549 training Methods 0.000 claims abstract description 18
- 230000002996 emotional effect Effects 0.000 claims description 102
- 230000014509 gene expression Effects 0.000 claims description 46
- 238000006073 displacement reaction Methods 0.000 claims description 26
- 230000001815 facial effect Effects 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 7
- 206010063659 Aversion Diseases 0.000 claims description 6
- 238000013139 quantization Methods 0.000 claims description 6
- 230000009191 jumping Effects 0.000 claims description 5
- 230000007935 neutral effect Effects 0.000 claims description 5
- 238000013506 data mapping Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 210000004709 eyebrow Anatomy 0.000 claims description 3
- 210000001061 forehead Anatomy 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 230000000994 depressogenic effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004630 mental health Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000006996 mental state Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/176—Dynamic expression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/16—Image acquisition using multiple overlapping images; Image stitching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/54—Extraction of image or video features relating to texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Psychiatry (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Developmental Disabilities (AREA)
- Pathology (AREA)
- Hospice & Palliative Care (AREA)
- Psychology (AREA)
- Social Psychology (AREA)
- Child & Adolescent Psychology (AREA)
- Biophysics (AREA)
- Educational Technology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于面部肌肉运动监测的情绪动态识别方法和装置，涉及智能分析技术领域。该方法包括：获取一侧人脸面部表情活动幅度大的关键区域的肌肉移动数据和另一侧人脸面部表情活动幅度大的关键区域的连续帧图像；获取与情绪相关的多个情绪状态，并将每个情绪状态和其对应的连续帧图像进行关联、将每个情绪状态与同一位置同一时刻连续帧图像对应的肌肉移动数据进行关联以形成训练集，通过训练集构建情绪识别模型；将实时获取的肌肉移动数据和连续帧图像输入情绪识别模型中，获得对应的情绪状态。该方法通过肌肉移动数据和连续帧图像训练构建情绪识别模型，并通过运动数据填补微小动作图像采集不到的部分，从而获得准确的情绪检测结果。
Description
技术领域
本发明涉及智能分析技术领域，特别涉及一种基于面部肌肉运动监测的情绪动态识别方法和装置。
背景技术
面部表情是人们用来表达情绪的基本途径之一，在不同情景下通过不同表情表达自己内心的感受，面部表情通常包括高兴、悲伤、愤怒、恐惧、惊讶及厌恶等，不同面部表情可以通过脸部肌肉运动的特征进行表示。因此通过对面部表情的识别能够了解人的情绪或精神状态，这对人的身心健康检测具有重要意义。
在医学方面，情绪识别可以应用于婴幼儿状态的关注，抑郁症儿童成长的关注，心理健康的监测，疾病诊断治疗过程中的监测等等。
目前，情绪识别通常是通过获取人脸图像并对单个静态人脸图像进行分析处理以识别情绪，但是其存在的缺陷：由于人类微表情丰富，且情绪是一个需要一定时间呈现的动态过程，所以仅通过识别单张人脸图像则无法进行情绪的准确识别。
为了解决仅通过单一人脸图像识别情绪的不准确性，也出现了将语音信息或肢体信息与人脸图像的融合，即通过多个层面的信息融合能够弥补仅通过单一人脸图像识别情绪的不准确性。
但是，应用在医学领域的情绪识别，很多时候只能通过脸部标签识别才确定患者情绪变化；因为患者有可能不方便开口说话或不愿意开口说话，所以不能获取语音信息；还有，因为患者可能肢体或头部受伤均不能动或不方便动，所以也不能获取可靠的肢体信息。因此，在医学领域的情绪识别较为可靠和常用的是通过仅通过面部表情识别来获知人的情绪。
当不能将语音信息或肢体信息等与人脸图像的融合以解决情绪识别准确性的问题时，也有前人研究：将多个连续的面部图像相结合来分析面部动态表情，但由于脸部在做出表情时肌肉运动的微小变化(或快速小表情)往往难以被捕捉或被忽视，因为连续图像的相邻帧之间也是有时间差的，或者脸部微小变化时图像差异微小而被忽视，或者受环境光线或遮挡物的影响也不能可靠获得面部肌肉运动的微小变化从而导致不能获得精准的面部表情。
然而，由于医学领域仅通过面部表情识别来获知人的情绪，所以面部表情识别必须具有高准确度，医学治疗是严肃严谨的，提高面部表情识别的准确性是必然的。
发明内容
基于上述背景技术存在面部表情识别的准确性不高的技术问题，本发明实施例提供了如下技术方案：
本发明实施例提供的一种基于面部肌肉运动监测的情绪动态识别方法，其包括：
获取一侧人脸面部表情活动幅度大的关键区域的肌肉移动数据和另一侧人脸面部表情活动幅度大的关键区域的连续帧图像，并将所述肌肉移动数据和所述连续帧图像分别对应至对称的关键区域；
获取与情绪相关的多个情绪状态，并将每个情绪状态和其对应的连续帧图像进行关联、将每个情绪状态与同一位置同一时刻连续帧图像对应的肌肉移动数据进行关联以形成训练集，通过训练集构建情绪识别模型；
将实时获取的肌肉移动数据和连续帧图像输入情绪识别模型中，获得对应的情绪状态，其具体步骤包括：
对不同关键区域对应的连续帧图像分别进行拼接，并提取各关键区域拼接后图像的图像特征数据；
根据图像特征数据的变化情况，判断各关键区域是否发生肌肉变化：
当各关键区域均发生变化时，则根据图像特征数据确定各关键区域的肌肉变化特征数据，并根据肌肉变化特征数据与情绪状态的对应关系，确定对应的情绪状态；
当各关键区域的一个关键区域或多个关键区域未发生变化时，则判断未发生变化的局部区域图像对应的同一位置同一时刻的肌肉移动数据是否发生变化：如果发生变化，则将肌肉移动数据转换为相应的肌肉变化特征数据，并根据肌肉变化特征数据与情绪状态的对应关系，确定对应的情绪状态。
进一步地，所述一侧人脸面部表情活动幅度大的关键区域的肌肉移动数据，包括：
在一侧人脸面部表情活动幅度大的关键区域黏附至少一个三维位移传感器；且当三维位移传感器的数量大于1时，其中一个三维位移传感器布设于人脸面部表情活动幅度大的关键区域几何中心点处，其它三维位移传感器布设于该人脸面部表情活动幅度大的关键区域同比例缩小后的边界线上；
根据同一关键区域内所有三维位移传感器采集的位移变化信息，确定该关键区域的肌肉移动数据；其中，所述肌肉移动数据包括：与时间和位置对应的肌肉移动距离。
进一步地，所述关键区域，包括：脸部的前额区域、眉毛区域、眼眶区域、腮颊区域、嘴角区域、下颚区域和鼻尖区域。
进一步地，所述情绪状态，包括：基本情绪状态和衍生情绪状态；
所述基本情绪状态包括：中性、高兴、悲伤、愤怒、恐惧、惊讶和厌恶；
所述衍生情绪状态包括：对每个基本情绪状态，按照情绪表达程度和情绪表达时间加权处理后形成的多个细化情绪状态。
进一步地，所述对每个基本情绪状态，按照情绪表达程度和情绪表达时间加权处理后形成的多个细化情绪状态，具体包括：
每个基本情绪状态对应多类人脸面部图像，每类人脸面部图像对应多个连续帧的人脸面部图像；
将一个基本情绪状态的面部各关键位置的情绪表达程度记为a1，a2，a3…ai…an，对应的情绪表达时间记为b1，b2，b3…bi…bn，通过下式确定情绪状态量化值对应的数值：
其中，f1为情绪表达程度对情绪状态的影响因子，f2为情绪表达时间对情绪状态的影响因子，n为面部各关键位置的总数，Ti为面部第i个关键位置的最大情绪表达时间，Mi为面部第i个关键位置的情绪状态量化值；
根据情绪状态量化值对应的数值，将对应的基本情绪状态划分为多个细化情绪状态。
进一步地，所述根据图像特征数据确定各关键区域的肌肉变化特征数据，其包括：
所述图像特征数据包括：与时间和位置对应的轮廓信息和纹理信息。
所述肌肉变化特征数据包括：肌肉变化状态、肌肉变化面积和肌肉变化时间；
分析同一关键区域内的轮廓信息和纹理信息，确定关键区域的肌肉移动趋势并确定肌肉变化状态；其中，所述肌肉变化状态包括：收缩、舒展、上跳和下陷；
根据同一关键区域内的轮廓信息和纹理信息，确定轮廓最大变化边界和纹理最大延伸范围，并通过轮廓最大变化边界和纹理最大延伸范围确定最大面部表情变化边界；计算边界区域的面积以作为肌肉变化面积；
将图像特征数据中的最大时间作为肌肉变化时间。
进一步地，所述将肌肉移动数据转换为相应的肌肉变化特征数据，包括：
所述肌肉移动数据包括：与时间和位置对应的肌肉移动距离；
所述肌肉变化特征数据包括：肌肉变化状态、肌肉变化面积和肌肉变化时间；
通过同一关键区域内不同三维位移传感器对应的肌肉移动距离，确定相对于人脸面部表情活动幅度大的关键区域几何中心点的肌肉移动方向；根据所有移动方向确定关键区域的肌肉移动趋势并确定肌肉变化状态；其中所述肌肉变化状态包括：收缩、舒展、上跳和下陷；
通过同一关键区域内不同三维位移传感器对应的肌肉移动距离最大值和肌肉变化状态，确定最大面部表情变化边界，并计算边界区域的面积以作为肌肉变化面积；
将肌肉移动数据中的最大时间作为肌肉变化时间。
进一步地，所述计算边界区域的面积，包括：
对边界区域进行网格化处理，并使每个网格的面积为预设的单位面积；
计算网格的数量，并根据数量和单位面积的乘积确定边界区域的面积。
进一步地，所述根据肌肉变化特征数据与情绪状态的对应关系，确定对应的情绪状态，包括：
将各关键区域的肌肉变化状态、肌肉变化面积和肌肉变化时间进行综合分析，确定每一个关键区域的综合肌肉变化特性数据并使其位于某一个情绪状态对应的该关键区域肌肉变化特性数据范围内；
根据各关键区域的综合肌肉变化特性数据，和一个情绪状态与所有关键位置的肌肉变化特性数据范围的对应关系，确定情绪状态。
本发明实施例还提供一种基于面部肌肉运动监测的情绪动态识别装置，其包括：
第一数据获取单元，用于获取一侧人脸面部表情活动幅度大的关键区域的肌肉移动数据；
第二数据获取单元，用于获取另一侧人脸面部表情活动幅度大的关键区域的连续帧图像；
数据映射单元，用于将所述肌肉移动数据和所述连续帧图像分别对应至对称的关键区域；
模型构建单元，用于获取与情绪相关的多个情绪状态，并将每个情绪状态和其对应的连续帧图像进行关联、将每个情绪状态与同一位置同一时刻连续帧图像对应的肌肉移动数据进行关联以形成训练集，通过训练集构建情绪识别模型；
其中，所述情绪识别模型包括：
特征提取单元，用于对不同关键区域对应的连续帧图像分别进行拼接，并提取各关键区域拼接后图像的图像特征数据；
判断单元，用于根据图像特征数据的变化情况，判断各关键区域是否发生肌肉变化：
第一情绪状态确定单元，用于当各关键区域均发生变化时，则根据图像特征数据确定各关键区域的肌肉变化特征数据，并根据肌肉变化特征数据与情绪状态的对应关系，确定对应的情绪状态；
第二情绪状态确定单元，用于当各关键区域的一个关键区域或多个关键区域未发生变化或某个关键区域肌肉变化异常时，则判断未发生变化的局部区域图像对应的同一位置同一时刻的肌肉移动数据是否发生变化：如果发生变化，则将肌肉移动数据转换为相应的肌肉变化特征数据，并根据肌肉变化特征数据与情绪状态的对应关系，确定对应的情绪状态。
本发明实施例提供的上述基于面部肌肉运动监测的情绪动态识别方法和装置，与现有技术相比，其有益效果如下：
(1)当只通过面部信息获得情绪状态时，由于现有技术中脸部在做出表情时肌肉运动的微小变化往往难以被捕捉或被忽视。因此，本发明实施例基于面部表情的对称性，通过获取一侧脸部的运动数据(肌肉移动数据)、另一侧脸部的图像数据，可以同时获得一个面部表情下对应的运动数据和图像数据；且由于通过传感器获取运动数据时其采集量有限，处理过程复杂，效率低下，所以本发明实施例以图像识别情绪状态为主，当图像数据不足时，通过运动数据弥补，不但可以获得准确的情绪识别结果，还提高了处理效率。
(2)由于常规的基本情绪状态是大类，各情绪状态的表达程度不同、时间不同，其对应的情绪状态仍然是一种独立的情绪状态，但现有技术中并没有考虑对各类别进行细致分类，从而获得更精准的情绪状态。基于此，本发明实施例根据情绪表达程度和情绪表达时间对基本情绪状态进行了细化形成了多个细化后的衍生情绪状态，相应地，在确定肌肉变化特征数据时，不只是获得肌肉变化状态，还同时通过需要获得肌肉变化面积和肌肉变化时间，从而能够准确表达情绪表达程度和情绪表达时间，进而将肌肉变化状态、肌肉变化面积和肌肉变化时间结合，可以准确获得细化后的各个情绪状态。
附图说明
图1为一个实施例中提供的一种基于面部肌肉运动监测的情绪动态识别方法的整体流程示意图；
图2为一个实施例中提供的情绪识别模型执行步骤的流程示意图；
图3为一个实施例中提供的情绪细化步骤流程示意图；
图4为一个实施例中提供的情绪识别模型的训练和测试流程示意图；
图5为一个实施例中提供的一种基于面部肌肉运动监测的情绪动态识别装置原理框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
实施例1
一个实施例中，提供的一种基于面部肌肉运动监测的情绪动态识别方法，结合图1，该方法包括以下步骤：
步骤S100，由于脸部两侧是对称的，其表情的表达也基本是一致的，所以可以将脸部一侧对应位置得到的感应数值(运动监测数据和图像数据)对称到另一边，从而形成完整脸部的肌肉移动数据和连续帧图像数据。具体地，获取一侧人脸面部表情活动幅度大的关键区域的肌肉移动数据和另一侧人脸面部表情活动幅度大的关键区域的连续帧图像，并将所述肌肉移动数据和所述连续帧图像分别对应至对称的关键区域。
举例说明，本发明实施例中的关键区域，可以包括：脸部的前额区域、眉毛区域、眼眶区域、腮颊区域、嘴角区域、下颚区域和鼻尖区域等。
其中，在图像采集时，随着环境光线、遮挡的影响，或拍摄角度的影响等因素，面部图像的采集不准确，面部表情识别的准确度也会发生改变，从而影响情绪识别的准确性。基于此，该实施例可以在采集图像时通过摄像装置并基于多角度、多场景进行采集，可以获得准确且丰富的图像数据集，从而也可以构建出准确的情绪识别模型。
对于步骤S100中，获取一侧人脸面部表情活动幅度大的关键区域的肌肉移动数据，本发明实施例还提供了较佳的实施方案，其能够获得准确的面部肌肉运动数据，具体如下：
(1)设置三维位移传感器，且为了获得准确的运动数据时，在一侧人脸面部表情活动幅度大的关键区域黏附至少一个三维位移传感器：
一种情况：一个三维位移传感器时，则放在人脸面部表情活动幅度大的关键区域几何中心点处)。
另一种情况：当三维位移传感器的数量大于1时，其中一个三维位移传感器布设于人脸面部表情活动幅度大的关键区域几何中心点处，其它三维位移传感器布设于该人脸面部表情活动幅度大的关键区域同比例缩小后的边界线上。
(2)确定肌肉移动数据：根据同一关键区域内所有三维位移传感器采集的位移变化信息，确定该关键区域的肌肉移动数据；其中，所述肌肉移动数据包括：与时间和位置对应的肌肉移动距离。
步骤S200，获取与情绪相关的多个情绪状态，并将每个情绪状态和其对应的连续帧图像进行关联、将每个情绪状态与同一位置同一时刻连续帧图像对应的肌肉移动数据进行关联以形成训练集，通过训练集构建情绪识别模型。
其中，本发明实施例中所说的情绪状态，其包括两类：基本情绪状态和衍生情绪状态。基本情绪状态包括：中性、高兴、悲伤、愤怒、恐惧、惊讶和厌恶等通常意义上的状态。衍生情绪状态的说明在实施例2中具体介绍。一个情绪状态，比如微笑，其是一个动态过程，则必然包含了多个连续帧图像。
步骤S300，将实时获取的肌肉移动数据和连续帧图像输入情绪识别模型中，获得对应的情绪状态，结合图2，其具体步骤包括：
步骤S301，对不同关键区域对应的连续帧图像分别进行拼接，并提取各关键区域拼接后图像的图像特征数据。比如，对嘴角区域对应的动态连续帧图像进行拼接，形成某种表情对应的嘴角区域图像数据；其他关键区域相同拼接方法形成图像数据；然后再提取各关键区域的图像特征数据，图像特征数据包括：与时间和位置对应的轮廓信息和纹理信息等与表情相关的信息。
步骤S302，根据图像特征数据的变化情况，判断各关键区域是否发生肌肉变化，连续帧图像的图像特征数据有变化则表示肌肉变化了。
步骤S303，判断结果分两种情况：
第一种情况：当各关键区域均发生变化时，则根据图像特征数据确定各关键区域的肌肉变化特征数据，并根据肌肉变化特征数据与情绪状态的对应关系，确定对应的情绪状态。
其中，根据图像特征数据确定各关键区域的肌肉变化特征数据，其包括：
图像特征数据包括：与时间和位置对应的轮廓信息和纹理信息。
肌肉变化特征数据包括：肌肉变化状态、肌肉变化面积和肌肉变化时间。
(1)分析同一关键区域内的轮廓信息和纹理信息，确定关键区域的肌肉移动趋势并确定肌肉变化状态；其中肌肉变化状态包括：收缩、舒展、上跳和下陷等状态。
(2)根据同一关键区域内的轮廓信息和纹理信息，确定轮廓最大变化边界和纹理最大延伸范围，并通过轮廓最大变化边界和纹理最大延伸范围确定最大面部表情变化边界；计算边界区域的面积以作为肌肉变化面积。
(3)将图像特征数据中的最大时间作为肌肉变化时间。
第二种情况：当各关键区域的一个关键区域或多个关键区域未发生变化时，则判断未发生变化的局部区域图像对应的同一位置同一时刻的肌肉移动数据是否发生变化：如果发生变化，则将肌肉移动数据转换为相应的肌肉变化特征数据，并根据肌肉变化特征数据与情绪状态的对应关系，从而确定对应的情绪状态。
其中，将肌肉移动数据转换为相应的肌肉变化特征数据，其包括：
肌肉移动数据包括：与时间和位置对应的肌肉移动距离。
肌肉变化特征数据包括：肌肉变化状态、肌肉变化面积和肌肉变化时间。
(1)通过同一关键区域内不同三维位移传感器对应的肌肉移动距离，确定相对于人脸面部表情活动幅度大的关键区域几何中心点的肌肉移动方向；根据所有移动方向确定关键区域的肌肉移动趋势并确定肌肉变化状态；其中肌肉变化状态包括：收缩、舒展、上跳和下陷。
(2)通过同一关键区域内不同三维位移传感器对应的肌肉移动距离最大值和肌肉变化状态，确定最大面部表情变化边界，并计算边界区域的面积以作为肌肉变化面积。
(3)将肌肉移动数据中的最大时间作为肌肉变化时间。
为了获得准确的不规则区域面积，上述计算边界区域的面积的方法为：对边界区域进行网格化处理，并使每个网格的面积为预设的单位面积；计算网格的数量，并根据数量和单位面积的乘积确定边界区域的面积。
对于步骤S303中，根据肌肉变化特征数据与情绪状态的对应关系，确定对应的情绪状态，其具体包括：
(1)将各关键区域的肌肉变化状态、肌肉变化面积和肌肉变化时间进行综合分析，并通过大数据对比，确定每一个关键区域的综合肌肉变化特性数据并使其位于某一个情绪状态对应的该关键区域肌肉变化特性数据范围内。
(2)根据各关键区域的综合肌肉变化特性数据，和一个情绪状态与所有关键位置的肌肉变化特性数据范围的对应关系，结合数据集确定情绪状态。
还有，随着深度学习技术的快速发展，基于深度学习的面部表情识别可以更为精准的识别情绪状态，因此，本发明实施例可以采用深度神经网络构建情绪识别模型，且情绪识别模型的训练和测试如图4所示。其仅为一种模型构建的具体手段，当然还可以直接通过计算机顺序执行实现。
以上技术方案，本发明实施例通过肌肉移动数据和连续帧图像训练构建情绪识别模型，并通过运动数据填补微小动作图像采集不到的部分，从而获得准确的情绪检测结果。
实施例2
一般意义上的情绪类别通常包括：中性，开心，伤心，惊讶，害怕，生气，厌恶等几个粗略的大类，然而这些类别只是大类，当表达程度不同、时间不同时，其仍然是一种独立的情绪状态(必然开心，有小开心、一般开心、特别开心等不同情绪状态)，所以，不同类别情绪的表达程度和持续时间也与人的情绪密不可分，但现有技术中并没有考虑对各类别进行细致分类，从而不能获得更精准的情绪状态。
基于此，在实施例1的基础上，本发明实施例还提供了如下技术方案：
在基本情绪状态中性、高兴、悲伤、愤怒、恐惧、惊讶和厌恶的基础上，形成了衍生情绪状态，其包括：对每个基本情绪状态，按照情绪表达程度和情绪表达时间加权处理后形成的多个细化情绪状态。参见图3，其形成多个细化情绪状态的具体步骤包括：
步骤S21，每个基本情绪状态对应多类人脸面部图像，每类人脸面部图像对应多个连续帧的人脸面部图像。
步骤S22，将一个基本情绪状态的面部各关键位置的情绪表达程度记为a1，a2，a3…ai…an，对应的情绪表达时间记为b1，b2，b3…bi…bn，通过下式确定情绪状态量化值对应的数值：
其中，f1为情绪表达程度对情绪状态的影响因子，f2为情绪表达时间对情绪状态的影响因子，n为面部各关键位置的总数，Ti为面部第i个关键位置的最大情绪表达时间，Mi为面部第i个关键位置的情绪状态量化值。
步骤S23，根据情绪状态量化值对应的数值，将对应的基本情绪状态划分为多个细化情绪状态。
通过上述技术方案，本发明实施例根据情绪表达程度和情绪表达时间对基本情绪状态进行了确定量化的细化处理，从而形成了多个衍生情绪状态，情绪细化后，可以获得更丰富更具体的微表情，从而能够可靠确定情绪状态。
基于同一发明构思，本发明实施例还提供的一种基于面部肌肉运动监测的情绪动态识别装置，参见图5，该装置包括：
第一数据获取单元401，用于获取一侧人脸面部表情活动幅度大的关键区域的肌肉移动数据。
第二数据获取单元402，用于获取另一侧人脸面部表情活动幅度大的关键区域的连续帧图像。
数据映射单元403，用于将所述肌肉移动数据和所述连续帧图像分别对应至对称的关键区域。
模型构建单元404，用于获取与情绪相关的多个情绪状态，并将每个情绪状态和其对应的连续帧图像进行关联、将每个情绪状态与同一位置同一时刻连续帧图像对应的肌肉移动数据进行关联以形成训练集，通过训练集构建情绪识别模型。
其中，所述情绪识别模型包括：
特征提取单元405，用于对不同关键区域对应的连续帧图像分别进行拼接，并提取各关键区域拼接后图像的图像特征数据。
判断单元406，用于根据图像特征数据的变化情况，判断各关键区域是否发生肌肉变化。
第一情绪状态确定单元407，用于当各关键区域均发生变化时，则根据图像特征数据确定各关键区域的肌肉变化特征数据，并根据肌肉变化特征数据与情绪状态的对应关系，确定对应的情绪状态。
第二情绪状态确定单元408，用于当各关键区域的一个关键区域或多个关键区域未发生变化时，则判断未发生变化的局部区域图像对应的同一位置同一时刻的肌肉移动数据是否发生变化：如果发生变化，则将肌肉移动数据转换为相应的肌肉变化特征数据，并根据肌肉变化特征数据与情绪状态的对应关系，确定对应的情绪状态。
关于一种基于面部肌肉运动监测的情绪动态识别装置的具体限定可以参见上文中对于一种基于面部肌肉运动监测的情绪动态识别方法的限定，在此不再赘述。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
Claims (10)
1.一种基于面部肌肉运动监测的情绪动态识别方法，其特征在于，包括以下步骤：
获取一侧人脸面部表情活动幅度大的关键区域的肌肉移动数据和另一侧人脸面部表情活动幅度大的关键区域的连续帧图像，并将所述肌肉移动数据和所述连续帧图像分别对应至对称的关键区域；
获取与情绪相关的多个情绪状态，并将每个情绪状态和其对应的连续帧图像进行关联、将每个情绪状态与同一位置同一时刻连续帧图像对应的肌肉移动数据进行关联以形成训练集，通过训练集构建情绪识别模型；
将实时获取的肌肉移动数据和连续帧图像输入情绪识别模型中，获得对应的情绪状态，其具体步骤包括：
对不同关键区域对应的连续帧图像分别进行拼接，并提取各关键区域拼接后图像的图像特征数据；
根据图像特征数据的变化情况，判断各关键区域是否发生肌肉变化：
当各关键区域均发生变化时，则根据图像特征数据确定各关键区域的肌肉变化特征数据，并根据肌肉变化特征数据与情绪状态的对应关系，确定对应的情绪状态；
当各关键区域的一个关键区域或多个关键区域未发生变化时，则判断未发生变化的局部区域图像对应的同一位置同一时刻的肌肉移动数据是否发生变化：如果发生变化，则将肌肉移动数据转换为相应的肌肉变化特征数据，并根据肌肉变化特征数据与情绪状态的对应关系，确定对应的情绪状态。
2.如权利要求1所述的一种基于面部肌肉运动监测的情绪动态识别方法，其特征在于，所述一侧人脸面部表情活动幅度大的关键区域的肌肉移动数据，包括：
在一侧人脸面部表情活动幅度大的关键区域黏附至少一个三维位移传感器；且当三维位移传感器的数量大于1时，其中一个三维位移传感器布设于人脸面部表情活动幅度大的关键区域几何中心点处，其它三维位移传感器布设于该人脸面部表情活动幅度大的关键区域同比例缩小后的边界线上；
根据同一关键区域内所有三维位移传感器采集的位移变化信息，确定该关键区域的肌肉移动数据；其中，所述肌肉移动数据包括：与时间和位置对应的肌肉移动距离。
3.如权利要求1或2所述的一种基于面部肌肉运动监测的情绪动态识别方法，其特征在于，所述关键区域，包括：脸部的前额区域、眉毛区域、眼眶区域、腮颊区域、嘴角区域、下颚区域和鼻尖区域。
4.如权利要求1所述的一种基于面部肌肉运动监测的情绪动态识别方法，其特征在于，所述情绪状态，包括：基本情绪状态和衍生情绪状态；
所述基本情绪状态包括：中性、高兴、悲伤、愤怒、恐惧、惊讶和厌恶；
所述衍生情绪状态包括：对每个基本情绪状态，按照情绪表达程度和情绪表达时间加权处理后形成的多个细化情绪状态。
5.如权利要求4所述的一种基于面部肌肉运动监测的情绪动态识别方法，其特征在于，所述对每个基本情绪状态，按照情绪表达程度和情绪表达时间加权处理后形成的多个细化情绪状态，具体包括：
每个基本情绪状态对应多类人脸面部图像，每类人脸面部图像对应多个连续帧的人脸面部图像；
将一个基本情绪状态的面部各关键位置的情绪表达程度记为a1，a2，a3…ai…an，对应的情绪表达时间记为b1，b2，b3…bi…bn，通过下式确定情绪状态量化值对应的数值：
其中，f1为情绪表达程度对情绪状态的影响因子，f2为情绪表达时间对情绪状态的影响因子，n为面部各关键位置的总数，Ti为面部第i个关键位置的最大情绪表达时间，Mi为面部第i个关键位置的情绪状态量化值；
根据情绪状态量化值对应的数值，将对应的基本情绪状态划分为多个细化情绪状态。
6.如权利要求1所述的一种基于面部肌肉运动监测的情绪动态识别方法，其特征在于，所述根据图像特征数据确定各关键区域的肌肉变化特征数据，其包括：
所述图像特征数据包括：与时间和位置对应的轮廓信息和纹理信息。
所述肌肉变化特征数据包括：肌肉变化状态、肌肉变化面积和肌肉变化时间；
分析同一关键区域内的轮廓信息和纹理信息，确定关键区域的肌肉移动趋势并确定肌肉变化状态；其中，所述肌肉变化状态包括：收缩、舒展、上跳和下陷；
根据同一关键区域内的轮廓信息和纹理信息，确定轮廓最大变化边界和纹理最大延伸范围，并通过轮廓最大变化边界和纹理最大延伸范围确定最大面部表情变化边界；计算边界区域的面积以作为肌肉变化面积；
将图像特征数据中的最大时间作为肌肉变化时间。
7.如权利要求1所述的一种基于面部肌肉运动监测的情绪动态识别方法，其特征在于，所述将肌肉移动数据转换为相应的肌肉变化特征数据，包括：
所述肌肉移动数据包括：与时间和位置对应的肌肉移动距离；
所述肌肉变化特征数据包括：肌肉变化状态、肌肉变化面积和肌肉变化时间；
通过同一关键区域内不同三维位移传感器对应的肌肉移动距离，确定相对于人脸面部表情活动幅度大的关键区域几何中心点的肌肉移动方向；根据所有移动方向确定关键区域的肌肉移动趋势并确定肌肉变化状态；其中所述肌肉变化状态包括：收缩、舒展、上跳和下陷；
通过同一关键区域内不同三维位移传感器对应的肌肉移动距离最大值和肌肉变化状态，确定最大面部表情变化边界，并计算边界区域的面积以作为肌肉变化面积；
将肌肉移动数据中的最大时间作为肌肉变化时间。
8.如权利要求7所述的一种基于面部肌肉运动监测的情绪动态识别方法，其特征在于，所述计算边界区域的面积，包括：
对边界区域进行网格化处理，并使每个网格的面积为预设的单位面积；
计算网格的数量，并根据数量和单位面积的乘积确定边界区域的面积。
9.如权利要求1所述的一种基于面部肌肉运动监测的情绪动态识别方法，其特征在于，所述根据肌肉变化特征数据与情绪状态的对应关系，确定对应的情绪状态，包括：
将各关键区域的肌肉变化状态、肌肉变化面积和肌肉变化时间进行综合分析，确定每一个关键区域的综合肌肉变化特性数据并使其位于某一个情绪状态对应的该关键区域肌肉变化特性数据范围内；
根据各关键区域的综合肌肉变化特性数据，和一个情绪状态与所有关键位置的肌肉变化特性数据范围的对应关系，确定情绪状态。
10.一种基于面部肌肉运动监测的情绪动态识别装置，其特征在于，包括：
第一数据获取单元，用于获取一侧人脸面部表情活动幅度大的关键区域的肌肉移动数据；
第二数据获取单元，用于获取另一侧人脸面部表情活动幅度大的关键区域的连续帧图像；
数据映射单元，用于将所述肌肉移动数据和所述连续帧图像分别对应至对称的关键区域；
模型构建单元，用于获取与情绪相关的多个情绪状态，并将每个情绪状态和其对应的连续帧图像进行关联、将每个情绪状态与同一位置同一时刻连续帧图像对应的肌肉移动数据进行关联以形成训练集，通过训练集构建情绪识别模型；
其中，所述情绪识别模型包括：
特征提取单元，用于对不同关键区域对应的连续帧图像分别进行拼接，并提取各关键区域拼接后图像的图像特征数据；
判断单元，用于根据图像特征数据的变化情况，判断各关键区域是否发生肌肉变化：
第一情绪状态确定单元，用于当各关键区域均发生变化时，则根据图像特征数据确定各关键区域的肌肉变化特征数据，并根据肌肉变化特征数据与情绪状态的对应关系，确定对应的情绪状态；
第二情绪状态确定单元，用于当各关键区域的一个关键区域或多个关键区域未发生变化时，则判断未发生变化的局部区域图像对应的同一位置同一时刻的肌肉移动数据是否发生变化：如果发生变化，则将肌肉移动数据转换为相应的肌肉变化特征数据，并根据肌肉变化特征数据与情绪状态的对应关系，确定对应的情绪状态。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311080877.1A CN117409454A (zh) | 2023-08-25 | 2023-08-25 | 一种基于面部肌肉运动监测的情绪动态识别方法和装置 |
| US18/498,027 US20240062582A1 (en) | 2023-08-25 | 2023-10-30 | Method and Device for Dynamic Recognition of Emotion Based on Facial Muscle Movement Monitoring |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311080877.1A CN117409454A (zh) | 2023-08-25 | 2023-08-25 | 一种基于面部肌肉运动监测的情绪动态识别方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117409454A true CN117409454A (zh) | 2024-01-16 |
Family
ID=89498972
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311080877.1A Pending CN117409454A (zh) | 2023-08-25 | 2023-08-25 | 一种基于面部肌肉运动监测的情绪动态识别方法和装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20240062582A1 (zh) |
| CN (1) | CN117409454A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118072375A (zh) * | 2024-04-17 | 2024-05-24 | 云燕科技(山东)股份有限公司 | 一种人脸图像采集系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170040693A (ko) * | 2015-10-05 | 2017-04-13 | (주)감성과학연구센터 | Au 기반의 감성 표정 정보 추출 방법 |
| KR101736403B1 (ko) * | 2016-08-18 | 2017-05-16 | 상명대학교산학협력단 | 얼굴 미동의 내적 동기화를 이용한 기본 감성 표정 인식 방법 |
| WO2022141894A1 (zh) * | 2020-12-31 | 2022-07-07 | 苏州源想理念文化发展有限公司 | 融合表情和肢体运动的三维特征情绪分析方法 |
| CN115171176A (zh) * | 2022-05-24 | 2022-10-11 | 网易（杭州）网络有限公司 | 对象情绪的分析方法、装置和电子设备 |
-
2023
- 2023-08-25 CN CN202311080877.1A patent/CN117409454A/zh active Pending
- 2023-10-30 US US18/498,027 patent/US20240062582A1/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170040693A (ko) * | 2015-10-05 | 2017-04-13 | (주)감성과학연구센터 | Au 기반의 감성 표정 정보 추출 방법 |
| KR101736403B1 (ko) * | 2016-08-18 | 2017-05-16 | 상명대학교산학협력단 | 얼굴 미동의 내적 동기화를 이용한 기본 감성 표정 인식 방법 |
| WO2022141894A1 (zh) * | 2020-12-31 | 2022-07-07 | 苏州源想理念文化发展有限公司 | 融合表情和肢体运动的三维特征情绪分析方法 |
| CN115171176A (zh) * | 2022-05-24 | 2022-10-11 | 网易（杭州）网络有限公司 | 对象情绪的分析方法、装置和电子设备 |
Non-Patent Citations (2)
| Title |
|---|
| FENG XU 等: "Microexpression Identification and Categorization Using a Facial Dynamics Map", 《IEEE》, 20 May 2017 (2017-05-20) * |
| 赵明珠;王志勇;王世斌;李林安;孙颖;李毓;: "基于三维数字图像相关方法的面部表情变形测量研究", 实验力学, no. 02, 28 April 2017 (2017-04-28) * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118072375A (zh) * | 2024-04-17 | 2024-05-24 | 云燕科技(山东)股份有限公司 | 一种人脸图像采集系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20240062582A1 (en) | 2024-02-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| De Melo et al. | A deep multiscale spatiotemporal network for assessing depression from facial dynamics | |
| EP1383430B1 (en) | Analysis of the behaviour of a subject | |
| CN112766173B (zh) | 一种基于ai深度学习的多模态情感分析方法及其系统 | |
| CN111920420B (zh) | 一种基于统计学习的患者行为多模态分析与预测系统 | |
| CN113197579A (zh) | 一种基于多模态信息融合的智能心理评估方法及系统 | |
| CN117409454A (zh) | 一种基于面部肌肉运动监测的情绪动态识别方法和装置 | |
| Chetty et al. | A multilevel fusion approach for audiovisual emotion recognition | |
| CN116807476B (zh) | 基于界面式情感交互的多模态心理健康评估系统及方法 | |
| CN117237351A (zh) | 一种超声图像分析方法以及相关装置 | |
| CN110135357B (zh) | 一种基于远程遥感的幸福感实时检测方法 | |
| CN116092157A (zh) | 一种智能面舌诊方法、系统及智能设备 | |
| CN115966003A (zh) | 一种基于情绪识别的学习者线上学习效率评估系统 | |
| CN114970641A (zh) | 情感类别的识别方法、装置、处理器及电子设备 | |
| CN117809354B (zh) | 基于头部可穿戴设备感知的情感识别方法、介质及设备 | |
| CN117894057B (zh) | 用于情感障碍辅助诊断的三维数字人脸处理方法与装置 | |
| Hadelina et al. | ANN Models for Shoulder Pain Detection based on Human Facial Expression Covered by Mask | |
| CN117671774B (zh) | 一种人脸情绪智能识别分析设备 | |
| Aluru et al. | Parkinson’s Disease Detection Using Machine Learning Techniques | |
| CN117198468B (zh) | 基于行为识别和数据分析的干预方案智慧化管理系统 | |
| Aurchana et al. | Facial Emotion Recognition Using Osmotic Computing | |
| Jakubowski et al. | Application of imaging techniques to objectify the Finger Tapping test used in the diagnosis of Parkinson's disease | |
| Swetha et al. | Pain assessment model using facial recognition | |
| Vallez et al. | Adults’ Pain Recognition via Facial Expressions Using CNN-Based AU Detection | |
| CN115984923A (zh) | 基于专注力分析和微表情识别的情绪障碍辅助诊断系统 | |
| KR20230086026A (ko) | 인간의 복합감정을 예측할 수 있는 EfficientNet 아키텍처 기반 모바일 비전 시스템 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |