CN117315745B - 基于机器学习的面部表情捕捉方法及系统 - Google Patents

基于机器学习的面部表情捕捉方法及系统 Download PDF

Info

Publication number
CN117315745B
CN117315745B CN202311210446.2A CN202311210446A CN117315745B CN 117315745 B CN117315745 B CN 117315745B CN 202311210446 A CN202311210446 A CN 202311210446A CN 117315745 B CN117315745 B CN 117315745B
Authority
CN
China
Prior art keywords
target
facial
feature point
micro
point data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311210446.2A
Other languages
English (en)
Other versions
CN117315745A (zh
Inventor
郭勇
苑朋飞
靳世凯
周浩
尚泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongying Nian Nian Beijing Technology Co ltd
Original Assignee
Zhongying Nian Nian Beijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongying Nian Nian Beijing Technology Co ltd filed Critical Zhongying Nian Nian Beijing Technology Co ltd
Priority to CN202311210446.2A priority Critical patent/CN117315745B/zh
Publication of CN117315745A publication Critical patent/CN117315745A/zh
Application granted granted Critical
Publication of CN117315745B publication Critical patent/CN117315745B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Human Computer Interaction (AREA)
  • Developmental Disabilities (AREA)
  • Dentistry (AREA)
  • Physiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Databases & Information Systems (AREA)
  • Educational Technology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)

Abstract

本发明涉及机器学习领域，公开了一种基于机器学习的面部表情捕捉方法及系统，用于通过机器学习提高面部表情捕捉的准确率。方法包括：计算面部视频数据的视频变化指标以及生成多个目标面部图像；进行皮肤区域分割，得到多个皮肤区域图像并进行光强信号计算，得到多个初始光强信号；进行心跳微振动信号分析，得到多个初始微振动信号并进行信号合并，得到目标微振动信号集合；进行面部特征点检测，得到面部特征点数据并进行面部特征点融合，得到融合特征点数据；建立目标关联关系并进行特征加权融合，得到目标特征点数据集；通过目标特征点数据集对预置的机器学习模型进行模型训练和面部表情预测，得到面部表情预测结果。

Description

基于机器学习的面部表情捕捉方法及系统
技术领域
本发明涉及机器学习领域，尤其涉及一种基于机器学习的面部表情捕捉方法及系统。
背景技术
面部表情是人类沟通和情感表达的重要方式之一。随着人工智能和计算机视觉技术的不断发展，基于机器学习的面部表情捕捉方法逐渐成为研究和应用的焦点。传统的面部表情分析方法主要依赖于面部特征点检测和图像处理技术，但在一些实际场景中，面部表情受到多种因素的影响，如心理状态和生理信号。
随着生物传感技术的进步，心跳微振动信号被发现与人类情感状态存在一定的关联。心跳在微血管中产生的微振动会对吸收或反射光产生周期性信号，这为分析面部表情和心跳之间的关系提供了新的途径。然而，将心跳微振动信号与面部表情精确地关联起来，以实现更深入的情感分析，仍然是一个挑战。
发明内容
本发明提供了一种基于机器学习的面部表情捕捉方法及系统，用于通过机器学习提高面部表情捕捉的准确率。
本发明第一方面提供了一种基于机器学习的面部表情捕捉方法，所述基于机器学习的面部表情捕捉方法包括：
通过预置的摄像头采集目标用户的面部视频数据，并计算所述面部视频数据的视频变化指标，以及根据所述视频变化指标生成对应的多个目标面部图像；
分别对所述多个目标面部图像进行皮肤区域分割，得到多个皮肤区域图像，并分别对每个皮肤区域图像进行光强信号计算，得到多个初始光强信号；
对所述多个初始光强信号进行心跳微振动信号分析，得到多个初始微振动信号，并对所述多个初始微振动信号进行信号合并，得到目标微振动信号集合；
对所述多个目标面部图像进行面部特征点检测，得到面部特征点数据，并对所述面部特征点数据进行面部特征点融合，得到融合特征点数据；
建立所述目标微振动信号集合和所述融合特征点数据之间的目标关联关系，并基于所述目标关联关系对所述融合特征点数据进行特征加权融合，得到目标特征点数据集；
通过所述目标特征点数据集对预置的机器学习模型进行模型训练，得到面部表情识别模型，并将所述目标特征点数据集输入所述面部表情识别模型进行面部表情预测，得到所述目标用户的面部表情预测结果。
结合第一方面，在本发明第一方面的第一种实现方式中，所述通过预置的摄像头采集目标用户的面部视频数据，并计算所述面部视频数据的视频变化指标，以及根据所述视频变化指标生成对应的多个目标面部图像，包括：
通过预置的摄像头采集目标用户的面部视频数据，并对所述面部视频数据进行视频图像分离，得到多个第一面部图像；
对所述多个第一面部图像中相邻的两个第一面部图像进行视频变化指标计算，得到每两个相邻第一面部图像的视频变化指标；
根据每两个相邻第一面部图像的视频变化指标，对所述多个第一面部图像进行图像变化调整，得到多个第二面部图像；
通过预置的EDSR模型对所述多个第二面部图像进行图像分辨率增强，得到多个第三面部图像；
对所述多个第三面部图像进行图像关系计算，得到目标图像关系，并根据所述目标图像关系对所述多个第三面部图像进行筛选，得到对应的多个目标面部图像。
结合第一方面，在本发明第一方面的第二种实现方式中，所述分别对所述多个目标面部图像进行皮肤区域分割，得到多个皮肤区域图像，并分别对每个皮肤区域图像进行光强信号计算，得到多个初始光强信号，包括：
分别对所述多个目标面部图像进行皮肤区域分割，得到多个皮肤区域图像；
对所述多个目标面部图像进行颜色空间转换，得到目标颜色空间，并根据所述目标颜色空间确定对应的目标色彩通道；
通过预置的肤色模型，对所述多个皮肤区域图像进行颜色分布运算，得到每个皮肤区域图像的颜色分布采样点；
基于所述目标色彩通道，计算所述颜色分布采样点的光强值，并对所述光强值进行像素值平均，生成多个原始光强信号；
对所述多个原始光强信号进行信号滤波，得到多个初始光强信号。
结合第一方面，在本发明第一方面的第三种实现方式中，所述对所述多个初始光强信号进行心跳微振动信号分析，得到多个初始微振动信号，并对所述多个初始微振动信号进行信号合并，得到目标微振动信号集合，包括：
对所述多个初始光强信号进行归一化处理，得到多个标准光强信号；
对所述多个标准光强信号进行傅里叶变换，得到信号频域数据，并对所述信号频域数据进行微振动分析，得到微振动信号数据；
对所述信号频域数据进行周期性信号分析，得到周期性信号数据；
根据所述微振动信号数据和所述周期性信号数据，生成多个初始微振动信号；
对所述多个初始微振动信号进行振动信号增强，得到多个增强微振动信号；
对所述多个增强微振动信号进行信号合并，得到目标微振动信号集合。
结合第一方面，在本发明第一方面的第四种实现方式中，所述对所述多个目标面部图像进行面部特征点检测，得到面部特征点数据，并对所述面部特征点数据进行面部特征点融合，得到融合特征点数据，包括：
对所述多个目标面部图像进行面部中心识别，得到多个面部中心关键点，并根据所述多个面部中心关键点构建初始面部特征云图；
对所述初始面部特征云图中的每个面部中心关键点进行邻近点识别，得到每个面部中心关键点对应的邻近点集；
分别计算所述邻近点集与对应的面部中心关键点之间的特征点偏移量，并根据所述特征点偏移量对所述初始面部特征云图进行面部特征点定位和标注，得到目标面部特征云图；
对所述目标面部特征云图进行面部特征点提取，得到面部特征点数据；
对所述面部特征点数据进行面部特征点融合，得到融合特征点数据。
结合第一方面，在本发明第一方面的第五种实现方式中，所述建立所述目标微振动信号集合和所述融合特征点数据之间的目标关联关系，并基于所述目标关联关系对所述融合特征点数据进行特征加权融合，得到目标特征点数据集，包括：
对所述目标微振动信号集合中的多个信号点和所述融合特征点数据中的多个面部特征点进行数据对齐，并对所述目标微振动信号集合中的多个信号点和所述融合特征点数据中的多个面部特征点进行标准化处理；
对所述目标微振动信号集合中的多个信号点和所述融合特征点数据中的多个面部特征点进行关联关系构建，生成信号点与面部特征点对应的目标关联关系；
根据所述目标关联关系，计算所述融合特征点数据中多个面部特征点的特征点权重，得到特征点权重数据；
根据所述特征点权重数据对所述融合特征点数据中每一面部特征点的变化进行加权平均，生成目标特征点数据集。
结合第一方面，在本发明第一方面的第六种实现方式中，所述通过所述目标特征点数据集对预置的机器学习模型进行模型训练，得到面部表情识别模型，并将所述目标特征点数据集输入所述面部表情识别模型进行面部表情预测，得到所述目标用户的面部表情预测结果，包括：
按照预设的数据集比例，对所述目标特征点数据集进行数据集划分，得到训练特征点数据集和预测特征点数据集；
通过所述训练特征点数据集对预置的机器学习模型进行模型训练，得到面部表情识别模型，其中，所述机器学习模型包括：三层卷积网络、池化层、全连接层以及特征分类层，所述三层卷积网络用于进行特征提取，所述池化层和所述全连接层中每一层的输入均来自前面所有层的输出，所述特征分类层用于进行特征分类，所述特征分类为面部表情对应的识别结果；
将所述目标特征点数据集输入所述面部表情识别模型，通过所述面部表情识别模型对所述目标特征点数据集中的面部特征和心跳信号进行情感分类和面部表情状态识别，得到所述目标用户的面部表情预测结果。
本发明第二方面提供了一种基于机器学习的面部表情捕捉系统，所述基于机器学习的面部表情捕捉系统包括：
采集模块，用于通过预置的摄像头采集目标用户的面部视频数据，并计算所述面部视频数据的视频变化指标，以及根据所述视频变化指标生成对应的多个目标面部图像；
计算模块，用于分别对所述多个目标面部图像进行皮肤区域分割，得到多个皮肤区域图像，并分别对每个皮肤区域图像进行光强信号计算，得到多个初始光强信号；
合并模块，用于对所述多个初始光强信号进行心跳微振动信号分析，得到多个初始微振动信号，并对所述多个初始微振动信号进行信号合并，得到目标微振动信号集合；
检测模块，用于对所述多个目标面部图像进行面部特征点检测，得到面部特征点数据，并对所述面部特征点数据进行面部特征点融合，得到融合特征点数据；
融合模块，用于建立所述目标微振动信号集合和所述融合特征点数据之间的目标关联关系，并基于所述目标关联关系对所述融合特征点数据进行特征加权融合，得到目标特征点数据集；
预测模块，用于通过所述目标特征点数据集对预置的机器学习模型进行模型训练，得到面部表情识别模型，并将所述目标特征点数据集输入所述面部表情识别模型进行面部表情预测，得到所述目标用户的面部表情预测结果。
本发明第三方面提供了一种基于机器学习的面部表情捕捉设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述基于机器学习的面部表情捕捉设备执行上述的基于机器学习的面部表情捕捉方法。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的基于机器学习的面部表情捕捉方法。
本发明提供的技术方案中，计算面部视频数据的视频变化指标以及生成多个目标面部图像；进行皮肤区域分割，得到多个皮肤区域图像并进行光强信号计算，得到多个初始光强信号；进行心跳微振动信号分析，得到多个初始微振动信号并进行信号合并，得到目标微振动信号集合；进行面部特征点检测，得到面部特征点数据并进行面部特征点融合，得到融合特征点数据；建立目标关联关系并进行特征加权融合，得到目标特征点数据集；通过目标特征点数据集对预置的机器学习模型进行模型训练和面部表情预测，得到面部表情预测结果，本发明解决了传统的面部表情分析方法无法充分考虑情感状态的多样性和个体差异的问题，结合了心跳微振动信号和面部表情特征，能够更准确地识别并解读目标用户的情感状态，从而提升情感识别的准确性。
附图说明
图1为本发明实施例中基于机器学习的面部表情捕捉方法的一个实施例示意图；
图2为本发明实施例中光强信号计算的流程图；
图3为本发明实施例中心跳微振动信号分析的流程图；
图4为本发明实施例中面部特征点融合的流程图；
图5为本发明实施例中基于机器学习的面部表情捕捉系统的一个实施例示意图；
图6为本发明实施例中基于机器学习的面部表情捕捉设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种基于机器学习的面部表情捕捉方法及系统，用于通过机器学习提高面部表情捕捉的准确率。本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中基于机器学习的面部表情捕捉方法的一个实施例包括：
S101、通过预置的摄像头采集目标用户的面部视频数据，并计算面部视频数据的视频变化指标，以及根据视频变化指标生成对应的多个目标面部图像；
可以理解的是，本发明的执行主体可以为基于机器学习的面部表情捕捉系统，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。
具体的，服务器通过预置的摄像头，服务器采集目标用户的面部视频数据。这些视频数据随着时间的推移捕捉了用户面部表情的变化。为了更好地分析这些变化，视频数据被分割成一系列连续的第一面部图像。针对这些第一面部图像，服务器计算了相邻图像之间的视频变化指标。这些指标能够揭示图像之间的不同，或者说面部表情的微妙变化。这个过程有助于从面部表情变化中捕获关键信息。基于这些计算得到的视频变化指标，对相应的第一面部图像进行图像变化调整。这种调整可能包括修改亮度、对比度、颜色平衡等，以突出面部表情的特征。例如，对于一个笑容，可能会增加亮度，使嘴角的上扬更加明显。这些调整后的第二面部图像被输入到预先训练好的EDSR（Enhanced Deep Super-Resolution）模型中，以进行图像分辨率的增强。这个步骤能够提升图像的清晰度和细节，从而更好地捕捉面部的微小特征，如眼睛的细节或皱纹。服务器在第三面部图像上执行图像关系计算。对这些增强后的图像进行分析，以确定它们之间的相似性和关系。例如，服务器识别出在不同图像中相同的面部特征点，从而建立图像之间的联系。基于图像关系计算的结果，服务器筛选出代表性较高的目标面部图像。这些图像可能涵盖了面部表情变化的关键点，可以用于训练和预测。在筛选阶段，服务器可能会根据相似性、关键特征等选择最具代表性的图像。例如，假设有一名A用户，正在参与一个面部表情实验。通过预置的摄像头，服务器收集了A的面部视频数据。通过计算相邻帧之间的视频变化指标，服务器发现在视频中的某些帧中，A的眉毛和嘴巴表情发生了明显的变化。服务器根据这些变化调整了图像，然后使用EDSR模型增强图像的细节。在图像关系计算中，服务器发现这些调整后的图像中，有几个图像在面部特征上非常相似，可能是A不同表情的变化。服务器从中选择出这些代表性图像，用于训练和识别A的面部表情。
S102、分别对多个目标面部图像进行皮肤区域分割，得到多个皮肤区域图像，并分别对每个皮肤区域图像进行光强信号计算，得到多个初始光强信号；
具体的，服务器针对多个目标面部图像，服务器执行皮肤区域分割。将每个图像中的皮肤区域从其他区域中分离出来，以便进一步分析皮肤特征。对这些分割得到的皮肤区域图像进行颜色空间转换。这个转换可能涉及从RGB颜色空间到其他颜色空间，如HSV（色相、饱和度、明度）或YCbCr（亮度、蓝色色度、红色色度）。在确定目标颜色空间后，服务器根据该颜色空间选择相应的目标色彩通道。这可以帮助服务器专注于面部皮肤颜色的关键特征。服务器通过使用预置的肤色模型，对皮肤区域图像进行颜色分布运算，涉及测量每个皮肤区域图像中不同颜色值的分布情况。在基于目标色彩通道计算颜色分布采样点的光强值之后，服务器会计算这些光强值的像素平均。这个过程有助于获取每个皮肤区域图像的平均光强值。为了增强信号的质量和稳定性，服务器对这些多个原始光强信号进行信号滤波。滤波可以帮助去除噪声和异常值，从而得到更可靠的初始光强信号。例如，假设服务器有一名目标用户，正在使用预置的摄像头进行面部表情捕捉。在一个特定的图像序列中，他展示了不同的面部表情。服务器首先对这些目标面部图像进行皮肤区域分割，将皮肤从其他区域分离出来。服务器将图像转换到HSV颜色空间，并选择明度通道。通过预置的肤色模型，服务器分析每个皮肤区域图像中的颜色分布情况。这将为每个图像生成颜色分布采样点。基于选择的明度通道，服务器计算了颜色分布采样点的光强值，并计算了平均光强值。这样，对于每个面部图像，服务器都获得了一个初始的光强信号。为了确保信号的可靠性，服务器对这些原始光强信号进行滤波，以去除噪声和异常值。
S103、对多个初始光强信号进行心跳微振动信号分析，得到多个初始微振动信号，并对多个初始微振动信号进行信号合并，得到目标微振动信号集合；
需要说明的是，对多个初始光强信号进行归一化处理，确保信号的幅度范围一致，有助于后续的分析和处理。对这些归一化后的信号进行傅里叶变换，得到信号的频域数据。这些频域数据将揭示信号在不同频率上的成分，包括可能存在的微弱振动。服务器对信号频域数据进行微振动分析，以检测可能的微弱振动信号。微振动分析可能涉及对频谱数据的细致研究，以寻找出现在频谱中的振动模式。同时，服务器进行周期性信号分析，以检测信号中的周期性成分。这可以通过分析信号的周期性波动来实现，可能是由心跳引起的微弱振动信号。基于微振动信号数据和周期性信号数据，服务器生成多个初始微振动信号。这些信号可能是从不同的时间段中提取出来的，每个信号代表一个独特的心跳微振动模式。对这些初始微振动信号进行振动信号增强。可以包括应用滤波、增强处理等方法，以增加微振动信号的可靠性和清晰度。服务器对这些增强后的微振动信号进行信号合并，从而生成目标微振动信号集合。这个集合可能涵盖了多个时间段内的多个心跳微振动信号，提供了更全面的面部表情信息。例如，假设A正在使用一个装有摄像头和光传感器的设备进行面部表情捕捉。设备采集到了他的面部图像以及与之相关的光强信号。服务器首先将这些信号进行归一化处理，以确保它们在相同的尺度上。服务器对归一化后的信号进行傅里叶变换，进入信号的频域。在分析频谱时，服务器发现在某一频率范围内存在微弱的振动模式，这可能代表了心跳微振动信号。同时，服务器还进行周期性信号分析，以识别信号中的周期性成分。基于这些分析结果，服务器生成多个初始微振动信号，每个信号代表一个时间段内的心跳微振动模式。服务器对这些初始微振动信号进行增强处理，以凸显微振动的特征并减少噪声。服务器将这些增强后的微振动信号合并在一起，形成一个目标微振动信号集合。这个集合提供了关于A面部微弱变化的更丰富信息，包括心跳微振动等生理信息，有助于更准确地捕捉他的面部表情。
S104、对多个目标面部图像进行面部特征点检测，得到面部特征点数据，并对面部特征点数据进行面部特征点融合，得到融合特征点数据；
具体的，首先对每个目标面部图像进行面部中心识别，确定主要的面部中心关键点。这些关键点可以是眼睛、鼻子和嘴巴等重要的面部结构。根据这些中心关键点，构建初始面部特征云图，该云图反映了面部的基本结构。对于初始面部特征云图中的每个面部中心关键点，识别其周围的邻近点集。这些邻近点集包括与中心关键点相邻或相关的点。通过计算每个邻近点与对应中心关键点之间的特征点偏移量，获得特征点微小变化的数据。使用计算得到的特征点偏移量，对初始面部特征云图进行调整，将特征点定位和标注在云图中。这有助于更准确地表示面部特征的微小变化。在经过特征点定位和标注的目标面部特征云图中，提取具体的面部特征点，如眼睛、鼻子和嘴巴等。将从多个目标面部图像中提取的面部特征点数据进行融合。通过平均、加权等方法融合不同图像中的特征点，得到一个融合特征点数据集。例如，假设服务器有一名用户B，正在使用摄像头捕捉她的面部表情。服务器采集了多个目标面部图像，然后对每个图像进行面部中心识别，例如鼻子、眼睛和嘴巴的中心。这些关键点有助于构建初始面部特征云图，描绘B的基本面部结构。针对每个中心关键点，服务器识别其周围的邻近点，例如眼睛周围的特征点。通过计算邻近点与中心关键点之间的特征点偏移量，服务器获取特征点微小变化的信息。使用计算出的偏移量，服务器调整初始面部特征云图，将特征点定位和标注在云图中，以更精确地表示面部特征的微小变化。在经过定位和标注的特征云图中，服务器提取出眼睛、鼻子和嘴巴等特定的面部特征点。服务器融合多个目标面部图像中提取的面部特征点数据，得到一个综合的融合特征点数据集。这个数据集包含了从不同图像中捕捉到的多个面部特征点，提供了更全面和准确的面部表情信息。这样，服务器就能够更好地理解和捕捉B的面部表情变化。
S105、建立目标微振动信号集合和融合特征点数据之间的目标关联关系，并基于目标关联关系对融合特征点数据进行特征加权融合，得到目标特征点数据集；
具体的，服务器对目标微振动信号集合和融合特征点数据进行数据对齐。可以通过时间戳等信息将信号点与面部特征点进行对应，以确保在时间上的一致性。对目标微振动信号集合中的信号点以及融合特征点数据中的面部特征点进行标准化处理，将其转化为相同的尺度和范围，以便进行后续关联和融合。构建目标关联关系，将目标微振动信号集合中的信号点与融合特征点数据中的面部特征点相对应起来。可以通过时间戳等信息来实现，以明确每个信号点与哪个时间段内的面部特征点相对应。这样的关联关系可以为后续的特征加权融合提供基础。基于构建的目标关联关系，计算每个面部特征点的特征点权重。这些权重可以基于目标关联关系的强度、可靠性以及其他因素来确定。对于每个特征点，可以将与之关联的多个信号点的权重进行计算，从而生成特征点权重数据。利用所得的特征点权重数据，对融合特征点数据中的每个面部特征点的变化进行加权平均。这个过程可以通过将每个特征点的变化乘以对应的权重，然后将加权变化相加，以生成目标特征点数据集。例如，考虑一个名为“S”的用户，正在进行面部表情捕捉实验。服务器通过摄像头捕捉了她的面部视频数据，并同时采集了与视频同步的微振动信号。在第一个时间段内，S做出了一个微笑的表情。服务器将她的微笑表情映射到面部特征点，同时在微振动信号中也记录下这一微笑动作的信号变化。S改变了表情，变成了一个严肃的面部表情。同样，这个严肃表情对应的面部特征点和微振动信号也被捕捉记录下来。在数据处理阶段，服务器首先对微振动信号和面部特征点数据进行数据对齐和标准化处理，确保它们在同一时间尺度和数值范围内。根据时间戳将微振动信号与特定时间段内的面部特征点关联起来，建立目标关联关系。基于建立的关联关系，服务器计算每个面部特征点的权重，考虑微振动信号的强度和特征点的重要性。这些权重将在特征加权融合中起到关键作用。服务器根据计算得到的权重，对融合特征点数据中的每个面部特征点的变化进行加权平均。例如，如果在微笑时的微振动信号更强，服务器将为微笑时的特征点赋予更高的权重，以更准确地反映这一表情的变化。
S106、通过目标特征点数据集对预置的机器学习模型进行模型训练，得到面部表情识别模型，并将目标特征点数据集输入面部表情识别模型进行面部表情预测，得到目标用户的面部表情预测结果。
具体的，将目标特征点数据集分为训练特征点数据集和预测特征点数据集，按照预设的比例进行划分。这个划分过程确保服务器有足够的数据用于训练模型，并有一部分数据用于验证模型的性能。利用训练特征点数据集对预置的机器学习模型进行模型训练。在这个过程中，服务器选择一个适当的机器学习模型，如三层卷积网络。这个模型包含卷积层、池化层、全连接层以及特征分类层。卷积层用于提取图像特征，池化层和全连接层用于逐步处理这些特征，最后的特征分类层用于将特征映射到面部表情分类的结果上。在训练过程中，模型会使用训练特征点数据集来学习如何从特征点数据中提取特征，以及如何将这些特征与面部表情分类相关联。这个过程可能会涉及优化算法，如随机梯度下降，以逐步调整模型的权重和参数，以使模型能够更好地捕捉数据的特征和变化。经过适当的训练后，服务器将得到一个面部表情识别模型，该模型已经学会了从特征点数据中提取面部表情相关的特征，并将其映射到相应的表情分类。服务器使用预测特征点数据集来进行面部表情预测。将这些数据输入面部表情识别模型中，模型会分析特征点数据中的面部特征和心跳信号，然后进行情感分类和面部表情状态识别。模型会根据其学习到的特征-表情关系，预测出目标用户的面部表情预测结果。例如，考虑一个名为“J”的用户，他正在使用一款面部表情识别应用。服务器采集了J的面部特征点数据集，其中包括了他的面部特征点坐标和心跳信号。数据集被划分为训练特征点数据集和预测特征点数据集。使用训练特征点数据集，服务器训练了一个三层卷积神经网络模型。该模型通过卷积和池化操作，从面部特征点数据中提取特征，并将其映射到情感分类和面部表情状态。经过训练后，服务器获得了一个面部表情识别模型。当J使用应用时，他的面部特征点数据被输入到模型中。模型分析这些特征点以及与之关联的心跳信号，然后预测J的面部表情。例如，如果模型识别出J的眼睛变亮且嘴角上扬，可能会预测他正在微笑。
本发明实施例中，计算面部视频数据的视频变化指标以及生成多个目标面部图像；进行皮肤区域分割，得到多个皮肤区域图像并进行光强信号计算，得到多个初始光强信号；进行心跳微振动信号分析，得到多个初始微振动信号并进行信号合并，得到目标微振动信号集合；进行面部特征点检测，得到面部特征点数据并进行面部特征点融合，得到融合特征点数据；建立目标关联关系并进行特征加权融合，得到目标特征点数据集；通过目标特征点数据集对预置的机器学习模型进行模型训练和面部表情预测，得到面部表情预测结果，本发明解决了传统的面部表情分析方法无法充分考虑情感状态的多样性和个体差异的问题，结合了心跳微振动信号和面部表情特征，能够更准确地识别并解读目标用户的情感状态，从而提升情感识别的准确性。
在一具体实施例中，执行步骤S101的过程可以具体包括如下步骤：
（1）通过预置的摄像头采集目标用户的面部视频数据，并对面部视频数据进行视频图像分离，得到多个第一面部图像；
（2）对多个第一面部图像中相邻的两个第一面部图像进行视频变化指标计算，得到每两个相邻第一面部图像的视频变化指标；
（3）根据每两个相邻第一面部图像的视频变化指标，对多个第一面部图像进行图像变化调整，得到多个第二面部图像；
（4）通过预置的EDSR模型对多个第二面部图像进行图像分辨率增强，得到多个第三面部图像；
（5）对多个第三面部图像进行图像关系计算，得到目标图像关系，并根据目标图像关系对多个第三面部图像进行筛选，得到对应的多个目标面部图像。
具体的，服务器通过预置的摄像头采集目标用户的面部视频数据。这些视频数据是一个连续的图像序列，捕捉到了目标用户在不同时间点的面部表情和动态变化。对面部视频数据进行视频图像分离，将连续的视频帧分解成多个独立的图像。这样可以将视频数据转化为一系列的面部图像，为后续处理步骤做准备。对多个第一面部图像中相邻的两个图像进行视频变化指标的计算。这些视频变化指标可以是像素差、颜色变化等，用于衡量相邻图像之间的差异程度。这些指标反映了面部表情在不同时间点的变化情况。根据计算得到的视频变化指标，对多个第一面部图像进行图像变化调整。通过对图像进行适当的增强或调整，可以使得面部表情的变化更加明显和清晰，有助于后续的分析。通过预置的EDSR模型对多个经过调整的第二面部图像进行图像分辨率的增强。EDSR模型是一种用于超分辨率处理的深度学习模型，可以将低分辨率的图像转化为高分辨率的图像，从而提升图像的质量和细节。对经过增强的第三面部图像进行图像关系的计算。通过计算图像之间的相似性、变化程度等指标，来获得图像之间的关系。这些关系可以帮助识别出在一系列面部图像中哪些是相似的表情，哪些是不同的表情。根据计算得到的图像关系，对第三面部图像进行筛选，以得到对应的多个目标面部图像。筛选的过程可以基于相似度阈值或其他相应的标准，以确保选择出最具代表性和重要性的面部图像。例如，考虑一个名为“E”的用户，正在使用一个面部表情捕捉应用。服务器通过预置的摄像头采集了E的面部视频数据。在视频中，E表现出了从平静到惊讶再到高兴的一系列面部表情。服务器首先将面部视频数据分解成多个第一面部图像，每个图像代表了一个特定时间点的面部表情。计算每两个相邻第一面部图像之间的视频变化指标，以评估表情之间的差异。根据计算得到的视频变化指标，服务器对第一面部图像进行适当的图像变化调整，以增强表情的可见性。使用预置的EDSR模型对调整后的图像进行分辨率增强，提升图像的清晰度和质量。服务器继续计算第三面部图像之间的图像关系，以识别出在一系列图像中哪些是相似的表情。根据图像关系，服务器对第三面部图像进行筛选，选择出代表性的表情图像，如高兴的、惊讶的等。
在一具体实施例中，如图2所示，执行步骤S102的过程可以具体包括如下步骤：
S201、分别对多个目标面部图像进行皮肤区域分割，得到多个皮肤区域图像；
S202、对多个目标面部图像进行颜色空间转换，得到目标颜色空间，并根据目标颜色空间确定对应的目标色彩通道；
S203、通过预置的肤色模型，对多个皮肤区域图像进行颜色分布运算，得到每个皮肤区域图像的颜色分布采样点；
S204、基于目标色彩通道，计算颜色分布采样点的光强值，并对光强值进行像素值平均，生成多个原始光强信号；
S205、对多个原始光强信号进行信号滤波，得到多个初始光强信号。
具体的，服务器针对每个目标面部图像，服务器会进行皮肤区域分割，以提取出面部的皮肤区域。皮肤区域分割可以利用图像处理技术，如颜色阈值或基于机器学习的方法，将图像中的皮肤区域与其他区域进行区分，得到多个皮肤区域图像。对每个目标面部图像进行颜色空间转换，将图像从RGB颜色空间转换到目标颜色空间，可以帮助凸显皮肤区域中的特征，使后续的分析更加精确。根据目标颜色空间，确定对应的目标色彩通道。在转换到目标颜色空间后，可以选择适当的颜色通道，以便更好地捕捉皮肤区域中的信息。通过预置的肤色模型，对每个皮肤区域图像进行颜色分布运算。肤色模型可以是一种训练得到的模型，用于表示皮肤的颜色分布特征。对于每个皮肤区域图像，服务器会计算其在肤色模型下的颜色分布采样点。基于目标色彩通道，计算颜色分布采样点的光强值，并对这些光强值进行像素值平均。这一步骤有助于获取每个皮肤区域中的光强信息，从而反映出皮肤区域的特征和变化。对获取的多个原始光强信号进行信号滤波，以提升信号质量和减少噪声。信号滤波可以采用各种数字信号处理方法，如平均滤波、中值滤波等，以平滑信号并保留有用信息。例如，假设一个名为“A”的用户正在使用一个面部表情捕捉应用。服务器采集了A的多个面部图像，每个图像代表了不同的面部表情。其中，某一张图像展示了A微笑的面部表情。对每个面部图像进行皮肤区域分割，提取出皮肤区域。将图像转换到特定颜色空间，以突出皮肤区域。通过预置的肤色模型，计算皮肤区域图像在颜色分布上的特征。在目标颜色空间中，选择合适的颜色通道，并计算颜色分布采样点的光强值。例如，可能选择颜色通道中的亮度分量，计算皮肤区域的平均亮度值。对获取的原始光强信号进行信号滤波，以减少可能的噪声干扰。这样，服务器获得了多个经过滤波处理的初始光强信号，这些信号可以用于后续的微振动信号分析和处理。
在一具体实施例中，如图3所示，执行步骤S103的过程可以具体包括如下步骤：
S301、对多个初始光强信号进行归一化处理，得到多个标准光强信号；
S302、对多个标准光强信号进行傅里叶变换，得到信号频域数据，并对信号频域数据进行微振动分析，得到微振动信号数据；
S303、对信号频域数据进行周期性信号分析，得到周期性信号数据；
S304、根据微振动信号数据和周期性信号数据，生成多个初始微振动信号；
S305、对多个初始微振动信号进行振动信号增强，得到多个增强微振动信号；
S306、对多个增强微振动信号进行信号合并，得到目标微振动信号集合。
具体的，服务器对多个初始光强信号进行归一化处理，以消除信号间的幅度差异，从而得到多个标准光强信号，确保不同信号之间具有相似的幅度范围，便于后续的处理。对多个标准光强信号进行傅里叶变换，将信号从时域转换到频域，得到信号频域数据。通过傅里叶变换，可以分析信号的频率成分，识别出信号中的周期性振动成分。在信号频域数据的基础上，进行微振动分析，以提取微振动信号数据。微振动分析可以识别出信号中微弱的振动成分，这些振动成分可能是由于面部微小的肌肉运动引起的。进一步，对信号频域数据进行周期性信号分析，以确定信号的周期性特征。周期性信号分析可以帮助识别出信号中重复出现的模式，从而找到信号的周期性振动。基于微振动信号数据和周期性信号数据，生成多个初始微振动信号。这些初始微振动信号反映了信号中的微小振动变化，可能与面部表情的微妙变化有关。对多个初始微振动信号进行振动信号增强，以加强信号中微振动的特征。振动信号增强可以采用滤波、增益调整等技术，以突出信号中的微弱振动成分。对多个增强微振动信号进行信号合并，得到目标微振动信号集合。通过将多个增强微振动信号合并，可以获得更全面、准确的微振动信息，为面部表情捕捉提供更多的数据。例如，考虑一个名为“C”的用户，正在使用一个面部表情分析应用。服务器获取了C的多个初始光强信号，这些信号反映了她不同时间点的面部表情变化。对这些初始光强信号进行归一化处理，以确保信号幅度在相似的范围内。通过傅里叶变换将信号转换到频域，得到信号的频域数据。在信号频域数据中，进行微振动分析，以识别出微小的振动成分，可能与C的面部肌肉微动有关。同时，进行周期性信号分析，找到信号中的周期性振动模式。基于微振动信号数据和周期性信号数据，服务器生成了多个初始微振动信号。这些信号代表了C面部微振动的变化情况。对初始微振动信号进行振动信号增强，以强调微振动的特征。例如，可以应用滤波技术来增强信号中的振动成分。将多个增强微振动信号合并，得到目标微振动信号集合。这个集合包含了C不同时间点的微振动信息，可以用于后续的面部表情分析和捕捉任务。
在一具体实施例中，如图4所示，执行步骤S104的过程可以具体包括如下步骤：
S401、对多个目标面部图像进行面部中心识别，得到多个面部中心关键点，并根据多个面部中心关键点构建初始面部特征云图；
S402、对初始面部特征云图中的每个面部中心关键点进行邻近点识别，得到每个面部中心关键点对应的邻近点集；
S403、分别计算邻近点集与对应的面部中心关键点之间的特征点偏移量，并根据特征点偏移量对初始面部特征云图进行面部特征点定位和标注，得到目标面部特征云图；
S404、对目标面部特征云图进行面部特征点提取，得到面部特征点数据；
S405、对面部特征点数据进行面部特征点融合，得到融合特征点数据。
具体的，服务器对多个目标面部图像进行面部中心识别，以确定每个图像中的面部中心关键点。面部中心关键点通常对应于面部的重要特征，如眼睛、鼻子和嘴巴的位置。这些关键点的识别可以使用预训练的人脸关键点检测模型来实现。基于多个面部中心关键点，构建初始面部特征云图。这个云图可以被看作是一个空间坐标系，其中每个面部中心关键点表示一个坐标点。这个云图将面部中心关键点的空间分布可视化，为后续的特征点定位提供基础。对初始面部特征云图中的每个面部中心关键点进行邻近点识别，以获取每个关键点周围的邻近点集。这些邻近点可以是与关键点相连的附加点，有助于描述面部特征的细微变化。分别计算邻近点集与对应的面部中心关键点之间的特征点偏移量。特征点偏移量表示邻近点相对于关键点的位置变化。根据这些偏移量，对初始面部特征云图进行面部特征点的定位和标注，从而得到目标面部特征云图。对目标面部特征云图进行面部特征点提取，以获得关键点和其邻近点的坐标信息。这些信息描述了面部特征在不同图像中的位置和变化。对面部特征点数据进行面部特征点融合。融合可以采用加权平均等方式，将相同特征在不同图像中的坐标进行整合，得到融合特征点数据。这个融合后的数据更准确地反映了面部特征的整体变化。例如，在一个实际场景中，用户是使用某应用捕捉了一张面部图像。通过分析面部中心关键点和邻近点，应用定位并标注了眉毛的位置。通过融合多张图像中的眼睛位置，得到了更准确的眼睛坐标。应用从多个特征点中提取了眉毛和眼睛的坐标，并将它们融合成融合特征点数据，以用于后续分析。这样的处理过程可以提高面部特征的准确性和稳定性。
在一具体实施例中，执行步骤S105的过程可以具体包括如下步骤：
（1）对目标微振动信号集合中的多个信号点和融合特征点数据中的多个面部特征点进行数据对齐，并对目标微振动信号集合中的多个信号点和融合特征点数据中的多个面部特征点进行标准化处理；
（2）对目标微振动信号集合中的多个信号点和融合特征点数据中的多个面部特征点进行关联关系构建，生成信号点与面部特征点对应的目标关联关系；
（3）根据目标关联关系，计算融合特征点数据中多个面部特征点的特征点权重，得到特征点权重数据；
（4）根据特征点权重数据对融合特征点数据中每一面部特征点的变化进行加权平均，生成目标特征点数据集。
具体的，使用预置的摄像头采集目标用户的面部视频数据。针对每一帧视频，进行面部中心识别，即检测出面部的中心位置，并得到多个面部中心关键点。这些关键点包括眼睛、鼻子、嘴巴等。利用检测到的面部中心关键点，构建初始面部特征云图。在这个云图中，每个关键点被看作一个节点，形成一个以关键点为中心的特征点分布图。对初始面部特征云图中的每个面部中心关键点进行邻近点识别。通过计算距离，得到每个关键点周围的邻近点集。这些邻近点将有助于更精确地描述面部特征。分别计算邻近点集与对应的面部中心关键点之间的特征点偏移量。这些偏移量反映了邻近点与关键点之间的相对位置变化。利用这些偏移量，可以在初始面部特征云图上进行面部特征点的定位和标注，从而得到目标面部特征云图。通过目标面部特征云图，可以提取出面部特征点数据。这些特征点代表了面部的关键特征，如眉毛的位置、嘴巴的形状等。将提取出的面部特征点数据进行面部特征点融合。融合可以通过计算特征点的平均值或加权平均值来实现，从而得到更稳定和准确的特征点数据。例如，假设目标用户面部视频中有一帧，其中检测到了眼睛、鼻子和嘴巴的关键点。根据这些关键点，构建初始面部特征云图，每个关键点作为一个节点。针对每个关键点，识别其周围的邻近点，计算邻近点与关键点的偏移量。根据偏移量，调整初始面部特征云图，标注出面部特征点。提取特征点数据后，通过融合这些特征点，得到更综合的、稳定的面部特征信息。
在一具体实施例中，执行步骤S106的过程可以具体包括如下步骤：
（1）按照预设的数据集比例，对目标特征点数据集进行数据集划分，得到训练特征点数据集和预测特征点数据集；
（2）通过训练特征点数据集对预置的机器学习模型进行模型训练，得到面部表情识别模型，其中，机器学习模型包括：三层卷积网络、池化层、全连接层以及特征分类层，三层卷积网络用于进行特征提取，池化层和全连接层中每一层的输入均来自前面所有层的输出，特征分类层用于进行特征分类，特征分类为面部表情对应的识别结果；
（3）将目标特征点数据集输入面部表情识别模型，通过面部表情识别模型对目标特征点数据集中的面部特征和心跳信号进行情感分类和面部表情状态识别，得到目标用户的面部表情预测结果。
具体的，根据预设的数据集比例，对目标特征点数据集进行数据集划分，划分为训练特征点数据集和预测特征点数据集。这样可以确保训练模型时使用一部分数据，而另一部分数据用于模型验证和测试。使用训练特征点数据集对预置的机器学习模型进行模型训练。模型包括三层卷积网络、池化层、全连接层以及特征分类层。三层卷积网络负责从特征点数据中提取重要特征，池化层和全连接层将前一层的输出传递给后一层，构建深度网络结构。特征分类层用于将提取的特征映射到不同面部表情类别上，从而实现面部表情的分类。将预测特征点数据集输入已经训练好的面部表情识别模型中。模型将通过学习到的特征和权重来分析输入的特征点数据，包括面部特征和心跳信号数据。通过面部表情识别模型，对目标特征点数据集中的面部特征和心跳信号进行情感分类和面部表情状态识别。模型会分析输入数据并判断表情状态，例如笑、愤怒、惊讶等。同时，模型还可以结合心跳信号分析，进一步提高预测的准确性和可靠性。例如，假设有一个目标特征点数据集，其中包含了不同表情状态下的面部特征点和相应的心跳信号数据。根据预设的数据集比例，将数据集划分为训练特征点数据集和预测特征点数据集。使用训练特征点数据集，训练三层卷积网络、池化层、全连接层和特征分类层构成的面部表情识别模型。之后，将预测特征点数据集输入模型中，模型会分析数据并预测目标用户的面部表情状态，例如是否微笑、是否生气等。
上面对本发明实施例中基于机器学习的面部表情捕捉方法进行了描述，下面对本发明实施例中基于机器学习的面部表情捕捉系统进行描述，请参阅图5，本发明实施例中基于机器学习的面部表情捕捉系统一个实施例包括：
采集模块501，用于通过预置的摄像头采集目标用户的面部视频数据，并计算所述面部视频数据的视频变化指标，以及根据所述视频变化指标生成对应的多个目标面部图像；
计算模块502，用于分别对所述多个目标面部图像进行皮肤区域分割，得到多个皮肤区域图像，并分别对每个皮肤区域图像进行光强信号计算，得到多个初始光强信号；
合并模块503，用于对所述多个初始光强信号进行心跳微振动信号分析，得到多个初始微振动信号，并对所述多个初始微振动信号进行信号合并，得到目标微振动信号集合；
检测模块504，用于对所述多个目标面部图像进行面部特征点检测，得到面部特征点数据，并对所述面部特征点数据进行面部特征点融合，得到融合特征点数据；
融合模块505，用于建立所述目标微振动信号集合和所述融合特征点数据之间的目标关联关系，并基于所述目标关联关系对所述融合特征点数据进行特征加权融合，得到目标特征点数据集；
预测模块506，用于通过所述目标特征点数据集对预置的机器学习模型进行模型训练，得到面部表情识别模型，并将所述目标特征点数据集输入所述面部表情识别模型进行面部表情预测，得到所述目标用户的面部表情预测结果。
通过上述各个组成部分的协同合作，计算面部视频数据的视频变化指标以及生成多个目标面部图像；进行皮肤区域分割，得到多个皮肤区域图像并进行光强信号计算，得到多个初始光强信号；进行心跳微振动信号分析，得到多个初始微振动信号并进行信号合并，得到目标微振动信号集合；进行面部特征点检测，得到面部特征点数据并进行面部特征点融合，得到融合特征点数据；建立目标关联关系并进行特征加权融合，得到目标特征点数据集；通过目标特征点数据集对预置的机器学习模型进行模型训练和面部表情预测，得到面部表情预测结果，本发明解决了传统的面部表情分析方法无法充分考虑情感状态的多样性和个体差异的问题，结合了心跳微振动信号和面部表情特征，能够更准确地识别并解读目标用户的情感状态，从而提升情感识别的准确性。
上面图5从模块化功能实体的角度对本发明实施例中的基于机器学习的面部表情捕捉系统进行详细描述，下面从硬件处理的角度对本发明实施例中基于机器学习的面部表情捕捉设备进行详细描述。
图6是本发明实施例提供的一种基于机器学习的面部表情捕捉设备的结构示意图，该基于机器学习的面部表情捕捉设备600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器（central processing units，CPU）610（例如，一个或一个以上处理器）和存储器620，一个或一个以上存储应用程序633或数据632的存储介质630（例如一个或一个以上海量存储设备）。其中，存储器620和存储介质630可以是短暂存储或持久存储。存储在存储介质630的程序可以包括一个或一个以上模块（图示没标出），每个模块可以包括对基于机器学习的面部表情捕捉设备600中的一系列指令操作。更进一步地，处理器610可以设置为与存储介质630通信，在基于机器学习的面部表情捕捉设备600上执行存储介质630中的一系列指令操作。
基于机器学习的面部表情捕捉设备600还可以包括一个或一个以上电源640，一个或一个以上有线或无线网络接口650，一个或一个以上输入输出接口660，和/或，一个或一个以上操作系统631，例如Windows Server，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图6示出的基于机器学习的面部表情捕捉设备结构并不构成对基于机器学习的面部表情捕捉设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种基于机器学习的面部表情捕捉设备，所述基于机器学习的面部表情捕捉设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例中的所述基于机器学习的面部表情捕捉方法的步骤。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述基于机器学习的面部表情捕捉方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（read-only memory，ROM）、随机存取存储器（random access memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种基于机器学习的面部表情捕捉方法，其特征在于，所述基于机器学习的面部表情捕捉方法包括：
通过预置的摄像头采集目标用户的面部视频数据，并计算所述面部视频数据的视频变化指标，以及根据所述视频变化指标生成对应的多个目标面部图像；
分别对所述多个目标面部图像进行皮肤区域分割，得到多个皮肤区域图像，并分别对每个皮肤区域图像进行光强信号计算，得到多个初始光强信号；
对所述多个初始光强信号进行心跳微振动信号分析，得到多个初始微振动信号，并对所述多个初始微振动信号进行信号合并，得到目标微振动信号集合；具体包括：对所述多个初始光强信号进行归一化处理，得到多个标准光强信号；对所述多个标准光强信号进行傅里叶变换，得到信号频域数据，并对所述信号频域数据进行微振动分析，得到微振动信号数据；对所述信号频域数据进行周期性信号分析，得到周期性信号数据；根据所述微振动信号数据和所述周期性信号数据，生成多个初始微振动信号；对所述多个初始微振动信号进行振动信号增强，得到多个增强微振动信号；对所述多个增强微振动信号进行信号合并，得到目标微振动信号集合；
对所述多个目标面部图像进行面部特征点检测，得到面部特征点数据，并对所述面部特征点数据进行面部特征点融合，得到融合特征点数据；
建立所述目标微振动信号集合和所述融合特征点数据之间的目标关联关系，并基于所述目标关联关系对所述融合特征点数据进行特征加权融合，得到目标特征点数据集；具体包括：对所述目标微振动信号集合中的多个信号点和所述融合特征点数据中的多个面部特征点通过时间戳进行数据对齐，并对所述目标微振动信号集合中的多个信号点和所述融合特征点数据中的多个面部特征点进行标准化处理；对所述目标微振动信号集合中的多个信号点和所述融合特征点数据中的多个面部特征点进行关联关系构建，生成信号点与面部特征点对应的目标关联关系；根据所述目标关联关系，计算所述融合特征点数据中多个面部特征点的特征点权重，得到特征点权重数据；根据所述特征点权重数据对所述融合特征点数据中每一面部特征点的变化进行加权平均，生成目标特征点数据集；
通过所述目标特征点数据集对预置的机器学习模型进行模型训练，得到面部表情识别模型，并将所述目标特征点数据集输入所述面部表情识别模型进行面部表情预测，得到所述目标用户的面部表情预测结果。
2.根据权利要求1所述的基于机器学习的面部表情捕捉方法，其特征在于，所述通过预置的摄像头采集目标用户的面部视频数据，并计算所述面部视频数据的视频变化指标，以及根据所述视频变化指标生成对应的多个目标面部图像，包括：
通过预置的摄像头采集目标用户的面部视频数据，并对所述面部视频数据进行视频图像分离，得到多个第一面部图像；
对所述多个第一面部图像中相邻的两个第一面部图像进行视频变化指标计算，得到每两个相邻第一面部图像的视频变化指标；
根据每两个相邻第一面部图像的视频变化指标，对所述多个第一面部图像进行图像变化调整，得到多个第二面部图像；
通过预置的EDSR模型对所述多个第二面部图像进行图像分辨率增强，得到多个第三面部图像；
对所述多个第三面部图像进行图像关系计算，得到目标图像关系，并根据所述目标图像关系对所述多个第三面部图像进行筛选，得到对应的多个目标面部图像。
3.根据权利要求1所述的基于机器学习的面部表情捕捉方法，其特征在于，所述分别对所述多个目标面部图像进行皮肤区域分割，得到多个皮肤区域图像，并分别对每个皮肤区域图像进行光强信号计算，得到多个初始光强信号，包括：
分别对所述多个目标面部图像进行皮肤区域分割，得到多个皮肤区域图像；
对所述多个目标面部图像进行颜色空间转换，得到目标颜色空间，并根据所述目标颜色空间确定对应的目标色彩通道；
通过预置的肤色模型，对所述多个皮肤区域图像进行颜色分布运算，得到每个皮肤区域图像的颜色分布采样点；
基于所述目标色彩通道，计算所述颜色分布采样点的光强值，并对所述光强值进行像素值平均，生成多个原始光强信号；
对所述多个原始光强信号进行信号滤波，得到多个初始光强信号。
4.根据权利要求1所述的基于机器学习的面部表情捕捉方法，其特征在于，所述对所述多个目标面部图像进行面部特征点检测，得到面部特征点数据，并对所述面部特征点数据进行面部特征点融合，得到融合特征点数据，包括：
对所述多个目标面部图像进行面部中心识别，得到多个面部中心关键点，并根据所述多个面部中心关键点构建初始面部特征云图；
对所述初始面部特征云图中的每个面部中心关键点进行邻近点识别，得到每个面部中心关键点对应的邻近点集；
分别计算所述邻近点集与对应的面部中心关键点之间的特征点偏移量，并根据所述特征点偏移量对所述初始面部特征云图进行面部特征点定位和标注，得到目标面部特征云图；
对所述目标面部特征云图进行面部特征点提取，得到面部特征点数据；
对所述面部特征点数据进行面部特征点融合，得到融合特征点数据。
5.根据权利要求1所述的基于机器学习的面部表情捕捉方法，其特征在于，所述通过所述目标特征点数据集对预置的机器学习模型进行模型训练，得到面部表情识别模型，并将所述目标特征点数据集输入所述面部表情识别模型进行面部表情预测，得到所述目标用户的面部表情预测结果，包括：
按照预设的数据集比例，对所述目标特征点数据集进行数据集划分，得到训练特征点数据集和预测特征点数据集；
通过所述训练特征点数据集对预置的机器学习模型进行模型训练，得到面部表情识别模型，其中，所述机器学习模型包括：三层卷积网络、池化层、全连接层以及特征分类层，所述三层卷积网络用于进行特征提取，所述池化层和所述全连接层中每一层的输入均来自前面所有层的输出，所述特征分类层用于进行特征分类，所述特征分类为面部表情对应的识别结果；
将所述目标特征点数据集输入所述面部表情识别模型，通过所述面部表情识别模型对所述目标特征点数据集中的面部特征和心跳信号进行情感分类和面部表情状态识别，得到所述目标用户的面部表情预测结果。
6.一种基于机器学习的面部表情捕捉系统，其特征在于，所述基于机器学习的面部表情捕捉系统包括：
采集模块，用于通过预置的摄像头采集目标用户的面部视频数据，并计算所述面部视频数据的视频变化指标，以及根据所述视频变化指标生成对应的多个目标面部图像；
计算模块，用于分别对所述多个目标面部图像进行皮肤区域分割，得到多个皮肤区域图像，并分别对每个皮肤区域图像进行光强信号计算，得到多个初始光强信号；
合并模块，用于对所述多个初始光强信号进行心跳微振动信号分析，得到多个初始微振动信号，并对所述多个初始微振动信号进行信号合并，得到目标微振动信号集合；具体包括：对所述多个初始光强信号进行归一化处理，得到多个标准光强信号；对所述多个标准光强信号进行傅里叶变换，得到信号频域数据，并对所述信号频域数据进行微振动分析，得到微振动信号数据；对所述信号频域数据进行周期性信号分析，得到周期性信号数据；根据所述微振动信号数据和所述周期性信号数据，生成多个初始微振动信号；对所述多个初始微振动信号进行振动信号增强，得到多个增强微振动信号；对所述多个增强微振动信号进行信号合并，得到目标微振动信号集合；
检测模块，用于对所述多个目标面部图像进行面部特征点检测，得到面部特征点数据，并对所述面部特征点数据进行面部特征点融合，得到融合特征点数据；
融合模块，用于建立所述目标微振动信号集合和所述融合特征点数据之间的目标关联关系，并基于所述目标关联关系对所述融合特征点数据进行特征加权融合，得到目标特征点数据集；具体包括：对所述目标微振动信号集合中的多个信号点和所述融合特征点数据中的多个面部特征点通过时间戳进行数据对齐，并对所述目标微振动信号集合中的多个信号点和所述融合特征点数据中的多个面部特征点进行标准化处理；对所述目标微振动信号集合中的多个信号点和所述融合特征点数据中的多个面部特征点进行关联关系构建，生成信号点与面部特征点对应的目标关联关系；根据所述目标关联关系，计算所述融合特征点数据中多个面部特征点的特征点权重，得到特征点权重数据；根据所述特征点权重数据对所述融合特征点数据中每一面部特征点的变化进行加权平均，生成目标特征点数据集；
预测模块，用于通过所述目标特征点数据集对预置的机器学习模型进行模型训练，得到面部表情识别模型，并将所述目标特征点数据集输入所述面部表情识别模型进行面部表情预测，得到所述目标用户的面部表情预测结果。
7.一种基于机器学习的面部表情捕捉设备，其特征在于，所述基于机器学习的面部表情捕捉设备包括：存储器和至少一个处理器，所述存储器中存储有指令；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述基于机器学习的面部表情捕捉设备执行如权利要求1-5中任一项所述的基于机器学习的面部表情捕捉方法。
8.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-5中任一项所述的基于机器学习的面部表情捕捉方法。
CN202311210446.2A 2023-09-19 2023-09-19 基于机器学习的面部表情捕捉方法及系统 Active CN117315745B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311210446.2A CN117315745B (zh) 2023-09-19 2023-09-19 基于机器学习的面部表情捕捉方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311210446.2A CN117315745B (zh) 2023-09-19 2023-09-19 基于机器学习的面部表情捕捉方法及系统

Publications (2)

Publication Number Publication Date
CN117315745A CN117315745A (zh) 2023-12-29
CN117315745B true CN117315745B (zh) 2024-05-28

Family

ID=89285862

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311210446.2A Active CN117315745B (zh) 2023-09-19 2023-09-19 基于机器学习的面部表情捕捉方法及系统

Country Status (1)

Country Link
CN (1) CN117315745B (zh)

Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3062181B1 (ja) * 1999-03-17 2000-07-10 株式会社エイ・ティ・アール知能映像通信研究所 実時間表情検出装置
CN103111006A (zh) * 2013-01-31 2013-05-22 江苏中京智能科技有限公司 智能心情调整仪
KR101738278B1 (ko) * 2015-12-31 2017-05-22 성균관대학교산학협력단 영상을 이용한 감정 인식 방법
KR20170081519A (ko) * 2016-01-04 2017-07-12 한국전자통신연구원 얼굴 표정을 이용한 조명 제어 장치 및 그 방법
CN107798318A (zh) * 2017-12-05 2018-03-13 四川文理学院 一种机器人识别面部快乐微表情的方法及其装置
GB201804537D0 (en) * 2018-03-21 2018-05-02 Limbic Ltd Emotion signals to train AI
CN109549624A (zh) * 2018-11-04 2019-04-02 南京云思创智信息科技有限公司 一种基于深度学习的实时视频情感分析方法及系统
CN109598217A (zh) * 2018-11-23 2019-04-09 南京亨视通信息技术有限公司 一种人体面部微表情分析研判的系统
CN110069981A (zh) * 2019-03-06 2019-07-30 中国地质大学（武汉） 基于机器学习的面部表情强度计算模型的形成方法及系统
KR20190110223A (ko) * 2018-03-20 2019-09-30 한양대학교 산학협력단 얼굴 표정 인식을 위한 얼굴 표정 등록 방법 및 이를 이용하는 얼굴 표정 인식 방법
CN110338777A (zh) * 2019-06-27 2019-10-18 嘉兴深拓科技有限公司 融合心率变异特征和面部表情特征的疼痛评估方法
CN111178195A (zh) * 2019-12-18 2020-05-19 中国平安人寿保险股份有限公司 人脸表情识别方法、装置及计算机可读存储介质
CN111582212A (zh) * 2020-05-15 2020-08-25 山东大学 一种基于运动单元的多域融合微表情检测方法
WO2021027553A1 (zh) * 2019-08-15 2021-02-18 深圳壹账通智能科技有限公司 微表情分类模型生成、图像识别方法、装置、设备及介质
CN112766173A (zh) * 2021-01-21 2021-05-07 福建天泉教育科技有限公司 一种基于ai深度学习的多模态情感分析方法及其系统
CN112861760A (zh) * 2017-07-25 2021-05-28 虹软科技股份有限公司 一种用于表情识别的方法和装置
CN114241565A (zh) * 2021-12-15 2022-03-25 北京易华录信息技术股份有限公司 一种面部表情、目标对象状态分析方法、装置及设备
CN114463815A (zh) * 2022-01-27 2022-05-10 南京甄视智能科技有限公司 一种基于人脸关键点的面部表情捕捉方法
CN114596619A (zh) * 2022-05-09 2022-06-07 深圳市鹰瞳智能技术有限公司 基于视频流的情感分析方法、装置、设备及存储介质
KR20220135846A (ko) * 2021-03-31 2022-10-07 주식회사 대교 감성 분석 기술을 활용한 학습자 분석 및 케어 시스템
CN115861981A (zh) * 2022-11-25 2023-03-28 山东大学 基于视频姿态不变性的驾驶员疲劳行为检测方法及系统
CN116612518A (zh) * 2023-05-31 2023-08-18 重庆中科云从科技有限公司 面部表情捕捉方法、系统、电子设备及介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10517521B2 (en) * 2010-06-07 2019-12-31 Affectiva, Inc. Mental state mood analysis using heart rate collection based on video imagery
US9690817B2 (en) * 2015-09-01 2017-06-27 International Business Machines Corporation Song selection using a heart rate change and a facial expression monitored with a camera
US9633250B2 (en) * 2015-09-21 2017-04-25 Mitsubishi Electric Research Laboratories, Inc. Method for estimating locations of facial landmarks in an image of a face using globally aligned regression
JP6985005B2 (ja) * 2015-10-14 2021-12-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 感情推定方法、感情推定装置、及び、プログラムを記録した記録媒体
KR20180057096A (ko) * 2016-11-21 2018-05-30 삼성전자주식회사 표정 인식과 트레이닝을 수행하는 방법 및 장치
IL262116A (en) * 2018-10-03 2020-04-30 Sensority Ltd Remote prediction of human neuropsychological state
CN109934173B (zh) * 2019-03-14 2023-11-21 腾讯科技（深圳）有限公司 表情识别方法、装置及电子设备
CN110263681B (zh) * 2019-06-03 2021-07-27 腾讯科技（深圳）有限公司 面部表情的识别方法和装置、存储介质、电子装置
CN111582136B (zh) * 2020-04-30 2024-04-16 京东方科技集团股份有限公司 表情识别方法及装置、电子设备、存储介质

Patent Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3062181B1 (ja) * 1999-03-17 2000-07-10 株式会社エイ・ティ・アール知能映像通信研究所 実時間表情検出装置
CN103111006A (zh) * 2013-01-31 2013-05-22 江苏中京智能科技有限公司 智能心情调整仪
KR101738278B1 (ko) * 2015-12-31 2017-05-22 성균관대학교산학협력단 영상을 이용한 감정 인식 방법
KR20170081519A (ko) * 2016-01-04 2017-07-12 한국전자통신연구원 얼굴 표정을 이용한 조명 제어 장치 및 그 방법
CN112861760A (zh) * 2017-07-25 2021-05-28 虹软科技股份有限公司 一种用于表情识别的方法和装置
CN107798318A (zh) * 2017-12-05 2018-03-13 四川文理学院 一种机器人识别面部快乐微表情的方法及其装置
KR20190110223A (ko) * 2018-03-20 2019-09-30 한양대학교 산학협력단 얼굴 표정 인식을 위한 얼굴 표정 등록 방법 및 이를 이용하는 얼굴 표정 인식 방법
GB201804537D0 (en) * 2018-03-21 2018-05-02 Limbic Ltd Emotion signals to train AI
CN109549624A (zh) * 2018-11-04 2019-04-02 南京云思创智信息科技有限公司 一种基于深度学习的实时视频情感分析方法及系统
CN109598217A (zh) * 2018-11-23 2019-04-09 南京亨视通信息技术有限公司 一种人体面部微表情分析研判的系统
CN110069981A (zh) * 2019-03-06 2019-07-30 中国地质大学（武汉） 基于机器学习的面部表情强度计算模型的形成方法及系统
CN110338777A (zh) * 2019-06-27 2019-10-18 嘉兴深拓科技有限公司 融合心率变异特征和面部表情特征的疼痛评估方法
WO2021027553A1 (zh) * 2019-08-15 2021-02-18 深圳壹账通智能科技有限公司 微表情分类模型生成、图像识别方法、装置、设备及介质
CN111178195A (zh) * 2019-12-18 2020-05-19 中国平安人寿保险股份有限公司 人脸表情识别方法、装置及计算机可读存储介质
CN111582212A (zh) * 2020-05-15 2020-08-25 山东大学 一种基于运动单元的多域融合微表情检测方法
CN112766173A (zh) * 2021-01-21 2021-05-07 福建天泉教育科技有限公司 一种基于ai深度学习的多模态情感分析方法及其系统
KR20220135846A (ko) * 2021-03-31 2022-10-07 주식회사 대교 감성 분석 기술을 활용한 학습자 분석 및 케어 시스템
CN114241565A (zh) * 2021-12-15 2022-03-25 北京易华录信息技术股份有限公司 一种面部表情、目标对象状态分析方法、装置及设备
CN114463815A (zh) * 2022-01-27 2022-05-10 南京甄视智能科技有限公司 一种基于人脸关键点的面部表情捕捉方法
CN114596619A (zh) * 2022-05-09 2022-06-07 深圳市鹰瞳智能技术有限公司 基于视频流的情感分析方法、装置、设备及存储介质
CN115861981A (zh) * 2022-11-25 2023-03-28 山东大学 基于视频姿态不变性的驾驶员疲劳行为检测方法及系统
CN116612518A (zh) * 2023-05-31 2023-08-18 重庆中科云从科技有限公司 面部表情捕捉方法、系统、电子设备及介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于特征点检测的面部情感分析应用与研究;徐天宇;熊超;;电脑与信息技术;20200615(第03期);第17-20页 *
徐天宇 ; 熊超 ; .基于特征点检测的面部情感分析应用与研究.电脑与信息技术.2020,(第03期),第17-20页. *

Also Published As

Publication number Publication date
CN117315745A (zh) 2023-12-29

Similar Documents

Publication Publication Date Title
US8345936B2 (en) Multispectral iris fusion for enhancement and interoperability
US8819015B2 (en) Object identification apparatus and method for identifying object
US7697735B2 (en) Image based multi-biometric system and method
CN107122709B (zh) 活体检测方法及装置
CN107798279B (zh) 一种人脸活体检测方法及装置
CN105701806B (zh) 基于深度图像的帕金森震颤运动特征检测方法及系统
KR101301821B1 (ko) 안색 정보 생성 장치 및 그 방법, 안색 정보를 이용한 건강 상태 판단 장치 및 그 방법, 건강 분류 함수 생성 장치 및 그 방법
CN111126240B (zh) 一种三通道特征融合人脸识别方法
Fouad et al. Optimizing remote photoplethysmography using adaptive skin segmentation for real-time heart rate monitoring
JP6098304B2 (ja) 脈波検出装置、脈波検出方法及び脈波検出プログラム
Hsu et al. Deep hierarchical network with line segment learning for quantitative analysis of facial palsy
CN108416291A (zh) 人脸检测识别方法、装置和系统
CN109034133A (zh) 一种人脸识别方法及装置
AU2018353268B2 (en) Computer-implemented method and system for direct photoplethysmography (PPG) with multiple sensors
Liu et al. Detecting pulse rates from facial videos recorded in unstable lighting conditions: An adaptive spatiotemporal homomorphic filtering algorithm
Kang et al. Transppg: Two-stream transformer for remote heart rate estimate
CN117315745B (zh) 基于机器学习的面部表情捕捉方法及系统
Karmuse et al. A robust rPPG approach for continuous heart rate measurement based on face
JP2014199519A (ja) 物体識別装置、物体識別方法及びプログラム
JP6201520B2 (ja) 生理指標を用いる視線分析システムおよび方法
CN116092157A (zh) 一种智能面舌诊方法、系统及智能设备
CN115553777A (zh) 一种非接触式精神压力检测方法及系统
CN110321782A (zh) 一种检测人体特征信号的系统
US11138741B2 (en) System and method for eye tracking
JP2012234500A (ja) パターン識別装置、パターン識別方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Country or region after: China

Address after: 701, 7th floor, and 801, 8th floor, Building 1, Courtyard 8, Gouzitou Street, Changping District, Beijing, 102200

Applicant after: Zhongying Nian Nian (Beijing) Technology Co.,Ltd.

Address before: No. 6304, Beijing shunhouyu Business Co., Ltd., No. 32, Wangfu street, Beiqijia Town, Changping District, Beijing 102200

Applicant before: China Film annual (Beijing) culture media Co.,Ltd.

Country or region before: China

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant