CN111259895B - 一种基于面部血流分布的情感分类方法及系统 - Google Patents
一种基于面部血流分布的情感分类方法及系统 Download PDFInfo
- Publication number
- CN111259895B CN111259895B CN202010107268.0A CN202010107268A CN111259895B CN 111259895 B CN111259895 B CN 111259895B CN 202010107268 A CN202010107268 A CN 202010107268A CN 111259895 B CN111259895 B CN 111259895B
- Authority
- CN
- China
- Prior art keywords
- blood flow
- flow distribution
- pulse wave
- facial
- channel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000017531 blood circulation Effects 0.000 title claims abstract description 133
- 230000001815 facial effect Effects 0.000 title claims abstract description 124
- 230000008451 emotion Effects 0.000 title claims abstract description 87
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000012549 training Methods 0.000 claims description 42
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 12
- 230000011218 segmentation Effects 0.000 claims description 10
- 230000000747 cardiac effect Effects 0.000 claims description 7
- 238000002790 cross-validation Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 7
- 238000012880 independent component analysis Methods 0.000 claims description 7
- 230000008921 facial expression Effects 0.000 abstract description 6
- 230000008569 process Effects 0.000 abstract description 6
- 230000000873 masking effect Effects 0.000 abstract 1
- 238000012706 support-vector machine Methods 0.000 description 28
- 230000008859 change Effects 0.000 description 5
- 230000002996 emotional effect Effects 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 2
- 230000037007 arousal Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000000750 endocrine system Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 210000005259 peripheral blood Anatomy 0.000 description 1
- 239000011886 peripheral blood Substances 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 231100000430 skin reaction Toxicity 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000004936 stimulating effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02405—Determining heart rate variability
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/026—Measuring blood flow
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
- A61B5/748—Selection of a region of interest, e.g. using a graphics tablet
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
- G06F2218/10—Feature extraction by analysing the shape of a waveform, e.g. extracting parameters relating to peaks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Veterinary Medicine (AREA)
- Cardiology (AREA)
- Heart & Thoracic Surgery (AREA)
- Theoretical Computer Science (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Physiology (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Psychiatry (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Developmental Disabilities (AREA)
- Hematology (AREA)
- Child & Adolescent Psychology (AREA)
- Signal Processing (AREA)
- Educational Technology (AREA)
- Hospice & Palliative Care (AREA)
- Psychology (AREA)
- Social Psychology (AREA)
- Fuzzy Systems (AREA)
- Human Computer Interaction (AREA)
Abstract
本发明所提供的一种基于面部血流分布的情感分类方法及系统，该方法：获取待分类的面部视频数据；选取面部图像数据的鼻翼两侧及脸颊的区域作为ROI区域；确定ROI区域的最佳脉搏波；从ROI区域的最佳脉搏波的时域和频域信息中提取基本特征；利用ROI区域的最佳脉搏波，从面部图像数据中提取面部血流分布；将每个面部图像数据的基本特征和面部血流分布依次排列构成面部血流分布特征序列，作为输入特征数据；输入训练后的SVM模型，进行情感分类。本发明的方法在情感分类过程中应用了面部血流分布特征等生理信息，以避免分类对象因控制自己的面部表情或者控制自己的语音语调来掩饰自己当时的情感，导致情感分类的错误，提高情感分类的准确性。
Description
技术领域
本发明涉及情感分类领域，特别是涉及一种基于面部血流分布的情感分类方法及系统。
背景技术
随着人工智能的快速发展，让机器能够识别并“拥有”情感变的至关重要，情感分类已经成为人机自然交互的关键因素。科学家对此做了大量的研究，其中很大一部分科学家着力于根据人的面部表情和语音信息作为情感分类的特征，其分类效果良好。但是这种分类方法会因为个体差异而产生差异，有的人善于控制自己的面部表情或者控制自己的语音语调来掩饰自己当时的情感，那么通过上述方法可能就会产生情感分类的错误。
发明内容
本发明的目的是提供一种基于面部血流分布的情感分类方法及系统，以避免分类对象因控制自己的面部表情或者控制自己的语音语调来掩饰自己当时的情感，导致情感分类的错误，提高情感分类的准确性。
为实现上述目的，本发明提供了如下方案：
一种基于面部血流分布的情感分类方法，所述情感分类方法包括如下步骤：
获取待分类的面部视频数据；将面部视频数据的一帧作为一个面部图像数据；
选取面部图像数据的鼻翼两侧及脸颊的区域作为ROI区域；
确定ROI区域的最佳脉搏波；
从所述ROI区域的最佳脉搏波的时域和频域信息中提取基本特征，所述基本特征包括心动周期、峰值间隔、起始与峰值的间隔、波形幅值、标准心率频域和最大幅值；
利用所述ROI区域的最佳脉搏波，从所述面部图像数据中提取面部血流分布；
将每个面部图像数据的基本特征和面部血流分布依次排列构成面部血流分布特征序列，作为输入特征数据；
将从情感分类已知的面部视频数据中提取的面部血流分布特征序列作为训练特征数据训练SVM模型，得到训练后的SVM模型；
将所述输入特征数据输入所述训练后的SVM模型，进行情感分类。
可选的，所述确定ROI区域的最佳脉搏波，具体包括：
分别采用rPPG算法计算ROI区域的R通道、G通道、B通道平均像素灰度值，作为R通道脉搏波、G通道脉搏波、B通道脉搏波；
分别对R通道脉搏波、G通道脉搏波、B通道脉搏波进行去趋势化、带通滤波和独立成分分析，得到R通道独立成分、G通道独立成分、B通道独立成分；
将R通道独立成分、G通道独立成分、B通道独立成分中与所述G通道脉搏波的相关性最大的独立成分作为最佳脉搏波。
可选的，所述利用所述ROI区域的最佳脉搏波，从所述面部图像数据中提取面部血流分布，具体包括：
利用ROI区域的最佳脉搏波的频谱图的最大幅值对应的频率计算心率，得到标准心率；
将面部图像数据进行等边长分割，将分割得到的每个区域作为一个血流分布检测器，得到多个血流分布检测器；
确定每个所述血流分布检测器的最佳脉搏波；
将每个所述血流分布检测器的最佳脉搏波的频谱图与所述标准心率进行匹配，选取所述标准心率对应的血流分布检测器的最佳脉搏波的幅值作为表征所述血流分布检测器的血流分布强度的参数，得到面部血流分布。
可选的，所述利用ROI区域的最佳脉搏波的频谱图的最大幅值对应的频率计算心率，得到标准心率，具体包括：
利用ROI区域的最佳脉搏波的频谱图的最大幅值对应的频率fmax，利用公式HR＝fmax*60，计算心率HR，得到标准心率。
可选的，所述将从情感分类已知的面部视频数据中提取的面部血流分布特征序列作为训练特征数据训练SVM模型，具体包括：
将从情感分类已知的面部视频数据中提取的面部血流分布特征序列作为训练特征数据，采用十折交叉验证法，训练SVM模型，得到训练后的SVM模型。
一种基于面部血流分布的情感分类系统，所述情感分类系统包括：
面部视频数据获取模块，用于获取待分类的面部视频数据；将面部视频数据的一帧作为一个面部图像数据；
ROI区域选取模块，用于选取面部图像数据的鼻翼两侧及脸颊的区域作为ROI区域；
ROI区域的最佳脉搏波确定模块，用于确定ROI区域的最佳脉搏波；
基本特征提取模块，用于从所述ROI区域的最佳脉搏波的时域和频域信息中提取基本特征，所述基本特征包括心动周期、峰值间隔、起始与峰值的间隔、波形幅值、标准心率频域和最大幅值；
面部血流分布提取模块，用于利用所述ROI区域的最佳脉搏波，从所述面部图像数据中提取面部血流分布；
输入特征数据获取模块，用于将每个面部图像数据的基本特征和面部血流分布依次排列构成面部血流分布特征序列，作为输入特征数据；
训练模块，用于将从情感分类已知的面部视频数据中提取的面部血流分布特征序列作为训练特征数据训练SVM模型，得到训练后的SVM模型；
分类模块，用于将所述输入特征数据输入所述训练后的SVM模型，进行情感分类。
可选的，所述ROI区域的最佳脉搏波确定模块，具体包括：
平均像素灰度值计算子模块，用于分别采用rPPG算法计算ROI区域的R通道、G通道、B通道平均像素灰度值，作为R通道脉搏波、G通道脉搏波、B通道脉搏波；
独立成分获取子模块，用于分别对R通道脉搏波、G通道脉搏波、B通道脉搏波进行去趋势化、带通滤波和独立成分分析，得到R通道独立成分、G通道独立成分、B通道独立成分；
ROI区域的最佳脉搏波确定子模块，用于将R通道独立成分、G通道独立成分、B通道独立成分中与所述G通道脉搏波的相关性最大的独立成分作为最佳脉搏波。
可选的，所述面部血流分布提取模块，具体包括：
标准心率计算子模块，用于利用ROI区域的最佳脉搏波的频谱图的最大幅值对应的频率计算心率，得到标准心率；
区域分割子模块，用于将面部图像数据进行等边长分割，将分割得到的每个区域作为一个血流分布检测器，得到多个血流分布检测器；
血流分布检测器的最佳脉搏波确定子模块，用于确定每个所述血流分布检测器的最佳脉搏波；
面部血流分布提取子模块，用于将每个所述血流分布检测器的最佳脉搏波的频谱图与所述标准心率进行匹配，选取所述标准心率对应的血流分布检测器的最佳脉搏波的幅值作为表征所述血流分布检测器的血流分布强度的参数，得到面部血流分布。
可选的，所述标准心率计算子模块，具体包括：
标准心率计算单元，用于利用ROI区域的最佳脉搏波的频谱图的最大幅值对应的频率fmax，利用公式HR＝fmax*60，计算心率HR，得到标准心率。
可选的，所述训练模块，具体包括：
训练子模块，用于将从情感分类已知的面部视频数据中提取的面部血流分布特征序列作为训练特征数据，采用十折交叉验证法，训练SVM模型，得到训练后的SVM模型。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明所提供的一种基于面部血流分布的情感分类方法，所述情感分类方法：获取待分类的面部视频数据；选取面部图像数据的鼻翼两侧及脸颊的区域作为ROI区域；确定ROI区域的最佳脉搏波；从所述ROI区域的最佳脉搏波的时域和频域信息中提取基本特征；利用所述ROI区域的最佳脉搏波，从所述面部图像数据中提取面部血流分布；将每个面部图像数据的基本特征和面部血流分布依次排列构成面部血流分布特征序列，作为输入特征数据；将所述输入特征数据输入所述训练后的SVM模型，进行情感分类。本发明的方法在情感分类过程中应用了面部血流分布特征等生理信息，以避免分类对象因控制自己的面部表情或者控制自己的语音语调来掩饰自己当时的情感，导致情感分类的错误，提高情感分类的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的基于面部血流分布的情感分类方法的流程图；
图2为本发明实施例2提供的最佳脉搏波的流程图确定的流程图；
图3为本发明实施例2提供的训练SVM模型的流程图；
图4为本发明实施例2提供的最佳脉搏波时域特征图；
图5为本发明实施例2提供的最佳脉搏波频域特征图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种基于面部血流分布的情感分类方法及系统，以避免分类对象因控制自己的面部表情或者控制自己的语音语调来掩饰自己当时的情感，导致情感分类的错误，提高情感分类的准确性。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
为实现上述目的，本发明提供了如下方案：
实施例1
如图1所示，本发明提供一种基于面部血流分布的情感分类方法，所述情感分类方法包括如下步骤：
获取待分类的面部视频数据；将面部视频数据的一帧作为一个面部图像数据；
选取面部图像数据的鼻翼两侧及脸颊的区域作为ROI区域；
确定ROI区域的最佳脉搏波。
所述确定ROI区域的最佳脉搏波，具体包括：分别采用rPPG算法计算ROI区域的R通道、G通道、B通道平均像素灰度值，作为R通道脉搏波、G通道脉搏波、B通道脉搏波；分别对R通道脉搏波、G通道脉搏波、B通道脉搏波进行去趋势化、带通滤波和独立成分分析，得到R通道独立成分、G通道独立成分、B通道独立成分；将R通道独立成分、G通道独立成分、B通道独立成分中与所述G通道脉搏波的相关性最大的独立成分作为最佳脉搏波。
从所述ROI区域的最佳脉搏波的时域和频域信息中提取基本特征，所述基本特征包括心动周期、峰值间隔、起始与峰值的间隔、波形幅值、标准心率频域和最大幅值；
利用所述ROI区域的最佳脉搏波，从所述面部图像数据中提取面部血流分布。
所述利用所述ROI区域的最佳脉搏波，从所述面部图像数据中提取面部血流分布，具体包括：利用ROI区域的最佳脉搏波的频谱图的最大幅值对应的频率计算心率，得到标准心率；将面部图像数据进行等边长分割，将分割得到的每个区域作为一个血流分布检测器，得到多个血流分布检测器；确定每个所述血流分布检测器的最佳脉搏波；将每个所述血流分布检测器的最佳脉搏波的频谱图与所述标准心率进行匹配，选取所述标准心率对应的血流分布检测器的最佳脉搏波的幅值作为表征所述血流分布检测器的血流分布强度的参数，得到面部血流分布。
其中，所述利用ROI区域的最佳脉搏波的频谱图的最大幅值对应的频率计算心率，得到标准心率，具体包括：利用ROI区域的最佳脉搏波的频谱图的最大幅值对应的频率fmax，利用公式HR＝fmax*60，计算心率HR，得到标准心率。
将每个面部图像数据的基本特征和面部血流分布依次排列构成面部血流分布特征序列，作为输入特征数据；
将从情感分类已知的面部视频数据中提取的面部血流分布特征序列作为训练特征数据训练SVM模型，得到训练后的SVM模型；
所述将从情感分类已知的面部视频数据中提取的面部血流分布特征序列作为训练特征数据训练SVM模型，具体包括：将从情感分类已知的面部视频数据中提取的面部血流分布特征序列作为训练特征数据，采用十折交叉验证法，训练SVM模型，得到训练后的SVM模型。
将所述输入特征数据输入所述训练后的SVM模型，进行情感分类。
实施例2
本实施例将对情感进行二分类，通过面部血流分布将情感分为积极情感和消极情感，具体流程如附图1所示。
一、采集面部彩色视频并用视频的方式刺激产生情感变化；
步骤1：通过摄像机采集人脸视频，将摄像机置于补光灯中心，对被测者面部均匀补光。拍摄时，被测人员脸部正对相机，关闭相机图像优化功能，保持图像的原始性。被测人员面部与摄像机距离30厘米左右，且测试过程中被测人员应尽量避免出现头部摇晃等行为
步骤2：在情感激发实验开始前，首先需要减少来自自身情绪状态的影响。为了达到这个目的，在视频激发情感开始之前，都会给被测者播放一段中性的短片，让被测人员“清空”他们目前的情绪思想；
步骤3：在采集过程中，被测者通过观看不同情感类型的视频来激发情感的改变，情感视频片段包括平静、恐惧两类共三段(平静——恐惧——平静)，实验总用时15分钟，各阶段均为5分钟；
步骤4：采集55名被测者(男35名，女20名，年龄23±2岁)面部彩色视频作为样本集，并在观看视频过程中禁止被测者与他人交流，完成实验后，被测者填写情感评估量表评估情感变化，若被测者主观评估情感不是实验需要情感类型，则从数据样本中剔除(例如被测者观看恐惧视频，但其主观评估情感并非恐惧，则将此类样本从数据集种剔除)，最后得到42名被测者的有效数据。
二、脉搏波的获取(如附图2所示)
步骤1：将采集系统获取到的面部视频中血管主要分布区域(鼻翼两侧及脸颊)作为提取脉搏波的ROI，并提取出ROI中的皮肤区域；
步骤2：分别计算彩色视频中每一帧ROI中R通道、G通道、B通道平均像素灰度值得到3种基本脉搏波；
步骤3：将上述的基本脉搏波进行去趋势化、带通滤波和独立成分分析，将会得到3种独立成分，选取与G通道脉搏波相关性最大的独立成分作为最佳脉搏波。
三、血流分布的获取
步骤1：将上述最佳脉搏波信号进行FFT变换得到其频谱图，选取最大幅度对应的频率计算心率，计算公式如下：
HR＝fmax*60(bmp)
步骤2：利用自动识别获取最佳ROI区域计算出的心率作为标准值，通过时间窗滑动计算过程来减少环境光突变带来的误差；
步骤3：对时间窗内的视频帧进行等变长区域分割，这里我们选取区域边长为30像素，每块区域作为一个检测器分别通过上述方法提取最佳脉搏波成分，并对每个检测器最佳成分频域幅值分别与标准心率值进行匹配，从而得到面部血流分布强度；
四、构建情感分类器(如附图3所示)
步骤1：对每个感情段的脉搏波信号从时域和频域提取基本特征(如图4、图5所示)，这些特征包含心动周期、峰值间隔(Ts-s、Tp-p)、起始-峰值间隔(Tp-w)、波形幅值(Y)、标准心率频域最大幅值(Ymax)、血流分布强度趋势，然后计算这些特征的平均值、标准差、最大值、最小值和中位数作为最终分类器特征。
步骤2：70％的有效数据样本作为训练集并采用十折交叉验证方法进行训练，30％的有效数据样本作为测试集，而测试集的测试结果作为重要指标评估整个系统；
步骤3：采用SVM(Support Vector Machine，支持向量机)算法作为分类器。SVM模型核函数选择RBF(Radial Basis Function，径向基核函数)，最优惩罚因子c和核函数γ通过网络搜寻法确定。
步骤4：将上述基本特征和所有检测器的血流分布强度作为总体特征输入到训练好的分类器模型，最终模型输出两类情绪(平静、恐惧)的分类结果，以此达到情感分类的目的。
实施例3
本发明还提供一种基于面部血流分布的情感分类系统，所述情感分类系统包括：
面部视频数据获取模块，用于获取待分类的面部视频数据；将面部视频数据的一帧作为一个面部图像数据。
ROI区域选取模块，用于选取面部图像数据的鼻翼两侧及脸颊的区域作为ROI区域。
ROI区域的最佳脉搏波确定模块，用于确定ROI区域的最佳脉搏波。
所述ROI区域的最佳脉搏波确定模块，具体包括：平均像素灰度值计算子模块，用于分别采用rPPG算法计算ROI区域的R通道、G通道、B通道平均像素灰度值，作为R通道脉搏波、G通道脉搏波、B通道脉搏波；独立成分获取子模块，用于分别对R通道脉搏波、G通道脉搏波、B通道脉搏波进行去趋势化、带通滤波和独立成分分析，得到R通道独立成分、G通道独立成分、B通道独立成分；ROI区域的最佳脉搏波确定子模块，用于将R通道独立成分、G通道独立成分、B通道独立成分中与所述G通道脉搏波的相关性最大的独立成分作为最佳脉搏波。
基本特征提取模块，用于从所述ROI区域的最佳脉搏波的时域和频域信息中提取基本特征，所述基本特征包括心动周期、峰值间隔、起始与峰值的间隔、波形幅值、标准心率频域和最大幅值。
面部血流分布提取模块，用于利用所述ROI区域的最佳脉搏波，从所述面部图像数据中提取面部血流分布。
所述面部血流分布提取模块，具体包括：标准心率计算子模块，用于利用ROI区域的最佳脉搏波的频谱图的最大幅值对应的频率计算心率，得到标准心率；区域分割子模块，用于将面部图像数据进行等边长分割，将分割得到的每个区域作为一个血流分布检测器，得到多个血流分布检测器；血流分布检测器的最佳脉搏波确定子模块，用于确定每个所述血流分布检测器的最佳脉搏波；面部血流分布提取子模块，用于将每个所述血流分布检测器的最佳脉搏波的频谱图与所述标准心率进行匹配，选取所述标准心率对应的血流分布检测器的最佳脉搏波的幅值作为表征所述血流分布检测器的血流分布强度的参数，得到面部血流分布。
其中，所述标准心率计算子模块，具体包括：标准心率计算单元，用于利用ROI区域的最佳脉搏波的频谱图的最大幅值对应的频率fmax，利用公式HR＝fmax*60，计算心率HR，得到标准心率。
输入特征数据获取模块，用于将每个面部图像数据的基本特征和面部血流分布依次排列构成面部血流分布特征序列，作为输入特征数据。
训练模块，用于将从情感分类已知的面部视频数据中提取的面部血流分布特征序列作为训练特征数据训练SVM模型，得到训练后的SVM模型。
所述训练模块，具体包括：训练子模块，用于将从情感分类已知的面部视频数据中提取的面部血流分布特征序列作为训练特征数据，采用十折交叉验证法，训练SVM模型，得到训练后的SVM模型。
分类模块，用于将所述输入特征数据输入所述训练后的SVM模型，进行情感分类。
由于通过人的生理信息可以更加准确地判断一个人的情感，情感变化往往伴随着生理信息变化，如心跳、血压、呼吸、皮肤电反映、瞳孔等等，这些变化主要由内分泌系统的变化所决定，较少受当事人主管控制。生活中在人处于特定情感时脸色会通红或者发白，面部的血液循环系统反映了一个人的脸色。情感变化可以表现为外周血管的舒张与收缩的变化，本发明采集并获取人的面部血流分布，并提取面部血流分布的主要特征进行情感分类，提高情感分类的性能。本发明提出的方法不仅能反映人的面部血流分布，而且能够利用面部血流分布的特征进行情感分类。利用特定的面部血流分布数据集，例如对平静、高兴、悲伤、愤怒、恐惧等情感进行分类，通过本发明的情感分类模型能够准确分类。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (6)
1.一种基于面部血流分布的情感分类方法，其特征在于，所述情感分类方法包括如下步骤：
获取待分类的面部视频数据；将面部视频数据的一帧作为一个面部图像数据；
选取面部图像数据的鼻翼两侧及脸颊的区域作为ROI区域；
确定ROI区域的最佳脉搏波；
从所述ROI区域的最佳脉搏波的时域和频域信息中提取基本特征，所述基本特征包括心动周期、峰值间隔、起始与峰值的间隔、波形幅值、标准心率频域和最大幅值；
利用所述ROI区域的最佳脉搏波，从所述面部图像数据中提取面部血流分布；
将每个面部图像数据的基本特征和面部血流分布依次排列构成面部血流分布特征序列，作为输入特征数据；
将从情感分类已知的面部视频数据中提取的面部血流分布特征序列作为训练特征数据训练SVM模型，得到训练后的SVM模型；
将所述输入特征数据输入所述训练后的SVM模型，进行情感分类；
所述确定ROI区域的最佳脉搏波，具体包括：
分别采用rPPG算法计算ROI区域的R通道、G通道、B通道平均像素灰度值，作为R通道脉搏波、G通道脉搏波、B通道脉搏波；
分别对R通道脉搏波、G通道脉搏波、B通道脉搏波进行去趋势化、带通滤波和独立成分分析，得到R通道独立成分、G通道独立成分、B通道独立成分；
将R通道独立成分、G通道独立成分、B通道独立成分中与所述G通道脉搏波的相关性最大的独立成分作为最佳脉搏波；
所述利用所述ROI区域的最佳脉搏波，从所述面部图像数据中提取面部血流分布，具体包括：
利用ROI区域的最佳脉搏波的频谱图的最大幅值对应的频率计算心率，得到标准心率；
将面部图像数据进行等边长分割，将分割得到的每个区域作为一个血流分布检测器，得到多个血流分布检测器；
确定每个所述血流分布检测器的最佳脉搏波；
将每个所述血流分布检测器的最佳脉搏波的频谱图与所述标准心率进行匹配，选取所述标准心率对应的血流分布检测器的最佳脉搏波的幅值作为表征所述血流分布检测器的血流分布强度的参数，得到面部血流分布。
2.根据权利要求1所述的基于面部血流分布的情感分类方法，其特征在于，所述利用ROI区域的最佳脉搏波的频谱图的最大幅值对应的频率计算心率，得到标准心率，具体包括：
利用ROI区域的最佳脉搏波的频谱图的最大幅值对应的频率fmax，利用公式HR＝fmax*60，计算心率HR，得到标准心率。
3.根据权利要求1所述的基于面部血流分布的情感分类方法，其特征在于，所述将从情感分类已知的面部视频数据中提取的面部血流分布特征序列作为训练特征数据训练SVM模型，具体包括：
将从情感分类已知的面部视频数据中提取的面部血流分布特征序列作为训练特征数据，采用十折交叉验证法，训练SVM模型，得到训练后的SVM模型。
4.一种基于面部血流分布的情感分类系统，其特征在于，所述情感分类系统包括：
面部视频数据获取模块，用于获取待分类的面部视频数据；将面部视频数据的一帧作为一个面部图像数据；
ROI区域选取模块，用于选取面部图像数据的鼻翼两侧及脸颊的区域作为ROI区域；
ROI区域的最佳脉搏波确定模块，用于确定ROI区域的最佳脉搏波；
基本特征提取模块，用于从所述ROI区域的最佳脉搏波的时域和频域信息中提取基本特征，所述基本特征包括心动周期、峰值间隔、起始与峰值的间隔、波形幅值、标准心率频域和最大幅值；
面部血流分布提取模块，用于利用所述ROI区域的最佳脉搏波，从所述面部图像数据中提取面部血流分布；
输入特征数据获取模块，用于将每个面部图像数据的基本特征和面部血流分布依次排列构成面部血流分布特征序列，作为输入特征数据；
训练模块，用于将从情感分类已知的面部视频数据中提取的面部血流分布特征序列作为训练特征数据训练SVM模型，得到训练后的SVM模型；
分类模块，用于将所述输入特征数据输入所述训练后的SVM模型，进行情感分类；
所述ROI区域的最佳脉搏波确定模块，具体包括：
平均像素灰度值计算子模块，用于分别采用rPPG算法计算ROI区域的R通道、G通道、B通道平均像素灰度值，作为R通道脉搏波、G通道脉搏波、B通道脉搏波；
独立成分获取子模块，用于分别对R通道脉搏波、G通道脉搏波、B通道脉搏波进行去趋势化、带通滤波和独立成分分析，得到R通道独立成分、G通道独立成分、B通道独立成分；
ROI区域的最佳脉搏波确定子模块，用于将R通道独立成分、G通道独立成分、B通道独立成分中与所述G通道脉搏波的相关性最大的独立成分作为最佳脉搏波；
所述面部血流分布提取模块，具体包括：
标准心率计算子模块，用于利用ROI区域的最佳脉搏波的频谱图的最大幅值对应的频率计算心率，得到标准心率；
区域分割子模块，用于将面部图像数据进行等边长分割，将分割得到的每个区域作为一个血流分布检测器，得到多个血流分布检测器；
血流分布检测器的最佳脉搏波确定子模块，用于确定每个所述血流分布检测器的最佳脉搏波；
面部血流分布提取子模块，用于将每个所述血流分布检测器的最佳脉搏波的频谱图与所述标准心率进行匹配，选取所述标准心率对应的血流分布检测器的最佳脉搏波的幅值作为表征所述血流分布检测器的血流分布强度的参数，得到面部血流分布。
5.根据权利要求4所述的基于面部血流分布的情感分类系统，其特征在于，所述标准心率计算子模块，具体包括：
标准心率计算单元，用于利用ROI区域的最佳脉搏波的频谱图的最大幅值对应的频率fmax，利用公式HR＝fmax*60，计算心率HR，得到标准心率。
6.根据权利要求4所述的基于面部血流分布的情感分类系统，其特征在于，所述训练模块，具体包括：
训练子模块，用于将从情感分类已知的面部视频数据中提取的面部血流分布特征序列作为训练特征数据，采用十折交叉验证法，训练SVM模型，得到训练后的SVM模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010107268.0A CN111259895B (zh) | 2020-02-21 | 2020-02-21 | 一种基于面部血流分布的情感分类方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010107268.0A CN111259895B (zh) | 2020-02-21 | 2020-02-21 | 一种基于面部血流分布的情感分类方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111259895A CN111259895A (zh) | 2020-06-09 |
| CN111259895B true CN111259895B (zh) | 2022-08-30 |
Family
ID=70947395
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010107268.0A Active CN111259895B (zh) | 2020-02-21 | 2020-02-21 | 一种基于面部血流分布的情感分类方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111259895B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111797794A (zh) * | 2020-07-13 | 2020-10-20 | 中国人民公安大学 | 一种面部动态血流分布检测方法 |
| CN112370058A (zh) * | 2020-11-11 | 2021-02-19 | 西北工业大学 | 一种基于移动端对用户的情感进行识别与监测方法 |
| CN116758619B (zh) * | 2023-08-17 | 2023-11-24 | 山东大学 | 基于面部视频的情感分类方法、系统、存储介质及设备 |
| CN117153403A (zh) * | 2023-09-13 | 2023-12-01 | 安徽爱学堂教育科技有限公司 | 基于微表情与身体指标的心理健康评价方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104039219A (zh) * | 2011-02-09 | 2014-09-10 | 奥森医疗科技有限公司 | 用于监测脑血流动力学特征的装置和方法 |
| CN106999111A (zh) * | 2014-10-01 | 2017-08-01 | 纽洛斯公司 | 用于检测不可见人类情感的系统和方法 |
| CN107280762A (zh) * | 2016-04-12 | 2017-10-24 | 西门子保健有限责任公司 | 用于基于可穿戴传感器网络进行个人化血流建模的方法和系统 |
| CN108056770A (zh) * | 2018-02-02 | 2018-05-22 | 合肥芯福传感器技术有限公司 | 一种基于人工智能的心率检测方法 |
| CN109745020A (zh) * | 2019-03-05 | 2019-05-14 | 中国石油大学(华东) | 基于血流磁电效应的非侵入式血管弹性评估方法 |
| CN109846464A (zh) * | 2018-12-29 | 2019-06-07 | 曹乃钊 | 血液流动力学参数的无创测量系统和数据处理系统 |
| CN109924960A (zh) * | 2019-01-31 | 2019-06-25 | 深圳市爱都科技有限公司 | 一种血氧饱和度、心率值和压力等级的计算方法和穿戴设备 |
| CN110070812A (zh) * | 2019-04-12 | 2019-07-30 | 华为技术有限公司 | 头戴电子设备及其控制方法 |
| CN110384485A (zh) * | 2019-07-23 | 2019-10-29 | 中山大学附属第八医院（深圳福田） | 体外反搏治疗中机体血流动力学响应的检测方法及装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010098912A2 (en) * | 2009-02-25 | 2010-09-02 | Valencell, Inc. | Light-guiding devices and monitoring devices incorporating same |
| US10159411B2 (en) * | 2015-06-14 | 2018-12-25 | Facense Ltd. | Detecting irregular physiological responses during exposure to sensitive data |
-
2020
- 2020-02-21 CN CN202010107268.0A patent/CN111259895B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104039219A (zh) * | 2011-02-09 | 2014-09-10 | 奥森医疗科技有限公司 | 用于监测脑血流动力学特征的装置和方法 |
| CN106999111A (zh) * | 2014-10-01 | 2017-08-01 | 纽洛斯公司 | 用于检测不可见人类情感的系统和方法 |
| CN107280762A (zh) * | 2016-04-12 | 2017-10-24 | 西门子保健有限责任公司 | 用于基于可穿戴传感器网络进行个人化血流建模的方法和系统 |
| CN108056770A (zh) * | 2018-02-02 | 2018-05-22 | 合肥芯福传感器技术有限公司 | 一种基于人工智能的心率检测方法 |
| CN109846464A (zh) * | 2018-12-29 | 2019-06-07 | 曹乃钊 | 血液流动力学参数的无创测量系统和数据处理系统 |
| CN109924960A (zh) * | 2019-01-31 | 2019-06-25 | 深圳市爱都科技有限公司 | 一种血氧饱和度、心率值和压力等级的计算方法和穿戴设备 |
| CN109745020A (zh) * | 2019-03-05 | 2019-05-14 | 中国石油大学(华东) | 基于血流磁电效应的非侵入式血管弹性评估方法 |
| CN110070812A (zh) * | 2019-04-12 | 2019-07-30 | 华为技术有限公司 | 头戴电子设备及其控制方法 |
| CN110384485A (zh) * | 2019-07-23 | 2019-10-29 | 中山大学附属第八医院（深圳福田） | 体外反搏治疗中机体血流动力学响应的检测方法及装置 |
Non-Patent Citations (6)
| Title |
|---|
| "A multi-modal sensor for a bed-integrated unobtrusive vital signs sensing array";Xinchi Yu 等;《IEEE》;20190414;全文 * |
| "Heart rate measurement using face video with noise suppression";B.A.Sujathakumari 等;《IEEE》;20181028;全文 * |
| "基于人体可获取诊断信息技术的集成中医诊疗设备的实现";侯淑涓 等;《中华中医药杂志》;20120401;全文 * |
| "基于人脸视频处理的心率检测方法研究";戚刚;《中国优秀硕士学位论文全文数据库信息科技辑》;20181015;全文 * |
| "基于人脸视频的非接触式心测量算法的研究与实现";杨雯;《中国优秀硕士学位论文全文数据库基础科学辑》;20190815;全文 * |
| "基于脉搏波传导时间和脉搏波特征参数的连续血压无创检测";赵彦峰 等;《生物医学工程研究》;20180315;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111259895A (zh) | 2020-06-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111259895B (zh) | 一种基于面部血流分布的情感分类方法及系统 | |
| CN110507335B (zh) | 基于多模态信息的服刑人员心理健康状态评估方法及系统 | |
| CN106725532B (zh) | 基于语音特征与机器学习的抑郁症自动评估系统和方法 | |
| US10433752B2 (en) | Method for the real-time identification of seizures in an electroencephalogram (EEG) signal | |
| CN111461176A (zh) | 基于归一化互信息的多模态融合方法、装置、介质及设备 | |
| CN114041795B (zh) | 基于多模态生理信息与深度学习的情绪识别方法及系统 | |
| CN107657964A (zh) | 基于声学特征和稀疏数学的抑郁症辅助检测方法及分类器 | |
| CN113729707A (zh) | 一种基于fecnn-lstm的眼动和ppg多模态融合的情感识别方法 | |
| CN111920420B (zh) | 一种基于统计学习的患者行为多模态分析与预测系统 | |
| CN110619301A (zh) | 一种基于双模态信号的情绪自动识别方法 | |
| CN109344816A (zh) | 一种基于脑电实时检测面部动作的方法 | |
| Xu et al. | Parkinson’s disease detection based on spectrogram-deep convolutional generative adversarial network sample augmentation | |
| CN111000556A (zh) | 一种基于深度模糊森林的情绪识别方法 | |
| CN114998651A (zh) | 基于迁移学习的皮肤病变图像分类识别方法、系统及介质 | |
| CN105279380A (zh) | 一种基于表情分析的抑郁程度自动评估系统 | |
| CN107918487A (zh) | 一种基于皮肤电信号识别中文情感词的方法 | |
| Majda-Zdancewicz et al. | Deep learning vs feature engineering in the assessment of voice signals for diagnosis in Parkinson’s disease | |
| CN113974627B (zh) | 一种基于脑机生成对抗的情绪识别方法 | |
| CN114565957A (zh) | 基于微表情识别的意识评估方法及系统 | |
| Thomas et al. | Artificial neural network for diagnosing autism spectrum disorder | |
| CN117883082A (zh) | 一种异常情绪识别方法、系统、设备及介质 | |
| CN112869743A (zh) | 一种考虑认知分心的运动起始意图神经解析方法 | |
| Loizou | An automated integrated speech and face imageanalysis system for the identification of human emotions | |
| CN111613338A (zh) | 棘慢复合波检测模型构建方法、系统 | |
| Aghakabi et al. | Fusing dorsal hand vein and ECG for personal identification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20200609 Assignee: TIANJIN HUIBO ZHILIAN ROBOT TECHNOLOGY Co.,Ltd. Assignor: TIANJIN POLYTECHNIC University Contract record no.: X2024980001894 Denomination of invention: A sentiment classification method and system based on facial blood flow distribution Granted publication date: 20220830 License type: Common License Record date: 20240202 Application publication date: 20200609 Assignee: Tianjin Guoke Medical Technology Development Co.,Ltd. Assignor: TIANJIN POLYTECHNIC University Contract record no.: X2024120000029 Denomination of invention: A sentiment classification method and system based on facial blood flow distribution Granted publication date: 20220830 License type: Common License Record date: 20240201 |