CN107491740B - 一种基于面部表情分析的新生儿疼痛识别方法 - Google Patents

一种基于面部表情分析的新生儿疼痛识别方法 Download PDF

Info

Publication number
CN107491740B
CN107491740B CN201710628847.8A CN201710628847A CN107491740B CN 107491740 B CN107491740 B CN 107491740B CN 201710628847 A CN201710628847 A CN 201710628847A CN 107491740 B CN107491740 B CN 107491740B
Authority
CN
China
Prior art keywords
facial
face
feature
dynamic
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710628847.8A
Other languages
English (en)
Other versions
CN107491740A (zh
Inventor
支瑞聪
张德政
许海瑞
高鸣旋
李婷婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology Beijing USTB
Original Assignee
University of Science and Technology Beijing USTB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology Beijing USTB filed Critical University of Science and Technology Beijing USTB
Priority to CN201710628847.8A priority Critical patent/CN107491740B/zh
Publication of CN107491740A publication Critical patent/CN107491740A/zh
Application granted granted Critical
Publication of CN107491740B publication Critical patent/CN107491740B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/175—Static expression

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种基于面部表情分析的新生儿疼痛识别方法，能够识别新生儿是否疼痛。所述方法包括：获取包含人脸面部信息的视频序列；从获取的所述视频序列中提取表示疼痛面部表情动态变化的面部动态几何特征和面部动态纹理特征；将提取的所述面部动态几何特征和所述面部动态纹理特征进行特征融合，并对融合后得到的面部特征向量进行降维；根据降维后得到的面部特征向量，训练分类器。本发明涉及模式识别及生物医学技术领域。

Description

一种基于面部表情分析的新生儿疼痛识别方法
技术领域
本发明涉及模式识别及生物医学技术领域，特别是指一种基于面部表情分析的新生儿疼痛识别方法。
背景技术
疼痛是人类进化的一种社会交流倾向，作为一种与伤害相关的特殊感觉体验，能够传递各种有害刺激带来的不适感，疼痛对个体的生存有着重要意义和价值。1976年国际疼痛研究学会(International Association for the Study of Pain,IASP)将疼痛定义为“一种与组织损伤或潜在的损伤相关的不愉快的主观感觉和情感体验”。1995年，美国疼痛协会把疼痛列为第五大生命体征，并强调系统评估和常规记录疼痛的重要性。
面部表情是观察评估中最直观且重要的行为指标，比身体运动、哭泣或心率等观测指标更为敏感，在疼痛评估中的重要性已得到广泛认可。
现有技术中，针对新生儿疼痛面部表情的研究主要包括：Brahnam等人采用主成分分析(PCA)、线性判别分析(LDA)降维，支持向量机(SVM)分类的方法，对COPE数据库中的204张图像进行疼痛与非疼痛的二类分类，识别率达到88％。Naufal Mansor M等人提出一种基于神经网络的新生儿面部表情分析方法，利用肤色信息对新生儿面部区域进行分割，同时计算出给定十五帧的奇异值分解和功率谱特征，通过比较相同类型特征间的相关系数实现疼痛及非疼痛面部表情分类；将Autoregressive(AR)回归模型与模糊K-近邻算法相结合进行疼痛检测，得到90.77％的准确率；此外还采用Haar级联进行检测，利用PCA进行特征提取，最后利用LDA区分疼痛与非疼痛得到93.12％的正确识别率。南京邮电大学卢官明教授团队使用包含安静、哭、轻度疼痛和剧烈疼痛四种不同表情的新生儿图像各200张，相继采用局部二值模式(LBP)、Gabor小波变换、稀疏表征等特征提取算法及其改进算法开展疼痛分类研究，利用SVM分类器对疼痛和非疼痛两类表情的平均识别率可以达到93.3％，对疼痛和哭两类表情的识别率可以达到83.13％；基于压缩感知的稀疏表示算法最终识别率可以达到88％的平均水平。
综上，现有技术中的新生儿疼痛面部表情分析的研究多为对静态图像分析或将序列帧作为单幅图像进行分析，没有对面部表情的动态变化过程进行描述，从而失去了较多表情变化过程中的运动信息，并且难以实现实时连续监测并应用于实际的临床医疗。
发明内容
本发明要解决的技术问题是提供一种基于面部表情分析的新生儿疼痛识别方法，以解决现有技术所存在的没有对面部表情的动态变化过程进行描述、且难以实时监测新生儿疼痛的问题。
为解决上述技术问题，本发明实施例提供一种基于面部表情分析的新生儿疼痛识别方法，包括：
S101，获取包含人脸面部信息的视频序列；
S102，从获取的所述视频序列中提取表示疼痛面部表情动态变化的面部动态几何特征和面部动态纹理特征；
S103，将提取的所述面部动态几何特征和所述面部动态纹理特征进行特征融合，并对融合后得到的面部特征向量进行降维；
S104，根据降维后得到的面部特征向量，训练分类器。
进一步地，所述获取包含人脸面部信息的视频序列包括：
若获取的所述视频序列中包括：人脸面部信息及背景信息，则提取所述视频序列中每帧图像的人脸面部区域；
对提取的人脸面部区域进行面部特征点检测。
进一步地，所述从获取的所述视频序列中提取面部动态几何特征包括：
根据面部特征点定义与疼痛相关的距离参数，其中，所述距离参数包括：面部运动距离参数和头部运动距离参数；
根据感知疼痛过程中面部肌肉运动特点，对获取的所述视频序列中的每帧图像计算所述距离参数，得到每帧图像的静态特征参数；
将所述视频序列中各帧图像的静态特征参数连接起来组成随时间变化的时域特征序列信号；
根据得到的所述时域特征序列信号，提取动态几何特征，得到描述面部运动变化的面部动态几何特征向量。
进一步地，所述面部运动距离参数包括：左侧眉毛到左侧眼睛的距离、右侧眉毛到右侧眼睛的距离、左侧上眼皮到左侧下眼皮的距离、右侧上眼皮到右侧下眼皮的距离、左侧眉毛到嘴巴左端的距离、右侧眉毛到嘴巴右端的距离、左侧眼睛到嘴巴左端的距离、右侧眼睛到嘴巴右端的距离、鼻子到嘴巴的距离、嘴巴张开宽度、嘴巴张开高度；
所述头部运动距离参数包括：左侧眉毛到左侧面部边界的距离、右侧眉毛到右侧面部边界的距离、左侧眼睛到左侧面部边界的距离、右侧眼睛到右侧面部边界的距离、鼻子左端到左侧面部边界的距离、鼻子右端到右侧面部边界的距离、嘴巴左端到左侧面部边界的距离、嘴巴右端到右侧面部边界的距离。
进一步地，所述根据得到的所述时域特征序列信号，提取动态几何特征，得到描述面部运动变化的面部动态几何特征向量包括：
对得到的所述时域特征序列信号进行平滑处理，得到平滑后信号；
计算所述平滑后信号的一阶导数，得到所述时域特征序列信号的速度信号；
计算所述平滑后信号的二阶导数，得到所述时域特征序列信号的加速度信号；
对所述平滑后信号、所述时域特征序列信号的速度信号和加速度信号分别提取多个动态几何特征，得到描述面部运动变化的面部动态几何特征向量。
进一步地，所述从获取的所述视频序列中提取面部动态纹理特征包括：
以检测到的面部特征点为基础，选取包含眉毛、眼睛、鼻子、嘴巴以及面部边界的主要特征点；
以选取的主要特征点为中心定义预设大小的局部方形区域；
以每个局部方形区域为单元组成的时间序列，分别提取时空域灰度纹理特征组成面部动态纹理特征向量。
进一步地，所述将提取的所述面部动态几何特征和所述面部动态纹理特征进行特征融合，并对融合后得到的面部特征向量进行降维包括：
将获取的所述面部动态几何特征和所述面部动态纹理特征连接起来进行特征融合，得到面部特征向量，所述面部特征向量用于表示一个视频样本的面部运动特征；
采用监督型局部保留映射特征降维方法，对所述面部特征向量进行维数约简。
进一步地，所述方法还包括：
对提取的所述面部动态几何特征和所述面部动态纹理特征进行降维；
根据降维后得到的面部动态几何特征和面部动态纹理特征的融合特征，训练分类器，分类器输出结果代表疼痛识别结果。
进一步地，所述方法还包括：
采用监督型局部保留映射特征降维方法，将S102得到的面部动态几何特征和面部动态纹理特征分别进行维数约简，分别得到面部动态几何特征和面部动态纹理特征对应的面部运动特征；
根据降维后得到的面部动态几何特征和/或面部动态纹理特征各自对应的面部运动特征，分别训练分类器。
进一步地，所述方法还包括：
将多个分类器的输出结果进行决策级融合得到最终的疼痛识别结果，其中，每种面部运动特征训练得到的分类器的输出结果分别代表相应种类面部运动特征的疼痛识别结果。
本发明的上述技术方案的有益效果如下：
上述方案中，通过从获取的所述视频序列中提取表示疼痛面部表情动态变化的面部动态几何特征和面部动态纹理特征，将提取的所述面部动态几何特征和所述面部动态纹理特征进行特征融合，并对融合后得到的面部特征向量进行降维；根据降维后得到的面部特征向量，训练分类器；训练得到的分类器能够用于新生儿疼痛实时检测。
附图说明
图1为本发明实施例提供的基于面部表情分析的新生儿疼痛识别方法的流程示意图；
图2(a)为本发明实施例提供的面部特征点示意图；
图2(b)为本发明实施例提供的面部运动距离参数示意图；
图2(c)为本发明实施例提供的头部运动距离参数示意图；
图2(d)为本发明实施例提供的特征点局部方形区域示意图；
图3为本发明实施例提供的基于面部表情分析的新生儿疼痛识别方法的详细流程示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
本发明针对现有的没有对面部表情的动态变化过程进行描述、且难以实时监测新生儿疼痛的问题，提供一种基于面部表情分析的新生儿疼痛识别方法。
如图1所示，本发明实施例提供的基于面部表情分析的新生儿疼痛识别方法，包括：
S101，获取包含人脸面部信息的视频序列；
S102，从获取的所述视频序列中提取表示疼痛面部表情动态变化的面部动态几何特征和面部动态纹理特征；
S103，将提取的所述面部动态几何特征和所述面部动态纹理特征进行特征融合，并对融合后得到的面部特征向量进行降维；
S104，根据降维后得到的面部特征向量，训练分类器。
本发明实施例所述的基于面部表情分析的新生儿疼痛识别方法，从获取的所述视频序列中提取表示疼痛面部表情动态变化的面部动态几何特征和面部动态纹理特征，将提取的所述面部动态几何特征和所述面部动态纹理特征进行特征融合，并对融合后得到的面部特征向量进行降维；根据降维后得到的面部特征向量，训练分类器；训练得到的分类器能够用于新生儿疼痛实时检测。
本实施例中，所述面部动态几何特征可以直观的描述面部主要器官的运动(位置变化)，而面部动态纹理特征可以有效描述面部细微变化信息，面部动态几何特征和面部动态纹理特征相结合使用可提供对新生儿面部表情变化的细致化表达。
本实施例中，采用动态描述分析提取视频序列中表示疼痛面部表情动态变化的面部动态几何特征和面部动态纹理特征，其中，所述面部动态几何特征的时间序列采用时域表示，所述面部动态纹理特征的时间序列采用时空域表示；具体的，面部动态几何特征通过对视频序列帧图像距离信号的时域变化信号特征参数进行描述，所述面部动态纹理特征通过对视频序列帧图像采用时空域局部模式特征参数进行描述。动态特征对捕捉面部变化非常重要，可以包含静态图像无法表达的信息。例如：疼痛中眼睛的挤压很难在单张静态图像中辨别，而在视频序列中则更容易描述。
在前述基于面部表情分析的新生儿疼痛识别方法的具体实施方式中，进一步地，所述获取包含人脸面部信息的视频序列包括：
若获取的所述视频序列中包括：人脸面部信息及背景信息，则提取所述视频序列中每帧图像的人脸面部区域；
对提取的人脸面部区域进行面部特征点检测。
本实施例中，如果获取的所述视频序列包括：人脸面部信息以及背景信息，则可以首先采用人脸自动识别技术提取所述视频序列中每帧图像的人脸面部区域，例如，可以基于哈尔(Haar)特征和Adaboost分类器的Viola-Jones方法，对所述视频序列中的人脸面部区域进行提取；接着，对提取的人脸面部区域进行面部特征点检测，具体的，可以采用主动外观模型(Active Appearance Model，AAM)、限制局部模型(Constrained Local Model，CLM)等面部特征点检测方法对每个序列帧进行面部特征点检测，包括眉毛、眼睛、鼻子、嘴巴、脸部边界等主要面部器官及区域，如图2(a)所示。
本实施例中，针对获取的视频序列的不同，可进行不同的图像预处理，例如：
若视频序列中的图像为彩色图像，则进行灰度归一化处理，转化成灰度图像后进行分析；
若视频序列中的图像受到白噪声、高斯噪声等噪声信号的干扰，则采用小波(包)分析、卡尔曼滤波等方法，去除噪声影响；
若视频序列中的图像受到光照影响，则采用光线补偿、边缘提取、商图像、灰度归一化等方法，减弱光照不均匀的影响；
若视频序列中的图像有旋转、角度变化等因素影响，则采用仿射变换消除干扰；若对图像尺寸大小有特殊要求，则采用尺度归一化方法对图像大小进行规范。
本实施例中，面部动态几何特征提取是基于检测到的面部特征点进行计算得到的，所述面部动态几何特征用于描述面部主要器官的运动(位置变化)。
在前述基于面部表情分析的新生儿疼痛识别方法的具体实施方式中，进一步地，所述从获取的所述视频序列中提取面部动态几何特征包括：
根据面部特征点定义与疼痛相关的距离参数，其中，所述距离参数包括：面部运动距离参数和头部运动距离参数；
根据感知疼痛过程中面部肌肉运动特点，对获取的所述视频序列中的每帧图像计算所述距离参数，得到每帧图像的静态特征参数；
将所述视频序列中各帧图像的静态特征参数连接起来组成随时间变化的时域特征序列信号；
根据得到的所述时域特征序列信号，提取动态几何特征，得到描述面部运动变化的面部动态几何特征向量。
本实施例中，所述距离参数用于捕捉疼痛的面部运动；所述距离参数包括：面部运动距离参数和头部运动距离参数。
本实施例中，如图2(b)所示，所述面部运动距离参数包括：左侧眉毛到左侧眼睛的距离debl、右侧眉毛到右侧眼睛的距离debr、左侧上眼皮到左侧下眼皮的距离del、右侧上眼皮到右侧下眼皮的距离der、左侧眉毛到嘴巴左端的距离dmbl、右侧眉毛到嘴巴右端的距离dmbr、左侧眼睛到嘴巴左端的距离deml、右侧眼睛到嘴巴右端的距离demr、鼻子到嘴巴的距离dnm、嘴巴张开宽度dmw、嘴巴张开高度dmh。因此，所述视频序列中的每帧图像至少可以得到11个面部运动距离参数。
头部运动是判断新生儿疼痛的重要标志之一。根据临床观察可知，在疼痛感知过程中，经常会伴随着头部运动。因此，定义一系列距离参数用于表示序列帧中是否存在头部运动变化。表征头部运动距离参数主要包括从面部器官到人脸边界之间的边界距离。如图2(c)所示，所述头部运动距离参数包括：左侧眉毛到左侧面部边界的距离dbbl、右侧眉毛到右侧面部边界的距离dbbr、左侧眼睛到左侧面部边界的距离dbel、右侧眼睛到右侧面部边界的距离dber、鼻子左端到左侧面部边界的距离dbnl、鼻子右端到右侧面部边界的距离dbnr、嘴巴左端到左侧面部边界的距离dbml、嘴巴右端到右侧面部边界的距离dbmr。因此，所述视频序列中的每帧图像至少可以得到8个头部运动距离参数。如果发生头部摇晃等变化，相应器官到左侧边界和右侧边界的距离会发生相应变化。
本实施例中，得到的每帧图像的静态特征参数至少包括：11个面部运动距离参数和8个头部运动距离参数。
本实施例中，得到每帧图像的11个面部运动距离参数和8个头部运动距离参数后，将所述视频序列中各帧图像的11个面部运动距离参数和8个头部运动距离参数，连接起来组成随时间变化的时域特征序列信号。
在前述基于面部表情分析的新生儿疼痛识别方法的具体实施方式中，进一步地，所述根据得到的所述时域特征序列信号，提取动态几何特征，得到描述面部运动变化的面部动态几何特征向量包括：
对得到的所述时域特征序列信号进行平滑处理，得到平滑后信号；
计算所述平滑后信号的一阶导数，得到所述时域特征序列信号的速度信号；
计算所述平滑后信号的二阶导数，得到所述时域特征序列信号的加速度信号；
对所述平滑后信号、所述时域特征序列信号的速度信号和加速度信号分别提取多个动态几何特征，得到描述面部运动变化的面部动态几何特征向量。
本实施例中，令x(·)表示组成的随时间变化的时域特征序列信号，采用一阶Butterworth滤波器对所述时域特征序列信号进行平滑处理，得到平滑后信号s(·)，然后分别计算平滑信号s(·)的一阶导数v(·)和二阶导数a(·)，其中，平滑信号s(·)、平滑信号s(·)的一阶导数v(·)和二阶导数a(·)都是时域信号。随后对这三种时域信号分别提取多个动态几何特征，从而得到描述面部运动变化的面部动态几何特征向量。
本实施例中，具体的，可以对每个时域信号提取16个动态几何特征，16个动态几何特征可以分为以下六组：
状态参数：幅值最大值(MAX)、幅值最小值(MIN)、幅值平均值(MEAN)、幅值中值(MEDIAN)；
变异参数：幅值范围(RANGE)、幅值标准偏差(SD)、幅值内四分距距离(IQR)、幅值分间距(IDR)、幅值中位数绝对偏差(MAD)；
峰值参数：峰值对应的瞬时值(TMAX)；
持续时间参数：幅值大于平均值的持续时间(DGM)、幅值大于均值和最小值平均值的持续时间(DGA)；
分段参数：幅值大于平均值的段数(SGM)、幅值大于均值和最小值平均值的段数(SGA)；
区域参数：信号幅值与最小值之间的面积(AREA)、AREA和最大最小值之差的商值(AREAR)。
本实施例中，从面部运动距离参数和头部运动距离参数组成的平滑信号s(·)、平滑信号s(·)的一阶导数v(·)和二阶导数a(·)中分别提取16个动态几何特征，从而组成维度为n×(3×16)的动态几何特征向量，其中n为静态特征参数的数量。
在前述基于面部表情分析的新生儿疼痛识别方法的具体实施方式中，进一步地，所述从获取的所述视频序列中提取面部动态纹理特征包括：
以检测到的面部特征点为基础，选取包含眉毛、眼睛、鼻子、嘴巴以及面部边界的主要特征点；
以选取的主要特征点为中心定义预设大小的局部方形区域；
以每个局部方形区域为单元组成的时间序列，分别提取时空域灰度纹理特征组成面部动态纹理特征向量。
本实施例中，将局部二元模式(LBP)应用扩展到三维特征空间后，即LBP-TOP，其中，LBP-TOP表示带有时间信息的LBP，可以对视频序列提取时空域灰度纹理特征，以增加特征参数的信息量并提高描述精度，其中，LBP-TOP是基于图像灰度信息的动态纹理特征描述方法，可有效表征面部表情的变化。该方法主要原理在于：静态图像可看作是XY平面上的灰度像素矩阵，动态视频序列是在静态图像的基础上增加了时间维度的变化信息，是三维表征量，可看作是XY平面以时间T轴为中心轴的堆栈。同理XYT三维空间上的动态序列也可以看作是XT平面在Y轴上的堆栈或者是YT平面在X轴上的堆栈。因此，XY平面提供了动态视频序列空间平面上的信息，XT和YT平面提供了动态视频序列的空时转换信息。面部动态纹理特征的提取过程可概括为：计算动态视频序列中每个像素点在三个正交平面(X，Y，T)上的纹理特征描述值，在对每个平面上的纹理特征描述值进行直方图统计，从而得到三个相互独立的直方图，把这三个直方图顺序串联构成总体的直方图，用以表示表情变化序列的动态特征。
为了提高面部动态几何特征描述子对面部表情变化描述的效果，并降低计算复杂度，提取面部动态纹理特征的步骤可以包括：
以检测到的面部特征点为基础，如图2(d)所示，选取31个包含眉毛、眼睛、鼻子、嘴巴以及面部边界的主要特征点，以选取的主要特征点为中心可以定义32×32的局部方形区域，以每个局部方形区域为单元组成的时间序列，分别提取时空域灰度纹理特征组成面部动态纹理特征向量。
在前述基于面部表情分析的新生儿疼痛识别方法的具体实施方式中，进一步地，所述将提取的所述面部动态几何特征和所述面部动态纹理特征进行特征融合，并对融合后得到的面部特征向量进行降维包括：
将获取的所述面部动态几何特征和所述面部动态纹理特征连接起来进行特征融合，得到面部特征向量，所述面部特征向量用于表示一个视频样本的面部运动特征；
采用监督型局部保留映射特征降维方法，对所述面部特征向量进行维数约简。
本实施例中，为了更好地利用疼痛面部表情特征的不同特点，可以采用特征级融合的方法，训练分类器，具体的：
将获取的所述面部动态几何特征和所述面部动态纹理特征连接起来进行特征融合，得到更加全面的表征面部表情变化的面部特征向量，所述面部特征向量用于表示一个视频样本的面部运动特征；得到的面部特征向量具有高维特征空间，因此，具有较高的特征冗余性，直接得到的面部特征向量输入到分类器性能是不理想的。而高维数据的本质特征往往存在于一个低维子空间中，可以代表原始数据的有用信息，因此，可以采用监督型局部保留映射(SLPP)特征降维方法挖掘原始特征空间的本质特征，即：采用监督型局部保留映射(SLPP)特征降维方法，对所述面部特征向量进行维数约简。
本实施例中，特征级融合的具体过程中，可以通过串联的方式将所述面部动态几何特征和所述面部动态纹理特征进行融合。具体的：
首先，将11个面部运动距离参数序列信号的动态几何特征参数和8个头部运动距离参数的动态几何特征参数依次连接起来，组成一个面部动态几何特征向量；类似的，将31个面部特征点定义的局部方形区域分别提取的时空域灰度纹理特征依次连接起来，组成一个面部动态纹理特征向量。
然后，将面部动态几何特征向量和面部动态纹理特征向量连接起来，形成一个面部特征向量，所述面部特征向量用于表示一个视频样本的面部运动特征。
最后，采用SLPP特征降维方法，对融合后得到的所述面部特征向量进行维数约简，根据得到的低维面部特征向量，训练分类器进行疼痛检测。
本实施例中，采用的监督型局部保留映射(SLPP)特征降维方法继承了非线性流形学习方法的优点，并提供了显式的转换函数，可以实现对未知样本的降维。基于监督型局部保留映射的特征降维可以将具有高维的面部特征向量进行维数约简，SLPP特征降维的原理为：
令X＝[x1,x2,…,xN]表示原始特征数据，SLPP的目标是寻找一个转换矩阵A，将输入的高维样本特征数据映射到低维子空间Y＝[y1,y2,…,yN]，即yi＝ATxi。令yi满足目标函数
Figure BDA0001363408210000111
以得到能够保留样本局部特性的映射，其中Wij为权重矩阵，可通过热核法或直接赋值法计算权值。若xi与xj是近邻点，则Wij＝exp(-||xi-xj||2/t)(热核法)或Wij＝1(直接赋值法)，反之，若xi与xj不是近邻，则Wij＝0，其中，t表示权重参数。上述目标函数的意义是如果xi与xj是近邻点，则须保证投影后yi与yj也近邻。
根据线性变换yi＝ATxi，求解目标函数最优解可转换为下面的广义特征值问题：
Figure BDA0001363408210000112
其中，D是一个对角矩阵，它的每个元素分别是权重矩阵Sij的行或列(因为S是对称矩阵)元素的和，即Dii＝∑jWij。L＝D-W是拉普拉斯矩阵。Dii(与yi相对应)越大，则yi越重要。投影矩阵即式(1)的特征值所对应的特征向量。
在前述基于面部表情分析的新生儿疼痛识别方法的具体实施方式中，进一步地，所述方法还包括：
对提取的所述面部动态几何特征和所述面部动态纹理特征进行降维；
根据降维后得到的面部动态几何特征和面部动态纹理特征的融合特征，训练分类器，分类器输出结果代表疼痛识别结果。
在前述基于面部表情分析的新生儿疼痛识别方法的具体实施方式中，进一步地，所述方法还包括：
采用监督型局部保留映射特征降维方法，将S102得到的面部动态几何特征和面部动态纹理特征分别进行维数约简，分别得到面部动态几何特征和面部动态纹理特征对应的面部运动特征；
根据降维后得到的面部动态几何特征和/或面部动态纹理特征各自对应的面部运动特征，分别训练分类器。
本实施例中，S102得到的面部动态几何特征和面部动态纹理特征具有高维特征空间，因此，可以采用监督型局部保留映射特征降维方法挖掘原始特征空间的本质特征，降低特征维数，如图3所示。具体的：
首先，采用监督型局部保留映射特征降维方法将具有高维的面部动态几何特征和面部动态纹理特征分别进行维数约简，分别得到面部动态几何特征和面部动态纹理特征对应的面部运动特征；接着，根据降维后得到的面部动态几何特征和/或面部动态纹理特征各自对应的面部运动特征，分别训练分类器。
在前述基于面部表情分析的新生儿疼痛识别方法的具体实施方式中，进一步地，所述方法还包括：
将多个分类器的输出结果进行决策级融合得到最终的疼痛识别结果，其中，每种面部运动特征训练得到的分类器的输出结果分别代表相应种类面部运动特征的疼痛识别结果。本实施例中，基于决策级融合的疼痛自动检测，是利用降维得到的面部运动特征分别训练分类器。每种面部运动特征训练得到的分类器的输出结果分别代表相应种类面部运动特征的疼痛识别结果，将多个分类器的输出结果进行决策级融合得到最终的疼痛识别结果。
本发明中，可以采用支持向量机(SVM)的方法将疼痛识别结果分为两类分类(疼痛/无疼痛)，每种面部运动特征输入分类器，得到对应的疼痛识别结果，并利用投票法对多种面部运动特征的疼痛识别结果进行综合评判。每个分类器的输出代表投票中的一票，当票数不同时，获得多数票的输出结果即为最终的疼痛识别结果；当票数相同时，根据分类器的得分进行判断，得分高的分类器输出即为最终的疼痛识别结果，如图3所示。
为了更好地理解本实施例所述的基于面部表情分析的新生儿疼痛识别方法的性能，可以针对不同类型的面部运动特征以及不同融合策略下的自动疼痛识别结果进行比较分析。首先将不同类型的面部运动特征分成三类，分别为面部运动特征(DGDisFace)、头部运动特征(DGDisPose)和面部纹理特征(DALBPTOP)，分别代表11个面部运动距离参数序列信号的动态几何特征参数、8个头部运动距离参数的动态几何特征参数、31个面部特征点定义的局部方形区域分别提取的时空域灰度纹理特征经过SLPP特征降维后的特征数据。试验中采用难度较大而更适合现实应用场景的验证方式，即“leave-one subject-out”(留一法)与人无关的交叉验证方法。
不同特征集的疼痛检测结果比较如表1所示，同时对三类特征降维方法进行了比较，包括主成分分析(PCA)、线性判别分析(LDA)和监督型局部保留映射(SLPP)，由结果可知，SLPP方法在大多数情况下表现最好，其局部保留特性和监督判别性能使得降维后特征判别性能优于其他两种方法。对于单一特征集合、多种特征融合(特征级融合以及决策级融合)的疼痛检测结果具体分析如下：
首先，单一的面部纹理特征(DALBPTOP)比单一的面部运动特征(DGDisFace)或头部运动特征(DGDisPose)的正确识别率更高，DALBPTOP的识别精度达到92.8％。而DGDisFace和DGDisPose的识别精度分别为87.1％和85.6％，可见，单独采用面部运动特征(DGDisFace)比单独采用头部运动特征(DGDisPose)更能有效地识别疼痛，但都没有单一的面部纹理特征(DALBPTOP)的识别效果好。
其次，对不同种类的面部运动特征分别进行特征级融合，可以看出，融合后特征可以提高疼痛识别精度。由识别结果可知，三类特征融合(DGDisFace+DGDisPose+DALBPTOP)得到的识别精度最高即95.6％。面部运动特征(DGDisFace)与面部纹理特征(DALBPTOP)组合时，识别精度接近最高识别率(95.1)，而头部运动特征(DGDisPose)与面部纹理特征(DALBPTOP)融合时识别精度略低(94.3％)。
再次，对不同种类的面部运动特征分别进行决策级融合，三类特征融合(DGDisFace+DGDisPose+DALBPTOP)得到的识别精度最高即93.8％，比其他融合结果更好。然而与特征级融合相比，识别精度略低。
表1不同特征集疼痛检测正确识别率(％)比较(括号内是特征维数)
Figure BDA0001363408210000141
表2比较了三种面部运动特征分别在特征级融合和决策级融合情况下的混淆矩阵。所述混淆矩阵的行代表样本真实标签，所述混淆矩阵的列代表样本预测标签。由结果分析可知，决策级融合的一类错误率(FPR，False Positive Rate)(6.2％)高于特征级融合(0％)，而决策级融合的二类错误率(FNR，False Negative Rate)(6.2％)远低于特征级融合(25％)。在多数医护场景中，对疼痛的检测精度要求较高，因此在疼痛检测精度高的情况下损失一定程度的非疼痛检测率是可以接受的，从这个角度来看，决策级融合更适合疼痛自动识别系统。而在非疼痛检测正确率要求更高的情况下，特征级融合更适合疼痛自动识别系统。
表2特征级融合及决策级融合混淆矩阵比较。
Figure BDA0001363408210000142
本实施例中，利用特征融合方法和决策融合方法分别应用于将多种面部运动特征进行融合，以及多分类标签(识别结果)进行融合。一方面可以充分利用多种面部运动特征之间的信息互补，对面部表情进行精细化表达，另一方面当一种面部运动特征无法正确检测疼痛状态时，仍可以利用其它面部运动特征进行疼痛检测，提高疼痛自动识别系统的鲁棒性。
本发明所实现的疼痛自动识别系统，利用新生儿在感知疼痛过程中所引起的面部表情变化自动检测疼痛状态。该方法有效利用了视频序列的多类面部运动特征，包括时空域灰度纹理特征、动态几何特征。获取包含人脸面部信息的视频序列、通过人脸面部区域检测、面部特征点检测、特征提取及降维、训练分类器以及融合策略，可对包含人脸面部信息的视频序列进行自动分析并判断疼痛状态。该方法作为一种可实时监测新生儿疼痛状态的智能辅助方法，可很大程度上降低医护人员的时间成本和人力成本，并提供客观性和一致性较好的疼痛检测分析结果。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种基于面部表情分析的新生儿疼痛识别方法，其特征在于，包括：
S101，获取包含人脸面部信息的视频序列；
S102，从获取的所述视频序列中提取表示疼痛面部表情动态变化的面部动态几何特征和面部动态纹理特征；
S103，将提取的所述面部动态几何特征和所述面部动态纹理特征进行特征融合，并对融合后得到的面部特征向量进行降维；
S104，根据降维后得到的面部特征向量，训练分类器；
其中，所述获取包含人脸面部信息的视频序列包括：
若获取的所述视频序列中包括：人脸面部信息及背景信息，则提取所述视频序列中每帧图像的人脸面部区域；
对提取的人脸面部区域进行面部特征点检测；
其中，所述从获取的所述视频序列中提取面部动态几何特征包括：
根据面部特征点定义与疼痛相关的距离参数，其中，所述距离参数包括：面部运动距离参数和头部运动距离参数；
根据感知疼痛过程中面部肌肉运动特点，对获取的所述视频序列中的每帧图像计算所述距离参数，得到每帧图像的静态特征参数；
将所述视频序列中各帧图像的静态特征参数连接起来组成随时间变化的时域特征序列信号；
根据得到的所述时域特征序列信号，提取动态几何特征，得到描述面部运动变化的面部动态几何特征向量；
其中，所述根据得到的所述时域特征序列信号，提取动态几何特征，得到描述面部运动变化的面部动态几何特征向量包括：
对得到的所述时域特征序列信号进行平滑处理，得到平滑后信号；
计算所述平滑后信号的一阶导数，得到所述时域特征序列信号的速度信号；
计算所述平滑后信号的二阶导数，得到所述时域特征序列信号的加速度信号；
对所述平滑后信号、所述时域特征序列信号的速度信号和加速度信号分别提取多个动态几何特征，得到描述面部运动变化的面部动态几何特征向量。
2.根据权利要求1所述的基于面部表情分析的新生儿疼痛识别方法，其特征在于，所述面部运动距离参数包括：左侧眉毛到左侧眼睛的距离、右侧眉毛到右侧眼睛的距离、左侧上眼皮到左侧下眼皮的距离、右侧上眼皮到右侧下眼皮的距离、左侧眉毛到嘴巴左端的距离、右侧眉毛到嘴巴右端的距离、左侧眼睛到嘴巴左端的距离、右侧眼睛到嘴巴右端的距离、鼻子到嘴巴的距离、嘴巴张开宽度、嘴巴张开高度；
所述头部运动距离参数包括：左侧眉毛到左侧面部边界的距离、右侧眉毛到右侧面部边界的距离、左侧眼睛到左侧面部边界的距离、右侧眼睛到右侧面部边界的距离、鼻子左端到左侧面部边界的距离、鼻子右端到右侧面部边界的距离、嘴巴左端到左侧面部边界的距离、嘴巴右端到右侧面部边界的距离。
3.根据权利要求1所述的基于面部表情分析的新生儿疼痛识别方法，其特征在于，所述从获取的所述视频序列中提取面部动态纹理特征包括：
以检测到的面部特征点为基础，选取包含眉毛、眼睛、鼻子、嘴巴以及面部边界的主要特征点；
以选取的主要特征点为中心定义预设大小的局部方形区域；
以每个局部方形区域为单元组成的时间序列，分别提取时空域灰度纹理特征组成面部动态纹理特征向量。
4.根据权利要求1所述的基于面部表情分析的新生儿疼痛识别方法，其特征在于，所述将提取的所述面部动态几何特征和所述面部动态纹理特征进行特征融合，并对融合后得到的面部特征向量进行降维包括：
将获取的所述面部动态几何特征和所述面部动态纹理特征连接起来进行特征融合，得到面部特征向量，所述面部特征向量用于表示一个视频样本的面部运动特征；
采用监督型局部保留映射特征降维方法，对所述面部特征向量进行维数约简。
5.根据权利要求1所述的基于面部表情分析的新生儿疼痛识别方法，其特征在于，所述方法还包括：
对提取的所述面部动态几何特征和所述面部动态纹理特征进行降维；
根据降维后得到的面部动态几何特征和面部动态纹理特征的融合特征，训练分类器，分类器输出结果代表疼痛识别结果。
6.根据权利要求1所述的基于面部表情分析的新生儿疼痛识别方法，其特征在于，所述方法还包括：
采用监督型局部保留映射特征降维方法，将S102得到的面部动态几何特征和面部动态纹理特征分别进行维数约简，分别得到面部动态几何特征和面部动态纹理特征对应的面部运动特征；
根据降维后得到的面部动态几何特征和/或面部动态纹理特征各自对应的面部运动特征，分别训练分类器。
7.根据权利要求1、5或6任一项所述的基于面部表情分析的新生儿疼痛识别方法，其特征在于，所述方法还包括：
将多个分类器的输出结果进行决策级融合得到最终的疼痛识别结果，其中，每种面部运动特征训练得到的分类器的输出结果分别代表相应种类面部运动特征的疼痛识别结果。
CN201710628847.8A 2017-07-28 2017-07-28 一种基于面部表情分析的新生儿疼痛识别方法 Active CN107491740B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710628847.8A CN107491740B (zh) 2017-07-28 2017-07-28 一种基于面部表情分析的新生儿疼痛识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710628847.8A CN107491740B (zh) 2017-07-28 2017-07-28 一种基于面部表情分析的新生儿疼痛识别方法

Publications (2)

Publication Number Publication Date
CN107491740A CN107491740A (zh) 2017-12-19
CN107491740B true CN107491740B (zh) 2020-03-17

Family

ID=60644761

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710628847.8A Active CN107491740B (zh) 2017-07-28 2017-07-28 一种基于面部表情分析的新生儿疼痛识别方法

Country Status (1)

Country Link
CN (1) CN107491740B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11631280B2 (en) 2015-06-30 2023-04-18 University Of South Florida System and method for multimodal spatiotemporal pain assessment
US10827973B1 (en) 2015-06-30 2020-11-10 University Of South Florida Machine-based infants pain assessment tool
CN108216254B (zh) * 2018-01-10 2020-03-10 山东大学 基于面部图像与脉搏信息融合的路怒情绪识别方法
CN108261178B (zh) * 2018-01-12 2020-08-28 平安科技（深圳）有限公司 动物疼痛指数判断方法、装置及存储介质
CN108446593B (zh) * 2018-02-08 2021-03-09 北京捷通华声科技股份有限公司 一种面部痉挛检测方法及装置
WO2019204700A1 (en) * 2018-04-19 2019-10-24 University Of South Florida Neonatal pain identification from neonatal facial expressions
US11202604B2 (en) 2018-04-19 2021-12-21 University Of South Florida Comprehensive and context-sensitive neonatal pain assessment system and methods using multiple modalities
CN109124604A (zh) * 2018-09-20 2019-01-04 南方医科大学珠江医院 一种新生儿疼痛程度的评估方法
CN111227789A (zh) * 2018-11-29 2020-06-05 百度在线网络技术（北京）有限公司 人体健康监护方法和装置
CN109800771B (zh) * 2019-01-30 2021-03-05 杭州电子科技大学 混合时空平面局部二值模式的自发微表情定位方法
CN110135369A (zh) * 2019-05-20 2019-08-16 威创集团股份有限公司 一种行为识别方法、系统、设备及计算机可读存储介质
CN110251079A (zh) * 2019-05-23 2019-09-20 江苏中科西北星信息科技有限公司 一种用于移动设备的病患疼痛检测方法及系统
CN110619301B (zh) * 2019-09-13 2023-04-18 道和安邦（天津）安防科技有限公司 一种基于双模态信号的情绪自动识别方法
CN111310798B (zh) * 2020-01-19 2023-05-16 浙江大学 基于几何特征和纹理特征的脸部运动迟缓的检测模型的构建方法
CN111985350B (zh) * 2020-07-30 2024-04-05 平安科技（深圳）有限公司 基于机器学习的面部信息识别监控方法及装置
CN112766112B (zh) * 2021-01-08 2023-01-17 山东大学 基于时空多特征融合的动态表情识别方法及系统
CN113180594A (zh) * 2021-03-09 2021-07-30 山西三友和智慧信息技术股份有限公司 一种多维时空深度学习评估新生儿术后疼痛方法
CN113033387A (zh) * 2021-03-23 2021-06-25 金哲 一种自动识别老年人慢性疼痛程度的智能评估方法及系统
CN113496217B (zh) * 2021-07-08 2022-06-21 河北工业大学 视频图像序列中人脸微表情识别方法
CN117653042B (zh) * 2024-01-31 2024-04-26 中船凌久高科(武汉)有限公司 基于多模态的被看护人员疼痛级别判定方法及测试装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104331685A (zh) * 2014-10-20 2015-02-04 上海电机学院 非接触式主动呼叫方法
CN106169073A (zh) * 2016-07-11 2016-11-30 北京科技大学 一种表情识别方法及系统
CN106682616A (zh) * 2016-12-28 2017-05-17 南京邮电大学 基于双通道特征深度学习的新生儿疼痛表情识别方法
CN106778708A (zh) * 2017-02-14 2017-05-31 深圳市唯特视科技有限公司 一种基于张量的主动外观模型的表情变化识别方法
CN106778506A (zh) * 2016-11-24 2017-05-31 重庆邮电大学 一种融合深度图像和多通道特征的表情识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070229498A1 (en) * 2006-03-29 2007-10-04 Wojciech Matusik Statistical modeling for synthesis of detailed facial geometry

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104331685A (zh) * 2014-10-20 2015-02-04 上海电机学院 非接触式主动呼叫方法
CN106169073A (zh) * 2016-07-11 2016-11-30 北京科技大学 一种表情识别方法及系统
CN106778506A (zh) * 2016-11-24 2017-05-31 重庆邮电大学 一种融合深度图像和多通道特征的表情识别方法
CN106682616A (zh) * 2016-12-28 2017-05-17 南京邮电大学 基于双通道特征深度学习的新生儿疼痛表情识别方法
CN106778708A (zh) * 2017-02-14 2017-05-31 深圳市唯特视科技有限公司 一种基于张量的主动外观模型的表情变化识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Effective Geometric Features for Human Emotion Recognition;Anwar Saeed等;《ICSP2012 Proceedings》;20121231;第623-627页 *
Video-based facial discomfort analysis for infants;E. Fotiadou等;《SPIE Electronic Imaging》;20140217;第1085-1092页 *
基于支持向量机的新生儿疼痛表情识别;基于支持向量机的新生儿疼痛表情识别;《重庆科技学院学报(自然科学版)》;20090430;第11卷(第2期);第119-120、129页 *
基于自回归模型的动态表情识别;苏志铭等;《计算机辅助设计与图形学学报》;20170630;第29卷(第6期);第1-15页 *

Also Published As

Publication number Publication date
CN107491740A (zh) 2017-12-19

Similar Documents

Publication Publication Date Title
CN107491740B (zh) 一种基于面部表情分析的新生儿疼痛识别方法
Angulu et al. Age estimation via face images: a survey
Ng et al. Vision-based human gender recognition: A survey
Huang et al. Face recognition based on pixel-level and feature-level fusion of the top-level’s wavelet sub-bands
Lucey et al. Automatically detecting pain in video through facial action units
Ng et al. A review of facial gender recognition
US10380444B2 (en) 3D mask face anti-spoofing with remote photoplethysmography
Saraydemir et al. Down syndrome diagnosis based on gabor wavelet transform
Liu et al. Emotion recognition using hidden Markov models from facial temperature sequence
Basu et al. Human emotion recognition from facial thermal image based on fused statistical feature and multi-class SVM
Uzair et al. Periocular region-based person identification in the visible, infrared and hyperspectral imagery
Yang et al. On pain assessment from facial videos using spatio-temporal local descriptors
Martinez et al. Facial component detection in thermal imagery
CN111460950A (zh) 自然驾驶通话行为中基于头-眼证据融合的认知分心方法
Chen et al. Hybrid facial image feature extraction and recognition for non-invasive chronic fatigue syndrome diagnosis
Soldera et al. Facial biometrics and applications
Dadiz et al. Detecting depression in videos using uniformed local binary pattern on facial features
Yap et al. A survey on facial wrinkles detection and inpainting: Datasets, methods, and challenges
Cohn et al. A comparative study of alternative facs coding algorithms
Dwivedi et al. A new hybrid approach on face detection and recognition
Gupta et al. A human emotion recognition system using supervised self-organising maps
Jan Deep learning based facial expression recognition and its applications
Yang et al. Video-based human respiratory wavelet extraction and identity recognition
Ujir 3D facial expression classification using a statistical model of surface normals and a modular approach
Sulaiman et al. A systematic review on Evaluation of Driver Fatigue Monitoring Systems based on Existing Face/Eyes Detection Algorithms

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant