CN110338777A - 融合心率变异特征和面部表情特征的疼痛评估方法 - Google Patents

Abstract

本发明提供一种融合心率变异特征和面部表情特征的疼痛评估方法，将所述的表情特征信息与心率变异特征信息融合成疼痛融合特征集，并输入SVR回归分类器中进行训练与学习，再采集待评估的患者的表情图像序列和心率数据生成待测疼痛融合特征集，并送入训练好的SVR分类器进行回归预测，完成疼痛水平的评估。本发明的融合心率变异特征和面部表情特征的疼痛评估方法不仅能够快速准确的对疼痛水平进行评估，还排除了光照、患者面部特征、生理反应特征、疼痛耐受程度等因素对疼痛表情识别的干扰，提高了对患者疼痛评估的准确性和鲁棒性。

Description

融合心率变异特征和面部表情特征的疼痛评估方法

技术领域

本发明涉及智能医疗技术领域，更确切地说涉及一种融合心率变异特征和面部表情特征的疼痛评估方法。

背景技术

疼痛常常表现为一种不愉快的情绪，且伴随着潜在的组织损伤。2001年世界卫生组织(WHO)正式将疼痛确认为是人类的一类疾病，是继呼吸、脉搏、体温和血压四大生命体征之后的“第五大生命指征“，并将缓解疼痛作为一项基本人权。随着社会的发展、医疗水平的不断提高以及病人对疼痛治疗要求的需求增加,疼痛治疗工作越来越受到医药卫生部门的关注和重视，很多医院设立了专门的疼痛科或疼痛中心，全方位地开展有关疼痛的医疗、科研、教学工作。临床上，科学地评估疼痛是临床医生实施疼痛规范化治疗的第一步，只有及时、准确的掌握患者的疼痛水平和变化才能根据疼痛评估结果制定镇痛方案，提高镇痛效果。

传统的临床疼痛强度评估方法包括主观评价和客观评价。常用的主观评价包括视觉模拟评分法(VAS)，数字疼痛分级法(NRS)，Wong-Baker脸谱量表(FRS)，疼痛问卷调查表等。主观评分法的主要依据之一是通过医护人员在患者主观描述的基础上，持续的观察和辨别患者的面部表情，其评估过程带有主观性且依赖医护人员的经验。客观评价包括行为、生理学测定等。其中基于生理学测定的方法是指利用与疼痛之间存在密切关联的生理和生化指标，如心率，血压等。临床上，心率变异性(HRV)被广泛用于判断疼痛疾病的诊断。客观评分法多为单一指标，对疼痛的量化评价易受到设备限制，主要为临床疼痛的诊断提供参考依据。

随着机器学习和计算机视觉技术的发展，人脸表情识别的准确性和效率不断提高，可通过计算机采集疼痛表情图像，构建疼痛表情数据库，进而训练疼痛水平评估模型来辅助医护人员提高疼痛评估的效率和准确性。但是疼痛表情识别会受到光照及患者头部的影响，此外不同患者对疼痛的耐受度不一样也导致疼痛水平评估上的误差，因此通过单个面部表情特征来判断患者的疼痛水平状态的鲁棒性不够，本发明主要针对此问题提出。

发明内容

本发明要解决的技术问题是，提供一种融合心率变异特征和面部表情特征的疼痛评估方法，解决现有技术中的仅仅基于面部表情特征这一指标判断病人疼痛水平所导致的判断不准确问题，排除因患者面部特征、生理反应特征、疼痛耐受程度等个体差异化因素对患者疼痛水平判断结果的干扰，保证所述的融合心率变异特征和面部表情特征的疼痛评估方法的鲁棒性和准确性。

本发明的技术解决方案是，提供一种融合心率变异特征和面部表情特征的疼痛评估方法，包括如下步骤：

1)通过摄像头实时记录采集对象的表情图像序列，通过心电装置同时采集所述采集对象的心率信息；

2)通过计算机在所述的表情图像序列中提取所述采集对象的表情特征信息；

3)通过计算机在所述的心率信息中提取所述采集对象的心率变异特征信息；

4)通过计算机将所述的表情特征信息与心率变异特征信息融合成疼痛融合特征集；

5)采用支持向量回归器SVR对所述的疼痛融合特征集进行训练与学习，得到疼痛水平综合值PL；

6)对待评估的患者重复步骤1)至步骤4)，生成待测疼痛融合特征集，将所述的待测疼痛融合特征集送入步骤5)中训练好的SVR中进行回归预测，评估患者的疼痛水平。

本发明的技术方案与现有技术相比具有以下优点：

采用心率变异特征与人脸表情特征相结合的方法评估患者的疼痛水平，排除了光照、患者面部特征、生理反应特征、疼痛耐受程度等因素对疼痛表情识别的干扰，提高了对患者疼痛评估的准确性和鲁棒性。

作为改进，设置疼痛水平综合值的阈值，当步骤6)中患者的疼痛水平综合值PL超过所述的阈值时，发出疼痛预警信息。

作为改进，提取采集对象的表情特征信息包括人眼检测、人脸校正、人脸表情特征提取三个步骤。

作为改进，所述的人眼检测包括如下步骤：

1)采集不同光照、不同人脸图像，进行预处理并归一化为64×64大小的样本；

2)采用harr特征与Adaboost算法相结合的方法训练人眼检测分类器；

3)使用步骤2)中训练好的人眼检测分类器，检测患者人脸图像的大小和位置，获取患者的眼睛位置。

作为改进，所述的人脸校正包括如下步骤：

1)根据两只眼睛的坐标p1＝(x1,y1)与p2＝(x2,y2)，计算两眼间的直线距离dist，其中

2)计算两眼直线与水平线之间的夹角θ，

3)根据找到的倾斜角度θ，旋转图片θ；

4)在旋转后的图片中找到眼睛的位置，以原点(x0,y0)为中心旋转后，原图眼睛的中心位置为(x,y),新图片中心眼睛的位置为(x',y')，

x'＝(x-x₀)*cosθ+(y-y₀)(-sinθ)+x₀，y'＝(x-x₀)sinθ+(y-y₀)cosθ+y₀；

5)根据眼睛坐标与两眼间的直线距离dist，找到包含面部的框的坐标(y_top,y_bot,x_left,x_right)，其中

y_top＝y'+2*dist，y_bot＝y'-2*dist，x_left＝x'-2*dist，x_right＝x'+2*dist；

6)按照(y_top,y_bot,x_left,x_right)坐标对人脸进行裁剪，将其设定为统一的尺寸，生成人脸疼痛表情图像。

作为改进，所述的人脸表情特征提取包括如下步骤：

1)把所述的人脸疼痛表情图像划分成6*6个小图片；

2)在6*6个小图片中分别提取36个SIFT子特征，36个局部二值模式LBP子特征，36个方向梯度直方图HOG子特征；

3)将SIFT,LBP,HOG三个子特征进行融合；

4)使用主成分分析PCA方法进行降维，生成表情融合特征A。

作为改进，提取采集对象的心率变异特征信息包括如下步骤：

1)对所述的心率信息检测QRS波群，在心跳RR-interval时间序列中计算出低频功率LF、高频功率HF、极低频功率VLF、总功率LP、频谱低频与高频的比值p；

2)将低频功率LF、高频功率HF标准化，获得标准化低频功率NLF、标准化高频功率NHF，

3)统计任意时间段内的标准化低频功率NLF、标准化高频功率NHF、总功率LP、频谱低频与高频的比值p，构建成一个列向量，所述的列向量是心率变异特征HRV的表征值。

作为改进，所述的表情融合特征A与心率变异特征HRV串行融合，形成所述的疼痛融合特征集F，F＝[A,HRV]。

作为改进，所述的人脸疼痛表情图像的尺寸为64*64。

作为改进，所述的表情融合特征A的总维度是80维。

附图说明

图1为本发明的融合心率变异特征和面部表情特征的疼痛评估方法的流程示意图。

具体实施方式

为了更好得理解本申请，将参考附图对本申请的各个方面做出更详细的说明。应理解，这些详细说明只是对本申请的示例性实施方式的描述，而非以任何方式限制本申请的范围。在说明书全文中，相同的附图标号指代相同的元件。

还应理解的是，用语“包含”“包括”、“具有”、“包含”、“包含有”，当在本说明书中使用时表示存在所述的特征、整体、步骤、操作、元件和/或部件，但不排除存在或附加有一个或多个其他特征、整体、步骤、步骤、操作、元件、部件和/或它们的组合。此外，当诸如“…至少一个”的表述出现在所列特征的列表之后时，修饰整个所列特征，而不是修改列表中的单独元件。

如图1所示，本发明提供一种融合心率变异特征和面部表情特征的疼痛评估方法，包括如下步骤：

1)通过摄像头实时记录采集对象的表情图像序列，通过心电装置同时采集所述采集对象的心率信息；

2)通过计算机在所述的表情图像序列中提取所述采集对象的表情特征信息；

3)通过计算机在所述的心率信息中提取所述采集对象的心率变异特征信息；

4)通过计算机将所述的表情特征信息与心率变异特征信息融合成疼痛融合特征集；

5)采用支持向量回归器SVR对所述的疼痛融合特征集进行训练与学习，得到疼痛水平综合值PL；

6)对待评估的患者重复步骤1)至步骤4)，生成待测疼痛融合特征集，将所述的待测疼痛融合特征集送入步骤5)中训练好的SVR中进行回归预测，评估患者的疼痛水平。

提取采集对象的表情特征信息包括人眼检测、人脸校正、人脸表情特征提取三个步骤。所述的人眼检测包括如下步骤：

1)采集不同光照、不同人脸图像，进行预处理并归一化为64×64大小的样本；

2)采用harr特征与Adaboost算法相结合的方法训练人眼检测分类器；

3)使用步骤2)中训练好的人眼检测分类器，检测患者人脸图像的大小和位置，获取患者的眼睛位置。

harr特征是用于物体识别的一种数字图像特征，它使用检测窗口中指定位置的相邻矩形，计算每一个矩形的像素和并取其差值，然后用这些差值来对图像的子区域进行分类。在检测阶段，一个与目标物体同样尺寸的检测窗口将在输入图像上滑动，在图像的每一个区域都计算一个Harr特征，这些差值会与一个预先计算好的阈值进行比较，将目标与非目标区分开来。因为这样的一个Harr特征是一个弱分类器，为了达到一个可信的判断，就需要一大群这样的特征，就会将这些特征组合成一个级联分类器，最终形成一个强分类器。

Adaboost算法是一种提升方法，将多个弱分类器，组合成强分类器。算法原理如下：

(1)初始化训练数据(每个样本)的权值分布，如果有N个样本，则每一个训练的样本点最开始时都被赋予相同的权重，即1/N；

(2)训练弱分类器，如果某个样本已经被准确地分类，那么在构造下一个训练集中，它的权重就被降低；相反，如果某个样本点没有被准确地分类，那么它的权重就得到提高，同时，得到弱分类器对应的话语权，然后，更新权值后的样本集被用于训练下一个分类器，整个训练过程如此迭代地进行下去；

(3)将各个训练得到的弱分类器组合成强分类器，各个弱分类器的训练过程结束后，分类误差率小的弱分类器的话语权较大，其在最终的分类函数中起着较大的决定作用，而分类误差率大的弱分类器的话语权较小，其在最终的分类函数中起着较小的决定作用，换言之，误差率低的弱分类器在最终分类器中占的比例较大，反之较小。

所述的人脸校正包括如下步骤：

1)根据两只眼睛的坐标p1＝(x1,y1)与p2＝(x2,y2)，计算两眼间的直线距离dist，其中

2)计算两眼直线与水平线之间的夹角θ，

3)根据找到的倾斜角度θ，旋转图片θ；

4)在旋转后的图片中找到眼睛的位置，以原点(x0,y0)为中心旋转后，原图眼睛的中心位置为(x,y),新图片中心眼睛的位置为(x',y')，

x'＝(x-x₀)*cosθ+(y-y₀)(-sinθ)+x₀，y'＝(x-x₀)sinθ+(y-y₀)cosθ+y₀；

5)根据眼睛坐标与两眼间的直线距离dist，找到包含面部的框的坐标(y_top,y_bot,x_le

ft,x_right)，其中

y_top＝y'+2*dist，y_bot＝y'-2*dist，x_left＝x'-2*dist，x_right＝x'+2*dist；

6)按照(y_top,y_bot,x_left,x_right)坐标对人脸进行裁剪，将其设定为统一的尺寸，生成人脸疼痛表情图像。所述的人脸疼痛表情图像的尺寸典型值是64*64。

所述的人脸表情特征提取包括如下步骤：

1)把所述的人脸疼痛表情图像划分成6*6个小图片；

2)在6*6个小图片中分别提取36个SIFT子特征，36个局部二值模式LBP子特征，36个方向梯度直方图HOG子特征；

3)将SIFT,LBP,HOG三个子特征进行融合；

4)使用主成分分析PCA方法进行降维，生成表情融合特征A。

SIFT特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性,而且其信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配，并且可以很方便的与其他形式的特征向量进行联合。LBP是一种用来描述图像局部纹理特征的算子，具有旋转不变性和灰度不变性等显著的优点。HOG则是在图像的局部方格单元上操作，对图像几何的形变和光学的形变都能保持很好的不变性。

典型的，通过PCA将融合后的SIFT、LBP、HOG三个子特征的总维度降为80维，即所述的表情融合特征A的总维度是80维。PCA方法如下：

计算训练集M个样本均值：u＝(X₁,...,X_m)/M；

将训练集M个样本去均值化：X_train'＝(X₁-u,X₂-u,...,X_m-u)；

计算协方差矩阵：

计算协方差矩阵的特征值与特征向量,由大到小依次排列特征值及对应特征向量，选取需要的维数，组成变换矩阵P；

计算出降维后的新样本矩阵：X_{PCA_train}＝P*X_train'；

最后，为提高后期分类器训练速度，逐行地对降维后的数据进行标准化处理，将每一行数据分别标准化为均值为0、标准差为1的标准化数据，其计算公式为：

Y＝(X-Xmean)/std；式中，Xmean为数据均值，std为数据标准差。

所述的提取采集对象的心率变异特征信息包括如下步骤：

1)对所述的心率信息检测QRS波群，在心跳RR-interval时间序列中计算出低频功率LF、高频功率HF、极低频功率VLF、总功率LP、频谱低频与高频的比值p；

2)将低频功率LF、高频功率HF标准化，获得标准化低频功率NLF、标准化高频功率NHF，

3)统计3～5分钟内的标准化低频功率NLF、标准化高频功率NHF、总功率LP、频谱低频与高频的比值p，构建成一个列向量，所述的列向量是心率变异特征HRV的表征值。

所述的表情融合特征A与心率变异特征HRV串行融合，形成84维的所述的疼痛融合特征集F，F＝[A,HRV]。再将该疼痛融合特征集F输入SVR回归分类器中进行训练与学习，得到疼痛水平综合值PL。本实施例还设置了疼痛水平综合值的阈值，当所述的疼痛水平综合值PL值超过该阈值，则根据治疗策略和疼痛水平等级向医生发出提示信息。

SVR回归分类器采用高斯核，采用10折交叉验证，进行网格参数寻优。确定核函数中的gamma参数为0.002～0.005、惩罚因子c为200～300之间。将待训练的疼痛融合特征集F按不同比例划分为训练集和测试集，本实施例将样本集的60％作为训练集，40％作为测试集，得到的最优参数gamma和惩罚因子c进行SVR训练，训练得到包括支持向量，权重和偏置参数的不同疼痛等级的SVR模型。

采集待评估的患者的表情图像序列和心率数据，依照前述方法分别提取表情图像的SIFT,LBP,HOG三个子特征并进行融合与PCA降维，生成新样本的表情融合特征A_test，同时依照前述方法获取新样本的心率变异特征HRV_test，再将所述新样本的表情融合特征A_test与心率变异特征HRV_test串行融合成待测疼痛融合特征集F_test，再将该待测疼痛融合特征集F_test送入训练好的SVR分类器进行回归预测，完成疼痛水平的评估。同样，当评估出患者的疼痛水平综合值PL超过所述的阈值时，则根据治疗策略和疼痛水平等级发出疼痛预警信息。

本发明中的SVR也可修改为任意的回归算法。

Claims (10)

1.一种融合心率变异特征和面部表情特征的疼痛评估方法，其特征在于，包括如下步骤：

1)通过摄像头实时记录采集对象的表情图像序列，通过心电装置同时采集所述采集对象的心率信息；

2)通过计算机在所述的表情图像序列中提取所述采集对象的表情特征信息；

3)通过计算机在所述的心率信息中提取所述采集对象的心率变异特征信息；

4)通过计算机将所述的表情特征信息与心率变异特征信息融合成疼痛融合特征集；

5)采用支持向量回归器SVR对所述的疼痛融合特征集进行训练与学习，得到疼痛水平综合值PL；

6)对待评估的患者重复步骤1)至步骤4)，生成待测疼痛融合特征集，将所述的待测疼痛融合特征集送入步骤5)中训练好的SVR中进行回归预测，评估患者的疼痛水平。

2.根据权利要求1所述的融合心率变异特征和面部表情特征的疼痛评估方法，其特征在于，设置疼痛水平综合值的阈值，当步骤6)中患者的疼痛水平综合值PL超过所述的阈值时，发出疼痛预警信息。

3.根据权利要求1所述的融合心率变异特征和面部表情特征的疼痛评估方法，其特征在于，步骤2)中所述的提取采集对象的表情特征信息包括人眼检测、人脸校正、人脸表情特征提取三个步骤。

4.根据权利要求3所述的融合心率变异特征和面部表情特征的疼痛评估方法，其特征在于，所述的人眼检测包括如下步骤：

1)采集不同光照、不同人脸图像，进行预处理并归一化为64×64大小的样本；

2)采用harr特征与Adaboost算法相结合的方法训练人眼检测分类器；

3)使用步骤2)中训练好的人眼检测分类器，检测患者人脸图像的大小和位置，获取患者的眼睛位置。

5.根据权利要求4所述的融合心率变异特征和面部表情特征的疼痛评估方法，其特征在于，所述的人脸校正包括如下步骤：

1)根据两只眼睛的坐标p1＝(x1,y1)与p2＝(x2,y2)，计算两眼间的直线距离dist，其中

2)计算两眼直线与水平线之间的夹角θ，

3)根据找到的倾斜角度θ，旋转图片θ；

4)在旋转后的图片中找到眼睛的位置，以原点(x0,y0)为中心旋转后，原图眼睛的中心位置为(x,y),新图片中心眼睛的位置为(x',y')，

x'＝(x-x₀)*cosθ+(y-y₀)(-sinθ)+x₀，y'＝(x-x₀)sinθ+(y-y₀)cosθ+y₀；

5)根据眼睛坐标与两眼间的直线距离dist，找到包含面部的框的坐标(y_top,y_bot,x_left,x_right)，其中

y_top＝y'+2*dist，y_bot＝y'-2*dist，x_left＝x'-2*dist，x_right＝x'+2*dist；

6)按照(y_top,y_bot,x_left,x_right)坐标对人脸进行裁剪，将其设定为统一的尺寸，生成人脸疼痛表情图像。

6.根据权利要求5所述的融合心率变异特征和面部表情特征的疼痛评估方法，其特征在于，所述的人脸表情特征提取包括如下步骤：

1)把所述的人脸疼痛表情图像划分成6*6个小图片；

2)在6*6个小图片中分别提取36个SIFT子特征，36个局部二值模式LBP子特征，36个方向梯度直方图HOG子特征；

3)将SIFT,LBP,HOG三个子特征进行融合；

4)使用主成分分析PCA方法进行降维，生成表情融合特征A。

7.根据权利要求1所述的融合心率变异特征和面部表情特征的疼痛评估方法，其特征在于，步骤3)中所述的提取采集对象的心率变异特征信息包括如下步骤：

1)对所述的心率信息检测QRS波群，在心跳RR-interval时间序列中计算出低频功率LF、高频功率HF、极低频功率VLF、总功率LP、频谱低频与高频的比值p；

2)将低频功率LF、高频功率HF标准化，获得标准化低频功率NLF、标准化高频功率NHF，

3)统计任意时间段内的标准化低频功率NLF、标准化高频功率NHF、总功率LP、频谱低频与高频的比值p，构建成一个列向量，所述的列向量是心率变异特征HRV的表征值。

8.根据权利要求6和7所述的融合心率变异特征和面部表情特征的疼痛评估方法，其特征在于，所述的表情融合特征A与心率变异特征HRV串行融合，形成所述的疼痛融合特征集F，F＝[A,HRV]。

9.根据权利要求5所述的融合心率变异特征和面部表情特征的疼痛评估方法，其特征在于，步骤6)中所述的人脸疼痛表情图像的尺寸为64*64。

10.根据权利要求6所述的融合心率变异特征和面部表情特征的疼痛评估方法，其特征在于，所述的表情融合特征A的总维度是80维。