CN118197609A - 一种基于人脸表情分析的麻醉镇痛效果评估方法 - Google Patents

Abstract

本发明涉及人脸表情数据识别技术领域，具体涉及一种基于人脸表情分析的麻醉镇痛效果评估方法。方法包括：获取待评估人员的面部图像和多张样本面部图像；基于每张面部图像中基准点之间的相对距离对每张面部图像进行聚类，对聚类簇进行凸包检测获得凸包区域；根据每个凸包区域内像素点的灰度值、梯度幅值以及位置分布，得到每个凸包区域的表情复杂度；根据每个基准点与其邻域内像素点的色调差异、饱和度差异、表情复杂度和位置分布，获得每个聚类簇的保留参数；基于特征重要度和保留参数确定特征点并进行标记；基于标记后的样本面部图像对神经网络进行训练，进而获得待评估人员的麻醉镇痛效果。本发明提高了麻醉过程中镇痛评估效果的准确度。

Description

一种基于人脸表情分析的麻醉镇痛效果评估方法

技术领域

本发明涉及人脸表情数据识别技术领域，具体涉及一种基于人脸表情分析的麻醉镇痛效果评估方法。

背景技术

疼痛评估是麻醉效果评估的重要组成部分，主要包括自我评估和观察者评估两种方式。自我评估方法具有便利性、主观性等特点，但自我评估不能保证每次评估都准确可信。相比自我评估方法，观察者评估方法对特殊人群会更加有效，但是观察者评估方法的效果依赖于专业人员实施持续的观察和辨别，效率较低，会给医院工作人员带来较大工作负担。

随着机器学习和计算机视觉技术的发展，人脸表情识别的准确性和效率不断提高，利用人的面部信息进行疼痛识别并用于麻醉镇痛评估是一种可行的方案，通过人脸疼痛表情数据库中的数据训练神经网络。但是对于麻醉镇痛效果分析过程来说，由于采集对象的面部表情受到麻醉效果的影响，对肌肉的控制能力较弱，直接通过提取数据库中图像的疼痛特征训练神经网络容易造成过拟合的结果，导致基于人脸表情分析的麻醉镇痛效果的评估准确度较低。

发明内容

为了解决现有方法在基于人脸表情对麻醉镇痛效果进行评估时存在的评估准确度较低的问题，本发明的目的在于提供一种基于人脸表情分析的麻醉镇痛效果评估方法，所采用的技术方案具体如下：

本发明提供了一种基于人脸表情分析的麻醉镇痛效果评估方法，该方法包括以下步骤：

获取待评估人员的面部图像和预设数量张样本面部图像；

分别基于每张面部图像中基准点之间的相对距离对每张面部图像进行聚类获得每个聚类簇，对每个聚类簇进行凸包检测获得每个聚类簇对应的凸包区域；根据每个凸包区域内像素点的灰度值、梯度幅值以及位置分布，得到每个凸包区域的表情复杂度；根据每个聚类簇内每个基准点与其邻域内像素点的色调差异、饱和度差异和所述表情复杂度，得到每个聚类簇内每个基准点的特征重要度；

根据每个聚类簇内基准点的位置分布、所述特征重要度和所述表情复杂度，获得每个聚类簇的保留参数；基于每个聚类簇内基准点的特征重要度和所述保留参数确定每个聚类簇内的特征点，并在对应面部图像中进行标记；基于标记后的样本面部图像对神经网络进行训练获得麻醉镇痛效果评估网络；

将标记好的待评估人员的面部图像输入到麻醉镇痛效果评估网络中，获得待评估人员的麻醉镇痛效果。

优选的，所述根据每个凸包区域内像素点的灰度值、梯度幅值以及位置分布，得到每个凸包区域的表情复杂度，包括：

对于第r个凸包区域：

根据第r个凸包区域内每种灰度值出现的概率，计算第r个凸包区域内灰度值的信息熵；

分别将第r个凸包区域内每个像素点的梯度幅值与灰度值的比值，记为每个像素点对应的第一特征值；

分别将第r个凸包区域内每个像素点的横坐标与第r个凸包区域内所有像素点的横坐标的平均值之间的差异，记为每个像素点对应的横坐标差异；分别将第r个凸包区域内每个像素点的纵坐标与第r个凸包区域内所有像素点的纵坐标的平均值之间的差异，记为每个像素点对应的纵坐标差异；

根据所述信息熵、所述第一特征值、所述横坐标差异和所述纵坐标差异，得到第r个凸包区域的表情复杂度。

优选的，采用如下公式计算第r个凸包区域的表情复杂度：

其中，表示第r个凸包区域的表情复杂度，n表示第r个凸包区域内像素点的数量，/>表示第r个凸包区域内第i个像素点的梯度幅值，/>表示第r个凸包区域内第i个像素点的灰度值，G表示第r个凸包区域内像素点的灰度值的种类数，/>表示第r个凸包区域内第v种灰度值出现的概率，/>表示第r个凸包区域内所有像素点的横坐标的平均值，/>表示第r个凸包区域内所有像素点的纵坐标的平均值，/>表示归一化函数，/>表示取绝对值符号，/>表示以自然常数2为底数的对数函数。

优选的，所述根据每个聚类簇内每个基准点与其邻域内像素点的色调差异、饱和度差异和所述表情复杂度，得到每个聚类簇内每个基准点的特征重要度，包括：

对于第b个聚类簇内第f个基准点：

分别将所述第f个基准点与其邻域内每个像素点之间的色调差异记为第f个基准点的邻域内每个像素点对应的第一差异；分别将所述第f个基准点的邻域内每个像素点与所述第f个基准点之间的饱和度的差值记为第f个基准点的邻域内每个像素点对应的第二差异；

基于所述第一差异和所述第二差异，获得第b个聚类簇内第f个基准点的特征重要度，所述第一差异和所述第二差异均与特征重要度呈正相关关系。

优选的，基准点的邻域内像素点的获取，包括：

对于任一基准点：

将该基准点与其所在聚类簇对应的凸包区域的边缘点之间的最短距离记为第一距离，将该基准点与其所在聚类簇对应的凸包区域的中心点之间的距离记为第二距离，将第一距离与第二距离中的最小值记为目标距离；

计算该基准点所在聚类簇对应的凸包区域的表情复杂度与所述目标距离的乘积，将所述乘积的向上取奇整数的值作为该基准点对应的窗口的边长；将该基准点对应的窗口内除该基准点外的像素点作为该基准点的邻域内像素点；其中，该基准点位于该基准点对应的窗口的中心。

优选的，所述根据每个聚类簇内基准点的位置分布、所述特征重要度和所述表情复杂度，获得每个聚类簇的保留参数，包括：

对于第b个聚类簇：

采用Hotelling变换获得第b个聚类簇的主轴，并获取主轴在第b个聚类簇对应的凸包区域内的中点记为主轴中心点；

根据第b个聚类簇内每个基准点在所述主轴上的投影点与所述主轴中心点的距离、第b个聚类簇对应的凸包区域的表情复杂度和第b个聚类簇内每个基准点的特征重要度，得到第b个聚类簇的保留参数。

优选的，采用如下公式计算第b个聚类簇的保留参数：

其中，表示第b个聚类簇的保留参数，/>表示第b个聚类簇对应的凸包区域的表情复杂度，J表示第b个聚类簇内基准点的数量，/>表示第b个聚类簇内的第j个基准点在主轴上的投影点与主轴中心点的距离，/>表示第b个聚类簇内所有基准点在主轴上的投影点与主轴中心点的距离的平均值，/>表示第b个聚类簇内第j个基准点的特征重要度，表示归一化函数。

优选的，所述基于每个聚类簇内基准点的特征重要度和所述保留参数确定每个聚类簇内的特征点，包括：

对于第b个聚类簇：

按照特征重要度从大到小的顺序对第b个聚类簇内的基准点进行排序获得第b个聚类簇的基准点序列；

将所述基准点序列中所有基准点的特征重要度之和记为第b个聚类簇的特征指标；

对于所述基准点序列中的第j个基准点：将所述基准点序列中第j个基准点之前的所有基准点及第j个基准点构成的序列记为第j个基准点所对应的子序列；将第j个基准点所对应的子序列中所有基准点的特征重要度之和记为第j个基准点的待评价值；将第j个基准点的待评价值与所述特征指标的比值，记为第j个基准点的第二特征值；

按照从左到右的顺序，依次判断基准点序列中每个基准点的第二特征值与第b个聚类簇的保留参数的差值是否大于0，若大于，则判定对应基准点所对应的子序列中的基准点为第b个聚类簇内的特征点，并停止判断。

优选的，所述分别基于每张面部图像中基准点之间的相对距离对每张面部图像进行聚类获得每个聚类簇，包括：

对于任意一张面部图像：

采用手肘法对面部图像进行处理获得k值；

基于面部图像中基准点之间的相对距离，采用K-means聚类算法对面部图像中的所有基准点进行聚类获得k个聚类簇。

优选的，像素点的色调和饱和度的获取，包括：

将面部图像转换至HSV空间获得面部图像中每个像素点的色调和饱和度。

本发明至少具有如下有益效果：

本发明首先基于面部图像中基准点之间的相对距离对基准点进行了聚类获得了多个聚类簇，然后结合每个聚类簇对应的凸包区域内像素点的灰度值、梯度幅值以及位置分布，获得了每个凸包区域的表情复杂度，又对每个基准点与其邻域内像素点的色调差异和饱和度差异进行了分析，获得了每个聚类簇内每个基准点的特征重要度，根据每个聚类簇内基准点的位置分布、特征重要度和表情复杂度，从基准点中筛选了每个聚类簇内的特征点并进行了标记，特征点为更能反映面部疼痛特征的像素点，基于标记后的样本面部图像对神经网络进行了训练获得了麻醉镇痛效果评估网络，也即对神经网络训练数据集进行了优化，避免训练结果过拟合，提高了麻醉过程中镇痛评估效果的准确度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明实施例所提供的一种基于人脸表情分析的麻醉镇痛效果评估方法的流程图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于人脸表情分析的麻醉镇痛效果评估方法进行详细说明如下。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的一种基于人脸表情分析的麻醉镇痛效果评估方法的具体方案。

一种基于人脸表情分析的麻醉镇痛效果评估方法实施例：

本实施例所针对的具体场景为：疼痛分析是评估麻醉镇痛效果的重要组成部分，随着深度学习技术的发展，面部表情反映的疼痛程度可以通过计算机视觉技术进行识别。在麻醉状态下，检测对象的肌肉控制能力被降低，直接通过利用数据库中的样本面部图像对神经网络进行训练容易导致训练结果出现过拟合的情况，降低疼痛程度识别的准确率。本实施例将结合疼痛特征，从每张面部图像的基准点中筛选出更能反映麻醉镇痛效果的特征点，并进行标记，进而对神经网络进行训练，提高待评估人员麻醉镇痛效果的评估准确度。

本实施例提出了一种基于人脸表情分析的麻醉镇痛效果评估方法，如图1所示，本实施例的一种基于人脸表情分析的麻醉镇痛效果评估方法包括以下步骤：

步骤S1，获取待评估人员的面部图像和预设数量张样本面部图像。

本实施例首先从面部图像数据库中调取预设数量张面部图像，用于对神经网络的训练，本实施例中的预设数量为1000，在具体应用中，实施者可根据具体情况进行设置。然后利用摄像头采集待评估人员面部的图像，该图像用于对待评估人员的麻醉镇痛效果进行评估，该图像以及从面部图像数据库中调取的图像均为RGB图像，分别对获取到的每张图像进行灰度化处理，将面部图像数据库中调取的图像灰度化处理之后的结果记为样本面部图像，将待评估人员面部的图像灰度化处理之后的结果记为待评估人员的面部图像。图像的灰度化处理为现有技术，此处不再过多赘述。

至此，获取到了待评估人员的面部图像和多张样本面部图像。

步骤S2，分别基于每张面部图像中基准点之间的相对距离对每张面部图像进行聚类获得每个聚类簇，对每个聚类簇进行凸包检测获得每个聚类簇对应的凸包区域；根据每个凸包区域内像素点的灰度值、梯度幅值以及位置分布，得到每个凸包区域的表情复杂度；根据每个聚类簇内每个基准点与其邻域内像素点的色调差异、饱和度差异和所述表情复杂度，得到每个聚类簇内每个基准点的特征重要度。

利用特征点提取算法分别提取每张面部图像中的特征点，将此时提取到的特征点记为基准点，特征点提取算法为现有技术，此处不再过多赘述；作为其它实施方式，也可采用人工标注的方法标注出每张面部图像中的基准点。至此，获取了每张面部图像中的基准点，基准点为较能反映人脸面部特征的像素点。图像中的基准点主要出现在纹理信息相对丰富的区域，在面部图像中，这些点主要集中在面部器官边缘处，而表现疼痛表情的面部器官在不同疼痛程度下的反应程度不同，为了优化数据集，需要通过对图像中的基准点进行分析，筛选出能够反映疼痛表情信息差异的特征点，进而对待评估人员的麻醉镇痛效果进行评估。基于此，本实施例将分别基于每张面部图像中基准点之间的相对距离对每张面部图像进行聚类获得多聚类簇。

具体地，对于任意一张面部图像：采用手肘法对该面部图像进行处理获得k值，将此时获得的k值作为K-means聚类时的k值，基于该面部图像中基准点之间的相对距离，采用K-means聚类算法对该面部图像中的所有基准点进行聚类获得k个聚类簇。K-means聚类算法为现有技术，此处不再过多赘述。采用上述方法，能够获得每张面部图像中的多个聚类簇。

对于任意一张面部图像：将该面部图像转换至HSV空间获得该面部图像中每个像素点的色调和饱和度。采用该方法，能够获得每张面部图像中每个像素点的色调和饱和度。采用索贝尔（sobel）算子分别对每张面部图像进行处理，获得每张面部图像中每个像素点的梯度幅值。sobel算子为现有技术，此处不再过多赘述。本实施例中的每张面部图像的形状均为矩形，分别将每张面部图像左下角的顶点作为坐标原点，将每张面部图像的下边缘线作为X轴，将每张面部图像的左边缘线作为Y轴，构建直角坐标系，获取每张面部图像中每个像素点的横坐标和纵坐标。作为其他实施方式，可根据具体情况设置X轴、Y轴以及坐标原点。由于面部不同区域对疼痛表情的表达能力不同，因此不同区域的基准点表征的疼痛特征可能不同，本实施例首先对每个聚类簇进行凸包检测获得每个聚类簇对应的凸包区域，然后结合每个凸包区域内像素点的灰度值、梯度幅值以及位置分布情况，对每个凸包区域的表情复杂度进行评价。

具体地，对于第r个凸包区域：

根据第r个凸包区域内每种灰度值出现的概率，计算第r个凸包区域内灰度值的信息熵；分别将第r个凸包区域内每个像素点的梯度幅值与灰度值的比值，记为每个像素点对应的第一特征值；第r个凸包区域内每个像素点均对应一个第一特征值。分别将第r个凸包区域内每个像素点的横坐标与第r个凸包区域内所有像素点的横坐标的平均值之间的差异，记为每个像素点对应的横坐标差异；分别将第r个凸包区域内每个像素点的纵坐标与第r个凸包区域内所有像素点的纵坐标的平均值之间的差异，记为每个像素点对应的纵坐标差异；根据所述信息熵、所述第一特征值、所述横坐标差异和所述纵坐标差异，得到第r个凸包区域的表情复杂度。第r个凸包区域的表情复杂度的具体计算公式为：

其中，表示第r个凸包区域的表情复杂度，n表示第r个凸包区域内像素点的数量，/>表示第r个凸包区域内第i个像素点的梯度幅值，/>表示第r个凸包区域内第i个像素点的灰度值，G表示第r个凸包区域内像素点的灰度值的种类数，/>表示第r个凸包区域内第v种灰度值出现的概率，/>表示第r个凸包区域内所有像素点的横坐标的平均值，/>表示第r个凸包区域内所有像素点的纵坐标的平均值，/>表示归一化函数，/>表示取绝对值符号，/>表示以自然常数2为底数的对数函数。

表示第r个凸包区域内灰度值的信息熵，该值越大，说明第r个凸包区域内的灰度值越丰富，且灰度值的分布越不均匀，第r个凸包区域内的表情复杂度越高。/>表示第r个凸包区域内第i个像素点对应的横坐标差异，/>表示第r个凸包区域内第i个像素点对应的纵坐标差异。/>用于反映第r个凸包区域内像素点的空间离散程度，/>表示第r个凸包区域内第i个像素点对应的第一特征值，用于对空间离散程度的调整，梯度幅值相较于灰度越大时，当前位置的灰度值变化越剧烈，该点更能体现对应皮肤与面部器官过渡交界处。当第r个凸包区域内灰度值的信息熵越大、第r个凸包区域内的像素点对应的第一特征值越大、第r个凸包区域内的像素点对应的坐标差异越大时，第r个凸包区域的表情复杂度越大。

采用上述方法，能够获得每张面部图像中每个凸包区域的表情复杂度。

由于面部不同器官反映的疼痛特征可能不同，因此不同聚类簇内的基准点的疼痛特征表达能力可能不同。在同一聚类簇中，基准点的特征重要度与其对应面部区域能够反映的疼痛程度相关。在面部图像中，反映疼痛信息较强的基准点通常为面部器官部分，且对于面部器官来说，边缘部分在有疼痛表情时与无疼痛表情的位置变化差异较大，这些点对疼痛表情信息的表达能力更强，即对应的疼痛表情特征重要程度更大。在分析不同基准点重要程度时，需要结合基准点的局部图像特征进行分析，该局部大小由基准点在图像中的区域特征及基准点所属类簇在图像中的区域面积体现，因此本实施例将首先确定每个基准点的邻域大小，进而结合邻域内像素点的信息对每个聚类簇内每个基准点的特征重要度进行评价。

具体地，对于任一基准点：将该基准点与其所在聚类簇对应的凸包区域的边缘点之间的最短距离记为第一距离，将该基准点与其所在聚类簇对应的凸包区域的中心点之间的距离记为第二距离，将第一距离与第二距离两者中的最小值记为目标距离；计算该基准点所在聚类簇对应的凸包区域的表情复杂度与所述目标距离的乘积，将所述乘积的向上取奇整数的值作为该基准点对应的窗口的边长；将该基准点对应的窗口内除该基准点外的像素点作为该基准点的邻域内像素点；其中，该基准点位于该基准点对应的窗口的中心。该基准点对应的窗口的边长的具体计算公式为：，其中，/>表示该基准点对应的窗口的边长，C表示该基准点所在聚类簇对应的凸包区域的表情复杂度，D表示目标距离，表示向上取奇整数函数，例如：6.3的向上取奇整数的结果为7，7.6的向上取奇整数的结果为9。

进一步地，本实施例根据每个聚类簇内每个基准点与其邻域内像素点的色调差异、饱和度差异和所述表情复杂度，获得每个聚类簇内每个基准点的特征重要度。

对于第b个聚类簇内第f个基准点：分别将所述第f个基准点与其邻域内每个像素点之间的色调差异记为第f个基准点的邻域内每个像素点对应的第一差异；分别将所述第f个基准点的邻域内每个像素点与所述第f个基准点之间的饱和度的差值记为第f个基准点的邻域内每个像素点对应的第二差异；基于所述第一差异和所述第二差异，获得第b个聚类簇内第f个基准点的特征重要度，所述第一差异和所述第二差异均与特征重要度呈正相关关系。其中，正相关关系表示因变量会随着自变量的增大而增大，因变量会随着自变量的减小而减小，具体关系可以为相乘关系、相加关系、指数函数的幂等，由实际应用进行确定。作为一个具体实施方式，给出特征重要度的具体计算公式，第b个聚类簇内第f个基准点的特征重要度的具体计算公式为：

其中，表示第b个聚类簇内第f个基准点的特征重要度，/>表示第b个聚类簇内第f个基准点对应的窗口的边长，/>表示第b个聚类簇内第f个基准点的邻域内第t个像素点的色调，/>表示第b个聚类簇内第f个基准点的色调，/>表示第b个聚类簇内第f个基准点的邻域内第t个像素点的饱和度，/>表示第b个聚类簇内第f个基准点的饱和度，/>表示取绝对值符号，/>表示归一化函数。

表示第b个聚类簇内第f个基准点的邻域内像素点的数量，/>表示第f个基准点的邻域内第t个像素点对应的第一差异，用于反映第f个基准点与其邻域内第t个像素点之间的色调差异情况；/>表示第f个基准点的邻域内第t个像素点对应的第二差异，能够反映第f个基准点与其邻域内第t个像素点之间的饱和度差异情况，当第f个基准点的邻域内像素点与第f个基准点相比，饱和度值越高时，/>的值越大，第f个基准点为阴影褶皱区域的概率越大，因此第f个基准点的特征重要度越大。

采用上述方法，能够获得每个聚类簇内每个基准点的特征重要度。

步骤S3，根据每个聚类簇内基准点的位置分布、所述特征重要度和所述表情复杂度，获得每个聚类簇的保留参数；基于每个聚类簇内基准点的特征重要度和所述保留参数确定每个聚类簇内的特征点，并在对应面部图像中进行标记；基于标记后的样本面部图像对神经网络进行训练获得麻醉镇痛效果评估网络。

对于不同的聚类簇来说，由于面部不同区域对疼痛的表达程度不同，对于情感表达能力强的面部区域，需要的基准点数量更多。本实施例在获得不同聚类簇内基准点的特征重要度后，还需要结合基准点所在聚类簇所对应的面部区域对疼痛的表达能力，确定每个聚类簇内每个基准点的保留参数。

对于第b个聚类簇：采用霍特林（Hotelling）变换获得第b个聚类簇的主轴，并获取主轴在第b个聚类簇对应的凸包区域内的中点记为主轴中心点；霍特林变换为现有技术，此处不再过多赘述。根据第b个聚类簇内每个基准点在所述主轴上的投影点与所述主轴中心点的距离、第b个聚类簇对应的凸包区域的表情复杂度和第b个聚类簇内每个基准点的特征重要度，得到第b个聚类簇内每个基准点的保留参数。第b个聚类簇的保留参数的具体计算公式为：

其中，表示第b个聚类簇的保留参数，/>表示第b个聚类簇对应的凸包区域的表情复杂度，J表示第b个聚类簇内基准点的数量，/>表示第b个聚类簇内的第j个基准点在主轴上的投影点与主轴中心点的距离，/>表示第b个聚类簇内所有基准点在主轴上的投影点与主轴中心点的距离的平均值，/>表示第b个聚类簇内第j个基准点的特征重要度，表示归一化函数。

表达疼痛能力较强的区域主要为面部器官所在区域，而面部器官纹理特征相对复杂，因此将表情复杂度作为保留参数的评价参数之一。第b个聚类簇内基准点的特征重要度越大，第b个聚类簇内能够较好的反映疼痛表情的基准点越多，第b个聚类簇的保留参数越大，表示第b个聚类簇内所有基准点的特征重要度的均值，该值越大，第b个聚类簇的保留参数越大。聚类簇内主轴能够大致表示基准点构成的面部器官形状，通过反映第b个聚类簇内的第j个基准点在主轴上的投影点与主轴中心点的距离和第b个聚类簇内所有基准点在主轴上的投影点与主轴中心点的距离的平均值之间的差异情况，该值越大，越应当放大第j个基准点的重要特征参数。当第b个聚类簇对应的凸包区域的表情复杂度越大、第b个聚类簇内基准点的特征重要度越大、第b个聚类簇内每个基准点在主轴上的投影点与主轴中心点的距离和第b个聚类簇内所有基准点在主轴上的投影点与主轴中心点的距离的平均值之间的差异越大时，第b个聚类簇的保留参数越大。

采用上述方法，能够获得每个聚类簇的保留参数，接下来本实施例将基于每个聚类簇内基准点的特征重要度和保留参数确定每个聚类簇内的特征点。

对于第b个聚类簇：

按照特征重要度从大到小的顺序对第b个聚类簇内的基准点进行排序获得第b个聚类簇的基准点序列。将所述基准点序列中所有基准点的特征重要度之和记为第b个聚类簇的特征指标。对于所述基准点序列中的第j个基准点：将所述基准点序列中第j个基准点之前的所有基准点及第j个基准点构成的序列记为第j个基准点所对应的子序列；将第j个基准点所对应的子序列中所有基准点的特征重要度之和记为第j个基准点的待评价值；将第j个基准点的待评价值与所述特征指标的比值，记为第j个基准点的第二特征值；采样该方法能够获得基准点序列中每个基准点的第二特征值。按照从左到右的顺序，依次判断基准点序列中每个基准点的第二特征值与第b个聚类簇的保留参数的差值是否大于0，若大于，则判定对应基准点所对应的子序列中的基准点为第b个聚类簇内的特征点，并停止判断；若小于等于，则继续判断，直至第二特征值与第b个聚类簇的保留参数的差值大于0，获得第b个聚类簇内的特征点。具体地，若基准点序列中第1个基准点的第二特征值与第b个聚类簇的保留参数的差值大于0，则判定基准点序列中第1个基准点所对应的子序列中的基准点为第b个聚类簇内的特征点，并停止判断；若基准点序列中第1个基准点的第二特征值与第b个聚类簇的保留参数的差值小于等于0，则判断基准点序列中第2个基准点的第二特征值与第b个聚类簇的保留参数的差值和0的大小关系，若基准点序列中第2个基准点的第二特征值与第b个聚类簇的保留参数的差值大于0，则判定基准点序列中第2个基准点所对应的子序列中的基准点为第b个聚类簇内的特征点，并停止判断；若基准点序列中第2个基准点的第二特征值与第b个聚类簇的保留参数的差值小于等于0，则判断基准点序列中第3个基准点的第二特征值与第b个聚类簇的保留参数的差值和0的大小关系，若基准点序列中第3个基准点的第二特征值与第b个聚类簇的保留参数的差值大于0，则判定基准点序列中第3个基准点所对应的子序列中的基准点为第b个聚类簇内的特征点，并停止判断；若基准点序列中第3个基准点的第二特征值与第b个聚类簇的保留参数的差值小于等于0，则判断基准点序列中第4个基准点的第二特征值与第b个聚类簇的保留参数的差值和0的大小关系，以此类推，直至第二特征值与第b个聚类簇的保留参数的差值大于0，获得第b个聚类簇内的特征点。需要说明的是：若基准点序列中最后一个基准点的第二特征值与第b个聚类簇的保留参数的差值仍小于等于0，则将第b个聚类簇的基准点序列中的所有基准点作为第b个聚类簇内的特征点。第j个基准点的第二特征值与第b个聚类簇的保留参数的差值的具体计算公式为：

其中，表示第j个基准点的第二特征值与第b个聚类簇的保留参数的差值，/>表示第b个聚类簇的保留参数，/>表示第b个聚类簇内第j个基准点的特征重要度，M表示第j个基准点所对应的子序列中的基准点的数量，J表示第b个聚类簇内基准点的数量，M小于等于J。

表示第b个聚类簇的特征指标，/>表示第j个基准点的待评价值，表示第j个基准点的第二特征值。当基准点的第二特征值与第b个聚类簇的保留参数的差值取最小正值时，则认为当前选取的基准点更能体现当前区域特征。当聚类簇的保留参数越大时，需要保留的基准点数量越多。

采用本实施例提供的方法，能够对每张面部图像中每个聚类簇内的基准点进行筛选获得每张面部图像中每个聚类簇内的特征点，并对特征点进行标记，也即获得了标记后的样本面部图像和标记好的待评估人员的面部图像，将标记后的样本面部图像按照7：3的比例分为训练集和验证集，对神经网络进行训练，神经网络的输入为标记后的样本面部图像，神经网络的输出为麻醉镇痛效果等级，麻醉镇痛效果等级分别为一级、二级、三级、四级和五级，一级效果最差，二级效果次之，依此类推，五级效果最好，在具体应用中，实施者可根据具体情况进行设置；在对神经网络进行训练时，损失函数为交叉熵函数，利用最小梯度法训练至损失函数收敛，完成训练并输入验证集进行验证，神经网络的训练过程为现有技术，此处不再过多赘述；将训练完成后的神经网络记为麻醉镇痛效果评估网络。

步骤S4，将标记好的待评估人员的面部图像输入到麻醉镇痛效果评估网络中，获得待评估人员的麻醉镇痛效果。

本实施例在步骤S3中已经获得了麻醉镇痛效果评估网络，接下来将利用麻醉镇痛效果评估网络对待评估人员的麻醉镇痛效果进行评估。

具体地，将标记好的待评估人员的面部图像输入到麻醉镇痛效果评估网络中，麻醉镇痛效果评估网络输出待评估人员的麻醉镇痛效果。

至此，采用本实施例提供的方法完成了对待评估人员的麻醉镇痛效果的评估。

本实施例首先基于面部图像中基准点之间的相对距离对基准点进行了聚类获得了多个聚类簇，然后结合每个聚类簇对应的凸包区域内像素点的灰度值、梯度幅值以及位置分布，获得了每个凸包区域的表情复杂度，又对每个基准点与其邻域内像素点的色调差异和饱和度差异进行了分析，获得了每个聚类簇内每个基准点的特征重要度，根据每个聚类簇内基准点的位置分布、特征重要度和表情复杂度，从基准点中筛选了每个聚类簇内的特征点并进行了标记，特征点为更能反映面部疼痛特征的像素点，基于标记后的样本面部图像对神经网络进行了训练获得了麻醉镇痛效果评估网络，也即对神经网络训练数据集进行了优化，避免训练结果过拟合，提高了麻醉过程中镇痛评估效果的准确度。

需要说明的是：以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于人脸表情分析的麻醉镇痛效果评估方法，其特征在于，该方法包括以下步骤：

获取待评估人员的面部图像和预设数量张样本面部图像；

分别基于每张面部图像中基准点之间的相对距离对每张面部图像进行聚类获得每个聚类簇，对每个聚类簇进行凸包检测获得每个聚类簇对应的凸包区域；根据每个凸包区域内像素点的灰度值、梯度幅值以及位置分布，得到每个凸包区域的表情复杂度；根据每个聚类簇内每个基准点与其邻域内像素点的色调差异、饱和度差异和所述表情复杂度，得到每个聚类簇内每个基准点的特征重要度；

根据每个聚类簇内基准点的位置分布、所述特征重要度和所述表情复杂度，获得每个聚类簇的保留参数；基于每个聚类簇内基准点的特征重要度和所述保留参数确定每个聚类簇内的特征点，并在对应面部图像中进行标记；基于标记后的样本面部图像对神经网络进行训练获得麻醉镇痛效果评估网络；

将标记好的待评估人员的面部图像输入到麻醉镇痛效果评估网络中，获得待评估人员的麻醉镇痛效果；

所述分别基于每张面部图像中基准点之间的相对距离对每张面部图像进行聚类获得每个聚类簇，包括：

对于任意一张面部图像：

采用手肘法对面部图像进行处理获得k值；

基于面部图像中基准点之间的相对距离，采用K-means聚类算法对面部图像中的所有基准点进行聚类获得k个聚类簇；

所述根据每个凸包区域内像素点的灰度值、梯度幅值以及位置分布，得到每个凸包区域的表情复杂度，包括：

对于第r个凸包区域：

根据第r个凸包区域内每种灰度值出现的概率，计算第r个凸包区域内灰度值的信息熵；

分别将第r个凸包区域内每个像素点的梯度幅值与灰度值的比值，记为每个像素点对应的第一特征值；

分别将第r个凸包区域内每个像素点的横坐标与第r个凸包区域内所有像素点的横坐标的平均值之间的差异，记为每个像素点对应的横坐标差异；分别将第r个凸包区域内每个像素点的纵坐标与第r个凸包区域内所有像素点的纵坐标的平均值之间的差异，记为每个像素点对应的纵坐标差异；

根据所述信息熵、所述第一特征值、所述横坐标差异和所述纵坐标差异，得到第r个凸包区域的表情复杂度；

采用如下公式计算第r个凸包区域的表情复杂度：

其中，表示第r个凸包区域的表情复杂度，n表示第r个凸包区域内像素点的数量，/>表示第r个凸包区域内第i个像素点的梯度幅值，/>表示第r个凸包区域内第i个像素点的灰度值，G表示第r个凸包区域内像素点的灰度值的种类数，/>表示第r个凸包区域内第v种灰度值出现的概率，/>表示第r个凸包区域内所有像素点的横坐标的平均值，/>表示第r个凸包区域内所有像素点的纵坐标的平均值，/>表示归一化函数，/>表示取绝对值符号，表示以自然常数2为底数的对数函数；

所述根据每个聚类簇内每个基准点与其邻域内像素点的色调差异、饱和度差异和所述表情复杂度，得到每个聚类簇内每个基准点的特征重要度，包括：

对于第b个聚类簇内第f个基准点：

分别将所述第f个基准点与其邻域内每个像素点之间的色调差异记为第f个基准点的邻域内每个像素点对应的第一差异；分别将所述第f个基准点的邻域内每个像素点与所述第f个基准点之间的饱和度的差值记为第f个基准点的邻域内每个像素点对应的第二差异；

基于所述第一差异和所述第二差异，获得第b个聚类簇内第f个基准点的特征重要度，所述第一差异和所述第二差异均与特征重要度呈正相关关系。

2.根据权利要求1所述的一种基于人脸表情分析的麻醉镇痛效果评估方法，其特征在于，基准点的邻域内像素点的获取，包括：

对于任一基准点：

将该基准点与其所在聚类簇对应的凸包区域的边缘点之间的最短距离记为第一距离，将该基准点与其所在聚类簇对应的凸包区域的中心点之间的距离记为第二距离，将第一距离与第二距离中的最小值记为目标距离；

计算该基准点所在聚类簇对应的凸包区域的表情复杂度与所述目标距离的乘积，将所述乘积的向上取奇整数的值作为该基准点对应的窗口的边长；将该基准点对应的窗口内除该基准点外的像素点作为该基准点的邻域内像素点；其中，该基准点位于该基准点对应的窗口的中心。

3.根据权利要求1所述的一种基于人脸表情分析的麻醉镇痛效果评估方法，其特征在于，所述根据每个聚类簇内基准点的位置分布、所述特征重要度和所述表情复杂度，获得每个聚类簇的保留参数，包括：

对于第b个聚类簇：

采用Hotelling变换获得第b个聚类簇的主轴，并获取主轴在第b个聚类簇对应的凸包区域内的中点记为主轴中心点；

根据第b个聚类簇内每个基准点在所述主轴上的投影点与所述主轴中心点的距离、第b个聚类簇对应的凸包区域的表情复杂度和第b个聚类簇内每个基准点的特征重要度，得到第b个聚类簇的保留参数。

4.根据权利要求3所述的一种基于人脸表情分析的麻醉镇痛效果评估方法，其特征在于，采用如下公式计算第b个聚类簇的保留参数：

其中，表示第b个聚类簇的保留参数，/>表示第b个聚类簇对应的凸包区域的表情复杂度，J表示第b个聚类簇内基准点的数量，/>表示第b个聚类簇内的第j个基准点在主轴上的投影点与主轴中心点的距离，/>表示第b个聚类簇内所有基准点在主轴上的投影点与主轴中心点的距离的平均值，/>表示第b个聚类簇内第j个基准点的特征重要度，表示归一化函数。

5.根据权利要求1所述的一种基于人脸表情分析的麻醉镇痛效果评估方法，其特征在于，所述基于每个聚类簇内基准点的特征重要度和所述保留参数确定每个聚类簇内的特征点，包括：

对于第b个聚类簇：

按照特征重要度从大到小的顺序对第b个聚类簇内的基准点进行排序获得第b个聚类簇的基准点序列；

将所述基准点序列中所有基准点的特征重要度之和记为第b个聚类簇的特征指标；

对于所述基准点序列中的第j个基准点：将所述基准点序列中第j个基准点之前的所有基准点及第j个基准点构成的序列记为第j个基准点所对应的子序列；将第j个基准点所对应的子序列中所有基准点的特征重要度之和记为第j个基准点的待评价值；将第j个基准点的待评价值与所述特征指标的比值，记为第j个基准点的第二特征值；

按照从左到右的顺序，依次判断基准点序列中每个基准点的第二特征值与第b个聚类簇的保留参数的差值是否大于0，若大于，则判定对应基准点所对应的子序列中的基准点为第b个聚类簇内的特征点，并停止判断。

6.根据权利要求1所述的一种基于人脸表情分析的麻醉镇痛效果评估方法，其特征在于，像素点的色调和饱和度的获取，包括：

将面部图像转换至HSV空间获得面部图像中每个像素点的色调和饱和度。