CN109063643A - 一种用于脸部信息部分隐藏条件下的面部表情痛苦度识别方法 - Google Patents

Abstract

本发明涉及一种用于脸部信息部分隐藏条件下的面部表情痛苦度识别方法，与现有技术相比解决了表情痛苦度识别必须依赖全脸图像的缺陷。本发明包括以下步骤：脸部信息隐藏数据库的获得；表情识别自动学习模型的建立；待检测表情帧图像的获取；面部表情痛苦度识别；表情识别自动学习模型的再训练。本发明能够在脸部器官部分遮挡的情况下进行痛苦度的识别。

Description

一种用于脸部信息部分隐藏条件下的面部表情痛苦度识别 方法

技术领域

本发明涉及图像分析技术领域，具体来说是一种用于脸部信息部分隐藏条件下的面部表情痛苦度识别方法。

背景技术

随着医疗技术的不断发展，针对于同一病症具有多种医学处理方法，所涉及使用的医疗设备也多样化。基于人文关怀角度考虑，在进行医疗设备使用时尽可能地使用对患者伤害小、痛苦度低的检查或治疗设备。但在实际应用中发现，针对于不同年龄段、不同性别的患者而言，其对疼痛的接受程度和相关治疗反应也不尽相同，若能收集归纳出两者之间的关系，将为医生有针对性地使用医疗设备提供数据指导。

现有技术中，虽有部分技术通过在相关医疗设备上架设摄像设备，记录患者治疗检查过程中的面部表情，以此得出不同类别的患者对医疗设备的疼痛反应程度的数据集。但其获取的是患者的整个面部表情，对患者的个人隐私信息的泄露留下重大隐患。

因此，如何研究出一种能够在面部器官部分遮挡的条件下识别出痛苦度的方法已经成为急需解决的技术问题。

发明内容

本发明的目的是为了解决现有技术中表情痛苦度识别必须依赖全脸图像的缺陷，提供一种用于脸部信息部分隐藏条件下的面部表情痛苦度识别方法来解决上述问题。

为了实现上述目的，本发明的技术方案如下：

一种用于脸部信息部分隐藏条件下的面部表情痛苦度识别方法，包括以下步骤：

脸部信息隐藏数据库的获得，获得脸部信息隐藏条件下的面部表情数据集，脸部信息未隐藏部分为眉毛和嘴巴，面部表情数据集内的数据均已定义标签，标签内容为面部表情痛苦度；

表情识别自动学习模型的建立，利用已有标签和脸部信息经过遮挡关键部位处理的连续表情帧图像融合深度学习技术建立表情识别自动学习模型；

待检测表情帧图像的获取，获得待检测表情帧图像，待检测表情帧图像为除眉毛和嘴巴外均进行隐藏处理的脸部信息图像；

面部表情痛苦度识别，将脸部信息图像帧输入到表情识别自动学习模型，表情识别自动学习模型生成其疼痛分值；

表情识别自动学习模型的再训练，将脸部信息隐藏图像和其识别出的疼痛分值、以及眉毛和嘴巴的位置信息作为训练样本，输入面部表情识别自动学习模型进行损失函数的再训练。

所述的表情识别自动训练模型的建立包括以下步骤：

通过Haar特征技术获取面部表情帧图片中眉毛和嘴巴对应的初步感兴趣区域，将连续帧图像中眉毛和嘴巴对应的初步感兴趣区域划分成k²个分块，即若眉毛或者嘴巴感兴趣区域对应的大小是w*h，那么每个分块的大小为(w/k)*(h/k)；

通过时空全卷积网络获取面部表情帧图片的初步特征图，对时空全卷积网络进行预设定，其表达式如下：

其中，i、j分别表示输入、输出特征图的索引，表示l和l-1层之间的滤波器，M_j表示滤波器对应的三维感受野，表示偏置项，表示激活函数；

识别面部疼痛等级；

从时空全卷积网络的输出位置添加一系列特定的时空卷积层，以生成预测疼痛等级的时空位置映射的得分图；将面部表情帧图片中眉毛和嘴巴对应的初步感兴趣区域和预测疼痛等级的时空位置映射得分图共同输入感兴趣区域池化层得到疼痛等级；

优化眉毛和嘴巴的位置信息用于优化模型精度的再训练；

从时空全卷积网络的输出位置并列添加一系列特定的时空卷积层，以生成优化眉毛和嘴巴位置的时空位置映射得分图；将面部表情帧图片中眉毛和嘴巴对应的初步感兴趣区域和优化感兴趣区域的时空位置映射得分图共同输入感兴趣区域池化层优化眉毛和嘴巴的位置。

所述的识别面部疼痛等级包括以下步骤：

在时空全卷积网络的输出位置添加一系列特定的时空卷积层用于生成识别疼痛等级的时空位置对应得分图；

添加k²*(C+1)个时空卷积层，+1表示背景类，用k²*(C+1)个三维卷积核从空间和时间角度提取位置映射得分图，

Zc(i,j)表示的是k²*(C+1)个时空映射图中的第(i,j)个且属于c级疼痛指数的时空映射图，(i,j)决定了k²种位置的某一种位置，

假设为左上角位置(i＝j＝1)，c决定了疼痛等级，假设为非常疼痛等级，在Zc(i,j)这个特征图上的某一个像素的位置是(x,y)，像素值是m，则m表示的是原图对应的(x,y)这个位置上可能是非常疼痛的概率值；

对连续帧图像某帧中一个感兴趣区域中的(i,j)块进行时空池化操作，

对卷积层输出的k²*(C+1)个时空位置映射得分图中的第(i,j)个做时空均值池化，得到一个感兴趣区域中k²种位置的某一种位置对应的池化特征，

其中(x,y)表示像素位置，w表示需要学习的参数，一个感兴趣区域的某个块进行池化后会得到1*1*(C+1)大小的输出，即每个感兴趣区域进行池化后会得到k²*(C+1)大小的输出；

将图像里的眉毛和嘴巴对应的感兴趣区域池化后的输出融合在一起进行投票，输出得到C+1维的输出：

图像里眉毛和嘴巴各自对应的k²个小块进行权重求和得到每种疼痛等级的得分，最后进行softmax得到每种疼痛程度的最终得分并用于计算损失；

根据损失函数反向传播进行训练，其训练时使用的损失函数如下：

其中，s_c*表示预测的c^*类的得分，t和t^*表示预测和真实的位置{t_x,t_y,t_h,t_w}，λ[c^*＞0]表示只考虑非背景的框，损失函数是分类损失和回归位置损失的总和，其中smooth_L1计算如下：

还包括表情识别自动学习模型的再训练的步骤，其包括以下步骤：

待检测全表情帧图像的获取，

获得待检测全表情帧图像，待检测全表情帧图像为未进行隐藏处理的脸部信息图像；

利用面部表情识别方法对待检测全表情帧图像进行表情痛苦度识别；

将表情识别自动学习模型输出的疼痛分值与面部表情识别方法输出的疼痛分值进行对比；

若表情识别自动学习模型输出的疼痛分值与面部表情识别方法输出的疼痛分值差比小于阈值，则利用优化后眉毛和嘴巴的位置信息，将脸部信息隐藏图像数据和其对应的疼痛分值以及眉毛和嘴巴的位置信息作为训练样本，输入表情识别自动学习模型进行损失函数的训练。

有益效果

本发明的一种用于脸部信息部分隐藏条件下的面部表情痛苦度识别方法，与现有技术相比能够在脸部器官部分遮挡的情况下进行痛苦度的识别。

本发明从已遮挡脸部的关键部位(眉毛和嘴巴)融合基于时空位置映射得分图的深度学习技术出发，对特定医疗场景下脸部疼痛程度建模，在保护病人个人隐私的前提下为病人提供疼痛程度判别依据。同时，本发明在识别出痛苦度后还可以将其作为已有标签和经过遮挡关键部位处理的连续帧图像不断进行表情识别自动学习模型的再训练，以实现在长时间的过程中一直连续获取大数据进行自我学习提高模型准确度。

附图说明

图1为本发明的方法顺序图。

具体实施方式

为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：

如图1所示，本发明所述的一种用于脸部信息部分隐藏条件下的面部表情痛苦度识别方法，包括以下步骤：

第一步，脸部信息隐藏数据库的获得。

获得脸部信息隐藏条件下的面部表情数据集，脸部信息未隐藏部分为眉毛和嘴巴，面部表情数据集内的数据均已定义标签，标签内容为面部表情痛苦度。在此选择眉毛和嘴巴为脸部信息未隐藏部分是基于眉毛和嘴巴具有较高的痛苦度辨析标识度，同时针对除眉毛和嘴巴以外的脸部器官进行隐藏，可以起到较好的遮挡效果。面部表情数据集中的数据为已获知痛苦度的有标签数据，在实际应用中，可以通过众多的公开脸部图像进行人为标定产生。

第二步，表情识别自动学习模型的建立。利用已有标签和脸部信息经过遮挡关键部位处理的连续表情帧图像融合深度学习技术建立表情识别自动学习模型。传统的面部识别方法实则为器官定位方法，基于整个面部进行相应的定位，但在脸部信息经过遮挡关键部位处理后，获得的信息量是有限的，也就是说在此需要基于深度学习技术对有限的信息量进行预测，以实现有限条件下的准确预测。其具体步骤如下：

(1)通过Haar特征技术获取面部表情帧图片中眉毛和嘴巴对应的初步感兴趣区域，将连续帧图像中眉毛和嘴巴对应的初步感兴趣区域划分成k²个分块，即若眉毛或者嘴巴感兴趣区域对应的大小是w*h，那么每个分块的大小为(w/k)*(h/k)。

(2)通过时空全卷积网络获取面部表情帧图片的初步特征图，对时空全卷积网络进行预设定，其表达式如下：

其中，i、j分别表示输入、输出特征图的索引，表示l和l-1层之间的滤波器，M_j表示滤波器对应的三维感受野，表示偏置项，表示激活函数。表情的产生是连续图像帧的结果，结合上下文中的信息更有利于对表情的判断，所以我们使用时空卷积处理图像帧，卷积核的空间大小和时间维度可以通过学习获取最优参数。

(3)识别面部疼痛等级。

从时空全卷积网络的输出位置添加一系列特定的时空卷积层，以生成预测疼痛等级的时空位置映射的得分图；将面部表情帧图片中眉毛和嘴巴对应的初步感兴趣区域和预测疼痛等级的时空位置映射得分图共同输入感兴趣区域池化层得到疼痛等级。其具体步骤如下：

A、在时空全卷积网络的输出位置添加一系列(1*3或3*3)特定的时空卷积层用于生成识别疼痛等级的时空位置对应得分图。

痛苦度识别是个时序事件，需要利用多张图像之间的位置相关性，即要求对目标的平移做出准确响应。但是正常的卷积具备平移不变性的，因此，利用特定时空卷积核产生的时空位置对应得分图能把目标的时序位置信息融合进感兴趣区域池化层。

A1、为了能够评估疼痛等级，在此添加k²*(C+1)个时空卷积层，+1表示背景类，用k²*(C+1)个三维卷积核从空间和时间角度提取位置映射得分图，

Zc(i,j)表示的是k²*(C+1)个时空映射图中的第(i,j)个且属于c级疼痛指数的时空映射图，(i,j)决定了k²种位置的某一种位置，

假设为左上角位置(i＝j＝1)，c决定了疼痛等级，假设为非常疼痛等级，在Zc(i,j)这个特征图上的某一个像素的位置是(x,y)，像素值是m，则m表示的是原图对应的(x,y)这个位置上可能是非常疼痛的概率值。

A2、对连续帧图像某帧中一个感兴趣区域中的(i,j)块(某块)进行时空池化操作，

对卷积层输出的k²*(C+1)个时空位置映射得分图中的第(i,j)个做时空均值池化，得到一个感兴趣区域中k²种位置的某一种位置对应的池化特征，

其中(x,y)表示像素位置，w表示需要学习的参数，一个感兴趣区域的某个块进行池化后会得到1*1*(C+1)大小的输出，即每个感兴趣区域进行池化后会得到k²*(C+1)大小的输出。

A3、将图像里的眉毛和嘴巴对应的感兴趣区域池化后的输出融合在一起进行投票，输出得到C+1维的输出：

图像里眉毛和嘴巴各自对应的k²个小块进行权重求和(各种疼痛等级可能单独做)得到每种疼痛等级的得分，最后进行softmax得到每种疼痛程度的最终得分并用于计算损失。在此，该层后面不再跟卷积层或全连接层，这样整个网络不仅可以端到端训练，而且所有层的计算都是在整个图像上共享的。

B、根据损失函数反向传播进行训练，其训练时使用的损失函数如下：

其中，s_c ^*表示预测的c^*类的得分，t和t^*表示预测和真实的位置{t_x,t_y,t_h,t_w}，λ[c^*＞0]表示我们只考虑非背景的框，损失函数是分类损失和回归位置损失的总和，其中smooth_L1计算如下：

在此，为了配合已识别的数据作为有标签数据进行再训练，损失函数定义为分类损失和回归位置损失的总和，以使得以基于回归位置损失进行再训练，以实现识别精确度在日常使用过程中的不断提高。

(4)优化眉毛和嘴巴的位置信息用于优化模型精度的再训练。为了配合再训练的过程，在此通过优化眉毛和嘴巴的位置信息来用于优化模型精度的再训练，这样可以在再训练的过程中省去提取眉毛和嘴巴初步感兴趣的步骤，同时我们提供的眉毛和嘴巴的初步位置更加精确，有利于再训练过程中对图像帧的表情痛苦度识别。

从时空全卷积网络的输出位置并列添加一系列(4*k²*(C+1))特定的时空卷积层，以生成优化眉毛和嘴巴位置的时空位置映射得分图；将面部表情帧图片中眉毛和嘴巴对应的初步感兴趣区域和优化感兴趣区域的时空位置映射得分图共同输入感兴趣区域池化层优化眉毛和嘴巴的位置。

第三步，待检测表情帧图像的获取。获得待检测表情帧图像，待检测表情帧图像为除眉毛和嘴巴外均进行隐藏处理的脸部信息图像。

第四步，面部表情痛苦度识别，将脸部信息图像帧输入到表情识别自动学习模型，表情识别自动学习模型生成其疼痛分值。

第五步，表情识别自动学习模型的再训练，将脸部信息隐藏图像和其识别出的疼痛分值、以及眉毛和嘴巴的位置信息作为训练样本，输入面部表情识别自动学习模型进行损失函数的再训练。其具体步骤如下：

(1)待检测全表情帧图像的获取，

获得待检测全表情帧图像，待检测全表情帧图像为未进行隐藏处理的脸部信息图像。

(2)利用现有传统的面部表情识别方法对待检测全表情帧图像进行表情痛苦度识别，待检测全表情帧图像为未进行任何遮挡的脸部图像。

(3)将表情识别自动学习模型输出的疼痛分值与面部表情识别方法输出的疼痛分值进行对比，以判断当前在脸部信息部分隐藏条件下识别出的痛苦度是否准确。

(4)若表情识别自动学习模型输出的疼痛分值与面部表情识别方法输出的疼痛分值差比小于阈值，则利用优化后眉毛和嘴巴的位置信息，将脸部信息隐藏图像数据和其对应的疼痛分值以及眉毛和嘴巴的位置信息作为训练样本，输入表情识别自动学习模型进行损失函数的训练，以进一步提高表情识别自动学习模型的准确率。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

Claims (4)

1.一种用于脸部信息部分隐藏条件下的面部表情痛苦度识别方法，其特征在于，包括以下步骤：

11)脸部信息隐藏数据库的获得，获得脸部信息隐藏条件下的面部表情数据集，脸部信息未隐藏部分为眉毛和嘴巴，面部表情数据集内的数据均已定义标签，标签内容为面部表情痛苦度；

12)表情识别自动学习模型的建立，利用已有标签和脸部信息经过遮挡关键部位处理的连续表情帧图像融合深度学习技术建立表情识别自动学习模型；

13)待检测表情帧图像的获取，获得待检测表情帧图像，待检测表情帧图像为除眉毛和嘴巴外均进行隐藏处理的脸部信息图像；

14)面部表情痛苦度识别，将脸部信息图像帧输入到表情识别自动学习模型，表情识别自动学习模型生成其疼痛分值；

15)表情识别自动学习模型的再训练，将脸部信息隐藏图像和其识别出的疼痛分值、以及眉毛和嘴巴的位置信息作为训练样本，输入面部表情识别自动学习模型进行损失函数的再训练。

2.根据权利要求1所述的一种用于脸部信息部分隐藏条件下的面部表情识别方法，其特征在于，所述的表情识别自动训练模型的建立包括以下步骤：

21)通过Haar特征技术获取面部表情帧图片中眉毛和嘴巴对应的初步感兴趣区域，将连续帧图像中眉毛和嘴巴对应的初步感兴趣区域划分成k²个分块，即若眉毛或者嘴巴感兴趣区域对应的大小是w*h，那么每个分块的大小为(w/k)*(h/k)；

22)通过时空全卷积网络获取面部表情帧图片的初步特征图，对时空全卷积网络进行预设定，其表达式如下：

其中，i、j分别表示输入、输出特征图的索引，表示l和l-1层之间的滤波器，M_j表示滤波器对应的三维感受野，表示偏置项，表示激活函数；

23)识别面部疼痛等级；

从时空全卷积网络的输出位置添加一系列特定的时空卷积层，以生成预测疼痛等级的时空位置映射的得分图；将面部表情帧图片中眉毛和嘴巴对应的初步感兴趣区域和预测疼痛等级的时空位置映射得分图共同输入感兴趣区域池化层得到疼痛等级；

24)优化眉毛和嘴巴的位置信息用于优化模型精度的再训练；

从时空全卷积网络的输出位置并列添加一系列特定的时空卷积层，以生成优化眉毛和嘴巴位置的时空位置映射得分图；将面部表情帧图片中眉毛和嘴巴对应的初步感兴趣区域和优化感兴趣区域的时空位置映射得分图共同输入感兴趣区域池化层优化眉毛和嘴巴的位置。

3.根据权利要求2所述的一种用于脸部信息部分隐藏条件下的面部表情痛苦度识别方法，其特征在于，所述的识别面部疼痛等级包括以下步骤：

31)在时空全卷积网络的输出位置添加一系列特定的时空卷积层用于生成识别疼痛等级的时空位置对应得分图；

311)添加k²*(C+1)个时空卷积层，+1表示背景类，用k²*(C+1)个三维卷积核从空间和时间角度提取位置映射得分图，

Zc(i,j)表示的是k²*(C+1)个时空映射图中的第(i,j)个且属于c级疼痛指数的时空映射图，(i,j)决定了k²种位置的某一种位置，

假设为左上角位置(i＝j＝1)，c决定了疼痛等级，假设为非常疼痛等级，在Zc(i,j)这个特征图上的某一个像素的位置是(x,y)，像素值是m，则m表示的是原图对应的(x,y)这个位置上非常疼痛的概率值；

312)对连续帧图像某帧中一个感兴趣区域中的(i,j)块进行时空池化操作，

对卷积层输出的k²*(C+1)个时空位置映射得分图中的第(i,j)个做时空均值池化，得到一个感兴趣区域中k²种位置的某一种位置对应的池化特征，

其中(x,y)表示像素位置，w表示需要学习的参数，一个感兴趣区域的某个块进行池化后会得到1*1*(C+1)大小的输出，即每个感兴趣区域进行池化后会得到k²*(C+1)大小的输出；

313)将图像里的眉毛和嘴巴对应的感兴趣区域池化后的输出融合在一起进行投票，输出得到C+1维的输出：

图像里眉毛和嘴巴各自对应的k²个小块进行权重求和得到每种疼痛等级的得分，最后进行softmax得到每种疼痛程度的最终得分并用于计算损失；

32)根据损失函数反向传播进行训练，其训练时使用的损失函数如下：

其中，表示预测的c^*类的得分，t和t^*表示预测和真实的位置{t_x,t_y,t_h,t_w}，λ[c^*＞0]表示只考虑非背景的框，损失函数是分类损失和回归位置损失的总和，其中smooth_L1计算如下：

4.根据权利要求1所述的一种用于脸部信息部分隐藏条件下的面部表情痛苦度识别方法，其特征在于，还包括表情识别自动学习模型的再训练的步骤，其包括以下步骤：

41)待检测全表情帧图像的获取，

获得待检测全表情帧图像，待检测全表情帧图像为未进行隐藏处理的脸部信息图像；

42)利用面部表情识别方法对待检测全表情帧图像进行表情痛苦度识别；

43)将表情识别自动学习模型输出的疼痛分值与面部表情识别方法输出的疼痛分值进行对比；

44)若表情识别自动学习模型输出的疼痛分值与面部表情识别方法输出的疼痛分值差比小于阈值，则利用优化后眉毛和嘴巴的位置信息，将脸部信息隐藏图像数据和其对应的疼痛分值以及眉毛和嘴巴的位置信息作为训练样本，输入表情识别自动学习模型进行损失函数的训练。