CN111401117A

CN111401117A - 基于双流卷积神经网络的新生儿疼痛表情识别方法

Info

Publication number: CN111401117A
Application number: CN201910748936.5A
Authority: CN
Inventors: 吕方惠; 闫静杰; 李海波; 朱康; 宋宇康; 卢官明
Original assignee: Nanjing University of Posts and Telecommunications
Current assignee: Nanjing University of Posts and Telecommunications
Priority date: 2019-08-14
Filing date: 2019-08-14
Publication date: 2020-07-10
Anticipated expiration: 2039-08-14
Also published as: CN111401117B

Abstract

本发明公开了一种基于双流卷积神经网络的新生儿疼痛表情识别方法，该方法首先将视频进行分帧处理，接着在多个连续的帧之间添加光流位移场获得对应的光流信息以得到光流图。然后构造出一个共用Attention双流卷积神经网络，该网络是在双流卷积神经网络的基础上添加了共用Attention模块，该网络主要由两个预训练的VGG16网络和共用Attention模块组成。在该网络中，首先从各帧图像序列中选择表情变化最大的一帧作为其中一路VGG16网络的输入，我们将该路网络称为空间信息网络，然后将光流图作为另一路VGG16网络的输入，我们称该路网络为时间信息网络。最后将通过两路网络后的特征图进行级联并输入全连接层进行新生儿疼痛表情分类。

Description

基于双流卷积神经网络的新生儿疼痛表情识别方法

技术领域

本发明涉及一种基于双流卷积神经网络的新生儿疼痛表情识别方法，属于深度学习与模式识别方向。

背景技术

面部表情识别一直是一个活跃的研究领域，面部表情识别对于机器学习方法来说却不是一个容易的问题。人类的认知能力较强，一般可以通过一个人的面部表情和肢体动作得到这个人的情绪状况，进而可以根据这个人的情绪采取相应的行动措施。但是机器想要识别出人的情感，就十分困难，随着科技的发展，机器的拟人化成为研究的热点。

2014年，Karen Simonyan和Andrew Zisserman提出双流卷积神经网络，使用两路相同的卷积神经网络对视频中的行为进行识别，同时考虑了视频中的空间位置信息及时间位置信息，取得了不少成果。虽然卷积神经网络可以将传统情感识别的过程简单化，但它只是对视频中的每一个静止帧进行了特征提取，只考虑到了视频的空间信息，而忽略了视频的时间信息，这使得情感识别具有很多的局限性。相比于单个卷积神经网络的情感识别，通过双流卷积神经网络进行的情感识别取得了更好的识别效果。本发明正是利用了两路独立网络之间的联系，时间与空间信息必定存在关联特征，运用两者之间的共通性、互联性，提取更有效的深度情感特征，得到更好的情感识别效果。

发明内容

发明目的：本发明目的在于弥补现有双流卷积神经网络情感识别技术在识别人类情感方面所存在的不足。在双流卷积神经网络的基础上添加了共用Attention模块，使两路独立卷积神经网络之间建立联系，将时间信息与空间信息结合起来考虑，更加有效的提取深度情感特征，并进一步提高了情感识别的识别率。

技术方案：基于共用Attention双流卷积神经网络的新生儿疼痛表情识别方法，包括以下步骤：

(1)获取新生儿疼痛表情数据库，并按照10:1的比例将其分为训练集和测试集；

(2)分帧处理数据库中的视频得到帧图片，从中选取各视频帧中表情变化最大的一帧，并在多个连续的帧之间添加光流位移场得到对应的光流图；

(3)构建一个共用Attention双流卷积神经网络模型，该模型包含两个预训练的VGG16网络和共用Attention模块；

(4)将训练集中选取的帧图片与光流图分别作为两路网络的输入，优化网络模型参数，得到训练好的网络模型；

(5)将测试集的视频帧和光流图送到优化后的共用Attention双流卷积神经网络进行情感识别，得到情感识别结果。

进一步的，所述的步骤(2)中进行视频分帧的过程为：

在OpenCV中使用ffmpeg代码，输入视频，输出视频中的每一帧图片。

进一步的，所述的步骤(2)中生成光流图的过程为：

在OpenCV中使用TVL1提取光流，输入视频的连续多帧图片，输出各相邻帧间的光流图。

进一步的，所述的步骤(3)中构造出一个共用Attention双流卷积神经网络模型的过程为：

(3.1)VGG16网络

VGG16网络是一种十分重要的CNN模型，可以看成是AlexNet的加深版本，结构清晰，包括13个卷积层、3个全连接层以及5个池化层，其中13个卷积层和5个池化层被分为五个卷积层组，每个卷积层组所包含卷积层的个数分别为2、2、3、3、3，在本文中，我们分别以CONV1、CONV2、CONV3、CONV4和CONV5来表示这五个卷积层组。卷积层的计算公式表示为：

其中，A是深度，B是滤波器的大小，w_d,m,n表示滤波器的第d层第m行第n列权重，x_d,i,j表示图像的第d层第i行第j列像素，w_b表示滤波器的偏置项，a_i,j表示特征图的第i行第j列元素，f表示激活函数。进行卷积操作后的特征图大小变为：

C^*＝(C-D+2P)/S+1

其中C为卷积操作前的矩阵宽和高，D为卷积核的宽和高，P为padding(需要填充的0的个数)，S为步长。因为卷积操作会导致图像变得越来越小，致使图像边界信息丢失，所以需要进行padding操作，使卷积前后的特征图大小保持不变，即保证C^*＝C。

池化层的目的是为了减少网络中的参数，降低计算量，池化层有两种操作，一种是最大值池化，另一种是均值池化。最常用的是最大值池化，且进行池化的滤波器大小E一般为2×2。若输入的数据尺寸为M×M×F，则输出的数据尺寸变为N×N×F，其中N＝(M-E)/S+1，F为特征图通道数，且一般S取0。

VGG16网络的具体参数如下：Input为224×224×3，各卷积层的卷积核都为3×3，5个卷积层组的通道数依次为64、128、256、512、512，最终输出为7×7×512。

(3.2)共用Attention模块

共用Attention模块共包含四个Attention矩阵和三个池化层。

(3.2.1)将两路CONV1输出的特征图进行级联，级联后的特征图大小为112×112×128，112×112是每张特征图的大小，128是其通道数，也就是特征图的个数。级联后的特征图首先通过一个全连接层得到注意力权重，注意力权重可以通过如下公式计算：

g_i,j＝tanh(W₁ ^TH_i,j+b₁)

其中W₁为权重，b₁为偏置，H_i,j∈R^l×d为特征图上位置(i,j)∈1～112的深度特征向量。最后通过Softmax对注意力权重进行归一化得到112×112的注意力权重矩阵Attention1。

(3.2.2)Attention1分别跟CONV2_1和CONV2_2输出的每一张特征图进行对位点乘，得到带注意力权重的特征图。

(3.2.3)Attention1进行池化操作得到56×56的注意力权重矩阵Attention2，将该注意力权重矩阵分别跟CONV3_1、CONV3_2和CONV3_3输出的每一张特征图进行对位点乘，得到带注意力权重的特征图。

(3.2.4)Attention2进行池化操作得到28×28的注意力权重矩阵Attention3，将该注意力权重矩阵分别跟CONV4_1、CONV4_2和CONV4_3输出的每一张特征图进行对位点乘，得到带注意力权重的特征图。

(3.2.5)Attention3进行池化操作得到14×14的注意力权重矩阵Attention4，将该注意力权重矩阵分别跟CONV5_1、CONV5_2和CONV5_3输出的每一张特征图进行对位点乘，得到带注意力权重的特征图。

通过使用共用Attention模块，网络能够学习到特征图中各个区域对情感识别的重要性，重要的区域权重大，不重要区域权重小。

有益效果：本发明与现有技术相比，其显著优点是：1、综合利用了时间和空间之间的相关信息，比独立的双流卷积神经网络的情感识别有更高的识别率；2、构建一种深度学习网络架构，相比于传统的情感识别，不需要进行繁琐的特征提取、特征降维、特征融合以及特征分类等操作；(3)采用权值共享的VGG16网络模型减少了参数的个数，在很大程度上降低了计算的复杂程度，并进一步提高了情感识别的识别率。

附图说明

图1本发明的整体流程图；

图2本发明的一种基于共用Attention双流卷积神经网络的新生儿疼痛表情识别方法的基本架构图；

图3数据库中的部分视频截取图像。

具体实施方式：

如图1所示，一种基于共用Attention双流卷积神经网络的新生儿疼痛表情识别方法的具体步骤如下：

步骤一：获取新生儿疼痛表情数据库。该数据库中共有1897个视频，共包含4种情绪，这4种情绪分别为：平静、哭闹、轻度疼痛和重度疼痛，将新生儿疼痛表情数据库中4中情绪的视频分别按照10:1的比例分为训练集和测试集。数据库中的部分视频截取图像如图3所示。

步骤二：对数据库中训练集和测试集的视频分别进行分帧处理得到一系列的帧图片，然后选取各视频帧中表情变化最大的一帧，并在多个连续的帧之间添加光流位移场得到对应的光流图，具体操作如下：

(1)从视频中截取帧

(2)生成光流图

步骤三：构建出一个共用Attention双流卷积神经网络模型，该模型包含两个VGG16网络和共用Attention模块，具体结构如下：VGG16网络和共用Attention模块，具体结构如下：

(1)VGG16网络

VGG16网络是一种十分重要的CNN模型，可以看成是AlexNet的加深版本，结构清晰，包括13个卷积层、3个全连接层以及5个池化层，其中13个卷积层和5个池化层被分为五个卷积层组，每个卷积层组所包含卷积层的个数分别为2、2、3、3、3，在本文中，我们以CONV1、CONV2、CONV3、CONV4和CONV5来表示这五个卷积层组。

VGG16网络的具体参数如下：Input为224×224×3，各卷积层的卷积核都为3×3，5个卷积层组的通道数依次为64、128、256、512、512，最终输出为7×7×512。具体各层的结构如下：

CONV1_1：卷积核大小为3×3×64，卷积步长为1，并进行填0操作，保证输出特征图大小等于输入数据大小，对输入数据进行卷积操作得到224×224×64的特征图；

CONV1_2：卷积核大小为3×3×64，卷积步长为1，并进行填0操作，对CONV1_1的输出特征图进行卷积操作得到224×224×64的特征图；

POOL1：核大小为2×2，步长为1，对CONV1_2的输出特征图进行池化操作得到112×112×64的特征图；

CONV2_1：卷积核大小为3×3×128，卷积步长为1，并进行填0操作，对POOL1的输出特征图进行卷积操作得到112×112×128的特征图；

CONV2_2：卷积核大小为3×3×128，卷积步长为1，并进行填0操作，对CONV2_1的输出特征图进行卷积操作得到112×112×128的特征图；

POOL2：核大小为2×2，步长为1，对CONV1_2的输出特征图进行池化操作得到56×56×128的特征图；

CONV3_1：卷积核大小为3×3×256，卷积步长为1，并进行填0操作，对POOL2的输出特征图进行卷积操作得到56×56×256的特征图；

CONV3_2：卷积核大小为3×3×256，卷积步长为1，并进行填0操作，对CONV3_1的输出特征图进行卷积操作得到56×56×256的特征图；

CONV3_3：卷积核大小为3×3×256，卷积步长为1，并进行填0操作，对CONV3_2的输出特征图进行卷积操作得到56×56×256的特征图；

POOL3：核大小为2×2，步长为1，对CONV3_3的输出特征图进行池化操作得到28×28×256的特征图；

CONV4_1：卷积核大小为3×3×512，卷积步长为1，并进行填0操作，对POOL3的输出特征图进行卷积操作得到28×28×512的特征图；

CONV4_2：卷积核大小为3×3×512，卷积步长为1，并进行填0操作，对CONV4_1的输出特征图进行卷积操作得到28×28×512的特征图；

CONV4_3：卷积核大小为3×3×512，卷积步长为1，并进行填0操作，对CONV4_2的输出特征图进行卷积操作得到28×28×512的特征图；

POOL4：核大小为2×2，步长为1，对CONV4_3的输出特征图进行池化操作得到14×14×512的特征图；

CONV5_1：卷积核大小为3×3×512，卷积步长为1，并进行填0操作，对POOL4的输出特征图进行卷积操作得到14×14×512的特征图；

CONV5_2：卷积核大小为3×3×512，卷积步长为1，并进行填0操作，对CONV5_1的输出特征图进行卷积操作得到14×14×512的特征图；

CONV5_3：卷积核大小为3×3×512，卷积步长为1，并进行填0操作，对CONV5_2的输出特征图进行卷积操作得到14×14×512的特征图；

POOL5：核大小为2×2，步长为1，对CONV5_3的输出特征图进行池化操作得到7×7×512的特征图；

(2)共用Attention模块

共用Attention模块共包含四个Attention矩阵和三个池化层。

<1>如图2(B)所示,将两路CONV1输出的特征图进行级联，级联后的特征图大小为112×112×128，112×112是每张特征图的大小，128是其通道数，也就是特征图的个数。级联后的特征图首先通过一个全连接层得到注意力权重，最后通过Softmax对注意力权重进行归一化得到112×112的注意力权重矩阵Attention1。

<2>Attention1分别跟CONV2_1和CONV2_2输出的每一张特征图进行对位点乘，得到带注意力权重的特征图。

<3>Attention1进行池化操作得到56×56的注意力权重矩阵Attention2，将该注意力权重矩阵分别跟CONV3_1、CONV3_2和CONV3_3输出的每一张特征图进行对位点乘，得到带注意力权重的特征图。

<4>Attention2进行池化操作得到28×28的注意力权重矩阵Attention3，将该注意力权重矩阵分别跟CONV4_1、CONV4_2和CONV4_3输出的每一张特征图进行对位点乘，得到带注意力权重的特征图。

<5>Attention3进行池化操作得到14×14的注意力权重矩阵Attention4，将该注意力权重矩阵分别跟CONV5_1、CONV5_2和CONV5_3输出的每一张特征图进行对位点乘，得到带注意力权重的特征图。

步骤四：将训练集中选取的帧图片与光流图分别输入两路加入共用Attention模块的VGG16网络，优化网络模型参数，并将两路网络的输出特征图进行级联，将得到的级联后的特征图输入全连接层，最终得到训练好的网络模型；

步骤五：将测试集的视频帧和光流图送到到优化后的共用Attention双流卷积神经网络进行情感识别，得到情感识别结果。

Claims

1.一种基于双流卷积神经网络的新生儿疼痛表情识别方法，其特征在于,包括以下步骤：

(5)测试集的视频帧和光流图送至优化后的共用Attention双流卷积神经网络进行情感识别，得到情感识别结果。

2.根据权利要求1所述的一种基于共用Attention双流卷积神经网络的新生儿疼痛表情识别方法，其特征在于，步骤(2)中视频分帧与光流图生成的过程包括：

(2.1)从视频中截取帧，输入视频，输出视频中的每一帧图片；

(2.2)生成光流图，输入视频的连续多帧图片，输出各相邻帧间的光流图。

3.根据权利要求1所述的一种基于共用Attention双流卷积神经网络的新生儿疼痛表情识别方法，其特征在于，步骤(3)中共用Attention双流卷积神经网络模型包括的VGG16网络由13个卷积层、3个全连接层以及5个池化层组成，其中13个卷积层和5个池化层被分为五个卷积层组，每个卷积层组所包含卷积层的个数分别为2、2、3、3、3，分别用CONV1、CONV2、CONV3、CONV4和CONV5来表示这五个卷积层组。卷积层的计算公式表示为：

其中，A是深度，B是滤波器的大小，w_d,m,n表示滤波器的第d层第m行第n列权重，x_d,i,j表示图像的第d层第i行第j列像素，w_b表示滤波器的偏置项，a_i,j表示特征图的第i行第j列元素，f表示激活函数。进行卷积操作后的特征图

C^*＝(C-D+2P)/S+1 (公式2)

其中C为卷积操作前的矩阵宽和高，D为卷积核的宽和高，P为需要填充的0的个数，S为步长。

池化层具有两种操作方式，一种是最大值池化，另一种是均值池化。最常用的是最大值池化，且进行池化的滤波器大小E一般为2×2。若输入的数据尺寸为M×M×F，则输出的数据尺寸变为N×N×F，其中N＝(M-E)/S+1，F为特征图通道数，且一般S取0。

4.根据权利要求1所述的一种基于共用Attention双流卷积神经网络的新生儿疼痛表情识别方法，其特征在于，步骤(3)中构建一个共用Attention双流卷积神经网络模型包括的共用Attention模块包含四个Attention矩阵和三个核为2×2的池化层，构建方式如下：

(3.1)将两路CONV1输出的特征图进行级联，级联后的特征图大小为112×112×128，112×112是每张特征图的大小，128是其通道数，级联后的特征图首先通过一个全连接层得到注意力权重，注意力权重可以通过如下公式计算：

g_i,j＝tanh(W₁ ^TH_i,j+b₁) (公式3)

(3.2)Attention1分别跟CONV2_1和CONV2_2输出的每一张特征图进行对位点乘，得到带注意力权重的特征图。

(3.3)Attention1进行池化操作得到56×56的注意力权重矩阵Attention2，将该注意力权重矩阵分别跟CONV3_1、CONV3_2和CONV3_3输出的每一张特征图进行对位点乘，得到带注意力权重的特征图。

(3.4)Attention2进行池化操作得到28×28的注意力权重矩阵Attention3，将该注意力权重矩阵分别跟CONV4_1、CONV4_2和CONV4_3输出的每一张特征图进行对位点乘，得到带注意力权重的特征图。

(3.5)Attention3进行池化操作得到14×14的注意力权重矩阵Attention4，将该注意力权重矩阵分别跟CONV5_1、CONV5_2和CONV5_3输出的每一张特征图进行对位点乘，得到带注意力权重的特征图。

5.根据权利要求1所述的一种基于共用Attention双流卷积神经网络的新生儿疼痛表情识别方法，其特征在于，步骤(4)中优化网络模型参数如下：Input为224×224×3，各卷积层的卷积核都为3×3，5个卷积层组的通道数依次为64、128、256、512、512，最终输出为7×7×512。