CN106778657A - 基于卷积神经网络的新生儿疼痛表情分类方法 - Google Patents

Abstract

本发明公开了基于卷积神经网络的新生儿疼痛表情分类方法，该方法首先采集新生儿疼痛表情图像，由专业医护人员对图像按平静、哭、轻微疼痛、剧烈疼痛逐级分类，建立新生儿疼痛表情图像库；其次，构建含有1层数据层、3层卷积层、2层全连接层和1层分类层的卷积神经网络；然后，以新生儿疼痛表情图像库中样本作为卷积神经网络的数据输入，利用反向传播算法对网络迭代训练，并优化训练全局参数使网络输出损失函数值下降并收敛；最后，输入新生儿疼痛表情测试样本，利用卷积神经网络对其识别分类，实现新生儿在平静、哭、轻微疼痛、剧烈疼痛状态的表情识别，为评估新生儿疼痛程度提供一种新的方法途径。

Description

基于卷积神经网络的新生儿疼痛表情分类方法

技术领域

本发明涉及人脸表情识别方法，特别是涉及基于卷积神经网络的新生儿疼痛表情分类方法，属于图像处理与模式识别技术领域。

背景技术

随着现代医学水平的不断提高与进步，最新的研究证实，新出生的婴儿具备一定的疼痛感知能力。护理过程中，新生儿的疼痛主要来自于外界入侵性刺激，包括足底采血、动静脉穿刺、皮下和肌肉注射等。反复的疼痛刺激会对新生儿产生一系列严重影响，主要包括急性生理反应、中枢神经系统的永久损伤、发育迟缓和情感紊乱等。因此，对于新生儿进行疼痛评估具有十分重大的意义。

目前，科学研究在人脸表情识别研究方面取得比较大的进展，识别效果也比较理想，人脸表情识别对象一般针对成年人。相对于从情感角度划分的成年人面部表情，新生儿的面部表情更偏向生理角度。国内外越来越多的研究人员尝试着使用多种指标来综合评估新生儿疼痛。多数采用传统机器方法来进行特征提取分类识别，美国学者Brahnam首次提出使用新生儿的面部表情进行疼痛特征的提取。分别使用主成分分析(PCA)、线性判别分析(LDA)、支持向量机(SVM)三种分类方法来区分疼痛表情和其他表情。南京邮电大学卢官明教授带领的课题组对新生儿疼痛表情的识别工作开展了更为全面和深入的研究。该课题组相继研究了局部二值模式(LBP)、Gabor小波变换、支持向量机(SVM)、稀疏表示等特征提取算法，并在其基础上进行改进算法的研究，取得一定的实验效果。由于实验数据集中的样本图像数量过少，导致算法性能欠缺稳健，实验结果分析尚未能推广到更多的测试样本集中。

传统机器学习方法在面部表情识别上对数据量的要求不是很高，且大部分是基于面部表情的纹理特征来进行识别分类的，未能充分学习、深度学习新生儿面部表情的内在数据特征。因此在一定程度上会造成识别效果一般的现象。

深度学习是机器学习研究中一个新的领域，其本质在于建立、模拟人脑学习分析的神经网络，模仿大脑机制来解释分析数据，如常见的声音、图像及文本数据。首先，采用深度学习方法的表情识别能得到较高的识别率，这正是新生儿面部表情识别所必须具备的特性。其次，深度学习方法能自动学习表情特征,自动学习同分类之间的相似性和异分类之间的差异性，从而不需要使用传统机器学习方法手动去提取特征参数，节省大量的特征提取时间。最后，深度学习可以大数据完美结合应用，在当前这样大数据时代，不缺乏大量数据，对大数据的学习、分析和处理才是关键。而深度学习需要的就是大数据，数据量越多，深度学习的效果会更好，识别率也更高。因此采用深度学习进行新生儿面部表情识别是未来的研究方向和发展趋势。

卷积神经网络是深度学习领域一个典型的算法实现。目前已经在识别分类领域取得良好的效果，特别是在图像分类领域，如世界上图像识别最大数据库的Imagenet项目，采用卷积神经网络算法实现最好效果。

卷积神经网络是一种深层神经网络模型，由深度学习技术和人工神经网络结合而成的新型人工神经网络方法，它具有一定的全局训练的特点，能实现层次结构化、局部感知、特征提取和最终分类等相结合。对比与普通神经网络模型，卷积神经网络一方面它的神经元之间的连接是非全连接的；另一方面，卷积神经网络同一层中某些神经元之间的连接的权重是共享的，这种非全连接和权值共享的网络结构降低了网络模型的复杂度，减少了权值的数量。正是由于种特点，使得卷积神经网络的网络结构对图像的平移、旋转、倾斜、比例缩放等特性变的不敏感，具有高度不变特性。

卷积神经网络是一种多层的监督学习神经网络，隐含层的卷积层和池化层(下采样层)是实现卷积神经网络特征提取功能最重要的结构。该网络模型通过采用梯度下降法最小化损失函数对网络中的权重参数逐层反向调节，通过频繁的迭代训练提高网络的精度。

发明内容

本发明所要解决的技术问题是：提供基于卷积神经网络的新生儿疼痛表情分类方法，解决传统方法不能准确、自动识别新生儿疼痛表情的问题，为医学临床提供高效、客观、准确的疼痛评估工具开辟一条全新的、高效的方法途径。

本发明为解决上述技术问题采用以下技术方案：

基于卷积神经网络的新生儿疼痛表情分类方法，包括如下步骤：

步骤1，采集新生儿疼痛表情图像，对图像按新生儿面部表情的不同状态进行分类，建立新生儿疼痛表情图像库；

步骤2，构建含有1层数据层、3层卷积层、2层全连接层和1层分类层的卷积神经网络；

步骤3，将新生儿疼痛表情图像库中每类表情的图像均划分为训练样本和测试样本，以训练样本作为卷积神经网络的数据输入，利用反向传播算法对卷积神经网络进行迭代训练，并优化训练全局参数使卷积神经网络输出softmax损失函数值下降并收敛，得到训练好的卷积神经网络；

步骤4，输入测试样本，利用训练好的卷积神经网络对测试样本进行识别分类，并输出测试样本属于各类的概率值，将最大的概率值对应的类别作为测试样本的类别。

作为本发明的一种优选方案，步骤1所述新生儿面部表情的不同状态包括：平静、哭、轻微疼痛、剧烈疼痛。

作为本发明的一种优选方案，步骤2所述卷积神经网络的网络结构包括如下：

2.1数据层：该层利用新生儿疼痛表情库中的样本图像及其对应的类别标签，作为卷积神经网络的数据层；

2.2卷积层1：该层为卷积神经网络卷积层第一层，采用m₁个k₁*k₁的卷积核、间隔步长为l₁像素，对样本图像卷积并对输出采样和归一化，作为下一层的输入；

2.3卷积层2：该层为卷积神经网络卷积层第二层，采用m₂个k₂*k₂的卷积核、间隔步长为l₂像素，对上一层输出卷积并对输出采样和归一化，作为下一层的输入；

2.4卷积层3：该层为卷积神经网络卷积层第三层，采用m₃个k₃*k₃的卷积核、步长间隔为l₃像素，对上一层输出卷积并对输出采样和归一化，作为下一层的输入；其中，k₁、k₂、k₃逐渐递减；

2.5全连接层1：该层为卷积神经网络全连接层第一层，是卷积层3输出结果的全连接输入，在激活函数、防过拟合作用下全连接到n个节点作为下一层的输入；

2.6全连接层2：该层为卷积神经网络全连接层第二层，是全连接层1输出结果的全连接输入，在激活函数、防过拟合的作用下全连接到n个节点作为下一层的输入；

2.7分类层：该层为卷积神经网络分类层，全连接层2的n个输出节点作为该层的输入，输出为属于第j类的概率值P_j，并在P_j中寻找最大值，将概率最大的j所对应的类别作为分类结果，j＝1,…,k，k为总的类别数。

作为本发明的一种优选方案，步骤3所述softmax损失函数定义如下：

其中，F(θ)表示损失函数，m为训练样本总数，k为总的类别数；1{y⁽ⁱ⁾＝j}为指示函数，当括号值为真时，函数值为1，否则函数值为0；x⁽ⁱ⁾表示全连接层输出节点所构成的向量，θ₁,θ₂,…,θ_k表示模型参数，T表示转置。

作为本发明的一种优选方案，步骤4所述概率值的定义如下：

identity(y)＝argmax(P_j)

其中，P_j表示属于第j个类别的概率值，x⁽ⁱ⁾表示全连接层输出节点所构成的向量，θ₁,θ₂,…,θ_k表示模型参数，k为总的类别数，T表示转置，identity(y)表示测试样本y的分类结果。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

1、本发明通过引入深度学习中的卷积神经网络方法，利用其特有的可学习大量样本数据特征(样本数据质量越好、数量越多，其学习的各类数据特征效果越好)，进行疼痛与非疼痛表情分类识别，相比较传统方法，可明显提高识别效果。

2、本发明通过深度学习中的卷积神经网络方法训练出的识别模型，在新生儿疼痛表情图像的噪声、图像取景的角度、图像取景的曝光、部分遮挡问题上，都具有很好的健壮性；得到的实验结果可以推广到更多样本集测试中，可以尝试应用于实际的临床医疗。

3、本发明通过深度学习中的卷积神经网络方法能实现自动提取表情特征，不需要使用传统机器学习方法手动去提取特征参数，节省了大量的特征提取时间。

附图说明

图1是本发明基于卷积神经网络的新生儿疼痛表情分类方法的流程图。

图2是本发明新生儿疼痛表情图像库中各类表情的图片示例。

图3是本发明卷积神经网络各层示意图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

如图1所示，本发明基于卷积神经网络的新生儿疼痛表情分类方法的实现主要包含以下步骤：

步骤1，建立新生儿疼痛表情图像库

在医院里，每天有着大量的对新生儿、早产儿进行常规的侵入性、致痛性操作(如血液采集、疫苗接种)。因此，使用高清数码相机拍摄记录操作过程中新生儿的面部表情变化视频，一般包括婴儿由平静—轻度疼痛—重度疼痛—轻度疼痛—平静的整个过程。为了提高样本质量，对每个视频进行关键面部表情的图像的截取工作。并由受过相关方面培训的医生和护士，并采用国际公认的新生儿疼痛评估工具——新生儿面部编码系统(Neonatal Facial Coding System，NFCS),并结合相关生理指标，对采集的新生儿面部图像进行疼痛程度的评估，按照疼痛的程度给予从1到10的评分，将评分值介于1～5的表情归类为轻度疼痛表情，评分值介于6～10的表情归类为剧烈疼痛表情。此外，再分别拍摄新生儿处于安静状态下、因饥饿等原因引起哭闹时的非疼痛表情图像。

最后对采集到的4类表情图像进行统一图像分辨率、大小、格式等属性。考虑到实际应用中可能存在的拍摄角度、曝光强弱、色彩饱和度等问题，注意这里并不改变采集图像的拍摄角度、曝光强弱和色彩饱和度，使样本数据具有一定的多样性，使最终分类效果具有较强的鲁棒性。最终使得上述4类图像校准为如图2所示的像素大小为256*256、格式为jpeg的灰度图像，并对每幅图像按所属类别进行标号(在本实施例中，安静表情对应标号0，哭表情对应标号1，轻度疼痛表情对应标号2，剧烈疼痛表情对应标号3)，建立样本数量达4000张以上新生儿面部表情图像库，其中安静1000张以上，哭1000张以上，轻度疼痛1000张以上，重度疼痛1000张以上。

步骤2，划分新生儿疼痛表情图像库

在完成新生儿疼痛表情图像库的建立后，根据基于卷积神经网络的训练方法，将新生儿疼痛表情图像库中每类表情按7:3的比例划分为训练样本、测试样本，即训练样本每类图像700张、测试样本每类图像300张，并分别标注每类表情对应标签。

步骤3，构建卷积神经网络

构建含有1层数据层、3层卷积层、2层全连接层和1层分类层的卷积神经网络，本发明的卷积神经网络各层示意图，如图3所示。

数据层：该层利用训练样本、测试样本和样本标签作为卷积神经网络数据输入，并将其转换成深度学习平台指定的数据类型；

卷积层1：该层为卷积神经网络中卷积层第一层，实现对数据层多层卷积的功能，采用100个11*11的卷积核、间隔步长为4像素，对输入的样本图像进行卷积。并对卷积后的输出进行采样(池化)、归一化，作为下一层的输入；

卷积层2：该层为卷积神经网络中卷积层第二层，实现对数据层多层卷积的功能，采用256个5*5的卷积核、间隔步长为1像素，对卷积层1的输出再次进行卷积。并对卷积后的输出进行采样(池化)、归一化，作为下一层的输入；

卷积层3：该层为卷积神经网络中卷积层第三层，实现对数据层多层卷积的功能，采用100个3*3的卷积核、步长间隔为1像素，对卷积层2的输出再次进行卷积。并对卷积后的结果进行采样(池化)，作为下一层的输入；

全连接层1：该层为卷积神经网络中全连接层第一层，是卷积层3结果的全连接输入。该层输入节点为4096个节点。在激活函数、防过拟合层的作用下全连接到4096个节点作为下一层的输入；

全连接层2：该层为卷积神经网络中全连接层第二层，是全连接层1结果的全连接输入。该层输入节点为4096个节点。在激活函数、防过拟合层的作用下全连接到4096个节点作为下一层的输入；

分类层：该层为卷积神经网络中最终分类层该层，全连接层2的4096个输出节点作为该层的输入，输出为属于第j类的概率值P_j，并在P_j中寻找最大值，将概率最大的j所对应的类别作为分类结果；

池化层：该层跟在卷积层后面，主要对卷积后数据进行特征降维；

局部响应归一化层：该层跟在卷积层后面完成对数据局部输入区域的归一化；

激活函数层：该层跟在卷积层和全连接层完成对神经元节点建模工作，使输入数据得到非线性响应；

防过拟合层：该层为跟在全连接层的一种防过拟合的策略，主要对防止数据训练过程的过拟合想象。

步骤4，训练卷积神经网络

以步骤2划分的训练样本、验证样本记起标签作为卷积神经网络的数据输入，利用反向传播算法对网络迭代训练，并优化训练全局参数(如学习率、学习策略、最大迭代次数、批大小、步长、权值衰减等)使网络输出损失函数值下降并收敛。

softmax损失函数定义如下：

其中，m为样本总数，k为样本类数，1·{y⁽ⁱ⁾＝j}为指示函数，当括号值为真，即分类正确时，函数值为1，否则函数值为0，x⁽ⁱ⁾表示全连接层输出n个节点所构成的向量，θ₁,θ₂,…,θ_k∈Rⁿ表示的模型参数，为softmax的假设函数，用于计算单个样本i属于第j类的概率值P_j，P_j定义如下：

identity(y)＝arg max(P_j)

即在k个概率中寻找最大值，将概率最大的j所对应的类别作为测试样本的分类结果，用identity(y)表示。

步骤5，卷积神经网络的识别分类

利用该网络对新生儿图像进行识别分类。输入新生儿疼痛图像测试样本验证网络的识别准确性，并应用于新生儿疼痛表情的识别分类工作，设计基于该模型的分类接口，开发新生儿疼痛自动评估系统。

以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (5)

1.基于卷积神经网络的新生儿疼痛表情分类方法，其特征在于，包括如下步骤：

步骤1，采集新生儿疼痛表情图像，对图像按新生儿面部表情的不同状态进行分类，建立新生儿疼痛表情图像库；

步骤2，构建含有1层数据层、3层卷积层、2层全连接层和1层分类层的卷积神经网络；

步骤3，将新生儿疼痛表情图像库中每类表情的图像均划分为训练样本和测试样本，以训练样本作为卷积神经网络的数据输入，利用反向传播算法对卷积神经网络进行迭代训练，并优化训练全局参数使卷积神经网络输出softmax损失函数值下降并收敛，得到训练好的卷积神经网络；

步骤4，输入测试样本，利用训练好的卷积神经网络对测试样本进行识别分类，并输出测试样本属于各类的概率值，将最大的概率值对应的类别作为测试样本的类别。

2.根据权利要求1所述基于卷积神经网络的新生儿疼痛表情分类方法，其特征在于，步骤1所述新生儿面部表情的不同状态包括：平静、哭、轻微疼痛、剧烈疼痛。

3.根据权利要求1所述基于卷积神经网络的新生儿疼痛表情分类方法，其特征在于，步骤2所述卷积神经网络的网络结构包括如下：

2.1数据层：该层利用新生儿疼痛表情库中的样本图像及其对应的类别标签，作为卷积神经网络的数据层；

2.2卷积层1：该层为卷积神经网络卷积层第一层，采用m₁个k₁*k₁的卷积核、间隔步长为l₁像素，对样本图像卷积并对输出采样和归一化，作为下一层的输入；

2.3卷积层2：该层为卷积神经网络卷积层第二层，采用m₂个k₂*k₂的卷积核、间隔步长为l₂像素，对上一层输出卷积并对输出采样和归一化，作为下一层的输入；

2.4卷积层3：该层为卷积神经网络卷积层第三层，采用m₃个k₃*k₃的卷积核、步长间隔为l₃像素，对上一层输出卷积并对输出采样和归一化，作为下一层的输入；其中，k₁、k₂、k₃逐渐递减；

2.5全连接层1：该层为卷积神经网络全连接层第一层，是卷积层3输出结果的全连接输入，在激活函数、防过拟合作用下全连接到n个节点作为下一层的输入；

2.6全连接层2：该层为卷积神经网络全连接层第二层，是全连接层1输出结果的全连接输入，在激活函数、防过拟合的作用下全连接到n个节点作为下一层的输入；

2.7分类层：该层为卷积神经网络分类层，全连接层2的n个输出节点作为该层的输入，输出为属于第j类的概率值P_j，并在P_j中寻找最大值，将概率最大的j所对应的类别作为分类结果，j＝1,…,k，k为总的类别数。

4.根据权利要求1所述基于卷积神经网络的新生儿疼痛表情分类方法，其特征在于，步骤3所述softmax损失函数定义如下：

$F\left(\mathrm{\θ}\right)=-\frac{1}{m}\[\underset{i=1}{\overset{m}{\Σ}}\underset{j=1}{\overset{k}{\Σ}}1\{y^{\left(i\right)}=j\}\log \left(\frac{e^{{\mathrm{\θ}}_j^T}{x}^{\left(i\right)}}{\underset{l=1}{\overset{k}{\Σ}}{e}^{{\mathrm{\θ}}_l^T}{x}^{\left(i\right)}}\right)\]$

其中，F(θ)表示损失函数，m为训练样本总数，k为总的类别数；1{y⁽ⁱ⁾＝j}为指示函数，当括号值为真时，函数值为1，否则函数值为0；x⁽ⁱ⁾表示全连接层输出节点所构成的向量，θ₁,θ₂,…,θ_k表示模型参数，T表示转置。

5.根据权利要求1所述基于卷积神经网络的新生儿疼痛表情分类方法，其特征在于，步骤4所述概率值的定义如下：

$P_j=e^{{\mathrm{\θ}}_j^T}{x}^{\left(i\right)}/\underset{l=1}{\overset{k}{\Σ}}{e}^{{\mathrm{\θ}}_l^T}{x}^{\left(i\right)},(j=1,...,k)$

identity(y)＝arg max(P_j)

其中，P_j表示属于第j个类别的概率值，x⁽ⁱ⁾表示全连接层输出节点所构成的向量，θ₁,θ₂,…,θ_k表示模型参数，k为总的类别数，T表示转置，identity(y)表示测试样本y的分类结果。