CN108388890A - 一种基于面部表情识别的新生儿疼痛程度评估方法及系统 - Google Patents

Abstract

本发明公开了一种基于面部表情识别的新生儿疼痛程度评估方法及系统，该方法包括：建立新生儿疼痛面部表情图像数据集，包括经过预处理的新生儿面部图像及其对应的表情类别标签；构建用于新生儿疼痛程度评估的深度卷积神经网络(DCCN)，采用公开的大规模有标签数据集对网络进行预训练，得到初始权重参数值，再利用表情图像数据集对网络进行微调，获得训练好的网络模型；将待测试新生儿面部图像输入已训练好的网络进行表情分类识别，进而获得疼痛程度评估结果。本发明能够充分利用DCNN提取的特征，在小规模的新生儿疼痛面部表情图像数据集上能够取得较好疼痛程度评估结果，为开发一种基于面部表情识别的新生儿疼痛程度自动评估系统提供了新方法。

Description

一种基于面部表情识别的新生儿疼痛程度评估方法及系统

技术领域

本发明涉及人脸表情识别及机器学习领域，特别是一种基于面部表情识别的新生儿疼痛程度评估方法及系统。

背景技术

现代医学研究表明新生儿能够感知和记忆外界的疼痛刺激。在新生儿的护理和治疗过程中，通常伴随着致痛性操作，如：足底采血、动静脉穿刺、皮下和肌肉注射等。反复经历的疼痛刺激会对新生儿产生一系列近期和远期的不良影响，如急性应激、中枢神经系统的永久损伤和情感紊乱等，所以正确评估疼痛并采取镇痛措施具有重要的临床意义。

由于新生儿不能用语言表述疼痛的感受，疼痛评估成为儿科学中的一个挑战性难题。目前在临床实践中，由受过专门训练的医务人员采用新生儿面部编码系统(NeonatalFacial Coding System，NFCS)、新生儿疼痛量表(Neonatal Infant Pain Scale，NIPS)等评估工具进行人工评估。在这些评估工具中，都将“面部表情”作为一项重要的监测指标。然而，人工评估不仅耗时费力，而且评估结果依赖于医务人员的经验，并受个人情绪等主观因素的影响。

在新生儿疼痛自动评估方面，已有一些研究，如中国专利申请“一种基于面部表情分析的新生儿疼痛识别方法”(专利申请号201710628847.8，公布号CN107491740A)，通过从视频序列中提取面部动态几何特征和面部动态纹理特征，特征融合后再进行降维、分类。但该方法要自动地精确提取特征参数十分不易。中国专利“基于稀疏表示的新生儿疼痛与非疼痛表情分类识别方法”(专利号ZL201210077351.3)，使用训练样本的特征向量构建稀疏表示模型中的过完备字典,将测试样本看成过完备字典中训练样本的线性组合，利用其特有的稀疏性进行疼痛与非疼痛表情分类识别。但该方法需要精心设计满足稀疏性约束条件的过完备字典，而且只对疼痛与非疼痛两类表情进行二分类识别，不对疼痛程度进行评估。

为了自动提取面部表情特征，避免了人工设计特征的局限性和主观性，本发明人提出了一些基于神经网络的新生儿疼痛表情识别方法，如“基于卷积神经网络的新生儿疼痛表情分类方法”(专利申请号CN201611233381.3，公布号CN106778657A)、“一种基于深度神经网络的新生儿疼痛表情识别方法”(专利申请号CN201710497593.0，公布号CN107392109A)。卷积神经网络的深度是影响图像分类性能的关键因素，其所包含的卷积层数越多，学习到的特征的判别力越强。然而，传统的卷积神经网络随着卷积层数的增加会产生梯度消失以及网络退化问题。并且深度卷积神经网络(Deep Convolutional NeuralNetwork，DCNN)模型结构庞大，需要大规模有标签数据集对模型参数进行优化训练。然而，在生物医学等领域，标注医学图像不仅耗时费力，而且需要高成本的、特定专业的知识和技能，所以通常缺乏大量的有标签训练样本数据的支持。直接利用目标任务的小规模训练样本数据对模型参数进行训练，很难获得高性能的DCNN。

发明内容

发明目的：针对现有技术的问题，本发明目的在于提供一种基于面部表情识别的新生儿疼痛表情识别方法及系统，将DCNN和迁移学习结合，克服了DCNN模型的优化训练需要大规模有标签数据集支持而新生儿疼痛面部表情图像数据集样本数量不足的问题，能够充分利用现有公开的大规模有标签图像数据来自动学习图像的特征表示，有效地提升新生儿疼痛程度评估的精确度。

技术方案：为实现上述发明目的，本发明采用的技术方案如下：

一种基于面部表情识别的新生儿疼痛程度评估方法，包括以下步骤：

(1)建立新生儿疼痛面部表情图像数据集，包括经过预处理的新生儿面部图像及其对应的表情类别标签；

(2)构建包括第一卷积层、第一池化层、至少2组依次相连的残差模块、第二池化层、全连接层和分类层的深度残差卷积神经网络；其中，每组残差模块至少包括2个依次相连的具有相同结构的残差模块，每个残差模块包括4个卷积层和1个非线性激活函数层，每个卷积层后都连接1个批归一化层和1个非线性激活函数层；

(3)采用公开的大规模有标签数据集对所述深度残差卷积神经网络进行预训练，将预训练好的模型参数值作为所述深度残差卷积神经网络的初始权重参数值，再利用所述新生儿疼痛面部表情图像数据集对所述深度残差卷积神经网络进行微调，获得已训练好的深度残差卷积神经网络；

(4)将待测试新生儿面部图像输入所述已训练好的深度残差卷积神经网络，对所述待测试新生儿面部图像进行表情分类识别，进而获得疼痛程度评估结果。

作为优选，所述步骤(2)中构建的深度残差卷积神经网络包括16个依次相连的残差模块，其中，第一卷积层为第一层，输入为经过预处理的新生儿面部图像，第一卷积层之后连接第一池化层，第一个残差模块位于第一池化层之后，16个残差模块依次相连，第十六个残差模块位于第二池化层之前，全连接层位于第二池化层与分类层之间；所述16个依次相连的残差模块分为4组，第一组残差模块包括3个具有相同结构的残差模块，第二组残差模块包括4个具有相同结构的残差模块，第三组残差模块包括6个具有相同结构的残差模块，第四组残差模块包括3个具有相同结构的残差模块；每个残差模块均包含4个卷积层和1个ReLU非线性激活函数层；所述深度残差卷积神经网络中每个卷积层后都连接1个批归一化层和1个ReLU非线性激活函数层。

作为优选，所述步骤(3)包括：

(3.1)将所述新生儿疼痛面部表情图像数据集分为训练集和验证集；

(3.2)在公开的大规模有标签数据集上对所述深度残差卷积神经网络进行预训练，将预训练好的模型参数值作为所述深度残差卷积神经网络的初始权重参数值；

(3.3)基于所述初始权重参数值，对所述深度残差卷积神经网络在所述训练集上进行调整；

(3.4)每训练迭代预设次数后在所述验证集上进行一次测试，获得已训练好的深度残差卷积神经网络。

作为优选，所述步骤(3.3)中：所述深度残差卷积神经网络的全连接层在所述初始权重参数值的基础上采用比预设阈值大的学习率进行训练，除所述全连接层外，所述深度残差卷积神经网络的其他各层在所述初始权重参数值的基础上采用比预设阈值小的学习率进行训练。

作为优选，所述步骤(4)包括：

(4.1)对待测试新生儿面部图像进行预处理，并将预处理后的图像输入所述已训练好的深度残差卷积神经网络；

(4.2)通过前向传播得到所述已训练好的深度残差卷积神经网络最后一层输出的分类结果，分类结果给出该待测试新生儿的面部表情所对应的疼痛程度在各个类别上的概率，其中，概率最大所对应的类别即为该待测试新生儿的疼痛程度结果。

一种基于面部表情识别的新生儿疼痛程度评估系统，包括：

样本集处理模块，用于建立新生儿疼痛面部表情图像数据集，包括经过预处理的新生儿面部图像及其对应的表情类别标签；

网络构建模块，用于构建包括第一卷积层、第一池化层、至少2组依次相连的残差模块、第二池化层、全连接层和分类层的深度残差卷积神经网络；其中，每组残差模块至少包括2个依次相连的具有相同结构的残差模块，每个残差模块包括4个卷积层和1个非线性激活函数层，每个卷积层后都连接1个批归一化层和1个非线性激活函数层；

模型训练模块，用于采用公开的大规模有标签数据集对所述深度残差卷积神经网络进行预训练，将预训练好的模型参数值作为所述深度残差卷积神经网络的初始权重参数值，再利用所述新生儿疼痛面部表情图像数据集对所述深度残差卷积神经网络进行微调，获得已训练好的深度残差卷积神经网络；

以及，测试模块，用于将待测试新生儿面部图像输入所述已训练好的深度残差卷积神经网络，对所述待测试新生儿面部图像进行表情分类识别，进而获得疼痛程度评估结果。

作为优选，所述模型训练模块包括：

第一训练单元，用于在公开的大规模有标签数据集上对所述深度残差卷积神经网络进行预训练，得到预训练好的模型参数值；

以及，第二训练单元，用于以第一训练单元得到的模型参数作为所述深度残差卷积神经网络的初始权重参数值，对所述深度残差卷积神经网络在所述新生儿疼痛面部表情图像数据的训练集上进行微调，并在验证集上进行测试，获得最终训练好的深度残差卷积神经网络。

有益效果：与现有技术相比，本发明具有以下有益效果：

(1)与传统的采用人工设计特征提取、分类器训练的方法不同，本发明采用一种端到端的深度卷积神经网络，将特征提取与分类模型训练集成到一起，采用数据驱动的自主特征学习，能够实现自动提取多层次的面部表情特征。该方法提取到的特征相对于人工设计特征具有更强的表征能力和泛化能力，避免了人工设计特征的局限性和主观性，从而保证分类结果的客观性和准确性。

(2)传统的卷积神经网络随着卷积层数的增加会产生梯度消失以及网络退化问题。本发明采用残差卷积神经网络结构，解决了深层次网络难以收敛到最优解的问题，可以充分利用深层次网络具有更强的特征表达能力的优势，实现高精确度的分类。

(3)针对DCNN模型的优化训练需要大规模有标签数据集支持而新生儿疼痛面部表情图像数据集样本数量不足的问题，本发明采用迁移学习的机制，先用公开的大规模有标签图像数据集对构建的深度残差卷积神经网络进行预训练，将预训练好的模型参数迁移到目标模型，使目标模型有一个良好的初始权重参数值，从而可以缩短网络模型训练时间，并可以减轻目标训练样本数量过少对分类性能的影响，有效地提升新生儿疼痛程度评估的效果和性能。

附图说明

图1是本发明实施例提供的新生儿疼痛程度评估方法流程示意图；

图2是本发明实施例中构建的深度残差卷积神经网络的结构示意图。

具体实施方式

下面结合说明书附图对本发明的具体实施方式做进一步详细的说明。

如图1所示，本发明实施例提供的一种基于面部表情识别的新生儿疼痛程度评估方法，主要包括如下步骤：

S1：建立新生儿疼痛面部表情图像数据集，包括经过预处理的新生儿面部图像及其对应的表情类别标签。其中表情类别包括安静、哭、轻度疼痛、剧烈疼痛，对应着疼痛程度等级。

目前国际上尚无一个公开的新生儿疼痛面部表情图像数据集。我们针对项目开发的需要，用数码摄像机记录新生儿在安静、因饥饿等原因引起哭闹以及对新生儿进行常规的致痛性操作(如疫苗接种、采血)过程中经历不同程度疼痛刺激状态下的动态面部图像、肢体运动及声音。然后，由受过专门培训的医生和护士采用国际上公认的新生儿疼痛评估量表(如NIPS,NFCS等)，并结合其他生理指标，对采集到的新生儿面部图像进行疼痛程度的评估，按照疼痛的程度给予从1到10的评分，将评分值介于1～5的表情归类为轻度疼痛表情，评分值介于6～10的表情归类为剧烈疼痛表情。最后，从拍摄的视频中截取图像，并从中选择出评分一致性高的4类典型表情(安静、哭、轻度疼痛、剧烈疼痛)图像，对这些原始彩色图像进行裁剪、旋转、对齐、尺度归一化和灰度均衡化等预处理，并标注表情类别标签(在本实施例中，安静表情用标号1，非疼痛状态下的哭的表情用标号2，轻度疼痛表情用标号3，剧烈疼痛表情用标号4)，建立新生儿面部表情图像库。

S2：构建一种用于新生儿疼痛程度评估的深度残差卷积神经网络。所构建的深度残差卷积神经网络包括第一卷积层、第一池化层、至少2组依次相连的残差模块、第二池化层、全连接层和分类层的深度残差卷积神经网络；其中，每组残差模块至少包括2个依次相连的具有相同结构的残差模块，每个残差模块包括4个卷积层和1个非线性激活函数层，每个卷积层后都连接1个批归一化层和1个非线性激活函数层。

如图2所示，本实施例中的深度残差卷积神经网络包括：1个卷积层、2个池化层、16个依次相连的残差模块、1个全连接层和1个Softmax分类层，其中，卷积层为第一层，卷积层的输入为经过预处理的新生儿面部图像，卷积层之后连接第一池化层，第一个残差模块位于第一池化层之后，16个残差模块依次相连，第十六个残差模块位于第二池化层之前，全连接层位于第二池化层与Softmax分类层之间；其中，16个依次相连的残差模块分为4组，第一组残差模块包括3个具有相同结构的残差模块，第二组残差模块包括4个具有相同结构的残差模块，第三组残差模块包括6个具有相同结构的残差模块，第四组残差模块包括3个具有相同结构的残差模块；每个残差模块均包含4个卷积层和1个ReLU非线性激活函数层；深度残差卷积神经网络中每个卷积层后都连接1个批归一化层和1个ReLU非线性激活函数层。

下面对本发明实施例的深度残差卷积神经网络的具体结构进行详细说明。

第一层为卷积层，包含64个卷积核大小为7×7的滤波器，步长为2，填充为3，输入为经过预处理的新生儿面部图像。

第二层为第一池化层，在3×3窗口内做最大池化，步长为2。

第一池化层后为16个依次相连的残差模块，共分为4组，具体结构如下：

第一组残差模块包括3个具有相同结构的残差模块，每个残差模块均包含4个卷积层和1个ReLU非线性激活函数层，具体结构如下：

卷积层A，包含64个卷积核大小为1×1的滤波器，步长为1，填充为0。

卷积层B，包含64个卷积核大小为3×3的滤波器，步长为1，填充为1。

卷积层C，包含256个卷积核大小为1×1的滤波器，步长为1，填充为0。

卷积层D，包含256个卷积核大小为1×1的滤波器，步长为1，填充为0。

卷积层C与卷积层D之间的逐像素相加操作后输入到ReLU非线性激活函数层。

第二组残差模块包括4个具有相同结构的残差模块，每个残差模块均包含4个卷积层和1个ReLU非线性激活函数层，具体结构如下：

卷积层A，包含128个卷积核大小为1×1的滤波器，步长为1，填充为0。

卷积层B，包含128个卷积核大小为3×3的滤波器，步长为1，填充为1。

卷积层C，包含512个卷积核大小为1×1的滤波器，步长为1，填充为0。

卷积层D，包含512个卷积核大小为1×1的滤波器，步长为1，填充为0。

卷积层C与卷积层D之间的逐像素相加操作后输入到ReLU非线性激活函数层。

第三组残差模块包括6个具有相同结构的残差模块，每个残差模块均包含4个卷积层和1个ReLU非线性激活函数层，具体结构如下：

卷积层A，包含256个卷积核大小为1×1的滤波器，步长为1，填充为0。

卷积层B，包含256个卷积核大小为3×3的滤波器，步长为1，填充为1。

卷积层C，包含1024个卷积核大小为1×1的滤波器，步长为1，填充为0。

卷积层D，包含1024个卷积核大小为1×1的滤波器，步长为1，填充为0。

卷积层C与卷积层D之间的逐像素相加操作后输入到ReLU非线性激活函数层。

第四组残差模块包括3个具有相同结构的残差模块，每个残差模块均包含4个卷积层和1个ReLU非线性激活函数层，具体结构如下：

卷积层A，包含512个卷积核大小为1×1的滤波器，步长为1，填充为0。

卷积层B，包含512个卷积核大小为3×3的滤波器，步长为1，填充为1。

卷积层C，包含2048个卷积核大小为1×1的滤波器，步长为1，填充为0。

卷积层D，包含2048个卷积核大小为1×1的滤波器，步长为1，填充为0。

卷积层C与卷积层D之间的逐像素相加操作后输入到ReLU非线性激活函数层。

16个残差模块依次相连，第十六个残差模块之后是第二池化层，第二池化层，在7×7窗口内做平均池化，步长为1。

第二池化层之后是全连接层，全连接层的输入为上一层池化层的结果，全连接层的输出节点数设为4，对应4种不同的分类类别，输出1个4维向量。

网络的最后一层是Softmax分类层。

网络中每个卷积层后都连接1个批归一化(Batch Norm)层和1个ReLU非线性激活函数层。其中，批归一化层进行批量规范化操作，使得输出结果均值为0，方差为1；ReLU层为非线性激活函数，提高网络的非线性能力。

本发明实施例采用的卷积神经网络，解决了深层次网络难以收敛到最优解的问题，可以充分利用深层次网络更强表达能力的优势，实现高精确度的疼痛程度评估。

S3：采用公开的大规模有标签数据集对所述深度残差卷积神经网络进行预训练，将预训练好的模型参数值作为所述深度残差卷积神经网络的初始权重参数值，再利用所述新生儿疼痛面部表情图像数据集对所述深度残差卷积神经网络进行微调，获得已训练好的深度残差卷积神经网络。

步骤S3包括以下子步骤：

子步骤S31：将新生儿疼痛面部表情图像数据集分为训练集和验证集；

将新生儿疼痛面部表情图像数据集按照一定的比例划分为训练集和验证集，其中训练集用于网络训练，每训练迭代预设次数后，在验证集上进行一次测试，用于验证网络参数的选取是否合理。

子步骤S32：基于训练集和迁移学习方法对深度残差卷积神经网络进行训练；

迁移学习的思想是首先将步骤S2所构建的深度残差卷积神经网络在一个具有充足训练样本的数据集上进行预训练，将预训练好的模型参数迁移到目标模型，使目标模型有一个良好的初始权重参数值，具备对图像特征提取的能力。然后，让深度残差卷积神经网络在步骤S1中所建立的新生儿疼痛面部表情图像数据集上进行微调(Fine-Tuning)，即基于训练集，对预训练后的深度残差卷积神经网络进行精细训练，获得已训练好的深度残差卷积神经网络，训练采用Softmax损失函数，采用梯度下降法优化该损失函数，从而进行网络参数的更新。

基于训练集和迁移学习方法对深度残差卷积神经网络进行训练的步骤S32进一步包括以下子步骤：

子步骤S321：在公开的大规模有标签数据集(如ImageNet数据集)上对深度残差卷积神经网络进行预训练，将预训练好的模型参数迁移到目标模型，使深度残差卷积神经网络有一个良好的初始权重参数值，具备对图像特征提取的能力；

在整个训练过程中，本发明实施例首先采用迁移学习的方式进行网络训练，具体来说，首先在大规模图像数据集ImageNet上对深度残差卷积神经网络进行预训练(可选用与标记的新生儿面部表情类别数目相同的物体类别数对应的图像进行训练)，网络训练的学习率设定为0.01。通过在ImageNet数据集上预训练，使我们所构建的深度残差卷积神经网络具备对图像特征提取的能力，可以为新生儿面部表情分类网络提供较好的初始权重参数值。

子步骤S322：基于初始权重参数值，对深度残差卷积神经网络在新生儿疼痛面部表情图像数据集上进行微调。

预训练之后，让深度残差卷积神经网络在步骤S1中所建立的新生儿疼痛面部表情图像数据集上进行微调，即基于训练集，对预训练后的深度残差卷积神经网络进行精细训练，使微调后的深度残差卷积神经网络更适用于新生儿疼痛面部表情图像数据集上的分类任务，实现从一般自然图像分类到新生儿疼痛面部表情分类的迁移。微调过程中权重参数的更新规则是：深度残差卷积神经网络的全连接层在初始权重参数值的基础上采用比预设阈值大的学习率进行训练，除全连接层外，深度残差卷积神经网络的其他各层在初始权重参数值的基础上采用比预设阈值小的学习率进行训练，其中，预设阈值根据实际训练中的具体情况来确定。例如，除最后一层全连接层外，深度残差卷积神经网络中的其他层在原有参数基础上采用0.001的学习率进行训练，即让网络中除全连接层的其他各层的权重参数在预训练获得的初始权重参数值的基础上保持较小幅度地更新，最后一层全连接层则采用0.01的学习率进行训练。具体地，训练采用Softmax损失函数，采用梯度下降法优化该损失函数，从而进行网络参数的更新。

子步骤S33：每训练迭代预设次数后在验证集上进行一次测试，获得已训练好的深度残差卷积神经网络。

至此，获得已训练好的深度残差卷积神经网络，通过对所构建的用于新生儿疼痛程度评估的深度残差卷积神经网络进行训练，在训练完成后，深度残差卷积神经网络具有了识别新生儿疼痛表情的能力，本发明实施例的深度残差卷积神经网络在训练过程中将特征提取与分类模型训练集成到一起，自动提取多层次的面部表情特征，当将经过预处理的待测试新生儿面部图像输入到已训练好的深度残差卷积神经网络中后，深度残差卷积神经网络的最后一层就会输出该新生儿的疼痛程度评估结果。

S4：将待测试新生儿面部图像输入已训练好的深度残差卷积神经网络，对待测试新生儿面部图像进行表情分类识别，进而获得疼痛程度评估结果。

具体地，将待测试新生儿面部图像通过现有技术进行预处理，预处理包括：新生儿面部检测、面部对齐和裁剪处理，并将裁剪好的新生儿面部图像调整到训练集中新生儿面部图像的尺寸；将经过预处理后的待测试新生儿面部图像输入到步骤S3已训练好的深度残差卷积神经网络，网络最后一层输出的分类结果会给出该待测试新生儿的面部表情所对应的疼痛程度在各个类别上的概率，其中，概率最大所对应的类别即为该待测试新生儿的疼痛程度结果。

基于以上描述，步骤S4进一步包括以下子步骤：

子步骤S41：对待测试新生儿面部图像进行预处理，并将预处理后的图像输入已训练好的深度残差卷积神经网络；

对待测试新生儿面部图像进行新生儿面部检测、面部对齐和裁剪处理，并将裁剪好的新生儿面部图像调整到训练集中新生儿面部图像的尺寸，并将调整后的图像输入已训练好的深度残差卷积神经网络；

子步骤S42：通过前向传播得到已训练好的深度残差卷积神经网络最后一层输出的分类结果，分类结果会给出该待测试新生儿的面部表情所对应的疼痛程度在各个类别上的概率，其中，概率最大所对应的类别即为该待测试新生儿的疼痛程度结果。

根据上述实施例的描述，在网络训练完成后，将经过预处理的待测试新生儿面部图像输入到已训练好的网络中，通过前向传播，获取网络的最后一层Softmax分类层输出的分类结果，分类结果会给出该待测试新生儿的面部表情所对应的疼痛程度在各个类别上的概率，其中，概率最大所对应的类别即为该待测试新生儿的疼痛程度结果。

本发明另一实施例公开的一种基于面部表情识别的新生儿疼痛程度评估系统，包括：样本集处理模块，用于建立新生儿疼痛面部表情图像数据集，包括经过预处理的新生儿面部图像及其对应的表情类别标签；网络构建模块，用于构建包括第一卷积层、第一池化层、至少2组依次相连的残差模块、第二池化层、全连接层和分类层的深度残差卷积神经网络；其中，每组残差模块至少包括2个依次相连的具有相同结构的残差模块，每个残差模块包括4个卷积层和1个非线性激活函数层，每个卷积层后都连接1个批归一化层和1个非线性激活函数层；模型训练模块，用于采用公开的大规模有标签数据集对深度残差卷积神经网络进行预训练，将预训练好的模型参数值作为深度残差卷积神经网络的初始权重参数值，再利用新生儿疼痛面部表情图像数据集对深度残差卷积神经网络进行微调，获得已训练好的深度残差卷积神经网络；以及，测试模块，用于将待测试新生儿面部图像输入已训练好的深度残差卷积神经网络，对待测试新生儿面部图像进行表情分类识别，进而获得疼痛程度评估结果。

其中，模型训练模块包括：第一训练单元，用于在公开的大规模有标签数据集上对深度残差卷积神经网络进行预训练，得到预训练好的模型参数值；以及，第二训练单元，用于以第一训练单元得到的模型参数作为深度残差卷积神经网络的初始权重参数值，对深度残差卷积神经网络在新生儿疼痛面部表情图像数据的训练集上进行微调，并在验证集上进行测试，获得最终训练好的深度残差卷积神经网络。

上述基于面部表情识别的新生儿疼痛程度评估系统实施例可以用于执行上述基于面部表情识别的新生儿疼痛程度评估方法实施例，其技术原理、所解决的技术问题及产生的技术效果相似，上述描述的基于面部表情识别的新生儿疼痛程度评估的具体工作过程及有关说明，可以参考前述多基于面部表情识别的新生儿疼痛程度评估方法实施例中的对应过程，在此不再赘述。

本领域技术人员可以理解，可以对实施例中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个系统中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。

本发明将DCNN应用于新生儿疼痛表情识别，为开发一种基于面部表情识别的新生儿疼痛程度自动评估系统提供了新途径，可为医护人员提供辅助诊断，以便及时采取相应的镇痛措施，减轻新生儿的疼痛，这对提高人口质量具有重要的意义。

以上所述仅为本发明的具体实施例而已，不能以此限定本发明的保护范围，任何熟悉该技术的人在本发明所揭露的技术范围内，所做的任何修改、等同替换、改进等，都应涵盖在本发明的保护范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (7)

1.一种基于面部表情识别的新生儿疼痛程度评估方法，其特征在于，包括以下步骤：

(1)建立新生儿疼痛面部表情图像数据集，包括经过预处理的新生儿面部图像及其对应的表情类别标签；

(2)构建包括第一卷积层、第一池化层、至少2组依次相连的残差模块、第二池化层、全连接层和分类层的深度残差卷积神经网络；其中，每组残差模块至少包括2个依次相连的具有相同结构的残差模块，每个残差模块包括4个卷积层和1个非线性激活函数层，每个卷积层后都连接1个批归一化层和1个非线性激活函数层；

(3)采用公开的大规模有标签数据集对所述深度残差卷积神经网络进行预训练，将预训练好的模型参数值作为所述深度残差卷积神经网络的初始权重参数值，再利用所述新生儿疼痛面部表情图像数据集对所述深度残差卷积神经网络进行微调，获得已训练好的深度残差卷积神经网络；

(4)将待测试新生儿面部图像输入所述已训练好的深度残差卷积神经网络，对所述待测试新生儿面部图像进行表情分类识别，进而获得疼痛程度评估结果。

2.根据权利要求1所述的一种基于面部表情识别的新生儿疼痛程度评估方法，其特征在于，所述步骤(2)中构建的深度残差卷积神经网络包括16个依次相连的残差模块，其中，第一卷积层为第一层，输入为经过预处理的新生儿面部图像，第一卷积层之后连接第一池化层，第一个残差模块位于第一池化层之后，16个残差模块依次相连，第十六个残差模块位于第二池化层之前，全连接层位于第二池化层与分类层之间；所述16个依次相连的残差模块分为4组，第一组残差模块包括3个具有相同结构的残差模块，第二组残差模块包括4个具有相同结构的残差模块，第三组残差模块包括6个具有相同结构的残差模块，第四组残差模块包括3个具有相同结构的残差模块；每个残差模块均包含4个卷积层和1个ReLU非线性激活函数层；所述深度残差卷积神经网络中每个卷积层后都连接1个批归一化层和1个ReLU非线性激活函数层。

3.根据权利要求1所述的一种基于面部表情识别的新生儿疼痛程度评估方法，其特征在于，所述步骤(3)包括：

(3.1)将所述新生儿疼痛面部表情图像数据集分为训练集和验证集；

(3.2)在公开的大规模有标签数据集上对所述深度残差卷积神经网络进行预训练，将预训练好的模型参数值作为所述深度残差卷积神经网络的初始权重参数值；

(3.3)基于所述初始权重参数值，对所述深度残差卷积神经网络在所述训练集上进行调整；

(3.4)每训练迭代预设次数后在所述验证集上进行一次测试，获得已训练好的深度残差卷积神经网络。

4.根据权利要求3所述的一种基于面部表情识别的新生儿疼痛程度评估方法，其特征在于，所述步骤(3.3)中：所述深度残差卷积神经网络的全连接层在所述初始权重参数值的基础上采用比预设阈值大的学习率进行训练，除所述全连接层外，所述深度残差卷积神经网络的其他各层在所述初始权重参数值的基础上采用比预设阈值小的学习率进行训练。

5.根据权利要求1所述的一种基于面部表情识别的新生儿疼痛程度评估方法，其特征在于，所述步骤(4)包括：

(4.1)对待测试新生儿面部图像进行预处理，并将预处理后的图像输入所述已训练好的深度残差卷积神经网络；

(4.2)通过前向传播得到所述已训练好的深度残差卷积神经网络最后一层输出的分类结果，分类结果给出该待测试新生儿的面部表情所对应的疼痛程度在各个类别上的概率，其中，概率最大所对应的类别即为该待测试新生儿的疼痛程度结果。

6.一种基于面部表情识别的新生儿疼痛程度评估系统，其特征在于，包括：

样本集处理模块，用于建立新生儿疼痛面部表情图像数据集，包括经过预处理的新生儿面部图像及其对应的表情类别标签；

网络构建模块，用于构建包括第一卷积层、第一池化层、至少2组依次相连的残差模块、第二池化层、全连接层和分类层的深度残差卷积神经网络；其中，每组残差模块至少包括2个依次相连的具有相同结构的残差模块，每个残差模块包括4个卷积层和1个非线性激活函数层，每个卷积层后都连接1个批归一化层和1个非线性激活函数层；

模型训练模块，用于采用公开的大规模有标签数据集对所述深度残差卷积神经网络进行预训练，将预训练好的模型参数值作为所述深度残差卷积神经网络的初始权重参数值，再利用所述新生儿疼痛面部表情图像数据集对所述深度残差卷积神经网络进行微调，获得已训练好的深度残差卷积神经网络；

以及，测试模块，用于将待测试新生儿面部图像输入所述已训练好的深度残差卷积神经网络，对所述待测试新生儿面部图像进行表情分类识别，进而获得疼痛程度评估结果。

7.根据权利要求6所述的一种基于面部表情识别的新生儿疼痛程度评估系统，其特征在于，所述模型训练模块包括：

第一训练单元，用于在公开的大规模有标签数据集上对所述深度残差卷积神经网络进行预训练，得到预训练好的模型参数值；

以及，第二训练单元，用于以第一训练单元得到的模型参数作为所述深度残差卷积神经网络的初始权重参数值，对所述深度残差卷积神经网络在所述新生儿疼痛面部表情图像数据的训练集上进行微调，并在验证集上进行测试，获得最终训练好的深度残差卷积神经网络。