CN110309816B - 一种由粗到精的新生儿面部检测方法与系统 - Google Patents

Abstract

本发明公开了一种由粗到精的新生儿面部检测方法与系统。该方法包括以下步骤：建立新生儿面部图像样本集；构建一种包括特征提取、面部边框粗定位和面部边框精定位模块的适用于新生儿面部检测的深度卷积神经网络；用样本集里的样本训练所构建的深度卷积神经网络，得到新生儿面部检测模型；利用新生儿面部检测模型对新输入的测试图像进行新生儿面部检测。本发明针对新生儿面部特点，构建并训练一个深度卷积神经网络模型，提取新生儿面部不同尺度的特征图，并通过两次分类任务及级联的两次回归任务实现由粗定位到精定位的面部检测，可以有效提高新生儿面部检测精度，减少误检、漏检的概率。

Description

一种由粗到精的新生儿面部检测方法与系统

技术领域

本发明涉及图像处理和深度学习领域，特别是一种由粗到精的新生儿面部检测方法与系统。

背景技术

人脸检测问题的研究源于人脸识别问题，最早的人脸识别是在假设人脸位置已经获得的前提下进行的，随着应用要求的提高，我们需要从复杂的背景中先准确检测、定位出人脸。近年来的临床研究结果显示，虽然新生儿无法主诉疼痛感觉，但他们会有疼痛反应，疼痛反应会对新生儿产生一系列不同程度的不良影响。所以对基于面部表情的新生儿疼痛识别的研究具有深远的现实意义。新生儿面部检测是新生儿面部表情识别的前提和基础，快速准确的检测到图像中新生儿的面部显得尤为重要。

现有的人脸检测研究多是针对成人人脸的，直接用于新生儿面部检测时漏检、误检的情况比较多。其主要原因是这些人脸检测方法是针对成人面部特征设计的，而新生儿面部特点与成人面部特点有较大的不同，例如新生儿面部多双眼紧闭、鼻腔较窄、眉毛不清晰。常见的人脸检测方法都是对预先设计好的候选框进行分类和边框回归。一般情况下，基于一次检测的人脸检测方法需要对大量密集的候选框进行直接检测，虽然有利于减少漏检情况，但由于绝大部分的候选框并不包含面部区域，这种极端不平衡会严重影响到模型的训练，降低检测精度，此外，通过一次回归也难以获得精准的面部边框位置。

发明内容

发明目的：本发明的目的在于提供一种由粗到精的新生儿面部检测方法与系统，通过级联的两次新生儿面部检测任务，既保证了检测速度，也提高了对新生儿面部检测精度，减少了复杂背景下的误检、漏检概率。

技术方案：本发明为实现上述发明目的采用以下技术方案：

一种由粗到精的新生儿面部检测方法，包括以下步骤：

(1)对新生儿图像进行标注，给出是否存在新生儿面部区域的类别标签以及存在面部区域时新生儿面部区域边框的左上顶点和右下顶点坐标位置，建立新生儿面部图像样本集；

(2)构建一种适用于新生儿面部检测的深度卷积神经网络，包括特征提取模块、面部边框粗定位模块、面部边框精定位模块，其中：

所述的特征提取模块包括顺序连接的若干个卷积层和池化层，对输入的新生儿面部图像进行卷积以及池化操作，输出n个不同尺度的特征图F_i，提取不同层次的图像特征，其中i＝1,2,…,n；n>1；

所述的面部边框粗定位模块，包括第一分类和回归单元，所述第一分类和回归单元由一个分类支路和一个回归支路构成，所述分类支路用于对输入的n个不同尺度的特征图F_i进行处理，输出预设的面部候选框是否为新生儿面部区域的置信度，完成新生儿面部/非面部的分类任务；所述回归支路用于对输入的n个不同尺度的特征图F_i进行处理，输出预设的面部候选框的位置偏移量，以修正面部候选框的位置坐标，得到粗定位面部候选边框；

所述的面部边框精定位模块，包括n个并列的卷积层及第二分类和回归单元，所述n个并列的卷积层分别用于对所述特征提取模块输出的n个不同尺度的特征图F_i进行卷积操作，输出n个特征图F_i′；所述第二分类和回归单元由一个分类支路和一个回归支路构成，所述分类支路用于对输入的n个不同尺度的特征图F_i′进行处理，输出面部边框粗定位模块得到的粗定位面部候选边框是否为新生儿面部区域的置信度，完成新生儿面部/非面部的分类任务；所述回归支路对输入的n个不同尺度的特征图F_i′进行处理，输出粗定位面部候选边框的位置偏移量，以修正面部候选边框的位置坐标，得到精定位面部边框，最后采用非极大值抑制方法，得到最终的新生儿面部区域边框；

(3)用新生儿面部图像样本集当中的样本训练所构建的深度卷积神经网络，得到新生儿面部检测模型；

(4)利用训练好的新生儿面部检测模型对输入的测试图像进行新生儿面部检测。

作为优选，所述第一分类和回归单元的分类支路包括n个并列的卷积层、第一串接层和第一分类层；n个并列的卷积层分别对n个不同尺度的特征图F_i进行卷积操作，得到的特征图由第一串接层进行串接，使用第一分类层将串接输出的特征向量全连接到2个输出节点，每个节点对应预设的面部候选框的新生儿面部/非面部的类别信息；

所述第一分类和回归单元的回归支路包括n个并列的卷积层、第二串接层和第一回归层；n个并列的卷积层分别对n个不同尺度的特征图F_i进行卷积操作，得到的特征图由第二串接层进行串接，使用第一回归层将输出的特征向量全连接到4个输出节点，每个节点对应预设的面部候选框的位置偏移量。

作为优选，所述第二分类和回归单元的分类支路包括n个并列的卷积层、第三串接层和第二分类层；n个并列的卷积层分别对n个不同尺度的特征图F_i′进行卷积操作，得到的特征图由第三串接层进行串接，使用第二分类层将串接输出的特征向量全连接到2个输出节点，每个节点对应粗定位面部候选边框的新生儿面部/非面部的类别信息；

所述第二分类和回归单元的回归支路包括n个并列的卷积层、第四串接层和第二回归层；n个并列的卷积层分别对n个不同尺度的特征图F_i′进行卷积操作，得到的特征图由第四串接层进行串接，使用第二回归层将输出的特征向量全连接到4个输出节点，每个节点对应粗定位面部候选边框的位置偏移量。

作为优选，所述特征提取模块输出4个不同尺度的特征图，4个特征图的尺度分别为输入图像尺度的1/8、1/16、1/32、1/64。

基于相同的发明构思，本发明所述的一种由粗到精的新生儿面部检测系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被加载至处理器时实现所述的由粗到精的新生儿面部检测方法。

有益效果：本发明采用以上技术方案与现有技术相比，具有以下技术效果：

1、两次分类任务：大量的面部候选框中只有少部分是与输入图像中面部重叠的有效框，这会导致网络很难训练，影响训练速度。第一次分类任务能够快速地筛选掉那些明显是背景的候选框，缓解有效框与背景候选框之间的极大不平衡现象，并且简化第二次分类任务。

2、级联的两次回归任务：第一次回归任务可以粗略的调整候选框位置，为第二次回归任务提供更好的初始化信息。相比采用一次回归任务的检测能够得到更高质量的新生儿面部区域边框。

3、深度卷积神经网络中由卷积操作输出的不同尺度的特征图能够检测出图像中不同尺寸的新生儿面部。综合检测不同尺度的特征图可以有效的提高面部检测精度。

4、级联的粗定位模块与精定位模块共享多尺度的特征提取模块，整个网络结构只需对输入图像进行一个阶段的运算，就能得到最终的检测结果，并且在训练网络时，通过一个损失函数就能够进行端到端的训练。

附图说明

图1是本发明的一种由粗到精的新生儿面部检测方法流程图。

图2是本发明示例性实施例构建的深度卷积神经网络结构图。

图3是深度卷积神经网络中的特征提取模块结构图。

图4是深度卷积神经网络中面部边框粗定位模块结构图。

图5是深度卷积神经网络中面部边框精定位模块结构图。

具体实施方式

下面结合说明书附图对本发明的具体实施方式做进一步详细的说明。

如图1所示，本发明提供一种由粗到精的新生儿面部检测方法，主要包括如下步骤：

(1)拍摄不同状态下的新生儿视频，从视频中截取一些关键帧图像，并对这些图像进行标注，给出是否存在新生儿面部区域的类别标签以及存在面部区域时新生儿面部区域边框的左上顶点和右下顶点坐标位置，建立新生儿面部图像样本集。

(2)构建一种适用于新生儿面部检测的深度卷积神经网络。

(3)将新生儿面部图像样本集里的样本随机的输入到卷积神经网络中进行训练，得到新生儿面部检测的卷积神经网络模型。

(4)利用训练好的新生儿面部检测模型对输入的测试图像进行检测，得到新生儿面部检测结果。若图像中检测出新生儿面部，返回新生儿面部区域边框的左上角坐标和右下角坐标。

其中所构建的深度神经网络的结构如图2所示，包括特征提取模块、面部边框粗定位模块和面部边框精定位模块。

特征提取模块：输入新生儿面部图像，经过级联的卷积操作和池化操作后输出不同尺度的特征图。本发明优选实施例的特征提取模块如图3所示，包含16个卷积层(卷积层1～卷积层16)、5个池化层(池化层1～池化层5)。卷积层(t,m₁,3,3)表示采用t个大小为m₁×3×3卷积核对输入特征图进行卷积，t可选值64、128、256等，其中卷积层1的m₁取值3，其余卷积层中的m₁可选值64、128、256等；池化层采用2×2的池化核将输入特征图降采样为输入尺度的二分之一。在16个卷积层中选择卷积层9、卷积层12、卷积层14、卷积层16输出的特征图作后续的检测任务。4个卷积层输出的特征图分别表示为F₁、F₂、F₃、F₄，4个特征图的尺度分别为输入图像尺度的1/8、1/16、1/32、1/64。本示例中，输入图像尺度为320×320，则特征提取模块输出的特征图的F₁、F₂、F₃、F₄尺度分别为40×40、20×20、10×10、5×5。

面部边框粗定位模块：即第一分类和回归单元，由一个分类支路和一个回归支路构成，分别用于完成粗步的面部/非面部分类任务和粗步的面部位置回归任务。图4所示为本发明优选实施例的面部边框粗定位模块。第一分类和回归单元连接至特征提取模块输出的4个特征图F₁、F₂、F₃、F₄，进入分类支路：特征图F₁、F₂、F₃、F₄先分别经过卷积层17～卷积层20的卷积操作，得到的特征图由第一串接层进行串接，使用第一分类层将串接输出的特征向量全连接到2个输出节点，每个节点对应预设的面部候选框的面部/非面部的类别信息，其中卷积层17～卷积层20采用2个m_1c×3×3的卷积核，m_1c为相应输入特征图的通道数，第一分类层采用Softmax分类器；进入回归支路：特征图F₁、F₂、F₃、F₄先分别经过卷积层21～卷积层24的卷积操作，得到的特征图由第二串接层进行串接，使用第一回归层将输出的特征向量全连接到4个输出节点，对应预设的面部候选框的位置偏移量，其中卷积层21～卷积层24采用4个m₁₁×3×3的卷积核，m_1l为相应输入特征图的通道数，第一回归层采用Smooth L₁回归器。

上述预设的面部候选框，为特征图F₁、F₂、F₃、F₄中，在各个特征图上以每个像素点为中心设置的规则分布的尺寸不一的方形框，尺度越大的特征图对应设置的方形框的尺寸越大。面部候选框映射至输入图像的区域为面部候选区域，后续的检测任务即针对这些大量面部候选区域进行，具体反映为对相应面部候选框的分类和位置回归。

根据上述第一分类和回归单元中分类支路输出的置信度，筛选掉非面部区域的置信度大于设定阈值(按经验值选取0.99)的面部候选框，并根据第一分类和回归单元中回归支路输出的位置偏移量粗调剩余的面部候选框的位置，得到粗定位面部候选边框；

面部边框精定位模块：包括4个并列的卷积层、第二分类和回归单元，4个并列的卷积层连接至特征提取模块中输出的特征图F₁、F₂、F₃、F₄，采用卷积操作得高层次的特征图F₁′、F₂′、F₃′、F₄′，输入第二分类和回归单元，所述第二分类和回归单元由一个分类支路和一个回归支路构成，分别用于完成精准的面部/非面部分类任务和精准的面部位置回归任务。图5所示为本发明优选实施例的面部边框精定位模块。特征图F₁、F₂、F₃、F₄分别经过卷积层25～卷积层28，获得用于精准面部检测任务的特征图F₁′、F₂′、F₃′、F₄′，其中卷积层25～卷积层28采用t₂个m₂×3×3的卷积核对输入特征图进行卷积，m₂为相应输入特征图的通道数，t₂可选值64、128、256、512。第二分类和回归单元将上述由面部边框粗定位模块得到的粗定位面部候选边框映射至特征图F₁′、F₂′、F₃′、F₄′，其中，粗定位面部候选边框为经过粗调的面部候选区域；特征图F₁′、F₂′、F₃′、F₄′进入分类支路：先分别经过卷积层29～卷积层32的卷积操作，得到的特征图由第三串接层进行串接，使用第二分类层将串接输出的特征列向量全连接到2个输出节点，每个节点对应粗定位面部候选框的新生儿面部/非面部的类别信息，其中卷积层29～卷积层32采用2个m_2c×3×3的卷积核，第二分类层采用Softmax分类器；特征图F₁′、F₂′、F₃′、F₄′进入回归支路：先分别经过卷积层33～卷积层36的卷积操作，得到的特征图由第四串接层进行串接，第二回归层将串接输出的特征列向量全连接到4个输出节点，对应粗定位面部候选边框的位置偏移量，其中卷积层33～卷积层36采用4个m_2l×3×3的卷积核，m_2l为相应输入特征图的通道数，第二回归层采用Smooth L₁回归器。

根据上述第二分类和回归单元中分类器输出的置信度，保留面部区域的置信度大于设定阈值的粗定位面部候选边框，并根据上述第二分类和回归单元中回归器输出的位置偏移量精调保留的候选边框的位置和大小，以修正面部候选边框的位置坐标，得到精定位面部边框，最后采用非极大值抑制方法，去除冗余框，得到最终的新生儿面部检测边框。

训练上述构建的深度卷积神经网络时，所使用的损失函数为面部边框粗定位模块的损失和面部边框精定位模块的损失之和，其中面部边框粗定位模块、面部边框精定位模块的损失均为各模块的位置误差与置信度误差的加权和。使用一个损失函数可以实现端到端的网络训练。

基于相同的发明构思，本发明实施例公开的一种由粗到精的新生儿面部检测系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，该计算机程序被加载至处理器时实现上述的由粗到精的新生儿面部检测方法。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围。

Claims (5)

1.一种由粗到精的新生儿面部检测方法，其特征在于，包括以下步骤：

(1)对新生儿图像进行标注，给出是否存在新生儿面部区域的类别标签以及存在面部区域时新生儿面部区域边框的左上顶点和右下顶点坐标位置，建立新生儿面部图像样本集；

(2)构建一种适用于新生儿面部检测的深度卷积神经网络，包括特征提取模块、面部边框粗定位模块、面部边框精定位模块，其中：

所述的特征提取模块包括顺序连接的若干个卷积层和池化层，对输入的新生儿面部图像进行卷积以及池化操作，输出n个不同尺度的特征图F_i，提取不同层次的图像特征，其中i＝1,2,…,n；n>1；

所述的面部边框粗定位模块，包括第一分类和回归单元，所述第一分类和回归单元由一个分类支路和一个回归支路构成，所述分类支路用于对输入的n个不同尺度的特征图F_i进行处理，输出预设的面部候选框是否为新生儿面部区域的置信度，完成新生儿面部/非面部的分类任务；所述回归支路用于对输入的n个不同尺度的特征图F_i进行处理，输出预设的面部候选框的位置偏移量，以修正面部候选框的位置坐标，得到粗定位面部候选边框；具体根据第一分类和回归单元中分类支路输出的置信度，筛选掉非面部区域的置信度大于设定阈值的面部候选框，并根据第一分类和回归单元中回归支路输出的位置偏移量粗调剩余的面部候选框的位置，得到粗定位面部候选边框；

所述的面部边框精定位模块，包括n个并列的卷积层及第二分类和回归单元，所述n个并列的卷积层分别用于对所述特征提取模块输出的n个不同尺度的特征图F_i进行卷积操作，输出n个特征图F_i′；所述第二分类和回归单元由一个分类支路和一个回归支路构成，所述分类支路用于对输入的n个不同尺度的特征图F_i′进行处理，输出面部边框粗定位模块得到的粗定位面部候选边框是否为新生儿面部区域的置信度，完成新生儿面部/非面部的分类任务；所述回归支路对输入的n个不同尺度的特征图F_i′进行处理，输出粗定位面部候选边框的位置偏移量，以修正面部候选边框的位置坐标，得到精定位面部边框，最后采用非极大值抑制方法，得到最终的新生儿面部区域边框；

(3)用新生儿面部图像样本集当中的样本训练所构建的深度卷积神经网络，得到新生儿面部检测模型；

(4)利用训练好的新生儿面部检测模型对输入的测试图像进行新生儿面部检测。

2.根据权利要求1所述的一种由粗到精的新生儿面部检测方法，其特征在于，所述第一分类和回归单元的分类支路包括n个并列的卷积层、第一串接层和第一分类层；n个并列的卷积层分别对n个不同尺度的特征图F_i进行卷积操作，得到的特征图由第一串接层进行串接，使用第一分类层将串接输出的特征向量全连接到2个输出节点，每个节点对应预设的面部候选框的新生儿面部/非面部的类别信息；

所述第一分类和回归单元的回归支路包括n个并列的卷积层、第二串接层和第一回归层；n个并列的卷积层分别对n个不同尺度的特征图F_i进行卷积操作，得到的特征图由第二串接层进行串接，使用第一回归层将输出的特征向量全连接到4个输出节点，每个节点对应预设的面部候选框的位置偏移量。

3.根据权利要求1所述的一种由粗到精的新生儿面部检测方法，其特征在于，所述第二分类和回归单元的分类支路包括n个并列的卷积层、第三串接层和第二分类层；n个并列的卷积层分别对n个不同尺度的特征图F_i′进行卷积操作，得到的特征图由第三串接层进行串接，使用第二分类层将串接输出的特征向量全连接到2个输出节点，每个节点对应粗定位面部候选边框的新生儿面部/非面部的类别信息；

所述第二分类和回归单元的回归支路包括n个并列的卷积层、第四串接层和第二回归层；n个并列的卷积层分别对n个不同尺度的特征图F_i′进行卷积操作，得到的特征图由第四串接层进行串接，使用第二回归层将输出的特征向量全连接到4个输出节点，每个节点对应粗定位面部候选边框的位置偏移量。

4.根据权利要求1所述的一种由粗到精的新生儿面部检测方法，其特征在于，所述特征提取模块输出4个不同尺度的特征图，4个特征图的尺度分别为输入图像尺度的1/8、1/16、1/32、1/64。

5.一种由粗到精的新生儿面部检测系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述计算机程序被加载至处理器时实现根据权利要求1-4任一项所述的由粗到精的新生儿面部检测方法。

Images