CN109711306B - 一种基于深度卷积神经网络获取面部特征的方法及设备 - Google Patents

Abstract

本发明公开了一种基于深度卷积神经网络获取面部特征的方法及设备，属于检测技术领域。本发明方法包括：利用面部图像采集装置采集多个目标的面部图像，获取多个训练模型；将面部图像采集装置所采集的面部图像传输至深度卷积神经网络，以对采集的面部图像进行分类并检测采集的面部图像是否包含所需完整的面部；当确定面部图像包含完整的面部，根据预定的椭圆区域对面部图像进行分割，获取包括面部图像的椭圆区域图像；获取面部区域子图像；对面部区域子图像进行面部颜色分类，获取面部特征。本发明以面部颜色校正和深度卷积神经网络为基础，通过多个处理环节，实现了面部特征的获取。

Description

一种基于深度卷积神经网络获取面部特征的方法及设备

技术领域

本发明涉及检测技术领域，并且更具体地，涉及一种基于深度卷积神经网络获取面部特征的方法及设备。

背景技术

中医是我们中华民族的瑰宝，是经过数千年很多代人不断完善的智慧结晶。随着时代的发展和社会的进步，以及中医治未病理念的深入人心，中医和现代科技相结合，产生了一系列的现代化成果。除了中药的现代化提取与制作，中医的诊断方法也在向着自动化、数字化的方向发展。正如《古今医统》所说：“望闻问切四字，诚为医之纲领。”即望闻问切组成了中医诊断的四诊。《灵枢·本脏篇》：“视其外应，以知其内脏，则知所病矣。”可知望诊具有非常重要的作用。望诊可以分为面诊和舌诊。面诊非常具有临床应用价值的诊断方法。

面诊，即医生运用望、闻、问、切四诊法来对面部整体以及面部五官进行观察，从而判断人体全身与局部的病变情况。所谓“相由心生”,内在五脏六腑的病理变化或是心理变化，终会表现在脸上的相关区域，所以脸部的望诊最能洞察病机、掌握病情。早在两千年前，中国中医经典著作《黄帝内经》就指出：“十二经脉，三百六十五路，起血气皆上于面而走空(孔)窍。”说明人体内脏功能和气血状况在面部有相应表现，人们可以通过对面部各种状况的观察，来了解人体的健康状态和病情变化。

近几年，随着图像处理技术的逐步发展，机器学习和深度学习等人工智能技术的不断成熟，深度卷积神经网络开始应用到中医面诊之中。下面归纳了一些现有的面诊相关专利：

中国专利公开了《基于图像分析的中医面色识别和检索方法》(申请号：201110305261.0)，本发明提供一种基于图像分析的中医面色识别和检索方法，属于图像分析和识别领域。本发明鉴于中医面诊主观依赖性强，缺乏客观定量化依据的特点，设计了一个面向中医面诊的检索和识别平台。该发明的特征在于：当用户输入待查询面象，本发明通过人脸检测五官定位等技术分割人脸，提取脏腑对应区域的面色作为特征向量；在识别模块，将待查询面象的特征向量输入分类器，得到面色识别结果；在检索模块，计算待查询面象的特征向量与面象特征数据库中数据的相似度，按相似度从大到小排序，返回相似面象，并给出相似面象的病症描述。本发明的查准和查全率约为70％和65％，具有一定的参考价值。

中国专利公开了《一种基于人脸区域分割的中医面诊系统及面诊方法》(申请号：201710126296.5)，本发明涉及一种基于人脸区域分割的中医面诊系统，包括：图像采集模块获取人脸图像以及面部红外图像；图像处理分析模块对得到的人脸图像进行人脸检测与分割和子区域划分；面部红外热像分析子模块对面部红外热像进行定量分析，获取面部热态温度数据；检索匹配模块将从面部整体区域与子区域中提取的综合特征信息和面部热态温度数据与面诊特征数据库进行局部和全局的特征匹配以及相似度计算，并将具体的自动化诊断信息返回给面诊系统主界面。本发明对面部图像进行子区域划分，实现人脸整体特征信息与子区域相关特征信息的综合分析，同时增加了红外面部热像热态温度数据分析，能得到更加准确的定性诊断结果，实现中医面诊的标准化与客观化。

中国专利公开了《一种应用浅层神经网络的中医面色自动分类方法》(申请号：201710692254.8)，一种应用浅层神经网络进行中医面色自动分类的方法属于计算机视觉领域。设计的浅层网络层数共有5层，采用三种不同的层结构，分别为输入层、特征提取层、输出层。输入层由一个卷积层和修正线性单元组成；特征提取层由3层网络组成，前两层的每层都由一个卷积层和ReLU激活函数组成，在卷积层和ReLU之间都有一个批归一化，并在特征提取层的第二个ReLU后面加入池化层，特征提取层的第三层是一个全连接层，后接一个修正线性单元ReLU；输出层由全连接层组成，后加一个softmax分类器。本发明在分类精度上有明显优势，对缩放、平移、旋转等畸变具有不变性，有很强的鲁棒性，能够有效的提高分类精度，将深度学习的理论应用于中医面诊客观化研究。

中国专利公开了《一种用于中医望诊的面色检测和脸型识别设备》(申请号：201711439713.8)，本发明公开一种用于中医望诊的面色检测和脸型识别设备。本发明对采集到的患者面部照片进行面部颜色、光泽和脸型进行自动定量和定性分析，实现中医望诊信息的计算机自动识别，辅助中医临床诊断，提高中医面诊信息判别的效率和准确性。通过云计算与智能学习对结果进行校准，为中医诊断提供数字化和可视化的结果。

现有的面诊方法几乎都会受到面部图像采集设备以及设备安装环境的影响，尤其是使用场景不一、颜色多变等，即使使用白平衡等算法，也会导致采集图像偏色；从而影响了后续的人脸各个区域的定位以及面部特征分析，导致最终的面诊诊断结果有偏差；这些都直接影响了面诊客观化的可行性与准确性。上述基于深度卷积神经网络的专利也并没有特别关注方法的实时性，这些都会在很大程度上影响整套面诊算法的诊断效率。

发明内容

针对上述问题，本发明提出了一种基于深度卷积神经网络获取面部特征的方法，包括：

利用面部图像采集装置采集多个目标的面部图像，基于多个面部图像，获取多个训练样本并存储至图片样品库；对图片样品库中存储的多个训练样本在深度卷积神经网络中进行预训练，获取深度预训练模型，对预训练模型进行分类训练，获取多个训练模型；

将面部图像采集装置所采集的面部图像传输至深度卷积神经网络，以对采集的面部图像进行分类并检测采集的面部图像是否包含所需完整的面部；

当确定面部图像包含完整的面部，根据预定的椭圆区域对面部图像进行分割，获取包括面部图像的椭圆区域图像；

获取椭圆区域图像颜色值的信息，并调整椭圆区域图像的颜色，以对面部颜色进行校正，对经过校正的椭圆区域图像进行面部定位、推测定位和区域分割，得到面部区域子图像；

对面部区域子图像进行面部颜色分类，获取面部特征。

可选的，方法还包括：根据预设直方图模型对面部特征进行匹配，获取匹配特征。

可选的，面部特征包括：面色特征和唇色特征；

所述面色特征包括：面色白、面色苍白、面色赤、面色暗红、面色黑、面色黄和面色红黄；

所述唇色特征包括：唇色暗红、唇色白、唇色淡、唇色红、唇色青紫、唇色紫和唇色紫黑。

可选的，匹配特征包括：两颧是否红黄特征、眼眶是否黑特征和面部光泽特征。

可选的，训练样本包括：面部检测训练样本、面部定位训练样本和面部分类训练样本；

所述面部分类训练样本为面部图像进行面部分类人脸区域和唇部区域的面部图像。

可选的，训练模型包括：一个面部检测模型、一个面部定位模型和两个面部分类模型。

可选的，对面部颜色进行校正，根据椭圆区域图像的红绿蓝RGB颜色值的信息，调整椭圆区域图像的颜色，定义椭圆区域图像的RGB颜色值的均值为

校正后的RGB颜色值为R′G′B′，校正公式如下：

可选的，面部定位为深度卷积神经网络根据输入的椭圆区域图像，对椭圆区域图像的脸、双眼和唇的位置进行定位，并确定椭圆区域图像左上角顶点坐标及宽高。

可选的，推测定位为利用脸部的结构化信息，计算出椭圆区域图像的额头、两颧和两腮的位置。

可选的，区域分割为对推测定位后的椭圆区域图像进行双眼区域、嘴唇区域、额头区域、左颧区域、右颧区域、左腮区域和右腮区域的分割。

本发明还提出了一种基于深度卷积神经网络获取面部特征的设备，包括：

采集单元，利用面部图像采集装置采集多个目标的面部图像，基于多个面部图像，获取多个训练样本并存储至图片样品库；对图片样品库中存储的多个训练样本在深度卷积神经网络中进行预训练，获取深度预训练模型，对预训练模型进行分类训练，获取多个训练模型；

检测单元，将面部图像采集装置所采集的面部图像传输至深度卷积神经网络，以对采集的面部图像进行分类并检测采集的面部图像是否包含所需完整的面部；

分割单元，确定面部图像包含完整的面部，根据预定的椭圆区域对面部图像进行分割，获取包括面部图像的椭圆区域图像；

校正单元，获取椭圆区域图像颜色值的信息，并调整椭圆区域图像的颜色，以对面部颜色进行校正，对经过校正的椭圆区域图像进行面部定位、推测定位和区域分割，得到面部区域子图像；

获取特征单元，对面部区域子图像进行面部颜色分类，获取面部特征，

可选的，设备还包括：

特征匹配单元，根据预设直方图模型对面部特征进行匹配，获取匹配特征。

本发明以面部颜色校正和深度卷积神经网络为基础，通过多个处理环节，实现了面部特征的获取，面部特征的匹配，面部特征与匹配特征，可以应用于医生诊断，大大的减少了面诊的所耗时间，为更大的人全提供便利。

附图说明

图1为本发明基于深度卷积神经网络获取面部特征的方法流程图；

图2为本发明基于深度卷积神经网络获取面部特征的方法面色校正图；

图3为本发明基于深度卷积神经网络获取面部特征的设备结构图。

具体实施方式

现在参考附图介绍本发明的示例性实施方式，然而，本发明可以用许多不同的形式来实施，并且不局限于此处描述的实施例，提供这些实施例是为了详尽地且完全地公开本发明，并且向所属技术领域的技术人员充分传达本发明的范围。对于表示在附图中的示例性实施方式中的术语并不是对本发明的限定。在附图中，相同的单元/元件使用相同的附图标记。

除非另有说明，此处使用的术语(包括科技术语)对所属技术领域的技术人员具有通常的理解含义。另外，可以理解的是，以通常使用的词典限定的术语，应当被理解为与其相关领域的语境具有一致的含义，而不应该被理解为理想化的或过于正式的意义。

本发明提供了一种基于深度卷积神经网络获取面部特征的方法，如图1所示，包括：

利用面部图像采集装置采集多个目标的面部图像，基于多个面部图像，获取多个训练样本并存储至图片样品库，训练样本包括：面部检测训练样本、面部定位训练样本和面部分类训练样本，面部分类训练样本为面部图像进行面部分类人脸区域和唇部区域的面部图像；对图片样品库中存储的多个训练样本在深度卷积神经网络中进行预训练，获取深度预训练模型，对预训练模型进行分类训练，获取多个训练模型，训练模型包括：一个面部检测模型、一个面部定位模型和两个面部分类模型；

将面部图像采集装置所采集的面部图像传输至深度卷积神经网络，以对采集的面部图像进行分类并检测采集的面部图像是否包含所需完整的面部；

当确定面部图像包含完整的面部，根据预定的椭圆区域对面部图像进行分割，获取包括面部图像的椭圆区域图像；

获取椭圆区域图像颜色值的信息，并调整椭圆区域图像的颜色，以对面部颜色进行校正，对面部颜色进行校正，根据椭圆区域图像的红绿蓝RGB颜色值的信息，调整椭圆区域图像的颜色，定义椭圆区域图像的RGB颜色值的均值为

校正后的RGB颜色值为R′G′B′，校正效果如图2所示，校正公式如下：

对经过校正的椭圆区域图像进行面部定位、推测定位和区域分割，得到面部区域子图像；

面部定位为深度卷积神经网络根据输入的椭圆区域图像，对椭圆区域图像的脸、双眼和唇的位置进行定位，并确定椭圆区域图像左上角顶点坐标及宽高；

推测定位为利用脸部的结构化信息，计算出椭圆区域图像的额头、两颧和两腮的位置；

区域分割为对推测定位后的椭圆区域图像进行双眼区域、嘴唇区域、额头区域、左颧区域、右颧区域、左腮区域和右腮区域的分割。

对面部区域子图像进行面部颜色分类，获取面部特征，面部特征包括：面色特征和唇色特征；

面色特征包括：面色白、面色苍白、面色赤、面色暗红、面色黑、面色黄和面色红黄；

唇色特征包括：唇色暗红、唇色白、唇色淡、唇色红、唇色青紫、唇色紫和唇色紫黑；

根据预设直方图模型对面部特征进行匹配，获取匹配特征，匹配特征包括：两颧是否红黄特征、眼眶是否黑特征和面部光泽特征。

本发明还提供一种基于深度卷积神经网络获取面部特征的设备200，如图3所示，系统200包括：

采集单元201，利用面部图像采集装置采集多个目标的面部图像，基于多个面部图像，获取多个训练样本并存储至图片样品库；对图片样品库中存储的多个训练样本在深度卷积神经网络中进行预训练，获取深度预训练模型，对预训练模型进行分类训练，获取多个训练模型；

检测单元202，将面部图像采集装置所采集的面部图像传输至深度卷积神经网络，以对采集的面部图像进行分类并检测采集的面部图像是否包含所需完整的面部；

分割单元203，确定面部图像包含完整的面部，根据预定的椭圆区域对面部图像进行分割，获取包括面部图像的椭圆区域图像；

校正单元204，获取椭圆区域图像颜色值的信息，并调整椭圆区域图像的颜色，以对面部颜色进行校正，对经过校正的椭圆区域图像进行面部定位、推测定位和区域分割，得到面部区域子图像；

获取特征单元205，对面部区域子图像进行面部颜色分类，获取面部特征，

特征匹配单元206，根据预设直方图模型对面部特征进行匹配，获取匹配特征。

本发明以面部颜色校正和深度卷积神经网络为基础，通过多个处理环节，实现了面部特征的获取，面部特征的匹配，面部特征与匹配特征，可以应用于医生诊断，大大的减少了面诊的所耗时间，为更大的人全提供便利。

Claims (11)

1.一种基于深度卷积神经网络获取面部特征的方法，所述的方法包括：

利用面部图像采集装置采集多个目标的面部图像，基于多个面部图像，获取多个训练样本并存储至图片样品库；对图片样品库中存储的多个训练样本在深度卷积神经网络中进行预训练，获取深度预训练模型，对预训练模型进行分类训练，获取多个训练模型；

将面部图像采集装置所采集的面部图像传输至深度卷积神经网络，以对采集的面部图像进行分类并检测采集的面部图像是否包含所需完整的面部；

当确定面部图像包含完整的面部，根据预定的椭圆区域对面部图像进行分割，获取包括面部图像的椭圆区域图像；

获取椭圆区域图像颜色值的信息，并调整椭圆区域图像的颜色，以对面部颜色进行校正，对经过校正的椭圆区域图像进行面部定位、推测定位和区域分割，得到面部区域子图像；

所述对面部颜色进行校正，根据椭圆区域图像的红绿蓝RGB颜色值的信息，调整椭圆区域图像的颜色，定义椭圆区域图像的RGB颜色值的均值为

校正后的RGB颜色值为R′G′B′，校正公式如下：

对面部区域子图像进行面部颜色分类，获取面部特征。

2.根据权利要求1所述的方法，所述的方法还包括：根据预设直方图模型对面部特征进行匹配，获取匹配特征。

3.根据权利要求1所述的方法，所述的面部特征包括：面色特征和唇色特征；

所述面色特征包括：面色白、面色苍白、面色赤、面色暗红、面色黑、面色黄和面色红黄；

所述唇色特征包括：唇色暗红、唇色白、唇色淡、唇色红、唇色青紫、唇色紫和唇色紫黑。

4.根据权利要求2所述的方法，所述的匹配特征包括：两颧是否红黄特征、眼眶是否黑特征和面部光泽特征。

5.根据权利要求1所述的方法，所述的训练样本包括：面部检测训练样本、面部定位训练样本和面部分类训练样本；

所述面部分类训练样本为面部图像进行面部分类人脸区域和唇部区域的面部图像。

6.根据权利要求1所述的方法，所述的训练模型包括：一个面部检测模型、一个面部定位模型和两个面部分类模型。

7.根据权利要求1所述的方法，所述的面部定位为深度卷积神经网络根据输入的椭圆区域图像，对椭圆区域图像的脸、双眼和唇的位置进行定位，并确定椭圆区域图像左上角顶点坐标及宽高。

8.根据权利要求1所述的方法，所述的推测定位为利用脸部的结构化信息，计算出椭圆区域图像的额头、两颧和两腮的位置。

9.根据权利要求1所述的方法，所述的区域分割为对推测定位后的椭圆区域图像进行双眼区域、嘴唇区域、额头区域、左颧区域、右颧区域、左腮区域和右腮区域的分割。

10.一种基于深度卷积神经网络获取面部特征的设备，所述的设备包括：

采集单元，利用面部图像采集装置采集多个目标的面部图像，基于多个面部图像，获取多个训练样本并存储至图片样品库；对图片样品库中存储的多个训练样本在深度卷积神经网络中进行预训练，获取深度预训练模型，对预训练模型进行分类训练，获取多个训练模型；

检测单元，将面部图像采集装置所采集的面部图像传输至深度卷积神经网络，以对采集的面部图像进行分类并检测采集的面部图像是否包含所需完整的面部；

分割单元，确定面部图像包含完整的面部，根据预定的椭圆区域对面部图像进行分割，获取包括面部图像的椭圆区域图像；

校正单元，获取椭圆区域图像颜色值的信息，并调整椭圆区域图像的颜色，以对面部颜色进行校正，对经过校正的椭圆区域图像进行面部定位、推测定位和区域分割，得到面部区域子图像；

所述对面部颜色进行校正，根据椭圆区域图像的红绿蓝RGB颜色值的信息，调整椭圆区域图像的颜色，定义椭圆区域图像的RGB颜色值的均值为

校正后的RGB颜色值为R′G′B′，校正公式如下：

获取特征单元，对面部区域子图像进行面部颜色分类，获取面部特征，

11.根据权利要求10所述的设备，所述的设备还包括：

特征匹配单元，根据预设直方图模型对面部特征进行匹配，获取匹配特征。

Images