CN110009630A - 一种基于深度学习的皮肤目标区域自动检测方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的皮肤目标区域自动检测方法，属于计算机视觉领域。针对现有技术中存在的人工诊断效率低、机器诊断模型复杂或者准确率低的问题，本发明提供了一种基于深度学习的皮肤目标区域自动检测方法，首先利用固定在患者面部左、前、右三个方向的相机获取患者左侧脸、正脸、右侧脸面部图像。获取原始图像后，将面部图像输入计算机中预先训练好的检测模型中。模型通过提取患者人脸图像，检测面部的痤疮区域，并计算痤疮区域的面积大小，为患者病情的诊断提供准确的辅助的信息。它可以实现在保证模型简单，检测效率高、且准确率高的效果。

Description

一种基于深度学习的皮肤目标区域自动检测方法

技术领域

本发明涉及计算机视觉领域，更具体地说，涉及一种基于深度学习的皮肤目标区域自动 检测方法。

背景技术

近年来，面部皮肤疾病发病率较高而且呈上升趋势，特别是护肤品密切相关的疾病，例 如痤疮、面部敏感皮肤、激素依赖皮炎、口周皮炎、酒渣鼻、黄褐斑等均较常见，而且类型 非常多。如何选择护肤品、如何协调好护肤品和外用药物同时使用的情况，是目前人们特别 是女性特别关注的问题。选择正确的护肤品的前提是要对面部皮肤疾病做准确的判断，否则 会因为护肤品使用不当加重病情。由于目前皮肤科医生非常紧缺，在面部皮肤诊断有专长的 皮肤科医生更少，医疗资源紧张，诊断效率低下，准确率不稳定。

皮肤病，如痤疮是一种常见病，常发病于人的面部，对人们的个人形象有很严重的负面 影响。其发病机制主要是由于皮脂腺分泌增多，毛囊口过度角化、毛囊皮脂腺导管角化异常、 痤疮丙酸杆菌感染、局部炎症反应以及遗传等原因。目前医院对于痤疮的检查和诊断主要依 靠医生的判断，这种方法带有很强的主观性、模糊性，诊察结果与医生的经验密切相关，难 以对痤疮的严重程度做出准确的判断。目前，随着计算机技术、人工智能的发展，计算机视 觉已在医疗领域有了广泛的应用，并极大的推动了医疗技术的进步。因此，传统的依靠医生 主观判断的方法已难以满足痤疮精确诊断的需求。

现有技术中，也有相应的计算机辅助的皮肤诊断方式，如中国专利申请，申请号201711306341.1，公开日2018年4月20日，公开了一种基于深度学习的皮肤疾病检测方法以及系统，方法包括：将待检测皮肤的图片预处理后输入改进的Faster RCNN神经网络模型， 该神经网络模型输出检测皮肤的疾病区域和疾病类型；其中，该神经网络模型使用深度宽度 残差网络对输入的图片做特征提取，且提取后的特征图片作为疾病区域和疾病类型的共享特 征实现两个优化目标同时学习，此发明可以更加有效的提升模型的性能，比基础的Faster RCNN的检测效果提升，适用于面部皮肤疾病检测以及其它部位的疾病检测或者非健康区域 检测，可用于医疗行业和医学美容行业的各种疾病检测。但是此发明使用了较多和较深的卷 积层，模型复杂，效率低，成本高。

又如中国专利申请，申请号201710551849.1，公开日2017年11月17日，公开了一种基 于InceptionV3+全连接网络的皮肤真菌识别检测方法，包括如下步骤：一、获得皮肤真菌图 像集，并对所述皮肤真菌图像集内的图像进行预处理；二、利用InceptionV3+卷积层提取所 述皮肤真菌图像集内预处理后图像的图像特征；三、构建两层全连接网络，并利用提取图像 特征训练所述两层全连接网络，从而形成基于皮肤真菌图像的预测模型；四、利用所述预测 模型对新的皮肤真菌图像进行真菌类别预测。此发明的有益效果在于：所述基于InceptionV3+ 全连接网络的皮肤真菌识别检测方法采用深度学习框架对皮肤真菌图像类别进行识别，降低 了人工识别成本。但是此发明检测效果差，准确率低。

发明内容

1.要解决的技术问题

针对现有技术中存在的人工诊断效率低、机器诊断模型复杂或者准确率低的问题，本发 明提供了一种基于深度学习的皮肤目标区域自动检测方法，它可以实现在保证模型简单，检 测效率高、且准确率高的效果。

2.技术方案

本发明的目的通过以下技术方案实现。

一种基于深度学习的皮肤目标区域自动检测方法，步骤如下：

(1)在相对固定的环境下患者皮肤图像；

(2)将皮肤图像划分成n*n的网格；

(3)使用训练好的网络检测人脸图像，此处的，卷积神经网络(CNN)。作为一种多层神经网络，卷积神经网络擅长处理图像，在针对大尺寸或不规则图像等相关机器学习问题上， 卷积神经网络通过降维的方式进行训练。对每个网格预测m个目标检测框，预测每个目标检 测框的目标区域起始位置横坐标x、纵坐标y、目标区域宽度w、高度h及该目标检测框的可 靠度信息c；

(4)筛选可靠度高的目标区域作为目标区域输出；具体的方式为，在确定了横坐标x、 纵坐标y、目标区域宽度w、高度h的基础上，通过运算得到预测目标区域与实际目标区域的交集比confidence，亦可表示为c。在此基础上，引入损失函数的概念，即Lall＝Lpos+Lconf， 其中Lpos表示坐标值的误差(此处引用参数x,y,w,h)，Lconf表示可靠度的误差(此处引用 参数c)。通过计算，损失函数越小，可靠度越高。选取可靠度(损失函数输出的数值最小) 最高的目标区域输出。

(5)计算所有目标区域的面积，将数据进行输出。

更进一步的，针对于痤疮区域作为目标区域。

更进一步的，患者皮肤图像选取左侧脸、正脸、右侧脸图像，

更进一步的，n为19。

更进一步的，m为3。

更进一步的，步骤(2)划分的每个网格负责检测目标区域中心在该网格上的目标区域， 每个网格设置有标签。

更进一步的，步骤(3)，预测可靠度信息c反映了模型对该网格的预测，包含两方面的 信息：该网格内是否有目标区域、目标检测框对目标区域预测的准确性，其计算方法如下：

其中P(obj)表示目标检测框内是否包含目标区域，若有目标区域，则为1；若无目标区域， 则为0，表示预测的目标区域与实际目标区域之间的重叠部分，若目标检测框内无目标 区域，则confidence为0，否则confidence表示预测目标区域与实际目标区域的交集比。

更进一步的，步骤(4)，预测信息中，需要进行损失函数的设定，使坐标值(x,y,w,h)、 c即confidence两方面达到平衡；

(a)对于一些不包含目标区域的网格，其confidence为0，相对有目标区域的网格误差 更大；

(b)目标区域的大小不一，较大的目标区域预测坐标的偏差对损失函数的影响更大，进 行损失函数的计算，筛选可靠度高的目标区域；

更进一步的，步骤(4)，

损失函数的计算方式如下：

L_all＝L_pos+L_conf

其中L_pos表示坐标值预测的误差，具体计算方法如下：

其中λ_pos为位置误差的权值，范围[-1,1]；S为每一行(列)的网格数，此处为n；B为每 一个网格的目标框数目，此处为m；表示第i个网格的第j个目标框内是否有目标区域， 有目标区域为1，没有为0，考虑到目标区域大小不一，为了平衡较大目标表区域和较小目标 区域的误差，目标区域大小的误差用其数值的平方根表示；分别表示已识别 区域的横坐标、纵坐标、目标区域宽度、高度的预测值；

L_conf表示可靠度预测的误差，具体计算方法如下：

其中，第一项用于计算含有目标区域的目标框的可靠度误差，第二项用于计算不含目标 区域的目标框的可靠度误差，C_i、分别表示预测目标区域、实际目标区域的交集比。

3.有益效果

相比于现有技术，本发明的优点在于：

本发明创新性地提出了自动检测人脸目标区域的方法。通过训练好的深度卷积神经网络 模型，自动检测患者面部图像中的所需要检测的区域，特别是痤疮区域，并对痤疮程度全面 评估，可以使得检测的效率大大提高，通过损失函数的设计，保证检测的准确度好。该方法 有效的将计算机技术、图像处理技术应用到临床医学诊断中，可以广泛的应用到各大医院的 皮肤科诊室，为皮肤科医生的诊断提供准确的辅助分析。患者也可通过在线的检测工具，方 便快捷地了解目前的治疗状况，以便及时调整用药、就医计划。

附图说明

图1为本发明的目标区域自动检测方法流程示意图；

图2为深度卷积神经网络结构示意图；

图3为目标区域检测效果示意图。

具体实施方式

下面结合说明书附图和具体的实施例，对本发明作详细描述。

实施例1

本方案针对于传统的人工诊断方式的缺陷，本发明提出了一种基于深度学习的皮肤目标 区域自动检测方法。特别是针对某种具体的皮肤病种进行检测，本实施例针对痤疮的面部识 别有针对性的进行检测和识别，作出相应的辅助判断。

如图1所示，具体实现过程中，首先利用固定在患者面部左、前、右三个方向的相机获 取患者左侧脸、正脸、右侧脸面部图像。获取原始图像后，将面部图像输入计算机中预先训 练好的检测模型中。模型通过提取患者人脸图像，检测面部的痤疮区域，并计算痤疮区域的 面积大小，为患者病情的诊断提供准确的辅助的信息。

具体方法如下：

(1)为了全面获取面部区域信息，系统设置左、前、右三个摄像头，分别采集左侧脸、 正脸、右侧脸图像。为了使图像采集环境更加稳定，将摄像头与座椅位置固定，并在座椅周 围设置纯色白色背景，减少环境干扰。采集图像时，患者需坐在固定的位置，保持面部与摄 像机位置的相对固定。

(2)将人脸图像划分成19*19的网格；目标区域为痤疮区域。每个网格负责检测痤疮区 域中心在该网格上的痤疮区域。每个网格有一个标签，用于标记目标痤疮区域。

(3)检测前，先用大量的样本数据训练深度网络模型。如图2所示，训练时，使用在上 述环境下采集大量的病人样本，并用标记软件手动标记面部痤疮区域。选择合适的网络模型， 用标记好的数据训练该网络。痤疮检测时，将采集到的患者的左侧脸、正脸、右侧脸图像输 入到预先训练好的深度卷积神经网络模型中。将整张图像作为网络的输入，网络的输出为痤 疮区域的位置及面积大小信息。首先模型将图像分割成n*n的网格，本实施例中使用19*19 的网格，每个网格负责检测痤疮区域中心落在改网格内的痤疮。每个网格预测m个目标检测 框，本实施例设置每个网格预测3个目标检测框，m、n为自然数，每个目标检测框预测(x,y, w,h,c)5个信息，分别表示目标区域起始位置横坐标x、纵坐标y、目标区域宽度w、高度h 及该目标检测框的可靠度c即confidence信息。目标检测框的可靠度信息表示该目标检测框 内是否有目标区域以及目标区域位置预测的准确性。

可靠度confidence信息反映了模型对该网格的预测，包含两方面的信息：该网格内是否 有目标区域、目标检测框对目标区域预测的准确性，其计算方法如下：

其中P(obj)表示目标检测框内是否包含目标区域，若有目标区域，则为1；若无目标区域， 则为0。表示预测的目标区域与实际目标区域之间的重叠部分，若目标检测框内无目标 区域，则confidence为0，否则confidence表示预测目标区域与实际目标区域的交集比。

(4)如图3所示，筛选可靠度高的目标区域作为痤疮区域输出；预测信息中，需要进行 损失函数的设定，使坐标值(x,y,w,h)、c即confidence两方面达到平衡；

(a)对于一些不包含目标区域的网格，其confidence为0，相对有目标区域的网格误差 更大；

(b)目标区域的大小不一，较大的目标区域预测坐标的偏差对损失函数的影响更大，进 行损失函数的计算，筛选可靠度高的目标区域；

损失函数的计算方式如下：

L_all＝L_pos+L_conf

其中L_pos表示坐标值预测的误差，具体计算方法如下：

损失函数是引入的函数，用于判断识别区域的可靠度(负相关)。用来估量模型的预测值 f(x)与真实值Y的不一致程度，它是一个非负实值函数,通常使用L(Y,f(x))来表示，损失函数 越小，模型的鲁棒性就越好。其中λ_pos为位置误差的权值，权值由于选取的是CNN，因此此 处损失函数的权值范围为[-1,1]。一般通过正规化的高斯函数来设置权值，使随机的权值呈现 正态分布。S为每一行(列)的网格数，此处为19；B为每一个网格的目标框数目，此处为 3；表示第i个网格的第j个目标框内是否有目标区域，有目标区域为1，没有为0，考虑 到目标区域大小不一，为了平衡较大目标表区域和较小目标区域的误差，目标区域大小的误 差用其数值的平方根表示；分别表示已识别区域的横坐标、纵坐标、目标区 域宽度、高度的预测值。通过真实值和预测值之间相减确定误差值,由于目标区域的大小可能 不一，所以通过平方根的形式缩小数值.

L_conf表示可靠度预测的误差，具体计算方法如下：

其中，第一项用于计算含有目标区域的目标框的可靠度误差，第二项用于计算不含目标 区域的目标框的可靠度误差，C_i、分别表示预测目标区域、实际目标区域的交集比。即预 测的交集比和真实的交际比。

(5)检测完面部的全部痤疮区域后，系统统计所有痤疮区域的面积大小，此处直接使用 累加方式，并根据整个面部区域大小信息，对病人的痤疮程度进行全面的评估，通过面积比 率以及严重程度进行分类判断，为医生的诊断提供准确的辅助信息。

以上示意性地对本发明创造及其实施方式进行了描述，该描述没有限制性，在不背离本 发明的精神或者基本特征的情况下，能够以其他的具体形式实现本发明。附图中所示的也只 是本发明创造的实施方式之一，实际的结构并不局限于此，权利要求中的任何附图标记不应 限制所涉及的权利要求。所以，如果本领域的普通技术人员受其启示，在不脱离本创造宗旨 的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本专利的 保护范围。此外，“包括”一词不排除其他元件或步骤，在元件前的“一个”一词不排除包括 “多个”该元件。产品权利要求中陈述的多个元件也可以由一个元件通过软件或者硬件来实 现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (9)

1.一种基于深度学习的皮肤目标区域自动检测方法，步骤如下：

(1)在相对固定的环境下患者皮肤图像；

(2)将皮肤图像划分成n*n的网格；

(3)使用训练好的网络检测人脸图像，对每个网格预测m个目标检测框，预测每个目标检测框的目标区域起始位置横坐标x、纵坐标y、目标区域宽度w、高度h及该目标检测框的可靠度信息c；

(4)筛选可靠度高的目标区域作为目标区域输出；

(5)计算所有目标区域的面积，将数据进行输出。

2.根据权利要求1所述的一种基于深度学习的皮肤目标区域自动检测方法，其特征在于，针对于痤疮区域作为目标区域。

3.根据权利要求2所述的一种基于深度学习的皮肤目标区域自动检测方法，其特征在于，患者皮肤图像选取左侧脸、正脸、右侧脸图像，

4.根据权利要求1所述的一种基于深度学习的皮肤目标区域自动检测方法，其特征在于，n为19。

5.根据权利要求1或4所述的一种基于深度学习的皮肤目标区域自动检测方法，其特征在于，m为3。

6.根据权利要求1所述的一种基于深度学习的皮肤目标区域自动检测方法，其特征在于，步骤(2)划分的每个网格负责检测目标区域中心在该网格上的目标区域，每个网格设置有标签。

7.根据权利要求1所述的一种基于深度学习的皮肤目标区域自动检测方法，其特征在于，步骤(3)，预测可靠度信息c反映了模型对该网格的预测，包含两方面的信息：该网格内是否有目标区域、目标检测框对目标区域预测的准确性，其计算方法如下：

其中P(obj)表示目标检测框内是否包含目标区域，若有目标区域，则为1；若无目标区域，则为0，表示预测的目标区域与实际目标区域之间的重叠比，若目标检测框内无目标区域，则confidence为0，否则confidence表示预测目标区域与实际目标区域的交集比。

8.根据权利要求1所述的一种基于深度学习的皮肤目标区域自动检测方法，其特征在于，步骤(4)，预测信息中，对损失函数进行设定，使坐标值(x,y,w,h)、c即confidence两方面达到平衡；

(a)对于一些不包含目标区域的网格，其confidence为0，相对有目标区域的网格误差更大；

(b)目标区域的大小不一，较大的目标区域预测坐标的偏差对损失函数的影响更大，进行损失函数的计算，筛选可靠度高的目标区域；

9.根据权利要求8所述的一种基于深度学习的皮肤目标区域自动检测方法，其特征在于，步骤(4)，

损失函数的计算方式如下：

L_all＝L_pos+L_conf

其中L_pos表示坐标值预测的误差，具体计算方法如下：

其中λ_pos为位置误差的权值，范围[-1,1]；S为每一行(列)的网格数，此处为n；B为每一个网格的目标框数目，此处为m；表示第i个网格的第j个目标框内是否有目标区域，有目标区域为1，没有为0，考虑到目标区域大小不一，为了平衡较大目标区域和较小目标区域的误差，目标区域大小的误差用其数值的平方根表示；分别表示已识别区域的横坐标、纵坐标、目标区域宽度、高度的预测值；

L_conf表示可靠度预测的误差，具体计算方法如下：

其中，第一项用于计算含有目标区域的目标框的可靠度误差，第二项用于计算不含目标区域的目标框的可靠度误差，C_i、分别表示预测目标区域、实际目标区域的交集比。