CN112837304A - 一种皮肤检测方法、计算机存储介质及计算设备 - Google Patents

一种皮肤检测方法、计算机存储介质及计算设备 Download PDF

Info

Publication number
CN112837304A
CN112837304A CN202110183987.5A CN202110183987A CN112837304A CN 112837304 A CN112837304 A CN 112837304A CN 202110183987 A CN202110183987 A CN 202110183987A CN 112837304 A CN112837304 A CN 112837304A
Authority
CN
China
Prior art keywords
face
image
skin
training
skin detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110183987.5A
Other languages
English (en)
Other versions
CN112837304B (zh
Inventor
姜京池
王勃然
林奕
关毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202110183987.5A priority Critical patent/CN112837304B/zh
Publication of CN112837304A publication Critical patent/CN112837304A/zh
Application granted granted Critical
Publication of CN112837304B publication Critical patent/CN112837304B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种皮肤检测方法、计算机存储介质及计算设备，所述皮肤检测方法，包括：获取人脸图像以及获取所述人脸图像中的人脸肤色数据；根据所述人脸肤色数据和所述人脸图像生成人脸注意力图像；将所述人脸注意力图像和所述人脸肤色数据输入皮肤检测模型，得到皮肤问题检测结果。本发明的有益效果：便于进行全局更加准确地皮肤痤疮定级检测，使得皮肤检测结果更加标准规范，并且能够降低医生的工作量。

Description

一种皮肤检测方法、计算机存储介质及计算设备
技术领域
本发明涉及皮肤检测技术领域，具体而言，涉及一种皮肤检测方法、存储介质。
背景技术
人们的生活经常受到皮肤病的困扰，其中痤疮是最常见的皮肤病之一。痤疮不仅在人们青少时期尤为高发，大量成年人依旧受到这种疾病的困扰。大约80％的人在青少年期间患有患痤疮，其中3％的男性和12％的女性在他们成年以后仍然不能治愈。更严重的是，很多患者因为患有痤疮导致皮肤，如脸上留下伤疤、痘印和色素沉积，这些令得他们感到沮丧甚至在人际交往当中丧失自信。
痤疮严重程度定级是诊断与治疗过程中必不可少的步骤。通常医生对痤疮进行严重程度定级的方式有两种：初级皮肤科医生通常采用基于特定定级规范的痤疮皮损计数方式确定患者严重程度；资深皮肤科医生一般依据多年经验对痤疮患者的严重程度进行全局估计。然而，在医疗领域痤疮定级规范还没有形成统一，这意味着在不同国家甚至同一国家的不同地区，医生们往往采取着不同规范对皮损进行计数来进行严重程度定级或依据不同规范指导下形成的诊断经验进行全局估计定级。以此使得医生的工作量大，皮肤问题的定级不准确。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题，为达上述目的，第一方面，本发明提供了一种皮肤检测方法，包括：
获取人脸图像以及获取所述人脸图像中的人脸肤色数据；
根据所述人脸肤色数据和所述人脸图像生成人脸注意力图像；
将所述人脸注意力图像和所述人脸肤色数据输入皮肤检测模型，得到皮肤问题检测结果。
进一步地，所述获取人脸图像包括：
获取人脸原始图像；
去除所述人脸原始图像中背景部分；
确定所述人脸原始图像中人脸比例最高的子图像作为所述人脸图像。
进一步地，所述获取所述人脸图像中的人脸肤色数据包括：
确定所述人脸图像的人脸图像中心位置；
获取所述人脸图像中预设尺寸的子图块作为皮肤块，其中，所述皮肤块的中心位置与所述人脸图像中心位置重合；
根据所述皮肤块的图像像素点和图像通道生成所述人脸肤色数据。
进一步地，所述根据所述人脸肤色数据和所述人脸图像生成人脸注意力图像：
根据所述人脸图像和所述人脸肤色数据确定所述人脸图像中每个通道的像素值；
将所述人脸图像中每个通道的所述像素值进行归一化，得到归一化图像；
将所述归一化图像的所有像素点进行聚类分析；
根据所述聚类分析的结果重置所述人脸图像，得到所述人脸注意力图像。
进一步地，所述将所述人脸图像中每个通道的所述像素值进行归一化，得到归一化图像包括：
根据所述人脸图像中每个通道的所述像素值确定所述人脸图像的负方向和正方向中负方向最大差距和正方向最大差距；
根据所述负方向最大差距和所述正方向最大差距对像素值进行归一化，以使所述像素值归一化至【0,1】之间。
进一步地，所述人脸肤色数据包括人脸肤色向量；所述将所述归一化图像的所有像素点进行聚类分析包括：
通过k均值聚类算法将所述归一化图像的所有像素点进行聚类分析；
根据所述归一化图像的像素点所属簇的中心位置距离所述肤色向量的距离判断所述归一化图像的像素点的像素点类型，所述像素点类型包括皮肤像素点和噪声像素点；
所述根据所述聚类分析的结果重置所述人脸图像，得到所述人脸注意力图像包括：
当判定所述归一化图像的像素点为所述噪声像素点时，将所述噪声像素点重置为黑色像素点。
进一步地，所述皮肤检测模型通过如下方式进行训练，包括：
获取人脸训练图像、与所述人脸训练图像对应的人脸肤色训练数据以及与所述人脸训练图像对应的人脸皮肤问题严重程度的实际类别，其中，所述人脸皮肤问题严重程度包括多个类别；
将所述人脸训练图像和所述人脸肤色训练数据输入所述皮肤检测模型，得到输出结果；
根据所述输出结果以及所述实际类别确定损失函数；
根据所述损失函数更新所述皮肤检测模型的参数。
进一步地，所述损失函数包括交叉熵损失函数，所述根据所述输出结果以及所述实际类别确定损失函数包括：
根据所述人脸训练图像的数量和所述人脸训练图像的损失确定所述交叉熵损失函数，其中，根据判断所述人脸训练图像是否属于所述实际类别的判定结果，以及所述人脸训练图像对应所述人脸皮肤问题严重程度中各个类别的概率确定所述人脸训练图像的损失。
进一步地，所述各个类别的概率中的最大概率对应的人脸皮肤问题严重程度的类别为所述输出结果，通过所述输出结果判断所述人脸训练图像是否属于所述实际类别。
进一步地，所述皮肤检测模型包括VGG16网络和定级映射层；
所述VGG16网络用于根据所述人脸训练图像提取所述人脸训练图像的初级特征，所述定级映射层用于根据所述人脸训练图像的初级特征与所述人脸肤色训练数据得到输出结果，和/或，
所述皮肤检测模型的VGG16网络用于根据所述人脸注意力图像提取所述人脸注意力图像的初级特征，所述皮肤检测模型的定级映射层用于根据所述人脸注意力图像的初级特征与所述人脸肤色数据输出所述皮肤问题检测结果。
进一步地，所述根据所述损失函数更新所述皮肤检测模型的参数包括：
根据ImageNet预训练的参数将所述VGG16网络的参数初始化，和/或将所述定级映射层的参数随机初始化。
本发明所述的皮肤检测方法在获取作为皮肤检测模型的输入图像时，通过人脸肤色数据，如肤色向量对首先获得的人脸图像进行处理，以得到关于人脸的人脸注意力图像，进而将人脸注意力图像和人脸肤色数据同时作为皮肤检测模型的输入，通过对人脸图像进行处理，以排除人脸图像中不属于肤色的部分，而尽可能保留具有肤色的部分，以此提升皮肤检测模型对人脸核心区域的注意力，进而提高痤疮检测定级的准确度，并降低医生的工作量。
为达上述目的，第二方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上所述的皮肤检测方法。
本发明所述的计算机可读存储介质的有益效果与上述皮肤检测方法的有益效果相近似，在此不再进行赘述。
为达上述目的，第三方面，本发明提供了一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，当所述处理器执行所述程序时，实现如上的皮肤检测方法。
本发明所述的计算设备的有益效果与上述皮肤检测模型的训练方法，和/或上述的皮肤检测方法的有益效果相近似，在此不再进行赘述。
附图说明
图1为本发明实施例的皮肤检测方法的流程示意图；
图2为本发明实施例的通过皮肤检测模型进行训练和皮肤检测的方法架构图；
图3为本发明实施例的皮肤定级类别以及原始图像、人脸图像以及人脸图注意力图像的对比示意图；
图4为本发明实施例的皮肤检测模型的训练方法的流程示意图。
具体实施方式
下面将参照附图详细描述根据本发明的实施例，描述涉及附图时，除非另有表示，不同附图中的相同附图标记表示相同或相似的要素。要说明的是，以下示例性实施例中所描述的实施方式并不代表本发明的所有实施方式。它们仅是与如权利要求书中所详述的、本发明公开的一些方面相一致的装置和方法的例子，本发明的范围并不局限于此。在不矛盾的前提下，本发明各个实施例中的特征可以相互组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本说明书的描述中，参考术语“实施例”、“一个实施例”和“一个实施方式”等的描述意指结合该实施例或实施方式描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示实施方式中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或实施方式。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或实施方式以合适的方式结合。
参照图1所示本发明提出了一种皮肤检测方法，包括：
S11、获取人脸图像以及获取所述人脸图像中的人脸肤色数据；
S21、根据所述人脸肤色数据和所述人脸图像生成人脸注意力图像；
S31、将所述人脸注意力图像和所述人脸肤色数据输入皮肤检测模型，得到皮肤问题检测结果。
相关技术中，医生对痤疮进行严重程度定级的方式有两种：初级皮肤科医生通常采用基于特定定级规范的痤疮皮损计数方式确定患者严重程度；资深皮肤科医生一般依据多年经验对痤疮患者的严重程度进行全局估计。然而，在医疗领域痤疮定级规范还没有形成统一，这意味着在不同国家甚至同一国家的不同地区，医生们往往采取着不同规范对皮损进行计数来进行严重程度定级或依据不同规范指导下形成的诊断经验进行全局估计定级。以此使得医生的工作量大，皮肤问题的定级不准确。
参照图1和2所示，本发明实施例中，采用如上述的皮肤检测模型的训练方法进行皮肤痤疮问题的检测分级，在获取作为皮肤检测模型的输入图像时，通过人脸肤色数据，如肤色向量对首先获得的人脸图像进行处理，以得到关于人脸的人脸注意力图像，进而将人脸注意力图像和人脸肤色数据同时作为皮肤检测模型的输入，通过对人脸图像进行处理，以排除人脸图像中不属于肤色的部分，而尽可能保留具有肤色的部分，以此提升皮肤检测模型对人脸核心区域的注意力，进而提高痤疮检测定级的准确度，并降低医生工作量。参照图3所示，其包括人脸图像与人脸注意力图像的对比图。
在本发明的一个可选的实施例中，所述皮肤检测模型可采用如下所述的皮肤检测模型的训练方法训练获得，具体地：参照图4所示，本发明提出了一种皮肤检测模型的训练方法，其包括：
S1、获取人脸训练图像、与所述人脸训练图像对应的人脸肤色训练数据以及与所述人脸训练图像对应的人脸皮肤问题严重程度的实际类别，其中，所述人脸皮肤问题严重程度包括多个类别；
S2、将所述人脸训练图像和所述人脸肤色训练数据输入皮肤检测模型，得到输出结果；
S3、根据所述输出结果以及所述实际类别确定损失函数；
S4、根据所述损失函数更新所述皮肤检测模型的参数。
本发明实施例中，通过构建一皮肤检测模型并基于肤色训练数据对皮肤检测模型进行训练，以用于皮肤检测，具体可用于人体面部的痤疮检测和分级，其中，通过将人脸图像、人脸肤色以及人脸图像对应的皮肤问题严重程度的实际类别作为训练数据进行训练，通过融合人脸图像以及人脸肤色，以能够在用于皮肤检测定级时，感知肤色与皮损的差距，以便于进行全局更加准确地皮肤痤疮定级检测，使得皮肤检测结果更加标准规范，并且能够降低医生的工作量。
在本发明的一个可选的实施例中，所述皮肤检测模型包括VGG16网络和定级映射层，所述VGG16网络用于根据所述人脸训练图像提取所述人脸训练图像的初级特征，所述定级映射层用于根据所述人脸训练图像的初级特征与所述人脸肤色训练数据得到输出结果。
参照图2，其为本发明所述通过皮肤检测模型进行皮肤检测的方法架构图，其中，皮肤检测模型包括VGG16网络和定级映射层，VGG16网络包括 13层卷积层和3层全连接层，VGG16网络的输出层为1000维度并可包括一个Relu(a)＝max(0,a)激活函数，人脸肤色训练数据可为3个维度的肤色向量，定级映射层包含两层全连接层，其中，定级映射层的输入层为1003 维度对应VGG16网络的1000维度输出和3维度的肤色向量拼接，定级映射层的输出层的维度设置为人脸皮肤问题严重程度的类别数量，本实施例中，用于检测定级人脸痤疮问题时，即设置为痤疮严重程度的类别数量，参照图3所示，其中，类别可如轻度、中等、严重、非常严重等类别。以此，在皮肤检测模型进行训练时，VGG16网络用于获取人脸训练图像中的初级特征并输入至定级映射层，由此，定级映射层用于改进VGG16网络用于痤疮严重程度的检测定级任务，并能够将初级特征与肤色向量融合，最终得到输出结果。在皮肤检测模型用于皮肤检测定级时，即VGG16网络获取用于进行检测的人脸图像中的初级特征，并输入至定级映射层，定级映射层将初级特征与肤色向量融合，从而得到检测定级结果。
在皮肤检测模型进行训练和学习时，对于N个人脸训练图像、人脸肤色训练数据和人脸皮肤问题严重程度，可以以数据集的形式体现，如 (x1,s1,y1),…,(xN,sN,yN)，其中xi表示经过图像预处理后的注意力图像，si表示xi的肤色向量，yi表示样本xi对应的人脸皮肤问题严重程度的实际类别， yi∈{1,…,Z}，Z即表示人脸皮肤问题严重程度的类别数量，由此，对于输入至人脸检测模型的第i个人脸训练图像及肤色向量，可以确定其对应所述人脸皮肤问题严重程度中各个类别的概率
Figure BDA0002942281330000091
公式为：
Figure BDA0002942281330000092
其中，k∈{1,…,Z}，表示人脸皮肤问题严重程度的类别，ok是诊断模型输出层输出向量对应的第k类别的分数，在模型训练过程中，最大概率对应的人脸皮肤问题严重程度的类别即为模型的输出结果，也即图2中的预测结果，在人脸检测时，也即检测分级结果。其中，在模型训练过程中，根据模型的输出结果也能够与人脸训练图像所对应的实际类别进行对比，以判断模型的预测是否正确，从而用于训练。
在本发明的一个可选的实施例中，所述损失函数包括交叉熵损失函数，所述根据所述输出结果以及所述实际类别确定损失函数包括：
根据所述人脸训练图像的数量和所述人脸训练图像的损失确定所述交叉熵损失函数，其中，根据判断所述人脸训练图像是否属于所述实际类别的判定结果，以及所述人脸训练图像对应所述人脸皮肤问题严重程度中各个类别的概率确定所述人脸训练图像的损失。
本实施例中，在模型的训练和学习过程时，采用交叉熵损失函数计算预测的损失其中，交叉熵损失函数的计算公式为：
Figure BDA0002942281330000093
其中，N表示样本数量，Li表示第i个人脸训练图像的损失，
Figure BDA0002942281330000094
Figure BDA0002942281330000095
其中，
Figure BDA0002942281330000096
表示第i个人脸训练图像是否属于实际类别的判定结果，其可根据上述输出结果进行对比判定。以此进行损失函数的获取，进而使得模型的训练更加合理准确。
在本发明的一个可选的实施例中，在根据所述损失函数更新所述皮肤检测模型的参数以对人脸检测模型进行训练时，根据ImageNet预训练的参数将所述VGG16网络的参数初始化，和/或将所述定级映射层的参数随机初始化，以提高训练时收敛速度，并确保收敛于全局最优。
进一步地，可采用批梯度下降算法对皮肤检测模型进行训练，根据公式
Figure BDA0002942281330000101
更新皮肤检测模型中的参数，其中，θ表示皮肤检测模型的所有待训练参数，j与j+1表示训练轮数，α为学习率，可设置为[0,1]之间非常小的数。
在本发明的一个可选的实施例中，所述获取人脸图像包括：
获取人脸原始图像；
去除所述人脸原始图像中背景部分；
确定所述人脸原始图像中人脸比例最高的子图像作为所述人脸图像。
本实施例中，在对人脸图像获取首先获取人脸原始图像，由于人脸原始图像通常具有大量背景，而人脸只占图像的一部分，在进行皮肤检测时，会影响检测结果，因此获得人脸原始图像后，通过确定图像中人脸位置，以将人脸原始图像中除人脸外的背景部分，进而框选出剩余人脸比例最高的子图像作为所述人脸图像，以便于人脸注意力图像的快速获取，以及进一步提升皮肤检测的准确性，参照图3所示，其包括人脸原始图像与人脸图像的对比图。
可以理解，本发明中也可通过上述方法对用于人脸检测模型训练的人脸训练图像进行获取，以提高模型训练效果。
本发明的一个具体实施例中，可采用百度AI提供的人脸检测SDK接口实现准确高效的进行人脸检测。原始图像通过百度人脸检测SDK接口获得人脸部分的边界框，然后在原始图像中将边界框截取下一张子图作为所述人脸图像。
在本发明的一个可选的实施例中，所述获取所述人脸图像中的人脸肤色数据包括：
确定所述人脸图像的人脸图像中心位置；
获取所述人脸图像中预设尺寸的子图块作为皮肤块，其中，所述皮肤块的中心位置与所述人脸图像中心位置重合；
根据所述皮肤块的图像像素点和图像通道生成所述人脸肤色数据。
由于相机设备、亮度、光源、个体肤色、肤质的差异，用一个统一的标识方法表示所有图像中的人脸的肤色情况是非常困难且不合理的。本实施例中，通过上述实施例中获取人脸图像的方法获取的人脸图像正中心位置一般是人脸皮肤，其中，可通过人脸图像长和宽以确定其图像的正中心，具体地，对于一张RGB三通道彩色人脸图像xf，其图像正中心的位置的坐标形式为(i,j)，其中，
Figure BDA0002942281330000111
其中WIDTH(xf)表示人脸图像xf的图像宽度；HEIGHT(xf)表示人脸图像xf的图像高度；其中图像宽度和图像高度可向下取整数，即舍弃小数点部分取整数，以便于进行数据处理。
基于确定人脸图像的中心位置，截取一同样以中心位置为图像中心的子图块作为皮肤块，以此根据皮肤快能够确定人脸肤色数据。
其中，对于所截取的皮肤块的形状，可以截取为正方形的子图块作为皮肤块，以便于进行数据处理，并且，对于皮肤块的尺寸，可以根据设置一正整数k作为超参数，以将正整数k作为正方形皮肤块的边长进行截取，其中k∈[1,3,5,…,min(i,j)]，且根据人脸图像的尺寸进行对应选择和设定，具体地，人脸图像越大，可设定正整数k越大。
在得到以k为边长的正方形子图
Figure BDA0002942281330000112
作为皮肤块后，进而根据所述皮肤块的图像像素点和图像通道生成所述人脸肤色数据，具体地，本实施例中，生成的人脸肤色数据为表示人脸肤色的RGB三维肤色向量，其中肤色向量sx的计算公式为：
Figure BDA0002942281330000121
其中MEAN(·)表示对皮肤块中图像像素点按图像通道取平均，
Figure BDA0002942281330000122
表示子图的第i行、第j列元素。
由此，本实施例中，根据确定人脸图像的中心，以及确定皮肤块以及结合像素点和图像通道对人脸肤色数据进行确认，以能够针对不同的人脸图像给出适应性的人脸肤色数据，以此便于更加准确地进行人脸皮肤问题的检测和定级。
在本发明的一个可选的实施例中，在对皮肤检测模型进行训练时，也可通过上述方法获取人脸训练图像中的人脸肤色训练数据。
在本发明的一个可选的实施例中，所述根据所述人脸肤色数据和所述人脸图像生成人脸注意力图像：
根据所述人脸图像和所述人脸肤色数据确定所述人脸图像中每个通道的像素值；
将所述人脸图像中每个通道的所述像素值进行归一化，得到归一化图像；
将所述归一化图像的所有像素点进行聚类分析；
根据所述聚类分析的结果重置所述人脸图像，得到所述人脸注意力图像。
其中，所述将所述人脸图像中每个通道的所述像素值进行归一化，得到归一化图像具体包括：
根据所述人脸图像中每个通道的所述像素值确定所述人脸图像的负方向和正方向中负方向最大差距和正方向最大差距；
根据所述负方向最大差距和所述正方向最大差距对像素值进行归一化，以使所述像素值归一化至【0,1】之间。
人脸检测后的人脸图像中，虽然人脸占据很大图像比例，但在图像边缘仍然有少量背景，且头发、眉毛等部位都是对痤疮诊断过程没有意义的噪声信息，因此，在本实施例中，通过人脸肤色数据对人脸图像处理以生成人脸注意力图像。具体地，对于一张大小为w×h×3的RGB三通道彩色人脸检测图像xf和该对象对应的肤色向量sx＝(rx,gx,bx)，首先进行基于颜色的像素值归一化，归一化的公式包括：
x′f＝xf-sx
gmin＝MIN(x′f),gmax＝MAX(xf′)
Figure BDA0002942281330000131
Figure BDA0002942281330000132
式中，xf′表示将人脸图像xf的每个像素点的每个通道值减去肤色向量 sx每个通道值，从而使得其皮肤部分的像素值在0附近，而人脸图像中、头发、眉毛等噪声部分的像素值分布在距离0较远的正方向和负方向上，然后gmin和gmax分别为按照通道取得全图中负方向和正方向的最大差距，最终xscn的计算将负方向上的像素值和正方向上的像素值分别根据各自差距进行归一化，将所有像素值归一化至[0,1]之间。从而，肤色的分布在0 附近，而噪声的像素分布在大于0接近1附近，以便于对人脸图像的肤色像素和噪声像素进行确定。
进而，对于归一化后的图像xscn，对其所有像素点进行聚类分析，本发明的一个具体实施例中通过k均值(kmeans)聚类算法将所述归一化图像的所有像素点进行聚类分析。
具体地，可通过设置k值为2对肤色归一化后的图像xscn所有像素点进行聚类。在根据所述聚类分析的结果重置所述人脸图像时，对于聚类分析的结果，可包括判定人脸图像中像素点为皮肤像素点，或判定人脸图像中像素点为噪声像素点，当判定所述归一化图像的像素点为噪声像素点时，即可将噪声像素点重置为黑色像素点，进而得到人脸注意力图像。参照图3 所示，其包括人脸图像和人脸注意力图像的对比图。
在进行聚类分析时，可根据判断像素点距离肤色向量的距离，以此判断像素点是否为皮肤像素点或噪声像素点，以此得到聚类分析结果。在一可选的实施例中，根据所述归一化图像的像素点所属簇的中心位置距离所述肤色向量的距离判断所述归一化图像的像素点的像素点类型。
具体地，对于聚类结果，若像素点所属簇的中心位置距离肤色向量 (0,0,0)的距离更近，则该像素点被当做皮肤像素，否则像素被当做噪声像素。
其中，对于像素点与肤色向量的距离的计算公式可以为：
Figure BDA0002942281330000141
Figure BDA0002942281330000142
其中ai和bi分别表示肤色向量和像素点所对应的向量。
进而，根据聚类分析的结果对人脸图像xf以公式
Figure BDA0002942281330000143
Figure BDA0002942281330000144
进行重置，即获得人脸注意力图像，公式中，pf(i,j)表示人脸图像xf在第i行、第j列的像素向量；(0,0,0)表示RGB 图像中黑色像素点的向量。
在本发明的一个可选的实施例中，对于在对皮肤检测模型进行训练时，也可通过上述方法对图像进行处理，以得到用于输入至皮肤检测模型中的人脸训练图像中
在本发明的一个可选的实施例中，所述皮肤检测模型的VGG16网络用于根据所述人脸注意力图像提取所述人脸注意力图像的初级特征，所述皮肤检测模型的定级映射层用于根据所述人脸注意力图像的初级特征与所述人脸肤色数据输出所述皮肤问题检测结果。
本实施例中，皮肤检测模型包括VGG16网络和定级映射层，VGG16网络包括13层卷积层和3层全连接层，VGG16网络的输出层为1000维度并可包括一个Relu(a)＝max(0,a)激活函数，人脸肤色数据为3个维度的肤色向量，定级映射层包含两层全连接层，其中，定级映射层的输入层为1003维度对应VGG16网络的1000维度输出和3维度的肤色向量拼接，定级映射层的输出层的维度设置为人脸皮肤问题严重程度的类别数量，本实施例中，用于检测定级人脸痤疮问题时，即设置为痤疮严重程度的类别数量，参照在皮肤检测模型用于皮肤检测定级时，即VGG16网络获取用于进行检测的人脸图像中的初级特征，并输入至定级映射层，定级映射层将初级特征与肤色向量融合，从而得到所述皮肤问题检测结果。
参照图2所示，在本发明的一个可选的实施例中，对于输入至人脸检测模型中的用于训练的人脸训练图像或用于皮肤检测的人脸注意力图像，可将所述人脸训练图像或人脸注意力图进行尺度变换、随机裁剪、随机水平翻转和随机角度翻转以获得更多个人脸训练图像或人脸注意力图像，以此进行数据增强，给人脸检测模型的学习、训练和检测进行样本扩充，提高人脸检测模型的泛化能力。
本发明第二方面提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上所述的皮肤检测方法。
本发明所述的计算机可读存储介质的有益效果与上述皮肤检测方法的有益效果相近似，在此不再进行赘述。
一般来说，用于实现本发明方法的计算机指令的可以采用一个或多个计算机可读的存储介质的任意组合来承载。非临时性计算机可读存储介质可以包括任何计算机可读介质，除了临时性地传播中的信号本身。
计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言，特别是可以使用适于神经网络计算的Python语言和基于TensorFlow、PyTorch等平台框架。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
本发明第三方面提出了一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，当所述处理器执行所述程序时，实现如上所述的皮肤检测方法。
本发明所述的计算设备的有益效果与上述皮肤检测方法的有益效果相近似，在此不再进行赘述。
尽管上面已经示出和描述了本发明的实施例，应当理解的是，上述实施例是示例性的，不能解释为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (13)

1.一种皮肤检测方法，其特征在于，包括：
获取人脸图像以及获取所述人脸图像中的人脸肤色数据；
根据所述人脸肤色数据和所述人脸图像生成人脸注意力图像；
将所述人脸注意力图像和所述人脸肤色数据输入皮肤检测模型，得到皮肤问题检测结果。
2.根据权利要求1所述的皮肤检测方法，其特征在于，所述获取人脸图像包括：
获取人脸原始图像；
去除所述人脸原始图像中背景部分；
确定所述人脸原始图像中人脸比例最高的子图像作为所述人脸图像。
3.根据权利要求1所述的皮肤检测方法，其特征在于，所述获取所述人脸图像中的人脸肤色数据包括：
确定所述人脸图像的人脸图像中心位置；
获取所述人脸图像中预设尺寸的子图块作为皮肤块，其中，所述皮肤块的中心位置与所述人脸图像中心位置重合；
根据所述皮肤块的图像像素点和图像通道生成所述人脸肤色数据。
4.根据权利要求3所述的皮肤检测方法，其特征在于，所述根据所述人脸肤色数据和所述人脸图像生成人脸注意力图像：
根据所述人脸图像和所述人脸肤色数据确定所述人脸图像中每个通道的像素值；
将所述人脸图像中每个通道的所述像素值进行归一化，得到归一化图像；
将所述归一化图像的所有像素点进行聚类分析；
根据所述聚类分析的结果重置所述人脸图像，得到所述人脸注意力图像。
5.根据权利要求4所述的皮肤检测方法，其特征在于，所述将所述人脸图像中每个通道的所述像素值进行归一化，得到归一化图像包括：
根据所述人脸图像中每个通道的所述像素值确定所述人脸图像的负方向和正方向中负方向最大差距和正方向最大差距；
根据所述负方向最大差距和所述正方向最大差距对像素值进行归一化，以使所述像素值归一化至【0,1】之间。
6.根据权利要求4所述的皮肤检测方法，其特征在于，所述人脸肤色数据包括人脸肤色向量；所述将所述归一化图像的所有像素点进行聚类分析包括：
通过k均值聚类算法将所述归一化图像的所有像素点进行聚类分析；
根据所述归一化图像的像素点所属簇的中心位置距离所述肤色向量的距离判断所述归一化图像的像素点的像素点类型，所述像素点类型包括皮肤像素点和噪声像素点；
所述根据所述聚类分析的结果重置所述人脸图像，得到所述人脸注意力图像包括：
当判定所述归一化图像的像素点为所述噪声像素点时，将所述噪声像素点重置为黑色像素点。
7.根据权利要求1-6任一项所述的皮肤检测方法，其特征在于，所述皮肤检测模型通过如下方式进行训练，包括：
获取人脸训练图像、与所述人脸训练图像对应的人脸肤色训练数据以及与所述人脸训练图像对应的人脸皮肤问题严重程度的实际类别，其中，所述人脸皮肤问题严重程度包括多个类别；
将所述人脸训练图像和所述人脸肤色训练数据输入所述皮肤检测模型，得到输出结果；
根据所述输出结果以及所述实际类别确定损失函数；
根据所述损失函数更新所述皮肤检测模型的参数。
8.根据权利要求7所述的皮肤检测方法，其特征在于，所述损失函数包括交叉熵损失函数，所述根据所述输出结果以及所述实际类别确定损失函数包括：
根据所述人脸训练图像的数量和所述人脸训练图像的损失确定所述交叉熵损失函数，其中，根据判断所述人脸训练图像是否属于所述实际类别的判定结果，以及所述人脸训练图像对应所述人脸皮肤问题严重程度中各个类别的概率确定所述人脸训练图像的损失。
9.根据权利要求8所述的皮肤检测方法，其特征在于，所述各个类别的概率中的最大概率对应的人脸皮肤问题严重程度的类别为所述输出结果，通过所述输出结果判断所述人脸训练图像是否属于所述实际类别。
10.根据权利要求7所述的皮肤检测方法，其特征在于，所述皮肤检测模型包括VGG16网络和定级映射层；
所述VGG16网络用于根据所述人脸训练图像提取所述人脸训练图像的初级特征，所述定级映射层用于根据所述人脸训练图像的初级特征与所述人脸肤色训练数据得到输出结果，和/或，
所述皮肤检测模型的VGG16网络用于根据所述人脸注意力图像提取所述人脸注意力图像的初级特征，所述皮肤检测模型的定级映射层用于根据所述人脸注意力图像的初级特征与所述人脸肤色数据输出所述皮肤问题检测结果。
11.根据权利要求10所述的皮肤检测方法，其特征在于，所述根据所述损失函数更新所述皮肤检测模型的参数包括：
根据ImageNet预训练的参数将所述VGG16网络的参数初始化，和/或将所述定级映射层的参数随机初始化。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1-11中任一项所述的皮肤检测方法。
13.一种计算设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，当所述处理器执行所述程序时，实现如权利要求1-11中任一项所述的皮肤检测方法。
CN202110183987.5A 2021-02-10 2021-02-10 一种皮肤检测方法、计算机存储介质及计算设备 Active CN112837304B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110183987.5A CN112837304B (zh) 2021-02-10 2021-02-10 一种皮肤检测方法、计算机存储介质及计算设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110183987.5A CN112837304B (zh) 2021-02-10 2021-02-10 一种皮肤检测方法、计算机存储介质及计算设备

Publications (2)

Publication Number Publication Date
CN112837304A true CN112837304A (zh) 2021-05-25
CN112837304B CN112837304B (zh) 2024-03-12

Family

ID=75933426

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110183987.5A Active CN112837304B (zh) 2021-02-10 2021-02-10 一种皮肤检测方法、计算机存储介质及计算设备

Country Status (1)

Country Link
CN (1) CN112837304B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117392733A (zh) * 2023-12-11 2024-01-12 深圳市宗匠科技有限公司 一种痤疮分级检测方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104299011A (zh) * 2014-10-13 2015-01-21 吴亮 一种基于人脸图像识别的肤质与皮肤问题识别检测方法
CN109961426A (zh) * 2019-03-11 2019-07-02 西安电子科技大学 一种人脸皮肤肤质的检测方法
CN110008887A (zh) * 2019-03-29 2019-07-12 南京所由所以信息科技有限公司 一种基于深度学习的痤疮自动分级方法
CN111881789A (zh) * 2020-07-14 2020-11-03 深圳数联天下智能科技有限公司 肤色识别方法、装置、计算设备及计算机存储介质
US20210012493A1 (en) * 2019-07-10 2021-01-14 L'oreal Systems and methods to process images for skin analysis and to visualize skin analysis

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104299011A (zh) * 2014-10-13 2015-01-21 吴亮 一种基于人脸图像识别的肤质与皮肤问题识别检测方法
CN109961426A (zh) * 2019-03-11 2019-07-02 西安电子科技大学 一种人脸皮肤肤质的检测方法
CN110008887A (zh) * 2019-03-29 2019-07-12 南京所由所以信息科技有限公司 一种基于深度学习的痤疮自动分级方法
US20210012493A1 (en) * 2019-07-10 2021-01-14 L'oreal Systems and methods to process images for skin analysis and to visualize skin analysis
CN111881789A (zh) * 2020-07-14 2020-11-03 深圳数联天下智能科技有限公司 肤色识别方法、装置、计算设备及计算机存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YI LIN ET AL.: "An Acne Grading Framework on Face Images via Skin Attention and SFNet", 2021 IEEE INTERNATIONAL CONFERENCE ON BIOINFORMATICS AND BIOMEDICINE (BIBM), pages 2407 - 2414 *
温妮: "基于卷积神经网络的面部痤疮分级评估方法研究", 中国博士学位论文全文数据库 医药卫生科技辑, no. 02, pages 1 - 63 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117392733A (zh) * 2023-12-11 2024-01-12 深圳市宗匠科技有限公司 一种痤疮分级检测方法、装置、电子设备及存储介质
CN117392733B (zh) * 2023-12-11 2024-02-13 深圳市宗匠科技有限公司 一种痤疮分级检测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN112837304B (zh) 2024-03-12

Similar Documents

Publication Publication Date Title
CN109166130B (zh) 一种图像处理方法及图像处理装置
CN109409416B (zh) 特征向量降维方法和医学图像识别方法、装置及存储介质
Salido et al. Using deep learning to detect melanoma in dermoscopy images
Yan et al. Biometric recognition using 3D ear shape
JP3999964B2 (ja) 目を検出するマルチモードデジタル画像処理方法
US20160371539A1 (en) Method and system for extracting characteristic of three-dimensional face image
WO2021057423A1 (zh) 图像处理方法、图像处理装置以及存储介质
Garnavi et al. Automatic segmentation of dermoscopy images using histogram thresholding on optimal color channels
Lee et al. Markov random field models for hair and face segmentation
CN110111316B (zh) 基于眼部图像识别弱视的方法及系统
KR101301821B1 (ko) 안색 정보 생성 장치 및 그 방법, 안색 정보를 이용한 건강 상태 판단 장치 및 그 방법, 건강 분류 함수 생성 장치 및 그 방법
JP2017016593A (ja) 画像処理装置、画像処理方法、及びプログラム
US10362985B2 (en) Method and system for analyzing skin lesions
CN111666845B (zh) 基于关键帧采样的小样本深度学习多模态手语识别方法
KR20150072463A (ko) 안면 영상을 이용하는 건강 상태 판단 장치 및 건강 상태 판단 방법
CN111860169A (zh) 皮肤分析方法、装置、存储介质及电子设备
RU2768797C1 (ru) Способ и система для определения синтетически измененных изображений лиц на видео
CN111582278B (zh) 人像分割方法、装置及电子设备
CN112837304A (zh) 一种皮肤检测方法、计算机存储介质及计算设备
Khryashchev et al. Age estimation from face images: challenging problem for audience measurement systems
Zhang et al. Fuzzy support vector machine based on color modeling for facial complexion recognition in traditional Chinese medicine
JP7385046B2 (ja) 色斑予測方法、装置、設備及び記憶媒体
KR20240025797A (ko) 피부 진단 장치, 이를 포함하는 피부 진단 시스템 및 그 방법
Jiang et al. Skin wrinkles analysis based on digital image processing
US20230230277A1 (en) Object position estimation device, object position estimation method, and recording medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant