CN110956623B - 皱纹检测方法、装置、设备及计算机可读存储介质 - Google Patents

皱纹检测方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN110956623B
CN110956623B CN201911199203.7A CN201911199203A CN110956623B CN 110956623 B CN110956623 B CN 110956623B CN 201911199203 A CN201911199203 A CN 201911199203A CN 110956623 B CN110956623 B CN 110956623B
Authority
CN
China
Prior art keywords
image
wrinkle
skin
type
skin image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911199203.7A
Other languages
English (en)
Other versions
CN110956623A (zh
Inventor
王晶
周桂文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Shuliantianxia Intelligent Technology Co Ltd
Original Assignee
Shenzhen Shuliantianxia Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Shuliantianxia Intelligent Technology Co Ltd filed Critical Shenzhen Shuliantianxia Intelligent Technology Co Ltd
Priority to CN201911199203.7A priority Critical patent/CN110956623B/zh
Publication of CN110956623A publication Critical patent/CN110956623A/zh
Application granted granted Critical
Publication of CN110956623B publication Critical patent/CN110956623B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

本发明实施例涉及图像处理技术领域，具体涉及一种皱纹检测方法、装置、设备及计算机可读存储介质。该方法包括：获取由放大镜测肤仪器经白光成像生成的放大状态下的皮肤图像；采用基于深度学习的分类网络，识别所述皮肤图像的类型，其中，所述皮肤图像的类型包括皱纹图像；若所述皮肤图像为皱纹图像，提取所述皮肤图像中的皱纹区域，得到皱纹可视化图像。本发明实施例提高了皱纹识别准确度。

Description

皱纹检测方法、装置、设备及计算机可读存储介质
技术领域
本发明实施例涉及图像处理技术领域，具体涉及一种皱纹检测方法、装置、设备及计算机可读存储介质。
背景技术
随着人民生活水平的提升，很多人对于自己的皮肤状况也越来越关心，随之出现了测肤镜、测肤仪器等产品。若皮肤问题到了肉眼可见的地步，说明已经较为严重了，所以目前市面上出现了一些放大镜测肤仪器和多光谱测肤仪器，旨在更全面、更深层次的反应皮肤现状。现有技术中的皱纹检测方法均是针对全脸图像的检测方法，全脸图像中本身纹理看不清楚，皮肤纹理对检测的干扰小。
若将现有技术中针对全脸图像的检测方法用于放大镜测肤仪器，由于放大镜测肤仪器镜头下皮肤纹理清晰，该方法极易将皮肤纹理和不规则非皱纹区域误识别为皱纹，识别准确度不高。
发明内容
鉴于上述问题，本发明实施例提供了一种皱纹检测方法、装置、设备及计算机可读存储介质，提高了识别精度。
根据本发明实施例的一个方面，提供了一种皱纹检测方法，所述方法包括：
获取由放大镜测肤仪器经白光成像生成的放大状态下的皮肤图像；
采用基于深度学习的分类网络，识别所述皮肤图像的类型，其中，所述皮肤图像的类型包括皱纹图像；
若所述皮肤图像为皱纹图像，提取所述皮肤图像中的皱纹区域，得到皱纹可视化图像。
可选的，所述分类网络包括卷积神经网络，所述采用基于深度学习的分类网络，识别所述皮肤图像的类型进一步包括：
将所述皮肤图像输入图像分类模型，得到所述皮肤图像的类型，其中，所述图像分类模型是通过多组训练样本训练卷积神经网络模型得到的，所述训练样本包括由放大镜测肤仪器经白光成像生成的放大状态下的皮肤图像，所述训练样本的皮肤图像至少包括三种类型：皱纹图像、正常纹理图像和无纹理无皱纹图像。
可选的，所述将所述皮肤图像输入图像分类模型，得到所述皮肤图像的类型，进一步包括：
将所述皮肤图像输入图像分类模型；
通过所述图像分类模型推理得到每种图像类型的概率值；
从所述概率值中选择最大值对应的图像类型，作为所述皮肤图像的图像类型。
可选的，所述卷积神经网络模型为Mobilenet模型、VGG模型或Inception模型。
可选的，所述提取所述皮肤图像中的皱纹区域，得到皱纹可视化图像，进一步包括：
对所述皮肤图像进行灰度处理；
对灰度处理后的图像采用自适应阈值算法进行阈值化处理，得到二值化的黑白图像；
对所述黑白图像进行膨胀腐蚀处理，标定出皱纹特征区域；
对标定出的所述皱纹特征区域进行椭圆拟合，根据非皱纹去除规则去除非皱纹特征区域，得到所述皱纹可视化图像。
可选的，所述根据非皱纹去除规则去除非皱纹特征区域，进一步包括：
去除椭圆拟合后满足第一条件的皱纹特征区域，其中，所述第一条件为：椭圆短边小于第一阈值、椭圆面积大于第二阈值以及椭圆长边和椭圆短边的比值小于第三阈值中的任意一个。
可选的，所述得到皱纹可视化图像，进一步包括：
将去除非皱纹特征区域后剩下的皱纹特征区域叠加于所述皮肤图像，得到皱纹可视化图像。
根据本发明实施例的另一方面，提供了一种皱纹检测装置，所述装置包括：
获取模块，用于获取由放大镜测肤仪器经白光成像生成的放大状态下的皮肤图像；
识别模块，用于采用基于深度学习的分类网络，识别所述皮肤图像的类型，其中，所述皮肤图像的类型包括皱纹图像；
提取模块，用于若所述皮肤图像为皱纹图像，提取所述皮肤图像中的皱纹区域，得到皱纹可视化图像。
根据本发明实施例的另一方面，提供了一种皱纹检测设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行根据上述皱纹检测方法的步骤。
根据本发明实施例的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行上述皱纹检测方法的步骤
本发明实施例通过对放大镜测肤仪器采集的皮肤图像使用深度学习方法进行分类，确定为皱纹图像后再提取皱纹，避免将皮肤纹理和不规则区域误识别为皱纹，避免了正常纹理及皮肤不规则区域的干扰，提高了识别准确度。
上述说明仅是本发明实施例技术方案的概述，为了能够更清楚了解本发明实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本发明实施例的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1a示出了放大镜测肤仪器下标准皱纹图像；
图1b示出了放大镜测肤仪器下无皱纹无纹理图像；
图1c示出了放大镜测肤仪器下纹理图像；
图2示出了本发明实施例提供的皱纹检测方法的流程图
图3a示出了本发明实施例中灰度处理后的图像
图3b示出了本发明实施例中二值化的黑白图像；
图3c示出了本发明实施例中膨胀腐蚀后的图像；
图3d示出了本发明实施例中去除非皱纹区域后得到的皱纹可视化图像；
图4示出了图2中步骤230的流程图；3
图5示出了本发明实施例提供的皱纹检测装置的功能框图；
图6示出了本发明实施例提供的皱纹检测设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
测肤仪器用于检测人体皮肤状况，主要应用于美容、医疗等领域。而放大镜测肤仪器可以将皮肤放大数倍后呈现，因此可以更全面、更深层次的反应皮肤现状。如图1a-图1c所示，为某款三光谱70倍放大镜测肤仪的成像，其中图1a为放大镜测肤仪器下标准皱纹图像，皱纹是表层现状，利用白光成像即可；图1b为放大镜测肤仪器下无皱纹无纹理图像；图1c为放大镜测肤仪器下纹理图像。可以理解的是，放大镜测肤仪的成像图一般为彩色图，由于专利申请文件的要求，本申请中提供的这些附图均显示为非彩色图。
本发明实施例提供的皱纹检测方法用于检测放大镜测肤仪器生成的皮肤图像中的皱纹。本发明实施例提供的皱纹检测方法可以直接应用于放大镜测肤仪器，也可以应用于另一图像分析设备，该图像分析设备与放大镜测肤仪器之间通信连接，可以从放大镜测肤仪器获取由该放大镜测肤仪器经白光成像生成的放大状态下的皮肤图像，并对该皮肤图像进行皱纹检测。图像分析设备可以为计算机或服务器等。
图2示出了本发明实施例提供的皱纹检测方法的流程图，如图2所示，该方法包括以下步骤：
步骤210：获取由放大镜测肤仪器经白光成像生成的放大状态下的皮肤图像。
其中，皮肤图像为放大镜测肤仪器采集的白光图像，且放大了一定倍数，呈现放大状态下的皮肤状态。放大状态下的皮肤图像可以在后续步骤中由分类模型区分出皱纹、纹理等皮肤特征。
步骤120：采用基于深度学习的分类网络，识别皮肤图像的类型，其中，皮肤图像的类型包括皱纹图像。
皮肤图像的类型有：皱纹图像、正常纹理图像和无纹理无皱纹图像。确定皮肤图像属于其中的哪种类型，属于分类问题。本发明实施例中，可以采用深度学习方法进行分类，训练图像分类模型后，将皮肤图像输入图像分类模型，使用模型推理得到皮肤图像的类型。深度学习可以学习样本数据的内在规律和表示层次，使其能够识别图像等数据。
本步骤中的图像分类模型是通过多组训练样本训练卷积神经网络(Convolutional Neural Networks,CNN)模型得到的，训练样本包括由放大镜测肤仪器经白光成像生成的放大状态下的皮肤图像，训练样本的皮肤图像至少包括三种类型：皱纹图像、正常纹理图像和无纹理无皱纹图像。
该卷积神经网络模型为Mobilenet模型、VGG模型或Inception模型。识别时，将目标图像输入图像分类模型，通过图像分类模型推理得到每种图像类型的概率值，从概率值中选择最大值对应的图像类型，作为皮肤图像的图像类型。
CNN包括输入层、卷积层、池化层以及全连接层。输入层一般通过三维矩阵代表图片的像素矩阵，三维矩阵的长、宽代表图像的大小，三维矩阵的深度代表图像的色彩通道。卷积层是CNN中最为重要的部分，卷积层中每一个节点的输入是输入层中的一小块，小块常用的大小有3×3或者5×5。一般而言通过卷积层处理过的节点矩阵会变的更深。池化层不改变三维矩阵的深度，但是可以缩小矩阵的大小，可以将一张分辨率高的图片转化为分辨率较低的图片。通过池化层可以进一步缩小最后全连接层中节点的个数，从而达到减少整个神经网络参数的目的。全连接层为CNN的最后一层，激活函数可使用softmax，可以得到样本属于各个类别的概率分布情况。卷积层和池化层可以设计多轮，经过多轮卷积层和池化层的处理后，在CNN的最后一般由1到2个全连接层来给出最后的分类结果。
在训练前，首先构建CNN模型，并进行权值的初始化。然后获取训练样本集合，训练样本集合包括样本图像以及样本图像对应的类型标签(可以是数字，如1、2、3；也可以是字母，如A、B、C，本发明实施例以皱纹图像、正常纹理图像和无纹理无皱纹图像的标签分别为1、2和3为例进行说明)，每个样本图像均为放大镜测肤仪器经白光成像生成的放大状态下的皮肤图像。将样本图像经过卷积层、池化层的卷积和池化处理，提取特征向量，将特征向量传入全连接层中，通过全连接层进行分类，得出样本图像属于每个图像类型的概率值，概率值中最大值对应的图像类型为预测结果。以上为前向传播过程。
当CNN的预测结果与样本图像的实际图像类型不相符时，则进行反向传播过程。数据从输入层到输出层，期间经过了卷积层、池化层、全连接层，而数据在各层之间传递的过程中难免会造成数据的损失，则也就导致了误差的产生，每一层造成的误差值是不一样的。所以，当求出CNN的总误差之后，需要将误差传入CNN中，求得各层对于总的误差应该承担多少比重。因此，在反向传播时，先求出输出值与目标值之间的误差，再将误差一层一层的返回，计算出每一层的误差，根据误差进行每一层的权值更新。然后继续执行样本输入和输出的训练过程。当误差等于或小于期望值时，结束训练，获得图像分类模型。
关于全连接层以及误差计算过程具体如下：
卷积和池化处理后得到特征向量X[N*1]，也即N*1的矩阵，作为全连接层的输入。可以理解的是，X不一定为[N*1]，可以为[S*P]，本文为了便于理解计算，把向量拉直为SP*1，即N*1，N＝SP。假设卷积池化后的输出是100个特征，每个特征的大小是4*4，那么在将这些特征输入给全连接层之前，会将这些特征扁平化为N*1的向量(此时N为100*4*4＝1600)。
全连接层的权值为W[T*N]，也即T*N的矩阵，其中T由图像类型的数量决定，比如本发明实施例中的输出为3个类，则T＝3。经过全连接层后的每个输出值就是每个类别的概率。
W和X运算后得到[T*1]的向量z。接下来通过全连接层的激活函数softmax进行归一化处理，将T个输入映射为T种图像类型的概率。Softmax函数如下：
softmax的损失函数(也称为误差函数)为：
L是损失，Si是softmax的输出向量S的第i个值，表示该样本图像属于第i个类别的概率。y是1*T的向量，里面的T个值中只有真实标签对应的位置的该值为1，其他T-1个值都为0。所以结果为：
L＝-logSi
i指向当前样本图像的真实标签。本发明实施例为3分类问题，样本I的标签y＝[1,0,0]，也就是说样本I的真实标签是1，为皱纹图像。假设模型预测的结果概率(softmax的输出)s＝[0.7,0.2,0.1]，则该预测是对的，对应的损失L＝-log(0.7)，也就是当该样本经过该网络参数产生预测s时，它的损失是-log(0.7)。假设s＝[0.1,0.5,0.4]，该预测结果不准确，因为真实标签是1，而该预测结果认为该样本图像是1的概率只有0.1，对应损失L＝-log(0.1)。假设p＝[0.3,0.5,0.2]，这个预测结果虽然也不准确，但是比前面那个稍好，对应的损失L＝-log(0.3)。log函数在输入小于1的时候是个负数，而且log函数是递增函数，所以-log(0.7)＜-log(0.3)＜-log(0.1)。如果损失值不符合要求(损失值的要求可根据实际数据进行调整，例如设置为低于-log(0.95))，则进入反向传播过程，将损失值以梯度形式，逐层反向传回，并更新权值，反复运行正向传播和反向传播，知道损失值符合要求，即训练好该图像分类模型。
步骤230：若皮肤图像为皱纹图像，提取皮肤图像中的皱纹区域，得到皱纹可视化图像。
如图4所示，提取皮肤图像中的皱纹区域进一步包括如下步骤：
步骤410：对皮肤图像进行灰度处理；
为了方便后续的二值化操作，可以对皮肤图像进行灰度处理。例如，获取的皮肤图像为三通道的RGB图像，本步骤将三通道的RGB图像转换为单通道的灰度图像。在将RGB图像中，包含R、G、B三个通道的分量，RGB图像由这三个通道的分量合成。每一个分量中的每一个像素点对应于一个取值，不同分量中相应的像素点取值可能相同，也可能不同，该取值用于表示该像素点的颜色，取值范围介于0和255之间。其中，0表示该像素点的颜色为黑色，255表示该像素点的颜色为白色。灰度图像中相应像素点的值是根据三个分量中相应像素点的比重进行确定。在一种实施方式中，三个分量中相应像素点的比重相同，将三个分量相应的像素点取均值，得到灰度图像中该像素点的值。应理解，如果获取到的皮肤图像为单通道的灰度图像，则不需要进行上述转换，直接进行后续步骤。处理后的图像如图3a所示。
步骤420：对灰度处理后的图像采用自适应阈值算法进行阈值化处理，得到二值化的黑白图像；
提取皱纹特征区域，需要预先将图像转换为黑白图像。皱纹部分为高光区域，在黑白图像中表现为白色，方便进行提取。从灰度图像获得黑白图像的过程通常称为阈值化。阈值化可以理解为对比度增强的极端形式，或者说阈值化使得亮的像素更亮，暗的像素更暗。阈值化的方式有多种，但基本的处理过程均为：检查每一个灰度像素，决定其为白色还是黑色。最简单和最常用的方法是将图像中低于某个阈值的像素设置为黑色，而其他的设置为白色。
目前常用的有基于直方图的全局阈值方法，其对于光线条件均匀或光线变化不多的部分图像处理效果很好，但是对于光线条件不均匀、光线变化较大或者一定范围内颜色差异不太明显的情况下无法获得满意的结果，原因为若对整个图像使用一个相同的阈值，图像的部分区域将变得太白而其他地区又太黑。
由于本发明实施例需要检测的皮肤图像为一定范围内颜色差异不太明显的图像，皱纹本身并不具备颜色，只是由于其特定的轮廓使得白光下呈现出比周围更亮的效果。本实施例中，采用快速自适应阈值法，可以根据每个像素的背景亮度来改变阈值，或者根据每个像素的背景亮度来改变实际像素。例如在放大镜测肤仪器拍摄皮肤图像前在相同的光照条件下先拍摄一张空白的页面，将该空白的页面当做参考图像，也即将该参考图像中某个像素点的亮度作为后续拍摄的皮肤图像的背景亮度。对于每一个要处理的像素，在处理前减去对应的参考图像像素，或者将全局阈值增加对应的参考图像像素得到该像素的局部阈值，利用图像局部阈值替换全局阈值进行图像计算，获得效果较好的二值化黑白图像。例如，全局阈值为128，低于128的像素为黑色，高于128的像素为白色，当某个像素为130，其对应的参考图像像素为50时，第一种方式是将130减去50得到80，将80与全局阈值128进行比较，确定该像素为黑色；第二种方式是将全局阈值128增加50得到178，将130与局部阈值178进行比较，确定该像素为黑色。还可采用最大类间方差法进行自适应的阈值确定，其又叫大津法，简称OTSU。二值化的黑白图像如图3b所示。
步骤430：对黑白图像进行膨胀腐蚀处理，标定出皱纹特征区域；
图像的膨胀(Dilation)和腐蚀(Erosion)是两种基本的形态学运算，主要用来寻找图像中的极大区域和极小区域。其中膨胀类似于“领域扩张”，将图像中的高亮区域或白色部分进行扩张，其运行结果图比原图的高亮区域更大；腐蚀类似于“领域被蚕食”，将图像中的高亮区域或白色部分进行缩减细化，其运行结果图比原图的高亮区域更小。
关于膨胀处理的过程可参考如下；
例如，像素点的值为1代表白色，像素点的值为0代表黑色。用B来对图像A进行膨胀处理，其中B是一个卷积模板或卷积核，其形状可以为正方形或圆形，通过模板B与图像A进行卷积计算，扫描图像中的每一个像素点。被扫描到的原始图像中的像素点，当卷积核对应的区域的元素的像素值只要有一个为1时，该像素点的值就为1，否则该像素点的值为0。也即，遍历到的位置，只要其自身或者周围有1个白色像素点时，将该点也保持白色或者变为白色，否则将其保留黑色或者变为黑色，白色区域扩大，实现图像膨胀。
关于腐蚀处理的过程可参考如下；
例如，像素点的值为1代表白色，像素点的值为0代表黑色。图像A用卷积模板B来进行腐蚀处理，其中B是一个卷积模板或卷积核，其形状可以为正方形或圆形，通过模板B与图像A进行卷积计算，扫描图像中的每一个像素点。被扫描到的原始图像中的像素点，当卷积核对应的区域的元素的像素值均为1时，该像素点的值才为1，否则该像素点的值为0。也即，遍历到的位置，只有其自身以及周围全部为白色时，该点才保持白色，否则将其保留黑色或者变为黑色，白色区域减小，实现图像腐蚀。
本步骤中，对二值化后的黑白图像先膨胀再腐蚀，这一过程也称为闭运算，可以填充白色部分内部的细小空洞，以及连接邻近的白色部分和平滑边界。膨胀腐蚀后的图像如图3c所示。
步骤440：对标定出的皱纹特征区域进行椭圆拟合，根据非皱纹去除规则去除非皱纹特征区域，得到皱纹可视化图像。
椭圆拟合的基本思路为：对于给定平面上的一组样本点，寻找一个椭圆，使其尽可能靠近这些样本点。也即将图像中的一组数据以椭圆方程为模型进行拟合，使某一椭圆方程尽量满足这些数据。本步骤中，对标定出的每个白色区域(也即初步标定出的皱纹特征区域)进行椭圆拟合，拟合方法可以采用最小二乘法。例如，采用最小二乘算法构造方程，使用拉格朗日乘子进行求解，具体步骤如下：
椭圆方程为：Ax2+Bxy+Cy2+Dx+Ey+F＝0
令W＝[A,B,C,D,E,F]T，X＝[x2,xy,y2,x,y,1]，于是椭圆方程可以表示为WX＝1，则椭圆拟合的最优化问题为：
min||WTX||2＝WTXXTW
s.t.WTHW＞0
其中，W表示椭圆方程的参数，H为矩阵常数。
WTHW＞0是椭圆参数约束。
由于||WTX||2＝0时，W可以有一个缩放因子，因此使WTHW＝1；
于是椭圆拟合的最优化问题变为：
min||WTX||2＝WTXXTW
s.t.WTHW＝1
构造拉格朗日函数，引入拉格朗日因子λ，得到如下等式方程：
L(W,λ)＝WTXXTW-λ(WTHW-1)
对其求导得零：
即：
令S＝XXT，则SW＝λHW，通过求解广义特征向量可以得到6个可能的备选W。然后需要用到WTHW＝1这个条件来筛选合格的W。由于uW也满足SuW＝λHuW，要使uWTHuW＝1则由于S是正定矩阵，所以λ＞0。因此在特征值大于0的特征向量里面选出那些实特征向量即可满足要求，并计算对应的缩放系数u，即可作为椭圆拟合的方程解。
本实施例中，针对脸部皮肤图像进行皱纹检测，椭圆短边太短、椭圆面积过大、或椭圆短边和椭圆长边太接近(也即椭圆近似于正方形)的都不认为是皱纹。因此，本实施例中非皱纹去除规则为：椭圆短边小于第一阈值、椭圆面积大于第二阈值或者椭圆长边和椭圆短边的比值小于第三阈值。因此，若椭圆拟合后的皱纹特征区域满足：椭圆短边小于第一阈值、椭圆面积大于第二阈值以及椭圆长边和椭圆短边的比值小于第三阈值中的任意一个，则去除该皱纹特征区域。例如，第一阈值的范围为15-25像素，优选为20像素，第二阈值的范围为2800-3200像素，优选为3000像素，第三阈值为1.6-1.7，优选为1.5。以上数值范围为经过数个样本测试后可以满足皱纹检测结果的数值范围，其中优选数值为皱纹检测结果最优的数值。
最后，将去除非皱纹特征区域后剩下的皱纹特征区域叠加于原始的皮肤图像，得到皱纹可视化图像。去除非皱纹区域后得到的皱纹可视化图像如图3d所示。可以理解的是，皱纹可视化图像一般为彩色图，由于专利申请文件的要求，本申请中提供的皱纹可视化图像显示为非彩色图。
本发明实施例通过对放大镜测肤仪器采集的皮肤图像使用深度学习方法进行分类，确定为皱纹图像后再提取皱纹，避免将皮肤纹理和不规则区域误识别为皱纹，避免了正常纹理及皮肤不规则区域的干扰，提高了识别准确度。
图5示出了本发明实施例提供的皱纹检测装置的结构示意图。如图5所示，该装置500包括：获取模块510、识别模块520和提取模块530。其中，获取模块510用于获取由放大镜测肤仪器经白光成像生成的放大状态下的皮肤图像；识别模块520用于采用基于深度学习的分类网络，识别所述皮肤图像的类型；提取模块530用于若所述皮肤图像为皱纹图像，提取所述皮肤图像中的皱纹区域，得到皱纹可视化图像。
可选的，所述分类网络包括卷积神经网络，所述识别模块520进一步用于：
将所述皮肤图像输入图像分类模型，得到所述皮肤图像的类型，其中，所述图像分类模型是通过多组训练样本训练卷积神经网络模型得到的，所述训练样本包括由放大镜测肤仪器经白光成像生成的放大状态下的皮肤图像，所述训练样本的皮肤图像至少包括三种类型：皱纹图像、正常纹理图像和无纹理无皱纹图像。
可选的，所述将所述皮肤图像输入图像分类模型，得到所述皮肤图像的类型，进一步包括：
将所述皮肤图像输入图像分类模型；
通过所述图像分类模型推理得到每种图像类型的概率值；
从所述概率值中选择最大值对应的图像类型，作为所述皮肤图像的图像类型。
可选的，所述卷积神经网络模型为Mobilenet模型、VGG模型或Inception模型。
可选的，所述提取模块530进一步用于：
对所述皮肤图像进行灰度处理；
对灰度处理后的图像采用自适应阈值算法进行阈值化处理，得到二值化的黑白图像；
对所述黑白图像进行膨胀腐蚀处理，标定出皱纹特征区域；
对标定出的所述皱纹特征区域进行椭圆拟合，根据非皱纹去除规则去除非皱纹特征区域，得到所述皱纹可视化图像。
可选的，所述根据非皱纹去除规则去除非皱纹特征区域，进一步包括：
去除椭圆拟合后满足第一条件的皱纹特征区域，其中，所述第一条件为：椭圆短边小于第一阈值、椭圆面积大于第二阈值以及椭圆长边和椭圆短边的比值小于第三阈值中的任意一个。
可选的，所述得到皱纹可视化图像，进一步包括：
将去除非皱纹特征区域后剩下的皱纹特征区域叠加于所述皮肤图像，得到皱纹可视化图像。
本发明实施例通过对放大镜测肤仪器采集的皮肤图像使用深度学习方法进行分类，确定为皱纹图像后再提取皱纹，避免将皮肤纹理和不规则区域误识别为皱纹，避免了正常纹理及皮肤不规则区域的干扰，提高了识别准确度。
本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的一种皱纹检测方法。
本发明实施例提供了一种计算机程序，所述计算机程序可被处理器调用使皱纹检测设备执行上述任意方法实施例中的皱纹检测方法。
本发明实施例提供了一种计算机程序产品，计算机程序产品包括存储在计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令在计算机上运行时，使得所述计算机执行上述任意方法实施例中的皱纹检测方法。
图6示出了本发明实施例提供的皱纹检测设备的结构示意图，本发明具体实施例并不对皱纹检测设备的具体实现做限定。
如图6所示，该皱纹检测设备可以包括：处理器(processor)602、通信接口(Communications Interface)604、存储器(memory)606、以及通信总线608。
其中：处理器602、通信接口604、以及存储器606通过通信总线608完成相互间的通信。通信接口604，用于与其它设备比如服务器等通信。处理器602，用于执行程序610，具体可以执行上述用于皱纹检测方法实施例中的相关步骤。
具体地，程序610可以包括程序代码，该程序代码包括计算机操作指令。
处理器602可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。皱纹检测设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器606，用于存放程序610。存储器606可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序610具体可以用于使得处理器602执行以下操作：
获取由放大镜测肤仪器经白光成像生成的放大状态下的皮肤图像；
采用基于深度学习的分类网络，识别所述皮肤图像的类型，其中，所述皮肤图像的类型包括皱纹图像；
若所述皮肤图像为皱纹图像，提取所述皮肤图像中的皱纹区域，得到皱纹可视化图像。
可选的，所述分类网络包括卷积神经网络，程序610具体还可以用于使得处理器602执行以下操作：
将所述皮肤图像输入图像分类模型，得到所述皮肤图像的类型，其中，所述图像分类模型是通过多组训练样本训练卷积神经网络模型得到的，所述训练样本包括由放大镜测肤仪器经白光成像生成的放大状态下的皮肤图像，所述训练样本的皮肤图像至少包括三种类型：皱纹图像、正常纹理图像和无纹理无皱纹图像。
可选的，程序610具体还可以用于使得处理器602执行以下操作：
将所述皮肤图像输入图像分类模型；
通过所述图像分类模型推理得到每种图像类型的概率值；
从所述概率值中选择最大值对应的图像类型，作为所述皮肤图像的图像类型。
可选的，所述卷积神经网络模型为Mobilenet模型、VGG模型或Inception模型。
可选的，程序610具体还可以用于使得处理器602执行以下操作：
对所述皮肤图像进行灰度处理；
对灰度处理后的图像采用自适应阈值算法进行阈值化处理，得到二值化的黑白图像；
对所述黑白图像进行膨胀腐蚀处理，标定出皱纹特征区域；
对标定出的所述皱纹特征区域进行椭圆拟合，根据非皱纹去除规则去除非皱纹特征区域，得到皱纹可视化图像。
可选的，程序610具体还可以用于使得处理器602执行以下操作：
若椭圆拟合后的皱纹特征区域满足：椭圆短边小于第一阈值、椭圆面积大于第二阈值以及椭圆长边和椭圆短边的比值小于第三阈值中的任意一个，则去除该皱纹特征区域。
可选的，程序610具体还可以用于使得处理器602执行以下操作：
将去除非皱纹特征区域后剩下的皱纹特征区域叠加于所述皮肤图像，得到皱纹可视化图像。
本发明实施例通过对放大镜测肤仪器采集的皮肤图像使用深度学习方法进行分类，确定为皱纹图像后再提取皱纹，避免将皮肤纹理和不规则区域误识别为皱纹，避免了正常纹理及皮肤不规则区域的干扰，提高了识别准确度。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤，除有特殊说明外，不应理解为对执行顺序的限定。

Claims (6)

1.一种皱纹检测方法，其特征在于，所述方法包括：
获取由放大镜测肤仪器经白光成像生成的放大状态下的皮肤图像；
采用基于深度学习的分类网络，识别所述皮肤图像的类型，其中，所述皮肤图像的类型包括皱纹图像；所述分类网络包括卷积神经网络，所述采用基于深度学习的分类网络，识别所述皮肤图像的类型包括：将所述皮肤图像输入图像分类模型，得到所述皮肤图像的类型，其中，所述图像分类模型是通过多组训练样本训练卷积神经网络模型得到的，所述训练样本包括由放大镜测肤仪器经白光成像生成的放大状态下的皮肤图像，所述训练样本的皮肤图像至少包括三种类型：皱纹图像、正常纹理图像和无纹理无皱纹图像；
若所述皮肤图像为皱纹图像，提取所述皮肤图像中的皱纹区域，得到皱纹可视化图像；其中，所述提取所述皮肤图像中的皱纹区域，得到皱纹可视化图像，进一步包括：对所述皮肤图像进行灰度处理；对灰度处理后的图像采用自适应阈值算法进行阈值化处理，得到二值化的黑白图像；对所述黑白图像进行膨胀腐蚀处理，标定出皱纹特征区域；对标定出的所述皱纹特征区域进行椭圆拟合，根据非皱纹去除规则去除非皱纹特征区域，得到所述皱纹可视化图像；其中，所述根据非皱纹去除规则去除非皱纹特征区域，进一步包括：去除椭圆拟合后满足第一条件的皱纹特征区域，其中，所述第一条件为：椭圆短边小于第一阈值、椭圆面积大于第二阈值以及椭圆长边和椭圆短边的比值小于第三阈值中的任意一个；所述得到皱纹可视化图像，进一步包括：将去除非皱纹特征区域后剩下的皱纹特征区域叠加于所述皮肤图像，得到皱纹可视化图像。
2.根据权利要求1所述的方法，其特征在于，所述将所述皮肤图像输入图像分类模型，得到所述皮肤图像的类型，进一步包括：
将所述皮肤图像输入图像分类模型；
通过所述图像分类模型推理得到每种图像类型的概率值；
从所述概率值中选择最大值对应的图像类型，作为所述皮肤图像的图像类型。
3.根据权利要求1所述的方法，其特征在于，所述卷积神经网络模型为Mobilenet模型、VGG模型或Inception模型。
4.一种皱纹检测装置，其特征在于，所述装置包括：
获取模块，用于获取由放大镜测肤仪器经白光成像生成的放大状态下的皮肤图像；
识别模块，用于采用基于深度学习的分类网络，识别所述皮肤图像的类型，其中，所述皮肤图像的类型包括皱纹图像；所述分类网络包括卷积神经网络，所述采用基于深度学习的分类网络，识别所述皮肤图像的类型包括：将所述皮肤图像输入图像分类模型，得到所述皮肤图像的类型，其中，所述图像分类模型是通过多组训练样本训练卷积神经网络模型得到的，所述训练样本包括由放大镜测肤仪器经白光成像生成的放大状态下的皮肤图像，所述训练样本的皮肤图像至少包括三种类型：皱纹图像、正常纹理图像和无纹理无皱纹图像；
提取模块，用于若所述皮肤图像为皱纹图像，提取所述皮肤图像中的皱纹区域，得到皱纹可视化图像；其中，所述提取所述皮肤图像中的皱纹区域，得到皱纹可视化图像，进一步包括：对所述皮肤图像进行灰度处理；对灰度处理后的图像采用自适应阈值算法进行阈值化处理，得到二值化的黑白图像；对所述黑白图像进行膨胀腐蚀处理，标定出皱纹特征区域；对标定出的所述皱纹特征区域进行椭圆拟合，根据非皱纹去除规则去除非皱纹特征区域，得到所述皱纹可视化图像；其中，所述根据非皱纹去除规则去除非皱纹特征区域，进一步包括：去除椭圆拟合后满足第一条件的皱纹特征区域，其中，所述第一条件为：椭圆短边小于第一阈值、椭圆面积大于第二阈值以及椭圆长边和椭圆短边的比值小于第三阈值中的任意一个；所述得到皱纹可视化图像，进一步包括：将去除非皱纹特征区域后剩下的皱纹特征区域叠加于所述皮肤图像，得到皱纹可视化图像。
5.一种皱纹检测设备，其特征在于，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行根据权利要求1-3任一项所述的一种皱纹检测方法的步骤。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行根据权利要求1-3任一项所述的一种皱纹检测方法的步骤。
CN201911199203.7A 2019-11-29 2019-11-29 皱纹检测方法、装置、设备及计算机可读存储介质 Active CN110956623B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911199203.7A CN110956623B (zh) 2019-11-29 2019-11-29 皱纹检测方法、装置、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911199203.7A CN110956623B (zh) 2019-11-29 2019-11-29 皱纹检测方法、装置、设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN110956623A CN110956623A (zh) 2020-04-03
CN110956623B true CN110956623B (zh) 2023-11-07

Family

ID=69978975

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911199203.7A Active CN110956623B (zh) 2019-11-29 2019-11-29 皱纹检测方法、装置、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN110956623B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112150394B (zh) * 2020-10-12 2024-02-20 杭州睿琪软件有限公司 图像处理方法及装置、电子设备和存储介质
WO2024021000A1 (en) * 2022-07-29 2024-02-01 L'oreal System and method for evaluating dynamic wrinkles on keratin material of a user to be tested

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107203999A (zh) * 2017-04-28 2017-09-26 北京航空航天大学 一种基于全卷积神经网络的皮肤镜图像自动分割方法
CN108364286A (zh) * 2018-01-29 2018-08-03 杭州美界科技有限公司 一种可视化的皮肤皱纹评估方法及系统
CN108780497A (zh) * 2017-11-14 2018-11-09 深圳和而泰智能控制股份有限公司 一种皮肤瑕疵点分类方法及电子设备
CN109961426A (zh) * 2019-03-11 2019-07-02 西安电子科技大学 一种人脸皮肤肤质的检测方法
CN110110637A (zh) * 2019-04-25 2019-08-09 深圳市华嘉生物智能科技有限公司 一种人脸皮肤皱纹自动识别和皱纹严重程度自动分级的方法
CN110321920A (zh) * 2019-05-08 2019-10-11 腾讯科技（深圳）有限公司 图像分类方法、装置、计算机可读存储介质和计算机设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107203999A (zh) * 2017-04-28 2017-09-26 北京航空航天大学 一种基于全卷积神经网络的皮肤镜图像自动分割方法
CN108780497A (zh) * 2017-11-14 2018-11-09 深圳和而泰智能控制股份有限公司 一种皮肤瑕疵点分类方法及电子设备
CN108364286A (zh) * 2018-01-29 2018-08-03 杭州美界科技有限公司 一种可视化的皮肤皱纹评估方法及系统
CN109961426A (zh) * 2019-03-11 2019-07-02 西安电子科技大学 一种人脸皮肤肤质的检测方法
CN110110637A (zh) * 2019-04-25 2019-08-09 深圳市华嘉生物智能科技有限公司 一种人脸皮肤皱纹自动识别和皱纹严重程度自动分级的方法
CN110321920A (zh) * 2019-05-08 2019-10-11 腾讯科技（深圳）有限公司 图像分类方法、装置、计算机可读存储介质和计算机设备

Also Published As

Publication number Publication date
CN110956623A (zh) 2020-04-03

Similar Documents

Publication Publication Date Title
Izadi et al. Generative adversarial networks to segment skin lesions
CN110288597B (zh) 基于注意力机制的无线胶囊内窥镜视频显著性检测方法
Zimmerman-Moreno et al. Automatic detection of specular reflections in uterine cervix images
US11238301B2 (en) Computer-implemented method of detecting foreign object on background object in an image, apparatus for detecting foreign object on background object in an image, and computer-program product
CN111160114B (zh) 手势识别方法、装置、设备及计算机可读存储介质
CN112465759A (zh) 一种基于卷积神经网络的航空发动机叶片缺陷检测方法
CN108601509B (zh) 图像处理装置、图像处理方法以及记录有程序的介质
CN110956623B (zh) 皱纹检测方法、装置、设备及计算机可读存储介质
Fenster et al. Sectored snakes: Evaluating learned-energy segmentations
CN116012291A (zh) 工业零件图像缺陷检测方法及系统、电子设备和存储介质
CN114581709A (zh) 识别医学图像中的目标的模型训练、方法、设备及介质
Nirmala et al. HoG based Naive Bayes classifier for glaucoma detection
CN111291712B (zh) 基于插值的cn和胶囊网络的森林火灾识别方法及装置
CN110991408B (zh) 基于深度学习方法分割脑白质高信号的方法和装置
CN108447066B (zh) 胆道图像分割方法、终端、存储介质
CN115018820A (zh) 基于纹理加强的乳腺癌多分类方法
CN112801238B (zh) 一种图像分类方法、装置、电子设备及存储介质
Ma et al. Deep attention network for melanoma detection improved by color constancy
CN109101525A (zh) 一种基于图像对比识别的医疗图像比对方法
CN114170224A (zh) 应用生成式染色归一化的细胞病理分类的系统及方法
CN114511615A (zh) 一种校准图像的方法及装置
JP4475395B2 (ja) 画像処理方法および画像処理装置、画像処理プログラム、記憶媒体
Yee et al. Performance Analysis of Color Normalization Methods in Histopathology Images
CN111325732B (zh) 面部残留物检测方法及相关设备
CN117392468B (zh) 基于多示例学习的癌症病理图像分类系统、介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200409

Address after: 1706, Fangda building, No. 011, Keji South 12th Road, high tech Zone, Yuehai street, Nanshan District, Shenzhen City, Guangdong Province

Applicant after: Shenzhen shuliantianxia Intelligent Technology Co.,Ltd.

Address before: 518000, building 10, building ten, building D, Shenzhen Institute of Aerospace Science and technology, 6 hi tech Southern District, Nanshan District, Shenzhen, Guangdong 1003, China

Applicant before: SHENZHEN H & T HOME ONLINE NETWORK TECHNOLOGY Co.,Ltd.

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant