CN108780497B - 一种皮肤瑕疵点分类方法及电子设备 - Google Patents

一种皮肤瑕疵点分类方法及电子设备 Download PDF

Info

Publication number
CN108780497B
CN108780497B CN201780009000.XA CN201780009000A CN108780497B CN 108780497 B CN108780497 B CN 108780497B CN 201780009000 A CN201780009000 A CN 201780009000A CN 108780497 B CN108780497 B CN 108780497B
Authority
CN
China
Prior art keywords
skin
image
model
images
defect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780009000.XA
Other languages
English (en)
Other versions
CN108780497A (zh
Inventor
林丽梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen H&T Intelligent Control Co Ltd
Original Assignee
Shenzhen H&T Intelligent Control Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen H&T Intelligent Control Co Ltd filed Critical Shenzhen H&T Intelligent Control Co Ltd
Publication of CN108780497A publication Critical patent/CN108780497A/zh
Application granted granted Critical
Publication of CN108780497B publication Critical patent/CN108780497B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本申请涉及皮肤检测技术领域,特别是涉及一种皮肤瑕疵点分类方法及电子设备。该皮肤瑕疵点分类方法包括:获取包含瑕疵点的目标皮肤图像;根据图像分类算法,分类目标皮肤图像的瑕疵点。因此,其能够识别出皮肤瑕疵点的类别,以便用户后续进行护肤处理作出明智选择。

Description

一种皮肤瑕疵点分类方法及电子设备
技术领域
本申请涉及皮肤检测技术领域,特别是涉及一种皮肤瑕疵点分类方法及电子设备。
背景技术
随着岁月的增长与生理的变化,人类的皮肤出现一些瑕疵点,瑕疵点可以是由于局部皮肤色素沉着而出现的晒斑、雀斑、老年斑等等,亦可以是青春痘印、痘坑等等。
传统技术能够通过皮肤图像而统计出皮肤的黑色素(瑕疵点)的数量,以便知悉皮肤的瑕疵点严重程度。
申请人在实现本申请的过程中,发现传统技术至少存在以下问题:传统技术只能够统计出瑕疵点的数量,却未能够识别出瑕疵点的类别,从而未能够对症下药地为用户提供护肤的方法。
发明内容
申请内容
本申请实施例一个目的旨在提供一种皮肤瑕疵点分类方法及电子设备,其解决了传统技术未能够识别出皮肤瑕疵点的类别的技术问题。
为解决上述技术问题,本申请实施例提供以下技术方案:
在第一方面,本申请实施例提供一种皮肤瑕疵点分类方法,包括:获取包含瑕疵点的目标皮肤图像;根据图像分类算法,分类所述目标皮肤图像的瑕疵点。
可选地,所述根据图像分类算法,分类所述目标皮肤图像的瑕疵点,包括:获取图像分类模型;将所述目标皮肤图像的瑕疵点输入所述图像分类模型,以使所述图像分类模型分类所述瑕疵点。
可选地,所述图像分类模型包括卷积神经网络框架模型;在获取图像分类模型之前,所述方法还包括:采集训练数据,所述训练数据包括若干张包含瑕疵点的样本皮肤图像;标注所述训练数据,以将所述若干张包含瑕疵点的样本皮肤图像进行归类;搭建并配置所述卷积神经网络框架模型;将标注后的训练数据输入配置后的卷积神经网络框架模型以训练并保存所述训练数据。
可选地,所述卷积神经网络框架模型包括LetNet-5模型;所述搭建所述卷积神经网络框架模型包括搭建所述LetNet-5模型,所述搭建所述LetNet-5模型具体包括:依次搭建输入层、第一卷积层、第一采样层、第二卷积层、第二采样层、第三卷积层、第一全连接层以及第二全连接层。
可选地,所述配置所述卷积神经网络框架模型包括配置所述 LetNet-5模型,配置所述LetNet-5模型包括:配置损失函数与优化函数;配置每批次样本皮肤图像的训练量与迭代次数。
可选地,所述损失函数为交叉熵损失函数。
可选地,在根据图像分类算法,分类所述目标皮肤图像的瑕疵点之后,所述方法还包括:统计每类瑕疵点的数量;根据所述每类瑕疵点的数量确定所述目标皮肤图像的瑕疵点严重程度。
可选地,在根据图像分类算法,分类所述目标皮肤图像的瑕疵点之后,所述方法还包括:在所述目标皮肤图像的瑕疵点处标注瑕疵点名称。
在第二方面,本申请实施例提供一种皮肤瑕疵点分类装置,包括:获取模块,用于获取包含瑕疵点的目标皮肤图像;分类模块,用于根据图像分类算法,分类所述目标皮肤图像的瑕疵点。
可选地,所述分类模块包括:获取单元,用于获取图像分类模型;输入单元,用于将所述目标皮肤图像的瑕疵点输入所述图像分类模型,以使所述图像分类模型分类所述瑕疵点。
可选地,所述图像分类模型包括卷积神经网络框架模型;所述装置还包括:采集模块,用于采集训练数据,所述训练数据包括若干张包含瑕疵点的样本皮肤图像;第一标注模块,用于标注所述训练数据,以将所述若干张包含瑕疵点的样本皮肤图像进行归类;搭建配置模块,用于搭建并配置所述卷积神经网络框架模型;输入模块,用于将标注后的训练数据输入配置后的卷积神经网络框架模型以训练并保存所述训练数据。
可选地,所述卷积神经网络框架模型包括LetNet-5模型;所述搭建配置模块具体用于:依次搭建输入层、第一卷积层、第一采样层、第二卷积层、第二采样层、第三卷积层、第一全连接层以及第二全连接层。
可选地,所述搭建配置模块具体用于:配置损失函数与优化函数;配置每批次样本皮肤图像的训练量与迭代次数。
可选地,所述损失函数为交叉熵损失函数。
可选地,所述装置还包括:统计模块,用于统计每类瑕疵点的数量;确定模块,用于根据所述每类瑕疵点的数量确定所述目标皮肤图像的瑕疵点严重程度。
可选地,所述装置还包括:第二标注模块,用于在所述目标皮肤图像的瑕疵点处标注瑕疵点名称。
在第三方面,本申请实施例提供一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够用于执行任一项所述的皮肤瑕疵点分类方法。
在第四方面,本申请实施例提供一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使电子设备执行任一项所述的皮肤瑕疵点分类方法。
在本申请各个实施例中,通过获取包含瑕疵点的目标皮肤图像,根据图像分类算法,分类目标皮肤图像的瑕疵点。因此,其能够识别出皮肤瑕疵点的类别,以便用户后续进行护肤处理作出明智选择。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明,这些示例性说明并不构成对实施例的限定,附图中具有相同参考数字标号的元件表示为类似的元件,除非有特别申明,附图中的图不构成比例限制。
图1是本申请实施例提供一种基于图像分类模型对输入保护瑕疵点的目标皮肤图像进行分类的示意图;
图2是本申请实施例提供一种从样本皮肤图像截取出包含瑕疵点的各个图片的示意图;
图3是本申请实施例提供一种瑕疵点为黑斑的各个表现形态示意图;
图4是本申请实施例提供一种LetNet-5模型的框架示意图;
图5是本申请实施例提供一种电子设备的结构示意图;
图6是本申请实施例提供一种皮肤瑕疵点分类装置的结构示意图;
图7是本申请实施例提供一种分类模块的结构示意图;
图8是本申请另一实施例提供一种皮肤瑕疵点分类装置的结构示意图;
图9是本申请又另一实施例提供一种皮肤瑕疵点分类装置的结构示意图;
图10是本申请又另一实施例提供一种皮肤瑕疵点分类装置的结构示意图;
图11是本申请实施例提供一种皮肤瑕疵点分类方法的流程示意图;
图12是本申请实施例提供一种步骤72的流程示意图;
图13是本申请另一实施例提供一种皮肤瑕疵点分类方法的流程示意图;
图14是本申请又另一实施例提供一种皮肤瑕疵点分类方法的流程示意图;
图15是本申请又另一实施例提供一种皮肤瑕疵点分类方法的流程示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本申请,并不用于限定本申请。
随着生活水平的提高,人们对美容护肤的关注度日益增强。当人们需要对皮肤上出现的瑕疵点进行分类时,大部分人们求助于专业临床皮肤医师。专业临床皮肤医师根据专业知识,主观性地辨认皮肤上的瑕疵点的类型以及给予出专业治疗意见。然而,瑕疵点的类型的分类与医师的专业水平能力具有正相关性,当医师的专业水平能力一般时,其给予出的专业治疗意见是不够准确的,因此,此类瑕疵点分类方法存在一定的风险。
为了提供客观的瑕疵点判断数据,如前所述,传统技术提出的瑕疵点检测技术能够检测出瑕疵点的数量,但是未能够识别出瑕疵点的类别。
基于上述的各类缺陷,本申请实施例提供一种电子设备,其能够识别出皮肤瑕疵点的类别,以便用户后续进行护肤处理作出明智选择。
首先,电子设备获取包含瑕疵点的目标皮肤图像。
在本实施例中,瑕疵点具有不同的种类,其可以包括痤疮、痘印、痘坑、黑斑、雀斑、黄褐斑、蝴蝶斑、老年斑、黑痣以及其它瑕疵点。其中,其它瑕疵点是除了前面所述的九个类别之外的瑕疵点,例如:伤疤等等。
进一步的,目标皮肤图像可以为人脸皮肤图像,亦可以为人类其它部位的表面皮肤图像,例如:手肘皮肤图像、腿部皮肤图像等等。
当电子设备配置摄像头模组时,用户可以操作电子设备,使摄像头模组拍摄包含瑕疵点的目标皮肤,从而使电子设备获取到目标皮肤图像。
当电子设备配置远距离通讯模块时,用户可以操作电子设备,使电子设备通过该通讯模块连接云端,从云端抓取目标皮肤图像,从而使电子设备获取到目标皮肤图像。该云端可以为用户预先配置的云端服务器,亦可以为互联网。其中,该云端服务器可以是一个物理服务器或者多个物理服务器虚拟而成的一个逻辑服务器,亦可以是多个可互联通信的服务器组成的服务器群。在一些实施例中,电子设备通过该远距离通讯模块连接到从包括例如码分多址(CDMA)、全球移动通信系统(GSM)、宽带码分多址(WCDMA)或无线宽带(Wi bro)的多个通信方法中选择的三种通信网络,其中,该远距离通讯模块包括移动通信模块、无线互联网模块等等。
当电子设备配置近距离通讯模块时,用户可以操作电子设备,使电子设备通过该近距离通讯模块与对方电子设备连接,接收对方电子设备发送的目标皮肤图像,从而使电子设备获取到目标皮肤图像。该近距离通讯模块可以采用蓝牙(Bluetooth)、射频识别(RFID)、红外数据协会(IrDA)、超宽带(UWB)或ZigBee的近距离通信技术。
此处,本申请实施例并不局限于上述各个实施例所示的电子设备获取包含瑕疵点的目标皮肤图像的方式,本领域技术人员可以根据业务需求自行选择获取方式,在此不赘述。
然后,电子设备根据图像分类算法,分类目标皮肤图像的瑕疵点。图像分类算法用于指示电子设备处理目标皮肤图像,从而在目标皮肤图像中识别出瑕疵点,并且对该瑕疵点进行分类。在一些实施例中,图像分类算法对应的逻辑功能可以是由预先构建好的图像分类模型来执行,例如:在一些实施例中,电子设备分类目标皮肤图像的瑕疵点过程中,其可以获取图像分类模型,将目标皮肤图像的瑕疵点输入图像分类模型,以使图像分类模型分类瑕疵点。其中,该图像分类模型已预存多种训练出的瑕疵点分类数据,当图像分类模型接收到目标皮肤图像的瑕疵点时,该图像分类模型调用该瑕疵点分类数据对该目标皮肤图像的瑕疵点进行深度学习,从而输出该瑕疵点的分类结果。如图1所示,图像分类模型10接收并处理包含瑕疵点的目标皮肤图像11,图像分类模型10 输出的分类结果为:该瑕疵点为黑斑。
在另一些实施例中,用户可以在电子设备内编写图像分类代码逻辑,以将目标皮肤图像的瑕疵点分类出。
如前所述,电子设备在获取该图像分类模型之前,其需要训练该图像分类模型,以便该图像分类模型能够通过深度学习自动分析出输入的目标皮肤图像的瑕疵点类型。
例如:当该图像分类模型为卷积神经网络框架模型(Convolutional NeuralNetwork,CNN)时,首先,工程师通过操作电子设备,使电子设备采集训练数据,其中,该训练数据包括若干张包含瑕疵点的样本皮肤图像。可以理解的是:每张样本皮肤图像可以包括多种类型的瑕疵点,例如:如图2所示,该样本皮肤图像20为人脸图像。当电子设备获取到该样本皮肤图像20时,电子设备从样本皮肤图像20中截取出9张包含瑕疵点的图片,其中,该瑕疵点可以包括痤疮、痘印、痘坑、黑斑、雀斑、黄褐斑、蝴蝶斑、老年斑、黑痣以及其它瑕疵点。在截取过程中, 电子设备可以先对该样本皮肤图像20进行二值化处理,获得第一二值图像。进一步的,电子设备再过滤该第一二值图像中的背景噪音,获得第二二值图像。进一步的,电子设备对该第二二值图像进行膨胀处理,获得第三二值图像。再进一步的,电子设备在该第三二值图像中筛选出满足阈值条件的黑色像素区块,从而获得样本皮肤图像20中的瑕疵点。再进一步的,电子设备从样本皮肤图像20中瑕疵点位置截取包含瑕疵点的图片。
可以理解的是:同一类别的瑕疵点具有不同的表现形态,如图3所示,当瑕疵点为黑斑时,黑斑至少具有18种表现形态。
可以理解的是:样本皮肤图像的瑕疵点数量至少可以使得该图像分类模型能够学习到“如何根据包含瑕疵点的目标皮肤图像分类出瑕疵点”的规律。例如:每一类别瑕疵点对应的训练数据为1000张图片,再例如:当瑕疵点为痤疮时,痤疮对应的训练数据为只包含痤疮的1000 张图片。当该图像分类模型需要深度学习上述所述的十大类别的瑕疵点 (痤疮、痘印等十大类别),并且每一瑕疵点类别对应1000张训练数据时,该图像分类模型需要训练出10000张训练数据,以使该图像分类模型能够学习到“如何根据包含瑕疵点的目标皮肤图像分类出瑕疵点”的规律,因此,电子设备至少需要采集10000张训练数据。一般的,当电子设备需要训练数据的采集量视图像分类模型的深度学习的需要来定,在此并不局限于本实施例所示的训练数据的数量。
其次,当电子设备采集完训练数据后,便开始标注训练数据,以将包含瑕疵点的样本皮肤图像进行归类。例如:用户操作电子设备,对 10000张训练数据进行标注归类,其中,每一瑕疵点类型对应的训练数据为1000张,例如:标注后的痤疮对应的训练数据为1000张。
再次,用户需要在电子设备内搭建并配置该卷积神经网络框架模型,以便训练上述的训练数据,从而为后期对用户输入的目标皮肤图像进行深度学习并分类出目标皮肤图像的瑕疵点做好准备。
其中,该卷积神经网络框架模型可以为LetNet-5、AlexNet、VGGNet、InceptionNet、ResNet等等。选择不同的卷积神经网络框架模型,所搭建的卷积神经网络框架模型是不同的,例如:当本实施例所选择的卷积神经网络框架模型为LetNet-5模型时,如图4所示,所搭建LetNet-5 模型的框架具体为:输入层-第一卷积层-第一采样层-第二卷积层-第二采样层-第三卷积层-第一全连接层-第二全连接层。其中,各个卷积层用于通过卷积运算,可以使原图像信号特征增强,并且降低噪音。各个采样层用于利用图像局部相关性的原理,对图像进行子抽样,减少数据处理量同时保留有用信息。
一般地,在一些实施例中,为了使LetNet-5模型能够更加深度地进行学习,其可以在上述LetNet-5模型的基础上,增加卷积层或采样层等等,在此并不局限于本实施例所示的LetNet-5模型的框架。
当用户搭建好卷积神经网络框架模型后,电子设备可以在操作系统上使用人工智能学习系统完成卷积神经网络框架模型的搭建,以及为卷积神经网络框架模型配置各类训练参数。该人工智能学习系统可以为 Tensorflow、Caffe(Convolutional Architecturefor Fast Feature Embedding,卷积神经网络框架),MXnet等等。例如:如前所述,当要训练10000张训练数据,并且选择LetNet-5模型,人工智能学习系统为Tensorflow时,为LetNet-5模型所配置的训练参数包括:损失函数、优化函数、每批次样本皮肤图像的训练量以及迭代次数。其中,损失函数为交叉熵(Cross-Entropy)损失函数,优化函数为调用Tensorflow中的tf.train.AdamOptimizer()函数,其中学习速率参数设置为 0.001,每批次样本皮肤图像的训练量为batch_size:100,迭代次数: 3000。
在一些实施例中,电子设备支持的操作系统可以为UNIX系统、Linux 系统、Mac OSX系统、Windows系统、iOS系统、Android系统、WP系统、Chrome OS系统等等。
当各个训练参数设置好后,电子设备运行代码,将标注后的训练数据输入配置后的卷积神经网络框架模型以训练并保存训练数据。例如:电子设备将标注后的训练数据传递给LetNet-5模型,LetNet-5模型训练并保存上述的训练数据,以便调用模型作预测。再例如:电子设备接收到一张包含瑕疵点的目标皮肤图像,于是,电子设备将该目标皮肤图像输入LetNet-5模型,由于LetNet-5模型经过训练,LetNet-5模型在分类时,调用训练后的各类数据对该目标皮肤图像进行深度学习,从而输出分类结果:该目标皮肤图像的瑕疵点为黑斑。
当电子设备将目标皮肤图像的各个瑕疵点分类完毕后,为了评价用户的皮肤的瑕疵点严重程度,于是,电子设备统计每类瑕疵点的数量,根据每类瑕疵点的数量确定目标皮肤图像的瑕疵点严重程度。在一些实施例中,瑕疵点严重程度包括一般等级、比较严重等级、很严重等级以及极度严重等级。例如:经过分类后,用户A的人脸图像的痤疮的数量为5,其大于一般等级3,小于比较严重等级8,因此,用户A的痤疮严重程度属于比较严重等级。
在一些实施例中,当电子设备将目标皮肤图像的各个瑕疵点分类完毕后,为了让用户知悉皮肤上各个瑕疵点的类型,以便用户更加明智地对症下药,于是,电子设备在目标皮肤图像的瑕疵点处标注瑕疵点名称。因此,用户更加清楚皮肤各个瑕疵点的所属类型,以便更加科学地选择治疗方式。
在上述各个实施例中,实现皮肤瑕疵点分类的各种控制逻辑可以以指令代码形式组成一系列应用程序安装包,该应用程序安装包可以上架在各个网络应用下载市场,亦可以在各个网络平台或网站上。当用户需要使用皮肤瑕疵点分类功能时,可以从网络上将该应用程序安装包下载至本地,并且在本地完成该应用程序安装包的安装,以及,在本地通过该应用程序完成皮肤瑕疵点分类。相对于传统技术,用户只需要拍一张脸部照片便可以识别脸部各种瑕疵点的分布情况,相对于专门的医疗仪器,其便捷性更高,并且还可以通过跟踪瑕疵点的严重程度的变化,测试护肤品的护肤效果。
在上述各个实施例中,电子设备可以便携式电话、智能电话、平板电脑、笔记本、平板式PC、膝上型计算机、数字广播终端、个人数字助理(PAD)等等。如图5所示,该电子设备50包括:至少一个处理器51 以及与所述至少一个处理器51通信连接的存储器52;其中,图5中以一个处理器51为例。处理器51和存储器52可以通过总线或者其他方式连接,图5中以通过总线连接为例。
其中,存储器52存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器51能够用于执行上述皮肤瑕疵点分类的控制逻辑。
作为本申请实施例的另一方面,本申请实施例提供一种皮肤瑕疵点分类装置,应用于电子设备。该皮肤瑕疵点分类装置作为软件系统,其可以存储在图5所阐述电子设备内。该皮肤瑕疵点分类装置包括若干指令,该若干指令存储于存储器内,处理器可以访问该存储器,调用指令进行执行,以完成上述皮肤瑕疵点分类装置。
如图6所示,该皮肤瑕疵点分类装置60包括:获取模块61与分类模块62。
获取模块61用于获取包含瑕疵点的目标皮肤图像。
分类模块62用于根据图像分类算法,分类目标皮肤图像的瑕疵点。
在本实施例中,其能够识别出皮肤瑕疵点的类别,以便用户后续进行护肤处理作出明智选择。
在一些实施例中,如图7所示,该分类模块62包括:获取单元621 与输入单元622。
获取单元621用于获取图像分类模型。
输入单元622用于将目标皮肤图像的瑕疵点输入图像分类模型,以使图像分类模型分类瑕疵点。
在一些实施例中,如图8所示,图像分类模型包括卷积神经网络框架模型。该皮肤瑕疵点分类装置60还包括:采集模块63、第一标注模块64、搭建配置模块65以及输入模块66。
采集模块63用于采集训练数据,该训练数据包括若干张包含瑕疵点的样本皮肤图像。
第一标注模块64用于标注训练数据,以将若干张包含瑕疵点的样本皮肤图像进行归类。
搭建配置模块65用于搭建并配置卷积神经网络框架模型。
输入模块66用于将标注后的训练数据输入配置后的卷积神经网络框架模型以训练并保存训练数据。
在一些实施例中,该卷积神经网络框架模型包括LetNet-5模型。该搭建配置模块65具体用于:依次搭建输入层、第一卷积层、第一采样层、第二卷积层、第二采样层、第三卷积层、第一全连接层以及第二全连接层。
在一些实施例中,搭建配置模块65具体用于:配置损失函数、优化函数、每批次样本皮肤图像的训练量以及迭代次数。可选地,该损失函数为交叉熵损失函数。
在一些实施例中,如图9所示,该皮肤瑕疵点分类装置60还包括:统计模块67与确定模块68。
统计模块67用于统计每类瑕疵点的数量。
确定模块68用于根据每类瑕疵点的数量确定目标皮肤图像的瑕疵点严重程度。
在一些实施例中,如图10所示,该皮肤瑕疵点分类装置60还包括:第二标注模块69。第二标注模块69用于在目标皮肤图像的瑕疵点处标注瑕疵点名称。
由于装置实施例和上述各个实施例是基于同一构思,在内容不互相冲突的前提下,装置实施例的内容可以引用上述各个实施例的,在此不赘述。
作为本申请实施例的又另一方面,本申请实施例提供一种皮肤瑕疵点分类方法。本申请实施例的皮肤瑕疵点分类方法的功能除了借助上述图6至图10所述的皮肤瑕疵点分类装置的软件系统来执行,其亦可以借助硬件平台来执行。例如:皮肤瑕疵点分类方法可以在合适类型具有运算能力的处理器的电子设备中执行,例如:单片机、数字处理器(Digital Signal Processing,DSP)、可编程逻辑控制器(Programmable LogicController,PLC)等等。
下述各个实施例的图片关联方法对应的功能是以指令的形式存储在电子设备的存储器上,当要执行下述各个实施例的皮肤瑕疵点分类方法对应的功能时,电子设备的处理器访问存储器,调取并执行对应的指令,以实现下述各个实施例的皮肤瑕疵点分类方法对应的功能。
存储器作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块,如上述实施例中的皮肤瑕疵点分类装置60对应的程序指令/模块(例如,图6至图10所述的各个模块和单元),或者下述实施例皮肤瑕疵点分类方法对应的步骤。处理器通过运行存储在存储器中的非易失性软件程序、指令以及模块,从而执行皮肤瑕疵点分类装置60的各种功能应用以及数据处理,即实现下述实施例皮肤瑕疵点分类装置60的各个模块与单元的功能,或者下述实施例皮肤瑕疵点分类方法对应的步骤的功能。
存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中,存储器可选包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述程序指令/模块存储在所述存储器中,当被所述一个或者多个处理器执行时,执行上述任意方法实施例中的皮肤瑕疵点分类方法,例如,执行下述实施例描述的图11至图15所示的各个步骤;也可实现附图6至图10所述的各个模块和单元的功能。
如图11所示,该皮肤瑕疵点分类方法70包括:
步骤71、获取包含瑕疵点的目标皮肤图像;
步骤72、根据图像分类算法,分类目标皮肤图像的瑕疵点。
在本实施例中,其能够识别出皮肤瑕疵点的类别,以便用户后续进行护肤处理作出明智选择。
在一些实施例中,如图12所示,该步骤72包括:
步骤721、获取图像分类模型;
步骤722、将目标皮肤图像的瑕疵点输入图像分类模型,以使图像分类模型分类瑕疵点。
在一些实施例中,该图像分类模型包括卷积神经网络框架模型。在执行步骤721之前,如图13所示,该皮肤瑕疵点分类方法70还包括:
步骤73、采集训练数据,训练数据包括若干张包含瑕疵点的样本皮肤图像;
步骤74、标注训练数据,以将若干张包含瑕疵点的样本皮肤图像进行归类;
步骤75、搭建并配置卷积神经网络框架模型;
步骤76、将标注后的训练数据输入配置后的卷积神经网络框架模型以训练并保存训练数据。
在一些实施例中,卷积神经网络框架模型包括LetNet-5模型。在搭建LetNet-5模型时,其依次搭建输入层、第一卷积层、第一采样层、第二卷积层、第二采样层、第三卷积层、第一全连接层以及第二全连接层。在配置LetNet-5模型时,其分别配置损失函数、优化函数、每批次样本皮肤图像的训练量以及迭代次数。其中,该损失函数为交叉熵损失函数。
与上述各个实施例不同点在于,如图14所示,在步骤72之后,该皮肤瑕疵点分类方法70还包括:
步骤77、统计每类瑕疵点的数量;
步骤78、根据每类瑕疵点的数量确定目标皮肤图像的瑕疵点严重程度。
与上述各个实施例不同点在于,如图15所示,在步骤72之后,该皮肤瑕疵点分类方法70还包括:
步骤79、在目标皮肤图像的瑕疵点处标注瑕疵点名称。
由于装置实施例和方法实施例是基于同一构思,在内容不互相冲突的前提下,方法实施例的内容可以引用装置实施例的,在此不赘述。
作为本申请实施例的又另一方面,本申请实施例提供一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使电子设备执行如上任一项所述的皮肤瑕疵点分类方法。
在本实施例中,其能够识别出皮肤瑕疵点的类别,以便用户后续进行护肤处理作出明智选择。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;在本申请的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,步骤可以以任意顺序实现,并存在如上所述的本申请的不同方面的许多其它变化,为了简明,它们没有在细节中提供;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (8)

1.一种皮肤瑕疵点分类方法,其特征在于,包括:
获取包含瑕疵点的目标皮肤图像;
根据图像分类算法,分类所述目标皮肤图像的瑕疵点;
其中,所述根据图像分类算法,分类所述目标皮肤图像的瑕疵点的步骤,进一步包括:
采集训练数据,所述训练数据包括若干张包含瑕疵点的样本皮肤图像,每张所述样本皮肤图像包括多种类型的瑕疵点,所述方法还包括截取所述样本皮肤图像的瑕疵点的图片,其中,所述截取所述样本皮肤图像的瑕疵点的图片的步骤,进一步包括对所述样本皮肤图像进行二值化处理,获得第一二值图像,过滤所述第一二值图像中的背景噪声,获得第二二值图像,对所述第二二值图像进行膨胀处理,获得第三二值图像,从所述第三二值图像中筛选出满足阈值条件的黑色像素区块,从而获得所述样本皮肤图像中的瑕疵点,从所述瑕疵点所在的位置截取包含所述瑕疵点的图片;
标注所述训练数据,以将所述若干张包含瑕疵点的样本皮肤图像进行归类;
搭建并配置卷积神经网络框架模型;
将标注后的训练数据输入配置后的卷积神经网络框架模型以训练并保存所述训练数据;
获取图像分类模型,所述图像分类模型包括所述卷积神经网络框架模型;
将所述目标皮肤图像的瑕疵点输入所述图像分类模型,以使所述图像分类模型分类所述瑕疵点,具体的,根据预先编写的图像分类代码逻辑,将所述目标皮肤图像的瑕疵点分类出;
将实现皮肤瑕疵点分类的各种控制逻辑以指令代码形式组成一系列应用程序安装包,以使用户在本地通过所述应用程序完成皮肤瑕疵点分类;
跟踪所述用户的瑕疵点的严重程度的变化。
2.根据权利要求1所述的方法,其特征在于,所述卷积神经网络框架模型包括LetNet-5模型;
所述搭建所述卷积神经网络框架模型包括搭建所述LetNet-5模型,所述搭建所述LetNet-5模型具体包括:
依次搭建输入层、第一卷积层、第一采样层、第二卷积层、第二采样层、第三卷积层、第一全连接层以及第二全连接层。
3.根据权利要求2所述的方法,其特征在于,所述配置所述卷积神经网络框架模型包括配置所述LetNet-5模型,配置所述LetNet-5模型具体包括:
配置损失函数与优化函数;
配置每批次样本皮肤图像的训练量与迭代次数。
4.根据权利要求3所述的方法,其特征在于,所述损失函数为交叉熵损失函数。
5.根据权利要求1至4任一项所述的方法,其特征在于,在根据图像分类算法,分类所述目标皮肤图像的瑕疵点之后,所述方法还包括:
统计每类瑕疵点的数量;
根据所述每类瑕疵点的数量确定所述目标皮肤图像的瑕疵点严重程度。
6.根据权利要求1至4任一项所述的方法,其特征在于,在根据图像分类算法,分类所述目标皮肤图像的瑕疵点之后,所述方法还包括:
在所述目标皮肤图像的瑕疵点处标注瑕疵点名称。
7.一种电子设备,其特征在于,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够用于执行如权利要求1至6任一项所述的皮肤瑕疵点分类方法。
8.一种非暂态计算机可读存储介质,其特征在于,所述非暂态计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使电子设备执行如权利要求1至6任一项所述的皮肤瑕疵点分类方法。
CN201780009000.XA 2017-11-14 2017-11-14 一种皮肤瑕疵点分类方法及电子设备 Active CN108780497B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/110952 WO2019095118A1 (zh) 2017-11-14 2017-11-14 一种皮肤瑕疵点分类方法及电子设备

Publications (2)

Publication Number Publication Date
CN108780497A CN108780497A (zh) 2018-11-09
CN108780497B true CN108780497B (zh) 2021-10-26

Family

ID=64034057

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780009000.XA Active CN108780497B (zh) 2017-11-14 2017-11-14 一种皮肤瑕疵点分类方法及电子设备

Country Status (2)

Country Link
CN (1) CN108780497B (zh)
WO (1) WO2019095118A1 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109524111A (zh) * 2018-12-06 2019-03-26 杭州电子科技大学 一种应用于手机的七类皮肤肿瘤检测方法
CN109919029A (zh) * 2019-01-31 2019-06-21 深圳和而泰数据资源与云技术有限公司 黑眼圈类型识别方法、装置、计算机设备和存储介质
CN110059635B (zh) * 2019-04-19 2021-03-23 厦门美图之家科技有限公司 一种皮肤瑕疵检测方法及装置
CN112446398B (zh) * 2019-09-02 2024-09-10 华为技术有限公司 图像分类方法以及装置
CN110956623B (zh) * 2019-11-29 2023-11-07 深圳数联天下智能科技有限公司 皱纹检测方法、装置、设备及计算机可读存储介质
CN111428552B (zh) * 2019-12-31 2022-07-15 深圳数联天下智能科技有限公司 黑眼圈识别方法、装置、计算机设备和存储介质
CN111428553B (zh) * 2019-12-31 2022-07-15 深圳数联天下智能科技有限公司 人脸色素斑识别方法、装置、计算机设备和存储介质
CN111429416B (zh) * 2020-03-19 2023-10-13 深圳数联天下智能科技有限公司 一种人脸色素斑识别方法、装置及电子设备
CN111695463B (zh) * 2020-05-29 2022-07-26 深圳数联天下智能科技有限公司 人脸面部杂质检测模型的训练方法、人脸面部杂质检测方法
CN112183603A (zh) * 2020-09-22 2021-01-05 深圳数联天下智能科技有限公司 痘痘类型识别模型训练方法及相关装置
CN112686145A (zh) * 2020-12-29 2021-04-20 广东各有所爱信息科技有限公司 一种面部皮肤肤质的识别方法及其智能终端
CN113012097B (zh) * 2021-01-19 2023-12-29 富泰华工业(深圳)有限公司 图像复检方法、计算机装置及存储介质
CN113269251A (zh) * 2021-05-26 2021-08-17 安徽唯嵩光电科技有限公司 基于机器视觉和深度学习融合的水果瑕疵分类方法、装置、存储介质及计算机设备
CN113689381B (zh) * 2021-07-21 2024-02-27 航天晨光股份有限公司 波纹管内壁瑕疵检测模型及检测方法
CN113705477B (zh) * 2021-08-31 2023-08-29 平安科技(深圳)有限公司 一种医疗图像识别方法、系统、设备及介质
CN113807434B (zh) * 2021-09-16 2023-07-25 中国联合网络通信集团有限公司 布匹的瑕疵识别方法及模型训练方法
CN114209288B (zh) * 2022-01-14 2024-09-13 广州诚毅科技咨询有限公司 皮肤状态预测方法、皮肤状态预测装置、设备及存储介质
CN114723690A (zh) * 2022-03-25 2022-07-08 中科新辰能源科技(苏州)有限公司 一种基于对抗生成网络的锂电池瑕疵图像生成方法
CN115050065B (zh) * 2022-04-26 2024-05-31 杭州海马体摄影有限公司 一种基于曲线的皮肤滤镜建模方法
CN115035119B (zh) * 2022-08-12 2023-03-24 山东省计算中心(国家超级计算济南中心) 一种玻璃瓶底瑕疵图像检测剔除装置、系统及方法
CN116993714A (zh) * 2023-08-30 2023-11-03 深圳伯德睿捷健康科技有限公司 皮肤检测方法、系统及计算机可读存储介质
CN117288761B (zh) * 2023-11-27 2024-02-06 天津市海迅科技发展有限公司 一种基于测试材料的瑕疵检测分类评估方法及系统
CN118469993A (zh) * 2024-06-07 2024-08-09 元数仓数字科技(上海)有限公司 一种基于物联网的智能自动拣选系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5080116B2 (ja) * 2007-03-23 2012-11-21 株式会社 資生堂 肌画像撮影装置
CN101751559B (zh) * 2009-12-31 2012-12-12 中国科学院计算技术研究所 人脸皮肤斑痣点检测及利用皮肤斑痣识别人脸的方法
CN101916370B (zh) * 2010-08-31 2012-04-25 上海交通大学 人脸检测中非特征区域图像处理的方法
JP5794889B2 (ja) * 2011-10-25 2015-10-14 富士フイルム株式会社 シミ種別分類装置の作動方法、シミ種別分類装置およびシミ種別分類プログラム
CN103745204B (zh) * 2014-01-17 2017-11-28 公安部第三研究所 一种基于斑痣点的体貌特征比对方法
CN104970797B (zh) * 2014-04-08 2019-09-13 花王株式会社 皮肤分类方法、化妆品的推荐方法以及皮肤分类卡
CN105787929B (zh) * 2016-02-15 2018-11-27 天津大学 基于斑点检测的皮肤疹点提取方法
CN106469300B (zh) * 2016-08-31 2018-05-08 广州莱德璞检测技术有限公司 一种色斑检测识别方法
CN107122806B (zh) * 2017-05-16 2019-12-31 北京京东尚科信息技术有限公司 一种敏感图像识别方法及装置
CN107230205A (zh) * 2017-05-27 2017-10-03 国网上海市电力公司 一种基于卷积神经网络的输电线路螺栓检测方法
CN107330446B (zh) * 2017-06-05 2020-08-04 浙江工业大学 一种面向图像分类的深度卷积神经网络的优化方法
CN107341518A (zh) * 2017-07-07 2017-11-10 东华理工大学 一种基于卷积神经网络的图像分类方法

Also Published As

Publication number Publication date
WO2019095118A1 (zh) 2019-05-23
CN108780497A (zh) 2018-11-09

Similar Documents

Publication Publication Date Title
CN108780497B (zh) 一种皮肤瑕疵点分类方法及电子设备
CN111860533B (zh) 图像的识别方法及装置、存储介质和电子装置
CN113095124B (zh) 一种人脸活体检测方法、装置以及电子设备
CN110309706B (zh) 人脸关键点检测方法、装置、计算机设备及存储介质
Aquino et al. vitisBerry: An Android-smartphone application to early evaluate the number of grapevine berries by means of image analysis
CN108108767B (zh) 一种谷物识别方法、装置和计算机存储介质
CN110503081B (zh) 基于帧间差分的暴力行为检测方法、系统、设备及介质
Oliveira et al. The malaria system microapp: a new, mobile device-based tool for malaria diagnosis
CN113128368B (zh) 一种人物交互关系的检测方法、装置及系统
CN111291761B (zh) 用于识别文字的方法和装置
CN104346503A (zh) 一种基于人脸图像的情感健康监控方法及手机
CN112380955B (zh) 动作的识别方法及装置
CN110222582B (zh) 一种图像处理方法和相机
Finnegan et al. Automated method for detecting and reading seven-segment digits from images of blood glucose metres and blood pressure monitors
CN108875517A (zh) 视频处理方法、装置和系统及存储介质
CN111680670B (zh) 一种跨模态人头检测方法及装置
CN114119948A (zh) 一种茶叶识别方法、装置、电子设备及存储介质
CN111414910A (zh) 基于双重卷积神经网络的小目标增强检测方法和装置
CN108573255A (zh) 文字合成图像的识别方法及装置、图像识别方法
CN117577270A (zh) 患者的智能化营养管理方法及系统
Xu et al. Improved residual network for automatic classification grading of lettuce freshness
Lu et al. Lightweight green citrus fruit detection method for practical environmental applications
CN107426440B (zh) 一种室内外移动终端的控制方法
CN111079468B (zh) 机器人识别物体的方法及装置
US20220051154A1 (en) Method and apparatus for measuring plant trichomes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant