CN112257782A - 与问题皮肤部位检测相关的方法、系统及其神经网络训练方法、存储介质 - Google Patents
与问题皮肤部位检测相关的方法、系统及其神经网络训练方法、存储介质 Download PDFInfo
- Publication number
- CN112257782A CN112257782A CN202011140109.7A CN202011140109A CN112257782A CN 112257782 A CN112257782 A CN 112257782A CN 202011140109 A CN202011140109 A CN 202011140109A CN 112257782 A CN112257782 A CN 112257782A
- Authority
- CN
- China
- Prior art keywords
- image
- face
- neural network
- skin
- skin part
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 35
- 238000001514 detection method Methods 0.000 title claims abstract description 12
- 230000004927 fusion Effects 0.000 claims abstract description 33
- 238000002372 labelling Methods 0.000 claims description 10
- 230000001815 facial effect Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 5
- 238000003909 pattern recognition Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000005808 skin problem Effects 0.000 claims 1
- 208000002874 Acne Vulgaris Diseases 0.000 description 7
- 206010000496 acne Diseases 0.000 description 7
- 230000003796 beauty Effects 0.000 description 6
- 239000003086 colorant Substances 0.000 description 5
- 210000004709 eyebrow Anatomy 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明提供的一种与问题皮肤部位检测相关的方法、系统及其神经网络训练方法、存储介质与现有技术相比，通过面部增强图像确定不易检测出的问题皮肤部位，通过面部原始图像来排除面部固有部分，利用特征融合神经网络将面部原始图像、面部增强图像进行特征融合，从而获得了能够准确标注出全部问题皮肤部位，提供了一种可以准确检测到问题皮肤部位的方法。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种与问题皮肤部位检测相关的方法、系统及其神经网络训练方法、存储介质。
背景技术
通常进行面部美容前，需要先根据用户需求确定用户皮肤状况。例如用户要做祛斑美容，就需要对面部皮肤进行检测，以确定面部皮肤上存在斑点的部分，然后针对存在斑点的皮肤进行祛斑。同理，如果用户要做祛粉刺美容，也需要先确定在粉刺的部分，然后针对存在粉刺的皮肤进行祛粉刺。为便于描述，下文将存在斑点、粉刺等问题的皮肤部位称为问题皮肤部位。
目前常用的问题皮肤部位检测方法是：直接拍摄面部照片，然后利用问题皮肤部位颜色深于无问题皮肤部位颜色的特点通过图像识别技术来识别问题皮肤部位，从而检测出问题皮肤部位。美容设备则对检测出的问题皮肤部位进行针对性美容。这种方法的缺点在于：对于存在初期粉刺、斑点的皮肤来说，由于其颜色与无问题皮肤部位的颜色差异不大，难以检测出来，往往需要在粉刺、斑点变得颜色较深、情况较为严重后，才能被检测到，而此时再进行美容的效果就不如初期时进行美容的效果好。
对此，目前出现了一种图像增强的问题皮肤部位检测方法，具体来说就是，对面部图像进行图像增强处理，使得问题皮肤部位的颜色加深从而变得容易检测到。但该方法也存在以下缺点：由于经过图像增强，问题皮肤部位的颜色变深，会导致部分问题皮肤部位的颜色与面部本来存在的痣、眉毛等面部固有部分的颜色相近，难以通过颜色把部分问题皮肤部位和面部固有部分两者区分开来。
综上，目前缺乏一种可以准确检测到问题皮肤部位的方法。
发明内容
本发明解决技术问题是提供一种可以准确检测出问题皮肤部位的方法。
本发明提供一种问题皮肤部位检测方法，包括对特征融合神经网络训练方法和问题皮肤部位的标注方法，详述如下。
首先给出对特征融合神经网络的训练方法：
P.多次执行下述样本获取步骤，获得多组学习样本，每次样本获取步骤包括如下A、B、C：
——A.获取面部原始图像和面部增强图像；
——B.获取问题皮肤部位标注图；
——C.以面部原始图像和面部增强图像作为输入信号，以问题皮肤部位标注图作为输出信号，构成供特征融合神经网络进行模式识别训练的一组学习样本；
Q.采用上述多组学习样本对特征融合神经网络进行模式识别训练，直至该特征融合神经网络具备根据面部原始图像、面部增强图像给出问题皮肤部位标注图的能力。
在特征融合神经网络都训练完成后，我们就可以根据面部原始图像进行问题皮肤部位检测了，本发明给出问题皮肤部位的标注方法：
图像获取步骤，其获取面部原始图像；
图像增强步骤，其对面部原始图像进行图像增强处理从而获得面部增强图像；
结果输出步骤，其将面部原始图像、面部增强图像输入到已训练好的特征融合神经网络中，由该特征融合神经网络输出问题皮肤部位标注图。
相应地，本发明还提供了一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现所述的为得到问题皮肤部位标注图而对特征融合神经网络的训练方法。
相应地，本发明还提供了一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现所述的问题皮肤部位的标注方法。
进一步地，本发明还提供了基于神经网络的问题皮肤部位检测系统，包括摄像头、处理器，包括所述的计算机可读存储介质，处理器执行计算机可读存储介质所存储的程序控制控制摄像头拍摄面部原始图像。
本发明提供的一种与问题皮肤部位检测相关的方法、系统及其神经网络训练方法、存储介质与现有技术相比，通过面部增强图像确定不易检测出的问题皮肤部位，通过面部原始图像来排除面部固有部分，利用特征融合神经网络将面部原始图像、面部增强图像进行特征融合，从而获得了能够准确标注出全部问题皮肤部位，提供了一种可以准确检测到问题皮肤部位的方法。
附图说明
图1是基于神经网络算法的问题皮肤部位检测方法的示意图。
具体实施方式
在用户需要进行祛斑美容的情况下，需要先确定存在斑点的皮肤，该存在斑点的皮肤称为问题皮肤部位，问题皮肤部位的检测步骤如图1所示，详述如下。
S1.图像获取步骤：摄像头拍摄获得RGB色彩模式的面部照片，该面部照片就是面部原始图像。
S2.图像增强步骤：将面部原始图像从RGB色彩模式转化为YCbCr色彩模式，计算YCbCr色彩模式的面部原始图像中每个像素的颜色坐标。计算YCbCr色彩模式的面部原始图像中每个像素的颜色坐标与所述直角坐标系中的预设直线L之间的相对位置关系参数，把该相对位置关系参数放大设定倍数以得到参数放大图像。把参数放大图像与灰度照片进行巴特沃斯概率融合计算，该灰度照片与参数放大图像大小相同，且该灰度照片所有像素的灰度值均为预设定值。将概率融合后的每个像素的颜色坐标与直线L之间的相对位置关系参数转化成取整数的灰度值，将该取整数的灰度值赋予相应的像素，从而得到面部灰度图。把该面部灰度图中的各像素的灰度值按照预设的灰度值与颜色值的对应关系替换为对应的颜色值，得到面部增强图像。
S3.结果输出步骤：在进行该步骤之前需要对特征融合神经网络进行训练。为了对特征融合神经网络进行训练，需要收集特征融合神经网络学习样本，学习样本收集过程如下：
获取面部原始图像，对面部原始图像进行前述的图像增强从而获得面部增强图像。人工在面部原始图像上标注出颜色较深的问题皮肤部位(这些颜色较深的问题皮肤部位是容易在面部原始图像上检测到的问题皮肤部位，可以人工直接标注)，然后人工根据增强图像在面部原始图像上标注出颜色较浅的问题皮肤部位(这些颜色较浅的问题皮肤部位不容易在面部原始图像上检测到，但可以在面部增强图像上检测到，故能人工根据面部增强图像在面部原始图像上标注出颜色较浅的问题皮肤部位，从而在面部原始图像上标注出全部问题皮肤部位)，该标注出全部问题皮肤部位的面部原始图像作为问题皮肤部位标注图使用。将面部原始图像和面部增强图像作为输入信号，将标注出全部问题皮肤部位的面部增强图像作为输出信号，构成一组学习样本。以上述方法构建多组学习样本从而对特征融合神经网络进行训练。其中问题皮肤部位标注图：可以改为标注出全部问题皮肤部位的面部增强图像，具体来说，人工在面部原始图像上标注出所有颜色较深的皮肤部位，由于经过图像增强问题皮肤部位的颜色变深，会导致部分问题皮肤部位的颜色与面部本来存在的痣、眉毛等面部固有部分的颜色相近，标注出的所有颜色较深的皮肤部位既包括问题皮肤部位又包括面部固有部分，故而需要人工根据面部原始图像再从所有颜色较深的皮肤部位中排除面部固有部分，从而人工在面部增强图像上标注出全部问题皮肤部位；也可以改为由前述的标注出全部问题皮肤部位的面部原始图像和前述的标注出全部问题皮肤部位的面部增强图像共同构成的。
在特征融合神经网络训练完成后，就可以根据面部原始图像进行问题皮肤部位检测了：把前述图像获取步骤中得到的面部原始图像和前述图像增强步骤中得到的面部增强图像输入到已训练好的特征融合神经网络中，由该特征融合神经网络输出问题皮肤部位标注图。
Claims (10)
1.为得到问题皮肤部位标注图而对特征融合神经网络的训练方法，其特征是包括以下步骤：
P.多次执行下述样本获取步骤，获得多组学习样本，每次样本获取步骤包括如下A、B、C：
——A.获取面部原始图像和面部增强图像；
——B.获取问题皮肤部位标注图；
——C.以面部原始图像和面部增强图像作为输入信号，以问题皮肤部位标注图作为输出信号，构成供特征融合神经网络进行模式识别训练的一组学习样本；
Q.采用上述多组学习样本对特征融合神经网络进行模式识别训练，直至该特征融合神经网络具备根据面部原始图像、面部增强图像给出问题皮肤部位标注图的能力。
2.根据权利要求1所述的为得到问题皮肤部位标注图而对特征融合神经网络的训练方法，其特征是，问题皮肤部位标注图包括标注出全部问题皮肤部位的面部原始图像和/或标注出全部问题皮肤部位的面部增强图像。
3.一种计算机可读存储介质，其存储有计算机程序，其特征是该程序被处理器执行时实现如权利要求1或2所述的为得到问题皮肤部位标注图而对特征融合神经网络的训练方法。
4.一种问题皮肤部位的标注方法，其特征是包括以下步骤：
图像获取步骤，其获取面部原始图像；
图像增强步骤，其对面部原始图像进行图像增强处理从而获得面部增强图像；
结果输出步骤，其将面部原始图像、面部增强图像输入到已训练好的特征融合神经网络中，由该特征融合神经网络输出问题皮肤部位标注图。
5.根据权利要求4所述的一种问题皮肤部位的标注方法，其特征是所述图像增强步骤具体地是：将面部原始图像转化为YCbCr颜色空间下的图像，计算YCbCr颜色空间下的图像中每个像素的颜色坐标及该颜色坐标与预设的直线L之间的相对位置关系参数，把该相对位置关系参数放大设定倍数以得到参数放大图像，把参数放大图像与预设的灰度照片进行巴特沃斯概率融合计算，将概率融合后的每个像素的颜色坐标与直线L之间的相对位置关系参数转化成取整数的灰度值，将该取整数的灰度值赋予相应的像素，从而得到面部灰度图，把该面部灰度图中的各像素的灰度值按照预设的灰度值与颜色值的对应关系替换为对应的颜色值，得到面部增强图像。
6.根据权利要求4或5所述的一种问题皮肤部位的标注方法，其特征是：所述已训练好的特征融合神经网络系根据权利要求1所述的为得到问题皮肤部位标注图而对特征融合神经网络的训练方法训练得到。
7.一种计算机可读存储介质，其存储有计算机程序，其特征是该程序被处理器执行时实现如权利要求4-6所述的问题皮肤部位的标注方法。
8.一种基于神经网络的问题皮肤部位检测系统，包括摄像头、处理器，其特征是包括如权利要求7所述的计算机可读存储介质，处理器执行计算机可读存储介质所存储的程序控制控制摄像头拍摄面部原始图像。
9.一种问题皮肤部位检测方法，其特征是包括权1所述的训练方法和权6所述的问题皮肤部位的标注方法。
10.一种计算机可读存储介质，其存储有计算机程序，其特征是该程序被处理器执行时实现如权利要求9所述的问题皮肤部位检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011140109.7A CN112257782A (zh) | 2020-10-22 | 2020-10-22 | 与问题皮肤部位检测相关的方法、系统及其神经网络训练方法、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011140109.7A CN112257782A (zh) | 2020-10-22 | 2020-10-22 | 与问题皮肤部位检测相关的方法、系统及其神经网络训练方法、存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112257782A true CN112257782A (zh) | 2021-01-22 |
Family
ID=74264036
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011140109.7A Pending CN112257782A (zh) | 2020-10-22 | 2020-10-22 | 与问题皮肤部位检测相关的方法、系统及其神经网络训练方法、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112257782A (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108537745A (zh) * | 2018-03-15 | 2018-09-14 | 深圳蛋壳物联信息技术有限公司 | 面部图像问题皮肤增强方法 |
| CN108846311A (zh) * | 2018-04-28 | 2018-11-20 | 北京羽医甘蓝信息技术有限公司 | 基于深度学习的检测面部皮肤片状缺陷的方法及装置 |
-
2020
- 2020-10-22 CN CN202011140109.7A patent/CN112257782A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108537745A (zh) * | 2018-03-15 | 2018-09-14 | 深圳蛋壳物联信息技术有限公司 | 面部图像问题皮肤增强方法 |
| CN108846311A (zh) * | 2018-04-28 | 2018-11-20 | 北京羽医甘蓝信息技术有限公司 | 基于深度学习的检测面部皮肤片状缺陷的方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108229490B (zh) | 关键点检测方法、神经网络训练方法、装置和电子设备 | |
| CN109142366B (zh) | 球形外壳缺陷检测方法、装置及计算机可读存储介质 | |
| TWI581213B (zh) | 物品缺陷檢測方法、影像處理系統與電腦可讀取記錄媒體 | |
| EP3142045B1 (en) | Predicting accuracy of object recognition in a stitched image | |
| US20100034465A1 (en) | Method and apparatus for calculating pixel features of image data | |
| US20130216106A1 (en) | Image matching device | |
| CN108389215B (zh) | 一种边缘检测方法、装置、计算机存储介质及终端 | |
| JP5557091B2 (ja) | 画像処理装置、画像読取装置、画像処理方法及び画像処理プログラム | |
| CN107256543B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN104732200A (zh) | 一种皮肤类型和皮肤问题的识别方法 | |
| CN105740872B (zh) | 图像特征提取方法及其装置 | |
| CN111062891A (zh) | 图像处理方法、装置、终端及计算机可读存储介质 | |
| KR20030029187A (ko) | 영상 의존적인 얼굴 영역 추출방법 | |
| US8995730B2 (en) | Image processing apparatus for analyzing and enhancing fingerprint images | |
| CN111508016A (zh) | 一种基于图像处理的白癜风区域色度值和面积计算的方法 | |
| CN105488486A (zh) | 防止照片攻击的人脸识别方法及装置 | |
| JP2018200640A (ja) | 画像処理装置および画像処理方法 | |
| Sandhiya et al. | Extraction of dorsal palm basilic and cephalic hand vein features for human authentication system | |
| CN108877030B (zh) | 图像处理方法、装置、终端和计算机可读存储介质 | |
| CN114066862A (zh) | 一种基于色域和轮廓特征的指示器识别方法及系统 | |
| CN112712058A (zh) | 一种字符识别提取方法 | |
| CN112257782A (zh) | 与问题皮肤部位检测相关的方法、系统及其神经网络训练方法、存储介质 | |
| JP2001236508A (ja) | 顕著性算出装置及び方法 | |
| CN109934215B (zh) | 一种身份证识别方法 | |
| Shen et al. | A holistic image segmentation framework for cloud detection and extraction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |