CN112464885A - 基于机器学习的面部色斑未来变化的图像处理系统 - Google Patents
基于机器学习的面部色斑未来变化的图像处理系统 Download PDFInfo
- Publication number
- CN112464885A CN112464885A CN202011465468.XA CN202011465468A CN112464885A CN 112464885 A CN112464885 A CN 112464885A CN 202011465468 A CN202011465468 A CN 202011465468A CN 112464885 A CN112464885 A CN 112464885A
- Authority
- CN
- China
- Prior art keywords
- image
- module
- facial
- color
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000001815 facial effect Effects 0.000 title claims abstract description 29
- 230000008859 change Effects 0.000 title claims abstract description 15
- 238000012545 processing Methods 0.000 title claims abstract description 15
- 238000010801 machine learning Methods 0.000 title claims abstract description 10
- 238000012549 training Methods 0.000 claims abstract description 21
- 238000007781 pre-processing Methods 0.000 claims abstract description 11
- 230000011218 segmentation Effects 0.000 claims description 20
- 238000001514 detection method Methods 0.000 claims description 17
- 238000000034 method Methods 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 12
- 238000012417 linear regression Methods 0.000 claims description 7
- 210000004709 eyebrow Anatomy 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 3
- 230000015556 catabolic process Effects 0.000 claims description 2
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000006731 degradation reaction Methods 0.000 claims description 2
- 238000003708 edge detection Methods 0.000 claims description 2
- 238000011176 pooling Methods 0.000 claims description 2
- 238000009877 rendering Methods 0.000 claims 2
- 238000003909 pattern recognition Methods 0.000 claims 1
- 230000001629 suppression Effects 0.000 claims 1
- 210000001508 eye Anatomy 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 210000001331 nose Anatomy 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 210000000697 sensory organ Anatomy 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000003042 antagnostic effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Human Computer Interaction (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Medical Informatics (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
一种基于机器学习的面部色斑未来变化的图像处理系统,包括:图像采集模块、图像标记模块、图像预处理模块、训练模块、预测模块和显示模块,图像采集模块采集用户不同时期拍摄的面部图像,图像标记模块标记不同面部图像的色斑区域,图像预处理模块对色斑区域进行预处理并生成训练集,训练模块基于训练集对基于残差网络的预测模块进行训练,训练后的预测模块生成未来各个时刻的色斑区域的大小和颜色深浅,显示模块基于预测得到的色斑区域绘制人像图案。本发明能够自动生成在特定的条件下(例如:使用特定的产品或特定的环境下)未来时刻自己的色斑变化情况。
Description
技术领域
本发明涉及的是一种图像处理领域的技术,具体是一种基于机器学习的面部色斑未来变化的图像处理系统。
背景技术
现有的关于面部色斑的未来变化(例如在使用某种祛色斑效果的产品之后各个时期的色斑情况)预测没有直接的技术实现,现有的技术就是面部色斑的检测(主要是色斑的区域的识别)有两种形式,一种是借助硬件条件去实现面部色斑检测,还有一种就是不借助硬件仅仅从图像处理技术去实现。前者借助硬件实现光学测量,测量范围太小,操作较复杂,并且需要高昂的摄像机,导致成本高。后者从图像处理技术去实现,其中的深度学习方式可以处理更复杂色斑分割任务,例如完全卷积残差网络,端对端对抗神经网络SegAN,U-Net多尺度残差连接深度学习架构,它们共同的特点就是仅仅实现色斑的检测,并且对数据集有一定要求,必须要有清晰度高并且拍摄角度固定的图像才能实现检测。
发明内容
本发明针对现有技术针对于面部的色斑的检测的不足,提出一种基于机器学习的面部色斑未来变化的图像处理系统,能够自动生成在特定的条件下(例如:使用特定的产品或特定的环境下)未来时刻自己的色斑变化情况。
本发明是通过以下技术方案实现的:
本发明涉及一种基于机器学习的面部色斑未来变化的图像处理系统,包括:图像采集模块、图像标记模块、图像预处理模块、训练模块、预测模块和显示模块,其中:图像采集模块采集用户不同时期拍摄的面部图像,图像标记模块标记不同面部图像的色斑区域,图像预处理模块对色斑区域进行预处理并生成训练集,训练模块基于训练集对基于残差网络的预测模块进行训练,训练后的预测模块生成未来各个时刻的色斑区域的大小和颜色深浅,显示模块基于预测得到的色斑区域绘制人像图案。
所述的预处理是指:将原图像进行人像区域识别、人像轮廓识别、人像皮肤目标提取,将不同时期图像进行角度统一、大小统一、色调统一。
所述的残差网络是指:ResNet利用残差学习来解决退化问题,包括卷积层,池化层,全连接层。
所述的绘制,通过opencv在原始图像上绘制回归模型预测的色斑的大小和颜色深浅。
本发明涉及上述系统的面部色斑未来变化图像生成方法,通过将样本图像进行预处理后,采用残差网络作为骨干网络进行色斑的检测和分割,再通过色斑区域计算色斑的大小和颜色深浅,然后将时间和色斑的大小和颜色深浅作为数据集,通过线性回归模型进行预测,得到色斑的大小和颜色深浅,最后经过绘制后得到未来时刻脸部色斑的图像从而实现色斑变化情况的预测。
所述的检测和分割,通过特征金字塔网络构建自下而上特征提取结构,获得输入图像特征图,提取多个尺度要素;然后使用区域候选网络方法选取候选区域,通过ROIAlign方法将特征图、输入图像像素对齐,然后网络分类分支、像素分割分支训练完成面部图像色斑区域分割。
技术效果
与现有技术相比,由于本发明对图像预处理有极强的包容性,所以对于原始采集的图像数据要求不高,具有极强的易用性,使用者在使用本发明时采集图像数据简便(例如:普通的手机就可以实现),其次,本发明的系统不仅仅对于色斑区域可以进行检测和评估还可以使用本系统去预测未来任何时刻自己色斑的变化情况从而可以评估某种产品的使用效果以及需要使用的时间或者是所处环境对于自己色斑变化的影响。最后,本发明其中的分割检测功能相比以往的分割检测算法准确度高,抗干扰能力强。
附图说明
图1为本发明流程图;
图2为实施例图像分割示意图;
图中:(a)为基本特征、(b)为中心特征、(c)为眼睛与眉毛的特征、(d)为眼睛与鼻子的特征;
图3为实施例CNN检测分割神经网络示意图;
图4为实施例效果示意图。
具体实施方式
如图1所示,为本实施例涉及一种基于机器学习的面部色斑未来变化的图像处理系统,包括以下步骤:
步骤1)数据采集:每位色斑患者通过手机或相机获取不同时期的全脸面部图像数据Pii,其中i表示的是色斑患者的编号,j表示色斑患者在何时拍的图像。
步骤2)图像预处理:由于不同的色斑患者以及不同时期的拍摄都会导致图像的大小、亮度都会存在变化,故对其先人像区域识别、人像轮廓识别、人像皮肤目标提取、颜色空间归一化、图像标注。
如图1所示,所述的人像区域识别采用AdaBoost算法,然后在其中利用Haar特征进行区域识别,其中:通过放大和平移计算其Haar特征值,从而实现从图像向特征值转化。
由于Haar特征值数量多,为了快速计算,使用积分图,避免重复计算。本实施例将不同的Haar特征表示成不同的弱分类器。强分类器是通过AdaBoost算法带有权重的投票机制选择分类能力最强的弱分类器以二叉树的结构级联,通过训练得到图像中的人脸区域。
所述的Haar特征包括五个基本特征,本实施例在此基础上引入45度方向上的倾斜特征以及三个中心特征,并进一步为提高准确率引入眼睛与眉毛和一个眼睛与鼻子组成的特征。
所述的人像轮廓识别采用阈值分割算法,首先将之前得到的剪裁过的人脸区域图像二值化,在图像中阈值分割算法的otsu算法提取出最大的轮廓就是人脸的轮廓。
所述的人脸皮肤目标提取是通过将人脸的五官提取出来,以免它们影响色斑的预测结果。眼睛的特征提取通过sobel边缘检测算法提取出来。眉毛通过hsv色彩空间提取出来,嘴巴通过YCbCr色彩空间提取出来。鼻孔通过高斯差分将其提取出来。从之前提取出的人脸轮廓中的内脸区域将这些五官特征移除。
所述的颜色空间归一化采用灰度线性变换和中值滤波实现,灰度线性变化的实现是将原图像灰度范围变换到统一的范围,假设原图像f(x,y)的灰度范围为[a,b],运算后得到的图像g(x,y)灰度范围统一到[c,d]。中值滤波是先确定一个以某个像素为中心点的领域;然后将这个领域中的各个像素的灰度值进行排序,取其中间值作为中心点像素灰度的新值;当窗口在图像中上下左右进行移动后,利用中值滤波算法取一个数代替原先的像素值。这样就可以减少光斑的影响消除噪声点防止其对后续图像处理的影响。最后实现图像大小的归一化,将它们统一为750×1000像素。
所述的图像标注采用VGGImageAnnotator标注工具实现,通过其点线工具标记出色斑区域以及之前识别的五官特征最后生成json文件,用于后续数据集训练。
步骤3)基于CNN模型识别色斑:如图3所示,为CNN检测分割框架图,网络采用残差网络作为骨干网络,通过特征金字塔网络构建自下而上特征提取结构,获得输入图像特征图,提取多个尺度要素,使用区域候选网络RPN方法选取候选区域,通过ROIAlign方法将特征图、输入图像像素对齐,再经网络分类分支、像素分割分支训练完成人脸图像色斑区域分割。
本实施例使用ResNet作为检测分割模型骨干网络,将人脸正脸图像通过双线性插值映射至512×512的图像尺度,设置单次训练读取输入图片一次训练所选取的样本数为16,本发明将选择框大小分别设置为16、32、64、128、256五种尺度,从而可以在多个尺度上有良好的检测表现。最后再通过非极大值抑制方法,挑选出最有可能存在色斑的区域并进行分割。
所述的色斑分割的具体实现是将标记过的数据集用CNN模型训练和测试调整出最优的参数,然后将剩下未标记的数据集分割人像的色斑区域,用opencv计算出每位色斑患者的每块色斑区域的大小以及其灰度值。
步骤4)预测未来色斑的大小和颜色深浅通过线性回归模型实现,其中:线性回归模型试图学得一个线性模型以尽可能准确地预测实值。本实施例将每位色斑患者的每块色斑区域不同时期的大小和颜色深浅作为线性回归的数据集。如图4所示,本实施例将每位色斑患者的第一次获取的人像作为时间原点,时间单位为月,a轴表示为时间,b轴表示为色斑大小和深浅。将所有的数据集通过这个线性回归模型就可以得到未来不同时期色斑的大小和深浅。
步骤5)通过opencv将之前预测到特定时期的色斑大小和颜色深浅绘制回人像中,具体为:将之前色斑识别的图像取色斑附近的不是色斑的肤色绘制到色斑区域,然后以识别的色斑的重心作为圆心c,最后通过预测的面积大小换算成面积得到圆的半径大小r,在原色斑区域上绘制以c为圆心r为圆心的未来色斑。
经过具体实验,在ubuntu的操作系统,显卡为2080ti,以pytorch作为机器学习的主要框架,图像数据归一化为512*512像素,实验中得到的检测的准确率为82.71%,召回率72.31%,精准率84.01%,线性回归的预测的准确率为78.28%。
与现有技术相比,本实施例在图像前期预处理过程严格的归一化处理,以及排除了各种干扰因素,例如眼耳口鼻带来的阴影影响的预测结果,所以在检测分割的准确率上有一定的提升,并且执行的效率更快,其次除了检测分割功能以外,增加了关于未来任何时刻的色斑变化大小的预测功能。
上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整,本发明的保护范围以权利要求书为准且不由上述具体实施所限,在其范围内的各个实现方案均受本发明之约束。
Claims (10)
1.一种基于机器学习的面部色斑未来变化的图像处理系统,其特征在于,包括:图像采集模块、图像标记模块、图像预处理模块、训练模块、预测模块和显示模块,其中:图像采集模块采集用户不同时期拍摄的面部图像,图像标记模块标记不同面部图像的色斑区域,图像预处理模块对色斑区域进行预处理并生成训练集,训练模块基于训练集对基于残差网络的预测模块进行训练,训练后的预测模块生成未来各个时刻的色斑区域的大小和颜色深浅,显示模块基于预测得到的色斑区域绘制人像图案;
所述的预处理是指:将原图像进行人像区域识别、人像轮廓识别、人像皮肤目标提取,将不同时期图像进行角度统一、大小统一、色调统一;
所述的残差网络是指:ResNet利用残差学习来解决退化问题,包括卷积层,池化层,全连接层。
2.根据权利要求1所述的基于机器学习的面部色斑未来变化的图像处理系统,其特征是,所述的绘制,通过opencv在原始图像上绘制回归模型预测的色斑的大小和颜色深浅。
3.根据权利要求1所述的基于机器学习的面部色斑未来变化的图像处理系统,其特征是,所述的人像区域识别,采用AdaBoost算法,然后在其中利用Haar特征进行区域识别,其中:通过放大和平移计算其Haar特征值,从而实现从图像向特征值转化。
4.根据权利要求3所述的基于机器学习的面部色斑未来变化的图像处理系统,其特征是,所述的Haar特征包括五个基本特征、45度方向上的倾斜特征、三个中心特征、眼睛与眉毛和一个眼睛与鼻子组成的特征。
5.根据权利要求1所述的基于机器学习的面部色斑未来变化的图像处理系统,其特征是,所述的人像轮廓识别采用阈值分割算法,首先将之前得到的剪裁过的人脸区域图像二值化,在图像中阈值分割算法的otsu算法提取出最大的轮廓就是人脸的轮廓。
6.根据权利要求1所述的基于机器学习的面部色斑未来变化的图像处理系统,其特征是,所述的人脸皮肤目标提取是通过将人脸的五官提取出来,以免它们影响色斑的预测结果,眼睛的特征提取通过sobel边缘检测算法提取出来,眉毛通过hsv色彩空间提取出来,嘴巴通过YCbCr色彩空间提取出来,鼻孔通过高斯差分将其提取出来,从之前提取出的人脸轮廓中的内脸区域将这些五官特征移除。
7.根据权利要求1所述的基于机器学习的面部色斑未来变化的图像处理系统,其特征是,所述的ResNet作为检测分割模型骨干网络,将人脸正脸图像通过双线性插值映射至512×512的图像尺度,设置单次训练读取输入图片一次训练所选取的样本数为16,将选择框大小分别设置为16、32、64、128、256五种尺度,从而可以在多个尺度上有良好的检测表现,最后再通过非极大值抑制方法,挑选出最有可能存在色斑的区域并进行分割。
8.一种基于上述任一权利要求所述系统的面部色斑未来变化图像生成方法,其特征在于,通过将样本图像进行预处理后,采用残差网络作为骨干网络进行色斑的检测和分割,再通过色斑区域计算色斑的大小和颜色深浅,然后将时间和色斑的大小和颜色深浅作为数据集,通过线性回归模型进行预测,得到色斑的大小和颜色深浅,最后经过绘制后得到未来时刻脸部色斑的图像从而实现色斑变化情况的预测。
9.根据权利要求8所述的方法,其特征是,所述的检测和分割,通过特征金字塔网络构建自下而上特征提取结构,获得输入图像特征图,提取多个尺度要素;然后使用区域候选网络方法选取候选区域,通过ROI Align方法将特征图、输入图像像素对齐,然后网络分类分支、像素分割分支训练完成面部图像色斑区域分割。
10.根据权利要求8或9所述的方法,其特征是,所述的分割的具体实现是将标记过的数据集用CNN模型训练和测试调整出最优的参数,然后将剩下未标记的数据集分割人像的色斑区域,用opencv计算出每位色斑患者的每块色斑区域的大小以及其灰度值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011465468.XA CN112464885A (zh) | 2020-12-14 | 2020-12-14 | 基于机器学习的面部色斑未来变化的图像处理系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011465468.XA CN112464885A (zh) | 2020-12-14 | 2020-12-14 | 基于机器学习的面部色斑未来变化的图像处理系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112464885A true CN112464885A (zh) | 2021-03-09 |
Family
ID=74804049
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011465468.XA Pending CN112464885A (zh) | 2020-12-14 | 2020-12-14 | 基于机器学习的面部色斑未来变化的图像处理系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112464885A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112990045A (zh) * | 2021-03-25 | 2021-06-18 | 北京百度网讯科技有限公司 | 用于生成图像变化检测模型和图像变化检测的方法和装置 |
CN113379716A (zh) * | 2021-06-24 | 2021-09-10 | 厦门美图之家科技有限公司 | 一种色斑预测方法、装置、设备及存储介质 |
CN113724238A (zh) * | 2021-09-08 | 2021-11-30 | 佛山科学技术学院 | 基于特征点邻域颜色分析的陶瓷砖色差检测与分级方法 |
CN114092485A (zh) * | 2021-09-28 | 2022-02-25 | 华侨大学 | 一种基于mask rcnn的堆叠粗骨料图像分割方法及系统 |
CN114121269A (zh) * | 2022-01-26 | 2022-03-01 | 北京鹰之眼智能健康科技有限公司 | 一种基于人脸特征检测的中医面诊辅助诊断方法、装置和存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090196475A1 (en) * | 2008-02-01 | 2009-08-06 | Canfield Scientific, Incorporated | Automatic mask design and registration and feature detection for computer-aided skin analysis |
CN101711674A (zh) * | 2004-10-22 | 2010-05-26 | 株式会社资生堂 | 皮肤状况诊断系统 |
CN101916334A (zh) * | 2010-08-16 | 2010-12-15 | 清华大学 | 一种皮肤状况预测方法及其预测系统 |
CN106529429A (zh) * | 2016-10-27 | 2017-03-22 | 中国计量大学 | 一种基于图像识别的面部皮肤分析系统 |
TW201923655A (zh) * | 2017-11-16 | 2019-06-16 | 朴星準 | 面部變化記錄應用程式 |
CN109994206A (zh) * | 2019-02-26 | 2019-07-09 | 华为技术有限公司 | 一种容貌预测方法及电子设备 |
CN110473177A (zh) * | 2019-07-30 | 2019-11-19 | 上海媚测信息科技有限公司 | 皮肤色素分布预测方法、图像处理系统及存储介质 |
CN110473199A (zh) * | 2019-08-21 | 2019-11-19 | 广州纳丽生物科技有限公司 | 一种基于深度学习实例分割的色斑痤疮检测与健康评价方法 |
-
2020
- 2020-12-14 CN CN202011465468.XA patent/CN112464885A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101711674A (zh) * | 2004-10-22 | 2010-05-26 | 株式会社资生堂 | 皮肤状况诊断系统 |
US20090196475A1 (en) * | 2008-02-01 | 2009-08-06 | Canfield Scientific, Incorporated | Automatic mask design and registration and feature detection for computer-aided skin analysis |
CN101916334A (zh) * | 2010-08-16 | 2010-12-15 | 清华大学 | 一种皮肤状况预测方法及其预测系统 |
CN106529429A (zh) * | 2016-10-27 | 2017-03-22 | 中国计量大学 | 一种基于图像识别的面部皮肤分析系统 |
TW201923655A (zh) * | 2017-11-16 | 2019-06-16 | 朴星準 | 面部變化記錄應用程式 |
CN109994206A (zh) * | 2019-02-26 | 2019-07-09 | 华为技术有限公司 | 一种容貌预测方法及电子设备 |
CN110473177A (zh) * | 2019-07-30 | 2019-11-19 | 上海媚测信息科技有限公司 | 皮肤色素分布预测方法、图像处理系统及存储介质 |
CN110473199A (zh) * | 2019-08-21 | 2019-11-19 | 广州纳丽生物科技有限公司 | 一种基于深度学习实例分割的色斑痤疮检测与健康评价方法 |
Non-Patent Citations (3)
Title |
---|
晏鹏程: "基于卷积神经网络的视频监控人脸识别方法", 《成都工业学院学报》 * |
王朕: "一种特殊彩色空间中的面部皮肤缺陷检测算法", 《扬州大学学报(自然科学版)》 * |
陈友升: "基于Mask R-CNN 的人脸皮肤色斑检测分割方法", 《激光杂志》 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112990045A (zh) * | 2021-03-25 | 2021-06-18 | 北京百度网讯科技有限公司 | 用于生成图像变化检测模型和图像变化检测的方法和装置 |
CN113379716A (zh) * | 2021-06-24 | 2021-09-10 | 厦门美图之家科技有限公司 | 一种色斑预测方法、装置、设备及存储介质 |
WO2022267327A1 (zh) * | 2021-06-24 | 2022-12-29 | 厦门美图宜肤科技有限公司 | 一种色斑预测方法、装置、设备及存储介质 |
JP2023534328A (ja) * | 2021-06-24 | 2023-08-09 | 厦門美図宜膚科技有限公司 | 色斑予測方法、装置、設備及び記憶媒体 |
JP7385046B2 (ja) | 2021-06-24 | 2023-11-21 | 厦門美図宜膚科技有限公司 | 色斑予測方法、装置、設備及び記憶媒体 |
CN113379716B (zh) * | 2021-06-24 | 2023-12-29 | 厦门美图宜肤科技有限公司 | 一种色斑预测方法、装置、设备及存储介质 |
CN113724238A (zh) * | 2021-09-08 | 2021-11-30 | 佛山科学技术学院 | 基于特征点邻域颜色分析的陶瓷砖色差检测与分级方法 |
CN113724238B (zh) * | 2021-09-08 | 2024-06-11 | 佛山科学技术学院 | 基于特征点邻域颜色分析的陶瓷砖色差检测与分级方法 |
CN114092485A (zh) * | 2021-09-28 | 2022-02-25 | 华侨大学 | 一种基于mask rcnn的堆叠粗骨料图像分割方法及系统 |
CN114121269A (zh) * | 2022-01-26 | 2022-03-01 | 北京鹰之眼智能健康科技有限公司 | 一种基于人脸特征检测的中医面诊辅助诊断方法、装置和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112464885A (zh) | 基于机器学习的面部色斑未来变化的图像处理系统 | |
Khairosfaizal et al. | Eyes detection in facial images using circular hough transform | |
CN111524080A (zh) | 脸部皮肤特征的识别方法、终端及计算机设备 | |
CN106056064A (zh) | 一种人脸识别方法及人脸识别装置 | |
CN108537168B (zh) | 基于迁移学习技术的面部表情识别方法 | |
WO2006087581A1 (en) | Method for facial features detection | |
CN109522883A (zh) | 一种人脸检测方法、系统、装置及存储介质 | |
CN109740572A (zh) | 一种基于局部彩色纹理特征的人脸活体检测方法 | |
Tian et al. | Scene text segmentation with multi-level maximally stable extremal regions | |
CN110807367A (zh) | 一种动态识别运动中人员号码的方法 | |
Monwar et al. | Pain recognition using artificial neural network | |
CN110348289A (zh) | 一种基于二值图的手指静脉识别方法 | |
CN109726660A (zh) | 一种遥感图像船舶识别方法 | |
CN117037049B (zh) | 基于YOLOv5深度学习的图像内容检测方法及系统 | |
Fathee et al. | Iris segmentation in uncooperative and unconstrained environments: state-of-the-art, datasets and future research directions | |
Fathy et al. | Benchmarking of pre-processing methods employed in facial image analysis | |
CN108154116A (zh) | 一种图像识别方法及系统 | |
CN106548130A (zh) | 一种视频图像提取及识别方法与系统 | |
CN116386118A (zh) | 一种基于人像识别的粤剧匹配化妆系统及其方法 | |
CN111950409B (zh) | 一种道路标记线智能识别方法及系统 | |
Yao et al. | Arm gesture detection in a classroom environment | |
CN113139946A (zh) | 一种基于视觉的衬衫污渍定位设备 | |
Hosseini et al. | Facial expression analysis for estimating patient's emotional states in RPMS | |
CN118038515B (zh) | 一种人脸识别方法 | |
CN110110623A (zh) | 一种基于Android平台的人脸识别系统及设计方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210309 |