CN106408510B - 一种获取人脸图像的美颜蒙版的方法及系统 - Google Patents
一种获取人脸图像的美颜蒙版的方法及系统 Download PDFInfo
- Publication number
- CN106408510B CN106408510B CN201610809404.4A CN201610809404A CN106408510B CN 106408510 B CN106408510 B CN 106408510B CN 201610809404 A CN201610809404 A CN 201610809404A CN 106408510 B CN106408510 B CN 106408510B
- Authority
- CN
- China
- Prior art keywords
- masking
- template image
- image
- face
- facial image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000001815 facial effect Effects 0.000 title claims abstract description 91
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000001514 detection method Methods 0.000 claims abstract description 48
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 47
- 238000012545 processing Methods 0.000 claims abstract description 22
- 238000012549 training Methods 0.000 claims abstract description 21
- 238000003708 edge detection Methods 0.000 claims description 14
- 230000002500 effect on skin Effects 0.000 claims description 14
- 239000011248 coating agent Substances 0.000 claims description 8
- 238000000576 coating method Methods 0.000 claims description 8
- 238000004439 roughness measurement Methods 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 3
- 230000006870 function Effects 0.000 description 11
- 238000012986 modification Methods 0.000 description 8
- 230000004048 modification Effects 0.000 description 8
- 241001269238 Data Species 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000003252 repetitive effect Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000003796 beauty Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003631 expected effect Effects 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 210000001938 protoplast Anatomy 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及图像处理技术领域,具体涉及了一种获取人脸图像的美颜蒙版的方法及系统。一种获取人脸图像的美颜蒙版的方法,包括:获取至少一个模板图像的美颜蒙版和颜色空间数据;利用所述至少一个模板图像的美颜蒙版和颜色空间数据对卷积神经网络进行迭代训练,以获取用于美颜蒙版检测的卷积神经网络;利用所述用于美颜蒙版检测的卷积神经网络及待处理的人脸图像,获取待处理的人脸图像的美颜蒙版。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种获取人脸图像的美颜蒙版的方法及系统。
背景技术
在对存在光线复杂、背光、暗光等因素的室内环境中拍摄的人脸图像进行处理的过程中,容易导致对皮肤区域的识别及对该皮肤区域是否为皮肤的判断出现问题。尤其是当所处的环境光线不同时,由于背景环境和皮肤颜色近似,复杂的光线会引起肤色的变化,导致脸部成为阴阳脸,也会使获取的人脸区域美颜蒙版无法包括所有的皮肤区域或者误将背景识别为皮肤区域,从而使美颜程度的判定出现不准确等问题。
现有技术主要是利用人脸区域、皮肤检测和粗糙程度检测,对人脸图进行皮肤区域的检测以及粗糙程度检测,并且通过皮肤的概率和粗糙程度计算出一个美颜蒙版,然后对原始图像进行磨皮处理。具体而言,先确定人脸区域的位置,并据此初步计算出皮肤颜色,对于计算出的皮肤颜色和预设的皮肤颜色比较近的区域给予比较高的皮肤概率,否则则给予比较低的皮肤概率;然后计算原图各个位置上的粗糙程度;最后根据皮肤蒙版和粗糙程度蒙版计算出美颜蒙版。
但是,上述方法对于皮肤区域的识别和判定的鲁棒性不强,经常把背景区域认为是皮肤区域,或者在皮肤颜色变化范围较大时,漏掉对一些皮肤区域的识别。并且由于对光照、图片质量比较敏感,导致对美颜程度及皮肤粗糙程度的判断不够细腻。
发明内容
本发明的一个目的是提供一种获取人脸图像的美颜蒙版的方法及系统,通过采用不同的模板图像所对应的全部颜色空间数据和根据该模板处理好的美颜蒙版对卷积神经网络进行迭代训练,获得美颜蒙版检测的卷积神经网络,并通过该卷积神经网络对人脸图像自动获取皮肤美颜蒙版,对皮肤区域识别的鲁棒性较高,并且使美颜程度以及皮肤粗糙程度的判断更细腻。
为了实现上述目的,本发明采取了如下技术方案:
根据本发明的一个方面,提供了一种获取人脸图像的美颜蒙版的方法,包括:获取至少一个模板图像的美颜蒙版和颜色空间数据;利用至少一个模板图像的美颜蒙版和颜色空间数据对卷积神经网络进行迭代训练,以获取用于美颜蒙版检测的卷积神经网络;利用用于美颜蒙版检测的卷积神经网络及待处理的人脸图像,获取待处理的人脸图像的美颜蒙版。
根据本发明的一个方面,获取至少一个模板图像的美颜蒙版的处理包括:对至少一个模板图像进行皮肤检测,以获取至少一个模板图像的初级皮肤蒙版;对至少一个模板图像的初级皮肤蒙版中的疑似皮肤区域进行标记,并提取所述疑似皮肤区域以获取至少一个模板图像的校准皮肤蒙版;利用至少一个模板图像的校准皮肤蒙版及对应的模板图像,获取至少一个模板图像中的每个疑似皮肤区域的粗糙程度;以及利用至少一个模板图像的校准皮肤蒙版和至少一个模板图像中的每个疑似皮肤区域的粗糙程度,获取至少一个模板图像的美颜蒙版。
根据本发明的一个方面,计算至少一个模板图像中的每个疑似皮肤区域的粗糙程度的处理包括:利用边缘检测算法获取至少一个模板图像中的每个疑似皮肤区域的边缘信息;利用梯度算法获取至少一个模板图像中的每个疑似皮肤区域的梯度信息;利用至少一个模板图像中的每个疑似皮肤区域的边缘信息和梯度信息,计算至少一个模板图像中的每个疑似皮肤区域的粗糙程度。
根据本发明的一个方面,利用至少一个模板图像中的每个疑似皮肤区域的边缘信息和梯度信息进行数学运算和/或条件运算,来计算至少一个模板图像中的每个疑似皮肤区域的粗糙程度。
根据本发明的一个方面,至少一个模板图像的颜色空间数据包括至少一个模板图像的LAB数据、RGB数据和HSV数据中的至少一种。
根据本发明的一个方面,卷积神经网络包括循环设置的卷积层、池化层、上采样层、激活层以及全连接层。
根据本发明的一个方面,获取人脸图像的美颜蒙版的方法还包括:在利用至少一个模板图像的美颜蒙版和颜色空间数据对卷积神经网络进行迭代训练之前,对至少一个模板图像的美颜蒙版和颜色空间数据进行缩放。
根据本发明的一个方面,获取人脸图像的美颜蒙版的方法还包括:在获取待处理的人脸图像的美颜蒙版之前,对待处理的人脸图像进行与至少一个模板图像的颜色空间数据和美颜蒙版相同比例的缩放。
根据本发明的一个方面,获取人脸图像的美颜蒙版的方法还包括:在获取待处理的人脸图像的美颜蒙板后,对待处理的人脸图像的美颜蒙版进行反向缩放。
本发明的另一个方面,提供了一种获取人脸图像的美颜蒙版的系统,包括:预处理单元,用于获取至少一个模板图像的美颜蒙版和颜色空间数据;卷积训练单元,用于利用至少一个模板图像的美颜蒙版和颜色空间数据对卷积神经网络进行迭代训练,以获取用于美颜蒙版检测的卷积神经网络;图像处理单元,用于利用用于用于美颜蒙版检测的卷积神经网络及待处理的人脸图像,获取待处理的人脸图像的美颜蒙版。
本发明的另一个方面,预处理单元包括:皮肤检测单元,用于对至少一个模板图像进行皮肤检测,以获取至少一个模板图像的初级皮肤蒙版;蒙版校准单元,用于对至少一个模板图像的初级皮肤蒙版中的疑似皮肤区域进行标记,并提取所述疑似皮肤区域以获取至少一个模板图像的校准皮肤蒙版;粗糙度检测单元,用于利用至少一个模板图像的校准皮肤蒙版,获取至少一个模板图像中的每个疑似皮肤区域的粗糙程度;美颜蒙版处理单元,用于利用至少一个模板图像的校准皮肤蒙版和至少一个模板图像中的每个疑似皮肤区域的粗糙程度,获取至少一个模板图像的美颜蒙版。
本发明的另一个方面,粗糙度检测单元包括:边缘检测单元,用于利用边缘检测算法获取至少一个模板图像中的每个疑似皮肤区域的边缘信息;梯度检测单元,用于将利用梯度算法获取至少一个模板图像中的每个疑似皮肤区域的梯度信息;粗糙度处理单元,用于利用至少一个模板图像中的每个疑似皮肤区域的边缘信息和梯度信息,计算至少一个模板图像中的每个疑似皮肤区域的粗糙程度。
本发明的另一个方面,粗糙度处理单元能够利用至少一个模板图像中的每个疑似皮肤区域的边缘信息和梯度信息进行数学运算和/或条件运算,来计算至少一个模板图像中的每个疑似皮肤区域的粗糙程度。
本发明的另一个方面,至少一个模板图像的颜色空间数据包括至少一个模板图像的LAB数据、RGB数据和HSV数据中的至少一种。
本发明的另一个方面,卷积神经网络包括循环设置的卷积层、池化层、上采样层、激活层以及全连接层。
本发明的另一个方面,获取人脸图像的美颜蒙版的系统还包括模板图像缩放单元,用于在利用至少一个模板图像的美颜蒙版和颜色空间数据对卷积神经网络进行迭代训练之前,对至少一个模板图像的美颜蒙版和颜色空间数据进行缩放。
本发明的另一个方面,获取人脸图像的美颜蒙版的系统还包括人脸图像缩放单元,用于在获取待处理的人脸图像的美颜蒙版之前,对待处理的人脸图像进行与至少一个模板图像的颜色空间数据和美颜蒙版相同比例的缩放。
本发明的另一个方面,获取人脸图像的美颜蒙版的系统还包括人脸图像反缩放单元,用于在获取待处理的人脸图像的美颜蒙板后,对待处理的人脸图像的美颜蒙版进行反向缩放。
采用根据本发明实施例的一种获取人脸图像的美颜蒙版的方法及系统,利用不同的模板图像所对应的全部颜色空间数据和美颜蒙版对卷积神经网络进行迭代训练,并且获得用于美颜蒙版检测的卷积神经网络,然后通过用于用于美颜蒙版检测的卷积神经网络及待处理的人脸图像获取人脸图像的皮肤美颜蒙版。通过采用卷积神经网络对人脸图像进行美颜蒙版的检测,可以提高检测的鲁棒性,使对皮肤区域的识别更加准确。另外,通过让卷积神经网络自己学习训练,从而使用于美颜蒙版检测的卷积神经网络的测试自由度更高,并且能够综合不同情况对输出的美颜蒙版的影响,有效地提高美颜程度。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例中所需要使用的附图作简单地介绍,显而易见地,下面所描述的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一实施例的获取人脸图像的美颜蒙版的方法的示意性流程图;
图2是本发明一实施例的预处理的方法的示意性流程图;
图3是本发明一实施例的获取人脸图像的美颜蒙版的系统的示意性框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面将详细描述本发明的各个方面的特征和示例性实施例。在下面的详细描述中,提出了许多具体细节,以便提供对本发明的全面理解。但是,对于本领域技术人员来说很明显的是,本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明的更好的理解。本发明决不限于下面所提出的任何具体配置和算法,而是在不脱离本发明的精神的前提下覆盖了部件和算法的任何修改、替换和改进。在附图和下面的描述中,没有示出公知的结构和技术,以便避免对本发明造成不必要的模糊。
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的实施方式;相反,提供这些实施方式使得本发明更全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的结构,因而将省略它们的详细描述。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1是本发明一实施例的获取人脸图像的美颜蒙版的方法的示意性流程图。图1示出的获取人脸图像的美颜蒙版的方法包括:
S1、对至少一个模板图像进行预处理,并且获取至少一个模板图像的美颜蒙版和颜色空间数据。其中,少一个模板图像的颜色空间数据包括但不限于模板图像的LAB数据、RGB数据和HSV数据中的至少一种。
S2、利用至少一个模板图像的美颜蒙版和颜色空间数据对卷积神经网络进行迭代训练,以获取用于美颜蒙版检测的卷积神经网络。在一个实施例中,卷积神经网络包括循环设置的卷积层、池化层、上采样层、激活层以及全连接层。其中,池化层的池化函数可以为Max Pooling函数,激活层的激活函数可以为ReLU函数。
S3、利用用于美颜蒙版检测的卷积神经网络及待处理的人脸图像,获取待处理的人脸图像的美颜蒙版。
图2是本发明一实施例的预处理的方法的示意性流程图。根据图2所示的实施例,步骤S1中预处理的方法包括:
S11、对至少一个模板图像进行皮肤检测,以获取至少一个模板图像的初级皮肤蒙版。在一个实施例中,可以对模板图像进行皮肤检测,并在模板图像上标记出疑似皮肤区域以获得初级皮肤蒙版。例如,可以先根据现有的皮肤检测算法对整张模板图像进行检测,并且计算出该图上的每个像素为皮肤的概率,从而获得初级皮肤蒙版。
S12、对所述至少一个模板图像的初级皮肤蒙版中的疑似皮肤区域进行标记,提取疑似皮肤区域,删除非皮肤区域,以获取所述至少一个模板图像的校准皮肤蒙版。由于原有皮肤检测算法的局限性,使检测到的初级皮肤蒙版不是很准确,因此我们可以通过修改误选或者遗漏的区域的标记状态以获得模板图像的校准皮肤蒙版,例如我们根据该区域是皮肤的概率值,可以通过取消概率值小于50%却被掉误标记为疑似区域的区域,也可以将未被标记为疑似区域而概率值大于或者等于50%的区域选择并标记。由于采用了图像分割算法将该模板图像分割为多个区域,因此,可以针对每一个区域进行操作,而不需要针对于每一个像素进行操作,因此,可以大大缩短了修改疑似区域标记状态的时间,并且可以用尽量少的修改操作获得比较准确的标记出疑似皮肤区域的模板图像。具体地,修改误选或者遗留的区域的标记状态可以通过标记人员通过人工操作进行修改,也可以通过计算机算法进行自动识别和修改。当修改好各个区域的标记状态后,可以根据标记疑似皮肤区域生成校准皮肤蒙版。此时,我们就可以取得模板图像的校准皮肤蒙版,以此模板图像中对应的皮肤区域。同时,我们通过对每一个模板图像进行操作,即可获得大量的模板图片对应的校准皮肤蒙版。
S13、利用至少一个模板图像的校准皮肤蒙版,获取至少一个模板图像中的每个疑似皮肤区域的粗糙程度。在一个实施例中,可以通过边缘检测算法结合梯度算法的方式获取粗糙程度模板。具体地,由于边缘检测算法对粗糙的区域很敏感,因此通过边缘检测算法获得每个模板图像中的每个疑似皮肤区域的边缘信息,如果该区域比较粗糙,边缘检测算法将会在这个区域检测出大量边缘。由于梯度算法对粗糙区域的敏感性较好,因此可以通过梯度算法获得每个模板图像中的每个疑似皮肤区域的包括但不局限于亮度、颜色的梯度信息,当该区域比较粗糙时,该区域的梯度也会较大。上述的边缘检测算法和梯度算法的输入均为模板图像的校准皮肤蒙版。通过将边缘信息与梯度信息结合获得每个疑似皮肤区域的粗糙程度,将其全部标记于模板图像上即可获得粗糙程度蒙版。具体地,通过每个区域的边缘信息和梯度信息结合可以获得每个区域的粗糙程度,将其全部标注于模板图像上,即可获得粗糙程度蒙版,在粗糙程度蒙版中,每个区域上的值代表当前区域的粗糙程度,该区域越粗糙则该区域上的值就越大。在另一个实施例中,与对皮肤蒙版的检测相同的是,还可以通过标记人员人工修改掉不是粗糙的区域以及加入粗糙的区域。
其中,将边缘信息与梯度信息结合的方式包括数学运算和/或条件运算。例如,可以是取两个信息的最大值、将两个信息的值相加或者将两个蒙版的值相乘等等。需要说明的是,将边缘信息与梯度信息结合的方式包括包括但不局限于简单的数学运算、条件运算。
S14、利用至少一个模板图像的校准皮肤蒙版和至少一个模板图像中的每个疑似皮肤区域的粗糙程度,获取至少一个模板图像的美颜蒙版。具体地,可以将每个区域的皮肤概率值和粗糙程度值相乘,并且获得需要磨皮的程度,将每个区域需要磨皮的程度标记于该模板图像上,即可获得可视化的该模板图像的美颜蒙版。需要说明的是,融合皮肤蒙版和粗糙程度蒙版的方法不仅仅为将皮肤概率值和粗糙程度值相乘,还可以为除相乘以外的其他数学运算、条件运算等。
根据本发明的实施例,步骤S2中,在利用至少一个模板图像的美颜蒙版和颜色空间数据对卷积神经网络进行迭代训练之前,对至少一个模板图像的美颜蒙版和颜色空间进行缩放,并将其缩放至指定的尺寸,例如该指定尺寸可以设置为256像素*256像素。在一个实施例中,可以先对模板图像进行缩放,然后将缩放后的模板图像分别通过颜色空间转换为不同的颜色空间数据。在另一个实施例中,可以先对模板图像进行颜色空间转换,并且直接对由模板图像转换后的颜色空间数据进行缩放。然后将转换后的全部的颜色空间数据一起作为输入,美颜蒙版作为输出,对卷及神经网络进行迭代训练,直到最后在测试集上得到符合预期的效果时,完成迭代训练。这里所述的符合预期的效果是指,在测试集中损伤函数的损失量是否降到较低的水准。
根据本发明的实施例,步骤S3中,当接收到待处理的人脸图像时,在获取待处理的人脸图像的美颜蒙版之前,对待处理的人脸图像进行与至少一个模板图像的颜色空间数据和美颜蒙版相同比例的缩放。在一个实施例中,可以将该人脸图像缩放至与用于卷积神经网络进行迭代训练的模板图像的颜色空间数据或美颜蒙版相同的尺寸,然后构造出该人脸图像的全部颜色空间的图片数据,并且将全部的颜色空间的图片数据一起输入到用于美颜蒙版检测的卷积神经网络中。但是,本领域技术人员可以了解的是,除上述的方法外,还可以先将该人脸图像进行颜色空间转换,并且直接对由人脸图像转换的颜色空间数据进行缩放,然后将全部的颜色空间的图片数据一起输入到用于美颜蒙版检测的卷积神经网络中。
通过上述的方法,便可以获得在该指定尺寸下的待处理的人脸图像的美颜蒙板,此时,可以将卷积神经网络输出的待处理的人脸图像的美颜蒙板反向缩放至原人脸图像的尺寸,即可获得最终的人脸图像的美颜蒙版。
图3是本发明一实施例的获取人脸图像的美颜蒙版的系统100的示意性框图。图3所示的获取人脸图像的美颜蒙版的系统100包括:预处理单元110、卷积训练单元120和图像处理单元130。其中,预处理单元110用于获取至少一个模板图像的美颜蒙版和颜色空间数据,其中,至少一个模板图像的颜色空间数据包括至少一个模板图像的LAB数据、RGB数据和HSV数据中的至少一种。卷积训练单元120用于利用预处理单元110获取的至少一个模板图像的美颜蒙版和颜色空间数据对卷积神经网络进行迭代训练,以获取用于美颜蒙版检测的卷积神经网络。图像处理单元130用于利用用于用于美颜蒙版检测的卷积神经网络及待处理的人脸图像,获取待处理的人脸图像的美颜蒙版。
根据本发明的实施例,卷积神经网络包括循环设置的卷积层、池化层、上采样层和激活层,以及全连接层。其中,池化层的池化函数可以为Max Pooling函数,激活层的激活函数可以为ReLU函数。
根据本发明的实施例,预处理单元110包括皮肤检测单元111、蒙版校准单元112、粗糙度检测单元113和美颜蒙版处理单元114。具体的,皮肤检测单元111用于根据皮肤检测算法对至少一个模板图像的整体进行皮肤检测,同时根据图片分割算法将模板图像分为多个区域,并将检测的结果标注于模板图像的各个区域上,以获取至少一个模板图像的初级皮肤蒙版。蒙版校准单元112用于对至少一个模板图像的初级皮肤蒙版中的疑似皮肤区域进行标记,并且修改误标记的疑似皮肤区域的标记状态,以获取至少一个模板图像的校准皮肤蒙版。粗糙度检测单元113用于利用至少一个模板图像的校准皮肤蒙版,获取至少一个模板图像中的每个疑似皮肤区域的粗糙程度,并将其标记于模板图像上,以获得模板图像的粗糙程度蒙版。美颜蒙版处理单元114用于利用至少一个模板图像的校准皮肤蒙版和至少一个模板图像中的每个疑似皮肤区域的粗糙程度,即利用模板图像的校准皮肤蒙版和该模板图像的粗糙程度蒙版获取至少一个模板图像的美颜蒙版。
根据本发明的实施例,粗糙度检测单元113包括边缘检测单元、梯度检测单元和粗糙度处理单元。其中,边缘检测单元,用于通过边缘检测算法获得至少一个模板图像中的每个疑似皮肤区域的边缘信息;梯度计算单元,用于通过梯度算法获得至少一个模板图像中的每个疑似皮肤区域的梯度信息;粗糙度处理单元,用于将边缘信息与梯度信息结合计算出至少一个模板图像中的每个疑似皮肤区域的粗糙程度,将每个疑似皮肤区域的粗糙程度标记于模板图像上即可获得该模板图像的粗糙程度模板。具体地,将边缘信息与梯度信息结合的方式包括数学运算和/或条件运算。例如,可以是取两个信息的最大值、将两个信息的值相加或者将两个蒙版的值相乘等等。需要说明的是,将边缘信息与梯度信息结合的方式包括包括但不局限于简单的数学运算、条件运算。
根据本发明的实施例,获取人脸图像的美颜蒙版的系统100还包括模板图像缩放单元,用于在利用至少一个模板图像的美颜蒙版和颜色空间数据对卷积神经网络进行迭代训练之前,对至少一个模板图像的美颜蒙版和颜色空间数据进行缩放。并且,将缩放至指定尺寸的模板图像的颜色空间数据作为卷积神经网络迭代训练的输入数据,将缩放至指定尺寸的模板图像的美颜蒙版作为卷积神经网络迭代训练的输出数据。例如,该指定的尺寸可以为256像素*256像素。
根据本发明的实施例,获取人脸图像的美颜蒙版的系统100还包括人脸图像缩放单元,用于在获取待处理的人脸图像的美颜蒙版之前,对待处理的人脸图像进行与至少一个模板图像的颜色空间数据和美颜蒙版相同比例的缩放。
根据本发明的实施例,还包括人脸图像反缩放单元,用于在获取待处理的人脸图像的美颜蒙板后,对待处理的人脸图像的美颜蒙版进行反向缩放至原人脸图像的尺寸,从而获得最终的人脸图像的美颜蒙版。
本发明将皮肤检测、粗糙程度检测以及由其计算出的美颜蒙版融合在一起,实现了一个端到端训练的卷积神经网络,相较于传统方法,有更好的鲁棒性。通过让卷积神经网络自己根据大量的模板图像和美颜蒙版进行学习,可以得到皮肤检测、粗糙程度检测和美颜蒙版的关系。并且根据其学习到的内容,对于每一个输入的人脸图像自动获得其对应的美颜蒙版。
另外,在对于卷积神经网络进行训练时,可以有针对性的加入不同光照条件下的模板图像作为训练数据,因此,可以有效的改善光照情况和背景环境对美颜蒙版的影响,也降低了人工设计的算法所带来的局限性,可以更好的获得皮肤和粗糙程度和美颜蒙版之间的关系。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接,也可以是电的,机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (16)
1.一种获取人脸图像的美颜蒙版的方法,包括:
获取至少一个模板图像的美颜蒙版和颜色空间数据;
利用所述至少一个模板图像的美颜蒙版和颜色空间数据对卷积神经网络进行迭代训练,以获取用于美颜蒙版检测的卷积神经网络;
利用所述用于美颜蒙版检测的卷积神经网络及待处理的人脸图像,获取所述待处理的人脸图像的美颜蒙版;
其中,获取所述至少一个模板图像的美颜蒙版的处理包括:
对所述至少一个模板图像进行皮肤检测,以获取所述至少一个模板图像的初级皮肤蒙版;
对所述至少一个模板图像的初级皮肤蒙版中的疑似皮肤区域进行标记,并提取所述疑似皮肤区域以获取所述至少一个模板图像的校准皮肤蒙版;
利用所述至少一个模板图像的校准皮肤蒙版及对应的模板图像,获取所述至少一个模板图像中的每个疑似皮肤区域的粗糙程度;以及
利用所述至少一个模板图像的校准皮肤蒙版和所述至少一个模板图像中的每个疑似皮肤区域的粗糙程度,获取所述至少一个模板图像的美颜蒙版。
2.根据权利要求1所述的获取人脸图像的美颜蒙版的方法,其中,计算所述至少一个模板图像中的每个疑似皮肤区域的粗糙程度的处理包括:
利用边缘检测算法获取所述至少一个模板图像中的每个疑似皮肤区域的边缘信息;
利用梯度算法获取所述至少一个模板图像中的每个疑似皮肤区域的梯度信息;
利用所述至少一个模板图像中的每个疑似皮肤区域的边缘信息和梯度信息,计算所述至少一个模板图像中的每个疑似皮肤区域的粗糙程度。
3.根据权利要求2所述的获取人脸图像的美颜蒙版的方法,其中,利用所述至少一个模板图像中的每个疑似皮肤区域的边缘信息和梯度信息进行数学运算和/或条件运算,来计算所述至少一个模板图像中的每个疑似皮肤区域的粗糙程度。
4.根据权利要求1所述的获取人脸图像的美颜蒙版的方法,其中,所述至少一个模板图像的颜色空间数据包括所述至少一个模板图像的LAB数据、RGB数据和HSV数据中的至少一种。
5.根据权利要求1所述的获取人脸图像的美颜蒙版的方法,其中,所述卷积神经网络包括循环设置的卷积层、池化层、上采样层、激活层以及全连接层。
6.根据权利要求1所述的获取人脸图像的美颜蒙版的方法,还包括:在利用所述至少一个模板图像的美颜蒙版和颜色空间数据对卷积神经网络进行迭代训练之前,对所述至少一个模板图像的美颜蒙版和颜色空间数据进行缩放。
7.根据权利要求6所述的获取人脸图像的美颜蒙版的方法,还包括:在获取所述待处理的人脸图像的美颜蒙版之前,对所述待处理的人脸图像进行与所述至少一个模板图像的颜色空间数据和美颜蒙版相同比例的缩放。
8.根据权利要求7所述的获取人脸图像的美颜蒙版的方法,还包括:在获取所述待处理的人脸图像的美颜蒙板后,对所述待处理的人脸图像的美颜蒙版进行反向缩放。
9.一种获取人脸图像的美颜蒙版的系统,包括:
预处理单元,用于获取至少一个模板图像的美颜蒙版和颜色空间数据;
卷积训练单元,用于利用所述至少一个模板图像的美颜蒙版和颜色空间数据对卷积神经网络进行迭代训练,以获取用于美颜蒙版检测的卷积神经网络;
图像处理单元,用于利用所述用于美颜蒙版检测的卷积神经网络及待处理的人脸图像,获取所述待处理的人脸图像的美颜蒙版;
其中,所述预处理单元包括:
皮肤检测单元,用于对所述至少一个模板图像进行皮肤检测,以获取所述至少一个模板图像的初级皮肤蒙版;
蒙版校准单元,用于对所述至少一个模板图像的初级皮肤蒙版中的疑似皮肤区域进行标记,并提取所述疑似皮肤区域以获取所述至少一个模板图像的校准皮肤蒙版;
粗糙度检测单元,用于利用所述至少一个模板图像的校准皮肤蒙版,获取所述至少一个模板图像中的每个疑似皮肤区域的粗糙程度;
美颜蒙版处理单元,用于利用所述至少一个模板图像的校准皮肤蒙版和所述至少一个模板图像中的每个疑似皮肤区域的粗糙程度,获取所述至少一个模板图像的美颜蒙版。
10.根据权利要求9所述的获取人脸图像的美颜蒙版的系统,其中,所述粗糙度检测单元包括:
边缘检测单元,用于利用边缘检测算法获取所述至少一个模板图像中的每个疑似皮肤区域的边缘信息;
梯度检测单元,用于将利用梯度算法获取所述至少一个模板图像中的每个疑似皮肤区域的梯度信息;
粗糙度处理单元,用于利用所述至少一个模板图像中的每个疑似皮肤区域的边缘信息和梯度信息,计算所述至少一个模板图像中的每个疑似皮肤区域的粗糙程度。
11.根据权利要求10所述的获取人脸图像的美颜蒙版的系统,其中,粗糙度处理单元能够利用所述至少一个模板图像中的每个疑似皮肤区域的边缘信息和梯度信息进行数学运算和/或条件运算,来计算所述至少一个模板图像中的每个疑似皮肤区域的粗糙程度。
12.根据权利要求9所述的获取人脸图像的美颜蒙版的系统,其中,所述至少一个模板图像的颜色空间数据包括所述至少一个模板图像的LAB数据、RGB数据和HSV数据中的至少一种。
13.根据权利要求9所述的获取人脸图像的美颜蒙版的系统,其中,所述卷积神经网络包括循环设置的卷积层、池化层、上采样层、激活层以及全连接层。
14.根据权利要求9所述的获取人脸图像的美颜蒙版的系统,还包括模板图像缩放单元,用于在利用所述至少一个模板图像的美颜蒙版和颜色空间数据对卷积神经网络进行迭代训练之前,对所述至少一个模板图像的美颜蒙版和颜色空间数据进行缩放。
15.根据权利要求14所述的获取人脸图像的美颜蒙版的系统,还包括人脸图像缩放单元,用于在获取所述待处理的人脸图像的美颜蒙版之前,对所述待处理的人脸图像进行与所述至少一个模板图像的颜色空间数据和美颜蒙版相同比例的缩放。
16.根据权利要求15所述的获取人脸图像的美颜蒙版的系统,还包括人脸图像反缩放单元,用于在获取所述待处理的人脸图像的美颜蒙板后,对所述待处理的人脸图像的美颜蒙版进行反向缩放。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610809404.4A CN106408510B (zh) | 2016-09-08 | 2016-09-08 | 一种获取人脸图像的美颜蒙版的方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610809404.4A CN106408510B (zh) | 2016-09-08 | 2016-09-08 | 一种获取人脸图像的美颜蒙版的方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106408510A CN106408510A (zh) | 2017-02-15 |
CN106408510B true CN106408510B (zh) | 2019-09-10 |
Family
ID=57998707
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610809404.4A Active CN106408510B (zh) | 2016-09-08 | 2016-09-08 | 一种获取人脸图像的美颜蒙版的方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106408510B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10255681B2 (en) * | 2017-03-02 | 2019-04-09 | Adobe Inc. | Image matting using deep learning |
CN107093168A (zh) * | 2017-03-10 | 2017-08-25 | 厦门美图之家科技有限公司 | 皮肤区域图像的处理方法、装置和系统 |
CN107578393B (zh) * | 2017-09-26 | 2021-12-10 | 成都国翼电子技术有限公司 | 一种基于人工交互的航拍图像亮度调节方法 |
CN111368579B (zh) * | 2018-12-25 | 2023-07-07 | 中国电信股份有限公司 | 图像识别方法、装置和系统,以及计算机可存储介质 |
CN111836058B (zh) * | 2019-04-22 | 2023-02-24 | 腾讯科技(深圳)有限公司 | 用于实时视频播放方法、装置、设备以及存储介质 |
CN110602405A (zh) * | 2019-09-26 | 2019-12-20 | 上海盛付通电子支付服务有限公司 | 拍摄方法和装置 |
CN111507896B (zh) * | 2020-04-27 | 2023-09-05 | 抖音视界有限公司 | 图像液化处理方法、装置、设备和存储介质 |
CN112215746B (zh) * | 2020-10-20 | 2024-06-14 | 咪咕文化科技有限公司 | 图像模糊处理方法、装置、电子设备、存储介质 |
CN115331264B (zh) * | 2022-10-13 | 2023-01-31 | 山东济矿鲁能煤电股份有限公司阳城煤矿 | 一种基于神经网络的矿山工人安全识别管理方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6999606B1 (en) * | 1998-10-05 | 2006-02-14 | Humanscan Gmbh | Methods and system for recognizing people with model-based face detection |
CN104992167A (zh) * | 2015-07-28 | 2015-10-21 | 中国科学院自动化研究所 | 一种基于卷积神经网络的人脸检测方法及装置 |
CN105243371A (zh) * | 2015-10-23 | 2016-01-13 | 厦门美图之家科技有限公司 | 一种人脸美颜程度的检测方法、系统及拍摄终端 |
CN105469356A (zh) * | 2015-11-23 | 2016-04-06 | 小米科技有限责任公司 | 人脸图像处理方法及装置 |
CN105913376A (zh) * | 2016-04-14 | 2016-08-31 | 北京奇艺世纪科技有限公司 | 快速美颜处理的方法和装置 |
-
2016
- 2016-09-08 CN CN201610809404.4A patent/CN106408510B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6999606B1 (en) * | 1998-10-05 | 2006-02-14 | Humanscan Gmbh | Methods and system for recognizing people with model-based face detection |
CN104992167A (zh) * | 2015-07-28 | 2015-10-21 | 中国科学院自动化研究所 | 一种基于卷积神经网络的人脸检测方法及装置 |
CN105243371A (zh) * | 2015-10-23 | 2016-01-13 | 厦门美图之家科技有限公司 | 一种人脸美颜程度的检测方法、系统及拍摄终端 |
CN105469356A (zh) * | 2015-11-23 | 2016-04-06 | 小米科技有限责任公司 | 人脸图像处理方法及装置 |
CN105913376A (zh) * | 2016-04-14 | 2016-08-31 | 北京奇艺世纪科技有限公司 | 快速美颜处理的方法和装置 |
Non-Patent Citations (1)
Title |
---|
基于肤色和神经网络的人脸检测;常玉芳;《中国优秀博硕士学位论文全文数据库 信息科技辑》;20060915(第9期);I138-801 |
Also Published As
Publication number | Publication date |
---|---|
CN106408510A (zh) | 2017-02-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106408510B (zh) | 一种获取人脸图像的美颜蒙版的方法及系统 | |
Sawant et al. | Real time sign language recognition using pca | |
CN106682633B (zh) | 基于机器视觉的粪便镜检图像有形成分的分类识别方法 | |
CN106845502B (zh) | 一种用于设备检修的穿戴式辅助装置及设备检修可视化指导方法 | |
CN103824050B (zh) | 一种基于级联回归的人脸关键点定位方法 | |
Ma et al. | Shadow detection of moving objects based on multisource information in internet of things | |
CN105469400B (zh) | 电子元件极性方向的快速识别、标注的方法和系统 | |
CN100440246C (zh) | 一种人脸特征点定位方法 | |
CN107395958B (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
CN109993160A (zh) | 一种图像矫正及文本与位置识别方法及系统 | |
CN106408030B (zh) | 基于中层语义属性和卷积神经网络的sar图像分类方法 | |
Zeng et al. | View-invariant gait recognition via deterministic learning | |
CN109643446A (zh) | 电路装置、电子设备以及错误检测方法 | |
CN106909220A (zh) | 一种适用于触控的视线交互方法 | |
CN104134364B (zh) | 具有自我学习能力的实时交通标记识别方法及系统 | |
Pramada et al. | Intelligent sign language recognition using image processing | |
CN109934221A (zh) | 基于注意力机制的电力设备自动分析识别监控方法及系统 | |
CN110164341A (zh) | 电路装置、电子设备以及错误检测方法 | |
CN106485710A (zh) | 一种元件错件检测方法和装置 | |
Liu et al. | Intelligent luminance control of lighting systems based on imaging sensor feedback | |
CN109978897A (zh) | 一种多尺度生成对抗网络的异源遥感图像配准方法及装置 | |
CN104408446B (zh) | 一种基于图像显著性的无人机自主着陆目标检测方法 | |
CN113537374A (zh) | 一种对抗样本生成方法 | |
CN111368768A (zh) | 一种基于人体关键点的员工手势指引检测方法 | |
Liu et al. | Self-supervised depth estimation to regularise semantic segmentation in knee arthroscopy |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |