CN107369133B - 一种人脸图像美化方法和装置 - Google Patents
一种人脸图像美化方法和装置 Download PDFInfo
- Publication number
- CN107369133B CN107369133B CN201610323434.4A CN201610323434A CN107369133B CN 107369133 B CN107369133 B CN 107369133B CN 201610323434 A CN201610323434 A CN 201610323434A CN 107369133 B CN107369133 B CN 107369133B
- Authority
- CN
- China
- Prior art keywords
- image
- skin color
- membership degree
- beautified
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 81
- 238000001514 detection method Methods 0.000 claims abstract description 113
- 238000001914 filtration Methods 0.000 claims description 102
- 230000001815 facial effect Effects 0.000 claims description 59
- 230000002087 whitening effect Effects 0.000 claims description 50
- 238000002156 mixing Methods 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 21
- 238000009432 framing Methods 0.000 claims description 10
- 238000005282 brightening Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 abstract description 25
- 230000007704 transition Effects 0.000 abstract description 11
- 230000002708 enhancing effect Effects 0.000 abstract description 10
- 230000000694 effects Effects 0.000 abstract description 9
- 230000006870 function Effects 0.000 description 29
- 238000012937 correction Methods 0.000 description 14
- 230000009466 transformation Effects 0.000 description 14
- 238000009499 grossing Methods 0.000 description 12
- 238000012886 linear function Methods 0.000 description 10
- 238000005498 polishing Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 8
- 210000000697 sensory organ Anatomy 0.000 description 8
- 230000003190 augmentative effect Effects 0.000 description 7
- 238000013507 mapping Methods 0.000 description 7
- 210000001508 eye Anatomy 0.000 description 6
- 210000004709 eyebrow Anatomy 0.000 description 6
- 210000000056 organ Anatomy 0.000 description 6
- 230000003628 erosive effect Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000002146 bilateral effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000010339 dilation Effects 0.000 description 4
- 210000000214 mouth Anatomy 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 241000227425 Pieris rapae crucivora Species 0.000 description 2
- 230000003796 beauty Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000011551 log transformation method Methods 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 230000035772 mutation Effects 0.000 description 2
- 210000001331 nose Anatomy 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000010187 selection method Methods 0.000 description 2
- 230000037303 wrinkles Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种人脸图像美化方法和装置，其方法包括：采用预设的肤色检测算法，对获取的待检测图像进行肤色检测，计算得到肤色隶属度，根据所述肤色隶属度得到肤色区域；根据所述肤色隶属度，结合原始图像，对所述肤色区域进行磨皮操作，得到美化后的图像。本发明解决了现有技术中对人脸图像美化时，肤色区域边缘过渡不自然，容易造成过度处理，带来不真实的美化效果的问题，实现了增强美化图像的真实性，满足用户的使用需求。
Description
技术领域
本发明涉及图像美化技术领域，尤其涉及一种人脸图像美化方法和装置。
背景技术
随着智能硬件和互联网的发展，人们越来越多地将自拍照分享到社交网络中，比如朋友圈、qq空间等，而在分享之前，多数人都希望别人看到的是一个接近完美的自己，这符合主流的审美观，因此常常需要对自拍照进行一定的美化。
在现有技术中，出现了大量的人脸图像美化产品，能够实现用户对自拍图像的美化需求，但是，这些产品的人脸图像美化方法要么操作复杂，要么美化的结果不太真实。
发明内容
本发明的主要目的在于提出一种人脸图像美化方法和装置，旨在解决现有技术中对人脸图像美化时，肤色区域边缘过渡不自然，容易造成过度处理，带来不真实的美化效果的问题，实现增强美化图像的真实性，满足用户的使用需求。
为实现上述目的，本发明提供的人脸图像美化方法，包括：
采用预设的肤色检测算法，对获取的待检测图像进行肤色检测，计算得到肤色隶属度，根据所述肤色隶属度得到肤色区域；
根据所述肤色隶属度，结合原始图像，对所述肤色区域进行磨皮操作，得到美化后的图像。
优选地，所述采用预设的肤色检测算法，对获取的待检测图像进行肤色检测，计算得到肤色隶属度，根据所述肤色隶属度得到肤色区域的步骤包括：
通过建立肤色模型，得到第一肤色隶属度，对所述第一肤色隶属度进行相应的函数变换，得到所述肤色隶属度，将所述肤色隶属度阈值化得到所述肤色区域。
优选地，所述根据所述肤色隶属度，结合原始图像，对所述肤色区域进行磨皮操作，得到美化后的图像的步骤包括：
通过消除所述肤色区域瑕疵，得到对应的平滑图像，将所述肤色隶属度作为混合系数，对所述平滑图像与所述原始图像进行混合操作，得到所述美化后的图像；
或者，通过非线性滤波操作对所述肤色区域进行滤波处理，得到对应的模糊图像，根据所述模糊图像与所述原始图像之间的差异得到反差图像，通过线性滤波操作对所述反差图像进行滤波处理，得到对应的模糊反差图像，将所述肤色隶属度作为叠加系数，对所述原始图像与所述模糊反差图像进行叠加操作，得到所述美化后的图像。
优选地，所述采用预设的肤色检测算法，对获取的待检测图像进行肤色检测，计算得到肤色隶属度，根据所述肤色隶属度得到肤色区域的步骤包括：
获取所述原始图像的人脸轮廓，并向外扩张所述人脸轮廓，得到扩张人脸轮廓，采用预设肤色检测算法，在所述扩张人脸轮廓的框定区域内进行肤色检测，得到第二肤色隶属度；
获取所述原始图像的五官轮廓，并向外扩张所述五官轮廓，得到扩张五官轮廓，根据所述扩张人脸轮廓和所述扩张五官轮廓，进行边缘羽化操作，得到对应的羽化系数，根据所述羽化系数和所述第二肤色隶属度，计算得到所述肤色隶属度和所述肤色区域。
优选地，所述根据所述肤色隶属度，结合原始图像，对所述肤色区域进行磨皮操作，得到美化后的图像的步骤之后，还包括：
对所述美化后的图像进行增亮操作，再对所述肤色隶属度进行平滑滤波操作，根据平滑滤波后的肤色隶属度，对所述肤色区域进行美白操作，得到美白后的图像。
优选地，所述通过消除所述肤色区域瑕疵，得到平滑图像，将所述肤色隶属度作为混合系数，对所述平滑图像与所述原始图像进行混合操作，得到所述美化后的图像的步骤之后，还包括：
对所述原始图像进行低通滤波操作，得到低通滤波图像，根据所述原始图像与所述低通滤波图像的差异得到对应的高通图像，根据所述肤色隶属度，将所述美化后的图像与所述高通图像进行叠加操作，得到增强真实感后的图像。
为实现上述目的，本发明还提供的一种人脸图像美化装置，包括：
肤色检测模块，用于采用预设的肤色检测算法，对获取的原始图像进行肤色检测，计算得到肤色隶属度，根据所述肤色隶属度得到肤色区域；
磨皮模块，用于根据所述肤色隶属度，结合所述原始图像，对所述肤色区域进行磨皮操作，得到美化后的图像。
优选地，所述肤色检测模块，还用于：
通过建立肤色模型，得到第一肤色隶属度，对所述第一肤色隶属度进行相应的函数变换，得到所述肤色隶属度，将所述肤色隶属度阈值化得到所述肤色区域。
优选地，所述磨皮模块，还用于：
通过消除所述肤色区域瑕疵，得到对应的平滑图像，将所述肤色隶属度作为混合系数，对所述平滑图像与所述原始图像进行混合操作，得到所述美化后的图像；
或者，通过非线性滤波操作对所述肤色区域进行滤波处理，得到对应的模糊图像，根据所述模糊图像与所述原始图像之间的差异得到反差图像，通过线性滤波操作对所述反差图像进行滤波处理，得到对应的模糊反差图像，将所述肤色隶属度作为叠加系数，对所述原始图像与所述模糊反差图像进行叠加操作，得到所述美化后的图像。
优选地，所述肤色检测模块，还用于：
获取所述原始图像的人脸轮廓，并向外扩张所述人脸轮廓，得到扩张人脸轮廓，采用预设肤色检测算法，在所述扩张人脸轮廓的框定区域内进行肤色检测，得到第二肤色隶属度；
获取所述原始图像的五官轮廓，并向外扩张所述五官轮廓，得到扩张五官轮廓，根据所述扩张人脸轮廓和所述扩张五官轮廓，进行边缘羽化操作，得到对应的羽化系数，根据所述羽化系数和所述第二肤色隶属度，计算得到所述肤色隶属度和所述肤色区域。
优选地，所述装置还包括：
美白模块，用于对所述美化后的图像进行增亮操作，再对所述肤色隶属度进行平滑滤波操作，根据平滑滤波后的肤色隶属度，对所述肤色区域进行美白操作，得到美白后的图像。
优选地，所述装置还包括：
增强实感模块，用于对所述原始图像进行低通滤波操作，得到低通滤波图像，根据所述原始图像与所述低通滤波图像的差异得到对应的高通图像，根据所述肤色隶属度，将所述美化后的图像与所述高通图像进行叠加操作，得到增强真实感后的图像。
本发明公开了一种人脸图像美化方法和装置，通过采用预设的肤色检测算法，对获取的待检测图像进行肤色检测，计算得到肤色隶属度，根据肤色隶属度得到肤色区域；根据肤色隶属度，结合原始图像，对肤色区域进行磨皮操作，得到美化后的图像，同时，本发明提供了人脸检测方案和五官检测方案，更好地保证了美化操作的良好效果，更提供了美白方案和增强真实感方案，增强美化结果的真实性。由此，本发明解决了现有技术中对人脸图像美化时，肤色区域边缘过渡不自然，容易造成过度处理，带来不真实的美化效果的问题，实现了增强美化图像的真实性，满足用户的使用需求。
附图说明
图1是本发明人脸图像美化方法第一实施例的流程示意图；
图2是本发明实施例中原始实际人脸图像；
图3是本发明实施例中肤色概率的可视图；
图4是本发明实施例中采用预设的肤色检测算法，对获取的待检测图像进行肤色检测，计算得到肤色隶属度，根据所述肤色隶属度得到肤色区域的步骤的一种流程示意图；
图5是本发明实施例中根据所述肤色隶属度，结合原始图像，对所述肤色区域进行磨皮操作，得到美化后的图像的步骤的一种流程示意图；
图6是本发明实施例中采用预设的肤色检测算法，对获取的待检测图像进行肤色检测，计算得到肤色隶属度，根据所述肤色隶属度得到肤色区域的步骤的另一种流程示意图；
图7是本发明实施例中肤色区域二值图示意图；
图8是本发明实施例中肤色区域膨胀示意图；
图9是本发明实施例中肤色区域腐蚀示意图；
图10是本发明人脸图像美化方法第二实施例的流程示意图；
图11是本发明实施例中亮度映射函数曲线；
图12是本发明人脸图像美化方法第三实施例的流程示意图；
图13是本发明人脸图像美化装置第一实施例的功能模块示意图；
图14是本发明人脸图像美化装置第二实施例的功能模块示意图；
图15是本发明人脸图像美化装置第三实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例的主要解决方案是：采用预设的肤色检测算法，对获取的待检测图像进行肤色检测，计算得到肤色隶属度，根据肤色隶属度得到肤色区域；根据肤色隶属度，结合原始图像，对肤色区域进行磨皮操作，得到美化后的图像。
由此，解决了现有技术中对人脸图像美化时，肤色区域边缘过渡不自然，容易造成过度处理，带来不真实的美化效果的问题，实现了增强美化图像的真实性，满足用户的使用需求。
如图1所示，本发明第一实施例提出一种人脸图像美化方法，包括：
步骤S10，采用预设的肤色检测算法，对获取的原始图像进行肤色检测，计算得到肤色隶属度，根据所述肤色隶属度得到肤色区域。
本发明方法的执行主体可以为一种智能手机、平板电脑或移动终端，本实施例以移动终端进行举例，当然也不限定于其他能够实现对人脸图像进行美化处理的设备。
具体地，移动终端采用预设的肤色检测算法，对获取的待检测图像(例如原始图像，即终端中保存或拍摄的图像)进行肤色检测，计算得到肤色隶属度，根据肤色隶属度得到对应的肤色区域。
其中，在具体实现时，可采用如下方式：
1、移动终端通过建立肤色模型，得到第一肤色隶属度；
2、移动终端对第一肤色隶属度进行相应的函数变换(该函数变换可以是线性变换或者是非线性变换)，从而得到肤色隶属度；
3、移动终端将肤色隶属度阈值化得到对应的肤色区域。
其中，肤色概率的可视图可参考图2和图3。
步骤S20，根据所述肤色隶属度，结合原始图像，对所述肤色区域进行磨皮操作，得到美化后的图像。
具体地，在采用预设的肤色检测算法，对获取的待检测图像进行肤色检测，计算得到肤色隶属度，根据肤色隶属度得到对应的肤色区域后，移动终端根据肤色隶属度，结合原始图像，对肤色区域进行磨皮操作，得到美化后的图像。
用户可以在移动终端上选择进行平滑磨皮操作，或者模糊磨皮操作。
其中，当用户选择进行平滑磨皮操作时，移动终端可以通过消除所述肤色区域瑕疵，得到对应的平滑图像，根据肤色隶属度，将平滑图像与原始图像进行混合操作，得到美化后的图像。
当用户选择进行模糊磨皮操作时，移动终端可以通过非线性滤波操作对所述肤色区域进行滤波处理，得到对应的模糊图像，根据所述模糊图像与所述原始图像之间的差异得到反差图像，通过线性滤波操作对所述反差图像进行滤波处理，得到对应的模糊反差图像，根据所述肤色隶属度，将所述原始图像与所述模糊反差图像进行叠加操作，得到所述美化后的图像。
通过上述方案，本发明提供了一种人脸图像美化方法，实现了增强美化结果的真实性，满足用户的使用需求。
进一步地，为了更好地实现人脸图像的美化，如图4所示，为本发明实施例中采用预设的肤色检测算法，对获取的待检测图像进行肤色检测，计算得到肤色隶属度，根据所述肤色隶属度得到肤色区域的步骤的一种流程示意图。
作为一种实施方式，上述步骤S10还包括：
步骤S11，通过建立肤色模型，得到第一肤色隶属度，对所述第一肤色隶属度进行相应的函数变换，得到所述肤色隶属度，将所述肤色隶属度阈值化得到所述肤色区域。
具体地，移动终端通过建立肤色模型，得到第一肤色隶属度，对第一肤色隶属度进行相应的函数变换，得到肤色隶属度，将肤色隶属度阈值化得到肤色区域。
其中，为了避免对非肤色区域的处理，移动终端对原始人脸图像进行肤色检测，肤色检测可以采用椭圆形肤色模型：
其中，在上述公式(1)和公式(2)中：
cx＝109.38,cy＝152.02,θ＝2.53(in radian),ecx＝1.60,ecy＝2.41,a＝25.93,b＝14.03，Cb，Cr分别为对应图像坐标(x,y)的像素的CbCr色域值。
其中，为了满足图像肤色和非肤色的平滑过渡，避免对非肤色区域进行处理的目的，移动终端在上述椭圆形肤色模型的基础上求取图像的肤色隶属度，可以对公式(1)进行以下改写：
其中，在上述公式(3)中：
其中，skinmap(x,y)是图像像素点f(x,y)的肤色隶属度，用于衡量某像素点属于肤色的程度。fthlow，fthhigh为可设参数，表示概率区间的上限值和下限值。函数
是肤色隶属度映射函数，可以选为线性函数或者非线性函数，本发明的
优选为与亮度有关的线性函数(不限定于其他可实现相同功能的线性或非线性函数)，可描述为：
其中，maxf()是关于亮度Y的函数，可以为线性函数，也可为非线性函数，本发明优选为分段线性函数，其定义为：
maxf＝stepWiseLinear(Y) (6)；
其中，通过上述公式(4)，可以获得一幅w×h的肤色概率图skinmap(x,y)，该概率图表示像素点f(x,y)属于皮肤的概率，也就是该点的肤色隶属度。由于肤色区域向非肤色区域的skinmap(x,y)是渐变的，因此，能够有效避免肤色区域边界出现突变而影响后续的磨皮和美白质量，一个肤色概率的可视图可参考图2和图3。
在获得skinmap(x,y)后，对skinmap(x,y)进行阈值化得到肤色二值化图skinmap_index(x,y)，本发明优选用skinmap_index来指示后续的滤波操作区域已达到节省计算量的目的。具体的二值化过程可以表述为：
其中，Threshold是肤色图阈值化的阈值，本发明优选的Threshold＝0.0001。
通过上述方案，本发明提供了一种人脸图像美化方法，同时，提供了一种计算肤色隶属度和肤色区域的方案，更好地保障了后续美化操作的准确性，满足用户的使用需求。
进一步地，为了更好地实现人脸图像的美化，如图5所示，为本发明实施例中根据所述肤色隶属度，结合原始图像，对所述肤色区域进行磨皮操作，得到美化后的图像的步骤的一种流程示意图。
作为一种实施方式，上述步骤S20还包括：
步骤S21，通过消除所述肤色区域瑕疵，得到对应的平滑图像，将所述肤色隶属度作为混合系数，对所述平滑图像与所述原始图像进行混合操作，得到所述美化后的图像。
具体地，在采用预设的肤色检测算法，对获取的待检测图像进行肤色检测，计算得到肤色隶属度，根据肤色隶属度得到肤色区域后，移动终端通过消除肤色区域瑕疵，得到对应的平滑图像，将肤色隶属度作为混合系数，对平滑图像与原始图像进行混合操作，得到美化后的图像。
其中，磨皮是人脸美化的关键部分之一，通过磨皮，能够有效去除数字图像中人脸部分的瑕疵，消除肤色区域影响美观的因素，比如，斑点，皱纹等等，从而达到美化肤色图像的目的。
其中，当用户选择执行平滑磨皮操作时，移动终端可以通过如下方式执行平滑磨皮操作：
首先，移动终端去除肤色区域的瑕疵，去除肤色区域瑕疵的方法可描述为：
其中，δd和δr分别代表空间域高斯滤波方差和像素域高斯滤波方差。
然后，移动终端在肤色检测的基础上对肤色进行滤波，因为如果对整幅图像进行滤波处理，往往会导致时间，空间消耗大，同时模糊了非人脸肤色区域，其计算过程可描述为：
其中，上式中的filter(x,y)表示去除人脸图像区域瑕疵影响后的图像，上式中的skinmap_index(x,y)用于指示滤波区域。
然后，移动终端采用上述计算肤色隶属度的方法，更好地处理肤色与非肤色的过渡区域，实现平滑自然的过渡，同时，避免了对图像中非人脸区域进行处理而使得比如眼睛，眉毛，嘴巴等器官特征区域的细节被模糊，从一定程度上保护这些区域的细节信息，其计算过程可描述为：
m(x,y)＝skinmap(x,y)×filter(x,y)+(1-skinmap(x,y))×f(x,y) (11)；
其中，为了控制效果，移动终端可以增加一个可控因子，增加可控因子后的磨皮方法可描述为：
m(x,y)＝α×skinmap(x,y)×filter(x,y)+(1-α×skinmap(x,y))×f(x,y)(12)；
其中，平滑磨皮操作能够有效保护眼睛，眉毛等等细节区域，同时计算适中，能够实时进行。
另外，在完成平滑磨皮操作后，用户可以选择不执行增强真实感操作，而直接进入选择是否执行自适应美白操作，对图像进行进一步美化。
步骤S22，通过非线性滤波操作对所述肤色区域进行滤波处理，得到对应的模糊图像，根据所述模糊图像与所述原始图像之间的差异得到反差图像，通过线性滤波操作对所述反差图像进行滤波处理，得到对应的模糊反差图像，将所述肤色隶属度作为叠加系数，对所述原始图像与所述模糊反差图像进行叠加操作，得到所述美化后的图像。
具体地，在采用预设的肤色检测算法，对获取的待检测图像进行肤色检测，计算得到肤色隶属度，根据肤色隶属度得到肤色区域后，移动终端还可以通过非线性滤波操作对肤色区域进行滤波处理，得到对应的模糊图像，根据模糊图像与原始图像之间的差异得到反差图像，通过线性滤波操作对反差图像进行滤波处理，得到对应的模糊反差图像，将肤色隶属度作为叠加系数，对原始图像与模糊反差图像进行叠加操作，得到美化后的图像。
其中，此处的模糊磨皮操作与上述平滑磨皮操作不同，但也能去除人脸噪声，美化人脸，同时保留美化的真实感。本发明的模糊磨皮操作是通过模糊并同时适当保留部分细节，在具体实现时，可以采用如下方式：
1、移动终端获取反差信息，通过非线性滤波来对原始图像肤色区域进行模糊，得到模糊图像，通过模糊图像与原始人脸图像之间的差异来获取图像的反差信息，其中非线性滤波可以为：引导滤波、中值滤波或双边滤波等；
2、移动终端对反差信息进行滤波处理，此处可选用均值模糊，高斯模糊等具有模糊效应的滤波方法；
3、移动终端保留真实感祛斑，可以采用在叠加混合的方式来实现，为了避免模糊脸部以外的区域的细节信息，平滑边缘，本发明依赖skinmap(x,y)来保留非脸部区域细节信息，同时控制磨皮的精细程度和过渡的自然度。
另外，在完成模糊磨皮操作后，用户可以选择是否执行自适应美白操作对图像进行进一步美化。
通过上述方案，本发明提供了一种人脸图像美化方法，同时，提供了两种磨皮方案，更好地适应不同用户的不同需求，在实现对人脸图像进行美化的同时，更好地保留了人脸图像的细节特征，增强了美化结果的真实性。
进一步地，为了更好地实现人脸图像的美化，如图6所示，为本发明实施例中采用预设的肤色检测算法，对获取的待检测图像进行肤色检测，计算得到肤色隶属度，根据所述肤色隶属度得到肤色区域的步骤的另一种流程示意图。
作为一种实施方式，上述步骤S10还包括：
步骤S12，获取所述原始图像的人脸轮廓，并向外扩张所述人脸轮廓，得到扩张人脸轮廓，采用预设肤色检测算法，在所述扩张人脸轮廓的框定区域内进行肤色检测，得到第二肤色隶属度。
首先，移动终端可以通过摄像头或其他摄像设备，对原始图像进行获取，在获取原始图像后，移动终端对原始图像进行色彩和亮度矫正操作。
其中，移动终端可以对从camera sensor(摄像头传感器)获取的YUV数据进行处理，由于后续的检测和处理是基于UV的色彩值进行的，因此camera的色彩准确性极大的影响到本发明的有效性；对于某些色彩表现不佳的camera sensor，可进行色彩和亮度的矫正，以期为后续的处理提供更好的素材，色彩的矫正可以采用常见的白平衡矫正方法，亮度矫正可采用常见的曲线拉伸矫正的方法。
然后，在对原始图像进行色彩和亮度矫正操作后，为了避免近似环境中与肤色相似的部分对肤色检测的影响，可在肤色检测前实施一次人脸检测。
在具体实现时，移动终端可以获取原始图像的人脸轮廓，并向外扩张人脸轮廓，得到扩张人脸轮廓；然后，采用预设肤色检测算法，在扩张人脸轮廓的框定区域内进行肤色检测，得到第二肤色隶属度。
其中，移动终端进行人脸检测，可通过标定人脸区域face_area，然后将face_area向外扩展fpercent得到扩展后的脸部区域face_area_extend，该区域应该包含整个人脸区域。而肤色检测过程将在face_area_extend内进行，这样便得到skinmap(x,y)。然后对在face_area_extend边界上，且skinmap(x,y)≠0的skinmap(x,y)进行边缘模糊，以达到平滑过渡脸部区域与非脸部区域的目的。
步骤S13，获取所述原始图像的五官轮廓，并向外扩张所述五官轮廓，得到扩张五官轮廓，根据所述扩张人脸轮廓和所述扩张五官轮廓，进行边缘羽化操作，得到对应的羽化系数，根据所述羽化系数和所述第二肤色隶属度，计算得到所述肤色隶属度和所述肤色区域。
具体地，在获取原始图像的人脸轮廓，并向外扩张所述人脸轮廓，得到扩张人脸轮廓，采用预设肤色检测算法，在扩张人脸轮廓的框定区域内进行肤色检测，得到第二肤色隶属度后，移动终端获取原始图像的五官轮廓，一般是在人脸轮廓检测的基础上进行五官轮廓的获取，并向外扩张五官轮廓，得到扩张五官轮廓，根据扩张人脸轮廓和扩张五官轮廓，进行边缘羽化操作，得到对应的羽化系数，根据羽化系数和第二肤色隶属度，计算得到肤色隶属度和肤色区域。
其中，此处的五官轮廓中的五官，可以是眼睛、眉毛、嘴巴、鼻子和耳朵中的一种或多种。
其中，如图7所示，在人脸轮廓之外的区域赋值为0，人脸外轮廓之内，五官轮廓之外的区域都将被赋值为1，五官轮廓之内的区域都将赋值为0，由此可以得到脸部轮廓索引stasm_index(x,y)。获得stasm_index(x,y)后，将人脸外轮廓向外扩大得到face_index，五官轮廓向外扩展得到organ_index，并在扩展后organ_index和face_index上进行一次边缘羽化，这样便得到stasm_mask(x,y)，最后，在face_index范围内进行肤色检测得到肤色图stasm_skinmap(x,y)。
其中，上述的扩展可以通过形态学处理腐蚀和膨胀实现，膨胀和腐蚀示例参考图8和图9。
其中，本发明的一种准确的排除五官的人脸肤色掩膜可以通过以下方式描述：
其中，rp∈[0,1]为可设参数，表示肤色隶属度，如有必要(当rp＝0)，可对skinmap(x,y)进行一次模糊，比如高斯模糊和均值模糊，以达到平滑肤色掩膜，平滑边缘过渡的目的。
其中，在获得skinmap(x,y)后，对skinmap(x,y)进行阈值化得到肤色二值化图skinmap_index(x,y)。具体的二值化过程可见公式(7)。
通过上述方案，本发明提供了一种人脸图像美化方法，通过人脸检测操作和五官检测操作，更好地实现了人脸五官的定位，从而实现更好地对人脸图像进行美化，保留了人脸图像的细节特征，增强了美化结果的真实性，满足用户的使用需求。
如图10所示，本发明第二实施例提出一种人脸图像美化方法，在上述第一实施例的基础上，该方法还包括：
步骤S30，对所述美化后的图像进行增亮操作，再对所述肤色隶属度进行平滑滤波操作，根据平滑滤波后的肤色隶属度，对所述肤色区域进行美白操作，得到美白后的图像。
具体地，在根据肤色隶属度，结合原始图像，对肤色区域进行磨皮操作，得到美化后的图像后，移动终端对美化后的图像的肤色区域进行增亮操作，再对肤色隶属度进行平滑滤波操作，根据平滑滤波后的肤色隶属度，对肤色区域进行美白操作，得到美白后的图像。
其中，所述根据平滑滤波后的肤色隶属度，对肤色区域进行美白操作，得到美白后的图像，包括：将所述平滑滤波后的肤色隶属度作为叠加系数，对所述增亮后的图像和所述美化后的图像进行叠加操作，得到美白后的图像。
由于环境光照和成像设备的影响，人脸图像亮度往往不能满足人们的审美需求，移动终端可以在得到美化后的图像后，根据用户需要对美化后的图像进行美白，本发明优选的肤色美白方法采用对Y通道进行Log变换增强目标区域亮度的方式实现，Log函数具体如下：
其中，为了避免对过暗的区域增强失去真实感，同时，也为了避免对偏亮区域的增强导致而产生过曝，因此，移动终端可以采用以下方式进行亮度增强：
其中，Lum1和Lum2分别表示亮度增强拐点，为了使得函数连续，防止亮度突变，[Lum1 Lum2]之间的部分会进行归一化调整和映射。
其中，参数
用于控制美白的等级程度，本发明中的
能够根据脸部区域自适应调节，减少用户的参数设置，具体的美白映射曲线示例可以参考图11。
其中，本发明
的选取方式为：
其中，faceImage表示脸部区域图像，sf()表示脸部区域图像到美白调节参数的映射函数。
其中，经过上述亮度增强后，人脸图像亮度已经得到较好的提升，但是，也会造成图像中的非人脸区域亮度增强，改变了原来图像的环境亮度分布，因此，与磨皮相似，本发明依旧采用skinmap(x,y)作为掩膜来对人脸图像进行美白，由于人眼对亮度的变化较为敏感，如果直接使用skinmap(x,y)作为美白掩膜，会导致脸部肤色分布不均匀，人为地引入噪声，使得美白后的人脸图像布满斑点，丑化了原图像。因此，本发明在应用skinmap(x,y)之前，先对skinmap(x,y)进行平滑处理，可描述为：
smooth_skinmap(x,y)＝Boxfilter(skinmap(x,y)) (17)；
其中，Boxfilter()表示平滑滤波。经过平滑滤波后，肤色概率分布更为均匀，过度更加平滑，使得美白后的人脸图像看起来更加自然，更加符合人们的主流审美观。
其中，在获得平滑后的肤色掩膜后，本发明的美白过程可以通过以下方式实现：
mb(x,y)＝smooth_skinmap(x,y)×t(x,y)+(1-smooth_skinmap(x,y))×m(x,y)(18)；
其中，为了控制美白的强度，本发明增加一个美白控制因子，增加美白可控因子后的美白过程可以表示为：
mb(x,y)＝β×smooth_skinmap(x,y)×t(x,y)+(1-β×smooth_skinmap(x,y))×m(x,y) (19)；
另外，在完成平滑磨皮操作后，如果用户不选择执行增强真实感操作，则可以选择是否执行上述自适应美白操作对图像进行进一步美化；同时，在完成模糊磨皮操作后，用户也可以选择是否执行上述自适应美白操作对图像进行进一步美化。
通过上述方案，本发明提供了一种人脸图像美化方法，通过自适应美白操作，更好地实现了对人脸图像进行美化，增强了美化结果的真实性，满足用户的使用需求。
如图12所示，本发明第三实施例提出一种人脸图像美化方法，在上述第一实施例的基础上，该方法还包括：
步骤S40，对所述原始图像进行低通滤波操作，得到低通滤波图像，根据所述原始图像与所述低通滤波图像的差异得到对应的高通图像，根据所述肤色隶属度，将所述美化后的图像与所述高通图像进行叠加操作，得到增强真实感后的图像。
具体地，在通过消除肤色区域瑕疵，得到对应的平滑图像，将所述肤色隶属度作为混合系数，对平滑图像与原始图像进行混合操作，得到美化后的图像后，移动终端对所述原始图像肤色区域进行低通滤波操作，得到低通滤波图像，根据所述原始图像与所述低通滤波图像的差异得到对应的高通图像，根据所述肤色隶属度(例如将所述肤色隶属度作为叠加系数)，将所述美化后的图像与所述高通图像进行叠加操作，得到增强真实感后的图像。其中，经过平滑磨皮操作处理后的图像往往过于光滑，丢失了皮肤本来应该有的真实感，不能很好地满足用户需求，因此，移动终端可以根据用户的选择需求，对上述平滑磨皮图像进行增强真实感操作，可通过如下方式：
首先，移动终端对上述原始图像肤色区域进行低通滤波，可描述为：
gf(x,y)＝lowpassfilter(f(x,y)) (20)；
其中，lowpassfilter()表示低通滤波，可选方法为高斯低通线性滤波，双边滤波，引导滤波，sigma滤波等非线性滤波。
然后，移动终端获得高通图像，可描述为：
hp(x,y)＝f(x,y)-gf(x,y) (21)；
然后，移动终端进行增加真实感计算，可描述为：
m(x,y)＝m(x,y)+λ×skinmap(x,y)×hp(x,y) (22)；
其中，λ是真实感控制因子。
另外，在完成平滑磨皮操作和增强真实感操作后，用户可以选择是否执行自适应美白操作对图像进行进一步美化。
通过上述方案，本发明提供了一种人脸图像美化方法，同时，提供了增强真实感方案，实现了增强美化结果的真实性，满足用户的使用需求。
基于上述方法实施例的实现，本发明还提供相应的装置实施例：
如图13所示，本发明第一实施例提出一种人脸图像美化装置，包括：
肤色检测模块100，用于采用预设的肤色检测算法，对获取的待检测图像进行肤色检测，计算得到肤色隶属度，根据所述肤色隶属度得到肤色区域。
具体地，肤色检测模块100采用预设的肤色检测算法，对获取的原始人脸图像进行肤色检测，计算得到肤色隶属度，根据肤色隶属度得到对应的肤色区域。
其中，在具体实现时，可采用如下方式：
1、肤色检测模块100通过建立肤色模型，得到第一肤色隶属度；
2、肤色检测模块100对第一肤色隶属度进行相应的函数变换(该函数变换可以是线性变换或者是非线性变换)，从而得到肤色隶属度；
3、肤色检测模块100将肤色隶属度阈值化得到对应的肤色区域。
其中，肤色概率的可视图可参考图2和图3。
磨皮模块200，用于根据所述肤色隶属度，结合原始图像，对所述肤色区域进行磨皮操作，得到美化后的图像。
具体地，在采用预设的肤色检测算法，对获取的原始人脸图像进行肤色检测，计算得到肤色隶属度，根据肤色隶属度得到对应的肤色区域后，磨皮模块200根据肤色隶属度，结合原始图像，对肤色区域进行磨皮操作，得到美化后的图像。
用户可以在移动终端上选择进行平滑磨皮操作，或者模糊磨皮操作。
其中，当用户选择进行平滑磨皮操作时，磨皮模块200可以通过消除所述肤色区域瑕疵，得到对应的平滑图像，将所述肤色隶属度作为混合系数，对所述平滑图像与所述原始图像进行混合操作，得到美化后的图像。
当用户选择进行模糊磨皮操作时，磨皮模块200可以通过非线性滤波操作对所述肤色区域进行滤波处理，得到对应的模糊图像，根据所述模糊图像与所述原始图像之间的差异得到反差图像，通过线性滤波操作对所述反差图像进行滤波处理，得到对应的模糊反差图像，将所述肤色隶属度作为叠加系数，对所述原始图像与所述模糊反差图像进行叠加操作，得到所述美化后的图像。
通过上述方案，本发明提供了一种人脸图像美化装置，实现了增强美化结果的真实性，满足用户的使用需求。
进一步地，为了更好地实现人脸图像的美化，作为一种实施方式，上述肤色检测模块100还用于：通过建立肤色模型，得到第一肤色隶属度，对所述第一肤色隶属度进行相应的函数变换，得到所述肤色隶属度，将所述肤色隶属度阈值化得到所述肤色区域。
具体地，肤色检测模块100通过建立肤色模型，得到第一肤色隶属度，对第一肤色隶属度进行相应的函数变换，得到肤色隶属度，将肤色隶属度的阈值转化为肤色区域。
其中，为了避免对非肤色区域的处理，肤色检测模块100对原始人脸图像进行肤色检测，肤色检测可以采用椭圆形肤色模型：
其中，在上述公式(1)和公式(2)中：
cx＝109.38,cy＝152.02,θ＝2.53(in radian),ecx＝1.60,ecy＝2.41,a＝25.93,b＝14.03，Cb，Cr分别为对应图像坐标(x,y)的像素的CbCr色域值。
其中，为了满足图像肤色和非肤色的平滑过渡，避免对非肤色区域进行处理的目的，肤色检测模块100在上述椭圆形肤色模型的基础上求取图像的肤色隶属度，可以对公式(1)进行以下改写：
其中，在上述公式(3)中：
其中，skinmap(x,y)是图像像素点f(x,y)的肤色隶属度，用于衡量某像素点属于肤色的程度。fthlow，fthhigh为可设参数，表示概率区间的上限值和下限值。函数
是肤色隶属度映射函数，可以选为线性函数或者非线性函数，本发明的
优选为与亮度有关的线性函数(不限定于其他可实现相同功能的线性或非线性函数)，可描述为：
其中，maxf()是关于亮度Y的函数，可以为线性函数，也可为非线性函数，本发明优选为分段线性函数，其定义为：
maxf＝stepWiseLinear(Y) (6)；
其中，通过上述公式(4)，可以获得一幅w×h的肤色概率图skinmap(x,y)，该概率图表示像素点f(x,y)属于皮肤的概率，也就是该点的肤色隶属度。由于肤色区域向非肤色区域的skinmap(x,y)是渐变的，因此，能够有效避免肤色区域边界出现突变而影响后续的磨皮和美白质量，一个肤色概率的可视图可参考图2和图3。
在获得skinmap(x,y)后，对skinmap(x,y)进行阈值化得到肤色二值化图skinmap_index(x,y)，本发明优选用skinmap_index来指示后续的滤波操作区域已达到节省计算量的目的。具体的二值化过程可以表述为：
其中，Threshold是肤色图阈值化的阈值，本发明优选的Threshold＝0.0001。
通过上述方案，本发明提供了一种人脸图像美化装置，同时，提供了一种计算肤色隶属度和肤色区域的方案，更好地保障了后续美化操作的准确性，满足用户的使用需求。
进一步地，为了更好地实现人脸图像的美化，作为一种实施方式，上述磨皮模块200还用于：通过消除所述肤色区域瑕疵，得到对应的平滑图像，将所述肤色隶属度作为混合系数，对所述平滑图像与所述原始图像进行混合操作，得到所述美化后的图像；或者，通过非线性滤波操作对所述肤色区域进行滤波处理，得到对应的模糊图像，根据所述模糊图像与所述原始图像之间的差异得到反差图像，通过线性滤波操作对所述反差图像进行滤波处理，得到对应的模糊反差图像，将所述肤色隶属度作为叠加系数，对所述原始图像与所述模糊反差图像进行叠加操作，得到所述美化后的图像。
具体地，在采用预设的肤色检测算法，对获取的待检测图像进行肤色检测，计算得到肤色隶属度，根据肤色隶属度得到肤色区域后，磨皮模块200通过消除肤色区域瑕疵，得到对应的平滑图像，将肤色隶属度作为混合系数，对平滑图像与原始图像进行混合操作，得到所述美化后的图像。
其中，磨皮是人脸美化的关键部分之一，通过磨皮，能够有效去除数字图像中人脸部分的瑕疵，消除肤色区域影响美观的因素，比如，斑点，皱纹等等，从而达到美化肤色图像的目的。
其中，当用户选择执行平滑磨皮操作时，磨皮模块200可以通过如下方式执行平滑磨皮操作：
首先，磨皮模块200去除肤色区域的瑕疵，去除肤色区域瑕疵的方法可描述为：
其中，δd和δr分别代表空间域高斯滤波方差和像素域高斯滤波方差。
然后，磨皮模块200在肤色检测的基础上对肤色进行滤波，因为如果对整幅图像进行滤波处理，往往会导致时间，空间消耗大，同时模糊了非人脸肤色区域，其计算过程可描述为：
其中，上式中的filter(x,y)表示去除人脸图像区域瑕疵影响后的图像，上式中的skinmap_index(x,y)用于指示滤波区域。
然后，磨皮模块200采用上述计算肤色隶属度的方法，更好地处理肤色与非肤色的过渡区域，实现平滑自然的过渡，同时，避免了对图像中非人脸区域进行处理而使得比如眼睛，眉毛，嘴巴等器官特征区域的细节被模糊，从一定程度上保护这些区域的细节信息，其计算过程可描述为：
m(x,y)＝skinmap(x,y)×filter(x,y)+(1-skinmap(x,y))×f(x,y) (11)；
其中，为了控制效果，移动终端可以增加一个可控因子，增加可控因子后的磨皮方法可描述为：
m(x,y)＝α×skinmap(x,y)×filter(x,y)+(1-α×skinmap(x,y))×f(x,y)(12)；
其中，平滑磨皮操作能够有效保护眼睛，眉毛等等细节区域，同时计算适中，能够实时进行。
另外，在完成平滑磨皮操作后，用户可以选择不执行增强真实感操作，而直接进入选择是否执行自适应美白操作，对图像进行进一步美化。
在采用预设的肤色检测算法，对获取的待检测图像进行肤色检测，计算得到肤色隶属度，根据肤色隶属度得到肤色区域后，磨皮模块200还可以通过非线性滤波操作对肤色区域进行滤波处理，得到对应的模糊图像，根据模糊图像与原始图像之间的差异得到反差图像，通过线性滤波操作对反差图像进行滤波处理，得到对应的模糊反差图像，将所述肤色隶属度作为叠加系数，对原始图像与模糊反差图像进行叠加操作，得到美化后的图像。
其中，此处的模糊磨皮操作与上述平滑磨皮操作不同，但也能去除人脸噪声，美化人脸，同时保留美化的真实感。本发明的模糊磨皮操作是通过模糊并同时适当保留部分细节，在具体实现时，可以采用如下方式：
1、磨皮模块200获取反差信息，通过非线性滤波来对原始图像肤色区域进行模糊，得到模糊图像，通过模糊图像与原始人脸图像之间的差异来获取图像的反差信息，其中非线性滤波可以为：引导滤波、中值滤波或双边滤波等；
2、磨皮模块200对反差信息进行滤波处理，此处可选用均值模糊，高斯模糊等具有模糊效应的滤波方法；
3、磨皮模块200保留真实感祛斑，可以采用在叠加混合的方式来实现，为了避免模糊脸部以外的区域的细节信息，平滑边缘，本发明依赖skinmap(x,y)来保留非脸部区域细节信息，同时控制磨皮的精细程度和过渡的自然度。
另外，在完成模糊磨皮操作后，用户可以选择是否执行自适应美白操作对图像进行进一步美化。
通过上述方案，本发明提供了一种人脸图像美化装置，同时，提供了两种磨皮方案，更好地适应不同用户的不同需求，在实现对人脸图像进行美化的同时，更好地保留了人脸图像的细节特征，增强了美化结果的真实性。
进一步地，为了更好地实现人脸图像的美化，作为一种实施方式，上述肤色检测模块100还用于：获取所述原始图像的人脸轮廓，并向外扩张所述人脸轮廓，得到扩张人脸轮廓，采用预设肤色检测算法，在所述扩张人脸轮廓的框定区域内进行肤色检测，得到第二肤色隶属度；获取所述原始图像的五官轮廓，并向外扩张所述五官轮廓，得到扩张五官轮廓，根据所述扩张人脸轮廓和所述扩张五官轮廓，进行边缘羽化操作，得到对应的羽化系数，根据所述羽化系数和所述第二肤色隶属度，计算得到所述肤色隶属度和所述肤色区域。
首先，肤色检测模块100可以通过摄像头或其他摄像设备，对原始图像进行获取，在获取原始图像后，肤色检测模块100对原始图像进行色彩和亮度矫正操作。
其中，肤色检测模块100可以对从camera sensor(摄像头传感器)获取的YUV数据进行处理，由于后续的检测和处理是基于UV的色彩值进行的，因此camera的色彩准确性极大的影响到本发明的有效性；对于某些色彩表现不佳的camera sensor，可进行色彩和亮度的矫正，以期为后续的处理提供更好的素材，色彩的矫正可以采用常见的白平衡矫正方法，亮度矫正可采用常见的曲线拉伸矫正的方法。
然后，在对原始图像进行色彩和亮度矫正操作后，为了避免近似环境中与肤色相似的部分对肤色检测的影响，可在肤色检测前实施一次人脸检测。
在具体实现时，肤色检测模块100可以获取原始图像的人脸轮廓，并向外扩张人脸轮廓，得到扩张人脸轮廓；然后，采用预设肤色检测算法，在扩张人脸轮廓的框定区域内进行肤色检测，得到第二肤色隶属度。
其中，肤色检测模块100进行人脸检测，可通过标定人脸区域face_area，然后将face_area向外扩展fpercent得到扩展后的脸部区域face_area_extend，该区域应该包含整个人脸区域。而肤色检测过程将在face_area_extend内进行，这样便得到skinmap(x,y)。然后对在face_area_extend边界上，且skinmap(x,y)≠0的skinmap(x,y)进行边缘模糊，以达到平滑过渡脸部区域与非脸部区域的目的。
在获取原始图像的人脸轮廓，并向外扩张所述人脸轮廓，得到扩张人脸轮廓，采用预设肤色检测算法，在扩张人脸轮廓的框定区域内进行肤色检测，得到第二肤色隶属度后，肤色检测模块100获取原始图像的五官轮廓，一般是在人脸轮廓检测的基础上获取五官轮廓，并向外扩张五官轮廓，得到扩张五官轮廓，根据扩张人脸轮廓和扩张五官轮廓，进行边缘羽化操作，得到对应的羽化系数，根据羽化系数和第二肤色隶属度，计算得到肤色隶属度和肤色区域。
其中，此处的五官轮廓的五官，可以是眼睛、眉毛、嘴巴、鼻子和耳朵中的第一种或多种。
其中，如图7所示，在人脸轮廓之外的区域赋值为0，人脸外轮廓之内，五官轮廓之外的区域都将被赋值为1，五官轮廓之内的区域都将赋值为0，由此可以得到脸部轮廓索引stasm_index(x,y)。获得stasm_index(x,y)后，将人脸外轮廓向外扩大得到face_index，五官轮廓向外扩展得到organ_index，并在扩展后organ_index和face_index上进行一次边缘羽化，这样便得到stasm_mask(x,y)，最后，在face_index范围内进行肤色检测得到肤色图stasm_skinmap(x,y)。
其中，上述的扩展可以通过形态学处理腐蚀和膨胀实现，膨胀和腐蚀示例参考图8和图9。
其中，本发明的一种准确的排除五官的人脸肤色掩膜可以通过以下方式描述：
其中，rp∈[0,1]为可设参数，表示肤色隶属度，如有必要(当rp＝0)，可对skinmap(x,y)进行一次模糊，比如高斯模糊和均值模糊，以达到平滑肤色掩膜，平滑边缘过渡的目的。
其中，在获得skinmap(x,y)后，对skinmap(x,y)进行阈值化得到肤色二值化图skinmap_index(x,y)。具体的二值化过程可见公式(7)；
通过上述方案，本发明提供了一种人脸图像美化装置，通过人脸检测操作和五官检测操作，更好地实现了人脸五官的定位，从而实现更好地对人脸图像进行美化，保留了人脸图像的细节特征，增强了美化结果的真实性，满足用户的使用需求。
如图14所示，本发明第二实施例提出一种人脸图像美化装置，在上述第一实施例的基础上，该装置还包括：
美白模块300，用于对所述美化后的图像进行增亮操作，再对所述肤色隶属度进行平滑滤波操作，根据平滑滤波后的肤色隶属度，对所述肤色区域进行美白操作，得到美白后的图像。
具体地，在根据肤色隶属度，结合原始图像，对肤色区域进行磨皮操作，得到美化后的图像后，美白模块300对美化后的图像进行增亮操作，再对肤色隶属度进行平滑滤波操作，根据平滑滤波后的肤色隶属度，对肤色区域进行美白操作，得到美白后的图像。
其中，所述根据平滑滤波后的肤色隶属度，对肤色区域进行美白操作，得到美白后的图像，包括：将所述平滑滤波后的肤色隶属度作为叠加系数，对所述增亮后的图像和所述美化后的图像进行叠加操作，得到美白后的图像。
由于环境光照和成像设备的影响，人脸图像亮度往往不能满足人们的审美需求，美白模块300可以在得到美化后的图像后，根据用户需要对美化后的图像进行美白，本发明的肤色美白方法采用对Y通道进行Log变换增强目标区域亮度的方式实现，Log函数具体如下：
其中，为了避免对过暗的区域增强失去真实感，同时，也为了避免对偏亮区域的增强导致而产生过曝，因此，美白模块300可以采用以下方式进行亮度增强：
其中，Lum1和Lum2分别表示亮度增强拐点，为了使得函数连续，防止亮度突变，[Lum1 Lum2]之间的部分会进行归一化调整和映射。
其中，参数
用于控制美白的等级程度，本发明中的
能够根据脸部区域自适应调节，减少用户的参数设置，具体的美白映射曲线示例可以参考图11。
其中，本发明
的选取方式为：
其中，faceImage表示脸部区域图像，sf()表示脸部区域图像到美白调节参数的映射函数。
其中，经过上述亮度增强后，人脸图像亮度已经得到较好的提升，但是，也会造成图像中的非人脸区域亮度增强，改变了原来图像的环境亮度分布，因此，与磨皮相似，本发明依旧采用skinmap(x,y)作为掩膜来对人脸图像进行美白，由于人眼对亮度的变化较为敏感，如果直接使用skinmap(x,y)作为美白掩膜，会导致脸部肤色分布不均匀，人为地引入噪声，使得美白后的人脸图像布满斑点，丑化了原图像。因此，本发明在应用skinmap(x,y)之前，先对skinmap(x,y)进行平滑处理，可描述为：
smooth_skinmap(x,y)＝Boxfilter(skinmap(x,y)) (17)；
其中，Boxfilter()表示平滑滤波。经过平滑滤波后，肤色概率分布更为均匀，过度更加平滑，使得美白后的人脸图像看起来更加自然，更加符合人们的主流审美观。
其中，在获得平滑后的肤色掩膜后，本发明的美白过程可以通过以下方式实现：
mb(x,y)＝smooth_skinmap(x,y)×t(x,y)+(1-smooth_skinmap(x,y))×m(x,y)(18)；
其中，为了控制美白的强度，本发明增加一个美白控制因子，增加美白可控因子后的美白过程可以表示为：
mb(x,y)＝β×smooth_skinmap(x,y)×t(x,y)+(1-β×smooth_skinmap(x,y))×m(x,y) (19)；
另外，在完成平滑磨皮操作后，如果用户不选择执行增强真实感操作，则可以选择是否执行上述自适应美白操作对图像进行进一步美化；同时，在完成模糊磨皮操作后，用户也可以选择是否执行上述自适应美白操作对图像进行进一步美化。
通过上述方案，本发明提供了一种人脸图像美化装置，通过自适应美白操作，更好地实现了对人脸图像进行美化，增强了美化结果的真实性，满足用户的使用需求。
如图15所示，本发明第三实施例提出一种人脸图像美化装置，在上述第一实施例的基础上，该装置还包括：
增强实感模块400，用于对所述原始图像肤色区域进行低通滤波操作，得到低通滤波图像，根据所述原始图像与所述低通滤波图像的差异得到对应的高通图像，根据所述肤色隶属度，将所述美化后的图像与所述高通图像进行叠加操作，得到增强真实感后的图像。
具体地，在通过消除肤色区域瑕疵，得到对应的平滑图像，根据肤色隶属度，将平滑图像与原始图像进行混合操作，得到美化后的图像后，增强实感模块400对所述原始图像肤色区域进行低通滤波操作，得到低通滤波图像，根据所述原始图像与所述低通滤波图像的差异得到对应的高通图像，根据所述肤色隶属度(例如将所述肤色隶属度作为叠加系数)，将所述美化后的图像与所述高通图像进行叠加操作，得到增强真实感后的图像。
其中，经过平滑磨皮操作处理后的图像往往过于光滑，丢失了皮肤本来应该有的真实感，不能很好地满足用户需求，因此，移动终端可以根据用户的选择需求，对上述平滑磨皮图像进行增强真实感操作，可通过如下方式：
首先，增强实感模块400对上述原始图像肤色区域进行低通滤波，可描述为：
gf(x,y)＝lowpassfilter(f(x,y)) (20)；
其中，lowpassfilter()表示低通滤波，可选方法为高斯低通线性滤波，双边滤波，引导滤波，sigma滤波等非线性滤波。
然后，增强实感模块400获得高通图像，可描述为：
hp(x,y)＝f(x,y)-gf(x,y) (21)；
然后，增强实感模块400进行增加真实感计算，可描述为：
m(x,y)＝m(x,y)+λ×skinmap(x,y)×hp(x,y) (22)；
其中，λ是真实感控制因子。
另外，在完成平滑磨皮操作和增强真实感操作后，用户可以选择是否执行自适应美白操作对图像进行进一步美化。
通过上述方案，本发明提供了一种人脸图像美化装置，同时，提供了增强真实感方案，实现了增强美化结果的真实性，满足用户的使用需求。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (8)
1.一种人脸图像美化方法，其特征在于，所述方法包括：
采用预设的肤色检测算法，对获取的待检测图像进行肤色检测，计算得到肤色隶属度，根据所述肤色隶属度得到肤色区域；
对所述肤色区域进行消除瑕疵或滤波处理，得到中间图像，并根据所述肤色隶属度，对原始图像和所述中间图像进行操作，得到美化后的图像；
其中，所述采用预设的肤色检测算法，对获取的待检测图像进行肤色检测，计算得到肤色隶属度，根据所述肤色隶属度得到肤色区域的步骤包括：
获取所述原始图像的人脸轮廓，并向外扩张所述人脸轮廓，得到扩张人脸轮廓，采用预设肤色检测算法，在所述扩张人脸轮廓的框定区域内进行肤色检测，得到第二肤色隶属度；
获取所述原始图像的五官轮廓，并向外扩张所述五官轮廓，得到扩张五官轮廓，根据所述扩张人脸轮廓和所述扩张五官轮廓，进行边缘羽化操作，得到对应的羽化系数，根据所述羽化系数和所述第二肤色隶属度，计算得到所述肤色隶属度和所述肤色区域。
2.根据权利要求1所述的方法，其特征在于，所述对所述肤色区域进行消除瑕疵或滤波处理，得到中间图像，并根据所述肤色隶属度，对原始图像和所述中间图像进行操作，得到美化后的图像的步骤包括：
通过消除所述肤色区域瑕疵，得到对应的平滑图像，所述平滑图像为所述中间图像，将所述肤色隶属度作为混合系数，对所述平滑图像与所述原始图像进行混合操作，得到所述美化后的图像；
或者，通过非线性滤波操作对所述肤色区域进行滤波处理，得到对应的模糊图像，根据所述模糊图像与所述原始图像之间的差异得到反差图像，通过线性滤波操作对所述反差图像进行滤波处理，得到对应的模糊反差图像，所述模糊反差图像为所述中间图像，将所述肤色隶属度作为叠加系数，对所述原始图像与所述模糊反差图像进行叠加操作，得到所述美化后的图像。
3.根据权利要求1所述的方法，其特征在于，所述对所述肤色区域进行消除瑕疵或滤波处理，得到中间图像，并根据所述肤色隶属度，对原始图像和所述中间图像进行操作，得到美化后的图像的步骤之后，还包括：
对所述美化后的图像进行增亮操作，再对所述肤色隶属度进行平滑滤波操作，根据平滑滤波后的肤色隶属度，对所述肤色区域进行美白操作，得到美白后的图像。
4.根据权利要求2所述的方法，其特征在于，所述通过消除所述肤色区域瑕疵，得到平滑图像，将所述肤色隶属度作为混合系数，对所述平滑图像与所述原始图像进行混合操作，得到所述美化后的图像的步骤之后，还包括：
对所述原始图像进行低通滤波操作，得到低通滤波图像，根据所述原始图像与所述低通滤波图像的差异得到对应的高通图像，根据所述肤色隶属度，将所述美化后的图像与所述高通图像进行叠加操作，得到增强真实感后的图像。
5.一种人脸图像美化装置，其特征在于，所述装置包括：
肤色检测模块，用于采用预设的肤色检测算法，对获取的待检测图像进行肤色检测，计算得到肤色隶属度，根据所述肤色隶属度得到肤色区域；
磨皮模块，用于对所述肤色区域进行消除瑕疵或滤波处理，得到中间图像，并根据所述肤色隶属度，对原始图像和所述中间图像进行操作，得到美化后的图像；
其中，所述肤色检测模块，还用于：
获取所述原始图像的人脸轮廓，并向外扩张所述人脸轮廓，得到扩张人脸轮廓，采用预设肤色检测算法，在所述扩张人脸轮廓的框定区域内进行肤色检测，得到第二肤色隶属度；
获取所述原始图像的五官轮廓，并向外扩张所述五官轮廓，得到扩张五官轮廓，根据所述扩张人脸轮廓和所述扩张五官轮廓，进行边缘羽化操作，得到对应的羽化系数，根据所述羽化系数和所述第二肤色隶属度，计算得到所述肤色隶属度和所述肤色区域。
6.根据权利要求5所述的装置，其特征在于，所述磨皮模块，还用于：
通过消除所述肤色区域瑕疵，得到对应的平滑图像，所述平滑图像为所述中间图像，将所述肤色隶属度作为混合系数，对所述平滑图像与所述原始图像进行混合操作，得到所述美化后的图像；
或者，通过非线性滤波操作对所述肤色区域进行滤波处理，得到对应的模糊图像，根据所述模糊图像与所述原始图像之间的差异得到反差图像，通过线性滤波操作对所述反差图像进行滤波处理，得到对应的模糊反差图像，所述模糊反差图像为所述中间图像，将所述肤色隶属度作为叠加系数，对所述原始图像与所述模糊反差图像进行叠加操作，得到所述美化后的图像。
7.根据权利要求5所述的装置，其特征在于，所述装置还包括：
美白模块，用于对所述美化后的图像进行增亮操作，再对所述肤色隶属度进行平滑滤波操作，根据平滑滤波后的肤色隶属度，对所述肤色区域进行美白操作，得到美白后的图像。
8.根据权利要求6所述的装置，其特征在于，所述装置还包括：
增强实感模块，用于对所述原始图像进行低通滤波操作，得到低通滤波图像，根据所述原始图像与所述低通滤波图像的差异得到对应的高通图像，根据所述肤色隶属度，将所述美化后的图像与所述高通图像进行叠加操作，得到增强真实感后的图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610323434.4A CN107369133B (zh) | 2016-05-13 | 2016-05-13 | 一种人脸图像美化方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610323434.4A CN107369133B (zh) | 2016-05-13 | 2016-05-13 | 一种人脸图像美化方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107369133A CN107369133A (zh) | 2017-11-21 |
| CN107369133B true CN107369133B (zh) | 2020-04-07 |
Family
ID=60304746
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610323434.4A Active CN107369133B (zh) | 2016-05-13 | 2016-05-13 | 一种人脸图像美化方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107369133B (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109816601A (zh) * | 2018-12-26 | 2019-05-28 | 维沃移动通信有限公司 | 一种图像处理方法和终端设备 |
| CN111814520A (zh) * | 2019-04-12 | 2020-10-23 | 虹软科技股份有限公司 | 肤质检测方法、肤质等级分类方法及肤质检测装置 |
| CN110223260A (zh) * | 2019-06-19 | 2019-09-10 | 安徽变脸智能技术有限公司 | 一种人脸自动磨皮的图像处理方法 |
| CN110349108B (zh) * | 2019-07-10 | 2022-07-26 | 北京字节跳动网络技术有限公司 | 处理图像的方法、装置、电子设备、及存储介质 |
| CN110324533A (zh) * | 2019-07-10 | 2019-10-11 | 北京字节跳动网络技术有限公司 | 处理图像的方法、装置、电子设备、及存储介质 |
| CN110400281B (zh) * | 2019-08-05 | 2021-06-01 | 山东志盈医学科技有限公司 | 一种数字切片扫描仪中图像增强方法 |
| CN112541860A (zh) * | 2019-09-23 | 2021-03-23 | 深圳开阳电子股份有限公司 | 肤色美化校正方法及装置 |
| CN110929675B (zh) * | 2019-12-03 | 2024-03-01 | 广州酷狗计算机科技有限公司 | 图像处理方法、装置、计算机设备及计算机可读存储介质 |
| CN111145107B (zh) * | 2019-12-06 | 2023-03-10 | 深圳市雄帝科技股份有限公司 | 一种图像美化方法、装置、介质及设备 |
| CN112070158B (zh) * | 2020-09-08 | 2022-11-15 | 哈尔滨工业大学（威海） | 一种基于卷积神经网络和双边滤波的面部瑕疵检测方法 |
| CN116113976A (zh) * | 2020-10-29 | 2023-05-12 | Oppo广东移动通信有限公司 | 图像处理方法及装置、计算机可读介质和电子设备 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101441717A (zh) * | 2007-11-21 | 2009-05-27 | 中国科学院计算技术研究所 | 一种色情视频检测方法及检测系统 |
| EP2336972A1 (en) * | 2007-05-25 | 2011-06-22 | Definiens AG | Generating an anatomical model using a rule-based segmentation and classification process |
| CN103268475A (zh) * | 2013-05-10 | 2013-08-28 | 中科创达软件股份有限公司 | 一种基于人脸、肤色检测的皮肤美容方法 |
| CN103413153A (zh) * | 2013-08-28 | 2013-11-27 | 中山大学 | 基于svm学习的人脸图像磨皮取证方法 |
| CN103455790A (zh) * | 2013-06-24 | 2013-12-18 | 厦门美图网科技有限公司 | 一种基于肤色模型的皮肤识别方法 |
| CN104282002A (zh) * | 2014-09-22 | 2015-01-14 | 厦门美图网科技有限公司 | 一种数字图像的快速美容方法 |
| CN104517265A (zh) * | 2014-11-06 | 2015-04-15 | 福建天晴数码有限公司 | 智能磨皮方法和装置 |
| CN105787888A (zh) * | 2014-12-23 | 2016-07-20 | 联芯科技有限公司 | 人脸图像美化方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6008323B2 (ja) * | 2013-02-01 | 2016-10-19 | パナソニックＩｐマネジメント株式会社 | メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム |
-
2016
- 2016-05-13 CN CN201610323434.4A patent/CN107369133B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2336972A1 (en) * | 2007-05-25 | 2011-06-22 | Definiens AG | Generating an anatomical model using a rule-based segmentation and classification process |
| CN101441717A (zh) * | 2007-11-21 | 2009-05-27 | 中国科学院计算技术研究所 | 一种色情视频检测方法及检测系统 |
| CN103268475A (zh) * | 2013-05-10 | 2013-08-28 | 中科创达软件股份有限公司 | 一种基于人脸、肤色检测的皮肤美容方法 |
| CN103455790A (zh) * | 2013-06-24 | 2013-12-18 | 厦门美图网科技有限公司 | 一种基于肤色模型的皮肤识别方法 |
| CN103413153A (zh) * | 2013-08-28 | 2013-11-27 | 中山大学 | 基于svm学习的人脸图像磨皮取证方法 |
| CN104282002A (zh) * | 2014-09-22 | 2015-01-14 | 厦门美图网科技有限公司 | 一种数字图像的快速美容方法 |
| CN104517265A (zh) * | 2014-11-06 | 2015-04-15 | 福建天晴数码有限公司 | 智能磨皮方法和装置 |
| CN105787888A (zh) * | 2014-12-23 | 2016-07-20 | 联芯科技有限公司 | 人脸图像美化方法 |
Non-Patent Citations (5)
| Title |
|---|
| "A nonlinear filter system for beautifying facial images with contrast enhancement";Shuji Ohchi等;《2010 10th International Symposium on Communications and Information Technologies》;20101231;第1-6页 * |
| "利用多尺度融合进行面向对象的遥感影像变化检测";冯文卿等;《测绘学报》;20151031;第44卷(第10期);第1150页第4节 * |
| "基于相似度函数的图像椒盐噪声自适应滤除算法";宋宇等;《自动化学报》;20070531;第33卷(第5期);第474-479页 * |
| "基于肤色和区域双重匹配的人脸检测";徐俊等;《微计算机信息》;20061231(第25期);第309页第3节 * |
| "脸部美化的自适应算法研究";周芹芹等;《江汉大学学报(自然科学版)》;20110331;第39卷(第1期);第49-53页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107369133A (zh) | 2017-11-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107369133B (zh) | 一种人脸图像美化方法和装置 | |
| CN110443747B (zh) | 图像处理方法、装置、终端及计算机可读存储介质 | |
| KR101446975B1 (ko) | 얼굴 검출 기능을 사용한 얼굴 및 피부의 자동 미화 | |
| JP4461789B2 (ja) | 画像処理装置 | |
| KR101614193B1 (ko) | 화상 처리 장치, 화상 처리 방법, 및 제어 프로그램이 기록된 기록 매체 | |
| CN110111245B (zh) | 图像处理方法、装置、终端及计算机可读存储介质 | |
| CN107194869B (zh) | 一种图像处理方法及终端、计算机存储介质、计算机设备 | |
| JP2015507241A (ja) | デジタルメイクアップ | |
| US8406566B1 (en) | Methods and apparatus for soft edge masking | |
| CN113808027B (zh) | 一种人体图像处理方法、装置、电子设备及存储介质 | |
| CN112258440B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN109859217A (zh) | 人脸图像中毛孔区域的分割方法及计算设备 | |
| CN107564085B (zh) | 图像扭曲处理方法、装置、计算设备及计算机存储介质 | |
| CN108346128B (zh) | 一种美颜磨皮的方法和装置 | |
| CN110610504A (zh) | 基于骨架与色调的铅笔画生成方法及装置 | |
| US20130108156A1 (en) | Image processing apparatus, image processing method, and program storage medium | |
| CN110473295B (zh) | 一种基于三维人脸模型进行美颜处理的方法和设备 | |
| CN112686800A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| WO2023103813A1 (zh) | 图像处理方法、装置、设备、存储介质及程序产品 | |
| Zhao et al. | Learning tone curves for local image enhancement | |
| CN113379623B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN114998115A (zh) | 图像美化处理方法、装置及电子设备 | |
| Duan et al. | Local contrast stretch based tone mapping for high dynamic range images | |
| CN111866407A (zh) | 一种基于运动数码摄像机的图像处理方法及装置 | |
| CN112581394A (zh) | 图像处理方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: Zone C, 1 / F, factory building 1, No.1, Keji 4th Road, Tangjiawan Town, high tech Zone, Zhuhai City, Guangdong Province, 519000 Patentee after: ACTIONS TECHNOLOGY Co.,Ltd. Address before: 519085 Zone C, floor 1, workshop 1, No.1, No.1, science and technology Fourth Road, high tech Zone, Tangjiawan Town, Zhuhai, Guangdong Province Patentee before: ACTIONS (ZHUHAI) TECHNOLOGY Co.,Ltd. |
|
| CP03 | Change of name, title or address |