CN111047619B - 人脸图像处理方法及装置、可读存储介质 - Google Patents
人脸图像处理方法及装置、可读存储介质 Download PDFInfo
- Publication number
- CN111047619B CN111047619B CN201811184328.8A CN201811184328A CN111047619B CN 111047619 B CN111047619 B CN 111047619B CN 201811184328 A CN201811184328 A CN 201811184328A CN 111047619 B CN111047619 B CN 111047619B
- Authority
- CN
- China
- Prior art keywords
- face image
- area
- spot
- skin color
- spot area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 98
- 238000000034 method Methods 0.000 claims description 39
- 238000001914 filtration Methods 0.000 claims description 29
- 230000036961 partial effect Effects 0.000 claims description 26
- 230000001681 protective effect Effects 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 12
- 230000001815 facial effect Effects 0.000 claims description 11
- 230000010339 dilation Effects 0.000 claims description 9
- 230000000670 limiting effect Effects 0.000 claims description 8
- 230000000877 morphologic effect Effects 0.000 claims description 8
- 238000001514 detection method Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 3
- 230000003628 erosive effect Effects 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 206010025421 Macule Diseases 0.000 description 2
- 208000003351 Melanosis Diseases 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000004321 preservation Methods 0.000 description 2
- 210000000697 sensory organ Anatomy 0.000 description 2
- 208000002874 Acne Vulgaris Diseases 0.000 description 1
- 206010014970 Ephelides Diseases 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 206010052428 Wound Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 206010000496 acne Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005429 filling process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Geometry (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
一种人脸图像处理方法及装置、可读存储介质，所述人脸图像处理方法包括：对图像进行人脸识别，确定所述图像中的人脸图像；根据所述人脸图像，计算肤色概率模板；对所述人脸图像进行高反差保留处理，使用阈值进行二值化，得到斑点的二值模板；根据所述肤色概率模板和所述斑点的二值模板，确定需要祛除的斑点区域；通过由外往里的填充方式祛除所述需要祛除的斑点区域。采用上述方案可以快速便捷地祛除人脸图像中的斑点。
Description
技术领域
本发明属于图像处理技术领域，特别涉及一种人脸图像处理方法及装置、可读存储介质。
背景技术
随着人们生活质量的提高以及各类社交平台的出现，大家越来越关注自己的穿着和样貌。便携移动设备(例如智能手机)的出现更是让自拍、秀图等成为一种生活时尚。通常来说，用户自拍后需要对图片进行后期处理等调整处理，特别是针对人脸图像的拍摄。然而，脸上的斑点(例如痣、痤疮、伤口等)会影响美观，通常是用户不想展现的元素。
目前有部分软件能够提供祛斑的功能，同时也存在一些问题：1)自动化程度不够，需要用户手动框选斑点，工作量大；2)斑点漏检、误检严重，导致后期祛斑效果不理想；3)斑点填充痕迹明显，或使用泊松融合等复杂算法，时效性差。
发明内容
本发明实施例解决的是如何快速便捷地祛除人脸图像中的斑点。
为解决上述技术问题，本发明实施例提供一种人脸图像处理方法，人脸图像处理方法包括：对图像进行人脸识别，确定所述图像中的人脸图像；根据所述人脸图像，计算肤色概率模板；对所述人脸图像进行高反差保留处理，使用阈值进行二值化，得到斑点的二值模板；根据所述肤色概率模板和所述斑点的二值模板，确定需要祛除的斑点区域；通过由外往里的填充方式祛除所述需要祛除的斑点区域。
可选的，在确定所述图像中的人脸图像之后，还包括：识别所述人脸图像中眼睛、鼻子和嘴唇的位置；根据所述人脸图像中眼睛、鼻子和嘴唇的位置，确定所述人脸图像中的保护区域。
可选的，所述根据所述人脸图像中眼睛和嘴唇的位置，确定所述人脸图像中的保护区域，包括：采用如下公式分别计算所述人脸图像中的保护区域：
可选的，所述根据所述人脸图像，计算肤色概率模板，包括：根据所述人脸图像中眼睛和嘴唇的位置，选取眼睛和嘴唇之间的部分皮肤区域图像；根据所述眼睛和所述嘴唇之间的部分皮肤区域图像，得到所述部分皮肤区域内图像对应的肤色均值和标准差；根据所述部分皮肤区域图像对应的肤色均值和标准差，得到所述肤色概率模板。
可选的，得到所述肤色概率模板后，还包括：选取所述眼睛和嘴唇之间的其他部分皮肤区域图像，得到所述其他部分皮肤区域内图像对应的肤色均值和标准差；根据其他部分皮肤区域内图像对应的肤色均值和标准差，设置肤色均值阈值和肤色标准差阈值；根据所述肤色均值阈值和肤色标准差阈值，对所述肤色概率模板进行阈值限定，得到阈值限定后的肤色概率模板。
可选的，所述对所述人脸图像进行高反差保留处理，使用阈值进行二值化，得到斑点的二值模板，包括：获取所述人脸图像的YUV数据；根据所述人脸图像的YUV数据，对所述人脸图像的YUV数据的Y通道进行均值滤波处理；对所述均值滤波处理后的Y通道人脸图像进行高反差保留处理。
可选的，所述根据所述人脸图像的YUV数据，对所述人脸图像的YUV数据的Y通道进行均值滤波处理，包括：采用如下公式对所述人脸图像的YUV数据的Y通道进行均值滤波处理：
其中，N＝(2*Rblur+1)2，Rblur＝Max(5,emDist/18)，emDist为两眼中心到嘴唇中心的欧式距离，Rblur为均值滤波半径，N为均值滤波核的像素个数，Yi为Y通道下所述人脸图像的像素值，imgblur为均值滤波后的坐标点。
可选的，所述根据所述肤色概率模板和所述斑点的二值模板，确定需要祛除的斑点区域，包括：确定斑点尺寸阈值；根据所述斑点的二值模板，计算每个斑点区域的肤色概率均值；根据所述人脸图像中的保护区域，确定除保护区域之外的其他区域对应的需要祛除的斑点区域。
可选的，所述确定斑点尺寸阈值，包括：采用如下公式计算所述斑点尺寸阈值：blemishthr＝emDist2/180；其中，blemishthr为斑点尺寸阈值，emDist为两眼中心到嘴唇中心的欧式距离。
可选的，所述根据所述斑点的二值模板，计算每个斑点区域的肤色概率均值，包括：采用如下公式计算所述每个斑点区域的肤色概率均值：
其中，skinmean为所述每个斑点区域的肤色概率均值，imgdiff为所述斑点的二值模板，Pxy为所述斑点的二值模板中属于同一斑点区域的像素点的肤色概率值，M为所述斑点区域中连通像素点数量。
可选的，所述根据所述人脸图像中的保护区域，确定除保护区域之外的其他区域对应的需要祛除的斑点区域，包括：确定所述斑点区域为需要祛除的斑点区域，所述斑点区域需满足以下全部条件：所述斑点区域中连通像素点数量超过所述斑点尺寸阈值；所述斑点区域的肤色概率均值小于预设的概率均值；所述斑点区域与鼻尖的距离小于两眼中心到嘴唇中心的欧式距离；所述斑点区域不在所述人脸图像中的保护区域。
可选的，所述通过由外往里的填充方式祛除所述需要祛除的斑点区域，包括：获取所述人脸图像的YUV数据；将所述需要祛除的斑点区域扩充；根据所述需要祛除的斑点区域尺寸和所述斑点尺寸阈值，对所述人脸图像的YUV三通道进行斑点填充。
可选的，所述将所述需要祛除的斑点区域扩充，包括：采用形态学膨胀处理将所述需要祛除的斑点区域扩充。
可选的，所述根据所述需要祛除的斑点区域尺寸和所述斑点尺寸阈值，对所述人脸图像的YUV三通道进行斑点区域填充，包括：采用如下公式分别对所述人脸图像的YUV三通道进行斑点区域填充：
其中，当斑点区域尺寸超过斑点尺寸阈值的二分之一，并且填充的是斑点区域边缘时，将所述斑点区域向外扩展3个像素点进行填充；当斑点区域尺寸超过斑点尺寸阈值的二分之一，并且填充的不是斑点区域边缘时，将所述斑点区域向外扩展2个像素点进行填充；当斑点区域尺寸小于斑点尺寸阈值的二分之一，并且填充的是斑点区域边缘时，将所述斑点区域向外扩展2个像素点进行填充；当斑点区域尺寸小于斑点尺寸阈值的二分之一，并且填充的不是斑点区域边缘时，将所述斑点区域向外扩展1个像素点进行填充；K为在当前填充半径内，所述斑点区域被填充的像素点和非斑点区域的像素点之和，imgY(x,y)、imgu(x,y)、imgv(x.y)为所述人脸图像的YUV三通道的数据，yDst、uDst、vDst为填充后的人脸图像的YUV三通道的数据。
为解决上述技术问题，本发明实施例还公开了一种人脸图像处理装置，人脸图像处理装置包括：识别单元，用于对图像进行人脸识别，确定所述图像中的人脸图像；处理单元，用于根据所述人脸图像，计算肤色概率模板；对所述人脸图像进行高反差保留处理，使用阈值进行二值化，得到斑点的二值模板；确定单元，用于根据所述肤色概率模板和所述斑点的二值模板，确定需要祛除的斑点区域；填充单元，用于通过由外往里的填充方式祛除所述需要祛除的斑点区域。
可选的，所述识别单元，还用于：识别所述人脸图像中眼睛、鼻子和嘴唇的位置；根据所述人脸图像中眼睛、鼻子和嘴唇的位置，确定所述人脸图像中的保护区域。
可选的，所述识别单元，用于根据所述人脸图像中眼睛和嘴唇的位置，确定所述人脸图像中的保护区域，采用如下公式分别计算所述人脸图像中的保护区域：
可选的，所述处理单元，用于：根据所述人脸图像中眼睛和嘴唇的位置，选取眼睛和嘴唇之间的部分皮肤区域图像；根据所述眼睛和所述嘴唇之间的部分皮肤区域图像，得到所述部分皮肤区域内图像对应的肤色均值和标准差；根据所述部分皮肤区域图像对应的肤色均值和标准差，得到所述肤色概率模板。
可选的，所述处理单元，还用于：选取所述眼睛和嘴唇之间的其他部分皮肤区域图像，得到所述其他部分皮肤区域内图像对应的肤色均值和标准差；根据其他部分皮肤区域内图像对应的肤色均值和标准差，设置肤色均值阈值和肤色标准差阈值；根据所述肤色均值阈值和肤色标准差阈值，对所述肤色概率模板进行阈值限定，得到阈值限定后的肤色概率模板。
可选的，所述处理单元，用于：获取所述人脸图像的YUV数据；根据所述人脸图像的YUV数据，对所述人脸图像的YUV数据的Y通道进行均值滤波处理；对所述均值滤波处理后的Y通道人脸图像进行高反差保留处理。
可选的，所述处理单元，用于根据所述人脸图像的YUV数据，对所述人脸图像的YUV数据的Y通道进行均值滤波处理，采用如下公式对所述人脸图像的YUV数据的Y通道进行均值滤波处理：
其中，N＝(2*Rblur+1)2，Rblur＝Max(5,emDist/18)，emDist为两眼中心到嘴唇中心的欧式距离，Rblur为均值滤波半径，N为均值滤波核的像素个数，Yi为Y通道下所述人脸图像的像素值，imgblur为均值滤波后的坐标点。
可选的，所述确定单元，用于确定斑点尺寸阈值；根据所述斑点的二值模板，计算每个斑点区域的肤色概率均值；根据所述人脸图像中的保护区域，确定除保护区域之外的其他区域对应的需要祛除的斑点区域。
可选的，所述确定单元，用于所述确定斑点尺寸阈值，采用如下公式计算所述斑点尺寸阈值：blemishthr＝emDist2/180；其中，blemishthr为斑点尺寸阈值，emDist为两眼中心到嘴唇中心的欧式距离。
可选的，所述确定单元，用于根据所述斑点的二值模板，计算每个斑点区域的肤色概率均值，采用如下公式计算所述每个斑点区域的肤色概率均值：
其中，skinmean为所述每个斑点区域的肤色概率均值，imgdiff为所述斑点的二值模板，Pxy为所述斑点的二值模板中属于同一斑点区域的像素点的肤色概率值，M为所述斑点区域中连通像素点数量。
可选的，所述确定单元，用于：确定所述斑点区域为需要祛除的斑点区域，所述斑点区域需满足以下全部条件：所述斑点区域中连通像素点数量超过所述斑点尺寸阈值；所述斑点区域的肤色概率均值小于预设的概率均值；所述斑点区域与鼻尖的距离小于两眼中心到嘴唇中心的欧式距离；所述斑点区域不在所述人脸图像中的保护区域。
可选的，所述填充单元，用于：获取所述人脸图像的YUV数据；将所述需要祛除的斑点区域扩充；根据所述需要祛除的斑点区域尺寸和所述斑点尺寸阈值，对所述人脸图像的YUV三通道进行斑点填充。
可选的，所述填充单元，用于采用形态学膨胀处理将所述需要祛除的斑点区域扩充。
可选的，所述填充单元，用于根据所述需要祛除的斑点区域尺寸和所述斑点尺寸阈值，对所述人脸图像的YUV三通道进行斑点区域填充，采用如下公式分别对所述人脸图像的YUV三通道进行斑点区域填充：
其中，当斑点区域尺寸超过斑点尺寸阈值的二分之一，并且填充的是斑点区域边缘时，将所述斑点区域向外扩展3个像素点进行填充；当斑点区域尺寸超过斑点尺寸阈值的二分之一，并且填充的不是斑点区域边缘时，将所述斑点区域向外扩展2个像素点进行填充；当斑点区域尺寸小于斑点尺寸阈值的二分之一，并且填充的是斑点区域边缘时，将所述斑点区域向外扩展2个像素点进行填充；当斑点区域尺寸小于斑点尺寸阈值的二分之一，并且填充的不是斑点区域边缘时，将所述斑点区域向外扩展1个像素点进行填充；K为在当前填充半径内，所述斑点区域被填充的像素点和非斑点区域的像素点之和，imgY(x,y)、imgu(x,y)、imgv(x.y)为所述人脸图像的YUV三通道的数据，yDst、uDst、vDst为填充后的人脸图像的YUV三通道的数据。
本发明实施例还公开了一种可读存储介质，其上存储有计算机指令，所述计算机指令运行时执行上述任一种所述的人脸图像处理方法的步骤。
本发明实施例还提供了一种人脸图像处理装置，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行上述任一种所述的人脸图像处理方法的步骤。
与现有技术相比，本发明实施例的技术方案具有以下有益效果：
对所述人脸图像进行高反差保留处理，使用阈值进行二值化，可将斑点和五官等强边缘轮廓尽数检出，从而避免将人脸之外的区域误检为需要祛除斑点的区域，并且提高了斑点的检出率；根据所述肤色概率模板和所述斑点的二值模板，确定需要祛除的斑点，在保证斑点检出率的同时有效降低了误检率。
进一步，在对尺寸超过斑点尺寸阈值的大斑点进行扩充后，根据所述需要祛除的斑点尺寸和所述斑点尺寸阈值，使用两种填充半径对所有斑点由外往里进行填充，可以在有效避免填充突兀的同时大大提高了填充性能。
附图说明
图1是本发明实施例一种人脸图像处理方法的流程图；
图2是本发明实施例一种人脸图像处理方法的处理过程示意图；
图3是本发明实施例一种人脸图像处理装置的结构示意图。
具体实施方式
现有技术中，有部分软件能够提供祛斑的功能，同时也存在一些问题：自动化程度不够，需要用户手动框选斑点，工作量大；斑点漏检、误检严重，导致后期祛斑效果不理想；斑点填充痕迹明显，或使用泊松融合等复杂算法，时效性差。
本发明实施例中，对所述人脸图像进行高反差保留处理，使用阈值进行二值化，可将斑点和五官等强边缘轮廓尽数检出，从而避免将人脸之外的区域误检为需要祛除斑点的区域，并且提高了斑点的检出率；根据所述肤色概率模板和所述斑点的二值模板，确定需要祛除的斑点，在保证斑点检出率的同时有效降低了误检率。
为使本发明的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
本发明实施例提供了一种人脸图像处理方法，参照图1，以下通过具体步骤进行详细说明。
本发明实施例中提供的方法可以应用于静态人像，也可以应用于动态视频。
步骤S101，对图像进行人脸识别，确定所述图像中的人脸图像。
在具体实施中，在确定所述图像中的人脸图像之后，还可以包括：识别所述人脸图像中眼睛、鼻子和嘴唇的位置；根据所述人脸图像中眼睛、鼻子和嘴唇的位置，确定所述人脸图像中的保护区域。
在具体实施中，可以根据所述人脸图像中眼睛和嘴唇的位置，确定所述人脸图像中的保护区域，可以采用如下公式(1)、(2)、(3)分别计算所述人脸图像中的保护区域：
其中，
(Xlel,Ylel)为左眼的左眼角坐标，(Xler,Yler)为左眼的右眼角坐标，elDist为左眼的宽度，(Xrel,Yrel)为右眼的左眼角坐标，(Xrer,Yrer)为右眼的右眼角坐标，erDist为右眼的宽度，(Xml,Yml)为嘴唇的左嘴角坐标，(Xmr,Ymr)为嘴唇的右嘴角坐标，mDist为嘴唇的宽度，Rel为左眼的保护区域，(Xel,Yel)为左眼的保护区域左上角的坐标，Wel为左眼保护区域的宽度，Hel为左眼保护区域的高度，Rer为右眼的保护区域，(Xer,Yer)为右眼保护区域左上角的坐标，Wer为右眼保护区域的宽度，Her为右眼保护区域的高度，Rm为嘴唇的保护区域，(Xm,Ym)为嘴唇保护区域左上角的坐标，Wm为嘴唇保护区域的宽度，Hm为嘴唇保护区域的高度。
步骤S102，根据所述人脸图像，计算肤色概率模板。
在具体实施中，可以根据所述人脸图像中眼睛和嘴唇的位置，选取眼睛和嘴唇之间的部分皮肤区域图像；之后，根据所述眼睛和所述嘴唇之间的部分皮肤区域图像，得到所述部分皮肤区域内图像对应的肤色均值和标准差；最后，根据所述部分皮肤区域图像对应的肤色均值和标准差，得到所述肤色概率模板。
在本发明实施例中，选取皮肤区域图像进行肤色均值和差分均值计算，而非采用整体人脸图像进行肤色均值和差分均值计算，可以降低计算量，提高之后计算所述肤色概率模板的速度，进而提高对人脸图像处理的速度。
在具体实施中，可以选取所述眼睛和嘴唇之间的其他部分皮肤区域图像，得到所述其他部分皮肤区域内图像对应的肤色均值和标准差；之后，可以根据其他部分皮肤区域内图像对应的肤色均值和标准差，设置肤色均值阈值和肤色标准差阈值；最后，可以根据所述肤色均值阈值和肤色标准差阈值，对所述肤色概率模板进行阈值限定，得到阈值限定后的肤色概率模板。
在本发明实施例中，根据其他部分皮肤区域内图像对应的肤色均值和标准差，设置肤色均值阈值和肤色标准差阈值，对所述肤色概率模板进行阈值限定，得到阈值限定后的肤色概率模板。相比较于直接采用根据部分皮肤区域图像对应的肤色均值和标准差得到的肤色概率模板，采用肤色均值阈值和肤色标准差阈值对肤色概率模板加以限定，提高了肤色概率模板的精确度，能够准确反映所述人脸图像肤色的情况，优化了之后的人脸图像处理的效果。
步骤S103，对所述人脸图像进行高反差保留处理，使用阈值进行二值化，得到斑点的二值模板。
在本发明实施例中，通过对所述人脸图像进行高反差保留处理，结合设定的阈值对高反差图像进行二值化处理。采用高反差保留处理中保留人脸图像中与周围反差比较大的像素点的特性，由于其他与周围反差不大的像素点变为灰色，进而采用二值化处理，将所述人脸图像呈现出明显的黑白效果，可以将斑点和五官等强边缘轮廓尽数检出，无需用户手动选择人脸图像中的斑点区域，同时提高了斑点的检测率，避免了将非斑点区域作为需祛除的区域填充。
在具体实施中，可以获取所述人脸图像的YUV数据；之后，根据所述人脸图像的YUV数据，可以对所述人脸图像的YUV数据的Y通道进行均值滤波处理；最后，可以对所述均值滤波处理后的Y通道人脸图像进行高反差保留处理。
在具体实施中，可以根据所述人脸图像的YUV数据，对所述人脸图像的YUV数据的Y通道进行均值滤波处理，采用如下公式(4)对所述人脸图像的YUV数据的Y通道进行均值滤波处理：
其中，N＝(2*Rblur+1)2，Rblur＝Max(5,emDist/18)，emDist为两眼中心到嘴唇中心的欧式距离，Rblur为均值滤波半径，N为均值滤波核的像素个数，Yi为Y通道下所述人脸图像的像素值，imgblur为均值滤波后的坐标点。
在本发明实施例中，将均值滤波的滤波核设定为Max(5,emDist/18)，并且仅对YUV数据的Y通道进行高反差保留处理。对高反差保留处理结合二值化处理的方法加以优化，采用Y通道灰阶值的特性，并采用均值滤波大滤波核去除图像噪声，有效降低了对非斑点区域的误检率。
在本发明一实施例中，对均值滤波后的肤色概率模板进行概率值变换，将概率值变换到[0,255]，以方便随后的二值化处理过程。可以理解的是，也可以不变换肤色概率模板的概率值，概率值仍为[0,1]，那么在后续的二值化处理中可以将二值处理设定为[0,0.5]，即只要能达到对高反差图像的二值化处理，不限定具体的肤色概率模板的概率值。
步骤S104，根据所述肤色概率模板和所述斑点的二值模板，确定需要祛除的斑点区域。
在具体实施中，可以根据所述肤色概率模板和所述斑点的二值模板，确定需要祛除的斑点区域，包括：确定斑点尺寸阈值；之后，根据所述斑点的二值模板，计算每个斑点区域的肤色概率均值；最后，根据所述人脸图像中的保护区域，确定除保护区域之外的其他区域对应的需要祛除的斑点区域。
在具体实施中，可以确定斑点尺寸阈值，采用如下公式(5)计算所述斑点尺寸阈值：
blemishthr＝emDist2/180； (5)
其中，blemishthr为斑点尺寸阈值，emDist为两眼中心到嘴唇中心的欧式距离。
在本发明实施例中，采用肤色概率模板和斑点尺寸阈值相结合的方式检测人脸图像中的斑点。通过对两眼中心到嘴唇中心欧式距离的计算，进而加以处理作为斑点尺寸阈值，同时，采用阈值限定后的肤色概率模板对应斑点尺寸阈值进行过滤，可以保证斑点的检出率，降低了斑点误检率。
在具体实施中，可以根据所述斑点的二值模板，计算每个斑点区域的肤色概率均值，可以采用如下公式计算所述每个斑点区域的肤色概率均值：
其中，skinmean为所述每个斑点区域的肤色概率均值，imgdiff为所述斑点的二值模板，Pxy为所述斑点的二值模板中属于同一斑点区域的像素点的肤色概率值，M为所述斑点区域中连通像素点数量。
在具体实施中，确定所述斑点区域为需要祛除的斑点区域时，所述斑点区域需满足以下全部条件：所述斑点区域中连通像素点数量超过所述斑点尺寸阈值；所述斑点区域的肤色概率均值小于预设的概率均值；所述斑点区域与鼻尖的距离小于两眼中心到嘴唇中心的欧式距离；所述斑点区域不在所述人脸图像中的保护区域。
在本发明实施例中，所述预设的概率均值设定为80，需要祛除的斑点区域的肤色概率均值应当小于80，该设定的肤色概率均值要求较高，能够保证非斑点区域不被误检。可以理解的是，根据不同用户的需求，可以设置其他数值为预设的肤色概率均值，以满足不同的祛除斑点的需求，本发明在此不作赘述。
步骤S105，通过由外往里的填充方式祛除所述需要祛除的斑点区域。
在具体实施中，在通过填充方式祛除需祛除的斑点区域时，首先判断正在填充的区域是否为需祛除的斑点区域的边缘，当判断为需祛除的斑点区域的边缘时，从需祛除的斑点区域的边缘开始填充，即首先填充需祛除的斑点区域的外围。在对需祛除的斑点区域的边缘填充完成后，再次对填充的区域进行判断，逐步由需祛除的斑点区域的边缘向中心填充，直至需祛除的斑点区域被填充完成，即完成了由外往里的填充方式祛除所述需要祛除的斑点区域。
在本发明实施例中，采用由外往里的简单填充方式，而非其他复杂算法的填充方式(例如泊松算法)，大大提高了斑点区域的填充速度，尤其对实时性要求较高的移动电子设备平台上有很好的斑点填充实效性。另一方面，在处理高清图像时，本方案的简单填充方式也可以达到很高的时效性，提升了用户对人脸图像进行处理时的用户体验。
在具体实施中，可以获取所述人脸图像的YUV数据；之后，将所述需要祛除的斑点区域扩充；根据所述需要祛除的斑点区域尺寸和所述斑点尺寸阈值，对所述人脸图像的YUV三通道进行斑点填充。
在具体实施中，可以采用形态学膨胀处理将所述需要祛除的斑点区域扩充。
形态学一词通常表示生物学的一个分支，该分支主要研究动植物的形态和结构。而本发明方案中，指的是图像处理中的形态学，表示的是数学形态学，即基于形状的一系列图像处理操作。最基本的形态学操作有二种，分别为膨胀和腐蚀。膨胀就是图像中的高亮部分进行膨胀，表现为“邻域扩张”，即效果图拥有比原图更大的高亮区域。腐蚀就是原图中高亮部分被腐蚀，表现为“邻域被蚕食”，即效果图拥有比原图更小的高亮区域。
在本发明实施例中，采用形态学膨胀处理扩充需要祛除的斑点区域，膨胀结构元素的大小设置为3×3，可以保证斑点区域在被填充后并不显得突兀。可以理解的是，膨胀结构元素的大小可以设置为其他数值，即只要保证膨胀处理后斑点区域需要被填充的像素点数量与后续填充过程中设置的填充像素点的数量相对应，不限定膨胀结构元素的大小，本发明在此不作赘述。
在具体实施中，可以根据所述需要祛除的斑点区域尺寸和所述斑点尺寸阈值，对所述人脸图像的YUV三通道进行斑点区域填充，可以采用如下公式(7)、(8)、(9)分别对所述人脸图像的YUV三通道进行斑点区域填充：
其中，当斑点区域尺寸超过斑点尺寸阈值的二分之一，并且填充的是斑点区域边缘时，将所述斑点区域向外扩展3个像素点进行填充；当斑点区域尺寸超过斑点尺寸阈值的二分之一，并且填充的不是斑点区域边缘时，将所述斑点区域向外扩展2个像素点进行填充；当斑点区域尺寸小于斑点尺寸阈值的二分之一，并且填充的是斑点区域边缘时，将所述斑点区域向外扩展2个像素点进行填充；当斑点区域尺寸小于斑点尺寸阈值的二分之一，并且填充的不是斑点区域边缘时，将所述斑点区域向外扩展1个像素点进行填充；K为在当前填充半径内，所述斑点区域被填充的像素点和非斑点区域的像素点之和，imgY(x,y)、imgu(x,y)、imgv(x.y)为所述人脸图像的YUV三通道的数据，yDst、uDst、vDst为填充后的人脸图像的YUV三通道的数据，即得到了填充后的人脸图像。
在本发明实施例中，在对尺寸超过斑点尺寸阈值的大斑点进行扩充后，根据所述需要祛除的斑点尺寸和所述斑点尺寸阈值，结合判断填充的区域是否为斑点区域边缘，分别使用两种填充半径对所有斑点由外往里进行填充，可以在有效避免填充突兀的同时大大提高了填充性能。
参照图2给出了本发明实施例一种人脸图像处理方法的处理过程示意图，其中，灰色底框部分代表经二值化处理后的二值图像，深灰色底框部分代表需祛除的斑点区域，可以看出图2为斑点区域进行扩充后的图像，根据填充的位置不同(例如正在填充斑点区域内部的像素点或正在填充斑点区域边界的像素点)，采用不同的填充领域对需祛除的斑点区域进行填充处理，可以在有效避免填充突兀的同时大大提高了填充性能。
参照图3，本发明实施例还提供了一种人脸图像处理装置30，包括：识别单元301、处理单元302、确定单元303和填充单元304。
其中，所述识别单元301，用于对图像进行人脸识别，确定所述图像中的人脸图像；
所述处理单元302，用于根据所述人脸图像，计算肤色概率模板；对所述人脸图像进行高反差保留处理，使用阈值进行二值化，得到斑点的二值模板；
所述确定单元303，用于根据所述肤色概率模板和所述斑点的二值模板，确定需要祛除的斑点区域；
所述填充单元304，用于通过由外往里的填充方式祛除所述需要祛除的斑点区域。
在具体实施中，所述识别单元301，还可以用于：识别所述人脸图像中眼睛、鼻子和嘴唇的位置；根据所述人脸图像中眼睛、鼻子和嘴唇的位置，确定所述人脸图像中的保护区域。
在具体实施中，所述识别单元301，可以用于根据所述人脸图像中眼睛和嘴唇的位置，确定所述人脸图像中的保护区域，采用如下公式分别计算所述人脸图像中的保护区域：
在具体实施中，所述处理单元302，可以用于：根据所述人脸图像中眼睛和嘴唇的位置，选取眼睛和嘴唇之间的部分皮肤区域图像；根据所述眼睛和所述嘴唇之间的部分皮肤区域图像，得到所述部分皮肤区域内图像对应的肤色均值和标准差；根据所述部分皮肤区域图像对应的肤色均值和标准差，得到所述肤色概率模板。
在具体实施中，所述处理单元302，还可以用于：选取所述眼睛和嘴唇之间的其他部分皮肤区域图像，得到所述其他部分皮肤区域内图像对应的肤色均值和标准差；根据其他部分皮肤区域内图像对应的肤色均值和标准差，设置肤色均值阈值和肤色标准差阈值；根据所述肤色均值阈值和肤色标准差阈值，对所述肤色概率模板进行阈值限定，得到阈值限定后的肤色概率模板。
在具体实施中，所述处理单元302，可以用于：获取所述人脸图像的YUV数据；根据所述人脸图像的YUV数据，对所述人脸图像的YUV数据的Y通道进行均值滤波处理；对所述均值滤波处理后的Y通道人脸图像进行高反差保留处理。
在具体实施中，所述处理单元302，可以用于根据所述人脸图像的YUV数据，对所述人脸图像的YUV数据的Y通道进行均值滤波处理，采用如下公式对所述人脸图像的YUV数据的Y通道进行均值滤波处理：
其中，N＝(2*Rblur+1)2，Rblur＝Max(5,emDist/18)，emDist为两眼中心到嘴唇中心的欧式距离，Rblur为均值滤波半径，N为均值滤波核的像素个数，Yi为Y通道下所述人脸图像的像素值，imgblur为均值滤波后的坐标点。
在具体实施中，所述确定单元303，可以用于确定斑点尺寸阈值；根据所述斑点的二值模板，计算每个斑点区域的可以肤色概率均值；根据所述人脸图像中的保护区域，确定除保护区域之外的其他区域对应的需要祛除的斑点区域。
在具体实施中，所述确定单元303，可以用于所述确定斑点尺寸阈值，采用如下公式计算所述斑点尺寸阈值：blemishthr＝emDist2/180；其中，blemishthr为斑点尺寸阈值，emDist为两眼中心到嘴唇中心的欧式距离。
在具体实施中，所述确定单元303，可以用于根据所述斑点的二值模板，计算每个斑点区域的肤色概率均值，采用如下公式计算所述每个斑点区域的肤色概率均值：
其中，skinmean为所述每个斑点区域的肤色概率均值，imgdiff为所述斑点的二值模板，Pxy为所述斑点的二值模板中属于同一斑点区域的像素点的肤色概率值，M为所述斑点区域中连通像素点数量。
在具体实施中，所述确定单元303，可以用于：确定所述斑点区域为需要祛除的斑点区域，所述斑点区域需满足以下全部条件：所述斑点区域中连通像素点数量超过所述斑点尺寸阈值；所述斑点区域的肤色概率均值小于预设的概率均值；所述斑点区域与鼻尖的距离小于两眼中心到嘴唇中心的欧式距离；所述斑点区域不在所述人脸图像中的保护区域。
在具体实施中，所述填充单元304，可以用于：获取所述人脸图像的YUV数据；将所述需要祛除的斑点区域扩充；根据所述需要祛除的斑点区域尺寸和所述斑点尺寸阈值，对所述人脸图像的YUV三通道进行斑点填充。
在具体实施中，所述填充单元304，可以用于采用形态学膨胀处理将所述需要祛除的斑点区域扩充。
在具体实施中，所述填充单元304，可以用于根据所述需要祛除的斑点区域尺寸和所述斑点尺寸阈值，对所述人脸图像的YUV三通道进行斑点区域填充，采用如下公式分别对所述人脸图像的YUV三通道进行斑点区域填充：
其中，当斑点区域尺寸超过斑点尺寸阈值的二分之一，并且填充的是斑点区域边缘时，将所述斑点区域向外扩展3个像素点进行填充；当斑点区域尺寸超过斑点尺寸阈值的二分之一，并且填充的不是斑点区域边缘时，将所述斑点区域向外扩展2个像素点进行填充；当斑点区域尺寸小于斑点尺寸阈值的二分之一，并且填充的是斑点区域边缘时，将所述斑点区域向外扩展2个像素点进行填充；当斑点区域尺寸小于斑点尺寸阈值的二分之一，并且填充的不是斑点区域边缘时，将所述斑点区域向外扩展1个像素点进行填充；K为在当前填充半径内，所述斑点区域被填充的像素点和非斑点区域的像素点之和，imgY(x,y)、imgu(x,y)、imgv(x.y)为所述人脸图像的YUV三通道的数据，yDst、uDst、vDst为填充后的人脸图像的YUV三通道的数据。
在具体实施中，所述人脸图像处理装置的工作原理及工作流程可以参考本发明上述实施例中提供的人脸图像处理方法中的描述，此处不再赘述。
本发明实施例还提供了一种可读存储介质，计算机可读存储介质为非易失性存储介质或非瞬态存储介质，其上存储有计算机指令，所述计算机指令运行时执行本发明上述实施例中提供的所述的人脸图像处理方法的步骤。
本发明实施例还提供了一种人脸图像处理装置，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，所述处理器运行所示计算机指令时，执行本发明上述实施例中提供的所述的人脸图像处理方法的步骤。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于任一计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。
Claims (26)
1.一种人脸图像处理方法，其特征在于，包括：
对图像进行人脸识别，确定所述图像中的人脸图像；
根据所述人脸图像，计算肤色概率模板；
对所述人脸图像进行高反差保留处理，使用阈值进行二值化，得到斑点的二值模板；
根据所述肤色概率模板和所述斑点的二值模板，确定需要祛除的斑点区域；
通过由外往里的填充方式祛除所述需要祛除的斑点区域；
在确定所述图像中的人脸图像之后，还包括：识别所述人脸图像中眼睛、鼻子和嘴唇的位置；根据所述人脸图像中眼睛、鼻子和嘴唇的位置，确定所述人脸图像中的保护区域；所述对所述人脸图像进行高反差保留处理，使用阈值进行二值化，得到斑点的二值模板，包括：获取所述人脸图像的YUV数据；根据所述人脸图像的YUV数据，对所述人脸图像的YUV数据的Y通道进行均值滤波处理；对所述均值滤波处理后的Y通道人脸图像进行高反差保留处理。
2.如权利要求1所述的人脸图像处理方法，其特征在于，所述根据所述人脸图像中眼睛和嘴唇的位置，确定所述人脸图像中的保护区域，包括：
采用如下公式分别计算所述人脸图像中的保护区域：
其中，
(Xlel,Ylel)为左眼的左眼角坐标，(Xler,Yler)为左眼的右眼角坐标，elDist为左眼的宽度，(Xrel,Yrel)为右眼的左眼角坐标，(Xrer,Yrer)为右眼的右眼角坐标，erDist为右眼的宽度，(Xml,Yml)为嘴唇的左嘴角坐标，(Xmr,Ymr)为嘴唇的右嘴角坐标，mDist为嘴唇的宽度，Rel为左眼的保护区域，(Xel,Yel)为左眼的保护区域左上角的坐标，Wel为左眼保护区域的宽度，Hel为左眼保护区域的高度，Rer为右眼的保护区域，(Xer,Yer)为右眼保护区域左上角的坐标，Wer为右眼保护区域的宽度，Her为右眼保护区域的高度，Rm为嘴唇的保护区域，(Xm,Ym)为嘴唇保护区域左上角的坐标，Wm为嘴唇保护区域的宽度，Hm为嘴唇保护区域的高度。
3.如权利要求1所述的人脸图像处理方法，其特征在于，所述根据所述人脸图像，计算肤色概率模板，包括：
根据所述人脸图像中眼睛和嘴唇的位置，选取眼睛和嘴唇之间的部分皮肤区域图像；
根据所述眼睛和所述嘴唇之间的部分皮肤区域图像，得到所述部分皮肤区域内图像对应的肤色均值和标准差；
根据所述部分皮肤区域图像对应的肤色均值和标准差，得到所述肤色概率模板。
4.如权利要求3所述的人脸图像处理方法，其特征在于，得到所述肤色概率模板后，还包括：
选取所述眼睛和嘴唇之间的其他部分皮肤区域图像，得到所述其他部分皮肤区域内图像对应的肤色均值和标准差；
根据其他部分皮肤区域内图像对应的肤色均值和标准差，设置肤色均值阈值和肤色标准差阈值；
根据所述肤色均值阈值和肤色标准差阈值，对所述肤色概率模板进行阈值限定，得到阈值限定后的肤色概率模板。
5.如权利要求1所述的人脸图像处理方法，其特征在于，所述根据所述人脸图像的YUV数据，对所述人脸图像的YUV数据的Y通道进行均值滤波处理，包括：
采用如下公式对所述人脸图像的YUV数据的Y通道进行均值滤波处理：
其中，N＝(2*Rblur+1)2，Rblur＝Max(5,emDist/18)，emDist为两眼中心到嘴唇中心的欧式距离，Rblur为均值滤波半径，N为均值滤波核的像素个数，Yi为Y通道下所述人脸图像的像素值，imgblur为均值滤波后的坐标点。
6.如权利要求1所述的人脸图像处理方法，其特征在于，所述根据所述肤色概率模板和所述斑点的二值模板，确定需要祛除的斑点区域，包括：
确定斑点尺寸阈值；
根据所述斑点的二值模板，计算每个斑点区域的肤色概率均值；
根据所述人脸图像中的保护区域，确定除保护区域之外的其他区域对应的需要祛除的斑点区域。
7.如权利要求6所述的人脸图像处理方法，其特征在于，所述确定斑点尺寸阈值，包括：
采用如下公式计算所述斑点尺寸阈值：
blemishthr＝emDist2/180；
其中，blemishthr为斑点尺寸阈值，emDist为两眼中心到嘴唇中心的欧式距离。
8.如权利要求6所述的人脸图像处理方法，其特征在于，所述根据所述斑点的二值模板，计算每个斑点区域的肤色概率均值，包括：
采用如下公式计算所述每个斑点区域的肤色概率均值：
其中，skinmean为所述每个斑点区域的肤色概率均值，imgdiff为所述斑点的二值模板，Pxy为所述斑点的二值模板中属于同一斑点区域的像素点的肤色概率值，M为所述斑点区域中连通像素点数量。
9.如权利要求6所述的人脸图像处理方法，其特征在于，所述根据所述人脸图像中的保护区域，确定除保护区域之外的其他区域对应的需要祛除的斑点区域，包括：
确定所述斑点区域为需要祛除的斑点区域，所述斑点区域需满足以下全部条件：
所述斑点区域中连通像素点数量超过所述斑点尺寸阈值；
所述斑点区域的肤色概率均值小于预设的概率均值；
所述斑点区域与鼻尖的距离小于两眼中心到嘴唇中心的欧式距离；
所述斑点区域不在所述人脸图像中的保护区域。
10.如权利要求6所述的人脸图像处理方法，其特征在于，所述通过由外往里的填充方式祛除所述需要祛除的斑点区域，包括：
获取所述人脸图像的YUV数据；
将所述需要祛除的斑点区域扩充；
根据所述需要祛除的斑点区域尺寸和所述斑点尺寸阈值，对所述人脸图像的YUV三通道进行斑点填充。
11.如权利要求10所述的人脸图像处理方法，其特征在于，所述将所述需要祛除的斑点区域扩充，包括：
采用形态学膨胀处理将所述需要祛除的斑点区域扩充。
12.如权利要求10所述的人脸图像处理方法，其特征在于，所述根据所述需要祛除的斑点区域尺寸和所述斑点尺寸阈值，对所述人脸图像的YUV三通道进行斑点区域填充，包括：
采用如下公式分别对所述人脸图像的YUV三通道进行斑点区域填充：
其中，当斑点区域尺寸超过斑点尺寸阈值的二分之一，并且填充的是斑点区域边缘时，将所述斑点区域向外扩展3个像素点进行填充；当斑点区域尺寸超过斑点尺寸阈值的二分之一，并且填充的不是斑点区域边缘时，将所述斑点区域向外扩展2个像素点进行填充；当斑点区域尺寸小于斑点尺寸阈值的二分之一，并且填充的是斑点区域边缘时，将所述斑点区域向外扩展2个像素点进行填充；当斑点区域尺寸小于斑点尺寸阈值的二分之一，并且填充的不是斑点区域边缘时，将所述斑点区域向外扩展1个像素点进行填充；K为在当前填充半径内，所述斑点区域被填充的像素点和非斑点区域的像素点之和，imgY(x,y)、imgu(x,y)、imgv(x.y)为所述人脸图像的YUV三通道的数据，yDst、uDst、vDst为填充后的人脸图像的YUV三通道的数据。
13.一种人脸图像处理装置，其特征在于，包括：
识别单元，用于对图像进行人脸识别，确定所述图像中的人脸图像；
处理单元，用于根据所述人脸图像，计算肤色概率模板；对所述人脸图像进行高反差保留处理，使用阈值进行二值化，得到斑点的二值模板；
确定单元，用于根据所述肤色概率模板和所述斑点的二值模板，确定需要祛除的斑点区域；
填充单元，用于通过由外往里的填充方式祛除所述需要祛除的斑点区域；
所述识别单元，还用于：识别所述人脸图像中眼睛、鼻子和嘴唇的位置；根据所述人脸图像中眼睛、鼻子和嘴唇的位置，确定所述人脸图像中的保护区域；所述处理单元，用于：获取所述人脸图像的YUV数据；根据所述人脸图像的YUV数据，对所述人脸图像的YUV数据的Y通道进行均值滤波处理；对所述均值滤波处理后的Y通道人脸图像进行高反差保留处理。
14.如权利要求13所述的人脸图像处理装置，其特征在于，所述识别单元，用于根据所述人脸图像中眼睛和嘴唇的位置，确定所述人脸图像中的保护区域，采用如下公式分别计算所述人脸图像中的保护区域：
其中，
(Xlel,Ylel)为左眼的左眼角坐标，(Xler,Yler)为左眼的右眼角坐标，elDist为左眼的宽度，(Xrel,Yrel)为右眼的左眼角坐标，(Xrer,Yrer)为右眼的右眼角坐标，erDist为右眼的宽度，(Xml,Yml)为嘴唇的左嘴角坐标，(Xmr,Ymr)为嘴唇的右嘴角坐标，mDist为嘴唇的宽度，Rel为左眼的保护区域，(Xel,Yel)为左眼的保护区域左上角的坐标，Wel为左眼保护区域的宽度，Hel为左眼保护区域的高度，Rer为右眼的保护区域，(Xer,Yer)为右眼保护区域左上角的坐标，Wer为右眼保护区域的宽度，Her为右眼保护区域的高度，Rm为嘴唇的保护区域，(Xm,Ym)为嘴唇保护区域左上角的坐标，Wm为嘴唇保护区域的宽度，Hm为嘴唇保护区域的高度。
15.如权利要求13所述的人脸图像处理装置，其特征在于，所述处理单元，用于：根据所述人脸图像中眼睛和嘴唇的位置，选取眼睛和嘴唇之间的部分皮肤区域图像；根据所述眼睛和所述嘴唇之间的部分皮肤区域图像，得到所述部分皮肤区域内图像对应的肤色均值和标准差；根据所述部分皮肤区域图像对应的肤色均值和标准差，得到所述肤色概率模板。
16.如权利要求15所述的人脸图像处理装置，其特征在于，所述处理单元，还用于：选取所述眼睛和嘴唇之间的其他部分皮肤区域图像，得到所述其他部分皮肤区域内图像对应的肤色均值和标准差；根据其他部分皮肤区域内图像对应的肤色均值和标准差，设置肤色均值阈值和肤色标准差阈值；根据所述肤色均值阈值和肤色标准差阈值，对所述肤色概率模板进行阈值限定，得到阈值限定后的肤色概率模板。
17.如权利要求13所述的人脸图像处理装置，其特征在于，所述处理单元，用于根据所述人脸图像的YUV数据，对所述人脸图像的YUV数据的Y通道进行均值滤波处理，采用如下公式对所述人脸图像的YUV数据的Y通道进行均值滤波处理：
其中，N＝(2*Rblur+1)2，Rblur＝Max(5,emDist/18)，emDist为两眼中心到嘴唇中心的欧式距离，Rblur为均值滤波半径，N为均值滤波核的像素个数，Yi为Y通道下所述人脸图像的像素值，imgblur为均值滤波后的坐标点。
18.如权利要求13所述的人脸图像处理装置，其特征在于，所述确定单元，用于确定斑点尺寸阈值；根据所述斑点的二值模板，计算每个斑点区域的肤色概率均值；根据所述人脸图像中的保护区域，确定除保护区域之外的其他区域对应的需要祛除的斑点区域。
19.如权利要求18所述的人脸图像处理装置，其特征在于，所述确定单元，用于所述确定斑点尺寸阈值，采用如下公式计算所述斑点尺寸阈值：
blemishthr＝emDist2/180；
其中，blemishthr为斑点尺寸阈值，emDist为两眼中心到嘴唇中心的欧式距离。
20.如权利要求18所述的人脸图像处理装置，其特征在于，所述确定单元，用于根据所述斑点的二值模板，计算每个斑点区域的肤色概率均值，采用如下公式计算所述每个斑点区域的肤色概率均值：
其中，skinmean为所述每个斑点区域的肤色概率均值，imgdiff为所述斑点的二值模板，Pxy为所述斑点的二值模板中属于同一斑点区域的像素点的肤色概率值，M为所述斑点区域中连通像素点数量。
21.如权利要求18所述的人脸图像处理装置，其特征在于，所述确定单元，用于：确定所述斑点区域为需要祛除的斑点区域，所述斑点区域需满足以下全部条件：所述斑点区域中连通像素点数量超过所述斑点尺寸阈值；所述斑点区域的肤色概率均值小于预设的概率均值；所述斑点区域与鼻尖的距离小于两眼中心到嘴唇中心的欧式距离；所述斑点区域不在所述人脸图像中的保护区域。
22.如权利要求18所述的人脸图像处理装置，其特征在于，所述填充单元，用于：获取所述人脸图像的YUV数据；将所述需要祛除的斑点区域扩充；根据所述需要祛除的斑点区域尺寸和所述斑点尺寸阈值，对所述人脸图像的YUV三通道进行斑点填充。
23.如权利要求22所述的人脸图像处理装置，其特征在于，所述填充单元，用于采用形态学膨胀处理将所述需要祛除的斑点区域扩充。
24.如权利要求22所述的人脸图像处理装置，其特征在于，所述填充单元，用于根据所述需要祛除的斑点区域尺寸和所述斑点尺寸阈值，对所述人脸图像的YUV三通道进行斑点区域填充，采用如下公式分别对所述人脸图像的YUV三通道进行斑点区域填充：
其中，当斑点区域尺寸超过斑点尺寸阈值的二分之一，并且填充的是斑点区域边缘时，将所述斑点区域向外扩展3个像素点进行填充；当斑点区域尺寸超过斑点尺寸阈值的二分之一，并且填充的不是斑点区域边缘时，将所述斑点区域向外扩展2个像素点进行填充；当斑点区域尺寸小于斑点尺寸阈值的二分之一，并且填充的是斑点区域边缘时，将所述斑点区域向外扩展2个像素点进行填充；当斑点区域尺寸小于斑点尺寸阈值的二分之一，并且填充的不是斑点区域边缘时，将所述斑点区域向外扩展1个像素点进行填充；K为在当前填充半径内，所述斑点区域被填充的像素点和非斑点区域的像素点之和，imgY(x,y)、imgu(x,y)、imgv(x.y)为所述人脸图像的YUV三通道的数据，yDst、uDst、vDst为填充后的人脸图像的YUV三通道的数据。
25.一种可读存储介质，计算机可读存储介质为非易失性存储介质或非瞬态存储介质，其上存储有计算机指令，其特征在于，所述计算机指令被处理器运行时执行权利要求1至12中任一项所述的人脸图像处理方法的步骤。
26.一种人脸图像处理装置，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，其特征在于，所述处理器运行所述计算机指令时执行权利要求1至12任一项所述的人脸图像处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811184328.8A CN111047619B (zh) | 2018-10-11 | 2018-10-11 | 人脸图像处理方法及装置、可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811184328.8A CN111047619B (zh) | 2018-10-11 | 2018-10-11 | 人脸图像处理方法及装置、可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111047619A CN111047619A (zh) | 2020-04-21 |
| CN111047619B true CN111047619B (zh) | 2022-09-30 |
Family
ID=70229179
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811184328.8A Active CN111047619B (zh) | 2018-10-11 | 2018-10-11 | 人脸图像处理方法及装置、可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111047619B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111738984B (zh) * | 2020-05-29 | 2023-08-18 | 北京工商大学 | 基于分水岭和种子填充的皮肤图像斑点评估方法及系统 |
| CN112887693B (zh) * | 2021-01-12 | 2023-04-18 | 浙江大华技术股份有限公司 | 图像紫边消除方法、设备及存储介质 |
| CN112784773B (zh) * | 2021-01-27 | 2022-09-27 | 展讯通信（上海）有限公司 | 图像处理方法及装置、存储介质、终端 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030044162A (ko) * | 2001-11-29 | 2003-06-09 | (주)가이아진 | 바이오칩 이미지 분석 시스템 및 그 방법 |
| CN103268475A (zh) * | 2013-05-10 | 2013-08-28 | 中科创达软件股份有限公司 | 一种基于人脸、肤色检测的皮肤美容方法 |
| CN103927719A (zh) * | 2014-04-04 | 2014-07-16 | 北京金山网络科技有限公司 | 图片处理方法及装置 |
| CN105224917A (zh) * | 2015-09-10 | 2016-01-06 | 成都品果科技有限公司 | 一种利用颜色空间创建肤色概率图的方法和系统 |
-
2018
- 2018-10-11 CN CN201811184328.8A patent/CN111047619B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030044162A (ko) * | 2001-11-29 | 2003-06-09 | (주)가이아진 | 바이오칩 이미지 분석 시스템 및 그 방법 |
| CN103268475A (zh) * | 2013-05-10 | 2013-08-28 | 中科创达软件股份有限公司 | 一种基于人脸、肤色检测的皮肤美容方法 |
| CN103927719A (zh) * | 2014-04-04 | 2014-07-16 | 北京金山网络科技有限公司 | 图片处理方法及装置 |
| CN105224917A (zh) * | 2015-09-10 | 2016-01-06 | 成都品果科技有限公司 | 一种利用颜色空间创建肤色概率图的方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111047619A (zh) | 2020-04-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106530246B (zh) | 基于暗通道与非局部先验的图像去雾方法及系统 | |
| JP4461789B2 (ja) | 画像処理装置 | |
| CN111047619B (zh) | 人脸图像处理方法及装置、可读存储介质 | |
| US20140147003A1 (en) | Method and Apparatus for Facial Image Processing | |
| US10509948B2 (en) | Method and device for gesture recognition | |
| CN107172354B (zh) | 视频处理方法、装置、电子设备及存储介质 | |
| CN105243371A (zh) | 一种人脸美颜程度的检测方法、系统及拍摄终端 | |
| JP2008234208A (ja) | 顔部位検出装置及びプログラム | |
| WO2012036669A1 (en) | Smile detection systems and methods | |
| US9613404B2 (en) | Image processing method, image processing apparatus and electronic device | |
| CN113627306B (zh) | 关键点处理方法及装置、可读存储介质、终端 | |
| CN112214773B (zh) | 基于隐私保护的图像处理方法、装置和电子设备 | |
| CN113658197B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN111145086A (zh) | 一种图像处理方法、装置及电子设备 | |
| CN107516302A (zh) | 一种基于OpenCV的混合图像增强的方法 | |
| CN105976309B (zh) | 一种高效且易于并行实现的美颜移动终端 | |
| CN115937931A (zh) | 人脸姿态判断方法及换脸方法 | |
| CN113379623B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN107316281B (zh) | 图像处理方法、装置和终端设备 | |
| WO2017128646A1 (zh) | 一种图像处理的方法及装置 | |
| CN111738930A (zh) | 人脸图像的合成方法、装置、电子设备及存储介质 | |
| CN108230328B (zh) | 获取目标对象的方法、装置和机器人 | |
| CN107945196B (zh) | 一种用于航拍校正图像拼接的图像边沿检测方法 | |
| JP5822739B2 (ja) | 画像処理装置、方法、及びプログラム | |
| WO2021135676A1 (zh) | 一种拍照背景虚化方法、移动终端及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |