CN113221618A - 人脸图像去高光的方法、系统及其存储介质 - Google Patents

人脸图像去高光的方法、系统及其存储介质 Download PDF

Info

Publication number
CN113221618A
CN113221618A CN202110118778.2A CN202110118778A CN113221618A CN 113221618 A CN113221618 A CN 113221618A CN 202110118778 A CN202110118778 A CN 202110118778A CN 113221618 A CN113221618 A CN 113221618A
Authority
CN
China
Prior art keywords
image
face
highlight
area
pixel point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110118778.2A
Other languages
English (en)
Other versions
CN113221618B (zh
Inventor
张裕平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Emperor Technology Co Ltd
Original Assignee
Shenzhen Emperor Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Emperor Technology Co Ltd filed Critical Shenzhen Emperor Technology Co Ltd
Priority to CN202110118778.2A priority Critical patent/CN113221618B/zh
Publication of CN113221618A publication Critical patent/CN113221618A/zh
Application granted granted Critical
Publication of CN113221618B publication Critical patent/CN113221618B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/30Noise filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及图像处理领域,具体涉及一种人脸图像去高光的方法、系统及其存储介质,其方法包括:获取人脸图像,对人脸图像进行定位检测得到人脸区域;从人脸区域中筛选出皮肤区域;获取皮肤区域中像素点的亮度值和饱和度值,根据其亮度值和饱和度值获取到高光点,并将所有高光点进行整合得到高光区域;将高光区域进行泊松重建求解;对人脸图像进行模糊处理,获得模糊图像;然后用人脸图像减去模糊图像,获得纹理图像;将纹理图像与滤除高光后的图像进行叠加得到纹理修复图像。本发明恢复了高光滤除区域亮度值的层次感和皮肤纹理,使得处理后的图像有较好的真实感,不会出现失真的现象。

Description

人脸图像去高光的方法、系统及其存储介质
技术领域
本发明涉及图像处理技术领域,具体涉及一种人脸图像去高光的方法、一种人脸图像去高光的系统以及一种存储有上述方法的可读存储介质。
背景技术
随着科技的发展,人们在社会生活中常常会利用到一些数码图像,例如:用于制作用户的证件照;而证件机关普遍对证件照的质量有较高的要求,比如其要求图像中不允许出现有高反光区域;但用户在采集的人脸图像时,往往会因为拍摄环境、人脸油脂分泌等因素的影响,使得在图像的人脸区域中出现局部高反光的现象。为了满足证件照对图像的要求,现今市面上在用户采集完人脸图像后,均需要对该人脸图像进行图像处理,以去除图像中的高光部分。
在现今市面上的技术中,出现了一些对人脸图像中的高光部分进行自动调整的方法;在该方法中,其先从人脸图像中筛选出相应的高光区域;并对高光区域采用统一的公式进行压缩处理以去除人脸图像中的高光,但是其方法压缩了人脸皮肤的图像梯度,使得处理后的图像容易失去皮肤的本身纹理,也使得高光区域的亮度值比较接近,没有层次感,容易出现图像失真。
发明内容
为克服上述缺陷,本发明的目的即在于提供一种能恢复皮肤纹理的人脸图像去高光的方法、系统以及存储有其方法的可读存储介质;其在有效去除皮肤高光的同时,保持了皮肤纹理和亮度层次感,使得处理后的图像有较好的真实感。
本发明的目的是通过以下技术方案来实现的:
本发明是一种人脸图像去高光的方法,其包括:
获取人脸图像,并对所述人脸图像进行定位检测,得到人脸区域;
从所述人脸区域中检测出预定的特征点;
根据所述特征点的位置在所述人脸区域中筛选出皮肤区域;
根据所述皮肤区域中每个像素点的亮度值和饱和度值,在所述皮肤区域中定义出高光区域;
将所述高光区域进行泊松重建求解,得到滤除高光后的图像;
对所述人脸图像进行模糊处理,获得模糊图像;然后用所述人脸图像减去模糊图像,获得纹理图像;再将所述纹理图像与所述滤除高光后的图像进行叠加得到纹理修复图像。
在本发明中,所述将所述高光区域进行泊松重建之前包括:
获取所述高光区域的图像边界;
获取所述图像边界上的像素点的亮度值,并判断所述图像边界上的像素点的亮度值是否小于第二亮度阈值,若不小于第二亮度阈值,则将该像素点定义为正常边界点;若小于第二亮度阈值,则将该像素点定义为异常边界点;
获取所有正常边界点中的R、G、B通道的值,并求得其对应正常边界点中的的R、G、B通道均值;
将所有异常边界点中的R、G、B通道的值,对应替换为正常边界点中的的R、G、B通道均值,以对所述高光区域进行调整。
在本发明中,所述根据所述皮肤区域中每个像素点的亮度值和饱和度值,在所述皮肤区域中定义出高光区域包括:
获取所述皮肤区域中每个像素点的亮度值和饱和度值,将所述像素点的亮度值和饱和度值分别与第一亮度阈值和饱和度阈值进行比较,若所述像素点的亮度值不小于所述第一亮度阈值,且所述像素点的饱和度值不大于所述饱和度阈值,则将该像素点定义为高光点,所有高光点的集合即为所述高光区域。
在本发明中,所述第一亮度阈值大于所述第二亮度阈值。
在本发明中,所述根据所述特征点的位置在所述人脸区域中筛选出皮肤区域包括:
从所述人脸图像的alpha通道中获取人像轮廓,并在所述人像轮廓的预定位置上的特征点进行选定作为轮廓点;
根据所述轮廓点的位置使用线性差值的方式在所述人像轮廓中拟合出一条连续的脸部轮廓线,并根据所述脸部轮廓线在所述人像轮廓中分离出脸部轮廓图;
在所述脸部轮廓图中根据其余特征点的位置,使用线性插值的方式拟合出预定数量的封闭的轮廓区域,并将所述轮廓区域从所述脸部轮廓图中分离出来,得到皮肤区域。
在本发明中,所述根据所述脸部轮廓线在所述人像轮廓中分离出脸部轮廓图之后包括:
获取所述脸部轮廓图中的每个像素点的亮度值,若该亮度值小于第三亮度阈值,则在所述脸部轮廓图中将对应的像素点进行去除。
在本发明中,所述获取所述皮肤区域中每个像素点的亮度值和饱和度值之后包括:
根据每个像素点的亮度值和饱和度值计算出第一亮度阈值和饱和度阈值。
在本发明中,所述对所述人脸图像进行模糊处理包括:
通过滤波算法对所述人脸图像进行模糊处理,所述滤波算法包括:高斯滤波、中值滤波、均值滤波。
基于同样的构思,本发明还提供一种人脸图像去高光的系统,其包括:
人脸区域定位模块,所述人脸区域定位模块用于获取人脸图像,并对所述人脸图像进行定位检测,得到人脸区域;
特征点确定模块,所述特征点确定模块与所述人脸区域定位模块相连接,用于从所述人脸区域中检测出预定的特征点;
皮肤区域定位模块,所述皮肤区域定位模块与所述特征点确定模块相连接,用于根据所述特征点的位置在所述人脸区域中筛选出皮肤区域;
高光区域定位模块,所述高光区域定位模块与所述皮肤区域定位模块相连接,用于根据所述皮肤区域中每个像素点的亮度值和饱和度值,在所述皮肤区域中定义出高光区域;
图像重建模块,所述图像重建模块与所述高光区域定位模块相连接,用于将所述高光区域进行泊松重建求解,得到滤除高光后的图像;
纹理修复模块,所述纹理修复模块分别与所述人脸区域定位模块和所述图像重建模块相连接,用于对所述人脸图像进行模糊处理,获得模糊图像;然后用所述人脸图像减去模糊图像,获得纹理图像;将所述纹理图像与所述重建后图像进行叠加得到纹理修复图像。
基于同样的构思,本发明还提供一种计算机可读程序存储介质,其存储有计算机程序指令,当所述计算机程序指令被计算机执行时,使计算机执行如上所述的方法。
本发明通过对人脸区域进行处理获取到纹理图像,并通过纹理图像与经泊松重建后图像进行叠加得到纹理修复图像,以恢复高光滤除区域亮度值的层次感和皮肤纹理,使得经处理后的图像有较好的真实感,不会出现失真的现象。
附图说明
为了易于说明,本发明由下述的较佳实施例及附图作详细描述。
图1为本发明人脸图像去高光的方法一个实施例的工作流程示意图;
图2为本发明人脸图像去高光的方法另一个实施例的工作流程示意图;
图3为本发明人脸图像去高光的系统的逻辑结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
在本发明的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接。可以是机械连接,也可以是电连接。可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
下面以一个实施例对本发明的一种人脸图像去高光的方法进行具体描述,请参阅图1,其包括:
S101.人脸检测
获取人脸图像,并对所述人脸图像进行定位检测,得到人脸区域;其具体为:通过在数据库中获取或直接导入人脸图像;其中,该人脸图像优选为需要进行去高光处理的证件照;其可使用人脸检测器对证件照进行人脸检测,定位出人脸区域,进而得到人脸区域。
S102.人脸特征点定位
从所述人脸区域中检测出预定的特征点;其具体为:在该人脸区域中对预定的68个人脸特征点进行定位,以在人脸区域图像中定位出人脸轮廓、眉毛、眼睛、鼻子、嘴巴的坐标。
S103.皮肤区域检测
根据所述特征点的位置在所述人脸区域中筛选出皮肤区域;其具体为:在人脸轮廓的基础上,去除眼睛、嘴巴、眼镜等非高光区域,最后得到皮肤区域。
S104.高光定位
获取所述皮肤区域中每个像素点的亮度值和饱和度值,将所述像素点的亮度值和饱和度值分别与第一亮度阈值和饱和度阈值进行比较,若所述像素点的亮度值和饱和度值同时满足比较条件,则将该像素点定义为高光点,并将所有高光点进行整合得到高光区域;其中,该第一亮度阈值和饱和度阈值可以为预设的经验值,也可以根据每个像素点的亮度值和饱和度值计算出。在实际应用中,有一些图片的高光区域即使亮度值不是很高,但仍然十分刺眼,原因是这些区域的饱和度较低,色彩上显得突兀。所以在本实施例中结合高光区域在亮度值和饱和度值上的特征对高光区域进行定位,以获取到一个更为合理的高光区域。
S105.高光滤除
将所述高光区域进行泊松重建求解,得到滤除高光后的图像,以滤除图像中的高光;在本实施例中,采用泊松重建方法充分考虑了高光区域周围的正常肤色和高光区域的梯度场,将二者作为重建方程的约束条件并求解,处理结果和正常肤色区域衔接正常,使得重建后图像不会出现色彩异常的现象。
其具体可以为,以g表示原图像中高光区域,V是g的梯度场,S是重建后的图像,Ω是重建后目标图像中被覆盖的区域,
Figure BDA0002921719480000062
是其边界,设重建后图像在Ω内的像素值由f表示,在外的像素值由f*表示。泊松重建要求插入后的图像标尺插入图像本身的纹理信息,而且在边界上看不到明显的处理痕迹,此种约束下的优化问题可以表示为:
Figure BDA0002921719480000061
由于拉普拉斯算子定义为梯度的散度,即:
Figure RE-GDA0003141159830000071
根据优化方程得:
Figure BDA0002921719480000072
原填充图的拉普拉斯处理的离散化结果为:
Figure 1
原泊松方程可以变为如下形式:
fi+1,j+fi,j+1+fi-1,j+fi,j-1-4fi,j=gi,j
所以该优化问题的离散解为:
Figure 2
在本步骤中通过泊松重建方法滤除高光之后,其图像中高光部分消失了,而且处理后的区域与正常肤色衔接自然,无异常色彩。
S106.纹理修复
对所述人脸图像进行模糊处理,获得模糊图像;然后用所述人脸图像减去模糊图像,获得纹理图像;将所述纹理图像与所述滤除高光后的图像进行叠加得到纹理修复图像。
在本实施例中,其采用USM锐化方法进行纹理的学习,其中,这种锐化的方法就是对人脸图像先进行模糊处理,模糊方法可以根据自己的需要进行调整,如高斯滤波、中值滤波、均值滤波等,然后用原来的图像减去一个系数乘以模糊之后的图像,从而获得图像细节。设人脸区域为src,采用窗口为5的高斯滤波算子进行滤波得到滤波后图像blurImg,利用src与blurImg 之间的差值来获得纹理图像usmImg:
usmImgbgr,i=srcImgbgr,i-blurImgbgr,i,i∈Ωhighlight
在高光区域将纹理图像usmImg和重建后图像poissonImg进行叠加:
dstImgbgr,i=usmImgbgr,i+poissonImgbgr,i,i∈Ωhighlight
该算法通过纹理值驱动像素梯度动态变化,以获得真实自然的纹理和有层次感的亮度。
下面以另一个实施例对本发明的一种人脸图像去高光的方法进行具体描述,请参阅图2,其包括:
S201.人脸检测
获取人脸图像,并对所述人脸图像进行定位检测,得到人脸区域;其中,该人脸图像通过在数据库中获取或直接导入人脸图像;且该人脸图像优选为需要进行去高光处理的证件照;其可使用人脸检测器对证件照进行人脸检测,定位出人脸区域,进而得到人脸区域。
S202.人脸特征点定位
从所述人脸区域中检测出预定的特征点;其具体为:在该人脸区域中对预定的68个人脸特征点进行定位,以在人脸区域图像中定位出人脸轮廓、眉毛、眼睛、鼻子、嘴巴的坐标。
S203.皮肤区域检测
从所述人脸图像的alpha通道中获取人像轮廓,并在该人像轮廓中对预定位置上的特征点进行选定作为轮廓点;根据所述轮廓点的位置使用线性差值的方式在所述人像轮廓中拟合出一条连续的脸部轮廓线,并根据所述脸部轮廓线在所述人像轮廓中分离出脸部轮廓图。
获取该脸部轮廓图中的每个像素点的亮度值,若该亮度值小于第三亮度阈值,则在所述脸部轮廓图中将对应的像素点进行去除;
然后在所述脸部轮廓图中根据其余特征点的位置,使用线性插值的方式拟合出预定数量的封闭的轮廓区域,并将所述轮廓区域从所脸部轮廓图中分离出来,得到皮肤区域。
其中,该alpha通道是指一张图片的透明和半透明度;在本实施例中该步骤具体为:从68个人脸特征点中选取17个预定位置上的轮廓点,使用线性差值的方式拟合出一条连续的轮廓线,从而将脸部轮廓图从人像轮廓中分割出来;并且由于在人脸图像中头发的亮度值比肤色的亮度值低很多,一般低于0.2,故使用第三亮度阈值去除头发区域,该第三亮度阈值具体为0.2,如果有滤除不净的头发残渣,使用形态学滤波的开运算断开残渣与保留区域的连接,并且统计连通区域面积,根据皮肤连通区域面积较大先验,去除余留残渣区域;上述去除非皮肤区域的方法适用于人像佩带黑色镜框眼镜的情况,该方法能够有效去除镜片区域,避免将镜片的高光误判为皮肤高光,再根据眉毛、眼睛和嘴巴的特征点,使用线性插值的方式拟合出封闭的区域中对应着眉毛、眼睛和嘴巴的轮廓区域,并将眉毛、眼睛和嘴巴分割出来,只剩下皮肤区域。
S204.高光定位
获取所述皮肤区域中每个像素点的亮度值和饱和度值,根据每个像素点的亮度值和饱和度值计算出第一亮度阈值v_th和饱和度阈值s_th,再将所述像素点的亮度值和饱和度值分别与第一亮度阈值和饱和度阈值进行比较,若所述像素点的亮度值不小于所述第一亮度阈值,且所述像素点的饱和度值不大于所述饱和度阈值,则将该像素点定义为高光点,所有高光点的集合即为所述高光区域;
由于高光区域在HSV色彩空间表现为亮度值较大,饱和度值较小,所以首先将RGB彩色图片转为HSV空间,使用Opencv中的Threshold函数分别计算出亮度值V和饱和度值S通道图片的第一亮度阈值v_th和饱和度阈值 s_th,得到这两个阈值之后,在肤色区域遍历,若某像素点的v>=v_th而且 s<=s_th,则认为是高光点。在本实施例中结合高光区域在亮度值和饱和度值上的特征对高光区域进行定位,以获取到一个更为合理的高光区域。其中,该OpenCV是一个开源的跨平台计算机视觉和机器学习软件库。
S205.异常边界调整
由于泊松重建方法存在一定的缺陷,该方法需要有边界的约束,有的时候高光区域的边界是黑色眼镜框,则黑色像素通过梯度传播到高光区域内部会出现发黑的现象,这导致图像无法满足证件照的要求。为此,在本实施例中,其通过改进了泊松重建算法,修改不符合皮肤条件的边界,避免异常像素向内部扩散,具体方法如下:
获取所述高光区域的图像边界;并获取所述图像边界上的像素点的亮度值,并判断所述图像边界上的像素点的亮度值是否小于第二亮度阈值,若不小于第二亮度阈值,则将该像素点定义为正常边界点;若小于第二亮度阈值,则将该像素点定义为异常边界点;
获取所有正常边界点中的R、G、B通道的值,并求得其对应正常边界点中的的R、G、B通道均值;将所有异常边界点中的R、G、B通道的值,对应替换为正常边界点中的的R、G、B通道均值,以对所述高光区域进行调整。
在本实施例中,其具体为:将边界像素的亮度值偏离高光检测v亮度阈值的情况,进行分类。如果边界像素的亮度值pv大于等于第二亮度阈值,其中,第一亮度阈值大于所述第二亮度阈值,该第二亮度阈值为v_th-0.15,则归为正常边界像素类pc0,pv小于v_th-0.15,归为异常边界像素类pc1
Figure BDA0002921719480000101
然后修改异常边界像素,使得满足边界要求:将异常边界像素的R、G、 B通道的值替换成正常边界像素R、G、B的均值
pbgr=meanbgr,p∈pc1
Figure BDA0002921719480000102
本步骤有效抑制的黑色眼镜框像素向内扩散的现象。
S206.高光滤除
将所述高光区域进行泊松重建求解,得到滤除高光后的图像;在本实施例中,采用泊松重建方法充分考虑了高光区域周围的正常肤色和高光区域的梯度场,将二者作为重建方程的约束条件并求解,处理结果和正常肤色区域衔接正常,使得滤除高光后的图像不会出现色彩异常的现象。
其具体可以为,以g表示原图像中高光区域,V是g的梯度场,S是重建后的图像,Ω是重建后目标图像中被覆盖的区域,
Figure BDA0002921719480000103
是其边界,设重建后图像在Ω内的像素值由f表示,在外的像素值由f*表示。在本实施例中,此种约束下的优化问题可以表示为:
Figure BDA0002921719480000111
由于拉普拉斯算子定义为梯度的散度,即:
Figure RE-GDA0003141159830000112
根据优化方程得:
Figure BDA0002921719480000113
原填充图的拉普拉斯处理的离散化结果为:
Figure BDA0002921719480000114
原泊松方程可以变为如下形式:
fi+1,j+fi,j+1+fi-1,j+fi,j-1-4fi,j=gi,j
所以该优化问题的离散解为:
Figure BDA0002921719480000115
在本步骤中通过泊松重建方法滤除高光之后,其图像中高光部分消失了,而且处理后的区域与正常肤色衔接自然,无异常色彩。
S207.纹理修复
证件照人脸高光去除算法除了保证高光有效滤除、衔接自然和色彩正确之外,还要考虑纹理保留程度和亮度层次问题。虽然泊松重建方程以最小化原图和融合后的梯度场为优化目标,但在压缩了局部图像亮度的同时也压缩了梯度信息,所以图像的纹理信息存在一定的损失,处理后的皮肤趋于平滑;为了进一步增强图片的真实感,在泊松重建的基础上,进行纹理的增强;故在本步骤中,通过滤波算法对所述人脸图像进行模糊处理,获得模糊图像;然后用所述人脸图像减去模糊图像,获得纹理图像;再将所述纹理图像与所述滤除高光后的图像进行叠加得到纹理修复图像;其中,所述滤波算法包括:高斯滤波、中值滤波、均值滤波。
在本实施例中,其采用USM锐化方法进行纹理的学习,其中,这种锐化的方法就是对人脸图像先进行模糊处理,模糊方法可以根据自己的需要进行调整,如高斯滤波、中值滤波、均值滤波等,然后用原来的图像减去一个系数乘以模糊之后的图像,从而获得图像细节。设人脸区域为src,采用窗口为5的高斯滤波算子进行滤波得到滤波后图像blurImg,利用src与blurImg 之间的差值来获得纹理图像usmImg:
usmImgbgr,i=srcImgbgr,i-blurImgbgr,i,i∈Ωhighlight
在高光区域将纹理图像usmImg和重建后图像poissonImg进行叠加:
dstImgbgr,i=usmImgbgr,i+poissonImgbgr,i,i∈Ωhighlight
该算法通过纹理值驱动像素梯度动态变化,以获得真实自然的纹理和有层次感的亮度。
本发明包括一种计算机可读存储介质,其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中,本发明的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当所述程序产品在终端设备上运行时,所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
以上可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
下面以一个实施例对本发明的一种人脸图像去高光的系统进行具体描述,请参阅图3,其包括:
人脸区域定位模块301,所述人脸区域定位模块301用于获取人脸图像,并对所述人脸图像进行定位检测,得到人脸区域;所述人脸区域定位模块301 通过人脸检测器对人脸图像进行人脸检测,定位出人脸区域,进而得到人脸区域。
特征点确定模块302,所述特征点确定模块302与所述人脸区域定位模块301相连接,用于从所述人脸区域中检测出预定的特征点;该特征点确定模块302在该人脸区域中对预定的68个人脸特征点进行定位,以在人脸区域图像中定位出人脸轮廓、眉毛、眼睛、鼻子、嘴巴的坐标。
皮肤区域定位模块303,所述皮肤区域定位模块303与所述特征点确定模块302相连接,用于根据所述特征点的位置在所述人脸区域中筛选出皮肤区域;其具体为:在人脸轮廓的基础上,去除眼睛、嘴巴、眼镜等非高光区域,最后定位出皮肤区域,进而得到皮肤区域。
高光区域定位模块304,所述高光区域定位模块304与所述皮肤区域定位模块303相连接,用于获取所述皮肤区域中每个像素点的亮度值和饱和度值,将所述像素点的亮度值和饱和度值分别与第一亮度阈值和饱和度阈值进行比较,若所述像素点的亮度值和饱和度值同时满足比较条件,则将该像素点定义为高光点,并将所有高光点进行整合得到高光区域;其具体为:若所述像素点的亮度值不小于所述第一亮度阈值,且所述像素点的饱和度值不大于所述饱和度阈值,则将该像素点定义为高光点。
图像重建模块305,所述图像重建模块305与所述高光区域定位模块304 相连接,用于将所述高光区域进行泊松重建求解,得到滤除高光后的图像;
纹理修复模块306,所述纹理修复模块306分别与所述人脸区域定位模块301和所述图像重建模块305相连接,用于于对所述人脸图像进行模糊处理,获得模糊图像;然后用所述人脸图像减去模糊图像,获得纹理图像;将所述纹理图像与所述滤除高光后的图像进行叠加得到纹理修复图像。
在本说明书的描述中,参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种人脸图像去高光的方法,其特征在于,包括:
获取人脸图像,并对所述人脸图像进行定位检测,得到人脸区域;
从所述人脸区域中检测出预定的特征点;
根据所述特征点的位置在所述人脸区域中筛选出皮肤区域;
根据所述皮肤区域中每个像素点的亮度值和饱和度值,在所述皮肤区域中定义出高光区域;
将所述高光区域进行泊松重建求解,得到滤除高光后的图像;
对所述人脸图像进行模糊处理,获得模糊图像;然后用所述人脸图像减去模糊图像,获得纹理图像;再将所述纹理图像与所述滤除高光后的图像进行叠加得到纹理修复图像。
2.根据权利要求1所述的人脸图像去高光的方法,其特征在于,所述将所述高光区域进行泊松重建之前包括:
获取所述高光区域的图像边界;
获取所述图像边界上的像素点的亮度值,并判断所述图像边界上的像素点的亮度值是否小于第二亮度阈值,若不小于第二亮度阈值,则将该像素点定义为正常边界点;若小于第二亮度阈值,则将该像素点定义为异常边界点;
获取所有正常边界点中的R、G、B通道的值,并求得其对应正常边界点中的的R、G、B通道均值;
将所有异常边界点中的R、G、B通道的值,对应替换为正常边界点中的的R、G、B通道均值,以对所述高光区域进行调整。
3.根据权利要求2所述的人脸图像去高光的方法,其特征在于,所述根据所述皮肤区域中每个像素点的亮度值和饱和度值,在所述皮肤区域中定义出高光区域包括:
获取所述皮肤区域中每个像素点的亮度值和饱和度值,将所述像素点的亮度值和饱和度值分别与第一亮度阈值和饱和度阈值进行比较,若所述像素点的亮度值不小于所述第一亮度阈值,且所述像素点的饱和度值不大于所述饱和度阈值,则将该像素点定义为高光点,所有高光点的集合即为所述高光区域。
4.根据权利要求3所述的人脸图像去高光的方法,其特征在于,所述第一亮度阈值大于所述第二亮度阈值。
5.根据权利要求4所述的人脸图像去高光的方法,其特征在于,所述根据所述特征点的位置在所述人脸区域中筛选出皮肤区域包括:
从所述人脸图像的alpha通道中获取人像轮廓,并在所述人像轮廓的预定位置上的特征点进行选定作为轮廓点;
根据所述轮廓点的位置使用线性差值的方式在所述人像轮廓中拟合出一条连续的脸部轮廓线,并根据所述脸部轮廓线在所述人像轮廓中分离出脸部轮廓图;
在所述脸部轮廓图中根据其余特征点的位置,使用线性插值的方式拟合出预定数量的封闭的轮廓区域,并将所述轮廓区域从所述脸部轮廓图中分离出来,得到皮肤区域。
6.根据权利要求5所述的人脸图像去高光的方法,其特征在于,所述根据所述脸部轮廓线在所述人像轮廓中分离出脸部轮廓图之后包括:
获取所述脸部轮廓图中的每个像素点的亮度值,若该亮度值小于第三亮度阈值,则在所述脸部轮廓图中将对应的像素点进行去除。
7.根据权利要求6所述的人脸图像去高光的方法,其特征在于,所述获取所述皮肤区域中每个像素点的亮度值和饱和度值之后包括:
根据每个像素点的亮度值和饱和度值计算出第一亮度阈值和饱和度阈值。
8.根据权利要求7所述的人脸图像去高光的方法,其特征在于,所述对所述人脸图像进行模糊处理包括:
通过滤波算法对所述人脸图像进行模糊处理,所述滤波算法包括:高斯滤波、中值滤波、均值滤波。
9.一种人脸图像去高光的系统,其特征在于,包括:
人脸区域定位模块,所述人脸区域定位模块用于获取人脸图像,并对所述人脸图像进行定位检测,得到人脸区域;
特征点确定模块,所述特征点确定模块与所述人脸区域定位模块相连接,用于从所述人脸区域中检测出预定的特征点;
皮肤区域定位模块,所述皮肤区域定位模块与所述特征点确定模块相连接,用于根据所述特征点的位置在所述人脸区域中筛选出皮肤区域;
高光区域定位模块,所述高光区域定位模块与所述皮肤区域定位模块相连接,用于根据所述皮肤区域中每个像素点的亮度值和饱和度值,在所述皮肤区域中定义出高光区域;
图像重建模块,所述图像重建模块与所述高光区域定位模块相连接,用于将所述高光区域进行泊松重建求解,得到滤除高光后的图像;
纹理修复模块,所述纹理修复模块分别与所述人脸区域定位模块和所述图像重建模块相连接,用于对所述人脸图像进行模糊处理,获得模糊图像;然后用所述人脸图像减去模糊图像,获得纹理图像;将所述纹理图像与所述重建后图像进行叠加得到纹理修复图像。
10.一种计算机可读程序存储介质,其特征在于,其存储有计算机程序指令,当所述计算机程序指令被计算机执行时,使计算机执行根据权利要求1至8中任一项所述的方法。
CN202110118778.2A 2021-01-28 2021-01-28 人脸图像去高光的方法、系统及其存储介质 Active CN113221618B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110118778.2A CN113221618B (zh) 2021-01-28 2021-01-28 人脸图像去高光的方法、系统及其存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110118778.2A CN113221618B (zh) 2021-01-28 2021-01-28 人脸图像去高光的方法、系统及其存储介质

Publications (2)

Publication Number Publication Date
CN113221618A true CN113221618A (zh) 2021-08-06
CN113221618B CN113221618B (zh) 2023-10-17

Family

ID=77084512

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110118778.2A Active CN113221618B (zh) 2021-01-28 2021-01-28 人脸图像去高光的方法、系统及其存储介质

Country Status (1)

Country Link
CN (1) CN113221618B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114266704A (zh) * 2021-09-18 2022-04-01 长春理工大学 自适应光斑消除算法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110150322A1 (en) * 2009-12-22 2011-06-23 Honeywell International Inc. Three-dimensional multilayer skin texture recognition system and method
US20110164811A1 (en) * 2008-09-03 2011-07-07 Nec Corporation Image processing device, image processing method and image processing program
CN105719234A (zh) * 2016-01-26 2016-06-29 厦门美图之家科技有限公司 用于人脸区域的自动去油光方法、系统及拍摄终端
CN106296617A (zh) * 2016-08-22 2017-01-04 腾讯科技(深圳)有限公司 人脸图像的处理方法及装置
US20170076474A1 (en) * 2014-02-23 2017-03-16 Northeastern University System for Beauty, Cosmetic, and Fashion Analysis
JP2018092350A (ja) * 2016-12-02 2018-06-14 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
CN108665421A (zh) * 2017-03-31 2018-10-16 北京旷视科技有限公司 人脸图像高光分量去除装置和方法、存储介质产品
CN109903320A (zh) * 2019-01-28 2019-06-18 浙江大学 一种基于肤色先验的人脸本征图像分解方法
CN110069974A (zh) * 2018-12-21 2019-07-30 北京字节跳动网络技术有限公司 高光图像处理方法、装置和电子设备
WO2019232834A1 (zh) * 2018-06-06 2019-12-12 平安科技(深圳)有限公司 人脸亮度调整方法、装置、计算机设备及存储介质
CN111192223A (zh) * 2020-01-07 2020-05-22 腾讯科技(深圳)有限公司 人脸纹理图像的处理方法、装置、设备及存储介质
CN111241934A (zh) * 2019-12-30 2020-06-05 成都品果科技有限公司 一种获取人脸图像中油光区域的方法和装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110164811A1 (en) * 2008-09-03 2011-07-07 Nec Corporation Image processing device, image processing method and image processing program
US20110150322A1 (en) * 2009-12-22 2011-06-23 Honeywell International Inc. Three-dimensional multilayer skin texture recognition system and method
US20170076474A1 (en) * 2014-02-23 2017-03-16 Northeastern University System for Beauty, Cosmetic, and Fashion Analysis
CN105719234A (zh) * 2016-01-26 2016-06-29 厦门美图之家科技有限公司 用于人脸区域的自动去油光方法、系统及拍摄终端
CN106296617A (zh) * 2016-08-22 2017-01-04 腾讯科技(深圳)有限公司 人脸图像的处理方法及装置
JP2018092350A (ja) * 2016-12-02 2018-06-14 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
CN108665421A (zh) * 2017-03-31 2018-10-16 北京旷视科技有限公司 人脸图像高光分量去除装置和方法、存储介质产品
WO2019232834A1 (zh) * 2018-06-06 2019-12-12 平安科技(深圳)有限公司 人脸亮度调整方法、装置、计算机设备及存储介质
CN110069974A (zh) * 2018-12-21 2019-07-30 北京字节跳动网络技术有限公司 高光图像处理方法、装置和电子设备
CN109903320A (zh) * 2019-01-28 2019-06-18 浙江大学 一种基于肤色先验的人脸本征图像分解方法
CN111241934A (zh) * 2019-12-30 2020-06-05 成都品果科技有限公司 一种获取人脸图像中油光区域的方法和装置
CN111192223A (zh) * 2020-01-07 2020-05-22 腾讯科技(深圳)有限公司 人脸纹理图像的处理方法、装置、设备及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CHEN LI ET AL.: "Specular Highlight Removal in Facial Images", 《CVPR 2017》, pages 3107 - 3116 *
GANG FU ET AL.: "Specular Highlight Removal for Real-world Images", 《COMPUTATIONAL PHOTOGRAPHY》, vol. 38, pages 253 - 263 *
唐露新 等: "基于形态和小波的低纹理图序列高光修复研究", 《中国测试》, vol. 45, pages 109 - 115 *
许丽 等: "高光去除的聚类算法改进", 《计算机系统应用》, vol. 29, pages 209 - 214 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114266704A (zh) * 2021-09-18 2022-04-01 长春理工大学 自适应光斑消除算法
CN114266704B (zh) * 2021-09-18 2024-01-30 长春理工大学 自适应光斑消除方法

Also Published As

Publication number Publication date
CN113221618B (zh) 2023-10-17

Similar Documents

Publication Publication Date Title
US10783617B2 (en) Device for and method of enhancing quality of an image
US8135184B2 (en) Method and apparatus for detection and correction of multiple image defects within digital images using preview or other reference images
US8073286B2 (en) Detection and correction of flash artifacts from airborne particulates
US8254674B2 (en) Analyzing partial face regions for red-eye detection in acquired digital images
US9344636B2 (en) Scene motion correction in fused image systems
US11156564B2 (en) Dirt detection on screen
US6707940B1 (en) Method and apparatus for image segmentation
CN107358593B (zh) 成像方法和装置
CN107172354B (zh) 视频处理方法、装置、电子设备及存储介质
JP2008518334A (ja) 取得したデジタル画像での赤目検出方法及び装置
CN113221619B (zh) 基于泊松重建的人脸图像去高光方法、系统及其存储介质
EP1474779A2 (en) Assessing the photo quality of a captured image in a digital still camera
CN105243371A (zh) 一种人脸美颜程度的检测方法、系统及拍摄终端
CN107945158A (zh) 一种检测镜头脏污的方法及装置
EP2034436A1 (en) Method for non-photorealistic rendering
CN114820417A (zh) 图像异常检测方法、装置、终端设备和可读存储介质
JP5437414B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
CN113034354A (zh) 一种图像处理方法、装置、电子设备和刻度存储介质
US9258460B2 (en) Image processing method and apparatus for correcting an image
US9338354B2 (en) Motion blur estimation and restoration using light trails
CN113221618B (zh) 人脸图像去高光的方法、系统及其存储介质
Arsic et al. Improved lip detection algorithm based on region segmentation and edge detection
Cho et al. Extending dynamic range of two color images under different exposures
JP5506320B2 (ja) タイヤ表面の検査方法
CN111105369A (zh) 图像处理方法、图像处理装置、电子设备和可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant