CN109145875B - 一种人脸图像中的黑框眼镜去除方法及装置 - Google Patents
一种人脸图像中的黑框眼镜去除方法及装置 Download PDFInfo
- Publication number
- CN109145875B CN109145875B CN201811140184.6A CN201811140184A CN109145875B CN 109145875 B CN109145875 B CN 109145875B CN 201811140184 A CN201811140184 A CN 201811140184A CN 109145875 B CN109145875 B CN 109145875B
- Authority
- CN
- China
- Prior art keywords
- image
- glasses
- pixel point
- value
- neighborhood
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000011521 glass Substances 0.000 title claims abstract description 126
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000003708 edge detection Methods 0.000 claims abstract description 23
- 238000004458 analytical method Methods 0.000 claims abstract description 17
- 238000005260 corrosion Methods 0.000 claims abstract description 8
- 230000007797 corrosion Effects 0.000 claims abstract description 8
- 238000011084 recovery Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 abstract description 6
- 238000000513 principal component analysis Methods 0.000 description 20
- 230000000875 corresponding effect Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 4
- 230000010339 dilation Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000003628 erosive effect Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 210000001331 nose Anatomy 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005530 etching Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000011021 lapis lazuli Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Geometry (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种人脸图像中的黑框眼镜去除方法,包括:获取待处理图像,并利用边缘检测和PCA重构相结合得到所述待处理图像中的眼镜区域;对所述眼镜区域进行二值化处理,得到二值化的边缘图像;对所述二值化的边缘图像进行连通域分析,获得连通区域图像,并去除干扰区域;对去除干扰区域后的连通区域图像进行腐蚀膨胀操作得到目标眼镜区域;对所述目标眼镜区域中的每一个像素点进行横向颜色补偿,以及针对横向颜色补偿后的目标眼镜区域进行纵向颜色补偿,获得处理后图像。应用本发明实施例提供了一种人脸图像中的黑框眼镜去除方法,利用边缘提取方法和PCA重构方法相结合得到眼镜位置,避免了现有技术中眼镜位置识别的不稳定性。
Description
技术领域
本发明涉及人脸识别处理技术领域,尤其涉及一种人脸图像中的黑框眼镜去除方法及装置。
背景技术
人脸识别,是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流,并自动在图像中检测和跟踪人脸,进而对检测到的人脸进行脸部的一系列相关技术,通常也叫做人像识别、面部识别。目前,人脸识别技术已经被广泛地研究和应用于安防,金融等领域。
在人脸识别问题中,由于人脸结构的特殊性,对姿态,光照,遮挡等较为敏感,而其中,由于越来越多的人会戴眼镜,尤其框架颜色深的眼镜对人脸的遮挡,也是影响识别性能的一大因素。首先,由于眼镜框本身具有很强的特性,会使不同的人在都戴有框架眼镜的情况下呈现出很强的相似性,同时,同一个人在佩戴和摘除眼镜时,又会存在较大的差异。其次,眼镜框由于对人脸眼部信息进行了干扰,而眼部信息又是人脸信息中一个具有很强分辨能力的信息,黑框眼镜对眼部的干扰也会使识别性能下降。
现有的黑框眼镜去除方法主要也是基于首先提取眼镜轮廓,然后再进行颜色补偿的思路进行处理。现有技术中采用canny边缘检测等方式提取边缘信息,得到眼镜大致轮廓,然后再用开闭运算等获取最终的眼镜轮廓,对于得到的眼镜位置,利用周围像素的颜色值来补偿眼镜位置,得到去掉眼镜的人脸图像。其中一种是以该像素点为顶点,上下各取一个三角形区域,计算区域的均值,取较高的均值作为该像素点的补偿值。
在利用边缘检测进行眼镜定位的方法中,容易引入眼睛,鼻子等其他干扰边缘信息,如果眼镜位置定位不准,利用周围像素来进行颜色补偿得到的图像会出现眼镜位置去除不干净,或者将眼睛,鼻子等人脸信息模糊掉,反而不利于进行人脸识别。
发明内容
本发明实施例的目的在于提供一种人脸图像中的黑框眼镜去除方法及装置,利用边缘提取方法和PCA重构方法相结合得到眼镜位置,避免了现有技术对眼睛位置定位的不稳定性。具体技术方案如下:
为达到上述目的,本发明实施例提供了一种人脸图像中的黑框眼镜去除方法,包括:
获取待处理图像,并利用边缘检测和PCA重构相结合得到所述待处理图像中的眼镜区域;
对所述眼镜区域进行二值化处理,得到二值化的边缘图像;
对所述二值化的边缘图像进行连通域分析,获得连通区域图像,并去除干扰区域;
对去除干扰区域后的连通区域图像进行腐蚀膨胀操作得到目标眼镜区域;
对所述目标眼镜区域中的每一个像素点进行横向颜色补偿,以及针对横向颜色补偿后的目标眼镜区域进行纵向颜色补偿,获得处理后图像。
本发明的优选实施方式中,所述并利用边缘检测和PCA重构相结合得到所述待处理图像中的眼镜区域的步骤包括:
通过PCA重构得到的第一边缘图像,以及,通过拉普拉斯算子进行边缘检测得到的第二边缘图像;
将所述第一边缘图像和所述第二边缘图像之和作为所述待处理图像中的眼镜区域。
本发明的优选实施方式中,所述对所述眼镜区域进行二值化处理,得到二值化的边缘图像的步骤,包括:
遍历所述眼镜区域中每一个像素点,若像素点的值小于第一预设阈值,则该像素点的值为0,否则,该像素点的值为255,得到二值化的边缘图像。
本发明的优选实施方式中,所述对所述二值化的边缘图像进行连通域分析,获得连通区域图像,并去除干扰区域的步骤,包括:
针对所述二值化的边缘图像中的每一个非零像素点,获得连通区域图像;
获取连通区域图像中每一个连通区域图像的像素点个数;
判断所获取的像素点个数中,是否存在小于第二预设阈值的数值;
如果是,获取小于第二预设阈值的数值对应的目标连通区域图像;
将所述目标连通区域图像中像素点的像素值设置为0。
本发明的优选实施方式中,所述对所述目标眼镜区域中的每一个像素点进行横向颜色补偿,以及针对横向颜色补偿后的目标眼镜区域进行纵向颜色补偿,获得处理后图像的步骤,包括:
对所述目标眼镜区域中的每一个像素点,在该点的左边和右边各划定一个三角形的区域,作为该像素点的左邻域和右邻域,分别计算左右邻域的像素值之和,再除以各自的像素个数,得到左右邻域的像素值的均值,取均值较大的值作为对该像素点的复原值,每个像素点遍历完成后得到横向颜色补偿图像;
根据横向颜色补偿图像,再计算每一个眼镜区域像素点的上邻域和下邻域的灰度值的均值,取均值较大者作为该像素点的复原值,处理完后得到最终的眼镜去除后的处理后图像。
另外,本发明还提供了一种人脸图像中的黑框眼镜去除装置,包括:
获取模块,用于获取待处理图像,并利用边缘检测和PCA重构相结合得到所述待处理图像中的眼镜区域;
处理模块,用于对所述眼镜区域进行二值化处理,得到二值化的边缘图像;
分析模块,用于对所述二值化的边缘图像进行连通域分析,获得连通区域图像,并去除干扰区域;
膨胀模块,用于对去除干扰区域后的连通区域图像进行腐蚀膨胀操作得到目标眼镜区域;
补偿模块,用于对所述目标眼镜区域中的每一个像素点进行横向颜色补偿,以及针对横向颜色补偿后的目标眼镜区域进行纵向颜色补偿,获得处理后图像。
本发明的优选实施方式中,所述获取模块,具体用于:
通过PCA重构得到的第一边缘图像,以及,通过拉普拉斯算子进行边缘检测得到的第二边缘图像;将所述第一边缘图像和所述第二边缘图像之和作为所述待处理图像中的眼镜区域。
本发明的优选实施方式中,所述处理模块,用于:
遍历所述眼镜区域中每一个像素点,若像素点的值小于第一预设阈值,则该像素点的值为0,否则,该像素点的值为255,得到二值化的边缘图像。
本发明的优选实施方式中,所述分析模块,具体用于:
针对所述二值化的边缘图像中的每一个非零像素点,获得连通区域图像;获取连通区域图像中每一个连通区域图像的像素点个数;判断所获取的像素点个数中,是否存在小于第二预设阈值的数值;如果是,获取小于第二预设阈值的数值对应的目标连通区域图像;将所述目标连通区域图像中像素点的像素值设置为0。
本发明的优选实施方式中,所述补偿模块,具体用于:
对所述目标眼镜区域中的每一个像素点,在该点的左边和右边各划定一个三角形的区域,作为该像素点的左邻域和右邻域,分别计算左右邻域的像素值之和,再除以各自的像素个数,得到左右邻域的像素值的均值,取均值较大的值作为对该像素点的复原值,每个像素点遍历完成后得到横向颜色补偿图像;根据横向颜色补偿图像,再计算每一个眼镜区域像素点的上邻域和下邻域的灰度值的均值,取均值较大者作为该像素点的复原值,处理完后得到最终的眼镜去除后的处理后图像。
应用本发明实施例提供的一种人脸图像中的黑框眼镜去除方法及装置,利用边缘提取方法和PCA重构方法相结合得到眼镜位置,避免了现有技术中眼镜位置识别的不稳定性;另外,只对眼镜区域进行颜色补偿,针对眼镜的较宽的边缘,采取横向和纵向的颜色补偿,更彻底地去掉眼镜,同时保证了非眼镜区域的完整性。
附图说明
图1是本发明实施例提供的人脸图像中的黑框眼镜去除方法的流程示意图;
图2是本发明的采用拉普拉斯算子进行计算的3*3的区域示意图;
图3是一种实施例的区域示意图;
图4a是本发明实施例提供的原始的待处理图像;
图4b为图4a的图像经过通过边缘检测和PCA重构获得的眼镜区域;
图4c为图4b二值化后的边缘图像;
图4d为图4c的去除干扰后的连通区域图像;
图4e为图4d的经过膨胀腐蚀后的目标眼镜区域;
图4f为图4e经过横向颜色补偿目标眼镜区域;
图4g为图4f进行纵向颜色补偿后所得到的处理后图像。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参见图1,本发明实施例提供了一种人脸图像中的黑框眼镜去除方法,包括如下步骤:
S101,获取待处理图像,并利用边缘检测和PCA重构相结合得到所述待处理图像中的眼镜区域。
可以理解的是,当待处理图像中包含需要识别的人脸图像,且包含眼睛框架时采用本发明实施例进行处理。
本发明实施例中,利用边缘检测和PCA重构(principal component analysis,主成分分析)相结合得到所述待处理图像中的眼镜区域的步骤包括:通过PCA重构得到的第一边缘图像,以及,通过拉普拉斯算子进行边缘检测得到的第二边缘图像;将所述第一边缘图像和所述第二边缘图像之和作为所述待处理图像中的眼镜区域。
需要说明的是,边缘是指图像局部强度变化最显著的部分。主要存在于目标与目标、目标与背景、区域与区域(包括不同色彩)之间,是图像分割、纹理特征和形状特征等图像分析的重要基础。
图像强度的显著变化可分为:阶跃变化函数,即图像强度在不连续处的两边的像素灰度值有着显著的差异;线条(屋顶)变化函数,即图像强度突然从一个值变化到另一个值,保持一较小行程后又回到原来的值。
图像的边缘有方向和幅度两个属性,沿边缘方向像素变化平缓,垂直于边缘方向像素变化剧烈.边缘上的这种变化可以用微分算子检测出来,通常用一阶或二阶微分来检测边缘。
拉普拉斯算子是一个二阶的微分,对于一个二维函数f(x,y)来说,拉普拉斯算子定义如公式(1)所示:
其中,
对于图像中一个3*3的区域来,如图2,z5点的拉普拉斯算子计算方式如下:
需要说明的是,PCA,是一种统计方法。通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量,转换后的这组变量叫主成分。要准确描述向量,首先要确定一组基,然后给出在基所在的各个直线上的投影值,这些投影值就是当前基所确定的坐标。PCA的目标是通过某种线性投影,将高维的数据映射到低维的空间中表示,并期望在所投影的维度上数据的方差最大,以此使用较少的数据维度,同时保留住较多的原数据点的特性。
假设样本集X={x1,x2,…xm},X中的一个样本点xi在新空间中超平面上的投影是WTxi若所有样本点的投影能尽可能分开,则应该是投影后投影点的方差最大。投影后的样本点的方差可以表示为∑WTxixiWT于是优化目标表示为如下公式:
naxWtr(WTXXTW)s.t.WTW=I
对于上述公式使用拉格朗日乘子可得,
XXTW=γW
因此,对协方差矩阵进行特征值分解,将求得的特征值排序:γ1≥γ2≥…≥γn,再取前d个特征值对应的特征向量构成W=(w1,w2…wd),利用WTxi即可求得向量xi保留主成分后的降维向量。
PCA重构向量可以用公式x′i=wWTxi进行计算,其中,W是由前d个最大特征值对应的特征向量构成的。
对于眼镜框来说,眼镜框在人脸中表现为明显的边缘,因此可以通过边缘检测来提取眼镜区域。为了避免单一的边缘提取方式带来的噪声干扰,采用了拉普拉斯边缘检测算法进行边缘提取,同时结合PCA重构图像和原始眼镜图像的差值得到的眼镜区域,两者结合得到最终的边缘图像,也就是原始的待处理图像的眼镜区域P,具体公式如下:
P=Ppca+PLap
其中,Ppca是通过PCA重构得到的边缘图像,PLap是通过拉普拉斯算子得到的边缘图像。
由于眼镜框大部分存在于人脸图像的上半部分,因此,在眼镜框定位过程中,我们只处理图像的上半部分,这样一是可以提升处理速度,二是保证了人脸下半部分不变,尽可能保留原始图像的准确信息。
S102,对所述眼镜区域进行二值化处理,得到二值化的边缘图像。
可以理解的是,经过步骤S101进行处理后的眼镜区域为灰度图像,具体处理方式包括:遍历所述眼镜区域中每一个像素点,若像素点的值小于第一预设阈值,则该像素点的值为0,否则,该像素点的值为255,得到二值化的边缘图像。
S103,对所述二值化的边缘图像进行连通域分析,获得连通区域图像,并去除干扰区域。
需要说明的是,经过步骤S101边缘处理过程误差必然还是带来一定的噪声点,二值化以后存在一些比较小的边缘区域的干扰,而真正的眼镜区域对应的二值图像中一定是一个比较大的连通区域或者若干个相对较大的连通区域存在。因此,通过连通区域分析,只保留相对较大的几个连通区域,去掉较小的连通区域,可以去掉一些小的噪声的干扰。
本发明实施例中,针对所述二值化的边缘图像中的每一个非零像素点,获得连通区域图像;获取连通区域图像中每一个连通区域图像的像素点个数;判断所获取的像素点个数中,是否存在小于第二预设阈值的数值;如果是,获取小于第二预设阈值的数值对应的目标连通区域图像;将所述目标连通区域图像中像素点的像素值设置为0。
首先做连通区域分析,具体的,可以对每一个非零像素点,标记一个标号,标号相同的点代表属于同一区域,我们称此该区域为图像为连通区域图像,因此,可以得到包含若干个连通区域图像。结合二值图像和连通区域图像,统计连通区域图像中每一个标号的像素个数,然后设定阈值,像素个数小于一定阈值的标号区域需要删除。遍历所有连通区域图像,对于每一个非零像素点,如果他的标号存在于需要删除的标号列表中,则将该像素点的灰度值置为0。
S104,对去除干扰区域后的连通区域图像进行腐蚀膨胀操作得到目标眼镜区域。
最终的二值图像中,由于之前操作的误差存在,可能会将眼镜区域分割成几个小的线段,在本步骤通过腐蚀膨胀操作将几个被割裂的小线段进行连接,得到完整的目标眼镜区域。
S105,对所述目标眼镜区域中的每一个像素点进行横向颜色补偿,以及针对横向颜色补偿后的目标眼镜区域进行纵向颜色补偿,获得处理后图像。
因为眼镜框在原始图像中的灰度值是低于脸部信息的灰度值的,基于这一点,目标眼镜区域颜色补偿的基本方法是对于目标眼镜区域中每一个像素点,在该像素点的一个邻域内,比较其左侧,右侧,上部,下部的像素点灰度值的均值,取其中灰度值较高的均值作为该像素点的灰度值。
由于眼镜框通常都是比较宽的横向和纵向线段,为了避免眼镜框像素邻域内全部是眼镜区域,我们需要设定比较大的邻域,但是在邻域较大时,有可能把眼睛,眉毛等区域包含进来,眼镜,眉毛区域的像素值也偏低,最终计算得到的补偿的灰度值也会偏低,补偿完的结果就是黑框眼镜的印迹仍然存在。为了解决此问题,我们通过横向和纵向补偿两个步骤,在横向补偿时,对每个眼镜区域像素点,计算其左邻域和右邻域灰度值的均值,取较大者作为补偿值。在纵向补偿时,在横向补偿完的基础上,计算每个眼镜区域像素点的上邻域和下邻域的均值,取较大者作为补偿值。通过两个步骤,将黑框眼镜区域更完整地去除。
横向颜色补偿方式:
对于目标眼镜区域中的每一个像素点,在该点的左边和右边各划定一个三角形的区域,作为该像素点的左邻域和右邻域。分别计算左右邻域的像素值之和,再除以各自的像素个数,得到左右邻域的像素值的均值,取均值较大的值作为对该像素点的复原值。每个像素点遍历完成后得到横向颜色补偿图像。
纵向颜色补偿方式:
对于横向颜色补偿图像,再计算其中每一个眼镜框区域像素点的上邻域和下邻域的灰度值的均值,取均值较大者作为该像素点的复原值。处理完后得到最终的眼镜去除后的图像。如下图2所示:对于z33点来说,做横向颜色补偿时,先取其左右两个邻域。
其中左邻域包括:z11、z21、z31、z41、z51、z22、z32、z42、z33共9个点,其均值为:
右邻域包括:z15、z25、z35、z45、z55、z24、z34、z44、z33共9个点,其均值为:
比较Mleft和Mright的大小,取其中的大值代替z33的值。
做纵向颜色补偿时,取其上下两个邻域。
其中上邻域包括:z11、z12、z13、z14、z15、z22、z23、z24、z33共9个点,其均值为:
下邻域包括:z51、z52、z53、z54、z55、z42、z43、z44、z33共9个点,其均值为:
比较Mtop和Mbottom的大小,取其中的大值代替z33的值。
如图4a所示,为待处理图像,4b为经过通过边缘检测和PCA重构获得的眼镜区域,图4c为二值化后的边缘图像,图4d为去除干扰后的连通区域图像,图4e为经过膨胀腐蚀后的目标眼镜区域,图4f为经过横向颜色补偿目标眼镜区域,图4g为进行纵向颜色补偿后所得到的处理后图像。
具体的,边缘提取不仅局限于拉普拉斯算子,也可以使用canny边缘检测等。在进行干扰区域去除时,去除小的连通区域的方式有多种,比如设定阈值,去掉面积小于阈值的区域,或者设定一个较大的阈值,面积大于阈值的保留等。以及,腐蚀膨胀操作可以有多种组合,比如单腐蚀操作,单膨胀操作,图像开运算,图像闭运算,以及几种运算的组合叠加使用,本发明实施例在此不做赘述。
另外,本发明实施例还公开了一种人脸图像中的黑框眼镜去除装置,包括:
获取模块,用于获取待处理图像,并利用边缘检测和PCA重构相结合得到所述待处理图像中的眼镜区域;
处理模块,用于对所述眼镜区域进行二值化处理,得到二值化的边缘图像;
分析模块,用于对所述二值化的边缘图像进行连通域分析,获得连通区域图像,并去除干扰区域;
膨胀模块,用于对去除干扰区域后的连通区域图像进行腐蚀膨胀操作得到目标眼镜区域;
补偿模块,用于对所述目标眼镜区域中的每一个像素点进行横向颜色补偿,以及针对横向颜色补偿后的目标眼镜区域进行纵向颜色补偿,获得处理后图像。
优选的,所述获取模块,具体用于:
通过PCA重构得到的第一边缘图像Ppca,以及,通过拉普拉斯算子进行边缘检测得到的第二边缘图像PLap;将所述第一边缘图像Ppca和所述第二边缘图像PLap之和作为所述待处理图像中的眼镜区域。
优选的,所述处理模块,用于:
遍历所述眼镜区域中每一个像素点,若像素点的值小于第一预设阈值,则该像素点的值为0,否则,该像素点的值为255,得到二值化的边缘图像。
优选的,所述分析模块,具体用于:
针对所述二值化的边缘图像中的每一个非零像素点,获得连通区域图像;获取连通区域图像中每一个连通区域图像的像素点个数;判断所获取的像素点个数中,是否存在小于第二预设阈值的数值;如果是,获取小于第二预设阈值的数值对应的目标连通区域图像;将所述目标连通区域图像中像素点的像素值设置为0。
优选的,所述补偿模块,具体用于:
对所述目标眼镜区域中的每一个像素点,在该点的左边和右边各划定一个三角形的区域,作为该像素点的左邻域和右邻域。分别计算左右邻域的像素值之和,再除以各自的像素个数,得到左右邻域的像素值的均值,取均值较大的值作为对该像素点的复原值,每个像素点遍历完成后得到横向颜色补偿图像;根据横向颜色补偿图像,再计算每一个眼镜区域像素点的上邻域和下邻域的灰度值的均值,取均值较大者作为该像素点的复原值,处理完后得到最终的眼镜去除后的处理后图像。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (8)
1.一种人脸图像中的黑框眼镜去除方法,其特征在于,包括:
获取待处理图像,并利用边缘检测和PCA重构相结合得到所述待处理图像中的眼镜区域;
对所述眼镜区域进行二值化处理,得到二值化的边缘图像;
对所述二值化的边缘图像进行连通域分析,获得连通区域图像,并去除干扰区域;
对去除干扰区域后的连通区域图像进行腐蚀膨胀操作得到目标眼镜区域;
对所述目标眼镜区域中的每一个像素点进行横向颜色补偿,以及针对横向颜色补偿后的目标眼镜区域进行纵向颜色补偿,获得处理后图像;
在横向补偿时,对每个眼镜区域像素点,计算其左邻域和右邻域灰度值的均值,取较大者作为补偿值;在纵向补偿时,在横向补偿完的基础上,计算每个眼镜区域像素点的上邻域和下邻域的均值,取较大者作为补偿值;
所述利用边缘检测和PCA重构相结合得到所述待处理图像中的眼镜区域的步骤包括:
通过PCA重构得到的第一边缘图像P,以及,通过拉普拉斯算子进行边缘检测得到的第二边缘图像P;
将所述第一边缘图像P和所述第二边缘图像P之和作为所述待处理图像中的眼镜区域。
2.根据权利要求1所述的人脸图像中的黑框眼镜去除方法,其特征在于,所述对所述眼镜区域进行二值化处理,得到二值化的边缘图像的步骤,包括:
遍历所述眼镜区域中每一个像素点,若像素点的值小于第一预设阈值,则该像素点的值为0,否则,该像素点的值为255,得到二值化的边缘图像。
3.根据权利要求2所述的人脸图像中的黑框眼镜去除方法,其特征在于,所述对所述二值化的边缘图像进行连通域分析,获得连通区域图像,并去除干扰区域的步骤,包括:
针对所述二值化的边缘图像中的每一个非零像素点,获得连通区域图像;
获取连通区域图像中每一个连通区域图像的像素点个数;
判断所获取的像素点个数中,是否存在小于第二预设阈值的数值;
如果是,获取小于第二预设阈值的数值对应的目标连通区域图像;
将所述目标连通区域图像中像素点的像素值设置为0。
4.根据权利要求2所述的人脸图像中的黑框眼镜去除方法,其特征在于,所述对所述目标眼镜区域中的每一个像素点进行横向颜色补偿,以及针对横向颜色补偿后的目标眼镜区域进行纵向颜色补偿,获得处理后图像的步骤,包括:
对所述目标眼镜区域中的每一个像素点,在该点的左边和右边各划定一个三角形的区域,作为该像素点的左邻域和右邻域,分别计算左右邻域的像素值之和,再除以各自的像素个数,得到左右邻域的像素值的均值,取均值较大的值作为对该像素点的复原值,每个像素点遍历完成后得到横向颜色补偿图像;
根据横向颜色补偿图像,再计算每一个眼镜区域像素点的上邻域和下邻域的灰度值的均值,取均值较大者作为该像素点的复原值,处理完后得到最终的眼镜去除后的处理后图像。
5.一种人脸图像中的黑框眼镜去除装置,其特征在于,包括:
获取模块,用于获取待处理图像,并利用边缘检测和PCA重构相结合得到所述待处理图像中的眼镜区域;
处理模块,用于对所述眼镜区域进行二值化处理,得到二值化的边缘图像;
分析模块,用于对所述二值化的边缘图像进行连通域分析,获得连通区域图像,并去除干扰区域;
膨胀模块,用于对去除干扰区域后的连通区域图像进行腐蚀膨胀操作得到目标眼镜区域;
补偿模块,用于对所述目标眼镜区域中的每一个像素点进行横向颜色补偿,以及针对横向颜色补偿后的目标眼镜区域进行纵向颜色补偿,获得处理后图像;
所述获取模块,具体用于:
通过PCA重构得到的第一边缘图像P,以及,通过拉普拉斯算子进行边缘检测得到的第二边缘图像P;将所述第一边缘图像P和所述第二边缘图像P之和作为所述待处理图像中的眼镜区域。
6.根据权利要求5所述的人脸图像中的黑框眼镜去除装置,其特征在于,所述处理模块,用于:
遍历所述眼镜区域中每一个像素点,若像素点的值小于第一预设阈值,则该像素点的值为0,否则,该像素点的值为255,得到二值化的边缘图像。
7.根据权利要求6所述的人脸图像中的黑框眼镜去除装置,其特征在于,所述分析模块,具体用于:
针对所述二值化的边缘图像中的每一个非零像素点,获得连通区域图像;获取连通区域图像中每一个连通区域图像的像素点个数;判断所获取的像素点个数中,是否存在小于第二预设阈值的数值;如果是,获取小于第二预设阈值的数值对应的目标连通区域图像;将所述目标连通区域图像中像素点的像素值设置为0。
8.根据权利要求6所述的人脸图像中的黑框眼镜去除装置,其特征在于,所述补偿模块,具体用于:
对所述目标眼镜区域中的每一个像素点,在该点的左边和右边各划定一个三角形的区域,作为该像素点的左邻域和右邻域,分别计算左右邻域的像素值之和,再除以各自的像素个数,得到左右邻域的像素值的均值,取均值较大的值作为对该像素点的复原值,每个像素点遍历完成后得到横向颜色补偿图像;
根据横向颜色补偿图像,再计算每一个眼镜区域像素点的上邻域和下邻域的灰度值的均值,取均值较大者作为该像素点的复原值,处理完后得到最终的眼镜去除后的处理后图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811140184.6A CN109145875B (zh) | 2018-09-28 | 2018-09-28 | 一种人脸图像中的黑框眼镜去除方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811140184.6A CN109145875B (zh) | 2018-09-28 | 2018-09-28 | 一种人脸图像中的黑框眼镜去除方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109145875A CN109145875A (zh) | 2019-01-04 |
CN109145875B true CN109145875B (zh) | 2021-04-20 |
Family
ID=64813291
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811140184.6A Active CN109145875B (zh) | 2018-09-28 | 2018-09-28 | 一种人脸图像中的黑框眼镜去除方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109145875B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112330634B (zh) * | 2020-11-05 | 2024-07-19 | 恒信东方文化股份有限公司 | 一种针对服装的边缘精细抠图方法及系统 |
CN118071773B (zh) * | 2024-04-17 | 2024-07-26 | 四川省每文环保科技有限公司 | 一种基于数据分析的智慧水务灾害监测方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102163289A (zh) * | 2011-04-06 | 2011-08-24 | 北京中星微电子有限公司 | 人脸图像中眼镜的去除方法和装置、佩戴方法和装置 |
CN103020579A (zh) * | 2011-09-22 | 2013-04-03 | 上海银晨智能识别科技有限公司 | 人脸识别方法及系统、人脸图像的眼镜框去除方法与装置 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7391900B2 (en) * | 2002-10-31 | 2008-06-24 | Korea Institute Of Science And Technology | Image processing method for removing glasses from color facial images |
CN101162502A (zh) * | 2006-10-13 | 2008-04-16 | 上海银晨智能识别科技有限公司 | 一种人脸识别中的眼镜消除的方法 |
CN103065277A (zh) * | 2012-12-21 | 2013-04-24 | 深圳市创维群欣安防科技有限公司 | 数字图像信息处理方法及装置 |
CN105279641A (zh) * | 2014-06-12 | 2016-01-27 | 中兴通讯股份有限公司 | 互联网支付的注册认证、实现方法及装置 |
CN104463128B (zh) * | 2014-12-17 | 2017-09-29 | 智慧眼(湖南)科技发展有限公司 | 用于人脸识别的眼镜检测方法及系统 |
CN105046250B (zh) * | 2015-09-06 | 2018-04-20 | 广州广电运通金融电子股份有限公司 | 人脸识别的眼镜消除方法 |
US11055829B2 (en) * | 2016-12-29 | 2021-07-06 | Huawei Technologies Co., Ltd. | Picture processing method and apparatus |
-
2018
- 2018-09-28 CN CN201811140184.6A patent/CN109145875B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102163289A (zh) * | 2011-04-06 | 2011-08-24 | 北京中星微电子有限公司 | 人脸图像中眼镜的去除方法和装置、佩戴方法和装置 |
CN103020579A (zh) * | 2011-09-22 | 2013-04-03 | 上海银晨智能识别科技有限公司 | 人脸识别方法及系统、人脸图像的眼镜框去除方法与装置 |
Also Published As
Publication number | Publication date |
---|---|
CN109145875A (zh) | 2019-01-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Ghimire et al. | A robust face detection method based on skin color and edges | |
US5715325A (en) | Apparatus and method for detecting a face in a video image | |
CN105205480B (zh) | 一种复杂场景中人眼定位方法及系统 | |
Xu et al. | Shadow removal with blob-based morphological reconstruction for error correction | |
CN109685045B (zh) | 一种运动目标视频跟踪方法及系统 | |
CN107316031A (zh) | 用于行人重识别的图像特征提取方法 | |
Asi et al. | A coarse-to-fine approach for layout analysis of ancient manuscripts | |
Ibraheem et al. | Comparative study of skin color based segmentation techniques | |
CN107368778A (zh) | 人脸表情的捕捉方法、装置及存储装置 | |
CN110059634B (zh) | 一种大场景人脸抓拍方法 | |
CN110728185A (zh) | 一种判别驾驶人存在手持手机通话行为的检测方法 | |
CN109145875B (zh) | 一种人脸图像中的黑框眼镜去除方法及装置 | |
CN112686248A (zh) | 证件增减类别检测方法、装置、可读存储介质和终端 | |
Kalam et al. | Gender classification using geometric facial features | |
CN111914749A (zh) | 基于神经网络的车道线识别方法及其系统 | |
Abdullah-Al-Wadud et al. | Skin segmentation using color distance map and water-flow property | |
Saranya et al. | An approach towards ear feature extraction for human identification | |
Deepa et al. | Age estimation in facial images using histogram equalization | |
KR100703528B1 (ko) | 영상 인식 장치 및 방법 | |
Osman et al. | Improved skin detection based on dynamic threshold using multi-colour space | |
Vidyamol et al. | An improved dark channel prior for fast dehazing of outdoor images | |
CN112270683B (zh) | 一种ihc数字预览图识别和组织前景分割方法及系统 | |
CN112418085B (zh) | 一种部分遮挡工况下的面部表情识别方法 | |
Niazi et al. | Hybrid face detection in color images | |
CN114820718A (zh) | 一种视觉动态定位跟踪算法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20200528 Address after: 807c, 8th floor, Cuilin building, No. 10, Kaifeng Road, Maling community, Meilin street, Futian District, Shenzhen City, Guangdong Province Applicant after: Shenzhen Yixin Vision Technology Co., Ltd Address before: Room 666, No. 1199 Wuzhong Road, Minhang District, Shanghai, 201103 Applicant before: SHANGHAI READSENSE NETWORK TECHNOLOGY Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |