CN109145875A - 一种人脸图像中的黑框眼镜去除方法及装置 - Google Patents

一种人脸图像中的黑框眼镜去除方法及装置 Download PDF

Info

Publication number
CN109145875A
CN109145875A CN201811140184.6A CN201811140184A CN109145875A CN 109145875 A CN109145875 A CN 109145875A CN 201811140184 A CN201811140184 A CN 201811140184A CN 109145875 A CN109145875 A CN 109145875A
Authority
CN
China
Prior art keywords
image
pixel
value
lens area
edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811140184.6A
Other languages
English (en)
Other versions
CN109145875B (zh
Inventor
孔凡静
童志军
丁小羽
赵京雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Reading Network Technology Co Ltd
Original Assignee
Shanghai Reading Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Reading Network Technology Co Ltd filed Critical Shanghai Reading Network Technology Co Ltd
Priority to CN201811140184.6A priority Critical patent/CN109145875B/zh
Publication of CN109145875A publication Critical patent/CN109145875A/zh
Application granted granted Critical
Publication of CN109145875B publication Critical patent/CN109145875B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/165Detection; Localisation; Normalisation using facial parts and geometric relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • G06T5/30Erosion or dilatation, e.g. thinning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种人脸图像中的黑框眼镜去除方法,包括:获取待处理图像,并利用边缘检测和PCA重构相结合得到所述待处理图像中的眼镜区域;对所述眼镜区域进行二值化处理,得到二值化的边缘图像;对所述二值化的边缘图像进行连通域分析,获得连通区域图像,并去除干扰区域;对去除干扰区域后的连通区域图像进行腐蚀膨胀操作得到目标眼镜区域;对所述目标眼镜区域中的每一个像素点进行横向颜色补偿,以及针对横向颜色补偿后的目标眼镜区域进行纵向颜色补偿,获得处理后图像。应用本发明实施例提供了一种人脸图像中的黑框眼镜去除方法,利用边缘提取方法和PCA重构方法相结合得到眼镜位置,避免了现有技术中眼镜位置识别的不稳定性。

Description

一种人脸图像中的黑框眼镜去除方法及装置
技术领域
本发明涉及人脸识别处理技术领域,尤其涉及一种人脸图像中的黑框眼镜去除方法及装置。
背景技术
人脸识别,是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流,并自动在图像中检测和跟踪人脸,进而对检测到的人脸进行脸部的一系列相关技术,通常也叫做人像识别、面部识别。目前,人脸识别技术已经被广泛地研究和应用于安防,金融等领域。
在人脸识别问题中,由于人脸结构的特殊性,对姿态,光照,遮挡等较为敏感,而其中,由于越来越多的人会戴眼镜,尤其框架颜色深的眼镜对人脸的遮挡,也是影响识别性能的一大因素。首先,由于眼镜框本身具有很强的特性,会使不同的人在都戴有框架眼镜的情况下呈现出很强的相似性,同时,同一个人在佩戴和摘除眼镜时,又会存在较大的差异。其次,眼镜框由于对人脸眼部信息进行了干扰,而眼部信息又是人脸信息中一个具有很强分辨能力的信息,黑框眼镜对眼部的干扰也会使识别性能下降。
现有的黑框眼镜去除方法主要也是基于首先提取眼镜轮廓,然后再进行颜色补偿的思路进行处理。现有技术中采用canny边缘检测等方式提取边缘信息,得到眼镜大致轮廓,然后再用开闭运算等获取最终的眼镜轮廓,对于得到的眼镜位置,利用周围像素的颜色值来补偿眼镜位置,得到去掉眼镜的人脸图像。其中一种是以该像素点为顶点,上下各取一个三角形区域,计算区域的均值,取较高的均值作为该像素点的补偿值。
在利用边缘检测进行眼镜定位的方法中,容易引入眼睛,鼻子等其他干扰边缘信息,如果眼镜位置定位不准,利用周围像素来进行颜色补偿得到的图像会出现眼镜位置去除不干净,或者将眼睛,鼻子等人脸信息模糊掉,反而不利于进行人脸识别。
发明内容
本发明实施例的目的在于提供一种人脸图像中的黑框眼镜去除方法及装置,利用边缘提取方法和PCA重构方法相结合得到眼镜位置,避免了现有技术对眼睛位置定位的不稳定性。具体技术方案如下:
为达到上述目的,本发明实施例提供了一种人脸图像中的黑框眼镜去除方法,包括:
获取待处理图像,并利用边缘检测和PCA重构相结合得到所述待处理图像中的眼镜区域;
对所述眼镜区域进行二值化处理,得到二值化的边缘图像;
对所述二值化的边缘图像进行连通域分析,获得连通区域图像,并去除干扰区域;
对去除干扰区域后的连通区域图像进行腐蚀膨胀操作得到目标眼镜区域;
对所述目标眼镜区域中的每一个像素点进行横向颜色补偿,以及针对横向颜色补偿后的目标眼镜区域进行纵向颜色补偿,获得处理后图像。
本发明的优选实施方式中,所述并利用边缘检测和PCA重构相结合得到所述待处理图像中的眼镜区域的步骤包括:
通过PCA重构得到的第一边缘图像,以及,通过拉普拉斯算子进行边缘检测得到的第二边缘图像;
将所述第一边缘图像和所述第二边缘图像之和作为所述待处理图像中的眼镜区域。
本发明的优选实施方式中,所述对所述眼镜区域进行二值化处理,得到二值化的边缘图像的步骤,包括:
遍历所述眼镜区域中每一个像素点,若像素点的值小于第一预设阈值,则该像素点的值为0,否则,该像素点的值为255,得到二值化的边缘图像。
本发明的优选实施方式中,所述对所述二值化的边缘图像进行连通域分析,获得连通区域图像,并去除干扰区域的步骤,包括:
针对所述二值化的边缘图像中的每一个非零像素点,获得连通区域图像;
获取连通区域图像中每一个连通区域图像的像素点个数;
判断所获取的像素点个数中,是否存在小于第二预设阈值的数值;
如果是,获取小于第二预设阈值的数值对应的目标连通区域图像;
将所述目标连通区域图像中像素点的像素值设置为0。
本发明的优选实施方式中,所述对所述目标眼镜区域中的每一个像素点进行横向颜色补偿,以及针对横向颜色补偿后的目标眼镜区域进行纵向颜色补偿,获得处理后图像的步骤,包括:
对所述目标眼镜区域中的每一个像素点,在该点的左边和右边各划定一个三角形的区域,作为该像素点的左邻域和右邻域,分别计算左右邻域的像素值之和,再除以各自的像素个数,得到左右邻域的像素值的均值,取均值较大的值作为对该像素点的复原值,每个像素点遍历完成后得到横向颜色补偿图像;
根据横向颜色补偿图像,再计算每一个眼镜区域像素点的上邻域和下邻域的灰度值的均值,取均值较大者作为该像素点的复原值,处理完后得到最终的眼镜去除后的处理后图像。
另外,本发明还提供了一种人脸图像中的黑框眼镜去除装置,包括:
获取模块,用于获取待处理图像,并利用边缘检测和PCA重构相结合得到所述待处理图像中的眼镜区域;
处理模块,用于对所述眼镜区域进行二值化处理,得到二值化的边缘图像;
分析模块,用于对所述二值化的边缘图像进行连通域分析,获得连通区域图像,并去除干扰区域;
膨胀模块,用于对去除干扰区域后的连通区域图像进行腐蚀膨胀操作得到目标眼镜区域;
补偿模块,用于对所述目标眼镜区域中的每一个像素点进行横向颜色补偿,以及针对横向颜色补偿后的目标眼镜区域进行纵向颜色补偿,获得处理后图像。
本发明的优选实施方式中,所述获取模块,具体用于:
通过PCA重构得到的第一边缘图像,以及,通过拉普拉斯算子进行边缘检测得到的第二边缘图像;将所述第一边缘图像和所述第二边缘图像之和作为所述待处理图像中的眼镜区域。
本发明的优选实施方式中,所述处理模块,用于:
遍历所述眼镜区域中每一个像素点,若像素点的值小于第一预设阈值,则该像素点的值为0,否则,该像素点的值为255,得到二值化的边缘图像。
本发明的优选实施方式中,所述分析模块,具体用于:
针对所述二值化的边缘图像中的每一个非零像素点,获得连通区域图像;获取连通区域图像中每一个连通区域图像的像素点个数;判断所获取的像素点个数中,是否存在小于第二预设阈值的数值;如果是,获取小于第二预设阈值的数值对应的目标连通区域图像;将所述目标连通区域图像中像素点的像素值设置为0。
本发明的优选实施方式中,所述补偿模块,具体用于:
对所述目标眼镜区域中的每一个像素点,在该点的左边和右边各划定一个三角形的区域,作为该像素点的左邻域和右邻域,分别计算左右邻域的像素值之和,再除以各自的像素个数,得到左右邻域的像素值的均值,取均值较大的值作为对该像素点的复原值,每个像素点遍历完成后得到横向颜色补偿图像;根据横向颜色补偿图像,再计算每一个眼镜区域像素点的上邻域和下邻域的灰度值的均值,取均值较大者作为该像素点的复原值,处理完后得到最终的眼镜去除后的处理后图像。
应用本发明实施例提供的一种人脸图像中的黑框眼镜去除方法及装置,利用边缘提取方法和PCA重构方法相结合得到眼镜位置,避免了现有技术中眼镜位置识别的不稳定性;另外,只对眼镜区域进行颜色补偿,针对眼镜的较宽的边缘,采取横向和纵向的颜色补偿,更彻底地去掉眼镜,同时保证了非眼镜区域的完整性。
附图说明
图1是本发明实施例提供的人脸图像中的黑框眼镜去除方法的流程示意图;
图2是本发明的采用拉普拉斯算子进行计算的3*3的区域示意图;
图3是一种实施例的区域示意图;
图4a是本发明实施例提供的原始的待处理图像;
图4b为图4a的图像经过通过边缘检测和PCA重构获得的眼镜区域;
图4c为图4b二值化后的边缘图像;
图4d为图4c的去除干扰后的连通区域图像;
图4e为图4d的经过膨胀腐蚀后的目标眼镜区域;
图4f为图4e经过横向颜色补偿目标眼镜区域;
图4g为图4f进行纵向颜色补偿后所得到的处理后图像。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参见图1,本发明实施例提供了一种人脸图像中的黑框眼镜去除方法,包括如下步骤:
S101,获取待处理图像,并利用边缘检测和PCA重构相结合得到所述待处理图像中的眼镜区域。
可以理解的是,当待处理图像中包含需要识别的人脸图像,且包含眼睛框架时采用本发明实施例进行处理。
本发明实施例中,利用边缘检测和PCA重构(principal component analysis,主成分分析)相结合得到所述待处理图像中的眼镜区域的步骤包括:通过PCA重构得到的第一边缘图像,以及,通过拉普拉斯算子进行边缘检测得到的第二边缘图像;将所述第一边缘图像和所述第二边缘图像之和作为所述待处理图像中的眼镜区域。
需要说明的是,边缘是指图像局部强度变化最显著的部分。主要存在于目标与目标、目标与背景、区域与区域(包括不同色彩)之间,是图像分割、纹理特征和形状特征等图像分析的重要基础。
图像强度的显著变化可分为:阶跃变化函数,即图像强度在不连续处的两边的像素灰度值有着显著的差异;线条(屋顶)变化函数,即图像强度突然从一个值变化到另一个值,保持一较小行程后又回到原来的值。
图像的边缘有方向和幅度两个属性,沿边缘方向像素变化平缓,垂直于边缘方向像素变化剧烈.边缘上的这种变化可以用微分算子检测出来,通常用一阶或二阶微分来检测边缘。
拉普拉斯算子是一个二阶的微分,对于一个二维函数f(x,y)来说,拉普拉斯算子定义如公式(1)所示:
其中,
对于图像中一个3*3的区域来,如图2,z5点的拉普拉斯算子计算方式如下:
需要说明的是,PCA,是一种统计方法。通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量,转换后的这组变量叫主成分。要准确描述向量,首先要确定一组基,然后给出在基所在的各个直线上的投影值,这些投影值就是当前基所确定的坐标。PCA的目标是通过某种线性投影,将高维的数据映射到低维的空间中表示,并期望在所投影的维度上数据的方差最大,以此使用较少的数据维度,同时保留住较多的原数据点的特性。
假设样本集X={x1,x2,…xm},X中的一个样本点xi在新空间中超平面上的投影是WTx1,若所有样本点的投影能尽可能分开,则应该是投影后投影点的方差最大。投影后的样本点的方差可以表示为,ΣWTxixiWT于是优化目标表示为如下公式:
maxWtr(WTXXTW)s.t.WTW=1
对于上述公式使用拉格朗日乘子可得,
XXTW=γW
因此,对协方差矩阵进行特征值分解,将求得的特征值排序:γ1≥γ2≥…≥γn.,再取前d个特征值对应的特征向量构成W=(w1,w2…wd),利用WTx1即可求得向量xi保留主成分后的降维向量。
PCA重构向量可以用公式进行计算,其中,W是由前d个最大特征值对应的特征向量构成的。
对于眼镜框来说,眼镜框在人脸中表现为明显的边缘,因此可以通过边缘检测来提取眼镜区域。为了避免单一的边缘提取方式带来的噪声干扰,采用了拉普拉斯边缘检测算法进行边缘提取,同时结合PCA重构图像和原始眼镜图像的差值得到的眼镜区域,两者结合得到最终的边缘图像,也就是原始的待处理图像的眼镜区域P,具体公式如下:
P=Ppca+PLap
其中,Ppca是通过PCA重构得到的边缘图像,PLap是通过拉普拉斯算子得到的边缘图像。
由于眼镜框大部分存在于人脸图像的上半部分,因此,在眼镜框定位过程中,我们只处理图像的上半部分,这样一是可以提升处理速度,二是保证了人脸下半部分不变,尽可能保留原始图像的准确信息。
S102,对所述眼镜区域进行二值化处理,得到二值化的边缘图像。
可以理解的是,经过步骤S101进行处理后的眼镜区域为灰度图像,具体处理方式包括:遍历所述眼镜区域中每一个像素点,若像素点的值小于第一预设阈值,则该像素点的值为0,否则,该像素点的值为255,得到二值化的边缘图像。
S103,对所述二值化的边缘图像进行连通域分析,获得连通区域图像,并去除干扰区域。
需要说明的是,经过步骤S101边缘处理过程误差必然还是带来一定的噪声点,二值化以后存在一些比较小的边缘区域的干扰,而真正的眼镜区域对应的二值图像中一定是一个比较大的连通区域或者若干个相对较大的连通区域存在。因此,通过连通区域分析,只保留相对较大的几个连通区域,去掉较小的连通区域,可以去掉一些小的噪声的干扰。
本发明实施例中,针对所述二值化的边缘图像中的每一个非零像素点,获得连通区域图像;获取连通区域图像中每一个连通区域图像的像素点个数;判断所获取的像素点个数中,是否存在小于第二预设阈值的数值;如果是,获取小于第二预设阈值的数值对应的目标连通区域图像;将所述目标连通区域图像中像素点的像素值设置为0。
首先做连通区域分析,具体的,可以对每一个非零像素点,标记一个标号,标号相同的点代表属于同一区域,我们称此该区域为图像为连通区域图像,因此,可以得到包含若干个连通区域图像。结合二值图像和连通区域图像,统计连通区域图像中每一个标号的像素个数,然后设定阈值,像素个数小于一定阈值的标号区域需要删除。遍历所有连通区域图像,对于每一个非零像素点,如果他的标号存在于需要删除的标号列表中,则将该像素点的灰度值置为0。
S104,对去除干扰区域后的连通区域图像进行腐蚀膨胀操作得到目标眼镜区域。
最终的二值图像中,由于之前操作的误差存在,可能会将眼镜区域分割成几个小的线段,在本步骤通过腐蚀膨胀操作将几个被割裂的小线段进行连接,得到完整的目标眼镜区域。
S105,对所述目标眼镜区域中的每一个像素点进行横向颜色补偿,以及针对横向颜色补偿后的目标眼镜区域进行纵向颜色补偿,获得处理后图像。
因为眼镜框在原始图像中的灰度值是低于脸部信息的灰度值的,基于这一点,目标眼镜区域颜色补偿的基本方法是对于目标眼镜区域中每一个像素点,在该像素点的一个邻域内,比较其左侧,右侧,上部,下部的像素点灰度值的均值,取其中灰度值较高的均值作为该像素点的灰度值。
由于眼镜框通常都是比较宽的横向和纵向线段,为了避免眼镜框像素邻域内全部是眼镜区域,我们需要设定比较大的邻域,但是在邻域较大时,有可能把眼睛,眉毛等区域包含进来,眼镜,眉毛区域的像素值也偏低,最终计算得到的补偿的灰度值也会偏低,补偿完的结果就是黑框眼镜的印迹仍然存在。为了解决此问题,我们通过横向和纵向补偿两个步骤,在横向补偿时,对每个眼镜区域像素点,计算其左邻域和右邻域灰度值的均值,取较大者作为补偿值。在纵向补偿时,在横向补偿完的基础上,计算每个眼镜区域像素点的上邻域和下邻域的均值,取较大者作为补偿值。通过两个步骤,将黑框眼镜区域更完整地去除。
横向颜色补偿方式:
对于目标眼镜区域中的每一个像素点,在该点的左边和右边各划定一个三角形的区域,作为该像素点的左邻域和右邻域。分别计算左右邻域的像素值之和,再除以各自的像素个数,得到左右邻域的像素值的均值,取均值较大的值作为对该像素点的复原值。每个像素点遍历完成后得到横向颜色补偿图像。
纵向颜色补偿方式:
对于横向颜色补偿图像,再计算其中每一个眼镜框区域像素点的上邻域和下邻域的灰度值的均值,取均值较大者作为该像素点的复原值。处理完后得到最终的眼镜去除后的图像。如图2所示:对于z33点来说,做横向颜色补偿时,先取其左右两个邻域。
其中左邻域包括:z11、z21、z31、z41、z51、z22、z32、z42、z33共9个点,其均值为:
右邻域包括:z15、z25、z35、z45、z55、z24、z34、z44、z33共9个点,其均值为:
比较Mleft和Mright的大小,取其中的大值代替z33的值。
做纵向颜色补偿时,取其上下两个邻域。
其中上邻域包括:z11、z12、z13、z14、z15、z22、z23、z24、z33共9个点,其均值为:
下邻域包括:z51、z52、z53、z54、z55、z42、z43、z44、z33共9个点,其均值为:
比较Mtop和Mbottom的大小,取其中的大值代替z33的值。
如图4a所示,为待处理图像,4b为经过通过边缘检测和PCA重构获得的眼镜区域,图4c为二值化后的边缘图像,图4d为去除干扰后的连通区域图像,图4e为经过膨胀腐蚀后的目标眼镜区域,图4f为经过横向颜色补偿目标眼镜区域,图4g为进行纵向颜色补偿后所得到的处理后图像。
具体的,边缘提取不仅局限于拉普拉斯算子,也可以使用canny边缘检测等。在进行干扰区域去除时,去除小的连通区域的方式有多种,比如设定阈值,去掉面积小于阈值的区域,或者设定一个较大的阈值,面积大于阈值的保留等。以及,腐蚀膨胀操作可以有多种组合,比如单腐蚀操作,单膨胀操作,图像开运算,图像闭运算,以及几种运算的组合叠加使用,本发明实施例在此不做赘述。
另外,本发明实施例还公开了一种人脸图像中的黑框眼镜去除装置,包括:
获取模块,用于获取待处理图像,并利用边缘检测和PCA重构相结合得到所述待处理图像中的眼镜区域;
处理模块,用于对所述眼镜区域进行二值化处理,得到二值化的边缘图像;
分析模块,用于对所述二值化的边缘图像进行连通域分析,获得连通区域图像,并去除干扰区域;
膨胀模块,用于对去除干扰区域后的连通区域图像进行腐蚀膨胀操作得到目标眼镜区域;
补偿模块,用于对所述目标眼镜区域中的每一个像素点进行横向颜色补偿,以及针对横向颜色补偿后的目标眼镜区域进行纵向颜色补偿,获得处理后图像。
优选的,所述获取模块,具体用于:
通过PCA重构得到的第一边缘图像Ppca,以及,通过拉普拉斯算子进行边缘检测得到的第二边缘图像PLap;将所述第一边缘图像Ppca和所述第二边缘图像PLap之和作为所述待处理图像中的眼镜区域。
优选的,所述处理模块,用于:
遍历所述眼镜区域中每一个像素点,若像素点的值小于第一预设阈值,则该像素点的值为0,否则,该像素点的值为255,得到二值化的边缘图像。
优选的,所述分析模块,具体用于:
针对所述二值化的边缘图像中的每一个非零像素点,获得连通区域图像;获取连通区域图像中每一个连通区域图像的像素点个数;判断所获取的像素点个数中,是否存在小于第二预设阈值的数值;如果是,获取小于第二预设阈值的数值对应的目标连通区域图像;将所述目标连通区域图像中像素点的像素值设置为0。
优选的,所述补偿模块,具体用于:
对所述目标眼镜区域中的每一个像素点,在该点的左边和右边各划定一个三角形的区域,作为该像素点的左邻域和右邻域。分别计算左右邻域的像素值之和,再除以各自的像素个数,得到左右邻域的像素值的均值,取均值较大的值作为对该像素点的复原值,每个像素点遍历完成后得到横向颜色补偿图像;根据横向颜色补偿图像,再计算每一个眼镜区域像素点的上邻域和下邻域的灰度值的均值,取均值较大者作为该像素点的复原值,处理完后得到最终的眼镜去除后的处理后图像。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (10)

1.一种人脸图像中的黑框眼镜去除方法,其特征在于,包括:
获取待处理图像,并利用边缘检测和PCA重构相结合得到所述待处理图像中的眼镜区域;
对所述眼镜区域进行二值化处理,得到二值化的边缘图像;
对所述二值化的边缘图像进行连通域分析,获得连通区域图像,并去除干扰区域;
对去除干扰区域后的连通区域图像进行腐蚀膨胀操作得到目标眼镜区域;
对所述目标眼镜区域中的每一个像素点进行横向颜色补偿,以及针对横向颜色补偿后的目标眼镜区域进行纵向颜色补偿,获得处理后图像。
2.根据权利要求1所述的人脸图像中的黑框眼镜去除方法,其特征在于,所述利用边缘检测和PCA重构相结合得到所述待处理图像中的眼镜区域的步骤包括:
通过PCA重构得到的第一边缘图像Ppca,以及,通过拉普拉斯算子进行边缘检测得到的第二边缘图像PLap
将所述第一边缘图像Ppca和所述第二边缘图像PLap之和作为所述待处理图像中的眼镜区域。
3.根据权利要求1所述的人脸图像中的黑框眼镜去除方法,其特征在于,所述对所述眼镜区域进行二值化处理,得到二值化的边缘图像的步骤,包括:
遍历所述眼镜区域中每一个像素点,若像素点的值小于第一预设阈值,则该像素点的值为0,否则,该像素点的值为255,得到二值化的边缘图像。
4.根据权利要求3所述的人脸图像中的黑框眼镜去除方法,其特征在于,所述对所述二值化的边缘图像进行连通域分析,获得连通区域图像,并去除干扰区域的步骤,包括:
针对所述二值化的边缘图像中的每一个非零像素点,获得连通区域图像;
获取连通区域图像中每一个连通区域图像的像素点个数;
判断所获取的像素点个数中,是否存在小于第二预设阈值的数值;
如果是,获取小于第二预设阈值的数值对应的目标连通区域图像;
将所述目标连通区域图像中像素点的像素值设置为0。
5.根据权利要求3所述的人脸图像中的黑框眼镜去除方法,其特征在于,所述对所述目标眼镜区域中的每一个像素点进行横向颜色补偿,以及针对横向颜色补偿后的目标眼镜区域进行纵向颜色补偿,获得处理后图像的步骤,包括:
对所述目标眼镜区域中的每一个像素点,在该点的左边和右边各划定一个三角形的区域,作为该像素点的左邻域和右邻域,分别计算左右邻域的像素值之和,再除以各自的像素个数,得到左右邻域的像素值的均值,取均值较大的值作为对该像素点的复原值,每个像素点遍历完成后得到横向颜色补偿图像;
根据横向颜色补偿图像,再计算每一个眼镜区域像素点的上邻域和下邻域的灰度值的均值,取均值较大者作为该像素点的复原值,处理完后得到最终的眼镜去除后的处理后图像。
6.一种人脸图像中的黑框眼镜去除装置,其特征在于,包括:
获取模块,用于获取待处理图像,并利用边缘检测和PCA重构相结合得到所述待处理图像中的眼镜区域;
处理模块,用于对所述眼镜区域进行二值化处理,得到二值化的边缘图像;
分析模块,用于对所述二值化的边缘图像进行连通域分析,获得连通区域图像,并去除干扰区域;
膨胀模块,用于对去除干扰区域后的连通区域图像进行腐蚀膨胀操作得到目标眼镜区域;
补偿模块,用于对所述目标眼镜区域中的每一个像素点进行横向颜色补偿,以及针对横向颜色补偿后的目标眼镜区域进行纵向颜色补偿,获得处理后图像。
7.根据权利要求6所述的人脸图像中的黑框眼镜去除装置,其特征在于,所述获取模块,具体用于:
通过PCA重构得到的第一边缘图像Ppca,以及,通过拉普拉斯算子进行边缘检测得到的第二边缘图像PLap;将所述第一边缘图像Ppca和所述第二边缘图像PLap之和作为所述待处理图像中的眼镜区域。
8.根据权利要求6所述的人脸图像中的黑框眼镜去除装置,其特征在于,所述处理模块,用于:
遍历所述眼镜区域中每一个像素点,若像素点的值小于第一预设阈值,则该像素点的值为0,否则,该像素点的值为255,得到二值化的边缘图像。
9.根据权利要求8所述的人脸图像中的黑框眼镜去除装置,其特征在于,所述分析模块,具体用于:
针对所述二值化的边缘图像中的每一个非零像素点,获得连通区域图像;获取连通区域图像中每一个连通区域图像的像素点个数;判断所获取的像素点个数中,是否存在小于第二预设阈值的数值;如果是,获取小于第二预设阈值的数值对应的目标连通区域图像;将所述目标连通区域图像中像素点的像素值设置为0。
10.根据权利要求8所述的人脸图像中的黑框眼镜去除装置,其特征在于,所述补偿模块,具体用于:
对所述目标眼镜区域中的每一个像素点,在该点的左边和右边各划定一个三角形的区域,作为该像素点的左邻域和右邻域,分别计算左右邻域的像素值之和,再除以各自的像素个数,得到左右邻域的像素值的均值,取均值较大的值作为对该像素点的复原值,每个像素点遍历完成后得到横向颜色补偿图像;
根据横向颜色补偿图像,再计算每一个眼镜区域像素点的上邻域和下邻域的灰度值的均值,取均值较大者作为该像素点的复原值,处理完后得到最终的眼镜去除后的处理后图像。
CN201811140184.6A 2018-09-28 2018-09-28 一种人脸图像中的黑框眼镜去除方法及装置 Active CN109145875B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811140184.6A CN109145875B (zh) 2018-09-28 2018-09-28 一种人脸图像中的黑框眼镜去除方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811140184.6A CN109145875B (zh) 2018-09-28 2018-09-28 一种人脸图像中的黑框眼镜去除方法及装置

Publications (2)

Publication Number Publication Date
CN109145875A true CN109145875A (zh) 2019-01-04
CN109145875B CN109145875B (zh) 2021-04-20

Family

ID=64813291

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811140184.6A Active CN109145875B (zh) 2018-09-28 2018-09-28 一种人脸图像中的黑框眼镜去除方法及装置

Country Status (1)

Country Link
CN (1) CN109145875B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112330634A (zh) * 2020-11-05 2021-02-05 恒信东方文化股份有限公司 一种针对服装的边缘精细抠图方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060193515A1 (en) * 2002-10-31 2006-08-31 Korea Institute Of Science And Technology Image processing method for removing glasses from color facial images
CN101162502A (zh) * 2006-10-13 2008-04-16 上海银晨智能识别科技有限公司 一种人脸识别中的眼镜消除的方法
CN102163289A (zh) * 2011-04-06 2011-08-24 北京中星微电子有限公司 人脸图像中眼镜的去除方法和装置、佩戴方法和装置
CN103020579A (zh) * 2011-09-22 2013-04-03 上海银晨智能识别科技有限公司 人脸识别方法及系统、人脸图像的眼镜框去除方法与装置
CN103065277A (zh) * 2012-12-21 2013-04-24 深圳市创维群欣安防科技有限公司 数字图像信息处理方法及装置
CN104463128A (zh) * 2014-12-17 2015-03-25 智慧眼(湖南)科技发展有限公司 用于人脸识别的眼镜检测方法及系统
CN105046250A (zh) * 2015-09-06 2015-11-11 广州广电运通金融电子股份有限公司 人脸识别的眼镜消除方法
CN105279641A (zh) * 2014-06-12 2016-01-27 中兴通讯股份有限公司 互联网支付的注册认证、实现方法及装置
WO2018119938A1 (zh) * 2016-12-29 2018-07-05 华为技术有限公司 图片处理方法和装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060193515A1 (en) * 2002-10-31 2006-08-31 Korea Institute Of Science And Technology Image processing method for removing glasses from color facial images
CN101162502A (zh) * 2006-10-13 2008-04-16 上海银晨智能识别科技有限公司 一种人脸识别中的眼镜消除的方法
CN102163289A (zh) * 2011-04-06 2011-08-24 北京中星微电子有限公司 人脸图像中眼镜的去除方法和装置、佩戴方法和装置
CN103020579A (zh) * 2011-09-22 2013-04-03 上海银晨智能识别科技有限公司 人脸识别方法及系统、人脸图像的眼镜框去除方法与装置
CN103065277A (zh) * 2012-12-21 2013-04-24 深圳市创维群欣安防科技有限公司 数字图像信息处理方法及装置
CN105279641A (zh) * 2014-06-12 2016-01-27 中兴通讯股份有限公司 互联网支付的注册认证、实现方法及装置
CN104463128A (zh) * 2014-12-17 2015-03-25 智慧眼(湖南)科技发展有限公司 用于人脸识别的眼镜检测方法及系统
CN105046250A (zh) * 2015-09-06 2015-11-11 广州广电运通金融电子股份有限公司 人脸识别的眼镜消除方法
WO2018119938A1 (zh) * 2016-12-29 2018-07-05 华为技术有限公司 图片处理方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
XIAODONG J.等: "Eyeglasses removal from facial image based on phase congruency", 《2010 3RD INTERNATIONAL CONGRESS ON IMAGE AND SIGNAL PROCESSING》 *
张欣 等: "最小距离搜索的扇形线性插值补偿法去除眼镜", 《小型微型计算机系统》 *
胡章芳等: "《MATLAB仿真及其在光学课程中的应用第2版》", 30 April 2018, 北京:北京航空航天大学出版社 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112330634A (zh) * 2020-11-05 2021-02-05 恒信东方文化股份有限公司 一种针对服装的边缘精细抠图方法及系统

Also Published As

Publication number Publication date
CN109145875B (zh) 2021-04-20

Similar Documents

Publication Publication Date Title
Kolouri et al. Transport-based single frame super resolution of very low resolution face images
EP3542211B1 (de) Verfahren und vorrichtung sowie computerprogramm zum ermitteln einer repräsentation eines brillenglasrands
Fuhl et al. Eyes wide open? eyelid location and eye aperture estimation for pervasive eye tracking in real-world scenarios
EP2467828B1 (de) Verfahren und system zur automatischen objekterkennung und anschliessenden objektverfolgung nach massgabe der objektform
Luengo-Oroz et al. Robust iris segmentation on uncalibrated noisy images using mathematical morphology
Jia et al. Visual tracking via coarse and fine structural local sparse appearance models
Uhl et al. Multi-stage visible wavelength and near infrared iris segmentation framework
Gao et al. CW-SSIM based image classification
CN103632132A (zh) 一种基于肤色分割和模板匹配的人脸检测与识别方法
Celik et al. Facial feature extraction using complex dual-tree wavelet transform
CN103093210A (zh) 人脸识别中眼镜的鉴别方法及装置
Martinikorena et al. Fast and robust ellipse detection algorithm for head-mounted eye tracking systems
Chakravarty et al. Coupled sparse dictionary for depth-based cup segmentation from single color fundus image
CN106056627B (zh) 一种基于局部鉴别性稀疏表示的鲁棒目标跟踪方法
Zhang et al. Multi-focus image fusion based on fractional order differentiation and closed image matting
Yang et al. A novel pupil localization method based on gaboreye model and radial symmetry operator
Steinbrücker et al. Advanced Data Terms for Variational Optic Flow Estimation.
Sotiras et al. Simultaneous geometric-iconic registration
Parikh et al. Effective approach for iris localization in nonideal imaging conditions
Jillela et al. Methods for iris segmentation
CN109145875A (zh) 一种人脸图像中的黑框眼镜去除方法及装置
Poulopoulos et al. A new high precision eye center localization technique
Kalam et al. Gender classification using geometric facial features
Jillela et al. Methods for iris segmentation
Kiruthiga et al. Smoothening of iris images and pupil segmentation using fractional derivative and wavelet transform

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200528

Address after: 807c, 8th floor, Cuilin building, No. 10, Kaifeng Road, Maling community, Meilin street, Futian District, Shenzhen City, Guangdong Province

Applicant after: Shenzhen Yixin Vision Technology Co., Ltd

Address before: Room 666, No. 1199 Wuzhong Road, Minhang District, Shanghai, 201103

Applicant before: SHANGHAI READSENSE NETWORK TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant