CN103955708B - 一种用于人脸合成画像识别的人脸照片库快速缩减方法 - Google Patents
一种用于人脸合成画像识别的人脸照片库快速缩减方法 Download PDFInfo
- Publication number
- CN103955708B CN103955708B CN201410200131.4A CN201410200131A CN103955708B CN 103955708 B CN103955708 B CN 103955708B CN 201410200131 A CN201410200131 A CN 201410200131A CN 103955708 B CN103955708 B CN 103955708B
- Authority
- CN
- China
- Prior art keywords
- face
- library
- components
- face component
- component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 230000015572 biosynthetic process Effects 0.000 title claims abstract description 25
- 238000003786 synthesis reaction Methods 0.000 title claims abstract description 25
- 238000004458 analytical method Methods 0.000 claims abstract description 6
- 210000001508 eye Anatomy 0.000 claims description 26
- 230000001815 facial effect Effects 0.000 claims description 9
- 210000004209 hair Anatomy 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 8
- 210000001331 nose Anatomy 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 8
- 210000004709 eyebrow Anatomy 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 7
- 210000000214 mouth Anatomy 0.000 claims description 7
- 239000002131 composite material Substances 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 4
- 239000000203 mixture Substances 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 2
- 230000017105 transposition Effects 0.000 claims 1
- 241000282414 Homo sapiens Species 0.000 description 11
- 238000012545 processing Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 206010004950 Birth mark Diseases 0.000 description 1
- 208000032544 Cicatrix Diseases 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 231100000241 scar Toxicity 0.000 description 1
- 230000037387 scars Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明是一种用于人脸合成画像识别的人脸照片库快速缩减方法,该方法通过在面部组件码表库中检索待识别的人脸合成画像的面部组件码,实现快速缩小照片库的目的,其步骤包括:1、利用基于单人脸的Fisher线性判别分析方法建立了一个用于连接照片库与人脸合成画像软件面部组件库的面部组件码表库;2、在步骤1得到的面部组件码表库中检索待匹配人脸合成画像的面部组件码,利用符合条件的面部组件码表对应的人脸照片构建缩小后的照片库。本发明利用面部组件码检索代替人脸合成画像检索,有效缩短检索时间,实现在照片库非常庞大的情况下,快速地将目标锁定在一个小的照片库内。
Description
技术领域
本发明属于图像处理、模式识别应用领域,具体涉及一种用于人脸合成画像识别的缩小照片库的方法,通过该方法实现在照片库非常庞大的情况下,快速地将目标锁定在一个小的照片库内。
背景技术
人脸合成画像是利用人脸合成画像软件合成的。一款人脸合成画像软件会提供一定数量的脸部组件如眼睛、嘴巴、鼻子、眉毛、头发和脸型等供用户选择,有些人脸合成画像软件还会提供特殊的组件如伤疤、胎记等。用户可以在人脸组件库中选择相应的特征,组合成一张目标人脸合成画像。
在很多实际的犯罪现场,可能找不到DNA和监控视频等与犯罪嫌疑人相关的有效信息,但可能存在现场目击者。在这种情况下,执法机构会要求目击者和执法人员一起利用合成画像软件合成嫌疑人的人脸合成画像,然后将人脸合成画像公示在电视和网络上,等待知情者向执法机关提供有关嫌疑人的信息。然而,这种方法实施过程较长、效果不好,而且没有合理利用公安局中现有的人脸数据库资源。因此,实际应用于中急需一种自动的人脸合成画像的识别方法。
目前,人脸合成画像的识别研究处于起步阶段,缺乏有效的人脸合成画像数据库以及有效的人脸合成画像识别方法。已有的关于人脸合成画像识别的方法有两种,其中一种为“P.C.Yuen and C.H.Man.Human Face Image Searching System Using Sketches,IEEE Trans.Systems,Man and Cybernetics,Part A:Systems and Humans38(4)(2011)493-504.”。该方法利用全局特征和局部特征表述人脸,计算人脸合成画像和人脸照片之间的相似度,最后根据用户的反馈增强识别效果。该方法因为使用半自动的方法检测面部特征点,以及需要使用用户的反馈信息,所以比较耗时。另外一种人脸合成画像的识别方法为“H.Hu,B.Klare,K.Bonnen and A.Jain.Matching Composite Sketches to Face Photos:A Component-Based Approach,IEEE Trans.Information Forensics and Security8(1)(2013)191-203.”,该方法利用多尺度局部二值模型表述各面部组件特征,分别计算人脸合成画像和人脸照片的各面部组件之间的相似度,最后将相似度结果融合。整个方法复杂的处理过程使该方法也比较耗时。在实际的人脸合成画像的识别中,公安局中的照片库是非常庞大的,已有的两种方法显然不能满足快速锁定犯罪人的要求。
发明内容
本方法的目的是提出一种用于人脸合成画像识别的缩小照片库的方法,实现人脸合成画像与照片的快速识别。该方法通过在面部组件码表库中检索待识别的人脸合成画像的面部组件码,实现快速缩小照片库的目的。该方法能够有效缩小照片库,达到快速锁定目标的目的。
为实现这一目的,本发明的技术方案从人脸合成画像自身特性出发,首先提出一种面部组件码表库的建立方法,具体方法如下:
①得到包含特定人脸合成画像软件的所有面部组件的人脸合成画像库;
②对人脸合成画像库中的人脸合成画像进行预处理;
③分割人脸合成画像库中人脸合成画像,得到该特定人脸合成画像软件对应的面部组件库;
④对人脸照片库中的照片进行预处理;
⑤分割人脸照片的面部组件,利用基于Fisher线性判别分析的方法在面部组件库中检索与人脸照片各面部组件最相似的面部组件,记录下相应的面部组件的编码,利用同一人脸照片对应的面部组件码建立一张面部组件码表,最后将所有照片对应的面部组件码表组成面部组件码表库。
进一步,本发明提出一种快速缩小照片库的方法,包括步骤如下:
(1)利用上述方法建立面部组件码表库;
(2)在步骤(1)得到的面部组件码表库中检索待匹配人脸合成画像的面部组件码,利用符合条件的面部组件码表对应的人脸照片构建缩小后的照片库。
与现有技术相比,本发明的优点是:
(1)面部组件码表库在建立完成后,可以长久使用。而且其建立过程与缩小照片库的过程分开,因此建立过程所用时间不在缩小照片库的时间内。
(2)在缩小照片库的过程中,利用面部组件码的检索代替人脸合成画像的检索,有效缩短检索时间,将目标快速锁定在一个小的照片库内。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述,并且在某种程度上,基于对下文的考察研究对本领域技术人员而言将是显而易见的,或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书和权利要求书来实现和获得。
附图说明
图1:本发明方法的整体处理流程图
图2:分割一张照片的面部组件的过程,其中a为特征点检测,b为面部组件定位
图3:一张照片的眼睛组件码的获取过程。
具体实施方式
下面结合附图对本发明作进一步的详细说明。
图1给出了本发明的具体处理流程,包括以下的两大部分:
第一部分:面部组件码表库的建立,包括以下步骤:
①得到包含任一人脸合成画像软件的所有面部组件的人脸合成画像库;
为了得到人脸合成画像软件中的所有面部组件,采用固定其他组件不变、控制其中一个面部组件变化的方法,得到包含该人脸合成画像软件的所有面部组件的人脸合成画像库。以得到包含所有眼睛组件的人脸合成画像库为例,固定人脸合成画像中的头发、眉毛、鼻子、嘴巴和脸型等组件保持不变,依次选择人脸合成画像软件的面部组件库中的眼睛组件,并保存相应的人脸合成画像。采用同样的方法,可以得到包含所有头发、眉毛、鼻子和嘴巴组件的人脸合成画像。
②对①得到的人脸合成画像库中图像进行预处理:包括灰度化和几何归一化。几何归一化的主要处理过程为通过的平面旋转、平移等使人脸合成画像的两眼之间的角度为0度,并根据两个眼睛坐标把所有图像裁剪到同一大小。
③分割②得到的所有的人脸合成画像:采用基于主动形状模型的开源软件Stasm检测面部特征点,检测结果如图2a所示,然后利用一个矩形框定位每个面部组件,该矩形框是利用在主动形状模型中预先标定的特征点确定的(矩形框的宽w是根据每个面部组件最左边和最右边的特征点的x坐标确定的,矩形框的高h是将宽w与一个给定的比例值r相乘得到的),最后完成对面部组件的分割,分割结果如图2b所示。
④对照片库中照片进行预处理:包括灰度化和几何归一化。几何归一化的主要处理过程为通过的平面旋转、平移等使照片的两眼之间的角度为0度,并根据两个眼睛坐标把所有图像裁剪到同一大小。
⑤建立面部组件码表库:建立一个与任一张照片A对应的面部组件码表的过程:在人脸合成画像的面部组件库中,分别检索照片A的头发、眉毛、眼睛、鼻子和嘴巴组件,分别得到库中与其最相似的前m个组件。
下面以眼睛组件的检索过程为例进行说明。利用人脸合成画像面部组件库中所有眼睛组件Ek(k=1,2,…,N),计算Fisher线性判别分析的最佳投影矩阵WE:
WE=(Sw)-1Sb (1)其中,Sw为类内散射矩阵:
Sb为类间散射矩阵:
其中,是由3个基图像叠加构成的图像,其中3个基图像是指对原图像进行奇异值分解得到的三个拥有最大奇异值的图像,为人脸合成画像面部组件库中所有眼睛组件的平均图像,为第k类眼睛组件的平均图:
在得到WE后,人脸合成画像面部组件库中所有眼睛组件的判别特征为:
Zk=Ek×WE,k=1,2,...,N (5)
然后将照片的眼睛组件投影到WE,得到ZA。最后计算照片眼睛组件的判别特征与人脸合成画像面部组件库中所有眼睛组件的判别特征之间的欧式距离:
D(ZA,Zk)=||ZA-Zk||,k=1,2,...,N (6)
由式(6)可以得到人脸合成画像面部组件库中与照片A眼睛组件欧式距离最小的前m个眼睛组件,记录下相应的面部组件码。分别对照片A的头发、眉毛、鼻子和嘴巴组件执行同样的检索过程,可以得到5×m个面部组件码。利用得到的5×m个面部组件码构建与照片A对应的面部组件码表。
第二部分:构建缩小后的照片库
在面部组件码表库中检索待识别的人脸合成画像的面部组件码。将符合条件的面部组件码表对应的照片记录下来,用于构建缩小后的照片库。判断一个面部组件码表是否符合条件的标准:如果面部组件码表库中某一张表内部含有n(n=1,2,3,4,5)个或n个以上的待匹配人脸合成画像的面部组件码时,我们就认为该面部组件码表符合条件。
以上所述仅为本发明的优选并不用于限制本发明,显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变形在内。
Claims (10)
1.一种用于人脸合成画像识别的面部组件码表库的建立方法,具体方法如下:
①得到包含任一人脸合成画像软件的所有面部组件的人脸合成画像库;
②对人脸合成画像库中的人脸合成画像进行预处理;
③分割人脸合成画像库中人脸合成画像,得到该特定人脸合成画像软件对应的面部组件库;
④对人脸照片库中的照片进行预处理;
⑤分割人脸照片的面部组件,利用基于Fisher线性判别分析的方法在面部组件库中检索与人脸照片各面部组件最相似的面部组件,记录下相应的面部组件的编码,利用同一人脸照片对应的面部组件码建立一张面部组件码表,最后将所有照片对应的面部组件码表组成面部组件码表库。
2.根据权利要求1所述的用于人脸合成画像识别的面部组件码表库的建立方法,其特征在于,所述步骤①的具体方法为:对于人脸合成画像软件,采用固定其他组件不变、控制其中一个面部组件变化的方法,得到包含该人脸合成画像软件的所有面部组件的人脸合成画像库。
3.根据权利要求1所述的用于人脸合成画像识别的面部组件码表库的建立方法,其特征在于,所述步骤②的预处理方法包括灰度化和几何归一化,灰度化是将所有人脸合成画像转化为灰度图像,几何归一化是利用已知的人脸合成画像的眼睛坐标,在平面内进行旋转、平移操作,使人脸合成画像中两眼之间的角度为0度,并把人脸合成画像裁剪到同一大小。
4.根据权利要求1所述的用于人脸合成画像识别的面部组件码表库的建立方法,其特征在于,所述步骤③的具体方法为:首先利用基于主动形状模型的方法检测人脸合成画像的面部特征点,然后利用一个矩形框定位每个面部组件,该矩形框是利用在主动形状模型中预先标定的特征点确定的,最后完成对面部组件的分割。
5.根据权利要求4所述的用于人脸合成画像识别的面部组件码表库的建立方法,其特征在于,所述矩形框的宽w是根据每个面部组件最左边和最右边的特征点的x坐标确定的,矩形框的高h是将宽w与一个给定的比例值r相乘得到的。
6.根据权利要求1所述的用于人脸合成画像识别的面部组件码表库的建立方法,其特征在于,所述步骤④的预处理包括灰度化和几何归一化,灰度化是将所有照片转化为灰度图像,几何归一化是利用已知的人脸合成画像的眼睛坐标,在平面在进行旋转、平移操作,使照片中两眼之间的角度为0度,并把照片裁剪到同一大小。
7.根据权利要求1所述的用于人脸合成画像识别的面部组件码表库的建立方法,其特征在于,所述步骤⑤的具体方法为:利用基于单人脸的Fisher线性判别分析的方法为照片库中每一张人脸照片建立一张面部组件码表;建立一个与任一张照片A对应的面部组件码表的过程如下:在人脸合成画像的面部组件库中,分别检索照片A的头发、眉毛、眼睛、鼻子和嘴巴组件,分别得到库中与其最相似的前m个组件,记录下相应的面部组件码,可以得到5×m个面部组件码,利用得到的5×m个面部组件码构建与照片A对应的面部组件码表。
8.根据权利要求7所述的用于人脸合成画像识别的面部组件码表库的建立方法,其特征在于,步骤⑤中面部组件的检索过程如下:
利用人脸合成画像面部组件库中所有X面部组件Ek(k=1,2,…,N),X代表头发、眉毛、眼睛、鼻子或嘴巴,计算Fisher线性判别分析的最佳投影矩阵WE:
WE=(Sw)-1Sb (1)
其中,Sw为类内散射矩阵:
T为矩阵转置,Sb为类间散射矩阵:
其中,是由3个基图像叠加构成的图像,其中3个基图像是指对原图像进行奇异值分解得到的三个拥有最大奇异值的图像,为人脸合成画像面部组件库中所有X面部组件的平均图像,为第k类X面部组件的平均图:
在得到WE后,人脸合成画像面部组件库中所有X面部组件的判别特征为:
Zk=Ek×WE,k=1,2,...,N (5)
然后将照片的X面部组件投影到WE,得到ZA;最后计算照片X面部组件的判别特征与人脸合成画像面部组件库中所有X面部组件的判别特征之间的欧式距离:
D(ZA,Zk)=||ZA-Zk||,k=1,2,...,N (6)
由式(6)可以得到人脸合成画像面部组件库中与照片A的X面部组件欧式距离最小的前m个X面部组件,记录下相应的面部组件码。
9.一种用于人脸合成画像识别的人脸照片库快速缩减方法,其特征在于,通过以下步骤实现:
(1)利用权利要求1-8任一所述的方法建立面部组件码表库;
(2)在步骤(1)得到的面部组件码表库中检索待匹配人脸合成画像的面部组件码,利用符合条件的面部组件码表对应的人脸照片构建缩小后的照片库。
10.根据权利要求9所述的用于人脸合成画像识别的人脸照片库快速缩减方法,其特征在于,所述步骤(2)判断面部组件码表库中任一张表是否符合条件的标准为:如果面部组件码表库中某一张表内部含有n(n=1,2,3,4,5)个或n个以上的待匹配人脸合成画像的面部组件码时,我们就认为与该面部组件码表符合条件,这里需要指出的是,n值需要根据面部组件库的大小而定。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410200131.4A CN103955708B (zh) | 2014-05-13 | 2014-05-13 | 一种用于人脸合成画像识别的人脸照片库快速缩减方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410200131.4A CN103955708B (zh) | 2014-05-13 | 2014-05-13 | 一种用于人脸合成画像识别的人脸照片库快速缩减方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103955708A CN103955708A (zh) | 2014-07-30 |
CN103955708B true CN103955708B (zh) | 2017-01-25 |
Family
ID=51332983
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410200131.4A Active CN103955708B (zh) | 2014-05-13 | 2014-05-13 | 一种用于人脸合成画像识别的人脸照片库快速缩减方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103955708B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105224929A (zh) * | 2015-10-10 | 2016-01-06 | 北京邮电大学 | 一种查找人脸照片的方法 |
CN106257488B (zh) * | 2016-07-07 | 2019-11-19 | 电子科技大学 | 一种基于邻域特征空间鉴别分析的雷达目标识别方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101034481A (zh) * | 2007-04-06 | 2007-09-12 | 湖北莲花山计算机视觉和信息科学研究院 | 一种肖像画的自动生成方法 |
CN101354743A (zh) * | 2007-08-09 | 2009-01-28 | 湖北莲花山计算机视觉和信息科学研究院 | 用于人脸图像合成的图像库 |
CN103279936A (zh) * | 2013-06-21 | 2013-09-04 | 重庆大学 | 基于画像的人脸伪照片自动合成及修正方法 |
-
2014
- 2014-05-13 CN CN201410200131.4A patent/CN103955708B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101034481A (zh) * | 2007-04-06 | 2007-09-12 | 湖北莲花山计算机视觉和信息科学研究院 | 一种肖像画的自动生成方法 |
CN101354743A (zh) * | 2007-08-09 | 2009-01-28 | 湖北莲花山计算机视觉和信息科学研究院 | 用于人脸图像合成的图像库 |
CN103279936A (zh) * | 2013-06-21 | 2013-09-04 | 重庆大学 | 基于画像的人脸伪照片自动合成及修正方法 |
Non-Patent Citations (4)
Title |
---|
"Face Photo-Sketch Synthesis and Recognition";Xiaogang Wang et al.;《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》;20091130;第31卷(第11期);第1955-1967页 * |
"Matching Composite Sketches to Face Photos: A Component Based Approach";Hu Han et al.;《IEEE TRANSACTIONS ON INFORMATION FORENSICS AND SECURITY》;20131231;第8卷(第1期);第191-204页 * |
"Sketch Based Face Recognition: Forensic vs. Composite Sketches";Scott Klum et al.;《International Conference on Biometrics》;20131231;第1-8页 * |
Pong C.Yuen et al.."Human Face Image Searching System Using Sketches".《IEEE TRANSACTIONS ON SYSTEMS, MAN, AND CYBERNETICS—PART A: SYSTEMS AND HUMANS》.2007,第37卷(第4期),第493-504页. * |
Also Published As
Publication number | Publication date |
---|---|
CN103955708A (zh) | 2014-07-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zhu et al. | Cms-rcnn: contextual multi-scale region-based cnn for unconstrained face detection | |
Vijayakumar et al. | Retrieval of complex images using visual saliency guided cognitive classification | |
CN102932605B (zh) | 一种视觉感知网络中摄像机的组合选择方法 | |
Satta et al. | Fast person re-identification based on dissimilarity representations | |
CN104731964A (zh) | 基于人脸识别的人脸摘要方法、视频摘要方法及其装置 | |
Wu et al. | Privacy leakage of sift features via deep generative model based image reconstruction | |
CN111666976A (zh) | 基于属性信息的特征融合方法、装置和存储介质 | |
Wang et al. | Fusion of multiple channel features for person re-identification | |
Chen et al. | Saliency modeling via outlier detection | |
CN103955708B (zh) | 一种用于人脸合成画像识别的人脸照片库快速缩减方法 | |
Kim et al. | Classification and indexing scheme of large-scale image repository for spatio-temporal landmark recognition | |
Bhatt et al. | Indian monuments classification using support vector machine | |
Gál et al. | Multiple kernel learning based modality classification for medical images | |
Parra et al. | Automatic gang graffiti recognition and interpretation | |
Kalsi et al. | A classification of emotion and gender using approximation image Gabor local binary pattern | |
Zhu et al. | Enhancing interior and exterior deep facial features for face detection in the wild | |
Mir et al. | Criminal action recognition using spatiotemporal human motion acceleration descriptor | |
Kaliraj et al. | Robust skin color-based moving object detection for video surveillance | |
Surendar | Evolution of gait biometric system and algorithms-A review | |
Naveen et al. | Pose and head orientation invariant face detection based on optimised aggregate channel feature | |
Kansal et al. | CARF-Net: CNN attention and RNN fusion network for video-based person reidentification | |
Frikha et al. | Semantic attributes for people’s appearance description: an appearance modality for video surveillance applications | |
Cao et al. | Person reidentification based on view information and batch feature erasing | |
Silva | Human action recognition based on spatiotemporal features from videos | |
Nouyed et al. | Face detection on surveillance images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20210514 Address after: 200333 room 5081, 5th floor, No.5 Lane 600, Yunling West Road, Putuo District, Shanghai Patentee after: Shanghai Lisha Technology Co.,Ltd. Address before: 400030 No. 174 Sha Jie street, Shapingba District, Chongqing Patentee before: Chongqing University |