CN102496174A - 一种用于安防监控的人脸素描索引生成方法 - Google Patents
一种用于安防监控的人脸素描索引生成方法 Download PDFInfo
- Publication number
- CN102496174A CN102496174A CN2011104047164A CN201110404716A CN102496174A CN 102496174 A CN102496174 A CN 102496174A CN 2011104047164 A CN2011104047164 A CN 2011104047164A CN 201110404716 A CN201110404716 A CN 201110404716A CN 102496174 A CN102496174 A CN 102496174A
- Authority
- CN
- China
- Prior art keywords
- face
- sketch
- people
- image block
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明揭示了一种用于安防监控的人脸素描索引生成方法，其通过从三维人脸数据库中计算三维平均人脸，建立手工人脸素描库，通过人脸检测和人脸跟踪获取素描生成的输入数据；对输入图像进行姿态归一化及光照归一化处理后，生成人脸面部区域素描，并对对生成的人脸素描建立索引等步骤完成的，由于生成的人脸素描图像较监控中直接获取的人脸图像更为清晰，因而为监控到的人脸对象提供更为清晰的索引信息。
Description
技术领域
本发明涉及计算机视觉和计算机图形学领域，尤其涉及一种用于安防监控的人脸素描索引生成方法。
背景技术
人脸数据是安防监控数据中最重要的部分之一，然而，从安防监控的大量视频数据中寻找感兴趣的人脸却是非常费时费力的事情。
由于安防监控的取景范围大且成像环境复杂，其图像数据的品质往往不高。人脸图像的数据中经常包含大量干扰人脸辨识的噪声数据，例如低分辨率、相机畸变、光照、表情、遮挡物。
素描是人们从人脸图像数据中抽取出的最利于人脸辨识的部分。因此，如果能够提供一种由安防监控数据自动生成的人脸素描并陈列给用户的方法，那么监控人对大量监控数据的阅读将变得十分便捷。
发明内容
本发明的目的是为克服现有技术的不足，提供一种用于安防监控的人脸素描索引生成方法，其通过对监控到的人脸数据信息进行处理，生成更为清晰的人脸素描图像，以对监控到的人脸对象的提供便捷、清晰的索引信息。
为实现上述目的，本发明提出如下技术方案：一种用于安防监控的人脸素描索引生成方法，包括以下步骤：
第一步、制作三维平均人脸和手工人脸素描库；
第二步、通过人脸检测和人脸跟踪获取素描生成的输入数据；
第三步、对输入图像进行姿态归一化处理；
第四步、对输入图像进行光照归一化处理；
第五步、生成人脸面部区域素描；
第六步、对生成的素描建立索引。
更进一步地，本发明人脸素描索引生成方法还包括在所述第五步生成人脸面部区域素描后，生成头发区域素描，并将头发区域素描和面部区域素描拼接的步骤。
所述三维平均人脸是从三维人脸数据库中通过计算人脸数据对应三维顶点欧氏坐标的平均。
所述第二步中的输入数据包括人脸在图像坐标系下的位置信息和输入图像信息，其中人脸在图像坐标系下的位置信息通过人脸检测得到，输入图像信息是通过人脸跟踪算法得到的当前人脸的所有帧中按等时间间隔选出复数帧。
所述第三步中姿态归一化的处理是通过对输入图像采用主动轮廓模型定位出与三维平均人脸相对应的特征点的实现的。
所述输入图像与三维平均人脸的对位关系为：
其中·x，y，z·为三维平均人脸的特征点，·u，v·为对应输入图像的特征点，·t1，t2·为平移向量，M2·3是包含旋转、缩放和投影的2×3线性映射矩阵。
所述第五步生成人脸面部区域素描包括：
1)输入图像依特征点被对齐到人脸素描库的图像上，并按照素描库的标准完成小图像块的划分；
2)对输入图像的每一个小图像块计算SIFT描述子；
3)从素描库对应位置的小图像块SIFT描述子中，搜索出与输入SIFT描述子欧氏距离最小的小图像块，该小图像块即为当前输入小图像块的素描；
4)选出的各素描小图像块被重新拼接成完整的面部素描。
所述第六步中对生成素描建立的索引包括概要陈列和详情陈列，所述概要陈列将指定监控时间段内的监控到的所有人脸的首选素描陈列展示，所述详情陈列指将目标人脸的全部素描陈列展示。
与现有技术相比，采用本发明后，本发明所揭示的方法可以从大量的监控录像中筛选出人脸图像，并由人脸图像生成易于辨认的素描，排除了监控数据中低分辨率、相机畸变、光照、表情、遮挡物的干扰，为监控到的人脸对象提供便捷、清晰的索引信息。
附图说明
图1是本发明用于安防监控的人脸素描索引生成方法的流程图；
图2是本发明三维平均人脸及特征点的示意图，其包括对图像进行划分的小图像块。
具体实施方式
下面将结合本发明的附图，对本发明优选实施例中的技术方案进行清楚、完整的描述。
本发明所揭示用于安防监控的人脸素描索引生成方法，用于为安防监控提供清晰的人脸素描的索引信息，如图1所示，其包括以下步骤：
第一步，制作三维平均人脸和手工人脸素描库。
三维平均人脸由三维人脸数据库计算得到，数据库的选取由监控目标人群决定，例如在中国使用的监控系统可选用北京工业大学三维人脸数据库(BJUT-3D Face Database)。平均是指人脸数据中对应三维顶点欧氏坐标的平均。三维平均人脸顶点中的特征点被手工标定出，如图2所示，特征点为面部角点或轮廓上的点。
人脸素描库包含真实人脸照片和各照片对应的手工人脸素描。该素描库的制作需要满足以下几点要求：
1)真实人脸照片中男女数量相等。
2)真实人脸照片均为正面照片，且面部区域无遮挡物，如帽子、刘海、围脖、口罩、带镜框眼睛。
3)素描由某一特定画家以写实风格绘出。
4)真实照片和素描图片大小一致且五官对齐，对齐可以手工完成，也可以借助图像对齐算法自动完成。
绘制和对齐完成后，人脸素描库中所有图像的面部区域均按照同一标准划分为相互重叠且大小相等的小图像块(见图2)。图中每个小矩形框代表一个小图像块。然后，所有真实人脸照片的小图像块被计算出SIFT(Scale-Invariant Feature Transform)描述子。
第二步，通过人脸检测和人脸跟踪获取素描生成的输入数据。
首先，本发明对监控相机的拍摄数据应用人脸检测算法，得到当前人脸在图像坐标系下的位置信息。具体实现中，可利用肤色或轮廓线信息检测人脸，如经典的Haar人脸检测方法。
然后，本发明对检测到的人脸应用目标跟踪算法，以得到当前人脸被拍摄下的所有帧以及当前人脸在各帧中的位置。具体实现中，目标跟踪算法可选用基于均值漂移(Mean-Shift)的算法或基于粒子滤波(Particle Filter)的算法。
最后，从包含当前人脸的所有帧中按等时间间隔选出几帧(本实施例中选出5帧)，用作素描生成的输入数据。输入数据包含5幅输入图像和各图像中目标人脸的位置。
第三步，姿态归一化。
对5幅输入图像分别用主动轮廓模型(Active Shape Model，ASM)定位出各自的特征点。这些特征点与三维平均人脸的特征点一一对应。这些对应关系可以用仿射摄像机模型描述为
其中·x，y，z·为三维平均人脸的特征点，·u，v·为对应输入图像的特征点，·t1，t2·为平移向量，M2·3是包含旋转、缩放和投影的2×3线性映射矩阵。由式1计算出各输入图像的姿态参数·t1，t2·、M2·3后，将输入图像投影到三维平均人脸，再转至正面重新渲染，即可得到姿态归一化的输入图像。
第四步，光照归一化。
对姿态归一化后的5幅输入图像，进行光照归一化操作。人脸图像的光照归一化有很多公知方法可供选用，例如文献“Yang Wang，Lei Zhang，Zicheng Liu，Gang Hua，Zhen Wen，Zhengyou Zhang，Dimitris S aras.Facerelighting from a single image under arbitrary unknown lighting conditions[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2009，31(11)：1968-1984.”中所揭示的结合使用三维可形变模型(3D morphable model)和光照的球面谐波描述(spherical harmonic representation of lighting)，从单幅人脸图像中恢复出球面谐波基低维子空间中的光照系数，进而实现光照的归一化。
第五步，面部区域素描生成。
面部区域的素描生成借助人脸素描库实施。首先，输入图像依特征点被对齐到人脸素描库的图像上，并按照素描库的标准完成小图像块的划分。其次，对输入图像的每一个小图像块计算SIFT描述子。
然后，从素描库对应位置的小图像块SIFT描述子中，搜索出同输入SIFT描述子欧氏距离最小的一个，对应的素描小图像块即为当前输入小图像块的素描。
最后，选出的各素描小图像块被重新拼接成完整的面部素描。拼接方法可以参考文献“Efros，A.A.，Freeman，W.T.：Image quilting for texturesynthesis and transfer[C].In：SIGGRAPH，2001”中所揭示的通过动态规划实现相邻小图像块间重叠部分的最小错误边界分割(Minimum Error BoundaryCut)，从而实现整体素描的无缝拼接。
第六步，头发区域素描生成。
本发明的申请人对头发区域素描的自动生成提出过公知方法。详细的实施步骤可以参考文献“沈晔湖，貊睿，高巍，魏磊，朱怡，彭振云.用于个性化人脸动漫生成的自动头发提取方法[J].计算机辅助设计与图形学学报，2010，11(22)：1880-1886”。
第七步，头发区域和面部区域素描的拼接。
利用三维平均人脸和第三步中求解出的姿态参数，将正面的面部区域素描投影回原姿态。然后，利用特征点的位置将头发区域和面部区域素描拼接在一起。最后，从5幅素描中找出最接近正面的1幅，记录为首选素描。
第八步，索引的概要陈列和详情陈列。
用户指定过去的某一监控时间段，概要陈列将该时间段内监控到的所有人脸的首选素描陈列展示。用户指定某一首选素描，详情陈列将该目标人脸的全部5幅素描陈列展示。
本发明的技术内容及技术特征已揭示如上，然而熟悉本领域的技术人员仍可能基于本发明的教示及揭示而作种种不背离本发明精神的替换及修饰，因此，本发明保护范围应不限于实施例所揭示的内容，而应包括各种不背离本发明的替换及修饰，并为本专利申请权利要求所涵盖。
Claims (8)
1.一种用于安防监控的人脸素描索引生成方法，其特征在于：包括以下步骤：
第一步、制作三维平均人脸和手工人脸素描库；
第二步、通过人脸检测和人脸跟踪获取素描生成的输入数据；
第三步、对输入图像进行姿态归一化处理；
第四步、对输入图像进行光照归一化处理；
第五步、生成人脸面部区域素描；
第六步、对生成的素描建立索引。
2.根据权利要求1所述的方法，其特征在于：还包括在所述第五步生成人脸面部区域素描后，生成头发区域素描，并将头发区域素描和面部区域素描拼接的步骤。
3.根据权利要求1所述的方法，其特征在于：所述三维平均人脸是从三维人脸数据库中通过计算人脸数据对应三维顶点欧氏坐标的平均。
4.根据权利要求1所述的方法，其特征在于：所述第二步中的输入数据包括人脸在图像坐标系下的位置信息和输入图像信息，其中人脸在图像坐标系下的位置信息通过人脸检测得到，输入图像信息是通过人脸跟踪算法得到的当前人脸的所有帧中按等时间间隔选出复数帧。
5.根据权利要求1所述的方法，其特征在于：所述第三步中姿态归一化的处理是通过对输入图像采用主动轮廓模型定位出与三维平均人脸相对应的特征点的实现的。
6.根据权利要求5所述的方法，其特征在于：所述输入图像与三维平均人脸的对位关系为：
其中·x，y，z·为三维平均人脸的特征点，·u，v·为对应输入图像的特征点，·t1，t2·为平移向量，M2·3是包含旋转、缩放和投影的2×3线性映射矩阵。
7.根据权利要求1所述的方法，其特征在于：所述第五步生成人脸面部区域素描包括：
1)输入图像依特征点被对齐到人脸素描库的图像上，并按照素描库的标准完成小图像块的划分；
2)对输入图像的每一个小图像块计算SIFT描述子；
3)从素描库对应位置的小图像块SIFT描述子中，搜索出与输入SIFT描述子欧氏距离最小的小图像块，该小图像块即为当前输入小图像块的素描；
4)选出的各素描小图像块被重新拼接成完整的面部素描。
8.根据权利要求1所述的方法，其特征在于：所述第六步中对生成素描建立的索引包括概要陈列和详情陈列，所述概要陈列将指定监控时间段内的监控到的所有人脸的首选素描陈列展示，所述详情陈列指将目标人脸的全部素描陈列展示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2011104047164A CN102496174A (zh) | 2011-12-08 | 2011-12-08 | 一种用于安防监控的人脸素描索引生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2011104047164A CN102496174A (zh) | 2011-12-08 | 2011-12-08 | 一种用于安防监控的人脸素描索引生成方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN102496174A true CN102496174A (zh) | 2012-06-13 |
Family
ID=46187996
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2011104047164A Pending CN102496174A (zh) | 2011-12-08 | 2011-12-08 | 一种用于安防监控的人脸素描索引生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102496174A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103903292A (zh) * | 2012-12-27 | 2014-07-02 | 北京新媒传信科技有限公司 | 一种实现头像编辑界面的方法和系统 |
| CN109920021A (zh) * | 2019-03-07 | 2019-06-21 | 华东理工大学 | 一种基于正则化宽度学习网络的人脸素描合成方法 |
| CN109934116A (zh) * | 2019-02-19 | 2019-06-25 | 华南理工大学 | 一种基于生成对抗机制与注意力机制的标准人脸生成方法 |
| CN112507963A (zh) * | 2020-12-22 | 2021-03-16 | 华南理工大学 | 一种批量口罩人脸样本自动生成以及口罩人脸识别方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030206171A1 (en) * | 2002-05-03 | 2003-11-06 | Samsung Electronics Co., Ltd. | Apparatus and method for creating three-dimensional caricature |
| CN101169830A (zh) * | 2007-11-30 | 2008-04-30 | 西安电子科技大学 | 基于嵌入式隐马尔可夫模型和选择性集成的人脸画像自动生成方法 |
| WO2008126948A1 (en) * | 2007-04-12 | 2008-10-23 | Jdf Group | System for making caricature and method of the same and recording medium of the same |
-
2011
- 2011-12-08 CN CN2011104047164A patent/CN102496174A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030206171A1 (en) * | 2002-05-03 | 2003-11-06 | Samsung Electronics Co., Ltd. | Apparatus and method for creating three-dimensional caricature |
| WO2008126948A1 (en) * | 2007-04-12 | 2008-10-23 | Jdf Group | System for making caricature and method of the same and recording medium of the same |
| CN101169830A (zh) * | 2007-11-30 | 2008-04-30 | 西安电子科技大学 | 基于嵌入式隐马尔可夫模型和选择性集成的人脸画像自动生成方法 |
Non-Patent Citations (5)
| Title |
|---|
| 《LNCS》 20101231 Wei Zhang et al. Lighting and Pose Robust Face Sketch Synthesis 第421-427页 6 第6316卷, * |
| 《中国博士学位论文全文数据库》 20091215 杜春华 人脸特征点定位及识别的研究 摘要，第9-22页，第28 -37页 6 , 第12期 * |
| LEI WEI ET AL.: "Application of Facial Feature Localization Using Constrained Local Models in Template-Based Caricature Synthesis", 《IMAGE AND SIGNAL PROCESSING,2009.CISP "09. 2ND INTERNATIONAL CONGRESS ON》, 19 October 2009 (2009-10-19), pages 4 * |
| WEI ZHANG ET AL.: "Lighting and Pose Robust Face Sketch Synthesis", 《LNCS》, vol. 6316, 31 December 2010 (2010-12-31), pages 421 - 427 * |
| 杜春华: "人脸特征点定位及识别的研究", 《中国博士学位论文全文数据库》, no. 12, 15 December 2009 (2009-12-15) * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103903292A (zh) * | 2012-12-27 | 2014-07-02 | 北京新媒传信科技有限公司 | 一种实现头像编辑界面的方法和系统 |
| CN103903292B (zh) * | 2012-12-27 | 2017-04-19 | 北京新媒传信科技有限公司 | 一种实现头像编辑界面的方法和系统 |
| CN109934116A (zh) * | 2019-02-19 | 2019-06-25 | 华南理工大学 | 一种基于生成对抗机制与注意力机制的标准人脸生成方法 |
| CN109920021A (zh) * | 2019-03-07 | 2019-06-21 | 华东理工大学 | 一种基于正则化宽度学习网络的人脸素描合成方法 |
| CN109920021B (zh) * | 2019-03-07 | 2023-05-23 | 华东理工大学 | 一种基于正则化宽度学习网络的人脸素描合成方法 |
| CN112507963A (zh) * | 2020-12-22 | 2021-03-16 | 华南理工大学 | 一种批量口罩人脸样本自动生成以及口罩人脸识别方法 |
| CN112507963B (zh) * | 2020-12-22 | 2023-08-25 | 华南理工大学 | 一种批量口罩人脸样本自动生成以及口罩人脸识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Boukhayma et al. | 3d hand shape and pose from images in the wild | |
| Mueller et al. | Real-time hand tracking under occlusion from an egocentric rgb-d sensor | |
| CN109472198B (zh) | 一种姿态鲁棒的视频笑脸识别方法 | |
| Martin et al. | Real time head model creation and head pose estimation on consumer depth cameras | |
| US20140043329A1 (en) | Method of augmented makeover with 3d face modeling and landmark alignment | |
| Kemelmacher-Shlizerman et al. | Being john malkovich | |
| Xu et al. | Animating animal motion from still | |
| Huang et al. | Global temporal registration of multiple non-rigid surface sequences | |
| Chen et al. | Autosweep: Recovering 3d editable objects from a single photograph | |
| Reinert et al. | Animated 3D creatures from single-view video by skeletal sketching. | |
| Ertugrul et al. | What will your future child look like? modeling and synthesis of hereditary patterns of facial dynamics | |
| CN102496174A (zh) | 一种用于安防监控的人脸素描索引生成方法 | |
| Wang et al. | Digital twin: Acquiring high-fidelity 3D avatar from a single image | |
| Savran et al. | Automatic detection of emotion valence on faces using consumer depth cameras | |
| Ali | A 3D-based pose invariant face recognition at a distance framework | |
| Scholz et al. | Texture replacement of garments in monocular video sequences | |
| CN116681579A (zh) | 一种实时视频人脸替换方法、介质及系统 | |
| Wu et al. | Model-based face reconstruction using sift flow registration and spherical harmonics | |
| Cushen et al. | Markerless real-time garment retexturing from monocular 3d reconstruction | |
| Matthews et al. | Creating a large-scale synthetic dataset for human activity recognition | |
| Souvenir et al. | Viewpoint manifolds for action recognition | |
| Yuan et al. | Magic glasses: from 2D to 3D | |
| Zhang et al. | Pose-based composition improvement for portrait photographs | |
| Qian et al. | Multi-Scale tiny region gesture recognition towards 3D object manipulation in industrial design | |
| Bronstein et al. | Facetoface: An isometric model for facial animation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20120613 |