CN105184273B - 一种基于asm的动态图像正面人脸重建系统及方法 - Google Patents

一种基于asm的动态图像正面人脸重建系统及方法 Download PDF

Info

Publication number
CN105184273B
CN105184273B CN201510602635.3A CN201510602635A CN105184273B CN 105184273 B CN105184273 B CN 105184273B CN 201510602635 A CN201510602635 A CN 201510602635A CN 105184273 B CN105184273 B CN 105184273B
Authority
CN
China
Prior art keywords
face
image
point
human face
image sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201510602635.3A
Other languages
English (en)
Other versions
CN105184273A (zh
Inventor
蔡晓东
杨超
赵勤鲁
陈超村
王丽娟
甘凯今
吕璐
刘馨婷
宋宗涛
王迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GUILIN TOPINTELLIGENT COMMUNICATION TECHNOLOGY Co Ltd
Original Assignee
GUILIN TOPINTELLIGENT COMMUNICATION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GUILIN TOPINTELLIGENT COMMUNICATION TECHNOLOGY Co Ltd filed Critical GUILIN TOPINTELLIGENT COMMUNICATION TECHNOLOGY Co Ltd
Priority to CN201510602635.3A priority Critical patent/CN105184273B/zh
Publication of CN105184273A publication Critical patent/CN105184273A/zh
Application granted granted Critical
Publication of CN105184273B publication Critical patent/CN105184273B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于ASM的动态图像正面人脸重建系统及方法，本系统包括动态视频人脸提取模块、人脸图像质量评估模块、人脸图像光照处理模块和正面人脸合成模块；动态视频人脸提取模块能够较准确地获取到人脸的实际区域，排除类肤色像素干扰；通过人脸图像质量评估模块和人脸图像光照处理模块能获取到高质量的人脸图像序列；对这些获取到的高质量的人脸图像采用ASM进行特征点定位，利用TPS薄板样条函数合成最终的人脸图像；本发明能够有效地合成正面人脸图像，对于带有微表情人脸图像合成正面人脸具有一定的改善。

Description

一种基于ASM的动态图像正面人脸重建系统及方法
技术领域
本发明主要涉及图像处理技术领域，具体涉及一种基于ASM的动态图像正面人脸重建系统及方法。
背景技术
随着计算机的普及、智能设备的出现，科技对人们的影响越来越大，在全球化加剧的现在，人们对于身份鉴别的需求越来越强烈。传统的个人识别码、密码、IC卡、密保卡等传统的身份鉴别技术由于操作不变、难以记忆等原因和信息时代的需求存在不小的差距。人脸识别是生物特征识别领域十分热门的课题，是继指纹识别之后，有希望广泛应用于社会经济活动和人们日常生活中的一种生物特征识别技术。人脸识别是一种利用人脸进行身份鉴别的生物特征识别技术。然而，在近代特别是随着计算机技术的发展，人脸识别通常是指基于计算机技术的人脸特征信息的识别技术。
基于视频的动态人脸识别越来越重要，视频中包含了丰富的人脸信息。但是容易受到光照、姿态等影响。目前人脸识别算法很多是针对正面人脸图像提出的，人脸的姿态一旦发生改变，识别率就会急剧下降。如何从视频中获得利于识别的人脸图像是其中关键的一步。
发明内容
本发明所要解决的技术问题是提供一种基于ASM的动态图像正面人脸重建系统及方法，能够较准确地获取到人脸的实际区域，排除类肤色像素干扰，能够有效地合成正面人脸图像，对于带有微表情人脸图像合成正面人脸具有一定的改善。
本发明解决上述技术问题的技术方案如下：一种基于ASM的动态图像正面人脸重建系统，包括动态视频人脸提取模块、人脸图像质量评估模块、人脸图像光照处理模块和正面人脸合成模块，
所述动态视频人脸提取模块，用于在视频中提取人脸图像序列，根据CAMShift-KLT人脸实际区域跟踪算法排除类肤色区域(如：脖子)的影响，使人脸图像序列的人脸跟踪区域和实际的人脸图像区域相一致；
所述人脸图像质量评估模块，用于对人脸图像序列的人脸跟踪区域的画面质量进行显著性得分计算，并设定图像选取数目，按图像选取数目从显著性得分的结果中选出分数高于预定值的目标画面人脸图像序列；
所述人脸图像光照处理模块，用于利用自适应的Gamma变换算法对选出的目标画面人脸图像序列中各人脸跟踪区域进行光照改善处理；
所述正面人脸合成模块，用于根据ASM算法和TPS薄板样条函数对光照改善处理后的各人脸跟踪区域进行定位处理，从而将目标画面人脸图像序列合成一张正面人脸图像。
本发明的有益效果是：动态视频人脸提取模块能够较准确地获取到人脸的实际区域，排除类肤色像素干扰；通过人脸图像质量评估模块和人脸图像光照处理模块能获取到目标的人脸图像序列；对这些获取到的目标的人脸图像采用ASM算法进行特征点定位，利用TPS薄板样条函数合成最终的人脸图像；本发明能够有效地合成正面人脸图像，对于带有微表情人脸图像合成正面人脸具有一定的改善。
在上述技术方案的基础上，本发明还可以做如下改进。
进一步，所述动态视频人脸提取模块包括初始化单元、人脸跟踪单元和更新单元，
所述初始化单元，用于在视频中提取人脸图像序列，并为人脸跟踪单元提供初始化；
CAMShift算法是由Mean shift算法发展而来，是一种通过爬升概率分布梯度来获得最近主峰的无参的方法；
KLT(Kanade-Lucas-Tomas i)算法是一种计算快速的基于光流法的跟踪算法。通过给定一对包含人脸的两幅图像，KLT算法可以对兴趣点实现检测和跟踪。人脸的一些特征，如边缘轮廓、嘴角、鼻孔、眉毛等可以借助KLT算法进行十分有效的跟踪。但是如果仅仅使用KLT算法，常常会出现跟踪点漂移和丢失；因此，本发明提出一种CAMShift-KLT人脸实际区域跟踪算法——
所述人脸跟踪单元，用于根据CAMShift-KLT人脸实际区域跟踪算法排除类肤色区域的影响，所述CAMShift-KLT人脸实际区域跟踪算法具体实现为：
假设CAMShift算法得到的人脸跟踪区域为c，设大于人脸区域的搜索窗口为跟踪的兴趣点的结合为P＝{p1,p2,...,pn}，得到有效的兴趣点集合为：
P'＝{pi|pi∈P∩pi∈C} (1-1)
初始化人脸的位置和搜索窗口
输入该视频序列的下一帧，同时获得该帧HSV图像；
计算HSV图像的搜索窗口的颜色直方图和2D概率分布图；
假设I(x,y)是概率分布图像在点(x,y)处的值，并给定移动的阈值A，利用公式
来寻找搜索窗口的形心，并将搜索窗口的中心移到形心位置,直至形心的移动小于阈值A，即得到最终的形心，其中xc、yc分别为形心的的横纵坐标，由(1-2)变换成第0阶距和第1阶距：
其中，M∞为第0阶距，M10、M01为第1阶距，
设人脸区域的长度l和宽度w为：通过公式
计算得到跟踪区域c的范围，其中
根据KLT算法得到用于跟踪兴趣点的集合P，兴趣点落在跟踪区域c范围之内，标记为有效兴趣点；兴趣点落在跟踪区域c范围之外，标记为无效兴趣点，根据公式(1-1)，得到最终人脸跟踪兴趣点的集合P'；
计算兴趣点集合P'的外接矩形，作为最终的人脸跟踪区域；
所述更新单元，用于根据人脸跟踪单元中获得的人脸跟踪区域进行更新，使人脸图像序列的人脸跟踪区域和实际的人脸图像区域相一致。
采用上述进一步方案的有益效果是：该算法得到的人脸跟踪区域和实际的人脸区域更接近，在实际场景中具有较高的铝棒性。
进一步，所述人脸图像质量评估模块包括眼部区域检测单元、眼部显著性单元和选取单元，
所述眼部区域检测单元，用于从人脸图像序列的人脸跟踪区域中提取眼部区域；
所述眼部显著性单元，用于根据左眼和右眼的明亮度计算人脸图像序列的各个人脸跟踪区域显著性得分；
所述选取单元，用于设定图像选取数目，按图像选取数目从显著性得分的结果中选出分数高于预定值的目标画面人脸图像序列。
采用上述进一步方案的有益效果是：由于标准的人脸的显著图的明亮区域主要集中在两只眼睛的位置，随着光照条件、头部姿态、清晰度、表情等变化，显著图的明亮区域会发生相应变化，从人类视觉感受出发，提出一种基于显著性检测的、结合人脸先验知识的人脸图像特征提取的方法。
进一步，所述人脸图像光照处理模块平滑单元、分块单元和Gamma变换处理单元，
所述平滑单元，用于对选出的目标画面人脸图像序列中各人脸跟踪区域进行平滑处理；
所述分块单元，用于对平滑后的各人脸跟踪区域分别进行分块处理；
所述Gamma变换处理单元，用于获取Gamma变换的最优变换值，并根据Gamma变换算法对分成小块的各人脸跟踪区域进行光照改善处理。
进一步，所述正面人脸合成模块根据ASM算法对光照改善处理后的各人脸跟踪区域进行特征点定位，得到定位点，根据TPS薄板样条函数对定位点进行合成处理，从而将目标画面人脸图像序列合成一张正面人脸图像。
采用上述进一步方案的有益效果是：能够有效地合成正面人脸图像，对于带有微表情人脸图像合成正面人脸具有一定的改善，并且有效地改善光照的变化对人脸识别算法的影响。
本发明解决上述技术问题的另一技术方案如下：一种基于ASM的动态图像正面人脸重建方法，包括如下步骤：
步骤S1：在视频中提取人脸图像序列，根据CAMShift-KLT人脸实际区域跟踪算法排除类肤色区域的影响，使人脸图像序列的人脸跟踪区域和实际的人脸图像区域相一致；
步骤S2：对人脸图像序列的人脸跟踪区域的画面质量进行显著性得分计算，并设定图像选取数目，按图像选取数目从显著性得分的结果中选出分数高于预定值的目标画面人脸图像序列；
步骤S3：利用自适应的Gamma变换算法对选出的目标画面人脸图像序列中各人脸跟踪区域进行光照改善处理；
步骤S4：根据ASM算法和TPS薄板样条函数对光照改善处理后的各人脸跟踪区域进行定位处理，从而将目标画面人脸图像序列合成一张正面人脸图像。
在上述技术方案的基础上，本发明还可以做如下改进。
进一步，实现所述步骤S1的具体步骤为：
步骤S101：在视频中提取人脸图像序列，进行初始化；
步骤S102：根据CAMShift-KLT人脸实际区域跟踪算法排除类肤色区域的影响，所述CAMShift-KLT人脸实际区域跟踪算法具体实现为：
假设CAMShift算法得到的人脸跟踪区域为c，设大于人脸区域的搜索窗口为跟踪的兴趣点的结合为P＝{p1,p2,...,pn}，得到有效的兴趣点集合为：
P'＝{pi|pi∈P∩pi∈C} (1-1)
初始化人脸的位置和搜索窗口
输入该视频序列的下一帧，同时获得该帧HSV图像；
计算HSV图像的搜索窗口的颜色直方图和2D概率分布图；
假设I(x,y)是概率分布图像在点(x,y)处的值，并给定移动的阈值A，利用公式
来寻找搜索窗口的形心，并将搜索窗口的中心移到形心位置,直至形心的移动小于阈值A，即得到最终的形心，其中xc、yc分别为形心的的横纵坐标，由(1-2)变换成第0阶距和第1阶距：
其中，M∞为第0阶距，M10、M01为第1阶距，
设人脸区域的长度l和宽度w为：通过公式
根据KLT算法得到用于跟踪兴趣点的集合P，兴趣点落在跟踪区域c范围之内，标记为有效兴趣点；兴趣点落在跟踪区域c范围之外，标记为无效兴趣点，根据公式(1-1)，得到最终人脸跟踪兴趣点的集合P'；
计算兴趣点集合P'的外接矩形，作为最终的人脸跟踪区域；
步骤S103：对获得的人脸跟踪区域进行更新，使人脸图像序列的人脸跟踪区域和实际的人脸图像区域相一致。
进一步，实现所述步骤S2的具体步骤为：
步骤S201：从人脸图像序列的人脸跟踪区域中提取眼部区域；
步骤S202：根据左眼和右眼的明亮度计算人脸图像序列的各个人脸跟踪区域显著性得分；
步骤S203：设定图像选取数目，按图像选取数目从显著性得分的结果中选出分数高于预定值的目标画面人脸图像序列。
进一步，实现所述步骤S3的具体步骤为：
步骤S301：对选出的目标画面人脸图像序列中各人脸跟踪区域进行平滑处理；
步骤S302：对平滑后的各人脸跟踪区域分别进行分块处理；
步骤S303：获取Gamma变换的最优变换值，并根据Gamma变换算法对分成小块的各人脸跟踪区域进行光照改善处理。
进一步，实现步骤S4的具体方法为：根据ASM算法对光照改善处理后的各人脸跟踪区域进行特征点定位，得到定位点，根据TPS薄板样条函数对定位点进行合成处理，从而将目标画面人脸图像序列合成一张正面人脸图像。
附图说明
图1为本发明基于ASM的动态图像正面人脸重建系统的模块框图；
图2为本发明基于ASM的动态图像正面人脸重建方法的方法流程图；
图3为本发明具体实施步骤S3的方法流程图；
图4为本发明动态视频人脸提取模块的子单元框图；
图5为本发明人脸图像质量评估模块的子单元框图；
图6为本发明人脸图像光照处理模块的子单元框图。
附图中，各标记所代表的部件名称如下：
1、动态视频人脸提取模块,2、人脸图像质量评估模块,3、人脸图像光照处理模块,4、正面人脸合成模块，101、初始化单元，102、人脸跟踪单元，103、更新单元，201、眼部区域检测单元，202、眼部显著性单元，203、选取单元，301、平滑单元，302、分块单元，303、Gamma变换处理单元。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
如图1所示，一种基于ASM的动态图像正面人脸重建系统，包括动态视频人脸提取模块1、人脸图像质量评估模块2、人脸图像光照处理模块3和正面人脸合成模块4，
所述动态视频人脸提取模块1，用于在视频中提取人脸图像序列，根据CAMShift-KLT人脸实际区域跟踪算法排除类肤色区域的影响，使人脸图像序列的人脸跟踪区域和实际的人脸图像区域相一致；
所述人脸图像质量评估模块2，用于对人脸图像序列的人脸跟踪区域的画面质量进行显著性得分计算，并设定图像选取数目，按图像选取数目从显著性得分的结果中选出分数高于预定值的目标画面人脸图像序列；设定图像选取数目为10，则从显著性得分的结果中选出前10张画面人脸图像；
所述人脸图像光照处理模块3，用于利用自适应的Gamma变换算法对选出的目标画面人脸图像序列中各人脸跟踪区域进行光照改善处理；
所述正面人脸合成模块4，用于根据ASM算法和TPS薄板样条函数对光照改善处理后的各人脸跟踪区域进行定位处理，从而将目标画面人脸图像序列合成一张正面人脸图像。
如图4所示，所述动态视频人脸提取模块1包括初始化单元101、人脸跟踪单元102和更新单元103，
所述初始化单元101，用于在视频中提取人脸图像序列，并为人脸跟踪单元102提供初始化；
CAMShift算法是由Mean shift算法发展而来，是一种通过爬升概率分布梯度来获得最近主峰的无参的方法；
KLT(Kanade-Lucas-Tomas i)算法是一种计算快速的基于光流法的跟踪算法。通过给定一对包含人脸的两幅图像，KLT算法可以对兴趣点实现检测和跟踪。人脸的一些特征，如边缘轮廓、嘴角、鼻孔、眉毛等可以借助KLT算法进行十分有效的跟踪。但是如果仅仅使用KLT算法，常常会出现跟踪点漂移和丢失；因此，本发明提出一种CAMShift-KLT人脸实际区域跟踪算法——
所述人脸跟踪单元102，用于根据CAMShift-KLT人脸实际区域跟踪算法排除类肤色区域的影响，所述CAMShift-KLT人脸实际区域跟踪算法具体实现为：
假设CAMShift算法得到的人脸跟踪区域为c，设大于人脸区域的搜索窗口为跟踪的兴趣点的结合为P＝{p1,p2,...,pn}，得到有效的兴趣点集合为：
P'＝{pi|pi∈P∩pi∈C} (1-1)
初始化人脸的位置和搜索窗口
输入该视频序列的下一帧，同时获得该帧HSV图像；
计算HSV图像的搜索窗口的颜色直方图和2D概率分布图；
假设I(x,y)是概率分布图像在点(x,y)处的值，并给定移动的阈值A，利用公式
来寻找搜索窗口的形心，并将搜索窗口的中心移到形心位置,直至形心的移动小于阈值A，即得到最终的形心，其中xc、yc分别为形心的的横纵坐标，由(1-2)变换成第0阶距和第1阶距：
其中，M∞为第0阶距，M10、M01为第1阶距，
设人脸区域的长度l和宽度w为：通过公式
计算得到跟踪区域c的范围，其中
根据KLT算法得到用于跟踪兴趣点的集合P，兴趣点落在跟踪区域c范围之内，标记为有效兴趣点；兴趣点落在跟踪区域c范围之外，标记为无效兴趣点，根据公式(1-1)，得到最终人脸跟踪兴趣点的集合P'；
计算兴趣点集合P'的外接矩形，作为最终的人脸跟踪区域；
所述更新单元103，用于根据人脸跟踪单元102中获得的人脸跟踪区域进行更新，使人脸图像序列的人脸跟踪区域和实际的人脸图像区域相一致。
如图5所示，所述人脸图像质量评估模块2包括眼部区域检测单元201、眼部显著性单元202和选取单元203，
所述眼部区域检测单元201，用于从人脸图像序列的人脸跟踪区域中提取眼部区域；
所述眼部显著性单元202，用于根据左眼和右眼的明亮度计算人脸图像序列的各个人脸跟踪区域显著性得分；
所述选取单元203，用于设定图像选取数目，按图像选取数目从显著性得分的结果中选出分数高于预定值的目标画面人脸图像序列。
如图6所示，所述人脸图像光照处理模块3平滑单元301、分块单元302和Gamma变换处理单元303，
所述平滑单元301，用于对选出的目标画面人脸图像序列中各人脸跟踪区域进行平滑处理；
所述分块单元302，用于对平滑后的各人脸跟踪区域分别进行分块处理；
所述Gamma变换处理单元303，用于获取Gamma变换的最优变换值，并根据Gamma变换算法对分成小块的各人脸跟踪区域进行光照改善处理；
具体实施为：将人脸跟踪区域平均分成4个子区域，来估计出左侧光照良好还是右侧光照良好。如果左侧光照良好，那么左上分块作为一张标准图，来校正上半边人脸的两个分块；左下分块作为另一张标准图，来校正下半边人脸的两个分块；如果右侧光照良好，那么右上分块作为一张标准图，来校正上半边人脸的两个分块；右下分块作为另一张标准图，来校正下半边人脸的两个分块。
所述正面人脸合成模块4根据ASM算法对光照改善处理后的各人脸跟踪区域进行特征点定位，得到定位点，根据TPS薄板样条函数对定位点进行合成处理，从而将目标画面人脸图像序列合成一张正面人脸图像。
如图2所示，一种基于ASM的动态图像正面人脸重建方法，包括如下步骤：
步骤S1：在视频中提取人脸图像序列，根据CAMShift-KLT人脸实际区域跟踪算法排除类肤色区域的影响，使人脸图像序列的人脸跟踪区域和实际的人脸图像区域相一致；
步骤S2：对人脸图像序列的人脸跟踪区域的画面质量进行显著性得分计算，并设定图像选取数目，按图像选取数目从显著性得分的结果中选出分数高于预定值的目标画面人脸图像序列；
步骤S3：利用自适应的Gamma变换算法对选出的目标画面人脸图像序列中各人脸跟踪区域进行光照改善处理；
步骤S4：根据ASM算法和TPS薄板样条函数对光照改善处理后的各人脸跟踪区域进行定位处理，从而将目标画面人脸图像序列合成一张正面人脸图像。
实现所述步骤S1的具体步骤为：
步骤S101：在视频中提取人脸图像序列，进行初始化；
步骤S102：根据CAMShift-KLT人脸实际区域跟踪算法排除类肤色区域的影响，所述CAMShift-KLT人脸实际区域跟踪算法具体实现为：
假设CAMShift算法得到的人脸跟踪区域为c，设大于人脸区域的搜索窗口为跟踪的兴趣点的结合为P＝{p1,p2,...,pn}，得到有效的兴趣点集合为：
P'＝{pi|pi∈P∩pi∈C} (1-1)
初始化人脸的位置和搜索窗口
输入该视频序列的下一帧，同时获得该帧HSV图像；
计算HSV图像的搜索窗口的颜色直方图和2D概率分布图；
假设I(x,y)是概率分布图像在点(x,y)处的值，并给定移动的阈值A，利用公式
来寻找搜索窗口的形心，并将搜索窗口的中心移到形心位置,直至形心的移动小于阈值A，即得到最终的形心，其中xc、yc分别为形心的的横纵坐标，由(1-2)变换成第0阶距和第1阶距：
其中，M∞为第0阶距，M10、M01为第1阶距，
设人脸区域的长度l和宽度w为：通过公式
计算得到跟踪区域c的范围，其中
根据KLT算法得到用于跟踪兴趣点的集合P，兴趣点落在跟踪区域c范围之内，标记为有效兴趣点；兴趣点落在跟踪区域c范围之外，标记为无效兴趣点，根据公式(1-1)，得到最终人脸跟踪兴趣点的集合P'；
计算兴趣点集合P'的外接矩形，作为最终的人脸跟踪区域；
步骤S103：对获得的人脸跟踪区域进行更新，使人脸图像序列的人脸跟踪区域和实际的人脸图像区域相一致。
实现所述步骤S2的具体步骤为：
步骤S201：从人脸图像序列的人脸跟踪区域中提取眼部区域；
步骤S202：根据左眼和右眼的明亮度计算人脸图像序列的各个人脸跟踪区域显著性得分；
步骤S203：设定图像选取数目，按图像选取数目从显著性得分的结果中选出分数高于预定值的目标画面人脸图像序列。
如图3所示，实现所述步骤S3的具体步骤为：
步骤S301：对选出的目标画面人脸图像序列中各人脸跟踪区域进行平滑处理；
步骤S302：对平滑后的各人脸跟踪区域分别进行分块处理；
步骤S303：获取Gamma变换的最优变换值，并根据Gamma变换算法对分成小块的各人脸跟踪区域进行光照改善处理。
实现步骤S4的具体方法为：根据ASM算法对光照改善处理后的各人脸跟踪区域进行特征点定位，得到定位点，根据TPS薄板样条函数对定位点进行合成处理，从而将目标画面人脸图像序列合成一张正面人脸图像。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于ASM的动态图像正面人脸重建系统，其特征在于，包括动态视频人脸提取模块(1)、人脸图像质量评估模块(2)、人脸图像光照处理模块(3)和正面人脸合成模块(4)，
所述动态视频人脸提取模块(1)，用于在视频中提取人脸图像序列，根据CAMShift-KLT人脸实际区域跟踪算法排除类肤色区域的影响，使人脸图像序列的人脸跟踪区域和实际的人脸图像区域相一致；
所述动态视频人脸提取模块(1)包括初始化单元(101)、人脸跟踪单元(102)和更新单元(103)，
所述初始化单元(101)，用于在视频中提取人脸图像序列，并为人脸跟踪单元(102)提供初始化；
所述人脸跟踪单元(102)，用于根据CAMShift-KLT人脸实际区域跟踪算法排除类肤色区域的影响，所述CAMShift-KLT人脸实际区域跟踪算法具体实现为：
假设CAMShift算法得到的人脸跟踪区域为c，设大于人脸区域的搜索窗口为跟踪的兴趣点的结合为P＝{p1,p2,...,pn}，得到有效的兴趣点集合为：
P'＝{pi|pi∈P∩pi∈C} (1-1)
初始化人脸的位置和搜索窗口
输入该视频序列的下一帧，同时获得该帧HSV图像；
计算HSV图像的搜索窗口的颜色直方图和2D概率分布图；
假设I(x,y)是概率分布图像在点(x,y)处的值，并给定移动的阈值A，利用公式
来寻找搜索窗口的形心，并将搜索窗口的中心移到形心位置,直至形心的移动小于阈值A，即得到最终的形心，其中xc、yc分别为形心的的横纵坐标，由(1-2)变换成第0阶距和第1阶距：
其中，M00为第0阶距，M10、M01为第1阶距，
设人脸区域的长度l和宽度w为：通过公式
计算得到跟踪区域c的范围，其中
根据KLT算法得到用于跟踪兴趣点的集合P，兴趣点落在跟踪区域c范围之内，标记为有效兴趣点；兴趣点落在跟踪区域c范围之外，标记为无效兴趣点，根据公式(1-1)，得到最终人脸跟踪兴趣点的集合P'；
计算兴趣点集合P'的外接矩形，作为最终的人脸跟踪区域；
所述更新单元(103)，用于根据人脸跟踪单元(102)中获得的人脸跟踪区域进行更新，使人脸图像序列的人脸跟踪区域和实际的人脸图像区域相一致；
所述人脸图像质量评估模块(2)，用于对人脸图像序列的人脸跟踪区域的画面质量进行显著性得分计算，并设定图像选取数目，按图像选取数目从显著性得分的结果中选出分数高于预定值的目标画面人脸图像序列；
所述人脸图像光照处理模块(3)，用于利用自适应的Gamma变换算法对选出的目标画面人脸图像序列中各人脸跟踪区域进行光照改善处理；
所述正面人脸合成模块(4)，用于根据ASM算法和TPS薄板样条函数对光照改善处理后的各人脸跟踪区域进行定位处理，从而将目标画面人脸图像序列合成一张正面人脸图像。
2.根据权利要求1所述的基于ASM的动态图像正面人脸重建系统，其特征在于，所述人脸图像质量评估模块(2)包括眼部区域检测单元(201)、眼部显著性单元(202)和选取单元(203)，
所述眼部区域检测单元(201)，用于从人脸图像序列的人脸跟踪区域中提取眼部区域；
所述眼部显著性单元(202)，用于根据左眼和右眼的明亮度计算人脸图像序列的各个人脸跟踪区域显著性得分；
所述选取单元(203)，用于设定图像选取数目，按图像选取数目从显著性得分的结果中选出分数高于预定值的目标画面人脸图像序列。
3.根据权利要求1所述的基于ASM的动态图像正面人脸重建系统，其特征在于，所述人脸图像光照处理模块(3)平滑单元(301)、分块单元(302)和Gamma变换处理单元(303)，
所述平滑单元(301)，用于对选出的目标画面人脸图像序列中各人脸跟踪区域进行平滑处理；
所述分块单元(302)，用于对平滑后的各人脸跟踪区域分别进行分块处理；
所述Gamma变换处理单元(303)，用于获取Gamma变换的最优变换值，并根据Gamma变换算法对分成小块的各人脸跟踪区域进行光照改善处理。
4.根据权利要求1所述的基于ASM的动态图像正面人脸重建系统，其特征在于，所述正面人脸合成模块(4)根据ASM算法对光照改善处理后的各人脸跟踪区域进行特征点定位，得到定位点，根据TPS薄板样条函数对定位点进行合成处理，从而将目标画面人脸图像序列合成一张正面人脸图像。
5.一种基于ASM的动态图像正面人脸重建方法，其特征在于，包括如下步骤：
步骤S1：在视频中提取人脸图像序列，根据CAMShift-KLT人脸实际区域跟踪算法排除类肤色区域的影响，使人脸图像序列的人脸跟踪区域和实际的人脸图像区域相一致；实现所述步骤S1的具体步骤为：
步骤S101：在视频中提取人脸图像序列，进行初始化；
步骤S102：根据CAMShift-KLT人脸实际区域跟踪算法排除类肤色区域的影响，所述CAMShift-KLT人脸实际区域跟踪算法具体实现为：
假设CAMShift算法得到的人脸跟踪区域为c，设大于人脸区域的搜索窗口为跟踪的兴趣点的结合为P＝{p1,p2,...,pn}，得到有效的兴趣点集合为：
P'＝{pi|pi∈P∩pi∈C} (1-1)
初始化人脸的位置和搜索窗口
输入该视频序列的下一帧，同时获得该帧HSV图像；
计算HSV图像的搜索窗口的颜色直方图和2D概率分布图；
假设I(x,y)是概率分布图像在点(x,y)处的值，并给定移动的阈值A，利用公式
来寻找搜索窗口的形心，并将搜索窗口的中心移到形心位置,直至形心的移动小于阈值A，即得到最终的形心，其中xc、yc分别为形心的的横纵坐标，由(1-2)变换成第0阶距和第1阶距：
其中，M00为第0阶距，M10、M01为第1阶距，
设人脸区域的长度l和宽度w为：通过公式
计算得到跟踪区域c的范围，其中
根据KLT算法得到用于跟踪兴趣点的集合P，兴趣点落在跟踪区域c范围之内，标记为有效兴趣点；兴趣点落在跟踪区域c范围之外，标记为无效兴趣点，根据公式(1-1)，得到最终人脸跟踪兴趣点的集合P'；
计算兴趣点集合P'的外接矩形，作为最终的人脸跟踪区域；
步骤S103：对获得的人脸跟踪区域进行更新，使人脸图像序列的人脸跟踪区域和实际的人脸图像区域相一致；
步骤S2：对人脸图像序列的人脸跟踪区域的画面质量进行显著性得分计算，并设定图像选取数目，按图像选取数目从显著性得分的结果中选出分数高于预定值的目标画面人脸图像序列；
步骤S3：利用自适应的Gamma变换算法对选出的目标画面人脸图像序列中各人脸跟踪区域进行光照改善处理；
步骤S4：根据ASM算法和TPS薄板样条函数对光照改善处理后的各人脸跟踪区域进行定位处理，从而将目标画面人脸图像序列合成一张正面人脸图像。
6.根据权利要求5所述的基于ASM的动态图像正面人脸重建方法，其特征在于，实现所述步骤S2的具体步骤为：
步骤S201：从人脸图像序列的人脸跟踪区域中提取眼部区域；
步骤S202：根据左眼和右眼的明亮度计算人脸图像序列的各个人脸跟踪区域显著性得分；
步骤S203：设定图像选取数目，按图像选取数目从显著性得分的结果中选出分数高于预定值的目标画面人脸图像序列。
7.根据权利要求5所述的基于ASM的动态图像正面人脸重建方法，其特征在于，实现所述步骤S3的具体步骤为：
步骤S301：对选出的目标画面人脸图像序列中各人脸跟踪区域进行平滑处理；
步骤S302：对平滑后的各人脸跟踪区域分别进行分块处理；
步骤S303：获取Gamma变换的最优变换值，并根据Gamma变换算法对分成小块的各人脸跟踪区域进行光照改善处理。
8.根据权利要求5至7任一项所述的基于ASM的动态图像正面人脸重建方法，其特征在于，实现步骤S4的具体方法为：根据ASM算法对光照改善处理后的各人脸跟踪区域进行特征点定位，得到定位点，根据TPS薄板样条函数对定位点进行合成处理，从而将目标画面人脸图像序列合成一张正面人脸图像。
CN201510602635.3A 2015-09-18 2015-09-18 一种基于asm的动态图像正面人脸重建系统及方法 Expired - Fee Related CN105184273B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510602635.3A CN105184273B (zh) 2015-09-18 2015-09-18 一种基于asm的动态图像正面人脸重建系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510602635.3A CN105184273B (zh) 2015-09-18 2015-09-18 一种基于asm的动态图像正面人脸重建系统及方法

Publications (2)

Publication Number Publication Date
CN105184273A CN105184273A (zh) 2015-12-23
CN105184273B true CN105184273B (zh) 2018-07-17

Family

ID=54906340

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510602635.3A Expired - Fee Related CN105184273B (zh) 2015-09-18 2015-09-18 一种基于asm的动态图像正面人脸重建系统及方法

Country Status (1)

Country Link
CN (1) CN105184273B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110650239B (zh) * 2018-06-26 2021-03-16 百度在线网络技术（北京）有限公司 图像处理方法、装置、计算机设备及存储介质
CN109345470B (zh) * 2018-09-07 2021-11-23 华南理工大学 人脸图像融合方法和系统
CN110197462A (zh) * 2019-04-16 2019-09-03 浙江理工大学 一种人脸图像实时美化与纹理合成方法
CN111192241B (zh) * 2019-12-23 2024-02-13 深圳市优必选科技股份有限公司 一种人脸图像的质量评估方法、装置及计算机存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103268475A (zh) * 2013-05-10 2013-08-28 中科创达软件股份有限公司 一种基于人脸、肤色检测的皮肤美容方法
CN103400114A (zh) * 2013-07-18 2013-11-20 上海交通大学 针对人脸识别的光照归一化处理系统
CN104008370A (zh) * 2014-05-19 2014-08-27 清华大学 一种视频人脸识别方法
CN104331151A (zh) * 2014-10-11 2015-02-04 中国传媒大学 基于光流法的手势运动方向识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10586570B2 (en) * 2014-02-05 2020-03-10 Snap Inc. Real time video processing for changing proportions of an object in the video

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103268475A (zh) * 2013-05-10 2013-08-28 中科创达软件股份有限公司 一种基于人脸、肤色检测的皮肤美容方法
CN103400114A (zh) * 2013-07-18 2013-11-20 上海交通大学 针对人脸识别的光照归一化处理系统
CN104008370A (zh) * 2014-05-19 2014-08-27 清华大学 一种视频人脸识别方法
CN104331151A (zh) * 2014-10-11 2015-02-04 中国传媒大学 基于光流法的手势运动方向识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于肤色模型的三维人脸重建;张锦华;《郑州轻工业学院学报》;20111231;第26卷(第6期);第71-74页 *

Also Published As

Publication number Publication date
CN105184273A (zh) 2015-12-23

Similar Documents

Publication Publication Date Title
CN108876879B (zh) 人脸动画实现的方法、装置、计算机设备及存储介质
CN103761519B (zh) 一种基于自适应校准的非接触式视线追踪方法
CN105447466B (zh) 一种基于Kinect传感器的身份综合识别方法
CN109584251A (zh) 一种基于单目标区域分割的舌体图像分割方法
CN101305913B (zh) 一种基于视频的人脸美丽评价方法
CN104299011A (zh) 一种基于人脸图像识别的肤质与皮肤问题识别检测方法
CN105184273B (zh) 一种基于asm的动态图像正面人脸重建系统及方法
CN105469113A (zh) 一种二维视频流中的人体骨骼点追踪方法及系统
CN105138954A (zh) 一种图像自动筛选查询识别系统
CN109558825A (zh) 一种基于数字视频图像处理的瞳孔中心定位方法
CN103902958A (zh) 人脸识别的方法
CN103456010A (zh) 一种基于特征点定位的人脸卡通画生成方法
CN104573634A (zh) 一种三维人脸识别方法
CN108197534A (zh) 一种人头部姿态检测方法、电子设备及存储介质
CN103218605A (zh) 一种基于积分投影与边缘检测的快速人眼定位方法
CN109086724A (zh) 一种加速的人脸检测方法及存储介质
CN107066969A (zh) 一种人脸识别方法
CN103745206B (zh) 一种人脸识别方法及系统
CN109902565A (zh) 多特征融合的人体行为识别方法
CN110287894A (zh) 一种针对超广角视频的手势识别方法及系统
CN102024156A (zh) 彩色人脸图像中的唇部区域定位方法
Hasan et al. Features fitting using multivariate gaussian distribution for hand gesture recognition
CN110032932A (zh) 一种基于视频处理和决策树设定阈值的人体姿态识别方法
CN104794449A (zh) 基于人体hog特征的步态能量图获取及身份识别方法
CN111476077A (zh) 一种基于深度学习的多视角步态识别方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180717

Termination date: 20210918