CN105184273A - 一种基于asm的动态图像正面人脸重建系统及方法 - Google Patents

Abstract

本发明提供一种基于ASM的动态图像正面人脸重建系统及方法，本系统包括动态视频人脸提取模块、人脸图像质量评估模块、人脸图像光照处理模块和正面人脸合成模块；动态视频人脸提取模块能够较准确地获取到人脸的实际区域，排除类肤色像素干扰；通过人脸图像质量评估模块和人脸图像光照处理模块能获取到高质量的人脸图像序列；对这些获取到的高质量的人脸图像采用ASM进行特征点定位，利用TPS薄板样条函数合成最终的人脸图像；本发明能够有效地合成正面人脸图像，对于带有微表情人脸图像合成正面人脸具有一定的改善。

Description

一种基于ASM的动态图像正面人脸重建系统及方法

技术领域

本发明主要涉及图像处理技术领域，具体涉及一种基于ASM的动态图像正面人脸重建系统及方法。

背景技术

随着计算机的普及、智能设备的出现，科技对人们的影响越来越大，在全球化加剧的现在，人们对于身份鉴别的需求越来越强烈。传统的个人识别码、密码、IC卡、密保卡等传统的身份鉴别技术由于操作不变、难以记忆等原因和信息时代的需求存在不小的差距。人脸识别是生物特征识别领域十分热门的课题，是继指纹识别之后，有希望广泛应用于社会经济活动和人们日常生活中的一种生物特征识别技术。人脸识别是一种利用人脸进行身份鉴别的生物特征识别技术。然而，在近代特别是随着计算机技术的发展，人脸识别通常是指基于计算机技术的人脸特征信息的识别技术。

基于视频的动态人脸识别越来越重要，视频中包含了丰富的人脸信息。但是容易受到光照、姿态等影响。目前人脸识别算法很多是针对正面人脸图像提出的，人脸的姿态一旦发生改变，识别率就会急剧下降。如何从视频中获得利于识别的人脸图像是其中关键的一步。

发明内容

本发明所要解决的技术问题是提供一种基于ASM的动态图像正面人脸重建系统及方法，能够较准确地获取到人脸的实际区域，排除类肤色像素干扰，能够有效地合成正面人脸图像，对于带有微表情人脸图像合成正面人脸具有一定的改善。

本发明解决上述技术问题的技术方案如下：一种基于ASM的动态图像正面人脸重建系统，包括动态视频人脸提取模块、人脸图像质量评估模块、人脸图像光照处理模块和正面人脸合成模块，

所述动态视频人脸提取模块，用于在视频中提取人脸图像序列，根据CAMShift-KLT人脸实际区域跟踪算法排除类肤色区域(如：脖子)的影响，使人脸图像序列的人脸跟踪区域和实际的人脸图像区域相一致；

所述人脸图像质量评估模块，用于对人脸图像序列的人脸跟踪区域的画面质量进行显著性得分计算，并设定图像选取数目，按图像选取数目从显著性得分的结果中选出分数高于预定值的目标画面人脸图像序列；

所述人脸图像光照处理模块，用于利用自适应的Gamma变换算法对选出的目标画面人脸图像序列中各人脸跟踪区域进行光照改善处理；

所述正面人脸合成模块，用于根据ASM算法和TPS薄板样条函数对光照改善处理后的各人脸跟踪区域进行定位处理，从而将目标画面人脸图像序列合成一张正面人脸图像。

本发明的有益效果是：动态视频人脸提取模块能够较准确地获取到人脸的实际区域，排除类肤色像素干扰；通过人脸图像质量评估模块和人脸图像光照处理模块能获取到目标的人脸图像序列；对这些获取到的目标的人脸图像采用ASM算法进行特征点定位，利用TPS薄板样条函数合成最终的人脸图像；本发明能够有效地合成正面人脸图像，对于带有微表情人脸图像合成正面人脸具有一定的改善。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述动态视频人脸提取模块包括初始化单元、人脸跟踪单元和更新单元，

所述初始化单元，用于在视频中提取人脸图像序列，并为人脸跟踪单元提供初始化；

CAMShift算法是由Meanshift算法发展而来，是一种通过爬升概率分布梯度来获得最近主峰的无参的方法；

KLT(Kanade-Lucas-Tomasi)算法是一种计算快速的基于光流法的跟踪算法。通过给定一对包含人脸的两幅图像，KLT算法可以对兴趣点实现检测和跟踪。人脸的一些特征，如边缘轮廓、嘴角、鼻孔、眉毛等可以借助KLT算法进行十分有效的跟踪。但是如果仅仅使用KLT算法，常常会出现跟踪点漂移和丢失；因此，本发明提出一种CAMShift-KLT人脸实际区域跟踪算法——

所述人脸跟踪单元，用于根据CAMShift-KLT人脸实际区域跟踪算法排除类肤色区域的影响，所述CAMShift-KLT人脸实际区域跟踪算法具体实现为：

假设CAMShift算法得到的人脸跟踪区域为c，设大于人脸区域的搜索窗口为跟踪的兴趣点的结合为P＝{p₁,p₂,...,p_n}，得到有效的兴趣点集合为：

P'＝{p_i|p_i∈P∩p_i∈C}(1-1)

初始化人脸的位置和搜索窗口

输入该视频序列的下一帧，同时获得该帧HSV图像；

计算HSV图像的搜索窗口的颜色直方图和2D概率分布图；

假设I(x,y)是概率分布图像在点(x,y)处的值，并给定移动的阈值A，利用公式

$x_c=\frac{M_{10}}{M_{00}},y_c=\frac{M_{01}}{M_{00}}---(1-2)$

来寻找搜索窗口的形心，并将搜索窗口的中心移到形心位置,直至形心的移动小于阈值A，即得到最终的形心，其中x_c、y_c分别为形心的的横纵坐标，由(1-2)变换成第0阶距和第1阶距：

$M_{00}=\underset{x}{\Σ}\underset{y}{\Σ}I(x,y)$

$M_{10}=\underset{x}{\Σ}\underset{y}{\Σ}xI(x,y)$

$M_{01}=\underset{x}{\Σ}\underset{y}{\Σ}yI(x,y)$

其中，M_∞为第0阶距，M₁₀、M₀₁为第1阶距，

设人脸区域的长度l和宽度w为：通过公式

$\begin{array}{c}l=\sqrt{(\left(a+c\right)+\sqrt{b^2+{\left(a-c\right)}^2}/2}\\ w=\sqrt{(\left(a+c\right)-\sqrt{b^2+{\left(a-c\right)}^2}/2}\end{array}---\left(1-3\right)$

计算得到跟踪区域c的范围，其中

根据KLT算法得到用于跟踪兴趣点的集合P，兴趣点落在跟踪区域c范围之内，标记为有效兴趣点；兴趣点落在跟踪区域c范围之外，标记为无效兴趣点，根据公式(1-1)，得到最终人脸跟踪兴趣点的集合P'；

计算兴趣点集合P'的外接矩形，作为最终的人脸跟踪区域；

所述更新单元，用于根据人脸跟踪单元中获得的人脸跟踪区域进行更新，使人脸图像序列的人脸跟踪区域和实际的人脸图像区域相一致。

采用上述进一步方案的有益效果是：该算法得到的人脸跟踪区域和实际的人脸区域更接近，在实际场景中具有较高的铝棒性。

进一步，所述人脸图像质量评估模块包括眼部区域检测单元、眼部显著性单元和选取单元，

所述眼部区域检测单元，用于从人脸图像序列的人脸跟踪区域中提取眼部区域；

所述眼部显著性单元，用于根据左眼和右眼的明亮度计算人脸图像序列的各个人脸跟踪区域显著性得分；

所述选取单元，用于设定图像选取数目，按图像选取数目从显著性得分的结果中选出分数高于预定值的目标画面人脸图像序列。

采用上述进一步方案的有益效果是：由于标准的人脸的显著图的明亮区域主要集中在两只眼睛的位置，随着光照条件、头部姿态、清晰度、表情等变化，显著图的明亮区域会发生相应变化，从人类视觉感受出发，提出一种基于显著性检测的、结合人脸先验知识的人脸图像特征提取的方法。

进一步，所述人脸图像光照处理模块平滑单元、分块单元和Gamma变换处理单元，

所述平滑单元，用于对选出的目标画面人脸图像序列中各人脸跟踪区域进行平滑处理；

所述分块单元，用于对平滑后的各人脸跟踪区域分别进行分块处理；

所述Gamma变换处理单元，用于获取Gamma变换的最优变换值，并根据Gamma变换算法对分成小块的各人脸跟踪区域进行光照改善处理。

进一步，所述正面人脸合成模块根据ASM算法对光照改善处理后的各人脸跟踪区域进行特征点定位，得到定位点，根据TPS薄板样条函数对定位点进行合成处理，从而将目标画面人脸图像序列合成一张正面人脸图像。

采用上述进一步方案的有益效果是：能够有效地合成正面人脸图像，对于带有微表情人脸图像合成正面人脸具有一定的改善，并且有效地改善光照的变化对人脸识别算法的影响。

本发明解决上述技术问题的另一技术方案如下：一种基于ASM的动态图像正面人脸重建方法，包括如下步骤：

步骤S1：在视频中提取人脸图像序列，根据CAMShift-KLT人脸实际区域跟踪算法排除类肤色区域的影响，使人脸图像序列的人脸跟踪区域和实际的人脸图像区域相一致；

步骤S2：对人脸图像序列的人脸跟踪区域的画面质量进行显著性得分计算，并设定图像选取数目，按图像选取数目从显著性得分的结果中选出分数高于预定值的目标画面人脸图像序列；

步骤S3：利用自适应的Gamma变换算法对选出的目标画面人脸图像序列中各人脸跟踪区域进行光照改善处理；

步骤S4：根据ASM算法和TPS薄板样条函数对光照改善处理后的各人脸跟踪区域进行定位处理，从而将目标画面人脸图像序列合成一张正面人脸图像。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，实现所述步骤S1的具体步骤为：

步骤S101：在视频中提取人脸图像序列，进行初始化；

步骤S102：根据CAMShift-KLT人脸实际区域跟踪算法排除类肤色区域的影响，所述CAMShift-KLT人脸实际区域跟踪算法具体实现为：

假设CAMShift算法得到的人脸跟踪区域为c，设大于人脸区域的搜索窗口为跟踪的兴趣点的结合为P＝{p₁,p₂,...,p_n}，得到有效的兴趣点集合为：

P'＝{p_i|p_i∈P∩p_i∈C}(1-1)

初始化人脸的位置和搜索窗口

输入该视频序列的下一帧，同时获得该帧HSV图像；

计算HSV图像的搜索窗口的颜色直方图和2D概率分布图；

假设I(x,y)是概率分布图像在点(x,y)处的值，并给定移动的阈值A，利用公式

$x_c=\frac{M_{10}}{M_{00}},y_c=\frac{M_{01}}{M_{00}}---(1-2)$

来寻找搜索窗口的形心，并将搜索窗口的中心移到形心位置,直至形心的移动小于阈值A，即得到最终的形心，其中x_c、y_c分别为形心的的横纵坐标，由(1-2)变换成第0阶距和第1阶距：

$M_{00}=\underset{x}{\Σ}\underset{y}{\Σ}I(x,y)$

$M_{10}=\underset{x}{\Σ}\underset{y}{\Σ}xI(x,y)$

$M_{01}=\underset{x}{\Σ}\underset{y}{\Σ}yI(x,y)$

其中，M_∞为第0阶距，M₁₀、M₀₁为第1阶距，

设人脸区域的长度l和宽度w为：通过公式

$\begin{array}{c}l=\sqrt{(\left(a+c\right)-\sqrt{b^2+{\left(a-c\right)}^2}/2}\\ w=\sqrt{(\left(a+c\right)-\sqrt{b^2+{\left(a-c\right)}^2}/2}\end{array}---\left(1-3\right)$

计算得到跟踪区域c的范围，其中 $a=\frac{M_{20}}{M_{00}}-{x_c}^2,b=2(\frac{M_{11}}{M_{00}}-x_c{y}_c),c=\frac{M_{02}}{M_{00}}-{y_c}^2;$

根据KLT算法得到用于跟踪兴趣点的集合P，兴趣点落在跟踪区域c范围之内，标记为有效兴趣点；兴趣点落在跟踪区域c范围之外，标记为无效兴趣点，根据公式(1-1)，得到最终人脸跟踪兴趣点的集合P'；

计算兴趣点集合P'的外接矩形，作为最终的人脸跟踪区域；

步骤S103：对获得的人脸跟踪区域进行更新，使人脸图像序列的人脸跟踪区域和实际的人脸图像区域相一致。

进一步，实现所述步骤S2的具体步骤为：

步骤S201：从人脸图像序列的人脸跟踪区域中提取眼部区域；

步骤S202：根据左眼和右眼的明亮度计算人脸图像序列的各个人脸跟踪区域显著性得分；

步骤S203：设定图像选取数目，按图像选取数目从显著性得分的结果中选出分数高于预定值的目标画面人脸图像序列。

进一步，实现所述步骤S3的具体步骤为：

步骤S301：对选出的目标画面人脸图像序列中各人脸跟踪区域进行平滑处理；

步骤S302：对平滑后的各人脸跟踪区域分别进行分块处理；

步骤S303：获取Gamma变换的最优变换值，并根据Gamma变换算法对分成小块的各人脸跟踪区域进行光照改善处理。

进一步，实现步骤S4的具体方法为：根据ASM算法对光照改善处理后的各人脸跟踪区域进行特征点定位，得到定位点，根据TPS薄板样条函数对定位点进行合成处理，从而将目标画面人脸图像序列合成一张正面人脸图像。

附图说明

图1为本发明基于ASM的动态图像正面人脸重建系统的模块框图；

图2为本发明基于ASM的动态图像正面人脸重建方法的方法流程图；

图3为本发明具体实施步骤S3的方法流程图；

图4为本发明动态视频人脸提取模块的子单元框图；

图5为本发明人脸图像质量评估模块的子单元框图；

图6为本发明人脸图像光照处理模块的子单元框图。

附图中，各标记所代表的部件名称如下：

1、动态视频人脸提取模块,2、人脸图像质量评估模块,3、人脸图像光照处理模块,4、正面人脸合成模块，101、初始化单元，102、人脸跟踪单元，103、更新单元，201、眼部区域检测单元，202、眼部显著性单元，203、选取单元，301、平滑单元，302、分块单元，303、Gamma变换处理单元。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

如图1所示，一种基于ASM的动态图像正面人脸重建系统，包括动态视频人脸提取模块1、人脸图像质量评估模块2、人脸图像光照处理模块3和正面人脸合成模块4，

所述动态视频人脸提取模块1，用于在视频中提取人脸图像序列，根据CAMShift-KLT人脸实际区域跟踪算法排除类肤色区域的影响，使人脸图像序列的人脸跟踪区域和实际的人脸图像区域相一致；

所述人脸图像质量评估模块2，用于对人脸图像序列的人脸跟踪区域的画面质量进行显著性得分计算，并设定图像选取数目，按图像选取数目从显著性得分的结果中选出分数高于预定值的目标画面人脸图像序列；设定图像选取数目为10，则从显著性得分的结果中选出前10张画面人脸图像；

所述人脸图像光照处理模块3，用于利用自适应的Gamma变换算法对选出的目标画面人脸图像序列中各人脸跟踪区域进行光照改善处理；

所述正面人脸合成模块4，用于根据ASM算法和TPS薄板样条函数对光照改善处理后的各人脸跟踪区域进行定位处理，从而将目标画面人脸图像序列合成一张正面人脸图像。

如图4所示，所述动态视频人脸提取模块1包括初始化单元101、人脸跟踪单元102和更新单元103，

所述初始化单元101，用于在视频中提取人脸图像序列，并为人脸跟踪单元102提供初始化；

CAMShift算法是由Meanshift算法发展而来，是一种通过爬升概率分布梯度来获得最近主峰的无参的方法；

KLT(Kanade-Lucas-Tomasi)算法是一种计算快速的基于光流法的跟踪算法。通过给定一对包含人脸的两幅图像，KLT算法可以对兴趣点实现检测和跟踪。人脸的一些特征，如边缘轮廓、嘴角、鼻孔、眉毛等可以借助KLT算法进行十分有效的跟踪。但是如果仅仅使用KLT算法，常常会出现跟踪点漂移和丢失；因此，本发明提出一种CAMShift-KLT人脸实际区域跟踪算法——

所述人脸跟踪单元102，用于根据CAMShift-KLT人脸实际区域跟踪算法排除类肤色区域的影响，所述CAMShift-KLT人脸实际区域跟踪算法具体实现为：

假设CAMShift算法得到的人脸跟踪区域为c，设大于人脸区域的搜索窗口为跟踪的兴趣点的结合为P＝{p₁,p₂,...,p_n}，得到有效的兴趣点集合为：

P'＝{p_i|p_i∈P∩p_i∈C}(1-1)

初始化人脸的位置和搜索窗口

输入该视频序列的下一帧，同时获得该帧HSV图像；

计算HSV图像的搜索窗口的颜色直方图和2D概率分布图；

假设I(x,y)是概率分布图像在点(x,y)处的值，并给定移动的阈值A，利用公式

$x_c=\frac{M_{10}}{M_{00}},y_c=\frac{M_{01}}{M_{00}}---(1-2)$

来寻找搜索窗口的形心，并将搜索窗口的中心移到形心位置,直至形心的移动小于阈值A，即得到最终的形心，其中x_c、y_c分别为形心的的横纵坐标，由(1-2)变换成第0阶距和第1阶距：

$M_{00}=\underset{x}{\Σ}\underset{y}{\Σ}I(x,y)$

$M_{10}=\underset{x}{\Σ}\underset{y}{\Σ}xI(x,y)$

$M_{01}=\underset{x}{\Σ}\underset{y}{\Σ}yI(x,y)$

其中，M_∞为第0阶距，M₁₀、M₀₁为第1阶距，

设人脸区域的长度l和宽度w为：通过公式

$\begin{array}{c}l=\sqrt{(\left(a+c\right)-\sqrt{b^2+{\left(a-c\right)}^2}/2}\\ w=\sqrt{(\left(a+c\right)-\sqrt{b^2+{\left(a-c\right)}^2}/2}\end{array}---\left(1-3\right)$

计算得到跟踪区域c的范围，其中

根据KLT算法得到用于跟踪兴趣点的集合P，兴趣点落在跟踪区域c范围之内，标记为有效兴趣点；兴趣点落在跟踪区域c范围之外，标记为无效兴趣点，根据公式(1-1)，得到最终人脸跟踪兴趣点的集合P'；

计算兴趣点集合P'的外接矩形，作为最终的人脸跟踪区域；

所述更新单元103，用于根据人脸跟踪单元102中获得的人脸跟踪区域进行更新，使人脸图像序列的人脸跟踪区域和实际的人脸图像区域相一致。

如图5所示，所述人脸图像质量评估模块2包括眼部区域检测单元201、眼部显著性单元202和选取单元203，

所述眼部区域检测单元201，用于从人脸图像序列的人脸跟踪区域中提取眼部区域；

所述眼部显著性单元202，用于根据左眼和右眼的明亮度计算人脸图像序列的各个人脸跟踪区域显著性得分；

所述选取单元203，用于设定图像选取数目，按图像选取数目从显著性得分的结果中选出分数高于预定值的目标画面人脸图像序列。

如图6所示，所述人脸图像光照处理模块3平滑单元301、分块单元302和Gamma变换处理单元303，

所述平滑单元301，用于对选出的目标画面人脸图像序列中各人脸跟踪区域进行平滑处理；

所述分块单元302，用于对平滑后的各人脸跟踪区域分别进行分块处理；

所述Gamma变换处理单元303，用于获取Gamma变换的最优变换值，并根据Gamma变换算法对分成小块的各人脸跟踪区域进行光照改善处理；

具体实施为：将人脸跟踪区域平均分成4个子区域，来估计出左侧光照良好还是右侧光照良好。如果左侧光照良好，那么左上分块作为一张标准图，来校正上半边人脸的两个分块；左下分块作为另一张标准图，来校正下半边人脸的两个分块；如果右侧光照良好，那么右上分块作为一张标准图，来校正上半边人脸的两个分块；右下分块作为另一张标准图，来校正下半边人脸的两个分块。

所述正面人脸合成模块4根据ASM算法对光照改善处理后的各人脸跟踪区域进行特征点定位，得到定位点，根据TPS薄板样条函数对定位点进行合成处理，从而将目标画面人脸图像序列合成一张正面人脸图像。

如图2所示，一种基于ASM的动态图像正面人脸重建方法，包括如下步骤：

步骤S1：在视频中提取人脸图像序列，根据CAMShift-KLT人脸实际区域跟踪算法排除类肤色区域的影响，使人脸图像序列的人脸跟踪区域和实际的人脸图像区域相一致；

步骤S2：对人脸图像序列的人脸跟踪区域的画面质量进行显著性得分计算，并设定图像选取数目，按图像选取数目从显著性得分的结果中选出分数高于预定值的目标画面人脸图像序列；

步骤S3：利用自适应的Gamma变换算法对选出的目标画面人脸图像序列中各人脸跟踪区域进行光照改善处理；

步骤S4：根据ASM算法和TPS薄板样条函数对光照改善处理后的各人脸跟踪区域进行定位处理，从而将目标画面人脸图像序列合成一张正面人脸图像。

实现所述步骤S1的具体步骤为：

步骤S101：在视频中提取人脸图像序列，进行初始化；

步骤S102：根据CAMShift-KLT人脸实际区域跟踪算法排除类肤色区域的影响，所述CAMShift-KLT人脸实际区域跟踪算法具体实现为：

假设CAMShift算法得到的人脸跟踪区域为c，设大于人脸区域的搜索窗口为跟踪的兴趣点的结合为P＝{p₁,p₂,...,p_n}，得到有效的兴趣点集合为：

P'＝{p_i|p_i∈P∩p_i∈C}(1-1)

初始化人脸的位置和搜索窗口

输入该视频序列的下一帧，同时获得该帧HSV图像；

计算HSV图像的搜索窗口的颜色直方图和2D概率分布图；

假设I(x,y)是概率分布图像在点(x,y)处的值，并给定移动的阈值A，利用公式

$x_c=\frac{M_{10}}{M_{00}},y_c=\frac{M_{01}}{M_{00}}---(1-2)$

来寻找搜索窗口的形心，并将搜索窗口的中心移到形心位置,直至形心的移动小于阈值A，即得到最终的形心，其中x_c、y_c分别为形心的的横纵坐标，由(1-2)变换成第0阶距和第1阶距：

$M_{00}=\underset{x}{\Σ}\underset{y}{\Σ}I(x,y)$

$M_{10}=\underset{x}{\Σ}\underset{y}{\Σ}xI(x,y)$

$M_{01}=\underset{x}{\Σ}\underset{y}{\Σ}yI(x,y)$

其中，M_∞为第0阶距，M₁₀、M₀₁为第1阶距，

设人脸区域的长度l和宽度w为：通过公式

$\begin{array}{c}l=\sqrt{(\left(a+c\right)-\sqrt{b^2+{\left(a-c\right)}^2}/2}\\ w=\sqrt{(\left(a+c\right)-\sqrt{b^2+{\left(a-c\right)}^2}/2}\end{array}---\left(1-3\right)$

计算得到跟踪区域c的范围，其中

根据KLT算法得到用于跟踪兴趣点的集合P，兴趣点落在跟踪区域c范围之内，标记为有效兴趣点；兴趣点落在跟踪区域c范围之外，标记为无效兴趣点，根据公式(1-1)，得到最终人脸跟踪兴趣点的集合P'；

计算兴趣点集合P'的外接矩形，作为最终的人脸跟踪区域；

步骤S103：对获得的人脸跟踪区域进行更新，使人脸图像序列的人脸跟踪区域和实际的人脸图像区域相一致。

实现所述步骤S2的具体步骤为：

步骤S201：从人脸图像序列的人脸跟踪区域中提取眼部区域；

步骤S202：根据左眼和右眼的明亮度计算人脸图像序列的各个人脸跟踪区域显著性得分；

步骤S203：设定图像选取数目，按图像选取数目从显著性得分的结果中选出分数高于预定值的目标画面人脸图像序列。

如图3所示，实现所述步骤S3的具体步骤为：

步骤S301：对选出的目标画面人脸图像序列中各人脸跟踪区域进行平滑处理；

步骤S302：对平滑后的各人脸跟踪区域分别进行分块处理；

步骤S303：获取Gamma变换的最优变换值，并根据Gamma变换算法对分成小块的各人脸跟踪区域进行光照改善处理。

实现步骤S4的具体方法为：根据ASM算法对光照改善处理后的各人脸跟踪区域进行特征点定位，得到定位点，根据TPS薄板样条函数对定位点进行合成处理，从而将目标画面人脸图像序列合成一张正面人脸图像。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于ASM的动态图像正面人脸重建系统，其特征在于，包括动态视频人脸提取模块(1)、人脸图像质量评估模块(2)、人脸图像光照处理模块(3)和正面人脸合成模块(4)，

所述动态视频人脸提取模块(1)，用于在视频中提取人脸图像序列，根据CAMShift-KLT人脸实际区域跟踪算法排除类肤色区域的影响，使人脸图像序列的人脸跟踪区域和实际的人脸图像区域相一致；

所述人脸图像质量评估模块(2)，用于对人脸图像序列的人脸跟踪区域的画面质量进行显著性得分计算，并设定图像选取数目，按图像选取数目从显著性得分的结果中选出分数高于预定值的目标画面人脸图像序列；

所述人脸图像光照处理模块(3)，用于利用自适应的Gamma变换算法对选出的目标画面人脸图像序列中各人脸跟踪区域进行光照改善处理；

所述正面人脸合成模块(4)，用于根据ASM算法和TPS薄板样条函数对光照改善处理后的各人脸跟踪区域进行定位处理，从而将目标画面人脸图像序列合成一张正面人脸图像。

2.根据权利要求1所述的基于ASM的动态图像正面人脸重建系统，其特征在于，所述动态视频人脸提取模块(1)包括初始化单元(101)、人脸跟踪单元(102)和更新单元(103)，

所述初始化单元(101)，用于在视频中提取人脸图像序列，并为人脸跟踪单元(102)提供初始化；

所述人脸跟踪单元(102)，用于根据CAMShift-KLT人脸实际区域跟踪算法排除类肤色区域的影响，所述CAMShift-KLT人脸实际区域跟踪算法具体实现为：

假设CAMShift算法得到的人脸跟踪区域为c，设大于人脸区域的搜索窗口为跟踪的兴趣点的结合为P＝{p₁,p₂,...,p_n}，得到有效的兴趣点集合为：

P'＝{p_i|p_i∈P∩p_i∈C}(1-1)

初始化人脸的位置和搜索窗口

输入该视频序列的下一帧，同时获得该帧HSV图像；

计算HSV图像的搜索窗口的颜色直方图和2D概率分布图；

假设I(x,y)是概率分布图像在点(x,y)处的值，并给定移动的阈值A，利用公式

$x_c=\frac{M_{10}}{M_{00}},y_c=\frac{M_{01}}{M_{00}}---(1-2)$

来寻找搜索窗口的形心，并将搜索窗口的中心移到形心位置,直至形心的移动小于阈值A，即得到最终的形心，其中x_c、y_c分别为形心的的横纵坐标，由(1-2)变换成第0阶距和第1阶距：

$M_{00}=\underset{x}{\Σ}\underset{y}{\Σ}I(x,y)$

$M_{10}=\underset{x}{\Σ}\underset{y}{\Σ}xI(x,y)$

$M_{01}=\underset{x}{\Σ}\underset{y}{\Σ}yI(x,y)$

其中，M₀₀为第0阶距，M₁₀、M₀₁为第1阶距，

设人脸区域的长度l和宽度w为：通过公式

$\begin{array}{c}l=\sqrt{\left(\right(a+c)+\sqrt{b^2+{(a-c)}^2}/2}\\ w=\sqrt{\left(\right(a+c)-\sqrt{b^2+{(a-c)}^2}/2}\end{array}---(1-3)$

计算得到跟踪区域c的范围，其中 $a=\frac{M_{20}}{M_{00}}-{x_c}^2,b=2(\frac{M_{11}}{M_{00}}-x_c{y}_c),c=\frac{M_{02}}{M_{00}}-{y_c}^2;$

根据KLT算法得到用于跟踪兴趣点的集合P，兴趣点落在跟踪区域c范围之内，标记为有效兴趣点；兴趣点落在跟踪区域c范围之外，标记为无效兴趣点，根据公式(1-1)，得到最终人脸跟踪兴趣点的集合P'；

计算兴趣点集合P'的外接矩形，作为最终的人脸跟踪区域；

所述更新单元(103)，用于根据人脸跟踪单元(102)中获得的人脸跟踪区域进行更新，使人脸图像序列的人脸跟踪区域和实际的人脸图像区域相一致。

3.根据权利要求1所述的基于ASM的动态图像正面人脸重建系统，其特征在于，所述人脸图像质量评估模块(2)包括眼部区域检测单元(201)、眼部显著性单元(202)和选取单元(203)，

所述眼部区域检测单元(201)，用于从人脸图像序列的人脸跟踪区域中提取眼部区域；

所述眼部显著性单元(202)，用于根据左眼和右眼的明亮度计算人脸图像序列的各个人脸跟踪区域显著性得分；

所述选取单元(203)，用于设定图像选取数目，按图像选取数目从显著性得分的结果中选出分数高于预定值的目标画面人脸图像序列。

4.根据权利要求1所述的基于ASM的动态图像正面人脸重建系统，其特征在于，所述人脸图像光照处理模块(3)平滑单元(301)、分块单元(302)和Gamma变换处理单元(303)，

所述平滑单元(301)，用于对选出的目标画面人脸图像序列中各人脸跟踪区域进行平滑处理；

所述分块单元(302)，用于对平滑后的各人脸跟踪区域分别进行分块处理；

所述Gamma变换处理单元(303)，用于获取Gamma变换的最优变换值，并根据Gamma变换算法对分成小块的各人脸跟踪区域进行光照改善处理。

5.根据权利要求1所述的基于ASM的动态图像正面人脸重建系统，其特征在于，所述正面人脸合成模块(4)根据ASM算法对光照改善处理后的各人脸跟踪区域进行特征点定位，得到定位点，根据TPS薄板样条函数对定位点进行合成处理，从而将目标画面人脸图像序列合成一张正面人脸图像。

6.一种基于ASM的动态图像正面人脸重建方法，其特征在于，包括如下步骤：

步骤S1：在视频中提取人脸图像序列，根据CAMShift-KLT人脸实际区域跟踪算法排除类肤色区域的影响，使人脸图像序列的人脸跟踪区域和实际的人脸图像区域相一致；

步骤S2：对人脸图像序列的人脸跟踪区域的画面质量进行显著性得分计算，并设定图像选取数目，按图像选取数目从显著性得分的结果中选出分数高于预定值的目标画面人脸图像序列；

步骤S3：利用自适应的Gamma变换算法对选出的目标画面人脸图像序列中各人脸跟踪区域进行光照改善处理；

步骤S4：根据ASM算法和TPS薄板样条函数对光照改善处理后的各人脸跟踪区域进行定位处理，从而将目标画面人脸图像序列合成一张正面人脸图像。

7.根据权利要求6所述的基于ASM的动态图像正面人脸重建方法，其特征在于，实现所述步骤S1的具体步骤为：

步骤S101：在视频中提取人脸图像序列，进行初始化；

步骤S102：根据CAMShift-KLT人脸实际区域跟踪算法排除类肤色区域的影响，所述CAMShift-KLT人脸实际区域跟踪算法具体实现为：

假设CAMShift算法得到的人脸跟踪区域为c，设大于人脸区域的搜索窗口为跟踪的兴趣点的结合为P＝{p₁,p₂,...,p_n}，得到有效的兴趣点集合为：

P'＝{p_i|p_i∈P∩p_i∈C}(1-1)

初始化人脸的位置和搜索窗口

输入该视频序列的下一帧，同时获得该帧HSV图像；

计算HSV图像的搜索窗口的颜色直方图和2D概率分布图；

假设I(x,y)是概率分布图像在点(x,y)处的值，并给定移动的阈值A，利用公式

$x_c=\frac{M_{10}}{M_{00}},y_c=\frac{M_{01}}{M_{00}}---(1-2)$

来寻找搜索窗口的形心，并将搜索窗口的中心移到形心位置,直至形心的移动小于阈值A，即得到最终的形心，其中x_c、y_c分别为形心的的横纵坐标，由(1-2)变换成第0阶距和第1阶距：

$M_{00}=\underset{x}{\Σ}\underset{y}{\Σ}I(x,y)$

$M_{10}=\underset{x}{\Σ}\underset{y}{\Σ}xI(x,y)$

$M_{01}=\underset{x}{\Σ}\underset{y}{\Σ}yI(x,y)$

其中，M₀₀为第0阶距，M₁₀、M₀₁为第1阶距，

设人脸区域的长度l和宽度w为：通过公式

$\begin{array}{c}l=\sqrt{\left(\right(a+c)+\sqrt{b^2+{(a-c)}^2}/2}\\ w=\sqrt{\left(\right(a+c)-\sqrt{b^2+{(a-c)}^2}/2}\end{array}---(1-3)$

计算得到跟踪区域c的范围，其中 $a=\frac{M_{20}}{M_{00}}-{x_c}^2,b=2(\frac{M_{11}}{M_{00}}-x_c{y}_c),c=\frac{M_{02}}{M_{00}}-{y_c}^2;$

根据KLT算法得到用于跟踪兴趣点的集合P，兴趣点落在跟踪区域c范围之内，标记为有效兴趣点；兴趣点落在跟踪区域c范围之外，标记为无效兴趣点，根据公式(1-1)，得到最终人脸跟踪兴趣点的集合P'；

计算兴趣点集合P'的外接矩形，作为最终的人脸跟踪区域；

步骤S103：对获得的人脸跟踪区域进行更新，使人脸图像序列的人脸跟踪区域和实际的人脸图像区域相一致。

8.根据权利要求6所述的基于ASM的动态图像正面人脸重建方法，其特征在于，实现所述步骤S2的具体步骤为：

步骤S201：从人脸图像序列的人脸跟踪区域中提取眼部区域；

步骤S202：根据左眼和右眼的明亮度计算人脸图像序列的各个人脸跟踪区域显著性得分；

步骤S203：设定图像选取数目，按图像选取数目从显著性得分的结果中选出分数高于预定值的目标画面人脸图像序列。

9.根据权利要求6所述的基于ASM的动态图像正面人脸重建方法，其特征在于，实现所述步骤S3的具体步骤为：

步骤S301：对选出的目标画面人脸图像序列中各人脸跟踪区域进行平滑处理；

步骤S302：对平滑后的各人脸跟踪区域分别进行分块处理；

步骤S303：获取Gamma变换的最优变换值，并根据Gamma变换算法对分成小块的各人脸跟踪区域进行光照改善处理。

10.根据权利要求6至9任一项所述的基于ASM的动态图像正面人脸重建方法，其特征在于，实现步骤S4的具体方法为：根据ASM算法对光照改善处理后的各人脸跟踪区域进行特征点定位，得到定位点，根据TPS薄板样条函数对定位点进行合成处理，从而将目标画面人脸图像序列合成一张正面人脸图像。