CN1908962A - 实时鲁棒的人脸追踪显示方法及系统 - Google Patents

Abstract

本发明公开了一种实时鲁棒的人脸追踪显示方法及系统，首先输入视频图像，在人脸检测的基础上对视频中的人脸进行追踪，获得人脸信息；然后根据当前帧中的人脸大小与位置，在当前帧图像中确定需要显示的目标区域；再根据确定的目标区域，将输入图像中目标区域的图像放缩到输出图像的大小。本发明能够自动获取视频中人脸的位置，并根据人脸位置确定显示图像范围，将人脸周围的图像放缩后显示，无论人脸处于摄像头拍摄图像的任何位置，均显示以人脸为中心的一个区域，使得人脸成为显示焦点；本发明还能够模仿机械摄像头渐变拉伸镜头放缩的显示效果，逐渐将显示焦点集中在人脸区域范围，获得更美观的显示效果。

Description

实时鲁棒的人脸追踪显示方法及系统

技术领域

本发明涉及人脸信息自动获取及显示方法及系统，尤其涉及一种实时鲁棒的人脸追踪显示方法及系统。

背景技术

近年来，摄像头已经成为计算机必不可少的配置之一，其在家庭娱乐领域的应用也取得了长足发展。

但是，大多数传统摄像头的放缩显示功能，仅仅是对某个区域的图像进行放缩显示，没有根据视频中存在的人脸位置进行缩放，更无法跟踪人脸变化来确定放缩区域；即使存在的一些能根据人脸位置对图像进行放缩显示的产品，对人脸信息的获取也是根据人脸肤色进行的，不仅位置不准确，而且容易受到干扰；此外，很多产品由于没有采用人脸追踪技术，隔一段时间才会进行一次人脸检测，得到的人脸信息不连续，因此，显示处理是非实时的，存在延时现象，产生的效果也很跳跃。

发明内容

本发明所要解决的技术问题在于提供一种实时鲁棒的人脸追踪显示方法及系统，能够自动连续准确地获取视频中人脸的位置，并根据人脸位置确定显示图像范围；本发明需要解决的技术问题还包括稳定地获取人脸信息，并平缓稳定地显示输出人脸为焦点的图像，以及模拟机械摄像头平缓渐变放缩平移显示图像区域的效果，形成一种机械摄像头跟踪显示人脸区域的效果。

为解决上述技术问题，本发明提供一种实时鲁棒的人脸追踪显示方法，包括如下步骤：

(1)输入视频图像，在人脸检测的基础上对视频中的人脸进行追踪，获得人脸信息；

(2)根据当前帧中的人脸大小与位置，在当前帧图像中确定需要显示的目标区域；

(3)根据确定的目标区域，将输入图像中目标区域的图像放缩到输出图像的大小。

其中，所述步骤(1)可以进一步包括：

将当前帧的人脸信息与前帧人脸信息进行比较，根据比较结果，平滑当前帧的人脸信息。

其中，所述步骤(2)可以进一步包括：根据前帧人脸信息，判断当前帧的人脸信息的变化，并根据变化幅度更新所述需要显示的目标区域。

其中，所述判断步骤，如果判断到变化幅度属于微小变化，则不更新所述需要显示的目标区域。

本发明还提供一种实时鲁棒的人脸追踪显示系统，包括：人脸信息获取模块、处理显示模块，其中：

所述人脸信息获取模块，包括：

人脸追踪单元，用于输入视频图像，在人脸检测的基础上对视频中的人脸进行追踪，获得人脸信息；

所述处理显示模块，包括：

目标区域确定单元，用于根据当前帧中的人脸大小与位置，在当前帧图像中确定需要显示的目标区域；

图像缩放单元，用于根据确定的目标区域，将输入图像中目标区域的图像放缩到输出图像的大小。

其中，所述人脸信息获取模块，可以进一步包括：

人脸平滑单元，用于将当前帧的人脸信息与前帧人脸信息进行比较，根据比较结果，平滑当前帧的人脸信息。

其中，所述目标区域确定单元，可以进一步用于根据前帧人脸信息，判断当前帧的人脸信息的变化是否属于微小变化，如果是，则不更新所述需要显示的目标区域。

其中，所述目标区域确定单元，在确定需要显示的目标区域的大小时，包括确定目标区域的长和宽，其中长和宽成比例，宽度取为：min(w_fα，βw_s ^n-1，r_s/outputW_output)，

其中，w_f为人脸大小，α为目标区域的最终大小与人脸大小的比例系数，w_s ^n-1为前帧显示区域宽度，β为放缩因子，W_output为输出显示图像，r_s/output＝w_s/W_output；

所述目标区域确定模块，在确定需要显示的目标区域的范围时，包括自动平移目标区域，使得其范围位于输入图像范围内。

其中，所述图像缩放单元，通过预设缩放因子，根据图像放缩算法，将输入图像中目标区域的图像逐渐放缩到输出图像的大小。

应用本发明，根据自动获取的视频中人脸位置信息，对图像进行缩放，使得显示图像以人脸为焦点，显示人脸附近区域，当视频中人脸位置发生变化时，能够追踪人脸的位置变化，显示人脸所在区域的图像。本发明在自动放缩过程中，可以缓缓的放缩图像，模拟机械摄像头渐渐拉伸镜头的效果。本发明可以自动滤除人脸的微小变化，从而保持稳定的显示人脸所在区域，避免显示区域的抖动。此外，本发明还可以在显示图像中显示一副全景图像，同时为用户提供全局信息。

附图说明

图1为根据本发明的实施例所述的实时鲁棒的人脸追踪显示系统示意图。

图2为根据本发明的实施例所述的实时鲁棒的人脸追踪显示方法流程示意图。

具体实施方式

本发明提供的实时鲁棒的人脸追踪显示系统，可以由人脸信息获取模块与处理显示模块组成。通过人脸信息获取模块来接收输入的人脸图像视频序列，并通过处理显示模块，来持续追踪人脸显示区域范围，并缩放处理。

其中，所述人脸信息获取模块，可以包括：人脸追踪单元，用于根据通过摄像头实时输入的视频图像，在人脸检测的基础上对视频中的人脸进行追踪，获得人脸信息；人脸平滑单元，用于将当前帧的人脸信息与前帧人脸信息进行比较，根据比较结果，平滑当前帧的人脸信息。

所述处理显示模块，包括：目标区域确定单元，用于在平滑后的人脸信息基础上，根据当前帧中的人脸大小与位置确定需要显示的目标区域的大小与范围；图像缩放单元，用于将输入图像中目标区域的图像逐渐放缩到输出图像的大小。

其中，所述目标区域确定单元，可以进一步用于根据前帧人脸信息，判断当前帧的人脸信息的变化是否属于微小变化，如果是，则不更新所述需要显示的目标区域。

具体的，参考图1，为根据本发明的实施例所述的实时鲁棒的人脸追踪显示系统示意图。

视频流数据首先输入人脸信息获取模块中的人脸追踪单元，采用人脸跟踪算法，获取人脸区域所在位置，从而获取得到人脸的位置和大小等信息。然后经过人脸平滑单元的动态平均，平滑获得的人脸信息，保证显示效果的稳定和连续变化。然后在处理显示模块中，首先滤除微小变化，然后根据人脸大小位置确定显示范围，并进行相邻帧放缩尺度约束，最后执行图像放缩后，输出视频流。

参考图2，为根据本发明的实施例所述的实时鲁棒的人脸追踪显示方法流程示意图。下面分步骤进行说明：

步骤201：采用人脸跟踪算法，获取人脸区域所在位置，从而获取得到人脸的位置和大小等信息。

人脸检测跟踪算法来获取人脸位置信息的方法有很多，例如，我们可以采用中国专利申请200510135668.8中提供的“一种视频序列中人脸的实时检测与持续追踪的方法及系统”提及的算法来实现。下面简单说明该算法的主要步骤：

首先，采用目前最为流行的层次型AdaBoost算法训练选取Haar-like微结构特征组成分类器来进行人脸检测。其次，在人脸检测的基础上对视频中的人脸进行跟踪。人脸跟踪具体步骤如下：

(1)由摄像头实时输入视频图像；

(2)在未获取跟踪目标前，每帧搜索图像，检测人脸的存在；

(3)如果某帧图像检测到一个或多个人脸，则在接下来的两帧图像中跟踪这些人脸，并对后续两帧图像中跟踪的人脸进行检测和验证，判断前面的检测结果是否是真的人脸；

(4)只有在某个位置连续多帧都检测到人脸后，算法才认为该位置人脸存在，如果场景中存在有多个人脸，挑选出最大的人脸开始跟踪；

(5)在后续帧中持续跟踪该人脸。如果相邻帧中后一帧与前一帧的跟踪结果的相似度过低，则停止跟踪；如果某个跟踪目标所在区域长时间未检测到正面直立人脸，则认为该目标的跟踪价值不大，停止跟踪该目标；前一个跟踪目标停止跟踪后，在后续图像中回到步骤2重新进行人脸检测，直到找到新的人脸，跟踪新的人脸。

步骤202：平滑获得的人脸信息，保证显示效果的稳定和连续变化。

为了保证获取的人脸信息的平滑和稳定，克服人脸跟踪过程中的扰动，我们对获取得到的人脸信息进行平滑处理。平滑的算法可以有很多种，最简单的采用简单平均的方式即可。

此处列举一种既能保证平滑参数，又能灵敏反映突然变动的平滑方法。我们称之为动态平均算法。首先，当人脸信息没有发生剧烈变化时，该方法采用平均前N帧检测结果的方式来平滑，使得人脸基本静止时，结果不会因为误差产生大的抖动；同时，当人脸突然发生位置变化时，算法会摒弃前N帧结果，采用变化后的位置作为输出位置。此算法既能减少误差，也能灵敏反映人脸位置的变化，不会产生迟滞的感觉。

算法步骤如下：

(1)建立一个人脸信息队列；

(2)如果队列中没有储存人脸信息，则将当前输入信息作为输出；

(3)如果队列中储存了人脸信息，则获取当前输入信息与队列中储存的人脸信息均值的平方差，并且将归一化后的平方差与阈值比较。如果大于阈值，则认为当前位置相比前帧位置发生了很大变化，自动将队列清空，将输入作为输出位置；如果不大于阈值，则认为当前输入人脸与前帧人脸没有发生大的变化，则采用平均后的结果作为输出。

步骤203：滤除微小变化

由于图像采集的噪声和人脸跟踪算法的局限，即使当人脸位置不变化时，获取得到的人脸位置依然会发生微小变动，如果不采取措施处理，最后的显示结果会出现不该有的扰动。因而，我们在处理流程中增加了滤除微小变化这个步骤。对于获取得到的人脸参数，经过平滑后，将当前帧的参数与前帧参数进行比较，假定前帧人脸参数为(x′_center，y′_center，width′，height′)，当前帧人脸参数为(x_center，y_center，width，height)，则归一化后的中心差别为：

${\mathrm{dif}}_c=2\sqrt{{(x_{\mathrm{center}}-x_{\mathrm{center}}^{\′})}^2+{(y_{\mathrm{center}}-y_{\mathrm{center}}^{\′})}^2}/(\mathrm{widtg}+{\mathrm{width}}^{\′}),$

归一化后的大小差别为：

dif_s＝(width-width′)/width，

如果dif_c≤Th₁且dif_s≤Th₂，则认为前后两帧的人脸未发生显著变化，否则，认为发生了显著变化，其中，Th₁和Th₂是阈值。

下面对步骤204、205合并进行说明：

步骤204：根据人脸大小位置确定显示区域，保证显示区域总是聚焦于人脸，并显示出人脸附近区域的主要部分。

步骤205：对相邻帧的放缩尺度进行约束。

得到平滑后的人脸参数后，需要确定显示图像范围。此处综合涉及到根据人脸位置确定显示范围，相邻帧放缩尺度约束，滤除微小变化等内容。

假定输入图像大小为(W_input，H_input)，输出显示图像大小为(W_output，H_output)，我们只需要获取目标图像中显示的输入图像中对应的区域范围，再经过插值算法对对应区域图像进行放缩即可得到所需效果。

输入图像中待显示目标区域范围的获取过程如下：

首先获取目标区域的大小(由于显示区域的长宽比固定，在这里仅以宽度为例说明)：

最终显示区域应该主要显示人脸所在区域，目标区域的最终大小应与人脸大小成比例，我们确定为：W_f×α，其中w_f为人脸大小，α为比例系数，我们取为1.5。

但是，为了显示图像从全景到脸部的拉伸效果，我们逐渐变化显示区域的大小，而不是从全景一次直接切换到人脸区域。设定放缩因子为β，即当前帧(设为第n帧)的宽度 $w_s^n={\mathrm{\βw}}_s^{n-1},$ W_s ^n-1为前帧显示区域宽度。β大小决定了放缩速度，从而会影响显示效果。我们取β∈[0.5，1)。

此外，考虑到放缩图像时插值算法的性能，我们限定输入图像目标区域大小与输出图像大小的比例r_s/output≤3，其中r_s/output＝w_s/W_output。

综合考虑以上限制，目标区域宽度取为：min(w_fα，βw_s ^n-1，r_s/outputW_output)。

在确定目标区域大小的基础上，我们进一步确定目标区域范围。

首先，设定人脸中心(f_cx，f_cy)为目标区域中心，结合上面得到的目标区域大小，得到目标区域R_s(l_s，t_s，r_s，b_s)；

由于人脸在图像中的位置不会总是处于图像中心，得到的目标区域可能会处于图像边缘。遇到这种情况时，自动平移目标区域使得其范围位于输入图像范围内。

具体步骤如下：

if l_s＜0，then l_s＝0；r_s＝l_s+w_f

else if r_s＞W_input，then r_s＝W_input；l_s＝r_s-w_f

if t_s＜0，then t_s＝0；b_s＝t_s+h_s

else if b_s＞H_input，then b_s＝H_input，t_s＝b_s-h_f

步骤206：图像放缩输出。

确定目标区域之后，我们采用图像放缩的方式将输入图像中目标区域图像放缩到输出图像的大小。

而放缩算法有很多选择，例如可以采用双线性插值算法等。

Claims (15)

1、一种实时鲁棒的人脸追踪显示方法，其特征在于，包括如下步骤：

(1)输入视频图像，在人脸检测的基础上对视频中的人脸进行追踪，获得人脸信息；

(2)根据当前帧中的人脸大小与位置，在当前帧图像中确定需要显示的目标区域；

(3)根据确定的目标区域，将输入图像中目标区域的图像放缩到输出图像的大小。

2、如权利要求1所述的方法，其特征在于，所述步骤(1)进一步包括：

将当前帧的人脸信息与前帧人脸信息进行比较，根据比较结果，平滑当前帧的人脸信息。

3、如权利要求1所述的方法，其特征在于，所述步骤(2)进一步包括：根据前帧人脸信息，判断当前帧的人脸信息的变化，并根据变化幅度更新所述需要显示的目标区域。

4、如权利要求3所述的方法，其特征在于，所述判断步骤，如果判断到变化幅度属于微小变化，则不更新所述需要显示的目标区域。

5、如权利要求4所述的方法，其特征在于，所述微小变化的判断步骤，包括：

设前帧人脸信息参数为(x′_center，y′_center，width′，height′)，当前帧人脸信息参数为(x_center，y_center，width，height)，则归一化后的中心差别为：

${\mathrm{dif}}_c=2\sqrt{{(x_{\mathrm{center}}-x_{\mathrm{center}}^{\′})}^2+{(y_{\mathrm{center}}-y_{\mathrm{center}}^{\′})}^2}/(\mathrm{width}+{\mathrm{width}}^{\′});$

归一化后的大小差别为：

dif_s＝(width-width′)/width，如果dif_c≤Th₁且dif_s≤Th₂，则确定前后两帧属于微小变化，其中，Th₁和Th₂是阈值。

6、如权利要求1所述的方法，其特征在于，所述步骤(1)包括：

(11)由摄像头实时输入视频图像；

(12)在未获取跟踪目标前，逐帧搜索图像，检测人脸的存在；

(13)如果在某帧图像检测到一个或多个人脸，则在接下来的后续帧中跟踪这些人脸，并对跟踪到的人脸进行检测和验证，判断前面的检测结果是否是真的人脸；

(14)如果在某个位置连续多帧都检测到人脸后，确定该位置存在人脸，如果场景中存在有多个人脸，则挑选出最大的人脸开始跟踪；

(15)在后续帧中持续跟踪该人脸。如果相邻帧中后一帧与前一帧的跟踪结果的相似度过低，则停止跟踪；如果某个跟踪目标所在区域长时间未检测到正面直立人脸，则停止跟踪该目标；前一个跟踪目标停止跟踪后，在后续图像中回到步骤(12)重新进行人脸检测，直到找到新的人脸，跟踪新的人脸。

7、如权利要求2所述的方法，其特征在于，所述平滑当前帧的人脸信息的步骤，包括：

建立一个人脸信息队列；

如果队列中没有储存人脸信息，则将当前输入信息作为输出；

如果队列中储存了人脸信息，则获取当前输入信息与队列中储存的人脸信息均值的平方差，并将归一化后的平方差与预设阈值比较，如果大于阈值，则自动将队列清空，并将输入作为输出位置；如果不大于阈值，则采用平均后的结果作为输出。

8、如权利要求1所述的方法，其特征在于，步骤(2)所述确定需要显示的目标区域，包括确定目标区域的长和宽，其中长和宽成比例，宽度取为：min(w_fα，βw_s ^n-1，r_s/outputW_output)，

其中，w_f为人脸大小，α为目标区域的最终大小与人脸大小的比例系数，w_s ^n-1为前帧显示区域宽度，β为放缩因子，W_output为输出显示图像，r_s/output＝w_s/W_output。

9、如权利要求1所述的方法，其特征在于，步骤(2)所述确定需要显示的目标区域，包括自动平移目标区域，使得其范围位于输入图像范围内。

10、如权利要求1所述的方法，其特征在于，所述步骤(3)包括：通过预设缩放因子，根据图像放缩算法，将输入图像中目标区域的图像逐渐放缩到输出图像的大小。

11、一种实时鲁棒的人脸追踪显示系统，其特征在于，包括人脸信息获取模块、处理显示模块，其中：

所述人脸信息获取模块，包括：

人脸追踪单元，用于输入视频图像，在人脸检测的基础上对视频中的人脸进行追踪，获得人脸信息；

所述处理显示模块，包括：

目标区域确定单元，用于根据当前帧中的人脸大小与位置，在当前帧图像中确定需要显示的目标区域；

图像缩放单元，用于根据确定的目标区域，将输入图像中目标区域的图像放缩到输出图像的大小。

12、如权利要求11所述的系统，其特征在于，所述人脸信息获取模块，进一步包括：

人脸平滑单元，用于将当前帧的人脸信息与前帧人脸信息进行比较，根据比较结果，平滑当前帧的人脸信息。

13、如权利要求11所述的系统，其特征在于，所述目标区域确定单元，进一步用于根据前帧人脸信息，判断当前帧的人脸信息的变化是否属于微小变化，如果是，则不更新所述需要显示的目标区域。

14、如权利要求11所述的系统，其特征在于，所述目标区域确定单元，在确定需要显示的目标区域的大小时，包括确定目标区域的长和宽，其中长和宽成比例，宽度取为：min(w_fα，βw_s ^n-1，r_s/outputW_output)，

其中，w_f为人脸大小，α为目标区域的最终大小与人脸大小的比例系数，w_s ^n-1为前帧显示区域宽度，β为放缩因子，W_output为输出显示图像，r_s/output＝w_s/W_output；

所述目标区域确定模块，在确定需要显示的目标区域的范围时，包括自动平移目标区域，使得其范围位于输入图像范围内。

15、如权利要求11所述的系统，其特征在于，所述图像缩放单元，通过预设缩放因子，根据图像放缩算法，将输入图像中目标区域的图像逐渐放缩到输出图像的大小。

Images