CN101197945A - 一种生成视频特效的方法及装置 - Google Patents

Abstract

本发明公开了一种生成视频特效的方法及装置，用以解决现有技术中存在的通过采集到的图像生成的视频特效的效果差的问题。本发明提供的生成视频特效的方法包括：预先设置图像采集设备采集到的地面上的区域的坐标和显示设备显示区域的坐标之间的对应关系；根据所述对应关系，以及物体在地面上的区域的坐标，确定所述物体在显示区域上的显示坐标；根据所述物体的显示坐标，生成视频特效。

Description

一种生成视频特效的方法及装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种生成视频特效的方法及装置。

背景技术

现有的视频特效技术中，要么直接在图像空间上完成视频特效，要么利用视频图像数据中获得的运动信息来驱动虚拟的三维模型。

目前的视频特效一般都是在二维图像平面上实现的，通过对视频中的人脸进行定位和跟踪，直接在二维图像空间上完成特效，这些特效实质是通过二维图像的滤波实现的，如马赛克、人脸模糊、人脸替换等特效。这些视频特效都很简单。

利用视频图像数据中获得的运动信息来驱动虚拟的三维模型的视频特效生成方式，对图像中的任何运动信息都驱动虚拟的三维模型，而没有针对人的运动信息来添加特效。例如，采集到的图像中包括人和作为背景的汽车，我们只需要对运动的人添加特效，但是，当汽车运动时，也会添加特效。所以，该方式很容易受到背景的干扰。并且，该视频特效只是简单地结合了左右运动位置信息，而没有结合前后运动位置信息。

综上所述，现有的视频特效做得比较简单，没有结合人的实际地理位置来添加特效，仅采用运动检测等技术检测运动区域，并根据运动区域来显示相应的视频效果，容易受背景干扰，因此，现有的视频特效并不是很具有吸引力。

发明内容

本发明实施例提供了一种生成视频特效的方法及装置，用以解决现有技术中存在的通过采集到的图像生成的视频特效的效果差的问题。

本发明实施例提供的一种生成视频特效的方法包括：

预先设置图像采集设备采集到的地面上的区域的坐标和显示设备显示区域的坐标之间的对应关系；

根据所述对应关系，以及物体在地面上的区域的坐标，确定所述物体在显示区域上的显示坐标；

根据所述物体的显示坐标，生成视频特效。

本发明实施例提供的一种生成视频特效的装置包括：

设置对应关系单元，用于设置图像采集设备采集到的地面上的区域的坐标和显示设备显示区域的坐标之间的对应关系；

确定显示坐标单元，用于根据所述对应关系，以及物体在地面上的区域的坐标，确定所述物体在显示区域上的显示坐标；

生成视频特效单元，用于根据所述物体的显示坐标，生成视频特效。

本发明实施例，预先设置图像采集设备采集到的地面上的区域的坐标和显示设备显示区域的坐标之间的对应关系；根据所述对应关系，以及物体在地面上的区域的坐标，确定所述物体在显示区域上的显示坐标；根据所述物体的显示坐标，生成视频特效。通过该技术方案可以根据特定物体的具体位置变换生成更加有趣的视频特效，避免背景干扰，提高视频特效显示效果。

附图说明

图1为本发明实施例提供的生成视频特效的方法流程示意图；

图2为本发明实施例提供的人脸朝向估计示意图；

图3为现有技术中的凸透镜成像原理示意图；

图4为本发明实施例提供的计算人的地面坐标的示意图。

具体实施方式

本发明实施例以人为例，提供了一种生成视频特效的方法及装置。用以实现根据人的实际运动信息，添加有趣的视频特效。

当然，本发明实施例还可以针对图像中的其他物体的实际运动信息，添加有趣的视频特效。

下面结合附图，对本发明实施例进行详细说明。

参见图1，本发明实施例提供的一种生成视频特效的方法包括：

S101、通过图像采集设备(如摄像头)采集包含人脸的图像，并且，确定采集到的人脸图像上的人脸特征点位置。其中，人脸特征点包括人的左眼、右眼和嘴巴。

S102、根据人脸特征点位置确定人脸相对于图像采集设备的朝向(简称人脸朝向)。

S103、根据图像上的人脸特征点位置，确定人与图像采集设备之间的距离。

例如，可以根据图像上的一个人的双眼距离，确定人与图像采集设备之间的距离。

人脸姿态和朝向变化时，图像上人的双眼距离也会发生变化，因此，较佳地，本发明实施例可以根据图像上的一个人的头部半径大小，确定人与图像采集设备之间的距离，那么，此时，需要根据图像上的人脸特征点位置，计算得到人脸相对于图像采集设备的朝向的同时，还需计算出人的头部半径。

S104、根据人脸朝向以及人与图像采集设备的距离，计算人的地面坐标，即人在地面上的二维坐标。

S105、根据预先设定地面坐标和显示坐标之间的对应关系，确定人在显示平面上的显示坐标，其中，所述的显示坐标为某人在显示设备上的显示区域对应坐标。

S106、根据一段时间内的人的显示坐标，生成视频特效并由显示设备输出显示。

步骤S101中，可以采用人脸检测的方式定位得到人脸图像上的人脸特征点位置，也可以采用人脸特征点跟踪方式计算得到人脸图像上的人脸特征点位置。

采用人脸特征点跟踪方式时，具体包括：

对参考图像中的特征点进行定位，确定所述参考图像中的特征点的位置；根据所述参考图像中的特征点的位置，以及预先设置的特征点搜索区域大小，确定以所述参考图像的特征点中心为中心的特征点搜索区域，将该搜索区域作为当前图像的特征点的搜索区域；在所述当前图像的特征点的搜索区域内，确定所述当前图像的特征点位置。其中，所述参考图像，指的是被跟踪的图像，即根据该参考图像的特征点位置，确定后续图像的特征点位置。

S102确定人脸朝向的步骤具体如下：

如图2所示，本发明实施例把人看作是一个圆柱体，人的双眼和嘴巴分布在该圆柱体上，圆柱体半径为r，将该半径的值看作是人的头部半径。根据统计可以得到人的两个眼睛中心与嘴巴中心的径向夹角

图2中的θ为嘴巴与成像方向之间的夹角，并且满足-60°≤θ≤60°，该角度用来表示人脸相对于图像采集设备的朝向。

根据左、右眼睛和嘴巴的位置信息得到r和θ满足下列关系：

                r sin(α+θ)-r sinθ＝a

                r sin(α-θ)+r sinθ＝b

其中，a和b的值可以通过左眼位置和右眼位置以及嘴巴位置计算得到。解以上两个方程得：

$\mathrm{\θ}=\mathrm{arctg}\left[\frac{(b-a)\sin \mathrm{\α}}{(b+a)(1-\cos \mathrm{\α})}\right]$

$r=\frac{1}{2}\sqrt{\frac{{(a+b)}^2}{{\sin }^2\mathrm{\α}}+\frac{{(a-b)}^2}{{(1-\cos \mathrm{\α})}^2}}$

从而估计出角θ和头部半径r的值。

下面具体介绍步骤S103中如何确定人与图像采集设备的距离。

参见图3，以摄像头成像为例，摄像头正常使用时，物距大于二倍焦距2f时，成倒立实像，根据凸透镜成像原理，当物距处于2f之外时，分别用H表示物的大小，h表示像的大小，A表示物距，a表示像距，则根据光线的几何关系有：

$\frac{H}{h}=\frac{A}{a}$

所以有 $A=\frac{H*a}{h},$ 即像的大小h和物距A成反比，则当焦距f不变，像距a近似于f，物的大小H近似不变时，便可以通过像的大小来判断物距大小。

本发明实施例中采集到的图像上的人的头部半径相当于h，那么，根据h即可计算得到人与图像采集设备之间的距离，即A的值。

下面具体介绍步骤S104如何根据人脸朝向以及人与图像采集设备的距离，计算人的地面坐标。

参见图4，假定在x轴和y轴确定的二维地面坐标系中，以图像采集设备为原点O。人行走时一般都会注视图像显示设备，将图像采集设备放置在图像显示设备下边缘或上边缘中心，即图像采集设备和显示设备在图4所示的二维坐标平面上的坐标相同，则人体中心线即圆柱体中心点H(x，y)和嘴巴连线会近似通过图像采集设备中心。根据图4中的几何关系，得到人在地面坐标系中的坐标为：

$\left\{\begin{array}{c}x=D*\sin \left(\mathrm{\θ}\right)\\ y=D*\cos \left(\mathrm{\θ}\right)\end{array}\right.$

其中，D表示中心点H到原点O的距离，即人与图像采集设备之间的距离，θ定义为HO到HE的倒角，逆时针为正，用来表示人相对于图像采集设备的朝向。

下面介绍一下步骤S105如何根据预先设定地面坐标和显示坐标之间的对应关系，确定显示平面内相应的人的显示坐标。

根据图像采集设备采集的地面坐标区域范围确定一个矩形范围，该范围和显示设备显示的矩形区域相对应。

将显示设备的平面坐标(显示坐标)和地面的平面坐标(地面坐标)建立对应关系。即显示设备的平面坐标区域的左上角、右上角、左下角、右下角分别对应地面坐标区域的左上角、右上角、左下角、右下角，从而得到一组线性对应关系。该对应关系可以仅包含平移和尺度变换关系。

具体的显示设备显示的区域范围仅包含宽度HS和高度WS信息，而图像采集设备对应的采集范围矩形为R(left，top，right，bottom)，其中，left、top、right、bottom分别表示可以采集到的地面区域的左上角、右上角、左下角、右下角。

则根据所述对应关系，以及人的地面坐标，通过下面两个公式：

$x_D=\frac{(x-\mathrm{left})*\mathrm{WS}}{\mathrm{right}-\mathrm{left}}$

$y_D=\frac{(y-\mathrm{top})*\mathrm{HS}}{\mathrm{bottom}-\mathrm{top}}$

即可计算得到人的显示坐标。其中，x，y分别为人的地面坐标区域中的横纵坐标，x_D和y_D分别为人的地面坐标所对应的显示设备的平面坐标区域的横纵坐标。

步骤S106具体介绍如下：

根据地面坐标平面上人的运动轨迹，确定显示坐标平面上对应的运动轨迹TR(t，x，y)，t为时间，用于确定某个时间人在显示平面上的位置。根据该运动轨迹可以构造有趣的视频特效。本发明实施例提供的视频特效由背景图案和前景图案组成。

一种生成视频特效的可行方案如下：

第一步，确定背景图案，该图案在图层的最底层，且不发生变化。

此处的背景图案可以为(但不限于)雪地、海滨、高山、草地等任何场景图像。

第二步，选定前景图案类型，图案类型可以为(但不限于)脚印，花朵，小鱼、气球等；

第三步，确定前景图案的显示位置和人在显示平面位置的对应关系。

一种对应关系为前景图案显示位置即为人在显示平面位置；另一种对应关系为前景图案显示位置和人在显示平面位置互斥，即当人处于某显示位置时，该位置附近显示的前景图案的位置设定为远离该人的显示位置。

第四步，采用现有的动画生成技术在对应位置生成相应前景图案，并将前景图案添加到背景图案上，形成视频特效。

在某个位置生成设定大小的前景图案，是计算机动画生成技术所涉及的内容。根据一些控制参数自动生成动画是现有技术，可能会涉及到图像生成，动画自动生成等技术。

采用上述步骤，例如，可以选定背景图案为沙滩，前景图案类型为脚印，对应关系为第一种，即前景图案显示位置即为人在显示平面位置，则采用动画生成技术在人对应的显示平面位置生成相应的脚印，并添加到背景图案上，则会产生当人走过时，沙滩上会出现一串足迹的效果，且脚印的轨迹和现实中人所走过的轨迹相符合，具有很强的交互性和趣味性。

实现上述例子的一种实施方案包括：

步骤一、根据本发明实施例提供的技术方案，得到当前帧人的图像在显示坐标平面的对应位置坐标。

步骤二、采用动画生成技术，生成以步骤一中得到的位置坐标为中心的脚印前景，并且将其添加到背景图案上。

步骤三、将步骤二中生成的图像(包括背景图案和前景图案)显示在显示设备上。

又例如，可以选定背景图案为海水，前景图案类型为小鱼，对应关系为第二种，即前景图案显示位置和人在显示平面位置互斥，实现此例子的一种实施方案包括：

步骤一、根据本发明实施例提供的技术方案，得到当前帧人的图像在显示坐标平面的对应位置坐标。

步骤二、判定显示平面上当前的前景图案位置和人的位置之间的距离是否小于设定阈值，如果小于，则沿人在显示平面的位置和前景图案位置的连线，向远离人的位置的方向以设定的速度改变所述前景图案的位置，如果不小于，则按设定的速度向某随机方向改变所述前景图案的位置。

步骤三，采用动画生成技术，生成以步骤二中得到的前景图案位置为中心的小鱼前景图案，并且将其添加到背景图案上，形成视频特效。

这样就可以得到当人在显示平面的位置接近小鱼时，小鱼会逃离的趣味效果。

进一步，本发明实施例还可以在轨迹中增加大小信息，即根据人与图像采集设备的距离得到人的大小信息，人与图像采集设备的距离越远，相应的前景图案就越小；人与图像采集设备的距离越近，相应的前景图案就越大。从而根据人的远近信息，做出不同大小的前景图案，比如显示大小不同的脚印，人距离近时显示较大脚印，人距离远时显示小脚印。

对应的视频特效生成方案包括：

第一步，确定背景图案，该图案在图层的最底层，且不发生变化。

此处的背景图案可以为雪地、海滨、高山、草地等任何场景图像。

第二步，选定前景图案类型，图案类型可以为脚印，花朵，小鱼、气球等。

第三步，确定前景图案的显示位置和人在显示平面位置的对应关系。

第四步，根据人与图像采集设备的距离设定前景图案大小。

第五步，采用现有的动画生成技术在显示平面的相应位置生成第四步设定的前景图案大小的相应前景图案，并将前景图案添加到背景图案上，形成视频特效。

下面介绍一下本发明实施例提供的装置。

本发明实施例提供的生成视频特效的装置包括：

设置对应关系单元，用于设置图像采集设备采集到的地面上的区域的坐标和显示设备显示区域的坐标之间的对应关系；

确定显示坐标单元，用于根据所述对应关系，以及物体在地面上的区域的坐标，确定所述物体在显示区域上的显示坐标；

生成视频特效单元，用于根据所述物体的显示坐标，生成视频特效。

综上所述，本发明实施例，通过图像上的人脸特征点位置，计算图像上的人脸相对于图像采集设备的朝向以及人与图像采集设备的距离，进而计算得到人在地面上的二维坐标，根据地面坐标和显示设备上的显示坐标之间的对应关系，计算得到人在显示设备上相应的显示坐标，从而在显示设备的显示坐标平面内，根据人的移动轨迹显示有趣的视频特效。本发明实施例提供的技术方案应用广泛，在很多产品推广或者需要和人交互的场景中，根据人的动作相应变换显示的视频特效，会更加吸引人的关注，增加活动的趣味性，也可以作为独立的游戏项目吸引客户。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (13)

1.一种生成视频特效的方法，其特征在于，该方法包括：

预先设置图像采集设备采集到的地面上的区域的坐标和显示设备显示区域的坐标之间的对应关系；

根据所述对应关系，以及物体在地面上的区域的坐标，确定所述物体在显示区域上的显示坐标；

根据所述物体的显示坐标，生成视频特效。

2.根据权利要求1所述的方法，其特征在于，确定所述物体在地面上的区域的坐标的步骤包括：

根据图像采集设备采集到的图像上的所述物体的特征点位置，确定所述物体相对于所述图像采集设备的朝向角度，以及所述物体与所述图像采集设备之间的距离；

根据所述物体的朝向角度，以及所述物体与所述图像采集设备之间的距离，计算得到所述物体在地面上的区域的坐标。

3.根据权利要求2所述的方法，其特征在于，确定所述图像上的所述物体的特征点位置的步骤包括：

对参考图像中的所述物体的特征点进行定位，确定所述参考图像中的所述物体的特征点的位置；

根据所述参考图像中的所述物体的特征点的位置，以及预先设置的特征点搜索区域大小，确定以所述参考图像中的所述物体的特征点中心为中心的特征点搜索区域，将该搜索区域作为当前图像中的所述物体的特征点的搜索区域；

在所述当前图像中的所述物体的特征点的搜索区域内，确定所述当前图像中的所述物体的特征点位置。

4.根据权利要求2所述的方法，其特征在于，确定所述物体与所述图像采集设备之间的距离的步骤包括：

根据所述图像上的所述物体的两个特征点位置，计算所述图像上所述两个特征点之间的距离；

根据所述图像上所述两个特征点之间的距离，确定所述物体与所述图像采集设备之间的距离。

5.根据权利要求4所述的方法，其特征在于，所述视频特效由前景图案和背景图案组成；

根据所述物体的显示坐标，生成视频特效的步骤包括：

根据所述物体与所述图像采集设备之间的距离，确定前景图案的大小信息；

根据所述大小信息，设置相应大小的前景图案；

根据所述物体的显示坐标，将所述前景图案添加到背景图案的相应位置上，生成视频特效。

6.根据权利要求1所述的方法，其特征在于，根据所述物体的显示坐标，生成视频特效的步骤包括：

设置所述显示区域内的背景图案和前景图案；

确定所述前景图案的显示坐标和所述物体的显示坐标的对应关系；

根据所述对应关系，将所述前景图案添加到所述背景图案的相应位置上，生成视频特效。

7.根据权利要求6所述的方法，其特征在于，所述对应关系为：

所述前景图案的显示坐标与所述物体的显示坐标相同；或者，

所述前景图案的显示坐标远离所述物体的显示坐标。

8.根据权利要求7所述的方法，其特征在于，当所述对应关系为所述前景图案的显示坐标远离所述物体的显示坐标时，根据所述对应关系，将前景图案添加到背景图案的相应位置上，生成视频特效的步骤包括：

根据所述前景图案的显示坐标和所述物体的显示坐标，判定在所述显示区域内所述前景图案和所述物体之间的距离是否小于预先设定的阈值，如果是，则沿着所述前景图案的显示坐标和所述物体的显示坐标的连线，向着远离所述物体的显示坐标的方向改变所述前景图案的显示坐标；否则，按照随机方向改变所述前景图案的显示坐标；

根据改变后的前景图案的显示坐标，将所述前景图案添加到所述背景图案的相应位置上，生成视频特效。

9.根据权利要求1所述的方法，其特征在于，所述物体为人，所述特征点包括人的双眼和嘴巴；

确定人在地面上的区域的坐标的步骤包括：

根据图像采集设备采集到的人脸图像上的双眼位置和嘴巴位置，以及左眼或右眼与嘴巴的径向夹角，确定人相对于所述图像采集设备的朝向角度；

根据所述朝向角度，以及该人与所述图像采集设备之间的距离，计算得到该人在地面上的区域的坐标。

10.根据权利要求9所述的方法，其特征在于，确定人与所述图像采集设备之间的距离的步骤包括：

根据图像采集设备采集到的人脸图像上的双眼位置，确定该人脸图像上的双眼之间的距离；

根据所述双眼之间的距离，确定该人与所述图像采集设备之间的距离。

11.根据权利要求9所述的方法，其特征在于，确定人与所述图像采集设备之间的距离的步骤包括：

根据图像采集设备采集到的人脸图像上的双眼位置和嘴巴位置，以及左眼或右眼与嘴巴的径向夹角，确定该人脸图像上的人的头部半径；

根据所述头部半径，确定该人与所述图像采集设备之间的距离。

12.根据权利要求1所述的方法，其特征在于，所述地面上的区域的坐标为二维坐标。

13.一种生成视频特效的装置，其特征在于，该装置包括：

设置对应关系单元，用于设置图像采集设备采集到的地面上的区域的坐标和显示设备显示区域的坐标之间的对应关系；

确定显示坐标单元，用于根据所述对应关系，以及物体在地面上的区域的坐标，确定所述物体在显示区域上的显示坐标；

生成视频特效单元，用于根据所述物体的显示坐标，生成视频特效。

Images