CN101345827B - 一种交互式动画播放方法及系统 - Google Patents

Abstract

本发明公开了一种交互式动画播放方法及系统。其中，方法包括：将动画的当前合成图像投影到预设的投影面上进行播放；采集所述投影面上的视频图像；对所述视频图像进行分析，获取人体在所述当前图像中的位置信息；将所述人体在当前图像中的位置信息转换为人体在合成图像中的位置信息；根据人体位置信息的帧间变化，确定人体的动作；根据所述人体的动作，对当前动画进行合成，得到动画的当前合成图像。本发明所提供的技术方案，能够提高娱乐生活的趣味性。

Description

一种交互式动画播放方法及系统

技术领域

本发明涉及一种交互式动画播放方法及系统。 

背景技术

目前的动画(如FLASH动画)播放都是按照预先设计好的一帧帧图像进行播放的，观看者只能是作为观众进行观看，而不能与动画进行交互，使动画根据观看者的动作进行相应变化。 

然而，实际生活中，为了提高娱乐生活的趣味性，有时可能需要正在播放的动画能与观看者进行交互，并根据观看者的动作进行相应变化。例如，假设正在播放的动画中有一条小鱼在游动，如果观看者用手去触碰这条小鱼，则小鱼应能立即游开。又如，假设正在播放的动画中有一个足球静止在草坪上，如果观看者用脚对准足球有一个踢的动作，则足球应能根据脚踢的力度以及方向进行运动，并且足球在碰到其它边缘时，应能按照正碰而改变方向等。但目前尚没有一种这样的交互式动画播放方案。 

发明内容

有鉴于此，本发明中一方面提供一种交互式动画播放方法，另一方面提供一种交互式动画播放系统，以便提高娱乐生活的趣味性。 

本发明所提供的交互式动画播放方法，包括： 

将动画的当前合成图像投影到预设的投影面上进行播放； 

采集所述投影面上的视频图像； 

对采集的视频图像中的当前图像进行分析，获取人体在所述当前图像中的位置信息； 

将所述人体在当前图像中的位置信息转换为人体在合成图像中的位置信 息； 

根据人体在合成图像中的位置信息的帧间变化，确定人体的动作； 

根据所述人体的动作，对动画进行合成，得到动画的当前合成图像；并返回执行将将动画的当前合成图像投影到预设的投影面上进行播放的操作。 

较佳地，所述获取人体在所述当前图像中的位置信息包括： 

获取所述当前图像各像素的亮度； 

将亮度满足设定条件的像素对应的区域作为人体在所述当前图像中的区域； 

计算所述区域的位置信息，得到人体在所述当前图像中的位置信息。 

较佳地，所述亮度满足设定条件的像素为：亮度低于设定阈值的像素。 

较佳地，所述阈值的设定包括： 

预先根据人体对应像素的亮度区间[LS0，LS1]确定合成图像对应像素的亮度区间为[T0，T1]，且满足LS1+DELTA＜T0，DELTA为大于0的固定值； 

采用LS1+alpha*DELTA作为所述阈值，其中alpha为固定值。 

较佳地，所述将亮度满足设定条件的像素对应的区域作为人体在所述当前图像中的区域包括： 

生成一幅和当前图像大小相同的标志掩模图像，其中，亮度满足所述设定条件的像素位置设置为第一标志，其它像素设置为第二标志； 

对所述标志掩模图像进行滤波处理消除噪声； 

将所述第一标志对应的区域作为人体在当前图像中的区域。 

较佳地，所述位置信息包括：人体所在区域的中心位置和人体所在区域的外边缘位置。 

较佳地，所述将人体在当前图像中的位置信息转换为人体在合成图像中的位置信息包括： 

确定合成图像矩形区域四个角点的坐标(X_i，Y_i)，i＝1，2，3，4； 

获取所述合成图像矩形区域四个角点在当前图像中对应的坐标(x_i，x_i)，i＝1，2，3，4； 

根据所述(X_i，Y_i)、(x_i，x_i)以及投影变换原理，得到当前图像像素点与所述合 

较佳地，所述根据人体位置信息的帧间变化，确定人体的动作包括：根据最近几帧图像中人体位置信息的变化，确定人体的运行轨迹、以及速度和/或加速度的变化，得到人体的动作力度及方向；并根据人体区域的外边缘位置，确定人体是否与合成图像中的目标相接触； 

所述根据人体的动作，对当前动画进行合成包括：在人体与合成图像中的目标相接触时，根据所述人体的动作力度及方向，对当前动画中的相关实体按照所述人体的动作力度及方向进行适应性改变后合成到动画的当前图像中。 

较佳地，所述交互式动画包括：踢球动画、花朵显示动画或小鱼游动动画。 

本发明所提供的交互式动画播放系统，包括： 

投影播放单元，用于将动画的当前合成图像投影到预设的投影面上进行播放； 

图像采集单元，用于采集所述投影面上的视频图像； 

位置检测单元，用于对所述图像采集单元采集的视频图像中的当前图像进行分析，获取人体在所述当前图像中的位置信息； 

位置变换单元，用于将所述人体在所述当前图像中的位置信息转换为人体在合成图像中的位置信息； 

动作确定单元，用于根据人体在合成图像中的位置信息的帧间变化，确定人体的动作； 

动画合成单元，用于根据所述人体的动作，对动画进行合成，得到动画的当前合成图像；并将所述当前合成图像提供给所述投影播放单元进行投影。 

较佳地，所述位置检测单元包括： 

亮度分析模块，用于获取所述当前图像各像素的亮度，将亮度满足设定条 件的像素对应的区域作为人体在所述当前图像中的区域； 

位置确定模块，用于计算所述区域的位置信息，得到人体在所述当前图像中的位置信息。 

较佳地，所述亮度分析模块包括： 

标志掩模图像生成子模块，用于获取所述当前图像各像素的亮度，根据预先设定的人体对应像素的亮度区间和合成图像对应像素的亮度区间，生成一幅与当前图像大小相同的标志掩模图像；其中，人体对应像素的位置设置第一标志； 

人体区域确定子模块，用于将所述第一标志对应的区域作为人体在所述当前图像中的区域。 

从上述方案可以看出，本发明中通过采用投影方式显示动画，并通过采集包含人体的投影面上的图像来获取人体在图像中的位置信息变化，根据该位置信息变化确定人体进行的动作，之后根据该动作来合成接下来需要显示的动画，从而实现了动画与观看者的交互，提高了娱乐生活的趣味性。 

附图说明

图1为本发明实施例中交互式动画播放方法的示例性流程图。 

图2为本发明实施例中交互式动画播放系统的示例性结构图。 

图3为图2所示系统中位置检测单元的内部结构示意图。 

图4为图3所示位置检测单元中亮度分析模块的内部结构示意图。 

具体实施方式

本发明实施例中，为了使观看者能与动画进行交互，考虑将动画通过投影设备投影到投影面(地面或墙面或投影布等)上进行播放，同时采集投影面上的视频图像，当观看者需要与动画进行交互时，在采集的视频图像中便会出现人体(包括整个人体或人体的某些部位)，通过在采集的当前图像中进行人体检测或进行前一帧图像中已知人体的追踪，可得到人体在当前图像 中的位置信息，根据该位置信息的帧间变化情况，可确定人体的动作，进而可根据人体的动作，对当前动画进行合成，将合成的当前图像进行投影播放，从而实现观看者与动画的交互。 

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明进一步详细说明。 

图1为本发明实施例中交互式动画播放方法的示例性流程图。如图1所示，该流程包括如下步骤： 

步骤101，将动画的当前合成图像投影到预设的投影面上进行播放。 

本步骤中，可采用投影设备，如投影仪等进行投影，且投影面可以是地面或墙面或投影布等。 

其中，在没有人体交互的情况下，当前合成图像通常是根据原有设计合成的图像，在有人体交互的情况下，当前合成图像为根据人体动作合成的图像。 

步骤102，采集投影面上的视频图像。 

本步骤中，可采用图像采集设备，如摄像头等采集视频图像。该图像采集设备可垂直于投影面进行放置。 

步骤103，对所采集的视频图像进行分析，获取人体在当前图像中的位置信息。 

本实施中的人体可以是指整个人体，也可以是人体的某些部位，如手、脚、胳膊、腿或脸等。 

其中，对视频图像进行分析并获取当前图像中人体位置信息的方法可有多种，除了可利用现有技术中的各种检测跟踪算法外，本实施例中还提出了如下所示的基于亮度的算法。 

设定动画的合成图像的亮度范围，例如使动画的合成图像的亮度具有一个较高的范围，则人体进行投影区域后，由于人体的遮挡，采集的当前图像中人体对应的区域的亮度便会降低，这样一来，获取人体位置信息时，可以通过获取采集图像各像素的亮度，并将亮度低于设定阈值T的像素对应的区 域作为人体在所述当前图像中的区域，通过计算该区域位置信息得到人体在当前图像中的位置信息。 

较佳地的，阈值T可按如下所示方法设定： 

预先依经验得到人体遮挡区域的亮度范围为[LS0，LS1]，LS0的一个较优取值为0，LS1的一个较优取值为50，则设定合成图像的亮度范围为[T0，T1]，满足LS1+DELTA<T0，DELTA为大于0的固定值，可以取为20。设定DELTA的好处是避免合成图像亮度接近人体遮挡的阴影亮度，从而减少噪声点。 

设定亮度阈值为T＝LS1+alpha*DELTA，其中alpha为常数，可以取[0，1]间的正数。 

在获取采集图像各像素的亮度后，生成一副和原图像大小相同的标志掩模图像，可将亮度小于所述阈值T的像素作为人体对应区域的像素，将标志掩模对应位置设为FH，即第一标志，较佳地FH可取255，将亮度大于等于所述阈值T的像素的标志掩模值设定为FB，即第二标志，较佳地FB可取0。 

为了进一步滤除噪声的影响，得到平滑的人体区域，可对得到的标志掩模进一步采用中值滤波处理。当然也可以采用其它滤波算法。进一步，还可以对上述区域进行腐蚀，膨胀，开，闭等二值化图像处理来消除噪声，得到主要的人体区域。 

之后，根据第一标志对应的区域确定人体在当前图像中的区域，通过计算该区域位置信息得到人体在当前图像中的位置信息。 

步骤104，将所述人体在当前图像中的位置信息转换为合成图像中的位置信息。 

假定投影仪投影的合成图像分辨率为P×Q，又假设合成图像矩形区域的四个角点坐标分别为(X₁，Y₁)，(X₂，Y₂)，(X₃，Y₃)和(X₄，Y₄)，其中(X₁，Y₁)为矩形区域左上角坐标，(X₂，Y₂)为矩形区域右上角坐标，(X₃，Y₃)为矩形区域右下角坐标，(X₄，Y₄)为矩形区域左下角坐标。假设投影仪投影的合成图像分辨率为 P×Q，且合成图像坐标以左上角为原点，水平向右为X坐标轴正向，垂直向下为Y坐标轴正向，则有X₁＝0，Y₁＝0，X₂＝P-1，Y₂＝0，X₃＝P-1，Y₃＝Q-1，X₄＝0，Y₄＝Q-1。 

在获取视频图像后，可手工标定或采用图像分析方法自动获得投影的合成图像矩形区域的四个角点在当前图像中的坐标分别为(x₁，y₁)，(x₂，y₂)，(x₃，y₃)和(x₄，y₄)，其中(x₁，y₁)为对应(X₁，Y₁)的矩形区域左上角坐标，(x₂，y₂)为对应(X₂，Y₂)的矩形区域右上角坐标，(x₃，y₃)为对应(X₃，Y₃)的矩形区域右下角坐标，(x₄，y₄)为对应(X₄，Y₄)的矩形区域左下角坐标。 

根据投影变换原理，可得到如下所示的M矩阵： 

$M=\left(\begin{array}{cccccccc}0& 0& 0& {-z}_1*X_1& {-z}_1*Y_1& -z_1*Z_1& y_1*X_1& y_1*Y_1{y}_1*Z_1\\ z_1*X_1& z_1*Y_1& z_1*Z_1& 0& 0& 0& {-x}_1{*X}_1& -x_1*Y_1-x_1{*Z}_1\\ 0& 0& 0& {-z}_2*X_2& {-z}_2*Y_2& {-z}_2{*Z}_2& y_2*X_2& y_2*Y_2{y}_2*Z_2\\ z_2*X_2& z_2*Y_2& z_2*Z_2& 0& 0& 0& {-x}_2*X_2& -x_2*Y_2-x_2*Z_2\\ 0& 0& 0& {-z}_3*X_3& {-z}_3*Y_3& {-z}_3*Z_3& y_3*X_3& y_3*Y_3{y}_3*Z_3\\ z_3*X_3& z_3{*Y}_3& z_3*Z_3& 0& 0& 0& {-x}_3*X_3& {-x}_3*Y_3-x_3{*Z}_3\\ 0& 0& 0& {-z}_4*X_4& {-z}_4*Y_4& {-z}_4*Z_4& y_4*X_4& y_4*Y_4{y}_4*Z_4\\ z_4*X_4& z_4*Y_4& z_4*Z_4& 0& 0& 0& -x_4*X_4& -x_4*Y_4-x_4*Z_4\end{array}\right),$

其中z_i＝1，i＝1，2，3，4，Z_i＝0，i＝1，2，3，4。 

之后，求取矩阵M^TM的最小非零特征值对应的特征向量为  $h=\left(\begin{array}{c}{h}_1\\ h_2\\ h_3\\ h_4\\ h_5\\ h_6\\ h_7\\ h_8\\ h_9\end{array}\right)$

令  $H=\left(\begin{array}{ccc}{h}_1& h_2& h_3\\ h_4& h_5& h_6\\ h_7& h_8& h_9\end{array}\right),$ 假设已知一点在当前图像上的坐标为(x，y)，其对应点在投影面上的坐标为(X，Y)，则有关系  $\stackrel{\&RightArrow;}{X}=H^{-1}\stackrel{\&RightArrow;}{x},$ 其中  $\stackrel{\&RightArrow;}{x}=\left\{\begin{array}{c}x\\ y\\ z\end{array}\right\},$ 　  $\stackrel{\&RightArrow;}{X}=\left\{\begin{array}{c}X\\ Y\\ Z\end{array}\right\},$ z＝1，Z＝0。由于投影合成图像垂直投放到投影面上，所以能够将图像坐标转换为投影合成图像坐标，根据人体在当前图像上的坐标位置确定人体在合成图像上的坐标位置。 

得到了人体像素在合成图像上位置后，对合成图像上的人体像素进行连通区域分析，可得到人体所占区域，进一步，可以获取区域的中心位置和外边缘，在本发明中，将上述中心位置和外边缘统称为位置。 

步骤105，根据人体位置信息的帧间变化，确定人体的动作。 

本步骤中，可根据最近几帧图像中人体位置信息的变化，确定人体的运行轨迹、以及速度和/或加速度的变化，得到人体的动作力度及方向。同时，可以根据人体区域的外边缘位置，确定人体是否和合成图像中的某些目标接触。 

步骤106，根据人体的动作，对当前动画进行合成，得到动画的当前合成图像，之后返回执行步骤101。 

本步骤中，可根据步骤104中得到的人体的动作力度及方向，对当前动画中的相关实体按照所述人体的动作力度及方向进行适应性改变后合成到动画的当前图像中。 

上述交互式的动画播放方法可以广泛应用在各种交互式动画中，下面列举两个例子： 

例1：假设当前动画中显示有草坪以及草坪上某个静止的足球，当人的位置处于足球旁边时，通过判定人的外边缘的轨迹是否通过足球的位置来判断人是否踢了足球，如果通过，则认为踢了球，并根据人位置改变的速度以及轨迹方向，确定足球的运动速度和方向，并且，在后续图像中对应显示，当足球碰到投影区域边缘时，球会按照正碰改变方向，当球进到球门时，会得分。 

例2：假设当前动画中显示有盛开的花朵，则当有人遮挡住某个花朵时，通过得到人的位置信息，将人的位置和大小根据投影设备和图像采集设备的定标结果转换到合成图像上，在有人位置不再显示盛开的花，而显示被踩过 的花朵及脚印。 

以上对本发明实施例中交互式动画播放方法进行了详细描述，下面再对本发明实施例中交互式动画播放系统进行详细描述。 

图2为本发明实施例中交互式动画播放系统的示例性结构图。如图2所示，该系统包括：投影播放单元、图像采集单元、位置检测单元、位置变换单元、动作确定单元和动画合成单元。 

其中，投影播放单元用于将动画的当前合成图像投影到预设的投影面上进行播放。 

图像采集单元用于采集所述投影面上的视频图像。 

位置检测单元用于在所述视频图像的当前图像中进行人体检测追踪，获取人体在所述当前图像中的位置信息。 

位置变换单元用于将所述人体在当前图像中的位置信息转换为人体在合成图像中的位置信息。 

动作确定单元用于根据人体位置信息的帧间变化，确定人体的动作。 

动画合成单元用于根据所述人体的动作，对当前动画进行合成，得到动画的当前合成图像。 

具体实现时，位置检测单元可有多种具体实现形式。图3示出了其中一种结构示意图。如图3所示，该位置检测单元包括亮度分析模块和位置确定模块。 

其中，亮度分析模块用于获取所述当前图像各像素的亮度，将亮度满足设定条件的像素对应的区域作为人体在所述当前图像中的区域。 

位置确定模块用于计算所述区域的位置信息，得到人体在所述当前图像中的位置信息。 

图4示出了亮度分析模块的一种结构示意图。如图4所示，该亮度分析模块包括标志掩模图像生成子模块和人体区域确定子模块。 

其中，标志掩模图像生成模块用于获取所述当前图像各像素的亮度，根据预先设定的人体对应像素的亮度区间和合成图像对应像素的亮度区间，生成一 幅与当前图像大小相同的标志掩模图像；其中，人体对应像素的位置设置第一标志，其它像素的位置可设置第二标志； 

人体区域确定子模块用于将所述第一标志对应的区域作为人体在所述当前图像中的区域。 

本实施例中，交互式动画播放系统中各单元及单元内各模块的操作过程可与交互式动画播放方法中描述的操作过程一致，此处不再一一赘述。 

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种交互式动画播放方法，其特征在于，该方法包括：

将动画的当前合成图像投影到预设的投影面上进行播放；

采集所述投影面上的视频图像；

对采集的视频图像中的当前图像进行分析，获取人体在所述当前图像中的位置信息；

将所述人体在所述当前图像中的位置信息转换为人体在合成图像中的位置信息；

根据人体在合成图像中的位置信息的帧间变化，确定人体的动作；

根据所述人体的动作，对动画进行合成，得到动画的当前合成图像；并返回执行将将动画的当前合成图像投影到预设的投影面上进行播放的操作；

所述获取人体在所述当前图像中的位置信息包括：

获取所述当前图像各像素的亮度；

将亮度满足设定条件的像素对应的区域作为人体在所述当前图像中的区域；

计算所述区域的位置信息，得到人体在所述当前图像中的位置信息。

2.如权利要求1所述的方法，其特征在于，所述亮度满足设定条件的像素为：亮度低于设定阈值的像素。

3.如权利要求2所述的方法，其特征在于，所述阈值的设定包括：

预先根据人体对应像素的亮度区间[LS0，LS1]确定合成图像对应像素的亮度区间为[T0，T1]，且满足LS1+DELTA＜T0，DELTA为大于0的固定值；

采用LS1+alpha*DELTA作为所述阈值，其中alpha为固定值。

4.如权利要求1至3中任一项所述的方法，其特征在于，所述将亮度满足设定条件的像素对应的区域作为人体在所述当前图像中的区域包括：

生成一幅和当前图像大小相同的标志掩模图像，其中，亮度满足所述设定条件的像素位置设置为第一标志，其它像素设置为第二标志；

对所述标志掩模图像进行滤波处理消除噪声；

将所述第一标志对应的区域作为人体在当前图像中的区域。

5.如权利要求1-3中任一项所述的方法，其特征在于，所述位置信息包括：人体所在区域的中心位置和人体所在区域的外边缘位置。

6.如权利要求1所述的方法，其特征在于，所述将人体在当前图像中的位置信息转换为人体在合成图像中的位置信息包括：

确定合成图像矩形区域四个角点的坐标(X_i，Y_i)，i＝1，2，3，4；

获取所述合成图像矩形区域四个角点在当前图像中对应的坐标(x_i，x_i)，i＝1，2，3，4；

根据所述(X_i，Y_i)、(x_i，x_i)以及投影变换原理，得到当前图像像素点与所述合成图像像素点之间的变换矩阵H^-1；

根据关系式 $\stackrel{\&RightArrow;}{X}=H^{-1}\stackrel{\&RightArrow;}{x},$ $\stackrel{\&RightArrow;}{x}=\left\{\begin{array}{c}x\\ y\\ z\end{array}\right\},$ $\stackrel{\&RightArrow;}{X}=\left\{\begin{array}{c}X\\ Y\\ Z\end{array}\right\},$ z＝1，Z＝0，将人体在当前图像中的位置信息转换为人体在合成图像中的位置信息。

7.如权利要求1所述的方法，其特征在于，所述根据人体位置信息的帧间变化，确定人体的动作包括：根据最近几帧图像中人体位置信息的变化，确定人体的运行轨迹、以及速度和/或加速度的变化，得到人体的动作力度及方向；并根据人体区域的外边缘位置，确定人体是否与合成图像中的目标相接触；

所述根据人体的动作，对当前动画进行合成包括：在人体与合成图像中的目标相接触时，根据所述人体的动作力度及方向，对当前动画中的相关实体按照所述人体的动作力度及方向进行适应性改变后合成到动画的当前图像中。

8.如权利要求1至3、6、7中任一项所述的方法，其特征在于，所述交互式动画包括：踢球动画、花朵显示动画或小鱼游动动画。

9.一种交互式动画播放系统，其特征在于，该系统包括：

投影播放单元，用于将动画的当前合成图像投影到预设的投影面上进行播放；

图像采集单元，用于采集所述投影面上的视频图像；

位置检测单元，用于对所述图像采集单元采集的视频图像中的当前图像进行分析，获取人体在所述当前图像中的位置信息；

位置变换单元，用于将所述人体在所述当前图像中的位置信息转换为人体在合成图像中的位置信息；

动作确定单元，用于根据人体在合成图像中的位置信息的帧间变化，确定人体的动作；

动画合成单元，用于根据所述人体的动作，对动画进行合成，得到动画的当前合成图像；并将所述当前合成图像提供给所述投影播放单元进行投影；

所述位置检测单元包括：

亮度分析模块，用于获取所述当前图像各像素的亮度，将亮度满足设定条件的像素对应的区域作为人体在所述当前图像中的区域；

位置确定模块，用于计算所述区域的位置信息，得到人体在所述当前图像中的位置信息。

10.如权利要求9所述的系统，其特征在于，所述亮度分析模块包括：

标志掩模图像生成子模块，用于获取所述当前图像各像素的亮度，根据预先设定的人体对应像素的亮度区间和合成图像对应像素的亮度区间，生成一幅与当前图像大小相同的标志掩模图像；其中，人体对应像素的位置设置第一标志；

人体区域确定子模块，用于将所述第一标志对应的区域作为人体在所述当前图像中的区域。

Images