CN101329768B - 基于背景视图合成卡通动画的方法 - Google Patents

Abstract

本发明公开了一种基于背景视图合成完整平滑卡通动画的方法。包括如下步骤：(1)利用相似性评估证明边界距离与运动方向距离是影响人类视觉效果的两个重要因素，通过合并这两个因素计算相似度；(2)依据背景中的灭线计算比例因子，调整卡通角色的大小尺寸；(3)由用户交互得到卡通角色行进路线，通过斜率匹配得到卡通片段，并合成出需要的卡通动画。本发明不仅实现卡通序列重用，也实现背景的重用，并使动画师根据特定背景，通过运动轨迹对2D卡通角色进行有效控制，生成新的卡通动画。

Description

基于背景视图合成卡通动画的方法

技术领域

本发明涉及二维卡通动画领域，尤其涉及一种基于背景视图合成卡通动画的方法。

背景技术

卡通动画有着广泛的应用领域，包括教育，广告，娱乐等。传统的卡通画制作分为：情节设计、细节设计、声音的录制、关键帧绘制、过渡帧绘制、背景绘制等。传统动画是一个繁琐的制作过程，尤其是过渡帧的绘制需要消耗动画师大量的时间和工作。

当前计算机辅助动画设计系统主要是希望基于关键帧自动绘制过渡帧，减轻动画师的工作量，即针对相邻两关键帧的各个部分建立对应关系，并基于该对应关系通过插值生成过渡帧，再依据关键帧中各部分的颜色生成过渡帧的颜色。

建立相邻两关键帧的对应关系。由于2维图像本身不是结构化的数据，因此需要对其进行结构化。比如2002年在NPAR会议上发表的《Computer AidedInbetweening》就属于这种方法，该文章提出基于层次的算法将关键帧以笔画为单位，对图像进行结构化。首先帧中卡通角色上的笔画将基于其连通性分为若干笔画组，之后对于两幅关键帧中的笔画组依据它们之间存在的包含，相邻以及层次关系构建对应关系。又如1995年在Journal of Visual Computer上发表的《Feature matching and affine transformation for 2D cell animation》提出了一种自动建立过渡帧的算法，该方法首先确定一对相似的关键帧，同时在关键帧各自的边界上确定特征点，其周围的邻近像素要有三个或三个以上属于卡通角色，在两帧的特征点中选中若干相互匹配的特征点，并建立它们之间的仿射变换矩阵，接着运用该变换矩阵针对其中一个进行变形得到的结果与另一帧将非常接近，在原关键帧与变换得到的帧之间利用插值构建过渡帧。

通过插值得到的过渡帧仅具有轮廓，而不具有颜色信息，而为过渡帧上色是一件繁琐的工作。在2000年Journal of Visual Computer上发表的《Computer-assisted coloring by matching line drawings》一文中提出针对过渡帧的自动上色算法。首先针对卡通角色轮廓进行修复工作，然后针对卡通角色中大面积区域给出编号，并进行匹配，对于面积较小的区域则按照与大面积区域的邻接关系进行匹配。

近些年由Juan提出的Cartoon Texture方法从现有的卡通库中连接相似的一些帧而合成卡通动画。为了构建平滑的卡通序列，每一对帧都要进行一遍相似度计算。然而，Cartoon Texture方法仅仅考虑了卡通角色边界的相似度而忽略了其他因素。有些情况，两个卡通角色具有相似的边界，但具有相反的运动方向。另一种方法被称之为”Adaptive Cartoon Reusing”，即自适应卡通重用，在相似度计算上做出了改进。因为所有的关键帧和过渡帧都从卡通库中选取，从而用户可以方便地合成卡通动画。

但是现有的卡通重用方法存在三个未解决的问题：首先，在卡通动画中，影响人们视觉感知的因素没有被证明；其次，现有的卡通重用方法仅仅采用单帧重用，很难满足人们的视觉感受；最后，上述提到的两种方法仅仅适用于小的卡通片段，而忽略了怎样将它们应用于背景视图中。

发明内容

本发明的目的是克服现有技术的不足，提供一种基于背景视图合成卡通动画的方法。

基于背景视图合成卡通动画的方法包括如下步骤：

(1)利用相似性评估证明边界距离与运动方向距离是影响人类视觉效果的两个重要因素，通过合并这两个因素计算相似度；

(2)依据背景中的灭线计算比例因子，调整卡通角色的大小尺寸；

(3)由用户交互得到卡通角色行进路线，通过斜率匹配得到卡通片段，并合成出需要的卡通动画。

所述的利用相似性评估证明边界距离与运动方向距离是影响人类视觉效果的两个重要因素，通过合并这两个因素计算相似度步骤：选取两个数据集，第一个数据集中，是一对时间域上相邻的两帧，视觉相似度高，第二个数据集中，是一对随机选取的两帧，视觉相似度低，利用Hausdorff距离公式计算出边界距离：

$D_H(I_i,I_j)=\left\{\begin{array}{cc}\max (h(E_i,E_j),h(E_j,E_i))& i\≠j\\ 0& i=j\end{array}\right.---1$

E_i和E_j分别是帧I_i和帧I_j的边界点集，计算两个集合之间的Hausdorff距离h的公式为：

$h(E_i,E_j)={\mathrm{\Σ}}_{p_a\∈E_i}{\min }_{p_b\∈E_j}\left(\right||p_a-p_b|\left|\right)---2$

其中||p_a-p_b||为计算位于相应帧的边界点a和b的欧式距离，n_i代表E_i的边界点个数；

根据两个数据集分别计算出的边界距离分布在不相重合的区域范围内，且不论是最大，最小还是平均边界距离，第一个数据集都要小于第二个数据集，从而证明边界距离是影响人们视觉效果的一个重要因素；

通过前景分割得到视频中相邻两帧的前景卡通角色I_i和I_i+1，采用几何平均计算出两个卡通角色的质心C_i和C_i+1，卡通角色之间的相对位移的计算公式为：

$\stackrel{\→}{M_r^i}=\stackrel{\→}{C_i{C}_{i+1}}---3$

再通过合并卡通角色

的相对位移和相机位移

，得到卡通角色的运动方向和速度，计算公式为：

$\stackrel{\→}{M_c^i}=\stackrel{\→}{M_r^i}-\stackrel{\→}{M_b^i}---4$

计算两帧的运动方向距离公式为：

$D_M(I_i,I_j)\text{=arccos}\left(\frac{\stackrel{\→}{M_c^i}*\stackrel{\→}{M_c^j}}{\left|\stackrel{\→}{M_c^i}\right|-\left|\stackrel{\→}{M_c^j}\right|}\right)---5$

根据两个数据集分别计算出的运动方向距离分布在不相重合的区域范围内，且不论是最大，最小还是平均运动方向距离，第一个数据集都要小于第二个数据集，从而证明运动方向距离是影响视觉效果的另一个重要因素。

所述的依据背景中的灭线计算比例因子，调整卡通角色的大小尺寸步骤：首先定义灭线为视觉平面和与地面平行的平面的交线，且该灭线通过摄像机，其中卡通角色在视觉平面的坐标设为(u`，v`)，v`＝0的点为在灭线上的点，v`＞0的点为在灭线以下，一个点的实际高度y计算公式为：

$v^{`}=(y_c-y)\frac{f}{z}---6$

y_c是摄像机的高度，z是深度，f是摄像机的焦距，卡通角色的高度为y_top-y_bottom：其中y_top代表最高点的高度，y_bottom代表最低点的高度，卡通角色的高度计算公式为：

$\frac{{v^{`}}_{\mathrm{bottom}}}{{v^{`}}_{\mathrm{bottom}}-{v^{`}}_{\mathrm{top}}}=\frac{y_c}{y_{\mathrm{top}}}---7$

其中v`<sub>bottom</sub>和v`_top分别为卡通角色在视觉平面的最低点和最高点坐标，定义：背景视图不移动的灭线v₀，v_c为卡通角色在视觉平面中最低点，H_c代表卡通角色的实际高度，卡通角色在视觉平面中的高度h_c计算公式为：

$h_c=\frac{H_c(v_c-v_0)}{y_c}---8$

当卡通角色放置于背景视图中，得到最低位置v_c，

通过用户把卡通角色的大小进行初始化，得到卡通角色在视觉平面上某点的高度h_c ^s，得到：

$\frac{H_c}{y_c}=\frac{h_c^s}{v_c^s-v_0}---9$

卡通角色实际高度和摄像机的高度为常数，

也是常数，得到：

$\frac{h_c^s}{v_c^s-v_0}=\frac{h_c^i}{(v_c^i-v_0)}\&DoubleRightArrow;h_c^i=\frac{h_c^s}{v_c^s-v_0}(v_c^i-v_0)---10$

根据卡通角色在视觉平面的位置v_c ⁱ计算出高度h_c ⁱ，比例因子S根据用户的交互和灭线v₀计算公式为：

$S=\frac{h_c^s}{v_c^s-v_0}---11.$

所述的由用户交互得到卡通角色行进路线，通过斜率匹配得到卡通片段，并合成出需要的卡通动画步骤：提取若干重用视频中的卡通角色片段，保存重用视频卡通的行进轨迹，将背景视图划分为若干子区域，用户交互出的行进路线根据这些子区域进行分割，采用基于重用轨迹和用户交互的路线的斜率匹配算法，挑选出与交互路线最匹配的重用卡通片段，将该卡通角色应用于合成动画，令重用卡通片段的轨迹为P_r，用户交互的子路线为P_u，斜率匹配算法基于每条路线上的10个点，分别记为{p_r ¹…p_r ¹⁰}和{p_u ¹…p_u ¹⁰}，两条路线的差计算公式如下：

$D(P_u,P_r)=\underset{i=1}{\overset{10}{\mathrm{\&Sigma;}}}(S\left(p_u^i\right)-S\left(p_r^i\right))---12$

其中S(p_u ⁱ)计算该点的斜率，当计算出阈值后，与保留路线匹配的K个卡通片段被选取，假设前一个卡通片段i记为(F_i ¹，…F_i ⁿ)，评估两个卡通片段的相似性，计算公式如下：

$D(F_i^n,F_j^1)=\mathrm{\&alpha;}{D^{`}}_H(F_i^n,F_j^1)+(1-\mathrm{\&alpha;}){D^{`}}_M\left(F_i^n{,F}_j^1\right)---13$

F_i ⁿ代表第i个片段的最后一帧，F_j ¹代表第j个片段的第一帧，α代表权重系数，D`<sub>H</sub>和D`_M为归一化的边界距离和运动方向距离：

${D^{`}}_H(F_i^n,F_j^1)=\frac{D_H(F_i^n,F_j^1)-{\min }_{A\&Element;(L-\{F_i^n\left\}\right)}\left(D_H(F_i^n,A)\right)}{{\max }_{B\&Element;L}{D}_H(F_i^n,B)-{\min }_{A\&Element;(L-F_i^n)}\left(D_H(F_i^n,A)\right)}---14$

${D^{`}}_M(F_i^n,F_j^1)=\frac{1}{\mathrm{\&pi;}}{D}_M(F_i^n,F_j^1)---15$

其中L代表卡通库，并且经过归一化，D`<sub>H</sub>和D`_M值都在[0，1]。

本发明与现有技术相比具有的有益效果：

本发明通过相似性评估实验证明Hausdorff边界差异及运动特征差异是影响卡通动画平滑效果的关键因素；依据用户设计的运动轨迹，通过区域分割，曲率计算及相似度匹配，能从序列库中自动合成用户需要的卡通动画；利用灭线计算背景图像中透视比例因子，依据轨迹自动缩放调整卡通角色的尺寸与场景融合。本发明不仅实现卡通序列重用，也实现背景的重用，并使动画师根据特定背景，通过运动轨迹对2D卡通角色进行有效控制，生成新的卡通动画。

附图说明

图1是基于背景视图合成卡通动画的方法的流程图；

图2(a)是计算包含时间域相邻帧的数据集的边界距离柱状分布图；

图2(b)是计算包含随机帧的数据集的边界距离柱状分布图；

图3(a)是计算包含时间域相邻帧的数据集的运动方向距离柱状分布图；

图3(b)是计算包含时间域相邻帧的数据集的运动方向距离柱状分布图；

图4是本发明中计算比例因子示意图；

图5是本发明中背景视图划分及路线设计示意图；

图6(a)是应用本方法的效果图；

图6(b)是应用随机得到的比例因子合成卡通动画效果图；

图6(c)是不应用任何比例因子合成卡通动画效果图；

图7是利用本方法更多合成卡通动画效果图。

具体实施方式

基于背景视图合成卡通动画的方法包括如下步骤(见图1)：

(1)利用相似性评估证明边界距离与运动方向距离是影响人类视觉效果的两个重要因素，通过合并这两个因素计算相似度；

(2)依据背景中的灭线计算比例因子，调整卡通角色的大小尺寸；

(3)由用户交互得到卡通角色行进路线，通过斜率匹配得到卡通片段，并合成出需要的卡通动画。

所述的利用相似性评估证明边界距离与运动方向距离是影响人类视觉效果的两个重要因素，通过合并这两个因素计算相似度步骤：选取两个数据集，第一个数据集中(见图2(a))，是一对时间域上相邻的两帧，视觉相似度高，第二个数据集中(见图2(b))，是一对随机选取的两帧，视觉相似度低，利用Hausdorff距离公式计算出边界距离：

$D_H(I_i,I_j)=\left\{\begin{array}{cc}\max (h(E_i,E_j),h(E_j,E_i))& i\&NotEqual;j\\ 0& i=j\end{array}\right.---1$

E_i和E_j分别是帧I_i和帧I_j的边界点集，计算两个集合之间的Hausdorff距离h的公式为：

$h(E_i,E_j)={\mathrm{\&Sigma;}}_{p_a\&Element;E_i}{\min }_{p_b\&Element;E_j}\left(\right||p_a-p_b|\left|\right)---2$

其中||p_a-p_b||为计算位于相应帧的边界点a和b的欧式距离，n_i代表E_i的边界点个数；

根据两个数据集分别计算出的边界距离分布在不相重合的区域范围内(见图3)，且不论是最大，最小还是平均边界距离，第一个数据集都要小于第二个数据集，从而证明边界距离是影响人们视觉效果的一个重要因素；

通过前景分割得到视频中相邻两帧的前景卡通角色I_i和I_i+1，采用几何平均计算出两个卡通角色的质心C_i和C_i+1，卡通角色之间的相对位移的计算公式为：

$\stackrel{\&RightArrow;}{M_r^i}=\stackrel{\&RightArrow;}{C_i{C}_{i+1}}---3$

再通过合并卡通角色

的相对位移和相机位移

得到卡通角色的运动方向和速度，计算公式为：

$\stackrel{\&RightArrow;}{M_c^i}=\stackrel{\&RightArrow;}{M_r^i}-\stackrel{\&RightArrow;}{M_b^i}---4$

计算两帧的运动方向距离公式为：

$D_M(I_i,I_j)\text{=arccos}\left(\frac{\stackrel{\&RightArrow;}{M_c^i}*\stackrel{\&RightArrow;}{M_c^j}}{\left|\stackrel{\&RightArrow;}{M_c^i}\right|-\left|\stackrel{\&RightArrow;}{M_c^j}\right|}\right)---5$

根据两个数据集分别计算出的运动方向距离分布在不相重合的区域范围内，且不论是最大，最小还是平均运动方向距离，第一个数据集都要小于第二个数据集，从而证明运动方向距离是影响视觉效果的另一个重要因素。

所述的依据背景中的灭线计算比例因子，调整卡通角色的大小尺寸步骤(见图4)：首先定义灭线为视觉平面和与地面平行的平面的交线，且该灭线通过摄像机，其中卡通角色在视觉平面的坐标设为(u`，v`)，v`＝0的点为在灭线上的点，v`＞0的点为在灭线以下，一个点的实际高度y计算公式为：

$v^{`}=(y_c-y)\frac{f}{z}---6$

y_c是摄像机的高度，z是深度，f是摄像机的焦距，卡通角色的高度为y_top-y_bottom：其中y_top代表最高点的高度，y_bottom代表最低点的高度，卡通角色的高度计算公式为：

$\frac{{v^{`}}_{\mathrm{bottom}}}{{v^{`}}_{\mathrm{bottom}}-{v^{`}}_{\mathrm{top}}}=\frac{y_c}{y_{\mathrm{top}}}---7$

其中v`<sub>bottom</sub>和v`_top分别为卡通角色在视觉平面的最低点和最高点坐标，定义：背景视图不移动的灭线v₀，v_c为卡通角色在视觉平面中最低点，H_c代表卡通角色的实际高度，卡通角色在视觉平面中的高度h_c计算公式为：

$h_c=\frac{H_c(v_c-v_0)}{y_c}---8$

当卡通角色放置于背景视图中，得到最低位置v_c，

通过用户把卡通角色的大小进行初始化，得到卡通角色在视觉平面上某点的高度h_c ^s，得到：

$\frac{H_c}{y_c}=\frac{h_c^s}{v_c^s-v_0}---9$

卡通角色实际高度和摄像机的高度为常数，

也是常数，得到：

$\frac{h_c^s}{v_c^s-v_0}=\frac{h_c^i}{(v_c^i-v_0)}\&DoubleRightArrow;h_c^i=\frac{h_c^s}{v_c^s-v_0}(v_c^i-v_0)---10$

根据卡通角色在视觉平面的位置v_c ⁱ计算出高度h_c ⁱ，比例因子S根据用户的交互和灭线v₀计算公式为：

$S=\frac{h_c^s}{v_c^s-v_0}---11.$

所述的由用户交互得到卡通角色行进路线，通过斜率匹配得到卡通片段，并合成出需要的卡通动画步骤(见图5)：提取若干重用视频中的卡通角色片段，保存重用视频卡通的行进轨迹，将背景视图划分为若干子区域，用户交互出的行进路线根据这些子区域进行分割，采用基于重用轨迹和用户交互的路线的斜率匹配算法，挑选出与交互路线最匹配的重用卡通片段，将该卡通角色应用于合成动画，令重用卡通片段的轨迹为P_r，用户交互的子路线为P_u，斜率匹配算法基于每条路线上的10个点，分别记为{p_r ¹…p_r ¹⁰}和{p_u ¹…p_u ¹⁰}，两条路线的差计算公式如下：

$D(P_u,P_r)=\underset{i=1}{\overset{10}{\mathrm{\&Sigma;}}}(S\left(p_u^i\right)-S\left(p_r^i\right))---12$

其中S(p_u ⁱ)计算该点的斜率，当计算出阈值后，与保留路线匹配的K个卡通片段被选取，假设前一个卡通片段i记为(F_i ¹，…F_i ⁿ)，评估两个卡通片段的相似性，计算公式如下：

$D(F_i^n,F_j^1)=\mathrm{\&alpha;}{D^{`}}_H(F_i^n,F_j^1)+(1-\mathrm{\&alpha;}){D^{`}}_M\left(F_i^n{,F}_j^1\right)---13$

F_i ⁿ代表第i个片段的最后一帧，F_j ¹代表第j个片段的第一帧，α代表权重系数，D`<sub>H</sub>和D`_M为归一化的边界距离和运动方向距离：

${D^{`}}_H(F_i^n,F_j^1)=\frac{D_H(F_i^n,F_j^1)-{\min }_{A\&Element;(L-\{F_i^n\left\}\right)}\left(D_H(F_i^n,A)\right)}{{\max }_{B\&Element;L}{D}_H(F_i^n,B)-{\min }_{A\&Element;(L-F_i^n)}\left(D_H(F_i^n,A)\right)}---14$

${D^{`}}_M(F_i^n,F_j^1)=\frac{1}{\mathrm{\&pi;}}{D}_M(F_i^n,F_j^1)---15$

其中L代表卡通库，并且经过归一化，D`<sub>H</sub>和D`_M值都在[0，1]。

至此，通过卡通角色提取，距离计算，比例因子计算，以及用户设计路线这些步骤，可重用已有的卡通数据合成基于背景视图的卡通动画序列。

实施例

世界著名的动画片中最有名的是以猫和老鼠为代表的系列动画片，然而随着老一辈的艺术家的退休，目前已经很难制作出与这些经典动画片具有相同风格的作品了。下面结合前面所述的具体技术方案重用猫和老鼠动画片中的帧基于给定背景视图得到新的动画序列的步骤，如下：

(1)根据灭线计算比例因子：当生成的卡通应用于背景视图中时，卡通角色的大小随着视角而变化。定义灭线为视觉平面和与地面平行的平面的交线，并且该灭线通过摄像机。卡通角色在视觉平面的坐标设为(u`，v`)，v`＝0的点为在灭线上的点，v`＞0的点为在灭线以下。一个点的实际高度y通过以下公式计算：

$v^{`}=(y_c-y)\frac{f}{z}$

y_c是摄像机的高度，z是深度，f是摄像机的焦距。卡通角色的高度为y_top-y_bottom：其中y_top为最高点的高度，y_bottom为最低点的高度，卡通角色的高度如下计算：

$\frac{{v^{`}}_{\mathrm{bottom}}}{{v^{`}}_{\mathrm{bottom}}-{v^{`}}_{\mathrm{top}}}=\frac{y_c}{y_{\mathrm{top}}}$

其中v`<sub>bottom</sub>和v`_top分别为卡通角色在视觉平面的最低点和最高点坐标。

背景视图不移动时的灭线v₀，v_c为卡通角色在视觉平面中最低点，H_c代表卡通角色的实际高度，所以卡通角色在视觉平面中的高度h_c计算公式为：

$h_c=\frac{H_c(v_c-v_0)}{y_c}$

当卡通角色放置于背景视图中，可得最低位置v_c，灭线可构造出来。

本方法通过用户把卡通角色的大小进行初始化，所以卡通角色在视觉平面上某点的高度可得到，记为h_c ^s，

计算公式为：

$\frac{H_c}{y_c}=\frac{h_c^s}{v_c^s-v_0}$

由于卡通角色实际高度和摄像机的高度为常数，

也为常数，得到：

$\frac{h_c^s}{v_c^s-v_0}=\frac{h_c^i}{(v_c^i-v_0)}\&DoubleRightArrow;h_c^i=\frac{h_c^s}{v_c^s-v_0}(v_c^i-v_0)$

所以根据卡通角色在视觉平面的位置v_c ⁱ计算出高度h_c ⁱ，比例因子S根据用户的交互和灭线v₀计算为：

$S=\frac{h_c^s}{v_c^s-v_0}$

(2)根据用户交互画出的行进路线合成卡通动画：将背景视图划分为若干子区域，用户交互出的行进路线根据这些子区域进行分割。

(3)经斜率匹配选取合适的重用卡通片段：提取若干重用视频中的卡通角色片段，保存重用视频的卡通行进轨迹，作为后期合成的片段库；采用基于重用轨迹和用户交互的路线的斜率匹配算法，挑选出与交互路线最匹配的重用卡通片段，将该卡通角色应用于合成动画。令重用卡通片段的轨迹为P_r，用户交互的子路线为P_u，斜率匹配算法基于每条路线上的十个点，分别记为{p_r ¹…p_r ¹⁰}和{p_u ¹…p_u ¹⁰}，两条路线的差计算公式如下：

$D(P_u,P_r)=\underset{i=1}{\overset{10}{\mathrm{\&Sigma;}}}(S\left(p_u^i\right)-S\left(p_r^i\right))$

其中S(p_u ⁱ)计算该点的斜率。计算出阈值后，与保留路线匹配的K个卡通片段被选取出来。为了连接各个卡通片段使得最终卡通动画的平滑性。假设前一个卡通片段i记为(F_i ¹，…F_i ⁿ)，下一步评估两个卡通片段的相似性，使得相邻的两个卡通片段相似度达到最佳。计算公式如下：

$D(F_i^n,F_j^1)=\mathrm{\&alpha;}{D^{`}}_H(F_i^n,F_j^1)+(1-\mathrm{\&alpha;}){D^{`}}_M\left(F_i^n{,F}_j^1\right)$

F_i ⁿ代表第i个片段的最后一帧，F_j ¹代表第j个片段的第一帧，α代表权重系数。D`<sub>H</sub>和D`_M为归一化的边界距离和运动方向距离：

${D^{`}}_H(F_i^n,F_j^1)=\frac{D_H(F_i^n,F_j^1)-{\min }_{A\&Element;(L-\{F_i^n\left\}\right)}\left(D_H(F_i^n,A)\right)}{{\max }_{B\&Element;L}{D}_H(F_i^n,B)-{\min }_{A\&Element;(L-F_i^n)}\left(D_H(F_i^n,A)\right)}$

${D^{`}}_M(F_i^n,F_j^1)=\frac{1}{\mathrm{\&pi;}}{D}_M(F_i^n,F_j^1)$

其中L代表卡通库，经过归一化，D`<sub>H</sub>和D`_M值都在范围[0，1]内。

本实施例中，通过以上步骤重用已有的动画帧，应用于给定背景视图合成平滑的动画序列。图6(a)显示了应用本方法的合成效果，相对于图6(b)应用随机得到的比例因子合成卡通动画效果和图6(c)不应用任何比例因子合成卡通动画效果，本方法的视觉效果远远好过其它两种方法。图7给出了更多采用了本方法的结果。

Claims (2)

1.一种基于背景视图合成卡通动画的方法，其特征在于包括如下步骤：

(1)利用相似性评估证明边界距离与运动方向距离是影响人类视觉效果的两个重要因素，通过合并这两个因素计算相似度；

(2)依据背景中的灭线计算比例因子，调整卡通角色的大小尺寸；

(3)由用户交互得到卡通角色行进路线，通过斜率匹配得到卡通片段，并合成出需要的卡通动画；

所述的依据背景中的灭线计算比例因子，调整卡通角色的大小尺寸步骤：首先定义灭线为视觉平面和与地面平行的平面的交线，且该灭线通过摄像机，其中卡通角色在视觉平面的坐标设为(u`，v`)，v`＝0的点为在灭线上的点，v`＞0的点为在灭线以下，一个点的实际高度y计算公式为：

$v^{`}(y_c-y)\frac{f}{z}---6$

y_c是摄像机的高度，z是深度，f是摄像机的焦距，卡通角色的高度为y_top-y_bottom：其中y_top代表最高点的高度，y_bottom代表最低点的高度，卡通角色的高度计算公式为：

$\frac{{v^{`}}_{\mathrm{bottom}}}{{v^{`}}_{\mathrm{bottom}}-{v^{`}}_{\mathrm{top}}}=\frac{y_c}{y_{\mathrm{top}}}---7$

其中v`<sub>bottom</sub>和v`_top分别为卡通角色在视觉平面的最低点和最高点坐标，定义：背景视图不移动的灭线v₀，v_c为卡通角色在视觉平面中最低点，H_c代表卡通角色的实际高度，卡通角色在视觉平面中的高度h_c计算公式为：

$h_c=\frac{H_c(v_c-v_0)}{y_c}---8$

当卡通角色放置于背景视图中，得到最低位置v_c，

通过用户把卡通角色的大小进行初始化，得到卡通角色在视觉平面上某点的高度h_c ^s，得到：

$\frac{H_c}{y_c}=\frac{h_c^s}{v_c^s-v_0}---9$

卡通角色的实际高度和摄像机的高度为常数，

也是常数，得到：

$\frac{h_c^s}{v_c^s-v_0}=\frac{h_c^i}{(v_c^i-v_0)}\&DoubleRightArrow;h_c^i=\frac{h_c^s}{v_c^s-v_0}(v_c^i-v_0)---10$

根据卡通角色在视觉平面的位置v_c ⁱ计算出高度h_c ⁱ，比例因子S根据用户的交互和灭线v₀计算公式为：

$S=\frac{h_c^s}{v_c^s-v_0}---11;$

所述的由用户交互得到卡通角色行进路线，通过斜率匹配得到卡通片段，并合成出需要的卡通动画步骤：提取若干重用视频中的卡通角色片段，保存重用视频卡通的行进轨迹，将背景视图划分为若干子区域，用户交互出的行进路线根据这些子区域进行分割，采用基于重用轨迹和用户交互的路线的斜率匹配算法，挑选出与交互路线最匹配的重用卡通片段，将该卡通角色应用于合成动画，令重用卡通片段的轨迹为P_r，用户交互的子路线为P_u，斜率匹配算法基于每条路线上的10个点，分别记为{p_r ¹…p_r ¹⁰}和{p_u ¹…p_u ¹⁰}，两条路线的差计算公式如下：

$D(P_u,P_r)=\underset{i=1}{\overset{10}{\mathrm{\&Sigma;}}}(S\left(p_u^i\right)-S\left(p_r^i\right))---12$

其中S(p_u ⁱ)计算该点的斜率，当计算出阈值后，与保留路线匹配的K个卡通片段被选取，假设前一个卡通片段i记为(F_i ¹，…F_i ⁿ)，评估两个卡通片段的相似性，计算公式如下：

$D(F_i^n,F_j^1)=\mathrm{\&alpha;}{D^{`}}_H(F_i^n,F_j^1)+(1-\mathrm{\&alpha;}){D^{`}}_M(F_i^n,F_j^1)---13$

F_i ⁿ代表第i个片段的最后一帧，F_j ¹代表第j个片段的第一帧，α代表权重系数，D`<sub>H</sub>和D`_M为归一化的边界距离和运动方向距离：

${D^{`}}_H(F_i^n,F_j^1)=\frac{D_H(F_i^n,F_j^1)-{\min }_{A\&Element;(L-\{F_i^n\left\}\right)}\left(D_H(F_i^n,A)\right)}{{\max }_{B\&Element;L}{D}_H(F_i^n,B)-{\min }_{A\&Element;(L-F_i^n)}\left(D_H(F_i^n,A)\right)}---14$

${D^{`}}_M(F_i^n,F_j^1)=\frac{1}{\mathrm{\&pi;}}{D}_M(F_i^n,F_j^1)---15$

其中L代表卡通库，并且经过归一化，D`<sub>H</sub>和D`_M值都在[0，1]。

2.根据权利要求1所述的一种基于背景视图合成卡通动画的方法，其特征在于，所述的利用相似性评估证明边界距离与运动方向距离是影响人类视觉效果的两个重要因素，通过合并这两个因素计算相似度步骤：选取两个数据集，第一个数据集中，是一对时间域上相邻的两帧，视觉相似度高，第二个数据集中，是一对随机选取的两帧，视觉相似度低，利用Hausdorff距离公式计算出边界距离：

$D_H(I_i,I_j)=\left\{\begin{array}{cc}\max (h(E_i,E_j),h(E_j,E_i))& i\&NotEqual;j\\ 0& i=j\end{array}\right.---1$

E_i和E_j分别是帧I_i和帧I_j的边界点集，计算两个集合之间的Hausdorff距离h的公式为：

$h(E_i,E_j)={\mathrm{\&Sigma;}}_{p_a\&Element;E_i}{\min }_{p_b\&Element;E_j}\left(\right||p_a-p_b|\left|\right)---2$

其中‖p_a-p_b‖为计算位于相应帧的边界点a和b的欧式距离，n_i代表E_i的边界点个数；

根据两个数据集分别计算出的边界距离分布在不相重合的区域范围内，且不论是最大，最小还是平均边界距离，第一个数据集都要小于第二个数据集，从而证明边界距离是影响人们视觉效果的一个重要因素；

通过前景分割得到视频中相邻两帧的前景卡通角色I_i和I_i+1，采用几何平均计算出两个卡通角色的质心C_i和C_i+1，卡通角色之间的相对位移的计算公式为：

再通过合并卡通角色的相对位移和相机位移得到卡通角色的运动方向和速度，计算公式为：

$\stackrel{\&RightArrow;}{M_c^i}=\stackrel{\&RightArrow;}{M_r^i}-\stackrel{\&RightArrow;}{M_b^i}---4$

计算两帧的运动方向距离公式为：

$D_M(I_i,I_j)=\arccos \left(\frac{\stackrel{\&RightArrow;}{M_c^i}*\stackrel{\&RightArrow;}{M_c^j}}{\left|\stackrel{\&RightArrow;}{M_c^i}\right|*\left|\stackrel{\&RightArrow;}{M_c^j}\right|}\right)---5$

根据两个数据集分别计算出的运动方向距离分布在不相重合的区域范围内，且不论是最大，最小还是平均运动方向距离，第一个数据集都要小于第二个数据集，从而证明运动方向距离是影响视觉效果的另一个重要因素。

Images