CN100583158C - 基于视频提取和重用的卡通动画制作方法 - Google Patents

Abstract

本发明公开了一种基于视频提取和重用的卡通动画制作方法。首先将卡通视频分解为卡通帧；之后，采用基于边界的前景分割技术提取卡通角色；之后，利用角色在边界上的相似度计算任意两帧角色之间的距离并得到距离矩阵；之后依据得到的距离矩阵采用流形学习的算法构建无向图；最后，由用户在无向图中指定任意两点并建立两点之间的最短路径，路径上所包含的帧组成一段平滑的动画帧序列。本方法通过设计出一个基于边界的前景提取技术，有效的将卡通角色从复杂背景中提取出来；通过光流跟踪技术计算每帧中角色的运动属性，使得角色之间的相似度计算更加精确；通过流形学习构建出的卡通数据重用平台，使得用户能够方便，快捷的制作卡通动画。

Description

基于视频提取和重用的卡通动画制作方法

技术领域

本发明涉及二维卡通动画领域，尤其涉及一种基于视频提取和重用的卡通动画制作方法。

背景技术

卡通动画有着广泛的应用领域，包括教育，广告，娱乐等。传统的卡通画制作分为：情节设计、细节设计、声音的录制、关键帧绘制、过渡帧绘制、背景绘制等。传统动画是一个繁琐的制作过程，尤其是过渡帧的绘制需要消耗动画师大量的时间和工作。

当前计算机辅助动画设计系统主要是希望基于关键帧自动绘制过渡帧，减轻动画师的工作量，即针对相邻两关键帧的各个部分建立对应关系，并基于该对应关系通过插值生成过渡帧，再依据关键帧中各部分的颜色生成过渡帧的颜色。

建立相邻两关键帧的对应关系。由于2维图像本身不是结构化的数据，因此需要对其进行结构化。比如2002年在NPAR会议上发表的《Computer AidedInbetweening》就属于这种方法，该文章提出基于层次的算法将关键帧以笔画为单位，对图像进行结构化。首先帧中角色上的笔画将基于其连通性分为若干笔画组，之后对于两幅关键帧中的笔画组依据它们之间存在的包含，相邻以及层次关系构建对应关系。又如1995年在Journal of Visual Computer上发表的《Feature matching and affine transformation for 2D cell animation》提出了一种自动建立过渡帧的算法，该方法首先确定一对相似的关键帧，同时在关键帧各自的边界上确定特征点，其周围的邻近像素要有三个或三个以上属于角色，在两帧的特征点中选中若干相互匹配的特征点，并建立它们之间的仿射变换矩阵，接着运用该变换矩阵针对其中一个进行变形得到的结果与另一帧将非常接近，在原关键帧与变换得到的帧之间利用插值构建过渡帧。

通过插值得到的过渡帧仅具有轮廓，而不具有颜色信息，而为过渡帧上色是一件繁琐的工作。在2000年Journal of Visual Computer上发表的《Computer-assisted coloring by matching line drawings》一文中提出针对过渡帧的自动上色算法。首先针对角色轮廓进行修复工作，然后针对角色中大面积区域给出编号，并进行匹配，对于面积较小的区域则按照与大面积区域的邻接关系进行匹配。

基于传统动画制作过程得到的计算机动画辅助设计系统往往存在两个难题。一是这类方法中的关键帧依旧需要由动画师进行设计，因此并不适合业余动画爱好者；二是采用插值的方式生成的过渡帧的质量并不能被保证。

发明内容

本发明的目的在于提供一种基于视频提取和重用的卡通动画制作方法。

包括以下步骤：

(1)基于图像中的灰度信息，计算图像中每帧的梯度并检测出角色的轮廓，并对轮廓采用像素填充算法获得角色的侧影并从动画帧中提取角色；

(2)对每帧，采用光流跟踪算法计算当前帧的运动属性，包括运动方向和速度；

(3)基于提取的角色轮廓计算两帧轮廓上的相似度，然后设定权值并计算两帧在运动属性和边界上的距离，构建距离矩阵；

(4)依据步骤(3)中计算得到的距离矩阵，采用流形学习算法将提取的卡通角色投影到低维空间并建立无向图，然后由用户在无向图中任取两点作为起点和终点并构建最短路径，路径上的组成卡通帧序列。

所述的基于图像中的灰度信息，计算图像中每帧的梯度并检测出角色的轮廓，并对轮廓采用像素填充算法获得角色的侧影并从动画帧中提取角色：提取轮廓的基本思路是逐一计算每个像素点在灰度上的二阶导数，并可通过Laplacian ofGaussian滤波器(LOG)近似得到，当其中某一点上的二阶导数为零时，则该点被定为边界的一部份；提取得边界图像仍存在一部分噪音，需采用卷积的方式去除图像中的噪音，去噪的公式为：

$C(i,j)=\underset{m=0}{\overset{\mathrm{Ma}-1}{\mathrm{\Σ}}}\underset{n=0}{\overset{\mathrm{Na}-1}{\mathrm{\Σ}}}A(m,n)*F(i-m,j-n)---1$

其中，A是带有噪声的图像矩阵，F则是用于过滤的矩阵，且0≤i＜Ma+4，0≤j＜Na+4；过滤后得到角色的封闭轮廓，接着采用像素填充算法，即在轮廓中选取一个点作为起始点，并利用八通图对整个轮廓进行深度优先的遍历，当遇到边界时，则停止遍历并返回上一层，结束时所有被遍历到的点都作为前景上的点；结合原始图像和经过区域填充的灰度图像，可将角色从原始图像中分割出来。

所述的对每帧采用光流跟踪算法计算当前帧的运动属性，包括运动方向和速度；通过前景分割可得到视频中相邻两帧的前景角色I_i和I_i+1，首先采用几何平均计算出两个角色的质心C_i和C_i+1，因此角色之间的相对位移的计算公式是：

$\stackrel{\→}{M_r^i}=\stackrel{\→}{C_i{C}_{i+1}}---2$

卡通视频中镜头的位移可基于相邻两帧通过光流跟踪计算得到，为了找到帧I_i中像素(x₀，y₀)在帧I_i+1上的位置，在I_i+1的像素(x₀，y₀)周围设计一个正方形的区域进行搜索，当相关度匹配最大化时，则认为找到了对应的位置，计算公式为：

$r=\frac{{\mathrm{\Σ}}_{m,n}(W_i(m,n)-\stackrel{\‾}{W_i})(W_{i+1}(m,n)-\stackrel{\‾}{W_{i+1}})}{\sqrt{{\mathrm{\Σ}}_{m,n}{(W_i(m,n)-\stackrel{\‾}{W_i})}^2\·{\mathrm{\Σ}}_{m,n}{(W_{i+1}(m,n)-\stackrel{\‾}{W_{i+1}})}^2}}---3$

其中，W_i和W_i+1是帧I_i和I_i+1上用于匹配的正方形区域；依据两个相匹配的像素可计算得到像素的位移向量，通过平均所有像素的位置向量，可得到图像整体位移即相机的位移，计算机公式为：

$\stackrel{\→}{M_b^i}=\frac{1}{n}\underset{a=0}{\overset{n}{\mathrm{\Σ}}}\stackrel{\→}{M_{P_a}}---4$

再通过合并角色的相对位移和相机位移可得到角色的运动方向和速度，计算公式为：

$\stackrel{\→}{M_c^i}=\stackrel{\→}{M_r^i}-\stackrel{\→}{M_b^i}---5$

所述的基于提取的角色轮廓计算两帧轮廓上的相似度，然后设定权值并计算两帧在运动属性和边界上的距离，构建距离矩阵：首先对比任意两个角色的轮廓计算轮廓上的相似度，计算公式为：

$D_H(I_i,I_j)=\left\{\begin{array}{cc}\max (h(E_i,E_j),h(E_j,E_i))& i\≠j\\ 0& i=j\end{array}\right.---6$

其中，E_i和E_j是帧I_i和I_j的边界集合，且h(E_i，E_j)是计算两个集合之间的Hausdorff距离，计算公式为：

$h(E_i,E_j)={\mathrm{\Σ}}_{p_a\∈E_1}{\min }_{p_b\∈E_2}\left(\right||p_a-p_b|\left|\right)---7$

其中，P_a和P_b是I_i和I_j的边界上任意两点，||p_a-p_b||是这两点之间的欧式距离；通过合并运动属性上的差距以及边界上的差距计算两帧的距离，计算公式为：

D(I_i，I_j)＝αD_H(I_i，I_j)+(1-α)D_M(I_i，I_j)          8

α作为合并用的权重，D_G(I_i，I_j)代表两帧在边界上的差距，而D_M(I_i，I_j)表示两帧在运动属性上的差距，计算公式为：

$D_G(I_i,I_j)=\frac{1}{\mathrm{\π}}{\cos }^{-1}\left(\frac{\stackrel{\→}{M_c^i}\·\stackrel{\→}{M_c^j}}{\left|\stackrel{\→}{M_c^i}\right|\left|\stackrel{\→}{M_c^j}\right|}\right)---9$

所述的依据计算得到的距离矩阵，采用流形学习算法将提取的卡通角色帧投影到低维空间并建立无向图，然后由用户在无向图中任取两点作为起点和终点并构建最短路径，路径上的组成卡通帧序列：首先依据距离矩阵确定任意一点与周围若干邻居结点之间的边长为最短路径，其中邻居结点的个数是提前确定的，由此构建出无向图；然后基于该无向图计算任意两点之间的最短路径，得到最短路径图；最后采用MDS算法构建低维空间；在得到该低维空间之后，由用户在空间中任意指定两点作为起点和终点，两点之间最短路径所包含的点作为新生成的动画帧。

本发明具有的有益的效果是：通过Laplacian of Gaussian滤波器提取的边界，有效的避免了轮廓线条断裂的情况，使得之后的填充算法能顺利进行，这种基于边界的角色提取算法与别的算法相比，能更稳定，并且完整的提取角色。通过光流跟踪提取每一帧中角色的运动信息，且与角色边界上的Hausdorff距离相合并能更精确的衡量帧之间的相似度。通过将卡通帧投影到低维空间，并由动画师指定空间中的起点和终点，两点之间最短路径上的点组成动画帧序列。本方法能有效利用已有的卡通数据生成新的动画序列，并且适用于那些没有动画制作经验的用户。

附图说明

图1是基于视频提取和重用的卡通动画制作方法的流程图；

图2(a)是本发明使用的卡通角色示意图；

图2(b)是通过边界检测的卡通角色示意图；

图2(c)是通过去噪得到的卡通角色示意图；

图2(d)是提取的完整的角色边界示意图；

图2(e)是通过角色填充得到的角色侧影示意图；

图2(f)是提取出的角色示意图；

图3(a)是使用的原图像i示意图；

图3(b)是使用的原图像j示意图；

图3(c)是角色在前景中的位移示意图；

图3(d)是通过光流计算结果示意图；

图3(e)是去掉前景的光流计算结果示意图；

图3(f)是跟踪角点光流的计算结果示意图；

图3(g)是前景与背景运动的合成示意图；

图3(h)是得到的角色运动示意图；

图4是本发明中构建最短路径的示意图；

图5是本发明中降维与残差之间的对比图；

图6是本发明中生成动画序列的示意图。

具体实施方式

基于视频提取和重用的卡通动画制作方法包括以下步骤：

(1)基于图像中的灰度信息，计算图像中每帧的梯度并检测出角色的轮廓，并对轮廓采用像素填充算法获得角色的侧影并从动画帧中提取角色；

(2)对每帧，采用光流跟踪算法计算当前帧的运动属性，包括运动方向和速度；

(3)基于提取的角色轮廓计算两帧轮廓上的相似度，然后设定权值并计算两帧在运动属性和边界上的距离，构建距离矩阵；

(4)依据步骤(3)中计算得到的距离矩阵，采用流形学习算法将提取的卡通角色投影到低维空间并建立无向图，然后由用户在无向图中任取两点作为起点和终点并构建最短路径，路径上的组成卡通帧序列。

所述的基于图像中的灰度信息，计算图像中每帧的梯度并检测出角色的轮廓，并对轮廓采用像素填充算法获得角色的侧影并从动画帧中提取角色：提取轮廓的基本思路是逐一计算每个像素点在灰度上的二阶导数，并可通过Laplacian ofGaussian滤波器(LOG)近似得到，当其中某一点上的二阶导数为零时，则该点被定为边界的一部份(见图2(b))；提取得边界图像仍存在一部分噪音，需采用卷积的方式去除图像中的噪音(去噪结果见图2(c))，去噪的公式为：

$C(i,j)=\underset{m=0}{\overset{\mathrm{Ma}-1}{\mathrm{\Σ}}}\underset{n=0}{\overset{\mathrm{Na}-1}{\mathrm{\Σ}}}A(m,n)*F(i-m,j-n)---1$

其中，A是带有噪声的图像矩阵，F则是用于过滤的矩阵，且0≤i＜Ma+4，0≤j＜Na+4；过滤后得到角色的封闭轮廓(见图2(d))，接着采用像素填充算法，即在轮廓中选取一个点作为起始点，并利用八通图对整个轮廓进行深度优先的遍历，当遇到边界时，则停止遍历并返回上一层，结束时所有被遍历到的点都作为前景上的点(见图2(e))；结合原始图像和经过区域填充的灰度图像，可将角色从原始图像中分割出来(见图2(f))。

所述的对每帧采用光流跟踪算法计算当前帧的运动属性，包括运动方向和速度；通过前景分割可得到视频中相邻两帧的前景角色I_i(见图3(a))和I_i+1(见图3(b))，首先采用几何平均计算出两个角色的质心C_i和C_i+1，因此角色之间的相对位移(见图3(c))的计算公式是：

$\stackrel{\→}{M_r^i}=\stackrel{\→}{C_i{C}_{i+1}}---2$

卡通视频中镜头的位移可基于相邻两帧通过光流跟踪计算得到，为了找到帧I_i中像素(x₀，y₀)在帧I_i+1上的位置，在I_i+1的像素(x₀，y₀)周围设计一个正方形的区域进行搜索，当相关度匹配最大化时，则认为找到了对应的位置，计算公式为：

$r=\frac{{\mathrm{\Σ}}_{m,n}(W_i(m,n)-\stackrel{\‾}{W_i})(W_{i+1}(m,n)-\stackrel{\‾}{W_{i+1}})}{\sqrt{{\mathrm{\Σ}}_{m,n}{(W_i(m,n)-\stackrel{\‾}{W_i})}^2\·{\mathrm{\Σ}}_{m,n}{(W_{i+1}(m,n)-\stackrel{\‾}{W_{i+1}})}^2}}---3$

其中，W_i和W_i+1是帧I_i和I_i+1上用于匹配的正方形区域；依据两个相匹配的像素可计算得到像素的位移向量(见图3(d))，通过减去前景点上的光流计算结果(见图3(e))，并提取角点上的光流计算(见图3(f))，可得到图像背景的位移即相机的位移(见图3(g))，计算机公式为：

$\stackrel{\→}{M_b^i}=\frac{1}{n}\underset{a=0}{\overset{n}{\mathrm{\Σ}}}\stackrel{\→}{M_{P_a}}---4$

再通过合并角色的相对位移和相机位移可得到角色的运动方向和速度，计算公式为：

$\stackrel{\→}{M_c^i}=\stackrel{\→}{M_r^i}-\stackrel{\→}{M_b^i}---5$

所述的基于提取的角色轮廓计算两帧轮廓上的相似度，然后设定权值并计算两帧在运动属性和边界上的距离，构建距离矩阵：首先对比任意两个角色的轮廓计算轮廓上的相似度，计算公式为：

$D_H(I_i,I_j)=\left\{\begin{array}{cc}\max (h(E_i,E_j),h(E_j,E_i))& i\≠j\\ 0& i=j\end{array}\right.---6$

其中，E_i和E_j是帧I_i和I_j的边界集合，且h(E_i，E_j)是计算两个集合之间的Hausdorff距离，计算公式为：

$h(E_i,E_j)={\mathrm{\Σ}}_{p_a\∈E_1}{\min }_{p_b\∈E_2}\left(\right||p_a-p_b|\left|\right)---7$

其中，P_a和P_b是I_i和I_j的边界上任意两点，||p_a-p_b||是这两点之间的欧式距离；通过合并运动属性上的差距以及边界上的差距计算两帧的距离，计算公式为：

D(I_i，I_j)＝αD_H(I_i，I_j)+(1-α)D_M(I_i，I_j)          8

α作为合并用的权重，D_G(I_i，I_j)代表两帧在边界上的差距，而D_M(I_i，I_j)表示两帧在运动属性上的差距，计算公式为：

$D_G(I_i,I_j)=\frac{1}{\mathrm{\π}}{\cos }^{-1}\left(\frac{\stackrel{\→}{M_c^i}\·\stackrel{\→}{M_c^j}}{\left|\stackrel{\→}{M_c^i}\right|\left|\stackrel{\→}{M_c^j}\right|}\right)---9$

所述的依据计算得到的距离矩阵，采用流形学习算法将提取的卡通角色帧投影到低维空间并建立无向图，然后由用户在无向图中任取两点作为起点和终点并构建最短路径(如图4所示)，路径上的组成卡通帧序列：首先依据距离矩阵确定任意一点与周围若干邻居结点之间的边长为最短路径，其中邻居结点的个数是提前确定的，由此构建出无向图；然后基于该无向图计算任意两点之间的最短路径，得到最短路径图；最后采用MDS算法构建低维空间；在得到该低维空间之后，由用户在空间中任意指定两点作为起点和终点，两点之间最短路径所包含的点作为新生成的动画帧。在利用降维建立低维空间的过程中，很重要的一点是降维后维度的选择，如果维度过大，则造成信息的冗余，而如果维度过小，则导致信息的缺失影响动画序列的生成。图5给出了一种判断维度的方法即通过分析残差分量的变化来判断，当残差分量没有太多变化的时，则为合适的维度。

至此，通过角色提取，距离计算，低维空间建立以及用户指定这些步骤，可重用已有的卡通数据建立新的卡通动画序列。

实施例

国产动画片中最有名的是已西游记为主题的系列动画片，包括《大闹天宫》、《三打白骨精》等，然而随着老一辈艺术家的辞世，目前已很难制作出与这些经典动画片具有相同风格的作品了。下面结合前面所述的具体技术方案重用这些动画片中的帧得到新的动画序列的步骤，如下：

(1)利用前面描述的基于图像中的灰度信息，计算图像中每帧的梯度并检测出角色的轮廓，并对轮廓采用像素填充算法获得角色的侧影。具体来说，对于任意的卡通帧提取轮廓的基本思路是逐一计算每个像素点在灰度上的二阶导数，并可通过Laplacian of Gaussian滤波器(LOG)近似得到，当其中某一点上的二阶导数为零时，则该点被定为边界的一部份；提取得边界图像仍存在一部分噪音，需采用卷积的方式去除图像中的噪音，去噪的公式为：

$C(i,j)=\underset{m=0}{\overset{\mathrm{Ma}-1}{\mathrm{\Σ}}}\underset{n=0}{\overset{\mathrm{Na}-1}{\mathrm{\Σ}}}A(m,n)*F(i-m,j-n)$

其中，A是带有噪声的图像矩阵，F则是用于过滤的矩阵，且0≤i＜Ma+4，0≤j＜Na+4；过滤后得到角色的封闭轮廓，接着采用像素填充算法，即在轮廓中选取一个点作为起始点，并利用八通图对整个轮廓进行深度优先的遍历，当遇到边界时，则停止遍历并返回上一层，结束时所有被遍历到的点都作为前景上的点；结合原始图像和经过区域填充的灰度图像，可将角色从原始图像中分割出来。

(2)在每帧中采用光流跟踪算法计算当前帧的运动属性，包括运动方向和速度；通过前景分割可得到视频中相邻两帧的前景角色I_i和I_i+1，首先采用几何平均计算出两个角色的质心C_i和C_i+1，因此角色之间的相对位移的计算公式是：

$\stackrel{\→}{M_r^i}=\stackrel{\→}{C_i{C}_{i+1}}$

卡通视频中镜头的位移可基于相邻两帧通过光流跟踪计算得到，为了找到帧I_i中像素(x₀，y₀)在帧I_i+1上的位置，在I_i+1的像素(x₀，y₀)周围设计一个正方形的区域进行搜索，当相关度匹配最大化时，则认为找到了对应的位置，计算公式为：

$r=\frac{{\mathrm{\Σ}}_{m,n}(W_i(m,n)-\stackrel{\‾}{W_i})(W_{i+1}(m,n)-\stackrel{\‾}{W_{i+1}})}{\sqrt{{\mathrm{\Σ}}_{m,n}{(W_i(m,n)-\stackrel{\‾}{W_i})}^2\·{\mathrm{\Σ}}_{m,n}{(W_{i+1}(m,n)-\stackrel{\‾}{W_{i+1}})}^2}}$

其中，W_i和W_i+1是帧I_i和I_i+1上用于匹配的正方形区域；依据两个相匹配的像素可计算得到像素的位移向量，通过平均所有像素的位置向量，可得到图像整体位移即相机的位移，计算机公式为：

$\stackrel{\→}{M_b^i}=\frac{1}{n}\underset{a=0}{\overset{n}{\mathrm{\Σ}}}\stackrel{\→}{M_{P_a}}$

再通过合并角色的相对位移和相机位移可得到角色的运动方向和速度，计算公式为：

$\stackrel{\→}{M_c^i}=\stackrel{\→}{M_r^i}-\stackrel{\→}{M_b^i}$

(3)针对提取的角色轮廓计算两帧轮廓上的相似度，然后设定合理的权值并综合考虑两帧在运动属性和边界上的差异计算它们之间的距离，并构建距离矩阵；首先对比任意两个角色的轮廓计算轮廓上的相似度，计算公式为：

$D_H(I_i,I_j)=\left\{\begin{array}{cc}\max (h(E_i,E_j),h(E_j,E_i))& i\≠j\\ 0& i=j\end{array}\right.$

其中，E_i和E_j是帧I_i和I_j的边界集合，且h(E_i，E_j)是计算两个集合之间的Hausdorff距离，计算公式为：

$h(E_i,E_j)={\mathrm{\Σ}}_{p_a\∈E_1}{\min }_{p_b\∈E_2}\left(\right||p_a-p_b|\left|\right)$

其中，P_a和P_b是I_i和I_j的边界上任意两点，||p_a-p_b||是这两点之间的欧式距离；通过合并运动属性上的差距以及边界上的差距计算两帧的距离，计算公式为：

D(I_i，I_j)＝αD_H(I_i，I_j)+(1-α)D_M(I_i，I_j)

其中，α作为合并用的权重，D_G(I_i，I_j)代表两帧在边界上的差距，而D_M(I_i，I_j)表示两帧在运动属性上的差距，计算公式为：

$D_G(I_i,I_j)=\frac{1}{\mathrm{\π}}{\cos }^{-1}\left(\frac{\stackrel{\→}{M_c^i}\·\stackrel{\→}{M_c^j}}{\left|\stackrel{\→}{M_c^i}\right|\left|\stackrel{\→}{M_c^j}\right|}\right)$

(4)采用流形学习算法Isomap构建低维空间，首先依据计算得到的距离矩阵，确定每个结点周围的邻近结点，并建立无向连通图，由于这些样本点处在一个流形上，因此任意两点的距离可通过测地距离即两点在流形上的最短路径计算得到，最后采用MDS算法构建低维空间；在得到该低维空间之后，由用户在空间中任意指定两点作为起点和终点，两点之间最短路径所包含的点作为新生成的动画帧。

本实施例中，通过以上步骤重用已有的动画帧，获得平滑的动画序列。附图6显示了其中的一帧的效果。图中的两行是重构得到的动画序列，下面的编号代表原始帧号。

Claims (5)

1.一种基于视频提取和重用的卡通动画制作方法，其特征在于包括以下步骤：

(1)基于图像中的灰度信息，计算图像中每帧的梯度并检测出角色的轮廓，并对轮廓采用像素填充算法获得角色的侧影并从动画帧中提取角色；

(2)对每帧，采用光流跟踪算法计算当前帧的运动属性，包括运动方向和速度；

(3)基于提取的角色轮廓计算两帧轮廓上的相似度，然后设定权值并计算两帧在运动属性和边界上的距离，构建距离矩阵；

(4)依据步骤(3)中计算得到的距离矩阵，采用流形学习算法将提取的卡通角色投影到低维空间并建立无向图，然后由用户在无向图中任取两点作为起点和终点并构建最短路径，路径上的点组成卡通帧序列。

2.根据权利要求1所述的一种基于视频提取和重用的卡通动画制作方法，其特征在于，所述的基于图像中的灰度信息，计算图像中每帧的梯度并检测出角色的轮廓，并对轮廓采用像素填充算法获得角色的侧影并从动画帧中提取角色：提取轮廓的基本思路是逐一计算每个像素点在灰度上的二阶导数，并可通过Laplacian of Gaussian滤波器近似得到，当其中某一点上的二阶导数为零时，则该点被定为边界的一部份；提取得边界图像仍存在一部分噪音，需采用卷积的方式去除图像中的噪音，去噪的公式为：

$C(i,j)=\underset{m=0}{\overset{\mathrm{Ma}-1}{\mathrm{\Σ}}}\underset{n=0}{\overset{\mathrm{Na}-1}{\mathrm{\Σ}}}A(m,n)*F(i-m,j-n)---\left(1\right)$

其中，A是带有噪声的图像矩阵，F则是用于过滤的矩阵，且0≤i＜Ma+4，0≤j＜Na+4；过滤后得到角色的封闭轮廓，接着采用像素填充算法，即在轮廓中选取一个点作为起始点，并利用八通图对整个轮廓进行深度优先的遍历，当遇到边界时，则停止遍历并返回上一层，结束时所有被遍历到的点都作为前景上的点；结合原始图像和经过区域填充的灰度图像，可将角色从原始图像中分割出来。

3.根据权利要求1所述的一种基于视频提取和重用的卡通动画制作方法，其特征在于，所述的对每帧采用光流跟踪算法计算当前帧的运动属性，包括运动方向和速度；通过前景分割可得到视频中相邻两帧的前景角色I_i和I_i+1，首先采用几何平均计算出两个角色的质心C_i和C_i+1，因此角色之间的相对位移的计算公式是：

$\stackrel{\→}{M_r^i}=\stackrel{\→}{C_i{C}_{i+1}}---\left(2\right)$

卡通视频中镜头的位移可基于相邻两帧通过光流跟踪计算得到，为了找到帧I_i中像素(x₀，y₀)在帧I_i+1上的位置，在I_i+1的像素(x₀，y₀)周围设计一个正方形的区域进行搜索，当相关度匹配最大化时，则认为找到了对应的位置，计算公式为：

$r=\frac{{\mathrm{\Σ}}_{m,n}(W_i(m,n)-\stackrel{\‾}{W_i})(W_{i+1}(m,n)-\stackrel{\‾}{W_{i+1}})}{\sqrt{{\mathrm{\Σ}}_{m,n}{(W_i(m,n)-\stackrel{\‾}{W_i})}^2\·{\mathrm{\Σ}}_{m,n}{(W_{i+1}(m,n)-\stackrel{\‾}{W_{i+1}})}^2}}---\left(3\right)$

其中，W_i和W_i+1是帧I_i和I_i+1上用于匹配的正方形区域；依据两个相匹配的像素可计算得到像素的位移向量，通过平均所有像素的位置向量，可得到图像整体位移即相机的位移，计算公式为：

$\stackrel{\→}{M_b^i}=\frac{1}{n}\underset{a=0}{\overset{n}{\mathrm{\Σ}}}\stackrel{\→}{M_{P_a}}---\left(4\right)$

再通过合并角色的相对位移和相机位移可得到角色的运动方向和速度，计算公式为：

$\stackrel{\→}{M_c^i}=\stackrel{\→}{M_r^i}-\stackrel{\→}{M_b^i}---\left(5\right)$

4.根据权利要求1所述的一种基于视频提取和重用的卡通动画制作方法，其特征在于，所述的基于提取的角色轮廓计算两帧轮廓上的相似度，然后设定权值并计算两帧在运动属性和边界上的距离，构建距离矩阵：首先对比任意两个角色的轮廓计算轮廓上的相似度，计算公式为：

$D_H(I_i,I_j)=\left\{\begin{array}{cc}\max (h(E_i,E_j),h(E_j,E_i))& i\≠j\\ 0& i=j\end{array}\right.---\left(6\right)$

其中，E_i和E_j是帧I_i和I_j的边界集合，且h(E_i，E_j)是计算两个集合之间的Hausdorff距离，计算公式为：

$h(E_i,E_j)={\mathrm{\Σ}}_{p_a\∈E_1}\mathrm{mi}{n}_{p_b\∈E_2}\left(\right||p_a-p_b|\left|\right)---\left(7\right)$

其中，P_a和P_b是I_i和I_j的边界上任意两点，||p_a-p_b||是这两点之间的欧式距离；通过合并运动属性上的差距以及边界上的差距计算两帧的距离，计算公式为：

D(I_i，I_j)＝αD_H(I_i，I_j)+(1-α)D_G(I_i，I_j)              8

α作为合并用的权重，D_H(I_i，I_j)代表两帧在边界上的差距，而D_G(I_i，I_j)表示两帧在运动属性上的差距，计算公式为：

$D_G(I_i,I_j)=\frac{1}{\mathrm{\π}}{\cos }^{-1}\left(\frac{\stackrel{\→}{M_c^i}\·\stackrel{\→}{M_c^j}}{\left|\stackrel{\→}{M_c^i}\right|\left|\stackrel{\→}{M_c^j}\right|}\right)---\left(9\right)$

其中

是角色的运动方向和速度。

5.根据权利要求1所述的一种基于视频提取和重用的卡通动画制作方法，其特征在于，所述的依据计算得到的距离矩阵，采用流形学习算法将提取的卡通角色帧投影到低维空间并建立无向图，然后由用户在无向图中任取两点作为起点和终点并构建最短路径，路径上的点组成卡通帧序列：首先依据距离矩阵确定任意一点与周围若干邻居结点之间的边长为最短路径，其中邻居结点的个数是提前确定的，由此构建出无向图；然后基于该无向图计算任意两点之间的最短路径，得到最短路径图；最后采用MDS算法构建低维空间；在得到该低维空间之后，由用户在空间中任意指定两点作为起点和终点，两点之间最短路径所包含的点作为新生成的动画帧。

Images