CN102509338A - 一种基于轮廓骨架图的视频场景行为生成方法 - Google Patents

Abstract

本发明公开了一种基于轮廓骨架图的视频场景行为生成方法。包括步骤：综合运动对象的骨架和轮廓信息，构建一种面向生成的视频场景行为表示轮廓骨架图，在待生成图像中提取目标对象的原始轮廓骨架图，在参考行为视频中逐帧提取参考对象的轮廓骨架图，生成参考对象的轮廓骨架图序列，然后通过局部约束与全局约束相结合的方式，变形目标对象的原始轮廓骨架图，得到目标对象的目标轮廓骨架图序列，再利用三角剖分方法和仿射变换，完成目标行为视频中目标对象的纹理映射，输出目标行为视频。本发明实现了操作成本低、具有全局一致性、减少失真现象等优点，可以广泛地应用于交互式数字娱乐、体育研究与训练模拟等的虚拟行为生成。

Description

一种基于轮廓骨架图的视频场景行为生成方法

技术领域

本发明涉及计算机视觉、计算机图形图像和虚拟现实技术领域，特别涉及一种基于轮廓骨架图的视频场景行为生成的方法。

背景技术

视频场景行为生成是视频虚拟场景生成和虚拟现实系统的重要组成部分，与基于图形学的行为生成技术以及动作捕获技术相比较，视频场景行为生成在行为数据获取与建模、虚拟行为生成速度、虚拟行为生成效果等方面具有一定的技术优势，是当前虚拟现实、增强现实、视频处理、计算机视觉、计算机图形图像等方向交叉的研究前沿。

目前，部分科研工作者已经致力于该方面的研究。美国加州大学伯克利分校的Efros等研究人员于2003年提出了一种利用帧间比较实现视频行为合成的方法，但该方法无法生成新的视频场景行为；微软亚洲研究院的研究人员于2002年提出了一种基于行为纹理的行为视频合成方法，但该方法所给出的模型无法满足视频场景行为变形、编辑等生成的需求；美国卡内基梅隆大学的Cheung等研究人员于2004年提出了基于人体三维建模的行为视频合成方法，但该方法需要多角度的行为视频，并且需要构建精确的人体三维模型；德国亚琛工业大学的Hornung于2009年在其博士论文中提出了一种基于视频的行为生成方法，中国清华大学的徐枫等研究人员在2011年美国图形学大会上提出了一种基于多角度多行为视频素材库的视频行为生成方法，但这两种方法均需要用户指定三维运动信息，并且需要不同程度的构建人体的三维模型。

发明内容

本发明目的在于提供一种视频场景行为生成方法，即给定一张包含目标对象的图像(即待生成图像)和一段参考对象的行为视频(即参考行为视频，参考行为视频中参考对象所执行的行为称为参考行为)，生成一段目标对象在待生成图像场景中执行参考行为的视频(即目标行为视频)。

为此，本发明公开了一种视频场景行为生成方法。所述视频场景行为生成方法步骤如下：

步骤一、输入一张包含目标对象的待生成图像和一段由参考对象执行参考行为的参考行为视频；

步骤二、分析目标对象或参考对象的轮廓和骨架信息，在待生成图像中提取目标对象的原始轮廓骨架图，在参考行为视频中逐帧提取参考对象的轮廓骨架图，生成包含一定数量的参考对象的轮廓骨架图的参考对象的轮廓骨架图序列；

步骤三、依据参考对象的轮廓骨架图序列，通过局部约束与全局约束相结合的方式，变形目标对象的原始轮廓骨架图，得到包含所述一定数量的目标对象的目标轮廓骨架图的目标对象的目标轮廓骨架图序列；

步骤四、利用三角剖分方法，三角网格化目标轮廓骨架图序列中的每一个目标对象的目标轮廓骨架图，通过仿射变换实现待生成图像中目标对象的每一个目标轮廓骨架图的纹理变形，完成每一个目标轮廓骨架图的纹理映射；

步骤五、将完成所有目标轮廓骨架图的纹理映射的目标轮廓骨架图序列输出以生成连续的目标对象执行参考行为的视频。

优选的是，所述的基于轮廓骨架图的视频场景行为生成方法中，所述局部约束首先进行骨架局部约束，骨架局部约束是根据参考对象的轮廓骨架图序列中的每一个参考对象的轮廓骨架图，将目标对象的原始轮廓骨架图进行角度方面变形，形成与每一个参考对象的轮廓骨架图一一对应的目标对象的目标轮廓骨架图序列，并且还根据参考对象的轮廓骨架图序列中的参考对象的轮廓骨架图，将目标对象的目标轮廓骨架图序列中的每一个目标轮廓骨架图在骨骼长度方面变形。

优选的是，所述的基于轮廓骨架图的视频场景行为生成方法中，所述长度方面变形的过程如下：首先选取参考对象的轮廓骨架图序列中的首张参考对象的轮廓骨架图，其次利用首张参考对象的轮廓骨架图中的骨架关节点的空间位置信息，计算参考对象的图像空间身高信息，结合参考对象的骨骼长度信息，计算得到参考对象的各个骨骼影响因子，其次在目标对象的原始轮廓骨架图中，利用关节点的空间位置信息，计算目标对象的图像空间身高信息，结合目标对象的骨骼长度信息，计算得到目标对象的各个骨骼影响因子；接着，计算参考对象的骨骼的长度变化，利用参考对象的各个骨骼影响因子，得到参考对象的骨骼长度变化尺度，结合目标对象的各个骨骼影响因子，计算目标对象的每一个目标轮廓骨架图中的每个骨骼的长度变化。

优选的是，所述的基于轮廓骨架图的视频场景行为生成方法中，所述全局约束首先进行骨架全局约束，所述骨架全局约束是每一个目标轮廓骨架图相对于相应的参考对象的轮廓骨架图的整体位移变形。

优选的是，所述的基于轮廓骨架图的视频场景行为生成方法中，所述整体位移变形的过程如下：针对参考对象的轮廓骨架图序列中的每一个参考对象的轮廓骨架图，计算参考对象的躯干骨骼中点的绝对位移，根据待生成目标图像的大小，以及参考视频帧大小，计算位移比例系数；根据比例系数和绝对位移，计算得到目标对象的绝对位移。

优选的是，所述的基于轮廓骨架图的视频场景行为生成方法中，在所述骨架变形的基础上进行轮廓变形，以保持目标对象轮廓信息与目标对象骨架信息一致，包括以下步骤：利用边缘点与骨骼之间的对应关系，根据骨架变形过程中原始轮廓骨架图中骨骼的角度变化，计算得到边缘点的角度变化量；对于每一个边缘点，以该边缘点所隶属骨骼的起始关节点为原点，按照角度变化量旋转边缘点，得到该边缘点的新空间位置坐标；根据骨架变形过程中每一个目标轮廓骨架图中骨骼的长度变化，以及目标轮廓骨架图中骨骼的绝对角度，并结合各个骨骼所包含的边缘点的分布，计算边缘点的位置偏移量；把在边缘点的新空间位置坐标与位置偏移量相加，得到边缘点的最终空间位置坐标，实现轮廓的变形。

优选的是，所述的基于轮廓骨架图的视频场景行为生成方法中，轮廓骨架图中的轮廓提取采用以下步骤：利用索贝尔算子检测并提取待生成图像或者参考视频帧中运动对象的边缘信息；根据边缘点与关节点之间的相对空间位置关系，计算边缘点与各个骨骼之间的距离；对于每一个边缘点，选择与其距离最小的骨骼，建立边缘点与该骨骼之间的对应关系。

本发明的有益效果是：

1、本发明的输入是一张包含目标对象的图像(即待生成图像)和一段参考对象的行为视频(即参考行为视频，参考行为视频中参考对象所执行的行为称为参考行为)，输出是一段目标对象在待生成图像场景中执行参考行为的视频(即目标行为视频)。相对于现有技术而言，减少了在数据获取方面的开销和成本。

2、本发明所定义的轮廓骨架图同时描述了骨架、轮廓以及骨架与轮廓之间的关系等信息，相对于三维人体模型而言，具有其简单的特点，相对于以识别为目的的人体模型而言，具有面向行为生成需求的特点。

3、本发明中按照轮廓骨架图的优先级，通过局部约束与全局约束相结合的方式，实现轮廓骨架图的变形，即保证了目标对象运动过程中的局部一致性，也保证了其全局一致性。并且该变形过程具有可并行的特点，易于在硬件上实现加速。

4、本发明按照所定义的骨骼特征，分部分三角网格划分目标轮廓骨架图，并分部分建立变形过程的仿射关系。该过程能够降低目标对象在纹理变形过程受结构影响的程度，减少失真现象的出现。

附图说明

附图1为该发明视频场景行为生成方法的总体结构图；

附图2为该发明视频场景行为生成方法的主流程图；

附图3为该发明视频场景行为生成方法的轮廓骨架图示意图；

附图4为该发明视频场景行为生成方法的轮廓骨架图变形流程图；

附图5为该发明视频场景行为生成方法的轮廓骨架图纹理映射流程图。

具体实施方式

下面结合附图对本发明做进一步说明，以使本领域普通技术人员参照本说明书后能够据以实施。

如图1和图2所示，本发明的一种基于轮廓骨架图的视频场景行为生成方法，包括如下步骤：

步骤一、输入一张包含目标对象的待生成图像和一段由参考对象执行参考行为的参考行为视频；

步骤二、分析目标对象或参考对象的轮廓和骨架信息，如图3所示，定义一种面向生成的视频场景行为表示，即由骨架和轮廓两部分组成的轮廓骨架图，骨架部分包括运动对象的关节点和骨骼，利用点线组合的形式描述，关节点使用点表示，具有两个属性：关节点位置、关节点名称，关节点位置是关节点的空间位置坐标，在图像平面上，具有水平和垂直两个自由度，关节点名称是关节点的唯一属性，表示关节点的语义特征，例如肩关节，膝关节等，具有不可更改性，骨骼使用直线表示，是起始关节点与结束关节点之间的连线，具有四个属性：骨骼位置、骨骼角度、骨骼长度、骨骼名称，骨骼位置是骨骼起始关节点的空间位置坐标，在图像平面上，具有水平和垂直两个自由度，骨骼角度是骨骼与垂直方向的夹角，具有一个自由度，骨骼角度属性允许骨骼在二维图像平面中，绕起始关节点产生旋转自由度，骨骼长度是骨骼从起始关节点到结束关节点之间的距离，具有一个自由度，骨骼名称是骨骼的唯一属性，表示骨骼的语义特征，例如头、躯干、左手上臂、右手下臂等。定义骨架中的关节点具有19个语义特征，骨骼具有14个语义特征，关节点和骨骼是骨架的两种表示方法，两者具有关联，能够相互转化。轮廓部分表征运动对象的边缘信息，由运动对象的边缘点集合组成，边缘点具有两个属性：边缘点位置、与骨骼的关系，边缘点位置是边缘点的空间位置坐标，在图像平面上，具有水平和垂直两个自由度，与骨骼的关系表征边缘点所隶属的骨骼信息，由边缘点与骨骼的空间位置关系确定。根据边缘点中与骨骼的关系这个属性，建立轮廓与骨骼之间的对应关系，即轮廓依附于骨骼，骨骼“包含”了轮廓，并且轮廓部分按照骨骼的位置特征被分割为若干部分。再根据人体的运动特点，把轮廓骨架图中的各个组成部分划分为四个优先级，躯干骨骼具有最高优先级，在骨骼的连接关系中，离躯干越远的骨骼具有越低的优先级，骨骼的起始关节点与骨骼具有相同的优先级，依附于骨骼的轮廓具有与该骨骼相同的优先级，在轮廓骨架图的运动过程中，高优先级组成部分的运动优先于低优先级组成部分，高优先级组成部分的运动能够影响低优先级组成部分，在高优先级组成部分的运动过程中，低优先级组成部分会跟随高优先级组成部分发生运动；

步骤三、通过定义15个方向的伽柏基，利用伽柏滤波器，在待生成图像上构建运动对象的结构模板，该结构模板由伽柏序列组成，伽柏序列中的每项包括伽柏位置、伽柏方向、伽柏响应值三个参数；在上述结构模板中，利用可变形行为模板方法，识别并提取出运动对象每个骨骼所对应的图像区域，计算得到运动对象的骨骼位置和骨骼长度；在结构模板中，在每个骨骼所对应图像区域内，累加具有相同方向的伽柏响应值，得到伽柏在该方向上的响应值和，依次计算得到伽柏在不同方向上的伽柏响应值和；在每个骨骼所对应图像区域内，选择伽柏响应值和最大的方向作为该区域的主方向，得到运动对象的骨骼角度，实现自动提取待生成图像中目标对象的原始骨架图。或者在待生成图像上标注出运动对象关节点的位置和名称，以可扩展标记语言的形式存储标注信息，在获取相应关节点的空间位置坐标之后，根据骨架连接关系，计算得到相应骨骼的信息，实现手动提取待生成图像中目标对象的原始骨架图；

步骤四、利用索贝尔算子检测并提取运动对象的边缘点，根据边缘点与关节点之间的相对空间位置关系，计算边缘点与各个骨骼之间的距离；对于每一个边缘点，选择与其距离最小的骨骼，建立边缘点与该骨骼之间的对应关系，根据骨骼及其对应的边缘点，设y＝kx+b是骨骼所在的直线方程，其中直线斜率k＝(y₁-y₂)/(x₁-x₂)，截距b＝y₁-x₁*k，(x₁，y₁)与(x₂，y₂)表示骨骼起始关节点和终止关节点的位置坐标，给定边缘点(x^*，y^*)，其在骨骼直线上的投影直线为其中

上述两条直线的交点，即为边缘点在骨骼上的投影点，通过比较投影点与骨骼起始关节点，计算出边缘点在骨骼区域中的位置关系，利用用户在待生成图像上指定的步长，在骨骼区域中采样边缘点，形成边缘点集合，提取待生成图像中目标对象的原始轮廓图；

步骤五、在参考行为视频中读取一帧参考行为图像按步骤三提取参考对象的骨架图，按步骤四结合参考视频帧大小与待生成图像大小之间的比例，计算得到参考视频的步长，在参考视频帧上采样边缘点，实现参考视频中参考对象的轮廓图；

步骤六、如图4所示，先计算参考对象轮廓骨架图中各个骨骼的骨骼角度，即该骨骼起始关节点与终止关节点之间连线与垂直方向的夹角，计算原始轮廓骨架图中各个骨骼的骨骼角度，计算参考对象轮廓骨架图和原始轮廓骨架图之间每个骨架的骨骼角度差，按照轮廓骨架图中的骨骼优先级，依次对目标对象原始轮廓骨架图中的骨骼角度进行变形，使得变形后轮廓骨架图中的骨骼角度与参考对象轮廓骨架图中的骨骼角度相同，得到目标轮廓骨架图。其次，在目标对象原始轮廓骨架图中，利用关节点的空间位置信息，计算目标对象从最高点到最低点所占的高度，得到目标对象在图像空间的身高信息，利用目标对象原始轮廓骨架图中各个骨骼的长度信息，计算得到目标对象的各个骨骼影响因子；同理，在参考对象轮廓骨架图序列的首项中，利用关节点的空间位置信息，计算参考对象从最高点到最低点所占的高度，得到参考对象在图像空间的身高信息，利用参考对象轮廓骨架图序列的首项中各个骨骼的长度信息，计算得到参考对象的各个骨骼影响因子；即：骨骼j的影响因子C_i，j＝height_i*height_i/d_i，j(i＝tar，ref)，其中i表示参考对象或者目标对象，height_i为对象在图像空间的身高，d_i，j表示参考对象或者目标对象的第j个骨骼的长度。接着，对于参考对象轮廓骨架图序列中的一项，以首项参考，计算每个骨骼的长度变化。然后，利用目标对象各个骨骼影响因子与参考对象各个骨骼影响因子的比值，构建骨骼长度变化尺度，根据该变化尺度，计算原始轮廓骨架图中每个骨骼的长度变化，即：其中，b_tar，j表示目标对象第j个骨骼的长度变化，d_ref，j表示参考对象轮廓骨架图序列中某一项的第j个骨骼的长度，d_ref，j ^*表示参考对象轮廓骨架图序列中首项的第j个骨骼的长度，C_ref，j和C_tar，j分别是参考对象和目标对象中第j个骨骼的影响因子。最后，在角度变形的基础上，按照计算得到长度变化，对目标轮廓骨架图中的每个骨骼进行长度上的变形，完成原始轮廓骨架图骨架的局部约束；

步骤七、在局部约束的基础上，先对于参考对象轮廓骨架图序列中的每一项，以首项参考，计算躯干骨骼中点的绝对位移，即为参考对象的绝对位移d_ref，记为

其中

和表示参考对象轮廓骨架图序列中首项的躯干骨骼中点位置坐标，d_ref，x和d_ref，y表示参考对象轮廓骨架图序列中某一项的躯干骨骼中点位置坐标。然后，根据待生成图像的大小，以及参考视频帧大小，计算位移比例系数c：

c＝(M_tar*N_tar)/(M_ref*N_ref)，其中，M_tar和N_tar分别表示待生成图像的长和高，M_ref和N_ref分别表示参考视频帧的长和高，根据比例系数c和参考对象的绝对位移d_ref，计算得到目标对象的绝对位移d_tar：

$d_{\mathrm{tar}}=c*d_{\mathrm{ref}}=c*\sqrt{{\left|\right|d_{\mathrm{ref},x}-d_{\mathrm{ref},x}^{*}\left|\right|}^2+{\left|\right|d_{\mathrm{ref},y}-d_{\mathrm{ref},y}^{*}\left|\right|}^2}.$ 最后，在局部约束所得到的目标轮廓骨架图基础之上，在待生成图像的空间坐标中，进行整体位移上的变形，变形方向与参考对象的位移方向相同，变形量为d_tar，完成原始轮廓骨架图骨架的全局约束；

步骤八、先利用边缘点与骨骼之间的对应关系，根据骨架变形过程中原始轮廓骨架图中骨骼的角度变化，计算得到边缘点的角度变化量radian。然后，对于每一个边缘点(x₀，y₀)，以该边缘点所隶属骨骼的起始关节点(JIni_x，JIni_y)为原点，按照角度变化量旋转边缘点，得到该边缘点的新空间位置坐标(x，y)。以轮廓中的一个边缘点为例，其变化方程为：

$\left\{\begin{array}{c}{(x-\mathrm{JIni}\_x)}^2+{(y-\mathrm{JIni}\_y)}^2=R^2\\ {(x-x_0)}^2+{(y-y_0)}^2=r^2\end{array}\right.$

R²＝(JIni_x-x₀)²+(JIni_y-y₀)²

r²＝2*R²-cos(radian)*2*R²

其中，(JIni_x，JIni_y)为骨骼的起始关节点位置坐标，(x₀，y₀)为边缘点的位置坐标，radian的边缘点的角度变化量，(x，y)为角度变化后边缘点的位置坐标。接着，根据骨架变形过程中原始轮廓骨架图中骨骼的长度变化d_tar，以及目标轮廓骨架图中骨骼的绝对角度ra，并结合骨骼所“包含”的边缘点的分布，将骨骼的长度变化均分到轮廓的边缘点上，计算边缘点的位置偏移量：

其中，d_tar是骨骼的长度变化量，n是依附于该骨骼的边缘点个数，ra为骨骼的绝对角度，Δx和Δy分别表示边缘点在水平方向和垂直方向的偏移量，其偏移方向与d_tar相同。最后，把边缘点的新空间位置坐标与位置偏移量相加，得到边缘点的最终空间位置坐标，实现轮廓的变形，为了保证不发生溢出的现象，当某个最终边缘点的位置坐标超出骨骼的设定区域后，即删除该边缘点，完成原始轮廓骨架图轮廓的变形；

步骤九、如图5所示，根据目标轮廓骨架图中的轮廓信息，按照所定义的骨骼特征，在目标轮廓骨架图的某个骨骼区域内，将所有边缘点构建成一个二维点集(x_i，y_i)，i＝1，...，n，计算二维点集的最小边界x_min＝min(x₁，...，x_n)和最大边界x_max＝max(x₁，...，x_n)；根据最小边界和最大边界，设置单元格尺寸为

构造统一大小的单元格；以最小边界(x_min，y_min)为新的坐标原点，重新计算各个边缘点的坐标以及单元格的序号：x_grid＝(x_i-x_min)/size，y_grid＝(y_i-y_min)/size；对于二维点集中的一个边缘点(x_i，y_i)，判断其对应的单元格(x_grid，y_grid)中是否已经存在边缘点，如果不存在，则将该边缘点添加到该单元格中，如果单元格中已经存在边缘点，则判断边缘点(x_i，y_i)是否与已经存在的边缘点在一定阈值内重合，如何重合，则删除该边缘点，如果不重合，则将该边缘点添加到单元格(x_grid，y_grid)中，循环直到所有的边缘点均处理完毕，则建立完成边缘点与单元格的对应关系；利用德内洛方法，根据所构建的单元格及其与边缘点的对应关系，在骨骼区域内构建平面三角网，分部分三角网格划分目标轮廓骨架图；

步骤十、在三角剖分的基础上，分部分计算目标轮廓骨架图与原始轮廓骨架图之间的映射关系，建立目标对象变形前和变形后的仿射关系，在已三角网划分的目标轮廓骨架图中，利用所述映射关系，建立目标轮廓骨架图三角网格与原始轮廓骨架图三角网格的顶点之间的一一对应关系，目标轮廓骨架图三角网格中的每个像素点(x，y)存在与其对应的原始轮廓骨架图三角网格中的像素点(i+u，j+v)，其中i，j为整数，(u，v)为[0，1)区间的浮点数；采用双线性插值的方式通过原始轮廓骨架图中的像素点(i，j)，(i，j+1)，(i+1，j)，(i+1，j+1)由：

f(i+u，j+v)＝(1-u)(1-v)f(i，j)+(1-u)vf(i，j+1)

             +u(1-v)f(i+1，j)+uvf(i+1，j+1)

可计算出目标轮廓骨架图中像素点(x，y)的像素值，其中f(i+u，j+v)为目标轮廓骨架图中像素点(x，y)的像素值，f(i，j)，f(i，j+1)，f(i+1，j)，f(i+1，j+1)分别为原始轮廓骨架图中像素点(i，j)，(i，j+1)，(i+1，j)，(i+1，j+1)的像素值，在原始轮廓骨架图中获取每一个三角面片所对应的原始纹理，对获取到的原始纹理进行变换，得到目标纹理；

步骤十一、把目标纹理映射到目标轮廓骨架图的对应三角面片中，完成目标行为视频中目标对象的纹理映射；

步骤十二、按步骤五到步骤十一对参考行为视频逐帧进行操作，直到视频最后一帧；

步骤十三、将完成所有目标轮廓骨架图的纹理映射的目标轮廓骨架图序列输出以生成连续的目标对象执行参考行为的视频。

尽管本发明的实施方案已公开如上，但其并不仪仪限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。

Claims (7)

1.一种基于轮廓骨架图的视频场景行为生成方法，其特征在于，包括以下步骤：

步骤一、输入一张包含目标对象的待生成图像和一段由参考对象执行参考行为的参考行为视频；

步骤二、分析目标对象或参考对象的轮廓和骨架信息，在待生成图像中提取目标对象的原始轮廓骨架图，在参考行为视频中逐帧提取参考对象的轮廓骨架图，生成包含一定数量的参考对象的轮廓骨架图的参考对象的轮廓骨架图序列；

步骤三、依据参考对象的轮廓骨架图序列，通过局部约束与全局约束相结合的方式，变形目标对象的原始轮廓骨架图，得到包含所述一定数量的目标对象的目标轮廓骨架图的目标对象的目标轮廓骨架图序列；

步骤四、利用三角剖分方法，三角网格化目标轮廓骨架图序列中的每一个目标对象的目标轮廓骨架图，通过仿射变换实现待生成图像中目标对象的每一个目标轮廓骨架图的纹理变形，完成每一个目标轮廓骨架图的纹理映射；

步骤五、将完成所有目标轮廓骨架图的纹理映射的目标轮廓骨架图序列输出以生成连续的目标对象执行参考行为的视频。

2.如权利要求1所述的基于轮廓骨架图的视频场景行为生成方法，其特征在于，所述局部约束首先进行骨架局部约束，骨架局部约束是根据参考对象的轮廓骨架图序列中的每一个参考对象的轮廓骨架图，将目标对象的原始轮廓骨架图进行角度方面变形，形成与每一个参考对象的轮廓骨架图一一对应的目标对象的目标轮廓骨架图序列，并且还根据参考对象的轮廓骨架图序列中的参考对象的轮廓骨架图，将目标对象的目标轮廓骨架图序列中的每一个目标轮廓骨架图在骨骼长度方面变形。

3.如权利要求2所述的一基于轮廓骨架图的视频场景行为生成方法，其特征在于，所述长度方面变形的过程如下：首先选取参考对象的轮廓骨架图序列中的首张参考对象的轮廓骨架图，其次利用首张参考对象的轮廓骨架图中的骨架关节点的空间位置信息，计算参考对象的图像空间身高信息，结合参考对象的骨骼长度信息，计算得到参考对象的各个骨骼影响因子，其次在目标对象的原始轮廓骨架图中，利用关节点的空间位置信息，计算目标对象的图像空间身高信息，结合目标对象的骨骼长度信息，计算得到目标对象的各个骨骼影响因子；接着，计算参考对象的骨骼的长度变化，利用参考对象的各个骨骼影响因子，得到参考对象的骨骼长度变化尺度，结合目标对象的各个骨骼影响因子，计算目标对象的每一个目标轮廓骨架图中的每个骨骼的长度变化。

4.如权利要求1或3所述的基于轮廓骨架图的视频场景行为生成方法，其特征在于，所述全局约束首先进行骨架全局约束，所述骨架全局约束是每一个目标轮廓骨架图相对于相应的参考对象的轮廓骨架图的整体位移变形。

5.如权利要求4所述的基于轮廓骨架图的视频场景行为生成方法，其特征在于，所述整体位移变形的过程如下：针对参考对象的轮廓骨架图序列中的每一个参考对象的轮廓骨架图，计算参考对象的躯干骨骼中点的绝对位移，根据待生成目标图像的大小，以及参考视频帧大小，计算位移比例系数；根据比例系数和绝对位移，计算得到目标对象的绝对位移。

6.如权利要求3或5所述的一种基于轮廓骨架图的视频场景行为生成方法，其特征在于，在所述骨架变形的基础上进行轮廓变形，以保持目标对象轮廓信息与目标对象骨架信息一致，包括以下步骤：利用边缘点与骨骼之间的对应关系，根据骨架变形过程中原始轮廓骨架图中骨骼的角度变化，计算得到边缘点的角度变化量；对于每一个边缘点，以该边缘点所隶属骨骼的起始关节点为原点，按照角度变化量旋转边缘点，得到该边缘点的新空间位置坐标；根据骨架变形过程中每一个目标轮廓骨架图中骨骼的长度变化，以及目标轮廓骨架图中骨骼的绝对角度，并结合各个骨骼所包含的边缘点的分布，计算边缘点的位置偏移量；把在边缘点的新空间位置坐标与位置偏移量相加，得到边缘点的最终空间位置坐标，实现轮廓的变形。

7.如权利要求1所述的基于轮廓骨架图的视频场景行为生成方法，其特征在于，轮廓骨架图中的轮廓提取采用以下步骤：利用索贝尔算子检测并提取待生成图像或者参考视频帧中运动对象的边缘信息；根据边缘点与关节点之间的相对空间位置关系，计算边缘点与各个骨骼之间的距离；对于每一个边缘点，选择与其距离最小的骨骼，建立边缘点与该骨骼之间的对应关系。

Images