CN102339625A - 视频对象级时域编辑方法及系统 - Google Patents

Abstract

本发明公开了一种视频对象级时域编辑方法及系统，涉及视频处理技术领域，包括以下步骤：S1：提取视频中每一帧的静态背景图像；S2：用视频中每一帧的图像减去对应的静态背景图像，以获得视频对象；S3：调整所述视频对象的起始播放时间，设置所述视频对象的重采样方式；S4：选择所述视频对象的起始播放时间和重采样方式，根据选择结果对所述视频对象在时域上重排；S5：将所述重排后的视频对象的每一帧图像与对应的静态背景图像合成，从而得到视频编辑结果。本发明通过获取静态背景图像，使得在不使用精细分割方式的情况下，就能达到实现视频对象的标注和获得，进而快速实现单个视频对象级的时域编辑，从而达到各种视频特效效果。

Description

视频对象级时域编辑方法及系统

技术领域

本发明涉及视频处理技术领域，特别涉及一种视频对象级时域编辑方法及系统。

背景技术

作为影视制作中不可或缺的手段，视频编辑技术可以使影视制作产生一些具有娱乐性和梦幻性的视频场景，使完美特效出现在影视作品。影视制作后期中在时间轴上的视频编辑是产生特效的重要策略之一。快速运动能完美地表现时光流逝之感。云卷云舒、车水马龙，这些场景在电影当中通常用数倍于常速的方式来播放。慢速运动则能增强紧张或者戏剧性的视频场景。例如，影视作品里常常在某些危急场景中使用极慢的方式来播放。

目前时间轴上的视频编辑通常只是应用于整个视频帧的操作，即在某个场景中所有视频对象都是经历相同的时间快/慢变化编辑，如Peker等人于2001年提出的“Constant Pace Skimming and TemporalSub-sampling of Video using Motion Activity”和Bennett等人于2007年提出的“Computational Time-lapse Video”。这些方法针对每一帧，在时间轴上采取一定的重采样方法抽取出一些图像，然后将这些图像以正常速度播放，从而达到整帧内容的时域快/慢编辑。

相对于整帧图像做快/慢变化编辑，允许单个视频运动对象在时间轴上的变化将能使导演提供更大的自由来实现更多的艺术表现。基于单个视频运动对象在时间轴上的编辑通常需要以下步骤：视频对象的标注与精细分割、时域操作和还原回到背景图像中以合成最终视频。视频对象的半自动标注技术较为高效，如Bradski等人于1998年提出的均值漂移标注“Computer Vision Face Tracking for Use in aPerceptual User Interface”和Goldman等人于2008年提出的粒子滤波方法“Video Object Annotation，Navigation and Composition”。半自动标注技术为本视频对象级时域编辑方法提供了较好的技术基础。

如果视频对象之间在时空上原已有相交或重叠，而编辑之后也可能会产生新的相交或重叠，因此需要对视频对象做精细地分割与抠取。近年来精细抠取视频对象的方法层出不穷。Li等人于2005年提出三维图模型“Video Object Cut and Paste”；Wang等人于2005年提出交互式的均值漂移分割“Interactive Video Cutout”；Bai等人于2009年提出局部分类模型方法“Video Snapcut：Robust Video Object CutoutUsing Localized Classifiers”。即使有上述技术进步，视频对象的精细分割与抠取到目前为止仍然是一项极其繁琐的工作，即使是训练有素的视频制作人员，也需要大量的手工交互工作来完成。Schodl等人于2002年的“Editing Object Behaviour in Video Sequences”工作使用蓝屏背景来拍摄运动物体并抽取其时空信息，但这并不能广泛使用于常用视频中。此外，有一些方法试图使用视频尺度伸缩技术来实现时域编辑。该类方法通常在视频三维中以类似于“抽线”的方式来改变运动物体的显示时间，如Chen于2008年提出的“Video Carving”，Li于2009年提出的“Video Condensation by Ribbon Carving”，Slot于2009年的“Content-aware Video Editing in the Temporal Domain”，但这些方法受限于抽线的较小自由度，且不能高效的产生各种编辑效果。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是：如何避免使用精细分割方式，就能达到实现视频对象的标注和获得。

(二)技术方案

为解决上述技术问题，本发明提供了一种视频对象级时域编辑方法，包括以下步骤：

S1：提取视频中每一帧的静态背景图像；

S2：用视频中每一帧的图像减去对应的静态背景图像，以获得视频对象；

S3：调整所述视频对象的起始播放时间，设置所述视频对象的重采样方式；

S4：选择所述视频对象的起始播放时间和重采样方式，根据选择结果对所述视频对象在时域上重排；

S5：将所述重排后的视频对象的每一帧图像与对应的静态背景图像合成，从而得到视频编辑结果。

优选地，步骤S1之前包括以下步骤：

S0：对视频进行预处理，以实现视频内容稳定。

优选地，所述预处理包括：均值滤波、检测和对齐。

优选地，步骤S2中具体包括以下步骤：

S21：将视频中每一帧的图像中去除与静态背景图像中对应像素颜色值相同的区域，以获得由所述视频对象构成的前景运动区域；

S22：在视频中每一帧的前景运动区域中得到与预设标注的特定视频对象区域相重合的部分，将视频中每一帧重合的部分作为该帧的视频对象。

优选地，步骤S4中具体包括以下步骤：

S41：将重排后的视频对象相对于原视频对象定义为Ai*x+Bi，其中，Ai为某一视频对象i在时域上被拉长或缩短的倍数，x为重排后的视频对象i相比起原视频的起始播放时间，Bi为视频对象i在时域上偏移的数值；

S42：通过求下列公式中T的最小值，以获得Ai和Bi，

$\left\{\begin{array}{c}T=T1+T2\\ \mathrm{Ai}*t5+\mathrm{Bi}=\mathrm{Aj}*t5+\mathrm{Bj}\\ \left|\right|(\mathrm{Ai}*t6+\mathrm{Bi})-(\mathrm{Aj}*t7+\mathrm{Bj})\left|\right|>0\end{array}\right.$

其中，T1＝||(Ai*t1+Bi)-(Ai*t2+Bi)||*||(Ai*t1+Bi)-(Ai*t2+Bi)||，T2＝||(Ai*t3+Bi)-(Ai*t4+Bi)||*||(Ai*t3+Bi)-(Ai*t4+Bi)||，t1为视频对象i的某一动作a被调整后出现的时刻，t2为视频对象i的动作a在重排后出现的时刻，t3为视频对象i的某一动作b在重排后出现的时刻，t4为视频对象i的动作b在原视频中出现的时刻，t5为视频对象i的某一动作c和视频对象j的某一动作d相交的时刻，t6和t7表示视频对象i的某一动作e和视频对象j的某一动作f在原视频中不相交，但空间位置有重叠的分别出现的时刻；

S43：设视频对象i的某一动作g在原始视频中t8时刻出现，则重排后的结果为在Ai*t8+Bi时刻出现。

本发明还公开了一种视频对象级时域编辑系统，所述系统包括：

背景提取模块，用于提取视频中每一帧的静态背景图像；

视频对象获得模块，用于用视频中每一帧的图像减去对应的静态背景图像，以获得视频对象；

调整模块，用于调整所述视频对象的起始播放时间，设置所述视频对象的重采样方式；

选择模块，用于选择所述视频对象的起始播放时间和重采样方式，根据选择结果对所述视频对象在时域上重排；

合成模块，用于将所述重排后的视频对象的每一帧图像与对应的静态背景图像合成，从而得到视频编辑结果。

优选地，还包括：

预处理模块，用于对视频进行预处理，以实现视频内容稳定。

优选地，所述预处理包括：均值滤波、检测和对齐。

优选地，所述视频对象获得模块中具体包括：

前景区域获得子模块，用于将视频中每一帧的图像中去除与静态背景图像中对应像素颜色值相同的区域，以获得由所述视频对象构成的前景运动区域；

视频对象获得子模块，用于在视频中每一帧的前景运动区域中得到与预设标注的特定视频对象区域相重合的部分，将视频中每一帧重合的部分作为该帧的视频对象。

优选地，所述选择模块包括：

定义子模块，用于将重排后的视频对象相对于原视频对象定义为Ai*x+Bi，其中，Ai为某一视频对象i在时域上被拉长或缩短的倍数，x为重排后的视频对象i相比起原视频的起始播放时间，Bi为视频对象i在时域上偏移的数值；

计算子模块，用于通过求下列公式中T的最小值，以获得Ai和Bi，

$\left\{\begin{array}{c}T=T1+T2\\ \mathrm{Ai}*t5+\mathrm{Bi}=\mathrm{Aj}*t5+\mathrm{Bj}\\ \left|\right|(\mathrm{Ai}*t6+\mathrm{Bi})-(\mathrm{Aj}*t7+\mathrm{Bj})\left|\right|>0\end{array}\right.$

其中，T1＝||(Ai*t1+Bi)-(Ai*t2+Bi)||*||(Ai*t1+Bi)-(Ai*t2+Bi)||，T2＝||(Ai*t3+Bi)-(Ai*t4+Bi)||*||(Ai*t3+Bi)-(Ai*t4+Bi)||，t1为视频对象i的某一动作a被调整后出现的时刻，t2为视频对象i的动作a在重排后出现的时刻，t3为视频对象i的某一动作b在重排后出现的时刻，t4为视频对象i的动作b在原视频中出现的时刻，t5为视频对象i的某一动作c和视频对象j的某一动作d相交的时刻，t6和t7表示视频对象i的某一动作e和视频对象j的某一动作f在原视频中不相交，但空间位置有重叠的分别出现的时刻；

结果代入子模块，用于设视频对象i的某一动作g在原始视频中t8时刻出现，则重排后的结果为在Ai*t8+Bi时刻出现。

(三)有益效果

本发明通过获取静态背景图像，使得在不使用精细分割方式的情况下，就能达到实现视频对象的标注和获得，进而快速实现单个视频对象级的时域编辑，从而达到各种视频特效效果。

附图说明

图1是按照本发明一种实施方式的视频对象级时域编辑方法的流程图；

图2是图1所示的视频对象级时域编辑方法中步骤S2的具体流程图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

图1是按照本发明一种实施方式的视频对象级时域编辑方法的流程图，参照图1，本实施方式的方法包括以下步骤：

S1：提取视频中每一帧的静态背景图像；提取静态背景图像时，通过统计提取出在视频中始终静止不动的像素区域作为静态背景图像。

S2：用视频中每一帧的图像减去对应的静态背景图像，以获得视频对象；根据背景的静止性和视频对象的运动性，二者相减后辅以手动等半自动标注方式获取具体视频对象在所有时间内的坐标信息，生成一种避免精细分割的视频对象，包括视频对象之间发生相交的时间点和相交像素的坐标信息。

S3：调整所述视频对象的起始播放时间，设置所述视频对象的重采样方式；获取视频对象在时域上编辑所得的一系列图像信息，重采样方式在时域编辑中的意义在于以何种方式从该视频对象的图像序列中抽取(或插入)出一定数量的图像，如以每隔2帧和10帧采样出1帧为例，则采样后视频对象的表现形式和视频对象的速度则完全不同。

S4：选择所述视频对象的起始播放时间和重采样方式，根据选择结果对所述视频对象在时域上重排；重排时，需要既满足某些视频对象的编辑需求，同时其他所有视频对象的时域分布尽可能地接近于原始分布。

S5：将所述重排后的视频对象的每一帧图像与对应的静态背景图像合成，从而得到视频编辑结果。

为除去视频噪声，实现视频内容的稳定，优选地，步骤S1之前包括以下步骤：

S0：对视频进行预处理，以实现视频内容稳定，所述预处理包括：均值滤波、检测和对齐；使用均值滤波去除摄像机感光单元等引起的闪烁噪声，通过视频内容的检测(如角点检测)与对齐，计算摄像机的平移和抖动等参数，实现视频内容稳定。

参照图2，步骤S2中具体包括以下步骤：

S21：将视频中每一帧的图像中去除与静态背景图像中对应像素颜色值相同的区域，以获得由所述视频对象构成的前景运动区域；

S22：在视频中每一帧的前景运动区域中得到与预设标注的特定视频对象区域相重合的部分，将视频中每一帧重合的部分作为该帧的视频对象。

为保持被编辑的视频对象满足编辑效果，且所有视频对象在时域分布上尽可能不被彻底打乱，与原视频尽量接近，步骤S4中具体包括以下步骤：

S41：将重排后的视频对象相对于原视频对象定义为Ai*x+Bi，其中，Ai为某一视频对象i在时域上被拉长或缩短的倍数，x为重排后的视频对象i相比起原视频的起始播放时间，Bi为视频对象i在时域上偏移的数值；

S42：通过求下列公式中T的最小值，以获得Ai和Bi，

$\left\{\begin{array}{c}T=T1+T2\\ \mathrm{Ai}*t5+\mathrm{Bi}=\mathrm{Aj}*t5+\mathrm{Bj}\\ \left|\right|(\mathrm{Ai}*t6+\mathrm{Bi})-(\mathrm{Aj}*t7+\mathrm{Bj})\left|\right|>0\end{array}\right.$

其中，T1＝||(Ai*t1+Bi)-(Ai*t2+Bi)||*||(Ai*t1+Bi)-(Ai*t2+Bi)||，T2＝||(Ai*t3+Bi)-(Ai*t4+Bi)||*||(Ai*t3+Bi)-(Ai*t4+Bi)||，t1为视频对象i的某一动作a被调整后出现的时刻，t2为视频对象i的动作a在重排后出现的时刻，t3为视频对象i的某一动作b在重排后出现的时刻，t4为视频对象i的动作b在原视频中出现的时刻，t5为视频对象i的某一动作c和视频对象j的某一动作d相交的时刻，t6和t7表示视频对象i的某一动作e和视频对象j的某一动作f在原视频中不相交，但空间位置有重叠的分别出现的时刻，例如，i物体在0时刻出现在中央然后走开，但j物体在1小时后出现在此处，i与j若在时域上调整，则他们可能会被调整到同时出现在中央而相交，因此本约束公式能避免他们同时出现；

T1为被调整的视频对象的编辑偏移代价，该代价计算被手动编辑的视频对象在最终重排结果中与调整的时域差距有多少，若T1越大，则表明离理想编辑结果越远，当所有的T1接近于0时，表明视频对象在时域上基本完全按照步骤S3调整的方式来排列，T2为所有视频对象的原始偏移代价，该代价计算所有视频对象在最终重排结果中与原始视频里的时域差距有多少，若T2越大，则表明最终重排结果中该视频对象的这个动作在时域上离原始视频被调整的越远，当所有的T2接近于0时，表明视频对象在时域上基本完全按照原始视频里的方式来排列；

在视频对象的抽取过程中，已获取有关视频对象之间的相交信息，如视频对象i的某一动作c与视频对象j的某一动作d在原始视频中于t5时刻相交则在最终重排结果中，此两个动作仍需出现在同一时刻便能保证相交，即Ai*t5+Bi＝Aj*t5+Bj。此外，若视频对象i的某一动作e与视频对象j的某一动作f在原始视频中不相交，则在最终重排结果中，此两个动作仍需不同时在视频中的某一相同区域同时出现，数值表示该限制条件为||(Ai*t6+Bi)-(Aj*t7+Bj)||＞0。

计算视频对象的最优时域重排方式：根据上述描述，统计所有视频对象在所有时刻的调整代价之和：T＝T1+T2，如何求最小的T即转换为标准的求Ai和Bi的非线性凸优化的方程组求解，而相交条件则是方程组的2个限制条件。通过求解该方程组可以得到所有的Ai和Bi值(此方程组可由matlab、CVX或Lindo等多种代码库直接求解出)。

S43：设视频对象i的某一动作g在原始视频中t8时刻出现，则重排后的结果为在Ai*t8+Bi时刻出现。

本发明还公开了一种视频对象级时域编辑系统，所述系统包括：

背景提取模块，用于提取视频中每一帧的静态背景图像；

视频对象获得模块，用于用视频中每一帧的图像减去对应的静态背景图像，以获得视频对象；

调整模块，用于调整所述视频对象的起始播放时间，设置所述视频对象的重采样方式；

选择模块，用于选择所述视频对象的起始播放时间和重采样方式，根据选择结果对所述视频对象在时域上重排；

合成模块，用于将所述重排后的视频对象的每一帧图像与对应的静态背景图像合成，从而得到视频编辑结果。

优选地，所述系统还包括：

预处理模块，用于对视频进行预处理，以实现视频内容稳定，所述预处理包括：均值滤波、检测和对齐。

优选地，所述视频对象获得模块中具体包括：

前景区域获得子模块，用于将视频中每一帧的图像中去除与静态背景图像中对应像素颜色值相同的区域，以获得由所述视频对象构成的前景运动区域；

视频对象获得子模块，用于在视频中每一帧的前景运动区域中得到与预设标注的特定视频对象区域相重合的部分，将视频中每一帧重合的部分作为该帧的视频对象。

优选地，所述选择模块包括：

定义子模块，用于将重排后的视频对象相对于原视频对象定义为Ai*x+Bi，其中，Ai为某一视频对象i在时域上被拉长或缩短的倍数，x为重排后的视频对象i相比起原视频的起始播放时间，Bi为视频对象i在时域上偏移的数值；

计算子模块，用于通过求下列公式中T的最小值，以获得Ai和Bi，

$\left\{\begin{array}{c}T=T1+T2\\ \mathrm{Ai}*t5+\mathrm{Bi}=\mathrm{Aj}*t5+\mathrm{Bj}\\ \left|\right|(\mathrm{Ai}*t6+\mathrm{Bi})-(\mathrm{Aj}*t7+\mathrm{Bj})\left|\right|>0\end{array}\right.$

其中，T1＝||(Ai*t1+Bi)-(Ai*t2+Bi)||*||(Ai*t1+Bi)-(Ai*t2+Bi)||，T2＝||(Ai*t3+Bi)-(Ai*t4+Bi)||*||(Ai*t3+Bi)-(Ai*t4+Bi)||，t1为视频对象i的某一动作a被调整后出现的时刻，t2为视频对象i的动作a在重排后出现的时刻，t3为视频对象i的某一动作b在重排后出现的时刻，t4为视频对象i的动作b在原视频中出现的时刻，t5为视频对象i的某一动作c和视频对象j的某一动作d相交的时刻，t6和t7表示视频对象i的某一动作e和视频对象j的某一动作f在原视频中不相交，但空间位置有重叠的分别出现的时刻；

结果代入子模块，用于设视频对象i的某一动作g在原始视频中t8时刻出现，则重排后的结果为在Ai*t8+Bi时刻出现。

以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims (10)

1.一种视频对象级时域编辑方法，其特征在于，包括以下步骤：

S1：提取视频中每一帧的静态背景图像；

S2：用视频中每一帧的图像减去对应的静态背景图像，以获得视频对象；

S3：调整所述视频对象的起始播放时间，设置所述视频对象的重采样方式；

S4：选择所述视频对象的起始播放时间和重采样方式，根据选择结果对所述视频对象在时域上重排；

S5：将所述重排后的视频对象的每一帧图像与对应的静态背景图像合成，从而得到视频编辑结果。

2.如权利要求1所述的方法，其特征在于，步骤S1之前包括以下步骤：

S0：对视频进行预处理，以实现视频内容稳定。

3.如权利要求2所述的方法，其特征在于，所述预处理包括：均值滤波、检测和对齐。

4.如权利要求1所述的方法，其特征在于，步骤S2中具体包括以下步骤：

S21：将视频中每一帧的图像中去除与静态背景图像中对应像素颜色值相同的区域，以获得由所述视频对象构成的前景运动区域；

S22：在视频中每一帧的前景运动区域中得到与预设标注的特定视频对象区域相重合的部分，将视频中每一帧重合的部分作为该帧的视频对象。

5.如权利要求1所述的方法，其特征在于，步骤S4中具体包括以下步骤：

S41：将重排后的视频对象相对于原视频对象定义为Ai*x+Bi，其中，Ai为某一视频对象i在时域上被拉长或缩短的倍数，x为重排后的视频对象i相比起原视频的起始播放时间，Bi为视频对象i在时域上偏移的数值；

S42：通过求下列公式中T的最小值，以获得Ai和Bi，

$\left\{\begin{array}{c}T=T1+T2\\ \mathrm{Ai}*t5+\mathrm{Bi}=\mathrm{Aj}*t5+\mathrm{Bj}\\ \left|\right|(\mathrm{Ai}*t6+\mathrm{Bi})-(\mathrm{Aj}*t7+\mathrm{Bj})\left|\right|>0\end{array}\right.$

其中，T1＝||(Ai*t1+Bi)-(Ai*t2+Bi)||*||(Ai*t1+Bi)-(Ai*t2+Bi)||，T2＝||(Ai*t3+Bi)-(Ai*t4+Bi)||*||(Ai*t3+Bi)-(Ai*t4+Bi)||，t1为视频对象i的某一动作a被调整后出现的时刻，t2为视频对象i的动作a在重排后出现的时刻，t3为视频对象i的某一动作b在重排后出现的时刻，t4为视频对象i的动作b在原视频中出现的时刻，t5为视频对象i的某一动作c和视频对象j的某一动作d相交的时刻，t6和t7表示视频对象i的某一动作e和视频对象j的某一动作f在原视频中不相交，但空间位置有重叠的分别出现的时刻；

S43：设视频对象i的某一动作g在原始视频中t8时刻出现，则重排后的结果为在Ai*t8+Bi时刻出现。

6.一种视频对象级时域编辑系统，其特征在于，所述系统包括：

背景提取模块，用于提取视频中每一帧的静态背景图像；

视频对象获得模块，用于用视频中每一帧的图像减去对应的静态背景图像，以获得视频对象；

调整模块，用于调整所述视频对象的起始播放时间，设置所述视频对象的重采样方式；

选择模块，用于选择所述视频对象的起始播放时间和重采样方式，根据选择结果对所述视频对象在时域上重排；

合成模块，用于将所述重排后的视频对象的每一帧图像与对应的静态背景图像合成，从而得到视频编辑结果。

7.如权利要求1所述的系统，其特征在于，还包括：

预处理模块，用于对视频进行预处理，以实现视频内容稳定。

8.如权利要求7所述的系统，其特征在于，所述预处理包括：均值滤波、检测和对齐。

9.如权利要求1所述的系统，其特征在于，所述视频对象获得模块中具体包括：

前景区域获得子模块，用于将视频中每一帧的图像中去除与静态背景图像中对应像素颜色值相同的区域，以获得由所述视频对象构成的前景运动区域；

视频对象获得子模块，用于在视频中每一帧的前景运动区域中得到与预设标注的特定视频对象区域相重合的部分，将视频中每一帧重合的部分作为该帧的视频对象。

10.如权利要求1所述的系统，其特征在于，所述选择模块包括：

定义子模块，用于将重排后的视频对象相对于原视频对象定义为Ai*x+Bi，其中，Ai为某一视频对象i在时域上被拉长或缩短的倍数，x为重排后的视频对象i相比起原视频的起始播放时间，Bi为视频对象i在时域上偏移的数值；

计算子模块，用于通过求下列公式中T的最小值，以获得Ai和Bi，

$\left\{\begin{array}{c}T=T1+T2\\ \mathrm{Ai}*t5+\mathrm{Bi}=\mathrm{Aj}*t5+\mathrm{Bj}\\ \left|\right|(\mathrm{Ai}*t6+\mathrm{Bi})-(\mathrm{Aj}*t7+\mathrm{Bj})\left|\right|>0\end{array}\right.$

其中，T1＝||(Ai*t1+Bi)-(Ai*t2+Bi)||*||(Ai*t1+Bi)-(Ai*t2+Bi)||，T2＝||(Ai*t3+Bi)-(Ai*t4+Bi)||*||(Ai*t3+Bi)-(Ai*t4+Bi)||，t1为视频对象i的某一动作a被调整后出现的时刻，t2为视频对象i的动作a在重排后出现的时刻，t3为视频对象i的某一动作b在重排后出现的时刻，t4为视频对象i的动作b在原视频中出现的时刻，t5为视频对象i的某一动作c和视频对象j的某一动作d相交的时刻，t6和t7表示视频对象i的某一动作e和视频对象j的某一动作f在原视频中不相交，但空间位置有重叠的分别出现的时刻；

结果代入子模块，用于设视频对象i的某一动作g在原始视频中t8时刻出现，则重排后的结果为在Ai*t8+bi时刻出现。

Images