CN100337472C - 一种具有运动前景的视频合成方法 - Google Patents

Abstract

本发明公开了一种将具有运动前景的视频相合成的方法，用于将两段视频合成为一段视频，所述两段视频有运动前景和基本相同的背景；该方法含以下步骤：从两段视频中分别提取出待合成的两个当前帧；对每一个当前帧，生成含该当前帧运动前景区域信息的运动前景灰度图；对第一和第二当前帧的对应像素点逐点进行加权合成，以合成一个帧；其中，对第一和第二当前帧中对应的两个像素点进行加权合成时，将这两个点分别在第一和第二运动前景灰度图中对应位置的灰度值分别作为合成时的权值。本发明的优点是运算速度快、计算开销少、合成帧的前景与背景均清晰可见、能清晰观察运动员动作的效果、可以将不同时刻的运动员动作过程放到同一时间，同一背景下观察。

Description

一种具有运动前景的视频合成方法

技术领域

本发明涉及一种视频合成方法，特别是涉及一种具有运动前景的视频合成方法。

背景技术

具有运动前景的视频通常包含有一个运动对象作为视频的前景，而将视频中除前景之外的图像称之为背景。具有运动前景的视频合成是指将两段视频合成到同一段视频中，这两段视频通常是在同一场景中不同时刻得到的具有相似背景的视频；而在合成后的视频中，两段视频中原有的运动对象均在同一个背景下运动，并且均保持清晰可见。

例如，具有运动前景的视频合成在体育运动领域中有着广泛的应用。将运动员在同一场景中不同时刻获得的运动视频进行合成后，可以用于基于视频的计算机辅助体育训练系统、比赛裁判系统等信息处理技术与体育科学交叉的领域。

目前，具有运动前景的视频合成主要采用基于运动前景(或者说运动对象)的方法。即采用运动对象分割方法将运动对象从视频中分割出来，然后再合成到其他视频中去。运动对象分割的主要分割方式有三种，一种是空域分割，一种是时序分割，还有一种是混合分割。空域分割主要依据图像的亮度、颜色、纹理、边缘等空间属性进行分割，它能获得精确的对象轮廓边缘，但由于只使用了空域信息，分割结果在语义上不一定完整，即分割出的结果，也就是所得到的对象不一定是一个完整的有现实意义的对象，例如，视频中有一个运动的人体，如果仅用空域分割，可能分割的结果只是人体的一部分，或者是含人体以及一部分背景的一个结果；时序分割依据时间(运动)属性分割图像，比如利用帧差，可以快速地检测出帧间的变化区域，但仅使用运动信息不能获得精确的对象轮廓；混合分割综合利用时空属性对图像进行分割，它们通常先在全图上进行空间分割，将全图分割成若干空间属性一致的区域，然后对各个区域进行分类，分类主要依据由运动估计获得的运动信息进行，最后将各区域按类合并得到具有语义的视频对象。混合算法能够准确地分割出语义对象，但由于在全图上进行分割、合并，往往需要大量的计算开销。同时，运动估计易受对象的不规则运动(如快速移动、非刚性形变)，和光照的影响，从而造成对区域的分类不准确。此外，在进行合成时，分割出的对象边缘多采用平滑滤波来消除，但这样会造成对象清晰度的下降，影响对运动对象运动的观察。

发明内容

本发明的目的是克服现有的运动视频合成方法所采用的对象分割算法中：速度慢，分割的准确度易受对象的不规则运动和光照的影响等不足，提供一种基于运动区域信息的速度快、计算开销少、运动前景与背景均清晰可见的运动视频合成方法。

本发明提供一种具有运动前景的视频合成方法，用于将两段视频合成为一段视频，所述两段视频分别包括有运动前景和基本相同的背景；该方法包括以下步骤：

从两段视频中分别提取出待合成的两个当前帧；所述两段视频包括第一视频和第二视频，所述两个当前帧包括从第一视频中提取出的第一当前帧和从第二视频中提取出的第二当前帧；

对应每一个当前帧，生成含该当前帧运动前景区域信息的运动前景灰度图，所述运动前景灰度图中灰度值较大的区域显示了该当前帧中的运动前景区域；所述运动前景灰度图包括显示第一当前帧运动前景区域的第一运动前景灰度图和显示第二当前帧运动前景的第二运动前景灰度图；其中，所述对应于一个当前帧的运动前景灰度图通过如下步骤得到：从视频中提取出与该当前帧相邻的前相邻帧和后相邻帧；对当前帧及其前相邻帧和后相邻帧分别进行灰度化处理，对应得到当前帧灰度图、前相邻帧灰度图和后相邻帧灰度图；分别计算前、后相邻帧与当前帧灰度图的帧间差分；取两个帧间差分的在相同位置上的灰度值中较小的一个作为当前帧的运动前景灰度图在该位置上的灰度值；

对第一和第二当前帧的对应像素点逐点进行加权合成，以合成一个合成帧；其中，对第一和第二当前帧中的对应的两个像素点进行加权合成时，将这两个像素点分别在第一和第二运动前景灰度图中对应位置的灰度值分别作为合成时的权值。

在上述方案中，在所述的加权合成之前，将第一当前帧和第二当前帧在背景上对齐。

在上述方案中，所述的灰度化处理之前，将前相邻帧和后相邻帧在背景上对齐到当前帧。

在上述方案中，所述的对齐包括：

估计待对齐的两帧的背景的全局运动，获得描述待对齐的两帧背景差异的全局运动参数；

根据全局运动参数对两帧中的一帧进行变换，使其与另一帧在背景上对齐，消除待对齐的两帧在背景上的差异。

在上述方案中，所述的全局运动采用六参数仿射变换模型描述。

所述的全局运动参数通过Levenberg-Marquardet方法迭代求解。

在上述方案中，对所述的全局运动参数求解方法还包括用线性插值法将所述待对齐两帧中的一帧的图像尺寸变小，用变小的图像求全局运动参数，再对所求的全局运动参数做转换，得到关于原图像的全局运动参数。

在上述方案中，所述加权合成是采用ALPHA通道融合方法，对第一和第二当前帧的对应像素点的像素值逐点进行加权合成。

本发明的优点在于：

(1)运算速度快。

(2)计算开销少。

(3)合成帧的前景与背景均清晰可见。

(4)能清晰观察运动员动作的效果。

(5)可以将不同时刻的运动员动作过程放到同一时间，同一背景下观察。

附图说明

图1为本发明方法的总体流程图；

图2为求取运动前景灰度图的方法流程图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细描述。

本发明方法的实现流程如图1所示，将选取的两段待合成的视频称为第一视频101和第二视频102，这两段视频是在同一场景中不同时刻得到的具有相似背景的视频。将第一视频101和第二视频102中待合成的对应帧分别称为第一当前帧201和第二当前帧202。

对第一当前帧201和第二当前帧202进行一系列的操作可以分别得到第一运动前景灰度图401和第二运动前景灰度图402。第一运动前景灰度图401和第二运动前景灰度图402分别反映了第一当前帧201和第二当前帧202的运动前景区域信息，用灰度值的差异来显示当前帧201和202中的运动前景区域。第一运动前景灰度图401和第二运动前景灰度图402的获取方式将在下文中结合图2详细说明。

如图1所示，以第一当前帧201的背景为标准，通过背景对齐步骤20将第二当前帧202的背景与第一当前帧201的背景对齐，得到第二补偿帧302。很容易理解，也可以以第二当前帧202的背景为标准，通过背景对齐步骤20将第一当前帧201的背景与第二当前帧202的背景对齐。将第一当前帧201与第二补偿帧302对应的两个像素点进行加权合成步骤30，在进行加权合成30时，将这两个像素点分别在第一运动前景灰度图401和第二运动前景灰度图402中对应位置的灰度值分别作为合成时的权值。将第一当前帧201与第二补偿帧302对应的像素点实现逐点合成以后得到合成帧500。将第一视频101和第二视频102中所有的对应帧均通常上述过程合成后即可得到合成后的视频600。

在图1中，加权合成步骤30具体为：设p′点与p点分别为第二补偿帧302和第一当前帧201中对应的像素点，对这两个像素点的像素值进行ALPHA融合。ALPHA融合是一种现有技术，它的目的是将两幅图像中的像素点逐点合成为一幅图像，做到在同一幅图中反映原来两幅图的内容。设第一当前帧201中的p点在RGB颜色空间的像素值为(r，g，b)，p点在第一运动前景灰度图401中对应为q点，q点的灰度值为l；第二补偿帧302中的p′点在RGB颜色空间的像素值分别为(r′，g′，b′)，p′点在第二运动前景灰度图402中对应为q′点，其灰度值为l′。p′点与p点合成为合成帧300中的点s_r。取α＝l′/(l+l′)。则s_r的像素值(r_r，g_r，b_r)用下面公式求出：

$\left\{\begin{array}{c}{r}_r=\mathrm{\α}\·r^{\′}+(1-\mathrm{\α})\·r\\ g_r=\mathrm{\α}\·g^{\′}+(1-\mathrm{\α})\·g\\ b_r=\mathrm{\α}\·b^{\′}+(1-\mathrm{\α})\·b\end{array}\right.$

依此公式，逐第二补偿帧302和第一当前帧201中的每个像素点生成合成帧300。由于在前景区域信息灰度图中，背景点的灰度值较小而运动前景的灰度值则较大，所以这样的合成方法会清晰地显示出待合成对应帧中的前景，达到观察运动员动作的要求。

图2示出了得到第一运动前景灰度图401和第二运动前景灰度图402的具体操作步骤，其中图2中的操作步骤对第一视频101和第二视频102都适用。具体操作如下：

从第一或第二视频101和102中提取出当前帧220(如前述的第一当前帧201和第二当前帧202)以及与当前帧220相邻的前相邻帧210和后相邻帧230。最好还通过与图1相同的背景对齐步骤20，将前相邻帧210和后相邻帧230在背景上对齐到当前帧220，分别得到前相邻补偿帧211和后相邻补偿帧231。

对当前帧220及其前、后相邻帧210和230进行灰度化处理10。在这里，最好是对与前、后相邻帧210和230对应的前相邻补偿帧211和后相邻补偿帧231进行灰度化处理10。这样，可以得到与当前帧220对应的当前帧灰度图222、与前相邻帧210对应的前相邻帧灰度图212、与后相邻帧对应的后相邻帧灰度图232。灰度化处理10的具体方法是将彩色图像根据各像素点的R G B值，计算出该像素点的亮度，然后以此亮度作为该像素点的灰素值，以得到灰度图。

然后分别计算前、后相邻帧灰度图212和232与当前帧灰度图222的帧间差分。帧间差分的计算具体是指计算当前帧灰度图222与前、后相邻帧灰度图212和232之间的帧差。

在进行帧差计算时，首先对当前帧灰度图222和前相邻帧灰度图212进行低通滤波，得到平滑后的灰度图。设I_t为当前帧灰度图222，I_t-1为前相邻帧灰度图212，以d_t，t-1记两帧I_t和I_t-1的帧差，其求解公式为：d_t，t-1＝W×I_t-W×I_t-1，W为平滑滤波的窗口函数。求得d_t，t-1后，对其进行数学形态学消除由摄像机噪声造成的小面积、孤立噪声区域，用闭操作和开操作填充前景区域中的空缺，并平滑前景区域的边缘，得到一个相邻帧间的帧间差分灰度图241。用同样的方法可以得到当前帧灰度图222和后相邻帧灰度图232之间的帧间差分灰度图242。

取两个帧间差分灰度图232和242的在相同位置上的灰度值中较小的一个作为当前帧的运动前景灰度图400在该位置上的灰度值。设I_i为运动前景灰度图400，I_t为当前帧灰度图222，I_t-1为前相邻帧灰度图212，I_t+1为后相邻帧灰度图232，以d_t，t-1记两帧I_t和I_t-1的帧差即两个帧间差分灰度图241，以d_t，t+1记两帧I_t和I_t+1的帧差即帧间差分灰度图242。设I_i中[X(I)，Y(I)]^T位置上的像素值为P_i，d_t，t-1和d_t，t+1中[X(I)，Y(I)]^T上的像素值分别为P_t，t-1与P_t，t+1，则令

由于当前帧的运动前景会同时出现在其与前后相邻帧的帧差中，而且灰度值会高于背景在帧差中的灰度值。故而运动前景灰度图400中灰度值较大的区域实质上是当前帧与前一帧的运动区域以及与后一帧的运动区域的交集。这样，运动前景灰度图400中灰度值的差异就显示了当前帧中的运动前景区域，其中灰度值较大的区域是运动前景区域。依据灰度的大小差异，可以反映前景与背景在图像中所处的位置。这种方法比较明显地反映了当前帧中的运动区域，克服了显露背景对提取运动区域的影响。

利用图2所示的方法可以分别得到图1中所示的第一运动前景灰度图401和第二运动前景灰度图402

在图1和图2中均涉及到背景对齐步骤20，这是因为在实际的运用中，第一视频101和第二视频102在不同的时间拍摄，其对应帧的背景可能存在差异；或者是由于摄像机的平移、旋转和缩放等运动造成背景常常存在着运动，使得在同一视频中当前帧与其前后相邻帧之间由于时间上的差异，可能会导致背景的不同。在图1和图2中的背景对齐步骤20则是将所涉及到的两个视频帧在背景上对齐，使其背景一致。背景对齐步骤20的实现方法如下：

估计待对齐的两帧的背景的全局运动，获得描述待对齐的两帧背景差异的全局运动参数，该步简称为全局运动估计。之后，根据全局运动参数对两帧中的一帧进行变换，使其与另一帧在背景上对齐，消除待对齐的两帧在背景上的差异，该步可简称为全局运动补偿的实现。

它们的具体操作方法如下：

全局运动估计：全局运动是指在视频序列帧中占较大比例的像素的运动，在运动视频中多由摄像机运动造成。全局运动估计是指根据两帧图像，估计图像之间全局运动的规律，其规律可由全局运动参数表征。根据运动视频的特点，全局运动可用六参数仿射变换模型表示：

$\left\{\begin{array}{c}{x}^{\′}=\mathrm{ax}+\mathrm{by}+e\\ y^{\′}=\mathrm{cx}+\mathrm{dy}+f\end{array}\right.$

相应的全局运动参数可以表示为(a，b，c，d，e，f)，其中分量e，f与摄像机镜头的平移运动有关，分量a，b，c，d则与摄像机镜头的缩放、旋转运动有关。x，y指第一视频帧的某像素点在当前帧中的位置，x′和y′指该像素点在当前帧的相邻帧(前相邻或后相邻)中的位置。

全局运动估计可用Levenberg-Marquardet(LM)方法迭代求解。为提高迭代求解效率，用线性插值法将图像尺寸减半，形成两层图像金字塔，在金字塔第二层完成全局运动估计后，再将参数恢复到原图像尺寸上。其具体操作方法是：先将原图像的长宽减小到原来的一半，得到一幅缩小了的图像，然后，用缩小了的图像来计算全局运动参数，这样得到的参数(a，b，c，d，e，f)中，与平移运动有关的参数e，f需要乘以2才能反映原图像间的全局运动关系，而与摄像机镜头的缩放、旋转运动有关的a，b，c，d则不需要再做变化。这样做显然可以提高迭代求解的效率。

全局运动补偿的实现：利用求得的全局运动参数，实现全局运动补偿，将背景不同的两个帧的背景对齐。

以图2中的当前帧220与其前相邻帧210为例，该背景对齐步骤20具体为：从全局运动估计得到当前帧202与前相邻帧210之间的全局运动参数A1，其具体形式为(a1，b1，c1，d1，e1，f1)。以[X(t)，Y(t)]^T表示前相邻帧210的某像素点位置，用[X(t′)，Y(t′)]^T表示该像素点经全局运动补偿后在图像中的对应位置，则

$\left\{\begin{array}{c}X\left(t^{\′}\right)=a1X\left(t\right)+b1Y\left(t\right)+c1\\ Y\left(t^{\′}\right)=d1X\left(t\right)+e1Y\left(t\right)+f1\end{array}\right.$

将此像素点置于[X(t′)，Y(t′)]^T位置上，从而得到经补偿后的前相邻补偿帧211。

Claims (8)

1、一种具有运动前景的视频合成方法，用于将两段视频合成为一段视频，所述两段视频分别包括有运动前景和基本相同的背景；该方法包括以下步骤：

从两段视频中分别提取出待合成的两个当前帧；所述两段视频包括第一视频和第二视频，所述两个当前帧包括从第一视频中提取出的第一当前帧和从第二视频中提取出的第二当前帧；

对应每一个当前帧，生成含该当前帧运动前景区域信息的运动前景灰度图，所述运动前景灰度图中灰度值较大的区域显示了该当前帧中的运动前景区域；所述运动前景灰度图包括显示第一当前帧运动前景区域的第一运动前景灰度图和显示第二当前帧运动前景的第二运动前景灰度图；其中，所述对应于一个当前帧的运动前景灰度图通过如下步骤得到：从视频中提取出与该当前帧相邻的前相邻帧和后相邻帧；对当前帧及其前相邻帧和后相邻帧分别进行灰度化处理，对应得到当前帧灰度图、前相邻帧灰度图和后相邻帧灰度图；分别计算前、后相邻帧与当前帧灰度图的帧间差分；取两个帧间差分的在相同位置上的灰度值中较小的一个作为当前帧的运动前景灰度图在该位置上的灰度值；

对第一和第二当前帧的对应像素点逐点进行加权合成，以合成一个合成帧；其中，对第一和第二当前帧中的对应的两个像素点进行加权合成时，将这两个像素点分别在第一和第二运动前景灰度图中对应位置的灰度值分别作为合成时的权值。

2、根据权利要求1所述的具有运动前景的视频合成方法，其特征在于，还包括：在加权合成之前，将第一当前帧和第二当前帧在背景上对齐。

3、根据权利要求1所述的具有运动前景的视频合成方法，其特征在于，还包括：在灰度化处理之前，将前相邻帧和后相邻帧在背景上对齐到当前帧。

4、根据权利要求2或3所述的具有运动前景的视频合成方法，其特征在于，所述的对齐包括：

估计待对齐的两帧的背景的全局运动，获得描述待对齐的两帧背景差异的全局运动参数；

根据全局运动参数对两帧中的一帧进行变换，使其与另一帧在背景上对齐，消除待对齐的两帧在背景上的差异。

5、根据权利要求4所述的具有运动前景的视频合成方法，其特征在于，所述的全局运动采用六参数仿射变换模型描述。

6、根据权利要求4所述的具有运动前景的视频合成方法，其特征在于，所述全局运动参数通过Levenberg-Marquardet方法迭代求解。

7、根据权利要求6所述的具有运动前景的视频合成方法，其特征在于，还包括用线性插值法将所述待对齐两帧中的一帧的图像尺寸变小，用变小的图像求全局运动参数，再对所求的全局运动参数做转换，得到关于原图像的全局运动参数。

8、根据权利要求1所述的具有运动前景的视频合成方法，其特征在于，所述加权合成是采用ALPHA通道融合方法，对第一和第二当前帧的对应像素点的像素值逐点进行加权合成。

Images