CN100337473C

CN100337473C - 运动视频的全景图合成方法

Info

Publication number: CN100337473C
Application number: CNB2004100810236A
Authority: CN
Inventors: 陶焜; 林守勋; 张勇东
Original assignee: Institute of Computing Technology of CAS
Current assignee: Beijing Dongfang Jianyu Concrete Science And Technology Research Institute Co ltd; Beijing New Voyaging Co ltd; BEIJING XINAO CONCRETE GROUP CO LTD
Priority date: 2004-09-30
Filing date: 2004-09-30
Publication date: 2007-09-12
Anticipated expiration: 2024-09-30
Also published as: CN1756313A

Abstract

本发明公开了一种运动视频的全景图合成方法，用于将一段运动视频中的多个视频帧合成为一个全景图，所述运动视频中包含有运动前景和背景，每一个视频帧中都包含有运动前景和部分背景，所述全景图中包含有该运动视频中的背景全貌和一系列运动前景；该方法包括：用所述多个视频帧生成一描述运动视频中背景全貌的背景全景图；分别提取出所述多个视频帧中的运动前景；将提取出的运动前景叠加到背景全景图中。本发明所述方法的优点在于：本方法对于摄影机运动剧烈或前景运动剧烈的情况也同样有效；最后得到的结果中前景非常清晰，能很好的表现出运动对象动作的过程和细节。

Description

运动视频的全景图合成方法

技术领域

本发明涉及一种图像处理方法，具体地说，涉及一种由运动视频合成全景图的方法。

背景技术

全景图是指通常由一系列互相重叠的图像生成的描述一个连续景色的图像。全景图合成是指由描述连续场景的一系列局部图像，合成一个单一的、展现整个场景全貌的图像。利用视频合成全景图是将一段视频中的一系列帧图像合成为一个单一的、展现整个场景全貌的图像。全景图合成技术在虚拟现实、图像编码等领域有着广泛的应用。

全景图合成技术在运动视频中，可以得到广泛的应用。例如，根据体育运动的视频片断合成全景图，辅助运动员和教练员的比赛和训练，是全景图合成的新应用。运动视频通常包含有一个运动对象作为视频的前景，而将视频中除前景之外的图像称之为背景。如图1所示的一副合成后全景图，该全景图在一幅图像中同时展现了背景的全貌和运动对象(图1中的运动员)的一系列动作，比让运动员去看录像回放分析之前动作的得失，显得更为直观。

由于运动视频的特殊性，使运动视频的全景图有着不同于传统应用的特点，对全景图合成提出了新的要求。在传统的应用中，全景图获取的是场景中静态的没有移动的背景，而在运动视频的全景图中，不仅要完整的构建出运动场景的背景全景图，更要求在背景上展现出一系列的前景(运动对象的图像)，表现出运动的轨迹和动作的细节。相对于视频本身，全景图提供的信息更直观、更全面。从技术实现来看，运动视频的源图像具有连续性强、运动剧烈、有明显的前景存在等特点，造成了背景全景图合成的难度较大。而如何将前景的运动对象的动作清晰的叠加到生成的背景上，目前还缺少深入的研究。

在现有运动视频的全景图合成方法中，有采用拼接的方法进行背景全景图的合成。拼接法是依次将各帧投影到背景坐标系中，如果原来某块区域尚未赋值，就将该帧赋给背景全局，该方法就像在一点一点地打补丁。利用该方法在前景很大而且摄像机移动很快的情况下，就难保会有一些前景区域被错加到背景全景图上。此外，使用拼接法时第一帧的前景区域无法消除，一个完整的背景全景图上还留着那一帧的运动前景的图像，需要用其他算法再次消除，这样做并不方便。

发明内容

本发明的目的是解决现有的全景图合成技术无法克服运动视频图像连续性强、运动剧烈、有明显的前景存在等缺陷，提供一种能很好地表现出运动对象动作的过程和细节的全景图合成方法。

为实现上述目的，本发明提供了一种运动视频的全景图合成方法，用于将一段运动视频中的多个视频帧合成为一个全景图，所述运动视频中包含有运动前景和背景，每一个视频帧中都包含有运动前景和部分背景，所述全景图中包含有该运动视频中的背景全貌和一系列运动前景；该方法包括：

在所述多个视频帧中的一个视频帧上建立一全景图坐标系，所述全景图在该全景图坐标系上合成；

对所述多个视频帧之间相对的全局运动进行全局运动估计；

根据所述多个视频帧之间的全局运动估计，将所述多个视频帧映射到所述全景图坐标系中，得到所述全景图在全景图坐标系中的范围；

根据所述多个视频帧之间的全局运动估计，寻找全景图范围内每一个点在所述多个视频帧中对应的像素点；将寻找到的所有像素点的像素值中值，作为全景图中该点的像素值，以构成背景全景图；所述背景全景图描述了所述运动视频中的背景全貌；

分别提取出所述多个视频帧中的运动前景；

将提取出的运动前景叠加到背景全景图中。

在上述方案中，所述的全局运动估计包括：

初步估计步骤，采用Konrad算法对两个视频帧之间相对的全局运动进行全局运动估计，得到初步全局运动参数；

二步估计步骤，采用基于Fisher线性判别准则的外点过滤算法对初步估计步骤中得到的初步全局运动参数进行处理，得到全局运动参数。

在上述方案中，所述的从多个视频帧中提取运动前景包括：

将所述多个视频帧投影到全景图坐标系，每一个视频帧在投影后得到一个投影帧图像；

将投影帧图像与背景全景图作差值运算，得到一灰度图像；

对所述灰度图像作二值化，得到一可作为前景-背景模板的二值化图像；

依据所述二值化图像提取出视频帧中的运动前景。

在上述方案中对所述灰度图像作中值滤波，以消除灰度图像中的噪声。

在上述方案中对所述二值化图像作形态学处理，以消除二值化图像中的噪声。

在上述方案中，还包括：

将所提取的多个视频帧的前景叠加为一个前景全景图；

将所述前景全景图叠加到所述背景全景图中。

在上述方案中，在对多个视频帧的前景进行叠加时，对于在全景图中重叠的部分，采用了ALPHA混合的方法，并对在所述多个视频帧组成的帧序列中靠后的视频帧给予不小于靠前视频帧的权重。

本发明的方法优点在于：

1、本方法对于摄影机运动剧烈或前景运动剧烈的情况也同样有效。

2、最后得到的结果中前景(运动对象图像)非常清晰，能很好的表现出运动对象动作的过程和细节。

附图说明

图1为一个示例性的全景图。

图2为本发明方法的流程图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细描述。

图2示出了依照本发明的一个运动视频的全景图合成方法实施例的流程图。

在运动视频的拍摄过程中，摄像机的运动会造成视频图像背景的运动，这种运动形式就被称为全局运动。与全局运动相对应的为局部运动，局部运动指运动对象动作造成的前景的运动。前景与背景是一对相对的概念，在本发明所应用的运动视频中，前景是指视频中的运动对象本身，背景是指视频中除去运动对象以外的部分。

如图2所示，在步骤101中，从一段运动视频中提取出待合成的多个视频帧，该多个视频帧通常是视频中按时间顺序拍摄的视频帧序列。多个视频帧描述了运动对象或者说运动前景在背景中的一系列运动状态。

在步骤102中建立全景图坐标系。首先为多个视频帧的每一帧图像建立自身的坐标系，则该帧图像中像素点的坐标反映了该像素点在该帧图像中的位置。但是，由于全局运动的存在，背景中的同一点在不同的视频帧中会有不同的坐标。在构造全景图时，所有像素必须投影到一个统一的坐标系，因此，需要建立一个统一的坐标系，可称之为全景图坐标系。通常，全景图坐标系可以选定为多个视频帧中任一视频帧的坐标系，该被选定的视频帧可称为参照帧。优选地，可以将多个视频帧中的第一个视频帧作为参照帧，并将该参照帧的坐标系作为全景图坐标系。

在步骤103中，对视频帧之间相对的全局运动进行全局运动估计，得到全局运动参数。通常，可对多个视频帧中的每相邻两帧之间全局运动进行估计，从而可通过递推计算出各视频帧相对于前述参照帧的全局运动。这样可以得到各视频帧坐标系相对于全景图坐标系的变换参数。

相邻图像帧之间的全局运动的规律可由全局运动参数表征，根据全局运动估计所针对的场景的不同，可以选用不同的参数模型。在本发明的一个实施例中选用六参数的仿射运动模型：

设(x_i，y_i)^T是某像素点在当前帧图像中的位置，(x_i′，y_i′)^T是该像素点在上一帧图像中的位置，则两者之间的关系可表示为

\{\begin{matrix} x_{i}^{'} = (a_{0} + a_{2} x_{i} + a_{3} y_{i}) \\ y_{i}^{'} = (a_{1} + a_{4} x_{i} + a_{5} y_{i}) \end{matrix}

或

(\begin{matrix} x_{i}^{'} \\ y_{i}^{'} \end{matrix}) = A (\begin{matrix} x_{i} \\ y_{i} \end{matrix}) + T

其中

A = (\begin{matrix} a_{2} & a_{3} \\ a_{4} & a_{5} \end{matrix}),

表示摄像机的缩放和旋转运动；

T = (\begin{matrix} a_{0} \\ a_{1} \end{matrix}),

表示摄像机的平移运动。

为了求解全局运动的A和T，本发明采用两步估计法：首先利用MPEG-4校验模型所采用的Konrad算法，得到初步的估计结果；然后，为了消除特征匹配误差、局部运动等噪声数据(即外点)的干扰，采用基于Fisher线性判别准则的外点过滤算法进行二步估计，得到更准确的全局运动估计。与本发明采用的两步估计法相比，传统方法只用第一步算法或其它类似算法做估计，这样做容易受前景运动的影响，所得到的全局运动参数不太准确。

关于Konrad算法可参见参考文献1：Frédéric Dufaux and JanuszKonrad.Efficient，Robust，and Fast Global Motion Estimation for VideoCoding.IEEE Transactions On Image Processing，Vol.9，No.3，March 2000。

对Konrad算法进行简单描述，它的运算过程为：

1)对输入的两帧图像缩小形成不同分辨率的三对图像，形成三层金字塔结构，其中第三层分辨率最低，第二层分辨率较高，第一层是原图像，其分辨率最高；

2)对第三层图像用修正的n步搜索法进行预估计；

3)按从上到下的顺序，在金字塔的每一层，用梯度下降法进行迭代运算，直到一个迭代收敛条件满足为止。

利用Konrad算法进行初步估计以后，得到初步估计结果或者说初步全局运动参数A^*和T^*。初步估计的A^*和T^*是图像整体进行估计的结果，在进行块匹配时，由于前景部分的运动和背景的运动不同，将两者混在一起估计所得到的结果不能有效描述背景的(也就是全局的)运动。因此本发明还采用基于Fisher线性判别准则的外点过滤算法进行二步估计。

Fisher线性判别准则是模式识别里的一个基本概念，它是根据特征将一系列样本进行分类的一个算法。基于Fisher线性判别准则的外点过滤算法的基本方法是：

1)在帧图像中选取一个框形区域，避开图像边缘和最有可能存在前景的图像中间部分，对框形区域中的图像分块进行块匹配搜索，得到一组特征点对{(u₁，u₁’)，…，(u_N，u_N’)}。所述的块匹配搜索采用了一般的视频编码中通用的块匹配算法，在本发明中为了减少计算量并提高匹配精度，只选取方差大于图像方差二分之一的块去进行匹配搜索。所述的特征点对的选取是在找到的一对一对相互匹配的块中，取它们左上角的像素作为特征点对。

2)得到前述的一组特征点对{(u₁，u₁’)，…，(u_N，u_N’)}后，用两步估计法中的第一步得到的全局运动初步估计值A^*和T^*计算每个点对的估计残差：

r_i＝u_i′-A^*u_i-T^*

根据本公式，可以得到每个点对的残差，以残差为特征，用Fisher线性判别准则可以将各个分成两个集合，残差大的为外点，残差小的为内点。对外点进行滤除，在滤除外点后，用剩余内点集合重新估计全局运动。交替进行外点过滤和从剩余内点进行参数估计，通常不超过10次迭代就可以达到收敛条件，得到比较准确的估计结果。

从第二步估计的算法中可以看到，在二步估计中区分了前景和背景，从背景的特征点对计算全局运动，所得到的全局运动参数更为准确。

在步骤104中，根据步骤103得到的多个视频帧中的相邻帧间的全局运动参数后，则可以利用递推迭代的方法得到任意两帧之间的点相互投影时的变换参数。这样，在一个实施例中，当将多个视频帧中的第一帧作为参照帧时，根据步骤103中的全局运动参数，可以得到第一帧中的像素点投影到其它各个帧的坐标系的对齐变换参数A_i-＞1和T_i-＞1(i＝2，3…N)，利用对齐变换参数A_i-＞1和T_i-＞1，有：

(\begin{matrix} x_{i} \\ y_{i} \end{matrix}) = A_{i - > 1} (\begin{matrix} x_{1} \\ y_{1} \end{matrix}) + T_{i - > 1}

上面这一公式表示由第一帧中的点的坐标，利用相应的对齐变换参数A_i-＞1和T_i-＞1，可以求得该点投影到第i帧中的坐标。同样，也可以得到反对齐变换参数A_1-＞i和T_1-＞i(i＝2，3…N)，有

(\begin{matrix} x_{1} \\ y_{1} \end{matrix}) = A_{1 - > i} (\begin{matrix} x_{i} \\ y_{i} \end{matrix}) + T_{1 - > i}

上面这一公式表示由在第i帧中的点的坐标，利用相应的反对齐变换参数A_1-＞i和T_1-＞i，可以求得该点投影到第一帧坐标系中的坐标。

在步骤105中，确定待合成的全景图在全景图坐标系中的范围。仍然以第一帧为参照帧为例，在求得第一帧到各帧的对齐及反对齐参数后，首先要确定全景图的尺寸，即各帧投影到全景图坐标系后的范围。具体做法是：分别取第2～N帧的四个顶点，用反对齐变换求得它们在全景图坐标系上的坐标。取X方向的最大值x_max和最小值x_min，Y方向的最大值y_max和最小值y_min。则全景图宽w＝x_max-x_min，高h＝y_max-y_min。

在步骤106中，为全景图中每一个点都生成一个信息链表。由对齐变换，可以得到全景图上的点投影到各帧坐标系中的坐标，判断是否在该帧存在对应点。对于全景图上一个点，它既可能是一个非图像区域的点，即在所有帧都没有对应点；也可能只在一帧有对应点，或者在多个帧中都有对应点。对全景图的每一个点都生成一个链表，这个点在哪些帧上有对应点，就将这些对应点的像素值加入链表，链表长度由0到N不等(0表示非图像区域)。例如全景图范围内的一个点在五个视频帧中存在对应点，则该点的链表长度就是五。

在步骤107中，生成背景全景图。全景图范围内每个点的链表上包含的值可能既有背景，又有前景和噪声，就需要从中求得最有可能代表背景的值赋给全景图。通常情况下，链表中前景和噪声的个数总是少于背景的个数，因此采用中值法得到全景图的像素值。中值法具体而言就是将对应一点的所有元素的RGB值排序并将其中间值赋给背景全景图。

下面介绍中值法的具体实现，假设全景图上某一点的链表为(v₀，v₁，v₂，…，v_L)(0＜L＜＝N-1)，其中v_i＝(R_i，G_i，B_i)^T是表示像素RGB值的向量，链表按照对应的帧号先后排序。将一个链表中所有的元素的RGB值进行排序，得到

(\begin{matrix} {R_{0}}^{'}, {R_{1}}^{'}, {R_{2}}^{'}, \cdot \cdot \cdot {R_{L - 1}}^{'} \\ {G_{0}}^{'}, {G_{1}}^{'}, {G_{2}}^{'}, \cdot \cdot \cdot {G_{L - 1}}^{'} \\ {B_{0}}^{'}, {B_{1}}^{'}, {B_{2}}^{'}, \cdot \cdot \cdot {B_{L - 1}}^{'} \end{matrix}) = ({v_{0}}^{'}, {v_{1}}^{'}, {v_{2}}^{'}, \cdot \cdot \cdot, {v_{L - 1}}^{'}),

其中

\{\begin{matrix} {R_{0}}^{'} \leq {R_{1}}^{'} \leq {R_{2}}^{'} \leq \cdot \cdot \cdot {\leq R_{L - 1}}^{'} \\ {G_{0}}^{'} \leq {G_{1}}^{'} \leq {G_{2}}^{'} \leq \cdot \cdot \cdot {\leq G_{L - 1}}^{'} \\ {B_{0}}^{'} \leq {B_{1}}^{'} \leq {B_{2}}^{'} \leq \cdot \cdot \cdot {\leq B_{L - 1}}^{'} \end{matrix}

然后取其中间的值赋给全景图，则基本可以代表背景的信息。由于在前文已提到链表中前景和噪声的个数总是少于背景的个数，所以取中间值基本可以保证赋给背景全景图的是背景的像素值而不是前景和噪声的像素值。

当全景图范围内的每个点都通过上述方法赋以像素值后，则得到背景全景图。

在步骤108中，提取多个视频帧上的前景区域。对于多个视频帧中的每一个视频帧，将视频帧作仿射变换投影到全景图的坐标系上。用反对齐变换参数求当前视频帧的四个顶点在全景图坐标系下的坐标，获得一个该帧的投影后的范围。在这个范围之内，用投影帧图像和背景全景图作差值，得到一个表示差值的灰度图像。灰度图是反映图像中各像素点亮度信息的图像，它用来反映帧与帧之间像素变化的程度。差值的公式为：

ε(x，y)＝|R_F(x，y)-R_B(x，y)|+|G_F(x，y)-G_B(x，y)|+|B_F(x，y)-B_B(x，y)|

D (x, y) = \{\begin{matrix} 0 & ϵ (x, y) < ϵ_{0} \\ ϵ (x, y) & ϵ_{0} \leq ϵ (x, y) \leq 255 \\ 255 & ϵ (x, y) > 255 \end{matrix}

其中x、y为全景图的坐标，R_F(x，y)、G_F(x，y)、B_F(x，y)为投影帧图像的RGB值，R_B(x，y)、G_B(x，y)、B_B(x，y)为背景全景图RGB值，D(x，y)为差值图的灰度，ε₀是一个阈值，用于滤除因光照等原因造成的一些轻微差异，该阀值的大小对于本领域的技术人员而言是很容易确定的。

作差值得到的灰度图像中存在有噪声，包括一些小的区域和一些条纹。造成这些噪声的原因主要有两个：一是采用中值法得到的背景全景图相当于进行过平滑滤波，比之投影的帧图像要模糊，在部分区域会产生较大的差值；二是由于全局运动参数的误差使投影后的帧图像坐标也会存在误差，前景和背景之间物体的边缘无法对齐，在差值图上产生一些条纹。对图像纹理较密的区域，这种情况尤其明显。因此，优选先对作差值得到的灰度图像进行中值滤波，去除那些细条纹状以及小块孤立的噪声，同时对前景区域的差值起到平滑的作用。然后对中值滤波后的灰度图像做二值化处理，二值化是图像处理里的基本方法，指将灰度图像中亮度大于某个值的点都变成白的，小于某个值的点变成黑的，从而得到一幅黑白两色的图像。作二值化得到的黑白图像可以理解为一个描述前景-背景的模板，在该模板中，黑的部分对应背景区域，白的部分对应前景区域。该模板的作用是可以把投影的帧图像中对应白色区域的前景部分取出来以合成前景全景图。最后用形态学的方法处理所得到的二值化图像：首先，对二值化图像进行一次闭运算，填补前景区域中的小洞，柔化大块区域边缘；之后再进行一次开运算，将小块的噪声区域消除。经过形态学的处理，基本消除了小块的噪声，得到了前景区域的准确轮廓，或者说得到一个精确的模板。

将最后所得到二值化图像作为模板可以将每一个视频帧中的前景区域内的图像(即视频帧的前景)准确地提取出来。

在步骤109中，生成一个与背景全景图尺寸相同的底板，将从多个视频帧中提取出来的前景区域叠加到该底板上，以形成一个前景全景图。

得到每一个视频帧的前景区域模板后，也就可以得到投影后的前景图像。为了防止和背景中原有的像素互相干扰，首先生成一个只有各帧前景构成的前景全景图，然后再叠加到背景全景图上。合成前景全景图的关键就是各帧前景区域在前景全景图上相互重叠的部分如何处理。

当前景全景图上的一个点只与一个待叠加的帧上处于前景区域的点对应，也就是说该点没有重叠，则直接将该待叠加帧上前景区域的对应点的像素值赋值给底板。当前景全景图上的一个点与多个待叠加的帧上处于前景区域的多个点对应，也就是说该点有重叠时，在本发明，为了更好的体现出运动对象的动作过程，优选对这多个点的像素值以不同的权值进行ALPHA融合叠加。通常是，对于多个重叠的待叠加帧，对在帧序列中靠后的也就是较新的帧给予不小于靠前帧的权重。这样的结果是，在重叠的部分，运动对象靠后的动作通常显得更为清晰。ALPHA融合是一种现有技术，它的目的是将两幅图像中的像素点逐点合成为一幅图像，做到在同一幅图中反映原来两幅图的内容。

在一个实施中，对于重叠区域，在按照视频帧序列顺序将其各自前景叠加到底板上时，给予当前叠加帧像素点的像素值50％的权重，而给予之前已经叠加到底板上的像素值50％的权重。。这样，假设有同一点上叠加两帧的话两者像素各占1/2；叠加上第三帧则前两帧各占1/4，第三帧占1/2；叠加上第四帧则前两帧各占1/8，第三帧占1/4，第四帧占1/2；依次类推。这样将各个待叠加帧叠加上去，得到前景全景图。

在步骤110中，将前景全景图中除底板外的部分叠加到背景全景图上，得到最终所需要的全景图。

Claims

1、一种运动视频的全景图合成方法，用于将一段运动视频中的多个视频帧合成为一个全景图，所述运动视频中包含有运动前景和背景，每一个视频帧中都包含有运动前景和部分背景，所述全景图中包含有该运动视频中的背景全貌和一系列运动前景；该方法包括：

对所述多个视频帧之间相对的全局运动进行全局运动估计；

分别提取出所述多个视频帧中的运动前景；

将提取出的运动前景叠加到背景全景图中。

2、根据权利要求1所述的运动视频的全景图合成方法，其特征在于，所述的全局运动估计包括：

3、根据权利要求1所述的运动视频的全景图合成方法，其特征在于，所述的从多个视频帧中提取运动前景包括：

将投影帧图像与背景全景图作差值运算，得到一灰度图像；

依据所述二值化图像提取出视频帧中的运动前景。

4、根据权利要求3所述的运动视频的全景图合成方法，其特征在于，还包括对所述灰度图像作中值滤波，以消除灰度图像中的噪声。

5、根据权利要求3所述的运动视频的全景图合成方法，其特征在于，还包括对所述二值化图像作形态学处理，以消除二值化图像中的噪声。

6、根据权利要求1所述的运动视频的全景图合成方法，其特征在于，还包括：

将所提取的多个视频帧的前景叠加为一个前景全景图；

将所述前景全景图叠加到所述背景全景图中。

7、根据权利要求1或6所述的运动视频的全景图合成方法，其特征在于，在对多个视频帧的前景进行叠加时，对于在全景图中重叠的部分，采用了ALPHA混合的方法，并对在所述多个视频帧组成的帧序列中靠后的视频帧给予不小于靠前视频帧的权重。