CN104408701A - 一种大场景视频图像拼接方法 - Google Patents

Abstract

本发明公开了一种大场景视频图像拼接方法，该方法包括：采集两路拍摄场景有重叠的两路视频数据；对两路视频数据提取两幅背景图像，计算两幅背景图像间的单应性变换矩阵，通过单应性变换矩阵确定两幅背景图像的重叠背景区域；利用背景变换矩阵对两幅背景图像进行变换、拼接、融合得到当前帧的背景拼接图像；逐帧对两路视频数据提取两幅前景图像；对在重叠背景区域的前景图像提取特征点并匹配，利用匹配的特征点位置关系对背景变换矩阵中的图像平移参数进行调整，得到前景图像的变换矩阵，通过前景变换矩阵对两幅前景图像进行变换、拼接、融合；将前景拼接图像与背景拼接图像合成当前帧的拼接图像。本发明实施例可以满足拼接实时性的要求。

Description

一种大场景视频图像拼接方法

技术领域

本发明实施例涉及图像技术领域，尤其涉及一种大场景视频图像拼接方法。

背景技术

视频拼接技术利用多路有重合区域的视角的视频经过变换、拼接、融合成为一个大视场的视频，相对于使用鱼眼镜头或者广角镜头获取大视场视频，有着畸变小，宽动态，更高分辨率等优点，视频拼接技术是静态图像拼接技术的拓展，但是对实时性有很高要求，如果对视频逐帧应用静态图像拼接方法进行拼接，因为目前已有图像拼接方法非常耗时，这样将无法满足视频拼接实时性的要求，现有技术通过对最初的视频帧图像运用静态图像拼接算法计算视频帧之间的单应性变换矩阵，之后的所有视频帧都使用最初得到的单应性变换矩阵进行变换、拼接、融合，因为少去了对每次对帧图像间变换矩阵的计算，大大提高拼接的速度，来满足实时性的要求。但是因为前景的运动，之后的帧图像间单应性变换矩阵发生变换，拼接得到的视频帧图像拼接效果不好，将会出现“鬼影”。

发明内容

本发明提供一大场景视频图像拼接方法，用以满足拼接实时性的要求。

本发明实施例提供一种大场景视频图像拼接方法，该方法包括：

步骤A、采集两路拍摄场景有重叠的两路视频数据；

步骤B、对所述两路视频数据提取两幅背景图像，计算所述两幅背景图像间的单应性变换矩阵，通过所述单应性变换矩阵确定所述两幅背景图像的重叠背景区域；利用背景变换矩阵对所述两幅背景图像进行变换、拼接、融合得到所述当前帧的背景拼接图像；

步骤C、逐帧对所述两路视频数据提取两幅前景图像；对在所述步骤B中的重叠背景区域的前景图像提取特征点并匹配，利用匹配的特征点位置关系对所述步骤B中的所述背景变换矩阵中的图像平移参数进行调整，得到前景图像的变换矩阵，通过所述前景变换矩阵对所述两幅前景图像进行变换、拼接、融合，得到当前帧的前景拼接图像；

步骤D、将所述前景拼接图像与所述背景拼接图像合成所述当前帧的拼接图像，输出所述拼接图像。

本发明实施例提供的大场景视频图像拼接方法，通过对前景、背景图像分别进行拼接，计算前景变换矩阵时，特征点的提取与匹配仅仅是对重叠区域内前景区域的小区域图像进行，同时前景变换矩阵仅仅需要对背景变换矩阵的平移参数调整获得，因此非常迅速，可以满足拼接实时性的要求；由于每一帧时刻拼接图像都是对前景区域的图像进行拼接后补回原背景拼接图像中得到，而不是对整幅图进行拼接，因此充分利用了视频流中帧与帧之间的时间、空间信息；此外，视频中前景背景的图像景深差别较大，各自视差相差较大，避免了现有技术中使用同一个单应性变换矩阵进行变换、拼接会出现视差失真的问题。

附图说明

图1为本发明实施例中所适用的摄像头的位置关系示意图。

图2为本发明一个实施例提供的大场景视频图像拼接方法的流程示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例中所适用的摄像头的位置关系示意图，如图1所示，本发明实施例中视频的采集由两路拥有相同焦距，镜头的同款摄像机完成，两路摄像机左右水平排列且成一定夹角放置，水平方向视角重叠区域大约为25％，采集得到的视频数据由若干由原始YUV的格式转换为图像处理所需的RGB格式的视频帧图像。

图2为本发明一个实施例提供的大场景视频图像拼接方法的流程示意图，如图2所示，本发明实施例包括如下步骤：

步骤201、采集两路拍摄场景有重叠的两路视频数据；

步骤202、对两路视频数据提取两幅背景图像，计算两幅背景图像间的单应性变换矩阵，通过单应性变换矩阵确定两幅背景图像的重叠背景区域；利用背景变换矩阵对两幅背景图像进行变换、拼接、融合得到当前帧的背景拼接图像；

步骤203、逐帧对两路视频数据提取两幅前景图像；对在步骤202中的重叠背景区域的前景图像提取特征点并匹配，并利用匹配的特征点位置关系对步骤202中的背景变换矩阵中的图像平移参数进行调整，得到前景图像的变换矩阵，通过前景变换矩阵对两幅前景图像进行变换、拼接、融合，得到当前帧的前景拼接图像；

步骤204、将前景拼接图像与背景拼接图像合成当前帧的拼接图像，输出拼接视频。

进一步地，步骤102中的对两路视频数据提取两幅背景图像，计算两幅背景图像间的单应性变换矩阵，通过单应性变换矩阵确定两幅背景图像的重叠背景区域，具体包括以下步骤：

步骤B1、对两幅背景图像进行特征提取；

步骤B2、提取两幅背景图像中各自背景图像的特征点，并进行匹配，应用随机采样一致算法剔除误匹配的特征点对，得到左图特征点X匹配的右图特征点X′；根据匹配点位置关系，计算初步的单应性变换矩阵M；

步骤B3、对步骤B2中得到的变换矩阵进行迭代求精，得到精确的背景变换矩阵H_b：

$H_b=\begin{array}{}\left[\begin{array}{ccc}{b}_{00}& b_{01}& b_{02}\\ b_{10}& b_{11}& b_{12}\\ b_{20}& b_{21}& 1\end{array}\right]\end{array}$

步骤B4、利用背景变换矩阵将两幅背景图像中的右路背景图像变换投影到两幅背景图像中的左路背景图像中，得到：

$\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ 1\end{array}\right]=H_b\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=\left[\begin{array}{ccc}{b}_{00}& b_{01}& b_{02}\\ b_{10}& b_{11}& b_{12}\\ b_{20}& b_{21}& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$

步骤B5、采用加权平均法融合得到两路视频数据的背景拼接图像；

步骤B6、利用背景变换矩阵，将右路背景图像的左上角、左下角的变换投影到左路背景图像的位置点与左路背景图像的右上角、右下角位置点，该四个位置点构成的四边形内区域为左路背景图像中与右路背景图像的重叠区域；其中，左路背景图像的右上角、右下角的投影变换到左路背景图像的位置点与右路背景图像的左上角、左下角位置点，该四个位置点构成的四边形内区域为右路背景图像中与左路背景图像的重叠区域；从而确定右路背景图像中的重叠区域以及左路背景图像中的重叠区域。

进一步地，步骤203具体包括如下步骤：

步骤C1、使用3帧差法得到前景图像。该前景图像中，在前景区域的图像点亮度值不为0，在背景区域的图像点亮度值被置为0。

步骤C2、对于落在步骤B中得到的背景重叠区域的左右两路路前景图像部分进行特征点提取，匹配，左图特征点L与其匹配的右图特征点R，R投影到左图点R′，坐标位置分别为(x_Ln,y_Ln)、(x_Rn,y_Rn)、(x′_Rn,y′_Rn)，对背景变换矩阵H_b中平移参数进行调整，得到前景变换矩阵H_f；如果得不到足够数量的匹配点，前景变换矩阵用背景变换矩阵替代；

步骤C3、根据得到的前景变换矩阵对前景图像进行拼接、融合。

进一步地，步骤204具体包括如下步骤：

步骤D1、遍历背景拼接图像中每一个图像点。

步骤D2、判断每个图像点在前景拼接图像中对应位置的图像点的亮度值是否为0；若不为0，则该图像点位置属于前景区域，将该图像点的RGB值替换为前景拼接图像中对应位置的图像点的RGB值；若为0，则该图像点位置属于背景区域，该图像点的RGB值保持不改变。

步骤D3、对前景拼接图像和背景拼接图像合成当前帧的拼接图像，输出拼接视频。

进一步地，对前景变换矩阵的计算间隔N帧进行，N帧共用同一个前景变换矩阵。

进一步地，该方法还包括：

通过设定间隔时间对背景拼接图像进行更新。

进一步地，在步骤B1中，为了提取两路视频各自的背景图像，对两路视频提取同一时刻的视频帧，以10帧时间为间隔分别提取100次，得到两组视频帧序列，左右两路视频提取的视频帧序列分别为{I₁,I₂,I₃,...I₁₀₀}，{I₁′,I₂′,I₃′,...I′₁₀₀}，其中I_n与I_n′对应同一时刻提取自左右两路视频的视频帧图像，格式为RGB。

在步骤B2中，使用快速平均法对两路视频提取背景图像时，通过对提取的两组序列图像的R，G，B三个通道分别做平均，得到各自的RGB格式的背景图像。通过公式(2)实现。

$\left\{\begin{array}{c}\stackrel{\‾}{R_b(x,y)}=\underset{i=1}{\overset{100}{\mathrm{\Σ}}}{R}_i(x,y)\\ \stackrel{\‾}{G_b(x,y)}=\underset{i=1}{\overset{100}{\mathrm{\Σ}}}{G}_i(x,y)\\ \stackrel{\‾}{B_b(x,y)}=\underset{i=1}{\overset{100}{\mathrm{\Σ}}}{B}_i(x,y)\end{array}\right.---\left(2\right)$

其中，分别为R，G，B通道中背景图像在图像坐标(x,y)处的亮度值。R_i(x,y)，G_i(x,y)，B_i(x,y)分别为R，G，B通道中第i帧图像在坐标(x,y)处的亮度值。

步骤B3中，为得到背景变换矩阵，首先对左右视频提取的背景图像提取特征点，并且匹配。这里使用的是标准的SIFT特征点提取技术。因为SIFT特征点的提取查找匹配为现有技术，本发明实施例不再对该步骤方法进行赘述。

得到的两幅图像的匹配SIFT特征点对，使用随机采样一致算法(RANdomSAmple Consensus，RANSAC)对匹配点对进行筛选，剔除误匹配的特征点对。具体实现方法如下：

(1)从以上匹配的SIFT特征点对的中随机抽选4对不同的匹配点对组成一个RANSAC样本；

(2)根据这4对匹配点位置关系，结合公式(3)计算变换矩阵M；

X＝MX′         (3)

其中,X，X′分别代表左、右背景图中匹配特征点的位置。

(3)根据样本集，变换矩阵M，和误差度量函数，其他匹配点位置关系是否符合当前变换矩阵M关系，即满足公式(3)。得到当前变换矩阵的一致集，并返回一致集中元素个数；

(4)根据当前一致集中元素个数判断是否最优(最大)一致集，若是则更新当前最优一致集

(5)更新当前错误概率P，若P大于允许的最小错误概率则重复(1)至(4)继续迭代，直到当前错误概率P小于最小错误概率0.99。

这个过程被重复执行固定的次数S，每次产生的模型要么因为局内点太少而被舍弃，要么因为比现有的模型更好而被选用。步骤中的当前的错误概率可以由公式(4)计算得到。

P＝(1-p^k)^s       (4)

式中，p为随机选择一对匹配点为正确匹配点的概率，k为每次随机选择的匹配点数，这里k＝4。每次选择k对匹配点，都属于正确匹配点(内点)的概率为p^k，因此重复迭代S次以后依然都没有得到正确的匹配点(内点)集为每次随机选择k对匹配点都不全是内点的概率，即为错误概率P。

该算法重复N次随机采样过程，通过寻找匹配误差的最小值得到一组与H一致的数目最多的内点，得到了这些内点后，重新计算出相对精确的H初始值H₀，单应性变换矩阵表示为公式5所示的3×3矩阵，参数h₀₀，h₀₁，h₁₀，h₁₁控制尺寸变换和旋转变换，h₂₀、h₂₁分别控制水平方向缩放、竖直方向位移缩放，h₀₂、h₁₂分别控制水平方向、竖直方向位移： $H=\left[\begin{array}{ccc}{h}_{00}& h_{01}& h_{02}\\ h_{10}& h_{11}& h_{12}\\ h_{20}& h_{21}& h_{22}\end{array}\right],h_{22}=1---\left(5\right)$

步骤B4，为了得到更加精确背景图像间变换矩阵，对于之前变换矩阵H₀使用Levenberg-Marquardt 非线性最小化迭代算法（LM算法）迭代求精。本发明实施例中LM算法具体实现如下：

步骤（1）利用误差函数， $E\left(H\right)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{e}_i^2\left(H\right)=e{\left(H\right)}^{T}e\left(H\right)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}[{(y_i^{\′}-y_i)}^2+{(x_i^{\′}-x_i)}^2]---\left(6\right)$

其中，x_i、y_i为匹配的特征点在左背景图中的横纵坐标位置，x′_i、y′_i为在右图中对应的匹配点坐标(x_Ri,y_Ri)根据H矩阵公式变换到左图的横纵坐标位置x′_i、y′_i。

x_Ri、y_Ri与x′_i、y′_i之间的关系参见公式（7）。 $\left\{\begin{array}{c}{x}_i^{\′}=\frac{h_{00}{x}_{\mathrm{Ri}}+h_{01}{y}_{\mathrm{Ri}}+h_{02}}{h_{20}{x}_{\mathrm{Ri}}+h_{21}{y}_{\mathrm{Ri}}+1}\\ y_i^{\′}=\frac{h_{10}{x}_{\mathrm{Ri}}+h_{11}{y}_{\mathrm{Ri}}+h_{12}}{h_{20}{x}_{\mathrm{Ri}}+h_{21}{y}_{\mathrm{Ri}}+1}\end{array}\right.---\left(7\right)$

其中，h₀₀h₀₁h₀₂h₁₀h₁₁h₁₂h₂₀h₂₁为矩阵H中对应的参数。

步骤（2）初始化k=0，H_k=H₀，训练误差允许值ε为2像素值，试探性参数μ=0.001，μ的调整系数β=2。

步骤（3）取所有左背景图像与右背景图像对应匹配点，坐标分别(x,y)、(x_R,y_R)，根据公式计算点(x_R,y_R)根据H_k矩阵变换到左图中的坐标(x′,y′)，计算当前E(H_k)，若E(H_k)<ε，转至步骤（7）。

步骤（4）计算当前E(H_k)的Jacobian矩阵J[H_k]，

步骤（5）根据公式8计算ΔH_k。

ΔH_k=[J^T[H_k]J[H_k]+μI]^-1J^T[H_k]e(H_k)^T   （8）

其中，I为单位矩阵。

步骤（6）由公式9计算H_k+1，按步骤（3）方法计算得到E(H_k+1)，若E(H_k+1)<E(H_k)，则更新当前H矩阵，k=k+1，同时令μ=μ/β，转至步骤（3）；否则不更新当前H矩阵，令μ=βμ，转至步骤（5）。

H_k+1=H_k+ΔH_k   （9）

步骤（7）H_k即为所求结果，结束。

最终提取的背景变换矩阵为 $H_b=\left[\begin{array}{ccc}{b}_{00}& b_{01}& b_{02}\\ b_{10}& b_{11}& b_{12}\\ b_{20}& b_{21}& 1\end{array}\right].$

步骤B5，利用变换矩阵对右路背景图像进行变换在投影到左路背景图像，如公式10。

$\left[\begin{array}{c}{x}^{\&prime;}\\ y^{\&prime;}\\ 1\end{array}\right]=H_b\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=\left[\begin{array}{ccc}{b}_{00}& b_{01}& b_{02}\\ b_{10}& b_{11}& b_{12}\\ b_{20}& b_{21}& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]---\left(10\right)$

步骤B6，得到变换后的图像进行拼接融合采用的加权平均法得到拼接背景图像，如公式（11）。

I_comp(x,y)=α(x,y)I_R′(x,y)+(1-α(x,y))×I_L(x,y)   （11）

其中，α(x,y)代表融合过程中象素点在最终拼接图像中的权重，定义如公式（12），I_R′(x,y)代表右路视频背景图像R投影到左路视频背景图像L的图像R′，I_L(x,y)代表左路视频背景图像L。

$\mathrm{\&alpha;}(x,y)=\left\{\begin{array}{cc}1& \mathrm{if}\min (x,y,|x-W|,|y-H\left|\right)>T\\ \frac{\sin (\mathrm{\&pi;}\&times;(\min (x,y,|x-W|,|y-H\left|\right)/T-0.5)+1)}{2}& \mathrm{otherwise}\end{array}\right.---\left(12\right)$

其中，W和H分别是图像的长度和宽带，T是非线性边界的宽度可以调节渐变区域和中心区域之间的效果，具体根据融合图像需要的效果来选择。

步骤B利用公式（13）将右图的左上角，左下角的变换投影到左图中，右图的左上角，左下角投影到左图中的点与左图的右上角，右下角位置点，四个点构成的四边形内区域就是左图中与右图重叠区域；使用公式(14)将左图的右上角，右下角的变换投影到左图中，左图的左上角，左下角投影到右图中的点与右图的左上角，左下角位置点，四个点构成的四边形内就是右图中与左图的重叠区域。

$\left[\begin{array}{c}{x}_R^{\&prime;}\\ y_R^{\&prime;}\\ 1\end{array}\right]=H_b\left[\begin{array}{c}{x}_R\\ y_R\\ 1\end{array}\right]---\left(13\right)$

其中，x_R、y_R代表右路视频背景图像中点坐标点，其投影到左路视频背景图像的点坐标为x′_R、y′_R，H_b为背景变换矩阵，参考图像为左路背景图像。

$\left[\begin{array}{c}{x}_L^{\&prime;}\\ y_L^{\&prime;}\\ 1\end{array}\right]=H_b^{-1}\left[\begin{array}{c}{x}_L\\ y_L\\ 1\end{array}\right]---\left(14\right)$

其中，x_L、y_L代左路视频背景图像中点坐标点，其投影到右路视频背景图像的点坐标为x′_L、y′_L，为背景变换矩阵H_b的逆矩阵。

对于步骤C具体实现方式如下：

步骤C1中，对左右两路视频动态提取每帧图像I_L,I_R，使用三帧差法对每帧图像前景区域进行动态提取。

对于当前帧I(k)，获取其前一帧I(k-1)与后一帧I(k+1)，对3帧图像做灰度化，得到对应灰度图像，由公式(15)对相邻两帧灰度图像求差值。

$\left\{\begin{array}{c}D(k,k-1)[x,y]=\left|I\left(k\right)\right[x,y]-I(k-1)[x,y\left]\right|\\ D(k+1,k)[x,y]=\left|I(k+1)\right[x,y]-I\left(k\right)[x,y\left]\right|\end{array}\right.---\left(15\right)$

其中，为D(k,k-1)为I(k)与I(k-1)做差值得到的差值图像，D(k+1,k)为I(k+1)与I(k)做差值得到的差值图像，由公式(16)对差值图像二值化。

$\left\{\begin{array}{c}B(k,k-1)[x,y]=\left\{\begin{array}{cc}1& \mathrm{if\; D}(k,k-1)[x,y]\&GreaterEqual;T\\ 0& \mathrm{otherwise}\end{array}\right.\\ B(k+1,k)[x,y]=\left\{\begin{array}{cc}1& \mathrm{if\; D}(k+1,k)[x,y]\&GreaterEqual;T\\ 0& \mathrm{otherwise}\end{array}\right.\end{array}\right.---\left(16\right)$

其中，B(k,k-1)，B(k+1,k)分别为D(k,k-1)与D(k+1,k)的二值图像。T为阈值，具体实施中可以取10。

B(k,k-1)，B(k+1,k)图像做与计算，如公式(17)。

对得到的二值图像B(k)做闭运算，最后得到标识前景区域的二值图像。用来标识前景背景区域。二值图像中像素值为1区域对应帧图像前景区域，二值图像中像素值为0区域对应的帧图像中背景区域。

将当前帧图像和得到的标识前景区域的二值图像做“与”计算，得到前景图像。

步骤C2中，前景变换矩阵表示为 $H_f=\left[\begin{array}{ccc}{f}_{00}& f_{01}& f_{02}\\ f_{10}& f_{11}& f_{12}\\ f_{20}& f_{21}& 1\end{array}\right],$ 因为前景变换矩阵与背景变换矩阵中仅平移参数不同，因此可以通过背景变换矩阵H_b对平移参数调整得到，此时前景变换矩阵表示为 $H_f=\left[\begin{array}{ccc}{b}_{00}& b_{01}& f_{02}\\ b_{10}& b_{11}& f_{12}\\ b_{20}& b_{21}& 1\end{array}\right],$ 计算水平平移参数f₀₂，竖直平移参数f₁₂可以得到前景变换矩阵H_f。

提取左右视频帧图像中在重叠区域内的前景图像的SIFT特征点集合L，R，对两幅特征点进行匹配，得到n对匹配的特征点集合L{L₁,L₂,L₃,...,L_n},R{R₁,R₂,R₃,...,R_n}，其中L_n、R_n分别为匹配的左右特征点，位置坐标分别为(x_Ln,y_Ln)，(x_Rn,y_Rn)。根据公式(15)，将右图特征点R位置投影到左图中得到位置点R′{R′₁,R′₂,R′,...,R′}，R′坐标为(x′_Rn,y′_Rn)。

$\left[\begin{array}{c}{x}_{\mathrm{Rn}}^{\&prime;}\\ y_{\mathrm{Rn}}^{\&prime;}\\ 1\end{array}\right]=H_b\left[\begin{array}{c}{x}_{\mathrm{Rn}}\\ y_{\mathrm{Rn}}\\ 1\end{array}\right]---\left(18\right)$

为了排除错误匹配点的影响，首先利用公式(19)计算左图特征点L_n位置(x_Ln,y_Ln)与对应右图特征点R投影到左图的R′_n点的位置(x′_Rn,y′_Rn)的差值(x_n,y_n)。

$\left\{\begin{array}{c}{x}_n=x_{\mathrm{Ln}}-x_{\mathrm{Rn}}^{\&prime;}\\ y_n=y_{\mathrm{Ln}}-y_{\mathrm{Rn}}^{\&prime;}\end{array}\right.---\left(19\right)$

统计L到对应R′_n所有差值(x_n,y_n)的平均值对于差值(x_n,y_n)到平均值的欧氏距离大于ω的匹配特征点进行剔除，ω为误差阈值。重复以上步骤剔除外点并计算新的直到所有匹配点的向量差值(x_n,y_n)到的欧氏距离小于ω。剔除所有外点后，利用保留的左图中所有特征点L_n位置(x_Ln,y_Ln)、对应匹配的右图特征点R_n位置(x_Rn,y_Rn)及R_n对应的R′_n点位置(x′_Ln,y′_Ln)，通过公式(20)，计算得到前景变换矩阵H_f的平移参数。

$\left\{\begin{array}{c}{f}_{02}=b_{02}+(x_{\mathrm{Ln}}-x_{\mathrm{Rn}}^{\&prime;})(b_{20}{x}_{\mathrm{Rn}}+b_{21}{y}_{\mathrm{Rn}}+1)\\ f_{12}=b_{12}+(y_{\mathrm{Ln}}-y_{\mathrm{Rn}}^{\&prime;})(b_{20}{x}_{\mathrm{Rn}}+b_{21}{y}_{\mathrm{Rn}}+1)\end{array}\right.---\left(20\right)$

对所有匹配点分别求取的f₀₂、f₁₂求平均，得到最终的水平平移参数竖直平移参数最终得到前景变换矩阵H_f。

对于最终得到的匹配特征点数量不足3时，使用以上方法计算前景变换矩阵H_f可能会引起较大误差甚至无法计算得到H_f。由于匹配特征点过少一般是因为前景距离摄像机很远，使得前景区域过小导致，此时前景物体距离摄像机很远因此其与背景物体视差相差较小，前景变换矩阵H_f用背景变换矩阵H_b替代。

对于公式(20)的推导流程如下：

点L_n，R_n坐标变换关系使用前景变换矩阵H_f表示。

$\left\{\begin{array}{c}{R}_n^{\&prime;}=H_b{R}_n\\ L_n=H_f{R}_n\end{array}\right.$

$H_f=\left[\begin{array}{ccc}{b}_{00}& b_{01}& f_{02}\\ b_{10}& b_{11}& f_{12}\\ b_{20}& b_{21}& 1\end{array}\right],H_b=\left[\begin{array}{ccc}{b}_{00}& b_{01}& b_{02}\\ b_{10}& b_{11}& b_{12}\\ b_{20}& b_{21}& 1\end{array}\right]$

由上式的得到：

$\left\{\begin{array}{c}{x}_{\mathrm{Ln}}=\frac{b_{00}{x}_{\mathrm{Rn}}+b_{01}{y}_{\mathrm{Rn}}+f_{02}}{b_{20}{x}_{\mathrm{Rn}}+b_{21}{y}_{\mathrm{Rn}}+1}\\ y_{\mathrm{Ln}}=\frac{b_{10}{x}_{\mathrm{Rn}}+b_{11}{y}_{\mathrm{Rn}}+f_{12}}{b_{20}{x}_{\mathrm{Rn}}+b_{21}{y}_{\mathrm{Rn}}+1}\end{array}\right.$

$\left\{\begin{array}{c}{x}_{\mathrm{Rn}}^{\&prime;}=\frac{b_{00}{x}_{\mathrm{Rn}}+b_{01}{y}_{\mathrm{Rn}}+b_{02}}{b_{20}{x}_{\mathrm{Rn}}+b_{21}{y}_{\mathrm{Rn}}+1}\\ y_{\mathrm{Rn}}^{\&prime;}=\frac{b_{10}{x}_{\mathrm{Rn}}+b_{11}{y}_{\mathrm{Rn}}+b_{12}}{b_{20}{x}_{\mathrm{Rn}}+b_{21}{y}_{\mathrm{Rn}}+1}\end{array}\right.$

两式相减，得到：

$\left\{\begin{array}{c}{x_{\mathrm{Ln}}-x}_{\mathrm{Rn}}^{\&prime;}=\frac{f_{02}-b_{02}}{b_{20}{x}_{\mathrm{Rn}}+b_{21}{y}_{\mathrm{Rn}}+1}\\ y_{\mathrm{Ln}}-y_{\mathrm{Rn}}^{\&prime;}=\frac{f_{12}-b_{12}}{b_{20}{x}_{\mathrm{Rn}}+b_{21}{y}_{\mathrm{Rn}}+1}\end{array}\right.$

变换得到：

$\left\{\begin{array}{c}{f}_{02}=b_{02}+(x_{\mathrm{Ln}}-x_{\mathrm{Rn}}^{\&prime;})(b_{20}{x}_{\mathrm{Rn}}+b_{21}{y}_{\mathrm{Rn}}+1)\\ f_{12}=b_{12}+(y_{\mathrm{Ln}}-y_{\mathrm{Rn}}^{\&prime;})(b_{20}{x}_{\mathrm{Rn}}+b_{21}{y}_{\mathrm{Rn}}+1)\end{array}\right.$

标准的SIFT特征点描述子使用邻近4×4个块区域的8方向梯度值表示，本方法具体实施中对于高帧率的视频拼接，SIFT特征点描述子使用特征点位置邻近2×2个块区域的8方向梯度值，从而将SIFT特征点描述子从标准的128维降低到64维，牺牲部分特征点精度来提高特征点提取和匹配的速度，来满足更高的实时性要求。

步骤C3中，根据得到的前景变换矩阵H_f对前景图像进行拼接、融合。

对于步骤D，具体实现方法如下：

步骤D1中，遍历背景拼接图像中每一个图像点。

步骤D2中，判断每个图像点在前景拼接图像中对应位置的图像点的亮度值是否为0；若不为0，则该图像点位置属于前景区域，将该图像点的RGB值替换为前景拼接图像中对应位置的图像点的RGB值；若为0，则该图像点位置属于背景区域，该图像点的RGB值保持不改变。

步骤D3中，对前景拼接图像和背景拼接图像合成当前帧的拼接图像，输出拼接视频。

其中，间隔时间t开辟一个独立线程对两路视频进行步骤B操作得到新的背景拼接图像后，立即对背景拼接图像进行更新。

前景变换矩阵的求取间隔3帧进行，3帧前景图像的变换使用同一前景变换矩阵。

综上，本发明实施例对前景和背景图像拼接分别采用不同的变换矩阵，可有效消除拼接中因为前景、背景图像景深不同而造成的视差失真。由于每次得到当前帧的拼接图像时只需要对前景区域动态的更新前景拼接图像之后将前景拼接图像补回之前得到的背景拼接图像，无需对每次对整幅图像区域计算变换矩阵后拼接，同时前景变换矩阵利用背景变换矩阵进行动态调整变换矩阵平移参数得到，充分利用了帧与帧之间的时间、空间信息来实现实时的大场景视频拼接。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (6)

1.一种大场景视频图像拼接方法，其特征在于，包括以下步骤：

步骤A、采集两路拍摄场景有重叠的两路视频数据；

步骤B、对所述两路视频数据提取两幅背景图像，计算所述两幅背景图像间的单应性变换矩阵，通过所述单应性变换矩阵确定所述两幅背景图像的重叠背景区域；利用背景变换矩阵对所述两幅背景图像进行变换、拼接、融合得到所述当前帧的背景拼接图像；

步骤C、逐帧对所述两路视频数据提取两幅前景图像；对在所述步骤B中的重叠背景区域的前景图像提取特征点并匹配，利用匹配的特征点位置关系对所述步骤B中的所述背景变换矩阵中的图像平移参数进行调整，得到前景图像的变换矩阵，通过所述前景变换矩阵对所述两幅前景图像进行变换、拼接、融合，得到当前帧的前景拼接图像；

步骤D、将所述前景拼接图像与所述背景拼接图像合成所述当前帧的拼接图像，输出所述拼接图像。

2.根据权利要求1所述的方法，其特征在于，所述步骤B中的所述对所述两路视频数据提取两幅背景图像，计算所述两幅背景图像间的单应性变换矩阵，通过所述单应性变换矩阵确定所述两幅背景图像的重叠背景区域，具体包括以下步骤：

步骤B1、对所述两幅背景图像进行特征提取；

步骤B2、提取所述两幅背景图像中各自背景图像的特征点，并进行匹配，应用随机采样一致算法剔除误匹配的特征点对，得到左图特征点X匹配的右图特征点X′；根据匹配点位置关系，计算初步的单应性变换矩阵M；

步骤B3、对所述步骤B2中得到的所述变换矩阵进行迭代求精，得到精确的背景变换矩阵 $H_b=\left[\begin{array}{ccc}{b}_{00}& b_{01}& b_{02}\\ b_{10}& b_{11}& b_{12}\\ b_{20}& b_{21}& 1\end{array}\right];$

步骤B4、利用所述背景变换矩阵将所述两幅背景图像中的右路背景图像变换投影到所述两幅背景图像中的左路背景图像中，得到：

$\left[\begin{array}{c}{x}^{\&prime;}\\ y^{\&prime;}\\ 1\end{array}\right]{=H}_b\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=\left[\begin{array}{ccc}{b}_{00}& b_{01}& b_{02}\\ b_{10}& b_{11}& b_{12}\\ b_{20}& b_{21}& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$

步骤B5、采用加权平均法融合得到所述两路视频数据的背景拼接图像；

步骤B6、利用所述背景变换矩阵，将所述右路背景图像的左上角、左下角变换投影到所述左路背景图像所形成的位置点，与所述左路背景图像的右上角、右下角位置点，该四个位置点构成的四边形内区域为所述左路背景图像中与所述右路背景图像的重叠区域；同理，所述左路背景图像的右上角、右下角投影变换到所述左路背景图像所形成的位置点，与所述右路背景图像的左上角、左下角位置点，该四个位置点构成的四边形内区域为所述右路背景图像中与所述左路背景图像的重叠区域；从而确定所述右路背景图像中的重叠区域与所述左路背景图像中的重叠区域。

3.根据权利要求1所述的方法，其特征在于，所述步骤C具体包括如下步骤：

步骤C1、使用3帧差法得到前景图像；该前景图像中，在前景区域的图像点亮度值不为0，在背景区域的图像点亮度值被置为0；

步骤C2、对于落在所述步骤B中得到的背景重叠区域的左右两路路前景图像部分进行特征点提取，匹配，左图特征点L与其匹配的右图特征点R，R投影到左图点R′，坐标位置分别为(x_Ln,y_Ln)、(x_Rn,y_Rn)、(x′_Rn,y′_Rn)，对背景变换矩阵H_b中图像平移参数进行调整，得到前景变换矩阵H_f；如果得不到足够数量的匹配点，前景变换矩阵用背景变换矩阵替代；

步骤C3、根据得到的前景变换矩阵对前景图像进行拼接、融合。

4.根据权利要求1所述的方法，其特征在于，所述步骤D具体包括如下步骤：

步骤D1、遍历背景拼接图像中每一个图像点；

步骤D2、判断每个图像点在前景拼接图像中对应位置的图像点的亮度值是否为0；若不为0，则该图像点位置属于前景区域，将该图像点的RGB值替换为前景拼接图像中对应位置的图像点的RGB值；若为0，则该图像点位置属于背景区域，该图像点的RGB值保持不改变；

步骤D3、对前景拼接图像和背景拼接图像合成当前帧的拼接图像，输出拼接视频。

5.根据权利要求2所述的方法，其特征在于，对前景变换矩阵的计算间隔N帧进行，N帧共用同一个前景变换矩阵。

6.根据权利要求1－5任一所述的方法，其特征在于，所述方法还包括：通过设定间隔时间对所述背景变换矩阵和背景拼接图像进行更新。