CN104794683B - 基于围绕渐变拼缝区域平面扫描的视频拼接方法 - Google Patents

Abstract

本发明在传统的最优拼缝算法和平面扫描算法基础上，考虑到运行速度和帧间一致性上的要求，针对视频拼接中的视差问题，提出一种基于围绕渐变拼缝区域平面扫描的视频拼接方法。首先，利用已有的摄像机标定信息矫正相邻的两幅视频帧，将二维图像偏移关系简化到一维；然后，基于重叠区域的图像差异和潜在匹配不确定性以及前一帧的拼缝，得到当前帧的拼缝位置；然后，在围绕拼缝的窄带状区域运行平面扫描，得到拼缝位置的水平偏移。最后，将拼缝位置的偏移量线性扩散到重叠区域其他位置，并据此对当前帧图像进行形变并融合，实现了有视差情况下快速高质量的视频拼接。

Description

基于围绕渐变拼缝区域平面扫描的视频拼接方法

技术领域：

本发明属于图像信息处理领域，涉及视频拼接方法，尤其涉及基于围绕渐变拼缝区域平面扫描的视频拼接方法。

背景技术

图像视频拼接是计算机视觉学科的一个重要研究方向，受到了广泛的关注和深入的研究。其中，图像拼接已经是一个较成熟的研究领域，目前已有一系列针对不同应用需求的理论和方法被各国学者提出，并取得了良好的实验效果。而视频拼接的问题规模和复杂度都远高于图像拼接，限于相关理论基础和硬件设备的处理能力，相关研究还处在起步阶段。

对于一组已完成配准的图像，传统的图像拼接方法首先在重叠区域选择一条最优拼缝，然后沿拼缝对图像进行融合完成不同图像之间的平滑过渡。但当源图像之间存在视差时，即由于各台相机的光心不完全重合造成的同一场景在不同摄像机拍摄中的成像差异，通过投影变换映射到同一观察平面的各路图像并不能完全重合，即存在结构偏差。为消除结构偏差，研究者们提出了包括平面扫描在内的一系列方法。平面扫面方法在寻找最优拼缝之前先通过多次假设被拍摄场景的深度并比较不同深度下图像的匹配程度，得到重叠区域局部的深度信息，再根据深度信息投影图像到观察平面，配合后续的拼缝选择和图像融合，完成带有视差情况下的图像拼接。

与图像拼接相比，视频拼接对算法运行速度的要求较高，且需要相保证相邻帧之间一致性。图像拼接中的平面扫描方法并不满足上述要求，因此不能直接应用于视频拼接。而且考虑到图像或视频帧融合时拼缝两侧的图像主要取自不同的源图像，只有靠近拼缝的区域才会同时用到两幅源图像的信息，因此求解整个重叠区域的深度信息是不必要的。在视频拼接中有效利用这一点，能够显著加快拼接速度。

发明内容

本发明针对视频拼接中多摄像机光心不重合造成的视差问题，提出了一种基于围绕渐变拼缝区域平面扫描的视频拼接方法，其能够在保持视频帧间一致性的前提下消除视差的影响，完成快速高质量的视频拼接。本发明所采用的策略是结合视频拼接中的渐变拼缝和平面扫描，将平面扫描的范围缩减到拼缝附近的窄带状区域，再将所得拼缝位置的偏移信息线性扩散到重叠区域的其它部分，据此对视频帧作变形并融合以完成当前帧的拼接。

本发明首先利用已有的摄像机标定信息矫正相邻的两幅视频帧，然后基于重叠区域的图像信息与前一帧的拼缝，得到当前帧的拼缝位置，再在围绕拼缝的窄带状区域运行平面扫描，最后根据平面扫描所得结果对图像进行形变并融合。

具体地，本发明采用的技术方案是：

一种基于围绕渐变拼缝区域平面扫描的视频拼接方法，包括以下步骤：

S1.沿基线方向矫正相邻的两幅视频帧，将两幅图像之间的二维偏移关系简化到水平方向；

S2.在S1中得到的矫正后图像的重叠区域运行基于图像差异和潜在匹配不确定性的渐变拼缝选择算法；

S3.以在S2中得到的渐变拼缝为中心取一定宽度的窄带状区域，在该区域运行平面扫描算法，得到拼缝位置的像素偏移；

S4.将S3中得到的拼缝位置的像素偏移线性扩散到重叠区域的其他部分，并根据整个重叠区域的偏移对图像进行形变。

S5.融合重叠区域的图像，并与非重叠区域的图像组合得到当前一组视频帧的拼接图像。

进一步地，所述步骤S1的具体方法包括：

对于两台已完成标定的摄像机，其内参数矩阵K₁，K₂，以及两摄像机之间的旋转矩阵R＝[r₁,r₂,r₃]和平移向量T已知，则被拍摄场景中的一点P在两摄像机坐标系中坐标X_C1与X_C2的关系为

X_C1＝RX_C2+T

图像矫正需要将两摄像机坐标系变换为新的具有平行光轴的两个虚拟摄像机坐标系下，两虚拟摄像机坐标系的基向量在第一台摄像机坐标系下的表述均为：

$\left\{\begin{array}{c}{r}_x=\frac{T}{\left|\right|T\left|\right|}\\ {r_y}^{\′}={\[0,0,1\]}^T\×r_3\\ r_y=\frac{{r_y}^{\′}}{\left|\right|{r_y}^{\′}\left|\right|}\\ r_z=r_x\×r_y\end{array}\right.$

其中||·||表示取其向量模。则两虚拟摄像机坐标系的旋转矩阵均为R_V＝[r_x,r_y,r_z]，平移向量分别为0与T。则P点在两虚拟摄像机坐标系中的坐标X_VC1，X_VC2与对应的两摄像机坐标系中的坐标X_C1，X_C2之间的变换关系为：

$\left\{\begin{array}{c}{X}_{C1}=R_V{X}_{VC1}\\ X_{C2}=R^T(X_{C1}-T)=R^T(R_V{X}_{VC2}+T-T)=R^T{R}_V{X}_{VC2}\end{array}\right.$

设P点在两摄像机的图像坐标系中的坐标分别为X₁＝(x₁,y₁,1)^T，X₂＝(x₂,y₂,1)^T，则有：

$\left\{\begin{array}{c}{z}_{c1}{X}_1=K_1{X}_{C1}\\ z_{c2}{X}_2=K_2{X}_{C2}\end{array}\right.$

其中，z_c1与z_c2分别为点P在两摄像机坐标系中的深度坐标，是未知量。上式等价于：

$\left\{\begin{array}{c}{X}_1\∝K_1{X}_{C1}\\ X_2\∝K_2{X}_{C2}\end{array}\right.$

其中，∝表示等比关系。设两虚拟摄像机的内参数矩阵均为K_V，则两虚拟摄像机的图像坐标X_V1＝(x_v1,y_v1,1)^T，X_v2＝(x_v2,y_v2,1)^T与对应的两摄像机的图像坐标X₁，X₂之间变换关系为：

$\left\{\begin{array}{c}{X}_1\∝K_1{R}_V{K_V}^{-1}{X}_{V1}\\ X_2\∝K_1{R}^T{R}_V{K_V}^{-1}{X}_{V1}\end{array}\right.$

使用上式变换每一组视频帧，得到矫正后的两幅图像，此时，两幅图像之间的只有水平方向的偏移。

进一步地，所述步骤S2的具体方法包括：

对于矫正后的两幅视频图像I₁和I₂，其重叠区域的拼缝选择同时取决于图像差异大小和潜在匹配不确定性。分别记I₁和I₂在重叠区域的部分为I_O1和I_O2，则重叠区域图像差异E_D定义为：

E_D＝||I_O1-I_O2||₁

其中||·||₁表示向量的1-范数。由于I_O1和I_O2之间的只有水平方向的偏移，潜在匹配不确定性与水平方向的纹理辨识度成反比，因此，潜在匹配不确定性E_M定义为：

$E_M=\frac{1}{\left|\right|{\▿}_x{I}_{O1}|{|}_1+|\left|{\▿}_x{I}_{O2}\right|{|}_1}$

其中表示对水平方向梯度。对于首帧图像的拼接，总的能量函数E₀表示为：

E₀＝λ_DE_D+λ_ME_M

其中λ_D和λ_M分别为E_D和E_M的加权系数。为避免陷入局部最优，对E₀进行高斯平滑：

$E_0^{\mathrm{smooh}}=\mathrm{g\σ}\⊗E_0$

其中g_σ表示方差为σ的高斯核函数，表示卷积运算。在上运行动态规划算法得到首帧的拼缝位置：

x＝S₀(y)

其中，y为重叠区域的竖直坐标，x为竖直坐标y处的拼缝位置。

为保持拼接完成的视频的帧间一致性，相邻帧的拼缝位置不能偏离太多，即拼缝位置是渐变的。因此，在后续帧的拼缝查找时以前一帧的拼缝位置作为一项约束，对应的渐变约束项E_T为：

$E_T=\underset{y}{\Σ}{\left(S_t\right(y)-S_{t-1}(y\left)\right)}^2$

其中，t为当前帧序号，且t≥1。第t帧的重叠区域拼缝选择对应的总能量函数E表示为：

E_t＝λ_DE_D+λ_ME_M+λ_TE_T

其中，λ_T为E_T的加权系数。同样地，对E_t进行高斯平滑得到并在上运行动态规划算法得到第t帧的拼缝位置x＝S_t(y)。

进一步地，所述步骤S3的具体方法包括：

对于矫正后的两幅图像I₁和I₂，由于对应的两虚拟摄像机的光轴平行，则两图像水平方向的像素偏移d与对应物点的深度D之间的关系如下：

$\frac{d}{f}=\frac{\left|\right|T\left|\right|}{D}$

其中，f为虚拟摄像机的等效焦距，||T||为两虚拟摄像机的基线长度。

平面扫描方法假设被拍摄场景的所有物体全部位于某一深度D_k，k＝1,…,N，然后将两幅图像按照D_k对应的偏移组合，并衡量每一位置的图像匹配程度，对所有N个假设深度作同样的操作，最后综合每一位置除的匹配程度和相邻位置的几何约束，得到整个重叠区域每一位置的深度及对应的偏移量。

考虑到图像融合时拼缝两侧的图像主要取自不同的源图像，只有靠近拼缝的区域才会同时用到两幅源图像的信息，因此求解整个重叠区域的精确匹配关系是不必要的。只在拼缝附近运行平面扫描可以显著加速视频拼接的速度，且不会损失拼接质量。

以当前帧的拼缝为中心，取宽度为W_s(如W_s＝32像素)的窄带状区域，沿拼缝方向，以为竖直间隔，取长宽均为W_s的图像块作为匹配块B_i，i＝1,…,n，n为沿当前拼缝上可取到的匹配块总数。取偏移量d＝0,1,…m(对应深度为的空间平面)，m为所考虑的最小深度对应的偏移量。计算B_i与另一幅图像中水平偏移为d的图像块B_i,d的匹配度，匹配准则采用归一化互相关系数。取匹配度最高的图像块对应的d为拼缝上当前位置处的偏移量。

完成整个窄带状区域的平面扫描后，得到拼缝上间隔为的离散位置的偏移量。为进一步保证拼接的鲁棒性，利用双边滤波去除其中的误匹配点。最后利用线性插值得到整条拼缝上逐像素的偏移：

d＝V(y)。

进一步地，所述步骤S4的具体方法包括：

以Ω表示整个重叠区域，不妨设I₁在I₂的左侧，并以I₁为参考图像，I₂为目标图像，以Ω₁＝{(x,y)|(x,y)∈Ω,x＜S_t(y)}表示重叠区域中位于拼缝左侧的区域，以Ω₂＝{(x,y)|(x,y)∈Ω,x＞S_t(y)}表示重叠区域中位于拼缝右侧的区域。

以水平偏移函数U(x,y)，(x,y)∈Ω₂表示I₂在Ω₂上的偏移。设定重叠右侧区域边缘x＝R(y)处的偏移量为零。则Ω₂内任意位置(x,y)处的偏移计算过程如下：

$U(x,y)=\frac{R\left(y\right)-x}{R\left(y\right)-S\left(y\right)}V\left(y\right)$

根据上式计算Ω₂内每个像素的U(x,y)即得到I₂在重叠区域的偏移量。根据U(x,y)对I₂在Ω₂中的部分进行变形，得到变形后图像I_Ω2，即I_O2′中(x,y)处的像素从原图像I_O2的(x-U(x,y),y)位置取值，当(x-U(x,y),y)为非整数位置时，采用线性插值得到其像素值。

进一步地，所述步骤S5的具体方法包括：

将I₁在区域Ω₁中的部分I_Ω1与I_Ω2进行梯度域融合，得到重叠区域的融合图像I_Ω。由于设定重叠区域右侧边缘的偏移为零，因此在Ω₂上所做形变不会影响重叠区域与非重叠区域的图像之间的连续性。直接将I_Ω与I₁，I₂的非重叠部分组合，即得到在两虚拟摄像机坐标系下的融合图像I_V。将I_V变化到两摄像机坐标系下即最终的拼接图像I_t，具体变换如下：

X_V1∝K_VR_V ^TK₁ ^-1X₁

其中，X_V1为I_V的图像坐标，X₁为I_t的图像坐标。

对每一组视频帧适用步骤S1至S5处理过程，即可得到高质量的无缝拼接视频。

本发明所述方法在传统的最优拼缝算法和平面扫描算法基础上，考虑到运行速度和帧间一致性上的要求，针对视频拼接中的视差问题，提出一种基于围绕渐变拼缝区域平面扫描的视频拼接方法。首先，利用已有的摄像机标定信息矫正相邻的两幅视频帧，将二维图像偏移关系简化到一维；然后，基于重叠区域的图像差异和潜在匹配不确定性以及前一帧的拼缝，得到当前帧的拼缝位置；然后，在围绕拼缝的窄带状区域运行平面扫描，得到拼缝位置的水平偏移。最后，将拼缝位置的偏移量线性扩散到重叠区域其他位置，并据此对当前帧图像进行形变并融合，实现了有视差情况下快速高质量的视频拼接。

附图说明

图1为本发明的总体流程图。

图2为图像矫正示意图。

图3为平面扫描示意图。

图4为围绕拼缝区域的平面扫描示意图。

具体实施方式

下面将结合附图和实例对本发明的具体实施方式作进一步的详细说明。

本发明将视频拼接中的渐变拼缝算法和局部的平面扫描算法相结合，以实现带有视差情况下的视频拼接，能够满足视频拼接的帧间一致性要求，并且具有比图像拼接中平面扫描方法更快的运行速度。首先，沿基线方向矫正相邻的两幅视频帧，将二维图像偏移关系简化到一维；然后，在重叠区域运行基于图像差异和潜在匹配不确定性的渐变拼缝选择算法，得到当前帧的拼缝位置；然后，在围绕拼缝的窄带状区域运行平面扫描算法，得到拼缝位置的像素偏移。最后，将拼缝位置的像素偏移线性扩散到重叠区域的其他部分，并据此对图像进行形变并融合，实现了有视差情况下快速高质量的视频拼接。总体流程图如图1所示。

本发明提供的基于围绕渐变拼缝区域平面扫描的视频拼接方法通过以下步骤实现：

S1.沿基线方向矫正相邻的两幅视频帧，即将图像变化到两台平行光轴的虚拟摄像机视图中，使图像之间的二维偏移关系简化到一维；

对于两台已完成标定的摄像机，其内参数矩阵K₁，K₂，以及两摄像机之间的旋转矩阵R＝[r₁,r₂,r₃]和平移向量T已知，则被拍摄场景中的一点P在两摄像机坐标系中坐标X_C1与X_C2的关系为

X_C1＝RX_C2+T

图像矫正需要将两摄像机坐标系变换为新的具有平行光轴的两个虚拟摄像机坐标系下，两虚拟摄像机坐标系的基向量在第一台摄像机坐标系下的表述均为：

$\left\{\begin{array}{c}{r}_x=\frac{T}{\left|\right|T\left|\right|}\\ {r_y}^{\′}={\[0,0,1\]}^T\×r_3\\ r_y=\frac{{r_y}^{\′}}{\left|\right|{r_y}^{\′}\left|\right|}\\ r_z=r_x\×r_y\end{array}\right.$

其中｜｜·||表示取向量模。则两虚拟摄像机坐标系的旋转矩阵均为RV＝[r_x，r_y，r_z]，平移向量分别为0与T。则P点在两虚拟摄像机坐标系中的坐标X_VC1，X_VC2与对应的两摄像机坐标系中的坐标X_C1，X_C2之间的变换关系为：

$\left\{\begin{array}{c}{X}_{C1}=R_V{X}_{VC1}\\ X_{C2}=R^T(X_{C1}-T)=R^T(R_V{X}_{VC2}+T-T)=R^T{R}_V{X}_{VC2}\end{array}\right.$

设P点在两摄像机的图像坐标系中的坐标分别为X₁＝(x₁,y₁,1)^T，X₂＝(x₂,y₂,1)^T，则有：

$\left\{\begin{array}{c}{z}_{c1}{X}_1=K_1{X}_{C1}\\ z_{c2}{X}_2=K_2{X}_{C2}\end{array}\right.$

其中，z_c1与z_c2分别为点P在两摄像机坐标系中的深度坐标，是未知量。上式等价于：

$\left\{\begin{array}{c}{X}_1\∝K_1{X}_{C1}\\ X_2\∝K_2{X}_{C2}\end{array}\right.$

其中，∝表示等比关系。设两虚拟摄像机的内参数矩阵均为K_V，则两虚拟摄像机的图像坐标X_V1＝(x_v1,y_v1,1)^T，X_v2＝(x_v2,y_v2,1)^T与对应的两摄像机的图像坐标X₁，X₂之间变换关系为：

$\left\{\begin{array}{c}{X}_1\∝K_1{R}_V{K_V}^{-1}{X}_{V1}\\ X_2\∝K_1{R}^T{R}_V{K_V}^{-1}{X}_{V1}\end{array}\right.$

使用上式变换每一组视频帧，得到矫正后的两幅图像，如图2所示。此时，两幅图像之间的只有水平方向的偏移。

S2.在S1中得到的矫正后图像的重叠区域运行基于图像差异和潜在匹配不确定性的渐变拼缝选择算法，对当前拼缝的选择以上一帧的拼缝位置作为约束，可以保证视频的帧间一致性；

对于矫正后的两幅视频图像I₁和I₂，其重叠区域的拼缝选择同时取决于图像差异大小和潜在匹配不确定性。分别记I₁和I₂在重叠区域的部分为I_O1和I_O2，则重叠区域图像差异E_D定义为：

E_D＝||I_O1-I_O2||₁

其中||·||₁表示向量的1-范数。由于I_O1和I_O2之间的只有水平方向的偏移，潜在匹配不确定性与水平方向的纹理辨识度成反比，因此，潜在匹配不确定性E_M定义为：

$E_M=\frac{1}{\left|\right|{\▿}_x{I}_{O1}|{|}_1+|\left|{\▿}_x{I}_{O2}\right|{|}_1}$

其中表示对水平方向梯度。对于首帧图像的拼接，总的能量函数E₀表示为：

E₀＝λ_DE_D+λ_ME_M

其中λ_D和λ_M分别为E_D和E_M的加权系数。为避免陷入局部最优，对E₀进行高斯平滑：

$E_0^{smooth}=g_{\mathrm{\σ}}\⊗E_0$

其中g_σ表示方差为σ的高斯核函数，表示卷积运算。在上运行动态规划算法得到首帧的拼缝位置：

x＝S₀(y)

其中，y为重叠区域的竖直坐标，x为竖直坐标y处的拼缝位置。

为保持拼接完成的视频的帧间一致性，相邻帧的拼缝位置不能偏离太多，即拼缝位置是渐变的。因此，在后续帧的拼缝查找时以前一帧的拼缝位置作为一项约束，对应的渐变约束项E_T为：

$E_T=\underset{y}{\Σ}{\left(S_t\right(y)-S_{t-1}(y\left)\right)}^2$

其中，t为当前帧序号，且t≥1。第t帧的重叠区域拼缝选择对应的总能量函数E表示为：

E_t＝λ_DE_D+λ_ME_M+λ_TE_T

其中，λ_T为E_T的加权系数。同样地，对E_t进行高斯平滑得到并在上运行动态规划算法得到第t帧的拼缝位置x＝S_t(y)。

S3.以在S2中得到的渐变拼缝为中心取一定宽度的窄带状区域，近似地认为该区域内同一纵坐标的深度相同，在该区域运行平面扫描算法，得到拼缝位置的像素偏移；

对于矫正后的两幅图像I₁和I₂，由于对应的两虚拟摄像机的光轴平行，则两图像水平方向的像素偏移d与对应物点的深度D之间的关系如下：

$\frac{d}{f}=\frac{\left|\right|T\left|\right|}{D}$

其中，f为虚拟摄像机的等效焦距，||T||为两虚拟摄像机的基线长度。

平面扫描方法假设被拍摄场景的所有物体全部位于某一深度D_k，k＝1,…,N，如图3所示。然后将两幅图像按照D_k对应的偏移组合，并衡量每一位置的图像匹配程度，对所有N个假设深度作同样的操作，最后综合每一位置除的匹配程度和相邻位置的几何约束，得到整个重叠区域每一位置的深度及对应的偏移量。

考虑到图像融合时拼缝两侧的图像主要取自不同的源图像，只有靠近拼缝的区域才会同时用到两幅源图像的信息，因此求解整个重叠区域的精确匹配关系是不必要的。只在拼缝附近运行平面扫描可以显著加速视频拼接的速度，且不会损失拼接质量。

以当前帧的拼缝为中心，取宽度为W_s(如W_s＝32像素)的窄带状区域，沿拼缝方向，以为竖直间隔，取长宽均为W_s的图像块作为匹配块B_i，i＝1,…,n，n为沿当前拼缝上可取到的匹配块总数，如图4所示。取偏移量d＝0,1,…m(对应深度为的空间平面)，m为所考虑的最小深度对应的偏移量。计算B_i与另一幅图像中水平偏移为d的图像块B_i,d的匹配度，匹配准则采用归一化互相关系数。取匹配度最高的图像块对应的d为拼缝上当前位置处的偏移量。

完成整个窄带状区域的平面扫描后，得到拼缝上间隔为的离散位置的偏移量。为进一步保证拼接的鲁棒性，利用双边滤波去除其中的误匹配点。最后利用线性插值得到整条拼缝上逐像素的偏移：

d＝V(y)。

S4.设定重叠区域边界上的像素偏移为零，将S3中得到的拼缝位置的像素偏移线性扩散到重叠区域的其他部分，并根据整个重叠区域的偏移对图像进行形变。

以Ω表示整个重叠区域，不妨设I₁在I₂的左侧，并以I₁为参考图像，I₂为目标图像，以Ω₁＝{(x,y)|(x,y)∈Ω,x＜S_t(y)}表示重叠区域中位于拼缝左侧的区域，以Ω₂＝{(x,y)|(x,y)∈Ω,x＞S_t(y)}表示重叠区域中位于拼缝右侧的区域。

以水平偏移函数U(x,y)，(x,y)∈Ω₂表示I₂在Ω₂上的偏移。设定重叠右侧区域边缘x＝R(y)处的偏移量为零。则Ω₂内任意位置(x,y)处的偏移计算过程如下：

$U(x,y)=\frac{R\left(y\right)-x}{R\left(y\right)-S\left(y\right)}V\left(y\right)$

根据上式计算Ω₂内每个像素的U(x,y)即得到I₂在重叠区域的偏移量。根据U(x,y)对I₂在Ω₂中的部分进行变形，得到变形后图像I_Ω2，即I_O2′中(x,y)处的像素从原图像I_O2的(x-U(x,y),y)位置取值，当(x-U(x,y),y)为非整数位置时，采用线性插值得到其像素值。

S5.融合重叠区域的图像，并与非重叠区域的图像组合，在投影变化到原摄像机的图像坐标系下，得到当前一组视频帧的拼接图像。

将I₁在区域Ω₁中的部分I_Ω1与I_Ω2进行梯度域融合，得到重叠区域的融合图像I_Ω。由于设定重叠区域右侧边缘的偏移为零，因此在Ω₂上所做形变不会影响重叠区域与非重叠区域的图像之间的连续性。直接将I_Ω与I₁，I₂的非重叠部分组合，即得到在两虚拟摄像机坐标系下的融合图像I_V。将I_V变化到两摄像机坐标系下即最终的拼接图像I_t，具体变换如下：

X_V1∝K_VR_V ^TK₁ ^-1X₁

其中，X_V1为I_V的图像坐标，X₁为I_t的图像坐标。

对每一组视频帧适用步骤S1至S5处理过程，即可得到高质量的无缝拼接视频。

Claims (5)

1.一种基于围绕渐变拼缝区域平面扫描的视频拼接方法，其特征在于包括以下步骤：

S1.沿基线方向矫正相邻的两幅视频帧，将两幅图像之间的二维偏移关系简化到水平方向；

对于两台已完成标定的摄像机，其内参数矩阵K₁，K₂，以及两摄像机之间的旋转矩阵R＝[r₁,r₂,r₃]和平移向量T已知，则被拍摄场景中的一点P在两摄像机坐标系中坐标X_C1与X_C2的关系为

X_C1＝RX_C2+T

图像矫正需要将两摄像机坐标系变换为新的具有平行光轴的两个虚拟摄像机坐标系下，两虚拟摄像机坐标系的基向量在第一台摄像机坐标系下的表述均为：

$\left\{\begin{array}{c}{r}_x=\frac{T}{\left|\right|T\left|\right|}\\ {r_y}^{\′}={\[0,0,1\]}^T\×r_3\\ r_y=\frac{{r_y}^{\′}}{\left|\right|{r_y}^{\′}\left|\right|}\\ r_z=r_x\×r_y\end{array}\right.$

其中||·||表示取向量模；则两虚拟摄像机坐标系的旋转矩阵均为R_V＝[[r_x,r_y,r_z]]，平移向量分别为0与T；则P点在两虚拟摄像机坐标系中的坐标X_VC1，X_VC2与对应的两摄像机坐标系中的坐标X_C1，X_C2之间的变换关系为：

$\left\{\begin{array}{c}{X}_{C1}=R_V{X}_{VC1}\\ X_{C2}=R^T(X_{C1}-T)=R^T(R_V{X}_{VC2}+T-T)=R^T{R}_V{X}_{VC2}\end{array}\right.$

设P点在两摄像机的图像坐标系中的坐标分别为X₁＝(x₁,y₁,1)^T，X₂＝(x₂,y₂,1)^T，则有：

$\left\{\begin{array}{c}{z}_{c1}{X}_1=K_1{X}_{C1}\\ z_{c2}{X}_2=K_2{X}_{C2}\end{array}\right.$

其中，z_c1与z_c2分别为点P在两摄像机坐标系中的深度坐标，是未知量；上式等价于：

$\left\{\begin{array}{c}{X}_1\∝K_1{X}_{C1}\\ X_2\∝K_2{X}_{C2}\end{array}\right.$

其中，∝表示等比关系；设两虚拟摄像机的内参数矩阵均为K_V，则两虚拟摄像机的图像坐标X_V1＝(x_v1,y_v1,1)^T，X_v2＝(x_v2,y_v2,1)^T与对应的两摄像机的图像坐标X₁，X₂之间变换关系为：

$\left\{\begin{array}{c}{X}_1\∝K_1{R}_V{K_V}^{-1}{X}_{V1}\\ X_2\∝K_1{R}^T{R}_V{K_V}^{-1}{X}_{V1}\end{array}\right.$

使用上式变换每一组视频帧，得到矫正后的两幅图像I₁和I₂，此时，两幅图像I₁和I₂之间的只有水平方向的偏移；

S2.在S1中得到的矫正后图像的重叠区域运行基于图像差异和潜在匹配不确定性的渐变拼缝选择算法；

S3.以在S2中得到的渐变拼缝为中心取一定宽度的窄带状区域，在该区域运行平面扫描算法，得到拼缝位置的像素偏移；

S4.将S3中得到的拼缝位置的像素偏移线性扩散到重叠区域的其他部分，并根据整个重叠区域的偏移对图像进行形变；

S5.融合重叠区域的图像，并与非重叠区域的图像组合得到当前一组视频帧的拼接图像。

2.根据权利要求1所述的基于围绕渐变拼缝区域平面扫描的视频拼接方法，其特征在于：所述步骤S2的具体方法包括：

对于矫正后的两幅视频图像I₁和I₂，其重叠区域的拼缝选择同时取决于图像差异大小和潜在匹配不确定性；分别记I₁和I₂在重叠区域的部分为I_O1和I_O2，则重叠区域图像差异E_D定义为：

E_D＝||I_O1-I_O2||₁

其中||·||₁表示向量的1-范数；由于I_O1和I_O2之间的只有水平方向的偏移，潜在匹配不确定性与水平方向的纹理辨识度成反比，因此，潜在匹配不确定性E_M定义为：

$E_M=\frac{1}{\left|\right|{\▿}_x{I}_{O1}|{|}_1+|\left|{\▿}_x{I}_{O2}\right|{|}_1}$

其中表示对水平方向梯度；对于首帧图像的拼接，总的能量函数E₀表示为：

E₀＝λ_DE_D+λ_ME_M

其中λ_D和λ_M分别为E_D和E_M的加权系数；为避免陷入局部最优，对E₀进行高斯平滑：

$E_0^{smooth}=g_{\mathrm{\σ}}\⊗E_0$

其中g_σ表示方差为σ的高斯核函数，表示卷积运算；在上运行动态规划算法得到首帧的拼缝位置：

x＝S₀(y)

其中，y为重叠区域的竖直坐标，x为竖直坐标y处的拼缝位置；

为保持拼接完成的视频的帧间一致性，相邻帧的拼缝位置不能偏离太多，即拼缝位置是渐变的；因此，在后续帧的拼缝查找时以前一帧的拼缝位置作为一项约束，对应的渐变约束项E_T为： $E_T=\underset{y}{\Σ}{\left(S_t\right(y)-S_{t-1}(y\left)\right)}^2$

其中，t为当前帧序号，且t≥1；第t帧的重叠区域拼缝选择对应的总能量函数E表示为：

E_t＝λ_DE_D+λ_ME_M+λ_TE_T

其中，λ_T为E_T的加权系数；同样地，对E_t进行高斯平滑得到并在上运行动态规划算法得到第t帧的拼缝位置x＝S_t(y)。

3.根据权利要求2所述的基于围绕渐变拼缝区域平面扫描的视频拼接方法，其特征在于：所述步骤S3的具体方法包括：

对于矫正后的两幅图像I₁和I₂，由于对应的两虚拟摄像机的光轴平行，则两图像水平方向的像素偏移d与对应物点的深度D之间的关系如下： $\frac{d}{f}=\frac{\left|\right|T\left|\right|}{D}$

其中，f为虚拟摄像机的等效焦距，||T||为两虚拟摄像机的基线长度；

平面扫描方法假设被拍摄场景的所有物体全部位于某一深度D_k，k＝1,…,N，然后将两幅图像按照D_k对应的偏移组合，并衡量每一位置的图像匹配程度，对所有N个假设深度作同样的操作，最后综合每一位置的匹配程度和相邻位置的几何约束，得到整个重叠区域每一位置的深度及对应的偏移量；

考虑到图像融合时拼缝两侧的图像主要取自不同的源图像，只有靠近拼缝的区域才会同时用到两幅源图像的信息，因此只在拼缝附近运行平面扫描；

以当前帧的拼缝为中心，取宽度为W_s的窄带状区域，沿拼缝方向，以为竖直间隔，取长宽均为W_s的图像块作为匹配块B_i，i＝1,…,n，n为沿当前拼缝上可取到的匹配块总数；取偏移量d＝0,1,…m，对应深度为D＝∞,f||T||,…,的空间平面，m为所考虑的最小深度对应的偏移量；计算B_i与另一幅图像中水平偏移为d的图像块B_i,d的匹配度，匹配准则采用归一化互相关系数；取匹配度最高的图像块对应的d为拼缝上当前位置处的偏移量；

完成整个窄带状区域的平面扫描后，得到拼缝上间隔为的离散位置的偏移量；为进一步保证拼接的鲁棒性，利用双边滤波去除其中的误匹配点；最后利用线性插值得到整条拼缝上逐像素的偏移：

d＝V(y)。

4.根据权利要求3所述的基于围绕渐变拼缝区域平面扫描的视频拼接方法，其特征在于：所述步骤S4的具体方法包括：

以Ω表示整个重叠区域，设I₁在I₂的左侧，并以I₁为参考图像，I₂为目标图像，以Ω₁＝{(x,y)|(x,y)∈Ω,x＜_tS(y})表示重叠区域中位于拼缝左侧的区域，以Ω₂＝{(x,y)|(x,y)∈Ω,x＞S_t(y)}表示重叠区域中位于拼缝右侧的区域；

以水平偏移函数U(x,y)，(x,y)∈Ω₂表示I₂在Ω₂上的偏移；设定重叠右侧区域边缘x＝R(y)处的偏移量为零；则Ω₂内任意位置(x,y)处的偏移计算过程如下：

$U(x,y)=\frac{R\left(y\right)-x}{R\left(y\right)-S\left(y\right)}V\left(y\right)$

根据上式计算Ω₂内每个像素的U(x,y)即得到I₂在重叠区域的偏移量；根据U(x,y)对I₂在Ω₂中的部分进行变形，得到变形后图像I_Ω2，即I_O2′中(x,y)处的像素从原图像I_O2的(x-U(x,y),y)位置取值，当(x-U(x,y),y)为非整数位置时，采用线性插值得到其像素值。

5.根据权利要求4所述的基于围绕渐变拼缝区域平面扫描的视频拼接方法，其特征在于：所述步骤S5的具体方法包括：

将I₁在区域Ω₁中的部分I_Ω1与I_Ω2进行梯度域融合，得到重叠区域的融合图像I_Ω；由于设定重叠区域右侧边缘的偏移为零，因此在Ω₂上所做形变不会影响重叠区域与非重叠区域的图像之间的连续性；直接将I_Ω与I₁，I₂的非重叠部分组合，即得到在两虚拟摄像机坐标系下的融合图像I_V；将I_V变化到两摄像机坐标系下即最终的拼接图像I_t，具体变换如下：

X_V1∝K_VR_V ^TK₁ ^-1X₁

其中，X_V1为I_V的图像坐标，X₁为I_t的图像坐标；

对每一组视频帧适用步骤S1至S5的处理过程，即可得到高质量的无缝拼接视频。