CN103501415A - 一种基于重叠部分结构变形的视频实时拼接方法 - Google Patents

Abstract

本发明属于图像信息处理领域，提供了一种基于重叠部分结构变形的视频实时拼接方法，首先计算两幅图像各自的拼接缝；然后在两条拼接缝上进行一维特征点的提取与匹配；将匹配的特征点移动到重合位置并记录位移量，在设定的变形扩散影响范围内进行结构形变的扩散；最后计算结构变形后的梯度图，利用梯度域上的融合方法完成图像融合，与其他部分的图像组合得到最终的拼接图像。本发明充分考虑时间约束，因此算法具有较低的时间复杂度，可以在FPGA上实现多路视频的实时拼接。并且可以保证每一帧图像在结构和内容上的一致性，融合阶段采用梯度域上的融合算法，较好地保证了图像亮度的平滑过渡，最终达到快速高效的视频拼接效果。

Description

一种基于重叠部分结构变形的视频实时拼接方法

技术领域：

本发明属于图像信息处理领域，涉及视频拼接方法，尤其涉及一种用于多相机视频实时拼接的算法。

背景技术：

近年来，随着工业制造水平的不断提高和市场需求的驱动，摄像机等图像采集设备及相应图像处理技术的发展十分迅速。更大的视场和更高的分辨率是图像采集技术发展的两个主要方向，由于硬件条件的限制，在使用单传感器的情况下，二者是相互矛盾的。要克服这一矛盾，当前的主流解决方案是拼接相机，即将多个传感器采集的图像进行拼接，形成一幅更宽视场、更高分辨率的图像。一个典型的三路拼接相机的原型机如图1所示。

在安防监控、空中侦查、艺术摄影等领域，拼接相机都拥有广阔的应用前景。拼接相机研发过程中最重要的问题是不同传感器采集的视频如何进行实时无缝的拼接。视频拼接是图像拼接在时间序列上的拓展，因此，与传统的图像拼接相比，视频拼接在要求拼接效果的前提下又为拼接算法加入了时间约束，即要达到实时性的要求。

最初的图像拼接算法基于权重遮罩，即以一个渐变的权重对重叠部分的图像进行加权平均，保证图像在重叠部分的平滑过渡，一种渐变函数为Sigmoid函数的权值变化曲线如图2所示。针对不同尺度的特征，有人提出了多分辨率样条的融合方法，可以对不同尺度的特征适用不同宽度的过渡区域，有效抑制了鬼影和突变现象的出现。这类方法可以保证图像亮度的平滑过渡，在各路相机的光心重合并且经过准确标定的情况下具有较好的融合效果。但大多数情况下，各路相机的光心并不完全重合，对同一物体的拍摄存在视差，相机标定也会存在一定的误差，这就导致使用这种拼接方法得到的图像会出现结构上的不连续和模糊现象，如图3所示。

一系列基于结构变形的拼接算法的出现，有效解决了图像拼接时拼接缝附近局部结构不一致的问题。如边界映射，弹性配准，流动配准，纹理合成等方法，以不同的思路对重叠部分的图像进行了局部调整，保证在拼接缝两侧的图像结构能够保持一致。但目前这类方法都是面向图像拼接的，在实现过程中需要对图像进行特征点的提取与匹配，时间复杂度较高，难以直接在时间约束严格的视频拼接中应用。

与单纯的图像拼接方法相比，目前对视频拼接方法的研究较少。为了达到实时性的要求，大多数视频拼接方法都只是简单采用了单应性矩阵映射和重叠部分羽化操作，拼接效果很难达到“无缝”的要求。

本发明提出一种基于重叠部分结构变形的视频实时拼接算法，在多路摄像机经过初步标定的基础上，该算法能够满足视频拼接的实时性要求，并能达到较好的拼接效果，同时保证拼接缝附近图像亮度、结构和内容上的一致性。

发明内容：

本发明借鉴图像拼接中的结构变形的思想，综合考虑视频拼接对对拼接效果和实时性的要求，提出了一种基于重叠部分结构变形的视频拼接方法。该方法的处理对象是重叠部分的图像，且对各重叠部分图像的处理不会相互影响，可采用并行方式运行。

本发明采用的技术方案是：

一种基于重叠部分结构变形的视频实时拼接方法，其特征在于包括以下步骤：

S1.获取标定后的当前时刻相邻两路视频帧，所述相邻两路视频帧之间具有重叠部分，在每幅图像对应的重叠部分内分别计算该图像的拼接缝；

S2.在步骤S1得到的两条拼接缝上分别提取一维特征点并匹配；

S3.对于步骤S2匹配的每一组特征点，分别在对应的图像中移动到预先设定的重合位置，同时记录每个特征点的位移量；设定重叠区域边界处各像素点的位移量为零，在每幅图像对应的重叠部分内根据该图像中每个特征点的位移量，采用线性插值计算得到该图像中重叠部分里每个像素点的位移量；

S4.根据步骤S3得到的两幅图像中重叠部分里每个像素点的位移量，采用双线性插值从两幅图像重叠部分的梯度分量图得到目标图像的梯度分量图；通过求解泊松方程得到重叠部分的融合图像，并与两幅图像的其他部分的图像内容组合成为最终的拼接图像。

进一步地，所述步骤S1的具体方法包括：

S11.计算两条拼接缝的参考位置L₀：以I₁和I₂分别表示两幅图像对应的重叠部分的图像，对应的参考梯度图G通过下式计算得到：

G＝||▽_hI₁||+||▽_wI₁||+||▽_hI₂||+||▽_wI₂||

梯度域上的参考差值图D通过下式计算得到：

D＝||▽_hI₁-▽_hI₂||+||▽_wI₁-▽_wI₂||

其中算子▽_h和▽_w分别表示高度和宽度方向的梯度，||·||为取范数运算；

以S表示用于计算两条拼接缝的参考位置的图像，则S是G与D的加权平均，即

S＝αG+(1-α)D

其中α为根据实际需要选取的加权系数；

在图像S上运行动态规划算法，得到图像S对应的拼接缝，以图像S对应的拼接缝作为计算两条拼接缝的参考位置L₀，L₀为一个长度等于S高度的向量，记录对应高度处参考位置L₀在宽度方向的位置；

S12.根据两条拼接缝的参考位置L₀计算每幅图像的拼接缝，具体包括：

S121.计算两幅图像重叠部分各自的梯度图G₁和G₂：

G₁＝||▽_hI₁||+||▽_wI₁||+βP

G₂＝||▽_hI₂||+||▽_wI₂||+βP

其中β为每幅图像中反映参考位置L₀约束强度的加权系数，β的值为预先设定；P为其重叠部分中的其他位置相对于参考位置L₀的距离惩罚函数，P由下式计算得到：

P(h,w)＝(w-L₀(h))²

其中，P(h,w)表示(h,w)位置处的距离惩罚函数值，h和w分别表示该位置高度和宽度方向的坐标值；

S122.根据步骤S121得到的两幅梯度图G₁和G₂，分别利用动态规划算法计算得到每幅图像的拼接缝。

进一步地，所述步骤S2的具体方法包括：

S21.提取一维特征点：分别记录在每幅图像的梯度图上对应的拼接缝经过位置的亮度值，沿着该拼接缝对其进行高斯平滑处理，并采用非极大值抑制算法得到该拼接缝的特征点位置；

S22.进行特征点匹配：根据步骤S21得到的分别属于两条拼接缝的特征点两两之间的距离和亮度值的差值进行特征点匹配，得到两条拼接缝相互匹配的若干组特征点。

进一步地，所述步骤S3的具体方法包括：

S31.对于步骤S2匹配的每一组特征点，分别在对应的图像中移动到预先设定的重合位置，同时记录每个特征点F的位移量V(F)＝(V_h(F),V_w(F))，其中，V_h(F)与V_w(F)分别为V(F)在高度和宽度方向上的分量；所述重合位置按如下方式确定：

记为两条拼接缝L₁(h)与L₂(h)的中间位置，h为高度方向的坐标；将每组特征点F_1,i(h_1,i,w_1,i)与F_2,j(h_2,j,w_2,j)移动后的重合位置记为F_k(h_k,w_k)，其中w_k＝L(h_k)；h_1,i,w_1,i与h_2,j,w_2,j分别为该组特征点的坐标值；

S32.在每幅图像对应的重叠部分内根据该图像中每个特征点F的位移量V(F)，采用线性插值计算得到该图像中重叠部分里每个像素点I的位移量V(I)：

将每个像素点I(h_src,w_src)移动后的像素点位置为I′(h,w)，其中h_src,w_src以及h,w分别为该像素点在移动前和移动后的坐标值；以V′(I′)＝-V(I)表示V(I)的逆映射，则有：

$V^{\′}\left(I^{\′}\right)=\left\{\begin{array}{cc}\frac{(w-1)}{(h_{k+1}-h)(w_k-1)+(h-h_k)(w_{k+1}-1)}((h_{k+1}-h)V^{\′}\left(F_k\right)+(h-h_k)V^{\′}\left(F_{k+1}\right))& ,w\≤L\left(h\right)\\ \frac{(W-w)}{(h_{k+1}-h)(W-w_k)+(h-h_k)(W-w_{k+1})}((h_{k+1}-h)V^{\′}\left(F_k\right)+(h-h_k)V^{\′}\left(F_{k+1}\right))& ,w>L\left(h\right)\end{array}\right.$

其中，F_k(h_k,w_k)与F_k+1(h_k+1,w_k+1)分别为两组匹配特征点移动的重合位置，两组特征点沿拼接缝方向相邻，且有h_k≤h≤h_k+1，W为重叠部分的宽度，L(h)为两条拼接缝的中间位置。

进一步地，所述步骤S4的具体方法包括：

S41.根据步骤S3得到的两幅图像中重叠部分里每个像素点的位移量，采用双线性插值从两幅图像重叠部分的梯度分量图得到目标图像重叠部分的梯度分量图，具体包括：

对于目标图像的梯度分量图中的像素点I′(h,w)，其像素值等于移动前图像坐标(h_src,w_src)处的像素值，即(h_src,w_src)＝(h+V′_h(I′),w+V′_w(I′))；采用双线性插值从原图像的梯度分量图▽_hI₁，▽_wI₁和▽_hI₂，▽_wI₂得到目标图像的梯度分量图，其中拼接缝L(h)左侧的梯度数据取自▽_hI₁，▽_wI₁，右侧的梯度数据取自▽_hI₂，▽_wI₂，计算得到重叠部分的梯度分量图，记为(G_h,G_w)；

S42.通过求解泊松方程得到重叠部分的融合图像，并与两幅图像的其他部分的图像内容组合成为最终的拼接图像。

本发明所述方法在每一步的执行中都充分考虑时间约束，因此算法具有较低的时间复杂度，可以在FPGA上实现多路视频的实时拼接。算法引入了结构变形的思想，可以保证每一帧图像在结构和内容上的一致性，融合阶段采用梯度域上的融合算法，较好地保证了图像亮度的平滑过渡，最终达到快速高效的视频拼接效果。

附图说明：

图1为三路拼接相机原型机。

图2为渐变函数为Sigmoid函数的权值变化曲线，坐标横轴方向代表图像的空间过渡区域，实线为左侧图像的权值变化曲线，虚线为右侧图像的权值变化曲线。

图3为结构上的不连续和模糊现象，采用传统的基于权重遮罩的拼接算法可能会导致该现象的出现。

图4是本发明的流程图；

图5为重叠部分图像及对应的梯度图与梯度域上的差值图，(a)(b)为原图像。

图6为(a)拼接缝的参考位置，(b)(c)两条拼接缝的位置。

图7为两条拼接缝的一维特征点。

图8为重叠部分的融合图像。

图9为拼接结果图。

具体实施方式

下面将结合附图和实例对本发明的具体实施方式作进一步的详细说明。

本发明提出一种基于重叠部分结构变形的视频拼接算法。该方法能够在保证视频拼接实时性的要求下，达到较好的拼接效果，保证拼接图像在亮度、结构和内容上与原图的一致性。不失一般性，讨论两路视频拼接的情况。由于视频拼接是图像拼接在时间序列上的拓展，视频拼接可以分解为每一帧的图像拼接。

本发明首先需利用重叠部分两幅图像的结构信息计算两幅图像各自的拼接缝，保证两条拼接缝所经过的客观物体在结构上的一致性。然后在两条拼接缝上进行一维特征点的提取与匹配。将匹配的特征点移动到重合位置并记录位移量，在设定的变形扩散影响范围内进行结构形变的扩散。最后计算结构变形后的梯度图，利用梯度域上的融合方法完成图像融合，与其他部分的图像组合得到最终的拼接图像。

本发明提供的视频拼接方法通过以下步骤实现：

第一步，在相机已完成初步标定的基础上，可得到任意时刻两路视频帧的重叠部分，综合考虑重叠部分两幅图像的平滑程度和差异大小，分别计算两幅图像的拼接缝，计算过程中考虑两幅图像各自的结构信息，保证两条拼接缝所经过的客观物体在结构上的一致性。

第二步，在两条拼接缝上分别提取一维特征点并匹配。

第三步，将匹配的特征点移动到重合位置，记录每个特征点的位移量。设定一个结构变形扩散的影响范围，为方便处理，不妨将其取为整个重叠区域，边界上的像素不做变形，边界内的点的位移量由匹配的特征点与边界上点的位移量线性插值得到。

第四步，在梯度域上求得结构变形后的重叠部分的梯度图，最后通过求解泊松方程得到重叠部分的融合图像并与其他部分的图像内容组合成为最终的拼接图像。

本发明提供的空间配准方法通过以下步骤实现：

步骤S1.获取标定后的当前时刻相邻两路视频帧，所述相邻两路视频帧之间具有重叠部分，在每幅图像对应的重叠部分内分别计算该图像的拼接缝。

由于视差的存在，两幅图像在重叠部分不可避免地存在一定的差异，传统的单拼接缝方法无法保证拼接缝经过的客观物体的结构一致性。因此，在本算法中引入双拼接缝的思想，即分别对重叠部分的两幅图像计算各自的拼接缝，并保证两条拼接缝所经过的客观物体在结构上的一致性。具体实现过程可以采用如下的方式：

步骤S11.计算两条拼接缝的参考位置L₀。

借鉴单拼接缝查找算法，最优拼接缝的查找应该综合考虑图像的纹理信息和差异信息，拼接缝应该从图像纹理不丰富且两幅图像差异较小的区域经过。用两幅图像的梯度图反映图像的纹理，梯度域上的差值图反映图像的差异，查找拼接缝的图像数据应该是二者的综合。对于如图4(a)(b)所示的两幅重叠部分的原图像I₁，I₂，对应的梯度图G通过下式计算得到：

G＝||▽_hI₁||+||▽_wI₁||+||▽_hI₂||+||▽_wI₂||

梯度域上的差值图D通过下式计算的到：

D＝||▽_hI₁-▽_hI₂||+||▽_wI₁-▽_wI₂||

其中算子▽_h，▽_w分别表示高度和宽度方向的梯度，||·||为取范数运算，图4(a)(b)对应的梯度图和梯度域上的差值图分别如图4(c)与4(d)所示。

用于计算拼接缝参考位置的图像S应是G与D的加权平均，即

S＝αG+(1-α)D

根据实际需要选取合适的权系数α（权系数α取值为0.1-0.9之间，本实施例中取值为0.7），得到综合了纹理信息与差异信息的图像S，在S上运行动态规划算法，可得到对应S的最优拼接缝，以此作为计算其他两幅图像拼接缝的参考位置L₀，L₀为一个长度等于S高度的向量，记录对应高度处拼接缝在宽度方向的位置。

步骤S12.根据两条拼接缝的参考位置L₀计算每幅图像的拼接缝。

由于梯度图反映原图像的边缘、纹理等结构信息，因此在两幅图像的梯度图上采用特定方法计算出来的两条拼接缝应该会经过相同的客观结构，考虑到两幅图像之间存在视差以及实际情况下可能存在的其他客观因素，需要进一步强化对双拼接缝相对位置的约束，利用拼接缝的参考位置，将双拼接缝的查找范围限制在参考位置附近，计算拼接缝的图像数据分别取两幅图像各自的梯度图加上与参考位置距离的惩罚函数，表示为：

G₁＝||▽_hI₁||+||▽_wI₁||+βP

G₂＝||▽_hI₂||+||▽_wI₂||+βP

其中G₁，G₂分别表示两幅图像重叠部分各自的梯度图；P为重叠区域的其他位置相对于拼接缝参考位置的距离惩罚函数，β为其加权系数，反映参考位置的约束强度，P可用下式计算得到：

P(h,w)＝(w-L₀(h))²

利用动态规划算法计算得到双拼接缝的位置L₁，L₂，对于如图5(a)所示的参考位置，两幅图像的拼接缝位置如图5(b)(c)所示。本发明中动态规划算法可以采用本领域中通用的方法来实现。

需要注意的是，为了保证视频不出现闪烁，相邻两帧的拼接缝不能连续地出现大的变化，可以在拼接缝参考位置的计算过程中引入拼接缝位置的帧间约束来解决。

步骤S2.在步骤S1得到的两条拼接缝上分别提取一维特征点并匹配。

以拼接缝上亮度变化最剧烈的点为一维特征点，其实际意义是拼接缝与图像上边缘线的交点。

S21.提取一维特征点：

对应在梯度图上，特征点对应的是梯度图亮度的极大值位置。分别记录梯度域上双拼接缝经过的位置的亮度值，沿着拼接缝方向对其进行高斯平滑处理（即加权平均），并采用非极大值抑制（Non-maximum Suppression）算法得到特征点位置，如图6所示。

S22.根据步骤S21得到的分别属于两条拼接缝的特征点两两之间的距离和亮度值的差值进行特征点匹配，得到两条拼接缝相互匹配的若干组特征点。

在分别得到两条拼接缝的一维特征点位置后，利用其位置和亮度信息进行特征点匹配。通常情况下，两条拼接缝上特征点的数量都较少，不会超过一个特定值

其中H为图像高度，W_nms为非极大值抑制算法中采用的领域宽度。同时，特征点匹配过程中有很强的几何位置约束可以参考。因此，双拼接缝上的一维特征点匹配与通常意义上的二维特征点匹配不同，并不需要大量地比较与迭代，其时间复杂度不超过O(n₁n₂)，其中n₁，n₂为两条拼接缝上的特征点数量。

步骤S3.对于步骤S2匹配的每一组特征点，分别在对应的图像中移动到预先设定的重合位置，同时记录每个特征点的位移量；设定重叠区域边界处各像素点的位移量为零，在每幅图像对应的重叠部分内根据该图像中每个特征点的位移量，采用线性插值计算得到该图像中重叠部分里每个像素点的位移量。

本发明中双拼接缝上匹配的特征点的实际意义是两幅图像上同一条边缘线与拼接缝的交点。为了达到无缝的拼接效果，应该将拼接缝两侧的图像边缘线都连接起来。

S31.匹配特征点的位置调整。

图像边缘线连接对应的特征点的操作为将匹配的特征点移动到重合位置，为了图像各部分形变量的均匀性，可以取匹配特征点移动的目标位置为其中点位置。

对于步骤S2匹配的每一组特征点，分别在对应的图像中移动到预先设定的重合位置，同时记录每个特征点F的位移量V(F)＝(V_h(F),V_w(F))，其中，V_h(F)与V_w(F)分别为V(F)在高度和宽度方向上的分量；所述重合位置按如下方式确定：

记

为两条拼接缝L₁(h)与L₂(h)的中间位置，h为高度方向的坐标；将每组特征点F_1,i(h_1,i,w_1,i)与F_2,j(h_2,j,w_2,j)移动后的重合位置记为F_k(h_k,w_k)，其中

w_k＝L(h_k)；h_1,i,w_1,i与h_2,j,w_2,j分别为该组特征点的坐标值。

对于拼接缝一侧的图像，在距拼接缝一定距离的位置取一条边界E作为变形影响范围的边界，结构变形扩散的影响范围被限定在拼接缝与边界E之间，影响范围以外的图像内容不需要做调整。设定在E上的像素的变形向量为零，即

V(E)＝(0,0)

在实际处理中，为了数据复用与并行处理的方便，通常将E取在重叠部分的边界上，即结构变形扩散的影响范围为重叠区域。

S32.在每幅图像对应的重叠部分内根据该图像中每个特征点F的位移量V(F)，采用线性插值计算得到该图像中重叠部分里每个像素点I的位移量V(I)。

在变形影响范围内，根据特征点与边界处已得到的变形向量V的取值，对整个变形影响范围内所有像素的V值做线性插值，可得到整个重叠区域的变形向量。然而，实际操作中会发现V的取值通常都不是整数，即当前整数位置的像素I(h_src,w_src)移动的目标位置I′(h,w)为：

(h,w)＝(h_src+V_h(I),w_src+V_w(I))

(h,w)通常不是整数位置，得到结构变形后的图像有困难。

解决上述困难的方式是以目标图像为考察对象，取目标拼接缝位置为双拼接缝的中间位置

$L\left(h\right)=\frac{L_1\left(h\right)+L_2\left(h\right)}{2}$

计算目标图像每个位置的像素I′(h,w)对应的V的反映射V′＝-V，即计算目标图像每个位置的像素I′(h,w)在原图像的什么位置取值，得到

(h_src,w_src)＝(h+V′_h(I′),w+V′_w(I′))＝(h-V_h(I),w-V_w(I))

当(h_src,w_src)不是整数位置时，目标位置的像素值可以由原图整数位置的像素值做双线性插值得到。任意目标位置像素I(h,w)对应的V′值可有由下式线性插值得到：

$V^{\′}\left(I^{\′}\right)=\left\{\begin{array}{cc}\frac{(w-1)}{(h_{k+1}-h)(w_k-1)+(h-h_k)(w_{k+1}-1)}((h_{k+1}-h)V^{\′}\left(F_k\right)+(h-h_k)V^{\′}\left(F_{k+1}\right))& ,w\≤L\left(h\right)\\ \frac{(W-w)}{(h_{k+1}-h)(W-w_k)+(h-h_k)(W-w_{k+1})}((h_{k+1}-h)V^{\′}\left(F_k\right)+(h-h_k)V^{\′}\left(F_{k+1}\right))& ,w>L\left(h\right)\end{array}\right.$

其中，F_k(h_k,w_k)与F_k+1(h_k+1,w_k+1)分别为两组匹配特征点移动的重合位置，两组特征点沿拼接缝方向相邻，且有h_k≤h≤h_k+1，W为重叠部分的宽度，L(h)为两条拼接缝的中间位置。

步骤四：梯度域上的图像融合：根据步骤S3得到的两幅图像中重叠部分里每个像素点的位移量，采用双线性插值从两幅图像重叠部分的梯度分量图得到目标图像的梯度分量图；通过求解泊松方程得到重叠部分的融合图像，并与两幅图像的其他部分的图像内容组合成为最终的拼接图像。

采用梯度域上的融合方法，可以较好地保留图像的纹理信息，同时保证图像亮度的平滑过渡。

S41.重叠部分梯度图的计算：根据步骤S3得到的两幅图像中重叠部分里每个像素点的位移量，采用双线性插值从两幅图像重叠部分的梯度分量图得到目标图像重叠部分的梯度分量图，具体包括：

对于目标图像的梯度分量图中的像素点I′(h,w)，其像素值等于移动前图像坐标(h_src,w_src)处的像素值，即(h_src,w_src)＝(h+V′_h(I′),w+V′_w(I′))；采用双线性插值从原图像的梯度分量图▽_hI₁，▽_wI₁和▽_hI₂，▽_wI₂得到目标图像的梯度分量图，其中拼缝L(h)左侧的梯度数据取自▽_hI₁，▽_wI₁，右侧的梯度数据取自▽_hI₂，▽_wI₂，计算得到重叠部分的梯度分量图，记为(G_h,G_w)。

S42.由梯度图求解融合图像。

由梯度图求解融合图像的问题实质上是求解泊松方程

$\left\{\begin{array}{c}\mathrm{\ΔI}=\frac{\∂}{\∂h}{G}_h+\frac{\∂}{\∂w}{G}_w\\ {I|}_{\∂\mathrm{\Ω}}=I^{*}{|}_{\∂\mathrm{\Ω}}\end{array}\right.$

其中，Ω表示重叠区域，

表示重叠区域边界，I为未知图像数据，I^*为已知图像边界值。对泊松方程的求解可简化为一个系数矩阵稀疏线的性方程组的求解问题，可利用收敛速度较快高斯-赛德尔迭代方法进行求解。在迭代过程中可取原始图像为迭代初值以加快求解速度。

本实施例中解得重叠部分的融合图像如图7所示，与其他部分图像组合得到最终的拼接图像如图8所示。

Claims (5)

1.一种基于重叠部分结构变形的视频实时拼接方法，其特征在于包括以下步骤：

S1.获取标定后的当前时刻相邻两路视频帧，所述相邻两路视频帧之间具有重叠部分，在每幅图像对应的重叠部分内分别计算该图像的拼接缝；

S2.在步骤S1得到的两条拼接缝上分别提取一维特征点并匹配；

S3.对于步骤S2匹配的每一组特征点，分别在对应的图像中移动到预先设定的重合位置，同时记录每个特征点的位移量；设定重叠区域边界处各像素点的位移量为零，在每幅图像对应的重叠部分内根据该图像中每个特征点的位移量，采用线性插值计算得到该图像中重叠部分里每个像素点的位移量；

S4.根据步骤S3得到的两幅图像中重叠部分里每个像素点的位移量，采用双线性插值从两幅图像重叠部分的梯度分量图得到目标图像的梯度分量图；通过求解泊松方程得到重叠部分的融合图像，并与两幅图像的其他部分的图像内容组合成为最终的拼接图像。

2.根据权利要求1所述的基于重叠部分结构变形的视频实时拼接方法，其特征在于：所述步骤S1的具体方法包括：

S11.计算两条拼接缝的参考位置L₀：以I₁和I₂分别表示两幅图像对应的重叠部分的图像，对应的参考梯度图G通过下式计算得到：

G＝||▽_hI₁||+||▽_wI₁||+||▽_hI₂||+||▽_wI₂||

梯度域上的参考差值图D通过下式计算得到：

D＝||▽_hI₁-▽_hI₂||+||▽_wI₁-▽_wI₂||

其中算子▽_h和▽_w分别表示高度和宽度方向的梯度，||·||为取范数运算；

以S表示用于计算两条拼接缝的参考位置的图像，则S是G与D的加权平均，即

S＝αG+(1-α)D

其中α为根据实际需要选取的加权系数；

在图像S上运行动态规划算法，得到图像S对应的拼接缝，以图像S对应的拼接缝作为计算两条拼接缝的参考位置L₀，L₀为一个长度等于S高度的向量，记录对应高度处参考位置L₀在宽度方向的位置；

S12.根据两条拼接缝的参考位置L₀计算每幅图像的拼接缝，具体包括：

S121.计算两幅图像重叠部分各自的梯度图G₁和G₂：

G₁＝||▽_hI₁||+||▽_wI₁||+βP

G₂＝||▽_hI₂||+||▽_wI₂||+βP

其中β为每幅图像中反映参考位置L₀约束强度的加权系数，β的值为预先设定；P为其重叠部分中的其他位置相对于参考位置L₀的距离惩罚函数，P由下式计算得到：

P(h,w)＝(w-L₀(h))²

其中，P(h,w)表示(h,w)位置处的距离惩罚函数值，h和w分别表示该位置高度和宽度方向的坐标值；

S122.根据步骤S121得到的两幅梯度图G₁和G₂，分别利用动态规划算法计算得到每幅图像的拼接缝。

3.根据权利要求2所述的基于重叠部分结构变形的视频实时拼接方法，其特征在于：所述步骤S2的具体方法包括：

S21.提取一维特征点：分别记录在每幅图像的梯度图上对应的拼接缝经过位置的亮度值，沿着该拼接缝对其进行高斯平滑处理，并采用非极大值抑制算法得到该拼接缝的特征点位置；

S22.进行特征点匹配：根据步骤S21得到的分别属于两条拼接缝的特征点两两之间的距离和亮度值的差值进行特征点匹配，得到两条拼接缝相互匹配的若干组特征点。

4.根据权利要求1至3之一所述的基于重叠部分结构变形的视频实时拼接方法，其特征在于：所述步骤S3的具体方法包括：

S31.对于步骤S2匹配的每一组特征点，分别在对应的图像中移动到预先设定的重合位置，同时记录每个特征点F的位移量V(F)＝(V_h(F),V_w(F))，其中，V_h(F)与V_w(F)分别为V(F)在高度和宽度方向上的分量；所述重合位置按如下方式确定：

记

为两条拼接缝L₁(h)与L₂(h)的中间位置，h为高度方向的坐标；将每组特征点F_1,i(h_1,i,w_1,i)与F_2,j(h_2,j,w_2,j)移动后的重合位置记为F_k(h_k,w_k)，其中

w_k＝L(h_k)；h_1,i,w_1,i与h_2,j,w_2,j分别为该组特征点的坐标值；

S32.在每幅图像对应的重叠部分内根据该图像中每个特征点F的位移量V(F)，采用线性插值计算得到该图像中重叠部分里每个像素点I的位移量V(I)：

将每个像素点I(h_src,w_src)移动后的像素点位置为I′(h,w)，其中h_src,w_src以及h,w分别为该像素点在移动前和移动后的坐标值；以V′(I′)＝-V(I)表示V(I)的逆映射，则有：

$V^{\′}\left(I^{\′}\right)=\left\{\begin{array}{cc}\frac{(w-1)}{(h_{k+1}-h)(w_k-1)+(h-h_k)(w_{k+1}-1)}((h_{k+1}-h)V^{\′}\left(F_k\right)+(h-h_k)V^{\′}\left(F_{k+1}\right))& ,w\≤L\left(h\right)\\ \frac{(W-w)}{(h_{k+1}-h)(W-w_k)+(h-h_k)(W-w_{k+1})}((h_{k+1}-h)V^{\′}\left(F_k\right)+(h-h_k)V^{\′}\left(F_{k+1}\right))& ,w>L\left(h\right)\end{array}\right.$

其中，F_k(h_k,w_k)与F_k+1(h_k+1,w_k+1)分别为两组匹配特征点移动的重合位置，两组特征点沿拼接缝方向相邻，且有h_k≤h≤h_k+1，W为重叠部分的宽度，L(h)为两条拼接缝的中间位置。

5.根据权利要求4所述的基于重叠部分结构变形的视频实时拼接方法，其特征在于：所述步骤S4的具体方法包括：

S41.根据步骤S3得到的两幅图像中重叠部分里每个像素点的位移量，采用双线性插值从两幅图像重叠部分的梯度分量图得到目标图像重叠部分的梯度分量图，具体包括：

对于目标图像的梯度分量图中的像素点I′(h,w)，其像素值等于移动前图像坐标(h_src,w_src)处的像素值，即(h_src,w_src)＝(h+V′_h(I′),w+V′_w(I′))；采用双线性插值从原图像的梯度分量图▽_hI₁，▽_wI₁和▽_hI₂，▽_wI₂得到目标图像的梯度分量图，其中拼缝L(h)左侧的梯度数据取自▽_hI₁，▽_wI₁，右侧的梯度数据取自▽_hI₂，▽_wI₂，计算得到重叠部分的梯度分量图，记为(G_h,G_w)；

S42.通过求解泊松方程得到重叠部分的融合图像，并与两幅图像的其他部分的图像内容组合成为最终的拼接图像。

Images