CN105915804A - 视频拼接方法及系统 - Google Patents

Abstract

本发明提供了一种视频拼接方法及系统，该视频拼接方法包括提取及匹配步骤、模板建立步骤、图像融合步骤和处理步骤。本发明的有益效果是：本发明能够将视频进行完美的融合及拼接，使拼接后的视频清晰无缝，满足用户的需求。

Description

视频拼接方法及系统

技术领域

本发明涉及视频数据处理技术领域，尤其涉及视频拼接方法及系统。

背景技术

目前的视频拼接技术，拼接的视频效果不理想，无法满足用户的需求。

发明内容

本发明提供了一种视频拼接方法，包括如下步骤：

提取及匹配步骤，对多摄像机同一时刻所捕获的首帧图像组进行相应的特征提取，对首帧图像进行特征点匹配，确定精确有效的匹配特征点组合；

模板建立步骤，根据首帧图像组中帧图像的匹配特征点对每帧图像进行形状及角度变换和精确剪切，并建立空白模板，将首帧图像组中的每个帧图像剪切后的数据精确投影到各自对应的空白模板上，建立公用数据单元；

图像融合步骤，再次从多个摄像机中连续捕获一组组帧图像，将每帧图像按照各自所属摄像机对应的变换矩阵及剪切模板进行变形裁剪，然后对每对应组已经变形及裁剪过的帧图像进行帧图像融合；

处理步骤，最后，设置帧率，将多个摄像机每个对应组所融合完成的最终图像以新的帧图像形式重新按顺序播放，形成多个摄像机组合成一个的效果。

作为本发明的进一步改进，在所述图像融合步骤中包括重叠区域初步融合步骤，在所述重叠区域初步融合步骤中，当各摄像机之间的变换矩阵产生后，存储在空矩阵H中，以供后续帧使用，将匹配的帧图像组通过以下变换运算法对摄像机首帧进行变形：

$A^T=BH+\mathrm{\Δ}s=a\left[\begin{array}{cc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]+\left[\begin{array}{c}\mathrm{\Δ}x\\ \mathrm{\Δ}y\end{array}\right]$

A,B分别为两个帧图像的坐标矩阵，△s表示两幅帧图像之间的位移，θ为旋转角度，a为尺度变化倍数，x和y分别表示点的x坐标和y坐标，△x和△y分别表示变换后的x坐标和y坐标的偏移量。

作为本发明的进一步改进，在所述重叠区域初步融合步骤中，为实现多摄像机最终的实时融合，采用计算量小，运算速度快的加权平均法，其最终图像灰度值由下公式确定：

$\begin{array}{cc}{C}_m(x,y)=w_1{C}_1(x,y)+w_2{C}_2(x,y)+\mathrm{...}+w_k{C}_k(x,y)& {\mathrm{\Σ}}_i^k{w}_i=1\end{array}$

其中Cm(x,y)表示转换后的灰度图像在坐标(x,y)处的灰度值，w为各坐标位置的权重值。

作为本发明的进一步改进，在所述图像融合步骤中包括消除拼接缝步骤，在所述消除拼接缝步骤中，首先对图像进行小波变换分解，其次，根据中值滤波技术对小波分解中各高频部分进行中值滤波，最后重构图像。

本发明还提供了一种视频拼接系统，包括：

提取及匹配模块，用于对多摄像机同一时刻所捕获的首帧图像组进行相应的特征提取，对首帧图像进行特征点匹配，确定精确有效的匹配特征点组合；

模板建立模块，用于根据首帧图像组中帧图像的匹配特征点对每帧图像进行形状及角度变换和精确剪切，并建立空白模板，将首帧图像组中的每个帧图像剪切后的数据精确投影到各自对应的空白模板上，建立公用数据单元；

图像融合模块，用于再次从多个摄像机中连续捕获一组组帧图像，将每帧图像按照各自所属摄像机对应的变换矩阵及剪切模板进行变形裁剪，然后对每对应组已经变形及裁剪过的帧图像进行帧图像融合；

处理模块，最后，设置帧率，将多个摄像机每个对应组所融合完成的最终图像以新的帧图像形式重新按顺序播放，形成多个摄像机组合成一个的效果。

作为本发明的进一步改进，在所述图像融合模块中包括重叠区域初步融合模块，在所述重叠区域初步融合模块中，当各摄像机之间的变换矩阵产生后，存储在空矩阵H中，以供后续帧使用，将匹配的帧图像组通过以下变换运算法对摄像机首帧进行变形：

$A^T=BH+\mathrm{\Δ}s=a\left[\begin{array}{cc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]+\left[\begin{array}{c}\mathrm{\Δ}x\\ \mathrm{\Δ}y\end{array}\right]$

A,B分别为两个帧图像的坐标矩阵，△s表示两幅帧图像之间的位移，θ为旋转角度，a为尺度变化倍数，x和y分别表示点的x坐标和y坐标，△x和△y分别表示变换后的x坐标和y坐标的偏移量。

作为本发明的进一步改进，在所述重叠区域初步融合模块中，为实现多摄像机最终的实时融合，采用计算量小，运算速度快的加权平均法，其最终图像灰度值由下公式确定：

$\begin{array}{cc}{C}_m(x,y)=w_1{C}_1(x,y)+w_2{C}_2(x,y)+\mathrm{...}+w_k{C}_k(x,y)& {\mathrm{\Σ}}_i^k{w}_i=1\end{array}$

其中Cm(x,y)表示转换后的灰度图像在坐标(x,y)处的灰度值，w为各坐标位置的权重值。

作为本发明的进一步改进，在所述图像融合模块中包括消除拼接缝模块，在所述消除拼接缝模块中，首先对图像进行小波变换分解，其次，根据中值滤波技术对小波分解中各高频部分进行中值滤波，最后重构图像。

本发明的有益效果是：本发明能够将视频进行完美的融合及拼接，使拼接后的视频清晰无缝，满足用户的需求。

附图说明

图1是本发明的方法流程图。

具体实施方式

如图1所示，本发明公开了一种视频拼接方法，包括如下步骤：

步骤S1.提取及匹配步骤，对多摄像机同一时刻所捕获的首帧图像组进行相应的特征提取，对首帧图像进行特征点匹配，确定精确有效的匹配特征点组合；

步骤S2.模板建立步骤，根据首帧图像组中帧图像的匹配特征点对每帧图像进行形状及角度变换和精确剪切，并建立空白模板，将首帧图像组中的每个帧图像剪切后的数据精确投影到各自对应的空白模板上，建立公用数据单元；

步骤S3.图像融合步骤，再次从多个摄像机中连续捕获一组组帧图像，将每帧图像按照各自所属摄像机对应的变换矩阵及剪切模板进行变形裁剪，然后对每对应组已经变形及裁剪过的帧图像进行帧图像融合；

步骤S4.处理步骤，最后，设置帧率，将多个摄像机每个对应组所融合完成的最终图像以新的帧图像形式重新按顺序播放，形成多个摄像机组合成一个的效果。

另外，在执行步骤S1之前，将多个摄像机放置在具有稳定光照和相对位移和角度固定的位置，对每个摄像机捕获的帧图像进行初始对比，使他具有大致相同的环境和一定的重叠区域。

在所述图像融合步骤中包括重叠区域初步融合步骤，在所述重叠区域初步融合步骤中，当各摄像机之间的变换矩阵产生后，存储在空矩阵H中，以供后续帧使用，将匹配的帧图像组通过以下变换运算法对摄像机首帧进行变形：

$A^T=BH+\mathrm{\Δ}s=a\left[\begin{array}{cc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]+\left[\begin{array}{c}\mathrm{\Δ}x\\ \mathrm{\Δ}y\end{array}\right]$

A,B分别为两个帧图像的坐标矩阵，△s表示两幅帧图像之间的位移，θ为旋转角度，a为尺度变化倍数，x和y分别表示点的x坐标和y坐标，△x和△y分别表示变换后的x坐标和y坐标的偏移量。

在所述重叠区域初步融合步骤中，为实现多摄像机最终的实时融合，采用计算量小，运算速度快的加权平均法，其最终图像灰度值由下公式确定：

$\begin{array}{cc}{C}_m(x,y)=w_1{C}_1(x,y)+w_2{C}_2(x,y)+\mathrm{...}+w_k{C}_k(x,y)& {\mathrm{\Σ}}_i^k{w}_i=1\end{array}$

其中Cm(x,y)表示转换后的灰度图像在坐标(x,y)处的灰度值，w为各坐标位置的权重值。

在所述图像融合步骤中包括消除拼接缝步骤，在所述消除拼接缝步骤中，首先对图像进行小波变换分解，其次，根据中值滤波技术对小波分解中各高频部分进行中值滤波，最后重构图像。

在消除拼接缝步骤中，融合阶段结束后，还需要进行帧图像去噪，因此帧图像在融合的过程中用的是加权平法。在两幅图像中间的临界部分，通过去噪小波变换法，使图像过渡区域看上去更自然。利用图像噪声和信号所在频域分布不同，噪声常常表现为图像上孤立像素的灰度突变，具有高频特性和空间不相关性。具体去噪步骤为，首先对图像进行小波变换分解，其次，根据中值滤波技术对小波分解中各高频部分进行中值滤波，最后重构图像。

由于直接移植图像拼接及融合算法到多摄像头拼接，会导致最后新帧图像无法形成整体及无法满足实时性等问题，那么在对摄像机图像拼接算法进行改进时首先要想到的是提速。CPU的特点是强控制弱计算，更多资源用于缓存，而GPU(图像处理器)的特点是弱控制强计算，更多的资源是用于计算。因此，在图像图形处理提速方面，GPU编程是极有效的处理方法之一。由于图像拼接的每一个步骤都十分复杂精确，从特征描述的方式到特征检测的方式，从特征点相似判定标准到剔除误配，从最开始的初步融合到精细化的去噪，每一步既精细又不多余。要对整个过程精简，首先要找出整个过程的重复处和耗时处。

GPU(图像处理器)的运行需要程序进行指挥，但不是用原始的C程序，要调用它需要用到CUDA硬件编程框架。与GPU以及所包含的SP，SM相对应的CUDA编程框架可大致对应分为gird,block,thread。它们之间的关系为，一个网络(Grid)由若干线程块(block)组成，每个线程块则由最多512个线程组成。而软件程序中的并行计算部分有kennel以网络grid的形式执行。其基本步骤如下：

1.主机代码执行；

2.传输数据到GPU；

3.确定grid,block即并行线路的多少；

4.调用内核函数，GPU运行程序；

5.传输结果到GPU；

6.继续运行主机代码；

本发明还公开了一种视频拼接系统，包括：

提取及匹配模块，用于对多摄像机同一时刻所捕获的首帧图像组进行相应的特征提取，对首帧图像进行特征点匹配，确定精确有效的匹配特征点组合；

模板建立模块，用于根据首帧图像组中帧图像的匹配特征点对每帧图像进行形状及角度变换和精确剪切，并建立空白模板，将首帧图像组中的每个帧图像剪切后的数据精确投影到各自对应的空白模板上，建立公用数据单元；

图像融合模块，用于再次从多个摄像机中连续捕获一组组帧图像，将每帧图像按照各自所属摄像机对应的变换矩阵及剪切模板进行变形裁剪，然后对每对应组已经变形及裁剪过的帧图像进行帧图像融合；

处理模块，最后，设置帧率，将多个摄像机每个对应组所融合完成的最终图像以新的帧图像形式重新按顺序播放，形成多个摄像机组合成一个的效果。

在所述图像融合模块中包括重叠区域初步融合模块，在所述重叠区域初步融合模块中，当各摄像机之间的变换矩阵产生后，存储在空矩阵H中，以供后续帧使用，将匹配的帧图像组通过以下变换运算法对摄像机首帧进行变形：

$A^T=BH+\mathrm{\Δ}s=a\left[\begin{array}{cc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]+\left[\begin{array}{c}\mathrm{\Δ}x\\ \mathrm{\Δ}y\end{array}\right]$

A,B分别为两个帧图像的坐标矩阵，△s表示两幅帧图像之间的位移，θ为旋转角度，a为尺度变化倍数，x和y分别表示点的x坐标和y坐标，△x和△y分别表示变换后的x坐标和y坐标的偏移量。

在所述重叠区域初步融合模块中，为实现多摄像机最终的实时融合，采用计算量小，运算速度快的加权平均法，其最终图像灰度值由下公式确定：

$\begin{array}{cc}{C}_m(x,y)=w_1{C}_1(x,y)+w_2{C}_2(x,y)+\mathrm{...}+w_k{C}_k(x,y)& {\mathrm{\Σ}}_i^k{w}_i=1\end{array}$

其中Cm(x,y)表示转换后的灰度图像在坐标(x,y)处的灰度值，w为各坐标位置的权重值。

在所述图像融合模块中包括消除拼接缝模块，在所述消除拼接缝模块中，首先对图像进行小波变换分解，其次，根据中值滤波技术对小波分解中各高频部分进行中值滤波，最后重构图像。

摄像机捕获一些列静止图片是一幅幅静止的图像，同理，拼接的视频也一样，都是由摄像头捕获的一系列静止图像按一定的顺序连接构成的。所以，将几个摄像机拼接到一起，本质上是视频图像包含的帧图像拼接。

本发明是从各摄像机拍摄的视频中获取帧图像，按时间顺序对他们进行分组，利用每个摄像机对应的关键帧图像，运用图像拼接的技术方法，将每个摄像机所拍摄的视频片段关键帧进行图像匹配和图像融合，并用图像去噪的算法消除可能存在的接缝，再将拼接好的帧序列连成视频，由于将图像拼接的相关算法应用于视频后，计算量加大，导致处理的过程中效果和实时性较差，因此本发明将充分运用GPU等并行计算算法以及opencv运算库，同时进行帧图像处理部分并行处理，从而节省运行时间，提高性能。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (8)

1.一种视频拼接方法，其特征在于，包括如下步骤：

提取及匹配步骤，对多摄像机同一时刻所捕获的首帧图像组进行相应的特征提取，对首帧图像进行特征点匹配，确定精确有效的匹配特征点组合；

模板建立步骤，根据首帧图像组中帧图像的匹配特征点对每帧图像进行形状及角度变换和精确剪切，并建立空白模板，将首帧图像组中的每个帧图像剪切后的数据精确投影到各自对应的空白模板上，建立公用数据单元；

图像融合步骤，再次从多个摄像机中连续捕获一组组帧图像，将每帧图像按照各自所属摄像机对应的变换矩阵及剪切模板进行变形裁剪，然后对每对应组已经变形及裁剪过的帧图像进行帧图像融合；

处理步骤，最后，设置帧率，将多个摄像机每个对应组所融合完成的最终图像以新的帧图像形式重新按顺序播放，形成多个摄像机组合成一个的效果。

2.根据权利要求1所述的视频拼接方法，其特征在于，在所述图像融合步骤中包括重叠区域初步融合步骤，在所述重叠区域初步融合步骤中，当各摄像机之间的变换矩阵产生后，存储在空矩阵H中，以供后续帧使用，将匹配的帧图像组通过以下变换运算法对摄像机首帧进行变形：

$A^T=BH+\mathrm{\Δ}s=a\left[\begin{array}{cc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]+\left[\begin{array}{c}\mathrm{\Δ}x\\ \mathrm{\Δ}y\end{array}\right]$

A,B分别为两个帧图像的坐标矩阵，△s表示两幅帧图像之间的位移，θ为旋转角度，a为尺度变化倍数，x和y分别表示点的x坐标和y坐标，△x和△y分别表示变换后的x坐标和y坐标的偏移量。

3.根据权利要求2所述的视频拼接方法，其特征在于，在所述重叠区域初步融合步骤中，为实现多摄像机最终的实时融合，采用计算量小，运算速度快的加权平均法，其最终图像灰度值由下公式确定：

$\begin{array}{cc}{C}_m\left(x,y\right)=w_1{C}_1\left(x,y\right)+w_2{C}_2\left(x,y\right)+\mathrm{...}+w_k{C}_k\left(x,y\right)& {\mathrm{\Σ}}_i^k{w}_i=1\end{array}$

其中Cm(x,y)表示转换后的灰度图像在坐标(x,y)处的灰度值，w为各坐标位置的权重值。

4.根据权利要求1所述的视频拼接方法，其特征在于，在所述图像融合步骤中包括消除拼接缝步骤，在所述消除拼接缝步骤中，首先对图像进行小波变换分解，其次，根据中值滤波技术对小波分解中各高频部分进行中值滤波，最后重构图像。

5.一种视频拼接系统，其特征在于，包括：

提取及匹配模块，用于对多摄像机同一时刻所捕获的首帧图像组进行相应的特征提取，对首帧图像进行特征点匹配，确定精确有效的匹配特征点组合；

模板建立模块，用于根据首帧图像组中帧图像的匹配特征点对每帧图像进行形状及角度变换和精确剪切，并建立空白模板，将首帧图像组中的每个帧图像剪切后的数据精确投影到各自对应的空白模板上，建立公用数据单元；

图像融合模块，用于再次从多个摄像机中连续捕获一组组帧图像，将每帧图像按照各自所属摄像机对应的变换矩阵及剪切模板进行变形裁剪，然后对每对应组已经变形及裁剪过的帧图像进行帧图像融合；

处理模块，最后，设置帧率，将多个摄像机每个对应组所融合完成的最终图像以新的帧图像形式重新按顺序播放，形成多个摄像机组合成一个的效果。

6.根据权利要求5所述的视频拼接系统，其特征在于，在所述图像融合模块中包括重叠区域初步融合模块，在所述重叠区域初步融合模块中，当各摄像机之间的变换矩阵产生后，存储在空矩阵H中，以供后续帧使用，将匹配的帧图像组通过以下变换运算法对摄像机首帧进行变形：

$A^T=BH+\mathrm{\Δ}s=a\left[\begin{array}{cc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]+\left[\begin{array}{c}\mathrm{\Δ}x\\ \mathrm{\Δ}y\end{array}\right]$

A,B分别为两个帧图像的坐标矩阵，△s表示两幅帧图像之间的位移，θ为旋转角度，a为尺度变化倍数，x和y分别表示点的x坐标和y坐标，△x和△y分别表示变换后的x坐标和y坐标的偏移量。

7.根据权利要求6所述的视频拼接系统，其特征在于，在所述重叠区域初步融合模块中，为实现多摄像机最终的实时融合，采用计算量小，运算速度快的加权平均法，其最终图像灰度值由下公式确定：

$\begin{array}{cc}{C}_m\left(x,y\right)=w_1{C}_1\left(x,y\right)+w_2{C}_2\left(x,y\right)+\mathrm{...}+w_k{C}_k\left(x,y\right)& {\mathrm{\Σ}}_i^k{w}_i=1\end{array}$

其中Cm(x,y)表示转换后的灰度图像在坐标(x,y)处的灰度值，w为各坐标位置的权重值。

8.根据权利要求5所述的视频拼接系统，其特征在于，在所述图像融合模块中包括消除拼接缝模块，在所述消除拼接缝模块中，首先对图像进行小波变换分解，其次，根据中值滤波技术对小波分解中各高频部分进行中值滤波，最后重构图像。