CN113221665A - 一种基于动态最佳缝合线和改进渐入渐出法的视频融合算法 - Google Patents

Abstract

本发明公开了一种基于动态最佳缝合线和改进渐入渐出法的视频融合算法，属于视频信息处理技术领域。通过多目摄像机系统采集具有重叠区域的实时视频流；提取重叠区域的特征点并对特征点进行粗匹配和提纯，结合光束平差法计算出每一目摄像机的内参矩阵和旋转矩阵；在对不同视角间的图像进行球面投影并扭曲到同一基准平面后，采用最佳缝合线算法对视频图像进行拼合，针对有运动物体经过图像重叠区域而产生重影和模糊的情况，采用最佳缝合线动态更新算法来避免运动物体穿过缝合线时所产生的重影和模糊现象；利用改进的渐入渐出融合算法得到具有良好视觉效果的宽视场和高分辨率的全景拼接视频。其步骤简单，能够快速得到具有良好视觉效果的拼接图。

Description

一种基于动态最佳缝合线和改进渐入渐出法的视频融合算法

技术领域

本发明涉及一种视频融合算法，尤其适用于多目摄像机系统使用的一种基于动态最佳缝合线和改进渐入渐出法的视频融合算法，属于视频信息处理技术领域。

背景技术

视觉是人类获取信息最有效的手段，人类每天接收到的信息约有80％是通过视觉获取的。在当今社会，数码摄像机等拍摄设备、摄影录像等技术已经成为每个家庭的必须品，视频和图像等多媒体信息更是在监控安防、智能驾驶、娱乐、遥感、军事等诸多领域发挥着重要的作用。目前，市面上大多数的视频拍摄设备能获得的视场较小，远不及人眼视场，这很难满足目前人们对于大视场、高分辨率视频的需求。因此，视频拼接技术应运而生。

视频拼接技术是以图像拼接技术为基础的。所谓视频拼接，就是将多目摄像机采集到的具有重叠区域的视频流根据一定的配准与融合技术将其拼合在一起形成具有大视场和高分辨率的全景视频流。视频拼接技术被广泛应用在多个领域，但是目前多数的视频拼接方法难以满足日益增长的实时性和视觉质量要求。

图像拼接主要包含图像配准和图像融合两个方面。目前，国内外学者已经提出多种不同的图像拼接方法。在图像配准方面，Lowe在2003年提出一种基于尺度不变特征变换(SIFT)的特征检测图像配准算法，该方法可以在保证仿射、噪声、视角等性能稳定的同时，不改变图像局部特征(如亮度、旋转、缩放)的属性，因此具有较好的鲁棒性。然而SIFT算法的计算较为复杂，因此实时性不高，并且对于边缘光滑的目标特征点提取能力较弱。为了改进SIFT算法的缺陷，2006年，Bay等人提出SURF算法，该算法改进了特征点的提取和描述方式，使得特征点的匹配变得更为高效。2011年，Roblee提出ORB图像配准方法，该算法结合了FAST角点检测和BRIEF特征点描述子生成两种算法，大大提高了图像拼接的速度。目前，ORB算法是国际上拼接速度较快的算法，但是由于ORB算法不具有尺度不变性，所以其应用范围相比SURF和SIFT算法受限很多。

在图像融合方面，图像配准完成后需要将多张图像融合为一张视觉一致的无缝宽视场图像，关于图像融合的方法国内外也已经有了很多关于该方面的研究。由于简单的Alpha融合和羽化融合外都无法处理图像融合过程中出现的接缝和鬼影问题。为解决拼接过程中出现的鬼影和接缝问题，Burt提出了一种基于图像金字塔的多频带融合方法。PatrickPerez将图像的融合问题定义为一个图像编辑的问题，并使用泊松偏微分方程和狄利克雷边界条件求解获得了具有良好视觉一致性的无缝融合图像。但由于解泊松偏微分方程本身是一个变分的问题，求解该方程的时间复杂度很高。为提高效率，Zeev Farbman提出可以将原来图像编辑问题转化为一个使用边界值对区域内部进行插值的均值坐标系方法，在保证图像融合效果的情况下，提高了图像融合的速度。为进一步提升计算效率，ZeevFarbman在2011年提出了一种使用卷积金字塔替代均值坐标系的算法，在保证融合性能的前提条件下进一步提高了计算的效率。

视频拼接技术与图像拼接技术的最大不同之处在于视频拼接中会有运动物体的干扰。在图像拼接技术中，使用最佳缝合线算法可以很好的避免重叠区域中重影和模糊现象的出现，但是在视频拼接中，当有运动物体进过最佳缝合线时，将会产生很明显的重影、模糊以及拼接缝。因此，对于视频拼接，需要实时地更新最佳缝合线来避免运动物体通过。现有的大多数视频拼接算法，无法在保证实时的同时又能得到具有良好视觉效果的全景视频。

由于不同视角的摄像机对同一区域拍摄的画面会产生一定的视差，这将在拼接图像中的重叠区域产生模糊和重影现象，尤其是当有运动物体经过缝合线时，这一现象将会变得更加明显。此外，不同摄像机拍摄到的视频画面可能存在不同的光照差异，这将会使得最终拼接图像的重叠区域出现很明显的拼接缝和过渡不平滑的问题。目前大多数算法不能同时兼顾实时性与拼接图像效果。

发明内容

技术问题：针对上述技术问题，提供一种基于动态最佳缝合线和改进渐入渐出法的视频融合算法，能够很好的解决因运动物体经过缝合线以及不同光照差异所产生的重影、模糊、拼接缝和过渡不平滑的问题，同时兼顾实时性与拼接图像效果。

技术方案：为实现上述技术目的，本发明的一种基于动态最佳缝合线和改进渐入渐出法的视频融合算法，首先使用位置固定的多目摄像机系统在同一时间采集视频信息从而获得多路视频流，通过对多路视频流中的视频图像进行同步、解码、畸变校正、配准对齐、投影映射、搜寻缝合线以及融合，从而将多路视频流整合为具有大视场和高分辨率的实时全景视频流；

具体的步骤如下：

步骤1：利用多目摄像机系统拍摄包含高速运动物体的视频，对多目摄像机系统进行相机标定，从而得到相机镜头的畸变坐标映射矩阵；

步骤2：根据畸变坐标映射矩阵对多目摄像机系统采集的所有视频流中各自的第一帧视频图像进行校正并作图像配准，之后再结合光束平差法得到每一目镜头精确的内参矩阵和旋转矩阵；

步骤3：选取多目摄像机系统其中一个镜头的成像平面作为基准平面，根据每一目镜头的内参矩阵和旋转矩阵分别对已校正的第一帧视频图像先进行前向球面映射再进行反向映射到基准平面上，得到投影映射矩阵；

步骤4：对视频流中后续的每一帧图像根据畸变坐标映射矩阵和投影映射矩阵分别进行畸变校正和球面投影映射。

步骤5：利用相邻图像间的单应性变换矩阵求出多目摄像机系统中相邻摄像镜头所拍摄图像之间的重叠区域；

步骤6：对重叠区域图像进行高斯模糊和下采样，即通过减小图像尺度来降低计算量；

步骤7：对经过高斯模糊和下采样后的重叠区域图像进行基于混合高斯模型MOG的背景去除，从而得到分割出来的前景图像；

步骤8：利用最佳缝合线算法计算第一帧重叠区域图像的最佳缝合线，之后的每一帧图像均依据前景图像来判断是否需要重新搜索最佳缝合线，通过判断是否存在缝合线上的像素点落在当前帧的前景图像区域内来确定是否需要重新搜索，若存在，则重新计算当前帧的最佳缝合线并更新，否则继续沿用前一帧图像的最佳缝合线；

步骤9：若更新最佳缝合线，则使用基于动态规划的最佳缝合线算法对小尺度下的图像进行搜寻更新；

步骤10：将在小尺度图像中搜寻到最佳缝合线进行线性插值得到原尺度下的最佳缝合线；

步骤11：基于寻找到的最佳缝合线，采用改进的渐入渐出融合算法对多目摄像机系统同一时刻获取的多幅图像进行融合，最终获得整张融合后的全景图像。

所述多目摄像机系统为Insta360 Pro2多目摄像头系统，该摄像机系统呈球状，在机身四周同一水平面上等间隔分布了6个具有同样光学特性的鱼眼镜头，拍摄的视场相比人眼视场宽阔很多，相邻镜头间采集的视频具有一定的重叠区域，大约占视频画面的三分之一。

对校正后的第一帧视频图像运用SURF算法提取特征点并生成对应的特征描述子；

采用最近邻算法对相邻已校正图像的特征点进行粗匹配，再采用RANSAC算法对匹配的特征点对进行提纯，最终求出相邻两幅图像之间的单应性变换矩阵；

先根据求出的单应性变换矩阵估算出每目镜头的内参矩阵和旋转矩阵，再采用光束平差法得到镜头精确化后的内参矩阵和旋转矩阵并保存；

最后根据镜头的内参矩阵和旋转矩阵对已校正的第一帧视频图像先进行前向球面映射再进行反向映射到基准图像所在的平面上，得到投影映射矩阵并保存。

所述基于动态规划的最佳缝合线算法，具体表现为在相邻两幅图像的重叠区域寻找一条最佳缝合线，在该缝合线上的像素点彼此最为相似；为了搜索最佳缝合线，首选定义一个相似函数e(i,j)，用于衡量像素之间的灰度、梯度和纹理强度的相似度，e(i,j)越小，则表明两图像在该像素位置越相似：

其中ξ^I(i,j)和

表示重叠区域同一像素位置I₁(i,j)和I₂(i,j)的强度差和梯度差，w₁和w₂为强度差和梯度差的权重，且w₁+w₂＝1；由于人眼视觉对于强度的变化比强度本身更为敏感，因此权重w₁取为0.3，权重w₂取为0.7。

搜索最佳缝合线，具体包括：图像重叠区域最后一行中的每个像素点都是一条缝合线的终点，设E(x,y)表示沿着缝合线从缝合线起点到像素点(x,y)的累积相似度度量，限制重叠区域每一行只取一个像素点作为最终最佳缝合线上的点，因此该最优化问题具有最优子结构，可以使用动态规划算法来计算重叠区域的最佳缝合线，迭代方程如下：

其中，mask为视频图像重叠区域经过MOG背景消除后得到的二值化的前景图像，L为每行的探测范围，L值取为1。

步骤9中对每一帧图像的重叠区域经过高斯模糊下采样后得到的图像进行最佳缝合线动态更新的具体方法为：

1)初始化：重叠区域最后一行中的每个像素点都对应一条缝合线的终点，对重叠区域中第一行各列的像素点计算其相似度值，对应的各位置的累计相似度度量值被初始化为各点的相似度值。

2)向下扩展：当前行的计算已完成后，向下扩展来计算缝合线的累计相似度度量，直到最后一行；具体来说，扩张的方法是将每一行的当前点上一行的左上方、垂直上方和右上方的三个像素点的累积相似度度量值进行比较，将取值最小的点与当前点连在一起，记录下抵达当前点的传播方向并计算当前点的累积相似度度量值。以此方法计算当前行所有像素点的累积相似度度量值。

3)回溯选择最佳缝合线：扩展完成之后，遍历最后一行的所有累积相似度度量值，找到其中的最小值，对应的像素点即为最佳缝合线的终点，再根据每个像素记录的传播方向进行回溯直到重叠区域的第一行，即可确定最佳缝合线。

在步骤11中，基于搜索到的最佳缝合线，使用改进的渐入渐出算法对拼接图像进行融合的具体方法为：

1)划分重叠区域：基于重叠区域搜索到的最佳缝合线，重叠区域分为三个部分，第一部分为重叠区域的左边界到最佳缝合线之间的区域，第二部分为最佳缝合线，第三部分为最佳缝合线到重叠区域的右边界。

2)分别对重叠区域的三个部分进行融合：对于最佳缝合线左右两个区域依然按照现有的渐入渐出法进行融合，之后再加上搜索到的最佳缝合线即可完成总的图像融合，最终可以达到消除拼接图像重叠区域的重影、模糊、拼接缝和过渡不平滑的问题；

渐入渐出融合算法的思想是将两幅图像的重叠区域的像素值的加权和作为最终的像素值，该方法方便快捷，但是融合过程中，图像细节会模糊，当有运动物体在重叠区域移动时，还会出现重影。而改进的渐入渐出算法克服了上述的缺点，该算法基于动态最佳缝合线，首先，将重叠区域分为三个部分，第一部分为重叠区域的左边界到最佳缝合线之间的区域，第二部分为最佳缝合线，第三部分为最佳缝合线到重叠区域的右边界。然后，对最佳缝合线的两边依然按照现有的渐入渐出法进行融合，再加上最佳缝合线完成总的图像融合，最终可以达到消除重影、模糊、拼接缝和光照差异问题。该算法的公式为：

其中，I₁表示参考图像到重叠区域左边界的像素点，I₁∩I_seam表示重叠区域左边界到最佳缝合线I_seam之间的像素点，I_seam∩I₂表示最佳缝合线到重叠区域右边界之间的像素点，I₂表示重叠区域右边界到待拼接图像的像素点，d₁+d_seam1＝1,0＜d₁＜1,d_seam2+d₂＝1,0＜d₂＜1，各系数的具体计算公式如下：

其中，x_i表示重叠区域当前像素点的横坐标，x_l表示重叠区域左边界点的横坐标，x_r表示重叠区域右边界点的横坐标，x_seam表示最佳缝合线上点的横坐标。

有益效果：本发明在拼接预处理阶段完成了相机标定、畸变校正、图像配准、镜头参数精确化以及球面投影变换，并且保存了拼接过程中需要用到的畸变坐标变换矩阵、镜头精确化后的参数以及球面投影映射变换矩阵，提出了基于视频中运动物体所在的前景区域来更新最佳缝合线的方法，即如果前一帧求出的最佳缝合线穿过当前帧图像的前景区域，那么对当前帧图像重新搜索最佳缝合线，否则当前帧图像继续沿用前一帧的最佳缝合线，从而大大降低了拼接系统的处理时间。在寻找最佳缝合线和图像融合阶段，结合本发明改进的最佳缝合线方法使用改进的渐入渐出法来消除拼接缝，以最佳缝合线为界，对其两边的重叠区域分别使用原有的渐入渐出算法进行融合，之后再加上最佳缝合线，即可平滑拼接图像的重叠区域。该方法有效的避免了因为运动物体的存在和光照差异而引起的重影、模糊、拼接缝和过渡不平滑的问题，得到了具有良好视觉效果的无缝融合拼接图像。

附图说明

图1为本发明基于动态最佳缝合线和改进渐入渐出法的视频融合算法的流程图；

图2为本发明对视频图像进行预处理的流程图；

图3为鱼眼镜头拍摄的五路RTMP视频流中的各自第一帧原始视频图像；

图4为原始视频图像经过畸变矫正和球面投影映射之后的结果图；

图5为经高斯模糊下采样得到的重叠区域图像和其经MOG背景去除后得到的前景图像；

图6为有运动物体经过固定的最佳缝合线的图像；

图7为对图6中最佳缝合线进行动态更新后得到的图像；

图8为在固定最佳缝合线的情况下得到的两目拼接结果图；

图9为在动态更新最佳缝合线的情况下结合改进渐入渐出法得到的两目拼接结果图；

图10为采用本发明中的算法对图2的五张图像进行拼接得到的全景图。

具体实施方式

下面结合附图对本发明的实施例作进一步说明：

如图1所示，本发明基于动态最佳缝合线和改进渐入渐出法的视频融合算法，为了避免运动物体经过缝合线和不同光照差异产生的影响，先通过基于混合高斯(MOG)的背景去除算法，对每一帧视频图像进行背景去除，得到前景图像。再根据相应的目标函数使用基于动态规划的最佳缝合线算法得到没有运动物体通过的最佳缝合线，最后使用改进的渐入渐出法消除由最佳缝合线融合所产生的拼接缝。

使用的视频拼接系统包含由多目鱼眼摄像机系统采集的具有重叠区域的实时视频流，但实际使用中多目摄像机系统的类型不受限制；由于鱼眼镜头有严重的径向畸变，因此需要先对每帧视频图像进行校正之后再进行配准、投影和融合。配准算法使用基于特征点的SURF算法，投影方式根据多个镜头的位置排列方式选择了球面投影，融合算法则结合了动态最佳缝合线算法和改进渐入渐出算法。

其具体步骤如下：

步骤1：拼接预处理

步骤1.1：使用国际象棋标准棋盘格进行相机标定，得到畸变坐标映射矩阵并保存。

步骤1.2：根据畸变坐标映射矩阵对各个镜头采集到的视频流中的第一帧视频图像进行校正。

步骤1.3：对校正后的第一帧视频图像运用SURF算法提取特征点并生成对应的特征描述子。

步骤1.4：先采用最近邻算法对相邻已校正图像的特征点进行粗匹配，再采用RANSAC算法对匹配的特征点对进行提纯，最终求出相邻两幅图像之间的单应性变换矩阵

步骤1.5：先根据求出的单应性变换矩阵估算出每目镜头的内参矩阵和旋转矩阵，再采用光束平差法得到镜头精确化后的内参矩阵和旋转矩阵并保存。

步骤1.6：根据镜头的内参矩阵和旋转矩阵对已校正的第一帧视频图像先进行前向球面映射再进行反向映射到基准图像所在的平面上，得到投影映射矩阵并保存。

由于各张视频图像是相机在不同角度下拍摄得到的，它们并不在同一个投影平面上，如果直接对重叠部分进行拼接，则会破坏实际场景的视觉一致性，所以需要在拼接之前对图像进行投影变换，即对图像进行扭曲变形。设图像中某像素点的二维坐标为(x,y)，它所对应的世界坐标为(X,Y,Z)，则两者之间的关系为：

其中，R为旋转矩阵，K为相机的内参矩阵。

根据多目摄像机系统中各个镜头的分布情况，本发明中采用的投影方式为球面投影。假设像素点(x,y)采用球面投影映射后的二维坐标为(u,v)，则球面投影的前向映射公式为：

其中，s表示尺度，与相机焦距成正比。球面投影的反向映射公式为：

步骤2：寻找最佳缝合线

步骤2.1：根据畸变坐标映射矩阵和投影映射矩阵对视频流中的每一帧视频图像分别进行畸变校正和投影映射。

步骤2.2：求出所有视频图像的重叠区域，并对每一张重叠区域图像重复进行5*5高斯模糊和下采样；

由于一张高分辨率图像中的数据存在很多的冗余，因此在高分辨率的图像中搜索最佳缝合线耗时较多。使用高斯模糊并下采样得到的图像能够在保证一定精度的情况下有效地降低最佳缝合线搜索的时间复杂度，并有效地消除噪声点对图像的影响。因此，一般情况下会在降低图像数据冗余的小尺度图像下搜索最佳缝合线，之后再通过线性插值得到图像原尺度下的最佳缝合线。设一张原始图像为I，使用高斯模糊并下采样后得到的图像为G，5*5的高斯模板为w(m,n)，那么有：

步骤2.3：先采用MOG对下采样后的每一个重叠区域图像进行背景去除，再对其进行先腐蚀后膨胀的操作，最终得到当前图像的前景区域；

步骤2.4：判断前一帧图像搜寻出的最佳缝合线上是否有像素点落在当前帧的前景区域，若有，则更新最佳缝合线，即重新计算当前帧图像的最佳缝合线，否则继续沿用前一帧图像的最佳缝合线。

步骤2.5：如果需要更新最佳缝合线，可以使用基于动态规划的最佳缝合线算法进行搜寻更新。

步骤2.6：将在小尺度图像中搜寻到最佳缝合线进行线性插值得到原图像尺度下的最佳缝合线。

基于动态规划的最佳缝合线算法，具体表现为在相邻两幅图像的重叠区域寻找一条最佳缝合线，在该缝合线上的像素点彼此最为相似。为了搜索最佳缝合线，通常会定义一个相似函数e(i,j)，用于衡量像素之间的灰度、梯度和纹理强度的相似度，e(i,j)越小，则表明两图像在该像素位置越相似：

其中ξ^I(i,j)和

表示重叠区域同一像素位置I₁(i,j)和I₂(i,j)的强度差和梯度差，w₁和w₂为强度差和梯度差的权重，且w₁+w₂＝1。由于人眼视觉对于强度的变化比强度本身更为敏感，因此，本发明中w₁取为0.3，w₂取为0.7，该取值在大多数情况下是可行的。

搜索最佳缝合线在本质上是一个最优化问题，假设E(x,y)表示沿着缝合线从缝合线起点到像素点(x,y)的累积相似度度量，由于限制了重叠区域每一行只取一个像素点作为最终最佳缝合线上的点，因此该最优化问题具有最优子结构，可以使用动态规划算法来计算重叠区域的最佳缝合线，迭代方程如下：

其中，mask为视频图像重叠区域经过MOG背景消除后得到的二值化前景图像，L为每行的探测范围，一般L值取为1，该算法可以分为以下3个步骤：

1)初始化：重叠区域最后一行中的每个像素点都对应一条缝合线的终点，对重叠区域中第一行各列的像素点计算其相似度值，对应的各位置的累计相似度度量值被初始化为各点的相似度值。

2)向下扩展：当前行的计算已完成，向下扩展来计算缝合线的累计相似度度量，直到最后一行。具体来说，扩张的方法是将每一行的当前点上一行的左上方、垂直上方和右上方的三个像素点的累积相似度度量值进行比较，将取值最小的点与当前点连在一起，记录下抵达当前点的传播方向并计算当前点的累积相似度度量值。以此方法计算当前行所有像素点的累积相似度度量值。

3)回溯选择最佳缝合线：扩展完成之后，遍历最后一行的所有累积相似度度量值，找到其中的最小值，对应的像素点即为最佳缝合线的终点，再根据每个像素记录的传播方向进行回溯直到重叠区域的第一行，即可确定最佳缝合线。

步骤3：运用基于动态最佳缝合线的改进渐入渐出法融合图像

步骤3.1：划分重叠区域。基于重叠区域搜索到的最佳缝合线，将重叠区域分为三个部分，第一部分为重叠区域的左边界到最佳缝合线之间的区域，第二部分为最佳缝合线，第三部分为最佳缝合线到重叠区域的右边界。

步骤3.2：分别对重叠区域的三个部分进行融合。对于最佳缝合线左右两个区域依然按照现有的渐入渐出法进行融合，之后再加上搜索到的最佳缝合线即可完成总的图像融合，最终可以达到消除拼接图像重叠区域重影、模糊、拼接缝和过渡不平滑的问题。

渐入渐出融合算法的思想是将两幅图像的重叠区域的像素值的加权和作为最终的像素值，该方法方便快捷，但是融合过程中，图像细节会模糊，当有运动物体在重叠区域移动时，还会出现重影。而改进的渐入渐出算法克服了上述的缺点，该算法基于动态最佳缝合线，首先，将重叠区域分为三个部分，第一部分为重叠区域的左边界到最佳缝合线之间的区域，第二部分为最佳缝合线，第三部分为最佳缝合线到重叠区域的右边界。然后，对最佳缝合线的两边依然按照现有的渐入渐出法进行融合，再加上最佳缝合线完成总的图像融合，最终可以达到消除重影、模糊、拼接缝和光照差异问题。该算法的公式为：

其中，I₁表示参考图像到重叠区域左边界的像素点，I₁∩I_seam表示重叠区域左边界到最佳缝合线I_seam之间的像素点，I_seam∩I₂表示最佳缝合线到重叠区域右边界之间的像素点，I₂表示重叠区域右边界到待拼接图像的像素点，d₁+d_seam1＝1,0＜d₁＜1,d_seam2+d₂＝1,0＜d₂＜1，各系数的具体计算公式如下：

其中，x_i表示重叠区域当前像素点的横坐标，x_l表示重叠区域左边界点的横坐标，x_r表示重叠区域右边界点的横坐标，x_seam表示最佳缝合线上点的横坐标。

实施例1：对多目鱼眼摄像机采集的五路分辨率均为3840*2160的视频流的实时拼接。

由于鱼眼镜头有严重的径向畸变，因此需要先对每帧视频图像进行校正之后再进行配准、投影和融合。在本发明中，为了避免因运动物体经过缝合线和不同光照差异产生的影响，一种基于动态最佳缝合线和改进渐入渐出法的视频融合算法被提出。先通过基于混合高斯(MOG)的背景去除算法，对每一帧视频图像进行背景去除，得到前景图像。再根据相应的目标函数使用基于动态规划的最佳缝合线算法得到没有运动物体通过的最佳缝合线，最后使用改进的渐入渐出法消除由最佳缝合线融合所产生的拼接缝。如图1所示的实时拼接系统的具体实施步骤为：

1)拼接预处理，包括相机标定、畸变校正、图像配准、摄像机参数估计以及球面投影变换，得到畸变坐标变换矩阵、摄像机精确化后的参数以及球面投影映射变换矩阵并保存，预处理模块的具体过程见图2。预处理中使用的视频图像仅为各路视频流中的第一帧图像，如图3的(a)、(b)和(c)。

2)根据步骤1)保存的参数对各路视频流中的每一帧图像进行畸变校正和球面投影映射，得到的结果如图4所示。

3)对经过高斯模糊和下采样后的重叠区域图像进行MOG背景去除，得到其分割后的前景图像，如图5的(a)和(b)所示。

4)判断前一帧图像搜寻出的最佳缝合线上是否有像素点落在当前帧的前景区域，若有，则更新最佳缝合线，即重新计算当前帧图像的最佳缝合线，否则继续沿用前一帧图像的最佳缝合线。

5)如果要更新最佳缝合线，可以使用基于动态规划的最佳缝合线算法进行搜寻更新。

6)将在小尺度图像中搜寻到最佳缝合线进行线性插值得到图像原尺度下的最佳缝合线。

图6为有运动物体经过固定最佳缝合线的图像，图7为对图6中最佳缝合线进行动态更新后得到的图像，可以很明显的看到最佳缝合线很好的避开了运动物体。

7)基于寻找到的最佳缝合线，采用改进的渐入渐出融合算法对拼接图像进行融合。

渐入渐出融合算法的思想是将两幅图像重叠区域像素值的加权和作为最终拼接图像的像素值，该方法方便快捷，但是融合过程中，图像细节会模糊，当有运动物体在重叠区域移动时，还会出现重影。而改进的渐入渐出算法克服了上述的缺点，该算法基于动态最佳缝合线，首先，将重叠区域分为三个部分，第一部分为重叠区域的左边界到最佳缝合线之间的区域，第二部分为最佳缝合线，第三部分为最佳缝合线到重叠区域的右边界。然后，对最佳缝合线的两边依然按照现有的渐入渐出法进行融合，再加上最佳缝合线完成总的图像融合，最终可以达到消除重影、模糊、拼接缝和光照差异问题。该算法的公式为：

其中，I₁表示参考图像到重叠区域左边界的像素点，I₁∩I_seam表示重叠区域左边界到最佳缝合线I_seam之间的像素点，I_seam∩I₂表示最佳缝合线到重叠区域右边界之间的像素点，I₂表示重叠区域右边界到待拼接图像的像素点，d₁+d_seam1＝1,0＜d₁＜1,d_seam2+d₂＝1,0＜d₂＜1，各系数的具体计算公式如下：

其中，x_i表示重叠区域当前像素点的横坐标，x_l表示重叠区域左边界点的横坐标，x_r表示重叠区域右边界点的横坐标，x_seam表示最佳缝合线上点的横坐标。

在固定缝合线的情况下得到的两目拼接结果图如图8，在动态更新最佳缝合线的情况下结合改进渐入渐出法得到的两目拼接结果图如图9，可以很明显的看出本发明中的算法具有更好的拼接效果。图10为采用本发明中的算法对图2的五张图像进行拼接得到的全景图。

Claims (7)

1.一种基于动态最佳缝合线和改进渐入渐出法的视频融合算法，其特征在于：首先使用位置固定的多目摄像机系统在同一时间采集视频信息从而获得多路视频流，通过对多路视频流中的视频图像进行同步、解码、畸变校正、配准对齐、投影映射、搜寻缝合线以及融合，从而将多路视频流整合为具有大视场和高分辨率的实时全景视频流；

具体的步骤如下：

步骤1：利用多目摄像机系统拍摄包含高速运动物体的视频，对多目摄像机系统进行相机标定，从而得到相机镜头的畸变坐标映射矩阵；

步骤2：根据畸变坐标映射矩阵对多目摄像机系统采集的所有视频流中各自的第一帧视频图像进行校正并作图像配准，之后再结合光束平差法得到每一目镜头精确的内参矩阵和旋转矩阵；

步骤3：选取多目摄像机系统其中一个镜头的成像平面作为基准平面，根据每一目镜头的内参矩阵和旋转矩阵分别对已校正的第一帧视频图像先进行前向球面映射再进行反向映射到基准平面上，得到投影映射矩阵；

步骤4：对视频流中后续的每一帧图像根据畸变坐标映射矩阵和投影映射矩阵分别进行畸变校正和球面投影映射。

步骤5：利用相邻图像间的单应性变换矩阵求出多目摄像机系统中相邻摄像镜头所拍摄图像之间的重叠区域；

步骤6：对重叠区域图像进行高斯模糊和下采样，即通过减小图像尺度来降低计算量；

步骤7：对经过高斯模糊和下采样后的重叠区域图像进行基于混合高斯模型MOG的背景去除，从而得到分割出来的前景图像；

步骤8：利用最佳缝合线算法计算第一帧重叠区域图像的最佳缝合线，之后的每一帧图像均依据前景图像来判断是否需要重新搜索最佳缝合线，通过判断是否存在缝合线上的像素点落在当前帧的前景图像区域内来确定是否需要重新搜索，若存在，则重新计算当前帧的最佳缝合线并更新，否则继续沿用前一帧图像的最佳缝合线；

步骤9：若更新最佳缝合线，则使用基于动态规划的最佳缝合线算法对小尺度下的图像进行搜寻更新；

步骤10：将在小尺度图像中搜寻到最佳缝合线进行线性插值得到原尺度下的最佳缝合线；

步骤11：基于寻找到的最佳缝合线，采用改进的渐入渐出融合算法对多目摄像机系统同一时刻获取的多幅图像进行融合，最终获得整张融合后的全景图像。

2.根据权利要求1所述的基于动态最佳缝合线和改进渐入渐出法的视频融合算法，其特征在于：所述多目摄像机系统为Insta360Pro2多目摄像头系统，该摄像机系统呈球状，在机身四周同一水平面上等间隔分布了6个具有同样光学特性的鱼眼镜头，拍摄的视场相比人眼视场宽阔很多，相邻镜头间采集的视频具有一定的重叠区域，大约占视频画面的三分之一。

3.根据权利要求1所述的基于动态最佳缝合线和改进渐入渐出法的视频融合算法，其特征在于：对校正后的第一帧视频图像运用SURF算法提取特征点并生成对应的特征描述子；

采用最近邻算法对相邻已校正图像的特征点进行粗匹配，再采用RANSAC算法对匹配的特征点对进行提纯，最终求出相邻两幅图像之间的单应性变换矩阵；

先根据求出的单应性变换矩阵估算出每目镜头的内参矩阵和旋转矩阵，再采用光束平差法得到镜头精确化后的内参矩阵和旋转矩阵并保存；

最后根据镜头的内参矩阵和旋转矩阵对已校正的第一帧视频图像先进行前向球面映射再进行反向映射到基准图像所在的平面上，得到投影映射矩阵并保存。

4.根据权利要求1所述的基于动态最佳缝合线和改进渐入渐出法的视频融合算法，其特征在于：所述基于动态规划的最佳缝合线算法，具体表现为在相邻两幅图像的重叠区域寻找一条最佳缝合线，在该缝合线上的像素点彼此最为相似；为了搜索最佳缝合线，首选定义一个相似函数e(i,j)，用于衡量像素之间的灰度、梯度和纹理强度的相似度，e(i,j)越小，则表明两图像在该像素位置越相似：

e(i,j)＝w₁ξ^I(i,j)+w₂ξ^▽(i,j)

其中ξ^I(i,j)和ξ^▽(i,j)表示重叠区域同一像素位置I₁(i,j)和I₂(i,j)的强度差和梯度差，w₁和w₂为强度差和梯度差的权重，且w₁+w₂＝1；由人眼视觉对于强度的变化比强度本身更为敏感，因此权重w₁取为0.3，权重w₂取为0.7。

5.根据权利要求4所述的基于动态最佳缝合线和改进渐入渐出法的视频融合算法，其特征在于搜索最佳缝合线，具体包括：图像重叠区域最后一行中的每个像素点都是一条缝合线的终点，设E(x,y)表示沿着缝合线从缝合线起点到像素点(x,y)的累积相似度度量，限制重叠区域每一行只取一个像素点作为最终最佳缝合线上的点，因此该最优化问题具有最优子结构，可以使用动态规划算法来计算重叠区域的最佳缝合线，迭代方程如下：

其中，mask为视频图像重叠区域经过MOG背景消除后得到的二值化的前景图像，L为每行的探测范围，L值取为1。

6.根据权利要求1所述的基于动态最佳缝合线和改进渐入渐出法的视频融合算法，其特征在于步骤9中对每一帧图像的重叠区域经过高斯模糊下采样后得到的图像进行最佳缝合线动态更新的具体方法为：

1)初始化：重叠区域最后一行中的每个像素点都对应一条缝合线的终点，对重叠区域中第一行各列的像素点计算其相似度值，对应的各位置的累计相似度度量值被初始化为各点的相似度值。

2)向下扩展：当前行的计算已完成后，向下扩展来计算缝合线的累计相似度度量，直到最后一行；具体来说，扩张的方法是将每一行的当前点上一行的左上方、垂直上方和右上方的三个像素点的累积相似度度量值进行比较，将取值最小的点与当前点连在一起，记录下抵达当前点的传播方向并计算当前点的累积相似度度量值。以此方法计算当前行所有像素点的累积相似度度量值。

3)回溯选择最佳缝合线：扩展完成之后，遍历最后一行的所有累积相似度度量值，找到其中的最小值，对应的像素点即为最佳缝合线的终点，再根据每个像素记录的传播方向进行回溯直到重叠区域的第一行，即可确定最佳缝合线。

7.根据权利要求1所述的基于动态最佳缝合线和改进渐入渐出法的视频融合算法，其特征在于在步骤11中，基于搜索到的最佳缝合线，使用改进的渐入渐出算法对拼接图像进行融合的具体方法为：

1)划分重叠区域：基于重叠区域搜索到的最佳缝合线，重叠区域分为三个部分，第一部分为重叠区域的左边界到最佳缝合线之间的区域，第二部分为最佳缝合线，第三部分为最佳缝合线到重叠区域的右边界。

2)分别对重叠区域的三个部分进行融合：对于最佳缝合线左右两个区域依然按照现有的渐入渐出法进行融合，之后再加上搜索到的最佳缝合线即可完成总的图像融合，最终可以达到消除拼接图像重叠区域的重影、模糊、拼接缝和过渡不平滑的问题；

渐入渐出融合算法的思想是将两幅图像的重叠区域的像素值的加权和作为最终的像素值，该方法方便快捷，但是融合过程中，图像细节会模糊，当有运动物体在重叠区域移动时，还会出现重影。而改进的渐入渐出算法克服了上述的缺点，该算法基于动态最佳缝合线，首先，将重叠区域分为三个部分，第一部分为重叠区域的左边界到最佳缝合线之间的区域，第二部分为最佳缝合线，第三部分为最佳缝合线到重叠区域的右边界。然后，对最佳缝合线的两边依然按照现有的渐入渐出法进行融合，再加上最佳缝合线完成总的图像融合，最终可以达到消除重影、模糊、拼接缝和光照差异问题。该算法的公式为：

其中，I₁表示参考图像到重叠区域左边界的像素点，I₁∩I_seam表示重叠区域左边界到最佳缝合线I_seam之间的像素点，I_seam∩I₂表示最佳缝合线到重叠区域右边界之间的像素点，I₂表示重叠区域右边界到待拼接图像的像素点，d₁+d_seam1＝1,0＜d₁＜1,d_seam2+d₂＝1,0＜d₂＜1，各系数的具体计算公式如下：

其中，x_i表示重叠区域当前像素点的横坐标，x_l表示重叠区域左边界点的横坐标，x_r表示重叠区域右边界点的横坐标，x_seam表示最佳缝合线上点的横坐标。

Images