CN114331835A

CN114331835A - 一种基于最优映射矩阵的全景图像拼接方法及装置

Info

Publication number: CN114331835A
Application number: CN202111534286.8A
Authority: CN
Inventors: 杜海浪; 李宏刚; 唐文君; 杜双; 赵超
Original assignee: Chinese Flight Test Establishment
Current assignee: Chinese Flight Test Establishment
Priority date: 2021-12-15
Filing date: 2021-12-15
Publication date: 2022-04-12

Abstract

本发明属于视频图像拼接与融合领域，具体是一种基于最优映射矩阵的全景图像拼接方法及装置。该方法包括：采集n路摄像设备对以机场场景区域同时拍摄得到的n个视频流；每个摄像设备拍摄一部分场景，每个摄像设备拍摄的场景与相邻摄像设备拍摄的场景具有重叠区；n为大于1的正整数；根据预设的各个摄像设备的畸变系数，对n个视频流中图像帧进行畸变校正；采用特征描述子处理校正后的同一时刻的图像帧，得到各个图像帧之间的最优映射矩阵；根据映射矩阵将该时刻的图像帧拼接，得到机场的全景图像。

Description

一种基于最优映射矩阵的全景图像拼接方法及装置

技术领域

本发明属于视频图像拼接与融合领域，具体是一种基于最优映射矩阵的全景图像拼接方法及装置。

技术背景

在机场视频监控的应用中，普通的视频监控只是独立的摄像机监控有限的视野，如果想监控大面积区域，就会每隔一定的区域就会设计几个摄像机去监控，然后将所有镜头得到的监控画面汇聚在一起，这里存在一个问题就是多个摄像头会监控到同一个区域，使得监控画面重复，需要增加人力去观看监控画面，既浪费硬件资源，也会耗费大量的人力、时间以及精力。

针对现有的全景图像拼接算法进行分析：1)基于区域相关的拼接算法，这种方法容易受到亮度、对比度的影响造成无法完成拼接，鲁棒性差；2)基于特征的拼接算法，这种算法的鲁棒性较强，但是对拼缝与色差的处理不理想。

发明内容

发明目的：针对当前拼接算法的缺点，迫切需要研究拼接效果好，鲁棒性强、拼缝平滑过渡、无色差的拼接算法来完成多个摄像头的拼接方法。

技术方案：

一种基于最优映射矩阵的全景图像拼接方法，包括：

采集n路摄像设备对以机场场景区域同时拍摄得到的n个视频流；每个摄像设备拍摄一部分场景，每个摄像设备拍摄的场景与相邻摄像设备拍摄的场景具有重叠区；n为大于1的正整数；

根据预设的各个摄像设备的畸变系数，对n个视频流中图像帧进行畸变校正；

采用特征描述子处理校正后的同一时刻的图像帧，得到各个图像帧之间的最优映射矩阵；

根据映射矩阵将该时刻的图像帧拼接，得到机场的全景图像。

校正后的同一时刻的图像帧中相邻的左图和右图，采用特征描述子处理校正后的所有同一时刻的图像帧，得到各个图像帧之间的最优映射矩阵，包括：

基于双线性差值的亚像素技术提取左图和右图重叠区域的特征点，特征点处于左图叫做左特征点，组成左特征点集，特征点处于右图叫做右特征点，组成右特征点集；

从左右特征点集中取m对描述子，一对描述子包括一个左特征点和对应的右特征点；m为正整数；

将m对描述子随机分为

组，计算每组的映射矩阵

将第1组映射矩阵带入左特征点集，计算出新右特征点集；

判断右特征点集和新右特征点集中对应特征点之间的距离是否大于一个像素；

若小于一个像素的距离相对于上述计算出的距离的占比大于或等于预设占比，则删除大于或等于一个像素的距离所对应左右特征点集的特征点；用左特征点集中剩余的左特征点和右特征点集中剩余的右特征点计算映射矩阵，将该映射矩阵作为左右图之间的最优映射矩阵；

若小于一个像素的距离相对于上述计算出的距离的占比小于或等于预设占比，将2组映射矩阵带入左特征点集，直到计算出最优映射矩阵。

所述方法还包括：

当最后一组也未得到左右图之间的最优映射矩阵之后，重新从左右特征点集中取m对描述子。

根据映射矩阵将该时刻的图像帧拼接，得到机场的全景图像之后，所述方法还包括：

校正后的同一时刻的图像帧按地平线分割成上下两个区域；

将这两个区域共同作为采样点，来参与对全景图像的色差矫正。

所述方法还包括：

根据每个相机成像不同，对全景图像的H、S、V三个通道单独平滑处理。

平滑处理具体操作如下：

首先对左右图像求全局的H、S、V三通道的直方图统计，并求出每个通道的均值

与

求出三通道平均值的差值，根据每个通道的差值来对拼接拼缝附近进行加权补足，使得图像平滑度过。

具体加权策略包括：

如果

则需要对H通道进行加权，加权系数可根据实际情况调节，否则不需要处理；如果

则需要对S通道进行加权，加权系数可根据实际情况调节，否则不需要处理；如果

则需要对V通道进行加权，加权系数可根据实际情况调节，否则不需要处理。

一种基于最优映射矩阵的全景图像拼接装置，包括：

采集模块，用于采集n路摄像设备对以机场场景区域同时拍摄得到的n个视频流；每个摄像设备拍摄一部分场景，每个摄像设备拍摄的场景与相邻摄像设备拍摄的场景具有重叠区；n为大于1的正整数；

校正模块，用于根据预设的各个摄像设备的畸变系数，对n个视频流中图像帧进行畸变校正；

处理模块，用于采用特征描述子处理校正后的同一时刻的图像帧，得到各个图像帧之间的最优映射矩阵；

拼接模块，用于根据映射矩阵将该时刻的图像帧拼接，得到机场的全景图像。

一种计算机可读的存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法。

有益效果：

(1)对图像匹配的特征点进行双线性差值，提高计算映射矩阵的精度，使得图像匹配跟准确，大幅度改善图像拼接之后目标经过拼缝处的鬼影现象；

(2)采用多组映射矩阵与对应的点对，通过计算每个映射矩阵对其它的点对的影响，去除影响比较大的点对，保留精度比较高的点对，利用这些精度较高的点对计算出精度高的映射矩阵，最优映射矩阵提高图像的配准的精确性，减少后期图像融合的复杂度；

(3)在图像融合阶段，不是直接运用左右图像的像素加权作为拼缝处的像素值，而是首先分析左右图像的全局HSV三通道的均值，根据左右图像的差值判断需要对那些值进行加权，这样做的不但可以减少计算量，还可以实现图像融合后无色差。

附图说明

图1为本发明中一种适用于大型区域的全景图像拼接方法的流程图。

图2为两张图像的特征点提取效果图。

图3为分块计算曝光增益系数g。

图4为分小块计算曝光增益系数g。

图5为两张图像拼接的图像融合效果图。

图6为两张图像拼接之后的全景图。

具体实施方式

拼接技术是计算机图形学、计算机视觉的重要的一个分支，其发展基于静态图像的拼接技术，也就是通过采集多路摄像机，在同一时刻下拍摄到的视频数据流，采用相关的拼接算法得到一个完整的实时拼接视频流，进而进行输出和转发。获取到的融合图像在更为大的取景范围和纵深内，可以大大提高人们对事物和场景的动态感知、辨别与监控能力。

目前，全景监视系统广泛的应用于各个领域。相比于一般的监视系统，全景监视系统具有更大的观察视野，可以同时观察更多的物体。图像拼接技术将采集到的视频流部分区域的图景相结合,构成拥有一个更宽域视野和更高分辨率的大型合成图像。已有的图像拼接算法在一些小场景中具有较好的性能,但在大型广域场景的实际应用过程中往往存在一定的缺陷,可能导致拼接后的图像出现形状失真,重影以及网络传输不稳定等的问题。

实施例1

本发明采用如下技术方案来实现,，如图1所示：

(1)图像采集是获取源视频图像的保证，系统通过摄像设备获取足够的图像序列为后面流程提供资源，同时要保证摄像设备的型号相同，以此保证自身参数的一致性，同时相邻设备之间视角要有重叠区域，保证相邻图像包含部分相同场景。位置确定后，通过RTSP对多路视频进行采集然后利用OpenCV以及Cuda对视频解码到GPU显存，然后经过图片预处理，包含去燥、帧同步等功能，从而得到多路摄像机同步实时视频流。

(2)采集的视频图像序列会因为设备或者场景的外部因素存在差异，此步骤需要进行镜头的畸变矫正。其畸变数学模型如下：

其中δ_x(x，y)，δ_y(x，y)为畸变系数，r是从成像点到中心点半径，k₁，k₂，k₃为径向畸变系数。

本发明通过使用张正友棋盘标定法，估计出摄像设备的参数主要流程为：

1)通过不停地变换设备或者标定板的位置，以便获取不同角度所需标定图像；

2)对标定的图像进行角点位置检测，获取相对应的空间位置信息；

3)通过2)中求解的位置信息计算出摄像设备内部参数与畸变系数。

(3)图像配准是视频拼接的核心步骤，从本质上来说，图像配准就是要精确找出图像间重叠部分的对应位置，进而确定两幅图像间的变换关系。配准的质量好坏直接影响到拼接系统的精度、速度以及输出效果。可以有效的处理平移、缩放、旋转、仿射等多种情况。

本发明采用基于特征的图像配准算法，由特征点提取、特征点配准、图像变换以及图像融合组成。

1)特征点包括图像的角点以及相对于其领域表现出某种奇异性的兴趣点，本次采用SIFT特征点检测，通过RANSAC算法进行特征点筛选，找到4个及以上的特征点后即可进行图片融合拼接。如图2所示。通过几何投影，图像之间可以做到很好的拼接，但如果不同图像之间有不同的曝光程度，那么拼接图像中的重叠部分也会出现明显的边缘，这样就使图像看起来十分不自然。因此，我们还需要对每幅图像进行曝光补偿，来使所有图像具有相同的曝光程度。

常用的曝光补偿方法有增益补偿和分块补偿这两种方法。增益补偿就是为每幅图像赋予一个增益系数，使重叠部分的图像强度相等或相似。它可以利用误差函数来实现：

式中，g_i和g_j为图像i和图像j的增益系数，σ_n和σ_g分别表示误差和增益的标准差，σ_N＝10(如果强度范围为0～255)，σ_g＝0.1。I_ij表示图像重叠部分的平均强度。

式中，R、G和B分别表示彩色图像的红、绿和蓝分量的强度值，R(i，j)表示图像i和图像j的重叠部分，N_ij表示重叠部分R(i，j)的像素数量。

传统的拼接图像曝光矫正方法是选取每一张图片作为一个采样源来进行计算，使用N幅图像进行拼接，就会使用N个采样源来进行计算得到n个增益系数，这样的方法在图像全局颜色差异不大时，可以很好的解决色差问题。如图3所示。

但是当所有的拼接画面中，上下场景的图像差异较大时，效果就会很差，例如在机场场景中，天空和地面的色彩差异非常大，使用这一种方法来进行色差矫正的时候，就会导致地面场景的色差被矫正，而天空场景还存在较大的色差。

通过分区域的色差矫正方法，将每一幅图像分割成上下区域，使得这两个区域共同作为采样点，来参与到色差矫正的计算中。将N变为N*2，得到更加精确的g值。同时这也对计算性能要求更高，需要在更多的分块区域内计算更多次的g值，运算量增加的情况下使用GPU来优化处理速度是最佳的选择。如图4所示。

2)对特征点提取后进行图像匹配及融合，根据场景大小选择模型，针对大场景选择球面模型，根据检测的对应的特征点集进行匹配，得到对应的变换矩阵，结合模型参数将多路图像转换成一个坐标系中，进行图像融合之前然后通过相邻两幅图像重叠区域之间的关系，建立相邻两幅图像之间直方图映射表，通过映射表对两幅图像做整体的映射变换，最终达到整体的亮度和颜色的校正一致性。

3)通过OpenCV中SeamFinder类计算图像掩模图，后续帧利用掩模图与计算出来的相机参数对图像做映射变换，以满足在粘图过程中相邻两幅图重叠区域处位置匹配。图像融合效果如图5所示。

4)利用GPU并行处理，对融合后图像进行重新编码、渲染和输出，达到多路视频拼接后完成实时视频流。完整全景图如图6所示。

实施例2

本发明采用如下技术方案来实现：

1)图像采集是获取源视频图像的保证，系统通过摄像设备获取足够的图像序列为后面流程提供资源，同时要保证摄像设备的型号相同，以此保证自身参数的一致性，同时相邻设备之间视角要有重叠区域，保证相邻图像包含部分相同场景。位置确定后，通过RTSP对多路视频进行采集然后利用OpenCV以及Cuda对视频解码到GPU显存，然后经过图片预处理，包含去燥、帧同步等功能，从而得到多路摄像机同步实时视频流。

2)采集的视频图像序列会因为设备或者场景的外部因素存在差异，此步骤需要进行镜头的畸变矫正。其畸变数学模型如下：

3)假设左图image_left、右image_right，对左右两个摄像机进行标定，得到对应的内参数矩阵k_left、k_right；

4)基于双线性差值的亚像素技术提取左右图像的特征点，利用矩阵k_left、k_right对左右图像的特征点进行矫正，得到矫正后的特征点，作为图像待匹配的点集；

5)从左右图像特征点集中取m对描述子进行图像匹配，形成p₁，p₂，...，p_m与p′₁，p′₂，...，p′_m对对应的匹配点对，根据经验值设定m≥12；

6)将m对描述子随机分为

组，计算对应的映射矩阵

假设左右图像对应的第一组点p₁，p₂，p₃，p₄与p′₁，p′₂，p′₃，p′₄，对应的映射矩阵k₁；

7)利用映射矩阵k₁求出左图像点集p₅，p₆，...，p_m对应在右图像中的点集为p″₅，p″₆，...，p″_m，计算右图中p′₅，p′₆，...，p′_m与通过映射矩阵计算得出的p″₅，p″₆，...，p″_m之间的欧式距离d₅，d₆，...，d_m；

8)设定特征点匹配阈值m_threshold为1个像素，如果步骤5中计算出的d₅，d₆，...，d_m之中有80％以上的个数满足小于m_threshold，将其它不满足条件的点集删除，再利用剩余所有的匹配点对计算最优的映射矩阵k，否则换一组点集和映射矩阵，重复步骤7)中的计算过程；

9)如果没有满足步骤8)中的点集对时，则重复步骤5)-8)，直到计算出满足条件的最优的映射矩阵k；

10)根据最优的映射矩阵完成左右图像的拼接，在拼接处左右采用局部的信息融合技术完成图像的平滑过渡。

11)图像融合技术，根据每个相机成像不同，只需要对图像的H、S、V三个通道单独处理就可以满足平滑条件，具体操作如下：

与

求出三通道平均值的差值，根据每个通道的差值来对拼接拼缝附近进行加权补足，使得图像平滑度过。具体加权策略如下：

如果