CN116823689A - 一种复眼相机图像融合方法 - Google Patents

Abstract

本发明公开了一种复眼相机图像融合方法，包括：将全局相机图像进行插值放大，得到放大后的全局相机图像；将放大后的全局相机图像进行区域划分，获取多个局部区域，并得到每个局部区域的坐标范围；将多幅子相机图像与对应的局部区域进行图像特征提取和匹配，得到最终的匹配点对；基于最终的匹配点对构成的单应性矩阵配准各幅子相机图像和对应的局部区域，得到所有配准后的子相机图像组成的还原图像；基于梯度拟合的融合算法对还原图像进行色彩校正，以将还原图像融合到放大后的全局相机图像中，得到最终的融合图像。本发明解决了传统多图拼接算法拼接流程繁琐，图像画面拉伸畸变、照片亮度色度不一致的问题。

Description

一种复眼相机图像融合方法

技术领域

本发明属于图像融合技术领域，具体涉及一种复眼相机图像融合方法。

背景技术

图像拼接技术是指将两幅或者多幅具有重叠区域的图像进行拼接，形成一幅具有超宽视野的高分辨率图像。随着社会与科技不断发展进步，人们对于大视场高分辨图像的需求也越来越多，复眼相机的应用越来越多，在交通监控、医学成像、军事领域以及虚拟现实领域应用广泛。主流的图像拼接方法可以大致分为特征提取、图像配准、图像融合三个步骤。根据不同步骤处理思想的不同，图像拼接可以分为三个方向：全局对齐方法、空域变化绘制方法、缝合线主导方法。

全局对齐方法：以一个单应性矩阵将图像对齐，这种方法要求重叠区域场景中没有深度变化，适合没有视差或者极小视差的场景。空域变化绘制方法：将图像划分为密集网格，每个网格都用一个单应性矩阵对齐，用网格优化来解决图像拼接问题，等价于每个局部单应性矩阵互相独立单独优化，具有更大的自由度，适合场景视差较小的情况。缝合线主导方法：以缝合线为主导，在待拼接图像的重叠区域，根据动态规划思想获得最佳缝合线，不用严格对齐整个重叠区域，而是仅对齐缝合线附近的区域，这类方法可以拼接大视差场景。

与此同时由于拼接使用的子图像是由多个图像传感器获得的，而子相机的位置和角度不同，因此导致所获得的子图像的亮度及色彩均存在差异性，需要考虑亮度和颜色的差异性对多幅子图像融合效果的影响。现有常用的色差及亮度校正主要分为全局校正和局部校正两种。全局校正，即对图像整体设定一个全局的校正系数，使图像各部分根据此系数对色彩和亮度进行调整，得到整体较为接近的图像。但该方法对所有的子图像进行同等程度的色彩调整，校正的细粒度较低，仅使用一个全局参数无法准确描述各子图像间不均匀的颜色差异，只适用于子图像色差不明显的情况，当色差较大时容易造成色彩失真。局部校正，则是将拼接后的图像再分为不同的子块，对每一个子块设定一个校正系数进行局部调整，该方法能够克服全局方法中不同子图像以同等程度校正的缺点，细粒度较高，能够在重叠区域取得较好的融合效果，但对于非重叠区域却不做校正，导致重叠区域与非重叠区域过渡不自然。

发明内容

为了解决现有技术中所存在的上述问题，本发明提供了一种复眼相机图像融合方法。

本发明要解决的技术问题通过以下技术方案实现：

一种复眼相机图像融合方法，所述复眼相机图像融合方法包括：

获取全局相机图像和多幅子相机图像，所述子相机图像和所述全局相机图像对应区域具有相同大小的分辨率；

将所述全局相机图像进行插值放大，得到放大后的全局相机图像；

将所述放大后的全局相机图像进行区域划分，获取与所述子相机图像相对应的多个局部区域，并得到每个所述局部区域的坐标范围；

将所述多幅子相机图像与所述放大后的全局相机图像对应的局部区域进行图像特征提取和匹配，得到最终的匹配点对；

基于所述最终的匹配点对构成的单应性矩阵配准各幅所述子相机图像和对应的所述局部区域，得到配准后的子相机图像，之后还原所述配准后的子相机图像的坐标到所述放大后的全局相机图像的坐标系下，得到所有所述配准后的子相机图像组成的还原图像；

基于梯度拟合的融合算法对所述还原图像进行色彩校正，以将所述还原图像融合到所述放大后的全局相机图像中，得到最终的融合图像。

可选地，将所述全局相机图像进行插值放大，得到放大后的全局相机图像，包括：

基于全局相机图像放大系数k，利用双线性插值法或双三次插值法对所述全局相机图像进行插值放大，得到所述放大后的全局相机图像，其中，所述全局相机图像放大系数k为s_g为所述全局相机图像的分辨率大小，s_l为所述子相机图像在所述全局相机图像对应所在区域的分辨率大小。

可选地，将所述放大后的全局相机图像进行区域划分，获取多个划分区域，并得到每个所述划分区域的坐标范围，包括：

计算所述子相机图像的长度和宽度所占整个所述放大后的全局相机图像的长度比值R_h和宽度比值R_w；

基于所述长度比值R_h、所述宽度比值R_w和相邻两幅所述子相机图像之间的重叠率得到相邻两幅所述子相机图像的宽度方向重叠区域和长度方向重叠区域；

根据所述长度比值R_h、所述宽度比值R_w和相邻两幅所述子相机图像的宽度方向重叠区域和长度方向重叠区域，将所述放大后的全局相机图像划分为与所述子相机图像相对应的多个局部区域，并得到每个所述局部区域的坐标范围。

可选地，将所述多幅子相机图像与所述放大后的全局相机图像对应的局部区域进行图像特征提取和匹配，得到最终的匹配点对，包括：

通过尺度不变特征变换SIFT算法提取每幅所述子相机图像和所述放大后的全局相机图像对应的多个局部区域的图像特征点；

利用K邻近匹配方法对所提取的所述子相机图像对应的图像特征点和所述局部区域的图像特征点进行初步的特征点匹配，得到初步的匹配点对；

采用网格运动统计算法对所述初步的匹配点对进行过滤，保留正确匹配点，滤除错误匹配点，以得到最终的匹配点对。

可选地，基于所述最终的匹配点对构成的单应性矩阵配准各幅所述子相机图像和对应的所述局部区域，得到配准后的子相机图像，之后还原所述配准后的子相机图像的坐标到所述放大后的全局相机图像的坐标系下，得到所有所述配准后的子相机图像组成的还原图像，包括：

基于随机抽样一致性算法，根据所述最终的匹配点对的坐标对应关系，计算所述子相机图像和对应的所述局部区域之间图的单应性矩阵；

根据所述单应性矩阵对所述子相机图像进行单应性变换，得到变换后的子相机图像，其中，所述变换后的子相机图像与对应的所述局部区域所在平面处于同一坐标系下；

利用插值技术将所述变换后的子相机图像中的非整数坐标变换为整数坐标，以得到配准后的子相机图像；

将全部所述配准后的子相机图像进行坐标还原，将所述配准后的子相机图像映射到与所述放大后的全局相机图像相同尺寸大小的画布中，使所述配准后的子相机图像的坐标还原到所述放大后的全局相机图像的坐标系下，以得到所有配准后的子相机图像组成的还原图像。

可选地，利用插值技术将所述变换后的子相机图像中的非整数坐标变换为整数坐标，以得到配准后的子相机图像，包括：

利用向后映射将所述变换后的子相机图像中的非整数坐标变换为整数坐标，以得到配准后的子相机图像。

可选地，基于梯度拟合的融合算法对所述还原图像进行色彩校正，以将所述还原图像融合到所述放大后的全局相机图像中，得到最终的融合图像，包括：

根据所述放大后的全局相机图像中预处理区域的四个角的像素和所述还原图像中对应所述预处理区域的四个角的像素、所述还原图像中对应的待融合像素位置处的像素，对所述放大后的全局相机图像中处于所述预处理区域的第一行、最后一行、第一列和最后一列中除位于四个角的待融合像素进行融合，得到融合后的第一像素，其中，每个所述预处理区域在行方向和列方向上的两个角的像素之间的宽度为n、间隔为n-2，每个所述预处理区域按照在所述放大后的全局相机图像先从左到右、再从上到下的顺序进行移动得到，每次移动n-1个像素；

根据所述融合后的第一像素、所述还原图像中对应所述融合后的第一像素位置处的像素对所述放大后的全局相机图像中所述预处理区域的内部像素进行融合，以获取融合后的第二像素，从而得到最终的融合图像。

可选地，所述融合后的第一像素的计算公式为：

其中，G_1m为所述放大后的全局相机图像中所述预处理区域的第1行第m列的融合后的第一像素，G_m1为所述放大后的全局相机图像中所述预处理区域的第m行第1列的融合后的第一像素，G_nm为所述放大后的全局相机图像中所述预处理区域的第n行第m列的融合后的第一像素，G_mn为所述放大后的全局相机图像中所述预处理区域的第m行第n列的融合后的第一像素，S_1m为所述还原图像中对应所述预处理区域的第1行第m列的像素，S_m1为所述还原图像中对应所述预处理区域的第m行第1列的像素，S_nm为所述还原图像中对应所述预处理区域的第n行第m列的像素，S_mn为所述还原图像中对应所述预处理区域的第m行第n列的像素，G_a为所述放大后的全局相机图像中所述预处理区域的第1行第1列的原始像素，G_b为所述放大后的全局相机图像中所述预处理区域的第1行第n列的原始像素，G_c为所述放大后的全局相机图像中所述预处理区域的第n行第1列的原始像素，G_d为所述放大后的全局相机图像中所述预处理区域的第n行第n列的原始像素，S_a为所述还原图像中对应所述预处理区域的第1行第1列的像素，S_b为所述还原图像中对应所述预处理区域的第1行第n列的像素，S_c为所述还原图像中对应所述预处理区域的第n行第1列的像素，S_d为所述还原图像中对应所述预处理区域的第n行第n列的像素；

其中，这里，t对应取S_1m、S_m1、S_nm或S_mn，A对应取G_a、G_b、G_c或G_d，B对应取S_a、S_b、S_c或S_d。

可选地，根据所述融合后的第一像素、所述还原图像中对应所述融合后的第一像素位置处的像素对所述放大后的全局相机图像中所述预处理区域的内部像素进行融合，以获取融合后的第二像素，包括：

基于行优先的方式、列优先的方式或者行优先与列优先加权的方式，根据所述融合后的第一像素、所述还原图像中对应所述融合后的第一像素位置处的像素对所述放大后的全局相机图像中所述预处理区域的内部像素进行融合，以获取融合后的第二像素。

可选地，对于所述行优先的方式，融合后的第二像素的计算公式为：

对于所述列优先的方式，融合后的第二像素的计算公式为：

其中，G_mx为所述放大后的全局相机图像中所述预处理区域的第m行第x列的融合后的第二像素，G_ym为所述放大后的全局相机图像中所述预处理区域的第y行第m列的融合后的第二像素，G_m1为所述放大后的全局相机图像中所述预处理区域的第m行第1列的融合后的第一像素，G_mn为所述放大后的全局相机图像中所述预处理区域的第m行第n列的融合后的第一像素，G_1m为所述放大后的全局相机图像中所述预处理区域的第1行第m列的融合后的第一像素，G_nm为所述放大后的全局相机图像中所述预处理区域的第n行第m列的融合后的第一像素，S_mx为所述还原图像中对应所述预处理区域的第m行第x列的像素，S_m1为所述还原图像中对应所述预处理区域的第m行第1列的像素，S_ym为所述还原图像中对应所述预处理区域的第y行第m列的像素，S_mn为所述还原图像中对应所述预处理区域的第m行第n列的像素，S_1m为所述还原图像中对应所述预处理区域的第1行第m列的像素，S_ym为所述还原图像中对应所述预处理区域的第y行第m列的像素，S_nm为所述还原图像中对应所述预处理区域的第n行第m列的像素，x＝2,...,n-1，y＝2,...,n-1；

其中，这里，t对应取S_mx或S_ym，A对应取G_m1、G_mn、G_1m或G_nm，B对应取S_m1、S_mn、S_1m或S_nm。

与现有技术相比，本发明的有益效果：

本发明首先对全局相机图像进行插值放大，子相机图像与放大后的全局相机图像经划分的局部区域进行配准，计算单应性矩阵后，之后使配准后的子相机图像与全局相机图像同一坐标点的像素一一对应，再利用梯度拟合的融合算法将全局相机图像中的整数点坐标像素值与对应的子相机图像的像素值进行计算，重新生成该点的像素融合值，替换相应全局相机图像中由插值算法得到的像素点值，从而实现子相机图像亮度和色度的调整，并融合到全局相机图像中，以得到高分辨率、画面一致性好、细节信息丰富的宽视野全景图像。

本发明以具有全局相机和子相机架构的复眼相机照片为素材，采用图像配准、像素融合的方法完成图像拼接，对重叠区域小、拍照参数不一致的子相机图像拼接成画面一致性好、分辨率高、细节信息丰富的照片，解决了传统多图拼接算法拼接流程繁琐，图像画面拉伸畸变、照片亮度色度不一致的问题。

以下将结合附图及对本发明做进一步详细说明。

附图说明

图1是本发明实施例提供的一种复眼相机图像融合方法的流程示意图；

图2是本发明实施例提供的一种全局相机图像与子相机图像的对应关系的示意图；

图3是本发明实施例提供的一种全局相机图像的区域划分示意图；

图4是本发明实施例提供的一种配准后的子图拷贝到全景画布中的示意图；

图5是本发明实施例提供的一种需要融合的图像示意图；

图6是本发明实施例提供的一种全局相机图像与子相机图像对应像素点的示意图；

图7是本发明实施例提供的一种全局相机图像与子相机图像对应像素点的局部放大示意图。

具体实施方式

下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。

实施例一

本发明为解决具有全局相机和若干个局部子相机结构的复眼相机的多个子相机图像拼接流程繁琐，配准难以及子图像之间亮色度不一致的问题，本发明提出了一种复眼相机图像融合方法，请参见图1，图1是本发明实施例提供的一种复眼相机图像融合方法的流程示意图，该复眼相机图像融合方法包括：

步骤1、获取全局相机图像和多幅子相机图像，子相机图像和全局相机图像对应区域具有相同大小的分辨率。

这里，全局相机图像为全局相机获得的全局图像，子相机图像为全局中每个区域对应的子相机获得的局部图像。

步骤2、将全局相机图像进行插值放大，得到放大后的全局相机图像。

具体而言，基于全局相机图像放大系数k，利用双线性插值法或双三次插值法对全局相机图像进行插值放大，得到放大后的全局相机图像，其中，全局相机图像放大系数k为s_g为全局相机图像的分辨率大小，s_l为子相机图像在全局相机图像对应所在区域的分辨率大小。

也就是说，首先根据子相机图像所包含的视野内容，找到该视野内容在全局相机图像中所在的位置区域，如图2所示，根据整幅全局相机图像的分辨率大小s_g与子相机图像对应所在区域面积分辨率大小s_l之比即得到子相机图像与全局相机图像的尺寸比例关系/>将k作为全局相机图像放大系数，之后利用双线性插值法或双三次插值法对全局相机图像高和宽进行插值放大/>计算全景图像邻近像素之间的插值像素点，用于指导子相机图像定位。

这里，双线性插值法原理：利用待插值点P周围的4个像素点，先在一个方向上作两次线性插值，再在另一方向作上作一次线性插值，此时得到的值作为P点的灰度值。

双三次插值原理：作为双线性插值的进一步改进，该算法采用待采样点周围16个点的灰度值作三次插值，不仅考虑到4个直接邻近点灰度值的影响，还考虑到各邻点间灰度值变化率的影响。

步骤3、将放大后的全局相机图像进行区域划分，获取与子相机图像相对应的多个局部区域，并得到每个局部区域的坐标范围。

由于复眼相机子相机和全局相机的位置固定，可以事先得到全局相机和与被其视野所包含的若干个子相机的对应区域，并且可根据相邻子相机图像计算出两个子相机图像的重叠区域占比，即重叠率，大约为10％-15％。可对放大后全局图像进行区域划分，划分的局部区域不小于子相机图像的尺寸大小。

在一个具体实施例中，步骤3具体可以包括：

步骤3.1、计算子相机图像的长度和宽度所占整个放大后的全局相机图像的长度比值R_h和宽度比值R_w。

步骤3.2、基于长度比值R_h、宽度比值R_w和相邻两幅子相机图像之间的重叠率得到相邻两幅子相机图像的宽度方向重叠区域和长度方向重叠区域。

这里，宽度方向重叠区域W_overlap为W_overlap＝W*R_w*q，长度方向重叠区域H_overlap为H_overlap＝H*R_h*q，W为子相机图像的宽度，H为子相机图像的长度，q为重叠率。

步骤3.3、根据长度比值R_h、宽度比值R_w和相邻两幅子相机图像的宽度方向重叠区域和长度方向重叠区域，将放大后的全局相机图像划分为与子相机图像相对应的多个局部区域，并得到每个局部区域的坐标范围。

例如，请参见图3，子图1所在的全局相机图像中的局部区域为(0，W*R_w)和(0，H*R_h)，子图2所在的全局相机图像中的局部区域为(W*R_h-W_overlap，2*W*R_w-W_overlap)和(0，H*R_h)，子图3所在的全局相机图像中的局部区域为(0，W*R_w)和(H*R_h-H_overlap，2*H*R_h-H_overlap)，以此类推进行划分，得到全局相机图像的局部区域及该局部区域所在全局图像中的坐标范围。随后以全局相机图像的若干个局部区域作为参考图像，与各个对应子相机图像作为输入图像，进行特征点的提取和匹配，使子相机图像提取特征点时可在全局相机图像的局部小范围内搜索，大大减少提取特征点所需时间，提升处理速度。

步骤4、将多幅子相机图像与放大后的全局相机图像对应的局部区域进行图像特征提取和匹配，得到最终的匹配点对。

在一个具体实施例中，步骤4具体可以包括：

步骤4.1、通过尺度不变特征变换SIFT(Scale-invariant feature transform，尺度不变特征转换)算法提取每幅子相机图像和放大后的全局相机图像对应的多个局部区域的图像特征点。

步骤4.2、利用K邻近匹配方法对所提取的子相机图像对应的图像特征点和局部区域的图像特征点进行初步的特征点匹配，得到初步的匹配点对。

这里，特征点的匹配采用K近邻匹配，具体的，先从子相机图像中选取一个特征点，并在对应的全局相机图像对应的局部区域找与该特征点最近的K(K为2)个特征点，根据欧氏距离计算这两个特征点中距离最近的距离与次近的距离的比值，判断该比值是否小于0.5，若是，则将所选取的子相机图像的特征点与全局相机图像对应的局部区域的两个特征点中距离最近的特征点匹配，将匹配好的特征点匹配对加入特征点匹配对集合；否则舍弃该子图特征点，重新选择。

步骤4.3、采用网格运动统计算法(grid-based motion statistics，GMS)对初步的匹配点对进行过滤，保留正确匹配点，滤除错误匹配点，以得到最终的匹配点对。

这里，GMS算法是一种基于网格运动统计特性的快速、超鲁棒的特征匹配算法，筛选内点主要是基于一个假设：匹配图像中每个像素点都具有运动平滑性，正确的匹配点旁边一定会有几个正确的匹配点作为支持；而一个错误的匹配点的周围几乎没有相同错误的匹配点作为支持(假设错误匹配是随机发生的)。

步骤5、基于最终的匹配点对构成的单应性矩阵配准各幅子相机图像和对应的局部区域，得到配准后的子相机图像，之后还原配准后的子相机图像的坐标到放大后的全局相机图像的坐标系下，得到所有配准后的子相机图像组成的还原图像。

在一个具体实施例中，步骤5具体可以包括：

步骤5.1、基于随机抽样一致性算法(RANSAC)，根据最终的匹配点对的坐标对应关系，计算子相机图像和对应的局部区域之间图的单应性矩阵。

具体而言，通过得到的匹配点的坐标对应关系，求解坐标方程组计算出子图和对应全局图局部区域之间图像变换模型即单应性矩阵H。

单应性(投影变换)是一种表示一幅图像像素到另一幅图像像素之间的空间映射关系，可通过求解单应性矩阵将子图中的匹配点(x_i，y_i)映射到全局相机图像的局部区域对应点(x_i'，y_i')的位置。单应性矩阵H表示为：

其中，A_2×2代表仿射变换参数，T_2×1代表平移变换参数，V^T＝[v₁,v₂]表示变换后边缘交点关系，一般通过归一化使得s＝1。图像之间匹配点的对应关系为：

坐标转为齐次坐标对应关系，上式可表示为：

进一步变换：

(h₃₁x_i+h₃₂y_i+h₃₃)·x_i′＝h₁₁x_i+h₁₂y_i+h₁₃

(h₃₁x_i+h₃₂y_i+h₃₃)·y_i′＝h₂₁x_i+h₂₂y_i+h₂₃

转换为Ax＝0形式：

RANSAC算法具体计算时每次向算法中输入模型构建需要随机抽取的最少数目的点作为点集，对于单应性矩阵变换模型H，计算8个参数则需要4对匹配点。具体步骤如下：

i.先在步骤4得到的匹配点对中随机选取4对不共线的匹配点对作为假设的内点子集，根据变换关系利用方程组求解初步变换模型H；

ii.计算出所有匹配点到模型H的投影误差，设置一个投影误差阈值E，将误差在阈值范围内的点视为适合这一模型的“内点”，记为内点集I，统计当前I的特征对数；投影误差为：

iii.当I中点数目大于当前最优集合I_best中的点数目时，更新I_best＝I，更新迭代次数k＝k+1；

iv.若迭代次数k等于预设最大迭代次数K，将最终内点集记为I_best，用该点集合重新计算变换模型H，并得到最终的数学模型H。预设最大迭代次数K为：

其中，p为置信度(一般取0.995)，w为内点的比例，m为计算需要的最小样本数，这里为4。

步骤5.2、根据单应性矩阵对子相机图像进行单应性变换，得到变换后的子相机图像，其中，变换后的子相机图像与对应的局部区域所在平面处于同一坐标系下。

步骤5.3、利用插值技术将变换后的子相机图像中的非整数坐标变换为整数坐标，以得到配准后的子相机图像。

这里，图像配准即子相机图像的像素坐标映射到对应的全局相机图像的局部区域的像素坐标位置。通过上述步骤得到的单应性矩阵H的参数，将相机图像做单应性变换，使变换后的子相机图像与对应的局部区域所在平面处于同一坐标系下。由于子相机图像进行单应性变换，而子图中(x,y)点的像素经过变换后得到输出图像坐标(x′,y′)可能非整数，此时要想获得变换后的像素值需要采用插值技术。通常分为向前映射和向后映射。因向前映射容易导致输出图像中有些区域未覆盖或覆盖多次而产生不连续现象，这里使用向后映射进行图像变换。具体为：

利用向后映射将变换后的子相机图像中的非整数坐标变换为整数坐标，以得到配准后的子相机图像。

这里，向后映射也称为像素填充映射，在已知输出图像上整数点位置(x′,y′)在输入图像上的位置(x,y)，一般是个非整数点位置，利用其周围整数点位置的输入图像的像素值进行插值，计算得到该点像素值。

步骤5.4、将全部配准后的子相机图像进行坐标还原，将配准后的子相机图像映射到与放大后的全局相机图像相同尺寸大小的画布中，使配准后的子相机图像的坐标还原到放大后的全局相机图像的坐标系下，以得到所有配准后的子相机图像组成的还原图像。

具体而言，在步骤3中，为了提高子相机图像和放大后的全局相机图像的特征点提取和匹配速度，将全局相机图像进行区域划分，此时子相机图像进行对应匹配的是全局相机图像的局部区域。在进行配准后，所在坐标系也是局部区域图像的坐标系，而不是最终全景图像画布的坐标系下，为此需要对配准后的子相机图像坐标进行还原。

请参见图4，对于每个配准后的子相机图像，首先创建与放大后的全局相机图像分辨率大小相同的全景画布，像素值填充为0，再利用步骤3中得到的局部区域的坐标范围，将配准后的子相机图像的图像像素信息重新拷贝到全景画布中该坐标范围内的像素，得到的结果就是所有配准后的子相机图像组成的还原图像。

步骤6、基于梯度拟合的融合算法对所述还原图像进行色彩校正，以将所述还原图像融合到所述放大后的全局相机图像中，得到最终的融合图像。

这里，多目相机在同一时刻进行拍摄时，由于多个子相机自身硬件及拍摄环境(如光照、拍摄角度等)等因素的影响，同一区域内来自不同子相机的图像在亮度、颜色等方面会存在差异，若直接在全局相机图像上进行融合，则各个子相机图像在全景相机图像的重叠区域与非重叠区域会存在明显的接缝线，且对应区域的子相机图像与全局相机图像的亮度、颜色差异会使融合效果变差。因此需要处理多目子相机图像的亮度和色彩不均匀问题。

以全局相机图像的亮度色度为基准，调整子相机图像的融合点RGB值，以达到色度亮度一致。图5中红色点为全局图原始像素，黑色点为线性插值后的亚像素点，也是子相机图像将要融合的点位。若处理彩色图像，在R、G、B域分别进行融合处理。若处理黑白图像，可在灰度域处理。

融合的核心思想就是已配准后的子相机图像与全局相机图像进行像素比较，根据子相机图像与全局相机图像对应点之间的关系，调整子相机图像的像素值以替代全局相机图像在该点原先使用插值法得到的像素值。

通过步骤5，得到已与全局相机图像配准后的全部子相机图像，实现了子相机图像的像素点映射，配准后的子相机图像中的图像内容与全局相机图像对应位置相对应，即同一坐标点的像素一一对应，随后可通过梯度拟合融合算法来调整子图像素点值来替代对应全局图的像素点。

如图6所示，G表示放大后的全局相机图像，S表示配准后的子相机图像组成的还原图像，而四点G_x(x＝a,b,c,d)代表放大后的全局相机图像中预处理区域的原始像素，S_x(x＝a,b,c,d)代表还原图像中对应预处理区域的四点像素。如图7所示，利用放大后的全局相机图像和还原图像对应的两个四点像素矩阵中的像素值进行梯度计算，来调整子图像素值，预处理区域即为一个像素矩阵，其中，图7中的G_a、G_b、G_c、G_d组成的区域为一个像素矩阵，图7中的S_a、S_b、S_c、S_d组成的区域也为一个像素矩阵。像素矩阵的相邻的两个顶点像素的宽度为n，间隔为n-2。间隔数可通过全局图像的放大系数计算得到，即/>每次计算完一个像素矩阵，按照先从左到右，再从上到下的顺序进行移动计算，每次移动n-1个像素。如图7所示，G_ij(i,j＝1,..,n)代表插值法产生的像素。放大后的全局相机图像中的点G_x(x＝a,b,c,d)与还原图像中S_x(x＝a,b,c,d)四点及其中间各个像素点G_ij(i,j＝1,..,n)和S_ij(i,j＝1,...n)一一对应，且均在同一条直线上。放大后的全局相机图像各个所需要重新生成的像素点可利用以下公式进行计算。

在一个具体实施例中，步骤6具体可以包括：

步骤6.1、根据放大后的全局相机图像中预处理区域的四个角的像素和还原图像中对应预处理区域的四个角的像素、还原图像中对应的待融合像素位置处的像素，对放大后的全局相机图像中处于预处理区域的第一行、最后一行、第一列和最后一列中除位于四个角的待融合像素进行融合，得到融合后的第一像素，其中，每个预处理区域在行方向和列方向上的两个角的像素之间的宽度为n、间隔为n-2，每个预处理区域按照在放大后的全局相机图像先从左到右、再从上到下的顺序进行移动得到，每次移动n-1个像素。

这里，放大后的全局相机图像中预处理区域的的四个角的像素即为G_x(x＝a,b,c,d)，还原图像中对应预处理区域的的四个角的像素即为S_x(x＝a,b,c,d)。

在本实施例中，对全局相机图像G中有四个G_x的行和列利用以下公式进行融合：

其中，G_1m为放大后的全局相机图像中预处理区域的第1行第m列的融合后的第一像素，G_m1为放大后的全局相机图像中预处理区域的第m行第1列的融合后的第一像素，G_nm为放大后的全局相机图像中预处理区域的第n行第m列的融合后的第一像素，G_mn为放大后的全局相机图像中预处理区域的第m行第n列的融合后的第一像素，S_1m为还原图像中对应预处理区域的第1行第m列的像素，S_m1为还原图像中对应预处理区域的第m行第1列的像素，S_nm为还原图像中对应预处理区域的第n行第m列的像素，S_mn为还原图像中对应预处理区域的第m行第n列的像素，G_a为放大后的全局相机图像中预处理区域的第1行第1列的原始像素，G_b为放大后的全局相机图像中预处理区域的第1行第n列的原始像素，G_c为放大后的全局相机图像中预处理区域的第n行第1列的原始像素，G_d为放大后的全局相机图像中预处理区域的第n行第n列的原始像素，S_a为还原图像中对应预处理区域的第1行第1列的像素，S_b为还原图像中对应预处理区域的第1行第n列的像素，S_c为还原图像中对应预处理区域的第n行第1列的像素，S_d为还原图像中对应预处理区域的第n行第n列的像素；

其中，这里，t对应取S_1m、S_m1、S_nm或S_mn，A对应取G_a、G_b、G_c或G_d，B对应取S_a、S_b、S_c或S_d。

步骤6.2、根据融合后的第一像素、还原图像中对应融合后的第一像素位置处的像素对放大后的全局相机图像中预处理区域的内部像素进行融合，以获取融合后的第二像素，从而在得到所有融合后的像素后，得到最终的融合图像。

具体而言，基于行优先的方式、列优先的方式或者行优先与列优先加权的方式，根据融合后的第一像素、还原图像中对应位置的像素对放大后的全局相机图像中预处理区域的内部像素进行融合，以获取融合后的第二像素。

对于行优先的方式，融合后的第二像素的计算公式为：

对于列优先的方式，融合后的第二像素的计算公式为：

其中，G_mx为放大后的全局相机图像中预处理区域的第m行第x列的融合后的第二像素，G_ym为放大后的全局相机图像中预处理区域的第y行第m列的融合后的第二像素，G_m1为放大后的全局相机图像中预处理区域的第m行第1列的融合后的第一像素，G_mn为放大后的全局相机图像中预处理区域的第m行第n列的融合后的第一像素，G_1m为放大后的全局相机图像中预处理区域的第1行第m列的融合后的第一像素，G_nm为放大后的全局相机图像中预处理区域的第n行第m列的融合后的第一像素，S_mx为还原图像中对应预处理区域的第m行第x列的像素，S_m1为还原图像中对应预处理区域的第m行第1列的像素，S_ym为还原图像中对应预处理区域的第y行第m列的像素，S_mn为还原图像中对应预处理区域的第m行第n列的像素，S_1m为还原图像中对应预处理区域的第1行第m列的像素，S_ym为还原图像中对应预处理区域的第y行第m列的像素，S_nm为还原图像中对应预处理区域的第n行第m列的像素，x＝2,...,n-1，y＝2,...,n-1；

其中，这里，t对应取S_mx或S_ym，A对应取G_m1、G_mn、G_1m或G_nm，B对应取S_m1、S_mn、S_1m或S_nm。

另外，行优先与列优先加权的方式例如为行优先得到的结果和列优先得到的结果相加除以2，另外，本领域技术人员也可以根据实际需求设定其他的加权方式，对此不作具体限定。

(1)对于子相机视场相互重叠区域占比小、特征点分布不均的问题。

由于子相机图像各自之间的重叠区域占比小，使得提取得到的特征点分布不均，且单一的图像变换模型对于重叠区域与非重叠区域之间的过渡效果不佳，导致之后的配准过程产生误差，拼接效果不好。而在本发明所提供的融合方法中，各个子相机图像对于全局相机图像，其对应的重叠区域将大大增加，解决了重叠区域占比对图像配准的影响，使得提取的特征点数量更多，分布更均匀，能够更有效的精确配准。

(2)对于几何拼接问题。

系统通过复眼相机以满足高分辨率和大视场的需求，复眼相机由于光路的不重合，若子相机图像进行依次拼接，则不可避免的会出现拼接误差的累积，使得拼接后的子相机图像过于拉伸，图像的几何形状发生畸变，会有明显的画面上的拼接全景图像畸变，画面拉伸等问题，本发明所提供的方法通过将子相机图像配准融合到全局相机图像中来完成拼接，使得所有子相机图像映射平面都在全局相机图像所在平面上，较好的解决图像因拼接误差累积导致几何形状发生畸变的问题。

(3)对于子相机图像亮色度一致性的问题。

各个子相机拍摄得到的图像受成像角度和成像环境等影响，图像可能存在色度、亮度各不相同的现象，因此会导致拼接后的图像出现亮色度不一致现象。若仅利用子相机图像进行校正，难以根据一致的标准进行相互之间的色度和亮度校正，而对于全局相机的整幅图像色彩具有一致性，因此本发明方法中的各个子相机利用与其相匹配的区域作为标准来进行对应的颜色亮度校正，以达到拼接图像之间的一致性。

本发明在处理多幅子相机图像拼接时，与传统直接配准拼接各个子相机图像不同，而是利用复眼相机全局相机+子相机这种结构，根据全局相机图像具有复眼相机的整体视野范围的特点，通过各个子相机图像与全局相机图像的局部区域进行配准融合，避免了子相机图像之间相互拼接时重叠区域小，难以配准的问题，且使得拼接结果没有明显的拉伸畸变，在保持良好拼接效果的同时，减少多幅子相机图像拼接繁琐流程和降低算法实现难度，以及在处理子相机图像的颜色亮度校正问题时，直接以全局相机图像的色度亮度为标准，设计了基于梯度拟合的融合算法调整子图像素值，达到画面色度一致的效果，避免了多幅子图色度校正时无法统一标准图像质量的问题。

需要说明的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。此外，本领域的技术人员可以将本说明书中描述的不同实施例或示例进行接合和组合。

尽管在此结合各实施例对本发明进行了描述，然而，在实施所要求保护的本发明过程中，本领域技术人员通过查看所述附图以及公开内容，可理解并实现所述公开实施例的其他变化。在说明书中，“包括”一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。相互不同的实施例中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种复眼相机图像融合方法，其特征在于，所述复眼相机图像融合方法包括：

获取全局相机图像和多幅子相机图像，所述子相机图像和所述全局相机图像对应区域具有相同大小的分辨率；

将所述全局相机图像进行插值放大，得到放大后的全局相机图像；

将所述放大后的全局相机图像进行区域划分，获取与所述子相机图像相对应的多个局部区域，并得到每个所述局部区域的坐标范围；

将所述多幅子相机图像与所述放大后的全局相机图像对应的局部区域进行图像特征提取和匹配，得到最终的匹配点对；

基于所述最终的匹配点对构成的单应性矩阵配准各幅所述子相机图像和对应的所述局部区域，得到配准后的子相机图像，之后还原所述配准后的子相机图像的坐标到所述放大后的全局相机图像的坐标系下，得到所有所述配准后的子相机图像组成的还原图像；

基于梯度拟合的融合算法对所述还原图像进行色彩校正，以将所述还原图像融合到所述放大后的全局相机图像中，得到最终的融合图像。

2.根据权利要求1所述的复眼相机图像融合方法，其特征在于，将所述全局相机图像进行插值放大，得到放大后的全局相机图像，包括：

基于全局相机图像放大系数k，利用双线性插值法或双三次插值法对所述全局相机图像进行插值放大，得到所述放大后的全局相机图像，其中，所述全局相机图像放大系数k为s_g为所述全局相机图像的分辨率大小，s_l为所述子相机图像在所述全局相机图像对应所在区域的分辨率大小。

3.根据权利要求1所述的复眼相机图像融合方法，其特征在于，将所述放大后的全局相机图像进行区域划分，获取多个划分区域，并得到每个所述划分区域的坐标范围，包括：

计算所述子相机图像的长度和宽度所占整个所述放大后的全局相机图像的长度比值R_h和宽度比值R_w；

基于所述长度比值R_h、所述宽度比值R_w和相邻两幅所述子相机图像之间的重叠率得到相邻两幅所述子相机图像的宽度方向重叠区域和长度方向重叠区域；

根据所述长度比值R_h、所述宽度比值R_w和相邻两幅所述子相机图像的宽度方向重叠区域和长度方向重叠区域，将所述放大后的全局相机图像划分为与所述子相机图像相对应的多个局部区域，并得到每个所述局部区域的坐标范围。

4.根据权利要求1所述的复眼相机图像融合方法，其特征在于，将所述多幅子相机图像与所述放大后的全局相机图像对应的局部区域进行图像特征提取和匹配，得到最终的匹配点对，包括：

通过尺度不变特征变换SIFT算法提取每幅所述子相机图像和所述放大后的全局相机图像对应的多个局部区域的图像特征点；

利用K邻近匹配方法对所提取的所述子相机图像对应的图像特征点和所述局部区域的图像特征点进行初步的特征点匹配，得到初步的匹配点对；

采用网格运动统计算法对所述初步的匹配点对进行过滤，保留正确匹配点，滤除错误匹配点，以得到最终的匹配点对。

5.根据权利要求1所述的复眼相机图像融合方法，其特征在于，基于所述最终的匹配点对构成的单应性矩阵配准各幅所述子相机图像和对应的所述局部区域，得到配准后的子相机图像，之后还原所述配准后的子相机图像的坐标到所述放大后的全局相机图像的坐标系下，得到所有所述配准后的子相机图像组成的还原图像，包括：

基于随机抽样一致性算法，根据所述最终的匹配点对的坐标对应关系，计算所述子相机图像和对应的所述局部区域之间图的单应性矩阵；

根据所述单应性矩阵对所述子相机图像进行单应性变换，得到变换后的子相机图像，其中，所述变换后的子相机图像与对应的所述局部区域所在平面处于同一坐标系下；

利用插值技术将所述变换后的子相机图像中的非整数坐标变换为整数坐标，以得到配准后的子相机图像；

将全部所述配准后的子相机图像进行坐标还原，将所述配准后的子相机图像映射到与所述放大后的全局相机图像相同尺寸大小的画布中，使所述配准后的子相机图像的坐标还原到所述放大后的全局相机图像的坐标系下，以得到所有配准后的子相机图像组成的还原图像。

6.根据权利要求5所述的复眼相机图像融合方法，其特征在于，利用插值技术将所述变换后的子相机图像中的非整数坐标变换为整数坐标，以得到配准后的子相机图像，包括：

利用向后映射将所述变换后的子相机图像中的非整数坐标变换为整数坐标，以得到配准后的子相机图像。

7.根据权利要求1所述的复眼相机图像融合方法，其特征在于，基于梯度拟合的融合算法对所述还原图像进行色彩校正，以将所述还原图像融合到所述放大后的全局相机图像中，得到最终的融合图像，包括：

根据所述放大后的全局相机图像中预处理区域的四个角的像素和所述还原图像中对应所述预处理区域的四个角的像素、所述还原图像中对应的待融合像素位置处的像素，对所述放大后的全局相机图像中处于所述预处理区域的第一行、最后一行、第一列和最后一列中除位于四个角的待融合像素进行融合，得到融合后的第一像素，其中，每个所述预处理区域在行方向和列方向上的两个角的像素之间的宽度为n、间隔为n-2，每个所述预处理区域按照在所述放大后的全局相机图像先从左到右、再从上到下的顺序进行移动得到，每次移动n-1个像素；

根据所述融合后的第一像素、所述还原图像中对应所述融合后的第一像素位置处的像素对所述放大后的全局相机图像中所述预处理区域的内部像素进行融合，以获取融合后的第二像素，从而得到最终的融合图像。

8.根据权利要求7所述的复眼相机图像融合方法，其特征在于，所述融合后的第一像素的计算公式为：

其中，G_1m为所述放大后的全局相机图像中所述预处理区域的第1行第m列的融合后的第一像素，G_m1为所述放大后的全局相机图像中所述预处理区域的第m行第1列的融合后的第一像素，G_nm为所述放大后的全局相机图像中所述预处理区域的第n行第m列的融合后的第一像素，G_mn为所述放大后的全局相机图像中所述预处理区域的第m行第n列的融合后的第一像素，S_1m为所述还原图像中对应所述预处理区域的第1行第m列的像素，S_m1为所述还原图像中对应所述预处理区域的第m行第1列的像素，S_nm为所述还原图像中对应所述预处理区域的第n行第m列的像素，S_mn为所述还原图像中对应所述预处理区域的第m行第n列的像素，G_a为所述放大后的全局相机图像中所述预处理区域的第1行第1列的原始像素，G_b为所述放大后的全局相机图像中所述预处理区域的第1行第n列的原始像素，G_c为所述放大后的全局相机图像中所述预处理区域的第n行第1列的原始像素，G_d为所述放大后的全局相机图像中所述预处理区域的第n行第n列的原始像素，S_a为所述还原图像中对应所述预处理区域的第1行第1列的像素，S_b为所述还原图像中对应所述预处理区域的第1行第n列的像素，S_c为所述还原图像中对应所述预处理区域的第n行第1列的像素，S_d为所述还原图像中对应所述预处理区域的第n行第n列的像素；

其中，这里，t对应取S_1m、S_m1、S_nm或S_mn，A对应取G_a、G_b、G_c或G_d，B对应取S_a、S_b、S_c或S_d。

9.根据权利要求7所述的复眼相机图像融合方法，其特征在于，根据所述融合后的第一像素、所述还原图像中对应所述融合后的第一像素位置处的像素对所述放大后的全局相机图像中所述预处理区域的内部像素进行融合，以获取融合后的第二像素，包括：

基于行优先的方式、列优先的方式或者行优先与列优先加权的方式，根据所述融合后的第一像素、所述还原图像中对应所述融合后的第一像素位置处的像素对所述放大后的全局相机图像中所述预处理区域的内部像素进行融合，以获取融合后的第二像素。

10.根据权利要求9所述的复眼相机图像融合方法，其特征在于，对于所述行优先的方式，融合后的第二像素的计算公式为：

对于所述列优先的方式，融合后的第二像素的计算公式为：

其中，G_mx为所述放大后的全局相机图像中所述预处理区域的第m行第x列的融合后的第二像素，G_ym为所述放大后的全局相机图像中所述预处理区域的第y行第m列的融合后的第二像素，G_m1为所述放大后的全局相机图像中所述预处理区域的第m行第1列的融合后的第一像素，G_mn为所述放大后的全局相机图像中所述预处理区域的第m行第n列的融合后的第一像素，G_1m为所述放大后的全局相机图像中所述预处理区域的第1行第m列的融合后的第一像素，G_nm为所述放大后的全局相机图像中所述预处理区域的第n行第m列的融合后的第一像素，S_mx为所述还原图像中对应所述预处理区域的第m行第x列的像素，S_m1为所述还原图像中对应所述预处理区域的第m行第1列的像素，S_ym为所述还原图像中对应所述预处理区域的第y行第m列的像素，S_mn为所述还原图像中对应所述预处理区域的第m行第n列的像素，S_1m为所述还原图像中对应所述预处理区域的第1行第m列的像素，S_ym为所述还原图像中对应所述预处理区域的第y行第m列的像素，S_nm为所述还原图像中对应所述预处理区域的第n行第m列的像素，x＝2,...,n-1，y＝2,...,n-1；

其中，这里，t对应取S_mx或S_ym，A对应取G_m1、G_mn、G_1m或G_nm，B对应取S_m1、S_mn、S_1m或S_nm。