CN109087245A - 基于相邻关系模型的无人机遥感图像拼接系统 - Google Patents

Abstract

本发明公开了基于相邻关系模型的无人机遥感图像拼接系统，属于无人机遥感图像拼接技术领域，将相邻距离作为边的权值，利用最小生成树确定拼接顺序，可以最大限度的利用相邻图像的聚簇，拼接顺序确定好后可以依次将图像增量式拼接到累积结果上，完成拼接，图像间的映射可以用一个相似变换或仿射变换取代，待拼接图像变换以后，通过Graph‑Cut算法求解重叠部分的接缝，然后将图像直接拼在一起，本发明实现了多视点的无人机遥感图像拼接系统，并且在匹配精度和拼接时间之间做了平衡，既能保证提取到足够数量的特征，又能减少计算量，提高计算速度，而且使颜色更加自然均匀，系统操作简单，实用性高，具有易操作、易维护的特点，全程不用人工干预。

Description

基于相邻关系模型的无人机遥感图像拼接系统

技术领域

本发明涉及到无人机遥感图像拼接技术领域，特别涉及基于相邻关系模型的无人机遥感图像拼接系统。

背景技术

随着无人机在军事、勘测、气象监视、农药喷洒等领域的广泛应用，越来越多的国内外专家学者投入到无人机关键技术的研究中。无人机遥感图像拼接技术通过对一系列重叠遥感图像的拼接融合，拼成一幅相对完整的全景视图，实现对原物的准确重建，已广泛应用于虚拟现实技术，遥感图像处理、计算机视觉等领域。单视点图像拼接已有成熟的算法和应用，但是无人机遥感图像选取多个视点和场景，相机位置不断变化，而场景深度又很难获知，典型的多视点问题给图像的匹配和拼接带来一定的难度。如何利用所有图像的信息将图像准确地拼接出来，得到完整的全景图，是该领域的难点问题。其中的图像匹配又是整个图像拼接技术的核心部分，决定了图像拼接的质量。这些算法主要分为：基于灰度图像的匹配、基于特征的匹配和基于变换域的匹配。

申请号为201610524520.1的产品采用了SURF算法粗提取特征点，利用RANSAC算法去除误检测点，再利用最小二乘法模板，实现特征点的精确匹配和图像的实时拼接。申请号为201710318262.6的产品通过消除重叠区域遮挡，求解最小连通区域内的最小路径，实现遥感图像拼接。这些方法虽然可以减少计算量，提高拼接效率，但是并没有很好地利用图像集的相邻关系；也都没有考虑曝光补偿，对少数光照差异较大的遥感图像，影响下一次的特征提取和拼接。

发明内容

发明的目的在于提供基于相邻关系模型的无人机遥感图像拼接系统，保证提取到足够数量的特征，又能减少计算量，提高计算速度，而且使颜色更加自然均匀，系统操作简单，实用性高，具有易操作、易维护的特点，全程不用人工干预，以解决上述背景技术中提出的拼接时间长、计算量大的问题。

为实现上述目的，本发明提供如下技术方案：

基于相邻关系模型的无人机遥感图像拼接系统，包括如下步骤：

步骤一：拼接顺序的确定

对图像建立相邻关系图模型，将相邻距离作为边的权值，利用最小生成树确定拼接顺序，可以最大限度的利用相邻图像的聚簇，拼接顺序确定好后可以依次将图像增量式拼接到累积结果上，继而完成拼接；

步骤二：运动参数的估计

当拍摄高度与场景最高点的距离超过100米时，“平面场景”的假设基本成立，在这一假设下，图像间的映射退化成了单应性矩阵，进一步假设拍摄角度均垂直向下，那么图像间的映射可以用一个相似变换或仿射变换取代，而拍摄高度越高，近似精度越高，相似变换和仿射变换对图像做了变视点操作，因此将所有图像变到同一个现有视点下实现拼接；

步骤三：图像合成

待拼接图像变换以后，通过Graph-Cut算法求解重叠部分的接缝，然后将图像直接拼在一起，由于图像获取过程中受光照、拍摄时间、天气等因素的影响，存在光照差异较大的图像，图像拼接的接缝处会不可避免地出现突变，采取适合的算法做局部的图像融合。

优选的，步骤一中建立相邻关系图模型基于SIFT算法粗提取匹配特征点，SIFT算法的本质就是在不同的尺度空间中提取兴趣点，并计算兴趣点的尺度和方向，尺度空间即是图像数据的多尺度特征，已证明高斯卷积核是实现尺度变换的唯一线性核，于是一幅二维图像的尺度空间被定义为：

其中是二维空间高斯函数，表达式为：(x，y)为空间坐标，大小决定图像的平滑程度。

优选的，步骤三结合直方图匹配法使接缝部分消除差异，直方图是对像素个数进行统计，统计值存储到事先设置好的数组结构中，通过图像的统计特征将图像变换为某一参照图像的形式，直方图被定义为：

其中，n_k表示灰度为r_k的像素个数，N为图像的像素总数。

优选的，直方图用横坐标表示灰度级，用纵坐标表示灰度频度，实现步骤如下：

步骤一：首先调整图像的灰度级为256，统计原始图像的灰度直方图；

步骤二：然后对直方图均衡化，让y轴像素点的值在新分布上尽可能地均匀展开；

步骤三：利用直方图匹配得到满足规定形状的匹配图像，并使用相似度公式计算相似度值。

与现有技术相比，本发明的有益效果是：本发明提出的基于相邻关系模型的无人机遥感图像拼接系统，在接缝之前做曝光补偿，减少图像间的亮度差异，接缝之后做图像融合，达到更好的拼接效果，整个拼接流程主要包含特征点匹配、确定拼接顺序、运动参数估计和图像合成模块，继而生成最终的结果，实现了多视点的无人机遥感图像拼接系统，并且在匹配精度和拼接时间之间做了平衡，既能保证提取到足够数量的特征，又能减少计算量，提高计算速度，而且使颜色更加自然均匀，系统操作简单，实用性高，具有易操作、易维护的特点，全程不用人工干预。本发明采用双向验证结合直方图匹配使图像灰度分布更均匀，尤其对于图像中有用的特征点灰度相近时，会大大提升提取的点对数目，且对光照差异具有较强的鲁棒性。

附图说明

图1为本发明的流程示意图；

图2为本发明的关键点在尺度空间示意图；

图3为本发明的航拍图像拼接处理的效果图；

图4为本发明的图像的明暗对比度图；

图5为本发明的航拍图像拼接处理的局部效果图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，基于相邻关系模型的无人机遥感图像拼接系统，包括如下步骤：

步骤一：拼接顺序的确定

为了提高拼接精度，对图像建立相邻关系图模型，将相邻距离作为边的权值，利用最小生成树确定拼接顺序，可以最大限度的利用相邻图像的聚簇。拼接顺序确定好后可以依次将图像增量式拼接到累积结果上，继而完成拼接；

步骤二：运动参数的估计

应用针对多视点的拼接，而场景深度又很难获知，因此，“平面场景”的假设是非常必要的，当拍摄高度与场景最高点的距离超过100米时，“平面场景”的假设基本是成立的，在这一假设下，图像间的映射退化成了单应性矩阵。进一步假设拍摄角度都是垂直向下的，那么图像间的映射可以用一个相似变换或仿射变换取代，而拍摄高度越高，近似精度越高，相似变换和仿射变换对图像做了变视点操作，因此将所有图像变到同一个现有视点下实现拼接；

步骤三：图像合成

待拼接图像变换以后，通过Graph-Cut算法求解重叠部分的接缝，然后将图像直接拼在一起即可，但是图像获取过程中受光照、拍摄时间、天气等因素的影响，存在光照差异较大的图像，图像拼接的接缝处会不可避免地出现突变。因为航拍图像的分辨率非常巨大，所以做全局的融合对时间和空间的开销都非常大，因此，采取适合的算法做局部的图像融合。

对于上述步骤中内容的实施，本发明采用如下解决方案：

1)构造相邻关系图模型

基于SIFT算法粗提取匹配特征点。SIFT算法的本质就是在不同的尺度空间中提取兴趣点，并计算兴趣点的尺度和方向。尺度空间即是图像数据的多尺度特征，已证明高斯卷积核是实现尺度变换的唯一线性核，于是一幅二维图像的尺度空间被定义为：

其中是二维空间高斯函数，表达式为：(x，y)为空间坐标，大小决定图像的平滑程度。

为了在尺度空间检测到稳定的关键点，Lower提出了DOG尺度空间，利用不同尺度的高斯差分核与图像卷积生成。为了寻找极值点，DOG空间中每一个采样点要和本层及上下两层共(3*9-1)个点做比较，以确保在尺度空间和二维图像空间都检测到极值点。该极值点就认为是图像在该尺度下的候选特征点或关键点，如图2所示。

接下来去除低对比度特征点和不稳定的边缘特征点。根据关键点周围像素点的梯度分布特性，为每个关键点指定一个主方向，以确保特征描述符的旋转不变性。对于每一个采样图像L(x，y)，(x，y)处的梯度模值m(x，y)和方向θ(x，y)可以通过像素差分式(2)和式(3)计算。

由每个关键点的位置、尺度和方向，确定一个SIFT区域。在以关键点为中心的邻域区域内进行采样，并对该区域统计梯度直方图。

以关键点为中心取8×8个像素的窗口，然后在8个4×4的小块上，计算8个方向的梯度大小和梯度方向直方图。每个特征点共可以得到128维的描述符，将这个1×128的向量归一化后，最终完成特征点的提取过程。两幅图像特征点对匹配多的，可以确定为相邻图像。

由于拼接累积误差的存在，拼接顺序是至关重要的。确定好拼接顺序后，依次将图像增量式拼接到累积结果上，继而完成拼接。为了提高拼接精度，对图像建立相邻关系图模型。建立图模型时对图像两两匹配，特征点对匹配多的确定为相邻图像。为了确保特征匹配是完全正确的，提出双向验证策略：

(A→B)∩(B→A)

其中A→B代表将图像A的特征在图像B的特征集中做查询。若图3中的图像1和图像2有一个特征点相匹配，那么再检测图像2与图像1是否也在相应特征点上匹配，如果匹配成功，则认为该匹配是正确的。该策略可以消除全部的错误匹配，提高匹配精度。找到相邻关系后，将特征匹配数量的倒数作为距离，也就是边的权值，构成图模型。建立的图模型有可能是不连通的。对非连通图，每次从一个新的起始点出发进行搜索，得到的顶点访问序列恰为其各个连通分量的顶点集。基于不连通图模型采用Kruscal算法，一次性建立多颗最小生成树，构造最小代价生成树T。最后利用最小生成树确定拼接次序，这样可以最大限度的利用相邻图像的聚簇，由聚簇中心向外延展开，不仅可以提高拼接的精度，也可以提高拼接的效率。

2)结合直方图匹配的图像融合

将待拼接图像根据重叠信息直接拼在一起，会有明显的痕迹，视觉效果也会大打折扣。由于图像获取过程中受光照、拍摄时间、天气等因素的影响，存在光照差异较大的图像，图像拼接的接缝处会不可避免地出现突变。因为航拍图像的分辨率非常巨大，所以做全局的融合对时间和空间的开销都非常大，因此，可以采取距离图加权的方法，即羽化算法，做局部的图像融合。但是该算法在接缝处两侧的像素灰度差偏差较大，所以本文结合直方图匹配法使接缝部分消除差异，符合光照一致性。通过直方图匹配，两幅图像的相似度提高，具有相同的灰度分布，便于后续的拼接处理。直方图是对像素个数进行统计，统计值存储到事先设置好的数组结构中，通过图像的统计特征将图像变换为某一参照图像的形式。直方图被定义为：

其中，n_k表示灰度为r_k的像素个数，N为图像的像素总数。直方图用横坐标表示灰度级，用纵坐标表示灰度频度。实现步骤如下：

a)首先调整图像的灰度级为256，统计原始图像的灰度直方图；

b)然后对直方图均衡化，让y轴像素点的值在新分布上尽可能地均匀展开。

c)利用直方图匹配得到满足规定形状的匹配图像，并使用相似度公式计算相似度值，相关系数用巴氏距离效果最好。经过处理后的图像具有相同的色度和亮度，拼接后接缝处颜色过渡自然，消除突变，尽可能实现无缝拼接。

对图3和图4中的两张图像进行直方图均衡化，增加图像的灰度动态范围、图像的明暗对比度。然后应用直方图匹配，调整原灰度直方图具有规定的形状，使匹配变换的颜色分布一样。

通过直方图匹配后，两幅图像的相似度有所提高，如表1所示。相似度越小，表示图像的匹配度越高。匹配后两副图像具有相同的灰度分布，便于后续的拼接处理。

表1图像匹配度

匹配校正后的图像在找到的重叠线两侧进行边缘模糊化，使之过渡自然，符合视觉效果。距离图加权算法对界线位置的两侧进行强制改正，通过统计边界两侧一定范围内的灰度值，消除灰度差异，减少突变情况。距离接缝d的像素点的灰度值改正量为Δh'：

上式中，w是改正宽度，Δh是边界两侧的灰度差。可以看出，距离接缝越近，灰度值改正量越大。结合了光照差异的局部图像融合方法，可以消除明显的接缝，视觉效果在细节上具有较好的连续性。

本发明实验的运行环境是在PC机Intel(R)Core(TM)i5CPU 3.0GHz，内存4GB，基于64位操作系统上编程实现，其实现方式如下：

1、SIFT特征匹配

采用SIFT特征匹配，为了确保特征匹配是完全正确的，而且是一对一的，采用双向验证策略。确定相邻关系后，将特征匹配数量的倒数作为距离，即边的权值，构成图模型。

建立的图模型有可能不连通，也就是图像集可能有多个连通分支。对非连通图，需要从多个顶点出发进行搜索。每次从一个新的起始点出发进行搜索过程中得到的顶点访问序列恰为其各个连通分量的顶点集。基于不连通图模型，本文采用Kruscal算法，一次性建立多颗最小生成树，构造最小代价生成树T。对每一棵树T重复如下步骤：

1)寻找一个根节点。对于节点i，定义每个节点的权重如下：

式中N_i表示i节点相邻节点的集合。为了防止两张相邻特别近的图像匹配数过多，影响真正图像聚簇中心的发现，在实现中，取k＝100，因为100个匹配就可以得到不错的结果；

2)选取权重最大的作为根节点；

3)广度优先对子节点做增量式拼接。相邻子块存在重复区域，多次重复操作影响速度，采用增量式拼接提高拼接效率。

上述步骤对图模型的e条边各扫描一次，显而易见，第一次选择最小代价的边需O(e)的时间，每次选择的时间仅需O(loge)。不连通图模型的每个连通分量可看成是一个等价类，则构造最小代价生成树T加入新边的过程类似于求造价类的过程，选择适合的数据类型来描述生成树，则构造T的时间复杂度也为O(loge)。

2、图像的变换

图像拼接中，需要使用图像变换对齐或匹配，其中运动参数估计是最困难的一步，其原因主要在于摄像机模型的限制。对于场景中三维点(x，y，z)和它在图像中的投影坐标(u，v)，公式如下：

其中f为摄像机的焦距，(c_x，c_y)为图像中心坐标的偏移，R和t分别表示摄像机的旋转和平移。由此我们不难推出，已知摄像机相对位置，可以直接精确映射的情况仅有以下三种：有场景深度图；平面场景(P矩阵退化为单应性矩阵)和摄像机平移t＝0的情况。

本发明发明假设“平面场景”，当拍摄高度与场景最高点的距离超过100米，可以认为平面场景成立。并且假设拍摄角度都是垂直向下的，图像间的映射可以用一个仿射变换取代，而拍摄高度越高，近似精度越高，本发明的系统基于这一点实现。

3、图像融合处理

图像融合的手段有很多，比如Multiband算法、laplace金字塔算法等。出于拼接时间的考虑，采取羽化算法，做接缝处的图像融合。将匹配校正后的图像进行拼接，在找到的重叠线两侧进行边缘模糊化，提高拼接效果，使之过渡自然，符合视觉效果。羽化算法对界线位置的两侧进行强制改正，通过统计边界两侧一定范围内的灰度值，消除灰度差异，减少突变情况。距离接缝d的像素点的灰度值改正量为Δh'。

如图5所示是航拍图像拼接处理的局部效果图，结合了光照差异的局部图像融合方法，可以消除明显的接缝，视觉效果在细节上具有较好的连续性。

综上所述，本发明提出的基于相邻关系模型的无人机遥感图像拼接系统，在接缝之前做曝光补偿，减少图像间的亮度差异，接缝之后做图像融合，达到更好的拼接效果，整个拼接流程主要包含特征点匹配、确定拼接顺序、运动参数估计和图像合成模块，继而生成最终的结果，实现了多视点的无人机遥感图像拼接系统，并且在匹配精度和拼接时间之间做了平衡，既能保证提取到足够数量的特征，又能减少计算量，提高计算速度，而且使颜色更加自然均匀，系统操作简单，实用性高，具有易操作、易维护的特点，全程不用人工干预。本发明采用双向验证结合直方图匹配使图像灰度分布更均匀，尤其对于图像中有用的特征点灰度相近时，会大大提升提取的点对数目，且对光照差异具有较强的鲁棒性。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (4)

1.基于相邻关系模型的无人机遥感图像拼接系统，其特征在于，包括如下步骤：

步骤一：拼接顺序的确定

对图像建立相邻关系图模型，将相邻距离作为边的权值，利用最小生成树确定拼接顺序，可以最大限度的利用相邻图像的聚簇，拼接顺序确定好后可以依次将图像增量式拼接到累积结果上，继而完成拼接；

步骤二：运动参数的估计

当拍摄高度与场景最高点的距离超过100米时，“平面场景”的假设基本成立，在这一假设下，图像间的映射退化成了单应性矩阵，进一步假设拍摄角度均垂直向下，那么图像间的映射可以用一个相似变换或仿射变换取代，而拍摄高度越高，近似精度越高，相似变换和仿射变换对图像做了变视点操作，因此将所有图像变到同一个现有视点下实现拼接；

步骤三：图像合成

待拼接图像变换以后，通过Graph-Cut算法求解重叠部分的接缝，然后将图像直接拼在一起，由于图像获取过程中受光照、拍摄时间、天气等因素的影响，存在光照差异较大的图像，图像拼接的接缝处会不可避免地出现突变，采取适合的算法做局部的图像融合。

2.根据权利要求1所述的基于相邻关系模型的无人机遥感图像拼接系统，其特征在于，步骤一中建立相邻关系图模型基于SIFT算法粗提取匹配特征点，SIFT算法的本质就是在不同的尺度空间中提取兴趣点，并计算兴趣点的尺度和方向，尺度空间即是图像数据的多尺度特征，已证明高斯卷积核是实现尺度变换的唯一线性核，于是一幅二维图像的尺度空间被定义为：

其中是二维空间高斯函数，表达式为：(x，y)为空间坐标，大小决定图像的平滑程度。

3.根据权利要求1所述的基于相邻关系模型的无人机遥感图像拼接系统，其特征在于，步骤三结合直方图匹配法使接缝部分消除差异，直方图是对像素个数进行统计，统计值存储到事先设置好的数组结构中，通过图像的统计特征将图像变换为某一参照图像的形式，直方图被定义为：

其中，n_k表示灰度为r_k的像素个数，N为图像的像素总数。

4.根据权利要求3所述的基于相邻关系模型的无人机遥感图像拼接系统，其特征在于，直方图用横坐标表示灰度级，用纵坐标表示灰度频度，实现步骤如下：

步骤一：首先调整图像的灰度级为256，统计原始图像的灰度直方图；

步骤二：然后对直方图均衡化，让y轴像素点的值在新分布上尽可能地均匀展开；

步骤三：利用直方图匹配得到满足规定形状的匹配图像，并使用相似度公式计算相似度值。