CN111311622B - 基于蚁群算法的多幅影像镶嵌线网的优化选择方法 - Google Patents

Abstract

本发明公开了一种基于蚁群算法的多幅影像镶嵌线网的优化选择方法，该方法首先利用简化重叠区的Voronoi图提供的初始镶嵌线网，然后利用改进的蚁群算法分航带间和航向间的镶嵌线分别调整初始镶嵌线网的位置，获得由灰度差异和纹理特征定义的代价值最小的镶嵌线网。通过蚁群搜索的信息素的范围能避免了早期盲目搜索和后期早熟收敛现象，提高了全局搜索最优镶嵌线的能力，采用蚂蚁回退和横向搜索策略有效地避免蚂蚁的停滞状态，可以防止蚂蚁的搜索起点落在具有明显的差异的地方。本方法能够自动检测大比例尺城市正射影像镶嵌线网络，能够有效地避开视觉明显的地物以及色差较大的区域。保证了拼接线的质量，实现了多幅大比例尺正射影像的智能无缝拼接。

Description

基于蚁群算法的多幅影像镶嵌线网的优化选择方法

技术领域

本发明涉及摄影测量与遥感领域，特别是涉及一种可用于多幅大比例尺正射影像镶嵌线网优化选取方法。

背景技术

近几十年，随着测绘科学技术的发展和进步，遥感作为测绘中的一个分支学科的发展也十分迅猛。遥感数据的更新越来越快，遥感数据的智能化处理也变得越来越重要。测绘行业的成图也不再局限于以往的测图模公式，4D产品为社会经济发展提供了很好的测绘成果服务。其中，数字正射影像(DOM)具有精度高、信息量大、表达直观、现势性强等优点，在洪水监测、海岸线保护、防灾救灾和公共设施建设规划等方面发挥着重要作用。然而，由于单幅正射影像表示的区域受到影像尺寸大小的限制，因此正射影像的镶嵌对于正射影像的生产是必要的。

目前市场上的软件通常采用四种方法：①人工选择镶嵌线，如北京四维远见信息技术有限开发的全数字摄影测量工作站JX4C DPW；②直接利用Voronoi算法生成镶嵌线网络，如美国Exelis Visual Information Solutions公司的ENVI和是美国ERDAS公司开发的ERDAS等软件，但是这些算法都没有考虑纹理色彩信息，很容易出现镶嵌线周围色彩不自然和几何错位的问题；③自动生成初始拼镶嵌线，然后人工改变镶嵌线的位置，这样工作量十分繁重，严重降低了了影像镶嵌的效率了，如法国的像素工厂Pixel Factory、北京吉威的数字测量软件Geoway DPS；④使用精确地算法检测重叠区的差异，几何约束生成避开明显地物的接缝线，如Ortho Vista，但是使用的算法由于受到保密，无法知道使用的详细算法。

传统的镶嵌方法通常采用两两镶嵌的模式，但是两两镶嵌的影像存在误差累积，影响拼接的精度，同时也会带来数据冗余和拼接效率低下的问题。对于小范围的影像镶嵌，我们可以采用上述的两两镶嵌的方法，但是对于大范围的影像镶嵌，我们必须要考虑处理的效率和累积误差。

多幅影像镶嵌线网络的同时选择考虑了多幅影像之间的位置关系、全局不出现缺失部分和全局最优镶嵌线等诸多因素，这也使得多幅影像镶嵌线同时选择有一定的困难，但是这种方法避免了产生中间过程，能避开影像顺序和两两镶嵌带来的误差累积，这也使得多幅影像镶嵌线网络的检测成了当今研究的热点。但是目前的大多数多幅影像镶嵌线的优化选的方法需要借助地面辅助数据，但这种方法首先需要获取这些数据，并且镶嵌线的选择精度也取决于这些辅助数据的精度。

发明内容

针对上述未解决的问题，本发明目的在于提供一种自动化、高效率优化选择多幅影像镶嵌线网的方法。

为了实现上述发明目的，本发明采用的技术方案步骤如下：

步骤1：输入n幅待优化选择镶嵌线的正射影像，将带镶嵌的影像按照地理位置进行重叠，求解出两两影像重叠的差值影像。

步骤2：在差值影像上利用八邻域梯度求解重叠区域的梯度，求解重叠区的灰度代价值表示影像之间的差异。

步骤3：利用简化重叠区的Voronoi图生成影像初始镶嵌线网络,分为航向间镶嵌线和航带间镶嵌线。

步骤4：根据重叠区域的差值图像的灰度与初始镶嵌线位置确定蚁群路径点的初始信息素值。

其中P(i,j)表示像素点(i,j)处的初始信息素，d_max是允许拼接线偏离初始拼接线的最大距离，d(i,j)代表的路径点的距离(i,j)的初始拼接线的距离，n代表路径点上可以通过灰度阈值，τ_min表示信息素的下限，τ_max表示信息素的上限。

步骤5：利用改进的蚁群算法优化选择航带间镶嵌线。

步骤6：根据距离优化后的航带间的镶嵌线的最近的点作为航向间蚁群算法的起点。

步骤7：利用改进的蚁群算法优化选择航向间的镶嵌线，这里的蚁群只需要搜索到优化后的航带间的镶嵌线即可。

步骤8：将每段路径选择出最佳路径结合得到全局最佳路径。

步骤5和7，改进的蚁群算法利用的是蚁群的正反馈机制，慢慢收敛到一条最短路径的原理，即得到正射影像间的镶嵌线：

a)根据重叠区域的差值图像的灰度与初始镶嵌线位置确定蚁群路径点的初始信息素值。

b)将M只蚂蚁放置在航带间初始镶嵌线的起点处。每个蚂蚁的可选路径点是当前路径点附近的多个备选路径点。

c)假设蚂蚁的当前位置为(x,y),让蚂蚁根据轮盘赌规则选择下一个备选路径点作为下一个当前路径点，然后把每个蚂蚁经过的路径点放入它们的禁忌列表中。重复这个过程，直到所有的蚂蚁到达路径点的最后一行。

d)更新蚂蚁走的路径上的信息素。只增加最优路线上的信息素，并使蚂蚁经过的其他路径上的信息素挥发。然而，每次挥发和增加的信息素量要选择合理，如果太大，就会导致过早的收敛出现早熟现象，太小会减慢收敛速度，进而降低算法的效率。如果路径点上的信息素超出[τ_min,τ_max],则按照公式(2)更新它们，其中τ_min的值设为0.1，τ_max的值设为2。

其中τ_ij(t)表示像素点(i,j)处的信息素，τ_min表示信息素的下限，τ_max表示信息素的上限。

e)将本次最优路径与先前最优路径进行比较。只保存各个路径点处具有最小成本消耗值C(x,y)的路径或所有路径点的最大的C(x,y)小于当前一个最优路径的路径，并将其设置为当前最优路径。

f)重复步骤c)～e)，直到循环次数达到预定次数或路径点收敛。循环次数取决于镶嵌线的长度，并且镶嵌线越长，需要循环的次数就越多。

在搜索过程中，蚂蚁可能遇到不可行的路径(例如一些凹形障碍物)和起点在建筑物中间的情况，如果不采取措施将会造成本段路径的选择失败。本文针对上述问题，提出了蚂蚁退避策略和横向搜索策略。

本发明在算法搜索的过程中，通过调整信息素的范围，防止出现早熟的现象；并通过利用回退策略和横向搜索策略改进蚁群算法，防止出现蚂蚁停滞，扩大了蚂蚁搜索的范围，确保蚁群能够搜索到最优镶嵌线，并保证了算法的顺利运行。最终，实现了正射影像镶嵌线选择，效果也比较理想。

附图说明

图1是本发明方法的流程图。

图2是本发明方法的改进蚁群算法的流程图。

图3是本发明方法的重叠区的差值影像图。

图4是本发明方法的简化重叠区的Voronoi图镶嵌多边形生成的示意图。

图5是本发明方法的简化重叠区的Voronoi图生成初始镶嵌线网示意图。

图6是本发明方法的镶嵌线网顶点位置调整示意图。

图7是本发明方法的镶嵌线的优化选择最终结果图。

图8是本发明方法的蚂蚁回退策略示意图。

图9是本发明方法的水平搜索策略示意图。

图10是本发明方法的简化重叠区的Voronoi图生成初始镶嵌线网络结果图。

图11是本发明方法的镶嵌线的优化选择最终结果图。

具体实施方式

下面结合本发明中的附图详细说明本发明的具体实施方式。

本实施例结合某地18幅分辨率为0.1m，旁向重叠约46％、航向重叠约68％、框幅大小4500×4000的无人机影像为例。

如图1所示，一种多幅影像镶嵌线网的优化选择方法，具体步骤如下：

a)输入n幅待优化选择镶嵌线的正射影像，将带镶嵌的影像按照地理位置进行重叠，求解出两两影像重叠的差值影像。

g(i,j)＝|g₁(i,j)-g₂(i,j)| (1)

其中，g(i,j)是两幅影像的灰度差值，g₁(i,j)和g₂(i,j)分别是左右相邻影像重叠区的灰度。

f(i,j)＝max{G(i,j),g(i,j)} (2)

其中，f(i,j)表示灰度代价值，g(i,j)和G(i,j)分别是表示颜色差异和纹理差异的灰度差值和值梯度。

由于纠正后的正射影像中存在投影差如图3(a)，图3(b)，投影差的大小可以反映高出地面的高度，相邻正射影像的差值影像的灰度和梯度大小可反映出高出地面的地物的位置如图3(c)。

b)根据重叠区域的差值图像的灰度与初始镶嵌线位置确定蚁群路径点的初始信息素值。

其中P(i,j)表示像素点(i,j)处的初始信息素，d_max是允许拼接线偏离初始拼接线的最大距离，d(i,j)代表的路径点的距离(i,j)的初始拼接线的距离，n代表路径点上可以通过灰度阈值，τ_min表示信息素的下限，τ_max表示信息素的上限。

c)使用简化重叠区域的Voronoi图生成初始镶嵌线网络，结果如图10，并将M只蚂蚁放置在航带间初始镶嵌线的起点处。图4是生成镶嵌多边形的计算过程，图5是多幅图镶嵌网生成示意图。

d)每只蚂蚁的可选路径点是当前路径点附近的多个备选路径点，其中P_i(i＝1,3,…N)表示路径点信息素的值。假设蚂蚁的当前位置为(x,y),让蚂蚁根据轮盘赌规则选择下一个备选路径点作为下一个当前路径点，每个可选路径的概率P(i)为：

其中，

P(x,y)表示像素点(x,y)处的信息素。然后把每个蚂蚁经过的路径点放入它们的禁忌列表中。重复这个过程，直到所有的蚂蚁到达路径点的最后一行。

e)更新蚂蚁走的路径上的信息素。只增加最优路线上的信息素，并使蚂蚁经过的其他路径上的信息素挥发。每次挥发和增加的信息素量要选择合理，如果太大，就会导致过早的收敛出现早熟现象，太小会减慢收敛速度，进而降低算法的效率。如果路径点上的信息素超出[τ_min,τ_max],则按照公式(3)更新它们，其中τ_min的值设为0.1，τ_max的值设为2。

其中，τ_ij(t)表示像素点(i,j)处的信息素，τ_min表示信息素的下限，τ_max表示信息素的上限。

f)将本次最优路径与先前最优路径进行比较。判断最优路径的依据是该路径成本消耗值C(x,y)最小，如图6所示。只保存各个路径点处具有最小成本消耗值C(x,y)的路径或所有路径点的最大的C(x,y)小于当前一个最优路径的路径，并将其设置为当前最优路径。

Path＝min{Path,Path_i} (8)

其中，Path表示最优路径消耗成本，

表示其中第i条路径上搜索的所消耗的成本之和，n表示该路径上路径点的个数，Path_i表示本次最优路径消耗成本。

g)重复步骤c)～e)，直到循环次数达到预定次数或路径点收敛。循环次数取决于镶嵌线的长度，并且镶嵌线越长。

h)然后按照图7方式调节航向镶嵌线的起始点，即是将初始航带上的顶点调整到距离其最近的用蚁群算法优化选择好的航带之间的镶嵌线交点上。将M只蚂蚁放置在调整好的初始镶嵌线的各个航向间初始镶嵌线的起点处，搜索最优镶嵌线的如步骤c)～f)，不同的是航向间每段路径搜索终点是航带间的最优路径上，这样相当于各段路径的终点也得到了调整。

i)最后按照公式(6)将每段路径选择出最优路径结合得到全局最优路径。

其中，

和/>

分别是从C_ij和R_k为出发点选择的最优路径，Path_opt是全局最优路径。

在搜索过程中，如果蚂蚁遇到图8(a)和图9(a)所示的情况，它们分别使用回退和侧向搜索策略来避免这些问题，从而保证搜索优化的顺利进行。

如图6所示，后退策略的步骤如下：

1)当蚂蚁K在节点13时，|Z₁₃(K)|＝0，|Z_i(k)|表示蚂蚁K在该时刻可行节点的集合中元素的数目。这个时候，蚂蚁K没有可选择的蚂蚁节点，蚂蚁K是走入死胡同。然后标记节点13为不可行节点。Tabu(n(k))＝13，n(k)代表蚂蚁K已经走过的第n行；

2)蚂蚁K从节点13撤回到节点8，n(k)＝n(k)±1，Tabu(n(k))＝8；

3)蚂蚁K重新选择节点，并令(Z₈(k)-{13})，蚂蚁发现|Z₈(K){13}|＝0，即蚂蚁是被困住了，标记节点8为不可行节点；

4)蚂蚁K从节点8撤回到节点3，则n(k)＝n(k)±1，Tabu(n(k))＝3；

5)蚂蚁K重新选择节点，并令(Z₃(k)-{8})，然后蚂蚁发现|Z₃(K){8}|！＝0，

此时蚂蚁K避开了障碍。

如图7所示，横向搜索策略步骤如下：

1)当蚂蚁K走到节点e₈时，发现没有向下的可选节点，只有选择横向的两个方向的节点选择，但是从走到节点e₄或者节点e₁₂时候，发现没有了可选节点。然后回到开始横向搜索的e₈节点，标记刚刚走过的节点为不可行节点。Tabu(n(k))＝{e₄,e₅,e₆,e₇,e₉,e₁₀,e₁₁,e₁₂},n(k)代表蚂蚁K已经走过的第n行；

2)蚂蚁K从节点e₈撤回到节点d₈，n(k)＝n(k)-1，Tabu(n(k))＝e₈，然后按照步骤(1)继续横向搜索，走到节点d₄或者节点d₁₂时候，同样发现没有可行节点，标记刚刚走过的节点为不可行节点。Tabu(n(k))＝{d₄,d₅,d₆,d₇,d₉,d₁₀,d₁₁,d₁₂}；

3)重复步骤(2)直到蚂蚁K从节点c₈撤回到节点b₉，n(k)＝n(k)-1，Tabu(n(k))＝

c₈，这时蚂蚁横向搜索到达b₂或者b₁₄都有发现|Z _b2(K){8}|！＝0或|Z _b14

(K){8}|！＝0，此时蚂蚁K跳出了陷阱。如果返回到最初的路径点依旧无法跳出陷阱，那么久横向穿过障碍物，找到可行路径点为止，作为调整后的镶嵌线起点。

横向搜索中，K行像素上的成本C(x_k,y_k)由已经越过K行的所有m个路径点的成本消耗值的平均值表示，即，

其中，C(x,y_k)表示像素点(x,y_k)处的成本消耗值。

将18幅正射影像按照上述实施步骤得到最终的正射影像图，如图11所示。

本方法利用影像本身之间的差异，无需借助外界辅助数据，求出相邻影像之间的差异。首先利用简化重叠区的Voronoi图提供的初始镶嵌线网，然后利用蚁群算法调整初始镶嵌线网的位置，使得用灰度差异和纹理特征定义的代价值最小的镶嵌线网。通过蚁群搜索的信息素的范围能避免了早期盲目搜索和后期早熟收敛现象，提高了全局搜索最优镶嵌线的能力。文中还采用蚂蚁回退和横向搜索策略有效地避免蚂蚁的停滞状态。另外，该算法结合简化重叠区的Voronoi图可以调节Voronoi图的顶点位置，有效地防止蚂蚁的搜索起点落在房屋等特征上具有明显的差异的地方。18幅彩色正射影像实验表明，该方法都能够自动检测大比例尺城市正射影像镶嵌线网络，能够有效地避开房屋、树木等视觉明显的地物以及色差较大的区。不仅保证了拼接线的质量，而且实现了多幅大比例尺正射影像的智能无缝拼接。

Claims (5)

1.基于蚁群算法的多幅影像镶嵌线网的优化选择方法，其特征是在于，包括以下步骤：

步骤1：输入n幅待优化选择镶嵌线的正射影像，将带镶嵌的影像按照地理位置进行重叠，求解出两两影像重叠的差值影像；

步骤2：在差值影像上利用八邻域梯度求解重叠区域的梯度，求解重叠区的灰度代价值表示影像之间的差异；

步骤3：利用简化重叠区的Voronoi图生成影像初始镶嵌线网络，分为航向间镶嵌线和航带间镶嵌线；

步骤4：根据重叠区域的差值图像的灰度与初始镶嵌线位置确定蚁群路径点的初始信息素值；

其中P(i,j)表示像素点(i,j)处的初始信息素，d_max是允许拼接线偏离初始拼接线的最大距离，f(i,j)表示灰度代价值，d(i,j)代表的路径点的距离(i,j)的初始拼接线的距离，n代表路径点上可以通过灰度阈值，τ_min表示信息素的下限，τ_max表示信息素的上限；

步骤5：利用改进的蚁群算法优化选择航带间镶嵌线；

步骤6：根据距离优化后的航带间的镶嵌线的最近的点作为航向间蚁群算法的起点；

步骤7：利用改进的蚁群算法优化选择航向间的镶嵌线，这里的蚁群只需要搜索到优化后的航带间的镶嵌线即可；

步骤8：将每段路径选择出最佳路径结合得到全局最佳路径；

步骤5和7，改进的蚁群算法利用的是蚁群的正反馈机制，收敛到一条最短路径的原理，即得到正射影像间的镶嵌线：

1)根据重叠区域的差值图像的灰度与初始镶嵌线位置确定蚁群路径点的初始信息素值；

2)将M只蚂蚁放置在航带间初始镶嵌线的起点处；每个蚂蚁的可选路径点是当前路径点附近的多个备选路径点；

3)假设蚂蚁的当前位置为(x,y),让蚂蚁根据轮盘赌规则选择下一个备选路径点作为下一个当前路径点，然后把每个蚂蚁经过的路径点放入它们的禁忌列表中；重复这个过程，直到所有的蚂蚁到达路径点的最后一行；

4)更新蚂蚁走的路径上的信息素；只增加最优路线上的信息素，并使蚂蚁经过的其他路径上的信息素挥发；然而，每次挥发和增加的信息素量要选择合理，如果太大，就会导致过早的收敛出现早熟现象，太小会减慢收敛速度，进而降低算法的效率；如果路径点上的信息素超出[τ_min,τ_max],

则按照公式(2)更新它们，其中τ_min的值设为0.1，τ_max的值设为2；

其中τ_ij(t)表示像素点(i,j)处的信息素，τ_min表示信息素的下限，τ_max表示信息素的上限；

5)将本次最优路径与先前最优路径进行比较，只保存各个路径点处具有最小成本消耗值C(x,y)的路径或所有路径点的最大的C(x,y)小于当前一个最优路径的路径，并将其设置为当前最优路径；

6)重复步骤3)～5)，直到循环次数达到预定次数或路径点收敛；循环次数取决于镶嵌线的长度，并且镶嵌线越长，需要循环的次数就越多；

在搜索过程中，蚂蚁可能遇到不可行的路径和起点在建筑物中间的情况，如果不采取措施将会造成本段路径的选择失败；因此提出了蚂蚁退避策略和横向搜索策略。

2.根据权利要求1所述的基于蚁群算法的多幅影像镶嵌线网的优化选择方法，其特征在于：利用改进的蚁群算法和Voronoi图结合实现自动优化选择多幅正射影像镶嵌线网络。

3.根据权利要求1所述的基于蚁群算法的多幅影像镶嵌线网的优化选择方法，其特征在于：步骤4所述的根据重叠区域的差值图像的灰度与初始镶嵌线位置确定蚁群路径点的初始信息素值，初始信息素的确定顾及了影像的灰度差异、梯度和距离初始的镶嵌线的距离；因为影像的灰度差异使得镶嵌线能够避免颜色差异大的区，梯度确保镶嵌线能够绕过线性地物，投影中心附近的影像具有投影误差，生成的初始镶嵌线的方法已经考虑了与相邻影像中心的位置，所以距离初始的镶嵌线的越近的像素点上，设置初始信息素的浓度就越高；将初始信息素在限制的区间[τ_min，τ_max]附近，这样就给了初始信息素增加和挥发的空间，使得蚂蚁更容易找到最佳路径。

4.根据权利要求1所述的基于蚁群算法的多幅影像镶嵌线网的优化选择方法，其特征在于：步骤6所述的根据距离优化后的航带间的镶嵌线的最近的点作为航向间蚁群算法的起点，这样起到调整蚁群算法的起点的作用，具体操作原理是将起点在初始航带上的顶点调整到距离其最近的用蚁群算法优化选择好的航带之间的镶嵌线交点上；因为优化选择好的航带镶嵌线没有穿过建筑物，所以调整后的点也不会落在明显地物上。

5.根据权利要求1所述的基于蚁群算法的多幅影像镶嵌线网的优化选择方法，其特征在于：将更新的信息素限制在区间[τ_min，τ_max]范围内，能防止由于路径上的信息素量大于其他路径而引起的所有蚂蚁都集中在同一条路径上，使得算法不再扩散，出现早熟现象。

Images