CN103218821B - 一种面向区域覆盖的影像自动镶嵌方法 - Google Patents

Abstract

本发明公开了一种面向区域覆盖的影像自动镶嵌方法，根据多幅正射影像的有效区域的重叠关系计算出重叠区域多边形的中轴线，并对每幅影像的有效区域按照中轴线进行裁剪，输出每幅影像的镶嵌有效区域，根据镶嵌有效区域获得面向区域覆盖的影像镶嵌线；利用重叠区域内的地物轮廓线对所述的影像镶嵌线进行优化，获得优化后的影像镶嵌线；对每幅正射影像的镶嵌有效区域进行重采样，在重采样过程中对优化后的影像镶嵌线进行羽化，得到区域镶嵌影像。该方法避免了目前镶嵌技术的输入顺序对输出结果的影响，简化了影像间的重叠关系，对多幅影像的统一处理，无中间结果输出，提高了镶嵌影像的处理效率。

Description

一种面向区域覆盖的影像自动镶嵌方法

技术领域

本发明涉及一种面向区域覆盖的影像自动镶嵌方法，属于卫星影像处理技术领域，用于区域覆盖范围内多源影像的自动镶嵌。

背景技术

大量高分辨率大尺寸、多时相遥感数据的获取为资源探测、灾害监测、天气预报、测绘勘察和农林水利等研究提供了信息基础，而在遥感数据应用中，往往需要对多幅遥感图像进行拼接处理，以获得某一区域的地面图像，从而进行区域宏观规律的探索。

基于镶嵌线的镶嵌是目前镶嵌的主要方法，但是镶嵌线的生成算法影响镶嵌精度和处理效率。

目前已有研究的镶嵌算法根据镶嵌线生成过程主要有自动镶嵌，镶嵌线镶嵌，基于特征点的镶嵌方法，基于彩色的镶嵌方法四种方法。

a.自动镶嵌方法

自动镶嵌用于处理两幅影像重叠区域足够大，且重叠区域的镶嵌带都在影像内的情况，这种镶嵌方法处理的影像范围比较局限，不适合通用性的影像镶嵌处理。

b.镶嵌线镶嵌方法

镶嵌线镶嵌的原理是尽量使得镶嵌线位于两幅影像的中心，同时避开特征区域，如高大建筑、树林和大片水体等，然后以镶嵌线为中心，以镶嵌带宽为半径，同时参考影像的信息求出镶嵌带的边界，计算出边界处的加权值，最后用加权值乘以各自的影像值求和即为镶嵌带的影像值。该方法可以通过优化用于处理多幅影像的镶嵌，但是镶嵌线的生成是提高镶嵌精度和处理效率的关键。

c.基于特征点的镶嵌方法

基于特征点的镶嵌方法中特征点是用于检测出影像内特殊的区域，可以通过基于灰度差最小的原则在影像重叠区域内找到特征点作为两幅图像镶嵌的边界。该方法可以结合镶嵌线生成的原理进行基于特征点的镶嵌线的生成，用于避开图像中的特殊区域，优化镶嵌结果。

d.基于彩色的镶嵌方法

基于彩色的镶嵌方法主要用于彩色影像，由于一幅彩色影像由3基色红、绿、蓝（RGB）分量组成。由色度学原理，将RGB变换成HIS彩色坐标。为了获得理想的彩色影像镶嵌结果，应选择强度、色度、饱和度差别最小原则搜索接缝点，根据接缝点进行镶嵌，再将镶嵌好的三组影像数据进行彩色合成，可得到理想的镶嵌效果。

目前多数的镶嵌线生成方法多只关注于相邻的两幅影像，多幅影像按照相邻两幅影像生成镶嵌线方法进行大范围影像镶嵌时，需要采用两两镶嵌的方法，每次只进行两幅影像之间的镶嵌，当前两幅影像的镶嵌结果再与镶嵌序列中的下一幅影像进行镶嵌，直至所有的正射影像都完成镶嵌处理。

两两镶嵌的方法需要产生中间影像处理结果，并且镶嵌结果和处理影像序列有关。镶嵌过程中镶嵌中间结果的生成，尤其是对于大范围的影像镶嵌，影像处理效率影响比较大。

遥感卫星的应用越来越广泛，其具有高重叠度，高分辨率的特点，需要获取的影像产品范围越来越大。如果仍然采用传统的两幅影像重叠区选取接缝线的两两镶嵌模式进行镶嵌，处理工作量将大大增加，效率得不到保障。

发明内容

本发明所要解决的技术问题是：克服现有遥感影像镶嵌技术的不足，提供一种面向区域覆盖的影像自动镶嵌方法，该方法考虑处理图像的普遍适用性、镶嵌效果及自动批量化，避免了目前镶嵌技术的输入顺序对输出结果的影响，简化了影像间的重叠关系，对多幅影像进行统一处理，无中间结果输出，提高了镶嵌影像的处理效率。

本发明包括如下技术方案：

一种面向区域覆盖的影像自动镶嵌方法，能够对一个区域内的多幅正射影像进行自动镶嵌获得区域镶嵌影像，具体包括以下步骤：

对所述区域内的多幅正射影像进行色彩调整；

根据色彩调整后的多幅正射影像的矩形范围计算正射影像的重叠关系；

获得每幅正射影像的有效区域；

根据正射影像的重叠关系和正射影像的有效区域，计算相邻重叠正射影像的重叠区域；

基于相邻重叠正射影像的重叠区域计算重叠区域的中轴线；

根据重叠区域的中轴线确定每幅正射影像的镶嵌有效区域；

通过计算相邻重叠正射影像的镶嵌有效区域之间的公共边获得面向区域覆盖的影像镶嵌线；

检测每幅正射影像中的地物轮廓线，基于相邻重叠正射影像的重叠区域计算重叠区域内的地物轮廓线；

利用重叠区域内的地物轮廓线对所述的影像镶嵌线进行优化，获得优化后的影像镶嵌线；

对每幅正射影像的镶嵌有效区域进行重采样，在重采样过程中对优化后的影像镶嵌线进行羽化，得到区域镶嵌影像。

采用Wallis滤波算法对区域内的多幅正射影像进行色彩调整处理。

采用影像降采样方法和线性边界扫描方法获得每幅正射影像的有效区域。

采用直方图特征匹配方法检测每幅正射影像中的地物轮廓线。

采用缓冲区加权平均法对优化后的影像镶嵌线进行羽化。

本发明与现有技术相比具有如下优点：本发明根据多幅正射影像的有效区域的重叠关系计算出重叠区域多边形的中轴线，并对每幅影像的有效区域按照中轴线进行裁剪，输出每幅影像的镶嵌有效区域，根据镶嵌有效区域获得面向区域覆盖的影像镶嵌线；利用重叠区域内的地物轮廓线对所述的影像镶嵌线进行优化，获得优化后的影像镶嵌线；对每幅正射影像的镶嵌有效区域进行重采样，在重采样过程中对优化后的影像镶嵌线进行羽化，得到区域镶嵌影像。该方法避免了目前镶嵌技术的输入顺序对输出结果的影响，简化了影像间的重叠关系，对多幅影像的统一处理，无中间结果输出，提高了镶嵌影像的处理效率。另外，本发明将影像间多度重叠的情况转为二度重叠，简化对多度重叠区域的处理，提高了处理的效率。

附图说明

图1为本发明的整体流程图。

图2为影像重叠关系示意图。

图3为多边形重叠区域的中轴线生成示意图。

图4为本发明的镶嵌有效区域生成的示意图，其中图4a为待镶嵌影像的有效区域示意图，图4b为裁剪后的各个影像的镶嵌有效区域示意图。

图5为本发明的镶嵌线生成的示意图。

图6为本发明的优化后镶嵌线的示意图及镶嵌影像。

具体实施方式

下面结合附图对本发明的具体实施方式进行进一步的详细描述：

如图1所示，本发明的一种面向区域覆盖的影像自动镶嵌方法，具体包括如下步骤:

1、对区域内的多幅正射影像，选择标准影像，采用Wallis滤波算法对区域内的多幅正射影像进行处理，基于标准影像各波段的均值和方差统计值对多幅正射影像进行色彩的调整。

Wallis滤波算法可将局部影像的灰度均值和方差映射到给定的灰度均值和方差值。它是一种局部影像变换，它使影像不同位置处的灰度方差和灰度均值具有近似相等的数值，即影像反差小的区域的反差增大，影像反差大的区域的反差减小，使得影像中灰度的微小信息得到增强。

Wallis滤波器可以表示为：

$f(x,y)=\left[g(x,y){-m}_g\right]\frac{{\mathrm{cs}}_f}{{\mathrm{cs}}_g+(1-c)s_f}+{\mathrm{bm}}_f+(1-b)m_g$

式中，g(x,y)为原影像的灰度值；f(x,y)为Wallis变换后结果影像的灰度值；m_g为原影像的局部灰度均值；s_g为原影像的局部灰度标准偏差；m_f为结果影像局部灰度均值的目标值；s_f为结果影像的局部灰度标准偏差的目标值；c∈[0,1]为影像方差的扩展常数；b∈[0,1]为影像的亮度系数，当b→1时影像均值被强制到m_f，当b→0时影像的均值被强制到m_g，可表示为：

f(x,y)=g(x,y)r₁+r₀

公式中，r_o=bm_f+(1-b-r₁)m_g，参数r₁，r₀分别为乘性系数和加性系数，因此Wallis滤波器是一种线性变换。

典型的Wallis滤波器中c=1，b=1,此时Wallis滤波公式变为:

f(x,y)=[g(x,y)-m_g]·(s_f/s_g)+m_f

此时，r_o=m_f-r₁m_g。

当m_f、s_f为另一幅影像的同名影像块的局部灰度均值和反差，Wallis滤波器就能用于影像拼接时的影像辐射校正。在本发明算法中，采用对整幅正射影像进行Wallis变换，m_f、s_f取标准影像的每波段均值和方差统计值，m_g、s_g取待处理影像的每波段均值和反差，于是可以不用考虑同名区域的限制，在影像没有经过几何校正而严格重叠，甚至是没有重叠的情况下，也可以通过这种方式来控制待处理影像的整体颜色表现。

或者采用直接输入标准影像的m_f、s_f对图像进行变换，该方法具备的优点是可以减少计算量，同时对多幅影像进行统一的匀色匀光处理。

2、根据影像的输入顺序或者手动排序编号，影像与编号之间一一对应，作为处理过程中影像的标识。假设输入5幅图像，编号后顺序如附图2所示。根据影像的矩形范围计算影像的重叠关系。矩形与矩形相交，采用判断点在多边形内方法进行判断，计算矩形边与边的交点，输出相邻重叠影像的重叠区域。如附图2所示，通过矩形区域相交判断，则建立的影像重叠关系为：

图像1：图像3，图像4

图像2：图像4，图像5

图像3：图像1，图像4

图像4：图像1，图像2，图像3，图像5

图像5：图像2，图像4。

3、获得各正射影像的有效区域

采用影像降采样方法对原影像进行降采样，对降采样后得到的影像，以由上至下的顺序分别从左到右，从右到左扫描像素值，遇到首个非背景像素值时，停止当前行扫描，保存当前点的位置，并根据重采样率进行坐标恢复，在所有的边界点中寻找直线，由此获取影像有效区域的各个顶点，并以顺时针的顺序保存在有效区域结构中。

从计算效率和精度方面考虑，降采样采用双线性插值法实现，双线性插值法利用插值点周围的四个临近点确定插值点的灰度值。临近点对插值点灰度值的贡献度大小，用一个分段函数表示，该分段线性函数为：

$\mathrm{\ω}\left(t\right)\left\{\begin{array}{cc}1-\left|t\right|& 0\≤\left|t\right|\\ 0& \end{array}\right.$

假设插值点与其周围临近的4个像素点分别表示为p，(1,1)，(1,2)，(2,1)，(2,2)。其中，插值点p到像素点(1,1)的距离在X轴和Y轴方向上的投影分别为Δx和Δy。令D_ij为像素点(i,j)的灰度值，则插值点p的灰度值D_p为：

$D_p=\left[\begin{array}{cc}\mathrm{\ω}\left(\mathrm{\Δx}\right)& \mathrm{\ω}(1-\mathrm{\Δx})\end{array}\right]\left[\begin{array}{cc}{D}_{11}& D_{12}\\ D_{21}& D_{22}\end{array}\right]\left[\begin{array}{c}\mathrm{\ω}\left(\mathrm{\Δy}\right)\\ \mathrm{\ω}(1-\mathrm{\Δy})\end{array}\right]$

双线性插值法克服了最邻近插值法不连续的缺点，插值精度和运算量都比较适中。

4、基于影像重叠关系和影像的有效区域，计算相邻重叠影像的重叠区域，主要将有效区域内的点构建为边，遍历相邻重叠影像对的所有边进行相交点的计算，并输出重叠区域的点保存到重叠区域结构中。

5、基于相邻重叠影像的重叠区域计算重叠区域的中轴线，得到重叠影像的中轴线列表。重叠区域中轴线生成示意图见附图3，具体计算方法如下：

（5.1）重叠区域的各顶点p₁,p₂,...,p_n以逆时针方向排列，计算各顶点角的角平分线；

（5.2）求顶点p_i角平分线和p_i+1角平分线的交点，设为q_i，计算q_i到边的距离，设为d_i，i=1...n；

（5.3）计算d=min(d₁,d₂,...,d_n)，设为d=d₁，即q₁至边的距离最小，对顶点重新编号；

（5.4）i←1

（5.5）计算延长线与延长线夹角的分角线l_i，l_i经过q_i；

（5.6）计算顶点角p_n的分角线，与l_i交于q_i+1；

（5.7）计算延长线与延长线夹角的分角线l_i+1，l_i+1经过q_i+1；

（5.8）计算顶点角p_i+2的分角线，与l_i+1交于q_i+2；

（5.9）计算延长线与延长线夹角的分角线l_i+2，l_i+2经过q_i+2；

（5.10）计算顶点角p_n-i的分角线，与l_i+2交于q_i+3；

（5.11）循环执行（5.9）与（5.10），执行（5.9）时按照减序、增序的顺序改变 的下标；顶点角下标分别按增序、减序交替执行（5.10），直至执行（5.9）时两线段的夹角为顶点角；

（5.12）输出折线q₁,q₂,...,q_n-2及折线各顶点与相应凸多边形顶点的连线。

6、计算各个影像的镶嵌有效区域。

对某个待镶嵌的影像，遍历重叠影像的中轴线列表，采用与待镶嵌影像所对应的中轴线对待镶嵌影像有效区域进行裁剪，获得该影像的镶嵌有效区域。如附图4a所示为待镶嵌影像1、3、4的有效区域和相应的中轴线A、B、C、如附图4b所示为裁剪后的各个影像的镶嵌有效区域。

7、通过计算相邻重叠正射影像的镶嵌有效区域之间的公共边获得面向区域覆盖的影像镶嵌线；如图5所示。

8、获取地物轮廓

对正射影像利用直方图特征匹配方法寻找到湖泊等面状的地物轮廓，直方图特征匹配方法通过统计某一窗口内的灰度分布直方图，根据直方图的相关系数，判断当前窗口中心像素所属的标准面状地物，进而提取出该窗口的面状地物信息；具体包括如下步骤：

（8.1）对区域内的多幅正射影像，选择标准影像，该标准影像与步骤1选取一致，统计并计算标准影像的灰度直方图；

（8.2）依次读取区域内的正射影像，以整幅正射影像的像素（i,j）为中心，提取出n×n的影像窗口，统计计算出此窗口的直方图分布；

（8.3）计算两种直方图分布的绝对差之和，分析与n×n的影像的直方图最为接近的标准直方图分布，并记录此标准直方图分布所属的面状地物，同时赋予像素（i,j）新的代表标准面状地物的灰度值；

（8.4）基于相邻重叠正射影像的重叠区域计算重叠区域内的地物轮廓线。

9、优化镶嵌线。

沿着相邻影像重叠区域内中轴线的方向寻找与所述镶嵌线相交的地物轮廓线，连接地物轮廓线与镶嵌线后得到的镶嵌线即优化后的镶嵌线，能有效避开地物轮廓，见附图6。

10、基于影像的镶嵌有效区域进行重采样，重采样方法采用的是双线性插值法。在重采样过程中，采用缓冲区加权平均法对优化后的镶嵌线进行羽化，以消除镶嵌线。对区域内的多幅正射影像经重采样和羽化后得到区域镶嵌影像。

多幅影像的镶嵌线羽化基于每段镶嵌线相邻的两幅影像进行，以其中一幅影像为基准图像，另一幅影像为配准影像。缓冲区加权平均法通过在镶嵌线上向镶嵌线内侧回退两个缓冲半径，作为消除镶嵌线的缓冲区域；接着采用加权平均法对缓冲区域内的像元进行重采样，具体公式如下：

$F(x,y)=\frac{0.5}{R}(R-t)f(x,y)+\frac{0.5}{R}(R+t)g(x,y)$

式中，F(x,y)为输出像元值；f(x,y)为基准图像缓冲区内像元值；g(x,y)为配准图像缓冲区内像元值；R为缓冲半径（2R<重叠宽度）；t为缓冲区中的点到镶嵌线的距离，左上为负，右下为正。

上述羽化方法就是把镶嵌线处的色调差异平滑到整个缓冲区，方法简单可靠。

本发明未详细阐述的部分属于本领域公知技术。

Claims (3)

1.一种面向区域覆盖的影像自动镶嵌方法，能够对一个区域内的多幅正射影像进行自动镶嵌获得区域镶嵌影像，其特征在于，具体包括以下按顺序执行的步骤：

(1)对所述区域内的多幅正射影像进行色彩调整；

(2)根据色彩调整后的多幅正射影像的矩形范围计算正射影像的重叠关系；

(3)采用影像降采样方法和线性边界扫描方法获得每幅正射影像的有效区域；所述影像降采样方法采用双线性插值法实现；

(4)根据正射影像的重叠关系和正射影像的有效区域，计算相邻重叠正射影像的重叠区域；

(5)基于相邻重叠正射影像的重叠区域计算重叠区域的中轴线；

(6)根据重叠区域的中轴线确定每幅正射影像的镶嵌有效区域；

(7)通过计算相邻重叠正射影像的镶嵌有效区域之间的公共边获得面向区域覆盖的影像镶嵌线；

(8)检测每幅正射影像中的地物轮廓线，基于相邻重叠正射影像的重叠区域计算重叠区域内的地物轮廓线；

(9)利用重叠区域内的地物轮廓线对所述的影像镶嵌线进行优化，获得优化后的影像镶嵌线；

(10)对每幅正射影像的镶嵌有效区域进行重采样，在重采样过程中对优化后的影像镶嵌线进行羽化，得到区域镶嵌影像；采用缓冲区加权平均法对优化后的影像镶嵌线进行羽化。

2.根据权利要求1所述的一种面向区域覆盖的影像自动镶嵌方法，其特征在于，采用Wallis滤波算法对区域内的多幅正射影像进行色彩调整处理。

3.根据权利要求1所述的一种面向区域覆盖的影像自动镶嵌方法，其特征在于，采用直方图特征匹配方法检测每幅正射影像中的地物轮廓线。