CN106709897B - 基于梯度领域的正射影像间最优拼接线寻找方法及系统 - Google Patents

Abstract

本发明公开了一种基于梯度领域的正射影像间最优拼接线寻找方法及系统，包括步骤：S1获得待拼接正射影像间的重叠区域影像对，重叠区域影像对包括两个重叠区域影像；S2计算重叠区域影像对在梯度领域的差异值，并获得能量图；S3基于能量图，以像素差异值累积和最小为目标，找寻最优拼接线。本发明充分利用梯度信息，能够更好的分辨出诸如建筑物等明显地物，从而更好的避免穿过明显地物。此外，基于梯度领域的能量差异值计算简单，方便实现，且效率较高。

Description

基于梯度领域的正射影像间最优拼接线寻找方法及系统

技术领域

本发明属于数字影像处理技术领域，特别是涉及一种基于梯度领域的正射影像间最优拼接线寻找方法及系统。

背景技术

正射影像(DOM)是摄影测量领域的最重要产品之一，由于其既可提供丰富的纹理信息，又可提供精确的地理信息。由于相机相幅限制，每张影像所覆盖的范围有限，为了生成大范围的正射影像，需要将多张小范围的正射影像拼接起来。而影像间最优拼接线寻找是影像拼接的关键技术之一，特别是针对存在较多建筑物的城区正射影像。在正射影像中，如果一些明显的地物目标(如建筑物)没有被包含到数字地面模型(DTM)，则对于同一栋建筑物，在不同的正射影像中，其地理坐标不一致。因此，如果拼接线穿过建筑物，则会造成明显的错误，形成“鬼影”现象。为了避免该问题，应该寻找到一条最优的拼接线，使其避免穿过如建筑物等的明显地物，并穿过相似性较高的区域，如地面和草地等。

目前，拼接线自动寻找的方法主要有三种技术路线：一是基于辅助数据的方法，二是基于对象的方法，三是基于重叠区域像素差异的方法。

基于辅助数据的拼接线寻找方法主要利用辅助数据(道路矢量数据、LiDAR点云数据，数字表面模型(DSM)等)对拼接线的走向进行约束，从而取得较好的拼接结果。由于辅助数据的应用，因此，该方法在大多数的情况下，可以取得非常好的拼接线寻找算法。但是，该方法的主要缺陷在于对辅助数据的依赖性，拼接结果的好坏很大程度上取决于辅助数据的精度。并且，很多区域缺乏有效的辅助数据。

基于对象的拼接线寻找方法结合影像分割算法，对重叠区域进行影像分割，得到明显地物的分布区域，从而用于指导最优拼接线的寻找。该类方法通过结合影像分割信息，可以很好的约束拼接线避开明显地物。但是，该方法的局限性主要在于目标分割的准确性得不到保证，影响拼接的效果。

基于重叠区域像素差异的拼接线寻找方法利用重叠区域对应像素的差异，构建合理的能量函数，并采用适当的能量优化方法进行优化。该方法不依赖于任何辅助数据，不受限与其它辅助算法的效果精度(如分割算法)，算法灵活性和独立性较高。但是，其最大的难点在于如何去定义一个恰当的差异准则，可以很好的将建筑物等明显地物和地面草地等适合拼接线通过的区域辨别出来。目前，较多的算法主要利用灰度领域的差异对能量函数进行构建，而忽略梯度领域的信息。然而，在一定程度上，梯度领域可以更好更鲁棒的描述影像间的差异。

发明内容

本发明的目的是提供一种基于梯度领域的正射影像间最优拼接线寻找方法及系统，本发明可快速、稳定、准确地从影像间重叠区域中寻找到最优拼接线。

和传统的拼接线寻找方法相比，本发明不依赖辅助数据，不依赖辅助算法的精度和效果，能够在梯度领域对影像间的差异性进行良好表达。传统的基于重叠区域像素差异的拼接线寻找方法，难以准确表达某些明显目标的区域差异性，例如，对平滑建筑物屋顶，所得到的差异值较小，甚至小于地面草地等适合拼接线通过的区域。本发明可以更好的辨别出明显目标区域和适合拼接线通过的区域。

为达到上述目的，本发明采用如下技术方案：

一、基于梯度领域的正射影像间最优拼接线寻找方法，包括：

S1获得待拼接正射影像间的重叠区域影像对，重叠区域影像对包括两个重叠区域影像；

S2计算重叠区域影像对的差异值，本步骤具体为：

2.1将两个重叠区域影像转换成灰度影像，计算各灰度影像在x方向和y方向的梯度图；

2.2根据梯度图，分别计算各像素p在各重叠区域影像中的梯度方向值；

2.3根据梯度方向值计算各像素p的梯度方向变化值C_o(p)：

其中，O₁(p)和O₂(p)分别为像素p在两个重叠区域影像中的梯度方向值；δ为标准方差，其为经验值；

2.4根据梯度图，分别计算各像素p在各重叠区域影像中的梯度大小变化值C_g(p)：

其中，和分别表示像素p在第一个重叠区域影像的x方向和y方向的梯度值；和分别表示像素p在第二个重叠区域影像的x方向和y方向的梯度值；

2.5根据梯度方向变化值和梯度大小变化值，计算各像素p在梯度领域的差异值C(p)：

C(p)＝λC_o(p)+C_g(p)

其中，λ是平衡参数，其为经验值，用来平衡梯度方向变化值和梯度大小变化值的权重；

2.6根据各像素p的差异值C(p)生成重叠区域影像对的能量图；

S3基于能量图，以像素差异值累积和最小为目标，找寻最优拼接线。

步骤1进一步包括子步骤：

1.1根据正射影像的地理坐标信息，将待拼接正射影像对转换至同一坐标系；

1.2求每张正射影像的有效区域，并生成Mask图；

1.3将待拼接正射影像对的两张Mask图进行与运算，得到重叠区域；

1.4计算重叠区域的最大外包矩形，根据最大外包矩形，裁剪得到待拼接正射影像对的重叠区域影像对。

作为优选，在执行步骤S3前，采用高斯滤波器对能量图进行滤波。

步骤3具体为：

基于能量图构建能量函数，所述的能量函数包括数据项能量和平滑项能量，采用图割模型对能量函数进行优化，找到数据项能量和平滑项能量之和最小的拼接线，即最优拼接线。

二、基于梯度领域的正射影像间最优拼接线寻找系统，包括：

重叠区域影像对获得模块，用来获得待拼接正射影像间的重叠区域影像对，重叠区域影像对包括两个重叠区域影像；

差异值计算模块，用来计算重叠区域影像对的差异值；

最优拼接线找寻模块，用来基于能量图，以像素差异值累积和最小为目标，找寻最优拼接线；

所述的差异值计算模块进一步包括：

梯度图获得模块，用来将两个重叠区域影像转换成灰度影像，计算各灰度影像在x方向和y方向的梯度图；

梯度方向值获得模块，用来根据梯度图，分别计算各像素p在各重叠区域影像中的梯度方向值；

梯度方向变化获得模块，用来根据梯度方向值计算各像素p的梯度方向变化值C_o(p)：

其中，O₁(p)和O₂(p)分别为像素p在两个重叠区域影像中的梯度方向值；δ为标准方差，其为经验值；

梯度大小变化值获得模块，用来根据梯度图，分别计算各像素p在各重叠区域影像中的梯度大小变化值C_g(p)：

其中，和分别表示像素p在第一个重叠区域影像的x方向和y方向的梯度值；和分别表示像素p在第二个重叠区域影像的x方向和y方向的梯度值；

差异获得模块，用来根据梯度方向变化值和梯度大小变化值，计算各像素p在梯度领域的差异值C(p)：

C(p)＝λC_o(p)+C_g(p)

其中，λ是平衡参数，其为经验值，用来平衡梯度方向变化值和梯度大小变化值的权重；

能量图生成模块，用来根据各像素p的差异值C(p)生成重叠区域影像对的能量图。

相对于现有技术，本发明能够快速准确自动地寻找得到影像间最优拼接线。在拼接线自动寻找过程中，本发明充分利用梯度信息，相比较于传统的基于灰度领域的方法，能够更好的分辨出诸如建筑物等明显地物，从而更好的避免穿过明显地物。此外，基于梯度领域的能量差异值计算简单，方便实现，且效率较高。

附图说明

图1为本发明实施例的整体流程图；

图2为本发明实施例的能量图示意图，其中，图(a)为高斯滤波器前的能量图，图(b)是高斯滤波后的能量图；

图3为本发明实施例获得的最优拼接线示意图。

具体实施方式

下面将对本发明具体实施方式进行进一步说明。

步骤1，准备待拼接正射影像对，获得待拼正射接影像对的重叠区域影像对。

拼接两张影像时，最优拼接线必然落于两张影像的重叠区域内。因此，为节约拼接线搜索时间，首先计算重叠区域，然后在重叠区域内进行拼接线搜索。

待拼接正射影像对记为拼接后正射影像记为J，本步骤具体包括以下子步骤：

1.1根据正射影像的地理坐标信息，将待拼接正射影像对转换至同一坐标系。

1.2求每张正射影像的有效区域，并生成Mask图。若像素落于有效区域，则设置Mask图上对应位置的值为1；若落于无效区域，则设置为0。有效区域即正射影像上有影像信息的区域。

1.3将待拼接正射影像对的两张Mask图进行与运算，得到重叠区域。即当两张Mask图对应位置的值均为1的区域为重叠区域。

1.4计算重叠区域的最大外包矩形，根据最大外包矩形，裁剪得到待拼接正射影像对的重叠区域影像对(I'₁,I'₂)。

步骤2，重叠区域影像对差异值的计算。

为保证最优拼接线质量，应尽可能的让其通过差异性较小的区域。因此，针对重叠区域影像对，需要求取其差异性。本发明中，影像差异性是在梯度领域进行求取。

本步骤具体包括以下子步骤：

2.1将重叠区域影像对(I'₁,I'₂)转换成灰度影像，采用Sobel算子计算各像素在x方向和y方向的梯度，分别得到重叠区域影像I'₁的梯度图和以及重叠区域影像I'₂的梯度图和

2.2根据梯度图，分别计算各重叠区域影像中各像素p的梯度方向值O₁(p)和O₂(p)：

式(1)中，和分别表示像素p在重叠区域影像I'_i的x方向和y方向的梯度值。

此外，将所得的所有梯度方向值均转换到[0,2π]范围内。

2.3根据各重叠区域影像中各像素p的梯度方向值O₁(p)和O₂(p)，计算像素p的梯度方向变化值C_o(p)。

梯度方向变化值C_o(p)的计算公式如下：

式(2)中，δ为标准方差。

δ为经验值，在不同应用中可稍作调整。δ的取值范围优选为(0.9,1.5)，本实施例中，δ取0.9。

2.4根据梯度图，计算像素p的梯度大小变化值C_g(p)，其计算公式如下：

2.5根据梯度方向变化值和梯度大小变化值，计算各像素p在梯度领域的差异值C(p)，其计算公式如下：

C(p)＝λC_o(p)+C_g(p) (4)

式(4)中，λ是平衡参数，根据经验设置，其用来平衡梯度方向变化值和梯度大小变化值的权重。λ的取值范围优选为(150,255)，本实施例中，λ取255。

2.6求取重叠区域影像对中每个像素的差异值后，即可生成重叠区域影像对的能量图M。

然而，由于影像中存在噪声，而梯度方向对噪声极为敏感，因此能量图M中存在较多的噪声，对最后的拼接线提取有一定影像。为消除噪声影响，采用高斯滤波器对能量图M进行滤波，在一定程度上抑制噪声的影响，如图2(a)和图2(b)所示。

步骤3，最优拼接线寻找。

通常而言，最优拼接线需要落于影像间差异性最小的区域，从而避免穿过如建筑物等明显地物。根据步骤2中能量图，保证最优拼接线所通过的像素差异值累积和最小，也即找到一条最短路径。本发明中，采用图割模型进行最优拼接线的寻找。通常而言，图割模型的能量函数分为两种类型，分别称为数据项和平滑项。在最优拼接线寻找问题中，数据项能量代表将某个像素标记为来自于某张影像的惩罚能量，而平滑项代表将两相邻的像素标记为来自于不同的影像的惩罚能量。

本发明中，实施例具体包括以下子步骤：

3.1设置数据项能量。

针对来自于拼接后影像J中的每一个像素p，其来自于影像I_i的数据项能量R_p(I_i)为：

其中，i＝1,2。

因此，经最优拼接线拼接后的影像J中每个像素来自于影像I_i的数据项能量惩罚E_data(I_i)定义为：

因此，所有的数据能量项的定义为：

式(7)中，N表示影像个数，本发明中，N为2。

3.2平滑项能量设置。

针对来自于拼接后影像J中两个相邻像素对p和q，为像素p的四邻域，其平滑项能量定义如下：

E_smooth(p,q)＝C(p)+C(q)(8)

式(8)中，C(p)和C(q)分别代表像素p和q的差异值。

因此，所有的平滑项能量设置如下：

式(9)中，和分别代表拼接后影像J中像素p和q所属影像的编号，函数的定义如下：

3.3采用图割模型进行能量优化。

将步骤3.1和步骤3.2所设置的数据项能量(见公式(7))和平滑项能量(见公式(9))作为能量函数，采用图割模型对能量函数进行优化，找到全局最优解，即找到数据项能量和平滑项能量之和最小的最优拼接线。本实施例所获得的最优拼接线见图3。

Claims (5)

1.基于梯度领域的正射影像间最优拼接线寻找方法，其特征是，包括：

S1获得待拼接正射影像间的重叠区域影像对，重叠区域影像对包括两个重叠区域影像；本步骤具体为：

1.1根据正射影像的地理坐标信息，将待拼接正射影像对转换至同一坐标系；

1.2求每张正射影像的有效区域，并生成Mask图；若像素落于有效区域，则设置Mask图上对应位置的值为1；若落于无效区域，则设置为0；有效区域即正射影像上有影像信息的区域；

1.3将待拼接正射影像对的两张Mask图进行与运算，得到重叠区域；即当两张Mask图对应位置的值均为1的区域为重叠区域；

1.4计算重叠区域的最大外包矩形，根据最大外包矩形，裁剪得到待拼接正射影像对的重叠区域影像对(I'₁,I'₂)；

S2计算重叠区域影像对的差异值，并获得能量图，本步骤具体为：

2.1将两个重叠区域影像转换成灰度影像，计算各灰度影像在x方向和y方向的梯度图；

2.2根据梯度图，分别计算各像素p在各重叠区域影像中的梯度方向值；

2.3根据梯度方向值计算各像素p的梯度方向变化值C_o(p)：

其中，O₁(p)和O₂(p)分别为像素p在两个重叠区域影像中的梯度方向值；δ为标准方差，其为经验值；

2.4根据梯度图，分别计算各像素p在各重叠区域影像中的梯度大小变化值C_g(p)：

其中，和分别表示像素p在第一个重叠区域影像的x方向和y方向的梯度值；和分别表示像素p在第二个重叠区域影像的x方向和y方向的梯度值；

2.5根据梯度方向变化值和梯度大小变化值，计算各像素p在梯度领域的差异值C(p)：

C(p)＝λC_o(p)+C_g(p)

其中，λ是平衡参数，其为经验值，用来平衡梯度方向变化值和梯度大小变化值的权重；

2.6根据各像素p的差异值C(p)生成重叠区域影像对的能量图；

S3基于能量图，以像素差异值累积和最小为目标，找寻最优拼接线。

2.如权利要求1所述的基于梯度领域的正射影像间最优拼接线寻找方法，其特征是：

步骤1进一步包括子步骤：

1.1根据正射影像的地理坐标信息，将待拼接正射影像对转换至同一坐标系；

1.2求每张正射影像的有效区域，并生成Mask图；

1.3将待拼接正射影像对的两张Mask图进行与运算，得到重叠区域；

1.4计算重叠区域的最大外包矩形，根据最大外包矩形，裁剪得到待拼接正射影像对的重叠区域影像对。

3.如权利要求1所述的基于梯度领域的正射影像间最优拼接线寻找方法，其特征是：

在执行步骤S3前，采用高斯滤波器对能量图进行滤波。

4.如权利要求1所述的基于梯度领域的正射影像间最优拼接线寻找方法，其特征是：

步骤3具体为：

基于能量图构建能量函数，所述的能量函数包括数据项能量和平滑项能量，采用图割模型对能量函数进行优化，找到数据项能量和平滑项能量之和最小的拼接线，即最优拼接线。

5.基于梯度领域的正射影像间最优拼接线寻找系统，其特征是，包括：

第一模块，用来获得待拼接正射影像间的重叠区域影像对，重叠区域影像对包括两个重叠区域影像；

第二模块，计算重叠区域影像对的差异值，并获得能量图；

第三模块，用来基于能量图，以像素差异值累积和最小为目标，找寻最优拼接线；

所述第一模块进一步包括：

坐标转换模块，用来根据正射影像的地理坐标信息，将待拼接正射影像对转换至同一坐标系；

Mask图生成模块，用来求每张正射影像的有效区域，并生成Mask图；若像素落于有效区域，则设置Mask图上对应位置的值为1；若落于无效区域，则设置为0；有效区域即正射影像上有影像信息的区域；

重叠区域获得模块，用来将待拼接正射影像对的两张Mask图进行与运算，得到重叠区域；即当两张Mask图对应位置的值均为1的区域为重叠区域；

重叠区域影像对获得模块，用来计算重叠区域的最大外包矩形，根据最大外包矩形，裁剪得到待拼接正射影像对的重叠区域影像对(I'₁,I'₂)；

所述的第二模块进一步包括：

梯度图获得模块，用来将两个重叠区域影像转换成灰度影像，计算各灰度影像在x方向和y方向的梯度图；

梯度方向值获得模块，用来根据梯度图，分别计算各像素p在各重叠区域影像中的梯度方向值；

梯度方向变化获得模块，用来根据梯度方向值计算各像素p的梯度方向变化值C_o(p)：

其中，O₁(p)和O₂(p)分别为像素p在两个重叠区域影像中的梯度方向值；δ为标准方差，其为经验值；

梯度大小变化值获得模块，用来根据梯度图，分别计算各像素p在各重叠区域影像中的梯度大小变化值C_g(p)：

其中，和分别表示像素p在第一个重叠区域影像的x方向和y方向的梯度值；和分别表示像素p在第二个重叠区域影像的x方向和y方向的梯度值；

差异获得模块，用来根据梯度方向变化值和梯度大小变化值，计算各像素p在梯度领域的差异值C(p)：

C(p)＝λC_o(p)+C_g(p)

其中，λ是平衡参数，其为经验值，用来平衡梯度方向变化值和梯度大小变化值的权重；

能量图生成模块，用来根据各像素p的差异值C(p)生成重叠区域影像对的能量图。