CN103513247B

CN103513247B - 合成孔径雷达图像和光学图像同名点匹配的方法

Info

Publication number: CN103513247B
Application number: CN201210211648.4A
Authority: CN
Inventors: 尤红建; 张翰墨
Original assignee: Institute of Electronics of CAS
Current assignee: Institute of Electronics of CAS
Priority date: 2012-06-21
Filing date: 2012-06-21
Publication date: 2015-07-15
Anticipated expiration: 2032-06-21
Also published as: CN103513247A

Abstract

本发明提供了一种合成孔径雷达(SAR)图像和光学图像同名点匹配的方法，包括：获取同一区域的光学图像和SAR图像；根据数字高程模型数据和SAR图像对应的平台位置信息对SAR图像中各像素坐标进行地形补偿修正；在光学图像以特定点为中心提取预设形状的窗口图像块，该特定点就是光学图像的同名点；在其像素坐标进行地形补偿修正处理后的SAR图像中提取全部的不同位置的预设形状的窗口图像块；分别计算其与光学图像的窗口图像块的结构相似性数值；求取一系列的结构相似性数值的最大值，则该最大值所对应的SAR图像图像块中心即为光学图像同名点的匹配位置。本发明提高了合成孔径雷达图像和光学图像的匹配效果。

Description

合成孔径雷达图像和光学图像同名点匹配的方法

技术领域

本发明涉及雷达技术雷达图像处理领域，尤其涉及一种合成孔径雷达图像和光学图像同名点匹配的方法。

背景技术

随着合成孔径雷达(Synthetic Aperture Radar，简称SAR图像)的应用越来越广泛，如何将获取的SAR图像和已有的光学图像进行自动匹配成为一项关键的问题，SAR图像和光学图像的自动匹配可以应用于复合立体匹配、SAR图像校正的地面控制点(Ground Control Point，简称GCP)自动提取以及SAR图像和光学的融合与变化检测。

目前SAR和光学图像同名点的自动匹配方法取得了一些进展，包括：基于互信息的方法、基于边缘方法和基于封闭区域的方法等，以下对其中基于互信息的方法进行简单描述。该方法包括以下步骤：

(1)提取光学图像中以某个特征点为中心的正方形窗口的区域图像块，并计算其直方图；

(2)在SAR图像对应的搜索窗口内，提取和光学图像窗口相同大小的区域图像块，计算该图像块的直方图；

(3)计算SAR窗口区域图像块和光学窗口区域图像块的联合直方图；

(4)计算归一化的互信息值；

(5)在SAR图像的搜索窗口内寻找互信息的最大值，则该最大值所所对应的位置就是SAR和光学同名点的最佳匹配位置。

上述方法实现了地形平坦地区的SAR和光学图像的同名点匹配。但在地形起伏地区，由于SAR采用侧视方式进行距离成像，使得获取的SAR图像存在较为严重的透视收缩、叠掩等几何变形，而光学图像一般采用正下视的方式获取，地形影响比较有限。这样在对SAR图像和光学图像进行同名点匹配时会由于成像几何差异导致获取的图像之间纹理相差很大，很难进行SAR图像和光学之间的同名点正确匹配。

发明内容

(一)要解决的技术问题

为解决上述的一个或多个问题，本发明提供了一种合成孔径雷达图像和光学图像同名点匹配的方法，以提高合成孔径雷达图像和光学图像的匹配效果。

(二)技术方案

根据本发明的一个方面，提供了一种合成孔径雷达(SAR)图像和光学图像同名点匹配的方法，包括：获取同一区域的光学图像和SAR图像；根据数字高程模型数据和SAR图像对应的平台位置信息对SAR图像中各像素坐标进行地形补偿修正；在光学图像以特定点为中心提取预设形状的窗口图像块，该特定点就是光学图像的同名点；在其像素坐标进行地形补偿修正处理后的SAR图像中提取全部的不同位置的预设形状的窗口图像块；分别计算其与光学图像的窗口图像块的结构相似性数值；求取一系列的结构相似性数值的最大值，则该最大值所对应的SAR图像的图像块中心即为光学图像同名点的匹配位置。

(三)有益效果

从上述技术方案可以看出，本发明SAR图像和光学图像同名点匹配的方法具有以下有益效果：

(1)通过DEM有效地补偿了地形起伏对SAR图像的影响，从而削弱了由于地形导致SAR图像纹理和光学图像的纹理差异，使得同一地区的SAR图像和光学同名点周围区域的纹理结构基本相似。

(2)采用了结构相似性的测度作为衡量SAR图像和光学图像同名点之间匹配的准则，对图像的灰度变化有较好的适应性。

附图说明

图1为本发明实施例SAR图像和光学图像匹配方法的流程示意图；

图2为本发明实施例SAR图像和光学图像同名点匹配方法中所采用的对应区域的GDEM的DEM数据。

图3为本发明实施例SAR图像和光学图像同名点匹配方法中在对应区域光学图像上提取的边长为256个像素的图像块；

图4为本发明实施例SAR图像和光学图像同名点匹配方法中所采用的对应区域SAR图像；

图5为本发明实施例匹配的SAR图像同名点和对应的图像块。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

需要说明的是，在附图或说明书描述中，相似或相同的部分都使用相同的图号。且在附图中，以简化或是方便标示。再者，附图中未绘示或描述的实现方式，为所属技术领域中普通技术人员所知的形式。另外，虽然本文可提供包含特定值的参数的示范，但应了解，参数无需确切等于相应的值，而是可在可接受的误差容限或设计约束内近似于相应的值。

本发明合成孔径雷达图像和光学图像同名点匹配的方法，应用了全球DEM数据来补偿SAR侧视引起的像点位移，同时考虑了SAR图像和光学的结构信息，采用结构相似性测度进行同名点最佳位置的确定，能够有效地进行SAR图像和光学图像同名点的自动匹配。

在本发明的一个示例性实施例中，提出了一种合成孔径雷达图像和光学图像匹配同名点的方法。图1为本发明实施例SAR图像和光学图像匹配方法的流程示意图。如图1所示，本实施例包括以下步骤：

步骤A：获取同一区域的光学图像和SAR图像；

步骤B：根据数字高程模型(Digital Elevation Model，简称DEM)数据和SAR图像对应的平台位置信息对SAR图像中各像素坐标进行地形补偿修正；

本步骤中，DEM数据优选采用日本生态和工业贸易部和美国航空航天局2009年发布的联合ASTER(Advanced Space borne Thermal Emissionand Reflection radiometer，高级航天热辐射和反射计)GDEM(Global DigitalElevation Model，全球数字地面模型)(V1版)数据，该DEM数据的特点为用户可以免费获取，且全球任意地区的平面网格可达到30米。图2为本发明实施例SAR图像和光学图像同名点匹配方法中所采用的对应区域的GDEM的DEM数据。

此外，DEM数据还可以采用美国SRTM的全球DEM数据，但其精度较低，不建议使用。当然，在对某些局部区域进行处理时，局部的DEM数据也可以使用。

该步骤又可以分为以下子步骤：

步骤B1，对于SAR图像中的每一个像素点，根据数字高程模型数据和所述SAR图像对应的平台位置信息，利用以下公式计算该像素点在斜距方向的修正值：

dr = \frac{\sqrt{{(X_{P} - X_{S})}^{2} + {(Y_{P} - Y_{S})}^{2} + {(Z_{P} - Z_{S})}^{2}} - \sqrt{{(X_{P} - X_{S})}^{2} + {(Y_{P} - Y_{S})}^{2} + {Z_{S}}^{2}}}{M_{X}} - - - (1)

其中：(X_s，Y_s，Z_s)为SAR图像对应的平台的三维位置，即X_s为其平面北向坐标、Y_s为平面东向坐标、Z_s为高度，(X_p，Y_p，Z_p)为SAR图像上该像素点对应的地面点的DEM三维位置，即X_p为DEM的平面北向坐标、Y_p为平面东向坐标、Z_p地面高度值，M_x为SAR图像对应的斜距分辨率。

步骤B2，对于SAR图像中的每一个像素点，利用其在斜距方向的修正值对其斜距向坐标进行修正：r′＝r+dr，其方位向坐标a不变。

此处，涉及到斜距向和方位向坐标，一般情况下，在SAR图像处理领域，斜距向对应着图像坐标的列方向，方位向对应图像坐标的行方向。

步骤C，在光学图像以特定点为中心提取预设形状的窗口图像块，该特定点就是光学图像的同名点；

其中，该预设形状优选为圆形或者正方形。由于一般的光学图像和SAR图像的边角均为直角，因此，该预设形状一般取正方形，即该窗口图像块为边长N个像素的正方形窗口图像块，则该正方形窗口的中心就是光学图像的同名点。本步骤中，该N的大小可以根据实际情况来选取，例如N＝100，200，256或512均可。图3为本发明实施例SAR图像和光学图像同名点匹配方法中在对应区域光学图像上提取的边长为256个像素的图像块。

步骤D，在其像素坐标进行地形补偿修正处理后的SAR图像中提取全部的不同位置的所述预设形状的窗口图像块；分别计算其与所述光学图像的窗口图像块的结构相似性数值；

图4为本发明实施例SAR图像和光学图像同名点匹配方法中所采用的对应区域SAR图像。该SAR图像为加拿大RadarSAT-2的SAR图像。

如果该窗口图像块为边长N个像素的正方形窗口图像块，则从其像素进行地形补偿修正处理后的SAR图像中的第1行第1列开始，依次顺序提取边长为N的正方形窗口图像块，并计算光学图像块和SAR图像块之间的结构相似性数值。

此时，计算SAR图像和光学图像中相应图像块结构相似性数值的公式如下所示：

S_{so} = \frac{σ_{so} + c}{σ_{s} σ_{o} + c} - - - (2)

σ_{o} = \sqrt{\frac{1}{N^{2} - 1} Σ_{i = 1}^{N^{2}} (G_{oi} - G_{o})} - - - (3)

σ_{s} = \sqrt{\frac{1}{N^{2} - 1} Σ_{i = 1}^{N^{2}} (G_{si} - G_{s})} - - - (4)

σ_{so} = \frac{1}{N^{2} - 1} Σ_{i = 1}^{N^{2}} (G_{oi} - G_{o}) (G_{si} - G_{s}) - - - (5)

其中，在公式(2)中，σ代表标准偏差，G为灰度值，下标o代表光学图像、s代表SAR图像；c是一个不等于零为常数；在公式3-5中，N²为图像的像素个数，i为对应的像素序号，G_oi表示光学图像块中第i个像素的灰度值，G_si表示SAR图像块中第i个像素的灰度值。G_o表示光学图像块中N²个像素的灰度值平均值，G_s表示SAR图像块中N²个像素的灰度值平均值。

G_{o} = \frac{1}{N^{2}} Σ_{i = 1}^{N^{2}} G_{oi} - - - (6)

G_{s} = \frac{1}{N^{2}} Σ_{i = 1}^{N^{3}} G_{si} - - - (7)

当N＝256时，在SAR图像每次移动一个像素的位置就提取一次边长为256的正方形窗口图像块而计算得到一个结构相似性值，且该结构相似性值对应着SAR图像上提取正方形窗口图像块的位置，即特定位置。在SAR图像按次序不断提取边长为256的正方形窗口，并计算结构相似性值，直到不能SAR图像上移动位置提取正方形窗口图像块。最终移动就得到了一系列的结构相似性值，而且计算的结构相似性数值之数量和在SAR图像移动位置提取正方形窗口的次数相等，而每个结构相似性数值夜都对应着SAR图像上的一个特定位置。

如图1所示，在具体执行本步骤时，需要按照以下的流程：

步骤D1：在SAR图像顺序提取正方形窗口图像块；

步骤D2，计算该正方形窗口图像块的结构相似性数值，存储该结构相似性数值；

步骤D3，正方形窗口图像块是否提取完毕，如果是，这执行步骤E，否则，重新执行步骤D1。

步骤E：求取一系列的结构相似性数值的最大值，则该最大值所对应的SAR图像的图像块中心即为光学图像同名点的匹配位置。

以下给出在具体场景下的实验过程，图2为由加拿大RadarSAT-2的SAR图像，图3为由法国SPOT-5的光学图像中的一个同名点和提取的图像块，图4为由ASTER的GDEM数据，图5为采用本发明实施例SAR图像和光学图像同名点匹配方法后与光学图像匹配后的SAR图像的图像块及其同名点。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种合成孔径雷达SAR图像和光学图像同名点匹配的方法，包括：

获取同一区域的光学图像和SAR图像；

根据数字高程模型数据和所述SAR图像对应的平台位置信息对所述SAR图像中各像素坐标进行地形补偿修正；

在光学图像以特定点为中心提取预设形状的窗口图像块，该特定点就是光学图像的同名点；

在其像素坐标进行地形补偿修正处理后的SAR图像中提取全部的不同位置的所述预设形状的窗口图像块；分别计算其与所述光学图像的窗口图像块的结构相似性数值；

求取一系列的结构相似性数值的最大值，则该最大值所对应的SAR图像的图像块中心即为光学图像同名点的匹配位置；

其中，所述预设形状为边长为N个像素的正方形，按照以下公式计算SAR图像的窗口图像块与光学图像的窗口图像块的结构相似性数值：

S_{so} = \frac{σ_{so} + c}{σ_{s} σ_{o} + c}

σ_{o} = \sqrt{\frac{1}{N^{2} - 1} Σ_{i = 1}^{N^{2}} (G_{oi} - G_{o})}, σ_{s} = \sqrt{\frac{1}{N^{2} - 1} Σ_{i = 1}^{N^{2}} (G_{si} - G_{s})}

σ_{so} = \frac{1}{N^{2} - 1} Σ_{i = 1}^{N^{2}} (G_{oi} - G_{o}) (G_{si} - G_{s})

其中，σ代表标准偏差，G为灰度值，下标o代表光学图像、s代表SAR图像；c是一个不等于零的常数；i为对应的像素序号，G_oi表示光学图像块中第i个像素的灰度值，G_si表示SAR图像块中第i个像素的灰度值，G_o表示光学图像块中N²个像素的灰度值平均值，G_s表示SAR图像块中N²个像素的灰度值平均值，按照以下公式计算G_o及G_s：

G_{o} = \frac{1}{N^{2}} Σ_{i = 1}^{N^{2}} G_{oi}, G_{s} = \frac{1}{N^{2}} Σ_{i = 1}^{N^{2}} G_{si} .

2.根据权利要求1所述的SAR图像和光学图像同名点匹配的方法，其中，所述根据数字高程模型数据和所述SAR图像对应的平台位置信息对所述SAR图像中各像素坐标进行地形补偿修正的步骤包括：

对于SAR图像中的每一个像素点，根据数字高程模型数据和所述SAR图像对应的平台位置信息，计算该像素点在斜距向的修正值；

对于SAR图像中的每一个像素点，利用其在斜距向的修正值对其斜距向坐标进行修正：r′＝r+dr。

3.根据权利要求2所述的SAR图像和光学图像同名点匹配的方法，其中，利用以下公式，计算像素点在斜距向的修正值：

dr = \frac{\sqrt{{(X_{P} - X_{S})}^{2} + {(Y_{P} - Y_{S})}^{2} + {(Z_{P} - Z_{S})}^{2}} - \sqrt{{(X_{P} - X_{S})}^{2} + {(Y_{P} - Y_{S})}^{2} + {Z_{S}}^{2}}}{M_{X}}

其中，(X_s,Y_s,Z_s)为SAR图像对应的平台的三维位置；(X_p,Y_p,Z_p)为SAR图像上该像素点对应的地面点的数字高程模型DEM三维位置；M_x为SAR图像对应的斜距分辨率。

4.根据权利要求2所述的SAR图像和光学图像同名点匹配的方法，其中，所述像素点对应的地面点在的DEM三维位置来源于以下数据：日本生态和工业贸易部和美国航空航天局2009年发布的联合ASTER GDEM数据；或美国SRTM的全球DEM数据。

5.根据权利要求1所述的SAR图像和光学图像同名点匹配的方法，其中，所述N＝100，200，256或512。

6.根据权利要求1所述的SAR图像和光学图像同名点匹配的方法，所述在其像素坐标进行地形补偿修正处理后的SAR图像中提取全部的不同位置的所述预设形状的窗口图像块的步骤包括：

从其像素进行地形补偿修正处理后的SAR图像中的第1行第1列开始，依次顺序提取边长为N的正方形窗口图像块。

7.根据权利要求1至6中任一项所述的SAR图像和光学图像同名点匹配的方法，其中，所述数字高程模型数据的平面网格小于或等于30米。