CN114004870A - 一种利用光学正射图像的无人机sar图像地理编码方法 - Google Patents
一种利用光学正射图像的无人机sar图像地理编码方法 Download PDFInfo
- Publication number
- CN114004870A CN114004870A CN202111183465.1A CN202111183465A CN114004870A CN 114004870 A CN114004870 A CN 114004870A CN 202111183465 A CN202111183465 A CN 202111183465A CN 114004870 A CN114004870 A CN 114004870A
- Authority
- CN
- China
- Prior art keywords
- image
- aerial vehicle
- unmanned aerial
- optical
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20164—Salient point detection; Corner detection
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种利用光学正射图像的无人机SAR图像地理编码方法,属于遥感图像处理技术领域。本发明首先采用基于秩自相似特征的方法,实现光学正射图像和无人机SAR图像匹配点对的精确提取;其次在光学正射图像对应的DEM上内插出匹配点的地理坐标,获得地理坐标的匹配点作为控制点;然后再利用提取的控制点精化SAR图像距离多普勒几何构像模型;最后利用精化后的距离多普勒模型和对应的DEM数据进行无人机SAR图像地理编码。本发明利用已有光学正射图像提取精化SAR图像几何构像模型所需的大量控制点,避免了费时费力的控制点人工采集过程,很大程度提高了无人机SAR图像地理编码的效率。
Description
技术领域
本发明涉及一种利用光学正射图像的无人机SAR图像地理编码方法,属于遥感图像处理技术领域。
背景技术
合成孔径雷达(Synthetic Aperture Radar,SAR)是一种主动型成像传感器,它能够实现全天时、全天候获取高分辨率图像,并且其微波的穿透性和极化特性使得SAR图像包含更加丰富的目标信息,使得SAR图像在地形测绘、地质勘探、海洋监测、军事目标识别等遥感测绘领域广泛应用。随着SAR应用的日趋广泛,SAR系统的性能、功能也在不断提高并且体积向小型化发展,这使得采用无人机平台搭载SAR系统成为可能。无人机SAR系统将无人机与SAR的优势相结合,使得微波遥感信息的获取方式更加灵活,获取成本更加低廉。
不同于光学图像,SAR图像是通过距离投影侧视成像获取,受地形起伏的影响,SAR图像会出现叠掩、阴影、透视收缩和顶点位移等几何畸变,不利于图像的判读和解译,因此需对SAR图像进行地理编码。SAR图像地理编码是将图像坐标系下的SAR图像纠正到地理坐标系下的过程。为了实现无人机SAR图像地理编码,首先需要采集控制点精化SAR图像几何构像模型,再利用精化的几何构像模型以及外部数字高程模型(Digital ElevationModel,DEM)将SAR图像纠正到地理坐标系。采集控制点通常需要人工设置角反射器并且实地测量地理坐标,这一过程费时费力,不利于高效自动化的无人机SAR正射图像生产。因此,如何提高控制点采集效率或如何通过其他方式采集出高精度控制点是解决这一问题的关键。
发明内容
本发明的目的是提供一种利用光学正射图像的无人机SAR图像地理编码方法,用以解决人工采集控制点引起的无人机SAR图像地理编码效率低的问题。
本发明提供的利用光学正射图像的无人机SAR图像地理编码方法,该方法包括以下步骤:
1)获取无人机SAR图像以及对应的光学正射图像,从光学正射图像中提取特征点,利用提取出的特征点在无人机SAR图像上搜索匹配点,得到匹配点对;
2)获取光学正射图像对应的DEM数据,在所述DEM上内插出匹配点的地理坐标,将获得地理坐标的匹配点作为控制点;
3)利用提取的控制点精化SAR图像距离多普勒几何构像模型,得到精化后的SAR图像几何构像模型;
4)利用几何构像模型和所述DEM数据对无人机SAR图像进行地理编码。
本发明通过匹配无人机SAR图像和对应的光学正射图像得到匹配点对,将在DEM上内插地理坐标的匹配点作为精化几何构像模型的控制点,有效替代了依赖人工获取控制点的方式,很大程度提高了无人机SAR图像地理编码的效率。
进一步地,为准确提取光学正射图像的特征点,所述步骤1)中在提取光学正射图像的特征点时,采用Harris角点检测器检测并筛选特征点,将光学正射图像分块,对每个图像块提取的Harris特征点特征响应值进行排序,选取每个图像块中特征响应最大的k个点作为特征点。
进一步地,所述步骤1)采用基于秩自相似特征的方法实现光学正射图像和无人机SAR图像匹配。
进一步地,所述步骤1)中图像的匹配过程为:
a.对于提取出的每个特征点,在以其为中心的模板窗口内提取密集秩自相似(Dense Rank-based Self-Similarity,DRSS)描述子;
b.根据已知的导航信息对无人机SAR图像进行粗略地理编码,从而确定出特征点在SAR图像中的预估位置;
c.在预估位置的局部搜索窗口内,逐像素为中心计算DRSS描述子,并计算与特征点的DRSS描述子之间的相似性度量;
d.在所述局部搜索窗口内找到相似性度量最大值,根据最大值的位置确定匹配点。
进一步地,图像匹配过程步骤c中DRSS描述子相似性度量计算公式为:
进一步地,所述步骤1)中获得匹配点对后,还要对获得的匹配点对进行筛选,以剔除误匹配点对,过程如下:利用所有匹配点对估计两幅图像间投影变换模型的参数;根据估计的模型计算每个匹配点对的残差以及所有匹配点对的RMSE,将残差最大的点剔除,直到满足所有匹配点对的RMSE小于给定阈值终止。
进一步地,所述步骤2)中在光学正射图像对应的DEM上内插匹配点的地理坐标时,需要筛选平地的匹配点作为控制点,过程如下:获取匹配点局部邻域内所有像点对应的高程值,并且计算这些高程值的标准差,如果标准差小于一定阈值,则认为该匹配点为控制点。
进一步地,所述步骤3)中距离多普勒几何构像模型的精化过程如下:设定定向参数初值,将控制点数据代入线性化后的RD模型得到误差方程式,对误差方程式法化解算定向参数改正数,再利用解算出的改正数对定向参数初值进行修正,直至满足给定的收敛条件输出定向参数值。
进一步地,所述步骤3)中RD几何构像模型公式如下:
其中,(X,Y,Z)为地面点的物方空间坐标,x和y分别为地面点对应像点的距离向坐标和方位向坐标,Mslant为斜距向采样间隔,R0为近距延迟,fdc为多普勒中心频率,λ为雷达波长,PS=[XSYSZS]T为天线相位中心S的瞬时位置矢量,V=[VXVYVZ]T为天线相位中心S的瞬时速度矢量,若平台做匀速直线运动则:
进一步地,所述步骤4)中利用精化后的RD几何构像模型和对应的DEM进行SAR图像的地理编码,过程如下:将无人机SAR图像对应的物方区域按照编码后的采样间隔进行网格化,并在DEM内插高程值得到各个格网点的三维坐标,利用精化后RD几何构像模型计算各个格网点对应的像点坐标,以此实现无人机SAR图像的地理编码。
附图说明
图1是本发明的利用光学正射图像的无人机SAR图像地理编码方法的流程图;
图2是本发明DRSS描述子构造流程图;
图3是本发明实验中原始无人机SAR图像;
图4(a)是本发明实验中光学正射图像上的匹配点;
图4(b)是本发明实验中无人机SAR图像上的匹配点;
图5是本发明实验中地理编码后的无人机SAR图像。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步地说明。
本发明提供了一种利用光学正射图像的无人机SAR图像地理编码方法,如图1所示,该方法主要包括以下4个步骤:光学正射图像与无人机SAR图像精确匹配点对提取、控制点提取、几何构像模型精化和无人机SAR图像地理编码。
步骤1.光学正射图像与无人机SAR图像精确匹配点对提取
本发明采用基于秩自相似特征的光学与SAR图像精确匹配方法,首先,通过Harris角点检测器对光学正射图像(基准图像)进行特征点检测;其次,基于DRSS描述子实现光学正射图像和无人机SAR图像匹配点对提取;最后,剔除误匹配点对,获得精确匹配点对。
(1)图像特征点检测
采用Harris角点检测器获取光学正射图像特征点,为了获得分布均匀的匹配对,引入特征筛选策略,即特征提取时先将图像分为m×m个图像块,每个图像块提取Harris特征点并对特征响应值排序,选择特征响应最大的k个点作为特征点,总共提取的特征点数量为km2。
(2)匹配点对提取
确定光学正射图像特征点后,首先对于每个特征点,在以其为中心的模板窗口内构建DRSS描述子,即通过引入秩相关理论,使用秩值代替图像中相关表面内与中央图像块的特征相关值,避免局部自相似描述子中部分结构信息丢失的问题;再根据已知信息对无人机SAR图像(待配准图像)对进行粗略的地理编码,从而消除两幅图像之间的旋转和尺度差异并且获取粗的几何对应关系,根据几何对应关系预估光学正射图像的特征点在无人机SAR图像上的位置;然后在预估位置的局部搜索窗口内,逐像素为中心计算DRSS描述子,并与特征点的DRSS描述子计算相似性度量DRSSNCC(如公式(1));最后找到搜索窗口内DRSSNCC的最大值,并在最大值附近拟合以获得匹配点。
其中,如图2所示,DRSS描述子具体构造流程如下:
a)提取图像的自相似特征,这一过程中特征邻域半径为r;
b)对特征图中每个点的通道维数据进行排序,提取秩自相似特征;
c)在图像上选择一定大小的模板窗口,将模板窗口划分为多个具有一半重叠的图像块,图像块大小为(2r+1)×(2r+1)像素;
d)根据每个图像块中的秩自相似特征提取RSS描述子,并进行L2范数归一化处理;
e)连接所有图像块的RSS描述子以形成最终的DRSS描述子向量。
光学正射图像和无人机SAR图像在进行匹配时,因无人机的飞行高度较低,地形起伏导致SAR图像几何畸变较大,图像的分辨率非常高且图像结构特征稀疏,匹配模板可以设置较大的模板尺寸和搜索窗口,本发明将模板窗口的大小设置为200×200像素,搜索窗口大小设置为40×40像素。作为其他实施方式,模板窗口大小和搜索窗口大小可根据具体情况确定。
(3)误匹配点剔除
由于图像中可能存在遮挡、阴影并且图像时间差异可能导致目标发生变化,匹配点对中误匹配的存在是不可避免的。因此采用变换模型一致性约束来剔除误匹配点,其中变换模型选用投影变换。具体过程为:首先使用所有匹配点对用最小二乘估计投影变换模型的参数;然后根据估计的模型计算每个匹配点对的残差以及所有匹配点对的RMSE,将残差最大的点剔除;再不断重复上述过程,直到RMSE小于给定阈值(1个像素),以此实现光学正射图像和无人机SAR图像的误匹配点剔除。作为其他实施方式,RMSE阈值的设定可根据具体情况确定。
步骤2.控制点提取
在光学正射图像对应的DEM上内插出匹配点的地理坐标,将获得地理坐标的匹配点作为控制点。内插地理坐标时,需要筛选平地的匹配点作为控制点,这类控制点更加可靠。对于每个匹配点,可以根据光学正射图像的匹配像点坐标在对应DEM上内插出地理坐标,获取匹配像点局部邻域(9×9像素)内所有像素点对应的高程值,并且计算这些高程值的标准差,如果标准差小于一定阈值(0.2米),则认为该匹配点可作为有效控制点。作为其他实施方式,标准差阈值的设定可根据具体情况确定。
步骤3.几何构像模型精化
采用距离多普勒几何构像模型,利用提取的控制点精化该模型的参数。其模型精化的流程为:给定定向参数初值,将控制点数据代入线性化后的距离多普勒几何构像模型得到误差方程式,对误差方程式法化解算定向参数改正数,再利用解算出的改正数对定向参数初值进行修正,上述计算迭代进行,直至满足给定的收敛条件输出定向参数值。
距离多普勒几何构像模型为:
其中,(X,Y,Z)为地面点的物方空间坐标,x和y分别为地面点对应像点的距离向坐标和方位向坐标,Mslant为斜距向采样间隔,R0为近距延迟,fdc为多普勒中心频率,λ为雷达波长,PS=[XS YS ZS]T为天线相位中心S的瞬时位置矢量,V=[VX VY VZ]T为天线相位中心S的瞬时速度矢量,假定平台做匀速直线运动,有:
步骤4.无人机SAR图像地理编码
利用精化后的距离多普勒几何构像模型和对应的DEM数据对无人机SAR图像地理编码。
(1)根据测区平均高程值和图像四个角点的像点坐标,由精化后的RD模型解算四个角点对应的物方坐标,计算解算结果的外接矩形,将其作为无人机SAR图像对应的物方区域范围。
(2)将物方区域范围划分为等间隔规则格网,格网间隔设定为编码后图像的采样间隔,编码后图像的像点与物方格网点一一对应。
(3)根据格网点的物方坐标在DEM上内插高程值,得到格网点的三维坐标,由精化后的距离多普勒几何构像模型解算格网点的像点坐标。
(4)获得的像点坐标一般不为整数,需要在原始图像上内插该点的灰度值,并把该灰度值赋给编码后图像的相应像点。
本发明通过对一幅河南某地区的无人机SAR图像及其光学正射图像进行实验,做进一步的验证,实验如下:
其中,光学图像由多旋翼无人机获取,经处理获得正射图像;SAR图像由固定翼无人机获取,数据获取后经过了斜距转地距处理,消除部分几何差异,降低图像匹配难度。原始无人机SAR图像如图3所示,光学正射图像和无人机SAR图像匹配点的结果如图4(a)和图4(b)所示,地理编码后的无人机SAR图像如图5所示。通过图4(a)和图4(b)可以看出,通过本发明可以大量自动提取控制点,避免费时费力的控制点人工采集过程;通过图5、图3与图4(a)的对比,可以明显看出图5中经过地理编码后的SAR图像更接近光学正射图像;实验结果证明了采用无人机SAR图像和光学正射图像匹配点作控制点进行SAR图像地理编码的实用性和有效性,同样也验证了与人工采集控制点相比,本发明算法能很大程度提高SAR图像地理编码的效率。
其中,计算机配置如下,操作系统:Windows10 64位,处理器:Intel(R)Core(TM)i7-8750H 2.20GHz,内存:32GB,显卡:NVIDI-AQuadro P1000,算法实现平台:MATLABR2018a软件。
Claims (10)
1.一种利用光学正射图像的无人机SAR图像地理编码方法,其特征在于,该方法包括以下步骤:
1)获取无人机SAR图像以及对应的光学正射图像,从光学正射图像中提取特征点,利用提取出的特征点在无人机SAR图像上搜索匹配点,得到匹配点对;
2)获取光学正射图像对应的DEM数据,在所述DEM上内插出匹配点的地理坐标,将获得地理坐标的匹配点作为控制点;
3)利用提取的控制点精化SAR图像距离多普勒几何构像模型,得到精化后的SAR图像几何构像模型;
4)利用几何构像模型和所述DEM数据对无人机SAR图像进行地理编码。
2.根据权利要求1所述的利用光学正射图像的无人机SAR图像地理编码方法,其特征在于,所述步骤1)中在提取光学正射图像的特征点时,采用Harris角点检测器检测并筛选特征点,将光学正射图像分块,对每个图像块提取的Harris特征点特征响应值进行排序,选取每个图像块中特征响应最大的k个点作为特征点。
3.根据权利要求1所述的利用光学正射图像的无人机SAR图像地理编码方法,其特征在于,所述步骤1)采用基于秩自相似特征的方法实现光学正射图像和无人机SAR图像匹配。
4.根据权利要求3所述的利用光学正射图像的无人机SAR图像地理编码方法,其特征在于,所述步骤1)中的图像匹配过程为:
a.对于提取出的每个特征点,在以其为中心的模板窗口内提取DRSS描述子;
b.根据已知的导航信息对无人机SAR图像进行粗略地理编码,从而确定出特征点在SAR图像中的预估位置;
c.在预估位置的局部搜索窗口内,逐像素为中心计算DRSS描述子,并计算与特征点的DRSS描述子之间的相似性度量;
d.在所述局部搜索窗口内找到相似性度量最大值,根据最大值的位置确定匹配点。
6.根据权利要求4所述的利用光学正射图像的无人机SAR图像地理编码方法,其特征在于,该方法还包括对获得的匹配点对进行筛选,以剔除误匹配点对,过程如下:利用所有匹配点对估计两幅图像间投影变换模型的参数;根据估计的模型计算每个匹配点对的残差以及所有匹配点对的RMSE,将残差最大的点剔除,直到满足所有匹配点对的RMSE小于给定阈值终止。
7.根据权利要求1所述的利用光学正射图像的无人机SAR图像地理编码方法,其特征在于,所述步骤2)需要筛选平地的匹配点作为控制点,过程如下:获取匹配点局部邻域内所有像点对应的高程值,并且计算这些高程值的标准差,如果标准差小于一定阈值,则认为该匹配点为控制点。
8.根据权利要求1所述的利用光学正射图像的无人机SAR图像地理编码方法,其特征在于,所述步骤3)中的RD几何构像模型的精化过程如下:设定定向参数初值,将控制点数据代入线性化后的RD几何构像模型得到误差方程式,对误差方程式法化解算定向参数改正数,再利用解算出的改正数对定向参数初值进行修正,直至满足给定的收敛条件输出定向参数值。
10.根据权利要求1所述的利用光学正射图像的无人机SAR图像地理编码方法,其特征在于,将无人机SAR图像对应的物方区域按照编码后的采样间隔进行网格化,并在DEM内插高程值得到各个格网点的三维坐标,利用精化后RD几何构像模型计算各个格网点对应的像点坐标,以此实现无人机SAR图像的地理编码。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111183465.1A CN114004870A (zh) | 2021-10-11 | 2021-10-11 | 一种利用光学正射图像的无人机sar图像地理编码方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111183465.1A CN114004870A (zh) | 2021-10-11 | 2021-10-11 | 一种利用光学正射图像的无人机sar图像地理编码方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114004870A true CN114004870A (zh) | 2022-02-01 |
Family
ID=79922544
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111183465.1A Pending CN114004870A (zh) | 2021-10-11 | 2021-10-11 | 一种利用光学正射图像的无人机sar图像地理编码方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114004870A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115932823A (zh) * | 2023-01-09 | 2023-04-07 | 中国人民解放军国防科技大学 | 基于异源区域特征匹配的飞行器对地面目标定位方法 |
-
2021
- 2021-10-11 CN CN202111183465.1A patent/CN114004870A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115932823A (zh) * | 2023-01-09 | 2023-04-07 | 中国人民解放军国防科技大学 | 基于异源区域特征匹配的飞行器对地面目标定位方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111028277B (zh) | 基于伪孪生卷积神经网络的sar和光学遥感图像配准方法 | |
Lucieer et al. | Existential uncertainty of spatial objects segmented from satellite sensor imagery | |
CN108230375B (zh) | 基于结构相似性快速鲁棒的可见光图像与sar图像配准方法 | |
Puniach et al. | Application of UAV-based orthomosaics for determination of horizontal displacement caused by underground mining | |
CN108428220B (zh) | 静止轨道卫星序列遥感影像海岛礁区域自动几何校正方法 | |
CN110569861B (zh) | 一种基于点特征和轮廓特征融合的图像匹配定位方法 | |
CN109829423B (zh) | 一种结冰湖泊红外成像检测方法 | |
US11747498B1 (en) | Method, system, device and medium for landslide identification based on full polarimetric SAR | |
CN110533726B (zh) | 一种激光雷达场景三维姿态点法向量估计修正方法 | |
Zhu et al. | Robust registration of aerial images and LiDAR data using spatial constraints and Gabor structural features | |
CN112183434B (zh) | 建筑物变化检测方法和装置 | |
CN110728706A (zh) | 基于深度学习的sar图像精细配准方法 | |
Dong et al. | Radargrammetric DSM generation in mountainous areas through adaptive-window least squares matching constrained by enhanced epipolar geometry | |
CN113177593A (zh) | 一种水上交通环境中雷达点云与影像数据的融合方法 | |
CN114004870A (zh) | 一种利用光学正射图像的无人机sar图像地理编码方法 | |
CN114820552A (zh) | 一种利用光学卫星立体影像检测滑坡位移场的方法 | |
Guo et al. | KD-tree-based euclidean clustering for tomographic SAR point cloud extraction and segmentation | |
CN116740151A (zh) | 一种InSAR点云的配准方法及终端设备 | |
CN115690473A (zh) | 基于惯导误差修正的sar图像特征匹配方法 | |
RU2683626C1 (ru) | Способ идентификации опорных точек на космических изображениях местности при их трансформировании | |
CN114240940B (zh) | 一种基于遥感影像的云及云阴影检测方法和装置 | |
CN113610902B (zh) | 地基真实孔径雷达与点云数据映射配准方法 | |
CN113592744B (zh) | 一种适用于高分辨率遥感影像的几何精校正方法 | |
CN115601278A (zh) | 基于子图像配准的高精度运动误差补偿的方法 | |
Song et al. | A Novel Hog-Based Template Matching Method for SAR and Optical Image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |