CN114565653B - 一种存在旋转变化和尺度差异的异源遥感图像匹配方法 - Google Patents
一种存在旋转变化和尺度差异的异源遥感图像匹配方法 Download PDFInfo
- Publication number
- CN114565653B CN114565653B CN202210202888.1A CN202210202888A CN114565653B CN 114565653 B CN114565653 B CN 114565653B CN 202210202888 A CN202210202888 A CN 202210202888A CN 114565653 B CN114565653 B CN 114565653B
- Authority
- CN
- China
- Prior art keywords
- remote sensing
- matching
- image
- sensing image
- affine transformation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 230000008859 change Effects 0.000 title claims abstract description 19
- 239000011159 matrix material Substances 0.000 claims abstract description 85
- 230000009466 transformation Effects 0.000 claims abstract description 79
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 71
- 230000003287 optical effect Effects 0.000 claims abstract description 67
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 23
- 238000012216 screening Methods 0.000 claims abstract description 16
- 238000013528 artificial neural network Methods 0.000 claims abstract description 15
- 230000008569 process Effects 0.000 claims description 30
- 238000012545 processing Methods 0.000 claims description 22
- 238000010606 normalization Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 11
- 239000013598 vector Substances 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 238000012804 iterative process Methods 0.000 claims description 3
- 238000005316 response function Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
- G06T3/147—Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20164—Salient point detection; Corner detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
一种存在旋转变化和尺度差异的异源遥感图像匹配方法，涉及一种异源遥感图像匹配方法。为了解决异源遥感图像匹配是存在旋转变化和尺度差异的问题。本发明利用先验匹配点对计算初始的仿射变换矩阵并将异源遥感图像分成对应的图像块，基于harris算子提取光学遥感图像块中的角点，利用HOPC算法确定光学遥感图像块上的角点坐标对应的SAR遥感图像上的坐标点；以匹配点对为中心截取子图像块，基于神经网络得到匹配损失值并进一步筛选正确的匹配点；根据每对匹配图像块中正确匹配点的损失值对匹配点进行筛选，由损失值得到仿射变换矩阵的贡献度，通过贡献度加权获得最终的仿射变换矩阵，从而实现异源遥感图像匹配。主要用于异源遥感图像的匹配。
Description
技术领域
本发明涉及一种异源遥感图像匹配方法，属于SAR遥感图像和光学遥感图像的处理领域。
背景技术
异源视觉图像的匹配技术是广泛应用于飞机、遥感卫星、导弹等视觉导航、模式识别、制导和地形测量中的关键技术，这些系统采用的常是具有不同成像机理的传感器。所谓异源图像匹配，就是对来自不同成像传感器的图像进行匹配的技术。这些图像是由不同成像传感器在不同光照环境等条件和不同成像机理下形成的同一景象或物体、目标的图像，主要包括可见光图像、红外图像和雷达图像等图像类型。由于不同类型传感器本身结构、成像原理等方面的不同，导致异源图像上对应区域的灰度、对比度都存在较大的差异。因此，异源图像匹配是一项非常有难度的工作。
异源图像配准除了传统图像配准面临的光照变化、几何变化等难点外，还有传感器成像机理不同导致的像素级特征的显著差异，尤其面对具有选择旋转变换和尺度差异的异源遥感图像匹配，传统方法在此类条件下效果不好。作为图像配准领域一个重要分支，当前的一系列异源图像配准方法都有各自特定的适用范围或仅能在少量异源数据上使用，所以本发明借助深度学习技术提出了一种两步走的异源图像配准方法。
发明内容
针对SAR遥感图像和光学遥感图像之间存在旋转变化和尺度差异的问题，本发明提供一种存在旋转变化和尺度差异的异源遥感图像匹配方法。
一种存在旋转变化和尺度差异的异源遥感图像匹配方法，包括以下步骤：
步骤1、利用异源遥感图像中设定的先验匹配点对计算初始的仿射变换矩阵，利用初始的仿射变换矩阵将异源遥感图像分成对应的图像块；
所述异源遥感图像包括SAR遥感图像和光学遥感图像；
步骤2、基于harris算子提取光学遥感图像块中的角点，并利用HOPC算法确定光学遥感图像块上的角点坐标对应的SAR遥感图像上的坐标点；
步骤3、以匹配点对为中心分别在每个光学遥感图像和SAR遥感图像上截取子图像块，利用神经网络进行处理，计算匹配损失值并进一步筛选正确的匹配点；
步骤4、针对光学遥感图像和SAR遥感图像中的图像块，利用正确匹配点对应的正确匹配计算仿射变换矩阵；并根据每对匹配图像块中正确匹配点的损失值对匹配点进行筛选，然后由损失值得到仿射变换矩阵的贡献度，通过贡献度加权获得最终的仿射变换矩阵；
步骤5、利用最终的仿射变换矩阵对异源遥感图像进行匹配。
进一步地，步骤1所述利用异源遥感图像中设定的先验匹配点对计算初始的仿射变换矩阵，利用初始的仿射变换矩阵将异源遥感图像分成对应的图像块的过程包括以下步骤：
1.1、针对异源遥感图像，给出四对以上的匹配点像素坐标，并保证四对坐标点不在一条直线上；
1.2、利用步骤1.1中的匹配点像素坐标计算异源遥感图像的初始仿射变换矩阵；
1.3、将光学遥感图像截成M′×N′个图像块，并分别记录图像中心点像素坐标为(xm′,yn′)，m′＝1,2,...,M′,n′＝1,2,....,N′，利用仿射变换矩阵将光学遥感图像中心点像素坐标映射到SAR遥感图像上，获得对应点的中心坐标为(x′m′,yn″)，以该坐标为中点在SAR遥感图像上截取图像块。
进一步地，步骤2所述基于harris算子提取光学遥感图像块中的角点的过程包括以下步骤：
首先利用二阶拉普拉斯算子对光学遥感图像进行处理；
然后利用水平和竖直差分算子对光学遥感图像中像素进行滤波，再对图像中的每一个点计算相关矩阵M，利用相关矩阵M得到角点响应函数R；若是设定的阈值，则该像素点为角点；
针对光学遥感图像的图像块进行角点提取，得到的角点坐标为(Jix,Jiy)。
进一步地，在利用基于harris算子提取光学遥感图像块中的角点之前，先将光学遥感图像和滤波后的SAR遥感图像转换成灰度图。
进一步地，在将SAR遥感图像转换成灰度图之前，利用增强Lee滤波对SAR遥感图像进行处理。
进一步地，利用HOPC算法确定光学遥感图像块上的角点坐标对应的SAR遥感图像上的坐标点的过程包括以下步骤：
基于光学遥感图像的图像块的角点坐标为(Jix,Jiy)，利用HOPC算法得到光学遥感图像块上的角点坐标对应SAR遥感图像上的坐标点(Pix,Piy)；然后利用迭代的算法舍去误匹配点，迭代的过程如下：
通过匹配坐标对(Jix,Jiy)和(Pix,Piy)计算得到仿射变换矩阵U，然后通过U再计算(Jix,Jiy)的仿射变换后的位置为(P′ix,P′iy)，通过下面的公式计算每对坐标对应的损失：
将损失排列，去掉最大损失对应的坐标点对，重复上面的过程直到损失的最大值小于设定的损失阈值ζ，剩余的坐标点对为准确的匹配点对。
进一步地，步骤3所述的神经网络为传统的L2-Net或改进的L2-Net；所述改进的L2-Net包含九个卷积模块和一个局部响应归一化层LRN，每个卷积模块均包含有卷积层、批归一化和ReLU激活运算。
进一步地，步骤3所述计算匹配损失值的过程包括以下步骤：
利用神经网络输出的特征向量对应的差值得到特征距离矩阵D：
其中，是神经网络输出的特征向量，q＝1表示光学遥感图像图像块对应的子图像块，q＝2表示SAR遥感图像图像块对应的子图像块，t′为子图像块的索引，n是图像块中的子图像块数量；
定义一个空间距离c是图像块的子图像块中心点坐标，t′1和t′2表示分别表示子图像块的索引，i′、j′表示用于将/>构成矩阵对应的行、列，且行、列和特征距离矩阵D的行列对应；重叠参数表示如下：
其中，b是图像块半径；
网络的损失函数如下：
其中，Elog为log-likelihood损失函数。
进一步地，步骤3所述进一步筛选正确的匹配点的过程包括以下步骤：
当损失值大于损失阈值ψ时，认为该点对应的匹配点对为错匹配对；对于正确的匹配对，匹配点对的损失值为Lt，t＝1,2,…,Q，Q是正确匹配的数量。
进一步地，所述步骤4的具体过程包括以下步骤：
4.1、、针对于每个图像块，利用正确匹配的子图像块对应的图像块对计算仿射变换矩阵，得到的仿射变换矩阵为Uj；
4.2、计算每对匹配图像块中正确匹配点的损失值的和：
其中，j是图像块的索引，t是图像块中正确匹配的匹配点的索引，即图像块j中正确匹配的匹配点对对应的损失值Lt；
计算Lj的方差和均值分别为和σ，只选择损失值范围在/>之间的图像块，Δ是范围参数，决定选取损失值的范围；针对筛选后的k个图像块，根据损失值的和判断该匹配块对于整体仿射变换矩阵的贡献，贡献值为：
其中，k是筛选后图像块的索引；
4.3、由贡献值计算最终的整体仿射变换矩阵：
仿射变换矩阵中有四个未知元素，分别为：
A＝s·cos(θ)
B＝s·sin(θ)
C＝tx
D＝ty
其中，s为尺度变换因子，θ为旋转角，tx和ty分别为横向和纵向平移坐标；
分别计算筛选后图像块对应的变化矩阵，最终仿射变换矩阵的计算为：
其中，Xk是筛选后的k个图像块所对应的Uj中的A,B,C,D。
本发明的有益效果：
本发明方法不同于传统异源图像匹配方法，利用了两步走的策略，首先利用HOPC算法获得匹配点对，提取角点以减少算法的计算量并获得初步的匹配点，再基于神经网络的方法对图像块进行测试，进一步筛选正确的匹配点，最后利用加权的方法计算整体匹配的仿射变换矩阵。
本发明整体上包括四个部分，首先用设定先验信息计算仿射变换矩阵并将遥感图像分成对应的图像块；再基于HOPC算法获得异源图像间的匹配点对；然后以匹配点对为中心截取图像块并利用L2-Net筛选错匹配点并计算匹配损失值；最后通过贡献度加权计算仿射变换矩阵并对异源图像进行匹配；
采用本发明的两步走策略的异源图像匹配方法可对实际情况中存在旋转变化和尺度差异的SAR遥感图像和光学遥感图像进行匹配，经过HOPC算法计算量小精度高，L2-Net进一步筛选出正确的匹配点，最后加权计算矩阵的方法使异源图像匹配的效果更好，符合实际需求，实施方便。
本发明创新性的提出了一种两步走的策略实现存在旋转变化和尺度差异的异源遥感图像之间的匹配，提出HOPC算法初步筛选正确匹配点，然后利用L2-Net进一步计算出匹配的图像块，最后利用贡献度加权的策略计算仿射变换矩阵并对异源图像进行匹配，具有一定的方法优越性。
本发明利用深度学习技术、数字图像处理技术，更好的满足不同场景下的对异源图像匹配的需求，本方法对输入图像的视角变化、仿射变换、噪声保持一定程度的稳定性。
附图说明
图1是本发明所述的一种存在旋转变化和尺度差异的异源遥感图像匹配方法的整体流程图；
图2是利用HOPC算法获取初步匹配点对的设计示意图；
图3是利用神经网络筛选正确匹配点以及计算整体变换矩阵的流程图；
图4是采用本发明方法获取的异源图像匹配点对的结果图；图4(a)中黄色点为光学遥感图像中待匹配点位置，图4(b)中黄色点为SAR遥感图像中待匹配点位置。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其它实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
具体实施方式一、结合图1至图4说明本实施方式，
本发明提供了一种存在旋转变化和尺度差异的异源遥感图像匹配方法，包括以下步骤：
步骤1、利用异源遥感图像中设定的先验匹配点对计算初始的仿射变换矩阵，利用初始的仿射变换矩阵将异源遥感图像分成对应的图像块；
所述异源遥感图像包括SAR遥感图像和光学遥感图像；
步骤2、基于harris算子提取光学遥感图像块中的角点，并利用HOPC算法确定光学遥感图像块上的角点坐标对应的SAR遥感图像上的坐标点；
步骤3、以匹配点对为中心分别在每个光学遥感图像和SAR遥感图像上截取子图像块，利用神经网络进行处理，计算匹配损失值并进一步筛选正确的匹配点；
步骤4、针对光学遥感图像和SAR遥感图像中的图像块，利用正确匹配点对应的正确匹配计算仿射变换矩阵；并根据每对匹配图像块中正确匹配点的损失值对匹配点进行筛选，然后由损失值得到仿射变换矩阵的贡献度，通过贡献度加权获得最终的仿射变换矩阵；
步骤5、利用最终的仿射变换矩阵对异源遥感图像进行匹配。
本实施方式中，面对的对象是实测的具有相对旋转变化和尺度差异的SAR遥感图像和光学遥感图像；经过本方法获得整体的仿射变换矩阵使异源遥感图像匹配成功；结合图1所示，所述一种存在旋转变化和尺度差异的异源遥感图像匹配方法包括分块、初步匹配、细匹配和整体矩阵计算四个步骤。
所述步骤1的具体过程包括以下步骤：
1.1、针对异源遥感图像，手动给出四对以上的匹配点像素坐标，并保证四对坐标点不在一条直线上，以确定算法搜寻的位置，减少计算量；
所述异源遥感图像包括SAR遥感图像和光学遥感图像；
1.2、利用步骤1.1中的匹配点像素坐标计算异源遥感图像的初始仿射变换矩阵，假设变换前光学遥感图像上的匹配点坐标是(x,y)，变换后SAR遥感图像上的对应点坐标是(x′,y′)，尺度变换因子为s，旋转角为θ，横向和纵向平移坐标分别为tx和ty，则变换过程为：
由先验匹配点像素坐标结合公式(1)求得仿射变换矩阵中的四个未知参数s、θ、tx和ty，即得初始的仿射变换矩阵；
1.3、将光学遥感图像截成M′×N′个512×512像素大小的图像块，并分别记录图像中心点像素坐标为(xm′,yn′)，m′＝1,2,...,M′,n′＝1,2,....,N′，利用仿射变换矩阵将光学遥感图像中心点像素坐标映射到SAR遥感图像上，获得对应点的中心坐标为(x′m′,y′n′)，以该坐标为中点在SAR遥感图像上截取像素大小为(512×δ×s)×(512×δ×s)像素大小的图像块，保证不管光学遥感图像如何旋转都完全包括在SAR遥感图像块内，其中δ是半径因子，截取后还留有一定的富余搜索空间；经上述操作，对于每对异源遥感图像可以获得M′×N′个图像对。
进一步，在获取图像对的过程中光学遥感图像被截取的块像素大小是512×512，仿射变换后对应的SAR遥感图像块像素大小为(819×s)×(819×s)，s是尺度变换因子；以HOPC算法筛选得到的匹配点坐标为中心截取像素大小为64×64的图像块，作为匹配网络的输入。
所述步骤2的处理流程如图2所示，首先利用增强Lee滤波对SAR遥感图像进行处理，利用harris算子提取光学遥感图像角点，确定HOPC算法的计算范围，并获取SAR遥感图像上对应的匹配坐标点，由匹配点对计算一个仿射变换矩阵，该仿射变换矩阵负责找到光学遥感图像上的角点坐标映射到SAR遥感图像上的坐标，计算匹配坐标点和映射坐标点之间的损失，通过迭代的方法，每次去掉最大损失对应的匹配点，然后重复计算仿射矩阵，直到损失小于设定的阈值；
所述步骤2的具体过程包括以下步骤：
2.1利用增强Lee滤波对SAR遥感图像进行处理：
在雷达图像上，由于斑点噪声的影响，导致直接相位一致性(phases congruency)计算得到的特征不鲁棒，所以采用增强Lee滤波的方法，减弱SAR遥感图像的相干斑噪声影响，利用下面的公式进行增强Lee滤波：
其中，w就是图像的估计，CI表示图像的局部标准偏差系数，Cu是噪声的局部标准偏差系数，I是图像的原始像素，是滑动窗口内像素的均值Cmin＝Cu，/>L表示等效视数，u代表噪声，k1是Lee滤波的加权系数。
具体来说，该算法将图像区域分为三类，每一类的处理方式都不同：
1)当CI＜Cu表示均匀区域时，以滑动窗口中像素的平均值作为中心值；
2)当Cu＜CI＜Cmax时，表示一个弱纹理区域时，采用传统的Lee滤波器对其进行处理；
3)当CI＞Cmax，表示非均匀区域，散斑噪声未充分发展，不进行其他处理，直接保留原始值。
将光学遥感图像和滤波后的SAR遥感图像转换成灰度图；
2.2利用harris算子提取光学遥感图像上的角点：
由于HOPC算法需要对图像上的每个像素建立block和cell，计算量大，但是对于异源图像的匹配只需要知道几个关键的准确的匹配点就可以获得很好的匹配效果，所以利用harris算子提取光学遥感图像上的角点，然后映射到SAR遥感图像上，只对这些关键的匹配点块进行处理，这样大大减少了计算量。
首先利用二阶拉普拉斯算子对转换为灰度图后的光学遥感图像进行处理，获得边缘锐化的光学遥感图像，易于对角点进行提取，拉普拉斯算子的表达如下：
其中，f(x,y)代表原始图像，边缘提取后的图像为f′(x,y)；
利用水平和竖直差分算子对光学遥感图像中像素进行滤波得到Ix和Iy，再对图像中的每一个点计算相关矩阵M：
其中，w(x,y)是二维高斯函数。
再计算角点响应函数R：
R＝det(M)-kc(trace(M))2 (5)
其中，det(M)是M的行列式，kc是响应系数，这里取0.05，trace(M)是M的迹；
若是设定的阈值，则该像素点为角点。
2.3、利用步骤2.2对光学遥感图像的图像块进行角点提取，得到的角点坐标为(Jix,Jiy)，i＝1,2,.....N，N为角点总数；通过步骤1.2中得到的初始仿射变换矩阵求出光学遥感图像上的角点坐标映射到SAR遥感图像上的坐标点(Ji′x,Ji′y)；
2.4、基于这些坐标点，利用HOPC算法得到光学遥感图像块上的角点坐标对应SAR遥感图像上的坐标点(Pix,Piy)；最后利用迭代的算法舍去误匹配点，迭代的过程如下：
首先利用公式(1)，通过匹配坐标对(Jix,Jiy)和(Pix,Piy)计算得到仿射变换矩阵U，此矩阵U由近似获得，然后通过U再计算(Jix,Jiy)的仿射变换后的位置为(P′ix,P′iy)，通过下面的公式计算每对坐标对应的损失：
将损失排列，去掉最大损失对应的坐标点对，重复上面的过程直到损失的最大值小于设定的损失阈值ζ，剩余的坐标点对为准确的匹配点对。
所述步骤3的处理流程如图3所示，以匹配点对为中心截取子图像块，并利用神经网络筛选错匹配点及匹配损失值，神经网络为L2-Net，包括图像的仿射变换，网络的训练、测试，具体包括以下步骤：
3.1、匹配神经网络模型：
以匹配点对为中心截取子图像块并利用L2-Net筛选错匹配点并计算匹配损失值，所述的L2-Net可以为传统的L2-Net，也可以采用改进的L2-Net；相比传统的L2-Net，改进的L2-Net包含九个卷积模块和一个局部响应归一化层LRN，每个卷积模块均包含操作有：卷积层运算、批归一化操作和ReLU激活运算；
第一个卷积模块中的卷积层输入是训练集图像和验证集图像，之后卷积模块的输入是前一个模块输出的特征图；分别设置卷积模块中卷积层的卷积核大小和通道数；
利用批归一化对权重系数进行处理；
利用ReLU函数对权重系数进行激活；
最后利用局部响应归一化层对ReLU激活函数的输出进行归一化，得到图像的特征表达，以向量的形式存在。
进一步地，对于改进的L2-Net，第一个卷积层中卷积核大小为3×3像素，步长为1像素，共16个卷积核；第二个卷积层中卷积核大小为3×3像素，步长为1像素，共16个卷积核；第三个卷积层中卷积核大小为3×3像素，步长为2像素，共32个卷积核；第四个卷积层中卷积核大小为3×3像素，步长为1像素，共32个卷积核；第五个卷积层中卷积核大小为3×3像素，步长为2像素，共64个卷积核；第六个卷积层中卷积核大小为3×3像素，步长为1像素，共64个卷积核；第七个卷积层中卷积核大小为3×3像素，步长为2像素，共128个卷积核；第八个卷积层中卷积核大小为3×3像素，步长为1像素，共128个卷积核；第九个卷积层中卷积核大小为8×8像素，步长为1像素，共128个卷积核；
更进一步，对于改进的L2-Net，输入图像大小是64×64像素；
第一个卷积层将输入的图像进行处理后输出16个64×64像素大小的特征图；
经批归一化和ReLU处理后，第二个卷积层对第一个卷积层输出的特征图进行处理，16个64×64像素大小的特征图；
经批归一化和ReLU处理后，第三个卷积层对第二个卷积层输出的特征图进行处理，32个32×32像素大小的特征图；
经批归一化和ReLU处理后，第四个卷积层对第三个卷积层输出的特征图进行处理，32个32×32像素大小的特征图；
经批归一化和ReLU处理后，第五个卷积层对第四个卷积层输出的特征图进行处理，64个16×16像素大小的特征图；
经批归一化和ReLU处理后，第六个卷积层对第五个卷积层输出的特征图进行处理，64个16×16像素大小的特征图；
经批归一化和ReLU处理后，第七个卷积层对第六个卷积层输出的特征图进行处理，128个8×8像素大小的特征图；
经批归一化和ReLU处理后，第八个卷积层对第七个卷积层输出的特征图进行处理，128个8×8像素大小的特征图；
经批归一化和ReLU处理后，第九个卷积层对第八个卷积层输出的特征图进行处理，128个1×1像素大小的特征图；
经LRN层处理，输出大小为1×128的特征向量；
3.2、网络损失函数
一个子图像块对分别通过上面的流程得到特征向量，由特征向量的差值的L2范数得到特征距离矩阵D，特征距离矩阵的表达如下：
其中，是神经网络输出的特征向量，q＝1表示光学遥感图像图像块对应的子图像块，q＝2表示SAR遥感图像图像块对应的子图像块，t′为子图像块的索引，n是输入数据的数量(针对每个图像块，n是图像块对应子图像块数量)；
L2-Net的损失函数为log-likelihood损失函数Elog，在本发明中新定义一个空间距离c是图像块的子图像块中心点(匹配点)坐标，t′1和t′2表示分别表示子图像块(匹配点)的索引，i′、j′表示用于将/>构成矩阵对应的行、列，且行、列和特征距离矩阵D的行列对应；Xi′j′越小表示重叠区域越多，重叠参数表示如下：
其中，b是图像块半径；
网络的损失函数如下：
其中，Elog为log-likelihood损失函数；
在log-likelihood损失函数Elog基础上加入突出负样本的损失，样本的重叠区域越多，损失越大，让最后的匹配结果越精确和具体。
3.3、数据集的训练和测试：
以2.3中的角点坐标(Jix,Jiy)和(J′ix,J′iy)为中心分别在每个光学遥感图像和SAR遥感图像上截取出像素大小为64×64的子图像块，作为训练集和验证集，用于训练图像块匹配神经网络模型；
以步骤2.4中得到的准确的匹配点中心分别在每个光学遥感图像和SAR遥感图像上截取出像素大小为64×64的子图像块；利用图像块匹配神经网络模型对步骤2.4中得到的准确的匹配点对对应的子图像块进行处理，当损失值大于设定的损失阈值ψ时，认为该点对应的匹配对为错匹配对；对于正确的匹配对，匹配点对(实际上是每对子图像块的损失值)的损失值为Lt，t＝1,2,…,Q，Q是正确匹配的数量。
所述步骤4中，由特征向量计算匹配图像块之间的损失，筛去过大的损失后计算每组图像块对整体匹配的贡献度，最后通过贡献度加权的方法得到整体仿射变换矩阵，具体过程包括以下步骤：
4.1、针对于每个图像块(512×512像素图像块)，利用正确匹配的子图像块对应的图像块对计算仿射变换矩阵，得到的仿射变换矩阵为Uj；
4.2、计算每对匹配图像块中正确匹配点的损失值的和：
其中，j是图像块的索引，t是图像块中正确匹配的匹配点的索引，即图像块j中正确匹配的匹配点对对应的损失值Lt；
计算Lj的方差和均值分别为和σ，只选择损失值范围在/>之间的图像块，Δ是范围参数，决定选取损失值的范围；针对筛选后的k个图像块，根据损失值的和判断该匹配块对于整体仿射变换矩阵的贡献，贡献值为：
其中，k是筛选后图像块的索引；
4.3、由贡献值计算最终的整体仿射变换矩阵：
根据式(1)可见矩阵有四个未知元素，分别为：
A＝s·cos(θ)
B＝s·sin(θ)
C＝tx
D＝ty (12)
分别计算筛选后图像块对应的变化矩阵，最终仿射变换矩阵的计算为：
其中，Xk是筛选后的k个图像块所对应的Uj中的A,B,C,D；
Xk是第k块图像对应的仿射变换矩阵参数，X是Xk及对应贡献的加和，可以理解成：如果最终每个图像块的贡献度都是相同的话，仿射变换矩阵参数就相当于求均值，不均匀的贡献度使变换参数向正确的方向倾斜，每个块的参数矩阵不同，因为切割后的512像素大小的图像块，它的变换矩阵是单独计算的。
实施例中的超参数包括：在截取SAR遥感图像块时的半径因子δ取1.6，使截取后的SAR遥感图像还留有一定的富余搜索空间；harris角点提取时设定的阈值为图像的像素均值的10倍；改进的L2-Net网络中每批次训练样本数为256，共训练30批次，学习率为0.001，权重衰减设为0.0001；在选择损失值范围时范围参数Δ设定为0.8。
利用本发明进行获取的异源图像匹配点对的结果图如图4所示，其中图4(a)中黄色点为光学遥感图像中待匹配点位置，图4(b)中黄色点为SAR遥感图像中待匹配点位置。
本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
Claims (8)
1.一种存在旋转变化和尺度差异的异源遥感图像匹配方法，其特征在于，包括以下步骤：
步骤1、利用异源遥感图像中设定的先验匹配点对计算初始的仿射变换矩阵，利用初始的仿射变换矩阵将异源遥感图像分成对应的图像块；
所述异源遥感图像包括SAR遥感图像和光学遥感图像；
步骤2、基于harris算子提取光学遥感图像块中的角点，并利用HOPC算法确定光学遥感图像块上的角点坐标对应的SAR遥感图像上的坐标点；
步骤3、以匹配点对为中心分别在每个光学遥感图像和SAR遥感图像上截取子图像块，利用神经网络进行处理，计算匹配损失值并进一步筛选正确的匹配点；
所述计算匹配损失值的过程包括以下步骤：
利用神经网络输出的特征向量对应的差值得到特征距离矩阵D：
其中，是神经网络输出的特征向量，q＝1表示光学遥感图像图像块对应的子图像块，q＝2表示SAR遥感图像图像块对应的子图像块，t′为子图像块的索引，n是图像块中的子图像块数量；
定义一个空间距离c是图像块的子图像块中心点坐标，t′1和t′2表示分别表示子图像块的索引，i′、j′表示用于将/>构成矩阵对应的行、列，且行、列和特征距离矩阵D的行列对应；重叠参数表示如下：
其中，b是图像块半径；
网络的损失函数如下：
其中，Elog为log-likelihood损失函数；
进一步筛选正确的匹配点的过程包括以下步骤：
当损失值大于损失阈值ψ时，认为该点对应的匹配点对为错匹配对；对于正确的匹配对，匹配点对的损失值为Lt，t＝1,2,…,Q，Q是正确匹配的数量；
步骤4、针对光学遥感图像和SAR遥感图像中的图像块，利用正确匹配点对应的正确匹配计算仿射变换矩阵；并根据每对匹配图像块中正确匹配点的损失值对匹配点进行筛选，然后由损失值得到仿射变换矩阵的贡献度，通过贡献度加权获得最终的仿射变换矩阵；
步骤5、利用最终的仿射变换矩阵对异源遥感图像进行匹配。
2.根据权利要求1所述的一种存在旋转变化和尺度差异的异源遥感图像匹配方法，其特征在于，步骤1所述利用异源遥感图像中设定的先验匹配点对计算初始的仿射变换矩阵，利用初始的仿射变换矩阵将异源遥感图像分成对应的图像块的过程包括以下步骤：
1.1、针对异源遥感图像，给出四对以上的匹配点像素坐标，并保证四对坐标点不在一条直线上；
1.2、利用步骤1.1中的匹配点像素坐标计算异源遥感图像的初始仿射变换矩阵；
1.3、将光学遥感图像截成M′×N′个图像块，并分别记录图像中心点像素坐标为(xm′,yn′)，m′＝1,2,...,M′,n′＝1,2,....,N′，利用仿射变换矩阵将光学遥感图像中心点像素坐标映射到SAR遥感图像上，获得对应点的中心坐标为(x′m′,y′n′)，以该坐标为中点在SAR遥感图像上截取图像块。
3.根据权利要求2所述的一种存在旋转变化和尺度差异的异源遥感图像匹配方法，其特征在于，步骤2所述基于harris算子提取光学遥感图像块中的角点的过程包括以下步骤：
首先利用二阶拉普拉斯算子对光学遥感图像进行处理；
然后利用水平和竖直差分算子对光学遥感图像中像素进行滤波，再对图像中的每一个点计算相关矩阵M，利用相关矩阵M得到角点响应函数R；若R＞θ，θ是设定的阈值，则该像素点为角点；
针对光学遥感图像的图像块进行角点提取，得到的角点坐标为(Jix,Jiy)。
4.根据权利要求3所述的一种存在旋转变化和尺度差异的异源遥感图像匹配方法，其特征在于，在利用基于harris算子提取光学遥感图像块中的角点之前，先将光学遥感图像和滤波后的SAR遥感图像转换成灰度图。
5.根据权利要求4所述的一种存在旋转变化和尺度差异的异源遥感图像匹配方法，其特征在于，在将SAR遥感图像转换成灰度图之前，利用增强Lee滤波对SAR遥感图像进行处理。
6.根据权利要求5所述的一种存在旋转变化和尺度差异的异源遥感图像匹配方法，其特征在于，利用HOPC算法确定光学遥感图像块上的角点坐标对应的SAR遥感图像上的坐标点的过程包括以下步骤：
基于光学遥感图像的图像块的角点坐标为(Jix,Jiy)，利用HOPC算法得到光学遥感图像块上的角点坐标对应SAR遥感图像上的坐标点(Pix,Piy)；然后利用迭代的算法舍去误匹配点，迭代的过程如下：
通过匹配坐标对(Jix,Jiy)和(Pix,Piy)计算得到仿射变换矩阵U，然后通过U再计算(Jix,Jiy)的仿射变换后的位置为(P′ix,P′iy)，通过下面的公式计算每对坐标对应的损失：
将损失排列，去掉最大损失对应的坐标点对，重复上面的过程直到损失的最大值小于设定的损失阈值ζ，剩余的坐标点对为准确的匹配点对。
7.根据权利要求6所述的一种存在旋转变化和尺度差异的异源遥感图像匹配方法，其特征在于，步骤3所述的神经网络为传统的L2-Net或改进的L2-Net；所述改进的L2-Net包含九个卷积模块和一个局部响应归一化层LRN，每个卷积模块均包含有卷积层、批归一化和ReLU激活运算。
8.根据权利要求1所述的一种存在旋转变化和尺度差异的异源遥感图像匹配方法，其特征在于，所述步骤4的具体过程包括以下步骤：
4.1、、针对于每个图像块，利用正确匹配的子图像块对应的图像块对计算仿射变换矩阵，得到的仿射变换矩阵为Uj；
4.2、计算每对匹配图像块中正确匹配点的损失值的和：
其中，j是图像块的索引，t是图像块中正确匹配的匹配点的索引，即图像块j中正确匹配的匹配点对对应的损失值Lt；
计算Lj的方差和均值分别为和σ，只选择损失值范围在/>之间的图像块，Δ是范围参数，决定选取损失值的范围；针对筛选后的k个图像块，根据损失值的和判断该匹配块对于整体仿射变换矩阵的贡献，贡献值为：
其中，k是筛选后图像块的索引；
4.3、由贡献值计算最终的整体仿射变换矩阵：
仿射变换矩阵中有四个未知元素，分别为：
A＝s·cos(θ)
B＝s·sin(θ)
C＝tx
D＝ty
其中，s为尺度变换因子，θ为旋转角，tx和ty分别为横向和纵向平移坐标；分别计算筛选后图像块对应的变化矩阵，最终仿射变换矩阵的计算为：
X＝A,B,C,D
其中，Xk是筛选后的k个图像块所对应的Uj中的A,B,C,D。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210202888.1A CN114565653B (zh) | 2022-03-02 | 2022-03-02 | 一种存在旋转变化和尺度差异的异源遥感图像匹配方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210202888.1A CN114565653B (zh) | 2022-03-02 | 2022-03-02 | 一种存在旋转变化和尺度差异的异源遥感图像匹配方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114565653A CN114565653A (zh) | 2022-05-31 |
| CN114565653B true CN114565653B (zh) | 2023-07-21 |
Family
ID=81718070
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210202888.1A Active CN114565653B (zh) | 2022-03-02 | 2022-03-02 | 一种存在旋转变化和尺度差异的异源遥感图像匹配方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114565653B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117541833B (zh) * | 2024-01-10 | 2024-04-02 | 中山大学 | 一种多模态图像匹配方法、系统、终端设备及存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102982543A (zh) * | 2012-11-20 | 2013-03-20 | 北京航空航天大学深圳研究院 | 一种多源遥感图像配准方法 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105510913B (zh) * | 2015-11-11 | 2018-01-09 | 湖北工业大学 | 基于类光学像方改正的异源光学和sar遥感影像联合定位方法 |
| CN108510532B (zh) * | 2018-03-30 | 2022-07-15 | 西安电子科技大学 | 基于深度卷积gan的光学和sar图像配准方法 |
| CN108564606B (zh) * | 2018-03-30 | 2022-06-24 | 西安电子科技大学 | 基于图像转换的异源图像块匹配方法 |
| CN109409292B (zh) * | 2018-10-26 | 2021-09-03 | 西安电子科技大学 | 基于精细化特征优化提取的异源图像匹配方法 |
| US10833724B1 (en) * | 2019-04-16 | 2020-11-10 | The Florida International University Board Of Trustees | Feed networks for self-interference cancellation |
| CN111028277B (zh) * | 2019-12-10 | 2023-01-10 | 中国电子科技集团公司第五十四研究所 | 基于伪孪生卷积神经网络的sar和光学遥感图像配准方法 |
| CN112861672B (zh) * | 2021-01-27 | 2022-08-05 | 电子科技大学 | 一种基于光学-sar异源遥感图像匹配方法 |
| CN112883850B (zh) * | 2021-02-03 | 2023-06-09 | 湖北工业大学 | 一种基于卷积神经网络的多视角空天遥感图像匹配方法 |
| CN113256653B (zh) * | 2021-05-25 | 2023-05-09 | 南京信息工程大学 | 一种面向高层地物的异源高分遥感影像配准方法 |
| CN113808180B (zh) * | 2021-09-18 | 2023-10-17 | 中山大学 | 一种异源图像配准方法、系统及装置 |
-
2022
- 2022-03-02 CN CN202210202888.1A patent/CN114565653B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102982543A (zh) * | 2012-11-20 | 2013-03-20 | 北京航空航天大学深圳研究院 | 一种多源遥感图像配准方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114565653A (zh) | 2022-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109409292B (zh) | 基于精细化特征优化提取的异源图像匹配方法 | |
| CN110097093B (zh) | 一种异源图像精确匹配方法 | |
| CN104318548B (zh) | 一种基于空间稀疏度和sift特征提取的快速图像配准实现方法 | |
| CN110232389B (zh) | 一种基于绿色作物特征提取不变性的立体视觉导航方法 | |
| CN107063228B (zh) | 基于双目视觉的目标姿态解算方法 | |
| CN107067415B (zh) | 一种基于图像匹配的目标定位方法 | |
| CN104574347B (zh) | 基于多源遥感数据的在轨卫星图像几何定位精度评价方法 | |
| CN111079556A (zh) | 一种多时相无人机视频图像变化区域检测及分类方法 | |
| CN107301661A (zh) | 基于边缘点特征的高分辨率遥感图像配准方法 | |
| CN109961417B (zh) | 图像处理方法、装置及移动装置控制方法 | |
| CN110569861B (zh) | 一种基于点特征和轮廓特征融合的图像匹配定位方法 | |
| CN110458877B (zh) | 基于仿生视觉的红外与可见光信息融合的导航方法 | |
| CN108765476B (zh) | 一种偏振图像配准方法 | |
| CN111369605A (zh) | 一种基于边缘特征的红外与可见光图像的配准方法和系统 | |
| CN102938147A (zh) | 一种基于快速鲁棒特征的低空无人机视觉定位方法 | |
| CN112017223A (zh) | 基于改进SIFT-Delaunay的异源图像配准方法 | |
| CN114565653B (zh) | 一种存在旋转变化和尺度差异的异源遥感图像匹配方法 | |
| Wang | Automatic extraction of building outline from high resolution aerial imagery | |
| CN115601407A (zh) | 一种红外与可见光图像配准方法 | |
| Huang et al. | SAR and optical images registration using shape context | |
| CN105005962B (zh) | 基于分层筛选策略的岛礁遥感影像配准方法 | |
| Paffenholz et al. | Geo-referencing point clouds with transformational and positional uncertainties | |
| CN113298725A (zh) | 一种轮船图标图像叠加误差的纠正方法 | |
| CN117173437A (zh) | 多维定向自相似特征的多模态遥感影像混合匹配方法和系统 | |
| CN106204596B (zh) | 一种基于高斯拟合函数与模糊混合估计的全色波段遥感影像云检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |