CN117710711B - 一种基于轻量化深度卷积网络的光学和sar图像匹配方法 - Google Patents
一种基于轻量化深度卷积网络的光学和sar图像匹配方法 Download PDFInfo
- Publication number
- CN117710711B CN117710711B CN202410167897.0A CN202410167897A CN117710711B CN 117710711 B CN117710711 B CN 117710711B CN 202410167897 A CN202410167897 A CN 202410167897A CN 117710711 B CN117710711 B CN 117710711B
- Authority
- CN
- China
- Prior art keywords
- depth
- matching
- distance
- descriptor
- optical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 83
- 230000003287 optical effect Effects 0.000 title claims abstract description 80
- 238000000605 extraction Methods 0.000 claims abstract description 39
- 238000013528 artificial neural network Methods 0.000 claims abstract description 22
- 238000012549 training Methods 0.000 claims abstract description 19
- 238000000746 purification Methods 0.000 claims abstract description 17
- 238000010606 normalization Methods 0.000 claims description 36
- 238000004364 calculation method Methods 0.000 claims description 21
- 238000012216 screening Methods 0.000 claims description 17
- 230000004913 activation Effects 0.000 claims description 14
- 238000010586 diagram Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 11
- 230000004927 fusion Effects 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 9
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 239000000758 substrate Substances 0.000 claims description 5
- 230000001174 ascending effect Effects 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 3
- 238000013178 mathematical model Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims 1
- 238000010276 construction Methods 0.000 claims 1
- 230000005855 radiation Effects 0.000 abstract description 15
- 230000006870 function Effects 0.000 description 26
- 238000012360 testing method Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000002996 descriptor matching method Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 108010003272 Hyaluronate lyase Proteins 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及一种基于轻量化深度卷积网络的光学和SAR图像匹配方法，对预处理的光学和SAR图像进行特征点检测；构建深度描述符提取模型，深度描述符提取模型包括深度倒残差全卷积神经网络和密集特征纯化模块，深度倒残差全卷积神经网络内嵌多个倒残差结构；利用数据集对深度描述符提取模型进行训练，并使用训练完成的深度描述符提取模型从图像中获取深度描述符；然后对深度描述符进行特征匹配，采用去粗取精策略剔除误匹配，去粗取精的误匹配剔除策略包括自适应阈值约束和双RANSAC算法。本发明能够结合局部信息和全局语义信息，减少关键特征损失，提取的深度描述符对非线性辐射差异具有较强的鲁棒性，提高了正确匹配点的数量和准确率。
Description
技术领域
本发明涉及遥感图像匹配技术领域，具体涉及一种基于轻量化深度卷积网络的光学和SAR图像匹配方法。
背景技术
随着遥感技术的发展，从遥感图像上获取所需信息已经成为一种非常重要的信息获取手段。遥感图像匹配是遥感图像处理中的基础任务，图像匹配是指在两幅或多幅图像之间建立空间对应关系的过程。合成孔径雷达（Synthetic Aperture Radar ,SAR）是一种利用微波对地目标进行观测的有源成像传感器，具有全天候、大规模、强穿透等特性，适合高分辨率对地观测应用。SAR遥感图像可以作为光学遥感图像的有益补充。这两种图像的结合被广泛的应用于目标识别、图像分割和分类、变化检测、图像配准和图像融合等图像处理任务中，而图像匹配是这些应用的前提。然而，由于SAR图像成像的几何模型和物理的辐射机制和光学图像的不同，导致SAR图像和光学图像之间存在复杂几何畸变和较大非线性辐射差异。光学与SAR图像之间复杂几何畸变、非线性辐射差异和散斑点噪声使得它们之间的图像匹配变得十分的困难。对于光学图像和SAR图像匹配任务的难点在于如何从异构的图像中构建鲁棒性特征。
为解决上述问题，研究人员提出了许多图像匹配方法，主要包括三类：基于区域特征描述符匹配方法、基于人工设计描述符匹配方法和基于学习的特征描述符匹配方法。基于区域方法直接在像素级进行图像匹配，光照变化、遮挡和图像失真会误导相似度量和匹配搜索。人工设计的特征描述符通常由局部图像区域的特征（如：点、角点、线和边缘）构建，属于低级的语义信息，无法有效的处理光学图像和SAR图像间存在的局部几何畸变和非线性辐射差异，且人工设计描述符很难从图像中获得足够多的高重复性特征。卷积神经网络作为图像高层次特征提取器被引入图像匹配，相比于传统的特征提取方法，深度卷积神经网络能提取图像的高级语义信息。将深度学习的方法应用于光学图像和SAR图像匹配任务中，目的是为了学习高级特征的语义信息实现特征鲁棒性匹配。现有深度学习的方法主要利用深度卷积神经网络来构建特征描述符，与人工设计的描述符相比，基于学习的特征描述符通过卷积神经网络可以学习到更多数据中隐藏的有价值的信息。深度卷积神经网络通过将多个非线性映射函数叠加嵌套形成深层网络函数，可以基于大量样本数据的训练支持近似任何复杂函数。研究表明基于学习的特征描述符在图像匹配任务中的性能优于人工设计特征描述符。然而，基于学习的特征描述符也面临许多的问题。现有的卷积神经网络通常从图像中提取大量的特征，这些特征通常包含噪声和异常值。网络在面对具有复杂几何畸变和非线性辐射差异的图像时不具有鲁棒性。如何有效的利用深度学习的方法来实现高质量和高精度的图像匹配，已成为图像匹配领域一个关键和有价值的问题。
公开号为CN117036754A的发明专利申请公开了一种SAR与光学图像的匹配方法，该发明提供了一种光学和SAR图像的高精度模态匹配方法，但该方法主要针对光学和SAR图像间存在较小的辐射和几何畸变的图像，且使用双分支网络，层数较少难以获得高级特征用于图像匹配，导致模型的泛化能力差。公开号为CN115019071A的发明专利公开了一种光学图像与SAR图像匹配方法、装置、电子设备及介质，该发明有效的融合了光学和SAR图像的特征，图像经过网络模型获得多个密集特征图和特征向量，该发明能有效地解决图像匹配存在特征点少的问题，但这也增加模型的计算复杂度，降低了模型的推理速度。公开号为CN116403011A的发明专利申请公开了一种基于SAR-Optical图像匹配的有效数据样本群的建立方法，该发明采用模板匹配的方法实现光学和SAR遥感图像匹配，有效的提高了匹配的精度，但该发明的匹配结果易受到光照和噪声等的影响。公开号为CN112861672A的发明专利公开了一种基于光学-SAR异源遥感图像匹配方法，该发明提供了一种基于深度学习的自适应图像细节学习的全卷积神经网络的图像匹配模型，有效的学习到了图像间的细节特征，提高遥感图像匹配的准确度和效率，但仅考虑图像间的特征未考虑全局的语义特征，同样对于光学和SAR图像间存在较大的非线性辐射差异和复杂几何畸变的匹配结果不理想。公开号为CN108447016A的发明专利公开了一种基于直线交点的光学图像和SAR图像的匹配方法，用于解决现有技术中存在的图像匹配准确度低的技术问题，该发明提供了一种基于直线特征的光学和SAR图像的匹配方法，但直线特征属于人工设计的特征，属于低级语义信息，同样的无法处理光学和SAR图像之间存在的较大的非线性辐射差异。公开号为CN107480701A的发明专利公开了一种基于多通道卷积神经网络的光学图像与雷达图像匹配方法，该发明提供了一种双通道网络的光学和SAR图像的匹配方法，通过双通道的深度卷积神经网络构建特征匹配网络，有效的使用了高级的语义信息，但该方法利用分类层输出匹配结果，匹配点的定位精度低，且缺乏考虑细节特征的提取，模型的泛化能力不足。
发明内容
本发明的目的在于，提供一种基于轻量化深度卷积网络的光学和SAR图像匹配方法，能够减少特征提取过程中关键特征的损失和实现特征的重用，能有效的结合局部和全局上下文语义信息，从具有较大的非线性辐射差异和复杂几何畸变光学和SAR图像中提取到具有较强鲁棒性的深度描述符用于图像匹配，提高了匹配点的数量和准确率。
本发明采取的技术方案为：一种基于轻量化深度卷积网络的光学和SAR图像匹配方法，包括如下步骤：
S1：对光学和SAR图像进行预处理并使用Fast算法进行特征点检测；
S2：构建深度描述符提取模型，所述深度描述符提取模型包括同时提取局部信息和全局上下文语意信息的深度倒残差全卷积神经网络和密集特征纯化模块；
所述深度倒残差全卷积神经网络由一个卷积层和多个重复的倒残差结构组成，倒残差结构使用全卷积层，全卷积层用于局部特征的提取和减少图像关键特征的损失，倒残差结构中内嵌的跨连接结构用于提取图像的全局和上下文信息和实现特征的重用；
所述密集特征纯化模块，用于将深度倒残差全卷积神经网络输出的密集特征融合到一个深度描述符中；
S3：利用公开的光学和SAR图像的数据集对深度描述符提取模型进行训练，损失函
数从深度描述符提取模型输出的深度描述符中找出与匹配深度描述符对距离最小的两个
非匹配的深度描述符，并计算深度描述符之间的距离，通过距离计算损失进行反向传
播，优化模型参数，完成模型训练；
S4：使用训练完的深度描述符提取模型根据检测到的特征点构建深度描述符，并利用最邻近匹配算法进行最邻近匹配，获得初始匹配结果；
S5：对步骤S4获得的初始匹配结果使用去粗取精策略剔除误匹配，所述去粗取精策略剔除误匹配包括自适应阈值约束粗筛选和双RANSAC算法精筛选。
进一步地，步骤S1中，对光学和SAR图像进行预处理并使用Fast算法进行特征点检测的具体方法为：
S101：对光学和SAR图像进行图像预处理；
S102：对预处理后的光学和SAR图像进行归一化处理，减少噪声对特征点检测的影响；
S103：使用Fast算法对光学和SAR图像进行特征点检测；
S104：根据检测到的特征点，以特征点为中心裁剪大小为224×224的图像块。
进一步地，所述深度倒残差全卷积神经网络包括七个阶段，第一阶段为一个3×3卷积层，第二阶段为一个倒残差结构，第三阶段、第四阶段、第五阶段、第六阶段和第七阶段为多个倒残差结构堆叠而成，第三阶段、第四阶段、第五阶段、第六阶段和第七阶段分别对倒残差结构自身堆叠2次、3次、4次、3次和3次；其中，第二阶段为一个步长为1的倒残差结构；第三阶段由一个步长为2的倒残差结构和一个步长为1的倒残差结构堆叠而成；第四阶段由一个步长为2的倒残差结构和两个步长为1的倒残差结构堆叠而成；第五阶段为一个步长为2的倒残差结构和三个步长为1的倒残差结构堆叠而成；第六阶段为三个步长为1的倒残差结构堆叠而成；第七阶段为一个步长为2的倒残差结构和两个步长为1的倒残差结构堆叠而成。
进一步地，所述倒残差结构又称Bottleneck模型，根据步长的不同分为两种结构形式；步长为2的倒残差结构分为三个阶段，第一阶段为一个1×1的卷积层对输入进行升维，后跟批归一化层BN和激活函数Relu6，第二阶段为一个3×3的DW卷积层加上批归一化层BN和激活函数Relu6，第三阶段为1×1的卷积层和线性层加上批归一化层BN；步长为1的倒残差结构分为四个阶段，第一阶段为一个1×1的卷积层对输入进行升维，后跟批归一化层BN和激活函数Relu6，第二阶段为一个3×3的DW卷积层加上批归一化层BN和激活函数Relu6，第三阶段为1×1的卷积层和线性层加上批归一化层BN，第四阶段将输入特征图和第三阶段输出的特征图在特征通道上进行拼接；所述的DW卷积层为一个卷积核负责一个通道，一个通道只被一个卷积核卷积，DW卷积层的卷积结构能大幅减少网络的模型参数使模型轻量化；根据倒残差结构生成特征图的计算公式如下：
，
Or，
；
其中，为第个倒残差结构的输出，为卷积层、激活函数Relu6和批归一化层
BN组成的复合函数，为第个倒残差结构输出特征图的3D张量，其中，为对
应特征图的3D张量的维度，分别对应特征图的3D张量的长、宽和通道数量，为第
个倒残差结构输出特征图的3D张量，其中，为对应特征图的3D张量的维度，分别对
应特征图的3D张量的长、宽和通道数量，为倒残差结构中DW卷积的步长。
进一步地，所述的密集特征纯化模块包含一个步长为1的倒残差结构、密集特征融
合层和L2范数归一化；深度倒残差全卷积神经网络输出的密集特征图经过密集特征纯化
模块中的倒残差结构后会输出3D张量的密集特征，记作，即；所述密
集特征融合层为一个7×7的卷积层和一个批归一化层BN组成，用于将特征空间的3D张量的
密集特征融合在一个3D张量中，，其中3D张量的尺寸为，计算
公式表示为：
；
其中，表示批归一化层BN，表示缩放参数，表示平移参数，为3D张量
的密集特征对应的特征通道数，表示权值，表示偏置项；然后将3D张量进行L2范
数归一化后生成深度描述符用于特征匹配。
进一步地，步骤S3中，损失函数从深度描述符提取模型输出的深度描述符中找出
与匹配深度描述符对距离最小的两个非匹配的深度描述符，并计算深度描述符之间的距
离，通过距离计算损失进行反向传播，优化模型参数的具体方法为：将深度描述符提取模
型输出的深度描述符通过距离构建距离矩阵，距离计算公式为：
，
其中，为光学图像的第个深度描述符，为SAR图像的第个深度描述符，表示深度描述符和深度描述符之间的距离，表示深度描述符的个数；对于
每对匹配的深度描述符（,），分别找到与深度描述符距离最近的非匹配的深度描述符，与深度描述符距离最近的非匹配的深度描述符，形成四元组
，其中，，然后从每对深度描述符的四元组中形成一个三元组，如果形成另一个三
元组，损失函数的目标是最小化匹配深度描述符对和非匹配的深度描述符之间
的距离，损失函数会不断缩小匹配对之间的距离拉远非匹配对，从而在网络反向传播过程
中优化网络模型，完成模型训练；损失函数计算公式为：
；
式中，表示深度描述符与非匹配的深度描述符的距离，表示深度描述符与非匹配的深度描述符的距离。
进一步地，步骤S4中，获得初始匹配结果的具体方法为：以步骤S1中检测到的特征点为中心获得图像块，然后将图像块输入深度描述符提取模型获得深度描述符，将获得的深度描述符进行归一化处理后，利用最邻近匹配算法进行匹配，得到深度描述符所对应的初始匹配结果。
进一步地，通过最邻近匹配算法得到的初始匹配结果中含有欧式距离最邻近匹配
点和次邻近匹配点，所述自适应阈值约束粗筛选在筛选出正确匹配对的过程中，若最邻近
匹配点的距离远小于次邻近匹配点的距离，则认为该对匹配对质量好，自适应阈值约
束通过统计所有初始匹配对的最邻近匹配点和次邻近匹配点间欧式距离均值作为是否保
留该匹配点的判断依据，欧式距离均值的计算公式为：
；
其中，为参考图像（光学图像）上特征点的个数，为距离的均值，为次邻
近匹配点的距离，为最邻近匹配点的距离，对于每一组最邻近匹配点和次邻近匹配点，当
满足时，该匹配对保留，否则剔除该匹配对。
进一步地，所述双RANSAC算法精筛选，首先，对经过自适应阈值约束粗筛选的匹配点使用RANSAC算法采用仿射变换模型进行误匹配点剔除；然后，再次使用RANSAC算法，利用单应矩阵作为几何模型，将满足几何一致性约束的特征点作为正确匹配点保留，得到正确的匹配点。
进一步地，所述RANSAC算法是从一组含有错误的匹配点的数据中正确估计数学模型参数的迭代算法，随机采样K个匹配点，对这K个匹配点进行拟合得到几何变换模型，计算除这K个匹配点外的其它点到几何变换模型的距离，距离大于阈值则认为是错误匹配点，距离小于阈值则判断为正确匹配点，经过多次的迭代选择正确匹配最多的模型，即获得最终的匹配点。
本发明的有益技术效果在于：
（1）本发明构建了一种基于轻量化深度卷积网络的光学和SAR图像匹配方法，能够同时提取到图像的局部特征和全局特征，并减少了关键特征的损失和实现特征的重用，采用深度倒残差全卷积神经网络提取图像的局部特征，全卷积的结构有效的减少了关键特征的损失；网络模型采用倒残差结构提取图像的全局特征，有效的实现特征的重用和减少了网络模型的参数，方便模型的训练；解决了网络模型难以同时提取图像的局部和全局特征、关键特征损失和模型难以训练的问题。
（2）为了构建对较大的非线性辐射差异和复杂几何畸变具有鲁棒性的深度描述符，采用特征纯化模块将密集特征融合到深度描述符中，有效的融合了网络模型提取的局部特征和全局特征；在误匹配剔除阶段采用去粗取精的剔除策略，提高了正确匹配点的数量和准确率；解决了光学和SAR图像之间因存在较大非线性辐射差异和复杂几何畸变难以匹配的问题；本发明的光学和SAR图像匹配方法获得了较好的匹配效果，能满足光学和SAR图像之间因复杂的几何失真和较大非线性辐射差异的图像匹配需求。
附图说明
图1为本发明实施例中基于轻量化深度卷积网络的光学和SAR图像匹配方法的流程图。
图2为本发明实施例中基于轻量化深度卷积网络的光学和SAR图像匹配方法的网络模型图。
图3为本发明实施例中基于轻量化深度卷积网络的光学和SAR图像匹配方法的倒残差结构示意图。
图4为本发明实施例中基于轻量化深度卷积网络的光学和SAR图像匹配方法的密集特征纯化模块示意图。
图5为本发明实施例中基于轻量化深度卷积网络的光学和SAR图像匹配方法的损失函数采样示意图。
图6为本发明实施例中一组测试图像对的示意图。
图7为本发明实施例中图像匹配结果示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明并不限于下面公开的具体实施例的限制。除非另作定义，此处使用的技术术语或者科学术语应当为本申请所述领域内具有一般技能的人士所理解的通常意义。
如图1所示，一种基于轻量化深度卷积网络的光学和SAR图像匹配方法，包括如下步骤：
S1：对光学和SAR图像进行预处理并使用Fast算法进行特征点检测；具体方法为：
S101：对光学和SAR图像进行图像预处理，如大气校正和辐射定标等；
S102：对预处理后的光学和SAR图像进行归一化处理，减少噪声对特征点检测的影响；
S103：使用Fast算法对光学和SAR图像进行特征点检测；
S104：根据检测到的特征点，以特征点为中心裁剪大小为224×224的图像块，完成图像补丁提取。
S2：构建深度描述符提取模型，所述深度描述符提取模型包括同时提取局部信息
和全局上下文语意信息的深度倒残差全卷积神经网络和密集特征纯化模块；如图2所示，所
述的深度倒残差全卷积神经网络由一个卷积层和多个倒残差结构组成。含有R、G、B通道信
息的图像块（即补丁图像）经过深度倒残差全卷积神经网络获得具有丰富局部信息和全局
信息的密集特征图，然后将密集特征图输入至密集特征纯化模块中，得到融合后的深
度描述符。
所述深度倒残差全卷积神经网络包括七个阶段，第一阶段为一个3×3卷积层，第
二阶段为一个倒残差结构，第三阶段、第四阶段、第五阶段、第六阶段和第七阶段为多个倒
残差结构堆叠而成，第三阶段、第四阶段、第五阶段、第六阶段和第七阶段分别对倒残差结
构自身堆叠2次、3次、4次、3次和3次。其中，第二阶段为一个步长为1的倒残差结构；第三阶
段由一个步长为2的倒残差结构和一个步长为1的倒残差结构堆叠而成；第四阶段由一个步
长为2的倒残差结构和两个步长为1的倒残差结构堆叠而成；第五阶段为一个步长为2的倒
残差结构和三个步长为1的倒残差结构堆叠而成；第六阶段为三个步长为1的倒残差结构堆
叠而成；第七阶段为一个步长为2的倒残差结构和两个步长为1的倒残差结构堆叠而成；每
个阶段输出的特征图大小分别为、、、、、、，其中，和分别为输入网络中的图像的长和宽。
如图3所示，所述倒残差结构又称Bottleneck模型，根据步长的不同分为两种结构
形式。步长为2的倒残差结构分为三个阶段，第一阶段为一个1×1的卷积层对输入进行升
维，后跟批归一化层BN和激活函数Relu6，第二阶段为一个3×3的DW卷积层(深度可分离卷
积, Depthwise Separable Convolution)加上批归一化层BN和激活函数Relu6，第三阶段
为1×1的卷积层和线性层（Linear层）加上批归一化层BN；步长为1的倒残差结构分为四个
阶段，第一阶段为一个1×1的卷积层对输入进行升维，后跟通过批归一化层BN和激活函数
Relu6，第二阶段为一个3×3的DW卷积层加上批归一化层BN和激活函数Relu6，第三阶段为1
×1的卷积层和线性层加上批归一化层BN，第四阶段将输入特征图和第三阶段输出的特征
图在特征通道上进行拼接，图3中符号表示拼接操作；所述的DW卷积层为一个卷积核负责
一个通道，一个通道只被一个卷积核卷积，这种卷积结构能大幅减少网络的模型参数使模
型轻量化。根据倒残差结构生成特征图的计算公式如下：
，
Or，
；
其中，为第个倒残差结构的输出，为卷积层、激活函数Relu6和批归一化层
BN（batch normalization）等组成的复合函数，为第个倒残差结构输出特征图的3D
张量，其中，为对应特征图的3D张量的维度，分别对应特征图的3D张量的长、宽和
通道数量，为第个倒残差结构输出特征图的3D张量，其中，为对应特征
图的3D张量的维度，分别对应特征图的3D张量的长、宽和通道数量，为倒残差结构中DW卷
积的步长。
步长为1的倒残差结构输入尺寸为的特征图，经过第一阶段的1×1的卷
积层输出的特征图的大小为，其中m为扩展因子，为特征图的通道数，本发
明实施例中扩展因子设置为0.6，然后经过第二阶段的DW卷积层输出的特征图的大小为，然后经第三阶段的1×1的卷积层和线性层输出的特征图的大小为，经第四阶段输出的特征图的大小为，代表步长为1的倒残差结
构最终输出的特征图的通道数；步长为2的倒残差结构各阶段输出的特征图的大小依次为、和，代表步长为2的倒残差结构最终输出的特
征图的通道数。
如图4所示，所述的密集特征纯化模块包含一个步长为1的倒残差结构、密集特征
融合层和L2范数归一化（L2 Norm）。深度倒残差全卷积神经网络输出的密集特征图经过
密集特征纯化模块中的倒残差结构后会输出3D张量的密集特征，记作，即；所述密集特征融合层为一个7×7的卷积层和一个批归一化层BN组成，用于将
特征空间的3D张量的密集特征融合在一个3D张量中，，其中3D张量的
尺寸为，计算公式表示为：
；
其中，表示批归一化层BN，表示缩放参数，表示平移参数，为3D张量
的密集特征对应的特征通道数，表示权值，表示偏置项；然后将3D张量进行L2范
数归一化后生成深度描述符用于特征匹配。
S3：利用公开的光学和SAR图像的数据集对深度描述符提取模型进行训练，深度描
述符提取模型从输入的一批图像中提取深度描述符，同一批深度描述符中，对于每一对匹
配的深度描述符，其他的深度描述符都属于非匹配的深度描述符；损失函数从深度描述符
提取模型输出的一批深度描述符中，找出与匹配深度描述符对距离最小的两个非匹配的深
度描述符，并计算深度描述符之间的距离，通过距离计算损失进行反向传播，优化模
型参数，完成模型训练。
本实施例中利用了两个大型的公开的光学和SAR图像的数据集对深度描述符提取
模型进行训练，其中数据集一由从高分三号SAR卫星图像和GoogleEarth图像获取的20000
对光学和SAR的遥感图像块组成，数据集二由全球各地和所有气象季节的282384对SAR和光
学图像块组成，利用了数据集二的夏季部分和秋季部分，分别包含了48158对和60104对图
像块。数据集包括山脉、海岸线、森林、道路、湖泊、农田、建筑物、城市和农村地区等样本数
据，其中图像块的尺寸为256×256，为了丰富数据集，训练时将图像块进行了旋转、平移，最
后随机裁剪为大小为224×224的图像块。数据集按照8:2的比例随机划分作为所述深度描
述符提取模型的训练集和测试集。使用训练集和测试集对深度描述符提取模型进行训练，
损失函数对深度描述符提取模型输出的描述符中找出与匹配深度描述符对距离最小的非
匹配的两个深度描述符，并计算深度描述符之间的距离，通过距离计算损失进行反向
传播，优化模型参数，完成模型训练。
所述的损失函数用于网络模型训练，损失函数采用“最难样本”的挖掘策略，损失
函数从深度描述符提取模型输出的一批描述符中找出与匹配深度描述符对距离最小的两
个非匹配的深度描述符。如图5所示，将深度描述符提取模型输出的深度描述符通过距离
构建距离矩阵，距离计算公式为：
，
其中，为光学图像的第个深度描述符，为SAR图像的第个深度描述符，表示深度描述符和深度描述符之间的距离，表示深度描述符的个数。
对于每对匹配的深度描述符（,），分别找到与深度描述符距离最近的非匹配
的深度描述符，与深度描述符距离最近的非匹配的深度描述符，形成四元组，其中，，然后从每对深度描述符的四
元组中形成一个三元组，如果形成另一
个三元组，损失函数的目标是最小化匹配深度描述符对和非匹配的深度描述符
之间的距离，损失函数会不断缩小匹配对之间的距离拉远非匹配对，从而在网络反向传播
过程中优化网络模型，完成模型训练。损失函数计算公式为：
；
式中，表示与深度描述符距离最近的非匹配的深度描述符，表示
深度描述符与非匹配的深度描述符的距离，表示深度描述符与非匹
配的深度描述符的距离。
S4：利用训练完成的深度描述符提取模型根据特征点构建深度描述符，以步骤S1中检测到的特征点为中心获得图像块，然后将图像块输入深度描述符提取模型获得深度描述符，将获得的深度描述符进行归一化处理后，利用最邻近匹配算法进行匹配，得到深度描述符所对应的初始匹配结果。
S5：对初始匹配结果使用去粗取精的策略剔除误匹配后获得最后的匹配结果，所述去粗取精策略剔除误匹配包括自适应阈值约束粗筛选和双RANSAC算法精筛选。
所述自适应阈值约束粗筛选，通过最邻近匹配算法得到的初始匹配结果中含有欧
式距离（即距离）最邻近匹配点和次邻近匹配点，想要保留最邻近匹配点和次邻近匹配点
欧式距离相差较大的点，但传统的倍率因子通常难以确定，本发明的方法采用自适应的方
法来代替倍率因子。在筛选出正确匹配对的过程中，通常认为最邻近匹配点的距离远小
于次邻近匹配点的距离，则认为该对匹配对质量好，自适应阈值约束通过统计所有初始
匹配对的最邻近匹配点和次邻近匹配点间欧式距离均值作为是否保留该匹配点的判断依
据，欧式距离均值的计算公式为：
；
其中，为参考图像（光学图像）上特征点的个数，为距离的均值，为次邻
近匹配点的距离，为最邻近匹配点的距离，对于每一组最邻近匹配点和次邻近匹配点，当
满足时，该匹配对保留，否则剔除该匹配对。
所述双RANSAC算法精筛选，首先，对经过自适应阈值约束粗筛选获得的匹配点使用RANSAC算法采用仿射变换模型进行误匹配点剔除；由于光学和SAR图像之间成像过程存在较大的差异，经过RANSAC算法的第一次提纯后匹配点仍存在少许误匹配点，再次使用RANSAC算法，利用单应矩阵作为几何模型，将满足几何一致性约束的特征点作为正确匹配点保留，然后得到正确的匹配点。
所述RANSAC算法是从一组含有错误的匹配点的数据中正确估计数学模型参数的迭代算法。随机采样K个匹配点，对这K个匹配点进行拟合得到几何变换模型，计算除这K个匹配点外的其它点到几何变换模型的距离，距离大于阈值则认为是错误匹配点，距离小于阈值则判断为正确匹配点，经过多次的迭代选择正确匹配最多的模型，即获得最终的匹配点；本实施例中阈值设置为3个像素。
本发明实施例使用训练好的深度描述符提取模型获得图像的深度描述符，深度描述符经过特征匹配和去粗取精的误匹配剔除策略获得图像匹配结果，将匹配结果进行精度评定，评估指标公式如下：
；
；
；
其中，为差值判定，参考图像（光学图像）上的特征点通过算法在待匹配图
像（SAR图像）上匹配到的特征点位置与特征点理论点位置之间距离的像素差值小于
给定的阈值，则认为该匹配点为正确匹配点。为匹配点准确率，为正确匹配点
的数，为总匹配点的数，为均方根误差，为参考图像（光学图像）上原始
坐标，为变化后（SAR图像）的坐标。
此外，将本发明实施例所述的方法与现有较先进的图像匹配方法进行比较实验，例如两种人工设计描述符的图像匹配方法POS-SIFT和SAR-SIFT、一种适用于多模态图像匹配方法RIFT、两种基于深度学习特征匹配的方法CMM-Net和MatchosNet，其中MatchosNet方法是专门为光学和SAR图像匹配设计的算法。选取6对图像作为测试图像，得到的匹配结果如下表1所示。
表1 本发明实施例所述方法与五种现有图像匹配算法匹配结果统计：
其中，本发明实施例所述的匹配方法在6对测试图像中获取的正确匹配点的数量最多，匹配准确率最高，且RMSE都小于2个像素；其中像对二和像对五为弱纹理信息的像对，但本发明实施例所述的方法仍然能获得较多的匹配点，且点位分布均匀，本发明实施例所述的方法面对图像纹理信息弱时仍然适用；本发明实例所述的方法在6对测试图像上取得最好的匹配效果，提高了正确匹配点的数目和匹配准确率。本发明实例所述的方法所提出深度描述符对光学和SAR图像间存在的较大的非线性辐射差异和复杂几何畸变具有较强的鲁棒性；能满足光学和SAR图像之间因复杂的几何失真和较大非线性辐射差异的图像匹配需求。图6为本发明实施例测试图像中的一个像对，其中，图6中的(a)为光学图像，图6中的(b)为SAR图像；图7为图6所示像对所对应的图像匹配结果示意图，其中，图7中的(a)为POS-SIFT方法的图像匹配结果，图7中的(b)为SAR-SIFT方法的图像匹配结果，图7中的(c)为RIFT方法的图像匹配结果，图7中的(d)为CMM-Net方法的图像匹配结果，图7中的(e)为MatchosNet方法的图像匹配结果，图7中的(f)为本发明方法的图像匹配结果。可以看出，本发明实施例所述的匹配方法能够精确快速实现光学和SAR图像的匹配，在匹配效果上表现最优。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于轻量化深度卷积网络的光学和SAR图像匹配方法，其特征在于，包括如下步骤：
S1：对光学和SAR图像进行预处理并使用Fast算法进行特征点检测；
S2：构建深度描述符提取模型，所述深度描述符提取模型包括同时提取局部信息和全局上下文语义意信息的深度倒残差全卷积神经网络和密集特征纯化模块；
所述深度倒残差全卷积神经网络由一个卷积层和多个重复的倒残差结构组成，倒残差结构使用全卷积层，全卷积层用于局部特征的提取和减少图像关键特征的损失，倒残差结构中内嵌的跨连接结构用于提取图像的全局和上下文信息和实现特征的重用；
所述密集特征纯化模块，用于将深度倒残差全卷积神经网络输出的密集特征融合到一个深度描述符中；包含一个步长为1的倒残差结构、密集特征融合层和L2范数归一化，其中密集特征融合层由一个7×7的卷积层和一个批归一化层BN组成，密集特征纯化模块将深度倒残差全卷积神经网络输出的密集特征融合到一个256维的深度描述符中；
S3：利用公开的光学和SAR图像的数据集对深度描述符提取模型进行训练，损失函数从深度描述符提取模型输出的深度描述符中找出与匹配深度描述符对距离最小的两个非匹配的深度描述符，并计算深度描述符之间的距离，通过计算的/>距离得到匹配深度描述符对与两个非匹配深度描述符/>距离的最小值，然后根据匹配深度描述符的距离和非匹配深度描述符的最小距离计算损失，最后将损失进行反向传播，优化模型的参数，完成模型训练；
S4：使用训练完的深度描述符提取模型根据检测到的特征点构建深度描述符，并利用最邻近匹配算法进行最邻近匹配，获得初始匹配结果；
S5：对步骤S4获得的初始匹配结果使用去粗取精策略剔除误匹配，所述去粗取精策略剔除误匹配包括自适应阈值约束粗筛选和双RANSAC算法精筛选。
2.根据权利要求1所述的基于轻量化深度卷积网络的光学和SAR图像匹配方法，其特征在于，步骤S1中，对光学和SAR图像进行预处理并使用Fast算法进行特征点检测的具体方法为：
S101：对光学和SAR图像进行图像预处理；
S102：对预处理后的光学和SAR图像进行归一化处理，减少噪声对特征点检测的影响；
S103：使用Fast算法对光学和SAR图像进行特征点检测；
S104：根据检测到的特征点，以特征点为中心裁剪大小为224×224的图像块。
3.根据权利要求1所述的基于轻量化深度卷积网络的光学和SAR图像匹配方法，其特征在于，所述深度倒残差全卷积神经网络包括七个阶段，第一阶段为一个3×3卷积层，第二阶段为一个倒残差结构，第三阶段、第四阶段、第五阶段、第六阶段和第七阶段为多个倒残差结构堆叠而成，第三阶段、第四阶段、第五阶段、第六阶段和第七阶段分别对倒残差结构自身堆叠2次、3次、4次、3次和3次。
4.根据权利要求1所述的基于轻量化深度卷积网络的光学和SAR图像匹配方法，其特征在于，所述倒残差结构根据步长的不同分为两种结构形式；步长为2的倒残差结构分为三个阶段，第一阶段为一个1×1的卷积层对输入进行升维，后跟批归一化层BN和激活函数Relu6，第二阶段为一个3×3的DW卷积层加上批归一化层BN和激活函数Relu6，第三阶段为1×1的卷积层和线性层加上批归一化层BN；步长为1的倒残差结构分为四个阶段，第一阶段为一个1×1的卷积层对输入进行升维，后跟批归一化层BN和激活函数Relu6，第二阶段为一个3×3的DW卷积层加上批归一化层BN和激活函数Relu6，第三阶段为1×1的卷积层和线性层加上批归一化层BN，第四阶段将输入特征图和第三阶段输出的特征图在特征通道上进行拼接；所述的DW卷积层为一个卷积核负责一个通道，一个通道只被一个卷积核卷积，DW卷积层能大幅减少网络的模型参数使模型轻量化；根据倒残差结构生成特征图的计算公式如下：
，
，
；
其中，为第/>个倒残差结构的输出，/>为卷积层、激活函数Relu6和批归一化层BN组成的复合函数，/>为第/>个倒残差结构输出特征图的3D张量，其中，/>为对应特征图的3D张量的维度，分别对应特征图的3D张量的长、宽和通道数量，/>为第个倒残差结构输出特征图的3D张量，其中，/>为对应特征图的3D张量的维度，分别对应特征图的3D张量的长、宽和通道数量，/>为倒残差结构中DW卷积的步长。
5. 根据权利要求1或4所述的基于轻量化深度卷积网络的光学和SAR图像匹配方法，
其特征在于，所述的密集特征纯化模块包含一个步长为1的倒残差结构、密集特征融合层和
L2范数归一化；深度倒残差全卷积神经网络输出的密集特征图经过密集特征纯化模块中的
倒残差结构后会输出3D张量的密集特征，记作/>，即/>，其中为
输出3D张量的密集特征的长、宽和通道数；所述密集特征融合层为一个7×7的卷积层和一
个批归一化层BN组成，用于将特征空间的3D张量的密集特征融合在一个3D张量/>中，/>，其中3D张量/>的尺寸为/>，计算公式表示为：
；
其中，表示批归一化层BN，/>表示缩放参数，/>表示平移参数，/>为3D张量的密集特征/>对应的特征通道数，/>表示权值，/>表示偏置项；然后将3D张量/>进行L2范数归一化后生成深度描述符用于特征匹配。
6.根据权利要求1所述的基于轻量化深度卷积网络的光学和SAR图像匹配方法，其特征在于，步骤S3中，损失函数从深度描述符提取模型输出的深度描述符中找出与匹配深度描述符对距离最小的两个非匹配的深度描述符，并计算深度描述符之间的距离，通过/>距离计算损失进行反向传播，优化模型参数的具体方法为：将深度描述符提取模型输出的深度描述符通过/>距离构建距离矩阵，/>距离计算公式为：，
其中，为光学图像的第/>个深度描述符，/>为SAR图像的第/>个深度描述符，表示深度描述符/>和深度描述符/>之间的/>距离，/>表示深度描述符的个数；对于每对匹配的深度描述符/>，其中为/>光学图像的第/>个深度描述符，/>为SAR图像的第/>个深度描述符，/>，分别找到与深度描述符/>距离最近的非匹配的深度描述符/>，与深度描述符/>距离最近的非匹配的深度描述符/>，形成四元组，其中/>，然后从每对深度描述符的四元组/>中形成一个三元组/>，如果形成另一个三元组/>，损失函数的目标是最小化匹配深度描述符对和非匹配的深度描述符之间的距离，损失函数会不断缩小匹配对之间的距离拉远非匹配对，从而在网络反向传播过程中优化网络模型，完成模型训练；损失函数计算公式为：
；
式中，表示深度描述符/>与非匹配的深度描述符/>的/>距离，表示深度描述符/>与非匹配的深度描述符/>的/>距离。
7.根据权利要求1所述的基于轻量化深度卷积网络的光学和SAR图像匹配方法，其特征在于，步骤S4中，获得初始匹配结果的具体方法为：以步骤S1中检测到的特征点为中心获得图像块，然后将图像块输入深度描述符提取模型获得深度描述符，将获得的深度描述符进行归一化处理后，利用最邻近匹配算法进行匹配，得到深度描述符所对应的初始匹配结果。
8. 根据权利要求1所述的基于轻量化深度卷积网络的光学和SAR图像匹配方法，其特征在于，通过最邻近匹配算法得到的初始匹配结果中含有欧式距离最邻近匹配点和次邻近匹
配点，所述自适应阈值约束粗筛选在筛选出正确匹配对的过程中，若最邻近匹配点的距离远小于次邻近匹配点的距离/>，则认为对应的匹配对质量好，自适应阈值约束通过统计所有初
始匹配对的最邻近匹配点和次邻近匹配点间欧式距离均值作为是否保留对应的匹配点的判断依据，欧式距离均值的计算公式为：
；
其中，为参考图像即光学图像上特征点的个数，/>为距离的均值，/>为次邻近匹配点的距离，/>为最邻近匹配点的距离，对于每一组最邻近匹配点和次邻近匹配点，当满足/>时，对应的匹配对保留，否则剔除对应的匹配对。
9.根据权利要求8所述的基于轻量化深度卷积网络的光学和SAR图像匹配方法，其特征在于，所述双RANSAC算法精筛选，首先，对经过自适应阈值约束粗筛选的匹配点使用RANSAC算法采用仿射变换模型进行误匹配点剔除；然后，再次使用RANSAC算法，利用单应矩阵作为几何模型，将满足几何一致性约束的特征点作为正确匹配点保留，得到正确的匹配点。
10.根据权利要求9所述的基于轻量化深度卷积网络的光学和SAR图像匹配方法，其特征在于，所述RANSAC算法是从一组含有错误的匹配点的数据中正确估计数学模型参数的迭代算法，随机采样K个匹配点，对所述K个匹配点进行拟合得到几何变换模型，计算除所述K个匹配点外的其它点到几何变换模型的距离，距离大于阈值则认为是错误匹配点，距离小于阈值则判断为正确匹配点，经过多次的迭代选择正确匹配最多的模型，即获得最终的匹配点。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410167897.0A CN117710711B (zh) | 2024-02-06 | 2024-02-06 | 一种基于轻量化深度卷积网络的光学和sar图像匹配方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410167897.0A CN117710711B (zh) | 2024-02-06 | 2024-02-06 | 一种基于轻量化深度卷积网络的光学和sar图像匹配方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117710711A CN117710711A (zh) | 2024-03-15 |
| CN117710711B true CN117710711B (zh) | 2024-05-10 |
Family
ID=90144714
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410167897.0A Active CN117710711B (zh) | 2024-02-06 | 2024-02-06 | 一种基于轻量化深度卷积网络的光学和sar图像匹配方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117710711B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109472263A (zh) * | 2018-10-12 | 2019-03-15 | 东南大学 | 一种结合全局和局部信息的大脑磁共振图像分割方法 |
| CN110084274A (zh) * | 2019-03-29 | 2019-08-02 | 南京邮电大学 | 实时图像语义分割方法及系统、可读存储介质和终端 |
| CN110728706A (zh) * | 2019-09-30 | 2020-01-24 | 西安电子科技大学 | 基于深度学习的sar图像精细配准方法 |
| CN111199558A (zh) * | 2019-12-25 | 2020-05-26 | 北京自行者科技有限公司 | 一种基于深度学习的图像匹配方法 |
| CN113326847A (zh) * | 2021-06-04 | 2021-08-31 | 天津大学 | 一种基于全卷积神经网络的遥感图像语义分割方法及装置 |
| KR20210128076A (ko) * | 2020-04-16 | 2021-10-26 | 광주과학기술원 | 이미지의 정합 여부를 식별하는 방법 및 장치 |
| CN114399527A (zh) * | 2022-01-04 | 2022-04-26 | 北京理工大学 | 单目内窥镜无监督深度和运动估计的方法及装置 |
| CN114511012A (zh) * | 2022-01-20 | 2022-05-17 | 云南览易网络科技有限责任公司 | 基于特征匹配和位置匹配的sar图像与光学图像匹配方法 |
| CN115564808A (zh) * | 2022-09-01 | 2023-01-03 | 宁波大学 | 基于公共空-谱子空间的多分辨率高光谱/sar影像配准方法 |
| CN115937552A (zh) * | 2022-10-21 | 2023-04-07 | 华南理工大学 | 一种基于融合手工特征与深度特征的图像匹配方法 |
| CN116363175A (zh) * | 2022-12-21 | 2023-06-30 | 北京化工大学 | 基于注意力机制的极化sar图像配准方法 |
| CN116883466A (zh) * | 2023-07-11 | 2023-10-13 | 中国人民解放军国防科技大学 | 基于位置感知的光学与sar图像配准方法、装置及设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113989851B (zh) * | 2021-11-10 | 2023-04-07 | 合肥工业大学 | 一种基于异构融合图卷积网络的跨模态行人重识别方法 |
-
2024
- 2024-02-06 CN CN202410167897.0A patent/CN117710711B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109472263A (zh) * | 2018-10-12 | 2019-03-15 | 东南大学 | 一种结合全局和局部信息的大脑磁共振图像分割方法 |
| CN110084274A (zh) * | 2019-03-29 | 2019-08-02 | 南京邮电大学 | 实时图像语义分割方法及系统、可读存储介质和终端 |
| CN110728706A (zh) * | 2019-09-30 | 2020-01-24 | 西安电子科技大学 | 基于深度学习的sar图像精细配准方法 |
| CN111199558A (zh) * | 2019-12-25 | 2020-05-26 | 北京自行者科技有限公司 | 一种基于深度学习的图像匹配方法 |
| KR20210128076A (ko) * | 2020-04-16 | 2021-10-26 | 광주과학기술원 | 이미지의 정합 여부를 식별하는 방법 및 장치 |
| CN113326847A (zh) * | 2021-06-04 | 2021-08-31 | 天津大学 | 一种基于全卷积神经网络的遥感图像语义分割方法及装置 |
| CN114399527A (zh) * | 2022-01-04 | 2022-04-26 | 北京理工大学 | 单目内窥镜无监督深度和运动估计的方法及装置 |
| CN114511012A (zh) * | 2022-01-20 | 2022-05-17 | 云南览易网络科技有限责任公司 | 基于特征匹配和位置匹配的sar图像与光学图像匹配方法 |
| CN115564808A (zh) * | 2022-09-01 | 2023-01-03 | 宁波大学 | 基于公共空-谱子空间的多分辨率高光谱/sar影像配准方法 |
| CN115937552A (zh) * | 2022-10-21 | 2023-04-07 | 华南理工大学 | 一种基于融合手工特征与深度特征的图像匹配方法 |
| CN116363175A (zh) * | 2022-12-21 | 2023-06-30 | 北京化工大学 | 基于注意力机制的极化sar图像配准方法 |
| CN116883466A (zh) * | 2023-07-11 | 2023-10-13 | 中国人民解放军国防科技大学 | 基于位置感知的光学与sar图像配准方法、装置及设备 |
Non-Patent Citations (5)
| Title |
|---|
| BAM: Bottleneck Attention Module;Jongchan Park 等;arXiv:1807.06514v2;20180731;1-14 * |
| Robust Feature Matching Method for SAR and Optical Images by Using Gaussian-Gamma-Shaped Bi-Windows-Based Descriptor and Geometric Constraint;Min Chen 等;remote sensing;20170825;1-25 * |
| 一种基于双通道深度网络的多时相卫星遥感影像匹配研究;安谱阳;何海清;周俊超;;江西科学;20200215(01);16-19 * |
| 一种无人机热红外与可见光影像匹配方法;崔志祥 等;测绘科学技术学报;20191215;36(06);609-613 * |
| 异源图像的深度匹配方法研究;牟金明;中国优秀硕士学位论文全文数据库工程科技Ⅱ辑;20230715(第07期);C028-13 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117710711A (zh) | 2024-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111028277B (zh) | 基于伪孪生卷积神经网络的sar和光学遥感图像配准方法 | |
| CN103295239B (zh) | 一种基于平面基准影像的激光点云数据的自动配准方法 | |
| CN115601549B (zh) | 基于可变形卷积和自注意力模型的河湖遥感图像分割方法 | |
| CN109829853B (zh) | 一种无人机航拍图像拼接方法 | |
| CN104599258B (zh) | 一种基于各向异性特征描述符的图像拼接方法 | |
| CN113223068B (zh) | 一种基于深度全局特征的多模态图像配准方法及系统 | |
| CN111986240A (zh) | 基于可见光和热成像数据融合的落水人员检测方法及系统 | |
| CN106548169A (zh) | 基于深度神经网络的模糊文字增强方法及装置 | |
| CN109376641B (zh) | 一种基于无人机航拍视频的运动车辆检测方法 | |
| CN110111375B (zh) | 一种Delaunay三角网约束下的影像匹配粗差剔除方法及装置 | |
| CN109308715A (zh) | 一种基于点特征和线特征结合的光学图像配准方法 | |
| CN110084743B (zh) | 基于多航带起始航迹约束的图像拼接与定位方法 | |
| CN110428424A (zh) | 基于深度学习的雷达回波图像高压线分割方法 | |
| CN107862319A (zh) | 一种基于邻域投票的异源高分光学影像匹配误差剔除方法 | |
| CN115937552A (zh) | 一种基于融合手工特征与深度特征的图像匹配方法 | |
| CN110956601B (zh) | 一种基于多传感器样态系数的红外图像融合方法和装置以及计算机可读存储介质 | |
| CN110929782A (zh) | 一种基于正射影像图对比的河道异常检测方法 | |
| CN114170526A (zh) | 基于轻量化网络的遥感影像多尺度目标检测识别方法 | |
| CN117710711B (zh) | 一种基于轻量化深度卷积网络的光学和sar图像匹配方法 | |
| CN117274627A (zh) | 一种基于图像转换的多时相积雪遥感图像匹配方法及系统 | |
| CN116091706B (zh) | 多模态遥感影像深度学习匹配的三维重建方法 | |
| CN111047513A (zh) | 一种用于柱面全景拼接的鲁棒性图像对齐方法及装置 | |
| CN116385477A (zh) | 一种基于图像分割的杆塔图像配准方法 | |
| CN115294371A (zh) | 基于深度学习的互补特征可靠描述与匹配方法 | |
| Chen et al. | Geometric and non-linear radiometric distortion robust multimodal image matching via exploiting deep feature maps |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |