CN117557605A - 红外与可见光遥感图像的配准方法 - Google Patents
红外与可见光遥感图像的配准方法 Download PDFInfo
- Publication number
- CN117557605A CN117557605A CN202311848593.2A CN202311848593A CN117557605A CN 117557605 A CN117557605 A CN 117557605A CN 202311848593 A CN202311848593 A CN 202311848593A CN 117557605 A CN117557605 A CN 117557605A
- Authority
- CN
- China
- Prior art keywords
- matching
- point set
- image
- matched
- matching point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 239000011159 matrix material Substances 0.000 claims abstract description 34
- 238000000605 extraction Methods 0.000 claims abstract description 12
- 230000009466 transformation Effects 0.000 claims abstract description 12
- 230000002457 bidirectional effect Effects 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 6
- 230000008030 elimination Effects 0.000 claims description 4
- 238000003379 elimination reaction Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 abstract description 14
- 230000005855 radiation Effects 0.000 abstract description 5
- 238000012545 processing Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像处理技术领域，尤其涉及一种红外与可见光遥感图像的配准方法。包括：S1：将待配准的红外与可见光遥感图像对输入至Resnet提取网络，获得1/8和1/2分辨率特征图；S2：将1/8分辨率特征图输入至Transformer网络进行粗粒度特征提取，获得粗粒度特征图；S3：利用HNSW算法对粗粒度特征图进行最近邻搜索和匹配，获得初步匹配点集；S4：剔除初步匹配点集中的伪匹配点，获得控制点集；S5：对控制点集进行求解，获得空间变换模型矩阵；S6：构建粗粒度匹配点集；S7：采用外点剔除方法对细粒度特征图的外点进行剔除，获得最终的匹配结果。本发明解决了异源图像存在的稀疏纹理和辐射畸变问题。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种红外与可见光遥感图像的配准方法。
背景技术
在深度学习算法出现之前，基于手工描述符的方法被广泛用于各种配准任务。然而基于现有知识的设计局限性，传统的匹配算法因手工制作的描述符在处理更复杂的匹配任务时往往表现不佳。随着深度学习算法的蓬勃发展，其深层特征提取与表达能力可以弥补浅层特征不稳定的缺陷，提升配准算法的鲁棒性。因此，深度学习算法被应用于基于特征的配准问题，而多阶段的深度学习算法无法避免传统多阶段配准存在的累计误差的问题，且采用的特征检测方法因依赖于边缘和角点，对于具有挑战性的边缘模糊或纹理重复场景，难以提取到足够的兴趣点来获得良好的描述符，导致匹配效果不佳。而Transformer模型实现全局注意力的代价是需要数万甚至更多的数据样本,才能训练出较好的模型，同时非常的消耗计算资源,需要使用大规模的GPU集群进行训练。
发明内容
本发明为解决现有技术中的异源遥感影像的标注数据集较少和因辐射畸变导致特征的相似性较弱的问题，提供一种红外与可见光遥感图像的配准方法，采用了无检测器的半稠密端到端的匹配算法，解决了现有算法对于角点和边缘点的依赖性问题。
本发明提出的红外与可见光遥感图像的配准方法，具体包括如下步骤：
S1：将待配准的红外与可见光遥感图像对输入至Resnet提取网络进行多层次特征的提取，获得1/8分辨率特征图和1/2分辨率特征图；
S2：将1/8分辨率特征图输入至Transformer网络进行粗粒度特征提取，对应获得红外遥感图像和可见光遥感图像的粗粒度特征图；
S3：利用HNSW算法对红外遥感图像和可见光遥感图像的粗粒度特征图进行最近邻搜索和双向匹配，获得初步匹配点集；
S4：利用软约束法建立几何一致性误差判定公式，通过几何一致性误差判定公式剔除初步匹配点集中的伪匹配点，获得控制点集；
S5：利用最小二乘拟合法对控制点集进行求解，获得空间变换模型矩阵；
S6：根据空间变换模型矩阵，利用多约束增量式匹配法构建粗粒度匹配点集；
S7：建立局部特征窗口，将局部特征窗口输入至Transformer网络进行特征融合，获得细粒度特征图，采用外点剔除方法对细粒度特征图的外点进行剔除，获得最终的匹配结果。
优选地，步骤S3具体包括如下步骤：
S31：建立待匹配索引和模板索引，将红外遥感图像和可见光遥感图像的粗粒度特征图分别作为待匹配图像和模板图像对应输入至待匹配索引和模板索引进行k邻域搜索，对应获得待匹配图像和模板图像的k近邻集合：
其中，为待匹配图像的k近邻集合，/>为模板图像的k近邻集合，dk(i)为待匹配图像中第i个点的k近邻距离，dh(i)为模板图像中第i个点的k近邻距离，/>为模板图像对应待匹配图像中的点，(xi,yi)为待匹配图像对应模板图像的点；
S32：通过下式对待匹配图像和模板图像的外点进行过滤，将过滤后待匹配图像和模板图像的相互最近邻进行匹配，获得初步匹配点集，包括模板点集和待匹配点集：
d1(i)/d2(i)＜ratio (3)；
其中，ratio为阈值，ratio＝0.8。
优选地，步骤S4具体包括如下步骤：
S41：在初步匹配点集中确定目标匹配点对，并在初步匹配点集中随机选取除目标匹配点对之外的5个匹配点对建立待匹配图像和模板图像的局部随机矩阵：
其中，RA为待匹配图像的局部随机矩阵，RB为模板图像的局部随机矩阵，Au,0为以待匹配图像的目标匹配点中的第u个点为中心的坐标(xu,0,yu,0)，v＝1，2，...，5，Au,v为在待匹配图像中除Au,0点外的剩余匹配点中随机抽取的匹配点的坐标(xu,v,yu,v)，u＝1，2，...，n，Bu,0为以待匹配图像的目标匹配点中的第u个点为中心的坐标(xu,0,yu,0)，v＝1，2，...，5，Bu,v为在待匹配图像中除Bu,0点外的剩余匹配点中随机抽取的匹配点的坐标(xu,v,yu,v)，u＝1，2，…，n，n为初步匹配点集的总个数；
S42：根据步骤S41的计算结果，通过下式计算待匹配图像和模板图像中的目标匹配点与剩余匹配点的欧式距离：
其中，Lu,v为待匹配图像的欧式距离，为模板图像的欧式距离；
S43：在待匹配图像和模板图像中，将目标匹配点与剩余匹配点一一进行连线，通过下式计算目标匹配点与剩余匹配点的相邻连线的夹角：
其中，θu,v为待匹配图像的目标匹配点与剩余匹配点的相邻连线的夹角，模板图像的目标匹配点与剩余匹配点的相邻连线的夹角；
S44：根据式(5)-式(10)建立几何一致性误差判定公式：
其中，εu,v为夹角误差，Δu,v为长度误差；为模板图像的两个匹配点形成的线段与待匹配图像的两个待匹配点的线段的长度比均值；
S45：将初步匹配点集中的所有匹配点对依次输入至几何一致性误差判定公式进行伪匹配点对的剔除，获得控制点集。
优选地，步骤S5具体包括如下步骤：
S51:在控制点集中随机选取控制点对进行多项式拟合：
其中，Ak(xk,yk)和为控制点对，a、b、c、d、e、f、g和h均为待拟合参数；
S52：将式(15)变换为最小二乘矩阵形式:
S53：将控制点集中的所有控制点对依次代入式(16):
P1 B＝P1 AW (18)；
其中，P1 B和P1 A为控制点集对，W为空间模型矩阵；
S54：根据式(18)求解变换空间模型矩阵W：
W＝P1 ATP1 B(P1 ATP1 A)-1 (19)；
其中，P1 AT为控制点集P1 A的转置矩阵。
优选地，步骤S6具体包括如下步骤：
S61：将1/2分辨率特征图所包含的所有点集去除初步匹配点集后，获得剩余匹配点集，将剩余匹配点集与空间模型矩阵相乘后，获得期望匹配点集；
S62：将剔除错误点后的期望匹配点集中的所有互为双向三近邻的匹配点对保存为内点，获得双向三近邻匹配点集；
S63：将剔除错误点后的期望匹配点集中的所有不为双向三近邻的匹配点对作为空间相似度匹配点集的第一列点集对，并在控制点集中随机选取控制点对作为空间相似度匹配点集的后五列点集对，完成空间相似度匹配点集的构建；
S64：利用控制点集、双向三近邻匹配点集和空间相似度匹配点集构建粗粒度匹配点集。
优选地，步骤S7具体包括如下步骤：
S71：将粗粒度匹配点集对应映射至1/2分辨率特征图的点集中，并将映射后的1/2分辨率特征图裁剪为一对大小为5*5的局部特征窗口；
S72：将局部特征窗口输入至Transformer网络进行特征融合，获得细粒度特征图；
S73：将细粒度特征图进行相似性计算，并进行期望微调后，通过下式对期望微调后的细粒度特征图进行外点剔除，获得最终的匹配结果：
其中，H为单应性矩阵，T为阈值常数，T＝2，2为L2范式。
优选地，Resnet网络包括特征金字塔提取网络。
与现有技术相比，本发明能够取得如下有益效果：
(1)本发明整体采用了由粗到精的端到端的配准框架，使得匹配不再依赖于纹理和角点。即采用了基于零样本学习的Transformer架构，证明了预训练模型的有效性，使得数据驱动不再受特定领域的数据集的限制。
(2)本发明在粗粒度匹配阶段采用了知识驱动方法，即在深度学习的图像配准领域引入HNSW算法以高效准确的获取广泛的对应关系，且利用软约束法建立几何一致性误差判定公式以获得控制点集。
(3)本发明采用多约束增量式匹配法在预测的匹配点间进行筛选，使图像配准对整体的辐射畸变具有不敏感性，且本发明提出了一种简单有效且无须迭代计算的外点剔除方法，使得最终的匹配效果得到有效提升。
附图说明
图1是根据本发明实施例提供的红外与可见光遥感图像的配准方法的流程示意图；
图2是根据本发明实施例提供的红外与可见光遥感图像的配准方法的结构框图；
图3是根据本发明实施例提供的HMSW算法的结构框图；
图4是根据本发明实施例提供的模板图像和待匹配图像的夹角计算结构图；
图5是根据本发明实施例提供的红外与可见光遥感图像的配准方法在城市环境的效果示意图；
图6是根据本发明实施例提供的红外与可见光遥感图像的配准方法在沙漠环境的效果示意图；
图7是根据本发明实施例提供的红外与可见光遥感图像的配准方法在山脉环境的效果示意图；
图8是根据本发明实施例提供的红外与可见光遥感图像的配准方法在沿海环境的效果示意图。
具体实施方式
在下文中，将参考附图描述本发明的实施例。在下面的描述中，相同的模块使用相同的附图标记表示。在相同的附图标记的情况下，它们的名称和功能也相同。因此，将不重复其详细描述。
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，而不构成对本发明的限制。
图1示出了根据本发明实施例提供的红外与可见光遥感图像的配准方法的流程，图2示出了根据本发明实施例提供的红外与可见光遥感图像的配准方法的结构。
如图1-图2所示，本发明提出的红外与可见光遥感图像的配准方法，具体包括如下步骤：
S1：将待配准的红外与可见光遥感图像对输入至Resnet提取网络进行多层次特征的提取，获得1/8分辨率特征图和1/2分辨率特征图。
Resnet网络包括特征金字塔提取网络。
S2：将1/8分辨率特征图输入至Transformer网络进行粗粒度特征提取，对应获得红外遥感图像和可见光遥感图像的粗粒度特征图。
S3：利用HNSW算法对红外遥感图像和可见光遥感图像的粗粒度特征图进行最近邻搜索和双向匹配，获得初步匹配点集。
步骤S3具体包括如下步骤：
S31：建立待匹配索引和模板索引，将红外遥感图像和可见光遥感图像的粗粒度特征图分别作为待匹配图像和模板图像对应输入至待匹配索引和模板索引进行k邻域搜索，对应获得待匹配图像和模板图像的k近邻集合：
其中，为待匹配图像的k近邻集合，/>为模板图像的k近邻集合，dk(i)为待匹配图像中第i个点的k近邻距离，dh(i)为模板图像中第i个点的k近邻距离，/>为模板图像对应待匹配图像中的点，(xi,yi)为待匹配图像对应模板图像的点；
S32：通过下式对待匹配图像和模板图像的外点进行过滤，将过滤后待匹配图像和模板图像的相互最近邻进行匹配，获得初步匹配点集，包括模板点集和待匹配点集：
d1(i)/d2(i)＜ratio (3)；
其中，ratio为阈值，ratio＝0.8。
S4：利用软约束法建立几何一致性误差判定公式，通过几何一致性误差判定公式剔除初步匹配点集中的伪匹配点，获得控制点集。
步骤S4具体包括如下步骤：
S41：在初步匹配点集中确定目标匹配点对，并在初步匹配点集中随机选取除目标匹配点对之外的5个匹配点对建立待匹配图像和模板图像的局部随机矩阵：
其中，RA为待匹配图像的局部随机矩阵，RB为模板图像的局部随机矩阵，Au,0为以待匹配图像的目标匹配点中的第u个点为中心的坐标(xu,0,yu,0)，v＝1，2，...，5，Au,v为在待匹配图像中除Au,0点外的剩余匹配点中随机抽取的匹配点的坐标(xu,v,yu,v)，u＝1，2，...，n，Bu,0为以待匹配图像的目标匹配点中的第u个点为中心的坐标(xu,0,yu,0)，v＝1，2，…，5，Bu,v为在待匹配图像中除Bu,0点外的剩余匹配点中随机抽取的匹配点的坐标(xu,v,yu,v)，u＝1，2，…，n，n为初步匹配点集的总个数；
S42：根据步骤S41的计算结果，通过下式计算待匹配图像和模板图像中的目标匹配点与剩余匹配点的欧式距离：
其中，Lu,v为待匹配图像的欧式距离，为模板图像的欧式距离；
S43：在待匹配图像和模板图像中，将目标匹配点与剩余匹配点一一进行连线，通过下式计算目标匹配点与剩余匹配点的相邻连线的夹角：
其中，θu,v为待匹配图像的目标匹配点与剩余匹配点的相邻连线的夹角，模板图像的目标匹配点与剩余匹配点的相邻连线的夹角；
S44：根据式(5)-式(10)建立几何一致性误差判定公式：
其中，εu,v为夹角误差，Δu,v为长度误差；为模板图像的两个匹配点形成的线段与待匹配图像的两个待匹配点的线段的长度比均值。
S45：将初步匹配点集中的所有匹配点对依次输入至几何一致性误差判定公式进行伪匹配点对的剔除，获得控制点集。
S5：利用最小二乘拟合法对控制点集进行求解，获得空间变换模型矩阵。
步骤S5具体包括如下步骤：
S51:在控制点集中随机选取控制点对进行多项式拟合：
其中，Ak(xk,yk)和为控制点对，a、b、c、d、e、f、g和h均为待拟合参数；
S52：将式(15)变换为最小二乘矩阵形式:
S53：将控制点集中的所有控制点对依次代入式(16):
P1 B＝P1 AW (18)；
其中，P1 B和P1 A为控制点集对，W为空间模型矩阵；
S54：根据式(18)求解变换空间模型矩阵W：
W＝P1 ATP1 B(P1ATP1 A)-1 (19)；
其中，P1 AT为控制点集P1 A的转置矩阵。
S6：根据空间变换模型矩阵，利用多约束增量式匹配法构建粗粒度匹配点集。
步骤S6具体包括如下步骤：
S61：将1/2分辨率特征图所包含的所有点集去除初步匹配点集后，获得剩余匹配点集，将剩余匹配点集与空间模型矩阵相乘后，获得期望匹配点集；
S62：将剔除错误点后的期望匹配点集中的所有互为双向三近邻的匹配点对保存为内点，获得双向三近邻匹配点集；
S63：将剔除错误点后的期望匹配点集中的所有不为双向三近邻的匹配点对作为空间相似度匹配点集的第一列点集对，并在控制点集中随机选取控制点对作为空间相似度匹配点集的后五列点集对，完成空间相似度匹配点集的构建；
S64：利用控制点集、双向三近邻匹配点集和空间相似度匹配点集构建粗粒度匹配点集。
S7：建立局部特征窗口，将局部特征窗口输入至Transformer网络进行特征融合，获得细粒度特征图，采用外点剔除方法对细粒度特征图的外点进行剔除，获得最终的匹配结果。
步骤S7具体包括如下步骤：
S71：将粗粒度匹配点集对应映射至1/2分辨率特征图的点集中，并将映射后的1/2分辨率特征图裁剪为一对大小为5*5的局部特征窗口；
S72：将局部特征窗口输入至Transformer网络进行特征融合，获得细粒度特征图；
S73：将细粒度特征图进行相似性计算，并进行期望微调后，通过下式对期望微调后的细粒度特征图进行外点剔除，获得最终的匹配结果：
其中，H为单应性矩阵，T为阈值常数，T＝2，2为L2范式。
在将1/8分辨率特征图输入至Transformer网络前需进行正余弦位置编码，使经Transformer网络输出的特征与位置相关，提高了模型对于经位置编码后的1/8分辨率特征图的纹理稀疏和重复区域的特征表达能力。经位置编码后的1/8分辨率特征图输入至Transformer网络需进行Nc次的特征增强，Transformer网络由多个交替的自注意力层和交叉注意力层构成，自注意力层使每个点都能关注其在一幅图像内的周围所有其他点,以捕捉它们之间的关联，而交叉注意力层是使每个点能关注另一幅图像上的所有点。利用Transformer网络的全局注意力的优良特性，使每个点的特征都融合了其他相关点的上下文信息,获得了更丰富的表达，获得了粗粒度特征图。
在实际应用中，红外和可见光的异源遥感影像之间的匹配困难，主要是由于成像机理不同、非线性光谱辐射畸变大以及灰度梯度差异明显等原因所导致。针对上述问题，本发明实施例提出了利用HNSW算法获得初步匹配点集并利用几何一致性的思想构建几何一致性误差判定公式以剔除伪匹配点。
图3示出了根据本发明实施例提供的HMSW算法的结构。
HNSW算法是一种高效的近似最近邻搜索算法，在图像配准领域的应用还不是非常广泛，其通过构建层级的图索引结构，在层间和层内实现跳跃式搜索，以大幅减少距离计算量，从而加速近邻搜索过程。如图3所示，建立待匹配索引和模板索引，将红外遥感图像和可见光遥感图像的粗粒度特征图分别作为待匹配图像和模板图像对应输入至待匹配索引和模板索引进行k邻域搜索，对应获得待匹配图像和模板图像的k近邻集合，将最近邻和次近邻采用SIFT算法中的比例过滤进行滤除，并对对待匹配图像和模板图像的相互最近邻进行匹配，获得初步匹配点集。
由于几何结构属性受辐射差异影响较小，而卫星拍摄的异源遥感图像在较小的区域内通常不会出现很大的视角偏转，且卫星遥感图像的视角相对较高，地面可以看作近似平面，场景深度相对较小，这使得遥感图像可以视为二维平面投影，满足了空间结构相似的条件。而当图像不包含严重的仿射变换或射影变换时，正确匹配点之间的空间结构是相似的，根据这一特征，误匹配点可以通过计算其相邻匹配点之间的欧氏距离和方向角来剔除，几何一致性的核心思想为：对于所有正确的匹配点对，任意两个匹配点对的距离比值应该是相等的或者是近似相等，而且距离比值应该也与两幅图像的真实尺度比值近似相等，而任意三个匹配点对形成的夹角应该是近似相等的。因此，所有正确的匹配点对的距离比可以形成一个以真实尺度比为中心的类，距离类中心较远的匹配点对就是误匹配点，且匹配点对之间的夹角也应满足对应近似相等的约束条件。因此，本发明基于上述思想利用软约束法建立几何一致性误差判定公式，实现伪匹配点的剔除。
为了测试本发明实施例提出的红外与可见光遥感图像的配准方法在不同环境的配准效果，本发明在城市、沙漠、山脉和沿海四种环境均进行了图像的配准，结果如图5-图8所示，即本发明实施例提出的红外与可见光遥感图像的配准方法能够适用于不同的配准环境。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (7)
1.一种红外与可见光遥感图像的配准方法，其特征在于，具体包括如下步骤：
S1：将待配准的红外与可见光遥感图像对输入至Resnet提取网络进行多层次特征的提取，获得1/8分辨率特征图和1/2分辨率特征图；
S2：将1/8分辨率特征图输入至Transformer网络进行粗粒度特征提取，对应获得红外遥感图像和可见光遥感图像的粗粒度特征图；
S3：利用HNSW算法对所述红外遥感图像和所述可见光遥感图像的粗粒度特征图进行最近邻搜索和双向匹配，获得初步匹配点集；
S4：利用软约束法建立几何一致性误差判定公式，通过所述几何一致性误差判定公式剔除所述初步匹配点集中的伪匹配点，获得控制点集；
S5：利用最小二乘拟合法对所述控制点集进行求解，获得空间变换模型矩阵；
S6：根据所述空间变换模型矩阵，利用多约束增量式匹配法构建粗粒度匹配点集；
S7：建立局部特征窗口，将所述局部特征窗口输入至所述Transformer网络进行特征融合，获得细粒度特征图，采用外点剔除方法对所述细粒度特征图的外点进行剔除，获得最终的匹配结果。
2.根据权利要求1所述的红外与可见光遥感图像的配准方法，其特征在于，所述步骤S3具体包括如下步骤：
S31：建立待匹配索引和模板索引，将所述红外遥感图像和所述可见光遥感图像的粗粒度特征图分别作为待匹配图像和模板图像对应输入至所述待匹配索引和所述模板索引进行k邻域搜索，对应获得待匹配图像和模板图像的k近邻集合：
其中，为待匹配图像的k近邻集合，/>为模板图像的k近邻集合，dk(i)为待匹配图像中第i个点的k近邻距离，dh(i)为模板图像中第i个点的k近邻距离，/>为模板图像对应待匹配图像中的点，(xi,yi)为待匹配图像对应模板图像的点；
S32：通过下式对所述待匹配图像和所述模板图像的外点进行过滤，将过滤后所述待匹配图像和所述模板图像的相互最近邻进行匹配，获得初步匹配点集，包括模板点集和待匹配点集：
其中，ratio为阈值，ratio＝0.8。
3.根据权利要求2所述的红外与可见光遥感图像的配准方法，其特征在于，所述步骤S4具体包括如下步骤：
S41：在所述初步匹配点集中确定目标匹配点对，并在所述初步匹配点集中随机选取除所述目标匹配点对之外的5个匹配点对建立所述待匹配图像和所述模板图像的局部随机矩阵：
其中，RA为所述待匹配图像的局部随机矩阵，RB为所述模板图像的局部随机矩阵，Au,0为以待匹配图像的目标匹配点中的第u个点为中心的坐标(xu,0,yu,0)，v＝1，2，…，5，Au,v为在待匹配图像中除Au,0点外的剩余匹配点中随机抽取的匹配点的坐标(xu,v,yu,v)，u＝1，2，…，n，Bu,0为以待匹配图像的目标匹配点中的第u个点为中心的坐标(xu,0,yu,0)，v＝1，2，…，5，Bu,v为在待匹配图像中除Bu,0点外的剩余匹配点中随机抽取的匹配点的坐标(xu,v,yu,v)，u＝1，2，…，n，n为初步匹配点集的总个数；
S42：根据所述步骤S41的计算结果，通过下式计算所述待匹配图像和所述模板图像中的所述目标匹配点与所述剩余匹配点的欧式距离：
其中，Lu,v为所述待匹配图像的欧式距离，为所述模板图像的欧式距离；
S43：在所述待匹配图像和所述模板图像中，将所述目标匹配点与所述剩余匹配点一一进行连线，通过下式计算所述目标匹配点与所述剩余匹配点的相邻连线的夹角：
其中，θu,v为所述待匹配图像的所述目标匹配点与所述剩余匹配点的相邻连线的夹角，所述模板图像的所述目标匹配点与所述剩余匹配点的相邻连线的夹角；
S44：根据式(5)-式(10)建立几何一致性误差判定公式：
其中，εu,v为夹角误差，Δu,v为长度误差；为模板图像的两个匹配点形成的线段与待匹配图像的两个待匹配点的线段的长度比均值；
S45：将所述初步匹配点集中的所有匹配点对依次输入至所述几何一致性误差判定公式进行伪匹配点对的剔除，获得控制点集。
4.根据权利要求3所述的红外与可见光遥感图像的配准方法，其特征在于，所述步骤S5具体包括如下步骤：
S51:在所述控制点集中随机选取控制点对进行多项式拟合：
其中，Ak(xk,yk)和为所述控制点对，a、b、c、d、e、f、g和h均为待拟合参数；
S52：将式(15)变换为最小二乘矩阵形式:
S53：将所述控制点集中的所有控制点对依次代入式(16):
P1 B＝P1 AW (18)；
其中，P1 B和P1 A为控制点集对，W为空间模型矩阵；
S54：根据式(18)求解变换空间模型矩阵W：
W＝P1 ATP1 B(P1 ATP1 A)-1 (19)；
其中，P1 AT为控制点集P1 A的转置矩阵。
5.根据权利要求4所述的红外与可见光遥感图像的配准方法，其特征在于，所述步骤S6具体包括如下步骤：
S61：将所述1/2分辨率特征图所包含的所有点集去除所述初步匹配点集后，获得剩余匹配点集，将所述剩余匹配点集与所述空间模型矩阵相乘后，获得期望匹配点集；
S62：将剔除错误点后的期望匹配点集中的所有互为双向三近邻的匹配点对保存为内点，获得双向三近邻匹配点集；
S63：将剔除错误点后的期望匹配点集中的所有不为双向三近邻的匹配点对作为所述空间相似度匹配点集的第一列点集对，并在所述控制点集中随机选取控制点对作为所述空间相似度匹配点集的后五列点集对，完成所述空间相似度匹配点集的构建；
S64：利用所述控制点集、所述双向三近邻匹配点集和所述空间相似度匹配点集构建所述粗粒度匹配点集。
6.根据权利要求5所述的红外与可见光遥感图像的配准方法，其特征在于，所述步骤S7具体包括如下步骤：
S71：将所述粗粒度匹配点集对应映射至所述1/2分辨率特征图的点集中，并将映射后的所述1/2分辨率特征图裁剪为一对大小为5*5的局部特征窗口；
S72：将所述局部特征窗口输入至所述Transformer网络进行特征融合，获得细粒度特征图；
S73：将所述细粒度特征图进行相似性计算，并进行期望微调后，通过下式对期望微调后的细粒度特征图进行外点剔除，获得最终的匹配结果：
其中，H为单应性矩阵，T为阈值常数，T＝2，||||2为L2范式。
7.根据权利要求1所述的红外与可见光遥感图像的配准方法，其特征在于，所述Resnet网络包括特征金字塔提取网络。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311848593.2A CN117557605A (zh) | 2023-12-29 | 2023-12-29 | 红外与可见光遥感图像的配准方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311848593.2A CN117557605A (zh) | 2023-12-29 | 2023-12-29 | 红外与可见光遥感图像的配准方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117557605A true CN117557605A (zh) | 2024-02-13 |
Family
ID=89814918
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311848593.2A Pending CN117557605A (zh) | 2023-12-29 | 2023-12-29 | 红外与可见光遥感图像的配准方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117557605A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115496928A (zh) * | 2022-09-30 | 2022-12-20 | 云南大学 | 基于多重特征匹配的多模态图像特征匹配方法 |
| CN115578378A (zh) * | 2022-11-15 | 2023-01-06 | 国网智能科技股份有限公司 | 红外与可见光图像融合的光伏缺陷检测方法 |
| CN115937540A (zh) * | 2022-12-14 | 2023-04-07 | 重庆电信系统集成有限公司 | 基于Transformer编码器的图像匹配方法 |
| CN116664892A (zh) * | 2023-06-12 | 2023-08-29 | 成都信息工程大学 | 基于交叉注意与可形变卷积的多时相遥感图像配准方法 |
| WO2023173599A1 (zh) * | 2022-03-14 | 2023-09-21 | 之江实验室 | 一种基于图像块评分的细粒度图像分类方法和装置 |
| CN116934819A (zh) * | 2023-07-17 | 2023-10-24 | 北京理工大学 | 基于低秩特征图的多源影像高精度配准数据增广方法 |
-
2023
- 2023-12-29 CN CN202311848593.2A patent/CN117557605A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023173599A1 (zh) * | 2022-03-14 | 2023-09-21 | 之江实验室 | 一种基于图像块评分的细粒度图像分类方法和装置 |
| CN115496928A (zh) * | 2022-09-30 | 2022-12-20 | 云南大学 | 基于多重特征匹配的多模态图像特征匹配方法 |
| CN115578378A (zh) * | 2022-11-15 | 2023-01-06 | 国网智能科技股份有限公司 | 红外与可见光图像融合的光伏缺陷检测方法 |
| CN115937540A (zh) * | 2022-12-14 | 2023-04-07 | 重庆电信系统集成有限公司 | 基于Transformer编码器的图像匹配方法 |
| CN116664892A (zh) * | 2023-06-12 | 2023-08-29 | 成都信息工程大学 | 基于交叉注意与可形变卷积的多时相遥感图像配准方法 |
| CN116934819A (zh) * | 2023-07-17 | 2023-10-24 | 北京理工大学 | 基于低秩特征图的多源影像高精度配准数据增广方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lee et al. | Spherephd: Applying cnns on a spherical polyhedron representation of 360deg images | |
| CN111815757B (zh) | 基于图像序列的大型构件三维重建方法 | |
| CN113706482B (zh) | 一种高分辨率遥感影像变化检测方法 | |
| CN111462329B (zh) | 一种基于深度学习的无人机航拍影像的三维重建方法 | |
| US11321937B1 (en) | Visual localization method and apparatus based on semantic error image | |
| CN110211043B (zh) | 一种用于全景图像拼接的基于网格优化的配准方法 | |
| CN104574347B (zh) | 基于多源遥感数据的在轨卫星图像几何定位精度评价方法 | |
| Crandall et al. | SfM with MRFs: Discrete-continuous optimization for large-scale structure from motion | |
| Mousavi et al. | A two-step descriptor-based keypoint filtering algorithm for robust image matching | |
| CN112052783A (zh) | 一种结合像素语义关联和边界注意的高分影像弱监督建筑物提取方法 | |
| CN104077760A (zh) | 一种航空摄影测量的快速拼接系统及其实现方法 | |
| Lee et al. | SpherePHD: Applying CNNs on 360${}^\circ $∘ Images With Non-Euclidean Spherical PolyHeDron Representation | |
| CN111524168A (zh) | 点云数据的配准方法、系统、装置及计算机存储介质 | |
| CN109376641B (zh) | 一种基于无人机航拍视频的运动车辆检测方法 | |
| Huang et al. | A lightweight network for building extraction from remote sensing images | |
| CN111507901A (zh) | 基于航带gps及尺度不变约束的航拍图像拼接定位方法 | |
| CN111553845B (zh) | 一种基于优化的三维重建的快速图像拼接方法 | |
| CN111028281A (zh) | 基于光场双目系统的深度信息的计算方法及装置 | |
| CN111985502A (zh) | 具有尺度与旋转不变性的多模态影像特征匹配方法 | |
| Stucker et al. | ResDepth: Learned residual stereo reconstruction | |
| Chen et al. | SGSR-Net: Structure Semantics Guided LiDAR Super-Resolution Network for Indoor LiDAR SLAM | |
| CN114998630B (zh) | 一种从粗到精的地对空图像配准方法 | |
| Lee et al. | Spherephd: Applying cnns on a spherical polyhedron representation of 360 degree images | |
| CN107256563A (zh) | 基于差异液位图像序列的水下三维重建系统及其方法 | |
| CN107194334B (zh) | 基于光流模型的视频卫星影像密集匹配方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |