CN115546521B - 基于关键点响应约束的点匹配方法 - Google Patents
基于关键点响应约束的点匹配方法 Download PDFInfo
- Publication number
- CN115546521B CN115546521B CN202211386364.9A CN202211386364A CN115546521B CN 115546521 B CN115546521 B CN 115546521B CN 202211386364 A CN202211386364 A CN 202211386364A CN 115546521 B CN115546521 B CN 115546521B
- Authority
- CN
- China
- Prior art keywords
- image
- consistency
- key point
- loss
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 99
- 230000004044 response Effects 0.000 title claims abstract description 79
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 37
- 238000001514 detection method Methods 0.000 claims description 27
- 238000004364 calculation method Methods 0.000 claims description 20
- 230000009466 transformation Effects 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 18
- 125000004122 cyclic group Chemical group 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 abstract description 42
- 238000005316 response function Methods 0.000 abstract description 6
- 238000004088 simulation Methods 0.000 abstract description 2
- 238000004422 calculation algorithm Methods 0.000 description 47
- 230000008859 change Effects 0.000 description 22
- 238000011156 evaluation Methods 0.000 description 12
- 230000000694 effects Effects 0.000 description 9
- 238000002474 experimental method Methods 0.000 description 8
- 238000012795 verification Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 5
- 238000011160 research Methods 0.000 description 5
- 230000001965 increasing effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000013139 quantization Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 239000008186 active pharmaceutical agent Substances 0.000 description 2
- 238000013103 analytical ultracentrifugation Methods 0.000 description 2
- 238000010835 comparative analysis Methods 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000002922 simulated annealing Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Remote Sensing (AREA)
- Astronomy & Astrophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
基于关键点响应约束的点匹配方法，涉及图像匹配技术领域，针对现有技术中目标定位准确率低的问题，本申请方法较传统方法定位准确率提高了7％，其中，本申请使用多损失约束的自编码器进行图像对齐，通过分析自编码器的不同损失函数的作用，使得两幅图像中目标同名像素间的相似性最小，最终的定位准确率比其他方法提高2％；本申请将关键点响应函数用作损失约束对卷积神经网络进行优化，在仿真实验中与现有点匹配方法进行比较，匹配的准确率提高2％；本申请通过使用相位一致性理论生成图像的相位信息，通过相位信息进行二进制编码构成相位一致性关键点响应函数，提出关键点响应约束的点匹配方法，匹配的准确率提高4％。
Description
技术领域
本发明涉及图像匹配技术领域，具体为基于关键点响应约束的点匹配方法。
背景技术
卫星图像导引的机载下视目标匹配是指以卫星遥感图像作为参考图像，从机载下视图像中找到目标的方法。具体来说，卫星参考图像是事先来自于卫星的遥感图像，当无人机来到一个未知区域，它是使用图像目标匹配方法自主找到机载下视图像中目标的过程。该方法的研究成为无人机智能自主打击的未来发展方向。基于卫星图像导引的机载下视目标定位任务目标是给定卫星目标图像，在机载下视参考图像上找到目标图像。
由于卫星图像导引的机载下视目标匹配中的卫星参考图像和机载下视目标图像成像方式不一致，在完成复杂的卫星图像导引的机载下视目标匹配任务时仍然存在挑战。在卫星图像导引的机载下视目标匹配任务中，目标匹配视角差异问题。由于卫星目标图像和机载下视参考图像成像方式不同使得两幅图的像素信息差别大，这增加了卫星目标图像和机载下视参考图像匹配的复杂性，提取两幅图像的特征不变信息对于提高点匹配性能具有重要意义。最近基于卷积神经网络自编码器广泛用于非线性像素信息变化的特征提取任务，在某种程度上可降低卫星目标图像和机载下视参考图像像素差异，受到该理论的启发，本发明研究使用基于多损失约束自编码器的卫星目标图像和机载下视参考图像像素对齐方法降低两幅图像之间的差异。由于相位一致性信息广泛用于提取图像中的不变信息，受到大量研究人员的关注，为了更好的训练出具有区分性和可匹配性的关键点检测器和特征描述算子，在对齐图像上，使用相位一致性计算关键点响应解决了纹理信息弱的问题，并将该响应作为卷积神经网络的损失约束训练关键点检测器和特征描述算子，进而完成点匹配任务。
点匹配方法在图像匹配领域发展较早，一幅图像的特征点由两部分组成：关键点和描述算子。关键点描述为特征点在图像中的位置，具有方向、尺度等信息；描述子是一个向量，描述关键点邻域内的像素信息。在点匹配时，需要在向量空间对两个描述算子进行比较，距离相近则认为是同一个特征点，其中特征点可以是点、线、边缘等信息。特征点匹配的准确与否在目标定位中具有重要意义，好的特征点匹配方法可有效提高目标定位准确性，目前，点匹配方法通常包括人工点匹配方法和基于学习的点匹配方法。早期的人工点匹配算法是Harris角点匹配方法，该方法使用两个正交方向上的灰度变化率对角点进行定义，其存在的问题有：尺度固定、像素定位精度低、伪角点较多和计算量大等问题。FAST也是早期的一种高效的角点检测算法，基本上可以满足实时定位系统要求，是计算机视觉领域最主流的角点检测算法之一。SIFT的提出打破了角点检测的僵局，不再仅仅使用角点检测，后续又提出了针对SIFT算法的改进算法，相继提出了PCA-SIFT、SURF、SSIF以及ASIFT等算法。随着大量的计算机视觉任务中移动设备的应用，二进制描述算子也已经受到更多人的关注，Liu等人提出了一种新的环形采样的二进制描述算子，该方法使用了投票的策略有效的压缩了描述算子的大小，因此该类特征描述算子可有效用于机载下视的目标定位。
近年来基于学习的点匹配方法成为研究热点，FAST-ER算法将关键点检测器定义为检测高重复点的三元决策树，利用模拟退火算法优化决策树，提高了定位的重复率。Verdie等人提出时间不变特征检测器(TILDE)，在复杂的环境下(例如天气、季节、时间等因素引起的光照变化)，可有效检测到可重复的关键点，该算法的特点是参与训练的候选特征点是由多幅训练图像中采用SIFT算法提取的可重复关键点。大多数人只考虑关键点的一个特性，Zhang等人考虑了两种特性，提出了基于学习的协变关键点检测器，该方法将TILDE的输出作为候选关键点，通过变换预测器的训练建立学习框架，将关键点检测器的协变约束转化为变换预测器的协变约束，利用回归进行变换预测。以上提到的方法都是有监督学习方法，Savinov等人提出Quad-networks，采用无监督学习方式进行关键点检测，该方法将关键点检测问题看成是图像变换上的关键点一致性排序问题，排序后的关键点在不同的变换下具有重复性。DeTone等人建议了自监督的关键点学习框架(Superpoint)，用于训练关键点以及对应的描述算子，广泛用于多视角的几何问题，与基于块的神经网络相比，该方法属于像素级关键点检测并且以前反馈方式生成相应描述算子。基于学习的方法不仅可以学习关键点检测器，还可以学习特征描述算子，Simo-Serra等人提出特征描述算子判别学习的Deep-Desc方法，该方法使用Siamese网络侧重训练难区分的类别样本，输入图像的块对，将CNN输出的非线性映射作为描述符，使用欧氏距离计算相似性。
综上所述，传统的人工点匹配方法已经证明在自然图像上具有较好的匹配效果，例如SIFT、ORB等特征点匹配方法，原理明确、实现简单和计算高效等特点，已在实际场景中进行了应用。然而该类方法关键点检测和特征描述的生成之间没有必要联系，因此，用于复杂的机载下视目标定位任务不具有好的效果。目前，有效的点匹配方法仍然是基于学习的点匹配方法，其中最有效的是Superpoint点匹配方法，该方法人工设计关键点，在这些关键点上通过卷积神经网络学习关键点检测器和特征描述算子，在很多应用中具有较好的效果，然而由于检测出的关键点种类不丰富导致在特殊应用中算法失效。部分学者研究了基于无监督学习多视角点匹配方法，他们认为多视角的点匹配关键在于要有一个良好的局部特征检测器，特征检测器要具有可区分的特征和协变约束。
发明内容
本发明的目的是：针对现有技术中目标定位准确率低的问题，提出基于关键点响应约束的点匹配方法。
本发明为了解决上述技术问题采取的技术方案是：
基于关键点响应约束的点匹配方法，包括以下步骤：
步骤一：获取卫星目标图像以及机载下视参考图像；
步骤二：分别对卫星目标图像和机载下视参考图像进行灰度对齐，得到一致性对齐图像；
步骤三：基于一致性对齐图像，利用相位一致性原理生成相位一致性关键点响应；
步骤四：利用相位一致性关键点响应作为损失约束优化卷积神经网络，得到检测网络，所述检测网络包括关键点检测器和特征描述算子；
步骤五：将待检测的卫星目标图像和机载下视参考图像输入检测网络，得到关键点和每个关键点的特征描述算子；
步骤六：根据每个关键点的特征描述算子进行相似性计算，得到一致性点集图像。
进一步的，所述步骤二的具体步骤为：
步骤二一：分别在卫星目标图像以及机载下视参考图像中随机选取多个训练块；
步骤二二：利用步骤二一中得到的训练块训练自编码器卷积神经网络模型，所述自编码器卷积神经网络模型的损失函数表示为：
其中，为综合性损失函数，πrc、πcc、πwt和πz为权重，/>为重构损失函数，为环状一致性损失函数，/>为加权变换损失函数，/>为代码相关性损失函数；
步骤二三：将卫星目标图像和机载下视参考图像作为输入，利用训练好的自编码器卷积神经网络模型得到三组灰度投影图像，所述三组灰度投影图像包括：一组编码一致性投影图像、一组重构一致性投影图像以及一组循环一致性投影图像；
步骤二四：将步骤二三中得到的灰度投影图像进行加权融合，得到一致性对齐图像。
进一步的，所述训练块为170*170像素。
进一步的，所述重构损失函数表示为：
其中，为重构损失函数，/>为目标图像在T变换域中的损失，/>为参考图像在R变换域中的损失，d为两幅图像变换前后的特征相似性，/>为解码器转换后目标图像，T为原始目标图像，/>为解码器转换后参考图像，R为原始图像。
进一步的，所述环状一致性损失函数表示为：
其中，为环状一致性损失函数，/>为X域和Y域交叉编码解码后的目标图像，/>为Y域和X域交叉编码解码后的参考图像。
进一步的，所述加权变换损失函数表示为：
其中，为加权变换损失函数，w为计算两幅图像相似性的权重。
进一步的，所述代码相关性损失函数表示为：
其中，为代码相关性损失函数，CR为编码相关矩阵，S为与d相关的相似性距离。
进一步的，所述步骤四二中融合表示为：
Xn＝λ1×xc+λ2×xr+(1-λ1-λ2)×xcr
Yn＝λ1×yc+λ2×yr+(1-λ1-λ2)×ycr
其中，λ1和λ2为生成的输入图像的权重比率，xc为目标图像编码一致性投影，xr为目标图像重构一致性投影，xcr为目标图像循环一致性投影，Xn和Yn为生成的一致性对齐图像，yc为参考图像编码一致性投影，yr为参考图像重构一致性投影，ycr为参考图像循环一致性投影。
进一步的，所述步骤中使用相位一致性原理生成相位一致性关键点响应表示为：
二进制编码PCCODEj(l,n)表示为：
其中，为相位一致性关键点响应，L为选择的尺度个数，N为选择的角度个数，J为同一个目标在不同场景图像个数，PC(l,n)为图像中(l,n)位置的相位一致性值，PC(l,n-1)表示图像中(l,n-1)位置的相位一致性值，ε为给定的阈值。
进一步的，所述步骤四的具体步骤为：
将相位一致性关键点响应作为卷积神经网络的损失约束，优化卷积神经网络，所述卷积神经网络包括关键点检测器和特征描述算子；
所述卷积神经网络的损失为：
其中，Lt为卷积神经网络的损失，Y为原图像，为卷积图像，O为关键点响应图像，表示全卷积神经网络交叉熵计算，/>为描述算子损失，/>为灰度空间归一化交叉熵计算，/>h和w分别表示坐标位置，K为卷积后像素个数，Hc为图像中长度，Wc为图像的宽度，lo(xhw；ohw)为卷积后图像与关键点响应图像之间的损失，xhwo坐标位置(h,w)的在计算关键点相应损失时的卷积图像，ohwk为关键点响应图像O中坐标位置(h,w)的响应值。
本发明的有益效果是：
在本申请中，本申请方法较传统方法定位准确率提高了7％，其中，本申请使用多损失约束的自编码器进行图像对齐，通过分析自编码器的不同损失函数的作用，使得两幅图像中目标同名像素间的相似性最小，最终的定位准确率比其他方法提高2％；本申请将关键点响应函数用作损失约束对卷积神经网络进行优化，在仿真实验中与现有点匹配方法进行比较，匹配的准确率提高2％；本申请通过使用相位一致性理论生成图像的相位信息，通过相位信息进行二进制编码构成相位一致性关键点响应函数，提出关键点响应约束的点匹配方法，匹配的准确率提高4％。
本申请对于卫星图像导引的机载下视点匹配目标定位系统具有重要意义，大大拓展了点匹配在无人机目标定位系统的应用范围；本申请使用多损失约束的自编码器图像对齐方法解决了不同传感器给卫星目标图像和机载下视参考图像带来的像素差别问题，有效降低了该问题给卫星图像导引的机载下视目标定位性能带来的影响；本申请针对卫星图像导引的机载下视目标定位中的交叉视角问题，使用基于关键点响应约束的点匹配方法提高了目标定位的准确性。
附图说明
图1为卫星目标图像；
图2为机载下视参考图像；
图3为卫星目标图像在机载下视参考图像上的点匹配示例图；
图4为本发明方法流程示意图；
图5为卫星目标图像的对齐图像；
图6为机载下视参考图像的对齐图像；
图7为多损失约束自编码器图像对齐方法流程；
图8为相位一致性关键点响应计算示意图；
图9为数据集展示示意图；
图10为自编码器不同损失函数点匹配准确率和召回率变化趋势；
图11为不同尺度和角度的点匹配准确率和召回率变化趋势；
图12为不同属性约束的点匹配准确率和召回率辩护趋势；
图13为交叉视角数据集点匹配比较；
图14为大尺度形变数据集点匹配比较；
图15为多时相变化数据集点匹配比较；
图16验证数据集点匹配比较。
具体实施方式
需要特别说明的是，在不冲突的情况下，本申请公开的各个实施方式之间可以相互组合。
具体实施方式一：参照图1具体说明本实施方式，本实施方式所述的基于关键点响应约束的点匹配方法，包括以下步骤：
步骤一：获取卫星目标图像以及机载下视参考图像；
步骤二：分别对卫星目标图像和机载下视参考图像进行灰度对齐，得到一致性对齐图像；
步骤三：基于一致性对齐图像，利用相位一致性原理生成相位一致性关键点响应；
步骤四：利用相位一致性关键点响应作为损失约束优化卷积神经网络，得到检测网络，所述检测网络包括关键点检测器和特征描述算子；
步骤五：将待检测的卫星目标图像和机载下视参考图像输入检测网络，得到关键点和每个关键点的特征描述算子；
步骤六：根据每个关键点的特征描述算子进行相似性计算，得到一致性点集图像。
本申请中重点在于：
(1)多损失约束的自编码器图像对齐：卫星图像导引的机载下视目标定位任务中存在交叉视角问题，卫星目标图像和机载下视参考图像成像方式的差异导致两幅图像的像素值具有较大差异，直接在卫星目标图像和机载下视参考图像上使用关键点响应约束的点匹配方法获取的一致性点集会出现大量的异常点。为了降低卫星目标图像和机载下视参考图像像素之间的差异，本申请使用多损失约束的自编码器图像对齐方法将两幅图像进行对齐。自编码器属于半监督学习或非监督学习的人工神经网络，在计算机视觉分析领域用于图像去噪和神经风格迁移等，通常仅考虑重构损失约束完成去噪等功能。而本申请使用多损失约束的自编码器图像对齐方法，多个损失约束包括：重构损失约束、循环一致性约束、加权变换约束和编码相关性约束，其中，重构一致性损失保证了输入图像与变换域中的图像具有最高的一致性，同时保留了输入图像中的重要纹理信息；循环一致性损失保证来自不同传感器的两幅图像经过交叉变换后具有较高的匹配性能；加权变换损失有效的保证了具有遮挡的目标在这部分训练出的模型具有高的差异性，在没有遮挡的部分具有高的相似性；编码相关性损失可有效保证两幅图像中目标同名像素间的相似性最小，保证匹配的性能。针对不同的损失约束自编码器网络将输出三幅像素对齐图像，最后使用加权融合策略将三幅图像组合获得具有重要纹理信息的对齐图像，对齐图像保留了可匹配性和可区分性，这为提高关键点响应约束的点匹配目标定位方法的准确性奠定了基础。
(2)相位一致性关键点响应计算：多损失约束的自编码器图像对齐使得原始图像的部分纹理信息减弱，图像中的边和角等包含了更重要的信息。已有的关键点检测方法生成的关键点响应无法有效表示对齐图像中可匹配的关键信息。仍然使用已有的的关键点响应函数构建基于关键点响应约束的点匹配方法很难得到好的性能。基于以上对齐图像生成机理以及效果方面的分析可知，对齐图像中边缘轮廓和角点具有更多的变化信息，使用边缘和轮廓上的相位信息展示边和角的变化具有研究意义。使用边和角的变化信息生成的关键点响应使得点匹配具有更高的不变性和可区分性。相位一致性是一种无量纲量，用于表示某一点在不同相位上的能量值，基于相位一致性的关键点检测方法与基于梯度的关键点检测方法相比，关键点的检测具有更高的不变性和可区分性，使用相位一致性理论提取对齐图像中的相位信息，通过寻找不同相位角度上的能量变化获得图像的关键点响应将更好的表示重要的关键点信息。在计算相位一致性时，需要获得图像中每一点的幅值以及相位角，使用空间滤波器计算点的幅值以及相位角是最佳的选择，其中Gabor滤波器广泛用于描述图像的纹理，同时，Log-Gabor滤波器特征提取方法的区分能力远远超过Gabor滤波器的能力，因此，本申请使用Log-Gabor滤波器提取图像的幅值信息和角度信息进而计算相位一致性的能量值。基于以上思想，本申请使用基于Log-Gabor滤波器的相位一致性理论提取对齐图像中的相位信息，通过对相位信息进行二进制编码得到具有可重复性和可区分性的相位一致性关键点响应，为后续进一步研究关键点响应约束的点匹配方法奠定基础。
(3)相位一致性关键点响应约束的点匹配：本发明提出基于相位一致性关键点响应约束的点匹配方法，实验证明在某种程度上可解决卫星图像导引的机载下视目标定位任务中的交叉视角问题。关键点响应可表示为图像中每一个关键点的概率，关键点响应越大成为关键点的可能性越强，在图像中的不变性和可区分性越好，通过使用关键点响应生成卷积神经网络的损失训练关键点检测器和特征描述算子可提高点匹配性能。然而现有方法往往使用像素灰度信息生成关键点响应，生成的关键点响应对干扰和噪声具有大的敏感性，这导致了点匹配性能不高。图像中相位信息证明对干扰和噪声具有一定的敏感性，考虑使用相位信息构建图像的关键点响应具有必要性。因此，本发明通过相位一致性关键点响应计算方法计算图像中的关键点响应，然后将关键点响应作为损失约束训练关键点检测器和特征描述算子，使用训练出的模型进行点匹配可更准确的生成一致性点集，为后续的集匹配奠定基础。
下面结合图4对上述内容进行详细说明，本申请给出的基于关键点响应约束点匹配方法，用于如图1和图2所示的确定卫星目标图像在机载下视参考图像中的目标位置，得到一致性点集图像如图3所示。本申请首先使用多损失约束的自编码器图像对齐方法将卫星目标图像和机载下视参考图像进行对齐，然后在对齐图像上使用相位一致性原理生成相位一致性关键点响应，将相位一致性关键点响应作为损失约束优化卷积神经网络，确定关键点检测器和特征描述算子模型，通过该模型检测关键点，并计算每个关键点特征描述算子进行相似性计算，从而确定一致性点集。
(1)多损失约束的自编码器图像对齐方法：使用多损失约束的自编码器图像对齐方法确定卫星目标图像和机载下视参考图像的对齐图像，如图5和图6所示。假设卫星目标图像和机载下视参考图像是在不同时间采集同一个地理位置的图像，获得图像为其中t2＞t1。两幅图像可看作来自域/>和/>的数据张量。在以上假设的前提下，图像在不同的时刻t1和t2图像的灰度信息是变化的，直接进行匹配是不可行的，因此需要进行预处理。让/>是来自整幅图像/>和/>具有h×w大小的块的张量，则可执行两个变换：/>和/>其中/>和/>该变换可得到不同的图像域中的投影数据。用这样的方法，通过计算两幅图像加权差值可检测两幅图像之间的变化，可将输入图像转换到相对应的另一个域，加权平均插值图像计算如下：
其中，和/>是给定对齐的卫星目标图像和机载下视参考图像之间的距离，该距离属于像素级计算，权值/>和/>为来自不同图像的的贡献。为了取消频道个数不同给算法带来的影响，这里使用/>和/>
本申请使用了一个由两个自编码器构成的框架实现F(T)和F(R)，每一个编码器对应于两个图像域和/>该框架由两对卷积神经网络的编码和解码器构成：编码器和解码器/>编码器/>和解码器/>其中，/>和/>表示了自编码器的代码层或者隐藏层。在训练过程中，在合适的正则化约束下，自编码器通过对输入进行学习、编码和重构，最终可得到与输入最匹配的投影数据。没有任何约束，/>和/>不具有可比性，当本申请引入损失项将迫使投影数据对齐，如果在/>和/>上的数据分布有效对齐，则编码器联合解码器可将隐含域代码投影到原始图像域，或者使用相反的解码器在整个域中进行数据投影，这引出了搜索变换方程如下：
通过网络参数进行最小化，并训练两个自编码器获得所需的F(X)和G(Y)。给定A和B是两个大小为h×w的块，则d(A,B|1)＝d(A,B)表示两个块之间的加权距离，其中w是权重向量，假设n＝h·w，当n＝1时有d(A,B|1)＝d(A,B)；当像素的特征ai∈A，bi∈B时，则平方2范式定义为：
使用以上定义，本申请研究五种损失函数：重构损失函数、环状一致性损失函数、加权变换损失函数、代码相关性损失函数和综合性损失函数。
1)重构损失函数：考虑两个来自和/>中同一个位置h×w的训练块的像素，自编码器需要满足的第一个约束是输出应尽可能与输入相等，这意味着图像块/>和/>重构后满足：
因此本申请在输入图像和预测图像之间重构损失项为：
重构损失保证了输入图像与变换域中图像具有最高的一致性，同时保留了输入图像中的重要纹理信息。
2)循环一致性损失：循环一致性损失是指数据通过到/>的变换再返回/>以后要保证匹配准确性，从/>到/>的变换也应该如此，于是需要满足约束公式：
其中和/>表示对于原始域数据具有循环变换的特性，因此定义循环一致性损失项为：
循环一致性与重构约束相似，由于和/>通过T计算，而/>和/>通过R计算，因此该公式可使用非成对数据。
循环一致性损失可保证来自不同传感器的两幅图像经过交叉变换后具有较高的匹配性能。
3)加权变换损失：对于有目标遮挡的机载下视参考图像，那些不受变化影响的像素，需要满足：
另一方面，可能发生遮挡的像素不进行该约束，因此加权变化损失定义如下：
其中，每个像素的变化损失的贡献是通过先验权重w表示，可以是像素i∈{1,...,n}变化的概率。
加权变换损失有效的保证了具有遮挡的目标在遮挡部分训练出的模型具有高的差异性，在没有遮挡的部分具有高的相似性。
4)编码相关性损失：这部分主要的贡献依赖于编码数据已经对齐，因此这部分介绍和代码对齐相关的特殊损失项，称为代码相关性损失。在输入控件训练块集合中，所有像素对(i,j)的距离定义为：和/>其中ti和rj分别描述像素i∈T和j∈R的特征向量。距离测量的最合适的选择依赖于重要的数据分布和复杂性，于是所有像素对之间的距离定义为：
其中，是给定块的关系矩阵/>σl是核的宽度。
给定图像中一点，我们考虑用行向量和/>描述来自块X像素i和来自块X像素j的n个特征描述，于是定义了这些像素的交叉模式距离为：
该交叉距离允许直接比较两个域中输入空间特征，可以区分当前像素与其他像素之间的一致性关系，可以解释为变化概率。交叉空间距离Di,j，i,j∈{1,...,n}存储在D中，为了在代码层维持该属性，定义相似性Si,j＝1-Dij，并且强迫一致性像素间具有相似关系，和/>是像素i在代码块/>中的一个元素，/>和/>是像素j在代码块/>中的一个元素，则正则化的数学表示为：
其中，Si,j是元素S＝1-D。代码的标准化， 的维数与CRi,j一样都落入[0,1]区间。根据以上定义，编码的相关损失项定义为：
其中，编码相关矩阵CR存储在CR(i,j)中，在该式子中只有编码器参数可调整。
编码相关性有效的保证了两幅图像中目标同名像素间的相似性最小，可保证匹配的准确性。
5)总体损失函数：最后该框架中使用下列加权损失函数的和：
其中，权重πrc，πcc，πwt，πz用于平衡损失项，增强优化结果。其中，循环一致性和编码相关性用于信息的重构和变换。
如图7所示，最后本申请创新提出多损失约束的图像融合策略，该策略将自编码器网络生成的三组图像进行融合生成一致性对齐图像，融合公式如下所示：
其中λ1和λ2为生成的输入图像的权重比率，xc为编码一致性投影，xr为重构一致性投影，xcr为循环一致性投影，Xn和Yn为生成的一致性对齐图像。
重新生成的卫星目标图像和机载下视参考图像具有更好的一致性，并保留了原始图像中的关键信息，可有效保证关键点检测和特征描述的准确性。
(2)相位一致性关键点响应计算：使用相位一致性原理提取图像中的相位能量信息，然后通过对相位信息进行二进制编码生成图像的关键点响应。相位一致性是一种无量纲量，在来自多源传感器的机载下视图像中，相位一致性比基于梯度的关键点检测方法具有更大优势。在进行图像特征空间转换的基础上，本申请使用相位一致性理论确定卫星目标图像和机载下视参考图像的关键点响应函数。Morron和Owens将相位一致性函数定义如下：
其中An为傅里叶变换第n个分量的幅值，φn(x)是位置x的傅里叶分量的局部相位值，是x点能够最大化该方程的所有傅里叶系数幅值加权平均相位角。该方程用于寻找具有最大值的相位一致性。
计算正交对空间滤波器的能量成为计算机视觉模型研究的核心，其中代表研究有Heeger和Adelson等人的工作，其他工作包括Malik，Freeman和Ronsedengren。Rosenthaler等人针对二维图像特征的局部能量做了深入研究。Wang和Jenkin等人使用复数Gabor滤波器检测图像的边缘。Log-Gabor滤波器特征提取方法的区分能力远远超过Gabor滤波器的能力，因此，本申请使用Log-Gabor滤波器用于提取图像的相位信息以及相位能量信息。Log-Gabor频域变换使用以下极坐标形式：
其中r和θ表示半径和滤波器的角度，在极坐标中，n表示方向角度，σ表示滤波器高斯标准差，λ表示滤波器最小波长，k表示多个滤波器的尺度因子，尺度因子控制Log-Gabor滤波器的波长。通过不同波长滤波器的平滑后，图像可看成具有特定光谱信息的图像，其中r和θ可描述滤波器的尺度和角度，因此是重要的参数，在实验中对于不同尺度和不同角度的划分进行了深入研究和分析。
为了更好的提取具有不变性和可区分性的关键点响应，本申请创新提出相位一致性关键点响应的方法，该方法通过公式(16)和(17)可以得到与尺度l和角度n相关的PCij(l,n)，其中i和j为图像中每一个元素的坐标位置，这里用PC代表图像中的任意位置，则可以得到图像中每一点的相位一致性
{PC(1,1),.PC(1,2),...,PC(1,N)；PC(2,1),PC(2,2),...,PC(2,N)}；...；PC(l,1),PC(l,2),...,PC(L,N)}，然后创新使用以下公式对相位一致性进行编码，二进制编码公式如下：
其中l∈{1,...,L}，n∈{1,...,N}。如图3-5所示，给定输入图像将得到4尺度和6角度的相位一致性能量图像，通过公式(18)可计算出每一个像素点的二进制编码PCCODE(l,n)，于是相位一致性响应概率(相位一致性关键点响应)可表示为：
其中L表示选择的尺度个数，N表示选择的角度个数，J表示同一个目标在不同场景图像个数。
通过公式(19)得到的相位一致性关键点响应，有效的体现了图像中相位信息变化程度，可提取图像中边缘和角点等重要信息，这些信息具有更好的可重复性和可区分性，用于关键点检测和特征匹配更加有效。
(3)相位一致性关键点响应约束的点匹配：将相位一致性关键点响应作为卷积神经网络的损失约束用于优化卷积神经网络，最终获得关键点检测器和特征描述算子的模型，在检测中计算点的相似性，从而确定两幅图像的一致性点集。
关键点响应约束的点匹配首先要构建关键点检测器和特征描述算子，将卫星目标图像表示为I，所有可能视角或者光照条件下采集的机载下视参考图像通过变换集T＝{Tj|j∈Z}表示，其中Tj可表示为一个特殊条件，Z＝1,2,...,J表示所有可能条件。则在j条件下采集的图像表示为Tj(I)，图像I上的每一点和它对应的投影点Tj(I)表示为oi，这里假设整个场景点集为EP＝{oi|i＝1,2,...,N}，N表示场景点的个数。则给定图像的Tj(I)，其中j表示了同一场景的不同条件下的图像，再假设场景点集EP＝{oi|i＝1,2,...,N}，则检测器F定义为在T(I)中每一点oi的输出概率fij：
fij＝F(oi,Tj(I)|θF) (20)
其中θF是关键点检测器的所有参数，fij反映了该点为关键点的可能性。在实际中，概率阈值Pt用于得到一个确定的兴趣点集，则T(I)的兴趣点集定义为：
IP＝{oi|fij＞Pt,oi∈EP} (21)
这里EP-IPj看成背景点集。
描述算子D则定义为输出描述算子向量dij在Tj(I)上每一个oi的函数，定义如下：
dij＝D(oi,Tj(I)|θD) (22)
其中θD是所有描述算子模型参数，dij用于计算该点与其他点的相似性，通过相似性计算可有效地确定关键点的可区分性，在公式中长度标准化为||dij||1＝1。Tj(I)定义为：
DSj＝{dij|oi∈IPj} (23)
因此，Tj(I)满足第v个属性的概率阐述为Pv(IPj,DSj)，其中v∈{1,2,...,V}，V是所需属性的个数，假设所有属性是独立的，不同图像的属性也是独立的，则关键点满足以下属性：
于是可以通过公式(24)将关键点的某些属性用于检测器和描述算子相关概率的描述，通过优化算法获得关键点的响应值。通过对关键点特性进行分析后，本文主要使用了三种属性包括：稀疏性、可重复性和可区分性，对应的概率描述包括稀疏性概率、可重复性概率和可区分性概率，将三种概率进行统一分析可生成目标概率，通过卷积神经网络优化目标概率获得关键点检测器和特征描述算子的最优模型。
使用以上属性对卷积神经网络进行约束理论上是可行的，但实际应用中要想找到完全满足稀疏约束、重复性约束和区分性约束的关键点是比较难的，为了平衡该问题的出现，本申请引入了基于关键点响应约束的点匹配方法，假设使用某种已有的关键点检测器(例如：SIFT，Superpoint等)获得关键点响应图O，假设为属性优化中个属性的条件概率，则本发明创新提出卷积神经网络损失函数如下：
其中，Y为原图像，为卷积图像，O为关键点响应图像。/>表示全卷积神经网络交叉熵计算，/>为描述算子损失，具体计算方法参见文献该公式创新在于引入关键点响应损失/>表示灰度空间归一化交叉熵计算，/>计算公式如下所示：
其中，h和w分别表示坐标位置，lo(xhw；ohw)定义如下：
K为卷积后像素个数。
基于上述内容，将卫星目标图像和机载下视参考图像作为输入优化关键点检测器和特征描述算子，进而获得检测器F和特征描述算子D。在计算一致性关键点集时使用了内积操作完成两个特征D1和D2的相似性，公式如下：
sim＝D1·D2 (28)
其中·表示内积操作，如图3所示，通过公式(28)计算的相似性大小确定卫星目标图像和机载下视参考图像之间的一致性点集。
模型的性能验证以及比较分析
数据集
为了评价卫星图像导引的机载下视目标定位任务中点匹配方法的性能，实验选择University-1652数据集中的部分数据，本申请分别提取了600幅包含交叉视角、大尺度形变和多时相的数据集，包括100幅卫星目标图像，500幅机载下视参考图像，同时，提取了1800幅验证数据集，包括300幅卫星目标图像，1500幅机载下视参考图像，其中每幅卫星目标图像对应具有同一目标的不同条件下的机载下视参考图像，在该数据集上验证了算法的综合性能。
评价准则
在实验分析过程中，使用点匹配评价指标和目标定位评价指标验证算法性能。
(1)点匹配评价指标：本申请针对点匹配中关键点检测以及特征描述方法使用了多种点匹配评价方法，在已有的点匹配的评价方法的基础上，根据文献中总结的4种关键点的特征属性：可重复性、可区分性、局部性、量化性，本申请使用5种评价指标评价点匹配性能，评价指标包括：重复率、召回率、准确率、量化率和效率。
重复率：给定同一目标或同一场景在不同视角下的两幅图像，在两幅图像中能够定位到的场景中特征点的百分比用于衡量重复性，本申请重复率RPR(Repeatable rate)定义为：
其中CKN表示利用关键点检测器检测到的关键点中具有一致性的关键点个数，KN表示检测出的总关键点的个数。
召回率：检测出的关键点的特征应该展示出变化性，也就是说关键点应该具有可区分性和可匹配性，本申请将召回率RR(Recall rate)定义为：
其中DTMPN是特征匹配算法检测出的正确匹配的一致性关键点个数，UDTMPN是特征匹配算法检测出未正确匹配和未检测出的一致性关键点个数总和。
准确率：检测的关键点应该具有局部特征的一致性，这样可以减少遮挡的概率，允许两幅图像具有几何形变，特征匹配的准确率AR(Accuracy rate)定义为：
其中DTMPN是特征匹配算法检测出的正确匹配的一致性关键点个数，CKN表示检测出的总的一致性关键点个数。
量化率：检测出的关键点应该足够大，也就是说即使在一个小的目标上也应该能够检测到合理数量的特征点，而最优的特征点个数取决于不同应用，本发明定义量化率QR(Quantity rate)为：
其中，KN表示检测出的总的关键点个数，IPN是图像中存在的总的像素个数。
效率：不同的特征匹配算法运行的时间是不同的，本发明将效率EF(Efficiency)定义为:
EF＝TCKD+TCKDM (33)
其中，TCKD，TCKDM为关键点检测时间、一致性关键点检测的时间。
(2)目标定位评价指标：本申请将相位一致性关键点响应约束的点匹配用于目标定位应用，因此给出了目标定位评价指标ROC曲线验证定位性能。
目标定位ROC曲线：ROC曲线全名叫做ReceiverOperatingCharacteristic,该工具是一个画在二维平面上的曲线，平面的横坐标是FPR(Falsepositiverate)，纵坐标是TPR(True positiverate)。对于定位模型而言，可以根据其在测试样本上的表现得到TPR和FPR目标定位对，于是定位模型就映射到ROC平面上的一个点了，调整定位模型使用的阈值，可以得到过(0,0)，(1,1)的曲线，该曲线定义为ROC曲线。在ROC曲线中，AUC的值是处于ROC曲线下方的面积大小，较大的AUC代表好的性能。
性能验证以及比较分析
自编码器的不同损失函数分析：不同的损失函数具有不同的特点，实验中针对自编码器图像一致性对齐模型，考虑仅仅使用其中一个损失函数或者通过组合策略使用多个损失函数确定图像对齐模型，比较与分析模型性能如表1所示，算法模型包括FM(RC)、FM(CC+Z)、FM(WT)、FM(RC+CC+Z)、FM(RC+WT)、FM(CC+Z+WT)和FM(RC+CC+Z+WT)，其中FM表示特征匹配，RC表示重构一致性损失，CC表示循环一致性损失，Z表示代码相关性损失。实验结果如表1所示，每一个模型的RPR和QR值都是相近的，并且可以保证有效完成特征匹配过程。从AR和RR两种评价进行分析发现，WT损失对算法的影响较大，单独使用WT损失要比其他损失的AR值要高，在此基础上增加RC损失以及CC+Z损失可以看出AR的值仍然在增高，当将所有损失进行组合后AR的值达到最高，同时RR值也随之增高。
表1自编码器不同损失函数点匹配方法比较
为了更清晰的描述不同损失函数对算法的影响，如图10展示了自编码器不同损失函数点匹配准确率和召回率的变化趋势，其中横坐标代表不同损失策略的算法模型，粉色曲线代表准确率AR的变化，绿色曲线代表召回率RR的变化，星号代表具有最高准确率和召回率的最优模型。从准确率和召回率角度看不同的损失函数对算法的性能变化影响不大，但仍然可以看出当考虑所有损失函数时算法的准确率和召回率都具有最高的匹配性能，这也证明了每一个损失都为关键点检测和特征描述提供了贡献，使用所有属性约束完成点匹配的性能要比其他方法平均提高2％，因此，实验选择FM(RC+CC+Z+WT)作为最优模型。
相位一致性尺度L和角度M分析：在相位一致性提取过程中，尺度和角度的选择影响着点匹配的效果，本实验针对不同尺度个数和不同角度个数进行了实验分析，比较和分析算法模型如表2所示，算法包括FM(22)、FM(24)、FM(26)、FM(28)、FM(210)、FM(42)、FM(44)、FM(46)、FM(48)和FM(410)共10种模型，其中，FM表示特征匹配，括号中数字表示L和M的取值。
为了更清晰的描述尺度和角度的变化对算法的影响，如图11展示了不同尺度和角度的选择对点匹配准确率和召回率变化的影响，其中横坐标代表不同尺度和角度的算法模型，粉色曲线代表准确率AR的变化，绿色曲线代表召回率RR的变化，星号代表具有最高准确率和召回率的最优模型。从准确率和召回率角度看2尺度的不同角度变化对算法的性能变化影响不大，然而对于4尺度的不同角度变化对算法的影响较大，可以看出随着角度增大算法性能提升，当角度达到4时算法性能达到最高为0.1856，随着角度的增加性能逐渐下降，因此本实验选择FM(44)算法模型作为最优模型。
表2不同尺度和角度的点匹配方法比较
关键点检测器中不同属性分析：不同的属性具有不同的特点，实验中针对相位一致性关键点响应约束的点匹配方法，考虑仅仅使用其中一个属性或者通过组合策略使用多个属性，本节属性考虑了3种，分别为s、r、c，如表4-4所示，比较和分析的算法模型包括FM(S)、FM(R)、FM(C)、FM(SC)、FM(SR)、FM(RC)和FM(SRC)，实验结果如表12所示，单独使用每一个属性时FM(R)的AR值较高，性能较好，这说明算法的可区分性具有重要作用；当两组属性进行组合时性能有所提高，但是当不考虑稀疏性仅考虑可重复性和区分性时性能严重下降；当考虑包括稀疏性的所有属性时AR性能大幅提升，同时RR也最大，这说明每一个属性为算法性能的提高提供了贡献，因此本文选择所有属性约束得到最佳算法性能。
为了更清晰的描述不同属性组合对算法的影响，如图12展示了不同属性的选择对点匹配准确率和召回率变化趋势，其中横坐标代表不同属性组合策略的算法模型，粉色曲线代表准确率AR的变化，绿色曲线代表召回率RR的变化，星号代表具有最高准确率和召回率的最优模型。从准确率角度可以看出不同属性的使用对算法的性能变化影响较大，可以看出当考虑所有属性时算法准确率和回归率达到最高，分别为0.0170和0.1856，因此本实验选择FM(SRC)算法模型作为最优模型。
表3不同尺度和角度的点匹配方法比较
| 方法 | RPR | RR | AR | QR |
| FM(S) | 0.5745 | 0.0066 | 0.1545 | 0.0036 |
| FM(R) | 0.5736 | 0.0083 | 0.1627 | 0.0036 |
| FM(C) | 0.5466 | 0.0110 | 0.1848 | 0.0027 |
| FM(SC) | 0.5404 | 0.1070 | 0.1670 | 0.0027 |
| FM(SR) | 0.5657 | 0.0095 | 0.1668 | 0.0031 |
| FM(RC) | 0.5680 | 0.0068 | 0.1425 | 0.0032 |
| FM(SRC) | 0.4186 | 0.0170 | 0.1856 | 0.0018 |
与现有前沿模型比较分析：本节在交叉视角、大尺度形变、多时相变化和验证数据集上，选择具有代表性的点匹配方法进行分析比较，根据点匹配评价指标重复率、召回率、准确率、量化率和效率五个方面进行全面对比，包括SIFT、FAST、TILDE、ORB、Superpoint、Pop-net方法和相位一致性响应约束的点匹配方法(IAPPM:Image alignment and phasecongruency constraint point matching)。实验结果表明本章研究的相位一致性关键点响应约束的点匹配方法在交叉视角、大尺度形变、多时相变化和验证数据集上具有最好的性能。本节通过ROC曲线描述了不同点匹配方法在目标定位应用中的性能，从图13、图14、图15和图16可以看出在交叉视角目标定位任务中SIFT、FAST和TILDE方法不具有好的性能，相比较而言，Superpoint、ORB和Pop-net具有更好的性能，IAPPM的点匹配方法具有最高的准确率，适合交叉视角目标定位任务；在大尺度形变数据集中实验结果可以看出SIFT和TILDE方法用于大尺度形变目标定位不具有好的性能，相比较而言，ORB准确率下降，FAST准确率有所提高，Superpoint性能仍保持良好，IAPPM的点匹配方法具有最高的准确率，适合大尺度形变目标定位任务；在多时相变化数据集中所有算法的性能都在下降，而Superpoint和IAPPM算法仍保持着较高的性能，然而IAPPM算法仍然低于Superpoint算法，需要进一步改进；在验证数据集中IAPPM的准确率比所有其他点匹配方法的准确率高，因此，将IAPPM方法用于卫星图像导引的机载下视目标定位任务中具有重要意义。
需要注意的是，具体实施方式仅仅是对本发明技术方案的解释和说明，不能以此限定权利保护范围。凡根据本发明权利要求书和说明书所做的仅仅是局部改变的，仍应落入本发明的保护范围内。
Claims (5)
1.基于关键点响应约束的点匹配方法，其特征在于包括以下步骤：
步骤一：获取卫星目标图像以及机载下视参考图像；
步骤二：分别对卫星目标图像和机载下视参考图像进行灰度对齐，得到一致性对齐图像；
步骤三：基于一致性对齐图像，利用相位一致性原理生成相位一致性关键点响应；
步骤四：利用相位一致性关键点响应作为损失约束优化卷积神经网络，得到检测网络，所述检测网络包括关键点检测器和特征描述算子；
步骤五：将待检测的卫星目标图像和机载下视参考图像输入检测网络，得到关键点和每个关键点的特征描述算子；
步骤六：根据每个关键点的特征描述算子进行相似性计算，得到一致性点集图像；
所述步骤二的具体步骤为：
步骤二一：分别在卫星目标图像以及机载下视参考图像中随机选取多个训练块；
步骤二二：利用步骤二一中得到的训练块训练自编码器卷积神经网络模型，所述自编码器卷积神经网络模型的损失函数表示为：
其中，为综合性损失函数，πrc、πcc、πwt和πz为权重，/>为重构损失函数，/>为环状一致性损失函数，/>为加权变换损失函数，/>为代码相关性损失函数；
步骤二三：将卫星目标图像和机载下视参考图像作为输入，利用训练好的自编码器卷积神经网络模型得到三组灰度投影图像，所述三组灰度投影图像包括：一组编码一致性投影图像、一组重构一致性投影图像以及一组循环一致性投影图像；
步骤二四：将步骤二三中得到的灰度投影图像进行加权融合，得到一致性对齐图像；
所述重构损失函数表示为：
其中，为重构损失函数，/>为目标图像在T变换域中的损失，/>为参考图像在R变换域中的损失，d为两幅图像变换前后的特征相似性，/>为解码器转换后目标图像，T为原始目标图像，/>为解码器转换后参考图像，R为原始图像；
所述环状一致性损失函数表示为：
其中，为环状一致性损失函数，/>为X域和Y域交叉编码解码后的目标图像，/>为Y域和X域交叉编码解码后的参考图像；
所述加权变换损失函数表示为：
其中，为加权变换损失函数，w为计算两幅图像相似性的权重；
所述代码相关性损失函数表示为：
其中，为代码相关性损失函数，CR为编码相关矩阵，S为与d相关的相似性距离。
2.根据权利要求1所述的基于关键点响应约束的点匹配方法，其特征在于所述训练块为170*170像素。
3.根据权利要求1所述的基于关键点响应约束的点匹配方法，其特征在于所述步骤二四中融合表示为：
Xn＝λ1×xc+λ2×xr+(1-λ1-λ2)×xcr
Yn＝λ1×yc+λ2×yr+(1-λ1-λ2)×ycr
其中，λ1和λ2为生成的输入图像的权重比率，xc为目标图像编码一致性投影，xr为目标图像重构一致性投影，xcr为目标图像循环一致性投影，Xn和Yn为生成的一致性对齐图像，yc为参考图像编码一致性投影，yr为参考图像重构一致性投影，ycr为参考图像循环一致性投影。
4.根据权利要求3所述的基于关键点响应约束的点匹配方法，其特征在于所述步骤中使用相位一致性原理生成相位一致性关键点响应表示为：
二进制编码PCCODEj(l,n)表示为：
其中，为相位一致性关键点响应，L为选择的尺度个数，N为选择的角度个数，J为同一个目标在不同场景图像个数，PC(l,n)为图像中(l,n)位置的相位一致性值，PC(l,n-1)为图像中(l,n-1)位置的相位一致性值，ε为给定的阈值。
5.根据权利要求4所述的基于关键点响应约束的点匹配方法，其特征在于所述步骤四的具体步骤为：
将相位一致性关键点响应作为卷积神经网络的损失约束，优化卷积神经网络，所述卷积神经网络包括关键点检测器和特征描述算子；
所述卷积神经网络的损失为：
其中，Lt为卷积神经网络的损失，Y为原图像，为卷积图像，O为关键点响应图像，/>为全卷积神经网络交叉熵计算，/>为描述算子损失，/>为灰度空间归一化交叉熵计算，h和w分别表示坐标位置，K为卷积后像素个数，Hc为图像中长度，Wc为图像的宽度，lo(xhw；ohw)为卷积后图像与关键点响应图像之间的损失，xhwo坐标位置(h,w)的在计算关键点相应损失时的卷积图像，ohwk为关键点响应图像O中坐标位置(h,w)的响应值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211386364.9A CN115546521B (zh) | 2022-11-07 | 2022-11-07 | 基于关键点响应约束的点匹配方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211386364.9A CN115546521B (zh) | 2022-11-07 | 2022-11-07 | 基于关键点响应约束的点匹配方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115546521A CN115546521A (zh) | 2022-12-30 |
| CN115546521B true CN115546521B (zh) | 2024-05-07 |
Family
ID=84720307
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211386364.9A Active CN115546521B (zh) | 2022-11-07 | 2022-11-07 | 基于关键点响应约束的点匹配方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115546521B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109344845A (zh) * | 2018-09-21 | 2019-02-15 | 哈尔滨工业大学 | 一种基于Triplet深度神经网络结构的特征匹配方法 |
| KR20200063368A (ko) * | 2018-11-23 | 2020-06-05 | 연세대학교 산학협력단 | 대응점 일관성에 기반한 비지도 학습 방식의 스테레오 매칭 장치 및 방법 |
| CN111368673A (zh) * | 2020-02-26 | 2020-07-03 | 华南理工大学 | 一种基于神经网络的人体关键点快速提取方法 |
| CN112712510A (zh) * | 2020-12-31 | 2021-04-27 | 中国电子科技集团公司第十四研究所 | 一种基于梯度和相位一致性的异源图像匹配方法 |
| CN114332182A (zh) * | 2022-03-14 | 2022-04-12 | 北京化工大学 | 基于多特征约束的sar图像配准方法、设备和介质 |
| CN114445640A (zh) * | 2022-01-27 | 2022-05-06 | 西安电子科技大学 | 基于描述子一致性约束的异源遥感图像块匹配方法及系统 |
| CN114565861A (zh) * | 2022-03-02 | 2022-05-31 | 佳木斯大学 | 基于概率统计微分同胚集匹配的机载下视目标图像定位方法 |
| CN114758152A (zh) * | 2022-04-25 | 2022-07-15 | 东南大学 | 一种基于注意力机制和邻域一致性的特征匹配方法 |
| CN114926892A (zh) * | 2022-06-14 | 2022-08-19 | 中国人民大学 | 一种基于深度学习的眼底图像匹配方法、系统和可读介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8885925B2 (en) * | 2013-03-12 | 2014-11-11 | Harris Corporation | Method for 3D object identification and pose detection using phase congruency and fractal analysis |
| US11379688B2 (en) * | 2017-03-16 | 2022-07-05 | Packsize Llc | Systems and methods for keypoint detection with convolutional neural networks |
-
2022
- 2022-11-07 CN CN202211386364.9A patent/CN115546521B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109344845A (zh) * | 2018-09-21 | 2019-02-15 | 哈尔滨工业大学 | 一种基于Triplet深度神经网络结构的特征匹配方法 |
| KR20200063368A (ko) * | 2018-11-23 | 2020-06-05 | 연세대학교 산학협력단 | 대응점 일관성에 기반한 비지도 학습 방식의 스테레오 매칭 장치 및 방법 |
| CN111368673A (zh) * | 2020-02-26 | 2020-07-03 | 华南理工大学 | 一种基于神经网络的人体关键点快速提取方法 |
| CN112712510A (zh) * | 2020-12-31 | 2021-04-27 | 中国电子科技集团公司第十四研究所 | 一种基于梯度和相位一致性的异源图像匹配方法 |
| CN114445640A (zh) * | 2022-01-27 | 2022-05-06 | 西安电子科技大学 | 基于描述子一致性约束的异源遥感图像块匹配方法及系统 |
| CN114565861A (zh) * | 2022-03-02 | 2022-05-31 | 佳木斯大学 | 基于概率统计微分同胚集匹配的机载下视目标图像定位方法 |
| CN114332182A (zh) * | 2022-03-14 | 2022-04-12 | 北京化工大学 | 基于多特征约束的sar图像配准方法、设备和介质 |
| CN114758152A (zh) * | 2022-04-25 | 2022-07-15 | 东南大学 | 一种基于注意力机制和邻域一致性的特征匹配方法 |
| CN114926892A (zh) * | 2022-06-14 | 2022-08-19 | 中国人民大学 | 一种基于深度学习的眼底图像匹配方法、系统和可读介质 |
Non-Patent Citations (2)
| Title |
|---|
| Diffeomorphic matching with multiscale kernels based on sparse parameterization for cross-view target detection;Xiaomin Liu等;《Applied Intelligence》;20220811;第9689-9707页 * |
| 图像匹配方法研究综述;贾迪;朱宁丹;杨宁华;吴思;李玉秀;赵明远;;中国图象图形学报;20190531(第05期);第17-39页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115546521A (zh) | 2022-12-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | A graph-cnn for 3d point cloud classification | |
| CN109145745B (zh) | 一种遮挡情况下的人脸识别方法 | |
| CN105138973A (zh) | 人脸认证的方法和装置 | |
| CN103714148B (zh) | 基于稀疏编码分类的sar图像检索方法 | |
| CN112381144B (zh) | 非欧与欧氏域空谱特征学习的异构深度网络方法 | |
| Tao et al. | ViTALnet: Anomaly on industrial textured surfaces with hybrid transformer | |
| Li et al. | MSAt-GAN: a generative adversarial network based on multi-scale and deep attention mechanism for infrared and visible light image fusion | |
| CN112329662B (zh) | 基于无监督学习的多视角显著性估计方法 | |
| CN114398948A (zh) | 一种基于空-谱联合注意力网络的多光谱影像变化检测方法 | |
| Xu et al. | GLORN: Strong generalization fully convolutional network for low-overlap point cloud registration | |
| CN115311502A (zh) | 基于多尺度双流架构的遥感图像小样本场景分类方法 | |
| Li et al. | SCFormer: Spectral coordinate transformer for cross-domain few-shot hyperspectral image classification | |
| Song et al. | Multi-focus image fusion with PCA filters of PCANet | |
| CN114511012A (zh) | 基于特征匹配和位置匹配的sar图像与光学图像匹配方法 | |
| CN115393404A (zh) | 双光图像配准方法、装置及设备、存储介质 | |
| Alimjan et al. | An image change detection algorithm based on multi-feature self-attention fusion mechanism UNet network | |
| CN115565019A (zh) | 基于深度自监督生成对抗的单通道高分辨sar图像地物分类方法 | |
| Hughes et al. | A semi-supervised approach to SAR-optical image matching | |
| Kavitha et al. | Convolutional Neural Networks Based Video Reconstruction and Computation in Digital Twins. | |
| Jia et al. | Bipartite adversarial autoencoders with structural self-similarity for unsupervised heterogeneous remote sensing image change detection | |
| Gao et al. | Occluded person re-identification based on feature fusion and sparse reconstruction | |
| CN105719323A (zh) | 一种基于优化图谱理论的高光谱降维方法 | |
| CN115546521B (zh) | 基于关键点响应约束的点匹配方法 | |
| Lyu et al. | Rigid pairwise 3D point cloud registration: a survey | |
| Lee et al. | Reet: Region-enhanced transformer for person re-identification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |