CN114565861A - 基于概率统计微分同胚集匹配的机载下视目标图像定位方法 - Google Patents
基于概率统计微分同胚集匹配的机载下视目标图像定位方法 Download PDFInfo
- Publication number
- CN114565861A CN114565861A CN202210203980.XA CN202210203980A CN114565861A CN 114565861 A CN114565861 A CN 114565861A CN 202210203980 A CN202210203980 A CN 202210203980A CN 114565861 A CN114565861 A CN 114565861A
- Authority
- CN
- China
- Prior art keywords
- differential
- airborne
- downward
- target image
- looking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 102
- 230000009466 transformation Effects 0.000 claims abstract description 58
- 238000009826 distribution Methods 0.000 claims abstract description 52
- 239000000203 mixture Substances 0.000 claims description 19
- 238000011156 evaluation Methods 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 15
- 230000003044 adaptive effect Effects 0.000 claims description 13
- 239000013598 vector Substances 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 4
- 108010063499 Sigma Factor Proteins 0.000 claims description 2
- 238000004422 calculation algorithm Methods 0.000 abstract description 32
- 238000005457 optimization Methods 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 238000011160 research Methods 0.000 description 6
- 238000012795 verification Methods 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000004069 differentiation Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000000977 initiatory effect Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000010835 comparative analysis Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- SLXKOJJOQWFEFD-UHFFFAOYSA-N 6-aminohexanoic acid Chemical compound NCCCCCC(O)=O SLXKOJJOQWFEFD-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013398 bayesian method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000004660 morphological change Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
- G06F18/24155—Bayesian classification
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
基于概率统计微分同胚集匹配的机载下视目标图像定位方法，它属于图像匹配技术领域。本发明解决了将现有方法应用于卫星目标图像导引的机载下视目标定位时的定位准确率低的问题。本发明首先使用SIFT特征匹配方法确定一致性关键点集；然后使用概率混合分布将一致性点集进行分类获得多个一致性关键点的子集；然后在每个子集中使用自适应多尺度核微分同胚的集匹配方法获得最优变换模型参数；通过每个子集的变换模型计算卫星目标图像和机载下视参考图像之间的SSD相似性，使用优化算法选择最佳变换模型参数确定卫星目标图像在机载下视参考图像中的位置。本发明方法可以应用于图像匹配技术领域。
Description
技术领域
本发明属于图像匹配技术领域，具体涉及一种基于概率统计微分同胚集匹配的机载下视目标图像定位方法。
背景技术
无人机系统是社会智能化水平提升的典型代表，可以在复杂环境下工作，具有自主定位、自主运行、自主规划能力的智能机器人。近年来，无人机系统的应用及相关研究不断深入，卫星图像导引的机载下视目标定位方法的研究成为无人机智能自主控制的未来发展方向。
基于卫星图像导引的机载下视目标定位任务目标是给定卫星目标图像，在机载下视参考图像上找到目标位置，其中卫星目标图像和机载下视参考图像的成像方式不同，卫星图像通常是垂直采集的图像，而无人机采集的图像具有多视角属性，采集图像的复杂环境(例如：下雨、下雪、白天或者黑天等)导致空气中大气折射率发生改变，因此卫星目标图像和机载下视参考图像具有大尺度形态变化。集匹配可通过几何变换使得图像中对应点、面达到空间一致性过程，以便消除或削弱卫星目标图像和机载下视参考图像之间具有的大尺度形变的影响，完成准确的图像匹配过程。集匹配是实现实时高精度无人机目标定位任务的一个重要需求，对国防、经济、民生和学术都有着重大意义。集匹配可定义为求解两个点集之间的变换关系。求解变换关系的前提是已经完成了点匹配过程，确定了两个点集之间点的一致性对应关系，然后使用几何变换方程求解参数矩阵，参数矩阵用于确定两点集之间的变换关系，从而通过变换关系将两幅图像对齐，完成后续目标定位任务。
目前，广泛应用的集匹配方法主要针对刚性图像匹配。刚性图像匹配中应用最广泛，影响最大的是由Besl等人提出的迭代最近点算法(Iterative Closest Point,ICP)以及它的变形。该方法是基于纯粹几何模型的三维物体匹配算法，具有强大的功能和高的准确度，简单易理解，成为刚性点匹配的主流算法。在此基础上，许多研究者对迭代最近点算法进行改进，推动了该算法的发展。传统的ICP算法的一个主要难点是无法解决对野值的敏感性和模型扫描数据的丢失问题，在实际应用中，算法会加入一些约束修剪野值，或者找对应点时减少野值所占的权重，然而，这些约束很难实现，通常需要人工辅助。Bouaziz等人提出基于稀疏表示的刚性匹配方法，避免了以上问题。Horaud等人提出了基于概率统计的点集匹配方法，采用类似EM算法获得最大概率混合模型用于点匹配，在半正定协方差矩阵的约束下，使用优化算法估计旋转、平移参数。该研究将概率统计方法拓展到集匹配中，大量的研究人员在此基础上进行了深入研究，Min等人将位置不确定约束引入基于概率统计的点集匹配中，其中约束不仅仅考虑位置信息而且考虑了方向信息，通过多变量高斯混合分布降低了异常一致性关键点对匹配的影响。近期刚性匹配已经取得了很大进展，然而刚性匹配只适合于刚性变形的匹配，对于一些复杂任务刚性匹配方法很难完成准确匹配，因此非刚性配准逐渐受到关注。刚体变换可看成是全局几何变换，通常由有限维自由度几何变换矩阵表示，而非刚体变换可看成具有局部几何形变的变换方式，因其具有更高维的自由度，变换参数的求解更加复杂，非刚性匹配成为图像匹配中一个具有挑战的研究方向，广泛应用于很多复杂的图像处理任务中。已经具有大量的非刚性匹配方法用于描述集匹配，其中最经典的算法是薄板样条方法(Thin Plate Spline,TPS)，TPS方法既能拟合全局的仿射变换，又能模拟局部的非刚体形变。近年来，图像匹配应用的环境越来越复杂，这导致采集的图像之间具有大的尺度变化，寻求适用大尺度形变的图像匹配方法成为研究的重点和难点，在医学图像处理领域，大尺度微分同胚投影矩阵用于解决医学图像表面变化问题，大尺度形变投影(Large deformation diffeomorphic metric mapping,LDDMM)有效的解决了尺度形变问题。然而直接使用现有的大尺度形变微分同胚集匹配方法用于卫星目标图像导引的机载下视目标定位任务中达不到好的效果，卫星目标图像导引的机载下视目标定位任务的定位准确率较低。
发明内容
本发明的目的是为解决将现有方法应用于卫星目标图像导引的机载下视目标定位时的定位准确率低的问题，而提出的一种基于概率统计微分同胚集匹配的机载下视目标图像定位方法。
本发明为解决上述技术问题所采取的技术方案是：一种基于概率统计微分同胚集匹配的机载下视目标图像定位方法，所述方法具体包括以下步骤：
步骤一、确定由卫星目标图像和机载下视参考图像的一致性点对组成的集合；
步骤二、采用概率混合模型对步骤一中获得的集合进行划分，获得划分后的各个子集；
步骤三、分别确定出每个子集对应的微分同胚变换模型；
步骤四、将各个子集对应的微分同胚变换模型进行组合选取出最优的微分同胚变换模型，再根据最优微分同胚变换模型确定卫星目标图像在机载下视参考图像上的位置。
进一步地，所述步骤一中采用的是SIFT关键点检测方法。
进一步地，所述步骤二中采用的概率混合模型为高斯混合分布或学生t混合分布。
进一步地，所述高斯混合分布的概率定义为：
其中，p(x)为高斯混合分布的概率，x为一致性关键点对的位置向量，ηi为第i个分类的概率，k为分类的个数；
f(x|μi，∑i)的定义如下：
其中，μi代表第i个分类中的点集位置的均值，d代表数据维度，∑i代表第i个分类中的点集的协方差矩阵，上角标T代表转置，上角标-1代表矩阵的逆，det(∑i)是矩阵∑i的行列式的值，。
进一步地，所述学生t混合分布的概率定义为：
其中，p(x)为学生t混合分布的概率，x为一致性关键点对的位置向量，ηi为第i个分类的概率，k为分类的个数；
f(x|μi，∑i，vi)的定义如下：
其中，d代表数据维度，vi代表第i个分类中采样数据的自由度，∑i代表第i个分类中的点集的协方差矩阵，上角标T代表转置，μi代表第i个分类中的点集位置的均值，Γ代表伽马分布。
进一步地，所述分类的个数k的取值为3。
进一步地，所述步骤三中，确定每个子集对应的微分同胚变换模型采用的是微分同胚集匹配方法，且每个子集对应的尺度核大小通过自适应调整获得，自适应调整的方法为：
假设第m个子集中有N个元素，即第m个子集中包含N个一致性点对，则第m个子集的尺度核大小σm为：
σn＝σ0·λn
其中，λn是第n个一致性点对的局部尺度因子，σ0为初始尺度；
其中，{x1，x2，...，xN}为目标图像在第m个子集中的一致性点集，
为xn的核密度估计；
其中，K(·)代表半正定核函数，{y1，y2，...，yN}为参考图像中与{x1，x2，...，xN}对应的一致性点集，R代表参考图像中的点集数据；
同理，分别得到每个子集的尺度核大小。
进一步地，所述初始尺度采用MISE方法获得。
进一步地，所述步骤四中，将各个子集对应的微分同胚变换模型进行组合选取出最优的微分同胚变换模型，其具体过程为：
根据目标图像T、参考图像R和微分同胚变换模型分别获得每个子集对应的相似性评价值，将最大的相似性评价值所对应的微分同胚变换模型作为最优的微分同胚变换模型。
更进一步地，所述相似性评价值的计算方法为：
其中，
为相似性评价值，
为微分同胚变换模型，ΩX是R和
的交叉区域，|ΩX|是交叉区域内一致性点的个数。
本发明的有益效果是：
1、本发明使用高斯混合分布和学生t混合分布对一致性点集进行分类，与现有方法相比，本发明通过调整分类个数可以使匹配的类内类闻区分指数提高16％。
2、通过调整微分同胚集匹配空间模型拟合的自由度的个数，在仿真实验中，通过调整分类个数与现有方法比较，匹配的类内类间区分指数可提高24％。
3、通过使用不同方式确定微分同胚集匹配的尺度核大小，在仿真实验中，比较了固定尺度核、多尺度核和自适应多尺度核的类内类间的区分指数，自适应多尺度核的类内类闻的区分指数可提高27％。
4、通过与现有的卫星目标图像导引的机载下视集匹配目标定位方法进行比较，本发明方法的定位准确率提高了12％。
5、本发明对于卫星目标图像导引的机载下视集匹配目标定位系统具有重要意义，大大拓展了基于集匹配在无人机目标定位系统的应用范围。
6、本发明使用概率混合分布对一致性点集进行分类，有效的解决了一致性异常点对卫星图像导引的机载下视目标定位性能的影响。
7、本发明针对卫星图像导引的机载下视目标定位中的大尺度形变问题，使用自适应多尺度核的微分同胚集匹配方法提高了目标定位的准确性。
附图说明
图1为卫星目标图像；
图2为机载下视参考图像；
图3为卫星目标图像在机载下视参考图像上的目标定位示意图；
图4为本发明方法的流程图；
图5为一致性点集示意图；
图6a为第一类一致性点集的示意图；
图6b为第二类一致性点集的示意图；
图6c为第三类一致性点集的示意图；
图7为微分同胚集匹配示意图；
图8为目标定位示意图；
图9a为数据集中卫星目标图像1；
图9b为数据集中卫星目标图像2；
图9c为数据集中卫星目标图像3；
图9d为数据集中参考图像1；
图9e为数据集中参考图像2；
图9f为数据集中参考图像3；
图10a为关键点对变换模型影响示意图图1；
图10b为关键点对变换模型影响示意图图2；
图10c为关键点对变换模型影响示意图图3；
图10d为关键点对变换模型影响示意图图4；
图11为概率混合分布分类个数K对微分同胚集匹配的影响曲线图；
图12为微分同胚自由度对微分同胚集匹配性能影响的示意图；
图13a为微分同胚的尺度参数为0.0003时的示意图；
图13b为微分同胚的尺度参数为0.0005时的示意图；
图13c为微分同胚的尺度参数为0.0008时的示意图；
图13d为微分同胚的尺度参数为0.001时的示意图；
图14为固定尺度核和自适应多尺度核微分同胚的集匹配变化趋势图；
图15为集匹配目标定位的ROC曲线图。
具体实施方式
结合图4对本实施方式进行说明，本实施方式给出的基于概率统计微分同胚集匹配的机载下视目标图像定位方法，用于如图1和图2所示的卫星目标图像在机载下视参考图像中的目标位置，得到目标定位图像如图3所示。该方法首先使用SIFT特征匹配方法确定一致性关键点集；然后使用概率混合分布将一致性点集进行分类获得多个一致性关键点的子集；然后在每个子集中使用自适应多尺度核微分同胚的集匹配方法获得最优变换模型参数；通过每个子集的变换模型计算卫星目标图像和机载下视参考图像之间的SSD相似性，使用优化算法选择最佳变换模型参数确定卫星目标图像在机载下视参考图像中的位置。具体包括以下步骤：
(1)使用SIFT关键点检测方法确定一致性点集，如图5所示。
(2)使用概率混合分布模型对一致性点集进行分类，如图6a至图6c所示。概率混合模型是一种灵活的建模工具，可广泛应用于复杂的数据集划分，是一种不规则的形状分布方法。假定确定的一致性关键点集位置为{x1，...，xn}是加权混合分布的k个独立分布样本，其中第i个数据，xi是多变量数据，每一个类的分布的相关权重用一个概率向量表示：
其中fj是第j类概率值，向量γ＝(γ1，...，γk)为每个部分包括的特有参数，fj通过γ参量化。在许多建模过程中，假设f1＝…＝fk，则该构件的分布来自于同一类家族，仅仅是参数不同。
一种较好模型的表达方式是提供表示分类结果的隐变量，每一个xi都和一个隐变量zi相关联，如果xi来自第j类的灰度分布，则zi＝j，隐变量z＝(z1，...，zn)是一个分配向量，该向量将z划分到k个不同区域，通过使用隐变量z，则概率可描述如下：
f(xi|Zi＝zi，γ)＝fzi(xi|γzi)，P(Zi＝j|η)＝ηj，i＝1，...，n
其中分配向量中的元素是条件独立的，所以Z的概率分布如下所示：
其中Z是包含k个长度为n的一致性向量，向量元素取整数{1，...，k}的置换，ρk(.)是根据第k个置换重新标记，ρk(.)通过p(Z＝z|η)确定。
最近贝叶斯估计已经广泛用于概率混合模型的求解，其基本思想是在已知条件下先设定一个假设，然后通过先验实验更新概率。对于混合分布p(Z＝z|η)，位置的参数γ和η需要估计，在贝叶斯方法中先验概率分布(γ，η)联合用于获得后验概率，后验概率参数则为最终要估计的参数γ和η。使用贝叶斯理论γ和η应满足：
p(γ，η|x)∝p(x|γ，η)p(γ，η)
其中
为概率，p(θ，η)为γ和η的先验概率分布。
以上公式中没有出现分配向量Z，如果一个数据xi是独立的并分配到具有概率ηk的第k个分类中，则有p(zi＝k)＝ηk。给定zi＝k，则数据xi服从第k个分类的概率分布，使用贝叶斯理论，完整的后验概率分布满足：
p(Z，γ，η|x)∝p(x|Z，γ，η)p(Z|γ，η)p(γ，η)
其中p(Z|γ，η)是初始Z的联合概率分布，给定Z的值，则有p(x|Z，γ，η)＝p(y|Z，γ)，所有数据可通过p(zi＝k)＝ηk进行分配，存在p(Z|γ，η)＝p(Z|w)，则完整的后验概率分布简化为：
根据以上公式分析，后验概率分布p(γ，η|x)和完整的p(Z，γ，η|x)满足下列关系：
其中，求和操作代表了在数据集上所有分类的和，如果仅关注一部分分配，通过S划分的边缘后验概率可以写成以下公式：
p(Z|x)∝∫p(Z，γ，η|x)dγdη
在贝叶斯理论基础上计算混合概率分布需要解决的一个重要问题是确定(γ，η)的先验概率分布，通常假设分类参数γ和权重η是独立分布的，也就是p(γ，η)＝p(γ)p(η)。对于p(η)本发明选择使用Dirichlet分布，分配参数{γ1，...，γK}通常通过超参数ζ表示，则有：
根据贝叶斯理论计算后验概率p(z|x；y)是很难计算的，因此使用变分参数ψ估计后验概率qψ(z|x；y)是必要的，其基本思想是计算最小化$KL$散度：
minψKL[qψ(z|x；y)||p(z|x；y)]
＝minψEq[logqψ(z|x；y)-logp(z|x；y)]
＝minψEq[logqψ(z|x；y)-logp(z|x；y)]+logp(x；y)
＝minψKL[qψ(z|x；y)||p(z)]-Eq[logp(x|z，y)]
其中模型的变分下界是负的，因此可以建模后验概率qψ(z|x；y)为多变量分布：
qψ(z|x；y)＝f(z；Θz)
其中，Θ是模型参数。
本发明使用了两种特殊的概率混合模型高斯混合模型和学生t混合模型，其中高斯混合模型概率定义为
其中x为一致性关键点的位置向量，则f(x|μi，∑i)定义如下：
其中i∈{0，...，N}。
学生t混合分布概率定义为
其中f(x|μi，∑i，vi)为：
根据以上理论，可通过高斯混合模型和学生t混合模型将一致性点集进行分类生成多个子集，通过选择最优子集进行微分同胚的集匹配，这有效降低了异常一致性点对匹配性能的影响，并提高了卫星图像导引的机载下视目标定位的性能。
(3)使用稀疏化自适应多尺度核微分同胚的集匹配确定卫星目标图像和机载下视参考图像的空间变换模型，微分同胚集匹配的示意图如图7所示。
为了解决卫星图像导引的机载下视目标定位任务中大尺度形变问题，在(2)输出的每个子集上，在微分同胚的集匹配基础上研究自适应多尺度核微分同胚的集匹配方法。传统的微分同胚的集匹配定义如下，给定目标图像T和参考图像R，使用空间域Ω∈Sd，目标定位的目的是搜索变换
并将图像空间位置对齐，确定目标的位置。变换
建模从目标空间到参考图像空间的投影。许多情况下，非参量空间变换描述为通过关键点获得置换域
该置换域加入统一的变换中可有效地获得非参量化变换
相似性评价Diss(.，.)定义为：
其中ΩX是R和
的交叉区域。假设正则化项为
则通用的价值函数形式为：
其中ρ为用户约束，用于控制正则化自由度。微分同胚
在t＝1时将目标图像变换到参考图像上，例如通过Ω的微分同胚变换
则有
同时使用速度域建模为微分同胚流
的积分得到偏置，则微分方程定义为：
其中
为偏置，
[0，
]为时间间隔。实际上，偏置的路径
可通过数字积分得到，则非静态微分方程需要高的计算时间。在大尺度形变微分同胚矩阵投影中，速度域v可以看成在
中的绝对积分函数子空间。为了得到该子空间与合适的微分操作L，<u，v＞V＝<Lu，v＞L 2，uv∈V，使用相关的正则化优化子空间。一般L是形式为
的散度模型，其中
是拉普拉斯操作算子。根据摩尔定理，所有半正定核K具有唯一的RKHS空间，这里K看成它的再生核，因此通过线性子空间形式函数可以获得一致性RKHS空间，其定义如下：
然后，价值函数方程使用多尺度再生核框架描述为：
其中，m＝1，...，k。静态速度域定义为v(x，t)是一个常量。通过SVF参量化的方式是一种在Diff(Ω)子群中准确的确定参数的方式，其中形变参数通过静态速度域的指数方式获得。
传统微分同胚的集匹配方法通常使用人为设置的多尺度核优化算法的匹配性能，本发明为了针对不同子集自适应调整微分同胚的尺度核进而提高目标匹配的性能。当ai前面乘以一个系数则可调整核的大小，不同的图像对应的不同的系数能够得到不同的匹配性能。微分同胚核函数的使用可以看成一种密度估计方法，核的尺度大小会受到点集密度的影响，从而影响卫星目标图像和机载下视参考图像之间的匹配效果，本发明在概率统计模型进行分类后的子类上，通过核密度估计
与实际密度fn(x)之间误差最小的思想自适应确定子集的尺度核。
在本发明中，初始尺度的确定通过采用误差测量中官方使用的MISE方法，设目标图像一致性点集为x＝{x1，x2，...，xn}，参考图像一致性点集为y＝{y1，y2，...，yn}。利用核密度估计
与一致性fn(y)之间误差最小值来判定尺度大小，MISE定义如下：
对齐求最小值，可得到初始尺度σ0：
其中αn为已知样本{x1，x2，...，xn}的方差：
其中
为{x1，x2，...，xn}的初始一致样本的平均值：
对于不同的样本，通常σ0不考虑样本的疏密程度，在整个区间上使用固定值，因此不具有好的性能。为了能够使得确定的尺度适用不同的数据，本发明利用初始的固定尺度σ0对样本数据的概率密度进行整体的粗略估计，即：
为提高概率密度估计拟合优化，在样本密度小的区域自动选择大的尺度，密度大的区域选择小的尺度，引入反应数据疏密度的因子λ，其中λi为每一类的均值数据，于是初始尺度样本点概率密度为：
将局部尺度因子λi与初始尺度σ0相乘得到自适应尺度：
本发明已经通过概率混合模型得到M个分类子集，假设第m子集中有N个元素，则定义σm为：
于是，本发明提出了新的计算速度域的方式：
然后通过公式
计算最优速度域。
根据以上理论，本发明使用σm自适应调整不同子集的尺度核，优化确定微分同胚空间变换模型，该模型解决了卫星图像导引的机载下视目标定位中存在的大尺度形变问题。
(4)首先通过自适应多尺度核微分同胚的集匹配方法确定每一个子集的空间变换模型
统计每一个符合
空间变换模型的点构成点集Qm，m＝1，...，k。在k个子集上进行同样运算则可以得到多个集合Q1，Q2，...，Qk，然后计算k个集合的并可得到最优子集Qopt，在最优子集Qopt上，再次使用自适应多尺度核微分同胚的集匹配方法确定最优空间变换模型
使用该模型确定卫星目标图像在机载下视参考图像上的位置，目标定位示意图如图8所示。
模型的性能验证以及比较分析
数据集
为了评价卫星图像导引的机载下视目标定位任务中集匹配方法的性能，实验选择University-1652数据集中的部分数据，本发明提取了1800幅包含交叉视角、大尺度形变和多时相的数据集，包括300幅卫星目标图像，1500幅机载下视参考图像，其中每幅卫星目标图像对应具有同一目标的不同条件下的机载下视参考图像，在该数据集上验证了算法的综合性能，卫星目标图像如图9a至图9c所示，参考图像如图9d至图9f所示。
评价准则
为了验证集匹配在卫星图像导引的机载下视目标定位任务中的性能，本发明使用集匹配评价指标和目标定位评价指标对算法进行评价分析。
(1)集匹配评价指标：本发明针对集匹配提出均方根误差作为评价准则，通过判定指数DI测试算法的类内和类闻的匹配性能。
均方根误差：给定目标图像和参考图像中的点集为TI与RI，则RMSE(Root MeanSquare Error)定义为：
其中TI′＝A×TI，A为集匹配确定的变换矩阵，N和M表示图像的长和宽，x和y分别表示图像中像素的位置。
判定指数：为了能够有效的评价算法类闻匹配和类内匹配的区分性，本发明给出了判定指数用于评价算法匹配的性能，公式定义如下：
其中mg(mi)和sg(si)表示类内和类间相似性均值和标准差，该值越大证明类内和类间的区分性越强，算法具有更好的匹配性。
(2)目标定位评价指标：本发明将基于概率统计微分同胚的集匹配用于目标定位应用，因此给出了目标定位评价指标ROC曲线验证定位性能。
目标定位ROC曲线：ROC曲线全名叫做Receiver Operating Characteristic，该工具是一个画在二维平面上的曲线，平面的横坐标是FPR(False positive rate)，纵坐标是TPR(True positive rate)。对于定位模型而言，可以根据其在测试样本上的表现得到TPR和FPR目标定位对，于是定位模型就映射到ROC平面上的一个点了，调整定位模型使用的阈值，可以得到将过(0，0)，(1，1)的曲线，该曲线定义为ROC曲线。在ROC曲线中，AUC的值是处于ROC曲线下方的面积大小，较大的AUC代表好的性能。
性能验证以及比较分析
(1)概率混合分布分类个数K对微分同胚匹配的影响分析：如图10a至图10d所示，关键点的分布直接影响变换矩阵拟合效果，因此对图像的一致性关键点集进行分类将有效的提高匹配性能。同时，合适的概率混合分布的分类个数K对于优化算法的性能是必要的，本发明对不同K的取值进行了实验对比，通过对比得到最优目标定位结果，同时比较了高斯混合分布和学生t混合分布对匹配结果的影响，实验结果如表1所示，其中DIFFGAUSS表示基于高斯混合分布分类的微分同配集匹配，DIFFSTU表示基于学生t混合分布分类的微分同配的集匹配，后面数字表示分类个数。当K值增大时RMSE-DI是增大的，当K＝3时，RMSE-DI值达到最大然后性能开始下降最后达到最小值。如图11所示，从总体上看，学生t混合分布微分同胚的集匹配方法要高于高斯混合分布微分同胚的集匹配方法，因此在目标定位实验中，本发明使用学生t混合分布微分同胚集匹配方法用于目标定位，同时K取值为3。
表1概率混合分布分类个数K对微分同胚匹配的影响分析
| 方法 | RMSE-DI | 方法 | RMSE-DI |
| DIFFGAUSS1 | 0.1237 | DIFFSTU1 | 0.1237 |
| DIFFGAUSS2 | 0.2607 | DIFFSTU2 | 0.2518 |
| DIFFGAUSS3 | 0.2859 | DIFFSTU3 | 0.3071 |
| DIFFGAUSS4 | 0.1698 | DIFFSTU4 | 0.2342 |
| DIFFGAUSS5 | 0.2400 | DIFFSTU5 | 0.1699 |
| DIFFGAUSS6 | 0.1880 | DIFFSTU6 | 0.2844 |
| DIFFGAUSS7 | 0.1732 | DIFFSTU7 | 0.0861 |
(2)不同自由度个数的微分同胚性能比较：在实验过程中利用RANSAC方法完成微分同胚的集匹配，对于RANSAC算法，选择多少个自由度可以保证模型在该数据集中获得更好的匹配效果是本发明研究的一个重点，因此在实验过程中针对不同的自由度D做了大量实验，并选择了最优D保证了算法匹配的准确性，如表2所示，其中DIFFD表示不同自由度的微分同胚集匹配方法，后面的数字表示不同的自由度个数。随着自由度的增加算法性能总体是增加的，从图12可以看出，当D＝8时自由度开始下降，因此本发明选择自由度D＝8的算法用于目标定位。
(3)固定尺度核和自适应多尺度核性能比较：如图13a至图13d所示，其中σ为微分同胚的尺度参数，当微分同胚核的尺度发生变化时，变换模型将会发生变化，不同的尺度核对应着不同图像，因此在对卫星目标图像和机载下视参考图像进行微分同胚操作时需要使用适合的尺度。如表3所示，ODM(Original Diffeomorphic Matching)为固定尺度核微分同胚的集匹配、MDM(Multi-Scale Diffeomorphic Matching)多尺度核微分同胚的集匹配、ICDM(Initialization Core Diffeomorphic Matching)自适应单尺度核微分同胚的集匹配和MICDM(Multi-Scale Initialization Core Diffeomorphic Matching)自适应多尺度核微分同胚的集匹配。随着核的尺度设置策略的不同，可以看出自适应多尺度核微分同胚的集匹配方法(MICDM)具有最好的性能。从图14也可以看出，随着尺度核自适应设置方式的优化，算法的性能进一步提高，使得MICDM的性能达到最高效果，比原始效果提高了27％。
表2不同微分同胚自由度个数的微分同胚集匹配性能比较
| 方法 | RMSE-DI | 方法 | RMSE-DI |
| DIFFD3 | 0.0905 | DIFFD8 | 0.5416 |
| DIFFD4 | 0.4208 | DIFFD9 | 0.4182 |
| DIFFD5 | 0.5143 | DIFFD10 | 0.3675 |
| DIFFD6 | 0.4216 | DIFFD11 | 0.4283 |
| DIFFD7 | 0.5179 | DIFFD12 | 0.3071 |
表3固定尺度核和自适应多尺度核微分同胚性能比较
| 方法 | RMSE-DI | 方法 | RMSE-DI |
| ODM | 0.3071 | ICDM | 0.4076 |
| MDM | 0.32 | MICDM | 0.5729 |
(4)与现有前沿模型比较分析：与现有经典集匹配方法进行比较的结果表明本发明的集匹配方法可解决机载下视目标定位中交叉视角、大尺度形变和多时相变化问题。比较算法首先选择了三个典型的点匹配SIFT、Superpoint和ORB方法完成稀疏点集匹配的目标定位。DEMONS是较早的非刚性集匹配方法，是一种基于光流理论发展起来的配准方法，因此该算法与其它光流算法一样，具有亮度恒定和小运动的约束条件。LDDMM算法利用连续微分同胚形变的叠加实现匹配过程，对于全局变换的小形变有较好的性能。ICP利用迭代一步步地算出正确对应关系，广泛地应用于模型重建、多视角配准、地图创建等领域。算法CPD是一种著名的概率集匹配算法，算法假设混合模型的协方差具有等方向性，将点匹配阐述成混合线性最小二乘优化问题，通过优化过程估计点匹配的一致性和变换。MICDM(Multi-Scale Initialization Core Diffeomorphic Matching)为本发明研究的稀疏化自适应多尺度核微分同胚的集匹配方法。
比较的集匹配方法如表4所示，从算法的类间和类内的区分性角度看，在刚性集匹配算法中，SIFT、ORB和Superpoint算法效果较好，这说明基于关键点检测的特征匹配方法可提高类内和类间的区分性，但与非刚性集匹配方法DEMONS相比还差一些。在非刚性集匹配中可以看到DEMONS具有最好的性能，这说明非刚性集匹配方法用于机载下视大尺度形变目标定位具有重要意义。而LDDMM方法和ICP方法没有更好的性能，CPD具有最差的性能，MICDM具有更高的类内和类间的可区分性。为了更好的展现本发明方法在机载下视目标定位方法中的性能，本发明在验证数据集中将建议方法MICDM与现有集匹配目标定位方法进行比较分析，通过图15的ROC曲线描述了不同点匹配方法在目标定位应用中的性能，在验证数据集中，MICDM方法的AUC值具有最高准确率，准确率比其他方法高4％-22％，这也验证了MICDM集匹配方法在卫星图像导引的机载下视目标定位任务中具有优势。
表4固定尺度核和自适应多尺度核微分同胚性能比较
| 方法 | RMSE-DI | 方法 | RMSE-DI |
| SIFT | 0.4815 | Superpoint | 0.3525 |
| ORB | 0.3977 | DEMMONS | 0.5218 |
| LDDMM | 0.1044 | ICP | 0.3180 |
| ICP | 0.0407 | MICDM | 0.3958 |
本发明的上述算例仅为详细地说明本发明的计算模型和计算流程，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。
Claims (10)
1.基于概率统计微分同胚集匹配的机载下视目标图像定位方法，其特征在于，所述方法具体包括以下步骤：
步骤一、确定由卫星目标图像和机载下视参考图像的一致性点对组成的集合；
步骤二、采用概率混合模型对步骤一中获得的集合进行划分，获得划分后的各个子集；
步骤三、分别确定出每个子集对应的微分同胚变换模型；
步骤四、将各个子集对应的微分同胚变换模型组合选取出最优的微分同胚变换模型，再根据最优微分同胚变换模型确定卫星目标图像在机载下视参考图像上的位置。
2.根据权利要求1所述的基于概率统计微分同胚集匹配的机载下视目标图像定位方法，其特征在于，所述步骤一中采用的是SIFT关键点检测方法。
3.根据权利要求2所述的基于概率统计微分同胚集匹配的机载下视目标图像定位方法，其特征在于，所述步骤二中采用的概率混合模型为高斯混合分布或学生t混合分布。
4.根据权利要求3所述的基于概率统计微分同胚集匹配的机载下视目标图像定位方法，其特征在于，所述高斯混合分布的概率定义为：
其中，p(x)为高斯混合分布的概率，x为一致性关键点对的位置向量，ηi为第i个分类的概率，k为分类的个数；
f(x|μi，∑i)的定义如下：
其中，μi代表第i个分类中的点集位置的均值，d代表数据维度，∑i代表第i个分类中的点集的协方差矩阵，上角标T代表转置，上角标-1代表矩阵的逆，det(∑i)是矩阵∑i的行列式的值。
5.根据权利要求3所述的基于概率统计微分同胚集匹配的机载下视目标图像定位方法，其特征在于，所述学生t混合分布的概率定义为：
其中，p(x)为学生t混合分布的概率，x为一致性关键点对的位置向量，ηi为第i个分类的概率，k为分类的个数；
f(x|μi，∑i，vi)的定义如下：
其中，d代表数据维度，vi代表第i个分类中采样数据的自由度，∑i代表第i个分类中的点集的协方差矩阵，上角标T代表转置，μi代表第i个分类中的点集位置的均值，Γ代表伽马分布。
6.根据权利要求4或5所述的基于概率统计微分同胚集匹配的机载下视目标图像定位方法，其特征在于，所述分类的个数k的取值为3。
7.根据权利要求6所述的基于概率统计微分同胚集匹配的机载下视目标图像定位方法，其特征在于，所述步骤三中，确定每个子集对应的微分同胚变换模型采用的是微分同胚集匹配方法，且每个子集对应的尺度核大小通过自适应调整获得，自适应调整的方法为：
假设第m个子集中有N个元素，即第m个子集中包含N个一致性点对，则第m个子集的尺度核大小σm为：
σn＝σ0·λn
其中，λn是第n个一致性点对的局部尺度因子，σ0为初始尺度；
其中，{x1，x2，...，xN}为目标图像在第m个子集中的一致性点集，
为xn的核密度估计；
其中，K(·)代表半正定核函数，{y1，y2，...，yN}为参考图像中与{x1，x2，...，xN}对应的一致性点集，R代表参考图像中的点集数据；
同理，分别得到每个子集的尺度核大小。
8.根据权利要求7所述的基于概率统计微分同胚集匹配的机载下视目标图像定位方法，其特征在于，所述初始尺度采用MISE方法获得。
9.根据权利要求8所述的基于概率统计微分同胚集匹配的机载下视目标图像定位方法，其特征在于，所述步骤四中，将各个子集对应的微分同胚变换模型组合选取出最优的微分同胚变换模型，其具体过程为：
根据目标图像T、参考图像R和微分同胚变换模型分别获得每个子集对应的相似性评价值，将最大的相似性评价值所对应的微分同胚变换模型作为最优的微分同胚变换模型。
10.根据权利要求9所述的基于概率统计微分同胚集匹配的机载下视目标图像定位方法，其特征在于，所述相似性评价值的计算方法为：
其中，
为相似性评价值，
为微分同胚变换模型，ΩX是R和
的交叉区域，|ΩX|是交叉区域内一致性点的个数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210203980.XA CN114565861B (zh) | 2022-03-02 | 2022-03-02 | 基于概率统计微分同胚集匹配的机载下视目标图像定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210203980.XA CN114565861B (zh) | 2022-03-02 | 2022-03-02 | 基于概率统计微分同胚集匹配的机载下视目标图像定位方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114565861A true CN114565861A (zh) | 2022-05-31 |
| CN114565861B CN114565861B (zh) | 2024-04-30 |
Family
ID=81717876
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210203980.XA Active CN114565861B (zh) | 2022-03-02 | 2022-03-02 | 基于概率统计微分同胚集匹配的机载下视目标图像定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114565861B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115546521A (zh) * | 2022-11-07 | 2022-12-30 | 佳木斯大学 | 基于关键点响应约束的点匹配方法 |
| CN117078985A (zh) * | 2023-10-17 | 2023-11-17 | 之江实验室 | 一种景象匹配方法、装置、存储介质及电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060217925A1 (en) * | 2005-03-23 | 2006-09-28 | Taron Maxime G | Methods for entity identification |
| US20140074768A1 (en) * | 2012-09-12 | 2014-03-13 | Numerica Corporation | Methods and systems for a track of an object in a multi-dimensional space |
| CN104091337A (zh) * | 2014-07-11 | 2014-10-08 | 北京工业大学 | 一种基于PCA及微分同胚Demons的变形医学图像配准方法 |
| US20160012592A1 (en) * | 2013-03-15 | 2016-01-14 | The University Of North Carolina At Chapel Hill | Methods, systems, and computer readable media for real-time 2d/3d deformable registration using metric learning |
| CN109508674A (zh) * | 2018-11-13 | 2019-03-22 | 佳木斯大学 | 基于区域划分的机载下视异构图像匹配方法 |
-
2022
- 2022-03-02 CN CN202210203980.XA patent/CN114565861B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060217925A1 (en) * | 2005-03-23 | 2006-09-28 | Taron Maxime G | Methods for entity identification |
| US20140074768A1 (en) * | 2012-09-12 | 2014-03-13 | Numerica Corporation | Methods and systems for a track of an object in a multi-dimensional space |
| US20160012592A1 (en) * | 2013-03-15 | 2016-01-14 | The University Of North Carolina At Chapel Hill | Methods, systems, and computer readable media for real-time 2d/3d deformable registration using metric learning |
| CN104091337A (zh) * | 2014-07-11 | 2014-10-08 | 北京工业大学 | 一种基于PCA及微分同胚Demons的变形医学图像配准方法 |
| CN109508674A (zh) * | 2018-11-13 | 2019-03-22 | 佳木斯大学 | 基于区域划分的机载下视异构图像匹配方法 |
Non-Patent Citations (4)
| Title |
|---|
| JOAN GLAUNES 等: "Diffeomorphic matching of distributions: A new approach for unlabelled point-sets and sub-manifolds matching", IEEE, 31 December 2004 (2004-12-31) * |
| 刘晓敏 等: "非参数邻域统计的无监督纹理分割方法", 佳木斯大学学报(自然科学版), no. 01, 15 January 2008 (2008-01-15) * |
| 李明 等: "利用PC-SIFT的多源光学卫星影像自动配准方法", 武汉大学学报(信息科学版), no. 01, 5 January 2015 (2015-01-05) * |
| 赵键: "点模式匹配算法研究", 中国优秀硕士学位论文, no. 10, 15 October 2014 (2014-10-15) * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115546521A (zh) * | 2022-11-07 | 2022-12-30 | 佳木斯大学 | 基于关键点响应约束的点匹配方法 |
| CN115546521B (zh) * | 2022-11-07 | 2024-05-07 | 佳木斯大学 | 基于关键点响应约束的点匹配方法 |
| CN117078985A (zh) * | 2023-10-17 | 2023-11-17 | 之江实验室 | 一种景象匹配方法、装置、存储介质及电子设备 |
| CN117078985B (zh) * | 2023-10-17 | 2024-01-30 | 之江实验室 | 一种景象匹配方法、装置、存储介质及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114565861B (zh) | 2024-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109118564B (zh) | 一种基于融合体素的三维点云标记方法和装置 | |
| CN114565861A (zh) | 基于概率统计微分同胚集匹配的机载下视目标图像定位方法 | |
| CN111368769B (zh) | 基于改进锚点框生成模型的船舶多目标检测方法 | |
| CN110490913B (zh) | 基于角点与单线段编组的特征描述算子进行影像匹配方法 | |
| CN107491734B (zh) | 基于多核融合与空间Wishart LapSVM的半监督极化SAR图像分类方法 | |
| CN114526739A (zh) | 移动机器人室内重定位方法、计算机装置及产品 | |
| CN110704652A (zh) | 基于多重注意力机制的车辆图像细粒度检索方法及装置 | |
| CN112883850A (zh) | 一种基于卷积神经网络的多视角空天遥感图像匹配方法 | |
| CN106250918B (zh) | 一种基于改进的推土距离的混合高斯模型匹配方法 | |
| CN110688440B (zh) | 一种适用于子地图重叠部分较少的地图融合方法 | |
| CN110598636B (zh) | 一种基于特征迁移的舰船目标识别方法 | |
| CN109508674B (zh) | 基于区域划分的机载下视异构图像匹配方法 | |
| CN115311502A (zh) | 基于多尺度双流架构的遥感图像小样本场景分类方法 | |
| CN107564008A (zh) | 基于关键像素模糊聚类的快速sar图像分割方法 | |
| CN108509835B (zh) | 基于DFIC超像素的PolSAR图像地物分类方法 | |
| Yan et al. | Terrain matching positioning method for underwater vehicles based on curvature discrimination | |
| CN107423771B (zh) | 一种两时相遥感图像变化检测方法 | |
| CN114358166A (zh) | 一种基于自适应k均值聚类的多目标定位方法 | |
| CN110310294B (zh) | 一种利用自适应分割面模糊c均值聚类的点云分割方法 | |
| CN115511853A (zh) | 基于方向可变特征的遥感船舶检测与识别方法 | |
| CN115393631A (zh) | 基于贝叶斯层图卷积神经网络的高光谱图像分类方法 | |
| CN113724325B (zh) | 一种基于图卷积网络的多场景单目相机位姿回归方法 | |
| Taştan et al. | Robust spectral clustering: A locality preserving feature mapping based on M-estimation | |
| CN115184934B (zh) | Sar图像成像投影平面提取方法 | |
| Yang et al. | AAE-Dpeak-SC: A novel unsupervised clustering method for space target ISAR images based on adversarial autoencoder and density peak-spectral clustering |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |