CN115953600A - 基于多方向滤波通道特征的多模态影像匹配方法及系统 - Google Patents

基于多方向滤波通道特征的多模态影像匹配方法及系统 Download PDF

Info

Publication number
CN115953600A
CN115953600A CN202310215229.6A CN202310215229A CN115953600A CN 115953600 A CN115953600 A CN 115953600A CN 202310215229 A CN202310215229 A CN 202310215229A CN 115953600 A CN115953600 A CN 115953600A
Authority
CN
China
Prior art keywords
scale
feature
image
characteristic
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310215229.6A
Other languages
English (en)
Other versions
CN115953600B (zh
Inventor
侯卓鲁
刘玉轩
孙钰珊
艾海滨
张力
韩晓霞
王保前
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chinese Academy of Surveying and Mapping
Original Assignee
Chinese Academy of Surveying and Mapping
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chinese Academy of Surveying and Mapping filed Critical Chinese Academy of Surveying and Mapping
Priority to CN202310215229.6A priority Critical patent/CN115953600B/zh
Publication of CN115953600A publication Critical patent/CN115953600A/zh
Application granted granted Critical
Publication of CN115953600B publication Critical patent/CN115953600B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了基于多方向滤波通道特征的多模态影像匹配方法及系统，通过相位一致性模型，利用多模态影像中的显著特征，提高对噪声的抵抗性和对不同模态影像的通用性，充分利用多尺度多方向Log‑Gabor的滤波值，构建了一种新的特征描述子，体现在采样点分布以及特征汇聚（指特征向量的形成方式）策略，在多模态图像匹配更鲁棒，针对多模态存在的旋转问题，设计了一种更为鲁棒的主方向估计方法，能够抵抗多模态图像的旋转问题，针对多模态存在的尺度问题，设计了一种快速鲁棒的尺度估计方法，不需要重复构建影像金字塔，能够抵抗多模态图像的尺度问题。

Description

基于多方向滤波通道特征的多模态影像匹配方法及系统
技术领域
本发明属于影像处理技术领域，具体涉及基于多方向滤波通道特征的多模态影像匹配方法及系统。
背景技术
在近年来的各项重大灾害应急中，摄影测量与遥感技术凭借其灵活与多种类等优势，能在第一时间获取灾区高分辨率影像和地形图，为抢险救灾、设施建设、城市规划等各方面提供有力支撑。在其众多应用中，影像匹配是一个核心基础过程，是这些应用得以实施的前提与保障。以匹配为基础的相关应用不仅包括摄影测量领域的空中三角测量，还包括定位导航领域的视觉导航、机器人领域的路径规划、智能交通行业的目标跟踪等。影像匹配问题的发展能够有效促进这些相关领域中重要问题的研究进展。
与单模态的图像相比，多模态图像能够提供被摄物体的不同特征，弥补单模态数图像的缺陷。但是多模态图像之间存在严重的非线性辐射畸变，这一问题使得多模态图像匹配非常困难，并且由于传感器拍摄位置以及时间的差异，在实际应用的过程中，多模态图像之间存在一定程度的旋转畸变以及尺度畸变，进一步加大匹配的难度；目前的多模态影像匹配的方法主要可分为：基于特征的方法、基于区域的方法和基于深度学习的方法三类：
1)从参考影像和目标影像中同时提取显著特征，基于一定的策略为特征生成描述向量，进而完成影像匹配。
2)基于灰度信息或其它特征度量从参考影像中提取局部窗口影像，将其作为固定模板在目标影像上的搜索区域中滑动，并基于一定的相似性测度计算搜索区域中每个像素的得分，进而完成影像匹配。
3)通过设计深度神经网络，可以从影像中自动学习到显著特征、旋转角、尺度差等信息，并可进一步将多模态影像转化为同模态特征图，进而使用基于特征或基于区域的方式完成影像匹配。
但是上述三类多模态影像匹配还存在以下缺陷：
1)当前基于特征的多模态匹配方法的存在鲁棒性低，精度低的问题。
2)当前基于特征的多模态影像匹配方法未能给出合适的特征点主方向，对旋转角的抗性差。
3)当前基于特征的多模态影像匹配方法不能识别特征的尺度，对尺度变化的抗性差；
基于此我们提出了基于多方向滤波通道特征的多模态影像匹配方法及系统解决上述问题。
发明内容
针对上述现有技术的不足，本申请提供基于多方向滤波通道特征的多模态影像匹配方法及系统。
第一方面本申请提出了基于多方向滤波通道特征的多模态影像匹配方法，包括以下步骤：
从多模态影像库中获取参考影像和目标影像；
对所述参考影像和所述目标影像进行特征提取步骤和特征描述步骤：
所述特征提取步骤包括：
构建相位一致性模型，通过所述相位一致性模型构建所述参考影像和所述目标影像的PC图并进行归一化处理后，采用FAST特征检测算法检测并提取各影像的特征点；
所述特征描述步骤包括：
通过多尺度多方向的Log-Gabor滤波器对所述参考影像和所述目标影像进行处理，构建多模态匹配描述子，基于特征点确定采样点空间分布并进行尺度估计，结合采样点空间分布和尺度估计结果进行特征汇聚从而形成尺度不变的特征描述子，对所述尺度不变的特征描述子进行主方向估计，构建具有尺度-旋转不变性的特征描述子；
完成所述特征提取步骤和所述特征描述步骤后，使用最近欧式距离进行特征点匹配，随后通过随机样本一致性算法按照相似变换模型进行粗差剔除，得到同名点对集合。
在一些实施例的一些可选的实现方式中，所述构建相位一致性模型，通过所述相位一致性模型构建所述参考影像和所述目标影像的PC图并进行归一化处理后，采用FAST特征检测算法检测并提取各影像的特征点，包括：
基于Log-Gabor滤波器的相位一致性模型表达如下：
Figure SMS_1
其中，
Figure SMS_2
和
Figure SMS_5
分别表示log-Gabor小波的尺度和方向；
Figure SMS_6
是一个二维频率加权函数；
Figure SMS_4
表示由奇对称和偶对称的log-Gabor滤波器对影像的卷积结果计算得到的幅值；
Figure SMS_7
是一个二维相位偏差函数；
Figure SMS_8
是一个引入的误差分量；符号
Figure SMS_9
表示当其中的值为正数时取自身，当其中的值为负数时则取0；
Figure SMS_3
是一个避免分母为0的小数；
PC图归一化公式如下：
Figure SMS_10
对PC图进行归一化后得到NPC图，使用所述FAST特征检测算法进行特征检测并提取特征点。
在一些实施例的一些可选的实现方式中，所述通过多尺度多方向的Log-Gabor滤波器对所述参考影像和所述目标影像进行处理，包括：构建LG特征，所述构建LG特征的计算方式如下：
Figure SMS_11
其中LG特征的尺寸是W*H*O，其中W是影像的宽，H是影像的高，O是Log-Gabor滤波器的方向数。
在一些实施例的一些可选的实现方式中，所述基于特征点确定采样点空间分布并进行尺度估计，尺度估计包括：
通过基于LG的最大尺度序列图来进行尺度估计。；
构建最大尺度序列图的公式为：
Figure SMS_12
Figure SMS_13
其中
Figure SMS_14
代表了特征点（x,y）的尺度值，其值等于多尺度下多方向的LG卷积和的最大值对应的序列，
Figure SMS_15
代表NS尺度下多个方向的LG卷积值的和。
在一些实施例的一些可选的实现方式中，所述基于特征点确定采样点空间分布并进行尺度估计，基于特征点确定采样点空间分布包括：
以所述特征点为中心，建立三个不同半径的同心圆；
所述同心圆的半径的计算方式为：
Figure SMS_16
其中i代表同心圆的圈数，
Figure SMS_17
代表第i个同心圆的半径，
Figure SMS_18
初始值为8，
Figure SMS_19
是多尺度Log-Gabor连续滤波器的尺度因子，
Figure SMS_20
是处于（x,y）的特征点的尺度；
将每个所述同心圆的30度为单元划分为12个方向，并且在每个所述同心圆的12个方向上各确定一个采样点；
将确定好的采样点与作为特征点的采样点相加，完成采样点空间分布的确定。
在一些实施例的一些可选的实现方式中，所述结合采样点空间分布和尺度估计结果进行特征汇聚从而形成尺度不变的特征描述子，特征汇聚包括：
采用高斯核卷积的方式构建特征描述子，每个采样点的特征向量构建方式如下：
高斯核的尺寸的计算方式为：
Figure SMS_21
Figure SMS_22
其中
Figure SMS_23
代表第i个的同心圆的半径，
Figure SMS_24
代表第i个同心圆的高斯核的尺寸，i代表同心圆的圈数，
Figure SMS_25
代表尺寸为
Figure SMS_26
的高斯卷积核，
Figure SMS_27
代表第i个同心圆的第j个方向上的采样点的特征向量，N代表以采样点中心，
Figure SMS_28
为半径的邻域。
在一些实施例的一些可选的实现方式中所述对所述尺度不变的特征描述子进行主方向估计，构建具有尺度-旋转不变性的特征描述子，主方向估计步骤包括：
将采样点空间分布的中心的特征点去除；
将所述采样点按照方向分成12组，每组采样点代表一个方向，其中每组有3个采样点，因此每个方向上的特征向量是18维（3*6*1）；
通过计算12个方向的特征向量的模长，并将其模长最大的方向作为主方向；
构建旋转-尺度不变描述子：以主方向为初始方向，按照顺时针顺序，依次将12个方向的特征向量（3*6*1）进行拼接形成一个216维的特征向量，最后拼接特征点处的特征向量（6*1）得到一个222（12*3*6*1+6*1）维特征向量。
第二方面本申请提出基于多方向滤波通道特征的多模态影像匹配系统，包括采样模块、特征提取模块、特征描述模块以及同名点对集合获取模块；
所述采样模块，用于从多模态影像库中获取参考影像和目标影像；
所述特征提取模块，用于构建相位一致性模型，通过所述相位一致性模型构建所述参考影像和所述目标影像的PC图并进行归一化处理后，采用FAST特征检测算法检测并提取各影像的特征点；
所述特征描述模块，用于通过多尺度多方向的Log-Gabor滤波器对所述参考影像和所述目标影像进行处理，构建多模态匹配描述子，基于特征点确定采样点空间分布并进行尺度估计，结合采样点空间分布和尺度估计结果进行特征汇聚从而形成尺度不变的特征描述子，对所述尺度不变的特征描述子进行主方向估计，构建具有尺度-旋转不变性的特征描述子；
所述同名点对集合获取模块，用于完成所述特征提取步骤和所述特征描述步骤后，使用最近欧式距离进行特征点匹配，随后通过随机样本一致性算法按照相似变换模型进行粗差剔除，得到同名点对集合。
第三方面本申请提出一种电子设备，包括存储器、处理器以及存储在所述存储器中并且可以在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
第四方面本申请提出一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述方法的步骤。
本发明的有益效果：
1)通过相位一致性模型，利用多模态影像中的显著特征，提高对噪声的抵抗性和对不同模态影像的通用性。
2)充分利用多尺度多方向Log-Gabor的滤波值，构建了一种新的特征描述子，体现在采样点分布以及特征汇聚策略，在多模态图像匹配更鲁棒。
3)针对多模态存在的旋转问题，设计了一种更为鲁棒的主方向估计方法，能够抵抗多模态图像的旋转问题。
4)针对多模态存在的尺度问题，设计了一种快速鲁棒的尺度估计方法，不需要重复构建影像金字塔，能够抵抗多模态图像的尺度问题。
附图说明
图1为本发明的总体流程图。
图2为采样点空间分布示意图。
图3为单个采样点特征汇聚示意图。
图4为本发明的系统原理框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制；相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
第一方面本申请提出了基于多方向滤波通道特征的多模态影像匹配方法，如图1所示，包括步骤S100-S400：
S100：从多模态影像库中获取参考影像和目标影像；
其中，对参考影像和目标影像进行直接采样，无需进行预处理。
对所述参考影像和所述目标影像进行特征提取步骤和特征描述步骤：
所述特征提取步骤包括：
S200：构建相位一致性模型，通过所述相位一致性模型构建所述参考影像和所述目标影像的PC图并进行归一化处理后，采用FAST特征检测算法检测并提取各影像的特征点；
在一些实施例的一些可选的实现方式中，所述构建相位一致性模型，通过所述相位一致性模型构建所述参考影像和所述目标影像的PC图并进行归一化处理后，采用FAST特征检测算法检测并提取各影像的特征点，包括：
Figure SMS_29
基于Log-Gabor滤波器的相位一致性模型表达如下：
其中，
Figure SMS_31
和
Figure SMS_35
分别表示log-Gabor小波的尺度和方向；
Figure SMS_37
是一个二维频率加权函数；
Figure SMS_32
表示由奇对称和偶对称的log-Gabor滤波器对影像的卷积结果计算得到的幅值；
Figure SMS_33
是一个二维相位偏差函数；
Figure SMS_34
是一个引入的误差分量；符号
Figure SMS_36
表示当其中的值为正数时取自身，当其中的值为负数时则取0；
Figure SMS_30
是一个避免分母为0的小数；
借助相位一致性（PC）技术，使用NPC-FAST特征检测算法检测特征点，以抵抗非线性的辐射畸变对特征检测的影响，为了进一步削弱非线性辐射畸变对特征检测的影像，对PC图进行归一化后使用NPC-FAST特征检测算法。
PC图归一化公式如下：
Figure SMS_38
对PC图进行归一化后得到NPC图，使用所述FAST特征检测算法进行特征检测并提取特征点。
所述特征描述步骤包括：
S300：通过多尺度多方向的Log-Gabor滤波器对所述参考影像和所述目标影像进行处理，构建多模态匹配描述子，基于特征点确定采样点空间分布并进行尺度估计，结合采样点空间分布和尺度估计结果进行特征汇聚从而形成尺度不变的特征描述子，对所述尺度不变的特征描述子进行主方向估计，构建具有尺度-旋转不变性的特征描述子；
在一些实施例的一些可选的实现方式中，所述通过多尺度多方向的LG滤波器对所述参考影像和所述目标影像进行处理，构建多模态匹配描述子，包括：
多模态之间存在严重的辐射畸变，给特征匹配造成了很大的困难，为了能够获取辐射不变的结构特征，我们使用了多尺度多方向的Log-Gabor滤波器，所述多模态匹配描述子的计算方式如下：
Figure SMS_39
其中LG特征的尺寸是W*H*O，其中W是影像的宽，H是影像的高，O是Log-Gabor滤波器的方向，为了抵抗辐射畸变，所以上述过程是为了在方向维度上进行归一化。
在一些实施例的一些可选的实现方式中，所述基于特征点确定采样点空间分布并进行尺度估计，尺度估计包括：
通过基于LG的最大尺度序列图来进行尺度估计，所述尺度估计的特征尺度的影响因素包括：基于特征点建立的采样点空间分布的同心圆半径以及特征汇聚的求和区域的大小；
其中，尺度是限制图像匹配应用场景的一个重要因素，传统的尺度不变性是通过检测尺度空间的极值点，由于创建尺度空间的计算复杂度高。但是我们发现现有的算法忽视了Log-Gabor多尺度滤波值的信息，而多尺度的滤波值能够反映特征的尺度信息，因此提出一种基于Log-Gabor的最大尺度序列图（MSIM）来尺度估计方法，在本方法中，其特征尺度主要和基于特征点建立的采样点空间分布的同心圆半径有关，特征汇聚的求和区域的大小有关。
构建最大尺度序列图的公式为：
Figure SMS_40
Figure SMS_41
其中
Figure SMS_42
代表了特征点（x,y）的尺度值，其值等于多尺度下多方向的LG卷积和的最大值对应的序列，
Figure SMS_43
代表NS尺度下多个方向的LG卷积值的和；
在一些实施例的一些可选的实现方式中，所述基于特征点确定采样点空间分布并进行尺度估计，基于特征点确定采样点空间分布包括：
如图2所示，以所述特征点为中心，建立三个不同半径的同心圆；
将每个所述同心圆的30度为单元划分为12个方向，并且在每个所述同心圆的12个方向上各确定一个采样点；
将确定好的采样点与作为特征点的采样点相加，完成采样点空间分布的确定，本实施例中每个特征点有37（12*3+1）个采样点。
在一些实施例的一些可选的实现方式中，所述结合采样点空间分布和尺度估计结果进行特征汇聚从而形成尺度不变的特征描述子，特征汇聚包括：
采用高斯核卷积的方式进行特征汇聚，
高斯核尺寸的计算方式为：
Figure SMS_44
其中
Figure SMS_45
代表第i个的同心圆的半径，
Figure SMS_46
代表第i个同心圆的高斯核的尺寸，i代表同心圆的圈数。
计算每个采样点的特征向量：
Figure SMS_47
Figure SMS_48
其中，
Figure SMS_49
代表尺寸为
Figure SMS_50
的高斯卷积核，
Figure SMS_51
代表第i个同心圆的第j个方向上的采样点的特征向量（6*1），N代表以采样点中心，
Figure SMS_52
为半径的邻域。
进一步的，对于归一化后的三维LG特征，特征汇聚采用高斯核卷积的方式，如图3所示，每个采样点可以获取一个6维的特征向量，每一维都是对应的LG特征进行高斯求和得到的，对于距离中心点（特征点）远的采样点，使用较大的求和区域，距离近的区域使用较小的求和区域，为了提高计算速度，可以对LG特征进行高斯滤波
Figure SMS_53
（不同尺寸），然后根据高斯核的尺寸取相应的
Figure SMS_54
特征卷积值。
在一些实施例的一些可选的实现方式中，所述对所述尺度不变的特征描述子进行主方向估计，构建具有尺度-旋转不变性的特征描述子，主方向估计步骤包括：
将采样点空间分布的中心的特征点去除；
将所述采样点按照方向分成12组，每组采样点代表一个方向，其中每组有3个采样点，因此每个方向上的特征向量是18维（3*6*1）；
通过计算12个方向的特征向量的模长，并将其模长最大的方向作为主方向；
构建旋转-尺度不变描述子：以主方向为初始方向，按照顺时针顺序，依次将12个方向的特征向量（3*6*1）进行拼接形成一个216维的特征向量，最后拼接特征点处的特征向量（6*1）得到一个222（12*3*6*1+6*1）维特征向量。
进一步的，模长信息是将六个方向的信息进行了融合，所以能够抵抗图像旋转，将采样点特征向量的模长最大代表的方向作为主方向，由于LG特征的方向顺序对于旋转是非常敏感的，当确定了特征点的主方向后，需要改变采样点邻域的LG特征顺序来消除旋转造成的影响，最终确定采样点的特征向量在描述子的位置，按照上述主方向估计的分组方法，将采样点共分为12组，将主方向设为初始方向，将每组的采样点的特征向量依次拼接形成216维向量，最后将中心点的特征向量放在最后，形成222维的特征向量。
S400：完成所述特征提取步骤和所述特征描述步骤后，使用最近欧式距离进行特征点匹配，随后通过随机样本一致性算法按照相似变换模型进行粗差剔除，得到同名点对集合。
其中，特征点匹配：特征描述子是一个向量，我们使用欧式距离来衡量特征点的相似度，然后在目标影像的特征向量集合的某一个特征向量与参考影像的特征向量集合的所有特征向量之间的欧氏距离，并将其欧氏距离最近的一个作为匹配点。随后使用随机样本一致性算法（RANSAC）或其它方法按照相似变换模型进行粗差剔除，得到同名点对集合。
本发明首先利用相位一致性模型来抵抗非线性辐射畸变，提高对多模态特征的检测成功率；其次，计算Log-Gabor多尺度多方向的卷积值，使用Log-Gabor卷积结果的模长信息作为主方向估计的基础信息，实现[0°，360°）范围内的旋转不变性，通过使用Log-Gabor多尺度信息，进行快速鲁棒的尺度估计，实现了1.6-2，1.6-1，1.60，1.61，1.62五个尺度内的尺度不变性，最后使用仿人类视觉特征的空间采样点空间分布，并采用高斯卷积的快速特征汇聚方式形成特征描述子，实现了快速鲁棒的多模态图像匹配。
第二方面本申请提出基于多方向滤波通道特征的多模态影像匹配系统，如图4所示，包括采样模块、特征提取模块、特征描述模块以及同名点对集合获取模块；
所述采样模块，用于从多模态影像库中获取参考影像和目标影像；
所述特征提取模块，用于构建相位一致性模型，通过所述相位一致性模型构建所述参考影像和所述目标影像的PC图并进行归一化处理后，采用FAST特征检测算法检测并提取各影像的特征点；
所述特征描述模块，用于通过多尺度多方向的Log-Gabor滤波器对所述参考影像和所述目标影像进行处理，构建多模态匹配描述子，基于特征点确定采样点空间分布并进行尺度估计，结合采样点空间分布和尺度估计结果进行特征汇聚从而形成尺度不变的特征描述子，对所述尺度不变的特征描述子进行主方向估计，构建具有尺度-旋转不变性的特征描述子；
所述同名点对集合获取模块，用于完成所述特征提取步骤和所述特征描述步骤后，使用最近欧式距离进行特征点匹配，随后通过随机样本一致性算法按照相似变换模型进行粗差剔除，得到同名点对集合。
第三方面本申请提出一种电子设备，包括存储器、处理器以及存储在所述存储器中并且可以在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
第四方面本申请提出一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述方法的步骤；计算机程序可以存储在计算机可读存储介质中，该计算机程序在被处理器执行时，可以实现上述各个方法实施例的步骤。计算机程序可以包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如，在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上仅是本发明优选的实施方式，需指出的是，对于本领域技术人员在不脱离本技术方案的前提下，作出的若干变形和改进的技术方案应同样视为落入本权利要求书要求保护的范围。

Claims (10)

1.基于多方向滤波通道特征的多模态影像匹配方法，其特征在于：包括以下步骤：
从多模态影像库中获取参考影像和目标影像；
对所述参考影像和所述目标影像进行特征提取步骤和特征描述步骤：
所述特征提取步骤包括：
构建相位一致性模型，通过所述相位一致性模型构建所述参考影像和所述目标影像的PC图并进行归一化处理后，采用FAST特征检测算法检测并提取各影像的特征点；
所述特征描述步骤包括：
通过多尺度多方向的Log-Gabor滤波器对所述参考影像和所述目标影像进行处理，构建多模态匹配描述子，基于特征点确定采样点空间分布并进行尺度估计，结合采样点空间分布和尺度估计结果进行特征汇聚从而形成尺度不变的特征描述子，对所述尺度不变的特征描述子进行主方向估计，构建具有尺度-旋转不变性的特征描述子；
完成所述特征提取步骤和所述特征描述步骤后，使用最近欧式距离进行特征点匹配，随后通过随机样本一致性算法按照相似变换模型进行粗差剔除，得到同名点对集合。
2.根据权利要求1所述的方法，其特征在于：所述构建相位一致性模型，通过所述相位一致性模型构建所述参考影像和所述目标影像的PC图并进行归一化处理后，采用FAST特征检测算法检测并提取各影像的特征点，包括：
基于Log-Gabor滤波器的相位一致性模型表达如下：
Figure QLYQS_1
其中，
Figure QLYQS_8
和
Figure QLYQS_9
分别表示log-Gabor小波的尺度和方向；
Figure QLYQS_2
是一个二维频率加权函数；
Figure QLYQS_4
表示由奇对称和偶对称的log-Gabor滤波器对影像的卷积结果计算得到的幅值；
Figure QLYQS_6
是一个二维相位偏差函数；
Figure QLYQS_7
是一个引入的误差分量；符号
Figure QLYQS_3
表示当其中的值为正数时取自身，当其中的值为负数时则取0；
Figure QLYQS_5
是一个避免分母为0的小数；
PC图归一化公式如下：
Figure QLYQS_10
对PC图进行归一化后得到NPC图，使用所述FAST特征检测算法进行特征检测并提取特征点。
3.根据权利要求2所述的方法，其特征在于：所述通过多尺度多方向的Log-Gabor滤波器对所述参考影像和所述目标影像进行处理，包括：构建LG特征，所述构建LG特征的计算方式如下：
Figure QLYQS_11
其中LG特征的尺寸是W*H*O，其中W是影像的宽，H是影像的高，O是Log-Gabor滤波器的方向数。
4.根据权利要求3所述的方法，其特征在于：所述基于特征点确定采样点空间分布并进行尺度估计，尺度估计包括：
通过基于LG的最大尺度序列图来进行尺度估计；
构建最大尺度序列图的公式为：
Figure QLYQS_12
Figure QLYQS_13
其中
Figure QLYQS_14
代表了特征点（x,y）的尺度值，其值等于多尺度下多方向的LG卷积和的最大值对应的序列，
Figure QLYQS_15
代表NS尺度下多个方向的LG卷积值的和。
5.根据权利要求4所述的方法，其特征在于：所述基于特征点确定采样点空间分布并进行尺度估计，基于特征点确定采样点空间分布包括：
以所述特征点为中心，建立三个不同半径的同心圆；
所述同心圆的半径的计算方式为：
Figure QLYQS_16
其中i代表同心圆的圈数，
Figure QLYQS_17
代表第i个同心圆的半径，
Figure QLYQS_18
初始值为8，
Figure QLYQS_19
是多尺度Log-Gabor连续滤波器的尺度因子，
Figure QLYQS_20
是处于（x,y）的特征点的尺度；
将每个所述同心圆的30度为单元划分为12个方向，并且在每个所述同心圆的12个方向上各确定一个采样点；
将确定好的采样点与作为特征点的采样点相加，完成采样点空间分布的确定。
6.根据权利要求5所述的方法，其特征在于：所述结合采样点空间分布和尺度估计结果进行特征汇聚从而形成尺度不变的特征描述子，特征汇聚包括：
采用高斯核卷积的方式构建特征描述子，每个采样点的特征向量构建方式如下：
高斯核的尺寸的计算方式为：
Figure QLYQS_22
Figure QLYQS_24
其中
Figure QLYQS_26
代表第i个的同心圆的半径，
Figure QLYQS_23
代表第i个同心圆的高斯核的尺寸，i代表同心圆的圈数，
Figure QLYQS_25
代表尺寸为
Figure QLYQS_27
的高斯卷积核，
Figure QLYQS_28
代表第i个同心圆的第j个方向上的采样点的特征向量，N代表以采样点中心，
Figure QLYQS_21
为半径的邻域。
7.根据权利要求6所述的方法，其特征在于：所述对所述尺度不变的特征描述子进行主方向估计，构建具有尺度-旋转不变性的特征描述子，主方向估计步骤包括：
将采样点空间分布的中心的特征点去除；
将所述采样点按照方向分成12组，每组采样点代表一个方向，其中每组有3个采样点；
通过计算12个方向的采样点的特征向量的模长，并将模长最大的方向作为主方向；
构建旋转-尺度不变描述子：以主方向为初始方向，按照顺时针顺序，依次将12个方向的特征向量进行拼接形成一个216维的特征向量，最后拼接特征点处的特征向量得到一个222维特征向量。
8.基于多方向滤波通道特征的多模态影像匹配系统，其特征在于：包括采样模块、特征提取模块、特征描述模块以及同名点对集合获取模块；
所述采样模块，用于从多模态影像库中获取参考影像和目标影像；
所述特征提取模块，用于构建相位一致性模型，通过所述相位一致性模型构建所述参考影像和所述目标影像的PC图并进行归一化处理后，采用FAST特征检测算法检测并提取各影像的特征点；
所述特征描述模块，用于通过多尺度多方向的Log-Gabor滤波器对所述参考影像和所述目标影像进行处理，构建多模态匹配描述子，基于特征点确定采样点空间分布并进行尺度估计，结合采样点空间分布和尺度估计结果进行特征汇聚从而形成尺度不变的特征描述子，对所述尺度不变的特征描述子进行主方向估计，构建具有尺度-旋转不变性的特征描述子；
所述同名点对集合获取模块，用于完成特征提取步骤和特征描述步骤后，使用最近欧式距离进行特征点匹配，随后通过随机样本一致性算法按照相似变换模型进行粗差剔除，得到同名点对集合。
9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并且可以在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述方法的步骤。
CN202310215229.6A 2023-03-08 2023-03-08 基于多方向滤波通道特征的多模态影像匹配方法及系统 Active CN115953600B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310215229.6A CN115953600B (zh) 2023-03-08 2023-03-08 基于多方向滤波通道特征的多模态影像匹配方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310215229.6A CN115953600B (zh) 2023-03-08 2023-03-08 基于多方向滤波通道特征的多模态影像匹配方法及系统

Publications (2)

Publication Number Publication Date
CN115953600A true CN115953600A (zh) 2023-04-11
CN115953600B CN115953600B (zh) 2023-07-21

Family

ID=85891157

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310215229.6A Active CN115953600B (zh) 2023-03-08 2023-03-08 基于多方向滤波通道特征的多模态影像匹配方法及系统

Country Status (1)

Country Link
CN (1) CN115953600B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101251583A (zh) * 2007-02-19 2008-08-27 威斯康星校友研究基金会 局部化且高度约束的图像重构方法
US20200226413A1 (en) * 2017-08-31 2020-07-16 Southwest Jiaotong University Fast and robust multimodal remote sensing images matching method and system
CN114998522A (zh) * 2022-06-15 2022-09-02 中国测绘科学研究院 多视连续光场影像室内场景稠密点云准确提取方法及系统
CN115205558A (zh) * 2022-08-16 2022-10-18 中国测绘科学研究院 一种具有旋转和尺度不变性的多模态影像匹配方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101251583A (zh) * 2007-02-19 2008-08-27 威斯康星校友研究基金会 局部化且高度约束的图像重构方法
US20200226413A1 (en) * 2017-08-31 2020-07-16 Southwest Jiaotong University Fast and robust multimodal remote sensing images matching method and system
CN114998522A (zh) * 2022-06-15 2022-09-02 中国测绘科学研究院 多视连续光场影像室内场景稠密点云准确提取方法及系统
CN115205558A (zh) * 2022-08-16 2022-10-18 中国测绘科学研究院 一种具有旋转和尺度不变性的多模态影像匹配方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
叶沅鑫;慎利;陈敏;王继成;: "局部相位特征描述的多源遥感影像自动匹配", 武汉大学学报(信息科学版) *

Also Published As

Publication number Publication date
CN115953600B (zh) 2023-07-21

Similar Documents

Publication Publication Date Title
CN110097093B (zh) 一种异源图像精确匹配方法
CN111160337B (zh) 一种指针式仪表读数的自动识别方法、系统、介质及设备
CN102236794B (zh) 3d场景中3d对象的识别和姿态确定
CN114972459B (zh) 一种基于低维点云局部特征描述符的点云配准方法
CN112001955A (zh) 一种基于二维投影平面匹配约束的点云配准方法及系统
EP2534612B1 (en) Efficient scale-space extraction and description of interest points
CN101650784B (zh) 一种利用结构上下文特征进行图像匹配的方法
CN111798453A (zh) 用于无人驾驶辅助定位的点云配准方法及其系统
CN114677435A (zh) 一种点云全景融合要素提取方法和系统
CN108447092B (zh) 视觉定位标识物的方法及装置
CN115601407A (zh) 一种红外与可见光图像配准方法
CN110246165B (zh) 提高可见光图像与sar图像配准速度的方法及系统
CN112418250B (zh) 一种复杂3d点云的优化匹配方法
CN106780294B (zh) 一种基于特征描述符的圆弧匹配方法
CN115205558B (zh) 一种具有旋转和尺度不变性的多模态影像匹配方法及装置
CN115953600B (zh) 基于多方向滤波通道特征的多模态影像匹配方法及系统
CN117173437A (zh) 多维定向自相似特征的多模态遥感影像混合匹配方法和系统
Chen et al. An application of improved RANSAC algorithm in visual positioning
Wu et al. An accurate feature point matching algorithm for automatic remote sensing image registration
CN115861640A (zh) 一种基于orb和surf特征的快速图像匹配方法
Lyu et al. Research on the effect of image size on real-time performance of robot vision positioning
CN114972451A (zh) 一种基于旋转不变的SuperGlue匹配的遥感影像配准方法
CN113409369A (zh) 基于改进rift的多模遥感图像配准方法
Zhu et al. Robust and efficient method for matching features in omnidirectional images
Sales et al. 3D shape descriptor for objects recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant