CN115937540A - 基于Transformer编码器的图像匹配方法 - Google Patents

基于Transformer编码器的图像匹配方法 Download PDF

Info

Publication number
CN115937540A
CN115937540A CN202211608485.3A CN202211608485A CN115937540A CN 115937540 A CN115937540 A CN 115937540A CN 202211608485 A CN202211608485 A CN 202211608485A CN 115937540 A CN115937540 A CN 115937540A
Authority
CN
China
Prior art keywords
fine
grained
matching
feature
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211608485.3A
Other languages
English (en)
Inventor
孙琴
许涛
杨杭
王辉
喻婷
付煜翀
彭博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Telecommunication System Integration Co ltd
Original Assignee
Chongqing Telecommunication System Integration Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Telecommunication System Integration Co ltd filed Critical Chongqing Telecommunication System Integration Co ltd
Priority to CN202211608485.3A priority Critical patent/CN115937540A/zh
Publication of CN115937540A publication Critical patent/CN115937540A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明涉及图像识别领域，具体涉及一种基于Transformer编码器的图像匹配方法，包括以下步骤：1)采用层次化Transformer编码器对待匹配图像进行处理，得到各待匹配图像对应的多尺度特征空间；2)通过特征金字塔网络分别对各多尺度特征空间进行聚合，得到各多尺度特征空间对应的粗粒度特征响应图、细粒度特征响应图；3)通过粗略匹配模块对各粗粒度特征响应图进行处理，得到各待匹配图像之间的粗略匹配点对集合；4)通过精细匹配模块对各细粒度特征响应图以及各待匹配图像之间的粗略匹配点对集合进行处理，得到各待匹配图像之间的精细匹配点对集合；5)根据各待匹配图像之间的精细匹配点对集合中的精细匹配点对数量判断各待匹配图像之间的相似度。

Description

基于Transformer编码器的图像匹配方法
技术领域
本发明涉及图像识别领域，具体涉及一种基于Transformer编码器的图像匹配方法。
背景技术
图像匹配是一种通过对影像内容、特征、结构、关系、纹理及灰度等的对应关系、相似性和一致性的分析，寻求相似影像目标的方法。而基于局部特征的图像匹配是计算机视觉中的一个重要主题。不论是SLAM、SFM、三维重建、图像检索等重要应用的底层都是建立在特征点跨图像的可靠提取和匹配之上。特征提取是计算机视觉领域经久不衰的研究热点，总的来说，快速、准确、鲁棒的特征点提取是实现上层任务基本要求。
传统匹配算法大多分为三个独立的模块，即特征检测、特征描述和特征匹配：
①首先通过特征检测模块，提取两幅图像角点、边缘点等作为兴趣点；
②从各个兴趣点的邻域内提取出对应的特征描述子，形成对应的两个特征空间，各个特征空间里面分别存放了对应的图像兴趣点和特征描述子；
③最后采用特征匹配算法，如最近邻检索算法进行特征匹配。
在上述传统图像匹配过程中，特征检测模块的使用虽然减少了进行匹配时的搜索空间，其得到的稀疏匹配可以用于大多数任务。但是，特征检测模块常常可能会因为图像纹理太少、图像模式重复、照明变化等因素无法提取足够多的兴趣点，导致匹配失败，这种问题在室内环境中尤为严重。
目前已经提出了一些无检测器(Detector-Free)的匹配算法来解决这个问题，但是这些无检测器(Detector-Free)的匹配算法通常使用到一种卷积神经网络，由于这种卷积神经网络对提取的密集特征具有有限的感受野，无法对纹理较少的图像区域的相似性进行分析，在待匹配的图像中准确找出相似的影像目标。
发明内容
本发明的目的是针对现有技术对应的不足，提供一种基于Transformer编码器的图像匹配方法，构建层次化Transformer编码器，通过特征金字塔网络得到融合了自注意力和交叉注意力的多尺度特征响应图，为后续精细化匹配任务提供了更加鲁棒的特征，简化图像匹配流程的同时，提升了匹配精度，能够对纹理较少的图像区域的相似性进行分析，在待匹配的图像中准确找出相似的影像目标。
本发明的目的是采用下述方案实现的：一种基于Transformer编码器的图像匹配方法，包括以下步骤：
1)采用层次化Transformer编码器对待匹配图像进行处理，得到各待匹配图像对应的多尺度特征空间；
2)通过特征金字塔网络分别对各多尺度特征空间进行聚合，得到各多尺度特征空间对应的粗粒度特征响应图、细粒度特征响应图；
3)通过粗略匹配模块对各粗粒度特征响应图进行处理，得到各待匹配图像之间的粗略匹配点对集合；
4)通过精细匹配模块对各细粒度特征响应图以及各待匹配图像之间的粗略匹配点对集合进行处理，得到各待匹配图像之间的精细匹配点对集合；
5)根据各待匹配图像之间的精细匹配点对集合中的精细匹配点对数量判断各待匹配图像之间的相似度。
优选地，所述多尺度特征空间的表达式如下：
Fx＝{F1 x，F2 x，F3 x，…，Fn x}
Figure BDA0003999770750000031
式中，Fx为编号为x的图像对应的多尺度特征空间，
Figure BDA0003999770750000032
为编号为x的图像对应的第n个特征向量，Cn为第n个特征向量的通道数量，H为图像高度，W为图像宽度，n为特征向量的个数，t为第n个特征向量对应的分辨率百分比。
优选地，所述粗粒度特征响应图的表达式如下：
Figure BDA0003999770750000033
式中，
Figure BDA0003999770750000034
为编号为x的图像对应的粗粒度特征响应图，Cx为编号为x的图像对应的通道数量，H为图像高度，W为图像宽度，rc为粗粒度特征响应图选取的尺度。
优选地，所述细粒度特征响应图的表达式如下：
Figure BDA0003999770750000035
式中，
Figure BDA0003999770750000036
为编号为x的图像对应的细粒度特征响应图，Cx为编号为x的图像对应的通道数量，H为图像高度，W为图像宽度，rf为细粒度特征响应图选取的尺度。
优选地，通过粗略匹配模块对各粗粒度特征响应图进行处理，得到各待匹配图像之间的粗略匹配点对集合的具体步骤如下：
3-1)对各粗粒度特征响应图进行归一化；
3-2)将归一化之后的各个粗粒度特征响应图分别进行维度变换，得到对应的特征序列；
3-3)计算各个特征序列之间的相似度矩阵；
3-4)计算粗粒度匹配概率矩阵；
3-5)筛选出若干粗略匹配特征点，形成粗略匹配特征点对集合。
优选地，通过精细匹配模块对各细粒度特征响应图以及各待匹配图像之间的粗略匹配点对集合进行处理，得到各待匹配图像之间的精细匹配点对集合的具体步骤如下：
4-1)采用卷积分别对各个细粒度特征响应图进行采样，得到各粗粒度特征点在细粒度特征图上对应的细粒度特征；
4-2)对各粗粒度特征点在细粒度特征图上对应的细粒度特征进行维度变换；
4-3)根据维度变换后的细粒度特征，取出在各粗略匹配特征点对集合中对应位置的细粒度特征响应图，得到若干匹配点对；
4-4)根据各匹配点对中心点处的特征向量，计算各特征向量与各粗略匹配特征点对集合中对应纵坐标的细粒度特征响应图的相关矩阵；
4-5)计算步骤4-4)中得到的相关矩阵的Softmax函数，得到每一个匹配点对的位置坐标，并计算每一个匹配点对的位置坐标中的横、纵坐标对应的细粒度特征图中心点的二维像素点位置的相关性概率分布；
4-6)对各匹配点对的相关性概率分布求期望，得到各匹配点对的横坐标对应的亚像素精度的匹配位置；
4-7)将各匹配点对的位置坐标映射到原图，得到各待匹配图像之间的精细匹配点对集合。
优选地，设有一相似度判断阈值，根据各待匹配图像之间的精细匹配点对集合中的精细匹配点对数量判断各待匹配图像之间的相似度的具体方式如下：
5-1)若待匹配图像之间的精细匹配点对集合中的精细匹配点对数量＜相似度判断阈值，则待匹配图像不相似；
5-2)若待匹配图像之间的精细匹配点对集合中的精细匹配点对数量≥相似度判断阈值，则待匹配图像相似。
优选地，所述相似度矩阵采用向量内积的方式进行计算。
本发明的优点在于以下几点：
①构建层次化Transformer编码器，通过特征金字塔网络得到融合了自注意力和交叉注意力的多尺度特征响应图，为后续精细化匹配任务提供了更加鲁棒的特征，简化了图像匹配的流程，提升了匹配精度。
②摒弃了传统Transformer中的多头注意力结构，使用线性空间尺寸降低注意力结构代替，当输入序列维度为hw×c时，计算复杂度从4hwc2+2(hw)2c降到2hwP2c，大幅降低计算量。
③在Transformer编码器第一个阶段使用卷积和全连接层的结构代替Transformer编码层，降低计算量。
④标准Transformer中注意力头设置为8，在Transformer编码层三个阶段的注意力头数量分别设置为2，4，8，进一步降低计算量。
⑤Transformer编码层中的位置编码使用一个有重叠采样区域的卷积层和深度可分离卷积实现。通过深度可分离卷积的零填充操作来引入隐式的条件位置编码，与标准Transformer中使用固定位置编码相比，让网络能适应任意尺寸的输入图像大小；同时，通过使用卷积进行重叠采样，使相邻两个图像块之间有了交互，增强了图像块的位置信息，同时让网络获得了更大的感受野，以极少的参数捕获了更多低层次的图像特征信息，促进了后续精确的特征匹配操作。
附图说明
图1为本发明的流程示意图；
图2为本发明获取粗略匹配点对集合的流程示意图；
图3为本发明中输出最终匹配结果的流程示意图；
图4为本发明中多头高效注意力模块的结构示意图；
图5为本发明中特征金字塔融合网络(FPN)的结构示意图；
图6为本发明中位置编码模块的结构示意图。
具体实施方式
如图1至图3所示，一种基于Transformer编码器的图像匹配方法，包括以下步骤：
1)采用层次化Transformer编码器对待匹配图像进行处理，得到各待匹配图像对应的多尺度特征空间；
所述多尺度特征空间的表达式如下：
Fx＝{F1 x，F2 x，F3 x，…，Fn x}
Figure BDA0003999770750000061
式中，Fx为编号为x的图像对应的多尺度特征空间，
Figure BDA0003999770750000062
为编号为x的图像对应的第n个特征向量，Cn为第n个特征向量的通道数量，H为图像高度，W为图像宽度，n为特征向量的个数，t为第n个特征向量对应的分辨率百分比。
2)通过层次化Transformer编码器中的特征金字塔网络分别对各多尺度特征空间进行聚合，得到各多尺度特征空间对应的粗粒度特征响应图、细粒度特征响应图；
所述粗粒度特征响应图的表达式如下：
Figure BDA0003999770750000063
式中，
Figure BDA0003999770750000064
为编号为x的图像对应的粗粒度特征响应图，Cx为编号为x的图像对应的通道数量，H为图像高度，W为图像宽度，rc为粗粒度特征响应图选取的尺度。
所述细粒度特征响应图的表达式如下：
Figure BDA0003999770750000071
式中，
Figure BDA0003999770750000072
为编号为x的图像对应的细粒度特征响应图，Cx为编号为x的图像对应的通道数量，H为图像高度，W为图像宽度，rf为细粒度特征响应图选取的尺度。
3)通过粗略匹配模块对各粗粒度特征响应图进行处理，得到各待匹配图像之间的粗略匹配点对集合，具体步骤如下：
3-1)对各粗粒度特征响应图进行归一化；
3-2)将归一化之后的各个粗粒度特征响应图分别进行维度变换，得到对应的特征序列；
3-3)计算各个特征序列之间的相似度矩阵，所述相似度矩阵采用向量内积的方式进行计算。
3-4)计算粗粒度匹配概率矩阵；
3-5)筛选出若干粗略匹配特征点，形成粗略匹配特征点对集合。
4)通过精细匹配模块对各细粒度特征响应图以及各待匹配图像之间的粗略匹配点对集合进行处理，得到各待匹配图像之间的精细匹配点对集合，具体步骤如下：
4-1)采用卷积分别对各个细粒度特征响应图进行采样，得到各粗粒度特征点在细粒度特征图上对应的细粒度特征；
4-2)对各粗粒度特征点在细粒度特征图上对应的细粒度特征进行维度变换；
4-3)根据维度变换后的细粒度特征，取出在各粗略匹配特征点对集合中对应位置的细粒度特征响应图，得到若干匹配点对；
4-4)根据各匹配点对中心点处的特征向量，计算各特征向量与各粗略匹配特征点对集合中对应纵坐标的细粒度特征响应图的相关矩阵；
4-5)计算步骤4-4)中得到的相关矩阵的Softmax函数，得到每一个匹配点对的位置坐标，并计算每一个匹配点对的位置坐标中的横、纵坐标对应的细粒度特征图中心点的二维像素点位置的相关性概率分布；
4-6)对各匹配点对的相关性概率分布求期望，得到各匹配点对的横坐标对应的亚像素精度的匹配位置；
4-7)将各匹配点对的位置坐标映射到原图，得到各待匹配图像之间的精细匹配点对集合。
5)根据各待匹配图像之间的精细匹配点对集合中的精细匹配点对数量判断各待匹配图像之间的相似度，具体方式如下：
5-1)若待匹配图像之间的精细匹配点对集合中的精细匹配点对数量＜相似度判断阈值，则待匹配图像不相似；
5-2)若待匹配图像之间的精细匹配点对集合中的精细匹配点对数量≥相似度判断阈值，则待匹配图像相似。
所述相似度判断阈值通过标定实验获取。
设待匹配的两个图像分别为A∈HA×WA×CA、B∈HB×WB×CB，其中HA、HB分别为图像A、B的高，WA、WB分别为图像A、B的宽，CA、CB分别为图像A、B的通道数，当通道数等于1时，图片为灰度图片，当通道数等于3时，图片为彩色图片，按照上述步骤作实施例如下：
1)通过层次化Transformer编码器分别得到图像A、B的多尺度特征空间FA、FB：
FA＝{F1 A,F2 A,F3 A,F4 A}
FB＝{F1 B,F2 B,F3 B,F4 B}
即图像A、B对应的多尺度特征空中均包含有不同维度的信息对应的不同尺度的特征图：
图像A、B的1/4尺度特征图
Figure BDA0003999770750000091
的通道数C1均为128；
图像A、B的1/8尺度特征图
Figure BDA0003999770750000092
的通道数C2均为192；
图像A、B的1/16尺度特征图
Figure BDA0003999770750000093
的通道数C3均为256；
图像A、B的1/32尺度特征图
Figure BDA0003999770750000094
的通道数C4均为512；
如表1所示，所述层次化Transformer编码器分为四个阶段，每个阶段均由位置编码模块和三个多头高效注意力模块构成。
所述位置编码模块如图6，由一个标准卷积、3x3深度可分离卷积、层归一化构成。在阶段1特征提取网络中使用卷积核大小为7的标准卷积，在阶段2-4特征提取网络中使用卷积核大小为3的标准卷积。
3)所述多头高效注意力模块由传统Transformer的多头注意力模块改进得到，如图4所示，计算层次化Transformer编码器的键序列矩阵K、值序列矩阵V的乘积之前，使用窗口大小为7x7的平均池化层对K、V进行降维。当输入序列维度为hw×c时，为自适应池化窗口大小令P＝7，计算复杂度从4hwc2+2(hw)2c降到2hwP2c，大幅降低计算量。
所述多头高效注意力模块中的多头高效自注意力模块和多头高效交叉注意力模块，共享同一个结构，只是输入序列有差别。当做自注意力操作时，两个输入节点来自于同一个特征序列，即图中的虚线部分；当做交叉注意力操作时，两个输入节点来自于不同的特征序列，即图中的实线部分。
各个阶段的输出经过特征金字塔网络进行特征聚合，得到1/4尺度的细粒度特征图和1/8尺度的粗粒度特征图。
表1层次化Transformer编码器的结构及参数配置
Figure BDA0003999770750000101
表1中，P为卷积填充尺寸、IC为卷积输入通道数、OC为卷积输出通道数、K为卷积核大小、S为卷积滑动步长、E为编码维度、M为前馈神经网络扩张系数、NH为注意力头的个数。
本实施例中，层次化Transformer编码器由阶段1特征提取网络、阶段2特征提取网络、阶段3特征提取网络、阶段4特征提取网络及特征金字塔网络构成，每个阶段特征提取网络由位置编码模块和三个多头高效注意力模块构成。特征金字塔网络由自底向上连接、自顶向下连接和横向连接三个部分。各个阶段特征提取网络的输出经过特征金字塔网络进行特征聚合，得到1/4输入尺度的细粒度特征图和1/8输入尺度的粗粒度特征图，为了权衡速度和准确率，只输出了相对于输入分辨率1/4、1/8、1/16、1/32的特征图。
2)通过层次化Transformer编码器中的特征金字塔网络分别对上述图像A、B的多尺度特征空间FA、FB进行聚合，得到用于密集预测任务的粗粒度特征响应图和细粒度特征响应图如下：
细粒度特征响应图：
Figure BDA0003999770750000111
rf为细粒度特征响应图选取的尺度，可根据需要任意设置，本实施例中设为4，即选择经过特征聚合后的阶段1的网络输出。
粗粒度特征响应图：
Figure BDA0003999770750000112
rc为粗粒度特征响应图选取的尺度，可根据需要任意设置，本实施例中设为8，即选择经过特征聚合后的阶段2的网络输出。
所述特征金字塔网络如图5所示，图5中自底向上过程：输入依次经过阶段1、阶段2、阶段3、阶段4得到4各尺度的输出特征图。
图5中各阶段的横向连接用于不同阶段的特征融合。
阶段3卷积模块、阶段2卷积模块、阶段一卷积模块用于实现横向连接。
图5中各阶段自顶向下过程：
⑴阶段4的输出特征图经过阶段4卷积进行特征变换，再进行2倍上采样后与阶段3进行特征变换后的特征相加，最后通过阶段3卷积模块进行特征融合。
⑵阶段3与阶段2的过程与1)类似；
⑶通过上述特征融合，最终粗粒度特征响应图和细粒度特征响应图，具体步骤如下：
本实施例中，将两张尺寸为640x640的RGB图像送入层次化Transformer编码器的阶段1-阶段4特征提取网络，依次得到维度为[2,128,160,160]的特征1、维度为[2,192,80,80]的特征2，维度为[2,256,40,40]的特征3，维度为[2,512,20,20]的特征4。
得到特征1、特征2、特征3、特征4后，送入特征金字塔网络进行特征聚合，具体过程如下：
⑴特征4经过阶段4卷积网络进行特征变换及两倍上采样后得到特征4’；特征3经过阶段3卷积网络进行特征变换后得到特征3’，将特征4’和特征3’相加之后的特征送入阶段3卷积模块进行特征融合得到维度为[2,256,40,40]的特征5。
⑵特征3与特征2的融合过程与步骤⑴类似，分别得到融合后的维度为[2,192,80,80]的特征6和维度为[2,128,160,160]的特征7；
⑶将特征7作为细粒度特征响应图，将特征6作为粗粒度特征响应图。
3)将
Figure BDA0003999770750000121
送入粗略匹配模块，得到图像A、B的粗略匹配点对集合Mc；
3-1)对
Figure BDA0003999770750000122
通过公式(1)进行归一化：
Figure BDA0003999770750000123
式中，C1＝128；
3-2)将归一化之后的
Figure BDA0003999770750000131
进行维度变换，得到对应的序列形式：
Figure BDA0003999770750000132
IA c为
Figure BDA0003999770750000133
维度变换后对应的序列形式，IB c为
Figure BDA0003999770750000134
维度变换后对应的序列形式，IA c、IB c的维度均为
Figure BDA0003999770750000135
即包含
Figure BDA0003999770750000136
个元素，每个元素有C2个通道；其中C2＝192，H＝640，W＝640
3-3)通过公式(2)计算上述两个特征序列IA c、IB c的相似度矩阵S中的每一个元素，得到相似度矩阵S：
Figure BDA0003999770750000137
式中，Si,j为特征序列IA c、IB c的相似度矩阵S中二维坐标为(i，j)的元素，
Figure BDA0003999770750000138
为IA c中第i个元素，该元素有C2个通道，
Figure BDA0003999770750000139
为IB c中第j个元素，该元素有C2个通道，
Figure BDA00039997707500001310
为
Figure BDA00039997707500001311
与
Figure BDA00039997707500001312
的向量内积，τ为温度系数，本实施例中τ为0.1，C2＝192；
3-4)通过公式(3)计算粗粒度匹配概率矩阵Pc中每一个元素，得到粗粒度匹配概率矩阵Pc：
本实施例中，
Figure BDA00039997707500001313
对相似度矩阵S计算Softmax逻辑回归，就得到粗粒度匹配概率矩阵Pc，
Figure BDA00039997707500001314
用于表示IA c中第i个元素
Figure BDA00039997707500001315
与
Figure BDA00039997707500001316
中第j个元素
Figure BDA00039997707500001317
之间的匹配概率。
Figure BDA00039997707500001318
式中，
Figure BDA00039997707500001319
为粗粒度匹配概率矩阵Pc中二维坐标为(i，j)的元素，Si,j为特征序列IA c、IB c的相似度矩阵S中二维坐标为(i，j)的元素，Sj,i为特征序列IA c、IB c的相似度矩阵S中二维坐标为(j，i)的元素；
本实施例中，
Figure BDA0003999770750000141
rc＝8
3-5)通过公式4)筛选出粗略匹配特征点对集合Mc∈M×2：
Figure BDA0003999770750000142
式中，Ι为指示函数，MNN为互最近邻准则，θ为匹配置信度，本实施例中θ为0.2，
Figure BDA0003999770750000143
为粗略匹配特征点对集合Mc的第(i，j)个粗匹配点对，即
Figure BDA0003999770750000144
满足互最近邻准则，且IA c中第i个元素
Figure BDA0003999770750000145
与IB c中第j个元素
Figure BDA0003999770750000146
之间的匹配概率大于θ；
本实施例中，得到的粗略匹配特征点对集合Mc∈M×2，M为粗略匹配特征点对集合Mc的粗匹配点对数量。
4)将细粒度特征响应图
Figure BDA0003999770750000147
以及粗略匹配特征点对集合Mc送入精细匹配模块，得到各待匹配图像之间的精细匹配点对集合Mf：
4-1)将细粒度特征响应图
Figure BDA0003999770750000148
使用长宽为h×w的采样窗口，填充大小为
Figure BDA0003999770750000149
的卷积进行进行采样、拆分，本实施例中，h、w均设置为5，滑动步长为
Figure BDA00039997707500001410
将细粒度特征响应图
Figure BDA00039997707500001411
分别拆分成大小为5x5x128的矩阵：
Figure BDA00039997707500001412
式中，rf＝4，
Figure BDA00039997707500001413
分别为图像A、B对应的粗粒度特征响应图采样、拆分后的矩阵，由于拆分之后的细粒度特征响应图与粗粒度特征响应图的元素个数一致，因此可以根据粗粒度匹配点对的位置坐标(i，j)分别得到对应的细粒度特征。
然后再对
Figure BDA0003999770750000151
进行矩阵重新排列，将
Figure BDA0003999770750000152
从二维矩阵变成三维矩阵，以便于后续计算：
Figure BDA0003999770750000153
式中，
Figure BDA0003999770750000154
分别为
Figure BDA0003999770750000155
对应的三维矩阵。
最后从
Figure BDA0003999770750000156
中，分别取出粗略匹配特征点对集合Mc中对应位置的细粒度特征响应图：
Figure BDA0003999770750000157
式中，
Figure BDA0003999770750000158
分别为
Figure BDA0003999770750000159
在粗略匹配特征点对集合Mc中对应位置的细粒度特征响应图。
4-2)设第n个匹配点对的位置坐标为(in,jn)，即第n个匹配点对的横坐标为in、纵坐标为jn，按照下列公式分别得到横坐标in和纵坐标jn对应的细粒度特征图
Figure BDA00039997707500001510
Figure BDA00039997707500001511
式中，
Figure BDA00039997707500001512
为第n个匹配点对的横坐标in对应的细粒度特征图的第n个元素，
Figure BDA00039997707500001513
为第n个匹配点对的纵坐标jn对应的细粒度特征图的第n个元素，集合所有匹配点对的横、纵坐标对应的细粒度特征图的元素，形成细粒度特征图
Figure BDA00039997707500001514
然后，取出细粒度特征图
Figure BDA00039997707500001515
中心点处的特征向量
Figure BDA00039997707500001516
根据公式(5)-(6)计算x1与
Figure BDA00039997707500001517
的相关矩阵F，
cor并求带温度系数t的Softmax函数，得到细粒度特征图
Figure BDA00039997707500001518
中心点与细粒度特征图
Figure BDA00039997707500001519
中空间位置的相关性概率分布p(x|x1,Fcor)：
Figure BDA00039997707500001520
Figure BDA00039997707500001521
式中，
Figure BDA0003999770750000161
为
Figure BDA0003999770750000162
的转置矩阵；Fcor(x)为Fcor中第x个元素；t为温度系数，本实施例设温度系数t为0.088；W为
Figure BDA0003999770750000163
中的元素个数。
最后，通过公式(7)对细粒度特征图
Figure BDA0003999770750000164
中心点与细粒度特征图
Figure BDA0003999770750000165
中二维像素点的空间位置的相关性概率分布p(x|x1,Fcor)求期望，可以得到位置i对应的亚像素精度的匹配位置
Figure BDA0003999770750000166
从而完成精细匹配。
Figure BDA0003999770750000167
式中，x、y∈W的采样窗口；W为
Figure BDA0003999770750000168
中的元素个数。
4-3)重复步骤4-2)的过程，最终得到所有的匹配点对位置坐标集合；
4-4)将步骤4-3)中得到的匹配点对位置坐标集合中所有的匹配点对的位置坐标通过公式(8)～(9)分别映射到原图，得到最后两张图像的精细匹配点对集合Mf。
Figure BDA0003999770750000169
Figure BDA00039997707500001610
式中，xA-n为第n对匹配点对中点A的横坐标，yA-n为第n对匹配点对中点A的纵坐标，xB-n为第n对匹配点对中点B的横坐标，yB-n为第n对匹配点对中点B的纵坐标，
Figure BDA00039997707500001611
为i与
Figure BDA00039997707500001612
取余，
Figure BDA00039997707500001613
为j除以
Figure BDA00039997707500001614
得到的商向下取整；
5)通过标定实验获取相似度判断阈值后，根据图像A、B之间的精细匹配点对集合Mf中的精细匹配点对数量判断图像A、B之间的相似度，具体方式如下：
5-1)若图像A、B之间的精细匹配点对集合Mf中的精细匹配点对数量＜相似度判断阈值，则待匹配图像不相似；
5-2)若图像A、B之间的精细匹配点对集合Mf中的精细匹配点对数量≥相似度判断阈值，则待匹配图像相似。
以上所述仅为本发明的优选实施例，并不用于限制本发明，本领域的技术人员在不脱离本发明的精神的前提下，对本发明进行的改动均落入本发明的保护范围。

Claims (8)

1.一种基于Transformer编码器的图像匹配方法，其特征在于，包括以下步骤：
1)采用层次化Transformer编码器对待匹配图像进行处理，得到各待匹配图像对应的多尺度特征空间；
2)通过特征金字塔网络分别对各多尺度特征空间进行聚合，得到各多尺度特征空间对应的粗粒度特征响应图、细粒度特征响应图；
3)通过粗略匹配模块对各粗粒度特征响应图进行处理，得到各待匹配图像之间的粗略匹配点对集合；
4)通过精细匹配模块对各细粒度特征响应图以及各待匹配图像之间的粗略匹配点对集合进行处理，得到各待匹配图像之间的精细匹配点对集合；
5)根据各待匹配图像之间的精细匹配点对集合中的精细匹配点对数量判断各待匹配图像之间的相似度。
2.根据权利要求1所述的方法，其特征在于，所述多尺度特征空间的表达式如下：
Fx＝{F1 x，F2 x，F3 x，…，Fn x}
Figure FDA0003999770740000011
式中，Fx为编号为x的图像对应的多尺度特征空间，
Figure FDA0003999770740000012
为编号为x的图像对应的第n个特征向量，Cn为第n个特征向量的通道数量，H为图像高度，W为图像宽度，n为特征向量的个数，t为第n个特征向量对应的分辨率百分比。
3.根据权利要求1所述的方法，其特征在于，所述粗粒度特征响应图的表达式如下：
Figure FDA0003999770740000021
式中，
Figure FDA0003999770740000022
为编号为x的图像对应的粗粒度特征响应图，Cx为编号为x的图像对应的通道数量，H为图像高度，W为图像宽度，rc为粗粒度特征响应图选取的尺度。
4.根据权利要求1所述的方法，其特征在于，所述细粒度特征响应图的表达式如下：
Figure FDA0003999770740000023
式中，
Figure FDA0003999770740000024
为编号为x的图像对应的细粒度特征响应图，Cx为编号为x的图像对应的通道数量，H为图像高度，W为图像宽度，rf为细粒度特征响应图选取的尺度。
5.根据权利要求1所述的方法，其特征在于，通过粗略匹配模块对各粗粒度特征响应图进行处理，得到各待匹配图像之间的粗略匹配点对集合的具体步骤如下：
3-1)对各粗粒度特征响应图进行归一化；
3-2)将归一化之后的各个粗粒度特征响应图分别进行维度变换，得到对应的特征序列；
3-3)计算各个特征序列之间的相似度矩阵；
3-4)计算粗粒度匹配概率矩阵；
3-5)筛选出若干粗略匹配特征点，形成粗略匹配特征点对集合。
6.根据权利要求1所述的方法，其特征在于，通过精细匹配模块对各细粒度特征响应图以及各待匹配图像之间的粗略匹配点对集合进行处理，得到各待匹配图像之间的精细匹配点对集合的具体步骤如下：
4-1)采用卷积分别对各个细粒度特征响应图进行采样，得到各粗粒度特征点在细粒度特征图上对应的细粒度特征；
4-2)对各粗粒度特征点在细粒度特征图上对应的细粒度特征进行维度变换；
4-3)根据维度变换后的细粒度特征，取出在各粗略匹配特征点对集合中对应位置的细粒度特征响应图，得到若干匹配点对；
4-4)根据各匹配点对中心点处的特征向量，计算各特征向量与各粗略匹配特征点对集合中对应纵坐标的细粒度特征响应图的相关矩阵；
4-5)计算步骤4-4)中得到的相关矩阵的Softmax函数，得到每一个匹配点对的位置坐标，并计算每一个匹配点对的位置坐标中的横、纵坐标对应的细粒度特征图中心点的二维像素点位置的相关性概率分布；
4-6)对各匹配点对的相关性概率分布求期望，得到各匹配点对的横坐标对应的亚像素精度的匹配位置；
4-7)将各匹配点对的位置坐标映射到原图，得到各待匹配图像之间的精细匹配点对集合。
7.根据权利要求1所述的方法，其特征在于，设有一相似度判断阈值，根据各待匹配图像之间的精细匹配点对集合中的精细匹配点对数量判断各待匹配图像之间的相似度的具体方式如下：
5-1)若待匹配图像之间的精细匹配点对集合中的精细匹配点对数量＜相似度判断阈值，则待匹配图像不相似；
5-2)若待匹配图像之间的精细匹配点对集合中的精细匹配点对数量≥相似度判断阈值，则待匹配图像相似。
8.根据权利要求5所述的方法，其特征在于，所述相似度矩阵采用向量内积的方式进行计算。
CN202211608485.3A 2022-12-14 2022-12-14 基于Transformer编码器的图像匹配方法 Pending CN115937540A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211608485.3A CN115937540A (zh) 2022-12-14 2022-12-14 基于Transformer编码器的图像匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211608485.3A CN115937540A (zh) 2022-12-14 2022-12-14 基于Transformer编码器的图像匹配方法

Publications (1)

Publication Number Publication Date
CN115937540A true CN115937540A (zh) 2023-04-07

Family

ID=86557176

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211608485.3A Pending CN115937540A (zh) 2022-12-14 2022-12-14 基于Transformer编码器的图像匹配方法

Country Status (1)

Country Link
CN (1) CN115937540A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117557605A (zh) * 2023-12-29 2024-02-13 中国科学院长春光学精密机械与物理研究所 红外与可见光遥感图像的配准方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117557605A (zh) * 2023-12-29 2024-02-13 中国科学院长春光学精密机械与物理研究所 红外与可见光遥感图像的配准方法

Similar Documents

Publication Publication Date Title
CN111368896B (zh) 基于密集残差三维卷积神经网络的高光谱遥感图像分类方法
CN106845341B (zh) 一种基于虚拟号牌的无牌车辆识别方法
CN110322453B (zh) 基于位置注意力和辅助网络的3d点云语义分割方法
CN110163286B (zh) 一种基于混合池化的领域自适应图像分类方法
CN111652273B (zh) 一种基于深度学习的rgb-d图像分类方法
CN111709313B (zh) 基于局部和通道组合特征的行人重识别方法
CN103646256A (zh) 一种基于图像特征稀疏重构的图像分类方法
CN112861970A (zh) 一种基于特征融合的细粒度图像分类方法
CN115937540A (zh) 基于Transformer编码器的图像匹配方法
CN111833353A (zh) 一种基于图像分割的高光谱目标检测方法
CN114612709A (zh) 图像金字塔特征指导的多尺度目标检测方法
CN114387454A (zh) 一种基于区域筛选模块和多层次对比的自监督预训练方法
CN108804581B (zh) 一种基于深度学习的同类物体检索方法及系统
RU2297039C2 (ru) Способ распознавания сложного графического объекта
CN110490170B (zh) 一种人脸候选框提取方法
CN110516640B (zh) 一种基于特征金字塔联合表示的车辆再辨识方法
CN109583584B (zh) 可使具有全连接层的cnn接受不定形状输入的方法及系统
CN116934820A (zh) 基于交叉注意力的多尺寸窗口Transformer网络布匹图像配准方法及系统
CN109389127B (zh) 结构化多视图Hessian正则化稀疏特征选择方法
CN115294424A (zh) 一种基于生成对抗网络的样本数据增强方法
CN111860668B (zh) 一种针对原始3d点云处理的深度卷积网络的点云识别方法
CN114913504A (zh) 一种融合自注意力机制的遥感图像的车辆目标识别方法
CN114155406A (zh) 一种基于区域级特征融合的位姿估计方法
CN106570911A (zh) 一种基于daisy描述子的脸部卡通画合成方法
CN112417961A (zh) 一种基于场景先验知识的海面目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: No.51, Daping Main Street, Yuzhong District, Chongqing 400042

Applicant after: Zhongdian Zhi'an Technology Co.,Ltd.

Address before: No.51, Daping Main Street, Yuzhong District, Chongqing 400042

Applicant before: CHONGQING TELECOMMUNICATION SYSTEM INTEGRATION CO.,LTD.