CN112861988A - 一种基于注意力图神经网络的特征匹配方法 - Google Patents
一种基于注意力图神经网络的特征匹配方法 Download PDFInfo
- Publication number
- CN112861988A CN112861988A CN202110237853.7A CN202110237853A CN112861988A CN 112861988 A CN112861988 A CN 112861988A CN 202110237853 A CN202110237853 A CN 202110237853A CN 112861988 A CN112861988 A CN 112861988A
- Authority
- CN
- China
- Prior art keywords
- feature
- training
- neural network
- matching
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000012549 training Methods 0.000 claims abstract description 43
- 239000013598 vector Substances 0.000 claims abstract description 22
- 239000011159 matrix material Substances 0.000 claims abstract description 17
- 230000008859 change Effects 0.000 claims abstract description 10
- 238000010276 construction Methods 0.000 claims abstract description 7
- 238000000605 extraction Methods 0.000 claims abstract description 6
- 230000003044 adaptive effect Effects 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 12
- 230000007246 mechanism Effects 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 8
- 238000005286 illumination Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 230000004931 aggregating effect Effects 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000013461 design Methods 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- IJJWOSAXNHWBPR-HUBLWGQQSA-N 5-[(3as,4s,6ar)-2-oxo-1,3,3a,4,6,6a-hexahydrothieno[3,4-d]imidazol-4-yl]-n-(6-hydrazinyl-6-oxohexyl)pentanamide Chemical compound N1C(=O)N[C@@H]2[C@H](CCCCC(=O)NCCCCCC(=O)NN)SC[C@@H]21 IJJWOSAXNHWBPR-HUBLWGQQSA-N 0.000 claims description 2
- 230000002776 aggregation Effects 0.000 claims description 2
- 238000004220 aggregation Methods 0.000 claims description 2
- 238000003062 neural network model Methods 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 238000011056 performance test Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 claims description 2
- 238000002372 labelling Methods 0.000 claims 1
- 230000000007 visual effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明给出一种基于注意力图神经网络的特征匹配方法。首先，特征点提取阶段使用简易形状生成器获得训练数据集，以自监督学习方式生成图像伪标签，获得基础特征点检测器，随后将真实图像集进行单应性变化，使得模型获得单应不变性；然后，引入自适应不变性描述符构建算法，利用NetVLAD神经网络对多类描述符进行聚集得到元描述符，再通过以VGG为大框架的孪生神经网络与特征点提取器进行并行训练；最后，引入注意力图神经网络AGNN以得到高鲁棒性的局部特征向量，再利用Sinkhorn最优匹配算法分配AGNN的损失权重，以提高特征匹配矩阵准确性。本发明将自适应不变性用于描述符中，并结合AGNN最优匹配层，可以实现对变化场景的高鲁棒性的特征匹配。
Description
技术领域
本发明涉及图像处理技术，具体来讲，涉及一种基于注意力图神经网络的特征匹配方法，该方法结合自适应不变性描述符，构建鲁棒的特征匹配网络。
背景技术
视觉同时定位与地图构建(Visual Simultaneous Localization and Mapping,VSLAM)技术是机器人实现自主移动的关键技术，其中相邻帧的局部特征匹配起着至关重要的作用。相机的视觉位置识别一直是国内外计算机视觉领域的关注重点，特征点检测和描述符的匹配是解决许多计算机视觉问题的重要工具。尽管传统特征方法在计算机视觉领域得到了广泛的应用，但以数据作为驱动的深度学习的引入，使得计算机获得模型学习能力，并能够对真实环境变换具有更强的鲁棒性。
对特征点的检测和描述符构建的研究主要集中在寻找可以可靠估计其尺度、旋转和光照变化的独特位置，通常描述符中的各种不变性会一直保留且不具备针对不同变化场景随机应变的能力，这会造成在特定场景不变性的冗余。例如具有光照不变性的描述符在仅有视点变化的场景图像对下，其匹配效果不及仅有光照变换图像对的匹配效果，将自适应不变特性引入描述符构建环节，便能够使得描述符能够针对不同的变换场景选择不同的不变性。真实场景中存在大量环境干扰如遮挡等外在因素，会使得某些帧之间的局部特征匹配信息丢失，通过引入注意力图神经网络 (Attentional Graph Neural Network，AGNN)对帧间的局部特征信息进行多次迭代增强来规避这一问题，来回迭代的目的在于使得模型具有类人类的上下文检索来回观测能力。将深度神经网络的特征工程应用于视觉及时定位与三维重建VSLAM，实现深度学习与整个VSLAM体系的有效融合，是目前待解决同时也是以深度学习方式探究视觉及时定位与三维重建前端视觉里程计的研究重点。
发明内容
本发明的目的在于解决局部特征的匹配问题，提供同一地点但视点及光照发生变化的真实场景图像对，通过深度神经网络直接输出图像对局部特征匹配结果的方法，经所述方法可输出帧间的匹配结果，以准确确定相机运动位姿。
为了实现上述目的，本发明提供一种基于注意力图神经网络的特征匹配方法，即结合自适应不变性描述符与注意力图神经网络AGNN的局部特征匹配方法，其中主要包括五个部分，第一部分是预训练基础特征点检测器；第二部分是对真实场景标注单应性数据的训练；第三部分是自适应局部特征的联合训练；第四部分是注意力图神经网络AGNN最优匹配层的训练；第五部分是网络训练与测试，输出最终的帧间局部特征匹配结果。
第一部分包括两个步骤：
步骤1，通过python简易形状合成生成器文件调用OpenCV以设计建议图形如三角形、四边形、线条和棋盘等十类图像，并对每个图像进行单应性变化以增加样本的数量，其作为预训练基础特征点检测器的训练数据集；
步骤2，以自监督学习方式为未标记的简易形状图像生成伪标签，训练以获得拥有基础点检测能力的特征点检测器；
第二部分包括两个步骤：
步骤3，下载公开数据集MS-COCO2014，并将数据集进行随机的单应性变换；
步骤4，使用步骤2中得到的基础特征点检测器对步骤3中的数据集进行训练，通过自监督训练方式，提高用卷积神经网络训练所得特征点检测器的几何一致性，该步骤目的在于生成带标签的真实图像数据集；
第三部分包括两个步骤：
步骤5，利用自适应不变特性描述符构建网络，网络对输入图像进行计算，以获得四个具有不同类型不变性的局部密集描述符，并通过NetVLAD神经网络将四种不同类型的描述符聚集得到元描述符；
步骤6，将步骤5中的自适应不变特性描述符与步骤4中的特征点检测器相结合，使用以VGG为大框架的编码器对输入图像进行降维；
第四部分包括两个步骤：
步骤7，利用注意力图神经网络AGNN将步骤6中得到的特征点与描述符编码为局部特征向量，并提高局部特征向量的匹配准确度；
步骤8，通过最优匹配层计算步骤7中得到的图像对局部特征向量的内积，以获得匹配分值矩阵，利用Sinkhorn最优匹配算法引入熵正则函数，合理分配注意力图神经网络AGNN中的损失权重解算出最优特征匹配矩阵；
第五部分包括两个步骤：
步骤9，调试从步骤2到步骤8的网络结构超参数，设置网络模型参数，并得到最终的训练模型；
步骤10，采集含有视点及光照变化的图像对，并下载HPatches描述符性能测试数据集，对步骤9所设定训练好的模型进行单应性、匹配准确率和召回率测试。
本发明给出一种基于注意力图神经网络的特征匹配方法。首先，特征点提取阶段使用简易形状生成器获得训练数据集，以自监督学习方式生成图像伪标签，获得基础特征点检测器，随后将真实图像集进行单应性变化，使得模型获得单应不变性；然后，引入自适应不变性描述符构建算法，利用NetVLAD神经网络对多类描述符进行聚集得到元描述符，再通过以VGG为大框架的孪生神经网络与特征点提取器进行并行训练；最后，引入交叉和自注意力机制图神经网络以得到高鲁棒性的局部特征向量，再利用Sinkhorn最优匹配算法分配注意力图神经网络AGNN的损失权重，以提高特征匹配矩阵准确性。本发明结合自适应不变性至描述符中，并衔接注意力图神经网络AGNN最优匹配层，实现对变化场景有高鲁棒性的特征匹配方法。
附图说明
图1为本发明的网络整体框架图；
图2为本发明的不变性描述符网络框架图；
图3为本发明的30帧序列图像持续跟踪示例；
图4为原始采集的视点及光照变化图像对；
图5为利用本发明处理图4后的局部特征匹配结果。
具体实施方式
为了更好的理解本发明，下面结合具体实施方式对本发明的结合自适应不变性描述符和注意力图神经网络AGNN的特征匹配方法进行更为详细的描述。在以下的描述中，当前已有技术的详细描述也许会淡化本发明的主题内容，这些描述在这里将被忽略。
图1是本发明结合自适应不变性描述符与注意力图神经网络AGNN的特征匹配方法的具体网络模型图，在本实施方案中，按照以下步骤进行：
步骤1，通过python简易形状合成生成器文件调用OpenCV以设计建议图形如三角形、四边形、线条和棋盘等十类图像，并对每个图像进行单应性变化以增加样本的数量，其作为预训练基础特征点检测器的训练数据集101；
步骤2，以自监督学习方式为未标记的简易形状图像生成伪标签，训练以获得拥有基础点检测能力的特征点检测器102，具体实施如下：
（1）网络结构采用VGG框架的编码器将输入图像维度从120*160维度降低到15*20维度，并且每一个空间像素空间为65个通道，通道中包含1个通道以存放没有检测到的特征点。整个网络采用全卷积，采用3*3维度大小的卷积核，并使用BatchNorm归一化、ReLU非线性激活函数和标准交叉熵损失函数对网络进行训练；
（2）基础特征点检测器经训练后能够对角点、圆心、多边形中心和边缘点中心进行检测提取。
步骤3，下载公开数据集MS-COCO2014(103)，并将数据集进行随机的单应性变换；
步骤4，使用步骤2中得到的基础特征点检测器对步骤3中的数据集103进行训练，通过自监督训练方式，提高用卷积神经网络训练所得特征点检测器的几何一致性，该步骤目的在于生成带标签的真实图像数据集104，具体实施如下：
（1）神经网络模型以VGG16作为主框架，其包含8个卷积层，且每个卷积层插入一个最大池化层，每层卷积层的卷积核维度大小均为3*3维，每层卷积核的个数分别为64-64-64-64-128-128-128-128，然后引入包含65个1维卷积核的特征点检测器，其中每层卷积层经ReLU激活函数进行非线性化；
（2）训练经单应性变化的数据集，使得模型能够在真实图像处理上获得泛化能力，对过程进行反复迭代，以不断自监督和改进特征点检测器，单应不变性的引入是使用自监督训练方法提升特征检测器性能的核心。设
为提取的基础角点向量,
为基础特征点检测器模型, 
为单应变换矩阵，
为输入图像时则有单应不变性特征点检测器：
自监督学习得到的单应不变性模型为：
步骤5，构建如图2所示的自适应不变特性描述符构建网络，网络对输入图像进行计算，以获得四个具有不同类型不变性的局部密集描述符201，并通过NetVLAD神经网络202将四种不同类型的描述符聚集得到元描述符203，其中NetVLAD层具有8个128维的描述符，在整个网络模型中包含3.7M个参数，经由Adam自适应梯度优化算法进行优化和更新，其中设定学习率为0.001
步骤6，将步骤5中的自适应不变特性描述符与步骤4中的特征点检测器相结合，使用以VGG为大框架的编码器105对输入图像进行降维，网络设定为8层卷积层，每层卷积层包含的3*3卷积核个数分别为64-64-64-64-128-128-256-256，每两层卷积层接入一个平均池化层，并使用ReLU激活函数来进行非线性激活，然后进行特征点提取网络和描述符构建网络的并行训练106以得到局部特征；
步骤7，利用注意力图神经网络AGNN107将步骤6中得到的特征点与描述符编码为局部特征向量，并提高局部特征向量的匹配准确度，具体实施如下：
使用编码器将特征点位置
与描述符
映射到单个向量中，随后经自注意力机制和交叉注意力机制来回迭代以增强局部特征向量的匹配性能，编码后的局部特征向量为：
其中MLP表示多层感知机，用于对低维进行升维，图神经网络以特定特征点为节点对周围其他节点进行聚合，随后接入注意力机制循环迭代对图像中特征点的相关性进行权重分配，节点信息聚合可表达为：
其中
为注意力权重，表示关联特征点相似度，
为特征点在图节点上的映射值，网络总共包含9层伴随交叉和自注意力机制的图神经网络层；
步骤8，通过最优匹配层计算步骤7中得到的图像对局部特征向量的内积，以获得匹配分值矩阵，利用Sinkhorn最优匹配算法108引入熵正则函数，合理分配注意力图神经网络AGNN中的损失权重解算出最优特征匹配矩阵，若有图像对
和
，其经注意力图神经网络AGNN107输出得到局部特征向量
和
，可得匹配分值矩阵：
为了滤除错误匹配点，为匹配分值矩阵扩充一个通道，该通道用以存放没有检测到的匹配单元，扩充后的匹配分值矩阵为：
随后用Sinkhorn最优匹配算法进行迭代得到最终的图像对匹配矩阵
；
步骤9，调试从步骤2到步骤8的网络结构超参数，设置网络模型参数，其中，主要超参数学习率设定为0.001，Epochs设置为100，Bach size设置为32，采用Adam自适应梯度下降法，并得到最终的训练模型；
步骤10，采集含有视点及光照变化的图像对如图4所示，并下载HPatches描述符性能测试数据集，对步骤9所设定训练好的模型进行单应性、匹配准确率和召回率测试，可得到如图3所示例的多帧图像局部特征跟踪结果和图5所示的匹配结果。
本发明基于将深度神经网络引入VSLAM前端视觉里程计的思想，给出了一种结合自适应不变性描述符与注意力图神经网络AGNN的特征匹配方法，该方法为了是局部特征能够获得面对真是变化场景的强鲁棒性，采用NetVLAD神经网络将多种不同类型描述符聚集为元描述符并与特征点提取并行训练的方法，使得局部特征能够针对不同的变换场景选择不同的不变性；随后衔接注意力图神经网络AGNN，利用自注意力和交叉注意力机制的来回迭代使得模型具有类人类的上下文检索来回观测能力，获得能够应对局部特征匹配信息丢失情况的强稳定性局部特征向量；最后利用Sinkhorn最优匹配算法，通过计算注意力图神经网络AGNN局部特征向量的内积，以解算出匹配分值矩阵，随后引入熵正则函数，合理分配注意力神经网络中的损失权重，使得模型输出局部特征向量拥有更加准确的匹配矩阵结果。本发明结合了自适应不变性以提升描述符对环境变换的鲁棒性，结合了注意力图神经网络AGNN最优匹配层以面对真实场景下的环境干扰因素，本发明实现了基于深度学习的VSLAM前端特征工程算法，具有较强的实用价值。
尽管上面对本发明说明性的具体实施方式进行了描述，但应当清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
Claims (5)
1.一种基于注意力图神经网络的特征匹配方法，其特征在于，引入描述符不变特性与特征点提取进行联合训练，并衔接注意力图神经网络AGNN最优匹配层，包括预训练基础特征点检测器、真实场景标注单应性数据训练、自适应局部特征联合训练、注意力图神经网络AGNN最优匹配层训练和测试五个部分：
第一部分包括两个步骤：
步骤1，通过python简易形状合成生成器文件调用OpenCV以设计建议图形如三角形、四边形、线条和棋盘等十类图像，并对每个图像进行单应性变化以增加样本的数量，其作为预训练基础特征点检测器的训练数据集；
步骤2，以自监督学习方式为未标记的简易形状图像生成伪标签，训练以获得拥有基础点检测能力的特征点检测器，具体实施如下：
（1）网络结构采用VGG框架的编码器将输入图像维度从120*160维度降低到15*20维度，并且每一个空间像素空间为65个通道，通道中包含1个通道以存放没有检测到的特征点；整个网络采用全卷积，采用3*3维度大小的卷积核，并使用BatchNorm归一化、ReLU非线性激活函数和标准交叉熵损失函数对网络进行训练；
（2）基础特征点检测器经训练后能够对角点、圆心、多边形中心和边缘点中心进行检测提取；
第二部分包括两个步骤：
步骤3，下载公开数据集MS-COCO2014，并将数据集进行随机的单应性变换；
步骤4，使用步骤2中得到的基础特征点检测器对步骤3中的数据集进行训练，通过自监督训练方式，提高用卷积神经网络训练所得特征点检测器的几何一致性，该步骤目的在于生成带标签的真实图像数据集，具体实施如下：
（1）神经网络模型以VGG16作为主框架，其包含8个卷积层，且每个卷积层插入一个最大池化层，每层卷积层的卷积核维度大小均为3*3维，每层卷积核的个数分别为64-64-64-64-128-128-128-128，然后引入包含65个1维卷积核的特征点检测器，其中每层卷积层经ReLU激活函数进行非线性化；
（2）训练经单应性变化的数据集，使得模型能够在真实图像处理上获得泛化能力，对过程进行反复迭代，以不断自监督和改进特征点检测器；
第三部分包括两个步骤：
步骤5，利用自适应不变特性描述符构建网络，网络对输入图像进行计算，以获得四个具有不同类型不变性的局部密集描述符，并通过NetVLAD神经网络将四种不同类型的描述符聚集得到元描述符，其中NetVLAD层具有8个128维的描述符，在整个网络模型中包含3.7M个参数，经由Adam自适应梯度优化算法进行优化和更新，其中设定学习率为0.001；
步骤6，将步骤5中的自适应不变特性描述符与步骤4中的特征点检测器相结合，使用以VGG为大框架的编码器对输入图像进行降维，网络设定为8层卷积层，每层卷积层包含的3*3卷积核个数分别为64-64-64-64-128-128-256-256，每两层卷积层接入一个平均池化层，并使用ReLU激活函数来进行非线性激活，然后进行特征点提取网络和描述符构建网络的并行训练以得到局部特征；
第四部分包括两个步骤：
步骤7，利用注意力图神经网络AGNN将步骤6中得到的特征点与描述符编码为局部特征向量，并提高局部特征向量的匹配准确度，具体实施如下：
使用编码器将特征点位置与描述符映射到单个向量中，随后经自注意力机制和交叉注意力机制来回迭代以增强局部特征向量的匹配性能，GNN以特定特征点为节点对周围其他节点进行聚合，随后接入注意力机制循环迭代对图像中特征点的相关性进行权重分配，网络总共包含9层伴随交叉和自注意力机制的GNN图神经网络层；
步骤8，通过最优匹配层计算步骤7中得到的图像对局部特征向量的内积，以获得匹配分值矩阵，利用Sinkhorn最优匹配算法引入熵正则函数，合理分配注意力GNN中的损失权重解算出最优特征匹配矩阵；
第五部分包括两个步骤：
步骤9，调试从步骤2到步骤8的网络结构超参数，设置网络模型参数，其中，主要超参数学习率设定为0.001，Epochs设置为100，Bach size设置为32，采用Adam自适应梯度下降法，并得到最终的训练模型；
步骤10，采集含有视点及光照变化的图像对，并下载HPatches描述符性能测试数据集，对步骤9所设定训练好的模型进行单应性、匹配准确率和召回率测试。
2.根据权利要求1所述的一种基于注意力图神经网络的特征匹配方法，其特征在于，采用步骤6自适应不变特性描述符与特征点提取网络结合的并行训练网络。
3.根据权利要求1所述的一种基于注意力图神经网络的特征匹配方法，其特征在于，步骤7使用注意力图神经网络AGNN对图像对中特征点相关性进行权重分配，使局部特征向量得到匹配性能的提升。
4.根据权利要求1所述的一种基于注意力图神经网络的特征匹配方法，其特征在于，利用步骤8中的Sinkhorn最优匹配算法解算出最优特征匹配矩阵。
5.根据权利要求1所述的一种基于注意力图神经网络的特征匹配方法，其特征在于，步骤9中学习率设定为0.001，Epochs设置为100，Batch size设定为32，采用Adam自适应梯度下降法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110237853.7A CN112861988B (zh) | 2021-03-04 | 2021-03-04 | 一种基于注意力图神经网络的特征匹配方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110237853.7A CN112861988B (zh) | 2021-03-04 | 2021-03-04 | 一种基于注意力图神经网络的特征匹配方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112861988A true CN112861988A (zh) | 2021-05-28 |
| CN112861988B CN112861988B (zh) | 2022-03-11 |
Family
ID=75991526
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110237853.7A Active CN112861988B (zh) | 2021-03-04 | 2021-03-04 | 一种基于注意力图神经网络的特征匹配方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112861988B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113221153A (zh) * | 2021-05-31 | 2021-08-06 | 平安科技（深圳）有限公司 | 图神经网络训练方法、装置、计算设备及存储介质 |
| CN114398972A (zh) * | 2022-01-07 | 2022-04-26 | 福建农林大学 | 一种基于联合表示注意力机制的深度学习图像匹配方法 |
| CN114707611A (zh) * | 2022-04-21 | 2022-07-05 | 安徽工程大学 | 基于图神经网络特征提取与匹配的移动机器人地图构建方法、存储介质及设备 |
| CN114937153A (zh) * | 2022-06-07 | 2022-08-23 | 北京理工大学 | 弱纹理环境下基于神经网络的视觉特征处理系统及方法 |
| CN115620150A (zh) * | 2022-12-05 | 2023-01-17 | 海豚乐智科技(成都)有限责任公司 | 基于孪生Transformer的多模态图像地面建筑识别方法及装置 |
| CN117635967A (zh) * | 2023-11-30 | 2024-03-01 | 中科南京智能技术研究院 | 一种自监督学习里程计量方法、装置、系统及存储介质 |
| CN117789253A (zh) * | 2024-02-23 | 2024-03-29 | 东北大学 | 一种基于双网络的视频行人重识别方法 |
| CN118628991A (zh) * | 2024-08-13 | 2024-09-10 | 合肥讯图信息科技有限公司 | 一种基于人脸识别和车牌识别的监测方法及系统 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100267927A1 (en) * | 2006-06-22 | 2010-10-21 | Garrett Thomas P J | Structure of the Insulin Receptor Ectodomain |
| CN102789594A (zh) * | 2012-06-28 | 2012-11-21 | 南京邮电大学 | 一种基于diva神经网络模型的语音生成方法 |
| CN107045715A (zh) * | 2017-02-22 | 2017-08-15 | 西南科技大学 | 一种单幅低动态范围图像生成高动态范围图像的方法 |
| CN107563308A (zh) * | 2017-08-11 | 2018-01-09 | 西安电子科技大学 | 基于粒子群优化算法的slam闭环检测方法 |
| US20190370577A1 (en) * | 2018-06-04 | 2019-12-05 | Shanghai Sensetime Intelligent Technology Co., Ltd | Driving Management Methods and Systems, Vehicle-Mounted Intelligent Systems, Electronic Devices, and Medium |
| CN110929748A (zh) * | 2019-10-12 | 2020-03-27 | 杭州电子科技大学 | 一种基于深度学习的运动模糊图像特征匹配方法 |
| CN111428586A (zh) * | 2020-03-09 | 2020-07-17 | 同济大学 | 基于特征融合与样本增强的三维人体姿态估计方法 |
| CN111507210A (zh) * | 2020-03-31 | 2020-08-07 | 华为技术有限公司 | 交通信号灯的识别方法、系统、计算设备和智能车 |
| CN111681067A (zh) * | 2020-04-17 | 2020-09-18 | 清华大学 | 基于图注意力网络的长尾商品推荐方法及系统 |
| CN111737511A (zh) * | 2020-06-17 | 2020-10-02 | 南强智视(厦门)科技有限公司 | 基于自适应局部概念嵌入的图像描述方法 |
| CN111738090A (zh) * | 2020-05-27 | 2020-10-02 | 北京三快在线科技有限公司 | 行人重识别模型训练方法、装置及行人重识别方法、装置 |
| CN112084952A (zh) * | 2020-09-10 | 2020-12-15 | 湖南大学 | 一种基于自监督训练的视频点位跟踪方法 |
| CN112288011A (zh) * | 2020-10-30 | 2021-01-29 | 闽江学院 | 一种基于自注意力深度神经网络的图像匹配方法 |
| CN112417756A (zh) * | 2020-11-13 | 2021-02-26 | 清华大学苏州汽车研究院（吴江） | 一种自动驾驶算法的交互式仿真测试系统 |
-
2021
- 2021-03-04 CN CN202110237853.7A patent/CN112861988B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100267927A1 (en) * | 2006-06-22 | 2010-10-21 | Garrett Thomas P J | Structure of the Insulin Receptor Ectodomain |
| CN102789594A (zh) * | 2012-06-28 | 2012-11-21 | 南京邮电大学 | 一种基于diva神经网络模型的语音生成方法 |
| CN107045715A (zh) * | 2017-02-22 | 2017-08-15 | 西南科技大学 | 一种单幅低动态范围图像生成高动态范围图像的方法 |
| CN107563308A (zh) * | 2017-08-11 | 2018-01-09 | 西安电子科技大学 | 基于粒子群优化算法的slam闭环检测方法 |
| US20190370577A1 (en) * | 2018-06-04 | 2019-12-05 | Shanghai Sensetime Intelligent Technology Co., Ltd | Driving Management Methods and Systems, Vehicle-Mounted Intelligent Systems, Electronic Devices, and Medium |
| CN110929748A (zh) * | 2019-10-12 | 2020-03-27 | 杭州电子科技大学 | 一种基于深度学习的运动模糊图像特征匹配方法 |
| CN111428586A (zh) * | 2020-03-09 | 2020-07-17 | 同济大学 | 基于特征融合与样本增强的三维人体姿态估计方法 |
| CN111507210A (zh) * | 2020-03-31 | 2020-08-07 | 华为技术有限公司 | 交通信号灯的识别方法、系统、计算设备和智能车 |
| CN111681067A (zh) * | 2020-04-17 | 2020-09-18 | 清华大学 | 基于图注意力网络的长尾商品推荐方法及系统 |
| CN111738090A (zh) * | 2020-05-27 | 2020-10-02 | 北京三快在线科技有限公司 | 行人重识别模型训练方法、装置及行人重识别方法、装置 |
| CN111737511A (zh) * | 2020-06-17 | 2020-10-02 | 南强智视(厦门)科技有限公司 | 基于自适应局部概念嵌入的图像描述方法 |
| CN112084952A (zh) * | 2020-09-10 | 2020-12-15 | 湖南大学 | 一种基于自监督训练的视频点位跟踪方法 |
| CN112288011A (zh) * | 2020-10-30 | 2021-01-29 | 闽江学院 | 一种基于自注意力深度神经网络的图像匹配方法 |
| CN112417756A (zh) * | 2020-11-13 | 2021-02-26 | 清华大学苏州汽车研究院（吴江） | 一种自动驾驶算法的交互式仿真测试系统 |
Non-Patent Citations (6)
| Title |
|---|
| M.E.ELALAMI等: "A new matching strategy for content based image retrieval system", 《APPLIED SOFT COMPUTING》 * |
| VASSILEIOS BALNTAS ET AL: "H-Patches: A Benchmark and Evaluation of Handcrafted and Learned Local Descriptors", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 * |
| 张红英等: "基于不变矩相似度的快速图像拼接", 《微型机与应用》 * |
| 徐守坤等: "一种结合空间特征的图像注意力标注算法改进研究", 《计算机应用研究》 * |
| 杨燕: "复杂场景图像特征分析与匹配方法研究", 《中国博士学位论文全文数据库 (信息科技辑)》 * |
| 程鸣洋等: "基于注意力机制的立体匹配网络研究", 《光学学报》 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113221153A (zh) * | 2021-05-31 | 2021-08-06 | 平安科技（深圳）有限公司 | 图神经网络训练方法、装置、计算设备及存储介质 |
| CN113221153B (zh) * | 2021-05-31 | 2022-12-27 | 平安科技（深圳）有限公司 | 图神经网络训练方法、装置、计算设备及存储介质 |
| CN114398972A (zh) * | 2022-01-07 | 2022-04-26 | 福建农林大学 | 一种基于联合表示注意力机制的深度学习图像匹配方法 |
| CN114707611A (zh) * | 2022-04-21 | 2022-07-05 | 安徽工程大学 | 基于图神经网络特征提取与匹配的移动机器人地图构建方法、存储介质及设备 |
| CN114937153A (zh) * | 2022-06-07 | 2022-08-23 | 北京理工大学 | 弱纹理环境下基于神经网络的视觉特征处理系统及方法 |
| CN114937153B (zh) * | 2022-06-07 | 2023-06-30 | 北京理工大学 | 弱纹理环境下基于神经网络的视觉特征处理系统及方法 |
| CN115620150A (zh) * | 2022-12-05 | 2023-01-17 | 海豚乐智科技(成都)有限责任公司 | 基于孪生Transformer的多模态图像地面建筑识别方法及装置 |
| CN115620150B (zh) * | 2022-12-05 | 2023-08-04 | 海豚乐智科技(成都)有限责任公司 | 基于孪生Transformer的多模态图像地面建筑识别方法及装置 |
| CN117635967A (zh) * | 2023-11-30 | 2024-03-01 | 中科南京智能技术研究院 | 一种自监督学习里程计量方法、装置、系统及存储介质 |
| CN117789253A (zh) * | 2024-02-23 | 2024-03-29 | 东北大学 | 一种基于双网络的视频行人重识别方法 |
| CN117789253B (zh) * | 2024-02-23 | 2024-05-03 | 东北大学 | 一种基于双网络的视频行人重识别方法 |
| CN118628991A (zh) * | 2024-08-13 | 2024-09-10 | 合肥讯图信息科技有限公司 | 一种基于人脸识别和车牌识别的监测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112861988B (zh) | 2022-03-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112861988B (zh) | 一种基于注意力图神经网络的特征匹配方法 | |
| CN110135366B (zh) | 基于多尺度生成对抗网络的遮挡行人重识别方法 | |
| Liu et al. | Learning human pose models from synthesized data for robust RGB-D action recognition | |
| Xu et al. | Dktnet: dual-key transformer network for small object detection | |
| Gehlot et al. | Analysis of different CNN architectures for tomato leaf disease classification | |
| Wang et al. | Pm-gans: Discriminative representation learning for action recognition using partial-modalities | |
| Ding et al. | Skeleton-based square grid for human action recognition with 3D convolutional neural network | |
| Hu et al. | A spatio-temporal integrated model based on local and global features for video expression recognition | |
| Xiao et al. | Adaptivepose: Human parts as adaptive points | |
| Marcon et al. | Unsupervised learning of local equivariant descriptors for point clouds | |
| Tomas et al. | Human activity recognition using combined deep architectures | |
| Salem et al. | Semantic image inpainting using self-learning encoder-decoder and adversarial loss | |
| Alzu'Bi et al. | Compact root bilinear cnns for content-based image retrieval | |
| Liu et al. | Student behavior recognition from heterogeneous view perception in class based on 3-D multiscale residual dense network for the analysis of case teaching | |
| Özbay et al. | 3D Human Activity Classification with 3D Zernike Moment Based Convolutional, LSTM-Deep Neural Networks. | |
| Ahmad et al. | Embedded deep vision in smart cameras for multi-view objects representation and retrieval | |
| Gowada et al. | Unethical human action recognition using deep learning based hybrid model for video forensics | |
| Yu | Deep learning methods for human action recognition | |
| Li et al. | Action recognition with spatio-temporal augmented descriptor and fusion method | |
| Sharafi et al. | Low altitude aerial scene synthesis using generative adversarial networks for autonomous natural resource management | |
| Zou et al. | An intelligent image feature recognition algorithm with hierarchical attribute constraints based on weak supervision and label correlation | |
| Al-Barazanchi et al. | Performance evaluation of hybrid CNN for SIPPER plankton image calssification | |
| Xia et al. | GCENet: Global contextual exploration network for RGB-D salient object detection | |
| Zhao et al. | Lightweight anchor-free one-level feature indoor personnel detection method based on transformer | |
| CN117036658A (zh) | 一种图像处理方法及相关设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230523 Address after: Floor 14 and 15, Building 1, Block 2, East Tianfu Haichuangyuan, Zizhou Avenue Road, Chengdu City, Sichuan Province, 610000 Patentee after: Southwest University of Science and Technology Sichuan Tianfu New Area Innovation Research Institute Address before: 621010, No. 59, Qinglong Avenue, Fucheng District, Sichuan, Mianyang Patentee before: Southwest University of Science and Technology |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231108 Address after: 11th Floor, Building 1, No. 118 Jitai Fifth Road, High tech Zone, Chengdu, Sichuan, 610000 Patentee after: CHENGDU HORSENT WISELINK TECHNOLOGY Co.,Ltd. Patentee after: Southwest University of Science and Technology Sichuan Tianfu New Area Innovation Research Institute Address before: Floor 14 and 15, Building 1, Block 2, East Tianfu Haichuangyuan, Zizhou Avenue Road, Chengdu City, Sichuan Province, 610000 Patentee before: Southwest University of Science and Technology Sichuan Tianfu New Area Innovation Research Institute |