CN112308128B - 一种基于注意力机制神经网络的图像匹配方法 - Google Patents

一种基于注意力机制神经网络的图像匹配方法 Download PDF

Info

Publication number
CN112308128B
CN112308128B CN202011169327.3A CN202011169327A CN112308128B CN 112308128 B CN112308128 B CN 112308128B CN 202011169327 A CN202011169327 A CN 202011169327A CN 112308128 B CN112308128 B CN 112308128B
Authority
CN
China
Prior art keywords
matching
data
feature
module
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011169327.3A
Other languages
English (en)
Other versions
CN112308128A (zh
Inventor
肖国宝
林国荣
钟振
郑伟
曾坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Minjiang University
Original Assignee
Minjiang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Minjiang University filed Critical Minjiang University
Priority to CN202011169327.3A priority Critical patent/CN112308128B/zh
Publication of CN112308128A publication Critical patent/CN112308128A/zh
Application granted granted Critical
Publication of CN112308128B publication Critical patent/CN112308128B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于注意力机制神经网络的图像匹配方法，包括步骤：步骤S1：构建数据集并对数据集中的数据进行特征增强；步骤S2：通过改进的OANet网络对数据集中的特征进行特征提取；步骤S3：采用提取的特征进行压缩后得到初步的预测结果；步骤S4：对初步预测结果通过加权8点算法进行计算，得到本质矩阵。本发明能够有效地减少错匹配信息的干扰，提高匹配的性能。

Description

一种基于注意力机制神经网络的图像匹配方法
技术领域
本发明涉及图像匹配技术领域，特别是一种基于注意力机制神经网络的图像匹配方法。
背景技术
图像匹配在三维重建、同时定位和建图、图像拼接、双目立体匹配等计算机视觉任务中扮演着十分重要的角色，是一个基础且重要的算法。
目前存在很多特征匹配的方法。可以将它们分为传统方法和基于深度学习的方法。传统方法是使用特征点检测算法比如：尺度不变特征变换(SIFT)算法去检测特征点，并建立两张图片之间特征的初始对应关系，然后使用随机抽样一致性算法(RANSAC)及其变体：RMBP去排除错误的匹配点。RANSAC([Martin A Fischler and Robert CBolles.Random sample consensus:a paradigm for model fitting with applicationsto image analysis and automated cartography.Communications of the ACM,1981.)采用重采样的策略去选择一致性最多的匹配集合，它是一个标准的且任然是最流行的错匹配点移除算法。RMBP(Lei Zhou,Siyu Zhu,Zixin Luo,Tianwei Shen,Runze Zhang,Mingmin Zhen,Tian Fang,and Long Quan.Learning and matching multi-viewdescriptors for registration of point clouds.In European Conference onComputerVision(ECCV),2018.)定义了一个图形模型，它描述了匹配的空间组织来移除错匹配。
近年来，深度学习进行特征匹配的算法性能超过了传统的方法，能获得更加准确的特征匹配结果。PointCN(Kwang Moo Yi,Eduard Trulls,Yuki Ono,Vincent Lepetit,Mathieu Salzmann,and Pascal Fua.Learning to find good correspondences.InComputer Vision and Pattern Recognition(CVPR),2018)将离群点移除和姿态回归问题任务重新定义为一个离群点分类问题和一个本质矩阵回归问题。该算法利用点网结构将输入对应标记为inliers或outliers，并引入加权8点算法计算本质矩阵。N3Net(TobiasPlotz and Stefan Roth.Neural nearest neighbors net-works.In Advances inNeural Information Processing Systems(NIPS),2018.)插入软k近邻(KNN)层来扩充PointCN。OANet也是基于PointCN改进，改善了对全局信息和局部信息的获取，解决了PointCN对局部信息获取不足的缺点。
当前基于深度学习的特征匹配方法已经取得了很好的效果，但训练的数据中含有大量的错匹配点，这导致：当PointCN捕捉全局信息时，存在大量的错匹配点信息，这严重影响捕捉正确匹配的几何信息，因此如何去减少错匹配信息的干扰，是进一步提升匹配性能的重要问题。
发明内容
有鉴于此，本发明的目的是提出一种基于注意力机制神经网络的图像匹配方法，能够有效地减少错匹配信息的干扰，提高匹配的性能。
本发明采用以下方案实现：一种基于注意力机制神经网络的图像匹配方法，具体包括以下步骤：
步骤S1：构建数据集并对数据集中的数据进行特征增强；
步骤S2：通过改进的OANet网络对数据集中的特征进行特征提取；
步骤S3：采用提取的特征进行压缩后得到初步的预测结果；
步骤S4：对初步预测结果通过加权8点算法进行计算，得到本质矩阵。
进一步地，所述步骤S1具体包括以下步骤：
步骤S11：对于给定的图像对(I,I')，采用SIFT算法分别提取I与I'的特征点kpi，kp'i；则由图像I提取的特征点集为KP＝{kpi}i∈N，由图像I'提取的特征点集为KP'＝{kp'i}i∈N；提取出两个图片的特征点后，基于特征点的描述子生成两个图片之间的初始的匹配集合D，每个对应关系(kpi,kp'i)可以生成4维的数据，分别代表特征点在图像中的坐标位置，初始的匹配集合D如下：
D＝[d1；d2；d3；......dN；]；
其中，
di＝[xi,yi,x'i,y'i]；
式中，D为N×4大小的数据，将D作为输入数据，di表示匹配对，(xi,yi)，(x'i,y'i)表示匹配中两个特征点的坐标，其中(xi,yi)为I中的坐标，(x'i,y'i)为I'中的坐标；
步骤S12：采用一个1×1的卷积模块，对输入数据D进行特征提取，将D转化为一个128维的特征向量，即D(1×N×4)→D(1×N×128)，其中，N为匹配点对的个数。
进一步地，所述步骤S2具体包括以下步骤：
步骤S21：将128维的输入数据D使用六个PointCN模块来捕捉N个匹配点之间的全局信息，每两个PointCN使用一个残差映射进行连接；
步骤S22：将经过六个PointCN模块之后的数据输入改进OANet的下采样模块中，将N×128的特征数据压缩成大小为500×128的顺序感知块进行全局信息的捕捉，然后再将数据依次送入改进OANet的上采样模块以及六个PointCN模块，完成整体特征提取的过程，得到128维度的通道信息。
进一步地，所述步骤S22中，改进OANet的下采样模块结构为：在原有的下采样模块的PointCN之前插入一个SENet模块。
进一步地，所述步骤S22中，改进OANet的上采样模块结构为：在原有的上采样模块的PointCN之前插入一个SENet模块。
进一步地，步骤S3具体为：采用一个1×1的卷积模块，对经过步骤S2特征提取后的128维度的通道信息进行压缩，形成的一个N×1维度向量，并且使用激活函数tanh和relu对该N×1维度向量进行处理，得到一个属于[0,1)的权重。
进一步地，步骤S4具体为：对步骤S3的初步预测结果，通过加权8点算法进行回归运算，得到本质矩阵如下：
式中，g(·,·)为加权8点算法，D表示初始的匹配组，xout表示步骤S3输出的权重；该本质矩阵反映了空间一点P的像点在不同视角摄像机下摄像机坐标系中的表示之间的关系。
与现有技术相比，本发明有以下有益效果：本发明引入了通道注意力的方法，可以解决匹配问题中初始匹配的错误匹配过多的问题，大大改善了OANet的性能，能够有效地减少错匹配信息的干扰，提高匹配的性能。
附图说明
图1为本发明实施例的PointCN模块示意图。
图2为本发明实施例的下采样模块改进示意图。
图3为本发明实施例的上采样模块改进示意图。
图4为本发明实施例的总体原理框图。
图5为本发明实施例的方法流程示意图。
图6为本发明实施例在YFCC100M数据集进行特征匹配的效果图。其中，(a)、(b)与(c)分别为三种场景示意图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
本实施例通过分析输入需要匹配的特征，然后经过新型深度神经网络训练自适应地输出匹配好的匹配对。具体地说，给定两张图片中特征点的对应关系，将图像特征匹配问题表述为二分类问题。即：给定两张图片中特征点的初始对应关系(初始匹配)深度学习将图像特征匹配问题当作为二分类问题。其中，1表示正确的匹配，0表示错误的匹配。为了解决这个问题，本实施例构造端到端的神经网络框架(如图4所示)，即输入数据通过本实施例的网络可以得到匹配的权重，然后通过权重计算匹配为正确匹配或者错误匹配。具体来说，小于或等于的0权重把它看成错误匹配0，大于0的权重我们把它看成正确匹配1。为了有效的解决匹配中数据存在大量错匹配点的问题，本实施例引入了基于通道注意力的方法。值得注意的是通道注意力机制可以有选择的削弱无用的通道信息，增强有用的通道信息。基于这个特性，通道注意力机制正好可以解决匹配问题中初始匹配的错误匹配过多的问题，注意力机制可以削弱含有无用的错误匹配的通道信息，增强有用的正确匹配的信息。具体来说，本实施例的方法是在OANet的网络模型基础上引入通道注意力机制。试验结果表明，本实施例的方法大大改善了OANet的性能，取得了YFCC100M数据集上当前最好的性能。
如图4以及图5所示，本实施例提供的一种基于注意力机制神经网络的图像匹配方法，具体包括以下步骤：
步骤S1：构建数据集并对数据集中的数据进行特征增强；
步骤S2：通过改进的OANet网络对数据集中的特征进行特征提取；
步骤S3：采用提取的特征进行压缩后得到初步的预测结果；
步骤S4：对初步预测结果通过加权8点算法进行计算，得到本质矩阵。
在本实施例中，所述步骤S1具体包括以下步骤：
步骤S11：对于给定的图像对(I,I')，采用SIFT算法分别提取I与I'的特征点kpi，kp'i；则由图像I提取的特征点集为KP＝{kpi}i∈N，由图像I'提取的特征点集为KP'＝{kp'i}i∈N；提取出两个图片的特征点后，基于特征点的描述子生成两个图片之间的初始的匹配集合D，每个对应关系(kpi,kp'i)可以生成4维的数据(输入数据)，分别代表特征点在图像中的坐标位置，初始的匹配集合D如下：
D＝[d1；d2；d3；......dN；]；
其中，
di＝[xi,yi,x'i,y'i]；
式中，D为N×4大小的数据，将D作为输入数据，di表示匹配对，(xi,yi)，(x'i,y'i)表示匹配中两个特征点的坐标，其中(xi,yi)为I中的坐标，(x'i,y'i)为I'中的坐标；
步骤S12：采用一个1×1的卷积模块，对输入数据D进行特征提取，将D转化为一个128维的特征向量，即D(1×N×4)→D(1×N×128)，其中，N为匹配点对的个数。
在本实施例中，所述步骤S2具体包括以下步骤：
步骤S21：将128维的输入数据D使用六个PointCN模块来捕捉N个匹配点之间的全局信息，每两个PointCN使用一个残差映射进行连接，可以防止随着网络加深出现梯度爆炸或梯度消失的情况；
步骤S22：将经过六个PointCN模块之后的数据输入改进OANet的下采样模块中，将N×128的特征数据压缩成大小为500×128的顺序感知块进行全局信息的捕捉，这样设计的好处是通过压缩数据，使得每一维的数据含有更多的全局信息，更利于全局信息的提取，同时压缩数据还能使得网络的运算时间降低，然后再将数据依次送入改进OANet的上采样模块以及六个PointCN模块，完成整体特征提取的过程，得到128维度的通道信息。
在本实施例中，所述步骤S22中，改进OANet的下采样模块结构为：在原有的下采样模块的PointCN之前插入一个SENet模块。如图2所示，其中的(a)为原OANet的下采样模块，(b)为改进后的OANet的下采样模块。
在本实施例中，所述步骤S22中，改进OANet的上采样模块结构为：在原有的上采样模块的PointCN之前插入一个SENet模块。如图3所示，其中的(a)为原OANet的上采样模块，(b)为改进后的OANet的上采样模块。
本实施例在PointCN模块学习软分配矩阵前，映入SENet模块(即通道注意模块)，对输入的向量进行有选择通道增强和削弱，使得更有用的信息来主导形成分配矩阵，提高上采样和下采样的质量，通过引入SENet模块能够让网络自适应的去选择有用的通道信息，来解决输入中存在大量错匹配点的问题。
在本实施例中，步骤S3具体为：采用一个1×1的卷积模块，对经过步骤S2特征提取后的128维度的通道信息进行压缩，形成的一个N×1维度向量，并且使用激活函数tanh和relu对该N×1维度向量进行处理，得到一个属于[0,1)的权重。即，fx＝relu(tanh(xout))，得到[0,1)的权重。0表示错误匹配，大于0则表示正确匹配。在整个网络的训练中，本实施例采用交叉熵损失函数来指导网络的学习，如公式所示：
式中，yi表示label，y'i表示预测值。
在本实施例中，步骤S4具体为：对步骤S3的初步预测结果，通过加权8点算法进行回归运算，得到本质矩阵如下：
式中，g(·,·)为加权8点算法，D表示初始的匹配组，xout表示步骤S3输出的权重；该本质矩阵反映了空间一点P的像点在不同视角摄像机下摄像机坐标系中的表示之间的关系。其中，公式中使用的加权8点算法描述如下：给予初始匹配组D，首先生成矩阵其中，对于每个匹配di(di＝[xi,yi,x'i,y'i])，构建矩阵X的每行[xix'i,xiy'i,xi,yix'i,yiy'i,yi,x'i,y'i,1]。再结合给予的权重xout，加权8点算法定义如下：
||XTdiag(xout)XVec(E)||
式中，Vec(E)是与XTdiag(xout)X最小特征值相关的特征向量。diag(xout)为权重xout的对角矩阵。
图6是本实施例在YFCC100M数据集进行特征匹配的效果图，由图6可以看出采用本实施例的方法在3中情形下均能实现准确的匹配。表1为本实施例与其他几种特征匹配算法在YFCC100M的准确率量化对比。其中，对比的方法有learning to find goodcorrespondences(PointCN)(Kwang Yi,Eduard Trulls,Yuki Ono,Vincent Lepetit,Mathieu Salzmann,and Pascal Fua,“Learning to find good correspondences,”inProceedings of the IEEE Conference on Computer Vision and PatternRecognition,2018,pp.2666–2674.)、Learning two view correspondences andgeometry using order-aware network(OANet)(Jiahui Zhang,Dawei Sun,Zixin Luo,Anbang Yao,Lei Zhou,Tianwei Shen,Yurong Chen,Long Quan,and Hongen Liao,“Learning two view correspondences and geometry using order-aware network,”inProceedings of the IEEE International Conference on Computer Vision,2019,pp.5845–5854.)、PointNet++(Charles R Qi,Hao Su,Kaichun Mo,and Leonidas JGuibas.Pointnet:Deep learning on point sets for 3d classification andsegmentation.In Computer Vision and Pattern Recognition(CVPR),2017.)、Neuralnearest neighbors net-works(N3Net)(Tobias Plotz and Stefan Roth.Neuralnearest neighbors net-works.In Advances in Neural Information ProcessingSystems(NIPS),2018)、DFE(Rene Ranftl and Vladlen Koltun.Deep fundamentalmatrix′estimation.In European Conference on Computer Vision(ECCV),2018.)。
从表1中，可以看到本发明显著提升了特侦匹配准确率，相同的数据集使用六种方法进行试验，本发明的方法取得最好的效果。
表1
算法 MAP5 MAP5(RANSAC)
POINTCN 23.55 47.98
POINTNET++ 14.05 46.23
N3NET 13.18 49.12
DFE 29.70 49.45
OANET 39.33 52.18
本发明方法 45.20 53.62
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (6)

1.一种基于注意力机制神经网络的图像匹配方法，其特征在于，包括以下步骤：
步骤S1：构建数据集并对数据集中的数据进行特征增强；
步骤S2：通过改进的OANet网络对数据集中的特征进行特征提取；
步骤S3：采用提取的特征进行压缩后得到初步的预测结果；
步骤S4：对初步预测结果通过加权8点算法进行计算，得到本质矩阵；步骤S4具体为：对步骤S3的初步预测结果，通过加权8点算法进行回归运算，得到本质矩阵如下：
式中，g(·,·)为加权8点算法，D表示初始的匹配组，xout表示步骤S3输出的权重；该本质矩阵反映空间一点P的像点在不同视角摄像机下摄像机坐标系中的表示之间的关系；其中，公式中使用的加权8点算法描述如下：给予初始匹配组D，首先生成矩阵X∈N×9；其中，对于每个匹配di，di＝[xi,yi,x'i,y'i]，构建矩阵X的每行[xix'i,xiy'i,xi,yix'i,yiy'i,yi,x'i,y'i,1]；再结合给予的权重xout，加权8点算法定义如下：
||XTdiag(xout)XVec(E)||
式中，Vec(E)是与XTdiag(xout)X最小特征值相关的特征向量；diag(xout)为权重xout的对角矩阵。
2.根据权利要求1所述的一种基于注意力机制神经网络的图像匹配方法，其特征在于，所述步骤S1具体包括以下步骤：
步骤S11：对于给定的图像对(I,I')，采用SIFT算法分别提取I与I'的特征点kpi，kp'i；则由图像I提取的特征点集为KP＝{kpi}i∈N，由图像I'提取的特征点集为KP'＝{kp'i}i∈N；提取出两个图片的特征点后，基于特征点的描述子生成两个图片之间的初始的匹配集合D，每个对应关系(kpi,kp'i)生成4维的数据，分别代表特征点在图像中的坐标位置，初始的匹配集合D如下：
D＝[d1；d2；d3；......dN；]；
其中，
di＝[xi,yi,x'i,y'i]；
式中，D为N×4大小的数据，将D作为输入数据，di表示匹配对，(xi,yi)，(x'i,y'i)表示匹配中两个特征点的坐标，其中(xi,yi)为I中的坐标，(x'i,y'i)为I'中的坐标；
步骤S12：采用一个1×1的卷积模块，对输入数据D进行特征提取，将D转化为一个128维的特征向量，即D(1×N×4)→D(1×N×128)，其中，N为匹配点对的个数。
3.根据权利要求2所述的一种基于注意力机制神经网络的图像匹配方法，其特征在于，所述步骤S2具体包括以下步骤：
步骤S21：将128维的输入数据D使用六个PointCN模块来捕捉N个匹配点之间的全局信息，每两个PointCN使用一个残差映射进行连接；
步骤S22：将经过六个PointCN模块之后的数据输入改进OANet的下采样模块中，将N×128的数据压缩成大小为500×128的顺序感知块进行全局信息的捕捉，然后再将数据依次送入改进OANet的上采样模块以及六个PointCN模块，完成整体特征提取的过程，得到128维度的通道信息。
4.根据权利要求3所述的一种基于注意力机制神经网络的图像匹配方法，其特征在于，所述步骤S22中，改进OANet的下采样模块结构为：在原有的下采样模块的PointCN之前插入一个SENet模块。
5.根据权利要求3所述的一种基于注意力机制神经网络的图像匹配方法，其特征在于，所述步骤S22中，改进OANet的上采样模块结构为：在原有的上采样模块的PointCN之前插入一个SENet模块。
6.根据权利要求3所述的一种基于注意力机制神经网络的图像匹配方法，其特征在于，步骤S3具体为：采用一个1×1的卷积模块，对经过步骤S2特征提取后的128维度的通道信息进行压缩，形成的一个N×1维度向量，并且使用激活函数tanh和relu对该N×1维度向量进行处理，得到一个属于[0,1)的权重。
CN202011169327.3A 2020-10-28 2020-10-28 一种基于注意力机制神经网络的图像匹配方法 Active CN112308128B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011169327.3A CN112308128B (zh) 2020-10-28 2020-10-28 一种基于注意力机制神经网络的图像匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011169327.3A CN112308128B (zh) 2020-10-28 2020-10-28 一种基于注意力机制神经网络的图像匹配方法

Publications (2)

Publication Number Publication Date
CN112308128A CN112308128A (zh) 2021-02-02
CN112308128B true CN112308128B (zh) 2024-01-05

Family

ID=74332127

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011169327.3A Active CN112308128B (zh) 2020-10-28 2020-10-28 一种基于注意力机制神经网络的图像匹配方法

Country Status (1)

Country Link
CN (1) CN112308128B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113095371B (zh) * 2021-03-22 2023-01-17 北京大学 一种面向三维重建的特征点匹配方法及系统
CN112949765A (zh) * 2021-04-07 2021-06-11 闽江学院 融合局部和全局信息的图像匹配方法
CN116503628A (zh) * 2023-06-29 2023-07-28 华侨大学 自动化农业机械的图像匹配算法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111488937A (zh) * 2020-04-15 2020-08-04 闽江学院 一种基于多尺度邻居深度神经网络的图像匹配方法
CN111488938A (zh) * 2020-04-15 2020-08-04 闽江学院 一种基于两步可切换归一化深度神经网络的图像匹配方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9830529B2 (en) * 2016-04-26 2017-11-28 Xerox Corporation End-to-end saliency mapping via probability distribution prediction

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111488937A (zh) * 2020-04-15 2020-08-04 闽江学院 一种基于多尺度邻居深度神经网络的图像匹配方法
CN111488938A (zh) * 2020-04-15 2020-08-04 闽江学院 一种基于两步可切换归一化深度神经网络的图像匹配方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于偏好统计数据表征的鲁棒几何模型拟合方法;郭翰林 等;《计算机学报》;第43卷(第7期);第1199-1214页 *

Also Published As

Publication number Publication date
CN112308128A (zh) 2021-02-02

Similar Documents

Publication Publication Date Title
Jiang et al. Deep learning-based face super-resolution: A survey
CN112308128B (zh) 一种基于注意力机制神经网络的图像匹配方法
Chen et al. Learning spatial attention for face super-resolution
Jiang et al. Dual-path deep fusion network for face image hallucination
CN107330439A (zh) 一种图像中物体姿态的确定方法、客户端及服务器
CN108537754B (zh) 基于形变引导图的人脸图像复原系统
CN111639564B (zh) 一种基于多注意力异构网络的视频行人重识别方法
CN111709980A (zh) 基于深度学习的多尺度图像配准方法和装置
CN109614933B (zh) 一种基于确定性拟合的运动分割方法
Pan et al. No-reference image quality assessment via multibranch convolutional neural networks
Yin et al. Dynamic difference learning with spatio-temporal correlation for deepfake video detection
CN111488938B (zh) 一种基于两步可切换归一化深度神经网络的图像匹配方法
Charco et al. Deep learning based camera pose estimation in multi-view environment
CN112329662B (zh) 基于无监督学习的多视角显著性估计方法
CN112164100B (zh) 一种基于图卷积神经网络的图像配准方法
CN111898571A (zh) 动作识别系统及方法
CN116030498A (zh) 面向虚拟服装走秀的三维人体姿态估计方法
CN111814682A (zh) 人脸活体检测方法及装置
CN112836566A (zh) 针对边缘设备的多任务神经网络人脸关键点检测方法
CN112084952A (zh) 一种基于自监督训练的视频点位跟踪方法
US20230072445A1 (en) Self-supervised video representation learning by exploring spatiotemporal continuity
CN111027350A (zh) 一种基于人脸三维重建的改进pca算法
CN112949765A (zh) 融合局部和全局信息的图像匹配方法
Li et al. Survey on Deep Face Restoration: From Non-blind to Blind and Beyond
CN114743032A (zh) 基于偏好引导过滤的深度学习图像特征匹配方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant