CN109117854A - 关键点匹配方法、装置、电子设备以及存储介质 - Google Patents

关键点匹配方法、装置、电子设备以及存储介质 Download PDF

Info

Publication number
CN109117854A
CN109117854A CN201810827775.4A CN201810827775A CN109117854A CN 109117854 A CN109117854 A CN 109117854A CN 201810827775 A CN201810827775 A CN 201810827775A CN 109117854 A CN109117854 A CN 109117854A
Authority
CN
China
Prior art keywords
matching
matrix
key point
image
initial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810827775.4A
Other languages
English (en)
Other versions
CN109117854B (zh
Inventor
宋丛礼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN201810827775.4A priority Critical patent/CN109117854B/zh
Publication of CN109117854A publication Critical patent/CN109117854A/zh
Priority to PCT/CN2019/096609 priority patent/WO2020020047A1/zh
Application granted granted Critical
Publication of CN109117854B publication Critical patent/CN109117854B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开是关于一种关键点匹配方法、装置、电子设备以及存储介质，其中，所述的方法包括：获取第一图像的关键点和第二图像的关键点；对所述第一图像的关键点和所述第二图像的关键点进行匹配，获得初始匹配对集合；根据所述初始匹配对集合中任意两个匹配对之间的空间信息和预设关系，构造出目标矩阵；从所述目标矩阵中搜索出所述初始匹配对集合的最大子集合作为最终匹配对集合，其中，所述最大子集合中任意两个匹配对之间的空间信息均满足所述预设关系。本公开实施例在精度尤其是在速度方面有明显提升，并且不受限于匹配的点的数量，即使匹配的点较少时也能快速精准的进行关键点匹配。

Description

关键点匹配方法、装置、电子设备以及存储介质
技术领域
本公开涉及计算机技术领域，尤其涉及一种关键点匹配方法、装置、电子设备以及存储介质。
背景技术
图像匹配是图像处理的一个领域，通过图像匹配，在同一场景的不同图像之间提取一致性的关键点，来确定图像之间对应的几何关系，得到一幅匹配后的图像。相关技术中，一般是通过RANSAC算法(andom sample consensus，随机抽样一致算法)或者VFC算法(Vector Field Consensus，向量场一致性算法)进行关键点匹配。其中，RANSAC算法采用迭代的方式从被观测数据中抽取子样本集，进而估算出整个样本分布的数学模型；VFC算法将匹配问题转换为鲁棒的向量场插值问题，自动估计向量场样本的inlier(内点)集合，并且依据该集合对整个向量场进行插值。但是上述两种方式都需要进行多次迭代，算法效率低，而且当匹配的点较少时均失效。
发明内容
为克服相关技术中存在的问题，本公开提供一种关键点匹配方法、装置、电子设备以及存储介质。
根据本公开实施例的第一方面，提供一种关键点匹配方法，包括：
获取第一图像的关键点和第二图像的关键点；
对所述第一图像的关键点和所述第二图像的关键点进行匹配，获得初始匹配对集合；
根据所述初始匹配对集合中任意两个匹配对之间的空间信息和预设关系，构造出目标矩阵；
从所述目标矩阵中搜索出所述初始匹配对集合的最大子集合作为最终匹配对集合，其中，所述最大子集合中任意两个匹配对之间的空间信息均满足所述预设关系。
在一个实施例中，所述根据所述初始匹配对集合中任意两个匹配对之间的空间信息和预设关系，构造出目标矩阵，包括：
根据所述初始匹配对集合中匹配对的个数构造原始矩阵；
从所述初始匹配对集合中选取第i个匹配对和第j个匹配对；
判断所述第i个匹配对和所述第j个匹配对之间的空间信息是否满足预设关系；
若所述第i个匹配对和所述第j个匹配对之间的空间信息满足预设关系，则将所述初始矩阵中第i行和第j列的矩阵元赋值为第一数值；
若所述第i个匹配对和所述第j个匹配对之间的空间信息不满足预设关系，则将所述初始矩阵中第i行和第j列的矩阵元赋值为第二数值，其中，所述第二数值与所述第一数值不相同；
返回从所述初始匹配对集合中选取第i个匹配对和第j个匹配对的步骤，直至所述初始矩阵中每一个矩阵元均被赋值，得到目标矩阵。
在一个实施例中，所述原始矩阵为对称矩阵，所述对称矩阵的行数和列数均为所述初始匹配对集合中匹配对的个数。
在一个实施例中，所述将所述初始矩阵中第i行和第j列的矩阵元赋值为第一数值，包括：
将所述初始矩阵中第i行和第j列的矩阵元以及第j行和第i列的矩阵元赋值为第一数值。
在一个实施例中，将所述初始矩阵中第i行和第j列的矩阵元赋值为第二数值，包括：
将所述初始矩阵中第i行和第j列的矩阵元以及第j行和第i列的矩阵元赋值为第二数值。
在一个实施例中，所述预设关系为：
ABS(dxi-dxj+dyi-dyj)<t1且ABS(gdxixj-gdyiyj)<t2
其中，xi为第i个匹配对中所述第一图像的第i个匹配点，yi为第i个匹配对中所述第二图像的第i个匹配点，xj为第j个匹配对中所述第一图像的第j个匹配点，yj为第j个匹配对中所述第二图像的第j个匹配点，dxi为xi的主方向，dxj为xj的主方向，dyi为yi的主方向，dyj为yj的主方向，ABS为绝对值函数，gdxixj为xi与xj连线与dxi的夹角，gdyiyj为yi与yj连线与dyi的夹角，t1和t2是两个大于0的阈值。
在一个实施例中，所述对所述第一图像的关键点和所述第二图像的关键点进行匹配，获得初始匹配对集合，包括：
基于欧氏距离对所述第一图像的关键点和所述第二图像的关键点进行匹配，获得初始匹配对集合。
在一个实施例中，所述从所述目标矩阵中搜索出所述初始匹配对集合的最大子集合作为最终匹配对集合，包括：
基于贪心算法从所述目标矩阵中搜索出所述初始匹配对集合的最大子集合作为最终匹配对集合。
根据本公开实施例的第二方面，提供一种关键点匹配装置，包括：
关键点获取模块，被配置为获取第一图像的关键点和第二图像的关键点；
匹配模块，被配置为对所述第一图像的关键点和所述第二图像的关键点进行匹配，获得初始匹配对集合；
目标矩阵构造模块，被配置为根据所述初始匹配对集合中任意两个匹配对之间的空间信息和预设关系，构造出目标矩阵；
目标矩阵搜索模块，被配置为从所述目标矩阵中搜索出所述初始匹配对集合的最大子集合作为最终匹配对集合，其中，所述最大子集合中任意两个匹配对之间的空间信息均满足所述预设关系。
在一个实施例中，所述目标矩阵构造模块，包括：
原始矩阵构造单元，被配置为根据所述初始匹配对集合中匹配对的个数构造原始矩阵；
匹配对选取单元，被配置为从所述初始匹配对集合中选取第i个匹配对和第j个匹配对；
执行单元，被配置为执行所述第i个匹配对和所述第j个匹配对之间的空间信息是否满足预设关系；
第一判断单元，被配置为在所述第i个匹配对和所述第j个匹配对之间的空间信息满足预设关系时，将所述初始矩阵中第i行和第j列的矩阵元赋值为第一数值；
第二判断单元，被配置为在所述第i个匹配对和所述第j个匹配对之间的空间信息不满足预设关系时，将所述初始矩阵中第i行和第j列的矩阵元赋值为第二数值，其中，所述第二数值与所述第一数值不相同；
进入所述匹配对选取单元执行从所述初始匹配对集合中选取第i个匹配对和第j个匹配对的功能，直至所述初始矩阵中每一个矩阵元均被赋值，得到目标矩阵。
在一个实施例中，所述原始矩阵为对称矩阵，所述对称矩阵的行数和列数均为所述初始匹配对集合中匹配对的个数。
在一个实施例中，所述第一判断单元，被配置为在所述第i个匹配对和所述第j个匹配对之间的空间信息满足预设关系时，将所述初始矩阵中第i行和第j列的矩阵元以及第j行和第i列的矩阵元赋值为第一数值。
在一个实施例中，所述第二判断单元，被配置为在所述第i个匹配对和所述第j个匹配对之间的空间信息不满足预设关系时，将所述初始矩阵中第i行和第j列的矩阵元以及第j行和第i列的矩阵元赋值为第二数值。
在一个实施例中，所述预设关系为：
ABS(dxi-dxj+dyi-dyj)<t1且ABS(gdxixj-gdyiyj)<t2
其中，xi为第i个匹配对中所述第一图像的第i个匹配点，yi为第i个匹配对中所述第二图像的第i个匹配点，xj为第j个匹配对中所述第一图像的第j个匹配点，yj为第j个匹配对中所述第二图像的第j个匹配点，dxi为xi的主方向，dxj为xj的主方向，dyi为yi的主方向，dyj为yj的主方向，ABS为绝对值函数，gdxixj为xi与xj连线与dxi的夹角，gdyiyj为yi与yj连线与dyi的夹角，t1和t2是两个大于0的阈值。
在一个实施例中，所述匹配模块，被配置为基于欧氏距离对所述第一图像的关键点和所述第二图像的关键点进行匹配，获得初始匹配对集合。
在一个实施例中，所述目标矩阵搜索模块，被配置为基于贪心算法从所述目标矩阵中搜索出所述初始匹配对集合的最大子集合作为最终匹配对集合。
根据本公开实施例的第三方面，提供一种电子设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任意一项所述的关键点匹配方法。
根据本公开实施例的第四方面，提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行上述任意一项所述的关键点匹配方法。
根据本公开实施例的第五方面，提供一种计算机程序产品，当所述计算机程序产品中的指令由移动终端的处理器执行时，使得移动终端能够执行上述任意一项所述的关键点匹配方法。
本公开的实施例提供的技术方案可以包括以下有益效果：先对第一图像和第二图像的关键点进行初步匹配，得到初始匹配对集合，然后根据初始匹配对集合和预设关系构造目标矩阵，最后对构造出的目标矩阵进行矩阵搜索，获得最终匹配对集合。该种关键点匹配方式不需要进行多次迭代，在精度尤其是在速度方面有明显提升，并且不受限于匹配的点的数量，即使匹配的点较少时也能快速精准的进行关键点匹配。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种关键点匹配方法的流程图；
图2是根据一示例性实施例示出的一种关键点匹配装置的框图；
图3是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种关键点匹配方法的流程图，如图1所示，该关键点匹配方法，包括以下步骤。
在步骤S11中，获取第一图像的关键点和第二图像的关键点。
关键点又称兴趣点、特征点，它是在图像中突出且具有代表意义的一些点，通过这些点我们可以用来识别图像、进行图像配准、进行3D(Dimensions，维)重建等。从第一图像和第二图像中提取关键点的方法有很多种，例如，可以采用SIFT(Scale-invariantfeature transform，尺度不变特征变换)算法提取第一图像中的关键点和第二图像中的关键点。
在步骤S12中，对所述第一图像的关键点和所述第二图像的关键点进行匹配，获得初始匹配对集合。
对第一图像的关键点和第二图像的关键点进行粗略匹配，获得多个匹配对，多个匹配对构成初始匹配对集合。对所述第一图像的关键点和所述第二图像的关键点进行匹配的方法有很多种，例如，在一个实施例中，基于欧氏距离对所述第一图像的关键点和所述第二图像的关键点进行匹配，获得初始匹配对集合。欧氏距离(也称欧几里得度量)是一个通常采用的距离定义，指在m维空间中两个点之间的真实距离，或者向量的自然长度(即该点到原点的距离)。采用欧式距离对第一图像和第二图像的关键点进行匹配的具体方式可以采用现有技术中已有的方式实现。
假设，第一图像为A，第二图像为B，对A和B两幅图像上的关键点进行粗略匹配，得到N个匹配对，图像A中的匹配点记为x(i)，也可写为xi，图像B中相应的匹配点记为yi，匹配对(xi，yi)记为p(i)，其组成的集合记为P，P也即是初始匹配对集合。
在步骤S13中，根据所述初始匹配对集合中任意两个匹配对之间的空间信息和预设关系，构造出目标矩阵。
假设从集合P中任取两个元素，pi和pj，两个匹配对之间的空间信息也即是pi和pj之间的空间信息。定义预设关系f。判断任意两个匹配对之间的空间信息是否满足预设关系f，根据判断的结果进行相应的赋值，从而构造出目标矩阵。为了方便后续描述，假设目标矩阵取名为kuaishou-matrix。
在步骤S14中，从所述目标矩阵中搜索出所述初始匹配对集合的最大子集合作为最终匹配对集合，其中，所述最大子集合中任意两个匹配对之间的空间信息均满足所述预设关系。
目标矩阵构建成功之后，在kuaishou-matrix上搜索P的最大子集合q，使得q中任意两个元素都满足预设关系f。集合q称为集合P的最大联通组，q即是最终需要求解的正确匹配对，也即是最终匹配对集合。
从目标矩阵中搜索出最大子集合的方法有很种，例如，在一个实施例中，所述从所述目标矩阵中搜索出所述初始匹配对集合的最大子集合作为最终匹配对集合，包括：基于贪心算法从所述目标矩阵中搜索出所述初始匹配对集合的最大子集合作为最终匹配对集合。贪心算法是指在对问题求解时，总是做出在当前看来是最好的选择，也就是说，不从整体最优上加以考虑，它所做出的是在某种意义上的局部最优解。
在一个实施例中，所述根据所述初始匹配对集合中任意两个匹配对之间的空间信息和预设关系，构造出目标矩阵，包括：
在步骤S131中，根据所述初始匹配对集合中匹配对的个数构造原始矩阵。
假设初始匹配对集合P中匹配对的个数为N，则构造出的原始矩阵的大小为N*N。原始矩阵可以是多种形式的矩阵，例如，所述原始矩阵为对称矩阵，所述对称矩阵的行数和列数均为所述初始匹配对集合中匹配对的个数。其中，对称矩阵(Symmetric Matrices)是指元素以主对角线为对称轴对应相等的矩阵。
在步骤S132中，从所述初始匹配对集合中选取第i个匹配对和第j个匹配对。
从初始匹配对集合P中选取两个元素，也即是选取两个匹配对，假设选取的两个匹配对为pi和pj，它们分别对应kaishou-matrix的第i行和第j列。从初始匹配对集合P中选取两个元素的规则可以根据用户需要进行自行设置。
在步骤S133中，判断所述第i个匹配对和所述第j个匹配对之间的空间信息是否满足预设关系。
定义关系f(pi，pj)，记为fij，如果原始矩阵为对称矩阵，则满足fij＝fji。判断pi和pj之间的空间信息是否满足关系f。
对于pi＝(xi,yi)，pj＝(xj,yj)，在一个实施例中，所述预设关系f为：
ABS(dxi-dxj+dyi-dyj)<t1且ABS(gdxixj-gdyiyj)<t2
其中，xi为第i个匹配对中所述第一图像的第i个匹配点，yi为第i个匹配对中所述第二图像的第i个匹配点，xj为第j个匹配对中所述第一图像的第j个匹配点，yj为第j个匹配对中所述第二图像的第j个匹配点，dxi为xi的主方向，dxj为xj的主方向，dyi为yi的主方向，dyj为yj的主方向，ABS为绝对值函数，gdxixj为xi与xj连线与dxi的夹角，gdyiyj为yi与yj连线与dyi的夹角，t1和t2是两个大于0的阈值，比如台标检测中两个值均为10。
在步骤S134中，若所述第i个匹配对和所述第j个匹配对之间的空间信息满足预设关系，则将所述初始矩阵中第i行和第j列的矩阵元赋值为第一数值。
如果pi和pj满足关系f，则将初始矩阵中第i行和第j列的矩阵元赋值为第一数值。第一数值可以根据实际需要进行设置，例如，第一数值为1。
考虑到对称矩阵的特殊性，为了快速构建目标矩阵，在一个实施例中，所述将所述初始矩阵中第i行和第j列的矩阵元赋值为第一数值，包括：将所述初始矩阵中第i行和第j列的矩阵元以及第j行和第i列的矩阵元赋值为第一数值。
在步骤S135中，若所述第i个匹配对和所述第j个匹配对之间的空间信息不满足预设关系，则将所述初始矩阵中第i行和第j列的矩阵元赋值为第二数值，其中，所述第二数值与所述第一数值不相同。
如果pi和pj不满足关系f，则将初始矩阵中第i行和第j列的矩阵元赋值为第二数值。第二数值可以根据实际需要进行设置，例如，第二数值为0。
考虑到对称矩阵的特殊性，为了快速构建目标矩阵，在一个实施例中，将所述初始矩阵中第i行和第j列的矩阵元赋值为第二数值，包括：将所述初始矩阵中第i行和第j列的矩阵元以及第j行和第i列的矩阵元赋值为第二数值。
在步骤S136中，返回从所述初始匹配对集合中选取第i个匹配对和第j个匹配对的步骤，直至所述初始矩阵中每一个矩阵元均被赋值，得到目标矩阵。
对原始矩阵中对应的矩阵元赋值以后，从初始匹配对集合P中再选取另外的两个匹配对，重新判断这两个匹配对之间的空间信息是否满足关系f，根据判断的结果对原始矩阵中对应的矩阵元赋值，依次重复，直至原始矩阵中每一个矩阵元均被赋值，得到目标矩阵。由于对称矩阵的对称性，构建kuaishou-matrix总共需要计算N*(N-1)/2次关系。
图2是根据一示例性实施例示出的一种关键点匹配装置框图。参照图2，该装置包括关键点获取模块21，匹配模块22，目标矩阵构造模块23和目标矩阵搜索模块24。
该关键点获取模块21被配置为获取第一图像的关键点和第二图像的关键点。
关键点获取模块21从第一图像和第二图像中提取关键点的方法有很多种，例如，采用SIFT算法提取第一图像中的关键点和第二图像中的关键点。
该匹配模块22被配置为对所述第一图像的关键点和所述第二图像的关键点进行匹配，获得初始匹配对集合。
对第一图像的关键点和第二图像的关键点进行粗略匹配，获得多个匹配对，多个匹配对构成初始匹配对集合。对所述第一图像的关键点和所述第二图像的关键点进行匹配的方法有很多种，例如，在一个实施例中，所述匹配模块22被配置为基于欧氏距离对所述第一图像的关键点和所述第二图像的关键点进行匹配，获得初始匹配对集合。采用欧式距离对第一图像和第二图像的关键点进行匹配的具体方式可以采用现有技术中已有的方式实现。
该目标矩阵构造模块23被配置为根据所述初始匹配对集合中任意两个匹配对之间的空间信息和预设关系，构造出目标矩阵。
假设从初始匹配对集合中任取两个元素(即匹配对)，判断任意两个匹配对之间的空间信息是否满足预设关系，根据判断的结果进行相应的赋值，从而构造出目标矩阵。
该目标矩阵搜索模块24被配置为从所述目标矩阵中搜索出所述初始匹配对集合的最大子集合作为最终匹配对集合，其中，所述最大子集合中任意两个匹配对之间的空间信息均满足所述预设关系。
构建成功之后，在目标矩阵上搜索初始匹配对集合的最大子集合，使得最大子集合中任意两个元素都满足预设关系。最大子集合称为目标矩阵的最大联通组，最大子集合即是最终需要求解的正确匹配对，也即是最终匹配对集合。
从目标矩阵中搜索出最大子集合的方法有很种，例如，在一个实施例中，所述目标矩阵搜索模块24基于贪心算法从所述目标矩阵中搜索出所述初始匹配对集合的最大子集合作为最终匹配对集合。
在一个实施例中，所述目标矩阵构造模块23，包括：
原始矩阵构造单元231，被配置为根据所述初始匹配对集合中匹配对的个数构造原始矩阵。
假设初始匹配对集合中匹配对的个数为N，则构造出的原始矩阵的大小为N*N。原始矩阵可以是多种形式的矩阵，例如，可选的，所述原始矩阵为对称矩阵，所述对称矩阵的行数和列数均为所述初始匹配对集合中匹配对的个数。
匹配对选取单元232，被配置为从所述初始匹配对集合中选取第i个匹配对和第j个匹配对。
从初始匹配对集合中选取两个元素，也即是选取两个匹配对，假设选取的两个匹配对为pi和pj，它们分别对应目标矩阵的第i行和第j列。从初始匹配对集合P中选取两个元素的规则可以根据用户需要进行自行设置。
执行单元233，被配置为执行所述第i个匹配对和所述第j个匹配对之间的空间信息是否满足预设关系。
定义关系f(pi，pj)，记为fij，如果原始矩阵为对称矩阵，则满足fij＝fji。判断pi和pj之间的空间信息是否满足关系f。
对于pi＝(xi,yi)，pj＝(xj,yj)，在一个实施例中，所述预设关系f为：
ABS(dxi-dxj+dyi-dyj)<t1且ABS(gdxixj-gdyiyj)<t2
其中，xi为第i个匹配对中所述第一图像的第i个匹配点，yi为第i个匹配对中所述第二图像的第i个匹配点，xj为第j个匹配对中所述第一图像的第j个匹配点，yj为第j个匹配对中所述第二图像的第j个匹配点，dxi为xi的主方向，dxj为xj的主方向，dyi为yi的主方向，dyj为yj的主方向，ABS为绝对值函数，gdxixj为xi与xj连线与dxi的夹角，gdyiyj为yi与yj连线与dyi的夹角，t1和t2是两个大于0的阈值，比如台标检测中两个值均为10。
第一判断单元234，被配置为在所述第i个匹配对和所述第j个匹配对之间的空间信息满足预设关系时，将所述初始矩阵中第i行和第j列的矩阵元赋值为第一数值。
如果pi和pj满足关系f，则将初始矩阵中第i行和第j列的矩阵元赋值为第一数值。第一数值可以根据实际需要进行设置，例如，第一数值为1。
考虑到对称矩阵的特殊性，为了快速构建目标矩阵，在一个实施例中，第一判断单元234被配置为将所述初始矩阵中第i行和第j列的矩阵元以及第j行和第i列的矩阵元赋值为第一数值。
第二判断单元235，被配置为在所述第i个匹配对和所述第j个匹配对之间的空间信息不满足预设关系时，将所述初始矩阵中第i行和第j列的矩阵元赋值为第二数值，其中，所述第二数值与所述第一数值不相同。
如果pi和pj不满足关系f，则将初始矩阵中第i行和第j列的矩阵元赋值为第二数值。第二数值可以根据实际需要进行设置，例如，第二数值为0。
考虑到对称矩阵的特殊性，为了快速构建目标矩阵，在一个实施例中，所述第二判断单元235被配置为将所述初始矩阵中第i行和第j列的矩阵元以及第j行和第i列的矩阵元赋值为第二数值。
进入所述匹配对选取单元232执行从所述初始匹配对集合中选取第i个匹配对和第j个匹配对的功能，直至所述初始矩阵中每一个矩阵元均被赋值，得到目标矩阵。
对原始矩阵中对应的矩阵元赋值以后，从初始匹配对集合P中再选取不同的两个匹配对，重新判断两个匹配对之间的空间信息是否满足关系f，根据判断的结果对原始矩阵中对应的矩阵元赋值，依次重复，直至原始矩阵中每一个元素均被赋值，得到目标矩阵。由于对称矩阵的对称性，构建kuaishou-matrix总共需要计算N*(N-1)/2次关系。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本公开实施例还提供一种电子设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任意一项所述的关键点匹配方法。
图3是根据一示例性实施例示出的一种用于关键点匹配的装置300的框图。例如，装置300可以被提供为一电子设备。参照图3，装置300包括处理组件322，其进一步包括一个或多个处理器，以及由存储器332所代表的存储器资源，用于存储可由处理组件322的执行的指令，例如应用程序。存储器332中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件322被配置为执行指令，以执行上述任意一项所述的关键点匹配方法。
装置300还可以包括一个电源组件326被配置为执行装置300的电源管理，一个有线或无线网络接口350被配置为将装置300连接到网络，和一个输入输出(I/O)接口358。装置300可以操作基于存储在存储器332的操作系统，例如Windows ServerTM，Mac OSXTM，UnixTM,LinuxTM，FreeBSDTM或类似。
本公开实施例还提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行上述任意一项所述的关键点匹配方法。其中，所述存储介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory，只读存储器)、RAM(Random AcceSS Memory，随即存储器)、EPROM(EraSable Programmable Read-Only Memory，可擦写可编程只读存储器)、EEPROM(Electrically EraSable Programmable Read-Only Memory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是，存储介质包括由设备(例如，计算机)以能够读的形式存储或传输信息的任何介质。可以是只读存储器，磁盘或光盘等。
本公开实施例还提供一种计算机程序产品，当所述计算机程序产品中的指令由移动终端的处理器执行时，使得移动终端能够执行上述任意一项所述的关键点匹配方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种关键点匹配方法，其特征在于，包括：
获取第一图像的关键点和第二图像的关键点；
对所述第一图像的关键点和所述第二图像的关键点进行匹配，获得初始匹配对集合；
根据所述初始匹配对集合中任意两个匹配对之间的空间信息和预设关系，构造出目标矩阵；
从所述目标矩阵中搜索出所述初始匹配对集合的最大子集合作为最终匹配对集合，其中，所述最大子集合中任意两个匹配对之间的空间信息均满足所述预设关系。
2.根据权利要求1所述的关键点匹配方法，其特征在于，所述根据所述初始匹配对集合中任意两个匹配对之间的空间信息和预设关系，构造出目标矩阵，包括：
根据所述初始匹配对集合中匹配对的个数构造原始矩阵；
从所述初始匹配对集合中选取第i个匹配对和第j个匹配对；
判断所述第i个匹配对和所述第j个匹配对之间的空间信息是否满足预设关系；
若所述第i个匹配对和所述第j个匹配对之间的空间信息满足预设关系，则将所述初始矩阵中第i行和第j列的矩阵元赋值为第一数值；
若所述第i个匹配对和所述第j个匹配对之间的空间信息不满足预设关系，则将所述初始矩阵中第i行和第j列的矩阵元赋值为第二数值，其中，所述第二数值与所述第一数值不相同；
返回从所述初始匹配对集合中选取第i个匹配对和第j个匹配对的步骤，直至所述初始矩阵中每一个矩阵元均被赋值，得到目标矩阵。
3.根据权利要求2所述的关键点匹配方法，其特征在于，所述原始矩阵为对称矩阵，所述对称矩阵的行数和列数均为所述初始匹配对集合中匹配对的个数。
4.根据权利要求3所述的关键点匹配方法，其特征在于，所述将所述初始矩阵中第i行和第j列的矩阵元赋值为第一数值，包括：
将所述初始矩阵中第i行和第j列的矩阵元以及第j行和第i列的矩阵元赋值为第一数值。
5.根据权利要求3所述的关键点匹配方法，其特征在于，将所述初始矩阵中第i行和第j列的矩阵元赋值为第二数值，包括：
将所述初始矩阵中第i行和第j列的矩阵元以及第j行和第i列的矩阵元赋值为第二数值。
6.根据权利要求2所述的关键点匹配方法，其特征在于，所述预设关系为：
ABS(dxi-dxj+dyi-dyj)<t1且ABS(gdxixj-gdyiyj)<t2
其中，xi为第i个匹配对中所述第一图像的第i个匹配点，yi为第i个匹配对中所述第二图像的第i个匹配点，xj为第j个匹配对中所述第一图像的第j个匹配点，yj为第j个匹配对中所述第二图像的第j个匹配点，dxi为xi的主方向，dxj为xj的主方向，dyi为yi的主方向，dyj为yj的主方向，ABS为绝对值函数，gdxixj为xi与xj连线与dxi的夹角，gdyiyj为yi与yj连线与dyi的夹角，t1和t2是两个大于0的阈值。
7.根据权利要求1至6任意一项所述的关键点匹配方法，其特征在于，所述对所述第一图像的关键点和所述第二图像的关键点进行匹配，获得初始匹配对集合，包括：
基于欧氏距离对所述第一图像的关键点和所述第二图像的关键点进行匹配，获得初始匹配对集合。
8.一种关键点匹配装置，其特征在于，包括：
关键点获取模块，被配置为获取第一图像的关键点和第二图像的关键点；
匹配模块，被配置为对所述第一图像的关键点和所述第二图像的关键点进行匹配，获得初始匹配对集合；
目标矩阵构造模块，被配置为根据所述初始匹配对集合中任意两个匹配对之间的空间信息和预设关系，构造出目标矩阵；
目标矩阵搜索模块，被配置为从所述目标矩阵中搜索出所述初始匹配对集合的最大子集合作为最终匹配对集合，其中，所述最大子集合中任意两个匹配对之间的空间信息均满足所述预设关系。
9.一种电子设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至7中任意一项所述的关键点匹配方法。
10.一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行如权利要求1至7中任意一项所述的关键点匹配方法。
CN201810827775.4A 2018-07-25 2018-07-25 关键点匹配方法、装置、电子设备以及存储介质 Active CN109117854B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810827775.4A CN109117854B (zh) 2018-07-25 2018-07-25 关键点匹配方法、装置、电子设备以及存储介质
PCT/CN2019/096609 WO2020020047A1 (zh) 2018-07-25 2019-07-18 关键点匹配方法、装置、终端设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810827775.4A CN109117854B (zh) 2018-07-25 2018-07-25 关键点匹配方法、装置、电子设备以及存储介质

Publications (2)

Publication Number Publication Date
CN109117854A true CN109117854A (zh) 2019-01-01
CN109117854B CN109117854B (zh) 2021-01-29

Family

ID=64863463

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810827775.4A Active CN109117854B (zh) 2018-07-25 2018-07-25 关键点匹配方法、装置、电子设备以及存储介质

Country Status (2)

Country Link
CN (1) CN109117854B (zh)
WO (1) WO2020020047A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020020047A1 (zh) * 2018-07-25 2020-01-30 北京达佳互联信息技术有限公司 关键点匹配方法、装置、终端设备以及存储介质
CN110852593A (zh) * 2019-11-06 2020-02-28 重庆大学 任务处理方法、设备、存储介质及装置
CN113158831A (zh) * 2021-03-30 2021-07-23 北京爱笔科技有限公司 检测摄像设备移动的方法、装置、计算机设备和存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112949736B (zh) * 2021-03-15 2023-07-21 浙江中控技术股份有限公司 一种特征匹配方法及相关设备
CN113591977B (zh) * 2021-07-29 2024-06-18 武汉联影智融医疗科技有限公司 点对匹配方法、装置、电子设备和存储介质
CN114386814B (zh) * 2021-12-31 2022-12-06 广州市城市规划勘测设计研究院 一种公共服务设施服务半径获取方法及装置
CN115829524B (zh) * 2023-02-15 2023-05-09 山东铁路投资控股集团有限公司 隐蔽工程的远程审核方法、装置、设备及可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070110338A1 (en) * 2005-11-17 2007-05-17 Microsoft Corporation Navigating images using image based geometric alignment and object based controls
CN101510257A (zh) * 2009-03-31 2009-08-19 华为技术有限公司 一种人脸相似度匹配方法及装置
CN103403739A (zh) * 2011-01-25 2013-11-20 意大利电信股份公司 用于比较图像的方法和系统
CN103679201A (zh) * 2013-12-14 2014-03-26 复旦大学 一种用于图像匹配、识别、检索的点集合匹配的校正方法
CN105551058A (zh) * 2016-02-02 2016-05-04 天津大学 一种结合surf特征提取和曲线拟合的柱面图像匹配方法
CN106780557A (zh) * 2016-12-23 2017-05-31 南京邮电大学 一种基于光流法和关键点特征的运动目标跟踪方法
CN107862319A (zh) * 2017-11-19 2018-03-30 桂林理工大学 一种基于邻域投票的异源高分光学影像匹配误差剔除方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012155121A2 (en) * 2011-05-11 2012-11-15 University Of Florida Research Foundation, Inc. Systems and methods for estimating the geographic location at which image data was captured
CN109117854B (zh) * 2018-07-25 2021-01-29 北京达佳互联信息技术有限公司 关键点匹配方法、装置、电子设备以及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070110338A1 (en) * 2005-11-17 2007-05-17 Microsoft Corporation Navigating images using image based geometric alignment and object based controls
CN101510257A (zh) * 2009-03-31 2009-08-19 华为技术有限公司 一种人脸相似度匹配方法及装置
CN103403739A (zh) * 2011-01-25 2013-11-20 意大利电信股份公司 用于比较图像的方法和系统
CN103679201A (zh) * 2013-12-14 2014-03-26 复旦大学 一种用于图像匹配、识别、检索的点集合匹配的校正方法
CN105551058A (zh) * 2016-02-02 2016-05-04 天津大学 一种结合surf特征提取和曲线拟合的柱面图像匹配方法
CN106780557A (zh) * 2016-12-23 2017-05-31 南京邮电大学 一种基于光流法和关键点特征的运动目标跟踪方法
CN107862319A (zh) * 2017-11-19 2018-03-30 桂林理工大学 一种基于邻域投票的异源高分光学影像匹配误差剔除方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020020047A1 (zh) * 2018-07-25 2020-01-30 北京达佳互联信息技术有限公司 关键点匹配方法、装置、终端设备以及存储介质
CN110852593A (zh) * 2019-11-06 2020-02-28 重庆大学 任务处理方法、设备、存储介质及装置
CN113158831A (zh) * 2021-03-30 2021-07-23 北京爱笔科技有限公司 检测摄像设备移动的方法、装置、计算机设备和存储介质
CN113158831B (zh) * 2021-03-30 2024-05-31 北京爱笔科技有限公司 检测摄像设备移动的方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN109117854B (zh) 2021-01-29
WO2020020047A1 (zh) 2020-01-30

Similar Documents

Publication Publication Date Title
CN109117854A (zh) 关键点匹配方法、装置、电子设备以及存储介质
CN108304882B (zh) 一种图像分类方法、装置及服务器、用户终端、存储介质
CN110019896B (zh) 一种图像检索方法、装置及电子设备
CN111179419B (zh) 三维关键点预测及深度学习模型训练方法、装置及设备
Sahillioğlu et al. Minimum-distortion isometric shape correspondence using EM algorithm
CN111581414B (zh) 服饰识别、分类及检索的方法、装置、设备及存储介质
CN110765882B (zh) 一种视频标签确定方法、装置、服务器及存储介质
CN108319633B (zh) 一种图像处理方法、装置及服务器、系统、存储介质
Quan et al. Deep generative matching network for optical and SAR image registration
CN110363569A (zh) 数据产品推荐方法、装置、计算机设备和存储介质
CN112966725A (zh) 匹配模板图像的方法、装置及终端设备
CN110866469A (zh) 一种人脸五官识别方法、装置、设备及介质
CN111126457A (zh) 信息的获取方法和装置、存储介质和电子装置
Ling et al. Conditional stroke recovery for fine-grained sketch-based image retrieval
CN113190444A (zh) 一种测试方法、装置及存储介质
CN112348008A (zh) 证件信息的识别方法、装置、终端设备及存储介质
CN116883715A (zh) 一种数据处理方法及其装置
Chen et al. 3D object retrieval with graph-based collaborative feature learning
CN109471717A (zh) 样本库拆分方法、装置、计算机设备及存储介质
Zhou et al. A classification-based visual odometry approach
Chen et al. Zero-shot unsupervised image-to-image translation via exploiting semantic attributes
Sato et al. Affine template matching by differential evolution with adaptive two‐part search
CN112348060A (zh) 分类向量生成方法、装置、计算机设备和存储介质
Cheng et al. Sequential pattern learning via kernel alignment
CN114519729A (zh) 图像配准质量评估模型训练方法、装置和计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant