CN114782724A - 一种图像匹配方法、装置、电子设备及存储介质 - Google Patents

一种图像匹配方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114782724A
CN114782724A CN202210683041.XA CN202210683041A CN114782724A CN 114782724 A CN114782724 A CN 114782724A CN 202210683041 A CN202210683041 A CN 202210683041A CN 114782724 A CN114782724 A CN 114782724A
Authority
CN
China
Prior art keywords
detected
vector
matching
feature
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210683041.XA
Other languages
English (en)
Other versions
CN114782724B (zh
Inventor
赵玲玲
陈然然
程前例
胡江玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LCFC Hefei Electronics Technology Co Ltd
Original Assignee
LCFC Hefei Electronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LCFC Hefei Electronics Technology Co Ltd filed Critical LCFC Hefei Electronics Technology Co Ltd
Priority to CN202210683041.XA priority Critical patent/CN114782724B/zh
Publication of CN114782724A publication Critical patent/CN114782724A/zh
Application granted granted Critical
Publication of CN114782724B publication Critical patent/CN114782724B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种图像匹配方法、装置、电子设备及存储介质;所述方法包括:获取待检测图像在尺度空间中的待检测特征点;确定所述待检测特征点对应的待检测特征向量;获取参考图像中与所述待检测特征点对应的参考特征点,确定所述参考特征点对应的参考特征向量;基于所述参考特征向量和所述待检测特征向量,确定所述待检测图像与所述参考图像是否匹配,如此,能够智能地对图像进行匹配,提高了图像匹配的精度和效率。

Description

一种图像匹配方法、装置、电子设备及存储介质
技术领域
本申请涉及计算机视觉技术,尤其涉及一种图像匹配方法、装置、电子设备及存储介质。
背景技术
随着计算机视觉技术的快速发展和广泛使用,人们使用计算机视觉技术进行图像匹配逐渐成为计算机视觉技术应用的主流。但是在图像匹配的过程中,现有的图像匹配方法的匹配过程耗时较长且匹配精度较低,人们更希望减少图像匹配的时间,提高图像匹配的精度。
因此,如何智能地对图像进行匹配,以提高图像匹配的精度和效率是一直追求的目标。
发明内容
本申请实施例提供了一种图像匹配方法、装置、电子设备及存储介质。
根据本申请的第一方面,提供了一种图像匹配方法,该方法包括:获取待检测图像在尺度空间中的待检测特征点;确定所述待检测特征点对应的待检测特征向量;获取参考图像中与所述待检测特征点对应的参考特征点,确定所述参考特征点对应的参考特征向量;基于所述参考特征向量和所述待检测特征向量,确定所述待检测图像与所述参考图像是否匹配。
根据本申请一实施方式,所述确定所述待检测特征点对应的待检测特征向量,包括:确定所述待检测特征点中所述待检测特征点的主方向;根据所述待检测特征点的主方向,生成对应于所述待检测特征点的待检测特征向量。
根据本申请一实施方式,所述确定所述待检测特征点中所述待检测特征点的主方向,包括:根据所述尺度空间和所述待检测特征点,确定所述待检测特征点的第一尺度值;在所述尺度空间中确定以所述待检测特征点为圆心,以所述第一尺度值为半径的圆形域;以预设的扫描区间对所述圆形域进行旋转扫描,计算所述扫描区间内部的所述待检测特征点的特征值总和;确定所述特征值总和最大的所述扫描区间对应的方向向量为所述待检测特征点的主方向。
根据本申请一实施方式,所述根据所述待检测特征点的主方向,生成对应于所述待检测特征点的待检测特征向量,包括:基于所述待检测特征点的主方向,将所述圆形域分成N个子区域,其中N为正整数;确定每个所述子区域中的待检测特征点的特征值和方向参数;基于所述待检测特征点的特征值和所述方向参数,生成对应于所述待检测特征点的待检测特征向量。
根据本申请一实施方式,所述基于所述参考特征向量和所述待检测特征向量,确定所述待检测图像与所述参考图像是否匹配,包括:基于所述待检测特征向量和所述参考特征向量,确定所述待检测特征向量与所述参考特征向量之间的距离;基于所述待检测特征向量与所述参考特征向量之间的距离,确定所述待检测特征向量与所述参考特征向量构成的匹配向量集;确定所述匹配向量集中的有效匹配向量;基于所述匹配向量集中的有效匹配向量,确定所述待检测图像与所述参考图像是否匹配。
根据本申请一实施方式,所述确定所述待检测特征向量与所述参考特征向量构成的匹配向量集,包括:基于所述待检测特征向量与所述参考特征向量之间的距离,确定所述待检测特征向量与所述参考特征向量的第一最近邻距离和第一次近邻距离;所述第一最近邻距离为所述待检测特征向量与所述参考特征向量的最小距离,所述第一次近邻距离为所述待检测特征向量与所述参考特征向量的次小距离;响应于所述第一最近邻距离和所述第一次近邻距离的比值满足预设的第一距离阈值,确定所述待检测特征向量与其最近邻的所述参考特征向量为匹配向量,并将所述匹配向量存储至所述匹配向量集。
根据本申请一实施方式,所述确定所述匹配向量集中的有效匹配向量,包括:基于所述匹配向量集,随机选取所述匹配向量集中第一数量的第一匹配向量;基于所述第一数量的第一匹配向量,建立特征向量余弦约束方程;基于所述特征向量余弦约束方程,计算所述匹配向量集中除所述第一匹配向量以外的第二匹配向量的特征向量余弦约束值;响应于所述特征向量余弦约束值满足预设的有效匹配阈值,确定所述第二匹配向量为有效匹配向量。
根据本申请一实施方式,所述确定所述待检测图像与所述参考图像是否匹配,包括:基于所述匹配向量集中的有效匹配向量,确定有效匹配向量集;响应于所述有效匹配向量集中有效匹配向量的数量满足预设的数量阈值,确定所述有效匹配向量集为候选向量集,并增加所述候选向量集的迭代周期次数;基于所述候选向量集,确定所述待检测特征点的变换矩阵;根据所述待检测特征点的变换矩阵和所述待检测特征向量,确定所述待检测图像与所述参考图像是否匹配。
根据本申请一实施方式,所述基于所述候选向量集,确定所述待检测特征点的变换矩阵,包括:响应于所述候选向量集经过M个迭代周期、且所述候选向量集中的所述有效匹配向量的数量不变,其中M为正整数,则确定所述候选向量集为变换向量集,并基于所述变换向量集,确定所述待检测特征点的变换矩阵;或,响应于所述候选向量集经过的所述迭代周期次数满足预设的迭代周期次数阈值,则确定所述候选向量集为所述变换向量集,并基于所述变换向量集,确定所述待检测特征点的变换矩阵。
根据本申请一实施方式,所述根据所述待检测特征点的变换矩阵和所述待检测特征向量,确定所述待检测图像与所述参考图像是否匹配,包括:根据所述待检测特征点的变换矩阵和所述待检测特征向量,生成变换特征向量;基于所述变换特征向量与所述参考特征向量之间的距离,确定所述变换特征向量与所述参考特征向量的第二最近邻距离和第二次近邻距离;所述第二最近邻距离为所述变换特征向量与所述参考特征向量的最小距离,所述第二次近邻距离为所述变换特征向量与所述参考特征向量的次小距离;响应于所述第二最近邻距离和所述第二次近邻距离的比值满足预设的第二距离阈值,确定所述变换特征向量与其最近邻的所述参考特征向量为正确匹配向量;基于所述正确匹配向量,确定所述待检测图像与所述参考图像是否匹配。
根据本申请的第二方面,提供了一种图像匹配装置,该图像匹配装置包括:第一获取模块,用于获取待检测图像在尺度空间中的待检测特征点;确定模块,用于确定所述待检测特征点对应的待检测特征向量;第二获取模块,用于获取参考图像中与所述待检测特征点对应的参考特征点,确定所述参考特征点对应的参考特征向量;匹配模块,用于基于所述参考特征向量和所述待检测特征向量,确定所述待检测图像与所述参考图像是否匹配。
根据本申请一实施方式,所述确定模块包括:方向子模块,用于确定所述待检测特征点中所述待检测特征点的主方向;向量子模块,用于根据所述待检测特征点的主方向,生成对应于所述待检测特征点的待检测特征向量。
根据本申请一实施方式,所述方向子模块还用于:根据所述尺度空间和所述待检测特征点,确定所述待检测特征点的第一尺度值;在所述尺度空间中确定以所述待检测特征点为圆心,以所述第一尺度值为半径的圆形域;以预设的扫描区间对所述圆形域进行旋转扫描,计算所述扫描区间内部的所述待检测特征点的特征值总和;确定所述特征值总和最大的所述扫描区间对应的方向向量为所述待检测特征点的主方向。
根据本申请一实施方式,所述向量子模块还用于:基于所述待检测特征点的主方向,将所述圆形域分成N个子区域,其中N为正整数;确定每个所述子区域中的待检测特征点的特征值和方向参数;基于所述待检测特征点的特征值和所述方向参数,生成对应于所述待检测特征点的待检测特征向量。
根据本申请一实施方式,所述匹配模块还用于:基于所述待检测特征向量和所述参考特征向量,确定所述待检测特征向量与所述参考特征向量之间的距离;基于所述待检测特征向量与所述参考特征向量之间的距离,确定所述待检测特征向量与所述参考特征向量构成的匹配向量集;确定所述匹配向量集中的有效匹配向量;基于所述匹配向量集中的有效匹配向量,确定所述待检测图像与所述参考图像是否匹配。
根据本申请一实施方式,所述第一最近邻距离为所述待检测特征向量与所述参考特征向量的最小距离,所述第一次近邻距离为所述待检测特征向量与所述参考特征向量的次小距离,所述匹配模块还用于:基于所述待检测特征向量与所述参考特征向量之间的距离,确定所述待检测特征向量与所述参考特征向量的第一最近邻距离和第一次近邻距离;响应于所述第一最近邻距离和所述第一次近邻距离的比值满足预设的第一距离阈值,确定所述待检测特征向量与其最近邻的所述参考特征向量为匹配向量,并将所述匹配向量存储至所述匹配向量集。
根据本申请一实施方式,所述匹配模块还用于:基于所述匹配向量集,随机选取所述匹配向量集中第一数量的第一匹配向量;基于所述第一数量的第一匹配向量,建立特征向量余弦约束方程;基于所述特征向量余弦约束方程,计算所述匹配向量集中除所述第一匹配向量以外的第二匹配向量的特征向量余弦约束值;响应于所述特征向量余弦约束值满足预设的有效匹配阈值,确定所述第二匹配向量为有效匹配向量。
根据本申请一实施方式,所述匹配模块还用于:基于所述匹配向量集中的有效匹配向量,确定有效匹配向量集;响应于所述有效匹配向量集中有效匹配向量的数量满足预设的数量阈值,确定所述有效匹配向量集为候选向量集,并增加所述候选向量集的迭代周期次数;基于所述候选向量集,确定所述待检测特征点的变换矩阵;根据所述待检测特征点的变换矩阵和所述待检测特征向量,确定所述待检测图像与所述参考图像是否匹配。
根据本申请一实施方式,所述匹配模块还用于:响应于所述候选向量集经过M个迭代周期、且所述候选向量集中的所述有效匹配向量的数量不变,其中M为正整数,则确定所述候选向量集为变换向量集,并基于所述变换向量集,确定所述待检测特征点的变换矩阵;或,响应于所述候选向量集经过的所述迭代周期次数满足预设的迭代周期次数阈值,则确定所述候选向量集为所述变换向量集,并基于所述变换向量集,确定所述待检测特征点的变换矩阵。
根据本申请一实施方式,所述第二最近邻距离为所述变换特征向量与所述参考特征向量的最小距离,所述第二次近邻距离为所述变换特征向量与所述参考特征向量的次小距离,所述匹配模块还用于:根据所述待检测特征点的变换矩阵和所述待检测特征向量,生成变换特征向量;基于所述变换特征向量与所述参考特征向量之间的距离,确定所述变换特征向量与所述参考特征向量的第二最近邻距离和第二次近邻距离;响应于所述第二最近邻距离和所述第二次近邻距离的比值满足预设的第二距离阈值,确定所述变换特征向量与其最近邻的所述参考特征向量为正确匹配向量;基于所述正确匹配向量,确定所述待检测图像与所述参考图像是否匹配。
根据本申请的第三方面,提供了一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行本申请所述的方法。
根据本申请的第四方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行本申请所述的方法。
本申请实施例的方法,获取待检测图像在尺度空间中的待检测特征点;确定所述待检测特征点对应的待检测特征向量;获取参考图像中与所述待检测特征点对应的参考特征点,确定所述参考特征点对应的参考特征向量;基于所述参考特征向量和所述待检测特征向量,确定所述待检测图像与所述参考图像是否匹配。如此,通过获取笔记本键盘键帽图像中的特征点以及特征点对应的特征向量,能够智能地对笔记本键盘键帽图像进行匹配,减少了图像匹配的时间,降低了图像匹配过程中的待检测特征向量的复杂性,进而提高了图像匹配的精度和效率。通过待检测的笔记本键盘键帽图像与参考图像中的参考特征向量和待检测特征向量,确定待检测的笔记本键盘键帽图像与参考图像是否匹配,能够智能地对笔记本键盘键帽图像进行匹配,在笔记本键盘键帽图像匹配过程中笔记本键盘键帽图像具备不受平移、旋转、缩放和畸变等因素干扰的特性,具有很好的鲁棒性,进而提高了图像匹配的精度和效率。
需要理解的是,本申请的教导并不需要实现上面所述的全部有益效果,而是特定的技术方案可以实现特定的技术效果,并且本申请的其他实施方式还能够实现上面未提到的有益效果。
附图说明
通过参考附图阅读下文的详细描述,本申请示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中,以示例性而非限制性的方式示出了本申请的若干实施方式,其中:
在附图中,相同或对应的标号表示相同或对应的部分。
图1示出了本申请实施例提供的图像匹配方法的处理流程示意图一;
图2示出了本申请实施例提供的基于参考特征向量和待检测特征向量,确定待检测图像与参考图像是否匹配的处理流程示意图;
图3示出了本申请实施例提供的图像匹配方法的处理流程示意图二;
图4示出了本申请实施例提供的图像匹配方法的处理流程示意图三;
图5示出了本申请实施例提供的图像匹配方法的处理流程示意图四;
图6示出了本申请实施例提供的图像匹配方法的处理流程示意图五;
图7示出了本申请实施例提供的图像匹配方法的处理流程示意图六;
图8示出了本申请实施例提供的图像匹配方法的处理流程示意图七;
图9示出了本申请实施例提供的图像匹配方法的一种应用场景图;
图10示出了本申请实施例提供的图像匹配方法的另一种应用场景图;
图11示出了本申请实施例提供的图像匹配方法的又一种应用场景图;
图12示出了本申请实施例提供的图像匹配装置的一种可选示意图;
图13示出了本申请实施例提供的电子设备的组成结构示意图。
具体实施方式
为使本申请的目的、特征、优点能够更加的明显和易懂,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而非全部实施例。基于本申请中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。
在以下的描述中,所涉及的术语“第一\第二”仅仅是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的,不是旨在限制本申请。
对本申请实施例进行进一步详细说明之前,对本申请实施例中涉及的名词和术语进行说明,本申请实施例中涉及的名词和术语适用于如下的解释。
特征提取,特征提取是计算机视觉中的概念,它指的是使用计算机提取图像信息,决定每个图像的像素点是否属于一个图像特征。
相关技术中,目前已知的图像匹配的技术方案,由于匹配图像中存在平移、旋转、缩放和畸变等因素,现有的图像匹配过程十分耗时且图像匹配精度低,现有的图像匹配方法不能应用于工业现场。相关技术在图像匹配过程中耗时较长且图像匹配精度低,进而出现图像匹配效率低的问题。
针对相关技术提供的上述图像匹配方法,在图像匹配过程中耗时较长且图像匹配精度低,进而出现图像匹配效率低的问题,本申请实施例的方法,获取待检测图像在尺度空间中的待检测特征点;确定所述待检测特征点对应的待检测特征向量;获取参考图像中与所述待检测特征点对应的参考特征点,确定所述参考特征点对应的参考特征向量;基于所述参考特征向量和所述待检测特征向量,确定所述待检测图像与所述参考图像是否匹配。如此,能够智能地对图像进行匹配,以提高图像匹配的精度,减少了图像匹配的时间,进而提高了图像匹配的效率。因此,与相关技术中在图像匹配过程中耗时较长且图像匹配精度低相比,本申请的图像匹配方法能够减少图像匹配的时间,提高了图像匹配效率。
对本申请实施例提供的图像匹配方法中的处理流程进行说明。参见图1,图1是本申请实施例提供的图像匹配方法的处理流程示意图一,将结合图1示出的步骤S101-S104进行说明。
步骤S101,获取待检测图像在尺度空间中的待检测特征点。
在一些实施例中,待检测图像可以包括:等待进行特征提取的图像。尺度空间可以包括多个不同的尺度,待检测图像在尺度空间下可以对应一系列不同尺度的图像,该一系列不同尺度的图像构成待检测图像集,在不同的尺度中检测待检测特征点。待检测特征点可以包括:待检测图像在所有尺度下的待检测特征点。待检测特征点也可以包括:待检测图像灰度值发生剧烈变化的点或者在待检测图像边缘上曲率较大的点。
在具体实施时,首先将待检测图像的所有像素点与二阶高斯微分模型做卷积处理,构建尺度空间,尺度空间可通过下述公式(1)表示:
Figure 453625DEST_PATH_IMAGE001
(1)
其中,
Figure 105186DEST_PATH_IMAGE002
为尺度空间,σ为图像尺度,
Figure 478399DEST_PATH_IMAGE003
为二阶高斯微分模型,
Figure 608029DEST_PATH_IMAGE004
为待检测图像的所有像素点。
二阶高斯微分模型可通过下述公式(2)表示:
Figure 156822DEST_PATH_IMAGE005
(2)
再从尺度空间中获取待检测图像灰度值发生剧烈变化的点或者在待检测图像边缘上曲率较大的点。
步骤S102,确定所述待检测特征点对应的待检测特征向量。
在一些实施例中,待检测特征向量可以包括:待检测特征点对应的待检测特征描述符。
在一些实施例中,确定所述待检测特征点对应的待检测特征向量可以包括:确定所述待检测特征点中所述待检测特征点的主方向;根据所述待检测特征点的主方向,生成对应于所述待检测特征点的待检测特征向量。
针对确定所述待检测特征点中所述待检测特征点的主方向,在具体实施时,先根据尺度空间和待检测特征点,确定待检测特征点的第一尺度值,其中第一尺度值可以包括:A倍的尺度值,其中,A为正整数,尺度值为待检测特征点所在的尺度空间的尺度值,本申请实施例不限定A的具体数值。然后在尺度空间中确定以待检测特征点为圆心,以第一尺度值为半径的圆形域;再以预设的扫描区间对圆形域进行旋转扫描,计算每次旋转扫描后的扫描区间内部的待检测特征点的特征值总和,其中预设的扫描区间可以包括:圆形域的部分扇形区域,扇形的角弧度为B度,B为正整数,本申请实施例不限定B的具体数值。旋转扫描可以包括:以圆形域的圆点为旋转中心,将扫描区间旋转C度,C为正整数,本申请实施例不限定C的具体数值。最后确定特征值总和最大的扫描区间对应的方向向量为待检测特征点的主方向,其中待检测特征点的主方向可以包括:扫描区间中待检测特征点最多的方向。
针对根据所述待检测特征点的主方向,生成对应于所述待检测特征点的待检测特征向量,在具体实施时,先基于所述待检测特征点的主方向,将所述圆形域分成N个子区域,其中N为正整数;确定每个子区域内的待检测特征点的特征值和方向参数;基于待检测特征点的特征值和方向参数,生成对应于待检测特征点的待检测特征向量。
作为示例,以特征点为中心,沿着待检测特征点的主方向,将圆形域划分为N个子区域,其中N为正整数,本申请实施例不限定具体的划分子区域的数量;确定每个子区域中待检测特征点的哈尔小波特征值,然后统计哈尔小波特征值的水平方向值∑dx、垂直方向值∑dy、水平方向绝对值∑|dx|和垂直方向绝对值∑|dy|,将水平方向值∑dx、垂直方向值∑dy、水平方向绝对值∑|dx|和垂直方向绝对值∑|dy|作为方向参数;基于待检测特征点的哈尔小波特征值和方向参数,计算整个圆形域的哈尔小波特征值和方向参数,生成对应于待检测特征点的待检测特征向量。其中,待检测特征向量可以包括:64维度的待检测特征向量。
步骤S103,获取参考图像中与所述待检测特征点对应的参考特征点,确定所述参考特征点对应的参考特征向量。
在一些实施例中,参考图像可以包括:待检测图像的标准图像,待检测图像的标准图像可以是预先获得的最理想的标准图像。以上述与待检测图像同样的方式,从参考图像中获取参考特征点,确定参考特征点对应的参考特征向量,并将参考图像、参考特征点和参考特征向量存储至计算机可读存储介质中,用于与待检测图像进行图像匹配。
步骤S104,基于所述参考特征向量和所述待检测特征向量,确定所述待检测图像与所述参考图像是否匹配。
在一些实施例中,如图2所示,基于参考特征向量和待检测特征向量,确定待检测图像与参考图像是否匹配的处理流程可以包括:步骤S1,基于所述待检测特征向量和所述参考特征向量,确定所述待检测特征向量与所述参考特征向量之间的距离;步骤S2,基于所述待检测特征向量与所述参考特征向量之间的距离,确定所述待检测特征向量与所述参考特征向量构成的匹配向量集,其中确定待检测特征向量与参考特征向量之间的距离可以包括:确定待检测图像主方向上的一个待检测特征向量与参考图像主方向上的所有参考特征向量之间的距离;步骤S3,确定所述匹配向量集中的有效匹配向量;步骤S4,基于所述匹配向量集中的有效匹配向量,确定所述待检测图像与所述参考图像是否匹配。
针对确定所述待检测特征向量与所述参考特征向量构成的匹配向量集,在具体实施时,基于待检测特征向量与参考特征向量之间的距离,确定待检测特征向量与参考特征向量的第一最近邻距离和第一次近邻距离;其中,第一最近邻距离为待检测特征向量与参考特征向量之间的距离中的最小距离,第一次近邻距离为待检测特征向量与参考特征向量之间的距离中的次小距离;响应于第一最近邻距离和第一次近邻距离的比值满足预设的第一距离阈值,确定待检测特征向量与其最近邻的参考特征向量为匹配向量,并将匹配向量存储至匹配向量集。其中,第一最近邻距离和第一次近邻距离的比值越小,代表两个特征向量匹配相似度越高,第一距离阈值可以包括:预设的第一最近邻距离和第一次近邻距离的比值的范围值,在第一最近邻距离和第一次近邻距离的比值处于范围值中的情况下,则确定第一最近邻距离和第一次近邻距离的比值满足预设的第一距离阈值,本申请实施例不限定第一距离阈值的具体范围值。
作为示例,确定待检测图像主方向上的一个待检测特征向量与参考图像主方向上的所有参考特征向量之间的距离,将距离由小到大进行排序,待检测图像第0号特征向量与参考图像第1号特征向量之间的距离a最小,待检测图像第0号特征向量与参考图像第2号特征向量之间的距离b次小,则第0号特征向量与第1号特征向量之间的距离a为第一最近邻距离,第0号特征向量与第2号特征向量之间的距离b为第一次近邻距离。预设的第一距离阈值为大于等于0.3并小于等于0.7,响应于距离a与距离b的比值在大于等于0.3并小于等于0.7的范围中,确定待检测图像第0号特征向量与参考图像第1号特征向量为匹配向量,并将匹配向量存储至匹配向量集。
针对确定所述匹配向量集中的有效匹配向量,在具体实施时,先基于匹配向量集,随机选取匹配向量集中第一数量的第一匹配向量;然后基于第一数量的第一匹配向量,建立特征向量余弦约束方程;再基于特征向量余弦约束方程,计算匹配向量集中除第一匹配向量以外的第二匹配向量的特征向量余弦约束值;响应于特征向量余弦约束值满足预设的有效匹配阈值,确定第二匹配向量为有效匹配向量。其中,第一数量可以包括:小于匹配向量集中匹配向量数的任意数量,本申请实施例不限定第一数量的具体数值。有效匹配阈值可以包括:预设的特征向量余弦约束最小值,在特征向量余弦约束值大于预设的有效匹配阈值的情况下,则确定特征向量余弦约束值满足预设的有效匹配阈值,本申请实施例不限定有效匹配阈值的具体数值。
作为示例,匹配向量集中有20对匹配向量,则匹配向量数为20。随机选取20对匹配向量中的4对第一匹配向量,匹配向量中第一匹配向量以外的16对匹配向量的特征向量作为第二匹配向量,则第一数量为4。基于随机选取的4对第一匹配向量,建立特征向量余弦约束方程,并根据特征向量余弦约束方程计算16对第二匹配向量中每对第二匹配向量的特征向量余弦约束值a。预设的有效匹配阈值为b,响应于特征向量余弦约束值a大于有效匹配阈值b,则确定该对第二匹配向量为有效匹配向量。
针对确定所述待检测图像与所述参考图像是否匹配,在具体实施时,先基于匹配向量集中的有效匹配向量,确定有效匹配向量集;响应于有效匹配向量集中有效匹配向量的数量满足预设的数量阈值,确定有效匹配向量集为候选向量集,并增加候选向量集的迭代周期次数;然后基于候选向量集,确定待检测特征点的变换矩阵;最后根据待检测特征点的变换矩阵和待检测特征向量,确定待检测图像与参考图像是否匹配。其中,迭代周期可以包括:从基于匹配向量集中的有效匹配向量,确定有效匹配向量集至响应于有效匹配向量集中有效匹配向量的数量满足预设的数量阈值,确定有效匹配向量集为候选向量集的过程称为一次迭代周期,本申请实施例不限定具体的迭代周期次数。数量阈值可以包括:预设的有效匹配向量集中有效匹配向量的最少数量,在有效匹配向量集中有效匹配向量的数量大于预设的数量阈值的情况下,则确定有效匹配向量集中有效匹配向量的数量满足预设的数量阈值,本申请实施例不限定具体的数量阈值。
作为示例,匹配向量集中包括有效匹配向量a、有效匹配向量b和有效匹配向量c,则确定有效匹配向量集A,其中,有效匹配向量集A中包括:有效匹配向量a、有效匹配向量b和有效匹配向量c。预设的数量阈值为2个。响应于有效匹配向量集中包括3个有效匹配向量大于数量阈值2,确定有效匹配向量集A为候选向量集B,并将候选向量集B的迭代周期次数增加1次。
针对基于候选向量集,确定待检测特征点的变换矩阵,在具体实施时,在候选向量集经过M个迭代周期、且候选向量集中的有效匹配向量的数量不变的情况下,其中M为正整数,则确定候选向量集为变换向量集,并基于变换向量集,确定待检测特征点的变换矩阵。其中,M个迭代周期为预设的候选向量集的迭代周期次数,本申请实施例不限定具体的迭代周期次数。
作为示例,预设的迭代周期次数为5次,在候选向量集经过5个迭代周期、且候选向量集中的有效匹配向量的数量不变的情况下,则确定候选向量集为变换向量集,并基于变换向量集,确定待检测特征点的变换矩阵。
在候选向量集经过的迭代周期次数满足预设的迭代周期次数阈值的情况下,则确定所述候选向量集为变换向量集,并基于变换向量集,确定待检测特征点的变换矩阵。预设的迭代周期次数阈值可以包括:预设的候选向量集经过的最多迭代周期次数,在候选向量集经过的迭代周期次数等于预设的迭代周期次数阈值的情况下,则确定候选向量集经过的迭代周期次数满足预设的迭代周期次数阈值,本申请实施例不限定具体的候选向量集经过的最多迭代周期次数。
作为示例,预设的迭代周期次数阈值为10次,在候选向量集经过的迭代周期次数与预设的迭代周期次数阈值相等的情况下,即候选向量集经过了10次迭代周期,则确定所述候选向量集为变换向量集,并基于变换向量集,确定待检测特征点的变换矩阵。
针对根据待检测特征点的变换矩阵和待检测特征向量,确定待检测图像与参考图像是否匹配,在具体实施时,根据待检测特征点的变换矩阵和待检测特征向量,生成变换特征向量;基于变换特征向量与参考特征向量之间的距离,确定变换特征向量与参考特征向量的第二最近邻距离和第二次近邻距离;其中,第二最近邻距离为变换特征向量与参考特征向量之间的距离中的最小距离,第二次近邻距离为变换特征向量与参考特征向量之间的距离中的次小距离;响应于第二最近邻距离和第二次近邻距离的比值满足预设的第二距离阈值,确定变换特征向量与其最近邻的参考特征向量为正确匹配向量;基于正确匹配向量,确定待检测图像与参考图像是否匹配。其中,第二距离阈值可以包括:预设的第二最近邻距离和第二次近邻距离的比值的最大值,在第二最近邻距离和第二次近邻距离的比值小于第二距离阈值的情况下,则确定第二最近邻距离和第二次近邻距离的比值满足预设的第二距离阈值,本申请实施例不限定第二距离阈值的具体范围值。
作为示例,确定一个变换特征向量与参考图像主方向上的所有参考特征向量之间的距离,将距离由小到大进行排序,第0号变换特征向量与第1号参考特征向量之间的距离a最小,第0号变换特征向量与第2号参考特征向量之间的距离b次小,则第0号变换特征向量与第1号参考特征向量之间的距离a为第二最近邻距离,第0号变换特征向量与第2号参考特征向量之间的距离b为第二次近邻距离。预设的第二距离阈值为0.5,响应于距离a与距离b的比值小于0.5,确定第0号变换特征向量与第1号参考特征向量为正确匹配向量,基于正确匹配向量,确定待检测图像与参考图像是否匹配。
本申请实施例的方法,确定所述待检测特征点中所述待检测特征点的主方向;根据所述待检测特征点的主方向,生成对应于所述待检测特征点的待检测特征向量,如此,能够降低待检测特征向量的维度,进而降低了图像匹配过程中的待检测特征向量的复杂性,提高了图像匹配的效率。以预设的扫描区间对所述圆形域进行旋转扫描,计算所述扫描区间内部的所述待检测特征点的特征值总和,如此,由于圆形域具有很好的旋转不变性,能够减少待检测特征点的提取时间,进而减少了图像匹配的时间。基于所述特征向量余弦约束方程,计算所述匹配向量集中除所述第一匹配向量以外的第二匹配向量的特征向量余弦约束值,如此,能够通过计算待检测特征向量和参考向量的夹角余弦值来评估待检测特征向量和参考向量的相似度,由于待检测特征向量和参考向量构成的余弦值满足旋转不变性,而且具备不受平移、旋转、缩放和畸变等因素干扰的特性,进而提高了图像匹配的精度和效率。将生成的对应于待检测特征点的待检测特征向量进行归一化处理,如此,能够待检测特征向量和参考向量在受平移、旋转、缩放和畸变等因素干扰的情况下,具有很好的鲁棒性。
因此,与相关技术中在图像匹配过程中耗时较长且图像匹配精度低,相比,本申请的图像匹配方法能够减少图像匹配的时间,且图像匹配的方法可以应用于生产笔记本键盘键帽的工业现场,提高了图像匹配的精度,进而提高了图像匹配效率。
在一些实施例中,对所述图像匹配方法的处理流程示意图二,如图3所示,包括:
步骤S201,确定所述待检测特征点中所述待检测特征点的主方向。
步骤S202,根据所述待检测特征点的主方向,生成对应于所述待检测特征点的待检测特征向量。
针对相关技术在图像匹配过程中耗时较长且图像匹配精度低,进而出现图像匹配效率低的问题,本申请实施例的方法,确定所述待检测特征点中所述待检测特征点的主方向;根据所述待检测特征点的主方向,生成对应于所述待检测特征点的待检测特征向量,如此,能够降低待检测特征向量的维度,进而降低了笔记本键盘键帽图像匹配过程中的待检测特征向量的复杂性,且图像匹配的方法可以应用于生产笔记本键盘键帽的工业现场,提高了笔记本键盘键帽图像匹配的效率。
在一些实施例中,对所述图像匹配方法的处理流程示意图三,如图4所示,包括:
步骤S301,根据所述尺度空间和所述待检测特征点,确定所述待检测特征点的第一尺度值。
步骤S302,在所述尺度空间中确定以所述待检测特征点为圆心,以所述第一尺度值为半径的圆形域。
步骤S303,以预设的扫描区间对所述圆形域进行旋转扫描,计算所述扫描区间内部的所述待检测特征点的特征值总和。
步骤S304,确定所述特征值总和最大的所述扫描区间对应的方向向量为所述待检测特征点的主方向。
作为示例,先根据尺度空间和待检测特征点,确定待检测特征点的第一尺度值,其中第一尺度值可以包括:待检测特征点所在的尺度空间中尺度值的6倍;然后在尺度空间中确定以待检测特征点为圆心,以第一尺度值为半径的圆形域;再以角弧度为45°的扇形扫描区间,以圆形域的圆点为旋转中心对圆形域进行旋转扫描,每次旋转扫描将扫描区间旋转45°,直至扫描完成整个圆形域共计扫描8次,计算每次旋转扫描后的扇形扫描区间内部的待检测特征点的哈尔小波特征值总和;最后确定哈尔小波特征值总和最大的扇形扫描区间对应的方向向量为待检测特征点的主方向。
在具体实施时,在步骤S302之后可以包括:计算圆形域内的待检测特征点在水平方向和垂直方向上的哈尔小波特征值,并确定赋予待检测特征点较高的高斯权重。
步骤S305,基于所述待检测特征点的主方向,将所述圆形域分成N个子区域,其中N为正整数。
步骤S306,确定每个所述子区域中的待检测特征点的特征值和方向参数。
步骤S307,基于所述待检测特征点的特征值和所述方向参数,生成对应于所述待检测特征点的待检测特征向量。
作为示例,以特征点为中心,沿着待检测特征点的主方向,将圆形域划分为4个子区域;确定每个子区域中待检测特征点的哈尔小波特征值,然后统计哈尔小波特征值的水平方向值∑dx、垂直方向值∑dy、水平方向绝对值∑|dx|和垂直方向绝对值∑|dy|,将水平方向值∑dx、垂直方向值∑dy、水平方向绝对值∑|dx|和垂直方向绝对值∑|dy|作为方向参数;基于待检测特征点的哈尔小波特征值和方向参数,计算整个圆形域的哈尔小波特征值和方向参数,生成对应于待检测特征点的待检测特征向量。其中,待检测特征向量可以包括:64维度的待检测特征向量。
在具体实施时,在步骤S307之后可以包括:将生成的对应于待检测特征点的待检测特征向量进行归一化处理。
针对相关技术在图像匹配过程中耗时较长且图像匹配精度低,进而出现图像匹配效率低的问题,本申请实施例的方法,将生成的对应于待检测特征点的待检测特征向量进行归一化处理,如此,能够在笔记本键盘键帽图像对应的待检测特征向量和参考向量在受平移、旋转、缩放和畸变等因素干扰的情况下,具有很好的鲁棒性,以预设的扫描区间对所述圆形域进行旋转扫描,计算所述扫描区间内部的所述待检测特征点的特征值总和,如此,由于圆形域具有很好的旋转不变性,能够减少待检测特征点的提取时间,进而减少了笔记本键盘键帽图像匹配的时间,且图像匹配的方法可以应用于生产笔记本键盘键帽的工业现场,提高了笔记本键盘键帽图像匹配的效率。
在一些实施例中,对所述图像匹配方法的处理流程示意图四,如图5所示,包括:
步骤S401,基于所述待检测特征向量和所述参考特征向量,确定所述待检测特征向量与所述参考特征向量之间的距离。
步骤S402,基于所述待检测特征向量与所述参考特征向量之间的距离,确定所述待检测特征向量与所述参考特征向量构成的匹配向量集。
步骤S403,确定所述匹配向量集中的有效匹配向量。
步骤S404,基于所述匹配向量集中的有效匹配向量,确定所述待检测图像与所述参考图像是否匹配。
在一些实施例中,对所述图像匹配方法的处理流程示意图五,如图6所示,包括:
步骤S501,基于所述待检测特征向量与所述参考特征向量之间的距离,确定所述待检测特征向量与所述参考特征向量的第一最近邻距离和第一次近邻距离。
步骤S502,响应于所述第一最近邻距离和所述第一次近邻距离的比值满足预设的第一距离阈值,确定所述待检测特征向量与其最近邻的所述参考特征向量为匹配向量,并将所述匹配向量存储至所述匹配向量集。
步骤S503,基于所述匹配向量集,随机选取所述匹配向量集中第一数量的第一匹配向量。
步骤S504,基于所述第一数量的第一匹配向量,建立特征向量余弦约束方程。
步骤S505,基于所述特征向量余弦约束方程,计算所述匹配向量集中除所述第一匹配向量以外的第二匹配向量的特征向量余弦约束值。
步骤S506,响应于所述特征向量余弦约束值满足预设的有效匹配阈值,确定所述第二匹配向量为有效匹配向量。
作为示例,匹配向量集中有20对匹配向量,则匹配向量数为20。随机选取20对匹配向量中的4对第一匹配向量,匹配向量中第一匹配向量以外的16对匹配向量的特征向量作为第二匹配向量,则第一数量为4。对随机选取的4对第一匹配向量,保证选取4对第一匹配向量不共线的情况下,采用最小二乘法计算单应性矩阵,其中,单应性矩阵用来描述第一匹配向量在世界坐标系和像素坐标系之间的位置映射关系。第一匹配向量单应性变换对应的单应性矩阵H,可通过下述公式(3)表示:
Figure 323492DEST_PATH_IMAGE006
(3)
其中,
Figure 324946DEST_PATH_IMAGE007
Figure 992688DEST_PATH_IMAGE008
表示像素坐标系中的坐标,s表示尺度因子,
Figure 255042DEST_PATH_IMAGE009
Figure 717247DEST_PATH_IMAGE010
Figure 812855DEST_PATH_IMAGE007
Figure 284287DEST_PATH_IMAGE008
和γ分别 表示5个相机内参,
Figure 401148DEST_PATH_IMAGE011
Figure 299834DEST_PATH_IMAGE012
和t表示相机外参,M表示内参矩阵。
内参矩阵M,可通过下述公式(4)表示:
Figure 885667DEST_PATH_IMAGE013
(4)
建立特征向量余弦约束方程,特征向量余弦约束方程,可通过下述公式(5)表示:
Figure 895211DEST_PATH_IMAGE014
(5)
其中,p和
Figure 7524DEST_PATH_IMAGE015
表示对应待检测图像中的待检测特征向量,q和
Figure 201745DEST_PATH_IMAGE016
表示对应参考图像 中的参考特征向量。
根据特征向量余弦约束方程计算16对第二匹配向量中每对第二匹配向量的特征向量余弦约束值a。预设的有效匹配阈值为b,响应于特征向量余弦约束值a大于有效匹配阈值b,则确定该对第二匹配向量为有效匹配向量。
步骤S507,基于所述匹配向量集中的有效匹配向量,确定有效匹配向量集。
步骤S508,响应于所述有效匹配向量集中有效匹配向量的数量满足预设的数量阈值,确定所述有效匹配向量集为候选向量集,并增加所述候选向量集的迭代周期次数。
步骤S509,基于所述候选向量集,确定所述待检测特征点的变换矩阵。
步骤S510,根据所述待检测特征点的变换矩阵和所述待检测特征向量,确定所述待检测图像与所述参考图像是否匹配。
针对相关技术在图像匹配过程中耗时较长且图像匹配精度低,进而出现图像匹配效率低的问题,本申请实施例的方法,基于所述特征向量余弦约束方程,计算所述匹配向量集中除所述第一匹配向量以外的第二匹配向量的特征向量余弦约束值,如此,能够通过计算笔记本键盘键帽图像对应的待检测特征向量和参考向量的夹角余弦值来评估待检测特征向量和参考向量的相似度,由于待检测特征向量和参考向量构成的余弦值满足旋转不变性,而且具备不受平移、旋转、缩放和畸变等因素干扰的特性,且图像匹配的方法可以应用于生产笔记本键盘键帽的工业现场,进而提高了笔记本键盘键帽图像匹配的精度和效率。
在一些实施例中,对所述图像匹配方法的处理流程示意图六,如图7所示,包括:
步骤S601,响应于所述有效匹配向量集中有效匹配向量的数量满足预设的数量阈值,确定所述有效匹配向量集为候选向量集,并增加所述候选向量集的迭代周期次数。
步骤S602a,响应于所述候选向量集经过M个迭代周期、且所述候选向量集中的所述有效匹配向量的数量不变,其中M为正整数,则确定所述候选向量集为变换向量集,并基于所述变换向量集,确定所述待检测特征点的变换矩阵。
步骤S602b,响应于所述候选向量集经过的所述迭代周期次数满足预设的迭代周期次数阈值,则确定所述候选向量集为所述变换向量集,并基于所述变换向量集,确定所述待检测特征点的变换矩阵。
针对相关技术在图像匹配过程中耗时较长且图像匹配精度低,进而出现图像匹配效率低的问题,本申请实施例的方法,响应于所述候选向量集经过M个迭代周期、且所述候选向量集中的所述有效匹配向量的数量不变,其中M为正整数,则确定所述候选向量集为变换向量集,并基于所述变换向量集,确定所述待检测特征点的变换矩阵,如此,能够减少笔记本键盘键帽图像匹配的时间并提高了笔记本键盘键帽图像对应的变换矩阵的精度,图像匹配的方法可以应用于生产笔记本键盘键帽的工业现场,进而提高了笔记本键盘键帽图像匹配的精度和效率。
在一些实施例中,对所述图像匹配方法的处理流程示意图七,如图8所示,包括:
步骤S701,根据所述待检测特征点的变换矩阵和所述待检测特征向量,生成变换特征向量。
在具体实施时,根据所述待检测特征点的变换矩阵和所述待检测特征向量,生成变换特征向量,可以包括:将变换矩阵与待检测特征向量相乘,计算得到变换特征向量。
步骤S702,基于所述变换特征向量与所述参考特征向量之间的距离,确定所述变换特征向量与所述参考特征向量的第二最近邻距离和第二次近邻距离。
步骤S703,响应于所述第二最近邻距离和所述第二次近邻距离的比值满足预设的第二距离阈值,确定所述变换特征向量与其最近邻的所述参考特征向量为正确匹配向量。
针对相关技术在图像匹配过程中耗时较长且图像匹配精度低,进而出现图像匹配效率低的问题,本申请实施例的方法,响应于所述第二最近邻距离和所述第二次近邻距离的比值满足预设的第二距离阈值,确定所述变换特征向量与其最近邻的所述参考特征向量为正确匹配向量,如此,能够提高笔记本键盘键帽图像匹配的精度和效率。
图9示出了本申请实施例提供的图像匹配方法的一种应用场景图。
参考图9,本申请实施例提供的图像匹配方法的一种应用场景,首先原始图像可以包括:等待进行特征提取的图像。尺度空间可以包括多个不同的尺度,原始图像在尺度空间下可以对应一系列不同尺度的图像,该一系列不同尺度的图像构成原始图像集,在不同的尺度中检测原始特征点。原始特征点可以包括:原始图像在所有尺度下的原始特征点。原始特征点也可以包括:原始图像灰度值发生剧烈变化的点或者在原始图像边缘上曲率较大的点。
对原始图像进行SURF(Speeded Up Robust Features,加速稳健特征)特征点提取,首先将原始图像的所有像素点与二阶高斯微分模型做卷积处理,构建尺度空间:再从尺度空间中获取原始图像灰度值发生剧烈变化的点或者在原始图像边缘上曲率较大的点。
确定原始特征点中原始特征点的主方向;根据原始特征点的主方向,生成对应于原始特征点的原始特征向量,其中原始特征向量可以包括:原始特征描述子。
针对确定所述原始特征点中原始特征点的主方向,在具体实施时,先根据尺度空间和原始特征点,确定原始特征点的第一尺度值,其中第一尺度值可以包括:A倍的尺度值,其中,A为正整数,尺度值为原始特征点所在的尺度空间的尺度值,本申请实施例不限定A的具体数值。然后在尺度空间中确定以原始特征点为圆心,以第一尺度值为半径的圆形域;再以预设的扫描区间对圆形域进行旋转扫描,计算每次旋转扫描后的扫描区间内部的原始特征点的特征值总和,其中预设的扫描区间可以包括:圆形域的部分扇形区域,扇形的角弧度为B度,B为正整数,本申请实施例不限定B的具体数值。旋转扫描可以包括:以圆形域的圆点为旋转中心,将扫描区间旋转C度,C为正整数,本申请实施例不限定C的具体数值。最后确定特征值总和最大的扫描区间对应的方向向量为原始特征点的主方向,其中原始特征点的主方向可以包括:扫描区间中原始特征点最多的方向。
针对根据所述原始特征点的主方向,生成对应于所述原始特征点的原始特征向量,以特征点为中心,沿着原始特征点的主方向,将圆形域划分为N个子区域,其中N为正整数,本申请实施例不限定具体的划分子区域的数量;确定每个子区域中原始特征点的哈尔小波特征值,然后统计哈尔小波特征值的水平方向值∑dx、垂直方向值∑dy、水平方向绝对值∑|dx|和垂直方向绝对值∑|dy|,将水平方向值∑dx、垂直方向值∑dy、水平方向绝对值∑|dx|和垂直方向绝对值∑|dy|作为方向参数;基于原始特征点的哈尔小波特征值和方向参数,计算整个圆形域的哈尔小波特征值和方向参数,生成对应于原始特征点的原始特征向量。其中,原始特征向量可以包括:64维度的原始特征描述子,与常规的SURF特征点提取方法中的128维度的特征描述子相比,本方案降低了原始特征描述子的维度。
获取模板图像中与原始特征点对应的模板特征点,确定模板特征点对应的模板特征向量,其中模板特征向量可以包括:模板特征描述子。模板图像可以包括:原始图像的标准图像,原始图像的标准图像可以是预先获得的最理想的标准图像。以上述与原始图像同样的方式,从模板图像中获取模板特征点,确定模板特征点对应的模板特征向量,其中,模板特征向量可以包括:64维度的模板特征描述子,与常规的SURF特征点提取方法中的128维度的特征描述子相比,本方案降低了模板特征描述子的维度,并将模板图像、模板特征点和模板特征向量存储至计算机可读存储介质中,用于与原始图像进行图像匹配。
对模板特征向量和原始特征向量使用改进Ransac (Random Sample Consensus,随机抽样一致)算法进行图像匹配,首先,基于原始特征向量和所述模板特征向量,确定原始特征向量与模板特征向量之间的距离;基于原始特征向量与模板特征向量之间的距离,确定原始特征向量与模板特征向量的第一最近邻距离和第一次近邻距离;其中,第一最近邻距离为原始特征向量与模板特征向量之间的距离中的最小距离,第一次近邻距离为原始特征向量与模板特征向量之间的距离中的次小距离;响应于第一最近邻距离和第一次近邻距离的比值满足预设的第一距离阈值,确定原始特征向量与其最近邻的模板特征向量为匹配向量,并将匹配向量存储至匹配向量集。其中,第一最近邻距离和第一次近邻距离的比值越小,代表两个特征向量匹配相似度越高,第一距离阈值可以包括:预设的第一最近邻距离和第一次近邻距离的比值的范围值,在第一最近邻距离和第一次近邻距离的比值处于范围值中的情况下,则确定第一最近邻距离和第一次近邻距离的比值满足预设的第一距离阈值,本申请实施例不限定第一距离阈值的具体范围值。
基于匹配向量集,随机选取匹配向量集中第一数量的第一匹配向量;然后基于第一数量的第一匹配向量,建立特征向量余弦约束方程;再基于特征向量余弦约束方程,计算匹配向量集中除第一匹配向量以外的第二匹配向量的特征向量余弦约束值;响应于特征向量余弦约束值满足预设的有效匹配阈值,确定第二匹配向量为有效匹配向量。其中,第一数量可以包括:小于匹配向量集中匹配向量数的任意数量,本申请实施例不限定第一数量的具体数值。有效匹配阈值可以包括:预设的特征向量余弦约束最小值,在特征向量余弦约束值大于预设的有效匹配阈值的情况下,则确定特征向量余弦约束值满足预设的有效匹配阈值,本申请实施例不限定有效匹配阈值的具体数值。
基于匹配向量集中的有效匹配向量,确定有效匹配向量集;响应于有效匹配向量集中有效匹配向量的数量满足预设的数量阈值,确定有效匹配向量集为候选向量集,并增加候选向量集的迭代周期次数;然后基于候选向量集,确定原始特征点的变换矩阵;最后根据原始特征点的变换矩阵和原始特征向量,确定原始图像与模板图像是否匹配。其中,迭代周期可以包括:从基于匹配向量集中的有效匹配向量,确定有效匹配向量集至响应于有效匹配向量集中有效匹配向量的数量满足预设的数量阈值,确定有效匹配向量集为候选向量集的过程称为一次迭代周期,本申请实施例不限定具体的迭代周期次数。数量阈值可以包括:预设的有效匹配向量集中有效匹配向量的最少数量,在有效匹配向量集中有效匹配向量的数量大于预设的数量阈值的情况下,则确定有效匹配向量集中有效匹配向量的数量满足预设的数量阈值,本申请实施例不限定具体的数量阈值。
在候选向量集经过M个迭代周期、且候选向量集中的有效匹配向量的数量不变的情况下,其中M为正整数,则确定候选向量集为变换向量集,并基于变换向量集,确定原始特征点的变换矩阵。其中,M个迭代周期为预设的候选向量集的迭代周期次数,本申请实施例不限定具体的迭代周期次数。
在候选向量集经过的迭代周期次数满足预设的迭代周期次数阈值的情况下,则确定所述候选向量集为变换向量集,并基于变换向量集,确定原始特征点的变换矩阵。预设的迭代周期次数阈值可以包括:预设的候选向量集经过的最多迭代周期次数,在候选向量集经过的迭代周期次数等于预设的迭代周期次数阈值的情况下,则确定候选向量集经过的迭代周期次数满足预设的迭代周期次数阈值,本申请实施例不限定具体的候选向量集经过的最多迭代周期次数。
根据原始特征点的变换矩阵和原始特征向量,生成变换特征向量;基于变换特征向量与模板特征向量之间的距离,确定变换特征向量与模板特征向量的第二最近邻距离和第二次近邻距离;其中,第二最近邻距离为变换特征向量与模板特征向量之间的距离中的最小距离,第二次近邻距离为变换特征向量与模板特征向量之间的距离中的次小距离;响应于第二最近邻距离和第二次近邻距离的比值满足预设的第二距离阈值,确定变换特征向量与其最近邻的模板特征向量为正确匹配向量;基于正确匹配向量,确定原始图像与模板图像是否匹配成功。其中,第二距离阈值可以包括:预设的第二最近邻距离和第二次近邻距离的比值的最大值,在第二最近邻距离和第二次近邻距离的比值小于第二距离阈值的情况下,则确定第二最近邻距离和第二次近邻距离的比值满足预设的第二距离阈值,本申请实施例不限定第二距离阈值的具体范围值。
可以理解,图9的图像匹配方法的应用场景只是本申请实施例中的部分示例性的实施方式,本申请实施例中图像匹配方法的应用场景包括但不限于图9所示的图像匹配方法的应用场景。
图10示出了本申请实施例提供的图像匹配方法的另一种应用场景图。
参考图10,本申请实施例提供的图像匹配方法的另一种应用场景,首先根据尺度空间和待检测特征点O,确定待检测特征点O的第一尺度值。在所述尺度空间中确定以待检测特征点O为圆心,以第一尺度值为半径的圆形域。以预设的扫描区间对圆形域进行旋转扫描,计算每次旋转扫描后的扇形扫描区间内部的待检测特征点的x方向与y方向上的哈尔小波特征值总和。确定特征值总和最大的扫描区间对应的方向向量为待检测特征点的主方向B。
可以理解,图10的图像匹配方法的应用场景只是本申请实施例中的部分示例性的实施方式,本申请实施例中图像匹配方法的应用场景包括但不限于图10所示的图像匹配方法的应用场景。
图11示出了本申请实施例提供的图像匹配方法的又一种应用场景图。
参考图11,本申请实施例提供的图像匹配方法的又一种应用场景,应用于笔记本键盘键帽印刷字符的图像匹配,首先原始图像可以包括:等待进行特征提取的图像。尺度空间可以包括多个不同的尺度,原始图像在尺度空间下可以对应一系列不同尺度的图像,该一系列不同尺度的图像构成原始图像集,在不同的尺度中检测原始特征点。原始特征点可以包括:原始图像在所有尺度下的原始特征点。原始特征点也可以包括:原始图像灰度值发生剧烈变化的点或者在原始图像边缘上曲率较大的点。
对原始图像进行SURF特征点提取,首先将原始图像的所有像素点与二阶高斯微分模型做卷积处理,构建尺度空间:再从尺度空间中获取原始图像灰度值发生剧烈变化的点或者在原始图像边缘上曲率较大的点。
确定原始特征点中原始特征点的主方向;根据原始特征点的主方向,生成对应于原始特征点的原始特征向量,其中原始特征向量可以包括:原始特征描述子。
针对确定所述原始特征点中原始特征点的主方向,在具体实施时,先根据尺度空间和原始特征点,确定原始特征点的第一尺度值,其中第一尺度值可以包括:A倍的尺度值,其中,A为正整数,尺度值为原始特征点所在的尺度空间的尺度值,本申请实施例不限定A的具体数值。然后在尺度空间中确定以原始特征点为圆心,以第一尺度值为半径的圆形域;再以预设的扫描区间对圆形域进行旋转扫描,计算每次旋转扫描后的扫描区间内部的原始特征点的特征值总和,其中预设的扫描区间可以包括:圆形域的部分扇形区域,扇形的角弧度为B度,B为正整数,本申请实施例不限定B的具体数值。旋转扫描可以包括:以圆形域的圆点为旋转中心,将扫描区间旋转C度,C为正整数,本申请实施例不限定C的具体数值。最后确定特征值总和最大的扫描区间对应的方向向量为原始特征点的主方向,其中原始特征点的主方向可以包括:扫描区间中原始特征点最多的方向。
针对根据所述原始特征点的主方向,生成对应于所述原始特征点的原始特征向量,以特征点为中心,沿着原始特征点的主方向,将圆形域划分为N个子区域,其中N为正整数,本申请实施例不限定具体的划分子区域的数量;确定每个子区域中原始特征点的哈尔小波特征值,然后统计哈尔小波特征值的水平方向值∑dx、垂直方向值∑dy、水平方向绝对值∑|dx|和垂直方向绝对值∑|dy|,将水平方向值∑dx、垂直方向值∑dy、水平方向绝对值∑|dx|和垂直方向绝对值∑|dy|作为方向参数;基于原始特征点的哈尔小波特征值和方向参数,计算整个圆形域的哈尔小波特征值和方向参数,生成对应于原始特征点的原始特征向量。其中,原始特征向量可以包括:64维度的原始特征描述子,与常规的SURF特征点提取方法中的128维度的特征描述子相比,本方案降低了原始特征描述子的维度。
获取模板图像中与原始特征点对应的模板特征点,确定模板特征点对应的模板特征向量,其中模板特征向量可以包括:模板特征描述子。模板图像可以包括:原始图像的标准图像,原始图像的标准图像可以是预先获得的最理想的标准图像。以上述与原始图像同样的方式,从模板图像中获取模板特征点,确定模板特征点对应的模板特征向量,其中,模板特征向量可以包括:64维度的模板特征描述子,与常规的SURF特征点提取方法中的128维度的特征描述子相比,本方案降低了模板特征描述子的维度,并将模板图像、模板特征点和模板特征向量存储至计算机可读存储介质中,用于与原始图像进行图像匹配。
对模板特征向量和原始特征向量使用改进Ransac算法进行图像匹配,首先,基于原始特征向量和所述模板特征向量,确定原始特征向量与模板特征向量之间的距离;基于原始特征向量与模板特征向量之间的距离,确定原始特征向量与模板特征向量的第一最近邻距离和第一次近邻距离;其中,第一最近邻距离为原始特征向量与模板特征向量之间的距离中的最小距离,第一次近邻距离为原始特征向量与模板特征向量之间的距离中的次小距离;响应于第一最近邻距离和第一次近邻距离的比值满足预设的第一距离阈值,确定原始特征向量与其最近邻的模板特征向量为匹配向量,并将匹配向量存储至匹配向量集。其中,第一最近邻距离和第一次近邻距离的比值越小,代表两个特征向量匹配相似度越高,第一距离阈值可以包括:预设的第一最近邻距离和第一次近邻距离的比值的范围值,在第一最近邻距离和第一次近邻距离的比值处于范围值中的情况下,则确定第一最近邻距离和第一次近邻距离的比值满足预设的第一距离阈值,本申请实施例不限定第一距离阈值的具体范围值。
基于匹配向量集,随机选取匹配向量集中第一数量的第一匹配向量;然后基于第一数量的第一匹配向量,建立特征向量余弦约束方程;再基于特征向量余弦约束方程,计算匹配向量集中除第一匹配向量以外的第二匹配向量的特征向量余弦约束值;响应于特征向量余弦约束值满足预设的有效匹配阈值,确定第二匹配向量为有效匹配向量。其中,第一数量可以包括:小于匹配向量集中匹配向量数的任意数量,本申请实施例不限定第一数量的具体数值。有效匹配阈值可以包括:预设的特征向量余弦约束最小值,在特征向量余弦约束值大于预设的有效匹配阈值的情况下,则确定特征向量余弦约束值满足预设的有效匹配阈值,本申请实施例不限定有效匹配阈值的具体数值。
基于匹配向量集中的有效匹配向量,确定有效匹配向量集;响应于有效匹配向量集中有效匹配向量的数量满足预设的数量阈值,确定有效匹配向量集为候选向量集,并增加候选向量集的迭代周期次数;然后基于候选向量集,确定原始特征点的变换矩阵;最后根据原始特征点的变换矩阵和原始特征向量,确定原始图像与模板图像是否匹配。其中,迭代周期可以包括:从基于匹配向量集中的有效匹配向量,确定有效匹配向量集至响应于有效匹配向量集中有效匹配向量的数量满足预设的数量阈值,确定有效匹配向量集为候选向量集的过程称为一次迭代周期,本申请实施例不限定具体的迭代周期次数。数量阈值可以包括:预设的有效匹配向量集中有效匹配向量的最少数量,在有效匹配向量集中有效匹配向量的数量大于预设的数量阈值的情况下,则确定有效匹配向量集中有效匹配向量的数量满足预设的数量阈值,本申请实施例不限定具体的数量阈值。
在候选向量集经过M个迭代周期、且候选向量集中的有效匹配向量的数量不变的情况下,其中M为正整数,则确定候选向量集为变换向量集,并基于变换向量集,确定原始特征点的变换矩阵。其中,M个迭代周期为预设的候选向量集的迭代周期次数,本申请实施例不限定具体的迭代周期次数。
在候选向量集经过的迭代周期次数满足预设的迭代周期次数阈值的情况下,则确定所述候选向量集为变换向量集,并基于变换向量集,确定原始特征点的变换矩阵。预设的迭代周期次数阈值可以包括:预设的候选向量集经过的最多迭代周期次数,在候选向量集经过的迭代周期次数等于预设的迭代周期次数阈值的情况下,则确定候选向量集经过的迭代周期次数满足预设的迭代周期次数阈值,本申请实施例不限定具体的候选向量集经过的最多迭代周期次数。
根据原始特征点的变换矩阵和原始特征向量,生成变换特征向量,并基于变换特征向量,生成矫正后原图。
再基于变换特征向量与模板特征向量之间的距离,确定变换特征向量与模板特征向量的第二最近邻距离和第二次近邻距离;其中,第二最近邻距离为变换特征向量与模板特征向量之间的距离中的最小距离,第二次近邻距离为变换特征向量与模板特征向量之间的距离中的次小距离;响应于第二最近邻距离和第二次近邻距离的比值满足预设的第二距离阈值,确定变换特征向量与其最近邻的模板特征向量为正确匹配向量,并基于正确匹配向量,生成匹配结果图。其中,第二距离阈值可以包括:预设的第二最近邻距离和第二次近邻距离的比值的最大值,在第二最近邻距离和第二次近邻距离的比值小于第二距离阈值的情况下,则确定第二最近邻距离和第二次近邻距离的比值满足预设的第二距离阈值,本申请实施例不限定第二距离阈值的具体范围值。
基于匹配结果图,确定原始图像与模板图像是否匹配。
可以理解,图11的图像匹配方法的应用场景只是本申请实施例中的部分示例性的实施方式,本申请实施例中图像匹配方法的应用场景包括但不限于图11所示的图像匹配方法的应用场景。
下面继续说明本申请实施例提供的图像匹配装置90的实施为软件模块的示例性结构,在一些实施例中,如图12所示,图像匹配装置90中的软件模块可以包括:第一获取模块901,用于获取待检测图像在尺度空间中的待检测特征点;确定模块902,用于确定所述待检测特征点对应的待检测特征向量;第二获取模块903,用于获取参考图像中与所述待检测特征点对应的参考特征点,确定所述参考特征点对应的参考特征向量;匹配模块904,用于基于所述参考特征向量和所述待检测特征向量,确定所述待检测图像与所述参考图像是否匹配。
在一些实施例中,所述确定模块902包括:方向子模块,用于确定所述待检测特征点中所述待检测特征点的主方向;向量子模块,用于根据所述待检测特征点的主方向,生成对应于所述待检测特征点的待检测特征向量。
在一些实施例中,所述方向子模块在确定所述待检测特征点中所述待检测特征点的主方向的过程中,还具体用于:根据所述尺度空间和所述待检测特征点,确定所述待检测特征点的第一尺度值;在所述尺度空间中确定以所述待检测特征点为圆心,以所述第一尺度值为半径的圆形域;以预设的扫描区间对所述圆形域进行旋转扫描,计算所述扫描区间内部的所述待检测特征点的特征值总和;确定所述特征值总和最大的所述扫描区间对应的方向向量为所述待检测特征点的主方向。
在一些实施例中,所述向量子模块在根据所述待检测特征点的主方向,生成对应于所述待检测特征点的待检测特征向量的过程中,还具体用于:基于所述待检测特征点的主方向,将所述圆形域分成N个子区域,其中N为正整数;确定每个所述子区域中的待检测特征点的特征值和方向参数;基于所述待检测特征点的特征值和所述方向参数,生成对应于所述待检测特征点的待检测特征向量。
在一些实施例中,所述匹配模块904在基于所述参考特征向量和所述待检测特征向量,确定所述待检测图像与所述参考图像是否匹配的过程中,还具体用于:基于所述待检测特征向量和所述参考特征向量,确定所述待检测特征向量与所述参考特征向量之间的距离;基于所述待检测特征向量与所述参考特征向量之间的距离,确定所述待检测特征向量与所述参考特征向量构成的匹配向量集;确定所述匹配向量集中的有效匹配向量;基于所述匹配向量集中的有效匹配向量,确定所述待检测图像与所述参考图像是否匹配。
在一些实施例中,所述第一最近邻距离为所述待检测特征向量与所述参考特征向量的最小距离,所述第一次近邻距离为所述待检测特征向量与所述参考特征向量的次小距离,所述匹配模块904在确定所述待检测特征向量与所述参考特征向量构成的匹配向量集的过程中,还具体用于:基于所述待检测特征向量与所述参考特征向量之间的距离,确定所述待检测特征向量与所述参考特征向量的第一最近邻距离和第一次近邻距离;响应于所述第一最近邻距离和所述第一次近邻距离的比值满足预设的第一距离阈值,确定所述待检测特征向量与其最近邻的所述参考特征向量为匹配向量,并将所述匹配向量存储至所述匹配向量集。
在一些实施例中,所述匹配模块904在确定所述匹配向量集中的有效匹配向量的过程中,还具体用于:基于所述匹配向量集,随机选取所述匹配向量集中第一数量的第一匹配向量;基于所述第一数量的第一匹配向量,建立特征向量余弦约束方程;基于所述特征向量余弦约束方程,计算所述匹配向量集中除所述第一匹配向量以外的第二匹配向量的特征向量余弦约束值;响应于所述特征向量余弦约束值满足预设的有效匹配阈值,确定所述第二匹配向量为有效匹配向量。
在一些实施例中,所述匹配模块904在确定所述待检测图像与所述参考图像是否匹配的过程中,还具体用于:基于所述匹配向量集中的有效匹配向量,确定有效匹配向量集;响应于所述有效匹配向量集中有效匹配向量的数量满足预设的数量阈值,确定所述有效匹配向量集为候选向量集,并增加所述候选向量集的迭代周期次数;基于所述候选向量集,确定所述待检测特征点的变换矩阵;根据所述待检测特征点的变换矩阵和所述待检测特征向量,确定所述待检测图像与所述参考图像是否匹配。
在一些实施例中,所述匹配模块904在基于所述候选向量集,确定所述待检测特征点的变换矩阵的过程中,还具体用于:响应于所述候选向量集经过M个迭代周期、且所述候选向量集中的所述有效匹配向量的数量不变,其中M为正整数,则确定所述候选向量集为变换向量集,并基于所述变换向量集,确定所述待检测特征点的变换矩阵;或,响应于所述候选向量集经过的所述迭代周期次数满足预设的迭代周期次数阈值,则确定所述候选向量集为所述变换向量集,并基于所述变换向量集,确定所述待检测特征点的变换矩阵。
在一些实施例中,所述第二最近邻距离为所述变换特征向量与所述参考特征向量的最小距离,所述第二次近邻距离为所述变换特征向量与所述参考特征向量的次小距离,所述匹配模块904在根据所述待检测特征点的变换矩阵和所述待检测特征向量,确定所述待检测图像与所述参考图像是否匹配的过程中,还具体用于:根据所述待检测特征点的变换矩阵和所述待检测特征向量,生成变换特征向量;基于所述变换特征向量与所述参考特征向量之间的距离,确定所述变换特征向量与所述参考特征向量的第二最近邻距离和第二次近邻距离;响应于所述第二最近邻距离和所述第二次近邻距离的比值满足预设的第二距离阈值,确定所述变换特征向量与其最近邻的所述参考特征向量为正确匹配向量;基于所述正确匹配向量,确定所述待检测图像与所述参考图像是否匹配。
需要说明的是,本申请实施例装置的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果,因此不做赘述。对于本申请实施例提供的图像匹配装置中未尽的技术细节,可以根据图1至图12中任一附图的说明而理解。
根据本申请的实施例,本申请还提供了一种电子设备和一种非瞬时计算机可读存储介质。
图13示出了可以用来实施本申请的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图13所示,电子设备800包括计算单元801,其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序,来执行各种适当的动作和处理。在RAM 803中,还可存储电子设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
电子设备800中的多个部件连接至I/O接口805,包括:输入单元806,例如键盘、鼠标等;输出单元807,例如各种类型的显示器、扬声器等;存储单元808,例如磁盘、光盘等;以及通信单元809,例如网卡、调制解调器、无线通信收发机等。通信单元809允许电子设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理,例如图像匹配方法。例如,在一些实施例中,图像匹配方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元808。在一些实施例中,计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到电子设备800上。当计算机程序加载到RAM 803并由计算单元801执行时,可以执行上文描述的图像匹配方法的一个或多个步骤。备选地,在其他实施例中,计算单元801可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行图像匹配方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本申请的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本申请的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,也可以为分布式系统的服务器,或者是结合了区块链的服务器。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本申请公开的技术方案所期望的结果,本文在此不进行限制。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本申请的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (13)

1.一种图像匹配方法,其特征在于,所述方法包括:
获取待检测图像在尺度空间中的待检测特征点;
确定所述待检测特征点对应的待检测特征向量;
获取参考图像中与所述待检测特征点对应的参考特征点,确定所述参考特征点对应的参考特征向量;
基于所述参考特征向量和所述待检测特征向量,确定所述待检测图像与所述参考图像是否匹配。
2.根据权利要求1所述的方法,其特征在于,所述确定所述待检测特征点对应的待检测特征向量,包括:
确定所述待检测特征点中所述待检测特征点的主方向;
根据所述待检测特征点的主方向,生成对应于所述待检测特征点的待检测特征向量。
3.根据权利要求2所述的方法,其特征在于,所述确定所述待检测特征点中所述待检测特征点的主方向,包括:
根据所述尺度空间和所述待检测特征点,确定所述待检测特征点的第一尺度值;
在所述尺度空间中确定以所述待检测特征点为圆心,以所述第一尺度值为半径的圆形域;
以预设的扫描区间对所述圆形域进行旋转扫描,计算所述扫描区间内部的所述待检测特征点的特征值总和;
确定所述特征值总和最大的所述扫描区间对应的方向向量为所述待检测特征点的主方向。
4.根据权利要求3所述的方法,其特征在于,所述根据所述待检测特征点的主方向,生成对应于所述待检测特征点的待检测特征向量,包括:
基于所述待检测特征点的主方向,将所述圆形域分成N个子区域,其中N为正整数;
确定每个所述子区域中的待检测特征点的特征值和方向参数;
基于所述待检测特征点的特征值和所述方向参数,生成对应于所述待检测特征点的待检测特征向量。
5.根据权利要求4所述的方法,其特征在于,所述基于所述参考特征向量和所述待检测特征向量,确定所述待检测图像与所述参考图像是否匹配,包括:
基于所述待检测特征向量和所述参考特征向量,确定所述待检测特征向量与所述参考特征向量之间的距离;
基于所述待检测特征向量与所述参考特征向量之间的距离,确定所述待检测特征向量与所述参考特征向量构成的匹配向量集;
确定所述匹配向量集中的有效匹配向量;
基于所述匹配向量集中的有效匹配向量,确定所述待检测图像与所述参考图像是否匹配。
6.根据权利要求5所述的方法,其特征在于,所述确定所述待检测特征向量与所述参考特征向量构成的匹配向量集,包括:
基于所述待检测特征向量与所述参考特征向量之间的距离,确定所述待检测特征向量与所述参考特征向量的第一最近邻距离和第一次近邻距离;
所述第一最近邻距离为所述待检测特征向量与所述参考特征向量的最小距离,所述第一次近邻距离为所述待检测特征向量与所述参考特征向量的次小距离;
响应于所述第一最近邻距离和所述第一次近邻距离的比值满足预设的第一距离阈值,确定所述待检测特征向量与其最近邻的所述参考特征向量为匹配向量,并将所述匹配向量存储至所述匹配向量集。
7.根据权利要求6所述的方法,其特征在于,所述确定所述匹配向量集中的有效匹配向量,包括:
基于所述匹配向量集,随机选取所述匹配向量集中第一数量的第一匹配向量;
基于所述第一数量的第一匹配向量,建立特征向量余弦约束方程;
基于所述特征向量余弦约束方程,计算所述匹配向量集中除所述第一匹配向量以外的第二匹配向量的特征向量余弦约束值;
响应于所述特征向量余弦约束值满足预设的有效匹配阈值,确定所述第二匹配向量为有效匹配向量。
8.根据权利要求5所述的方法,其特征在于,所述确定所述待检测图像与所述参考图像是否匹配,包括:
基于所述匹配向量集中的有效匹配向量,确定有效匹配向量集;
响应于所述有效匹配向量集中有效匹配向量的数量满足预设的数量阈值,确定所述有效匹配向量集为候选向量集,并增加所述候选向量集的迭代周期次数;
基于所述候选向量集,确定所述待检测特征点的变换矩阵;
根据所述待检测特征点的变换矩阵和所述待检测特征向量,确定所述待检测图像与所述参考图像是否匹配。
9.根据权利要求8所述的方法,其特征在于,所述基于所述候选向量集,确定所述待检测特征点的变换矩阵,包括:
响应于所述候选向量集经过M个迭代周期、且所述候选向量集中的所述有效匹配向量的数量不变,其中M为正整数,则确定所述候选向量集为变换向量集,并基于所述变换向量集,确定所述待检测特征点的变换矩阵;
或,响应于所述候选向量集经过的所述迭代周期次数满足预设的迭代周期次数阈值,则确定所述候选向量集为所述变换向量集,并基于所述变换向量集,确定所述待检测特征点的变换矩阵。
10.根据权利要求9所述的方法,其特征在于,所述根据所述待检测特征点的变换矩阵和所述待检测特征向量,确定所述待检测图像与所述参考图像是否匹配,包括:
根据所述待检测特征点的变换矩阵和所述待检测特征向量,生成变换特征向量;
基于所述变换特征向量与所述参考特征向量之间的距离,确定所述变换特征向量与所述参考特征向量的第二最近邻距离和第二次近邻距离;
所述第二最近邻距离为所述变换特征向量与所述参考特征向量的最小距离,所述第二次近邻距离为所述变换特征向量与所述参考特征向量的次小距离;
响应于所述第二最近邻距离和所述第二次近邻距离的比值满足预设的第二距离阈值,确定所述变换特征向量与其最近邻的所述参考特征向量为正确匹配向量;
基于所述正确匹配向量,确定所述待检测图像与所述参考图像是否匹配。
11.一种图像匹配装置,其特征在于,所述图像匹配装置包括:
第一获取模块,用于获取待检测图像在尺度空间中的待检测特征点;
确定模块,用于确定所述待检测特征点对应的待检测特征向量;
第二获取模块,用于获取参考图像中与所述待检测特征点对应的参考特征点,确定所述参考特征点对应的参考特征向量;
匹配模块,用于基于所述参考特征向量和所述待检测特征向量,确定所述待检测图像与所述参考图像是否匹配。
12.一种电子设备,其特征在于,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-10中任一项所述的方法。
13.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指令用于使所述计算机执行根据权利要求1-10中任一项所述的方法。
CN202210683041.XA 2022-06-17 2022-06-17 一种图像匹配方法、装置、电子设备及存储介质 Active CN114782724B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210683041.XA CN114782724B (zh) 2022-06-17 2022-06-17 一种图像匹配方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210683041.XA CN114782724B (zh) 2022-06-17 2022-06-17 一种图像匹配方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN114782724A true CN114782724A (zh) 2022-07-22
CN114782724B CN114782724B (zh) 2022-11-08

Family

ID=82421282

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210683041.XA Active CN114782724B (zh) 2022-06-17 2022-06-17 一种图像匹配方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114782724B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1492051A2 (en) * 2003-06-27 2004-12-29 Yonsei University Method of restoring and reconstructing super-resolution image from low-resolution compressed image
US20050157946A1 (en) * 2004-01-16 2005-07-21 Hsin-Teng Sheu Segment based image registration method
US20050238198A1 (en) * 2004-04-27 2005-10-27 Microsoft Corporation Multi-image feature matching using multi-scale oriented patches
CN102722731A (zh) * 2012-05-28 2012-10-10 南京航空航天大学 一种基于改进sift算法的高效图像匹配方法
CN104346797A (zh) * 2013-07-31 2015-02-11 北大方正集团有限公司 关键像素点匹配方法和装置、图像匹配方法和装置
CN109376596A (zh) * 2018-09-14 2019-02-22 广州杰赛科技股份有限公司 人脸匹配方法、装置、设备及存储介质
CN110706293A (zh) * 2019-09-03 2020-01-17 佛山科学技术学院 基于surf特征匹配的电子元器件定位和检测方法
CN111353526A (zh) * 2020-02-19 2020-06-30 上海小萌科技有限公司 一种图像匹配方法、装置以及相关设备
CN111767960A (zh) * 2020-07-02 2020-10-13 中国矿业大学 一种应用于图像三维重建的图像匹配方法及系统
CN111950563A (zh) * 2020-06-23 2020-11-17 合肥联宝信息技术有限公司 一种图像匹配方法、装置以及计算机可读存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1492051A2 (en) * 2003-06-27 2004-12-29 Yonsei University Method of restoring and reconstructing super-resolution image from low-resolution compressed image
US20050157946A1 (en) * 2004-01-16 2005-07-21 Hsin-Teng Sheu Segment based image registration method
US20050238198A1 (en) * 2004-04-27 2005-10-27 Microsoft Corporation Multi-image feature matching using multi-scale oriented patches
CN102722731A (zh) * 2012-05-28 2012-10-10 南京航空航天大学 一种基于改进sift算法的高效图像匹配方法
CN104346797A (zh) * 2013-07-31 2015-02-11 北大方正集团有限公司 关键像素点匹配方法和装置、图像匹配方法和装置
CN109376596A (zh) * 2018-09-14 2019-02-22 广州杰赛科技股份有限公司 人脸匹配方法、装置、设备及存储介质
CN110706293A (zh) * 2019-09-03 2020-01-17 佛山科学技术学院 基于surf特征匹配的电子元器件定位和检测方法
CN111353526A (zh) * 2020-02-19 2020-06-30 上海小萌科技有限公司 一种图像匹配方法、装置以及相关设备
CN111950563A (zh) * 2020-06-23 2020-11-17 合肥联宝信息技术有限公司 一种图像匹配方法、装置以及计算机可读存储介质
CN111767960A (zh) * 2020-07-02 2020-10-13 中国矿业大学 一种应用于图像三维重建的图像匹配方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵谦等: "改进的SURF-RANSAC图像匹配算法", 《计算机工程与设计》 *

Also Published As

Publication number Publication date
CN114782724B (zh) 2022-11-08

Similar Documents

Publication Publication Date Title
CN113657390B (zh) 文本检测模型的训练方法和检测文本方法、装置和设备
US8340433B2 (en) Image processing apparatus, electronic medium, and image processing method
CN114677565B (zh) 特征提取网络的训练方法和图像处理方法、装置
CN111767960A (zh) 一种应用于图像三维重建的图像匹配方法及系统
CN110852311A (zh) 一种三维人手关键点定位方法及装置
CN112991180B (zh) 图像拼接方法、装置、设备以及存储介质
CN114743189A (zh) 指针式仪表读数识别方法、装置、电子设备及存储介质
CN111461113A (zh) 一种基于变形平面物体检测网络的大角度车牌检测方法
CN111199558A (zh) 一种基于深度学习的图像匹配方法
CN110163095B (zh) 回环检测方法、回环检测装置及终端设备
CN113205090B (zh) 图片矫正方法、装置、电子设备及计算机可读存储介质
CN117746125A (zh) 图像处理模型的训练方法、装置及电子设备
Chen et al. Aerial image matching method based on HSI hash learning
CN114782724B (zh) 一种图像匹配方法、装置、电子设备及存储介质
CN112507938A (zh) 一种文本图元的几何特征计算方法及识别方法、装置
CN107958236A (zh) 人脸识别样本图像的生成方法及终端
CN116205889A (zh) 偏移检测方法、装置、电子设备及存储介质
CN113792849B (zh) 字符生成模型的训练方法、字符生成方法、装置和设备
US20240104890A1 (en) Image processing device, recording medium, and image processing method
CN116109685B (zh) 一种零件点云配准方法、装置、设备及介质
CN114495236B (zh) 图像分割方法、装置、设备、介质及程序产品
CN113673522B (zh) 文本图像的倾斜角度检测方法、装置、设备及存储介质
CN116402842B (zh) 边缘缺陷检测方法、装置、计算机设备及存储介质
CN117671150A (zh) 一种点云重建方法、装置、设备及存储介质
Zhang et al. A new algorithm for real-time ellipse detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant