CN110889432A - 特征点匹配方法、装置、计算机设备和存储介质 - Google Patents

特征点匹配方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN110889432A
CN110889432A CN201911036312.7A CN201911036312A CN110889432A CN 110889432 A CN110889432 A CN 110889432A CN 201911036312 A CN201911036312 A CN 201911036312A CN 110889432 A CN110889432 A CN 110889432A
Authority
CN
China
Prior art keywords
image
feature
strong
point
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911036312.7A
Other languages
English (en)
Other versions
CN110889432B (zh
Inventor
唐金伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Original Assignee
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd filed Critical Beijing Megvii Technology Co Ltd
Priority to CN201911036312.7A priority Critical patent/CN110889432B/zh
Publication of CN110889432A publication Critical patent/CN110889432A/zh
Application granted granted Critical
Publication of CN110889432B publication Critical patent/CN110889432B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种特征点匹配方法、装置、计算机设备和存储介质,先从图像的所有像素点中提取了强独特性点(即强特征点),并为各强特征点建立一个特征描述符,这样在对两幅图像中特征点进行匹配时只针对强独特性点进行匹配,使得匹配到的特征点更加稳定,大大提高了特征点匹配的鲁棒性。

Description

特征点匹配方法、装置、计算机设备和存储介质
技术领域
本申请涉及图像处理技术领域,特别是涉及一种特征点匹配方法、装置、计算机设备和存储介质。
背景技术
特征点匹配在图像配准、运动检测等领域有着广泛的应用。特征点匹配是指找出需要配准的两幅图像中正确匹配的特征点,特征点表示图像中较为独特的像素点。
通常在进行特征点匹配时,需要采用特征点匹配算法进行,常见的特征点匹配算法包括尺度不变特征变换(Scale Invariant Feature Transform,SIFT)、加速版SIFT算法(Speeded Up Robust Features,SURF)、快速特征点提取和描述的算法(Oriented FASTand Rotated BRIEF,ORB)等,在实际应用中,无论采用哪种算法对图像中的特征点进行匹配,均需要保证匹配的特征点是准确的,稳定的。
但是,现有的特征匹配算法存在匹配到的特征点不稳定的技术问题。
发明内容
基于此,有必要针对上述现有的特征匹配算法存在匹配到的特征点不稳定的技术问题,提供一种特征点匹配方法、装置、计算机设备和存储介质。
第一方面,本申请实施例提供一种特征点匹配方法,该方法包括:
获取第一图像和第二图像中各像素点的独特性数值;
根据独特性数值,分别获取第一图像强特征点和第二图像强特征点;
对第一图像强特征点和第二图像强特征点分别进行特征描述,得到各第一图像强特征点的特征描述子和各第二图像强特征点的特征描述子;
根据各第一图像强特征点的特征描述子与各第二图像强特征点的特征描述子,确定第一图像与第二图像的匹配点对。
在其中一个实施例中,上述获取第一图像和第二图像各自所有像素点的独特性数值,包括:
获取第一图像和第二图像中,每一个像素点的窗口与各像素点的相邻像素点的窗口的多个互相关系数;互相关系数表示两个相邻窗口之间的相似度;
根据多个互相关系数中的最大值,获取各像素点的独特性数值。
在其中一个实施例中,上述互相关系数为向量内积与窗口范数乘积的比值,向量内积为各像素点的窗口与相邻像素点的窗口的内积,窗口范数乘积为各像素点的窗口的范数与相邻像素点的窗口范数的乘积。
在其中一个实施例中,上述根据独特性数值,分别获取第一图像强特征点和第二图像强特征点,包括:
将第一图像中大于预设阈值的独特性数值对应的像素点确定为第一图像强特征点;将第二图像中大于预设阈值的独特性数值对应的像素点确定为第二图像强特征点。
在其中一个实施例中,上述对第一图像强特征点和第二图像强特征点分别进行特征描述,得到各第一图像强特征点的特征描述子和各第二图像强特征点的特征描述子,包括:
获取第一图像和第二图像中各强特征点的三组半径不同的二值特征描述符;
将各强特征点的三组半径不同的二值特征描述符进行移位组合,得到各强特征点的特征描述子。
在其中一个实施例中,上述根据各第一图像强特征点的特征描述子与各第二图像强特征点的特征描述子,确定第一图像与第二图像的匹配点对,包括:
获取第一图像中各强特征点的特征描述子分别与第二图像中各强特征点的特征描述子之间的汉明距离;
根据各汉明距离,确定第一图像与第二图像的匹配点对。
在其中一个实施例中,上述根据各汉明距离,确定第一图像与第二图像的匹配点对,包括:
将第一图像中和第二图像中,满足预设距离条件的第一图像中的强特征点和第二图像中的强特征点组成的强特征点对,确定为第一图像与第二图像的匹配点对;预设距离条件为第一图像中每一个强特征点分别与第二图像中各强特征点之间汉明距离最小且小于预设距离阈值的强特征点。
第二方面,本申请实施例提供一种特征点匹配装置,该装置包括:
独特性模块,用于获取第一图像和第二图像各自所有像素点的独特性数值;
强特征点模块,用于根据独特性数值,分别获取第一图像强特征点和第二图像强特征点;
特征描述模块,用于对第一图像强特征点和第二图像强特征点分别进行特征描述,得到各第一图像强特征点的特征描述子和各第二图像强特征点的特征描述子;
匹配点对模块,用于根据各第一图像强特征点的特征描述子与各第二图像强特征点的特征描述子,确定第一图像与第二图像的匹配点对。
第三方面,本申请实施例提供一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现上述第一方面实施例提供的任一项方法的步骤。
第四方面,本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述第一方面实施例提供的任一项方法的步骤。
本申请实施例提供的一种特征点匹配方法、装置、计算机设备和存储介质,计算机设备先获取第一图像和第二图像各自所有像素点的独特性数值,并根据该独特性数值分别获取第一图像强特征点和第二图像强特征点,然后对第一图像强特征点和第二图像强特征点分别进行特征描述,得到各第一图像强特征点的特征描述子和各第二图像强特征点的特征描述子,最后根据各第一图像强特征点的特征描述子与各第二图像强特征点的特征描述子确定第一图像与第二图像的匹配点对,以完成对特征点的匹配过程,该方法中,先从图像的所有像素点中提取了强独特性点(即强特征点),并为各强特征点建立一个特征描述符,这样在对两幅图像中特征点进行匹配时只针对强独特性点进行匹配,使得匹配到的特征点更加稳定,大大提高了特征点匹配的鲁棒性。
附图说明
图1为一个实施例提供的一种特征点匹配方法的应用环境图;
图2为一个实施例提供的一种特征点匹配方法的流程示意图;
图3为一个实施例提供的一种特征点匹配方法的流程示意图;
图4为一个实施例提供的一种特征点匹配方法的流程示意图;
图4a为一个实施例提供的一种特征点特征描述方法示意图;
图4b为一个实施例提供的一种特征点特征描述子示意图;
图5为一个实施例提供的一种特征点匹配方法的流程示意图;
图6为一个实施例提供的一种特征点匹配方法的完整流程图;
图7为一个实施例提供的一种特征点匹配装置的结构框图;
图8为一个实施例提供的一种特征点匹配装置的结构框图;
图9为一个实施例提供的一种特征点匹配装置的结构框图;
图10为一个实施例提供的一种特征点匹配装置的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的一种特征点匹配方法,可以应用于如图1所示的应用环境中,该应用环境中,计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储特征点匹配方法的数据。该计算机设备的网络接口用于与外部的其他设备通过网络连接通信。该计算机程序被处理器执行时以实现一种特征点匹配方法。
本申请实施例提供一种特征点匹配方法、装置、计算机设备和存储介质,下面将通过实施例并结合附图具体地对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。需要说明的是,本申请提供的一种特征点匹配方法,图2-图6的执行主体为计算机设备,其中,其执行主体还可以是特征点匹配装置,其中该装置可以通过软件、硬件或者软硬件结合的方式实现成为计算机设备的部分或者全部。
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。
在一个实施例中,图2提供了一种特征点匹配方法,本实施例涉及的是计算机设备根据第一图像和第二图像中各强特征点的特征描述子,确定第一图像和第二图像的匹配点对的具体过程,如图2所示,所述方法包括:
S101,获取第一图像和第二图像中各像素点的独特性数值。
本实施例中,第一图像和第二图像表示任意两幅图像,该两幅图像可以是应用在图像配准场景中,也可以是应用在运动检测场景中,还可以是应用在其他场景中的两幅图像,本实施例对此不作限定。其中本申请第一图像和第二图像中的第一、第二是用于对两幅图像的区分,不是顺序或者位置上的限定。
其中,像素点的独特性数值表示的是某一个像素点不同于邻域像素点的数据的程度,即用独特性数值来表征该像素点与周围邻域其他像素点的区别程度,其中,区别程度越大,独特性数值越高。具体地,在实际应用中,为了减少噪声影响,计算机设备可以基于像素点的邻域窗口预先设定一种算法,以获取该像素点的独特性,也可以是预先训练成神经网络,直接将第一图像和第二图像直接输入至训练好的神经网络中,得到第一图像和第二图像各自所有像素点的独特性数值,本实施例对此不作限定。
其中,计算机设备在获取第一图像和第二图像中各像素点的独特性数值时,可以是获取第一图像和第二图像中所有像素点的独特性数值,也可以是获取部分的,本实施例对此不作限定。
S102,根据独特性数值,分别获取第一图像强特征点和第二图像强特征点。
其中,第一图像强特征点表示第一图像中的强特征点,第二图像强特征点表示第二图像中的强特征点,其中,强特征点表示图像中该像素点的独特性数值较大,例如,其在图像中表现为角点、边缘点、暗区的亮点以及亮区的暗点等,相当于一个图像中若一个像素点具有局部最小自相关,那么这个像素点是局部独特的,则表示该像素点具有强独特性。
具体地,基于上述S101步骤中获取的第一图像和第二图像各自所有像素点的独特性数值,计算机设备根据第一图像中所有像素点的独特性数值获取第一图像强特征点,根据第二图像中所有像素点的独特性数值获取第二图像强特征点,例如,获取的时候后可筛选出独特性数值较大的像素点作为该图像的强特征点。可选地,提供一种获取第一图像强特征点和第二图像强特征点的实施例,包括:将第一图像中大于预设阈值的独特性数值对应的像素点确定为第一图像强特征点;将第二图像中大于预设阈值的独特性数值对应的像素点确定为第二图像强特征点。其中,预设阈值表示预先设定的区分强特征点的临界值,且对于第一图像和第二图像,可以分别设置不同的阈值,对于预设阈值的具体取值不作限定,可根据实际情况而定,利用该预设阈值可以控制选取的强特征点的数量,将图像中大于预设阈值的独特性数值对应的像素点确定为强特征点,这样,分别确定出第一图像强特征点和第二图像强特征点。
S103,对第一图像强特征点和第二图像强特征点分别进行特征描述,得到各第一图像强特征点的特征描述子和各第二图像强特征点的特征描述子。
基于上述S102步骤获取的第一图像强特征点和第二图像强特征点,计算机设备对第一图像强特征点和第二图像强特征点分别进行特征描述,得到第一图像和第二图像中各强特征点的特征描述子。具体地,计算机设备对第一图像强特征点和第二图像强特征点进行特征描述的方式可以是采用预设的算法进行特征描述,也可以是通过训练好的神经网络获取各强特征点的特征描述子,本实施例对此不作限定,只要是可以对第一图像和第二图像的强特征点进行了特征描述即可。
S104,根据各第一图像强特征点的特征描述子与各第二图像强特征点的特征描述子,确定第一图像与第二图像的匹配点对。
基于上述获取的各第一图像强特征点的特征描述子与各第二图像强特征点的特征描述子,计算机设备确定第一图像与第二图像的匹配点对,以完成特征点匹配的过程。其中,计算机设备确定第一图像和第二图像匹配点对的方式可以是从第二图像中依次为第一图像中各强特征点寻找合适的点,形成最终的匹配点对,例如,通过计算第一图像中每个强特征点与第二图像中各强特征点之间的汉明距离,根据各汉明距离从第二图像中各强特征点中选出与第一图像中每个强特征点匹配的点即可,本实施例对此不作限定,只要是根据各强特征点的特征描述子确定出的匹配点对即可。
本实施例提供的特征点匹配方法,计算机设备先获取第一图像和第二图像各自所有像素点的独特性数值,并根据该独特性数值分别获取第一图像强特征点和第二图像强特征点,然后对第一图像强特征点和第二图像强特征点分别进行特征描述,得到各第一图像强特征点的特征描述子和各第二图像强特征点的特征描述子,最后根据各第一图像强特征点的特征描述子与各第二图像强特征点的特征描述子确定第一图像与第二图像的匹配点对,以完成对特征点的匹配过程,该方法中,先从图像的所有像素点中提取了强独特性点(即强特征点),并为各强特征点建立一个特征描述符,这样在对两幅图像中特征点进行匹配时只针对强独特性点进行匹配,使得匹配到的特征点更加稳定,大大提高了特征点匹配的鲁棒性。
对于计算机设备获取第一图像和第二图像中各像素点独特性数值的具体过程,本申请提供了一种具体实施例,则在以上实施例的基础上,本申请实施例还提供了一种特征点匹配方法,其涉及的是计算机设备根据互相关系数获取各像素点独特性数值的具体过程,如图3所示,上述S101步骤包括:
S201,获取第一图像和第二图像中,每一个像素点的窗口与各所述像素点的相邻像素点的窗口的多个互相关系数;互相关系数表示两个相邻窗口之间的相似度。
本实施例中,窗口是指对于栅格数据系统中的一个、多个栅格点或全部数据,开辟一个有固定分析半径的分析窗口。通过该窗口可以进行诸如极值、均值等一系列统计计算,或与其它层面的信息进行必要的复合分析,从而实现栅格数据有效的水平方向扩展分析。互相关系数表示两个相邻窗口之间的相似度,在实际应用中,各窗口的大小本实施例不作限定,通常可以是3*3大小,例如,以其中一个像素点为中心的3*3大小窗口包括九个像素点,则该像素点具有8个邻域窗口,其中,该8个邻域窗口分别是以该像素点相邻的8个像素点为中心的3*3大小的窗口。需要说明的是,两个参与计算的窗口大小一般是相同的,相邻像素点可以是与该像素点相邻的一个或多个像素的像素点,其间隔步长可以按需设置,本实施例对此不作限定。
提供一种互相关系数的计算方式,则可选地,在一个实施例中,上述互相关系数为向量内积与窗口范数乘积的比值,向量内积为各像素点的窗口与相邻像素点的窗口的内积,窗口范数乘积为各像素点的窗口的范数与相邻像素点的窗口范数的乘积。示例地,两个窗口的互相关系数用CC来表示,一个点(x,y)的邻域窗口用W(x,y)表示,则对于某一个像素点的窗口W1与相邻像素点的窗口W2的互相关系数可以表示为:
Figure BDA0002251594100000081
其中,上述公式中W1·W2表示两个邻域窗口的向量内积,||W1||为该像素点窗口的范数,||W2||为相邻像素点的窗口的范数,需要说明的是,由于W为一个窗口,那么窗口内的像素灰度值就组成W向量,在计算互相向系数时需要对W进行归一化使其均值为0。
具体地,本步骤中,计算机设备根据以上公式,获取每一像素点的互相关系数,即以每个像素点为中心的窗口与其P个相邻像素点为中心的窗口之间的互相关系数,也就是说,对于一个像素点均可获取到P个互相关系数,其中,P为相邻窗口的数量,本实施例对该数量不作限定。
S202,根据多个互相关系数中的最大值,获取各像素点的独特性数值。
通常若一个像素点具有局部最小自相关,那么这个像素点就是局部独特的,就表示这个像素点具有强独特性,适合用于特征匹配,因此,基于上述S201步骤中获取的各像素点对应的互相关系数,本步骤中,计算机设备根据多个互相关系数中的最大值,获取各像素点的独特性数值,示例地,以p取8为例,计算机设备可以从8个互相关系数中选取最大一个互相关系数,将1与该最大的互相关系数的差值确定为各像素点的独特性数值。
示例地,若一个像素点(x,y)的邻域窗口用W(x,y)表示,其独特性数值用U(x,y)表示,则独特性数值的计算公式可以表示为:
U(x,y)=1-max{CC[W(x,y),W(x+x',y+y')]}
其中,该公式中x'=-2、0、2,y'=-2、0、2,其中x'和y'不同时为0。该公式可以理解为将像素点(x,y)与其相邻的8个像素点为中心的窗口做互相关系数计算,并取其最大的一个互相关系数与1做差,即若有一个与像素点(x,y)相似度较高的像素点,那么该两个像素点之间的互相关系数就较大,相应就可以得到U(x,y)。需要说明的是,上述公式中,x'与y'的取值只是举例说明,在实际应用中,可根据情况设置相邻像素的间隔步长,本实施例对此不作限定。
本实施例提供的一种特征点匹配方法,根据各像素点与相邻像素点为中心的窗口之间的互相关系数,确定出每个像素点的独特性数值,可以客观准确的获取每个像素点的独特性数值,从保证了后续筛选强特征点的准确性。
对于计算机设备对各强特征点进行特征描述的过程,本申请提供了一种具体地实施例,如图4所示,上述S103步骤包括:
S301,获取第一图像和第二图像中各强特征点的三组半径不同的二值特征描述符。
本实施例中,计算机设备分别获取第一图像中各强特征点的三组半径不同的二值特征描述符,其中,对于计算机设备获取各强特征点二值特征描述符的顺序,本实施例不作限定。示例地,计算机设备获取三组半径不同的二值描述符可以采用的中值撸棒扩展局部二进制模式(MRELBP)算法进行,具体地,请参照图4a,设三组半径不同的二值特征描述符分别为CI、NI、RD,则CI、NI、RD的公式分别表示为:
CI(Xc)=s(Φ(Xc,3)-u3),其中,
Figure BDA0002251594100000091
Figure BDA0002251594100000092
其中,
Figure BDA0002251594100000093
Figure BDA0002251594100000101
其中,上述公式中,其中φ表示中值滤波操作,s表示“若大于0,则取1,若小于0,则取0,然后左移一位”。其中,该公式中的下角标中r1表示图4a中3*3窗口的邻域半径、r2表示图4a中5*5窗口的邻域半径;该公式下角标中8表示每一个像素点的周围8个相邻位像素;该公式下角标中3表示为3*3窗口,5表示为5*5窗口;该公式下角标中n表示顺序序号,即第n个像素点。可以理解的是对于每个强特征点均可以采用上述公式获取三组半径不同的二值特征描述符。
S302,将各强特征点的三组半径不同的二值特征描述符进行移位组合,得到各强特征点的特征描述子。
基于上述S301步骤中得到的各强特征点的三组半径不同的二值特征描述符,计算机设备对CI、NI、RD三组特征描述符进行移位组合,得到一个24位的特征描述子,如图4b所示,该组合得到的24位特征描述子即为一个强特征点最终的特征描述子,计算机设备对第一图像和第二图像中的每个点均可采用该方法得到最终的特征描述子。
本实施例提供的特征点匹配方法,通过MRELBP算法对第一图像和第二图像中每个强特征点进行特征描述,使得每个强特征点的特征描述子具有较好的噪声鲁棒性,且整个计算过程计算量少,节省了处理资源。
另外,在得到第一图像和第二图像中各强特征点的特征描述子后,计算机设备获取第一图像和第二图像匹配点对的具体过程,本申请也提供了一个实施例,其涉及的是计算机设备根据第一图像各强特征点的特征描述子与与第二图像中各强特征点的特征描述子之间的汉明距离,确定第一图像与第二图像的匹配点对的具体过程,如图5所示,上述S104步骤包括:
S401,获取第一图像中各强特征点的特征描述子分别与第二图像中各强特征点的特征描述子之间的汉明距离。
本实施例中,计算机设备获取第一图像中各强特征点的特征描述子分别与第二图像中各强特征点描述子之间的汉明距离,具体地,将第一图像中的强特征点记为Ai,第二图像中强特征点记为Bj,对Ai和Bj进行一一的汉明距离计算,例如第一图像中当前待匹配的强特征点为Am(1<=m<=i),然后计算机设备将Am与所有Bj进行汉明计算,有多少个Bj,最后Am就可以得到多少个汉明距离,根据该方法,对Ai中的每个强特征点均可获取多个汉明距离。
S402,根据各汉明距离,确定第一图像与第二图像的匹配点对。
基于上述S401步骤中获取的第一图像中各强特征点与第二图像中各强特征点之间的汉明距离,计算机设备确定第一图像与第二图像的匹配点对,可选地,确定匹配点对的具体过程,提供一个实施例,将第一图像中和第二图像中,满足预设距离条件的第一图像中的强特征点和第二图像中的强特征点组成的强特征点对,确定为第一图像与第二图像的匹配点对;预设距离条件为第一图像中每一个强特征点分别与第二图像中各强特征点之间汉明距离最小且小于预设距离阈值的强特征点。
其中,第一图像中每个强特征点都与第二图像中所有强特征点确定了汉明距离,则第一图像中每一个强特征点均得到与第二图像中强特征点数量相等的强特征点对,例如,第二图像中有z个点,则第一图像的其中一个强特征点Am就会有z个强特征点对,对应就是该强特征点Am与第二图像中z个点得到z个汉明距离,基于这z个汉明距离,从z个汉明距离中选出小于设定距离阈值的汉明距离,然后从小于预设距离阈值的汉明距离中选择出一个最小的汉明距离,该最小的汉明距离对应的第二图像中强特征点Bk(1<=k<=j)即与Am形成最终的匹配点对,这样,就可以依次得到第一图像中每一个强特征点的匹配点对。
本实施例提供的特征点匹配方法,根据第一图像中各强特征点的特征描述子分别与第二图像中各强特征点的特征描述子之间的汉明距离,将第一图像中各强特征点与第二图像中各强特征点之间汉明距离最小且小于预设距离阈值的强特征点确定为最终的匹配特征点对,使得得到的每个匹配点对更加稳定。
基于上述所有实施例,本申请提供一种特征点匹配方法的流程图,如图6所示,该方法包括:
S1,对第一图像和第二图像中各像素点做独特性计算;
S2,选择独特性高于设定阈值Thr的像素点作为强特征点;
S3,对各强特征点做特征描述;
S4,对第一图像和第二图像中的每个经过特征描述的强特征点依次进行汉明距离计算;
S5,选取汉明距离最小且小于设定阈值Thr1的第一图像和第二图像中强特征点对作为最终的匹配点对。
本申请提供的特征点匹配方法,先从图像的所有像素点中提取了强独特性点(即强特征点),并为各强特征点建立一个特征描述符,这样在对两幅图像中特征点进行匹配时只针对强独特性点进行匹配,使得匹配到的特征点更加稳定,大大提高了特征点匹配的鲁棒性。
应该理解的是,虽然图2-6的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-6中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图7所示,提供了一种特征点匹配装置,包括:独特性模块10、强特征点模块11、特征描述模块12和匹配点对模块13,其中,
独特性模块10,用于获取第一图像和第二图像中各像素点的独特性数值;
强特征点模块11,用于根据独特性数值,分别获取第一图像强特征点和第二图像强特征点;
特征描述模块12,用于对第一图像强特征点和第二图像强特征点分别进行特征描述,得到各第一图像强特征点的特征描述子和各第二图像强特征点的特征描述子;
匹配点对模块13,用于根据各第一图像强特征点的特征描述子与各第二图像强特征点的特征描述子,确定第一图像与第二图像的匹配点对。
上述实施例提供的一种特征点匹配装置,其实现原理和技术效果与上述方法实施例类似,在此不再赘述。
在一个实施例中,如图8所示,提供了一种特征点匹配装置,上述独特性模块10包括:互相关系数单元101和独特性单元102,其中,
互相关系数单元101,用于获取第一图像和第二图像中,每一个像素点的窗口与各像素点的相邻像素点的窗口的多个互相关系数;互相关系数表示两个相邻窗口之间的相似度;
独特性单元102,用于根据多个互相关系数中的最大值,获取确定为各像素点的独特性数值。
上述实施例提供的一种特征点匹配装置,其实现原理和技术效果与上述方法实施例类似,在此不再赘述。
在一个实施例中,上述互相关系数为向量内积与窗口范数乘积的比值,向量内积为各像素点的窗口与相邻像素点的窗口的内积,窗口范数乘积为各像素点的窗口的范数与相邻像素点的窗口范数的乘积。
上述实施例提供的一种特征点匹配装置,其实现原理和技术效果与上述方法实施例类似,在此不再赘述。
在一个实施例中,上述强特征点模块11具体用于将第一图像中大于预设阈值的独特性数值对应的像素点确定为第一图像强特征点;将第二图像中大于预设阈值的独特性数值对应的像素点确定为第二图像强特征点。
上述实施例提供的一种特征点匹配装置,其实现原理和技术效果与上述方法实施例类似,在此不再赘述。
在一个实施例中,如图9所示,提供了一种特征点匹配装置,上述特征描述模块12包括:二值特征单元121和描述单元122,其中,
二值特征单元121,用于获取第一图像和第二图像中各强特征点的三组半径不同的二值特征描述符;
描述单元122,用于将各强特征点的三组半径不同的二值特征描述符进行移位组合,得到各强特征点的特征描述子。
上述实施例提供的一种特征点匹配装置,其实现原理和技术效果与上述方法实施例类似,在此不再赘述。
在一个实施例中,如图10所示,提供了一种特征点匹配装置,上述匹配点对模块13包括:距离单元131和点对单元132,其中,
距离单元131,用于获取第一图像中各强特征点的特征描述子分别与第二图像中各强特征点的特征描述子之间的汉明距离;
点对单元132,用于根据各汉明距离,确定第一图像与第二图像的匹配点对。
上述实施例提供的一种特征点匹配装置,其实现原理和技术效果与上述方法实施例类似,在此不再赘述。
在一个实施例中,上述点对单元132具体用于将第一图像中和第二图像中,满足预设距离条件的第一图像中的强特征点和第二图像中的强特征点组成的强特征点对,确定为第一图像与第二图像的匹配点对;预设距离条件为第一图像中每一个强特征点分别与第二图像中各强特征点之间汉明距离最小且小于预设距离阈值的强特征点。
上述实施例提供的一种特征点匹配装置,其实现原理和技术效果与上述方法实施例类似,在此不再赘述。
关于特征点匹配装置的具体限定可以参见上文中对于特征点匹配方法的限定,在此不再赘述。上述特征点匹配装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如上述图1所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种特征点匹配方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,上述图1中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
获取第一图像和第二图像中各像素点的独特性数值;
根据独特性数值,分别获取第一图像强特征点和第二图像强特征点;
对第一图像强特征点和第二图像强特征点分别进行特征描述,得到各第一图像强特征点的特征描述子和各第二图像强特征点的特征描述子;
根据各第一图像强特征点的特征描述子与各第二图像强特征点的特征描述子,确定第一图像与第二图像的匹配点对。
上述实施例提供的一种计算机设备,其实现原理和技术效果与上述方法实施例类似,在此不再赘述。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取第一图像和第二图像中各像素点的独特性数值;
根据独特性数值,分别获取第一图像强特征点和第二图像强特征点;
对第一图像强特征点和第二图像强特征点分别进行特征描述,得到各第一图像强特征点的特征描述子和各第二图像强特征点的特征描述子;
根据各第一图像强特征点的特征描述子与各第二图像强特征点的特征描述子,确定第一图像与第二图像的匹配点对。
上述实施例提供的一种计算机可读存储介质,其实现原理和技术效果与上述方法实施例类似,在此不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种特征点匹配方法,其特征在于,所述方法包括:
获取第一图像和第二图像中各像素点的独特性数值;
根据所述独特性数值,分别获取第一图像强特征点和第二图像强特征点;
对所述第一图像强特征点和所述第二图像强特征点分别进行特征描述,得到各所述第一图像强特征点的特征描述子和各所述第二图像强特征点的特征描述子;
根据各所述第一图像强特征点的特征描述子与各所述第二图像强特征点的特征描述子,确定所述第一图像与所述第二图像的匹配点对。
2.根据权利要求1所述的方法,其特征在于,所述获取第一图像和第二图像各自所有像素点的独特性数值,包括:
获取所述第一图像和所述第二图像中,每一个像素点的窗口与各所述像素点的相邻像素点的窗口的多个互相关系数;所述互相关系数表示两个相邻窗口之间的相似度;
根据所述多个互相关系数中的最大值,获取各所述像素点的独特性数值。
3.根据权利要求2所述的方法,其特征在于,所述互相关系数为向量内积与窗口范数乘积的比值,所述向量内积为各像素点的窗口与相邻像素点的窗口的内积,所述窗口范数乘积为所述各像素点的窗口的范数与所述相邻像素点的窗口范数的乘积。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述根据所述独特性数值,分别获取第一图像强特征点和第二图像强特征点,包括:
将所述第一图像中大于预设阈值的独特性数值对应的像素点确定为所述第一图像强特征点;将所述第二图像中大于所述预设阈值的独特性数值对应的像素点确定为所述第二图像强特征点。
5.根据权利要求1所述的方法,其特征在于,所述对所述第一图像强特征点和所述第二图像强特征点分别进行特征描述,得到各所述第一图像强特征点的特征描述子和各所述第二图像强特征点的特征描述子,包括:
获取所述第一图像和所述第二图像中各强特征点的三组半径不同的二值特征描述符;
将各所述强特征点的三组半径不同的二值特征描述符进行移位组合,得到各所述强特征点的特征描述子。
6.根据权利要求1所述的方法,其特征在于,所述根据各所述第一图像强特征点的特征描述子与各所述第二图像强特征点的特征描述子,确定所述第一图像与所述第二图像的匹配点对,包括:
获取所述第一图像中各强特征点的特征描述子分别与所述第二图像中各强特征点的特征描述子之间的汉明距离;
根据各所述汉明距离,确定所述第一图像与所述第二图像的匹配点对。
7.根据权利要求6所述的方法,其特征在于,所述根据各所述汉明距离,确定所述第一图像与所述第二图像的匹配点对,包括:
将所述第一图像中和所述第二图像中,满足预设距离条件的所述第一图像中的强特征点和所述第二图像中的强特征点组成的强特征点对,确定为所述第一图像与所述第二图像的匹配点对;所述预设距离条件为所述第一图像中每一个强特征点分别与所述第二图像中各强特征点之间汉明距离最小且小于预设距离阈值的强特征点对。
8.一种特征点匹配装置,其特征在于,所述装置包括:
独特性模块,用于获取第一图像和第二图像各自所有像素点的独特性数值;
强特征点模块,用于根据所述独特性数值,分别获取第一图像强特征点和第二图像强特征点;
特征描述模块,用于对所述第一图像强特征点和所述第二图像强特征点分别进行特征描述,得到各所述第一图像强特征点的特征描述子和各所述第二图像强特征点的特征描述子;
匹配点对模块,用于根据各所述第一图像强特征点的特征描述子与各所述第二图像强特征点的特征描述子,确定所述第一图像与所述第二图像的匹配点对。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN201911036312.7A 2019-10-29 2019-10-29 特征点匹配方法、装置、计算机设备和存储介质 Active CN110889432B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911036312.7A CN110889432B (zh) 2019-10-29 2019-10-29 特征点匹配方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911036312.7A CN110889432B (zh) 2019-10-29 2019-10-29 特征点匹配方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN110889432A true CN110889432A (zh) 2020-03-17
CN110889432B CN110889432B (zh) 2022-07-29

Family

ID=69746509

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911036312.7A Active CN110889432B (zh) 2019-10-29 2019-10-29 特征点匹配方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN110889432B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112036280A (zh) * 2020-08-24 2020-12-04 方海涛 水鸟种群动态监测方法、装置和设备
CN113724300A (zh) * 2020-05-25 2021-11-30 北京达佳互联信息技术有限公司 图像配准方法、装置、电子设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101984463A (zh) * 2010-11-02 2011-03-09 中兴通讯股份有限公司 全景图合成方法及装置
CN103839272A (zh) * 2014-03-25 2014-06-04 重庆大学 基于k均值聚类法的脑磁共振图像配准方法
CN104134203A (zh) * 2014-07-07 2014-11-05 上海珞琪软件有限公司 一种近景摄影测量的快速密集匹配法
CN104809724A (zh) * 2015-04-21 2015-07-29 电子科技大学 多波段遥感影像的自动精配准方法
CN105917353A (zh) * 2013-09-16 2016-08-31 眼验股份有限公司 用于生物认证的特征提取及匹配以及模板更新
US20170099438A1 (en) * 2015-10-05 2017-04-06 Canon Kabushiki Kaisha Image processing apparatus and method
CN106683114A (zh) * 2016-12-16 2017-05-17 河海大学 基于特征光流的流体运动矢量估计方法
CN109073389A (zh) * 2016-04-14 2018-12-21 欧利景无线有限公司 用于物体跟踪的方法、装置、服务器和系统
CN110111248A (zh) * 2019-03-15 2019-08-09 西安电子科技大学 一种基于特征点的图像拼接方法、虚拟现实系统、照相机

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101984463A (zh) * 2010-11-02 2011-03-09 中兴通讯股份有限公司 全景图合成方法及装置
CN105917353A (zh) * 2013-09-16 2016-08-31 眼验股份有限公司 用于生物认证的特征提取及匹配以及模板更新
CN103839272A (zh) * 2014-03-25 2014-06-04 重庆大学 基于k均值聚类法的脑磁共振图像配准方法
CN104134203A (zh) * 2014-07-07 2014-11-05 上海珞琪软件有限公司 一种近景摄影测量的快速密集匹配法
CN104809724A (zh) * 2015-04-21 2015-07-29 电子科技大学 多波段遥感影像的自动精配准方法
US20170099438A1 (en) * 2015-10-05 2017-04-06 Canon Kabushiki Kaisha Image processing apparatus and method
CN109073389A (zh) * 2016-04-14 2018-12-21 欧利景无线有限公司 用于物体跟踪的方法、装置、服务器和系统
CN106683114A (zh) * 2016-12-16 2017-05-17 河海大学 基于特征光流的流体运动矢量估计方法
CN110111248A (zh) * 2019-03-15 2019-08-09 西安电子科技大学 一种基于特征点的图像拼接方法、虚拟现实系统、照相机

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113724300A (zh) * 2020-05-25 2021-11-30 北京达佳互联信息技术有限公司 图像配准方法、装置、电子设备及存储介质
CN112036280A (zh) * 2020-08-24 2020-12-04 方海涛 水鸟种群动态监测方法、装置和设备

Also Published As

Publication number Publication date
CN110889432B (zh) 2022-07-29

Similar Documents

Publication Publication Date Title
CN108764325B (zh) 图像识别方法、装置、计算机设备和存储介质
CN108304847B (zh) 图像分类方法及装置、个性化推荐方法及装置
CN110163344B (zh) 神经网络训练方法、装置、设备和存储介质
CN109544559B (zh) 图像语义分割方法、装置、计算机设备和存储介质
CN110211076B (zh) 图像拼接方法、图像拼接设备和可读存储介质
CN114155365B (zh) 模型训练方法、图像处理方法及相关装置
CN113673530B (zh) 遥感图像语义分割方法、装置、计算机设备和存储介质
CN110046577B (zh) 行人属性预测方法、装置、计算机设备和存储介质
CN111191533A (zh) 行人重识别的处理方法、装置、计算机设备和存储介质
CN110889432B (zh) 特征点匹配方法、装置、计算机设备和存储介质
CN112749726B (zh) 目标检测模型的训练方法、装置、计算机设备和存储介质
CN111062324A (zh) 人脸检测方法、装置、计算机设备和存储介质
CN112348116A (zh) 利用空间上下文的目标检测方法、装置和计算机设备
CN111047088A (zh) 预测图像获取方法、装置、计算机设备和存储介质
CN110660078A (zh) 对象追踪方法、装置、计算机设备和存储介质
CN112241646A (zh) 车道线识别方法、装置、计算机设备和存储介质
CN111179270A (zh) 基于注意力机制的图像共分割方法和装置
CN113449586A (zh) 目标检测方法、装置、计算机设备和存储介质
CN109685029B (zh) 复杂空间结构的柔性物体识别方法、装置、设备和介质
CN111709415A (zh) 目标检测方法、装置、计算机设备和存储介质
CN108875611B (zh) 视频动作识别方法和装置
CN111612726A (zh) 图像数据筛选方法、装置、计算机设备和存储介质
CN113537020A (zh) 基于改进神经网络的复数sar图像目标识别方法
CN111178162B (zh) 图像识别方法、装置、计算机设备和存储介质
CN109063601B (zh) 唇纹检测方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant