CN107507226B - 一种图像匹配的方法及装置 - Google Patents

一种图像匹配的方法及装置 Download PDF

Info

Publication number
CN107507226B
CN107507226B CN201710881430.2A CN201710881430A CN107507226B CN 107507226 B CN107507226 B CN 107507226B CN 201710881430 A CN201710881430 A CN 201710881430A CN 107507226 B CN107507226 B CN 107507226B
Authority
CN
China
Prior art keywords
image
point
points
pixel
matched
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710881430.2A
Other languages
English (en)
Other versions
CN107507226A (zh
Inventor
杨航
吴笑天
陈典兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Original Assignee
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun Institute of Optics Fine Mechanics and Physics of CAS filed Critical Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority to CN201710881430.2A priority Critical patent/CN107507226B/zh
Publication of CN107507226A publication Critical patent/CN107507226A/zh
Application granted granted Critical
Publication of CN107507226B publication Critical patent/CN107507226B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757Matching configurations of points or features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种图像匹配的方法及装置,获取待匹配的第一图像和第二图像,并仅从第一图像中获取特征点,而并不需要从第二图像中获取特征点,即可通过光流法确定第二图像中与第一图像中的特征点匹配的像素点,进而完成图像匹配。由于本申请中并不需要从第一图像和第二图像中都获取特征点,且针对第一图像中的任意一个特征点而言,在确定第二图像中与此特征点匹配的像素点时,利用光流法可以在第二图像中直接确定与此特征点匹配的像素点,而并不需要遍历第二图像中获取到的全部特征点,以在第二图像中的全部特征点中确定与第一图像中的特征点匹配的像素点,因此本申请在进行图像匹配时操作简单,计算量小。

Description

一种图像匹配的方法及装置
技术领域
本发明属于视频图像处理技术领域,尤其涉及一种图像匹配的方法及装置。
背景技术
在包含同一个目标的两幅图像中,目标可能发生移动、旋转或者形变。通过图像匹配,可以找到两幅图像中同一个目标的运动关系。
现有技术中公开的基于图像特征匹配进行图像中目标匹配的方法中,通常采用的图像特征匹配的方式是基于尺度不变特征变换(Scale-invariant feature transform,SIFT)的图像特征匹配。实现步骤包括:构建尺度空间,检测极值点,获得尺度不变性;特征点过滤并进行精确定位;为特征点分配方向值;生成特征描述子,其中,以特征点为中心取16×16的邻域作为采样窗口,将采样点与特征点的相对方向通过高斯加权后归入包含8个bin的方向直方图,最后获得4×4×8的128维特征描述子;当第一图像和第二图像的SIFT特征向量都生成以后,采用关键点特征向量的欧式距离来作为第一图像和第二图像中关键点的相似性判定度量。取第一图像中的某个关键点,通过遍历找到第二图像中的距离最近的两个关键点。在这两个关键点中,如果最近距离除以次近距离小于某个阈值,则判定为一对匹配点。
但是基于SIFT的匹配过程中,需要分别从第一图像和第二图像中获取特征点向量,并通过遍历的方式才能确定特征匹配点,进而完成图像匹配,导致匹配过程中操作复杂,计算量大。
发明内容
有鉴于此,本发明的目的在于提供一种图像匹配的方法及装置,用于解决现有技术中在进行图像匹配的过程中计算量大的问题。
技术方案如下:
本发明提供一种一种图像匹配的方法,包括:
获取待匹配的第一图像和第二图像;
获取所述第一图像中的特征点;
利用光流法确定与所述特征点匹配的像素点在所述第二图像中的位置。
优选地,所述获取所述第一图像中的特征点包括:
在所述第一图像中选取一像素点;
以所述第一图像中的像素点为圆心,根据预设半径在所述第一图像中做圆;
选取位于所述圆的圆周上的特定数量的像素点;
逐一比较所述圆周上的每个像素点的亮度与所述圆心的亮度的大小;
判断所述圆周上的像素点中是否存在至少两个像素点的亮度均大于或均小于所述圆心的亮度;
判断所述圆周上的像素点中存在至少两个像素点的亮度均大于或均小于所述圆心的亮度,则确定所述圆心为所述第一图像中的特征点。
优选地,所述利用光流法确定与所述特征点匹配的像素点在所述第二图像中的位置包括:
获取所述特征点在所述第一图像中的位置以及灰度值;
根据所述特征点在所述第一图像中的灰度值与所述特征点匹配的像素点在所述第二图像中的灰度值相同,建立求解与所述特征点匹配的像素点在所述第二图像中相较于所述特征点在所述第一图像中的位置移动距离的方程;
通过所述方程计算得到所述移动距离;
根据所述特征点在所述第一图像中的位置以及所述移动距离,计算得到与所述特征点匹配的像素点在所述第二图像中的位置。
优选地,所述利用光流法确定与所述特征点匹配的像素点在所述第二图像中的位置后,还包括:
判断与所述特征点匹配的像素点是否是误匹配点;
判断与所述特征点匹配的像素点是误匹配点,则去除所述误匹配点。
优选地,所述判断与所述特征点匹配的像素点是否是误匹配点,包括:
以与所述特征点匹配的像素点为中心,在预设范围内查找区别于作为中心的所述与所述特征点匹配的像素点的与其他特征点匹配的像素点的个数;
判断所述个数是否不大于预设阈值;
判断所述个数不大于预设阈值,则判断所述作为中心的所述与特征点匹配的像素点是误匹配点。
本发明还提供一种图像匹配的装置,包括:
第一获取单元,用于获取待匹配的第一图像和第二图像;
第二获取单元,用于获取所述第一图像中的特征点;
确定单元,用于利用光流法确定与所述特征点匹配的像素点在所述第二图像中的位置。
优选地,所述第二获取单元包括:
第一选取子单元,用于在所述第一图像中选取一像素点;
绘制子单元,用于以所述第一图像中的像素点为圆心,根据预设半径在所述第一图像中做圆;
第二选取子单元,用于选取位于所述圆的圆周上的特定数量的像素点;
比较子单元,用于逐一比较所述圆周上的每个像素点的亮度与所述圆心的亮度的大小;
第一判断子单元,用于判断所述圆周上的像素点中是否存在至少两个像素点的亮度均大于或均小于所述圆心的亮度;
确定子单元,用于所述判断子单元判断所述圆周上的像素点中存在至少两个像素点的亮度均大于或均小于所述圆心的亮度时,确定所述圆心为所述第一图像中的特征点。
优选地,所述确定单元包括:
获取子单元,用于获取所述特征点在所述第一图像中的位置以及灰度值;
建立子单元,用于根据所述特征点在所述第一图像中的灰度值与所述特征点匹配的像素点在所述第二图像中的灰度值相同,建立求解与所述特征点匹配的像素点在所述第二图像中相较于所述特征点在所述第一图像中的位置移动距离的方程;
第一计算子单元,用于通过所述方程计算得到所述移动距离;
第二计算子单元,用于根据所述特征点在所述第一图像中的位置以及所述移动距离,计算得到与所述特征点匹配的像素点在所述第二图像中的位置。
优选地,所述装置还包括:判断单元和去除单元,
其中,所述判断单元,用于判断与所述特征点匹配的像素点是否是误匹配点;
所述去除单元,用于在所述判断单元判断与所述特征点匹配的像素点是误匹配点时,去除所述误匹配点。
优选地,所述判断单元具体包括:
查找子单元,用于以与所述特征点匹配的像素点为中心,在预设范围内查找区别于作为中心的所述与所述特征点匹配的像素点的与其他特征点匹配的像素点的个数;
第二判断子单元,用于判断所述个数是否不大于预设阈值;
判断所述个数不大于预设阈值,则判断所述作为中心的所述与特征点匹配的像素点是误匹配点。
与现有技术相比,本发明提供的上述技术方案具有如下优点:
从上述技术方案可知,本申请中获取待匹配的第一图像和第二图像,并仅从第一图像中获取特征点,而并不需要从第二图像中获取特征点,即可通过光流法确定第二图像中与第一图像中的特征点匹配的像素点,进而完成图像匹配。由于本申请中并不需要从第一图像和第二图像中都获取特征点,且针对第一图像中的任意一个特征点而言,在确定第二图像中与此特征点匹配的像素点时,利用光流法可以在第二图像中直接确定与此特征点匹配的像素点,而并不需要遍历第二图像中获取到的全部特征点,以在第二图像中的全部特征点中确定与第一图像中的特征点匹配的像素点,因此本申请在进行图像匹配时操作简单,计算量小。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种图像匹配的方法的流程图;
图2是本发明实施例提供的另一种图像匹配的方法的流程图;
图3是本发明实施例提供的另一种图像匹配的方法的流程图;
图4是本发明实施例提供的一种图像匹配的装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明公开了一种图像匹配的方法,参见图1,该实施例包括以下步骤:
S101、获取待匹配的第一图像和第二图像;
获取两幅包含有同一目标的图像,例如包含有同一动物、物品等。其中,两幅包含有同一目标的图像可以是直接通过拍摄得到、从存储空间获取得到,还可以是通过对视频截屏得到。如果第一图像和第二图像是彩色图像,可以进一步将第一图像和第二图像分别灰度化,得到灰度化的第一图像和灰度化的第二图像。
S102、获取所述第一图像中的特征点;
获取到的第一图像中的特征点包括了第一图像和第二图像中均包含的同一目标上的像素点。
本实施例中并不限于获取第一图像中的特征点,还可以是获取第二图像中的特征点。只要是从包含有同一目标的两幅图像中任意选择一幅,并获取选择的一幅图像中的特征点,而并不需要获取另一幅图像中的特征点。
本实施例中从第一图像中获取到的特征点并不包括特征点的特征描述,而仅仅是获取到特征点。
S103、利用光流法确定与所述特征点匹配的像素点在所述第二图像中的位置。
在从第一图像中获取到特征点后,还需要进行特征点匹配,即需要确定在第二图像中存在的与第一图像中特征点相匹配的像素点,进而实现第一图像中包含的目标与第二图像中包含的同一目标的匹配。
本实施例中利用光流法确定与所述特征点匹配的像素点在所述第二图像中的位置,进而实现第一图像中包含的目标与第二图像中包含的同一目标的匹配。
本实施例中公开的方法还可以应用在图像拼接、目标跟踪以及目标检测等场景。
从上述技术方案可知,本申请中获取待匹配的第一图像和第二图像,并仅从第一图像中获取特征点,而并不需要从第二图像中获取特征点,即可通过光流法确定第二图像中与第一图像中的特征点匹配的像素点,进而完成图像匹配。由于本申请中并不需要从第一图像和第二图像中都获取特征点,且针对第一图像中的任意一个特征点而言,在确定第二图像中与此特征点匹配的像素点时,利用光流法可以在第二图像中直接确定与此特征点匹配的像素点,而并不需要遍历第二图像中获取到的全部特征点,以在第二图像中的全部特征点中确定与第一图像中的特征点匹配的像素点,因此本申请在进行图像匹配时操作简单,计算量小。
本实施例公开了另一种图像匹配的方法,本实施例公开的图像匹配的方法区别于上一实施例的图像匹配的方法之处在于,本实施例基于加速分割测试特征(Features fromaccelerated segment test,FAST)获取特征点,参见图2,该实施例包括以下步骤:
S201、获取待匹配的第一图像和第二图像;
在本实施例中,步骤S201的实现方式与上一实施例中步骤S101的实现方式相同,此处不再赘述。
S202、在所述第一图像中选取一像素点;
由于第一图像中包括与第二图像相同的目标,因此本步骤中在第一图像中选取一像素点具体可以是在第一图像中包含的目标所在区域选取一像素点。
S203、以所述第一图像中的像素点为圆心,根据预设半径在所述第一图像中做圆;
根据Bresenham算法,以选取的像素点为圆心,预设半径为半径在第一图像中做圆。其中,预设半径可以根据实际需要进行相应的调整。本实施例中预设半径为包括3个像素点的距离。
S204、选取位于所述圆的圆周上的特定数量的像素点;
在生成的以选取的像素点为圆心,预设半径为半径的圆的圆周上选取特征数量的像素点,当然,选取的位于圆周上的像素点是位于圆周上的不同位置的。例如,预设数量为16个,则需要在圆周上选取16个位于不同位置的像素点。其中,可以是均匀的选取,即每两个像素点之间间隔的圆周长度相同。
S205、逐一比较所述圆周上的每个像素点的亮度与所述圆心的亮度的大小;
对在圆周上选取的16个位于不同位置的像素点,按照顺时针方向从1到16的顺序对各个像素点分别进行编号。
获取每个像素点的亮度,以及作为圆心的像素点的亮度。按照编号由小到大的顺序,依次比较每一个编号对应的像素点的亮度与作为圆心的像素点的亮度之间的大小。
S206、判断所述圆周上的像素点中是否存在至少两个像素点的亮度均大于或均小于所述圆心的亮度;
判断所述圆周上的像素点中存在至少两个像素点的亮度均大于或均小于所述圆心的亮度,则执行步骤S207;
根据步骤S205的比较结果,判断圆周上的像素点中是否存在至少两个像素点的亮度均大于或均小于所述圆心的亮度;
若判断所述圆周上的像素点中存在至少两个像素点的亮度均大于或均小于所述圆心的亮度,则说明作为圆心的像素点的邻域内存在足够多的像素点与作为圆心的像素点相差较大,进而此作为圆心的像素点是特征点。
若判断所述圆周上的像素点中并不存在至少两个像素点的亮度均大于所述圆心的亮度,且所述圆周上的像素点中并不存在至少两个像素点的亮度均小于所述圆心的亮度,则说明此作为圆心的像素点不是特征点。
在本实施例中,为了扩大作为圆心的像素点与其邻域内其他像素点的差距,可以设置亮度阈值,在比较圆周上的每个像素点的亮度与作为圆心的像素点的亮度时,将圆周上的每个像素点的亮度与作为圆心的像素点的亮度加上亮度阈值之后的和值比较大小,以及将圆周上的每个像素点的亮度与作为圆心的像素点的亮度减去亮度阈值之后的差值比较大小。
并判断圆周上的像素点中是否存在至少两个像素点的亮度均大于作为圆心的像素点的亮度加上亮度阈值之后的和值,或圆周上的像素点中是否存在至少两个像素点的亮度均小于作为圆心的像素点的亮度减去亮度阈值之后的差值;
若判断圆周上的像素点中存在至少两个像素点的亮度均大于作为圆心的像素点的亮度加上亮度阈值之后的和值,即说明圆周上有至少两个像素点的亮度比作为圆心的像素点的亮度加上亮度阈值后的亮度还亮;判断圆周上的像素点中存在至少两个像素点的亮度均小于作为圆心的像素点的亮度减去亮度阈值之后的差值,即说明圆周上有至少两个像素点的亮度比作为圆心的像素点的亮度减去亮度阈值后的亮度还暗;则确定作为圆心的像素点是特征点。
S207、确定所述圆心为所述第一图像中的特征点;
通过执行步骤S202-S207,实现了利用FAST获取特征点的目的。可以理解的是,本实施例中并不仅仅获取一个特征点,而执行一次步骤S202-S207,仅能够确定一个像素点是否是特征点,因此本实施例中可以多次执行步骤S202-S207,以实现获取多个特征点。
S208、利用光流法确定与所述特征点匹配的像素点在所述第二图像中的位置。
本实施例中S208的实现方式与上一实施例中S103的实现方式类似,此处不再赘述。
本实施例中利用基于FAST获取特征点并结合光流法实现图像中目标匹配的方式替代现有技术中基于SIFT实现图像中目标匹配的方式,由于在获取图像中的特征点时,并不需要从第一图像和第二图像中都获取特征点,且针对第一图像中的任意一个特征点而言,在确定第二图像中与此特征点匹配的像素点时,利用光流法可以在第二图像中直接确定与此特征点匹配的像素点,而并不需要遍历第二图像中获取到的全部特征点,以在第二图像中的全部特征点中确定与第一图像中的特征点匹配的像素点,因此本申请在进行图像匹配时操作简单,计算量小,提高了匹配效率。
本实施例公开了另一种图像匹配的方法,参见图3,该实施例包括以下步骤:
S301、获取待匹配的第一图像和第二图像;
本实施例中S301的实现方式与上一实施例中S201的实现方式类似,此处不再赘述。
S302、获取所述第一图像中的特征点;
本实施例中S302的实现方式与上一实施例中基于FAST获取特征点的实现方式类似,此处不再赘述。
S303、获取所述特征点在所述第一图像中的位置以及灰度值;
特征点在第一图像中的位置为(x,y),在t时刻的灰度值为E(x,y,t)。
S304、根据所述特征点在所述第一图像中的灰度值与所述特征点匹配的像素点在所述第二图像中的灰度值相同,建立求解与所述特征点匹配的像素点在所述第二图像中相较于所述特征点在所述第一图像中的位置移动距离的方程;
用Δx和Δy表示特征点在Δt的时间间隔内,分别在水平方向上的移动距离以及在垂直方向上的移动距离。同时,用u(x,y)和v(x,y)来表示特征点在水平和垂直方向上的移动分量,u=dx/dt,v=dy/dt,
在经过一段时间间隔Δt后特征点灰度值为E(x+Δx,y+Δy,t+Δt)。
根据目标的灰度值在很短的时间间隔内基本保持不变,建立的公式为E(x,y,t)=E(x+Δx,y+Δy,t+Δt)。
根据Taylor公式展开E(x+Δx,y+Δy,t+Δt)后,得到:
Figure BDA0001419236830000101
进而公式变形为:
Figure BDA0001419236830000102
Figure BDA0001419236830000103
忽略其二阶无穷小,Δt趋近于0时,令
Figure BDA0001419236830000104
表示第二图像中像素点灰度沿x,y,t方向的梯度,得到的公式为:
Exu(x,y)+Eyv(x,y)+Et=0
Ex是第二图像中x方向的差分,Ey是第二图像中y方向的差分,Et是第二图像与第一图像之差,因此Ex、Ey和Et这三个量是已知的,可以通过求解方程得到u(x,y)和v(x,y)。
由于通过一个方程不能求解得到两个未知量,因此还需要建立另一个方程,使得通过建立方程组,并求解方程组,得到两个未知量u(x,y)和v(x,y)。
由于在一个小区间内,每个像素点的u(x,y)和v(x,y)近似认为是一样的,因此在特征点的邻域内选择另一个像素点,并依据与特征点建立求解u(x,y)和v(x,y)方程的方法,建立关于像素点的求解u(x,y)和v(x,y)的方程。
通过两个方程即可求解得到u(x,y)和v(x,y)。
优选地,本实施例中,在利用特征点的邻域内的像素点,建立求解u(x,y)和v(x,y)的方程时,可以将邻域内,例如5像素个数×5像素个数的区域内的所有像素点都建立求解u(x,y)和v(x,y)的方程,得到一个方程组,并通过最小二乘方法来计算得到u(x,y)和v(x,y)。
S305、通过所述方程计算得到所述移动距离;
为了使得计算移动距离的方法能够应用在具有较大移动速度的场景,即第二图像中目标相较于第一图像中同一目标而言,具有较大的移动距离,需要采用金字塔光流技术。
其中,金字塔光流的核心思想是采用多尺度方法,将第一图像和第二图像分别进行多尺度分解,然后在每一个尺度上均使用基本的光流法,即采用步骤S303-步骤S305分别计算每一个尺度上特征点的移动距离,最后整合各个尺度上的结果,得到第二图像中目标相较于第一图像中同一目标的移动距离。
S306、根据所述特征点在所述第一图像中的位置以及所述移动距离,计算得到与所述特征点匹配的像素点在所述第二图像中的位置;
特征点在第一图像中的位置为(x,y),即在水平方向的位置为x,在垂直方向的位置为y,利用x加上特征点在水平方向上的移动距离,得到x’,利用y加上特征点在垂直方向上的移动距离,得到y’,(x’,y’)为与所述特征点匹配的像素点在所述第二图像中的位置。
S307、以与所述特征点匹配的像素点为中心,在预设范围内查找区别于作为中心的所述与所述特征点匹配的像素点的与其他特征点匹配的像素点的个数;
在获得与所述特征点匹配的像素点后,由于获得的与所述特征点匹配的像素点可能是误匹配点,因此需要判断获得的与所述特征点匹配的像素点是否是误匹配点,当获得的与所述特征点匹配的像素点是误匹配点时,需要去除所述与所述特征点匹配的像素点,以提高匹配的准确性。
本实施例中基于网格的运动统计(Grid-based Motion Statistics,GMS)判断获得的与特征点匹配的像素点是否是误匹配点。其中,基于GMS判断获得的与特征点匹配的像素点是否是误匹配点的原理是:正确的匹配点具有强聚焦性,即正确的匹配点周围存在一定数量的其他的正确的匹配点,而误匹配点通常是孤立的,即误匹配点周围不存在一定数量的正确的匹配点,基于此,通过匹配点周围内存在的其他匹配点的数量来判断每一个匹配点是否是误匹配点。
例如,第一图像中获取到的特征点包括特征点1,特征点2,特征点3,……,特征点10,获取到的与10个特征点分别匹配的像素点为像素点1,像素点2,像素点3,……,像素点10。以与特征点1匹配的像素点1为例,以像素点1为中心,在像素点1周围邻域内查找是否存在与特征点2,特征点3,……,特征点10分别匹配的像素点2,像素点3,……,像素点10。如果存在像素点2,像素点3,那么计算得到的与其他特征点匹配的像素点的个数为2。
S308、判断所述个数是否不大于预设阈值;
判断所述个数不大于预设阈值,则执行S309;
判断所述个数不大于预设阈值,则说明作为中心的所述像素点为误匹配点。否则,说明作为中心的所述像素点为正确的匹配点。
S309、去除所述作为中心的所述与特征点匹配的像素点。
本实施例中基于GMS算法去除误匹配点,相较于基于随机采样一致(RandomSample Consensus,RANSAC)算法去除误匹配点而言,由于基于RANSAC算法去除误匹配点时,其迭代次数是没有上限的,需要大量的迭代才能保证计算结果的准确性,而如果设置了迭代次数,那么计算的结果将不准确,因此基于RANSAC算法去除误匹配点的计算量大,而本实施例中基于GMS算法去除误匹配点时,只需要计算匹配点的邻域内存在的匹配点的个数,即可判断出匹配点是否是误匹配点,不需要大量的迭代,计算量少,且GMS算法仅仅涉及加法运算,计算复杂度低,能够快速地确定出误匹配点。
本实施例中利用基于FAST获取特征点并结合光流法实现图像中目标匹配,由于在获取图像中的特征点时,并不需要从第一图像和第二图像中都获取特征点,且针对第一图像中的任意一个特征点而言,在确定第二图像中与此特征点匹配的像素点时,利用光流法可以在第二图像中直接确定与此特征点匹配的像素点,而并不需要遍历第二图像中获取到的全部特征点,以在第二图像中的全部特征点中确定与第一图像中的特征点匹配的像素点,因此本申请在进行图像匹配时操作简单,计算量小,提高了匹配效率。同时,本实施例中基于GMS判断获得的与特征点匹配的像素点是否是误匹配点,在判断是误匹配点时去除误匹配点,提高了匹配的准确性。且降低了计算复杂度以及计算量,实现了快速确定出误匹配点的功能。
对应上述图像匹配的方法,本发明还提供了一种图像匹配的装置,所述装置的结构示意图请参阅图4所示,本实施例中所述装置包括:
第一获取单元401、第二获取单元402、确定单元403、判断单元404和去除单元405;
第一获取单元401,用于获取待匹配的第一图像和第二图像;
第二获取单元402,用于获取所述第一图像中的特征点;
可选地,第二获取单元402包括:
第一选取子单元、绘制子单元、第二选取子单元、比较子单元、第一判断子单元和确定子单元;
其中,所述第一选取子单元,用于在所述第一图像中选取一像素点;
所述绘制子单元,用于以所述第一图像中的像素点为圆心,根据预设半径在所述第一图像中做圆;
所述第二选取子单元,用于选取位于所述圆的圆周上的特定数量的像素点;
所述比较子单元,用于逐一比较所述圆周上的每个像素点的亮度与所述圆心的亮度的大小;
所述第一判断子单元,用于判断所述圆周上的像素点中是否存在至少两个像素点的亮度均大于或均小于所述圆心的亮度;
所述确定子单元,用于所述判断子单元判断所述圆周上的像素点中存在至少两个像素点的亮度均大于或均小于所述圆心的亮度时,确定所述圆心为所述第一图像中的特征点。
确定单元403,用于利用光流法确定与所述特征点匹配的像素点在所述第二图像中的位置;
可选地,确定单元403包括:
获取子单元、建立子单元、第一计算子单元和第二计算子单元;
其中,所述获取子单元,用于获取所述特征点在所述第一图像中的位置以及灰度值;
所述建立子单元,用于根据所述特征点在所述第一图像中的灰度值与所述特征点匹配的像素点在所述第二图像中的灰度值相同,建立求解与所述特征点匹配的像素点在所述第二图像中相较于所述特征点在所述第一图像中的位置移动距离的方程;
所述第一计算子单元,用于通过所述方程计算得到所述移动距离;
所述第二计算子单元,用于根据所述特征点在所述第一图像中的位置以及所述移动距离,计算得到与所述特征点匹配的像素点在所述第二图像中的位置。
判断单元404,用于判断与所述特征点匹配的像素点是否是误匹配点;
可选地,判断单元404包括:
查找子单元和第二判断子单元;
其中,所述查找子单元,用于以与所述特征点匹配的像素点为中心,在预设范围内查找区别于作为中心的所述与所述特征点匹配的像素点的与其他特征点匹配的像素点的个数;
所述第二判断子单元,用于判断所述个数是否不大于预设阈值;
判断所述个数不大于预设阈值,则判断所述作为中心的所述与特征点匹配的像素点是误匹配点。
去除单元405,用于在所述判断单元判断与所述特征点匹配的像素点是误匹配点时,去除所述误匹配点。
从上述技术方案可知,本实施例中利用基于FAST获取特征点并结合光流法实现图像中目标匹配,由于在获取图像中的特征点时,并不需要从第一图像和第二图像中都获取特征点,且针对第一图像中的任意一个特征点而言,在确定第二图像中与此特征点匹配的像素点时,利用光流法可以在第二图像中直接确定与此特征点匹配的像素点,而并不需要遍历第二图像中获取到的全部特征点,以在第二图像中的全部特征点中确定与第一图像中的特征点匹配的像素点,因此本申请在进行图像匹配时操作简单,计算量小,提高了匹配效率。同时,本实施例中基于GMS判断获得的与特征点匹配的像素点是否是误匹配点,在判断是误匹配点时去除误匹配点,提高了匹配的准确性。且降低了计算复杂度以及计算量,实现了快速确定出误匹配点的功能。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例提供的装置而言,由于其与实施例提供的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明,使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (4)

1.一种图像匹配的方法,其特征在于,包括:
获取待匹配的第一图像和第二图像;
获取所述第一图像中的特征点;
利用光流法确定与所述特征点匹配的像素点在所述第二图像中的位置;
判断与所述特征点匹配的像素点是否是误匹配点;
判断与所述特征点匹配的像素点是误匹配点,则去除所述误匹配点;
其中,所述判断与所述特征点匹配的像素点是否是误匹配点,包括:
以与所述特征点匹配的像素点为中心,在预设范围内查找区别于作为中心的所述与所述特征点匹配的像素点的与其他特征点匹配的像素点的个数;
判断所述个数是否不大于预设阈值;
判断所述个数不大于预设阈值,则判断作为中心的所述与所述特征点匹配的像素点是误匹配点;
所述利用光流法确定与所述特征点匹配的像素点在所述第二图像中的位置包括:
将所述第一图像和所述第二图像分别进行多尺度分解,在每个尺度上均采用以下方法计算每个尺度上所述特征点的移动距离:
获取所述特征点在所述第一图像中的位置以及灰度值;
根据所述特征点在所述第一图像中的灰度值与所述特征点匹配的像素点在所述第二图像中的灰度值相同,建立求解与所述特征点匹配的像素点在所述第二图像中相较于所述特征点在所述第一图像中的位置移动距离的方程;其中,建立求解与所述特征点匹配的像素点在所述第二图像中相较于所述特征点在所述第一图像中的位置移动距离的方程,包括:
利用所述特征点的邻域内的像素点,建立求解方程;其中,将邻域内预设像素个数的区域内的所有像素点都建立求解方程,得到一个方程组;
通过所述方程组计算得到所述移动距离;其中,通过最小二乘法计算得到所述移动距离;
将各个尺度上的所述移动距离进行整合,得到所述第二图像中目标相较于所述第一图像中同一目标的移动距离;
根据所述特征点在所述第一图像中的位置以及所述移动距离,计算得到与所述特征点匹配的像素点在所述第二图像中的位置。
2.根据权利要求1所述的方法,其特征在于,所述获取所述第一图像中的特征点包括:
在所述第一图像中选取一像素点;
以所述第一图像中的像素点为圆心,根据预设半径在所述第一图像中做圆;
选取位于所述圆的圆周上的预设数量的像素点;
逐一比较所述圆周上的每个像素点的亮度与所述圆心的亮度的大小;
判断所述圆周上的像素点中是否存在至少两个像素点的亮度均大于或均小于所述圆心的亮度;
判断所述圆周上的像素点中存在至少两个像素点的亮度均大于或均小于所述圆心的亮度,则确定所述圆心为所述第一图像中的特征点。
3.一种图像匹配的装置,其特征在于,包括:
第一获取单元,用于获取待匹配的第一图像和第二图像;
第二获取单元,用于获取所述第一图像中的特征点;
确定单元,用于利用光流法确定与所述特征点匹配的像素点在所述第二图像中的位置;
所述装置还包括:判断单元和去除单元,
其中,所述判断单元,用于判断与所述特征点匹配的像素点是否是误匹配点;
所述去除单元,用于在所述判断单元判断与所述特征点匹配的像素点是误匹配点时,去除所述误匹配点;
所述判断单元具体包括:
查找子单元,用于以与所述特征点匹配的像素点为中心,在预设范围内查找区别于作为中心的所述与所述特征点匹配的像素点的与其他特征点匹配的像素点的个数;
第二判断子单元,用于判断所述个数是否不大于预设阈值;
判断所述个数不大于预设阈值,则判断作为中心的所述与所述特征点匹配的像素点是误匹配点;
所述确定单元包括:
获取子单元,用于获取所述特征点在所述第一图像中的位置以及灰度值;
建立子单元,用于根据所述特征点在所述第一图像中的灰度值与所述特征点匹配的像素点在所述第二图像中的灰度值相同,建立求解与所述特征点匹配的像素点在所述第二图像中相较于所述特征点在所述第一图像中的位置移动距离的方程;其中,建立求解与所述特征点匹配的像素点在所述第二图像中相较于所述特征点在所述第一图像中的位置移动距离的方程,包括:利用所述特征点的邻域内的像素点,建立求解方程;其中,将邻域内预设像素个数的区域内的所有像素点都建立求解方程,得到一个方程组;
第一计算子单元,用于通过所述方程计算得到所述移动距离;其中,通过最小二乘法计算得到所述移动距离;
其中,将所述第一图像和所述第二图像分别进行多尺度分解,在每个尺度上均调用所述获取子单元、所述建立子单元和所述第一计算子单元,计算得到每个尺度上所述特征点的移动距离;并将各个尺度上的所述移动距离进行整合,得到所述第二图像中目标相较于所述第一图像中同一目标的移动距离;
第二计算子单元,用于根据所述特征点在所述第一图像中的位置以及所述移动距离,计算得到与所述特征点匹配的像素点在所述第二图像中的位置。
4.根据权利要求3所述的装置,其特征在于,所述第二获取单元包括:
第一选取子单元,用于在所述第一图像中选取一像素点;
绘制子单元,用于以所述第一图像中的像素点为圆心,根据预设半径在所述第一图像中做圆;
第二选取子单元,用于选取位于所述圆的圆周上的预设数量的像素点;
比较子单元,用于逐一比较所述圆周上的每个像素点的亮度与所述圆心的亮度的大小;
第一判断子单元,用于判断所述圆周上的像素点中是否存在至少两个像素点的亮度均大于或均小于所述圆心的亮度;
确定子单元,用于所述判断子单元判断所述圆周上的像素点中存在至少两个像素点的亮度均大于或均小于所述圆心的亮度时,确定所述圆心为所述第一图像中的特征点。
CN201710881430.2A 2017-09-26 2017-09-26 一种图像匹配的方法及装置 Active CN107507226B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710881430.2A CN107507226B (zh) 2017-09-26 2017-09-26 一种图像匹配的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710881430.2A CN107507226B (zh) 2017-09-26 2017-09-26 一种图像匹配的方法及装置

Publications (2)

Publication Number Publication Date
CN107507226A CN107507226A (zh) 2017-12-22
CN107507226B true CN107507226B (zh) 2021-04-06

Family

ID=60699606

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710881430.2A Active CN107507226B (zh) 2017-09-26 2017-09-26 一种图像匹配的方法及装置

Country Status (1)

Country Link
CN (1) CN107507226B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109117851A (zh) * 2018-07-06 2019-01-01 航天星图科技(北京)有限公司 一种基于网格统计约束的视频图像匹配方法
CN110826355A (zh) * 2018-08-07 2020-02-21 腾讯数码(天津)有限公司 一种图像识别方法、装置和存储介质
CN109255387A (zh) * 2018-09-20 2019-01-22 珠海市君天电子科技有限公司 一种图像匹配方法、装置、电子设备及存储介质
CN109919190B (zh) * 2019-01-29 2023-09-15 广州视源电子科技股份有限公司 直线段匹配方法、装置、存储介质及终端
CN110070564B (zh) * 2019-05-08 2021-05-11 广州市百果园信息技术有限公司 一种特征点匹配方法、装置、设备及存储介质
CN110458875B (zh) * 2019-07-30 2021-06-15 广州市百果园信息技术有限公司 异常点对的检测方法、图像拼接方法、相应装置及设备
SG10202003292XA (en) * 2020-04-09 2021-11-29 Sensetime Int Pte Ltd Matching method and apparatus, electronic device, computer-readable storage medium, and computer program
CN113850351A (zh) * 2021-12-01 2021-12-28 武汉依迅北斗时空技术股份有限公司 图像特征点的匹配方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103093198A (zh) * 2013-01-15 2013-05-08 信帧电子技术(北京)有限公司 一种人群密度监测方法及装置
CN103136760A (zh) * 2013-03-26 2013-06-05 华北电力大学(保定) 一种基于fast与daisy的多传感器图像匹配方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006260527A (ja) * 2005-02-16 2006-09-28 Toshiba Corp 画像マッチング方法およびこれを用いた画像補間方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103093198A (zh) * 2013-01-15 2013-05-08 信帧电子技术(北京)有限公司 一种人群密度监测方法及装置
CN103136760A (zh) * 2013-03-26 2013-06-05 华北电力大学(保定) 一种基于fast与daisy的多传感器图像匹配方法

Also Published As

Publication number Publication date
CN107507226A (zh) 2017-12-22

Similar Documents

Publication Publication Date Title
CN107507226B (zh) 一种图像匹配的方法及装置
CN111667520B (zh) 红外图像和可见光图像的配准方法、装置及可读存储介质
CN108960211B (zh) 一种多目标人体姿态检测方法以及系统
US10943141B2 (en) Object detection device and object detection method
CN108986152B (zh) 一种基于差分图像的异物检测方法及装置
US20120328161A1 (en) Method and multi-scale attention system for spatiotemporal change determination and object detection
US20210227144A1 (en) Target tracking method and device, movable platform, and storage medium
CN106920245B (zh) 一种边界检测的方法及装置
CN108109163A (zh) 一种航拍视频的运动目标检测方法
CN111383252B (zh) 多相机目标追踪方法、系统、装置及存储介质
US20140270362A1 (en) Fast edge-based object relocalization and detection using contextual filtering
CN110909750B (zh) 图像差异检测方法及装置、存储介质、终端
CN109447902B (zh) 一种图像拼接方法、装置、储存介质及设备
CN109544599A (zh) 一种基于相机位姿估计的三维点云配准方法
CN110197185B (zh) 一种基于尺度不变特征变换算法监测桥下空间的方法和系统
JP6924064B2 (ja) 画像処理装置およびその制御方法、ならびに撮像装置
CN110572636B (zh) 摄像头脏污检测方法、装置、存储介质及电子设备
CN110598795A (zh) 图像差异检测方法及装置、存储介质、终端
CN113674220A (zh) 一种图像差异检测方法、检测装置和存储介质
CN110910379B (zh) 一种残缺检测方法及装置
CN111862239A (zh) 一种面阵相机图像重叠区域标定方法、装置、设备及存储介质
CN108052869A (zh) 车道线识别方法、装置及计算机可读存储介质
CN116188943A (zh) 太阳射电频谱爆发信息检测方法及装置
CN112150522A (zh) 遥感图像的配准方法、装置、设备、存储介质及系统
CN110728311A (zh) 一种图像处理方法、装置和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant