CN113112531B - 一种图像匹配方法及装置 - Google Patents
一种图像匹配方法及装置 Download PDFInfo
- Publication number
- CN113112531B CN113112531B CN202110361556.3A CN202110361556A CN113112531B CN 113112531 B CN113112531 B CN 113112531B CN 202110361556 A CN202110361556 A CN 202110361556A CN 113112531 B CN113112531 B CN 113112531B
- Authority
- CN
- China
- Prior art keywords
- matching
- images
- points
- matched
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000009466 transformation Effects 0.000 claims abstract description 84
- 239000011159 matrix material Substances 0.000 claims abstract description 32
- 238000000605 extraction Methods 0.000 claims abstract description 30
- 230000001131 transforming effect Effects 0.000 claims abstract description 6
- 238000012795 verification Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 abstract description 6
- 230000000694 effects Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种图像匹配方法及装置,方法包括:按照拍摄顺序输入多帧待匹配图像,并进行特征提取和特征匹配,得到相邻两帧图像的匹配点;根据匹配点得到相邻两帧图像之间的单应变换矩阵,根据单应变换矩阵将每帧图像的外接矩形变换到同一坐标系中,得到单应变换多边形;判断所有单应变换多边形之间是否存在重叠区域,若是则计算重叠区域的面积占比;在判断到面积占比满足预设条件后,计算重叠区域对应的待匹配图像之间的匹配内点,根据匹配内点得到待匹配图像的图像匹配结果。本发明实施例按照拍摄顺序输入多帧待匹配图像,并通过单应变换求得每一待匹配图像在时间序列空间的相对位置以图像匹配,能够有效降低计算量以及减低匹配误差。
Description
技术领域
本发明涉及图像处理技术领域,尤其是涉及一种图像匹配方法及装置。
背景技术
随着科学技术的发展,图像匹配技术在近代信息处理领域中的应用范围越来越广泛,精确的图像匹配效果是图像对齐以及图像拼接等技术的可靠基础,如在近景拍摄场景中,需要精确的图像匹配来实现全景图的拼接。目前常用的图像匹配方法通常是采用图像匹配概率模型验证方法来实现图像匹配的,但是现有的图像匹配方法需要较大的计算量,且匹配误差较大,导致图像匹配的效果较差。
发明内容
本发明提供一种图像匹配方法及装置,以解决有的图像匹配方法对需要较大的计算量,且匹配误差较大,导致图像匹配的效果较差的技术问题。
本发明的第一实施例提供了一种图像匹配方法,包括:
按照拍摄顺序输入多帧待匹配图像,并对所述待匹配图像进行特征提取和特征匹配,得到相邻两帧图像的匹配点;
根据所述匹配点得到相邻两帧图像之间的单应变换矩阵,根据所述单应变换矩阵将每帧图像的外接矩形变换到同一坐标系中,得到在同一坐标系中每一所述外接矩形对应的单应变换多边形;
判断所有所述单应变换多边形之间是否存在重叠区域,若是则计算所述重叠区域的面积占比;
在判断到所述面积占比满足预设条件后,计算所述重叠区域对应的待匹配图像之间的匹配内点,根据所述匹配内点得到所述待匹配图像的图像匹配结果。
进一步的,所述按照拍摄顺序输入多帧待匹配图像,并对所述待匹配图像进行特征提取和特征匹配,得到相邻两帧图像的匹配点,具体为:
按照拍摄顺序输入多帧待匹配图像,采用特征提取方法对所述待匹配图像进行特征点提取,并采用第二最近邻方法将所述特征点进行特征匹配,得到相邻两帧图像的匹配点,其中,所述特征提取方法包括但不限于SURF和SIFT。
进一步的,所述采用第二最近邻方法将所述特征点进行特征匹配,得到相邻两帧图像的匹配点,具体为:
采用第二最近邻方法寻找第N帧图像中的特征点在第N-1帧中的最近邻特征点和次近邻特征点,当所述最近邻特征点和次近邻特征点之间的距离满足预设条件时,判断所述第N-1帧图像中的最近邻特征点为所述第N帧图像中特征点的匹配点。
进一步的,所述根据所述匹配点得到相邻两帧图像之间的单应变换矩阵,根据所述单应变换矩阵将每帧图像的外接矩形变换到同一坐标系中,得到在同一坐标系中每一所述外接矩形对应的单应变换多边形,具体为:
对所述匹配点进行精确匹配得到相邻两帧图像之间的单应变换矩阵,根据所述单应变换矩阵对所有所述待匹配图像的外接矩形的顶点进行单应变换,得到在同一坐标系中每一所述外接矩形对应的单应变换多边形。
进一步的,在判断到所述面积占比满足预设条件后,计算所述重叠区域对应的待匹配图像之间的匹配内点,根据所述匹配内点得到所述待匹配图像的图像匹配结果,具体为:
在判断到所述面积占比满足大于预设阈值且不连续后,对所述重叠区域所在的单应变换多边形对应的待匹配图像之间进行特征匹配,并基于单应性的几何一致性验证进行精确匹配,计算得到单一性一致的匹配内点,将满足预设数量的匹配内点以及匹配内点比例的图像对作为所述待匹配图像的图像匹配结果。
本发明的第二实施例提供了一种图像匹配装置,包括:
特征提取与匹配模块,用于按照拍摄顺序输入多帧待匹配图像,并对所述待匹配图像进行特征提取和特征匹配,得到相邻两帧图像的匹配点;
单应变换模块,用于根据所述匹配点得到相邻两帧图像之间的单应变换矩阵,根据所述单应变换矩阵将每帧图像的外接矩形变换到同一坐标系中,得到在同一坐标系中每一所述外接矩形对应的单应变换多边形;
计算模块,用于判断所有所述单应变换多边形之间是否存在重叠区域,若是则计算所述重叠区域的面积占比;
图像匹配模块,用于在判断到所述面积占比满足预设条件后,计算所述重叠区域对应的待匹配图像之间的匹配内点,根据所述匹配内点得到所述待匹配图像的图像匹配结果。
进一步的,所述特征提取与匹配模块,具体用于:
按照拍摄顺序输入多帧待匹配图像,采用特征提取方法对所述待匹配图像进行特征点提取,并采用第二最近邻方法将所述特征点进行特征匹配,得到相邻两帧图像的匹配点,其中,所述特征提取方法包括但不限于SURF和SIFT。
进一步的,所述采用第二最近邻方法将所述特征点进行特征匹配,得到相邻两帧图像的匹配点,具体为:
采用第二最近邻方法寻找第N帧图像中的特征点在第N-1帧中的最近邻特征点和次近邻特征点,当所述最近邻特征点和次近邻特征点之间的距离满足预设条件时,判断所述第N-1帧图像中的最近邻特征点为所述第N帧图像中特征点的匹配点。
进一步的,所述单应变换模块,具体用于:
对所述匹配点进行精确匹配得到相邻两帧图像之间的单应变换矩阵,根据所述单应变换矩阵对所有所述待匹配图像的外接矩形的顶点进行单应变换,得到在同一坐标系中每一所述外接矩形对应的单应变换多边形。
进一步的,所述图像匹配模块,具体用于:
在判断到所述面积占比满足大于预设阈值且不连续后,对所述重叠区域所在的单应变换多边形对应的待匹配图像之间进行特征匹配,并基于单应性的几何一致性验证进行精确匹配,计算得到单一性一致的匹配内点,将满足预设数量的匹配内点以及匹配内点比例的图像对作为所述待匹配图像的图像匹配结果。
本发明实施例按照拍摄循序输入多帧待匹配图像,对多帧待匹配图像进行特征提取和特征匹配后得到匹配点,再根据多个匹配点进行单应变换以得到每一帧图像在时间序列空间的相对位置,能够有效提高图像匹配的效果;本发明实施例无需较大的计算量即可实现图像匹配,且能够有效提高匹配的鲁棒性以及降低匹配误差,从而能够有效提高图像匹配的准确性和可靠性。
附图说明
图1是本发明实施例提供的一种图像匹配方法的流程示意图;
图2是本发明实施例提供的一种图像匹配方法的另一流程示意图;
图3是本发明实施例提供的一种图像匹配装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在本申请的描述中,需要理解的是,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中,除非另有说明,“多个”的含义是两个或两个以上。
在本申请的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本申请中的具体含义。
请参阅图1-2,本发明的第一实施例提供了如图1所示的一种图像匹配方法,包括:
S1、按照拍摄顺序输入多帧待匹配图像,并对待匹配图像进行特征提取和特征匹配,得到相邻两帧图像的匹配点;
S2、根据匹配点得到相邻两帧图像之间的单应变换矩阵,根据单应变换矩阵将每帧图像的外接矩形变换到同一坐标系中,得到在同一坐标系中每一外接矩形对应的单应变换多边形;
S3、判断所有单应变换多边形之间是否存在重叠区域,若是则计算重叠区域的面积占比;
S4、在判断到面积占比满足预设条件后,计算重叠区域对应的待匹配图像之间的匹配内点,根据匹配内点得到待匹配图像的图像匹配结果。
本发明实施例按照拍摄循序输入多帧待匹配图像,对多帧待匹配图像进行特征提取和特征匹配后得到匹配点,再根据多个匹配点进行单应变换以得到每一帧图像在时间序列空间的相对位置,能够有效提高图像匹配的效果;本发明实施例无需较大的计算量即可实现图像匹配,且能够有效提高匹配的鲁棒性以及降低匹配误差,从而能够有效提高匹配的效率。
作为本发明实施例的一种具体实施方式,按照拍摄顺序输入多帧待匹配图像,并对待匹配图像进行特征提取和特征匹配,得到相邻两帧图像的匹配点,具体为:
按照拍摄顺序输入多帧待匹配图像,采用特征提取方法对待匹配图像进行特征点提取,并采用第二最近邻方法将特征点进行特征匹配,得到相邻两帧图像的匹配点,其中,所述特征提取方法包括但不限于SURF和SIFT。
具体地,按照拍摄顺序输入多帧待匹配图像,在对待匹配图像进行匹配之前,需要对待匹配图像进行特征点提取,本发明实施例首先采用SURF(Speeded-Up RobustFeatures)方法提取特征点,包括特征点位置和特征描述子,再通过第二最近邻方法基于特征点中的特征描述子进行特征粗匹配,得到nf个相邻两帧图像的匹配点。
可选地,本发明实施例采用第二最近邻方法将特征点进行特征匹配,得到相邻两帧图像的匹配点,具体为:采用第二最近邻方法寻找第N帧图像中的特征点在第N-1帧中的最近邻特征点和次近邻特征点,当最近邻特征点和次近邻特征点之间的距离满足预设条件时,判断第N-1帧图像中的最近邻特征点为第N帧图像中特征点的匹配点。其中,基于上述方案,设与最近邻特征点和次近邻特征点之间的距离分别为d1和d2,当满足d1/d2<0.75时,判断第N-1帧图像中的最近邻特征点为第N帧图像中特征点的匹配点。
作为本发明实施例的一种具体实施方式,根据匹配点得到相邻两帧图像之间的单应变换矩阵,根据单应变换矩阵将每帧图像的外接矩形变换到同一坐标系中,得到在同一坐标系中每一外接矩形对应的单应变换多边形,具体为:
对匹配点进行精确匹配得到相邻两帧图像之间的单应变换矩阵,根据单应变换矩阵对所有待匹配图像的外接矩形的顶点进行单应变换,得到在同一坐标系中每一外接矩形对应的单应变换多边形。
在本发明实施例中,需要说明的是,在实际图像匹配中,拍摄的图像是具有时间顺序的,即连续拍摄的两帧图像之间存在重叠区域,这两帧图像必然是匹配的,他们的相对位置可根据单应变换求得,其中/>ui是对应图像的2维像素坐标,单应变换矩阵Hi,i+1可根据特征匹配的nf个粗匹配点对进行RANSAC(random sampleconsistence)求得,在计算得到单应变换矩阵后,单应变换矩阵的传递性求得每一帧图像在空间中的相对位置关系,即每帧图像的外界矩形的顶点进行单应变换后,变换得到的四边形在同一坐标系下的表示。具体地,将每帧图像的外接矩形recti的四个顶点Pi1、Pi2、Pi3、Pi4统一变换到同一坐标系下,可得到变换后的单应变换多边形quadi的顶点像素坐标
作为本发明实施例的一种具体实施方式,在判断到面积占比满足预设条件后,计算重叠区域对应的待匹配图像之间的匹配内点,根据匹配内点得到待匹配图像的图像匹配结果,具体为:
在判断到面积占比满足大于预设阈值且不连续后,对重叠区域所在的单应变换多边形对应的待匹配图像之间进行特征匹配,并基于单应性的几何一致性验证进行精确匹配,计算得到单一性一致的匹配内点,将满足预设数量的匹配内点以及匹配内点比例的图像对作为待匹配图像的图像匹配结果。
在本发明实施例中,依次判断所有图像的单应变换多边形是否相交以及相交重叠面积比例Ra,对于面积比大于一定阈值σ且不连续的图像之间再用特征匹配和RANSAC计算单应性一致的匹配内点(inliers),满足一定的匹配内点数量以及匹配内点比例的图像对,作为最终的图像匹配结果。
具体地,
其中,quadi和quadj分别是图像i和图像j的单应变换多边形,mij是匹配内点的数量,α=8.0,β=0.3。
请参阅图2,为本发明实施例提供的一种图像匹配方法的另一流程示意图。
实施本发明实施例,具有以下有益效果:
本发明实施例按照拍摄循序输入多帧待匹配图像,对多帧待匹配图像进行特征提取和特征匹配后得到匹配点,再根据多个匹配点进行单应变换以得到每一帧图像在时间序列空间的相对位置,能够有效提高图像匹配的效果;本发明实施例无需较大的计算量即可实现图像匹配,适用于移动终端,且本发明实施提高了匹配的鲁棒性以及降低了匹配误差,从而能够有效提高匹配的准确定和可靠性。
请参阅图3,本发明的第二实施例提供了一种图像匹配装置,包括:
特征提取与匹配模块20,用于按照拍摄顺序输入多帧待匹配图像,并对待匹配图像进行特征提取和特征匹配,得到相邻两帧图像的匹配点;
单应变换模块20,用于根据匹配点得到相邻两帧图像之间的单应变换矩阵,根据单应变换矩阵将每帧图像的外接矩形变换到同一坐标系中,得到在同一坐标系中每一外接矩形对应的单应变换多边形;
计算模块30,用于判断所有单应变换多边形之间是否存在重叠区域,若是则计算重叠区域的面积占比;
图像匹配模块40,用于在判断到面积占比满足预设条件后,计算重叠区域对应的待匹配图像之间的匹配内点,根据匹配内点得到待匹配图像的图像匹配结果。
本发明实施例按照拍摄循序输入多帧待匹配图像,对多帧待匹配图像进行特征提取和特征匹配后得到匹配点,再根据多个匹配点进行单应变换以得到每一帧图像在时间序列空间的相对位置,能够有效提高图像匹配的效果;本发明实施例无需较大的计算量即可实现图像匹配,且能够有效提高匹配的鲁棒性以及降低匹配误差,从而能够有效提高匹配的效率。
作为本发明实施例的一种具体实施方式,特征提取与匹配模块20,具体用于:
按照拍摄顺序输入多帧待匹配图像,采用特征提取方法对待匹配图像进行特征点提取,并采用第二最近邻方法将特征点进行特征匹配,得到相邻两帧图像的匹配点,其中,所述特征提取方法包括但不限于SURF和SIFT。
具体地,按照拍摄顺序输入多帧待匹配图像,在对待匹配图像进行匹配之前,需要对待匹配图像进行特征点提取,本发明实施例首先采用SURF(Speeded-Up RobustFeatures)方法提取特征点,包括特征点位置和特征描述子,再通过第二最近邻方法基于特征点中的特征描述子进行特征粗匹配,得到nf个相邻两帧图像的匹配点。
可选地,本发明实施例采用第二最近邻方法将特征点进行特征匹配,得到相邻两帧图像的匹配点,具体为:
采用第二最近邻方法寻找第N帧图像中的特征点在第N-1帧中的最近邻特征点和次近邻特征点,当最近邻特征点和次近邻特征点之间的距离满足预设条件时,判断第N-1帧图像中的最近邻特征点为第N帧图像中特征点的匹配点。其中,基于上述方案,设与最近邻特征点和次近邻特征点之间的距离分别为d1和d2,当满足d1/d2<0.75时,判断第N-1帧图像中的最近邻特征点为第N帧图像中特征点的匹配点。
作为本发明实施例的一种具体实施方式,单应变换模块20,具体用于:
对匹配点进行精确匹配得到相邻两帧图像之间的单应变换矩阵,根据单应变换矩阵对所有待匹配图像的外接矩形的顶点进行单应变换,得到在同一坐标系中每一外接矩形对应的单应变换多边形。在本发明实施例中,需要说明的是,在实际图像匹配中,拍摄的图像是具有时间顺序的,即连续拍摄的两帧图像之间存在重叠区域,这两帧图像必然是匹配的,他们的相对位置可根据单应变换求得,其中/>ui是对应图像的2维像素坐标,单应变换矩阵Hi,i+1可根据特征匹配的nf个粗匹配点对进行RANSAC(random sample consistence)求得,在计算得到单应变换矩阵后,单应变换矩阵的传递性求得每一帧图像在空间中的相对位置关系,即每帧图像的外界矩形的顶点进行单应变换后,变换得到的四边形在同一坐标系下的表示。具体地,将每帧图像的外接矩形recti的四个顶点Pi1、Pi2、Pi3、Pi4统一变换到同一坐标系下,可得到变换后的单应变换多边形quadi的顶点像素坐标/>
作为本发明实施例的一种具体实施方式,图像匹配模块40,具体用于:
在判断到面积占比满足大于预设阈值且不连续后,对重叠区域所在的单应变换多边形对应的待匹配图像之间进行特征匹配,并基于单应性的几何一致性验证进行精确匹配,计算得到单一性一致的匹配内点,将满足预设数量的匹配内点以及匹配内点比例的图像对作为待匹配图像的图像匹配结果。
在本发明实施例中,依次判断所有图像的单应变换多边形是否相交以及相交重叠面积比例Ra,对于面积比大于一定阈值σ且不连续的图像之间再用特征匹配和RANSAC计算单应性一致的匹配内点(inliers),满足一定的匹配内点数量以及匹配内点比例的图像对,作为最终的图像匹配结果。
具体地,
其中,quadi和quadj分别是图像i和图像j的单应变换多边形,mij是匹配内点的数量,α=8.0,β=0.3。
实施本发明实施例,具有以下有益效果:
本发明实施例按照拍摄循序输入多帧待匹配图像,对多帧待匹配图像进行特征提取和特征匹配后得到匹配点,再根据多个匹配点进行单应变换以得到每一帧图像在时间序列空间的相对位置,能够有效提高图像匹配的效果;本发明实施例无需较大的计算量即可实现图像匹配,适用于移动终端,且本发明实施提高了匹配的鲁棒性以及降低了匹配误差,从而能够有效提高匹配的准确定和可靠性。
以上是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也视为本发明的保护范围。
Claims (10)
1.一种图像匹配方法,其特征在于,包括:
按照拍摄顺序输入多帧待匹配图像,并对所述待匹配图像进行特征提取和特征匹配,得到相邻两帧图像的匹配点;
根据所述匹配点得到相邻两帧图像之间的单应变换矩阵,根据所述单应变换矩阵将每帧图像的外接矩形变换到同一坐标系中,得到在同一坐标系中每一所述外接矩形对应的单应变换多边形;
判断所有所述单应变换多边形之间是否存在重叠区域,若是则计算所述重叠区域的面积占比;
在判断到所述面积占比满足预设条件后,计算所述重叠区域对应的待匹配图像之间的匹配内点,根据所述匹配内点得到所述待匹配图像的图像匹配结果。
2.如权利要求1所述的图像匹配方法,其特征在于,所述按照拍摄顺序输入多帧待匹配图像,并对所述待匹配图像进行特征提取和特征匹配,得到相邻两帧图像的匹配点,具体为:
按照拍摄顺序输入多帧待匹配图像,采用特征提取方法对所述待匹配图像进行特征点提取,并采用第二最近邻方法将所述特征点进行特征匹配,得到相邻两帧图像的匹配点,其中,所述特征提取方法包括但不限于SURF和SIFT。
3.如权利要求2所述的图像匹配方法,其特征在于,所述采用第二最近邻方法将所述特征点进行特征匹配,得到相邻两帧图像的匹配点,具体为:
采用第二最近邻方法寻找第N帧图像中的特征点在第N-1帧中的最近邻特征点和次近邻特征点,当所述最近邻特征点和次近邻特征点之间的距离满足预设条件时,判断所述第N-1帧图像中的最近邻特征点为所述第N帧图像中特征点的匹配点。
4.如权利要求1所述的图像匹配方法,其特征在于,所述根据所述匹配点得到相邻两帧图像之间的单应变换矩阵,根据所述单应变换矩阵将每帧图像的外接矩形变换到同一坐标系中,得到在同一坐标系中每一所述外接矩形对应的单应变换多边形,具体为:
对所述匹配点进行精确匹配得到相邻两帧图像之间的单应变换矩阵,根据所述单应变换矩阵对所有所述待匹配图像的外接矩形的顶点进行单应变换,得到在同一坐标系中每一所述外接矩形对应的单应变换多边形。
5.如权利要求1所述的图像匹配方法,其特征在于,在判断到所述面积占比满足预设条件后,计算所述重叠区域对应的待匹配图像之间的匹配内点,根据所述匹配内点得到所述待匹配图像的图像匹配结果,具体为:
在判断到所述面积占比满足大于预设阈值且不连续后,对所述重叠区域所在的单应变换多边形对应的待匹配图像之间进行特征匹配,并基于单应性的几何一致性验证进行精确匹配,计算得到单一性一致的匹配内点,将满足预设数量的匹配内点以及匹配内点比例的图像对作为所述待匹配图像的图像匹配结果。
6.一种图像匹配装置,其特征在于,包括:
特征提取与匹配模块,用于按照拍摄顺序输入多帧待匹配图像,并对所述待匹配图像进行特征提取和特征匹配,得到相邻两帧图像的匹配点;
单应变换模块,用于根据所述匹配点得到相邻两帧图像之间的单应变换矩阵,根据所述单应变换矩阵将每帧图像的外接矩形变换到同一坐标系中,得到在同一坐标系中每一所述外接矩形对应的单应变换多边形;
计算模块,用于判断所有所述单应变换多边形之间是否存在重叠区域,若是则计算所述重叠区域的面积占比;
图像匹配模块,用于在判断到所述面积占比满足预设条件后,计算所述重叠区域对应的待匹配图像之间的匹配内点,根据所述匹配内点得到所述待匹配图像的图像匹配结果。
7.如权利要求6所述的图像匹配装置,其特征在于,所述特征提取与匹配模块,具体用于:
按照拍摄顺序输入多帧待匹配图像,采用特征提取方法对所述待匹配图像进行特征点提取,并采用第二最近邻方法将所述特征点进行特征匹配,得到相邻两帧图像的匹配点,其中,所述特征提取方法包括但不限于SURF和SIFT。
8.如权利要求7所述的图像匹配装置,其特征在于,所述采用第二最近邻方法将所述特征点进行特征匹配,得到相邻两帧图像的匹配点,具体为:
采用第二最近邻方法寻找第N帧图像中的特征点在第N-1帧中的最近邻特征点和次近邻特征点,当所述最近邻特征点和次近邻特征点之间的距离满足预设条件时,判断所述第N-1帧图像中的最近邻特征点为所述第N帧图像中特征点的匹配点。
9.如权利要求6所述的图像匹配装置,其特征在于,所述单应变换模块,具体用于:
对所述匹配点进行精确匹配得到相邻两帧图像之间的单应变换矩阵,根据所述单应变换矩阵对所有所述待匹配图像的外接矩形的顶点进行单应变换,得到在同一坐标系中每一所述外接矩形对应的单应变换多边形。
10.如权利要求6所述的图像匹配装置,其特征在于,所述图像匹配模块,具体用于:
在判断到所述面积占比满足大于预设阈值且不连续后,对所述重叠区域所在的单应变换多边形对应的待匹配图像之间进行特征匹配,并基于单应性的几何一致性验证进行精确匹配,计算得到单一性一致的匹配内点,将满足预设数量的匹配内点以及匹配内点比例的图像对作为所述待匹配图像的图像匹配结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110361556.3A CN113112531B (zh) | 2021-04-02 | 2021-04-02 | 一种图像匹配方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110361556.3A CN113112531B (zh) | 2021-04-02 | 2021-04-02 | 一种图像匹配方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113112531A CN113112531A (zh) | 2021-07-13 |
CN113112531B true CN113112531B (zh) | 2024-05-07 |
Family
ID=76713570
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110361556.3A Active CN113112531B (zh) | 2021-04-02 | 2021-04-02 | 一种图像匹配方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113112531B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114463595B (zh) * | 2021-12-27 | 2023-04-07 | 广州极飞科技股份有限公司 | 生成仿射变换数据集的方法和装置及电子设备 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102006425A (zh) * | 2010-12-13 | 2011-04-06 | 交通运输部公路科学研究所 | 一种基于多摄像机的视频实时拼接方法 |
CN102088569A (zh) * | 2010-10-13 | 2011-06-08 | 首都师范大学 | 低空无人飞行器序列图像拼接方法和系统 |
CN103955931A (zh) * | 2014-04-29 | 2014-07-30 | 江苏物联网研究发展中心 | 一种图像匹配方法及装置 |
CN104376548A (zh) * | 2014-11-07 | 2015-02-25 | 中国电子科技集团公司第二十八研究所 | 一种基于改进型surf算法的图像快速拼接方法 |
CN109636714A (zh) * | 2018-08-30 | 2019-04-16 | 沈阳聚声医疗系统有限公司 | 一种超声宽景成像的图像拼接方法 |
CN109961078A (zh) * | 2017-12-22 | 2019-07-02 | 展讯通信(上海)有限公司 | 图像匹配及拼接方法、装置、系统、可读介质 |
CN110211043A (zh) * | 2019-05-11 | 2019-09-06 | 复旦大学 | 一种用于全景图像拼接的基于网格优化的配准方法 |
CN111553939A (zh) * | 2020-04-21 | 2020-08-18 | 东南大学 | 一种多目摄像机的图像配准算法 |
CN111898589A (zh) * | 2020-08-26 | 2020-11-06 | 中国水利水电科学研究院 | 一种基于gpu+特征识别的无人机影像快速配准方法 |
-
2021
- 2021-04-02 CN CN202110361556.3A patent/CN113112531B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102088569A (zh) * | 2010-10-13 | 2011-06-08 | 首都师范大学 | 低空无人飞行器序列图像拼接方法和系统 |
CN102006425A (zh) * | 2010-12-13 | 2011-04-06 | 交通运输部公路科学研究所 | 一种基于多摄像机的视频实时拼接方法 |
CN103955931A (zh) * | 2014-04-29 | 2014-07-30 | 江苏物联网研究发展中心 | 一种图像匹配方法及装置 |
CN104376548A (zh) * | 2014-11-07 | 2015-02-25 | 中国电子科技集团公司第二十八研究所 | 一种基于改进型surf算法的图像快速拼接方法 |
CN109961078A (zh) * | 2017-12-22 | 2019-07-02 | 展讯通信(上海)有限公司 | 图像匹配及拼接方法、装置、系统、可读介质 |
CN109636714A (zh) * | 2018-08-30 | 2019-04-16 | 沈阳聚声医疗系统有限公司 | 一种超声宽景成像的图像拼接方法 |
CN110211043A (zh) * | 2019-05-11 | 2019-09-06 | 复旦大学 | 一种用于全景图像拼接的基于网格优化的配准方法 |
CN111553939A (zh) * | 2020-04-21 | 2020-08-18 | 东南大学 | 一种多目摄像机的图像配准算法 |
CN111898589A (zh) * | 2020-08-26 | 2020-11-06 | 中国水利水电科学研究院 | 一种基于gpu+特征识别的无人机影像快速配准方法 |
Non-Patent Citations (3)
Title |
---|
基于特征点匹配的视频图像实时拼接系统;肖青青 等;软件导刊;9(7);150-153 * |
多幅图像的自动拼接算法研究;赵毅力;;计算机工程与应用;48(34);152-157 * |
结合DBSCAN聚类与互信息的图像拼接算法;张美玉 等;小型微型计算机系统(4);825-829 * |
Also Published As
Publication number | Publication date |
---|---|
CN113112531A (zh) | 2021-07-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11830230B2 (en) | Living body detection method based on facial recognition, and electronic device and storage medium | |
CN109816011B (zh) | 视频关键帧提取方法 | |
US8401333B2 (en) | Image processing method and apparatus for multi-resolution feature based image registration | |
US9530073B2 (en) | Efficient descriptor extraction over multiple levels of an image scale space | |
CN110647795B (zh) | 一种表格识别方法 | |
CN113052170B (zh) | 一种无约束场景下的小目标车牌识别方法 | |
CN113221869B (zh) | 医疗发票结构化信息提取方法、装置设备及存储介质 | |
CN111640116B (zh) | 基于深层卷积残差网络的航拍图建筑物分割方法及装置 | |
CN112101359B (zh) | 文本公式的定位方法、模型训练方法及相关装置 | |
CN112541484A (zh) | 人脸抠图方法、系统、电子装置及存储介质 | |
CN111104813A (zh) | 二维码图像关键点检测方法、装置、电子设备及存储介质 | |
CN113112531B (zh) | 一种图像匹配方法及装置 | |
CN116189162A (zh) | 一种船牌检测与识别方法、装置、电子设备和储存介质 | |
CN112580382B (zh) | 基于目标检测二维码定位方法 | |
CN111753714B (zh) | 基于字符分割的多方向自然场景文本检测方法 | |
CN116229406B (zh) | 车道线检测方法、系统、电子设备及存储介质 | |
CN113808033A (zh) | 图像文档校正方法、系统、终端及介质 | |
CN112364835B (zh) | 视频信息取帧方法、装置、设备及存储介质 | |
CN114445916A (zh) | 一种活体检测方法、终端设备及存储介质 | |
CN114694133A (zh) | 一种基于图像处理与深度学习相结合的文本识别方法 | |
CN112669346A (zh) | 一种路面突发状况确定方法及装置 | |
JP2005173128A (ja) | 輪郭形状抽出装置 | |
CN111696161B (zh) | 一种双站相机的外部参数的标定方法及系统 | |
CN112825141B (zh) | 识别文本的方法、装置、识别设备和存储介质 | |
Zoller et al. | Shape constrained image segmentation by parametric distributional clustering |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |