CN102236675A - 图像特征点匹配对处理、图像检索方法及设备 - Google Patents

图像特征点匹配对处理、图像检索方法及设备 Download PDF

Info

Publication number
CN102236675A
CN102236675A CN 201010165622 CN201010165622A CN102236675A CN 102236675 A CN102236675 A CN 102236675A CN 201010165622 CN201010165622 CN 201010165622 CN 201010165622 A CN201010165622 A CN 201010165622A CN 102236675 A CN102236675 A CN 102236675A
Authority
CN
China
Prior art keywords
image
invariant
matched
matching
salient region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN 201010165622
Other languages
English (en)
Other versions
CN102236675B (zh
Inventor
史胜利
杨杰
张翼
冯德瀛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN 201010165622 priority Critical patent/CN102236675B/zh
Publication of CN102236675A publication Critical patent/CN102236675A/zh
Application granted granted Critical
Publication of CN102236675B publication Critical patent/CN102236675B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种图像特征点匹配对处理方法,包括:提取待匹配图像的特征点,并获取特征点的不变量;提取待匹配图像的显著性区域,并获取待匹配图像之间的显著性区域匹配对;根据特征点的不变量,获取显著性区域匹配对之间的特征点匹配对作为待匹配图像之间的特征点匹配对。本发明实施例还提供图像检索方法以及相关设备。本发明实施例充分利用了特征点之间的空间约束关系,即特征点所在的显著性区域,从而能够减小特征点匹配对的误匹配率,提高了特征点匹配对获取准确性。

Description

图像特征点匹配对处理、图像检索方法及设备
技术领域
本发明涉及通信技术领域,具体涉及一种图像特征点匹配对处理、图像检索方法及设备。
背景技术
在图像处理领域,常需要从待匹配图像1中获取与待匹配图像2的特征点B相匹配的特征点A,称特征点A与特征点B为待匹配图像1与待匹配图像2的特征点匹配对。获取特征点匹配对后,可以根据特征点匹配对进行图像匹配、图像检索等应用。
目前特征点匹配对获取方法包括如下步骤:提取待匹配图像的特征点并获取特征点的不变量;对于待匹配图像1的每一个特征点j,根据特征点的不变量,从待匹配图像2的所有特征点中获取与特征点j相匹配的特征点k,将特征点j、k作为待匹配图像1、2之间的特征点匹配对。
在对现有技术的研究和实践过程中,本发明的发明人发现,目前图像特征点匹配对获取方法是从待匹配图像2的所有特征点中获取与特征点j相匹配的特征点k,由于是从待匹配图像所有特征点中获取相匹配的特征点,常常会将两个图像不同区域中的特征点判断为匹配的特征点(实际上并不是),存在着准确性较低的缺点。
发明内容
本发明实施例提供一种图像特征点匹配对处理、图像检索方法及设备。
本发明实施例提供了一种图像特征点匹配对处理方法,包括:
提取待匹配图像的特征点,并获取特征点的不变量;
提取待匹配图像的显著性区域,并获取待匹配图像之间的显著性区域匹配对;
根据特征点的不变量,获取显著性区域匹配对之间的特征点匹配对作为待匹配图像之间的特征点匹配对。
本发明实施例提供了一种图像检索方法,包括:
提取待检索图像的显著性区域,并获取该显著性区域的不变量;
提取待检索图像的特征点,并获取该特征点的不变量;
在预置的第一类索引库中,获取与待检索图像所有显著性区域的不变量的匹配度满足第一预定阈值的一组图像,第一类索引库为基于图像库中每幅图像的所有显著性区域的不变量的索引库;
在获取的所述一组图像中,获取在第二类索引库中与待检索图像所有特征点的不变量的匹配度满足第二预定阈值的图像;所述第二类索引库为基于图像库中每幅图像的所有特征点的不变量的索引库。
本发明实施例提供了一种图像特征点匹配对处理设备,包括:
特征点不变量获取模块,用于提取待匹配图像的特征点,并获取特征点的不变量;
区域匹配对获取模块,用于提取待匹配图像的显著性区域,并获取待匹配图像之间的显著性区域匹配对;
特征点匹配对获取模块,用于根据特征点的不变量,获取显著性区域匹配对之间的特征点匹配对作为待匹配图像之间的特征点匹配对。
本发明实施例提供了一种图像检索设备,包括:
待检索图像信息获取模块,用于提取待检索图像的显著性区域,并获取该显著性区域的不变量;提取待检索图像的特征点,并获取该特征点的不变量;
第一匹配模块,用于在预置的第一类索引库中,获取与待检索图像所有显著性区域的不变量的匹配度满足第一预定阈值的一组图像,第一类索引库为基于图像库中每幅图像的所有显著性区域的不变量的索引库;
第二匹配模块,用于在第一匹配模块获取的所述一组图像中,获取在第二类索引库中与待检索图像所有特征点的不变量的匹配度满足第二预定阈值的图像;所述第二类索引库为基于图像库中每幅图像的所有特征点的不变量的索引库。
从以上技术方案可以看出,相对于现有技术,本发明实施例包括如下有益效果:
本发明实施例的图像特征点匹配对处理方法中,先获取待匹配图像之间的显著性区域匹配对,再获取显著性区域匹配对之间的特征点匹配对作为待匹配图像之间的特征点匹配对,保证了待匹配图像之间的特征点匹配对位于一对显著性区域匹配对中,即保证了待匹配图像之间的特征点匹配对的空间位置相差较小。而现有技术中,由于直接将一个待匹配图像的所有特征点与另一个待匹配图像的所有特征点进行特征点匹配,可能导致将不应确定为图像之间的特征点匹配对的,空间位置相差较大的两个特征点误判为图像之间的特征点匹配对。由此可见,本实施例充分利用了特征点之间的空间约束关系,即特征点所在的显著性区域,从而能够减小图像特征点匹配对的误匹配率,提高了获取的图像特征点匹配对的准确性。
本发明实施例的图像检索方法中,先基于显著性区域的不变量将检索范围缩小到图像库中的一组图像,再在这一组图像中基于特征点的不变量进行图像检索,因此,本实施例只有在显著性区域的不变量能够匹配的条件下,才进行特征点的不变量的匹配;而现有技术中仅仅基于特征点的不变量进行图像检索,可能出现将与待检索图像的显著性区域不变量相差较大的图像误判为与待检索图像匹配的图像。由此可见,本实施例充分利用了特征点之间的空间约束关系,即特征点所在的显著性区域,从而能够提高图像检索的准确性。并且,本实施例先将检索范围缩小为一组图像,再在该一组图像中进行基于特征点的不变量的图像检索,在图像库具有大量图像的情况下,可以提高图像检索的速度。
附图说明
图1是本发明实施例中图像特征点匹配对处理方法的一个实施例示意图;
图2是本发明实施例中图像特征点匹配对处理方法的另一实施例示意图;
图3是本发明实施例中图像特征点匹配对处理方法的另一实施例示意图;
图4是本发明实施例中图像检索方法的一个实施例的示意图;
图5是本发明实施例中图像检索方法的另一实施例的示意图;
图6是本发明实施例中图像特征点匹配对处理设备的一个实施例示意图;
图7是本发明实施例中图像特征点匹配对处理设备的另一实施例示意图;
图8是本发明实施例中图像检索设备的一个实施例的示意图。
具体实施方式
本发明实施例提供一种图像特征点匹配对处理、图像检索方法及设备。以下分别进行详细说明。
请参阅图1,本发明实施例中图像特征点匹配对处理方法的一个实施例包括:
101、提取待匹配图像的特征点;
本实施例中,可以采用基于图像灰度图提取局部特征(SIFT,Scale InvariantFeature Transformation)算法或其它公知算法提取待匹配图像的特征点。
本发明实施例中,待匹配图像为待进行特征点匹配,即获取特征点匹配对的图像。步骤101包括分别获取一对待匹配图像的特征点。
102、获取特征点的不变量;
步骤102包括分别获取一对待匹配图像特征点的不变量。可以用特征点的描述子表示特征点的不变量,获取特征点的描述子的具体方法为现有公知技术,此处不作赘述。
103、提取待匹配图像的显著性区域;
步骤103包括分别获取每幅待匹配图像的显著性区域。提取每幅待匹配图像的显著性区域可以采用以下两种方式。
方式1具体包括:
(1)划分特征点的归属集合,具体包括:针对每幅待匹配图像所有的特征点进行如下操作:以任一特征点为目标特征点,对于每一个位于目标特征点周围的特征点,若其与目标特征点之间连线上的图像点的灰度跳变在预定灰度阈值内,则将其与目标特征点归属于同一个集合。
(2)确定显著性区域的边界,具体可以包括以下(a)(b)两个步骤:
(a)确定具有粗边界的多个区域,可以包括下面三个步骤:
1)先把图像尺寸缩减为预设的阈值,再将图像傅立叶变换到频谱域。
2)计算图像的对数谱以及谱残差,把谱残差图像反变换到空间域,即可得到包括多个具有粗边界的区域的图像,也称为区域边界图像。
3)把区域边界图像恢复到原始图像大小,恢复后的图像包括多个具有粗边界的区域的图像。
(b)确定显著性区域,具体可以包括:判断步骤(1)划分的一个归属集合中的所有特征点是否均包含在(a)中确定的一个区域的边界内,若是,则确定该有边界的区域为显著性区域;否则对该归属集合内的所有特征点进行如下操作:以该归属集合内的任一特征点作为初始点,以预定灰度阈值进行搜索,当大于预定灰度阈值时停止搜索,并将停止时的像素点作为该归属集合的边界点,将归属集合的所有边界点构成的区域确定为显著性区域。
方式2具体包括:
将待匹配图像等分成多块小片,再将特征点的分布密度及位置的相似度满足预定阈值的小片合并为一个区域作为显著性区域。
104、获取待匹配图像之间的显著性区域匹配对;
在一对待匹配图像之间,例如待匹配图像1、2,若待匹配图像1中的显著性区域A与待匹配图像2中的显著性区域B相匹配,则将显著性区域A、B称为待匹配图像1、2之间的显著性区域匹配对。
在提取待匹配图像的显著性区域之后,可以先获取显著性区域的区域不变量,再根据该区域不变量,采用最佳欧式距离法或其它方法获取待匹配图像之间的显著性区域匹配对;也可以将待匹配图像之间,特征点的分布密度及位置的相似度满足预定阈值的显著性区域对作为显著性区域匹配对。
105、根据特征点的不变量,获取显著性区域匹配对之间的特征点匹配对作为待匹配图像之间的特征点匹配对。
假设待匹配图像1中的显著性区域A与待匹配图像2中的显著性区域B为待匹配图像1、2之间的显著性区域匹配对,那么,可以采用最佳欧式距离法或其它方法,将显著性区域A中的所有特征点与显著性区域B中的所有特征点进行特征点匹配,获取显著性区域A、B之间的特征点匹配对作为待匹配图像之间的特征点匹配对,从而保证了待匹配图像之间的特征点匹配对位于一对显著性区域匹配对中,限定了待匹配图像之间的特征点匹配对的空间位置。
此处需要说明的是,若未获取到显著性区域匹配对,则可以采用现有技术获取待匹配图像之间的特征点匹配对,即将一个待匹配图像的所有特征点与另一个待匹配图像的所有特征点进行特征点匹配,获取待匹配图像之间的特征点匹配对。
本实施例中,先获取待匹配图像之间的显著性区域匹配对,再获取显著性区域匹配对之间的特征点匹配对作为待匹配图像之间的特征点匹配对,保证了待匹配图像之间的特征点匹配对位于一对显著性区域匹配对中,即保证了待匹配图像之间的特征点匹配对的空间位置相差较小。而现有技术中,由于直接将一个待匹配图像的所有特征点与另一个待匹配图像的所有特征点进行特征点匹配,可能导致将不应确定为特征点匹配对的、空间位置相差较大的两个特征点误判为图像之间的特征点匹配对。由此可见,本实施例充分利用了特征点之间的空间约束关系,即特征点所在的显著性区域,从而能够减小图像特征点匹配对的误匹配率,提高了获取的图像特征点匹配对的准确性。
在获取到待匹配图像之间的特征点匹配对之后,还可以对特征点匹配对进行,根据获取的特征点匹配对获取对极几何(EG,Epipolar Geometry)参数,进而判断图像是否匹配,下面对上述处理过程进行详细描述。
请参阅图2,本发明实施例中图像特征点匹配对处理方法的另一实施例包括:
201、提取待匹配图像的特征点;
步骤201请参照对步骤101的说明。
202、获取特征点的不变量;
步骤202请参照对步骤102的说明。
203、提取待匹配图像的显著性区域;
步骤203请参照对步骤103的说明。
204、获取待匹配图像之间的显著性区域匹配对;
步骤204请参照对步骤104的说明。
205、根据特征点的不变量,获取显著性区域匹配对之间的特征点匹配对作为待匹配图像之间的特征点匹配对;
步骤205请参照对步骤105的说明。
206、判断获取到的待匹配图像之间的特征点匹配对数目是否大于等于预设的阈值,若是,则执行步骤209,否则执行步骤207;
预设的阈值可以根据EG参数的准确性要求进行设置,EG参数的准确性要求越高,预设的阈值越大。一般需要将阈值设置大于等于6,即待匹配图像特征点匹配对数目需要满足大于等于6,才执行步骤209,否则执行步骤207。
可以理解的是,若步骤205中获取的待匹配图像之间的特征点匹配对数目小于预设的阈值,也可以采用现有公知技术重新获取待匹配图像之间的特征点匹配对,即执行步骤207。
207、将一个待匹配图像的所有特征点与另一个待匹配图像的所有特征点进行特征点匹配,获取待匹配图像之间的特征点匹配对;
步骤207具体可以为:对于待匹配图像1的每一个特征点j,根据特征点的不变量,从待匹配图像2的所有特征点中获取与特征点j相匹配的特征点k,将特征点j、k作为待匹配图像1、2之间的特征点匹配对。步骤207具体可以采用最佳欧式距离法或其它现有公知方式实现。
可以理解的是,在执行步骤204之后,可以先获取一对显著性区域匹配对之间的特征点匹配对,判断这些特征点匹配对数目是否大于等于预设的阈值,若是,则根据该对显著性区域匹配对之间的特征点匹配对获取待匹配图像之间的对极几何参数,否则获取下一对显著性区域匹配对之间的特征点匹配对,并判断已经获取的两对显著性区域匹配对之间的特征点匹配对数目是否大于等于预设的阈值,若是,则根据这两对显著性区域匹配对之间的特征点匹配对获取待匹配图像之间的对极几何参数,依次循环。若在所有显著性区域匹配对中总共获取到的特征点匹配对数目还不到预设的阈值,则执行步骤207。
208、判断步骤207中获取的特征点匹配对数目是否大于等于预设的阈值,若是,则执行步骤209,否则结束操作;
209、根据特征点匹配对获取待匹配图像之间的对极几何参数。
根据特征点匹配对获取待匹配图像之间的对极几何参数的具体实现方式可为现有公知技术,此处不作赘述。
在获得对极几何参数之后,可以采用对极几何参数对一幅待匹配图像进行变换,再将变换后的该图像与另一幅待匹配图像进行比对,若相似值在预定值内,则确定两幅待匹配图像相匹配。具体的变换与比对方式为现有公知技术,此处不作赘述。
本实施例中,先获取待匹配图像之间的显著性区域匹配对,再获取显著性区域匹配对之间的特征点匹配对作为待匹配图像之间的特征点匹配对,保证了待匹配图像之间的特征点匹配对位于一对显著性区域匹配对中,即保证了待匹配图像之间的特征点匹配对的空间位置相差较小,从而能够减小待匹配图像特征点匹配对的误匹配率,提高获取待匹配图像之间的对极几何参数的准确性。
为便于理解,下面通过另一具体实施例对本发明实施例中的图像特征点匹配对处理方法进行详细阐述。
请参阅图3,本发明另一实施例中图像特征点匹配对处理方法包括:
301、提取待匹配图像的特征点并获取特征点的不变量;
302、提取待匹配图像的显著性区域;
本实施例中采用步骤103中所述的方式1,并且,在执行方式1中的(2)之后,进一步包括:
(3)筛选显著性区域,具体可包括如下三个步骤:
1)若显著性区域中特征点个数小于预定个数(具体实施中可以定义预定个数为5),则把该显著性区域剔除。
2)对于跨边界或者所包含的特征点个数占了整幅图像所有特征点个数的80%以上的显著性区域,其边界取为以该区域的中心特征点为圆心、半径为窗口大小的圆,具体实施中,窗口大小W可以为:W=3σ,σ为获取特征点的不变量时所取的尺度大小。
3)对于纹理复杂的显著性区域,其边界取为以该区域的中心特征点为圆心、窗口大小为半径的圆,具体实施中,窗口大小W可以为:W=3σ,σ为获取特征点的不变量时所取的尺度大小。
按上述步骤筛选显著性区域,可提高提取显著性区域的准确性。
303、获取显著性区域的区域不变量;
本实施例中,在提取显著性区域后,先获取显著性区域的区域不变量,再根据区域不变量获取待匹配图像之间的显著性区域匹配对。
本实施例中,获取显著性区域的区域不变量的具体方式如下:
V k = [ m k , d k ′ → , r k ′ → ] ′
向量Vk为显著性区域Ak的区域不变量,mk为显著性区域Ak的归一化二阶矩,dk为显著性区域Ak的中心特征点的不变量,rk为显著性区域Ak的面积简比向量。
mk可通过如下方式获得,假设图像灰度用f(x,y)表示,则:
m k = ( η 20 - η 02 ) 2 + 4 η 11 2
其中, η pq = μ pq / μ 00 r , r=(p+q+2)/2=2,p,q∈[0,2]
μ pq = Σ x Σ y ( x - x ‾ ) p ( y - y ‾ ) q f ( x , y ) , x ‾ = m 10 m 00 , y ‾ = m 01 m 00 ,
m 10 = Σ x Σ y xf ( x , y ) , m 01 = Σ x Σ y yf ( x , y ) ;
rk可通过现有公知方式获得,也可通过如下方式获得,即假设Ok为显著性区域Ak的中心特征点,显著性区域Ak的面积为Δk,不同于Ok的两个特征点Oi、Oj和中心特征点Ok组成的三角形面积为Δijk,则:
rk={rij},
Figure GSA00000092715200099
Δ ijk = x i x j x k y i y j y k 1 1 1 ,
其中,R为预设的经验值,可取为256,并且要求:|Δijk|>th,th为面积简比阈值;
再把rk在[-R,R]上进行直方图排列,以便获取能够表示显著性区域Ak的面积简比序列,组成一个2*R维的仅仅包含0和1的向量,取R=256时,这个2*R=512长的向量,具体实施中表示为64字节的向量。
进一步地,考虑到面积简比的计算量,确定三角形顶点的原则是以中心特征点Ok为三角形的一个顶点,根据预设的三角形面积下限值,搜索能使三角形面积最小的另外两个特征点作为三角形的另两个顶点。
此处需要说明的是,Vk采用rk是为了减少提取显著性区域的误差的影响,因此,获取显著性区域的区域不变量Vk具体也可以为:
V k = [ m k , d k ′ → ] ′ .
304、根据区域不变量获取待匹配图像之间的显著性区域匹配对;
本实施例中,步骤304中获取待匹配图像之间所有的显著性区域匹配对。
可以采用最佳欧式距离法或其它现有公知方法获取待匹配图像之间的显著性区域匹配对,其中,前者的具体实现方式如下:
分别在一对待匹配图像中选取一个显著性区域(DR),这两个待匹配的DR区域,分别用k,j标识,其欧式距离表示为
D j k = α ( m k - m j ′ ) 2 + β ( d k - d j ′ ) 2 ,
其中,α,β分别表示权值。
假设Dbest k,Dsecond k分别表示一个待匹配图像的第k个DR与另一个待匹配图像中所有DR之间欧式距离最小的和次小的欧式距离,那么,若满足
threshold × D best k ≤ D sec ond k ,
则上述一个待匹配图像的第k个DR与上述最小的欧式距离对应的另一个待匹配图像中的DR相匹配,其中,threshold为预设的最佳区域匹配阈值,具体实施例中,可以取threshold=1.5,α=0.6,β=1-α。
进一步地,可以再通过判断上述确定匹配的两个显著性区域k和j是否满足
B j k > nt ,
若满足,则最终确定这两个显著性区域k和j相匹配,否则确定这两个显著性区域k和j不相匹配,以减小显著性区域匹配的误匹配率,其中,
B j k = Σ r k r j ′ ,
∑表示统计二进制位为1的个数,nt为预设的相似度下限值,rk和rj为显著性区域k和j对应的面积简比向量,具体实施例中,可以取nt=3。
305、根据特征点的不变量获取一对显著性区域匹配对中的特征点匹配对作为待匹配图像之间的特征点匹配对;
本实施例中,通过最佳欧式距离法,根据特征点的不变量获取显著性区域匹配对中的特征点匹配对,具体实现方式如下:
在显著性区域匹配对(分别为DR1和DR2)中分别找1个特征点,分别用k,j标识这两个特征点,这两个特征点之间的欧式距离表示为
d j k = ( d k - d j ) 2 .
假设dbest k,dsecond k分别表示一个DR1的第k个特征点与DR2的所有特征点之间欧式距离最小的和次小的欧式距离,那么,若满足
threshold 1 × d best k ≤ d sec ond k ,
则上述显著性区域DR1的第k个特征点与显著性区域DR2中上述最小的欧式距离对应的特征点相匹配,其中,threshold1为预设的最佳特征点匹配阈值。
306、判断上述一对显著性区域匹配对中的特征点匹配对是否大于等于1对,若大于等于,则执行步骤307;否则执行步骤305以获取下一对显著性区域匹配对中的特征点匹配对;
307、判断已获取的待匹配图像之间的特征点匹配对是否大于等于6对,若大于等于,执行步骤309,否则执行步骤308;
本实施例中,预设的阈值为6,实际应用中,也可以根据系统要求的准确性来设定其他阈值,如7、8。
308、判断是否还剩下没有获取特征点匹配对的显著性区域匹配对,若是,则执行步骤305,以获取下一对显著性区域匹配对中的特征点匹配对,否则执行步骤310;
为便于理解步骤305至308,下面进行举例说明:
假设待匹配图像1、2之间有3对显著性区域匹配对,分别称为显著性区域匹配对A、B、C,若先从显著性区域匹配对A获取到3对特征点匹配对,那么,步骤307判定已获取的待匹配图像之间的特征点匹配对,即上述3对特征点匹配对小于6对,触发步骤308,并且,步骤308判定还剩下没有获取特征点匹配对的显著性区域匹配对B、C,触发执行步骤305以获取显著性区域匹配对B中的特征点匹配对;
若从显著性区域匹配对B获取到2对特征点匹配对,那么,步骤307判定已获取的待匹配图像之间的特征点匹配对,即A中的3对和B中的2对特征点匹配对,共5对,小于6对,触发步骤308,并且,步骤308判定还剩下没有获取特征点匹配对的显著性区域匹配对C,触发执行步骤305以获取显著性区域匹配对C中的特征点匹配对;
若从显著性区域匹配对C获取到4对特征点匹配对,那么,步骤307判定已获取的待匹配图像之间的特征点匹配对,即A中的3对、B中的2对和C中的4对特征点匹配对,共9对,大于6对,触发步骤309。
309、根据已获取的待匹配图像之间的显著性区域匹配对中的特征点匹配对获取待匹配图像之间的对极几何参数。
步骤309的具体执行方式如下:
为叙述方便,把一对待匹配图像分别称为左图和右图,左图和右图中对应的特征点匹配对用<pr,pl>表示,其中,pr,pl分别为左右图中相匹配的特征点的二维位置向量,pr,pl之间的变换可以表示如下:
p r &RightArrow; = A p l &RightArrow; + T &RightArrow; - - - ( 1 )
其中:
Figure GSA00000092715200122
A和T为需要计算的EG的具体参数,A为2x2矩阵,T为2维向量,定义
Figure GSA00000092715200123
展开式(1)得到:
x r = a 11 x l + a 12 y l + t x y r = a 21 x l + a 22 y l + t y - - - ( 2 )
对于上述一对显著性区域匹配对及其特征点匹配对执行如下步骤:
(a)对于一个DR区域来说,可以由该区域的归一化二阶矩所对应的以中心特征点为中心的椭圆表示,左右图中的上述一对显著性区域匹配对的椭圆分别表示为:
x r 2 p 2 + y r 2 q 2 = 1 - - - ( 3 )
ax l 2 + bx l y l + c y l 2 + dx l + ey l + f = 0 - - - ( 4 )
其中:p,q,a,b,c,d,e,f分别为左右图中的上述一对显著性区域匹配对的椭圆系数。
把式(2)代入式(3)消除xr,yr后得到:
( q 2 a 11 2 + p 2 a 21 2 ) x l 2 + 2 ( q 2 a 11 a 12 + p 2 a 21 a 22 ) x l y l + - - - ( 5 )
( q 2 a 12 2 + p 2 a 22 2 ) y l 2 + 2 ( q 2 a 11 t x + p 2 a 21 t y ) x l +
2 ( q 2 a 12 t y + p 2 a 22 t x ) y l +
q 2 t x 2 + p 2 t y 2 - p 2 q 2 = 0
把式(4)和式(5)比对后可得到下式:
q 2 a 11 2 + p 2 a 21 2 = a 2 ( q 2 a 11 a 12 + p 2 a 21 a 22 ) = b q 2 a 12 2 + p 2 a 22 2 = c 2 ( q 2 a 11 t x + p 2 a 21 t y ) = d 2 ( q 2 a 12 t y + p 2 a 22 t x ) = e q 2 t x 2 + p 2 t y 2 - p 2 q 2 = f - - - ( 6 )
前面已知p,q,a,b,c,d,e,f,即可得到关于A和T未知参数a11,a12,a21,a22,tx,ty的方程组,即式(6),可见,对一对显著性区域匹配对执行上述步骤共获取6个二次方程。
(b)假设在第一对显著性区域匹配对中获取的特征点匹配对总数目为M,且M>6,将该M对特征点匹配对的二维位置向量代入式(2),得到M×2个方程。
(c)根据上述6+M×2个方程迭代计算a11,a12,a21,a22,tx,ty,获得EG参数A和T。
假设第一对、第二对显著性区域匹配对中获取的特征点匹配对数目分别为M对、N对,且1≤M<6,N+M>6,则将该N+M对特征点匹配对的二维位置向量代入式(2),得到(N+M)×2个方程。在(N+M)×2个方程的基础上,可以进一步加上根据式(6)分别获得的第一对、第二对显著性区域匹配对的2组6个二次方程,迭代计算a11,a12,a21,a22,tx,ty,获得EG参数A和T。
此处也可以采用现有技术的公知技术,即只根据M×2个方程迭代计算a11,a12,a21,a22,tx,ty,获得EG参数A和T,也就是说,可以不获得式(6),但需要强调的是,这里的计算方式虽然和现有技术一样,都只根据M×2个方程迭代计算EG参数,但是,本实施例中的M对特征点匹配对中,每一对特征点匹配对都位于一对显著性区域匹配对中,空间位置相差较小;而现有技术中,由于直接将一个待匹配图像的所有特征点与另一个待匹配图像的所有特征点进行特征点匹配,可能导致将不应确定为特征点匹配对的、空间位置相差较大的两个特征点误判为图像之间的特征点匹配对。
因此,本实施例中,由于进行迭代计算的M对特征点匹配对中,每一对特征点匹配对均位于显著性区域匹配对中,因此,能够保证待匹配图像之间的特征点匹配对的空间位置相差较小,可避免将空间位置相差较大的两个特征点误判为图像之间的特征点匹配对的问题,提高图像特征点匹配对的准确性,从而提高了迭代精度,提高了EG参数的准确性。
进一步地,获得EG参数之后,可以进行步骤(d)以实现图像匹配。
(d)根据式(2),对应于已经获取到的特征点匹配对,估计出的右图对应特征点误差为:
Δ=(a11xl+a12yl+tx-xr)2+(a21xl+a22yl+ty-yr)2        (7)
从已经获取的所有特征点匹配对中任意取预定数量的特征点匹配对,分别代入式(7),并得到这些Δ的平均值,若平均值小于预定阈值,则确定待匹配图像之间相匹配。
若平均值不小于预定阈值,则确定待匹配图像之间不相匹配。
若平均值不小于预定阈值,也可以再次从已经获取的所有特征点匹配对中任意取预定数量的特征点匹配对,分别代入式(7),并得到Δ的平均值,若这一次的平均值依然小于预定阈值,则确定待匹配图像之间相匹配,否则确定待匹配图像之间不相匹配。
310、将一个待匹配图像的所有特征点与另一个待匹配图像的所有特征点进行特征点匹配,获取待匹配图像之间的特征点匹配对;
步骤310可以通过最佳欧式距离法实现,具体实现方式如下:
在待匹配图像1、2中分别找1个特征点,分别用m,n标识这两个特征点,这两个特征点之间的欧式距离表示为
d n m = ( d m - d n ) 2 .
假设dbset m,dsecond m分别表示待匹配图像1的第m个特征点与待匹配图像2的所有特征点之间欧式距离最小的和次小的欧式距离,那么,若满足
threshold 2 &times; d best m &le; d sec ond m ,
则待匹配图像1的第m个特征点与待匹配图像2中上述最小的欧式距离对应的特征点相匹配,其中,threshold2为预设的最佳特征点匹配阈值。
本实施例中,步骤310也可以为:
(1)将待匹配图像A和B等分成多块小片,再将分布密度及特征点的位置的相似度满足第一预定阈值的小片合并为一个区域;
(2)初步估计特征点匹配对:对于待匹配图像A和B,先从A中选择一个特征点的分布密度最高的区域,将该区域的特征点和图像B中任一区域的特征点进行匹配(可以通过最佳欧式距离法),若找到至少一对特征点匹配对,则进行步骤(3),否则将图像A中该分布密度最高的区域的特征点和图像B中的另一个区域的特征点进行匹配。
(3)最终确定特征点匹配点对:假设步骤(2)中找到一对特征点匹配对,分别为图像A中的特征点c和图像B中的特征点d,那么,以特征点c与图像B中所有特征点进行匹配,获得特征点c在图像B中的最佳匹配特征点e,若特征点d与e为同一个特征点,则最终确定特征点c与d匹配,否则确定特征点c与d不匹配。
按步骤(2)与(3)遍历完待匹配图像A的所有区域。
311、判断步骤310中获得的待匹配图像特征点匹配对数目是否大于等于6对,若是,则执行步骤312,否则结束操作;
312、根据步骤310中获得的待匹配图像之间的特征点匹配对获取对极几何参数。
假设步骤310中获得的待匹配图像之间的特征点匹配对共P对,则可以将P对特征点匹配对的二维位置向量代入式(2),得到P×2个方程,根据该P×2个方程计算a11,a12,a21,a22,tx,ty,获得EG参数A和T。在获得EG参数后,还可以将该EG参数代入式7,若满足Δ<th,则确定待匹配图像之间相匹配,否则确定待匹配图像之间不匹配。
请参阅图4,本发明实施例中还提供了一种图像检索方法,包括如下步骤:
401、提取待检索图像的显著性区域,并获取待检索图像的显著性区域的不变量;
步骤401请参照对步骤103、302及303的说明。
402、提取待检索图像的特征点,并获取待检索图像特征点的不变量;
步骤402请参照对步骤101、102的说明。
403、在预置的第一类索引库中,获取与待检索图像所有显著性区域的不变量的匹配度满足第一预定阈值的一组图像,第一类索引库为基于图像库中每幅图像的所有显著性区域的不变量的索引库;
不同的图像之间的显著性区域的不变量不同,因此,可以用每幅图像的所有显著性区域的不变量标记每幅图像,即可以用每幅图像的所有显著性区域的不变量作为第一类索引库的索引。
第一类索引库的预置过程具体可以包括:对图像库中所有图像的所有显著性区域的不变量进行聚类得到聚类中心,根据该聚类中心对图像库中每幅图像的所有显著性区域的不变量进行量化和矢量化得到每幅图像的第一矢量,作为该幅图像在第一类索引库中的索引,以减小每幅图像在第一类索引库中索引的数据大小。
将待检索图像所有显著性区域的不变量与第一类索引库中每幅图像的所有显著性区域的不变量进行匹配,获取匹配度满足第一预定阈值的第一类索引库中的一组图像。步骤403可以称为粗匹配,即先在显著性区域的不变量这个较大的粒度上进行匹配。
第一预定阈值可以根据不同的匹配准确性要求设置。
404、在步骤403获取的所述一组图像中,获取在第二类索引库中与待检索图像所有特征点的不变量的匹配度满足第二预定阈值的图像;第二类索引库为基于图像库中每幅图像的所有特征点的不变量的索引库。
第二类索引库的预置过程具体可以包括:对图像库所有图像的所有特征点的不变量进行聚类得到聚类中心,根据所述聚类中心对图像库中每幅图像的所有特征点的不变量进行量化和矢量化得到每幅图像的第二矢量,作为该幅图像在第二类索引库中的索引。
将待检索图像所有特征点的不变量与一组图像中每幅图像的所有特征点的不变量进行匹配,获取匹配度满足第二预定阈值的图像,作为图像库中检索到的与待检索图像匹配的图像。步骤404是在步骤403获取的一组图像中,在特征点的不变量这个较小的粒度上进行更加准确的匹配。
为便于理解步骤403与步骤404,下面进行举例说明:
假设图像库中有10幅图像,分别为图像1、2……10,每幅图像在第一类索引库中有一个体现该图像的所有显著性区域的不变量的索引,在第二类索引库中有一个体现该图像的所有特征点的不变量的索引;步骤403中将待检索图像的所有显著性区域的不变量分别与图像库中每幅图像在第一类索引库中的索引进行匹配,若匹配之后,确定与待检索图像所有显著性区域的不变量的匹配度满足第一预定阈值的有图像2、5、7,则步骤404中,将待检索图像的所有特征点的不变量分别与图像2、5、7在第二类索引库中的索引进行匹配,若匹配之后,确定与待检索图像所有特征点的不变量的匹配度满足第二预定阈值的只有图像2,则确定图像2为图像库中检索到的与待检索图像匹配的图像。
本实施例中,先基于显著性区域的不变量将检索范围缩小到图像库中的一组图像,再在这一组图像中基于特征点的不变量进行图像检索,因此,本实施例只有在显著性区域的不变量能够匹配的条件下,才进行特征点的不变量的匹配;而现有技术中仅仅基于特征点的不变量进行图像检索,可能出现将与待检索图像的显著性区域不变量相差较大的图像误判为与待检索图像匹配的图像。由此可见,本实施例充分利用了特征点之间的空间约束关系,即特征点所在的显著性区域,从而能够提高图像检索的准确性。并且,本实施例先将检索范围缩小为一组图像,再在该一组图像中进行基于特征点的不变量的图像检索,在图像库具有大量图像的情况下,可以提高图像检索的速度。
请参阅图5,本发明实施例中图像检索方法的另一实施例包括:
501、剔除图像库中所有图像的不稳定的特征点
对于图像库中所有任一检索图像,做如下处理:
假设检索图像的每一个特征点Pi的描述子进行归一化后表示为
Figure GSA00000092715200171
其它不同特征点的描述子表示为待检索图像中有一个特征点Px(描述子为
Figure GSA00000092715200182
),如果该点与Pi点匹配的话,必须满足:
| | d i &RightArrow; - d x &RightArrow; | | 2 2 * t < | | d 2 &RightArrow; - d x &RightArrow; | | 2 2 ,
其中:
Figure GSA00000092715200184
为检索图像中与待检索图像的特征点Px之间欧式距离为次好距离的特征点的描述子,‖‖2表示向量间的欧式距离,t为预设阀值,具体实施中,一般取t=1.5。
若待检索图像中存在一个点Px,使得和检索图像中所有特征点之间的距离都不满足上式,即:
| | d i &RightArrow; - d x &RightArrow; | | 2 2 * t &GreaterEqual; | | d j &RightArrow; - d x &RightArrow; | | 2 2 &GreaterEqual; | | d 2 &RightArrow; - d x &RightArrow; | | 2 2 , ( i &NotEqual; j )
那么点Pi是不稳定的特征点,应该剔除。
由于
Figure GSA00000092715200186
因此,上式简化为:
( t d i &RightArrow; - d j &RightArrow; ) d x &RightArrow; < t - 1 - - - ( 8 )
因此,若判断出不等式(8)中
Figure GSA00000092715200188
有解,则特征点Pi即可作为可以剔除的不稳定的特征点。
502、预置第一类索引库,包括:
(1)提取图像库中每幅图像的显著性区域;
(2)获取每幅图像的所有显著性区域的不变量;
(3)对图像库所有图像的所有显著性区域的不变量进行聚类得到聚类中心,根据该聚类中心对图像库中的每幅图像的所有显著性区域的不变量进行量化和矢量化得到每幅图像的第一矢量,作为该幅图像在第一类索引库中的索引,以建立第一类索引库;
503、预置第二类索引库,包括:
(1)提取图像库中每幅图像的特征点;
(2)获取图像库中每幅图像的特征点的不变量;
(3)对图像库中所有图像的特征点的不变量进行聚类量化;
(4)对图像库所有图像的所有特征点的不变量进行聚类得到聚类中心,根据该聚类中心对图像库中每幅图像的所有特征点的不变量进行量化和矢量化得到每幅图像的第二矢量,作为该幅图像在第二类索引库中的索引,以建立第二类索引库。
量化和矢量化的具体执行方式可以现有公知技术,此处不作赘述。
504、提取待检索图像的显著性区域和所有特征点,并获取待检索图像中的显著性区域的不变量和特征点的不变量;
505、根据步骤502中获得的聚类中心对待检索图像所有显著性区域的不变量进行量化和矢量化,获得待检索图像的第一矢量,在预置的第一类索引库中,获取第一矢量与待检索图像的第一矢量匹配度满足第一预定阈值的一组图像;
506、根据步骤503中获得的聚类中心对待检索图像所有特征点的不变量进行量化和矢量化,获得待检索图像的第二矢量,在步骤505获取的一组图像中,获取在第二类索引库中,第二矢量与待检索图像的第二矢量的匹配度满足第二预定阈值的图像,实现图像检索。
下面对本发明实施例中的相关设备进行详细说明。
请参阅图6,本发明实施例中图像特征点匹配对处理设备的一个实施例包括:
特征点不变量获取模块601,用于提取待匹配图像的特征点,并获取特征点的不变量;
区域匹配对获取模块602,用于提取待匹配图像的显著性区域,并获取待匹配图像之间的显著性区域匹配对;
特征点匹配对获取模块603,用于根据特征点的不变量,获取显著性区域匹配对之间的特征点匹配对作为待匹配图像之间的特征点匹配对。
区域匹配对获取模块602可以根据显著性区域的区域不变量获取显著性区域匹配对,此时可以包括:
不变量获取单元,用于获取显著性区域的区域不变量;
匹配对获取单元,用于根据区域不变量获取待匹配图像之间的显著性区域匹配对。
区域匹配对获取模块602也可以将待匹配图像之间,特征点的分布密度及位置的相似度满足预定阈值的显著性区域对作为显著性区域匹配对。
上述各模块可以通过各种图像处理芯片或相应的硬件单元实现,各单元具体处理的步骤可以参见方法实施例中的相关步骤,在此不再赘述。
本实施例中的图像特征点匹配对处理设备,先获取待匹配图像之间的显著性区域匹配对,再获取显著性区域匹配对之间的特征点匹配对作为待匹配图像之间的特征点匹配对,保证了待匹配图像之间的特征点匹配对位于一对显著性区域匹配对中,即保证了待匹配图像之间的特征点匹配对的空间位置相差较小。而现有技术中,由于直接将一个待匹配图像的所有特征点与另一个待匹配图像的所有特征点进行特征点匹配,可能导致将不应确定为图像之间的特征点匹配对的,空间位置相差较大的两个特征点误判为图像之间的特征点匹配对。由此可见,本实施例充分利用了特征点之间的空间约束关系,即特征点所在的显著性区域,从而能够减小图像特征点匹配对的误匹配率,提高了获取的图像特征点匹配对的准确性。
请参阅图7,本发明实施例中图像特征点匹配对处理设备的另一实施例包括:
特征点不变量获取模块701,用于提取待匹配图像的特征点,并获取特征点的不变量;
区域匹配对获取模块702,用于提取待匹配图像的显著性区域,并获取待匹配图像之间的显著性区域匹配对;
特征点匹配对获取模块703,用于根据特征点的不变量,获取显著性区域匹配对之间的特征点匹配对作为待匹配图像之间的特征点匹配对;
参数获取模块704,用于若获取的待匹配图像之间的特征点匹配对数目大于等于预设的阈值,则根据获取的特征点匹配对获取待匹配图像之间的对极几何参数。
上述各模块可以通过各种图像处理芯片或相应的硬件单元实现,各单元具体处理的步骤可以参见方法实施例中的相关步骤,在此不再赘述。
本实施例中的图像特征点匹配对处理设备,先获取待匹配图像之间的显著性区域匹配对,再获取显著性区域匹配对之间的特征点匹配对作为待匹配图像之间的特征点匹配对,保证了待匹配图像之间的特征点匹配对位于一对显著性区域匹配对中,即保证了待匹配图像之间的特征点匹配对的空间位置相差较小,从而能够减小待匹配图像特征点匹配对的误匹配率,提高获取待匹配图像之间的对极几何参数的准确性。
请参阅图8,本发明实施例中图像检索设备的一个实施例包括:
待检索图像信息获取模块801,用于提取待检索图像的显著性区域,并获取该显著性区域的不变量;提取待检索图像的特征点,并获取该特征点的不变量;
第一匹配模块802,用于在预置的第一类索引库中,获取与待检索图像所有显著性区域的不变量的匹配度满足第一预定阈值的一组图像,第一类索引库为基于图像库中每幅图像的所有显著性区域的不变量的索引库;
第二匹配模块803,用于在第一匹配模块802获取的一组图像中,获取在第二类索库中与待检索图像所有特征点的不变量的匹配度满足第二预定阈值的图像,第二类索引库为基于图像库中每幅图像的所有特征点的不变量的索引库。
进一步地,本实施例中设备还可以包括:
第一类索引库预置模块,用于在待检索图像信息获取模块801执行相关操作之前,提取图像库中每幅图像的显著性区域,并获取显著性区域的不变量;建立基于每幅图像的所有显著性区域的不变量的索引库,即第一类索引库;
第二类索引库预置模块,用于在待检索图像信息获取模块801执行相关操作之前,提取图像库中每幅图像的特征点,并获取特征点的不变量;建立基于每幅图像的所有特征点的不变量的索引库,即第二类索引库;
在建立第一类索引库和第二类索引库之前,可以先剔除图像库所有图像中不稳定的特征点,因此,更进一步地,所述设备还可以包括:
剔除模块,用于在第一类索引库预置模块和第二类索引库预置模块执行相关操作之前,对于图像库中所有图像作如下处理:
假设图像库中一幅图像的一个特征点Pi的描述子进行归一化后表示为
Figure GSA00000092715200211
该副图像的其它特征点的描述子表示为
Figure GSA00000092715200212
待检索图像中有一个特征点Px的描述子为
( t d i &RightArrow; - d j &RightArrow; ) &CenterDot; d x &RightArrow; < t - 1
有解,其中,t为阀值,则将特征点Pi从图像库中的该副图像中剔除。上述各模块可以通过各种图像处理芯片或相应的硬件单元实现,各单元具体处理的步骤可以参见方法实施例中的相关步骤,在此不再赘述。
本实施例中的图像检索设备,先基于显著性区域的不变量将检索范围缩小到图像库中的一组图像,再在这一组图像中基于特征点的不变量进行图像检索,因此,本实施例只有在显著性区域的不变量能够匹配的条件下,才进行特征点的不变量的匹配;而现有技术中仅仅基于特征点的不变量进行图像检索,可能出现将与待检索图像的显著性区域不变量相差较大的图像误判为与待检索图像匹配的图像。由此可见,本实施例充分利用了特征点之间的空间约束关系,即特征点所在的显著性区域,从而能够提高图像检索的准确性。并且,本实施例先将检索范围缩小为一组图像,再在该一组图像中进行基于特征点的不变量的图像检索,在图像库具有大量图像的情况下,可以提高图像检索的速度。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读内存(ROM,Read-Only Memory)、随机存储器(RAM,Random Access Memory)、磁盘或光盘等。
以上对本发明实施例所提供的图像特征点匹配对处理、图像检索方法及设备进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (12)

1.一种图像特征点匹配对处理方法,其特征在于,包括:
提取待匹配图像的特征点,并获取特征点的不变量;
提取待匹配图像的显著性区域,并获取待匹配图像之间的显著性区域匹配对;
根据特征点的不变量,获取显著性区域匹配对之间的特征点匹配对作为待匹配图像之间的特征点匹配对。
2.根据权利要求1所述图像特征点匹配对处理方法,其特征在于,所述获取待匹配图像之间的显著性区域匹配对,具体包括:
获取显著性区域的区域不变量;
根据区域不变量获取待匹配图像之间的显著性区域匹配对。
3.根据权利要求2所述图像特征点匹配对处理方法,其特征在于,所述获取显著性区域的区域不变量,具体包括:
V k = [ m k , d k &prime; &RightArrow; r k &prime; &RightArrow; ] &prime;
其中,向量Vk为显著性区域Ak的区域不变量,mk为显著性区域Ak的归一化二阶矩,dk为显著性区域Ak的中心特征点的不变量,rk为显著性区域Ak的面积简比向量。
4.根据权利要求3所述图像特征点匹配对处理方法,其特征在于,所述rk通过如下方式获得:
假设Ok为显著性区域Ak的中心特征点,显著性区域Ak的面积为Δk,不同于Ok的两个特征点(i,j)Oi、Oj和中心特征点Ok组成的三角形面积为Δijk,则:
rk={rij},
Figure FSA00000092715100012
&Delta; ijk = x i x j x k y i y j y k 1 1 1 ,
其中,R为预设的经验值,并且要求:|Δijk|>th,th为面积简比阈值;把rk在[-R,R]上进行直方图排列,组成一个2*R维的仅仅包含0和1的向量。
5.根据权利要求1所述图像特征点匹配对处理方法,其特征在于,还包括:若获取到的待匹配图像之间的特征点匹配对数目大于等于预设的阈值,则根据获取的特征点匹配对获取待匹配图像之间的对极几何参数。
6.一种图像检索方法,其特征在于,包括:
提取待检索图像的显著性区域,并获取该显著性区域的不变量;
提取待检索图像的特征点,并获取该特征点的不变量;
在预置的第一类索引库中,获取与待检索图像所有显著性区域的不变量的匹配度满足第一预定阈值的一组图像;所述第一类索引库为基于图像库中每幅图像的所有显著性区域的不变量的索引库;
在获取的所述一组图像中,获取在第二类索引库中与待检索图像所有特征点的不变量的匹配度满足第二预定阈值的图像;所述第二类索引库为基于图像库中每幅图像的所有特征点的不变量的索引库。
7.根据权利要求6所述图像检索方法,其特征在于,第一类索引库的预置过程具体包括:
对图像库所有图像的所有显著性区域的不变量进行聚类得到聚类中心,根据所述聚类中心对图像库中每幅图像的所有显著性区域的不变量进行量化和矢量化得到每幅图像的第一矢量,作为该幅图像在第一类索引库中的索引;
所述在预置的第一类索引库中,获取与待检索图像所有显著性区域的不变量的匹配度满足第一预定阈值的一组图像,具体包括:
根据所述聚类中心对待检索图像所有显著性区域的不变量进行量化和矢量化得到待检索图像的第一矢量,在图像库中获取第一矢量与待检索图像的第一矢量匹配度满足第一预定阈值的一组图像。
8.根据权利要求6所述图像检索方法,其特征在于,第二类索引库的预置过程具体包括:
对图像库所有图像的所有特征点的不变量进行聚类得到聚类中心,根据所述聚类中心对图像库中每幅图像的所有特征点的不变量进行量化和矢量化得到每幅图像的第二矢量,作为该幅图像在第二类索引库中的索引;
所述在获取的所述一组图像中,获取在第二类索引库中与待检索图像所有特征点的不变量的匹配度满足第二预定阈值的图像,具体包括:
根据所述聚类中心对待检索图像所有特征点的不变量进行量化和矢量化得到待检索图像的第二矢量,在所述一组图像中,获取在第二类索引库中,第二矢量与待检索图像的第二矢量的匹配度满足第二预定阈值的图像。
9.根据权利要求6所述方法,其特征在于,在预置第一类索引库和第二类索引库之前,还包括:
对于图像库中所有图像作如下处理:
假设图像库中一幅图像的一个特征点Pi的描述子进行归一化后表示为
Figure FSA00000092715100031
该副图像的其它特征点的描述子表示为
Figure FSA00000092715100032
待检索图像中有一个特征点Px的描述子为
Figure FSA00000092715100033
( t d i &RightArrow; - d j &RightArrow; ) &CenterDot; d x &RightArrow; < t - 1
有解,其中,t为预设阀值,则将特征点Pi从图像库中的该副图像中剔除。
10.一种图像特征点匹配对处理设备,其特征在于,包括:
特征点不变量获取模块,用于提取待匹配图像的特征点,并获取特征点的不变量;
区域匹配对获取模块,用于提取待匹配图像的显著性区域,并获取待匹配图像之间的显著性区域匹配对;
特征点匹配对获取模块,用于根据特征点的不变量,获取显著性区域匹配对之间的特征点匹配对作为待匹配图像之间的特征点匹配对。
11.根据权利要求10所述图像特征点匹配对处理设备,其特征在于,所述设备还包括:
参数获取模块,用于若获取到的待匹配图像之间的特征点匹配对数目大于等于预设的阈值,则根据获取的特征点匹配对获取待匹配图像之间的对极几何参数。
12.一种图像检索设备,其特征在于,包括:
待检索图像信息获取模块,用于提取待检索图像的显著性区域,并获取该显著性区域的不变量;提取待检索图像的特征点,并获取该特征点的不变量;
第一匹配模块,用于在预置的第一类索引库中,获取与待检索图像所有显著性区域的不变量的匹配度满足第一预定阈值的一组图像,所述第一类索引库为基于图像库中每幅图像的所有显著性区域的不变量的索引库;
第二匹配模块,用于在第一匹配模块获取的所述一组图像中,获取在第二类索引库中与待检索图像所有特征点的不变量的匹配度满足第二预定阈值的图像;所述第二类索引库为基于图像库中每幅图像的所有特征点的不变量的索引库。
CN 201010165622 2010-04-30 2010-04-30 图像特征点匹配对处理、图像检索方法及设备 Expired - Fee Related CN102236675B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201010165622 CN102236675B (zh) 2010-04-30 2010-04-30 图像特征点匹配对处理、图像检索方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201010165622 CN102236675B (zh) 2010-04-30 2010-04-30 图像特征点匹配对处理、图像检索方法及设备

Publications (2)

Publication Number Publication Date
CN102236675A true CN102236675A (zh) 2011-11-09
CN102236675B CN102236675B (zh) 2013-11-06

Family

ID=44887331

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201010165622 Expired - Fee Related CN102236675B (zh) 2010-04-30 2010-04-30 图像特征点匹配对处理、图像检索方法及设备

Country Status (1)

Country Link
CN (1) CN102236675B (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102880852A (zh) * 2012-07-02 2013-01-16 北京工业大学 一种基于仿射尺度不变特征变换和结构相似的人脸识别方法
CN103561264A (zh) * 2013-11-07 2014-02-05 北京大学 一种基于云计算的媒体解码方法及解码器
CN104281679A (zh) * 2014-09-30 2015-01-14 东软集团股份有限公司 基于图像特征的商品分类方法及装置
CN105701800A (zh) * 2015-12-31 2016-06-22 上海交通大学 多模图像匹配方法
CN103927573B (zh) * 2014-04-14 2016-08-24 立德高科(北京)数码科技有限责任公司 可见光下唯一性序列号与点阵图形进行绑定的方法及装置
CN106557526A (zh) * 2015-09-30 2017-04-05 富士通株式会社 处理图像的装置和方法
CN106651756A (zh) * 2016-11-16 2017-05-10 浙江工业大学 一种基于sift和验证机制的图像配准方法
CN106920252A (zh) * 2016-06-24 2017-07-04 阿里巴巴集团控股有限公司 一种图像数据处理方法、装置及电子设备
CN107169458A (zh) * 2017-05-18 2017-09-15 深圳云天励飞技术有限公司 数据处理方法、装置及存储介质
CN108959650A (zh) * 2018-08-02 2018-12-07 聊城大学 基于共生surf特征的图像检索方法
CN110070490A (zh) * 2019-05-05 2019-07-30 京东方科技集团股份有限公司 图像拼接方法和装置
CN110516618A (zh) * 2019-08-29 2019-11-29 苏州大学 装配机器人及基于视觉和力位混合控制的装配方法和系统
CN110807110A (zh) * 2019-09-30 2020-02-18 奇安信科技集团股份有限公司 结合局部和全局特征的图片搜索方法、装置及电子设备
CN111126484A (zh) * 2019-12-24 2020-05-08 西安电子科技大学 基于nfsc的宽基线图像匹配特征筛选方法
CN111538855A (zh) * 2020-04-29 2020-08-14 浙江商汤科技开发有限公司 视觉定位方法及装置、电子设备和存储介质
CN111782842A (zh) * 2020-06-23 2020-10-16 珠海格力智能装备有限公司 图像检索方法及装置、电子设备
CN112508033A (zh) * 2021-02-03 2021-03-16 新东方教育科技集团有限公司 检测方法、存储介质和电子装置
CN113411355A (zh) * 2021-08-19 2021-09-17 深圳百昱达科技有限公司 基于互联网的应用注册方法及相关装置
CN113516184A (zh) * 2021-07-09 2021-10-19 北京航空航天大学 一种图像特征点匹配的误匹配剔除方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101211356A (zh) * 2006-12-30 2008-07-02 中国科学院计算技术研究所 一种基于显著区域的图像查询方法
CN101515286A (zh) * 2009-04-03 2009-08-26 东南大学 基于图像特征多级过滤的图像匹配方法
CN101639858A (zh) * 2009-08-21 2010-02-03 深圳创维数字技术股份有限公司 基于目标区域匹配的图像检索方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101211356A (zh) * 2006-12-30 2008-07-02 中国科学院计算技术研究所 一种基于显著区域的图像查询方法
CN101515286A (zh) * 2009-04-03 2009-08-26 东南大学 基于图像特征多级过滤的图像匹配方法
CN101639858A (zh) * 2009-08-21 2010-02-03 深圳创维数字技术股份有限公司 基于目标区域匹配的图像检索方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《计算机工程》 20060405 宋辉等 一种使用Harris特征点的区域图像检索算法 第202-203,206页 1-3,5-12 , 第07期 *

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102880852B (zh) * 2012-07-02 2015-04-08 北京工业大学 一种基于仿射尺度不变特征变换和结构相似的人脸识别方法
CN102880852A (zh) * 2012-07-02 2013-01-16 北京工业大学 一种基于仿射尺度不变特征变换和结构相似的人脸识别方法
CN103561264A (zh) * 2013-11-07 2014-02-05 北京大学 一种基于云计算的媒体解码方法及解码器
CN103927573B (zh) * 2014-04-14 2016-08-24 立德高科(北京)数码科技有限责任公司 可见光下唯一性序列号与点阵图形进行绑定的方法及装置
CN104281679B (zh) * 2014-09-30 2018-04-06 东软集团股份有限公司 基于图像特征的商品分类方法及装置
CN104281679A (zh) * 2014-09-30 2015-01-14 东软集团股份有限公司 基于图像特征的商品分类方法及装置
CN106557526A (zh) * 2015-09-30 2017-04-05 富士通株式会社 处理图像的装置和方法
CN106557526B (zh) * 2015-09-30 2020-06-30 富士通株式会社 处理图像的装置和方法
CN105701800B (zh) * 2015-12-31 2019-01-25 上海交通大学 多模图像匹配方法
CN105701800A (zh) * 2015-12-31 2016-06-22 上海交通大学 多模图像匹配方法
CN106920252A (zh) * 2016-06-24 2017-07-04 阿里巴巴集团控股有限公司 一种图像数据处理方法、装置及电子设备
CN106651756A (zh) * 2016-11-16 2017-05-10 浙江工业大学 一种基于sift和验证机制的图像配准方法
CN106651756B (zh) * 2016-11-16 2020-05-01 浙江工业大学 一种基于sift和验证机制的图像配准方法
CN107169458A (zh) * 2017-05-18 2017-09-15 深圳云天励飞技术有限公司 数据处理方法、装置及存储介质
CN108959650A (zh) * 2018-08-02 2018-12-07 聊城大学 基于共生surf特征的图像检索方法
CN110070490A (zh) * 2019-05-05 2019-07-30 京东方科技集团股份有限公司 图像拼接方法和装置
CN110070490B (zh) * 2019-05-05 2023-10-03 京东方科技集团股份有限公司 图像拼接方法和装置
CN110516618A (zh) * 2019-08-29 2019-11-29 苏州大学 装配机器人及基于视觉和力位混合控制的装配方法和系统
CN110807110B (zh) * 2019-09-30 2023-02-28 奇安信科技集团股份有限公司 结合局部和全局特征的图片搜索方法、装置及电子设备
CN110807110A (zh) * 2019-09-30 2020-02-18 奇安信科技集团股份有限公司 结合局部和全局特征的图片搜索方法、装置及电子设备
CN111126484A (zh) * 2019-12-24 2020-05-08 西安电子科技大学 基于nfsc的宽基线图像匹配特征筛选方法
CN111126484B (zh) * 2019-12-24 2022-04-19 西安电子科技大学 基于nfsc的宽基线图像匹配特征筛选方法
CN111538855A (zh) * 2020-04-29 2020-08-14 浙江商汤科技开发有限公司 视觉定位方法及装置、电子设备和存储介质
CN111538855B (zh) * 2020-04-29 2024-03-08 浙江商汤科技开发有限公司 视觉定位方法及装置、电子设备和存储介质
CN111782842A (zh) * 2020-06-23 2020-10-16 珠海格力智能装备有限公司 图像检索方法及装置、电子设备
CN112508033A (zh) * 2021-02-03 2021-03-16 新东方教育科技集团有限公司 检测方法、存储介质和电子装置
CN112508033B (zh) * 2021-02-03 2021-06-08 新东方教育科技集团有限公司 检测方法、存储介质和电子装置
CN113516184A (zh) * 2021-07-09 2021-10-19 北京航空航天大学 一种图像特征点匹配的误匹配剔除方法及系统
CN113411355A (zh) * 2021-08-19 2021-09-17 深圳百昱达科技有限公司 基于互联网的应用注册方法及相关装置

Also Published As

Publication number Publication date
CN102236675B (zh) 2013-11-06

Similar Documents

Publication Publication Date Title
CN102236675B (zh) 图像特征点匹配对处理、图像检索方法及设备
EP1233374B1 (en) Apparatus and method for extracting objects based on feature matching between segmented regions in images
CN103218427B (zh) 局部描述子的提取方法、图像检索方法及图像匹配方法
Lepsøy et al. Statistical modelling of outliers for fast visual search
CN104679818A (zh) 一种视频关键帧提取方法及系统
CN106780639B (zh) 基于显著性特征稀疏嵌入和极限学习机的哈希编码方法
CN104915673A (zh) 一种基于视觉词袋模型的目标分类方法和系统
CN105205135A (zh) 一种基于主题模型的3d模型检索方法及其检索装置
CN105809113A (zh) 三维人脸识别方法及应用其的数据处理装置
CN111373393B (zh) 图像检索方法和装置以及图像库的生成方法和装置
CN113988147A (zh) 基于图网络的遥感图像场景多标签分类方法及装置、多标签检索方法及装置
CN114386466B (zh) 一种用于脉冲星搜寻中候选体信号挖掘的并行的混合聚类方法
CN113343920A (zh) 人脸识别照片的分类方法、装置、电子设备和存储介质
CN117095198A (zh) 遥感图像检索网络训练方法、应用方法、电子设备及介质
Bahmanyar et al. Measuring the semantic gap based on a communication channel model
CN105528793A (zh) 一种高空间分辨率遥感影像的分割方法及系统
CN111008294A (zh) 交通图像处理、图像检索方法及装置
CN104408715A (zh) 基于自适应模糊c均值聚类模糊化的sar图像分析方法
CN114627424A (zh) 一种基于视角转化的步态识别方法和系统
CN114462479A (zh) 模型训练方法、检索方法以及模型、设备和介质
Daras et al. 3D model search and retrieval based on the spherical trace transform
Isnanto et al. Determination of the optimal threshold value and number of keypoints in scale invariant feature transform-based copy-move forgery detection
CN105447523A (zh) 图片源相机型号的检测方法和装置
CN113671493B (zh) 一种基于特征融合的海面小目标检测方法及系统
CN117173545B (zh) 一种基于计算机图形学的证照原件识别方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20131106

Termination date: 20190430

CF01 Termination of patent right due to non-payment of annual fee