CN108830279B - 一种图像特征提取与匹配方法 - Google Patents

一种图像特征提取与匹配方法 Download PDF

Info

Publication number
CN108830279B
CN108830279B CN201810291396.8A CN201810291396A CN108830279B CN 108830279 B CN108830279 B CN 108830279B CN 201810291396 A CN201810291396 A CN 201810291396A CN 108830279 B CN108830279 B CN 108830279B
Authority
CN
China
Prior art keywords
image
window
sliding
matching
gradient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810291396.8A
Other languages
English (en)
Other versions
CN108830279A (zh
Inventor
李建圃
樊晓东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang Qimou Technology Co ltd
Original Assignee
Nanchang Qimou Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang Qimou Technology Co ltd filed Critical Nanchang Qimou Technology Co ltd
Priority to CN201810291396.8A priority Critical patent/CN108830279B/zh
Publication of CN108830279A publication Critical patent/CN108830279A/zh
Application granted granted Critical
Publication of CN108830279B publication Critical patent/CN108830279B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

一种图像特征提取与匹配方法,包括以下步骤:S1、输入二维图像,对所述二维图像进行边缘检测和角点检测,将所述角点检测得到的角点和所述边缘检测得到的边缘点进行组合,以确定图像显著区域;S2、采用多尺度滑窗的方式分割图像,在整幅图像内滑动采样,在每个窗口内提取图像梯度方向直方图特征,其中,显著区域滑窗的滑动步长小于非显著区域的滑动步长;S3、计算检索图像任意窗口图像与数据库图像的相似距离,如果相似距离在相似阈值范围内则标记这一对相似窗口,查找出最相似的窗口,得到一系列相似窗口的匹配结果;S4、排除错误的匹配对,保留在尺度和空间位置上都具有一致性的匹配,分割出相似区域。

Description

一种图像特征提取与匹配方法
技术领域
本发明涉及图像检索技术领域,尤其涉及一种图像特征提取与匹配方法。
背景技术
商标是公司、产品或服务的标志,与企业的商品质量、服务质量、经营管理融为一体,在工商业社会中起着非常重要的作用,是公司及其产品的一个重要属性,具有唯一性。为使商标得到合法的保护,必须向商标局正式注册。随着我国经济的发展和全球化进程的加快,商标数量逐年递增。防止重复注册或相似商标注册是商标管理的核心问题。为了保护注册商标的合法权益,打击仿冒盗用注册商标的违法行为,需要对待注册的商标进行检索,与已注册的商标进行比较,确定二者不相同或者不相近似,才具有注册资格。
商标图像的识别检索是多媒体信息检索领域的热点问题,图像识别检索方法尽管多种多样,但其核心问题都是围绕特征提取与匹配,即特征算法。特征提取是指通过分析以数据的形式将图形的特性描述出来,而特征匹配是指对不同图形的特征数据进行匹配计算以获得二者之间的差距。不同的特征算法所提取的图形特征是不一样的,而特征算法性能的好坏直接决定着检索方法的性能的好坏。因此检索方法的核心就是找到一种高效快速的特征算法,使其既有高效稳定的特征提取又有快速精确的特征匹配。特征算法在检索中主要应用在两个地方。一是特征数据库的建立。在建立特征数据库的时候要使用特征算法对所有的图形进行特征提取得到对应的特征数据,将这些特征数据与其对应的图形按一定的规则保存起来就建立了特征数据库。二是按用户输入的要求的自动分析。用户以某种方式输入图形后,由特征算法对该图形进行特征提取,然后将得到特征与特征数据库中的特征进行特征匹配,从而找到与输入图形相似的图形。基于内容的图像检索的关键问题是找到一种稳定、高效、精确的特征提取与匹配方法。
发明内容
本发明提供了一种图像特征提取与匹配方法,具体包括以下步骤:
S1、输入二维图像,对所述二维图像进行边缘检测和角点检测,将所述角点检测得到的角点和所述边缘检测得到的边缘点进行组合,以确定所述二维图像中的图像显著区域;
S2、多尺度特征提取:采用多尺度滑窗的方式分割该包含物体的最小图像区域,滑窗在图像区域内移动采样,在每个窗口内提取图像梯度方向直方图特征,其中,图像显著区域滑窗的滑动步长小于非显著区域滑窗的滑动步长;
S3、全局尺度间特征窗口匹配:根据梯度方向直方图特征计算所述二维图像中任意窗口图像与数据库图像的相似距离,如果相似距离在相似阈值范围内则标记这一对相似窗口,查找出最相似的窗口,得到一系列相似窗口的匹配结果;
S4、排除错误的匹配对,保留在尺度和空间位置上都具有一致性的匹配,将正确匹配窗口进行数量上的叠加,根据自适应性阈值分割出相似区域。
进一步地,判定显著区域的条件为:如果在一个角点的5*5邻域内的边缘点的个数超过特定阈值,则确定该角点和所述个数的边缘点是所述图像显著物体边缘的一部分。
进一步地,步骤S2具体包括以下步骤:
S21、对于给定窗口,计算水平和垂直方向的梯度;
S22、梯度方向角度取值0~360°,对梯度方向进行8方向量化;
S23、统计所有梯度点得到梯度方向直方图;
S24、对梯度方向直方图进行归一化;
S25、直方图特征编码。
进一步地,窗口的大小及滑动步长均按照图像实际大小的一些固定比例计算,步骤S2中滑窗的尺寸设置为长0.1~1、宽0.1~1的多种组合,图像显著区域滑窗的滑动步长设为0.05~0.2,非显著区域滑窗的滑动步长设为0.1~0.25,对重点区域着重提取特征。
进一步地,步骤S21的计算方法为[Gh,Gv]=gradient(F),采用方向模板[-1,0,1],计算当前像素点的水平梯度和垂直梯度,方向角度θ=arctan(Gv/Gh):
Figure GDA0003321760590000031
Figure GDA0003321760590000032
计算图像像素点间的梯度有多种方式,简单的一维中心模板[-1,0,1]效果最好,复杂模板在实验中会降低检索性能。
进一步地,步骤S22中的量化方法可以采用就近方向量化的原则,将实际的梯度方向量化至最近的量化方向上,运算较简单;也可以采用模糊量化的方法,将实际的梯度方向用投影至相邻两个方向的分量表示,模糊量化方法对方向的敏感度较低、梯度方向量化后的特征鲁棒性好。
进一步地,步骤S24采用基于面积的归一化方法:
设特征窗口Ri的大小为wi×hi,梯度方向直方图
Figure GDA0003321760590000037
面积参数
Figure GDA0003321760590000033
基于面积参数的归一化直方图为
Figure GDA0003321760590000034
该方法使特征具有较好的尺度一致性,既包含了特征窗口中边缘信息的丰富程度,又可反映各个梯度方向统计分布信息,单个bin的变化不会影响其他bin的值;和/或
基于目标像素点总数的归一化方法:
Ri梯度方向直方图
Figure GDA0003321760590000035
归一化直方图为
Figure GDA0003321760590000036
该方法使特征具有良好的尺度一致性,同时体现出各个梯度方向相对统计分布信息;
优选为上述两种方法的结合,综合了两种方法的优点,既保证各个bin之间的相对独立性,又兼顾各个bin统计分布的差异性。
进一步地,步骤S3中相似距离计算如下:设滑窗Ai特征向量经过编码后的二值特征串为fi,滑窗Bj特征向量经过编码后的二值特征串为gj,则Ai和Bi-j之间的相似性距离dij通过汉明距离进行计算:
Figure GDA0003321760590000041
其中fi k表示二进制串fi的第k位,
Figure GDA0003321760590000042
表示二进制串gj的第k位,
Figure GDA0003321760590000043
表示异或操作,α的取值等于fi及gj长度的倒数。
进一步地,步骤S3中相似性条件为:相似阈值范围取值为0.4~0.6,即数据库图像窗口的中心位置在检索图像任意滑动窗口附近的一定范围内,且相似的窗口必须有相近的长宽比,本发明的长宽比设置在0.5~2之间。
经过全局范围内的尺度间搜索匹配,能查找到一些正确的匹配窗口,也包含了一些错误的匹配,一种是尺度匹配错误,另一种是位置匹配错误。进一步地,步骤S4中采用基于尺度-空间一致性模型的RANSAC算法排除错误匹配,相似窗口数目的统计采用数量上直接叠加或加权叠加的方法。
进一步地,步骤加权叠加的规则为:每对窗口的权重由相似性距离决定,相似距离越小,权重越大,相似距离越大,权重越小,保证权重平均大小在1左右。
统计相似窗口的数目,越相似的区域相似窗口的数目越多,将正确匹配的相似窗口进行数量上的叠加,叠加方法包括两种:(1)相似窗口的直接叠加,(2)加权叠加;每对窗口的权重由相似性距离决定,相似距离越小,权重越大,相似距离越大,权重越小,权重平均大小在1左右。得到相似窗口的叠加结果之后,根据自适应性阈值矩阵分割出相似区域,设T0为初始阈值矩阵,大小为10*10,设所有相似窗口的总面积为s,则自适应的阈值矩阵为T=κ·T0·(s/100)α,然后计算得到相似区域分割矩阵,矩阵中不为0的部分表示图像中的候选相似区域。
本发明的有益效果如下:
1、图像特征提取之前,先采用高效的显著区域检测技术得到图像的显著区域,在引入较小时间开销的前提下有效检测出图像的关键区域;然后在该区域内重点提取特征,提高特征提取步骤的效率;
2、采用多尺度滑窗的方式,提取的图像特征更加丰富;
3、图像特征匹配算法精确,可提高后续图像检索的准确度;
4、图像特征提取与匹配速度快、效率高;
5、算法稳定性高。
附图说明
图1为梯度8方向示意图;
图2为就近量化方法示意图;
图3为模糊量化方法示意图;
图4为多尺度相似窗口加权叠加示意图。
具体实施方式
下面将结合本发明的实施例中的附图,对本发明的实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1:
一种图像特征提取与匹配方法,包括以下步骤:
S1、输入二维图像Iw×h,对所述二维图像进行边缘检测和角点检测,将所述角点检测得到的角点和所述边缘检测得到的边缘点进行组合,以确定所述二维图像中的图像显著区域,判定显著区域的条件为:如果在一个角点的5*5邻域内的边缘点的个数超过阈值6,则确定该角点和所述个数的边缘点是所述图像显著物体边缘的一部分;
S2、采用多尺度滑窗的方式分割图像Iw×h,滑窗尺寸以0.1为精度,在图像Iw×h内移动采样,对得到的每个局部窗口图像Ri提取区域图像特征fi,即提取图像梯度方向直方图特征,具体包括以下步骤:
S21、定义滑动窗口的多种尺度,如表1所示(实验中,σ1=0.8,σ2=0.6,σ3=0.4),滑动步长参数(实验中图像显著区域滑窗的滑动步长μ1取0.1,非显著区域滑窗的滑动步长μ2取0.2),滑窗水平方向步长stepx1=wμ1,stepx2=wμ2,垂直方向步长stepy1=hμ1,stepy2=hμ2
表1.多尺度滑动窗口大小表
Figure GDA0003321760590000061
按照上述定义的多尺度滑窗的大小,将每个滑动窗口以图像Iw×h左上角为起点,按照滑动步长stepx、stepy依次从左到右从上到下滑动,取得一系列局部窗口图像(共计t个)集合R={Ri},i=0,1,…,t。
S22、对于任一图像窗口Ri,计算水平和垂直方向的梯度。
计算方法:[Gh,Gv]=gradient(Ri),采用方向模板[-1,0,1],计算Ri中任一像素点(x,y)的水平梯度Gh(x,y)和垂直梯度Gv(x,y)。
Figure GDA0003321760590000071
Figure GDA0003321760590000072
则(x,y)点的方向角度θ=arctan(Gv/Gh)。
S23、梯度方向角度取值0~360°,根据图1所示8方向对梯度方向进行量化:采用就近方向量化的原则,如图2所示,将实际的梯度方向量化至最近的量化方向上。
S24、统计所有梯度点得到梯度方向直方图,得到Ri的梯度方向直方图为
Figure GDA0003321760590000073
S25、对梯度方向直方图进行归一化,采用基于面积的归一化方法:
Ri的大小为wi×hi,梯度方向直方图
Figure GDA0003321760590000074
面积参数
Figure GDA0003321760590000075
基于面积参数的归一化直方图为
Figure GDA0003321760590000076
S26、直方图特征编码:
经过步骤S25得到Ri的归一化直方图
Figure GDA0003321760590000077
其中0<huj<1,j=0,1,…,7。为了节约计算机计算资源,将上述浮点数据进行编码。
直方图归一化之后按照各个区间梯度点均匀概率分布的原则计算量化区间(0,0.098),(0.098,0.134),(0.134,0.18),(0.18,0.24),(0.24,1),该量化区间的计算由当前样本集合进行统计计算实验得到。对落在这5个区间的数据进行编码分别为:0000,0001,0011,0111,1111.
Figure GDA0003321760590000078
编码之后将各个bin的码字级联得到为一段长度为4*8=32位的二进制串
Figure GDA0003321760590000079
即fi
S3、全局尺度间特征窗口匹配:
以检索图像
Figure GDA00033217605900000710
和数据库中任意图像
Figure GDA00033217605900000711
为例:对检索图像
Figure GDA00033217605900000712
中的任意滑动窗口Ai,遍历数据库中图像
Figure GDA0003321760590000081
中所有符合相似可能性条件的窗口Bj,j=k1,k2,...,计算得到的相似距离为
Figure GDA0003321760590000082
查找出最相似的窗口
Figure GDA0003321760590000083
如果相似距离在相似阈值范围内则标记这一对相似窗口,即dmin-i<Tsim,Tsim为经验值,在本例中取值为0.5。
这里相似距离计算如下:设滑窗Ai特征向量经过编码后的二值特征串为fi,滑窗Bj特征向量经过编码后的二值特征串为gj,则Ai和Bi-j之间的相似性距离dij通过汉明距离进行计算:
Figure GDA0003321760590000084
其中fi k表示二进制串fi的第k位,
Figure GDA0003321760590000085
表示二进制串gj的第k位,
Figure GDA0003321760590000086
表示异或操作,α的取值等于fi及gj长度的倒数。
这里的相似可能性条件如下:
(1)窗口Bj的中心位置在Ai中心位置附近的一定范围内,允许变换范围为u=0.5(偏移范围,窗口中心位置按照图形长宽的比例计算,偏移也按照长宽的比例计算,这里,允许偏移范围为长或宽的二分之一),即
Figure GDA0003321760590000087
Figure GDA0003321760590000088
同理
Figure GDA0003321760590000089
Figure GDA00033217605900000810
(2)设Ai的长宽比
Figure GDA00033217605900000811
Bj的长宽比
Figure GDA00033217605900000812
则有
Figure GDA00033217605900000813
Figure GDA00033217605900000814
即相似的窗口必须有相近的长宽比。
通过上述操作得到A和B相似窗口的匹配集合{Ai:Bj},由于是全局尺度间的查找模式,其中可能存在不符合空间一致性的匹配对。下面将从所有这些结果中筛选正确的匹配结果。
S4、排除错误的匹配对,保留在尺度和空间位置上都具有一致性的匹配,分割出候选相似区域。
S41、采用基于尺度-空间一致性模型的RANSAC算法排除错误匹配。
经过全局范围内的尺度间搜索匹配,能查找到一些正确的匹配窗口,也包含了一些错误的匹配,一种是尺度匹配错误,另一种是位置匹配错误,采用尺度-空间一致性的方法消除错误匹配。
采用改进的RANSAC(随机抽样一致性)算法排除错误的匹配对,保留在尺度上和空间位置上都具有一致性的匹配对,步骤如下:
(1)对匹配数据集合{Ai:Bj}中的任意一对匹配窗口,计算出变换矩阵L,记为模型M,模型的定义如下:
变换模型:设一对匹配窗口{(x1,y1),(x1′,y1′)}:{(x2,y2),(x2′,y2′)},其中(x1,y1)、(x1′,y1′)分别表示窗口Ai的左上角和右下角坐标,(x2,y2)、(x2′,y2′)表示窗口Bj左上角和右下角坐标,则存在空间变换模型
Figure GDA0003321760590000091
使得
Figure GDA0003321760590000092
Figure GDA0003321760590000093
可求解出L,其中a1、a2为特定匹配窗口相关的缩放参数,tx、ty是与特定匹配窗口相关的平移参数。
(2)计算数据集中所有数据与模型M的投影误差,若误差小于阈值,加入内点集I;
(3)如果当前内点集I中元素个数大于最优内点集I_best,则更新I_best=I;
(4)遍历数据集合中的所有数据,重复上述步骤。
(5)最优内点集I_best中的样本即为正确的匹配样本,最终得到正确匹配样本集合I_best={Ai:Bj}。
S42、根据自适应性阈值分割出相似区域。
对于
Figure GDA0003321760590000094
分别定义矩阵
Figure GDA0003321760590000095
Figure GDA0003321760590000101
(1)对于I_best={Ai:Bj}的任意一对匹配窗口{(x1,y1),(x1′,y1′)}:{(x2,y2),(x2′,y2′)}(其中(x1,y1)、(x1′,y1′)分别表示窗口Ai的左上角和右下角坐标,(x2,y2)、(x2′,y2′)表示窗口Bj左上角和右下角坐标),其相似性距离为dij,定义加权系数ωij=min(2,2.67-3.33dij),则有
Figure GDA0003321760590000102
Figure GDA0003321760590000103
(2)遍历I_best={Ai:Bj}中的所有匹配样本重复(1),更新
Figure GDA0003321760590000104
Figure GDA0003321760590000105
相似窗口数目的统计采用加权叠加的方法,规则为:每对窗口的权重由相似性距离决定,相似距离越小,权重越大,相似距离越大,权重越小,权重平均大小在1左右。本实施例中定义相似距离最小的权重为2,相似距离最大的权重为0.5,保证权重平均大小为1;如图4为多尺度相似窗口加权叠加示意图,颜色越深标识叠加值越小。
(3)将
Figure GDA0003321760590000106
Figure GDA0003321760590000107
通过采样缩小为CA10×10和CB10×10.
(4)定义初始阈值矩阵:
Figure GDA0003321760590000108
T0的设定和具体滑窗的规格有关。设在集合I_best={Ai:Bj}所有属于
Figure GDA0003321760590000109
的所有窗口的总面积为sZ,则自适应的阈值矩阵为TA=κT0(sA/(100w1h1))α,在集合I_best={Ai:Bj}所有属于
Figure GDA00033217605900001010
的所有窗口的总面积为sB,则自适应的阈值矩阵为TB=κT0(sB/(100w2h2))α,这里κ=0.2,α=0.7为经验值,随着滑动窗口规格的变化参数应进行适应性的调整。
则有相似区域分割矩阵
Figure GDA0003321760590000111
矩阵中不为0的部分表示图像中的候选相似区域。
实施例2:
一种图像特征提取与匹配方法,包括以下步骤:
S1、输入二维图像Iw×h,对所述二维图像Iw×h进行边缘检测和角点检测,将所述角点检测得到的角点和所述边缘检测得到的边缘点进行组合,以确定所述二维图像中的图像显著区域,具体步骤如下;
S11、利用Canny边缘检测算法获得所述二维图像的边缘点,通过按如下设置上限阈值和下限阈值来引入所述二维图像中的局部信息:在每一个像素的5*5邻域中,求出各个像素的方向导数的最大值max和平均值ave,并将所述上限阈值设定为0.9*max,将所述下限阈值设定为ave;
S12、对所述二维图像进行角点检测;
S121、对所述二维图像进行高斯滤波,以去除噪声干扰;
S122、计算经过高斯滤波后的二维图像的R图像:R(x,y)=λ1λ2-α(λ12)2,stepx2=wμ2其中λ1,λ2为矩阵
Figure GDA0003321760590000112
的特征值,其中Ix和Iy分别为经过高斯滤波后的二维图像在x、y方向一阶方向导数,
Figure GDA0003321760590000113
Ixy、Iyx为二阶方向导数,α为经验常数;
S123、使用σ=1的高斯滤波器对所述R图像进行卷积,得到图像;
S124、将图像中小于t的值置零,其中t=0.01Rmax,其中Rmax表示所述图像中的最大值;
S125、在经过所述置零后的图像中进行3*3邻域内的非最大值抑制,最后在图像中的不为零的点为检测得到的角点,其中,在所述角点检测中仅考虑R图像中满足以下情况的像素点:λ1>>λ2,λ1<<λ2和λ1≈λ2
S13、将所述角点检测得到的角点和所述边缘检测得到的边缘点进行组合,以确定所述二维图像中的图像显著区域,判定条件为:如果在一个角点的5*5邻域内的边缘点的个数超过阈值5,则确定该角点和所述个数的边缘点是所述图像显著物体边缘的一部分。
S2、采用多尺度滑窗的方式分割图像Iw×h,滑窗尺寸以0.1为精度,即取值到小数点后一位,在图像Iw×h区域内移动采样,具体包括以下步骤:
S21、定义滑动窗口的多种尺度,如表2所示(实验中,σ1=0.8,σ2=0.5),滑动步长参数(实验中图像显著区域滑窗的滑动步长μ1取0.2,非显著区域滑窗的滑动步长μ2取0.25),滑窗水平方向步长stepx1=wμ1,stepx2=wμ2,垂直方向步长stepy1=hμ1,stepy2=hμ2
表2.多尺度滑动窗口大小表
Figure GDA0003321760590000121
按照上述定义的多尺度滑窗的大小,将每个滑动窗口以图像Iw×h左上角为起点,按照滑动步长stepx、stepy依次从左到右从上到下滑动,取得一系列局部窗口图像(共计t个)集合R={Ri},i=0,1,…,t。
S22、对于任一局部窗口图像Ri,计算水平和垂直方向的梯度。
计算方法:[Gh,Gv]=gradient(Ri),采用方向模板[-1,0,1],计算Ri中任一像素点(x,y)的水平梯度Gh(x,y)和垂直梯度Gv(x,y)。
Figure GDA0003321760590000131
Figure GDA0003321760590000132
则(x,y)点的方向角度θ=arctan(Gv/Gh)。
S23、梯度方向角度取值0~360°,根据图1所示8方向对梯度方向进行量化:采用模糊量化的方法,如图3所示,将实际的梯度方向用投影至相邻两个方向的分量表示。
传统的方向量化方法过于严苛,导致梯度方向量化后的特征鲁棒性较差,对方向较为敏感,为此,我们提出一种模糊量化方法,将一个梯度方向量化至其相邻的两个bin中,即将一个方向用投影至相邻两个方向的分量表示,如图3所示,设某像素点(x,y)的梯度方向为θ(x,y),其相邻的两个bin分别为θk、θk+1,则该梯度方向点量化至θk的分量为
Figure GDA0003321760590000133
量化至θk+1的分量为
Figure GDA0003321760590000134
将S23中得到的梯度方向根据上述模糊量化方法进行量化。
S24、统计所有梯度点得到梯度方向直方图,得到Ri的梯度方向直方图为
Figure GDA0003321760590000135
S25、对梯度方向直方图进行归一化,采用基于目标像素点总数的归一化方法:
Ri的大小为wi×hi梯度方向直方图
Figure GDA0003321760590000136
归一化直方图为
Figure GDA0003321760590000137
S26、直方图特征编码:
经过步骤S25得到Ri的归一化直方图
Figure GDA0003321760590000138
其中0<huj<1,j=0,1,…,7。为了节约计算机计算资源,将上述浮点数据进行编码,采用与实施例1相同的编码方法。
S3、全局尺度间特征窗口匹配:根据梯度方向直方图特征计算所述二维图像中任意窗口图像与数据库图像的相似距离,如果相似距离在相似阈值范围内则标记这一对相似窗口,查找出最相似的窗口,得到一系列相似窗口的匹配结果,匹配方法与实施例1相同,不同的是相似阈值取值为0.6。
S4、采用实施例1相同的方法,采用基于尺度-空间一致性模型的RANSAC算法排除错误的匹配对,保留在尺度和空间位置上都具有一致性的匹配,不同的是,本实施例相似窗口数目的统计采用直接叠加的方法,将正确匹配的相似窗口进行数量上的叠加,最后根据自适应性阈值分割出候选相似区域。
实施例3:
一种图像特征提取与匹配方法,包括以下步骤:
S1、输入二维图像Iw×h,对所述二维图像Iw×h进行边缘检测和角点检测,将所述角点检测得到的角点和所述边缘检测得到的边缘点进行组合,以确定所述二维图像中的图像显著区域,具体方法参照实施例2;
S2、采用多尺度滑窗的方式分割图像Iw×h,在图像Iw×h区域内移动采样,对得到的每个局部窗口图像Ri提取区域图像特征fi,具体包括以下步骤:
S21、定义滑动窗口的多种尺度,如表1所示(实验中,σ1=0.6,σ2=0.4,σ3=0.2),滑动步长参数(实验中图像显著区域滑窗的滑动步长μ1取0.125,非显著区域滑窗的滑动步长μ2取0.2),滑窗水平方向步长stepx1=wμ1,stepx2=wμ2,垂直方向步长stepy1=hμ1,stepy2=hμ2
按照上述定义的多尺度滑窗的大小,将每个滑动窗口以图像Iw×h左上角为起点,按照滑动步长stepx、stepy依次从左到右从上到下滑动,取得一系列局部窗口图像(共计t个)集合R={Ri},i=0,1,…,t。
S22、对于任一图像窗口Ri,计算水平和垂直方向的梯度。
计算方法:[Gh,Gv]=gradient(Ri),采用方向模板[-1,0,1],计算Ri中任一像素点(x,y)的水平梯度Gh(x,y)和垂直梯度Gv(x,y)。
Figure GDA0003321760590000151
Figure GDA0003321760590000152
则(x,y)点的方向角度θ=arctan(Gv/Gh)。
S23、梯度方向角度取值0~360°,根据图1所示8方向对梯度方向进行量化:采用就近方向量化的原则,将实际的梯度方向量化至最近的量化方向上。
S24、统计所有梯度点得到梯度方向直方图,得到Ri的梯度方向直方图为
Figure GDA0003321760590000153
S25、对梯度方向直方图进行归一化,采用基于目标像素点总数及区域面积参数二者结合的归一化方法:
基于以上分析,将两种归一化方法相结合,既保证各个bin之间的相对独立性,又兼顾各个bin统计分布的差异性;
Ri的大小为wi×hi,梯度方向直方图
Figure GDA0003321760590000154
基于目标像素总数的归一化直方图为
Figure GDA0003321760590000155
基于面积参数
Figure GDA0003321760590000156
的归一化直方图为
Figure GDA0003321760590000157
则结合二者的归一化直方图定义为:
Figure GDA0003321760590000161
0<w1,w2<1;w1+w2=1
其中α=0.125为8方向归一化直方图的均值。
S26、直方图特征编码:
经过步骤S25得到Ri的归一化直方图
Figure GDA0003321760590000162
其中0<huj<1,j=0,1,…,7。为了节约计算机计算资源,将上述浮点数据进行编码。
直方图归一化之后,采用针对0246水平垂直方向和1357倾斜方向不同的量化区间,量化区间由大量数据的统计结果得到,采用均匀分布原则:Theven=[-1,0.13,0.35,0.90,1000],Thodd=[-1,0.06,0.14,0.25,0.4,1000],编码规则为0→0000,1→0001,2→0011,3→0111,4→1111。
Figure GDA0003321760590000163
编码之后将各个bin的码字级联得到为一段长度为4*8=32位的二进制串
Figure GDA0003321760590000164
即fi
S3、全局尺度间特征窗口匹配:根据梯度方向直方图特征计算所述二维图像中任意窗口图像与数据库图像的相似距离,如果相似距离在相似阈值范围内则标记这一对相似窗口,查找出最相似的窗口,得到一系列相似窗口的匹配结果,匹配方法与实施例1相同,不同的是相似阈值取值为0.6。
S4、采用实施例1相同的方法,排除错误的匹配对,保留在尺度和空间位置上都具有一致性的匹配,相似窗口数目的统计采用加权叠加的方法,本实施例中定义相似距离最小的权重为2.5,相似距离最大的权重为0.25,保证权重平均大小为1;最后根据自适应性阈值分割出候选相似区域。
实施例4:
一种图像特征提取与匹配方法,包括以下步骤:
S1、输入二维图像Iw×h,对所述二维图像Iw×h进行边缘检测和角点检测,将所述角点检测得到的角点和所述边缘检测得到的边缘点进行组合,以确定所述二维图像中的图像显著区域,具体方法参照实施例2;
S2、采用多尺度滑窗的方式分割图像Iw×h,在图像Iw×h区域内移动采样,对得到的每个局部窗口图像Ri提取区域图像特征fi,具体包括以下步骤:
S21、定义滑动窗口的多种尺度,如表3所示(实验中,σ1=1,σ2=0.7,σ3=0.4,σ3=0.1),滑动步长参数(实验中图像显著区域滑窗的滑动步长μ1取0.05,非显著区域滑窗的滑动步长μ2取0.1),滑窗水平方向步长stepx1=wμ1,stepx2=wμ2,垂直方向步长stepy1=hμ1,stepy2=hμ2
表3.多尺度滑动窗口大小表
Figure GDA0003321760590000171
按照上述定义的多尺度滑窗的大小,将每个滑动窗口以图像Iw×h左上角为起点,按照滑动步长stepx、stepy依次从左到右从上到下滑动,取得一系列局部窗口图像(共计t个)集合R={Ri},i=0,1,…,t。
S22、对于任一图像窗口Ri,计算水平和垂直方向的梯度。
计算方法:[Gh,Gv]=gradient(Ri),采用方向模板[-1,0,1],计算Ri中任一像素点(x,y)的水平梯度Gh(x,y)和垂直梯度Gv(x,y)。
Figure GDA0003321760590000181
Figure GDA0003321760590000182
则(x,y)点的方向角度θ=arctan(Gv/Gh)。
S23、梯度方向角度取值0~360°,根据图1所示8方向对梯度方向进行量化:采用模糊量化的方法,将实际的梯度方向用投影至相邻两个方向的分量表示。
S24、统计所有梯度点得到梯度方向直方图,得到Ri的梯度方向直方图为
Figure GDA0003321760590000183
S25、对梯度方向直方图进行归一化,与实施例3相同,采用基于目标像素点总数及区域面积参数二者结合的归一化方法。
得到归一化直方图为:
Figure GDA0003321760590000184
0<w1,w2<1;w1+w2=1
其中α=0.125为8方向归一化直方图的均值。
S26、直方图特征编码:
经过步骤S25得到Ri的归一化直方图
Figure GDA0003321760590000185
其中0<huj<1,j=0,1,…,7。为了节约计算机计算资源,将上述浮点数据进行编码,采用与实施例1相同的编码方法。
S3、全局尺度间特征窗口匹配:根据梯度方向直方图特征计算所述二维图像中任意窗口图像与数据库图像的相似距离,如果相似距离在相似阈值范围内则标记这一对相似窗口,查找出最相似的窗口,得到一系列相似窗口的匹配结果,匹配方法与实施例1相同。
S4、采用实施例1相同的方法,排除错误的匹配对,保留在尺度和空间位置上都具有一致性的匹配,相似窗口数目的统计采用加权叠加的方法,本实施例中定义相似距离最小的权重为2,相似距离最大的权重为0.25,保证权重平均大小为1;最后根据自适应性阈值分割出候选相似区域。
最后应说明的是:以上所述仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种图像特征提取与匹配方法,其特征在于,包括以下步骤:
S1、输入二维图像,对所述二维图像进行边缘检测和角点检测,将所述角点检测得到的角点和所述边缘检测得到的边缘点进行组合,以确定所述二维图像中的图像显著区域;
S2、采用多尺度滑窗的方式分割图像,在图像区域内滑动采样,在每个窗口内提取图像梯度方向直方图特征,其中,图像显著区域滑窗的滑动步长小于非显著区域滑窗的滑动步长;
S3、全局尺度间特征窗口匹配:根据梯度方向直方图特征计算所述二维图像中任意窗口图像与数据库图像的相似距离,如果相似距离在相似阈值范围内则标记这一对相似窗口,查找出最相似的窗口,得到一系列相似窗口的匹配结果;
S4、排除错误的匹配对,保留在尺度和空间位置上都具有一致性的匹配,统计正确匹配窗口数目,最后根据自适应性阈值分割出相似区域。
2.如权利要求1所述的图像特征提取与匹配方法,其特征在于,步骤S2具体包括以下步骤:
S21、定义滑动窗口的多种尺度,设置滑动步长参数,每个滑动窗口以图像左上角为起点,按照滑动步长依次从左到右从上到下滑动,取得一系列局部窗口图像;
S22、对于每个局部窗口图像,计算水平和垂直方向的梯度;
S23、梯度方向角度取值0~360°,对梯度方向进行8方向量化;
S24、统计所有梯度点得到梯度方向直方图;
S25、对梯度方向直方图进行归一化;
S26、直方图特征编码。
3.如权利要求2所述的图像特征提取与匹配方法,其特征在于,步骤S2中滑窗的尺寸设置为长0.1~1、宽0.1~1的多种组合,图像显著区域滑窗的滑动步长设为0.05~0.2,非显著区域滑窗的滑动步长设为0.1~0.25,以整幅图片的尺寸为1。
4.如权利要求3所述的图像特征提取与匹配方法,其特征在于,步骤S22的计算方法为[Gh,Gv]=gradient(F),采用方向模板[-1,0,1],计算当前像素点的水平梯度和垂直梯度,方向角度θ=arctan(Gv/Gh):
Figure FDA0003321760580000021
Figure FDA0003321760580000022
5.如权利要求4所述的图像特征提取与匹配方法,其特征在于,步骤S23采用就近方向量化的原则,将实际的梯度方向量化至最近的量化方向上;或采用模糊量化的方法,将实际的梯度方向用投影至相邻两个方向的分量表示。
6.如权利要求5所述的图像特征提取与匹配方法,其特征在于,步骤S25采用基于面积的归一化方法:
设特征窗口Ri的大小为wi×hi,梯度方向直方图
Figure FDA00033217605800000211
面积参数
Figure FDA0003321760580000024
基于面积参数的归一化直方图为
Figure FDA0003321760580000025
和/或
基于目标像素点总数的归一化方法:
Ri梯度方向直方图
Figure FDA0003321760580000026
归一化直方图为
Figure FDA0003321760580000027
7.如权利要求2至6中任一项所述的图像特征提取与匹配方法,步骤S3中相似距离计算如下:设滑窗Ai特征向量经过编码后的二值特征串为fi,滑窗Bj特征向量经过编码后的二值特征串为gj,则Ai和Bi-j之间的相似性距离dij通过汉明距离进行计算:
Figure FDA0003321760580000028
其中fi k表示二进制串fi的第k位,
Figure FDA0003321760580000029
表示二进制串gj的第k位,
Figure FDA00033217605800000210
表示异或操作,α的取值等于fi及gj长度的倒数。
8.如权利要求7所述的图像特征提取与匹配方法,其特征在于,步骤S3中相似阈值范围取值为0.4~0.6,且相似的窗口的长宽比必须在0.5~2之间。
9.如权利要求8所述的图像特征提取与匹配方法,其特征在于,步骤S4中采用基于尺度-空间一致性模型的RANSAC算法排除错误匹配,相似窗口数目的统计采用数量上直接叠加或加权叠加的方法。
10.如权利要求9所述的图像特征提取与匹配方法,其特征在于,步骤加权叠加的规则为:每对窗口的权重由相似性距离决定,相似距离越小,权重越大,相似距离越大,权重越小,保证权重平均大小在1左右。
CN201810291396.8A 2018-04-03 2018-04-03 一种图像特征提取与匹配方法 Active CN108830279B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810291396.8A CN108830279B (zh) 2018-04-03 2018-04-03 一种图像特征提取与匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810291396.8A CN108830279B (zh) 2018-04-03 2018-04-03 一种图像特征提取与匹配方法

Publications (2)

Publication Number Publication Date
CN108830279A CN108830279A (zh) 2018-11-16
CN108830279B true CN108830279B (zh) 2021-12-31

Family

ID=64155224

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810291396.8A Active CN108830279B (zh) 2018-04-03 2018-04-03 一种图像特征提取与匹配方法

Country Status (1)

Country Link
CN (1) CN108830279B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110009800B (zh) * 2019-03-14 2023-04-07 北京京东乾石科技有限公司 一种识别方法和设备
CN110503189B (zh) * 2019-08-02 2021-10-08 腾讯科技(深圳)有限公司 一种数据处理方法以及装置
CN113326721A (zh) * 2020-02-29 2021-08-31 湖南超能机器人技术有限公司 基于滑窗再模糊的图像模糊检测方法、设备
CN111640126B (zh) * 2020-05-29 2023-08-22 成都金盘电子科大多媒体技术有限公司 基于医学影像的人工智能诊断辅助方法
CN111738321B (zh) * 2020-06-12 2023-08-08 腾讯音乐娱乐科技(深圳)有限公司 数据处理方法、装置、终端设备以及存储介质
CN112284287B (zh) * 2020-09-24 2022-02-11 哈尔滨工业大学 一种基于结构表面灰度特征的立体视觉三维位移测量方法
CN112488240B (zh) * 2020-12-16 2023-02-03 广东省科学院智能制造研究所 一种基于互相关性的图像频域差分材质匹配方法
CN114219794B (zh) * 2021-12-17 2023-01-20 沭阳县桐盛木业制品厂(普通合伙) 基于机器视觉的刨花板表面质量评估方法及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8452109B2 (en) * 2010-01-11 2013-05-28 Tandent Vision Science, Inc. Image segregation system with method for handling textures
CN102073990A (zh) * 2010-11-26 2011-05-25 中国科学院遥感应用研究所 一种遥感图像自动几何纠正的系统框架和方法
CN103383773B (zh) * 2013-03-26 2016-09-28 中国科学院遥感与数字地球研究所 一种动态提取图像控制点的遥感卫星图像自动正射纠正的框架和方法
CN105205487B (zh) * 2014-05-28 2019-08-23 腾讯科技(深圳)有限公司 一种图片处理方法及装置
CN104463233B (zh) * 2014-12-30 2018-08-17 深圳市捷顺科技实业股份有限公司 车标识别方法及车标识别装置
CN105184225B (zh) * 2015-08-11 2018-12-14 深圳市倍量科技有限公司 一种多国纸币图像识别方法和装置

Also Published As

Publication number Publication date
CN108830279A (zh) 2018-11-16

Similar Documents

Publication Publication Date Title
CN108830279B (zh) 一种图像特征提取与匹配方法
CN108596197B (zh) 一种印章匹配方法及装置
CN110334762B (zh) 一种基于四叉树结合orb和sift的特征匹配方法
Wang et al. Background-driven salient object detection
JP2014056572A (ja) 勾配方位のヒストグラムによるテンプレート・マッチング
Sun et al. Nonoverlapping blocks based copy‐move forgery detection
EP3191980A1 (en) Method and apparatus for image retrieval with feature learning
CN105809651A (zh) 基于边缘非相似性对比的图像显著性检测方法
CN108830283B (zh) 一种图像特征点匹配方法
CN108537832B (zh) 基于局部不变灰度特征的图像配准方法、图像处理系统
US20130243341A1 (en) Frequency domain interest point descriptor
CN108694411B (zh) 一种识别相似图像的方法
CN110599478B (zh) 一种图像区域复制粘贴篡改检测方法
CN108763266B (zh) 一种基于图像特征提取的商标检索方法
CN107247752B (zh) 一种基于角点描述子的图像检索方法
CN108763265B (zh) 一种基于分块检索的图像识别方法
CN110991501B (zh) 一种基于Hessian矩阵的改进ORB特征点匹配方法
Li A fast algorithm for near-duplicate image detection
CN106408029A (zh) 一种基于结构差分直方图的图像纹理分类方法
CN116415210A (zh) 图像侵权检测方法、装置及存储介质
CN110674334A (zh) 基于一致性区域深度学习特征的近重复图像检索方法
CN108898607B (zh) 一种图像多尺度特征提取方法
CN108804499B (zh) 一种商标图像检索方法
CN110070110B (zh) 一种自适应阈值图像匹配方法
de Jesús Martínez Felipe et al. Noisy image block matching based on dissimilarity measure in discrete cosine transform domain

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant