CN108830279A - 一种图像特征提取与匹配方法 - Google Patents
一种图像特征提取与匹配方法 Download PDFInfo
- Publication number
- CN108830279A CN108830279A CN201810291396.8A CN201810291396A CN108830279A CN 108830279 A CN108830279 A CN 108830279A CN 201810291396 A CN201810291396 A CN 201810291396A CN 108830279 A CN108830279 A CN 108830279A
- Authority
- CN
- China
- Prior art keywords
- window
- image
- gradient
- sliding
- similar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
Abstract
一种图像特征提取与匹配方法,包括以下步骤:S1、输入二维图像,对所述二维图像进行边缘检测和角点检测,将所述角点检测得到的角点和所述边缘检测得到的边缘点进行组合,以确定图像显著区域;S2、采用多尺度滑窗的方式分割图像,在整幅图像内滑动采样,在每个窗口内提取图像梯度方向直方图特征,其中,显著区域滑窗的滑动步长小于非显著区域的滑动步长;S3、计算检索图像任意窗口图像与数据库图像的相似距离,如果相似距离在相似阈值范围内则标记这一对相似窗口,查找出最相似的窗口,得到一系列相似窗口的匹配结果;S4、排除错误的匹配对,保留在尺度和空间位置上都具有一致性的匹配,分割出相似区域。
Description
技术领域
本发明涉及图像检索技术领域,尤其涉及一种图像特征提取与匹配方法。
背景技术
商标是公司、产品或服务的标志,与企业的商品质量、服务质量、经营 管理融为一体,在工商业社会中起着非常重要的作用,是公司及其产品的一 个重要属性,具有唯一性。为使商标得到合法的保护,必须向商标局正式注 册。随着我国经济的发展和全球化进程的加快,商标数量逐年递增。防止重 复注册或相似商标注册是商标管理的核心问题。为了保护注册商标的合法权 益,打击仿冒盗用注册商标的违法行为,需要对待注册的商标进行检索,与 已注册的商标进行比较,确定二者不相同或者不相近似,才具有注册资格。
商标图像的识别检索是多媒体信息检索领域的热点问题,图像识别检索 方法尽管多种多样,但其核心问题都是围绕特征提取与匹配,即特征算法。 特征提取是指通过分析以数据的形式将图形的特性描述出来,而特征匹配是 指对不同图形的特征数据进行匹配计算以获得二者之间的差距。不同的特征 算法所提取的图形特征是不一样的,而特征算法性能的好坏直接决定着检索 方法的性能的好坏。因此检索方法的核心就是找到一种高效快速的特征算法, 使其既有高效稳定的特征提取又有快速精确的特征匹配。特征算法在检索中 主要应用在两个地方。一是特征数据库的建立。在建立特征数据库的时候要 使用特征算法对所有的图形进行特征提取得到对应的特征数据,将这些特征 数据与其对应的图形按一定的规则保存起来就建立了特征数据库。二是按用 户输入的要求的自动分析。用户以某种方式输入图形后,由特征算法对该图 形进行特征提取,然后将得到特征与特征数据库中的特征进行特征匹配,从 而找到与输入图形相似的图形。基于内容的图像检索的关键问题是找到一种 稳定、高效、精确的特征提取与匹配方法。
发明内容
本发明提供了一种图像特征提取与匹配方法,具体包括以下步骤:
S1、输入二维图像,对所述二维图像进行边缘检测和角点检测,将所述 角点检测得到的角点和所述边缘检测得到的边缘点进行组合,以确定所述二 维图像中的图像显著区域;
S2、多尺度特征提取:采用多尺度滑窗的方式分割该包含物体的最小图 像区域,滑窗在图像区域内移动采样,在每个窗口内提取图像梯度方向直方 图特征,其中,图像显著区域滑窗的滑动步长小于非显著区域滑窗的滑动步 长;
S3、全局尺度间特征窗口匹配:计算检索图像任意窗口图像与数据库图 像的相似距离,如果相似距离在相似阈值范围内则标记这一对相似窗口,查 找出最相似的窗口,得到一系列相似窗口的匹配结果;
S4、排除错误的匹配对,保留在尺度和空间位置上都具有一致性的匹配, 将正确匹配窗口进行数量上的叠加,根据自适应性阈值分割出相似区域。
进一步地,判定显著区域的条件为:如果在一个角点的5*5邻域内的边 缘点的个数超过特定阈值,则确定该角点和所述个数的边缘点是所述图像显 著物体边缘的一部分。
进一步地,步骤S2具体包括以下步骤:
S21、对于给定窗口,计算水平和垂直方向的梯度;
S22、梯度方向角度取值0~360°,对梯度方向进行8方向量化;
S23、统计所有梯度点得到梯度方向直方图;
S24、对梯度方向直方图进行归一化;
S25、直方图特征编码。
进一步地,窗口的大小及滑动步长均按照图像实际大小的一些固定比例 计算,步骤S2中滑窗的尺寸设置为长0.1~1、宽0.1~1的多种组合,图像显著 区域滑窗的滑动步长设为0.05~0.2,非显著区域滑窗的滑动步长设为0.1~0.25, 对重点区域着重提取特征。
进一步地,步骤S21的计算方法为[Gh,Gv]=gradient(F),采用方向模板 [-1,0,1],计算当前像素点的水平梯度和垂直梯度,方向角度θ=arctan(Gv/Gh):
计算图像像素点间的梯度有多种方式,简单的一维中心模板[-1,0,1]效果 最好,复杂模板在实验中会降低检索性能。
进一步地,步骤S22中的量化方法可以采用就近方向量化的原则,将实 际的梯度方向量化至最近的量化方向上,运算较简单;也可以采用模糊量化 的方法,将实际的梯度方向用投影至相邻两个方向的分量表示,模糊量化方 法对方向的敏感度较低、梯度方向量化后的特征鲁棒性好。
进一步地,步骤S24采用基于面积的归一化方法:
设特征窗口Ri的大小为wi×hi,梯度方向直方图面积 参数基于面积参数的归一化直方图为该方法使 特征具有较好的尺度一致性,既包含了特征窗口中边缘信息的丰富程度,又 可反映各个梯度方向统计分布信息,单个bin的变化不会影响其他bin的值; 和/或
基于目标像素点总数的归一化方法:
Ri梯度方向直方图归一化直方图为该 方法使特征具有良好的尺度一致性,同时体现出各个梯度方向相对统计分布 信息;
优选为上述两种方法的结合,综合了两种方法的优点,既保证各个bin之 间的相对独立性,又兼顾各个bin统计分布的差异性。
进一步地,步骤S3中相似距离计算如下:设滑窗Ai特征向量经过编码后 的二值特征串为fi,滑窗Bj特征向量经过编码后的二值特征串为gj,则Ai和Bi-j之间的相似性距离dij通过汉明距离进行计算:其中fi k表示二 进制串fi的第k位,表示二进制串gj的第k位,表示异或操作,α的取值 等于fi及gj长度的倒数。
进一步地,步骤S3中相似性条件为:相似阈值范围取值为0.4~0.6,即数 据库图像窗口的中心位置在检索图像任意滑动窗口附近的一定范围内,且相 似的窗口必须有相近的长宽比,本发明的长宽比设置在0.5~2之间。
经过全局范围内的尺度间搜索匹配,能查找到一些正确的匹配窗口,也 包含了一些错误的匹配,一种是尺度匹配错误,另一种是位置匹配错误。进 一步地,步骤S4中采用基于尺度-空间一致性模型的RANSAC算法排除错误 匹配,相似窗口数目的统计采用数量上直接叠加或加权叠加的方法。
进一步地,步骤加权叠加的规则为:每对窗口的权重由相似性距离决定, 相似距离越小,权重越大,相似距离越大,权重越小,保证权重平均大小在1 左右。
统计相似窗口的数目,越相似的区域相似窗口的数目越多,将正确匹配 的相似窗口进行数量上的叠加,叠加方法包括两种:(1)相似窗口的直接叠 加,(2)加权叠加;每对窗口的权重由相似性距离决定,相似距离越小,权 重越大,相似距离越大,权重越小,权重平均大小在1左右。得到相似窗口 的叠加结果之后,根据自适应性阈值矩阵分割出相似区域,设T0为初始阈值 矩阵,大小为10*10,设所有相似窗口的总面积为s,则自适应的阈值矩阵为T=κ·T0·(s/100)α,然后计算得到相似区域分割矩阵,矩阵中不为0的部分表示 图像中的候选相似区域。
本发明的有益效果如下:
1、图像特征提取之前,先采用高效的显著区域检测技术得到图像的显著 区域,在引入较小时间开销的前提下有效检测出图像的关键区域;然后在该 区域内重点提取特征,提高特征提取步骤的效率;
2、采用多尺度滑窗的方式,提取的图像特征更加丰富;
3、图像特征匹配算法精确,可提高后续图像检索的准确度;
4、图像特征提取与匹配速度快、效率高;
5、算法稳定性高。
附图说明
图1为梯度8方向示意图;
图2为就近量化方法示意图;
图3为模糊量化方法示意图;
图4为多尺度相似窗口加权叠加示意图。
具体实施方式
下面将结合本发明的实施例中的附图,对本发明的实施例中的技术方案 进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例, 而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有 做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1:
一种图像特征提取与匹配方法,包括以下步骤:
S1、输入二维图像Iw×h,对所述二维图像进行边缘检测和角点检测,将所 述角点检测得到的角点和所述边缘检测得到的边缘点进行组合,以确定所述 二维图像中的图像显著区域,判定显著区域的条件为:如果在一个角点的5*5 邻域内的边缘点的个数超过阈值6,则确定该角点和所述个数的边缘点是所述 图像显著物体边缘的一部分;
S2、采用多尺度滑窗的方式分割图像Iw×h,滑窗尺寸以0.1为精度,在图 像Iw×h内移动采样,对得到的每个局部窗口图像Ri提取区域图像特征fi,即提 取图像梯度方向直方图特征,具体包括以下步骤:
S21、定义滑动窗口的多种尺度,如表1所示(实验中, σ1=0.8,σ2=0.6,σ3=0.4),滑动步长参数(实验中图像显著区域滑窗的滑动 步长μ1取0.1,非显著区域滑窗的滑动步长μ2取0.2),滑窗水平方向步长 stepx1=wμ1,stepx2=wμ2,垂直方向步长stepy1=hμ1,stepy2=hμ2。
表1.多尺度滑动窗口大小表
按照上述定义的多尺度滑窗的大小,将每个滑动窗口以图像Iw×h左上角为 起点,按照滑动步长stepx、stepy依次从左到右从上到下滑动,取得一系列局 部窗口图像(共计t个)集合R={Ri}+,i=0,1,…,t。
S22、对于任一图像窗口Ri,计算水平和垂直方向的梯度。
计算方法:[Gh,Gv]=gradient(Ri),采用方向模板[-1,0,1],计算Ri中任一像 素点(x,y)的水平梯度Gh(x,y)和垂直梯度Gv(x,y)。
则(x,y)点的方向角度θ=arctan(Gv/Gh)。
S23、梯度方向角度取值0~360°,根据图1所示8方向对梯度方向进行 量化:采用就近方向量化的原则,如图2所示,将实际的梯度方向量化至最 近的量化方向上。
S24、统计所有梯度点得到梯度方向直方图,得到Ri的梯度方向直方图为
S25、对梯度方向直方图进行归一化,采用基于面积的归一化方法:
Ri的大小为wi×hi,梯度方向直方图面积参数基于面积参数的归一化直方图为
S26、直方图特征编码:
经过步骤S25得到Ri的归一化直方图其中 0<huj<1,j=0,1,…,7。为了节约计算机计算资源,将上述浮点数据进行编码。
直方图归一化之后按照各个区间梯度点均匀概率分布的原则计算量化区 间(0,0.098),(0.098,0.134),(0.134,0.18),(0.18,0.24),(0.24,1),该量化区间的计算由当前样本集合进行统计计算实验得到。对落在这5个区间的数据进行编码分别为: 0000,0001,0011,0111,1111.编码之后将各个bin的码字级联得 到为一段长度为4*8=32位的二进制串即fi。
S3、全局尺度间特征窗口匹配:
以检索图像和数据库中任意图像为例:对检索图像中的 任意滑动窗口Ai,遍历数据库中图像中所有符合相似可能性条件的窗口 Bj,j=k1,k2,...,计算得到的相似距离为查找出最相似的窗口 如果相似距离在相似阈值范围内则标记这一对相似窗口, 即dmin-i<Tsim,Tsim为经验值,在本例中取值为0.5。
这里相似距离计算如下:设滑窗Ai特征向量经过编码后的二值特征串为fi, 滑窗Bj特征向量经过编码后的二值特征串为gj,则Ai和Bi-j之间的相似性距离 dij通过汉明距离进行计算:其中fi k表示二进制串fi的第k位, 表示二进制串gj的第k位,表示异或操作,α的取值等于fi及gj长度的倒 数。
这里的相似可能性条件如下:
(1)窗口Bj的中心位置在Ai中心位置附近的一定范围内,允许变换范围 为u=0.5(偏移范围,窗口中心位置按照图形长宽的比例计算,偏移也按照长 宽的比例计算,这里,允许偏移范围为长或宽的二分之一),即 且同理且
(2)设Ai的长宽比Bj的长宽比则有且即相似 的窗口必须有相近的长宽比。
通过上述操作得到A和B相似窗口的匹配集合{Ai:Bj},由于是全局尺度间 的查找模式,其中可能存在不符合空间一致性的匹配对。下面将从所有这些 结果中筛选正确的匹配结果。
S4、排除错误的匹配对,保留在尺度和空间位置上都具有一致性的匹配, 分割出候选相似区域。
S41、采用基于尺度-空间一致性模型的RANSAC算法排除错误匹配。
经过全局范围内的尺度间搜索匹配,能查找到一些正确的匹配窗口,也 包含了一些错误的匹配,一种是尺度匹配错误,另一种是位置匹配错误,采 用尺度-空间一致性的方法消除错误匹配。
采用改进的RANSAC(随机抽样一致性)算法排除错误的匹配对,保留 在尺度上和空间位置上都具有一致性的匹配对,步骤如下:
(1)对匹配数据集合{Ai:Bj}中的任意一对匹配窗口,计算出变换矩阵L, 记为模型M,模型的定义如下:
变换模型:设一对匹配窗口{(x1,y1),(x1′,y1′)}:{(x2,y2),(x2′,y2′)},其中(x1,y1)、 (x1′,y1′)分别表示窗口Ai的左上角和右下角坐标,(x2,y2)、(x2′,y2′)表示窗口Bj左上角和右下角坐标,则存在空间变换模型使得 可求解出L,其中a1、a2为特定匹配窗口相关的缩放参数,tx、 ty是与特定匹配窗口相关的平移参数。
(2)计算数据集中所有数据与模型M的投影误差,若误差小于阈值,加 入内点集I;
(3)如果当前内点集I中元素个数大于最优内点集I_best,则更新 I_best=I;
(4)遍历数据集合中的所有数据,重复上述步骤。
(5)最优内点集I_best中的样本即为正确的匹配样本,最终得到正确匹 配样本集合I_best={Ai:Bj}。
S42、根据自适应性阈值分割出相似区域。
对于分别定义矩阵
(1)对于I_best={Ai:Bj}的任意一对匹配窗口 {(x1,y1),(x1′,y1′)}:{(x2,y2),(x2′,y2′)}(其中(x1,y1)、(x1′,y1′)分别表示窗口Ai的左上角 和右下角坐标,(x2,y2)、(x2′,y2′)表示窗口Bj左上角和右下角坐标),其相似性距 离为dij,定义加权系数ωij=min(2,2.67-3.33dij),则有
(2)遍历I_best={Ai:Bj}中的所有匹配样本重复(1),更新和相似窗口数目的统计采用加权叠加的方法,规则为:每对窗口的权重由相似 性距离决定,相似距离越小,权重越大,相似距离越大,权重越小,权重平 均大小在1左右。本实施例中定义相似距离最小的权重为2,相似距离最大的 权重为0.5,保证权重平均大小为1;如图4为多尺度相似窗口加权叠加示意 图,颜色越深标识叠加值越小。
(3)将和通过采样缩小为CA10×10和CB10×10.
(4)定义初始阈值矩阵:
T0的设定和具体滑窗的规格有关。设在集合I_best={Ai:Bj}所有属于的所有窗口的总面积为sA,则自适应的阈值矩阵为TA=κT0(sA/(100w1h1))α, 在集合I_best={Ai:Bj}所有属于的所有窗口的总面积为sB,则自适应的阈 值矩阵为TB=κT0(sB/(100w2h2))α,这里κ=0.2,α=0.7为经验值,随着滑动窗口 规格的变化参数应进行适应性的调整。
则有相似区域分割矩阵矩阵中不为0的部分表示图像中的候选相似区域。
实施例2:
一种图像特征提取与匹配方法,包括以下步骤:
S1、输入二维图像Iw×h,对所述二维图像Iw×h进行边缘检测和角点检测, 将所述角点检测得到的角点和所述边缘检测得到的边缘点进行组合,以确定 所述二维图像中的图像显著区域,具体步骤如下;
S11、利用Canny边缘检测算法获得所述二维图像的边缘点,通过按如下 设置上限阈值和下限阈值来引入所述二维图像中的局部信息:在每一个像素 的5*5邻域中,求出各个像素的方向导数的最大值max和平均值ave,并将所 述上限阈值设定为0.9*max,将所述下限阈值设定为ave;
S12、对所述二维图像进行角点检测;
S121、对所述二维图像进行高斯滤波,以去除噪声干扰;
S122、计算经过高斯滤波后的二维图像的R图像: R(x,y)=λ1λ2-α(λ1+λ2)2,stepx2=wμ2其中λ1,λ2为矩阵的特征值,其中 Ix和Iy分别为经过高斯滤波后的二维图像在x、y方向一阶方向导数, Ixy、Iyx为二阶方向导数,α为经验常数;
S123、使用σ=1的高斯滤波器对所述R图像进行卷积,得到图像;
S124、将图像中小于t的值置零,其中t=0.01Rmax,其中Rmax表示所述 图像中的最大值;
S125、在经过所述置零后的图像中进行3*3邻域内的非最大值抑制,最 后在图像中的不为零的点为检测得到的角点,其中,在所述角点检测中仅考 虑R图像中满足以下情况的像素点:λ1>>λ2,λ1<<λ2和λ1≈λ2;
S13、将所述角点检测得到的角点和所述边缘检测得到的边缘点进行组合, 以确定所述二维图像中的图像显著区域,判定条件为:如果在一个角点的5*5 邻域内的边缘点的个数超过阈值5,则确定该角点和所述个数的边缘点是所述 图像显著物体边缘的一部分。
S2、采用多尺度滑窗的方式分割图像Iw×h,滑窗尺寸以0.1为精度,即取 值到小数点后一位,在图像Iw×h区域内移动采样,具体包括以下步骤:
S21、定义滑动窗口的多种尺度,如表2所示(实验中,σ1=0.8,σ2=0.5), 滑动步长参数(实验中图像显著区域滑窗的滑动步长μ1取0.2,非显著区域 滑窗的滑动步长μ2取0.25),滑窗水平方向步长stepx1=wμ1,stepx2=wμ2,垂 直方向步长stepy1=hμ1,stepy2=hμ2。
表2.多尺度滑动窗口大小表
按照上述定义的多尺度滑窗的大小,将每个滑动窗口以图像Iw×h左上角为 起点,按照滑动步长stepx、stepy依次从左到右从上到下滑动,取得一系列局 部窗口图像(共计t个)集合R={Ri},i=0,1,…,t。
S22、对于任一局部窗口图像Ri,计算水平和垂直方向的梯度。
计算方法:[Gh,Gv]=gradient(Ri),采用方向模板[-1,0,1],计算Ri中任一像 素点(x,y)的水平梯度Gh(x,y)和垂直梯度Gv(x,y)。
则(x,y)点的方向角度θ=arctan(Gv/Gh)。
S23、梯度方向角度取值0~360°,根据图1所示8方向对梯度方向进行 量化:采用模糊量化的方法,如图3所示,将实际的梯度方向用投影至相邻 两个方向的分量表示。
传统的方向量化方法过于严苛,导致梯度方向量化后的特征鲁棒性较差, 对方向较为敏感,为此,我们提出一种模糊量化方法,将一个梯度方向量化 至其相邻的两个bin中,即将一个方向用投影至相邻两个方向的分量表示,如 图3所示,设某像素点(x,y)的梯度方向为θ(x,y),其相邻的两个bin分别为 θk、θk+1,则该梯度方向点量化至θk的分量为量化至θk+1的分量为 将S23中得到的梯度方向根据上述模糊量化方法进行量化。
S24、统计所有梯度点得到梯度方向直方图,得到Ri的梯度方向直方图为
S25、对梯度方向直方图进行归一化,采用基于目标像素点总数的归一化 方法:
Ri的大小为wi×hi,梯度方向直方图归一化直方图为
S26、直方图特征编码:
经过步骤S25得到Ri的归一化直方图其中0<huj<1,j=0,1,…,7。为了节约计算机计算资源,将上述浮点数据进行编码, 采用与实施例1相同的编码方法。
S3、全局尺度间特征窗口匹配:计算检索图像任意窗口图像与数据库图 像的相似距离,如果相似距离在相似阈值范围内则标记这一对相似窗口,查 找出最相似的窗口,得到一系列相似窗口的匹配结果,匹配方法与实施例1 相同,不同的是相似阈值取值为0.6。
S4、采用实施例1相同的方法,采用基于尺度-空间一致性模型的RANSAC 算法排除错误的匹配对,保留在尺度和空间位置上都具有一致性的匹配,不 同的是,本实施例相似窗口数目的统计采用直接叠加的方法,将正确匹配的 相似窗口进行数量上的叠加,最后根据自适应性阈值分割出候选相似区域。
实施例3:
一种图像特征提取与匹配方法,包括以下步骤:
S1、输入二维图像Iw×h,对所述二维图像Iw×h进行边缘检测和角点检测, 将所述角点检测得到的角点和所述边缘检测得到的边缘点进行组合,以确定 所述二维图像中的图像显著区域,具体方法参照实施例2;
S2、采用多尺度滑窗的方式分割图像Iw×h,在图像Iw×h区域内移动采样, 对得到的每个局部窗口图像Ri提取区域图像特征fi,具体包括以下步骤:
S21、定义滑动窗口的多种尺度,如表1所示(实验中, σ1=0.6,σ2=0.4,σ3=0.2),滑动步长参数(实验中图像显著区域滑窗的滑动 步长μ1取0.125,非显著区域滑窗的滑动步长μ2取0.2),滑窗水平方向步 长stepx1=wμ1,stepx2=wμ2,垂直方向步长stepy1=hμ1,stepy2=hμ2。
按照上述定义的多尺度滑窗的大小,将每个滑动窗口以图像Iw×h左上角为 起点,按照滑动步长stepx、stepy依次从左到右从上到下滑动,取得一系列局 部窗口图像(共计t个)集合R={Ri},i=0,1,…,t。
S22、对于任一图像窗口Ri,计算水平和垂直方向的梯度。
计算方法:[Gh,Gv]=gradient(Ri),采用方向模板[-1,0,1],计算Ri中任一像 素点(x,y)的水平梯度Gh(x,y)和垂直梯度Gv(x,y)。
则(x,y)点的方向角度θ=arctan(Gv/Gh)。
S23、梯度方向角度取值0~360°,根据图1所示8方向对梯度方向进行 量化:采用就近方向量化的原则,将实际的梯度方向量化至最近的量化方向 上。
S24、统计所有梯度点得到梯度方向直方图,得到Ri的梯度方向直方图为
S25、对梯度方向直方图进行归一化,采用基于目标像素点总数及区域面 积参数二者结合的归一化方法:
基于以上分析,将两种归一化方法相结合,既保证各个bin之间的相对独 立性,又兼顾各个bin统计分布的差异性;
Ri的大小为wi×hi,梯度方向直方图基于目标像素总数 的归一化直方图为基于面积参数的归一化直方图为
则结合二者的归一化直方图定义为:
0<w1,w2<1;w1+w2=1
其中α=0.125为8方向归一化直方图的均值。
S26、直方图特征编码:
经过步骤S25得到Ri的归一化直方图其中 0<huj<1,j=0,1,…,7。为了节约计算机计算资源,将上述浮点数据进行编码。
直方图归一化之后,采用针对0246水平垂直方向和1357倾斜方向不同的 量化区间,量化区间由大量数据的统计结果得到,采用均匀分布原则: Theven=[-1,0.13,0.35,0.90,1000],Thodd=[-1,0.06,0.14,0.25,0.4,1000],编码规则为 0→0000,1→0001,2→0011,3→0111,4→1111。编码之后将各 个bin的码字级联得到为一段长度为4*8=32位的二进制串即fi。
S3、全局尺度间特征窗口匹配:计算检索图像任意窗口图像与数据库图 像的相似距离,如果相似距离在相似阈值范围内则标记这一对相似窗口,查 找出最相似的窗口,得到一系列相似窗口的匹配结果,匹配方法与实施例1 相同,不同的是相似阈值取值为0.6。
S4、采用实施例1相同的方法,排除错误的匹配对,保留在尺度和空间位 置上都具有一致性的匹配,相似窗口数目的统计采用加权叠加的方法,本实 施例中定义相似距离最小的权重为2.5,相似距离最大的权重为0.25,保证权 重平均大小为1;最后根据自适应性阈值分割出候选相似区域。
实施例4:
一种图像特征提取与匹配方法,包括以下步骤:
S1、输入二维图像Iw×h,对所述二维图像Iw×h进行边缘检测和角点检测, 将所述角点检测得到的角点和所述边缘检测得到的边缘点进行组合,以确定 所述二维图像中的图像显著区域,具体方法参照实施例2;
S2、采用多尺度滑窗的方式分割图像Iw×h,在图像Iw×h区域内移动采样, 对得到的每个局部窗口图像Ri提取区域图像特征fi,具体包括以下步骤:
S21、定义滑动窗口的多种尺度,如表3所示(实验中, σ1=1,σ2=0.7,σ3=0.4,σ3=0.1),滑动步长参数(实验中图像显著区域滑窗 的滑动步长μ1取0.05,非显著区域滑窗的滑动步长μ2取0.1),滑窗水平方 向步长stepx1=wμ1,stepx2=wμ2,垂直方向步长stepy1=hμ1,stepy2=hμ2。
表3.多尺度滑动窗口大小表
按照上述定义的多尺度滑窗的大小,将每个滑动窗口以图像Iw×h左上角为 起点,按照滑动步长stepx、stepy依次从左到右从上到下滑动,取得一系列局 部窗口图像(共计t个)集合R={Ri},i=0,1,…,t。
S22、对于任一图像窗口Ri,计算水平和垂直方向的梯度。
计算方法:[Gh,Gv]=gradient(Ri),采用方向模板[-1,0,1],计算Ri中任一像 素点(x,y)的水平梯度Gh(x,y)和垂直梯度Gv(x,y)。
则(x,y)点的方向角度θ=arctan(Gv/Gh)。
S23、梯度方向角度取值0~360°,根据图1所示8方向对梯度方向进行 量化:采用模糊量化的方法,将实际的梯度方向用投影至相邻两个方向的分 量表示。
S24、统计所有梯度点得到梯度方向直方图,得到Ri的梯度方向直方图为
S25、对梯度方向直方图进行归一化,与实施例3相同,采用基于目标像 素点总数及区域面积参数二者结合的归一化方法。
得到归一化直方图为:
0<w1,w2<1;w1+w2=1
其中α=0.125为8方向归一化直方图的均值。
S26、直方图特征编码:
经过步骤S25得到Ri的归一化直方图其中 0<huj<1,j=0,1,…,7。为了节约计算机计算资源,将上述浮点数据进行编码, 采用与实施例1相同的编码方法。
S3、全局尺度间特征窗口匹配:计算检索图像任意窗口图像与数据库图 像的相似距离,如果相似距离在相似阈值范围内则标记这一对相似窗口,查 找出最相似的窗口,得到一系列相似窗口的匹配结果,匹配方法与实施例1 相同。
S4、采用实施例1相同的方法,排除错误的匹配对,保留在尺度和空间位 置上都具有一致性的匹配,相似窗口数目的统计采用加权叠加的方法,本实 施例中定义相似距离最小的权重为2,相似距离最大的权重为0.25,保证权重 平均大小为1;最后根据自适应性阈值分割出候选相似区域。
最后应说明的是:以上所述仅为本发明的优选实施例而已,并不用于限 制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的 技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或 者对其中部分技术特征进行等同替换,凡在本发明的精神和原则之内,所作的 任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种图像特征提取与匹配方法,其特征在于,包括以下步骤:
S1、输入二维图像,对所述二维图像进行边缘检测和角点检测,将所述角点检测得到的角点和所述边缘检测得到的边缘点进行组合,以确定所述二维图像中的图像显著区域;
S2、采用多尺度滑窗的方式分割图像,在图像区域内滑动采样,在每个窗口内提取图像梯度方向直方图特征,其中,图像显著区域滑窗的滑动步长小于非显著区域滑窗的滑动步长;
S3、全局尺度间特征窗口匹配:计算检索图像任意窗口图像与数据库图像的相似距离,如果相似距离在相似阈值范围内则标记这一对相似窗口,查找出最相似的窗口,得到一系列相似窗口的匹配结果;
S4、排除错误的匹配对,保留在尺度和空间位置上都具有一致性的匹配,统计正确匹配窗口数目,最后根据自适应性阈值分割出相似区域。
2.如权利要求1所述的图像特征提取与匹配方法,其特征在于,步骤S2具体包括以下步骤:
S21、定义滑动窗口的多种尺度,设置滑动步长参数,每个滑动窗口以图像左上角为起点,按照滑动步长依次从左到右从上到下滑动,取得一系列局部窗口图像;
S22、对于每个局部窗口图像,计算水平和垂直方向的梯度;
S23、梯度方向角度取值0~360°,对梯度方向进行8方向量化;
S24、统计所有梯度点得到梯度方向直方图;
S25、对梯度方向直方图进行归一化;
S26、直方图特征编码。
3.如权利要求2所述的图像特征提取与匹配方法,其特征在于,步骤S2中滑窗的尺寸设置为长0.1~1、宽0.1~1的多种组合,图像显著区域滑窗的滑动步长设为0.05~0.2,非显著区域滑窗的滑动步长设为0.1~0.25,以整幅图片的尺寸为1。
4.如权利要求3所述的图像特征提取与匹配方法,其特征在于,步骤S22的计算方法为[Gh,Gv]=gradient(F),采用方向模板[-1,0,1],计算当前像素点的水平梯度和垂直梯度,方向角度θ=arctan(Gv/Gh):
5.如权利要求4所述的图像特征提取与匹配方法,其特征在于,步骤S23采用就近方向量化的原则,将实际的梯度方向量化至最近的量化方向上;或采用模糊量化的方法,将实际的梯度方向用投影至相邻两个方向的分量表示。
6.如权利要求5所述的图像特征提取与匹配方法,其特征在于,步骤S25采用基于面积的归一化方法:
设特征窗口Ri的大小为wi×hi,梯度方向直方图面积参数基于面积参数的归一化直方图为和/或
基于目标像素点总数的归一化方法:
Ri梯度方向直方图归一化直方图为
优选为两种方法的结合。
7.如权利要求2至6中任一项所述的图像特征提取与匹配方法,步骤S3中相似距离计算如下:设滑窗Ai特征向量经过编码后的二值特征串为fi,滑窗Bj特征向量经过编码后的二值特征串为gj,则Ai和Bi-j之间的相似性距离dij通过汉明距离进行计算:其中fi k表示二进制串fi的第k位,表示二进制串gj的第k位,表示异或操作,α的取值等于fi及gj长度的倒数。
8.如权利要求7所述的图像特征提取与匹配方法,其特征在于,步骤S3中相似阈值范围取值为0.4~0.6,且相似的窗口的长宽比必须在0.5~2之间。
9.如权利要求8所述的图像特征提取与匹配方法,其特征在于,步骤S4中采用基于尺度-空间一致性模型的RANSAC算法排除错误匹配,相似窗口数目的统计采用数量上直接叠加或加权叠加的方法。
10.如权利要求9所述的图像特征提取与匹配方法,其特征在于,步骤加权叠加的规则为:每对窗口的权重由相似性距离决定,相似距离越小,权重越大,相似距离越大,权重越小,保证权重平均大小在1左右。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810291396.8A CN108830279B (zh) | 2018-04-03 | 2018-04-03 | 一种图像特征提取与匹配方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810291396.8A CN108830279B (zh) | 2018-04-03 | 2018-04-03 | 一种图像特征提取与匹配方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108830279A true CN108830279A (zh) | 2018-11-16 |
CN108830279B CN108830279B (zh) | 2021-12-31 |
Family
ID=64155224
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810291396.8A Active CN108830279B (zh) | 2018-04-03 | 2018-04-03 | 一种图像特征提取与匹配方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108830279B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110009800A (zh) * | 2019-03-14 | 2019-07-12 | 北京京东尚科信息技术有限公司 | 一种识别方法和设备 |
CN110503189A (zh) * | 2019-08-02 | 2019-11-26 | 腾讯科技(深圳)有限公司 | 一种数据处理方法以及装置 |
CN111640126A (zh) * | 2020-05-29 | 2020-09-08 | 成都金盘电子科大多媒体技术有限公司 | 基于医学影像的人工智能诊断辅助方法 |
CN111738321A (zh) * | 2020-06-12 | 2020-10-02 | 腾讯音乐娱乐科技(深圳)有限公司 | 数据处理方法、装置、终端设备以及存储介质 |
CN112284287A (zh) * | 2020-09-24 | 2021-01-29 | 哈尔滨工业大学 | 一种基于结构表面灰度特征的立体视觉三维位移测量方法 |
CN112488240A (zh) * | 2020-12-16 | 2021-03-12 | 广东省科学院智能制造研究所 | 一种基于互相关性的图像频域差分材质匹配方法 |
CN113326721A (zh) * | 2020-02-29 | 2021-08-31 | 湖南超能机器人技术有限公司 | 基于滑窗再模糊的图像模糊检测方法、设备 |
CN114219794A (zh) * | 2021-12-17 | 2022-03-22 | 沭阳县桐盛木业制品厂(普通合伙) | 基于机器视觉的刨花板表面质量评估方法及系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102073990A (zh) * | 2010-11-26 | 2011-05-25 | 中国科学院遥感应用研究所 | 一种遥感图像自动几何纠正的系统框架和方法 |
US20110170768A1 (en) * | 2010-01-11 | 2011-07-14 | Tandent Vision Science, Inc. | Image segregation system with method for handling textures |
CN103383773A (zh) * | 2013-03-26 | 2013-11-06 | 中国科学院遥感与数字地球研究所 | 一种动态提取图像控制点的遥感卫星图像自动正射纠正的框架和方法 |
CN104463233A (zh) * | 2014-12-30 | 2015-03-25 | 深圳市捷顺科技实业股份有限公司 | 车标识别方法及车标识别装置 |
CN105184225A (zh) * | 2015-08-11 | 2015-12-23 | 深圳市倍量科技有限公司 | 一种多国纸币图像识别方法和装置 |
CN105205487A (zh) * | 2014-05-28 | 2015-12-30 | 腾讯科技(深圳)有限公司 | 一种图片处理方法及装置 |
-
2018
- 2018-04-03 CN CN201810291396.8A patent/CN108830279B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110170768A1 (en) * | 2010-01-11 | 2011-07-14 | Tandent Vision Science, Inc. | Image segregation system with method for handling textures |
CN102073990A (zh) * | 2010-11-26 | 2011-05-25 | 中国科学院遥感应用研究所 | 一种遥感图像自动几何纠正的系统框架和方法 |
CN103383773A (zh) * | 2013-03-26 | 2013-11-06 | 中国科学院遥感与数字地球研究所 | 一种动态提取图像控制点的遥感卫星图像自动正射纠正的框架和方法 |
CN105205487A (zh) * | 2014-05-28 | 2015-12-30 | 腾讯科技(深圳)有限公司 | 一种图片处理方法及装置 |
CN104463233A (zh) * | 2014-12-30 | 2015-03-25 | 深圳市捷顺科技实业股份有限公司 | 车标识别方法及车标识别装置 |
CN105184225A (zh) * | 2015-08-11 | 2015-12-23 | 深圳市倍量科技有限公司 | 一种多国纸币图像识别方法和装置 |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110009800A (zh) * | 2019-03-14 | 2019-07-12 | 北京京东尚科信息技术有限公司 | 一种识别方法和设备 |
CN110503189A (zh) * | 2019-08-02 | 2019-11-26 | 腾讯科技(深圳)有限公司 | 一种数据处理方法以及装置 |
CN110503189B (zh) * | 2019-08-02 | 2021-10-08 | 腾讯科技(深圳)有限公司 | 一种数据处理方法以及装置 |
CN113326721A (zh) * | 2020-02-29 | 2021-08-31 | 湖南超能机器人技术有限公司 | 基于滑窗再模糊的图像模糊检测方法、设备 |
CN111640126A (zh) * | 2020-05-29 | 2020-09-08 | 成都金盘电子科大多媒体技术有限公司 | 基于医学影像的人工智能诊断辅助方法 |
CN111640126B (zh) * | 2020-05-29 | 2023-08-22 | 成都金盘电子科大多媒体技术有限公司 | 基于医学影像的人工智能诊断辅助方法 |
CN111738321A (zh) * | 2020-06-12 | 2020-10-02 | 腾讯音乐娱乐科技(深圳)有限公司 | 数据处理方法、装置、终端设备以及存储介质 |
CN111738321B (zh) * | 2020-06-12 | 2023-08-08 | 腾讯音乐娱乐科技(深圳)有限公司 | 数据处理方法、装置、终端设备以及存储介质 |
CN112284287B (zh) * | 2020-09-24 | 2022-02-11 | 哈尔滨工业大学 | 一种基于结构表面灰度特征的立体视觉三维位移测量方法 |
CN112284287A (zh) * | 2020-09-24 | 2021-01-29 | 哈尔滨工业大学 | 一种基于结构表面灰度特征的立体视觉三维位移测量方法 |
CN112488240A (zh) * | 2020-12-16 | 2021-03-12 | 广东省科学院智能制造研究所 | 一种基于互相关性的图像频域差分材质匹配方法 |
CN112488240B (zh) * | 2020-12-16 | 2023-02-03 | 广东省科学院智能制造研究所 | 一种基于互相关性的图像频域差分材质匹配方法 |
CN114219794A (zh) * | 2021-12-17 | 2022-03-22 | 沭阳县桐盛木业制品厂(普通合伙) | 基于机器视觉的刨花板表面质量评估方法及系统 |
CN114219794B (zh) * | 2021-12-17 | 2023-01-20 | 沭阳县桐盛木业制品厂(普通合伙) | 基于机器视觉的刨花板表面质量评估方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN108830279B (zh) | 2021-12-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108830279A (zh) | 一种图像特征提取与匹配方法 | |
US11210797B2 (en) | Systems, methods, and devices for image matching and object recognition in images using textures | |
Pun et al. | A two-stage localization for copy-move forgery detection | |
US9508151B2 (en) | Systems, methods, and devices for image matching and object recognition in images using image regions | |
CN104376003B (zh) | 一种视频检索方法及装置 | |
CN102542058A (zh) | 一种融合全局与局部视觉特征的层次化地标识别方法 | |
US20080240574A1 (en) | System and method for identifying image based on singular value decomposition and feature point | |
Pun et al. | Image alignment-based multi-region matching for object-level tampering detection | |
Al-asadi et al. | Object based image retrieval using enhanced SURF | |
Zhong et al. | Effective and efficient pixel-level detection for diverse video copy-move forgery types | |
CN105913069A (zh) | 一种图像识别方法 | |
CN108694411B (zh) | 一种识别相似图像的方法 | |
CN108764245B (zh) | 一种提高商标图形相似度判定准确性的方法 | |
CN108763266B (zh) | 一种基于图像特征提取的商标检索方法 | |
Ni | B-SIFT: a binary SIFT based local image feature descriptor | |
Li | A fast algorithm for near-duplicate image detection | |
Bosilj et al. | Beyond MSER: Maximally stable regions using tree of shapes | |
CN109544614B (zh) | 一种基于图像低频信息相似度的匹配图像对识别的方法 | |
CN108763265B (zh) | 一种基于分块检索的图像识别方法 | |
CN116415210A (zh) | 图像侵权检测方法、装置及存储介质 | |
Li et al. | Learning weighted sparse representation of encoded facial normal information for expression-robust 3D face recognition | |
CN108763263A (zh) | 一种商标检索方法 | |
CN108846843A (zh) | 一种图像特征提取方法 | |
JP2014099027A (ja) | 画像特徴量算出装置、学習装置、識別装置、およびそのプログラム | |
CN106886783A (zh) | 一种基于区域特征的图像检索方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |