CN108763261A - 一种图形检索方法 - Google Patents

Abstract

本发明涉及信息检索领域，具体为一种图形检索方法。本发明提供的图形检索方法包括以下步骤：(1)将图形输入到检索系统；(2)检索系统进行图形特征分析，具体包括对输入的图形以及检索系统内的所有图形进行多尺度特征提取，得到各窗口的特征；然后根据特征进行待检图形窗口与系统图形窗口之间的匹配，首先是全局尺度间特征窗口匹配，然后筛选出尺度‑空间一致的匹配，进一步根据自适应性阈值分割出相似区域，最后进行相似区域内的局部特征窗口匹配，得到最终的检索结果。运用本法进行图形检索简单、快速、漏检率低、鲁棒性好。

Description

一种图形检索方法

技术领域

本发明涉及信息检索领域，具体为图形检索的方法，尤其是采用提取多尺度滑窗的直方图特征和尺度间特征窗口匹配进行图形检索的方法。

背景技术

随着科技的飞速发展，计算机和信息网络普及，各种信息数据的数量正以惊人的速度增长。如何方便、准确、高效地从庞大的信息数据中准确获取所需信息已经成为人们关注的焦点。各大社交平台和电商平台等存在海量的图像信息，图像检索成为常见的检索方式。图像检索按描述图像内容方式的不同可以分为两类，一类是基于文本的图像检索(TBIR,Text Based Image Retrieval)，另一类是基于内容的图像检索(CBIR,ContentBased Image Retrieval)。基于文本的图像检索是指用户可以根据自己的兴趣提供查询关键字，检索系统根据用户提供的查询关键字找出那些标注有该查询关键字对应的图片，最后将查询的结果返回给用户。这种图像检索方式由于易于实现，且在标注时有人工介入，所以其查准率也相对较高。基于文本的图像检索比较适用于小规模的图像搜索，而对于大量的图像检索需耗费巨大的人力物力。此外，由于查询关键词是用户自己定义的，很容易出现定义不准确，图片与描述不符导致检索结果的准确率低。

基于内容的图像检索在近十几年来得到飞速发展，它利用计算机对图像进行分析，建立图像特征矢量描述并存入图像特征库，当用户输入一张查询图像时，用相同的特征提取方法提取查询图像的特征得到查询向量，然后在某种相似性度量准则下计算查询向量到特征库中各个特征的相似性大小，最后按相似性大小进行排序并顺序输出对应的图片。基于内容的图像检索技术将图像内容的表达和相似性度量交给计算机进行自动的处理，克服了采用文本进行图像检索所面临的缺陷，并且充分发挥了计算机长于计算的优势，大大提高了检索的效率。不过，其缺点也是存在的，主要表现为特征描述以及相似性度量准则直接影响检索结果。研究更加准确简便的特征描述方法，设计高效快速的相似度度量(图形匹配)方法是提高图像检索效率的关键。形状是一种在各种图像检索方法中被广泛应用的重要图像特征。因此，寻找一种高效、方便、准确且鲁棒性好的图形检索方法显得尤为重要。

发明内容

本发明解决的技术问题是：现有的图形检索方法受主观判断的影响大，或者采用的图形特征描述和相似度度量方法不能检索得到预期的结果，漏检率高、鲁棒性差。

本发明的目的在于提供一种高效、快速的图形匹配方法，采用尺寸间特征窗口匹配，提高图形检索结果的可靠性及检索系统的鲁棒性。本发明所述的图形检索方法应用于商标图形检索将大大提高商标图形检索的速度和准确性。

具体来说，针对现有技术的不足，本发明提供了如下技术方案：

一种图形检索方法，包括以下步骤：(1)将图形输入到检索系统；(2) 所述检索系统进行图形特征分析，其中，所述图形特征分析包括多尺度特征提取和尺度间特征窗口匹配，所述尺度间特征窗口匹配发生在从输入的图形中提取的特征窗口和从检索系统内所有图形中提取的特征窗口之间，所述尺度间特征窗口匹配包括全局尺度间特征窗口匹配和局部相似区域特征窗口匹配；(3) 所述检索系统根据局部相似区域特征窗口匹配结果来确定检索结果。

优选的，步骤(2)所述的多尺度特征提取包括采用多尺度滑窗分割图像区域，所述多尺度滑窗具有水平和垂直滑动步长。

优选的，所述滑窗的水平滑动步长范围为0.1w-0.2w，垂直滑动步长范围为0.1h-0.2h。

优选的，步骤(2)所述的多尺度特征提取得到的特征表征方法包括梯度方向直方图，所述梯度方向直方图采用的梯度方向量化方法为模糊量化方法。

优选的，步骤(2)所述的全局尺度间特征窗口匹配之后，及局部相似区域特征窗口匹配之前，还包括以下步骤：

S4.筛选尺度-空间一致的匹配；

S5.根据自适应性阈值分割出相似区域；

优选的，所述尺度间特征窗口匹配得到的结果表征参数包括相似距离d，所述相似距离的计算方法包括汉明距离、欧式距离、马氏距离、曼哈顿距离，优选汉明距离计算法。

优选的，所述相似距离d小于阈值时，匹配的特征窗口为相似窗口，所述阈值的数值范围为0.3-0.5。

优选的，步骤S4所述的筛选尺度-空间一致的匹配所采用的方法包括空间变换模型M，所述模型M满足变换矩阵L，公式如下：

其中，(x₁,y₁)、(x₁',y₁')分别表示待检图像中某个窗口的左上角和右下角坐标，(x₂,y₂)、(x₂',y₂')分别表示检索系统内图像的某个窗口的左上角和右下角坐标；变换矩阵L中的a₁和a₂分别表示两对比窗口的长度缩放比和宽度缩放比，t_x和t_y分别表示两窗口中心的横向平移距离和纵向平移距离。

优选的，步骤S5所述的根据自适应性阈值分割出相似区域所采用的方法包括以下步骤：定义加权系数ω_ij＝min(2,2.67-3.33d_ij)，所述d_ij表示两匹配窗口间的相似距离；缩小矩阵；定义初始阈值矩阵T₀。

本发明还提供了所述图形检索方法在商标图形检索中应用。

与现有技术相比，本发明的效果和益处在于：本发明首次将全局尺度间特征窗口匹配、局部相似区域特征窗口匹配，以及利用空间变换模型筛选尺度- 空间一致的匹配应用到图形检索中，形成一种高效、方便、准确的图形检索方法。利用本发明所述方法进行商标图形检索，快速、漏检率低、鲁棒性好且检索排序结果和人类视觉具有高度一致性，能够排除错误匹配的图形。

附图说明

图1为梯度方向量化示意图；

图2为实施例1的检索结果，其中，图形000000为输入的待检图形，图形 000001-000009为检索结果排序；

图3为实施例2的检索结果，其中，图形000000为输入的待检图形，图形000001-000009为检索结果排序；

图4为实施例3的检索结果，其中，图形000000为输入的待检图形，图形 000001-000009为检索结果排序。

具体实施方式

本发明所述商标图形检索的步骤包括：S1.用户将待检索的图形输入到检索系统；S2.检索系统对图形进行多尺度特征提取；S3.对步骤2提取的特征进行全局尺度间特征窗口匹配；S4.筛选尺度-空间一致的正确匹配；S5.根据自适应性阈值分割出相似区域；S6.对分割得到的相似区域进行区域内的相似窗口匹配(局部相似区域特征窗口匹配)；S7.检索系统根据局部相似区域的匹配结果确定检索结果，并将检索结果提供给用户。

本发明所述图形特征提取不仅针对待检图形，还包括检索系统中图形库里的所有图形。本发明提及的窗口匹配是指从待检图形中提取的特征窗口与从图形库中的图形中提取的特征窗口间的相似度匹配。

本发明使用的图形特征提取方法为多尺度特征提取，即采用多尺度滑窗的方式分割图像区域，窗口的大小及滑动步长均按照图像实际大小的一些固定比例计算(窗口的高度一般为图像实际高度的0.2-0.9，窗口的宽度一般为图像实际宽度的0.2-0.9，滑动步长μ为0.1-0.2，即水平滑动步长为0.1w-0.2w，垂直滑动步长为0.1h-0.2h)，在每个窗口内提取特征f_i。

各个窗口特征提取的步骤为：首先计算水平和垂直方向的梯度；然后采用模糊量化的方法量化梯度方向得到梯度方向直方图；再计算归一化的梯度方向直方图；最后进行直方图特征编码，得到窗口特征f_i。

由于两幅图像之间的相似区域可能存在于图像的任何位置，对检索图像A 中的任意滑动窗口A_i，遍历B中所有符合相似可能性条件的窗口B_j，j＝k₁,k₂,..., 利用汉明距离计算法计算得到相似距离为相似距离越小，表示两窗口的匹配度越高。其中若d_min-i在相似阈值范围内，即 d_min-i﹤T_sim(T_sim为阈值，其取值范围为0.3-0.5)，则标记这一对相似窗口。同时，相似窗口对还需满足窗口B_j的中心位置在A_i中心位置附近的一定范围内，即u为偏移距离，其取值范围在0.4-0.6。此外，B_j的长宽比r_Bj与A_i的长宽比r_Ai间还满足0.5r_Ai≤r_Bj≤2r_Ai。

经过全局范围内的尺度间搜索匹配，能查找到一些正确的匹配窗口，也包含了一下错误的匹配，一种是尺度匹配错误，另一种是位置匹配错误，采用尺度-空间一致性的方法消除错误匹配。

变换模型：设一对匹配窗口{(x₁,y₁),(x₁′,y₁′)}:{(x₂,y₂),(x₂′,y₂′)}(其中(x₁,y₁)、 (x₁′,y₁′)分别表示窗口A_i左上角和右下角坐标，(x₂,y₂)、(x₂′,y₂′)表示窗口B_j左上角和右下角坐标)，则存在空间变换模型M，计算出模型M的变换矩阵L，如下式：

变换矩阵L中的a₁和a₂分别表示两对比窗口的长度缩放比以及宽度缩放比， t_x和t_y分别表示两窗口中心的横向平移距离和纵向平移距离。

采用改进的随机抽样一致性算法(RANSAC)排除错误的匹配对，保留在尺度和空间位置上都具有一致性的匹配对，即得到相似窗口。

通过步骤3和步骤4的筛选基本排除一些错误匹配，将正确匹配窗口进行数量上的加权叠加，统计覆盖每个结构定位点(网格的中心点)的相似窗口的数目。越相似的区域覆盖该区域结构定位点的相似窗口的数目越多。

每对窗口的权重由相似性距离决定，相似距离越小，权重越大，相似距离越大，权重越小，权重大小在0.8-1.3。

自适应性阈值与各个位置的初始阈值矩阵以及上述筛选得到相似窗口的大小和数目有关。定义方式如下：

设T₀为初始阈值矩阵，大小为10*10，一般中间大，四周小，与具体滑窗的规格有关。设所有相似窗口的总面积为s，则自适应的阈值矩阵为T＝κ·T₀· (s/100wh)^α，其中，κ在0.2-0.6，α在0.4-0.8，随着滑动窗口规格的变化，κ和α的取值应进行适应性的调整。

需说明的是，相似区域的相似窗口的尺度广、数目多，所以是按照每个结构定位点相似窗口的比例定义阈值矩阵来进行分割，实际处理中会根据经验修改阈值矩阵。

对于根据自适应性阈值分割得到的相似区域，按照全局特征窗口匹配的方法进行局部相似区域特征窗口匹配，查找方法为局部邻域查找，并且局部相似区域特征窗口匹配过程中的偏移距离u取值为0.2-0.3。经局部相似区域特征窗口匹配后得到检索结果，根据与待检图形的相似程度由高到低排序。

下面以具体的图形检索实例来说明本发明。

实施例1

以待检索商标图形A_w×h为例，w和h分别表示图形的宽度和高度，运用本发明所述的检索方法进行检索。

首先输入待检索的图形，然后进行多尺度特征提取，具体步骤如下：

1.自定义多尺度滑窗的规格和滑动步长，滑窗的规格如表1所式，滑动步长μ为0.1，滑窗水平方向步长为0.1w，滑窗垂直方向步长为0.1h。

表1.多尺度滑动窗口的规格

2.将步骤1定义的滑动窗口以图形A_w×h的左上角为起点，按照水平滑动步长和垂直滑动步长，依次从左到右从上到下滑动，取得一系统不同尺寸的窗口图像集合R，共计225个，R＝{R_i}，i＝0,1,2...,225.

3.对R_i进行特征提取，得到窗口特征f_i，具体过程如下：

①计算任一窗口R_i的水平和垂直方向的梯度

计算方法:[G_h,G_v]＝gradient(R_i)，采用方向模板[-1,0,1]计算R_i中任一像素点(x,y) 的水平梯度G_h(x,y)和垂直梯度G_v(x,y)。

则(x,y)点的方向角度θ＝arctan(G_v/G_h)，取值0～360度。

②量化梯度方向，得到梯度方向直方图。将①中得到的梯度方向按照图1 示意的8个方向进行量化，采用的是模糊量化方法，将一个梯度方向量化至其相邻的两个bin中，即将一个方向用投影至相邻两个方向的分量表示，如某像素点(x,y)的梯度方向为θ(x,y)，其相邻的两个bin分别为θ_k,θ_k+1，则该梯度方向点量化至θ_k的分量为(θ(x,y)-θ_k)/45，量化至θ_k+1的分量为(θ_k+1-θ(x,y)) /45，统计所有像素点的梯度方向得到梯度方向直方图

③计算归一化梯度方向直方图。基于目标像素点总数进行归一化计算，得到归一化直方图

④直方图特征编码。经过步骤③得到的R_i归一化直方图Hist_u-Ri＝{h_u0,h_u1,...,h_u7}，其中0﹤h_uj﹤1,j＝0,1,...,7。为了节约计算机计算资源，将上述浮点数据进行编码。

直方图归一化之后按照各个区间梯度点均匀概率分布的原则计算量化区间(0,0.098),(0.098,0.134),(0.134,0.18),(0.18,0.24),(0.24,1)，该量化区间的计算由当前样本集合进行统计计算实验得到。对落在这5个区间的数据进行编码分别为：0000,0001,0011,0111,1111。Hist_u-Ri＝{h_u0,h_u1,...,h_u7}编码之后将各个bin的码字级联得到为一段长度为4×8＝32位的二进制串Hist_B-Ri，即f_i。

全局尺度间特征窗口匹配

对于检索图形中的任意滑动窗口A_i,遍历数据库中图像中的所有符合相似可能性条件的窗口B_j,j＝k₁,k₂,...,计算得到相似距离为

相似距离的计算方法如下：

设滑窗特征向量A_i经过编码后的二进制特征串为f_i，滑窗特征向量B_j经过编码后的二进制特征串为g_j，则A_i和B_j之间的相似性距离d_ij通过汉明距离进行计算：其中f_i ^k表示二进制串f_i的第k位，表示二进制串g_j的第k 位，表示异或操作，α的取值等于f_i及g_j长度的倒数。

查找出最相似的窗口若d_min-i﹤T_sim(T_sim＝0.4)时，标记该对特征窗口，即相似窗口。同时，相似窗口对还满足以下条件：

(1)窗口B_j的中心位置在A_i中心位置附近的一定范围内，允许变换范围即偏移范围u为长或宽的二分之一，窗口中心位置也按照图形长宽的比例计算。本例中u＝0.5，即

(2)设A_i的长宽比r_Ai，B_j的长宽比r_Bj，则r_Bj≥0.5r_Ai且r_Bj≤2r_Ai

经全局尺度间特征窗口匹配得到图形和的相似窗口的匹配集合{A_i:B_j}。

筛选尺度-空间一致的正确匹配

相似窗口的匹配集合{A_i:B_j}中还存在一些不符合空间一致性的匹配对，采用尺度-空间一致模型消除错误匹配。

对于匹配集合{A_i:B_j}中的任意一对匹配窗口，存在空间变换模型M，计算出变换矩阵L。

变换模型：设一对匹配窗口{(x₁,y₁),₍x₁′,y₁′₎}:{(x₂,y₂),₍x₂′,y₂′₎}(其中，(x₁,y₁)、 (x₁',y₁')分别表示待检图像中某个窗口的左上角和右下角坐标，(x₂,y₂)、 (x₂',y₂')分别表示检索系统内图像的某个窗口的左上角和右下角坐标)，则存在空间变换模型，变换矩阵L。矩阵满足下式：

变换矩阵L中的a₁和a₂分别表示两对比窗口的长度缩放比以及宽度缩放比， t_x和t_y分别表示两窗口中心的横向平移距离和纵向平移距离。

求解出L值，然后计算数据集中所有数据与模型M的投影误差，若误差小于阈值，加入内点集I；

如果当前内点集I中元素个数大于最优内点集I_best,则更新I_best＝ I；遍历数据集合中的所有数据，重复上述步骤。最优内点集I_best中的样本即为正确的匹配样本，最终得到正确匹配样本集合I_best＝{A_i:B_j}。

根据自适应性阈值分割出相似区域

对于分别定义矩阵， 然后进行以下步骤：

①对于I_best＝{A_i:B_j}的任意一对匹配窗口{(x₁,y₁),(x₁′,y₁′)}:{(x₂,y₂),(x₂′,y₂′)} (其中(x₁,y₁)(x₁′,y₁′)分别表示窗口A_i的左上角和右下角坐标，(x₂,y₂)、(x₂′,y₂′)表示窗口B_j左上角和右下角坐标)，其相似性距离为d_ij，定义加权系数ω_ij，ω_ij＝min(2,2.67-3.33d_ij)，则有

②遍历I_best＝{A_i:B_j}的所有匹配样本，重复(1)更新

③将CA_w1×h1和CB_w2×h2通过采样缩小为CA_10×10和CB_10×10。

④定义初始阈值矩阵T₀

设在集合I_best＝{A_i:B_j}中所有属于的所有窗口的总面积为s_A，则自适应的阈值矩阵为T_A＝κ·T₀·(s_A/(100w₁h₁))^α，在集合I_best＝{A_i:B_j}中所有属于的所有窗口的总面积为s_B，则自适应的阈值矩阵为T_B＝κ·T₀·(s_B/(100w₂h₂))^α，κ＝0.2,α＝0.7。

通过自适应的阈值矩阵得到相似区域分割矩阵， 矩阵中不为0的部分表示图像中的候选相似区域。

相似区域内的局部特征窗口匹配

对于滑窗A_i的相似区域ROI_A，B_j的相似区域ROI_B，按照全局特征窗口匹配的方法进行局部相似区域特征窗口匹配，查找方法为局部邻域查找。

当d_min-i﹤0.3，且ROI_B中任一滑窗满足 而且ROI_A和ROI_B内的滑窗的长宽比r满足0.5r_Ai≤r_Bj≤1.0r_Ai，则认为得到ROI_A和ROI_B的相似窗口匹配集合{A_i:B_j}。综合各ROI区域的匹配结果，得到检索结果。

附图2给出了本实施例的检索结果，其中，图形000000即为待检索图形A_w×h，图形000001-000009为检索结果。由图可以看到，运用本发明所述检索方法进行商标图形检索，能够得到准确的检索结果，且检索结果排序与人类视觉具有高度一致性。

实施例2

本实施例与实施例1的区别在于：滑动窗口的规格和滑动步长不同，具体规格见表2，滑窗的水平和垂直滑动步长分别为0.2w，0.2h。全局尺度间特征窗口匹配采用欧氏距离计算相似距离d，d_min-i﹤T_sim(T_sim＝0.3)时，标记该对特征窗口。

表2.多尺度滑动窗口的规格

附图3给出了本实施例的检索结果，其中，图形000000为输入的待检索图形，图形000001-000009为检索结果。

实施例3

本实施例与实施例1的区别在于：滑动窗口的规格和滑动步长不同，具体规格见表3，滑窗的水平和垂直滑动步长分别为0.1w，0.2h。全局尺度间特征窗口匹配采用汉明距离计算相似距离d，d_min-i﹤T_sim(T_sim＝0.5)时，标记该对特征窗口。

表3.多尺度滑动窗口的规格

附图4给出了本实施例的检索结果，其中，图形000000为输入的待检索图形，图形000001-000009为检索结果。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种图形检索方法，其特征在于，包括以下步骤：

(1)将图形输入到检索系统；

(2)所述检索系统进行图形特征分析，其中，所述图形特征分析包括多尺度特征提取和尺度间特征窗口匹配，所述尺度间特征窗口匹配发生在从输入的图形中提取的特征窗口和从检索系统内所有图形中提取的特征窗口之间，所述尺度间特征窗口匹配包括全局尺度间特征窗口匹配和局部相似区域特征窗口匹配；

(3)所述检索系统根据局部相似区域特征窗口匹配结果来确定检索结果。

2.根据权利要求1所述的图形检索方法，其中，步骤(2)所述的多尺度特征提取包括采用多尺度滑窗分割图像区域，所述多尺度滑窗具有水平和垂直滑动步长。

3.根据权利要求2所述的图形检索方法，其中，所述滑窗的水平滑动步长范围为0.1w-0.2w，垂直滑动步长范围为0.1h-0.2h，w和h分别表示图形的宽和高。

4.根据权利要求1-3任一项所述的图形检索方法，其中，步骤(2)所述的多尺度特征提取得到的特征表征方法包括梯度方向直方图，所述梯度方向直方图采用的梯度方向量化方法为模糊量化方法。

5.根据权利要求1-4任一项所述的图形检索方法，其中，步骤(2)所述的全局尺度间特征窗口匹配之后，及局部相似区域特征窗口匹配之前，还包括以下步骤：

S4.筛选尺度-空间一致的匹配；

S5.根据自适应性阈值分割出相似区域。

6.根据权利要求1-5任一项所述的图形检索方法，其中，所述尺度间特征窗口匹配得到的结果表征参数包括相似距离d，所述相似距离的计算方法包括汉明距离、欧式距离、马氏距离、曼哈顿距离，优选汉明距离计算法。

7.根据权利要求6所述的图形检索方法，其中，所述相似距离d小于阈值时，匹配的特征窗口为相似窗口，所述阈值的数值范围为0.3-0.5。

8.根据权利要求5-7任一项所述的图形检索方法，其中，步骤S4所述的筛选尺度-空间一致的匹配所采用的方法包括空间变换模型M，所述模型M满足变换矩阵L，公式如下：

其中，(x₁,y₁)、(x₁',y₁')分别表示待检图像中某个窗口的左上角和右下角坐标，(x₂,y₂)、(x₂',y₂')分别表示检索系统内图像的某个窗口的左上角和右下角坐标；变换矩阵L中的a₁和a₂分别表示两对比窗口的长度缩放比和宽度缩放比，t_x和t_y分别表示两窗口中心的横向平移距离和纵向平移距离。

9.根据权利要求5-8任一项所述的图形检索方法，其中，步骤S5所述的根据自适应性阈值分割出相似区域所采用的方法包括以下步骤：定义加权系数ω_ij＝min(2，2.67-3.33d_ij)，所述d_ij表示两匹配窗口间的相似距离；缩小矩阵；定义初始阈值矩阵T₀。

10.权利要求1-9任一项所述的图形检索方法在商标图形检索中的应用。