CN108804499B - 一种商标图像检索方法 - Google Patents

Abstract

本发明属于图像检索领域，尤其涉及一种商标图像检索方法，包括以下步骤：将待检索图像和图像库中的对比图像进行多尺度特征提取；将待检索图像特征和对比图像特征进行全局尺度间相似匹配；筛选正确的匹配；候选相似区域分割；区域内局部尺度间相似匹配，检索结果相似对比图像的排序。本发明检索准确度高，漏检率低，速度快。

Description

一种商标图像检索方法

技术领域

本发明属于图像检索领域，尤其涉及一种商标图像检索方法。

背景技术

商标在工商业社会中起着非常重要的作用，是公司、产品或服务的标志，与企业的商品质量、服务质量、经营管理融为一体，成为企业信誉的象征，是一种无形的资产。

商标检索是指从现有的商标图像库中寻找与输入商标图像相似的图像的过程。

虽然基于内容的商标图像检索的研究比较活跃，也有一些系统投入了使用，但是，仍有一些问题没有得到较好的解决。其最大的困难就是：系统提取出的图像底层内容特征与用户检索时使用的高层语义之间无法对应起来，也就是说图像特征根本无法表达用户的高层语义，故基于内容的检索结果往往不令人满意。

在以前的手工编码过程中，商标认证人员可以按照一定的规则对编码结果进行加权，原来商标中重要的部分所对应的权值大，这样可以突出原商标中这些重要的图形，而现有的系统常常抽取图像的全局特征来进行匹配，不能突出这些重要信息，因此系统的可靠性不高；另一个重要的问题就是检索的速度问题，随着库中图像数量的增加，检索的速度成为制约系统的一个瓶颈，而我国现有的注册商标累计数量己经超过了1000万。

发明内容

本发明提供一种商标图像检索方法，检索准确度高，漏检率低，速度快。

一种商标图像检索方法，包括以下步骤：

S1：将待检索图像和图像库中的对比图像进行多尺度特征提取；

S2：将待检索图像特征和对比图像特征进行全局尺度间相似匹配；

S3：筛选正确的匹配；

S4：候选相似区域分割；

S5：区域内局部尺度间相似匹配，根据匹配相似性的大小进行对比图像的排序。

优选地，步骤S1,采用多个不同尺度的滑窗分割待检索图像和对比图像的区域，提取滑窗窗口内图像特征。

优选地，步骤S1,包括以下步骤：

(1)提取滑窗窗口内图像像素点的梯度方向直方图特征；

(2)梯度方向直方图量化编码；

(3)归一化；

(4)空间分布描述，并级联梯度方向直方图和空间分布。

进一步优选地，步骤(1),计算图像像素点的水平梯度和垂直梯度，采用方向模板[-1,0,1],计算规则为[G_h,G_v]＝gradient(F)，

进一步优选地，步骤(2),图像像素点的方向角度θ＝arctan(G_v/G_h)，以平面上0到360度进行n方向量化，采用模糊量化方法，将一个梯度方向量化至其相邻的两个方向中，即将一个方向用投影至相邻两个方向的分量表示，统计各像素点的量化方向的数量，进行直方图统计，采用一维矩阵的形式表示。所述n值，为大于2的整数；n的数值越大，直方图统计越准确，数据的计算量也越大。优选地，n＝6或8或9或12。

传统的方向量化方法过于严苛，导致梯度方向量化后的特征鲁棒性较差，对方向较为敏感。本发明采用模糊量化方法，量化后的特征鲁棒性较好，而且准确度高。

进一步优选地，步骤(3),采用梯度点数目归一化与面积归一化相结合的方法，梯度方向直方图Hist＝[h₀,h₁,…,h_i]^T,滑窗面积为pArea,归一化的直方图

其中i＝n-1，α＝1/n。

梯度点数目归一化的方法，使特征具有良好的尺度一致性，同时体现出各个梯度方向相对统计分布信息；缺点是某个bin梯度点数目的变化将影响整体直方图的相对统计分布。

面积参数通过面积开方来计算将使特征具有相对较好的尺度一致性，基于面积参数的直方图归一化方法，既包含了特征窗口中边缘信息的丰富程度，又可反映各个梯度方向统计分布信息，单个bin的变化不会影响其他bin的值；缺点是各个bin之间的差异性可能缩小，对于边缘丰富的窗口，每个bin的取值相对较大，存在多个较大值，而对于边缘比较稀疏的窗口，每个bin的取值都较小，存在多个较小值。

将梯度点数目归一化与面积归一化相结合的方法，既保证各个bin之间的相对独立性，又兼顾各个bin统计分布的差异性。

进一步优选地，步骤(4),将图像各区域进行量化编码，统计图像内各个方向梯度点的重心位置，根据重心位置落入图像的区域，采用该区域的位置编码，在梯度方向直方图特征矩阵后级联位置编码。

将梯度方向直方图与空间分布描述结合，有利于提高图像特征匹配时的准确性；将图像各区域进行量化编码的空间分布描述方式，位置定义准确，数据量小，计算速度快。

优选地，步骤S2，待检索图像中滑动滑窗，遍历对比图像中所有符合相似可能性的窗口，计算得到相似距离。

进一步优选地，步骤S2，待检索图像中滑动滑窗的方式，为从待检索图像的中心向四周滑动。

进一步优选地，步骤S2,相似距离通过汉明距离(Hamming Distance)进行计算；相似距离

其中，待检索图像经过编码后的特征二进制串为f_i，对比图像经过编码后的特征二进制串为g_j，f_i ^k表示二进制串f_i的第k位，g_j ^k表示二进制串g_j的第k位，

表示异或操作，α的取值等于特征二进制串f_i与g_j长度和的倒数。

进一步优选地，步骤S2，符合相似可能性需要满足的的条件为：(1)对比图像窗口的中心位置在待检索图像滑窗窗口中心位置的附近，允许变换范围为u，u的取值范围为0.4到0.6；(2)对比图像窗口与待检索图像滑窗窗口具有相似的长宽比，所述两个长宽比的比值范围为0.2到5，优选为0.5到2。

优选地，步骤S3，采用尺度-空间一致性的方法消除错误匹配；采用随机抽样一致性(RANSAC)算法，保留在尺度上和空间位置上都具有一致性的匹配对，排除错误的匹配对。

进一步优选地，步骤S3，具体算法为：设待检索图像与对比图像的一对匹配窗口{(x₁,y₁),(x₁′,y₁′)}:{(x₂,y₂),(x₂′,y₂′)}(其中，(x₁,y₁)、(x₁′,y₁′)分别表示待检索图像窗口的左上角和右下角坐标，(x₂,y₂)、(x₂′,y₂′)分别表示对比图像窗口的左上角和右下角坐标)，则存在空间变换模型

使得

可求解出L，其中ɑ1、ɑ2为特定匹配窗口相关的缩放参数，tx、ty是与特定匹配窗口相关的平移参数；对空间变换模型L采用随机抽样一致性(RANSAC)算法，保留在尺度上和空间位置上都具有一致性的匹配对，排除错误的匹配对。

优选地，步骤S4，根据自适应阈值分割出相似区域；将正确匹配窗口进行数量上的加权叠加，统计每个相似窗口的数目，根据自适应阈值矩阵分割相似区域。

进一步优选地，步骤S4，将步骤S1滑窗的中心位置定义为结构定位点(anchorpoint)，在步骤S4，统计覆盖每个结构定位点(anchor point)的相似窗口的数目。

越相似的区域，覆盖该区域结构定位点(anchor point)的相似窗口的数目越多。

进一步优选地，步骤S4，为每对匹配窗口的权重由相似距离d_ij决定，相似距离越小，给与的权重越大，相似距离越大，给与的权重越小，总平均权重为1。

进一步优选地，步骤S4，设T₀为初始阈值矩阵，所有相似窗口的总面积为s，则自适应的阈值矩阵T＝κT₀(s/(100))^α，其中κ、α为经验值常数，随着滑动窗口规格的变化参数应进行适应性的调整。

优选地，步骤S5，各对比图像相似区域的相似性，通过汉明距离(HammingDistance)进行计算；区域内相似窗口匹配，查找方法为局部邻域查找。

进一步优选地，步骤S5，在待检索图像的相似区域，通过滑窗的任意滑动，遍历对比图像的相似区域中所有符合相似可能性条件的滑窗窗口，计算得到相似距离，相似距离最小的为最相似的窗口。

进一步优选地，步骤S5，待检索图像与对比图像相似区域中滑窗的相似性以滑窗的结构定位点(anchor point)的相似性来代替，相似距离由所有以该结构定位点(anchorpoint)为中心的窗口的对应相似距离的均值来计算。

待检索图像相似区域与对比图像相似区域的相似距离d_AB，具体算法为：

其中，n_A为待检索图像相似区域中包含结构定位点(anchorpoint)的数目，n_B为对比图像相似区域中包含结构定位点(anchor point)的数目，(u、v)为结构定位点(anchor point)的坐标，d_AUV为待检索图像相似区域结构定位点(u、v)的相似距离，d_BUV为对比图像相似区域结构定位点(u、v)的相似距离，λ为相似面积参数，和n_A、n_B成反比，相似区域总面积越大，λ越小。

进一步优选地，步骤S5，比较待检索图像与图像库中所有对比图像的相似距离，根据相似距离进行检索结果相似对比图像的排序。相似距离越小，待检索图像与对比图像越相似，排序越靠前。

有益效果：

1、本发明采用模糊量化方法，量化后的特征鲁棒性较好，而且准确度高。

2、本发明将梯度点数目归一化与面积归一化相结合的方法，既保证各个bin之间的相对独立性，又兼顾各个bin统计分布的差异性。

3、将梯度方向直方图与空间分布描述结合，有利于提高图像特征匹配时的准确性；将图像各区域进行量化编码的空间分布描述方式，位置定义准确，数据量小，计算速度快。

4、本发明采用尺度-空间一致性的方法，相比于传统的单纯的尺度一致性方法，增加了空间的对应关系以及尺度-空间的同时对应的关系，综合了图像尺度和空间的特征，能有效消除错误的匹配，降低错检率，准确度高。

5、本发明根据自适应阈值分割出相似区域，通过加权叠加的方式，检索结果更具有准确性。

6、本发明的检索结果，依据相似距离进行排序，科学合理，与人的判断接近一致。

具体实施方式

下面将对本发明的实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

一种商标图像检索方法，包括以下步骤：

S1：将待检索图像和图像库中的对比图像进行多尺度特征提取；

S2：将待检索图像特征和对比图像特征进行全局尺度间相似匹配；

S3：筛选正确的匹配；

S4：候选相似区域分割；

S5：区域内局部尺度间相似匹配，根据匹配相似性的大小进行对比图像的排序。

实施例2

一种商标图像检索方法，包括以下步骤：

S1：将待检索图像和图像库中的对比图像进行多尺度特征提取；采用多个不同尺度的滑窗分割待检索图像和对比图像的区域，提取滑窗窗口内图像特征；

包括以下步骤：

(1)提取滑窗窗口内图像像素点的梯度方向直方图特征；

(2)梯度方向直方图量化编码；

(3)归一化；

(4)空间分布描述，并级联梯度方向直方图和空间分布。

S2：将待检索图像特征和对比图像特征进行全局尺度间相似匹配；待检索图像中滑动滑窗，遍历对比图像中所有符合相似可能性的窗口，计算得到相似距离；待检索图像中滑动滑窗的方式，为从待检索图像的中心向四周滑动；

相似距离通过汉明距离(Hamming Distance)进行计算；相似距离

其中，待检索图像经过编码后的特征二进制串为f_i，对比图像经过编码后的特征二进制串为g_j，f_i ^k表示二进制串f_i的第k位，g_j ^k表示二进制串g_j的第k位，

表示异或操作，α的取值等于特征二进制串f_i与g_j长度和的倒数；

符合相似可能性需要满足的的条件为：(1)对比图像窗口的中心位置在待检索图像滑窗窗口中心位置的附近，允许变换范围为u，u的取值范围为0.4到0.6；(2)对比图像窗口与待检索图像滑窗窗口具有相似的长宽比，所述两个长宽比的比值范围为0.2到5，优选为0.5到2。

S3：筛选正确的匹配；采用尺度-空间一致性的方法消除错误匹配；采用随机抽样一致性(RANSAC)算法，保留在尺度上和空间位置上都具有一致性的匹配对，排除错误的匹配对。

S4：候选相似区域分割。

S5：区域内局部尺度间相似匹配，根据匹配相似性的大小进行对比图像的排序；各对比图像相似区域的相似性，通过汉明距离(Hamming Distance)进行计算；区域内相似窗口匹配，查找方法为局部邻域查找。

实施例3

一种商标图像检索方法，包括以下步骤：

S1：将待检索图像和图像库中的对比图像进行多尺度特征提取；采用多个不同尺度的滑窗分割待检索图像和对比图像的区域，提取滑窗窗口内图像特征；

包括以下步骤：

(1)提取滑窗窗口内图像像素点的梯度方向直方图特征；

(2)梯度方向直方图量化编码；

(3)归一化；

(4)空间分布描述，并级联梯度方向直方图和空间分布；

步骤(1),计算图像像素点的水平梯度和垂直梯度，采用方向模板[-1,0,1],计算规则为[G_h,G_v]＝gradient(F)，

步骤(2),图像像素点的方向角度θ＝arctan(G_v/G_h)，以平面上0到360度进行8方向量化，采用模糊量化方法，将一个梯度方向量化至其相邻的两个方向中，即将一个方向用投影至相邻两个方向的分量表示，统计各像素点的量化方向的数量，进行直方图统计，采用一维矩阵的形式表示；

步骤(3),采用梯度点数目归一化与面积归一化相结合的方法，梯度方向直方图Hist＝[h₀,h₁,…,h₇]^T,滑窗面积为pArea,归一化的直方图

其中i＝7，α＝1/8；

步骤(4),将图像各区域进行量化编码，统计图像内各个方向梯度点的重心位置，根据重心位置落入图像的区域，采用该区域的位置编码，在梯度方向直方图特征矩阵后级联位置编码。例如，将滑窗划分为3乘3的9块，各区域分配编码如下：

1001	1000	1100
			0001	0000	0100
0011	0010	0110

统计图像内各个方向梯度点的重心位置，重心位置落入图像的某个区域，比如重心位置落入滑窗区域的左上角部分，则采用该区域的位置编码1001，在梯度方向直方图特征矩阵后级联位置编码1001。

S2：将待检索图像特征和对比图像特征进行全局尺度间相似匹配。

S3：筛选正确的匹配；采用尺度-空间一致性的方法消除错误匹配；采用随机抽样一致性(RANSAC)算法，保留在尺度上和空间位置上都具有一致性的匹配对，排除错误的匹配对；

具体算法为：设待检索图像与对比图像的一对匹配窗口{(x₁,y₁),(x₁′,y₁′)}:{(x₂,y₂),(x₂′,y₂′)}(其中，(x₁,y₁)、(x₁′,y₁′)分别表示待检索图像窗口的左上角和右下角坐标，(x₂,y₂)、(x₂′,y₂′)分别表示对比图像窗口的左上角和右下角坐标)，则存在空间变换模型

使得

可求解出L，其中ɑ1、ɑ2为特定匹配窗口相关的缩放参数，tx、ty是与特定匹配窗口相关的平移参数；对空间变换模型L采用随机抽样一致性(RANSAC)算法，保留在尺度上和空间位置上都具有一致性的匹配对，排除错误的匹配对。

S4：候选相似区域分割。

S5：区域内局部尺度间相似匹配，根据匹配相似性的大小进行对比图像的排序。

实施例4

一种商标图像检索方法，包括以下步骤：

S1：将待检索图像和图像库中的对比图像进行多尺度特征提取。

S2：将待检索图像特征和对比图像特征进行全局尺度间相似匹配。

S3：筛选正确的匹配。

S4：候选相似区域分割。

S5：区域内局部尺度间相似匹配，根据匹配相似性的大小进行对比图像的排序；各对比图像相似区域的相似性，通过汉明距离(Hamming Distance)进行计算；区域内相似窗口匹配，查找方法为局部邻域查找；

在待检索图像的相似区域，通过滑窗的任意滑动，遍历对比图像的相似区域中所有符合相似可能性条件的滑窗窗口，计算得到相似距离，相似距离最小的为最相似的窗口；

待检索图像与对比图像相似区域中滑窗的相似性以滑窗的结构定位点(anchorpoint)的相似性来代替，相似距离由所有以该结构定位点(anchor point)为中心的窗口的对应相似距离的均值来计算；

待检索图像相似区域与对比图像相似区域的相似距离d_AB，具体算法为：

其中，n_A为待检索图像相似区域中包含结构定位点(anchorpoint)的数目，n_B为对比图像相似区域中包含结构定位点(anchor point)的数目，(u、v)为结构定位点(anchor point)的坐标，d_AUV为待检索图像相似区域结构定位点(u、v)的相似距离，d_BUV为对比图像相似区域结构定位点(u、v)的相似距离，λ为相似面积参数，和n_A、n_B成反比，相似区域总面积越大，λ越小；

比较待检索图像与图像库中所有对比图像的相似距离，根据相似距离进行检索结果相似对比图像的排序。相似距离越小，待检索图像与对比图像越相似，排序越靠前。

实施例5

一种商标图像检索方法，包括以下步骤：

S1：将待检索图像和图像库中的对比图像进行多尺度特征提取。

S2：将待检索图像特征和对比图像特征进行全局尺度间相似匹配。

S3：筛选正确的匹配。

S4：候选相似区域分割；根据自适应阈值分割出相似区域；将正确匹配窗口进行数量上的加权叠加，统计每个相似窗口的数目，根据自适应阈值矩阵分割相似区域；

将步骤S1滑窗的中心位置定义为结构定位点(anchor point)，在步骤S4，统计覆盖每个结构定位点(anchor point)的相似窗口的数目；

为每对匹配窗口的权重由相似距离d_ij决定，相似距离越小，给与的权重越大，相似距离越大，给与的权重越小，总平均权重为1；

设T₀为初始阈值矩阵，所有相似窗口的总面积为s，则自适应的阈值矩阵T＝κT₀(s/(100))^α，其中κ、α为经验值常数，随着滑动窗口规格的变化参数应进行适应性的调整。

S5：区域内局部尺度间相似匹配，根据匹配相似性的大小进行对比图像的排序。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换,凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种商标图像检索方法，其特征在于，包括以下步骤：

S1：将待检索图像和图像库中的对比图像进行多尺度特征提取，采用多个不同尺度的滑窗分割待检索图像和对比图像的区域，提取滑窗窗口内图像特征；

所述步骤S1,包括以下步骤：

(1)提取滑窗窗口内图像像素点的梯度方向直方图特征；

(2)梯度方向直方图量化编码；

(3)采用梯度点数目归一化与面积归一化相结合的方法归一化；

(4)进行空间分布描述，并级联，将图像各区域进行量化编码，统计图像内各个方向梯度点的重心位置，根据重心位置落入图像的区域，采用该区域的位置编码，在梯度方向直方图特征矩阵后级联位置编码；

S2：将待检索图像特征和对比图像特征进行全局尺度间相似匹配；

S3：筛选正确的匹配，采用随机抽样一致性(RANSAC)算法，保留在尺度上和空间位置上都具有一致性的匹配对，排除错误的匹配对；

S4：候选相似区域分割，根据自适应阈值分割出相似区域；将正确匹配窗口进行数量上的加权叠加，统计每个相似窗口的数目，根据自适应阈值矩阵分割相似区域；

S5：区域内局部尺度间相似匹配，检索结果相似对比图像的排序。

2.根据权利要求1所述的商标图像检索方法，其特征在于，所述步骤(1),计算图像像素点的水平梯度和垂直梯度，采用方向模板[-1,0,1],计算规则为[G_h,G_v]＝gradient(F)，

所述步骤(2),图像像素点的方向角度θ＝arctan(G_v/G_h)，以平面上0到360度进行n方向量化，采用模糊量化方法，将一个梯度方向量化至其相邻的两个方向中，即将一个方向用投影至相邻两个方向的分量表示，统计各像素点的量化方向的数量，进行直方图统计，采用一维矩阵的形式表示；所述n值，为大于2的整数；

所述步骤(3),采用梯度点数目归一化与面积归一化相结合的方法，梯度方向直方图Hist＝[h₀,h₁,…,h_i]^T,滑窗面积为pArea,归一化的直方图

其中i＝n-1，α＝1/n。

3.根据权利要求1所述的商标图像检索方法，其特征在于，所述步骤S2，待检索图像中滑动滑窗，遍历对比图像中所有符合相似可能性的窗口，计算得到相似距离；所述步骤S2，待检索图像中滑动滑窗的方式，为从待检索图像的中心向四周滑动。

4.根据权利要求3所述的商标图像检索方法，其特征在于，所述步骤S2,相似距离通过汉明距离(Hamming Distance)进行计算；相似距离

其中，待检索图像经过编码后的特征二进制串为f_i，对比图像经过编码后的特征二进制串为g_j，f_i ^k表示二进制串f_i的第k位，g_j ^k表示二进制串g_j的第k位，

表示异或操作，α的取值等于特征二进制串f_i与g_j长度和的倒数；

所述步骤S2，符合相似可能性需要满足的条件为：(1)对比图像窗口的中心位置在待检索图像滑窗窗口中心位置的附近，允许变换范围为u，u的取值范围为0.4到0.6；(2)对比图像窗口与待检索图像滑窗窗口具有相似的长宽比，所述两个长宽比的比值范围为0.2到5。

5.根据权利要求3所述的商标图像检索方法，其特征在于，所述步骤S3，采用尺度-空间一致性的方法消除错误匹配；采用随机抽样一致性(RANSAC)算法，保留在尺度上和空间位置上都具有一致性的匹配对，排除错误的匹配对。

6.根据权利要求3或5所述的商标图像检索方法，其特征在于，所述步骤S4，根据自适应阈值分割出相似区域；将正确匹配窗口进行数量上的加权叠加，统计每个相似窗口的数目，根据自适应阈值矩阵分割相似区域。

7.根据权利要求6所述的商标图像检索方法，其特征在于，所述步骤S4，将步骤S1滑窗的中心位置定义为结构定位点(anchor point)，在步骤S4，统计覆盖每个结构定位点(anchor point)的相似窗口的数目；所述步骤S4，为每对匹配窗口的权重由相似距离d_ij决定，相似距离越小，给与的权重越大，相似距离越大，给与的权重越小，总平均权重为1。

8.根据权利要求7所述的商标图像检索方法，其特征在于，所述步骤S5，各对比图像相似区域的相似性，通过汉明距离(Hamming Distance)进行计算；区域内相似窗口匹配，查找方法为局部邻域查找；

所述步骤S5，在待检索图像的相似区域，通过滑窗的任意滑动，遍历对比图像的相似区域中所有符合相似可能性条件的滑窗窗口，计算得到相似距离，相似距离最小的为最相似的窗口。

9.根据权利要求8所述的商标图像检索方法，其特征在于，所述步骤S5，待检索图像与对比图像相似区域中滑窗的相似性以滑窗的结构定位点(anchor point)的相似性来代替，相似距离由所有以该结构定位点(anchor point)为中心的窗口的对应相似距离的均值来计算；

待检索图像相似区域与对比图像相似区域的相似距离d_AB，具体算法为：

其中，n_A为待检索图像相似区域中包含结构定位点(anchorpoint)的数目，n_B为对比图像相似区域中包含结构定位点(anchor point)的数目，(u、v)为结构定位点(anchor point)的坐标，d_AUV为待检索图像相似区域结构定位点(u、v)的相似距离，d_BUV为对比图像相似区域结构定位点(u、v)的相似距离，λ为相似面积参数，和n_A、n_B成反比，相似区域总面积越大，λ越小。