CN108845999B - 一种基于多尺度区域特征比对的商标图像检索方法 - Google Patents

Abstract

本发明涉及一种基于多尺度区域特征比对的商标图像检索方法，该方法包括以下步骤：(1)采用多尺度滑窗分割图像，得到一系列窗口，然后采用LBP算子提取窗口图像的特征；(2)将提取得到的特征进行全局尺度间特征窗口匹配，得到相似窗口对A_i：B_j；(3)采用空间变换模型排除相似窗口对中的错误匹配，筛选尺度‑空间一致的相似窗口；(4)采用自适应性阈值矩阵T对筛选的相似窗口对进行分割，得到相似区域ROI；(5)在相似区域ROI内进行局部窗口特征匹配；(6)根据相似区域ROI内的局部窗口特征匹配结果，输出检索结果。运用本法得到的商标图像检索结果排序与人类视觉上的图像判断一致，且检索快速、系统鲁棒性好。

Description

一种基于多尺度区域特征比对的商标图像检索方法

技术领域

本发明涉及商标图像检索，特别是使用基于多尺度区域特征比对的商标图像检索方法。

背景技术

随着科技的飞速发展，计算机和信息网络普及，各种信息数据的数量正以惊人的速度增长。如何方便、准确、高效地从庞大的信息数据中准确获取所需信息已经成为人们关注的焦点。各大社交平台和电商平台等存在海量的图像信息，图像检索成为常见的检索方式。图像检索按描述图像内容方式的不同可以分为两类，一类是基于文本的图像检索(TBIR,Text Based Image Retrieval)，另一类是基于内容的图像检索(CBIR,ContentBased Image Retrieval)。基于文本的图像检索是指用户可以根据自己的兴趣提供查询关键字，检索系统根据用户提供的查询关键字找出那些标注有该查询关键字对应的图片，最后将查询的结果返回给用户。这种图像检索方式由于易于实现，且在标注时有人工介入，所以其查准率也相对较高。基于文本的图像检索比较适用于小规模的图像搜索，而对于大量的图像检索需耗费巨大的人力物力。此外，由于查询关键词是用户自己定义的，很容易出现定义不准确，图片与描述不符导致检索结果的准确率低。

基于内容的图像检索在近十几年来得到飞速发展，它利用计算机对图像进行分析，建立图像特征矢量描述并存入图像特征库，当用户输入一张查询图像时，用相同的特征提取方法提取查询图像的特征得到查询向量，然后在某种相似性度量准则下计算查询向量到特征库中各个特征的相似性大小，最后按相似性大小进行排序并顺序输出对应的图片。基于内容的图像检索技术将图像内容的表达和相似性度量交给计算机进行自动的处理，克服了采用文本进行图像检索所面临的缺陷，并且充分发挥了计算机长于计算的优势，大大提高了检索的效率。不过，其缺点也是存在的，主要表现为特征描述以及相似性度量准则直接影响检索结果。

商标图像检索方法有很多种，但大多存在漏检、系统鲁棒性差以及检索结果不可靠的问题，寻找一种可靠的能够快速、准确检索图形商标的方法显得尤为重要。

发明内容

本发明解决的技术问题是：现有的商标图像检索方法受主观判断的影响大，漏检率高、鲁棒性差，检索结果与人类视觉上的图像判断存在差异。

本发明的目的在于提供一种高效、快速的图像比对方法，采用多尺度区域特征窗口匹配(比对)，提高商标图像检索结果的可靠性，以及检索速度。

具体来说，针对现有技术的不足，本发明提供了如下技术方案：

一种基于多尺度区域特征比对的商标图像检索方法，图像处理的对象包括输入的待检商标图像与检索系统的所有图像，所述商标图像检索方法包括以下步骤：

(1)采用多尺度滑窗分割图像，得到一系列窗口图像，然后采用LBP算子提取所述窗口图像的特征；

(2)将从输入的待检商标图像中提取得到的窗口A_i的图像特征与从检索系统内的图像中提取得到的窗口B_j的图像特征进行全局尺度间特征窗口匹配，得到相似窗口对A_i：B_j；

(3)排除步骤(2)得到的相似窗口对中的错误匹配，筛选尺度-空间一致的相似窗口对；

(4)采用自适应性阈值矩阵T对步骤(3)的相似窗口对进行分割，得到相似区域ROI；

(5)在步骤(4)得到的相似区域ROI内进行局部窗口特征匹配；

(6)根据步骤(5)的特征匹配结果，输出检索结果。

优选的，所述滑窗的水平滑动步长范围为0.1w-0.2w，垂直滑动步长范围为0.1h-0.2h。

优选的，所述滑窗是以图像的左上角为起点，按照水平滑动步长、垂直滑动步长，从左到右、从上到下滑动。

优选的，步骤(2)所述的相似窗口对满足两窗口间的相似距离d小于0.5。

优选的，步骤(2)所述的相似窗口对A_i：B_j满足以下条件：①xA_i-u﹤xB_j﹤xA_i+u,yA_i-u﹤yB_j﹤yA_i+u，其中u为偏移距离，u的数值范围为0.4-0.6；②窗口的长宽比r满足0.5r_Ai≤r_Bj≤2r_Ai。

优选的，步骤(3)所述的排除错误匹配的方法包括采用空间变换模型M和变换矩阵L，所述变换矩阵L满足下式：

其中，(x₁,y₁)、(x₁',y₁')分别表示待检图像中某个窗口的左上角和右下角坐标，(x₂,y₂)、(x₂',y₂')表示检索系统内图像的某个窗口的左上角和右下角坐标；变换矩阵L中的a₁和a₂分别表示两对比窗口的长度缩放比和宽度缩放比，t_x和t_y分别表示两窗口中心的横向平移距离和纵向平移距离。

优选的，步骤(4)所述自适应阈值矩阵T满足下式：T＝κ·T₀·(s/100wh)^α其中，κ和α为常数，s表示所有相似窗口的总面积，w和h分别表示图像的宽和高，T₀表示初始阈值矩阵。

优选的，所述初始阈值矩阵T₀的大小为10*10，所述κ的数值范围为0.2-0.6，所述α的数值范围为0.4-0.8。

优选的，步骤(5)所述的局部窗口特征匹配与步骤(2)所述全局尺度间特征窗口匹配的区别在于偏移距离u的数值范围为0.2-0.3。

优选的，步骤(5)所述的ROI内局部窗口特征匹配是以滑窗中心点的相似性计算，中心点的相似性计算公式为：

其中，k表示包含该中心点的窗口数目；两个ROI区域的相似距离为：

其中，n_A、n_B分别为ROI_A和ROI_B中包含窗口的中心点的数目，λ为相似面积参数。

与现有技术相比，本发明的效果和益处在于：本发明将商标图像划分为不同尺度的滑窗，通过多次的滑窗特征比对和筛选，排除错误匹配，得到最相似的匹配对，加快了检索速度，提高了检索系统的鲁棒性，检索结果更加可靠，且检索排序结果和人类视觉具有高度一致性。

附图说明

图1为结构定位点示意图；

图2为多尺度相似窗口加权叠加示意图；

图3为区域局部相似性计算示意图；

图4为实施例1的检索结果，其中，图形000000为输入的待检图形，图形000001-000009为检索结果排序；

图5为实施例2的检索结果，其中，图形000000为输入的待检图形，图形000001-000009为检索结果排序；

图6为实施例3的检索结果，其中，图形000000为输入的待检图形，图形000001-000009为检索结果排序。

具体实施方式

本发明所述基于多尺度区域特征比对的商标图像检索方法包括以下步骤：S1.采用LBP算子分别提取从待检图像A和检索库中所有图像中划分得到的多尺度滑动窗口的特征f_i；S2.根据提取得到的特征，进行全局特征窗口匹配；S3.筛选尺度-空间一致的正确匹配；S4.根据自适应性阈值分割出相似区域；S5.对分割得到的相似区域进行区域内的相似窗口匹配，即局部相似区域特征窗口匹配；S6.检索系统根据步骤5所述的相似区域内的匹配结果确定检索结果。

本发明所述商标图像检索方法在提取多尺度窗口的特征后，进行了多次的特征比对和筛选，加快了检索速度，提高了检索系统的鲁棒性。

本发明采用LBP算子提取图像特征，但需要对图像预先进行多尺度的窗口划分。窗口的大小及滑动步长均按照图像实际大小的一些固定比例计算(窗口的高度一般为图像实际高度的0.2-0.9，窗口的宽度一般为图像实际宽度的0.2-0.9，滑动步长μ为0.1-0.2，即水平滑动步长为0.1w-0.2w，垂直滑动步长为0.1h-0.2h)。然后，使用尺度为3*3的LBP算子计算窗口的LBP特征，将LBP特征组合在一起，构成特征向量，即窗口特征f_i。

由于两幅图像之间的相似区域可能存在于图像的任何位置，对检索图像A中的任意滑动窗口Ai，遍历检索系统中图像B中所有符合相似可能性条件的窗口B_j,j＝k₁,k₂,...,利用汉明距离计算法计算得到相似距离为

....，相似距离越小，表示两窗口的匹配度越高。其中，

若d_min-i在相似阈值范围内，即d_min-i﹤T_sim(T_sim＝0.5)，则标记这一对相似窗口。同时，相似窗口对还需满足窗口B_j的中心位置在A_i中心位置附近的一定范围内，即

u为偏移距离，其取值范围在0.4-0.6。此外，B_j的长宽比r_Bj与A_i的长宽比r_Ai间还满足0.5r_Ai≤r_Bj≤2r_Ai。

经过全局范围内的尺度间搜索匹配，能查找到一些正确的匹配窗口，也包含了一下错误的匹配，一种是尺度匹配错误，另一种是位置匹配错误，采用尺度-空间一致性的方法，利用变换模型消除错误匹配。

变换模型：设一对匹配窗口{(x₁,y₁),(x₁′,y₁′)}:{(x₂,y₂),(x₂′,y₂′)}(其中(x₁,y₁)、(x₁′,y₁′)分别表示待检图像中某个窗口的左上角和右下角坐标，(x₂,y₂)、(x₂′,y₂′)表示检索系统内图像的某个窗口的左上角和右下角坐标)，则存在空间变换模型M，计算出模型M的变换矩阵L，如下式：

变换矩阵L中的a₁和a₂分别表示两对比窗口的长度缩放比以及宽度缩放比，t_x和t_y分别表示两窗口中心的横向平移距离和纵向平移距离。

采用改进的随机抽样一致性算法(RANSAC)排除错误的匹配对，保留在尺度和空间位置上都具有一致性的匹配对，即得到尺度-空间一致的相似窗口对。

通过尺度-空间一致性筛选基本排除一些错误匹配，将正确匹配窗口进行数量上的加权叠加，统计覆盖每个anchor point(结构定位点，即网格的中心点，如附图1所示)的相似窗口的数目。越相似的区域覆盖该区域结构定位点的相似窗口的数目越多。

每对窗口的权重由相似性距离决定，相似距离越小，权重越大，相似距离越大，权重越小，权重大小在0.8-1.3。相似窗口叠加之后，根据自适应性阈值矩阵分割出相似区域ROI。

自适应性阈值与各个位置的初始阈值矩阵以及上述筛选得到相似窗口的大小和数目有关。定义方式如下：

设T₀为初始阈值矩阵，大小为10*10，一般中间大，四周小，与具体滑窗的规格有关。设所有相似窗口的总面积为s，则自适应的阈值矩阵为T＝κ·T₀·(s/100wh)^α，其中，κ在0.2-0.6，α在0.4-0.8，随着滑动窗口规格的变化，κ和α的取值应进行适应性的调整。

需说明的是，相似区域的相似窗口的尺度广、数目多，所以是按照每个结构定位点相似窗口的比例定义阈值矩阵来进行分割，实际处理中会根据经验修改阈值矩阵。

对于根据自适应性阈值分割得到的相似区域，按照全局特征窗口匹配的方法进行局部相似区域特征窗口匹配，查找方法为局部邻域查找，并且局部相似区域特征窗口匹配过程中的偏移距离u取值为0.2-0.3。经局部相似区域特征窗口匹配后得到检索结果，根据与待检图形的相似程度由高到低排序。

下面以具体的商标图像检索实例来说明本发明。

实施例1

以待检索图像A_w×h为例，w和h分别表示图形的宽度和高度，运用本发明所述的检索方法进行检索。

首先，提取图像A_w×h和检索系统内所有图像的特征，具体步骤如下：

1.自定义多尺度滑窗的规格和滑动步长，滑窗的规格如表1所式，滑动步长μ为0.1，滑窗水平方向步长为0.1w，滑窗垂直方向步长为0.1h。

表1.多尺度滑动窗口的规格

2.将步骤1定义的滑动窗口以图形A_w×h的左上角为起点，按照水平滑动步长和垂直滑动步长，依次从左到右从上到下滑动，取得一系统不同尺寸的窗口图像集合R，共计225个，R＝{R_i}，i＝0,1,2...,225.

3.采用3*3的LBP算子对R_i进行特征提取，得到窗口特征f_i，具体过程如下：①将当前中心像素点与其周围像素点作比较：周围像素点的像素值大于或等于当前中心像素点的像素值时，记为1；小于当前中心像素点的像素值时，记为0；②按照顺时针或者逆时针的顺序获取二进制编码，同一图像的所有窗口需选用相同的顺序进行二进制编码，即得到窗口的二进制LBP特征f_i。

全局尺度间特征窗口匹配

对于检索图形

中的任意滑动窗口A_i，遍历数据库中图像

中的所有符合相似可能性条件的窗口B_j，j＝k₁,k₂,...,计算得到相似距离为

，....

相似距离的计算方法如下：

设滑窗特征向量A_i经过编码后的二进制特征串为f_i，滑窗特征向量B_j经过编码后的二进制特征串为g_j，则A_i和B_j之间的相似性距离d_ij通过汉明距离进行计算：

其中

表示二进制串f_i的第k位，

表示二进制串g_j的第k位，

表示异或操作，α的取值等于f_i及g_j长度的倒数。

查找出最相似的窗口

若d_min-i﹤T_sim(T_sim＝0.4)时，标记该对特征窗口，即相似窗口。同时，相似窗口对还满足以下条件：

(1)窗口B_j的中心位置在A_i中心位置附近的一定范围内，允许变换范围即偏移范围u为长或宽的二分之一，窗口中心位置也按照图形长宽的比例计算。本例中u＝0.5，即

(2)设A_i的长宽比r_Ai，B_j的长宽比r_Bj，则0.5r_Ai≤r_Bj≤2.0r_Ai

经全局尺度间特征窗口匹配得到图形

和

的相似窗口的匹配集合{A_i:B_j}。

筛选尺度-空间一致的正确匹配

相似窗口的匹配集合{A_i:B_j}中还存在一些不符合空间一致性的匹配对，采用尺度-空间一致模型消除错误匹配。

对于匹配集合{A_i:B_j}中的任意一对匹配窗口，存在空间变换模型M，计算出变换矩阵L。

变换模型：设一对匹配窗口{(x₁,y₁),(x₁′,y₁′)}:{(x₂,y₂),(x₂′,y₂′)}(其中(x₁,y₁)、(x₁′,y₁′)分别表示窗口A₁的左上角和右下角坐标，(x₂,y₂)、(x₂′,y₂′)分别表示窗口B₂的左上角和右下角坐标)，则存在空间变换模型，变换矩阵L。矩阵满足下式：

变换矩阵L中的a₁和a₂分别表示两对比窗口的长度缩放比以及宽度缩放比，t_x和t_y分别表示两窗口中心的横向平移距离和纵向平移距离。求解出L值，然后计算数据集中所有数据与模型M的投影误差，若误差小于阈值，加入内点集I。如果当前内点集I中元素个数大于最优内点集I_best,则更新I_best＝I；遍历数据集合中的所有数据，重复上述步骤。最优内点集I_best中的样本即为正确的匹配样本，最终得到正确匹配样本集合I_best＝{A_i:B_j}。

根据自适应性阈值分割出相似区域

通过空间变换模型筛选基本排除了一些错误匹配，将正确匹配窗口进行数量上的加权叠加，统计覆盖每个anchor point(网格的中心点)的相似窗口的数目。越相似的区域覆盖该区域anchor point点的相似窗口的数目越多。

附图2给出了相似窗口加权叠加的示意图，在加权叠加之后，根据自适应性阈值矩阵分割出相似区域。

对于A_w1×h1、B_w2×h2分别定义矩阵，

然后进行以下步骤：

①对于I_best＝{A_i:B_j}的任意一对匹配窗口{(x₁,y₁),(x₁′,y₁′)}:{(x₂,y₂),(x₂′,y₂′)}(其中(x₁,y₁)(x₁′,y₁′)分别表示窗口A_i的左上角和右下角坐标，(x₂,y₂)、(x₂′,y₂′)表示窗口B_j左上角和右下角坐标)，其相似性距离为d_ij，定义加权系数ω_ij，ω_ij＝min(2,2.67-3.33d_ij)，则有

②遍历I_best＝{A_i:B_j}的所有匹配样本，重复(1)更新

③将CA_w1×h1和CB_w2×h2通过采样缩小为CA_10×10和CB_10×10。

④定义初始阈值矩阵T₀

设在集合I_best＝{A_i:B_j}中所有属于

的所有窗口的总面积为s_A，则自适应的阈值矩阵为T_A＝κ·T₀·(s_A/(100w₁h₁))^α，在集合I_best＝{A_i:B_j}中所有属于

的所有窗口的总面积为s_B，则自适应的阈值矩阵为T_B＝κ·T₀·(s_B/(100w₂h₂))^α，κ＝0.2,α＝0.7。

通过自适应的阈值矩阵得到相似区域分割矩阵，

矩阵中不为0的部分表示图像中的候选相似区域。

局部相似区域特征窗口匹配

对于滑窗A_i的相似区域ROI_A，B_j的相似区域ROI_B，按照全局特征窗口匹配的方法进行局部相似区域特征窗口匹配，查找方法为局部邻域查找。

当d_min-i﹤0.2，且ROI_B中任一滑窗的中心位置满足

而且ROI_A和ROI_B内的滑窗的长宽比r满足0.5r_Ai≤r_Bj≤2.0r_Ai，则认为得到ROI_A和ROI_B的相似窗口匹配集合{A_i:B_j}。

ROI_A和ROI_B内的滑窗相似性也可以用滑窗中心点的相似性来代替，如图3中pA(u,v)为图A中包含窗口的中心点，则该点的相似性由所有以该点为中心的窗口的对应相似性的均值来计算:

(k表示包含该中心点的窗口数目)

则A和B中两个ROI区域的相似距离为：

其中，n_A、n_B分别为ROI_A和ROI_B中包含窗口的中心点的数目，λ为相似面积参数，相似区域总面积越大，λ越小。

附图4给出了本实施例的检索结果，其中，图形000000即为待检索图形，图形000001-000009为检索结果排序。由图可以看到，运用本发明所述检索方法进行商标图形检索，得到的检索结果排序与人类视觉具有高度一致性。

实施例2

本实施例与实施例1的区别在于：滑动窗口的规格和滑动步长不同，具体规格见表2，滑窗的水平和垂直滑动步长分别为0.2w，0.2h。全局尺度间特征窗口匹配得到的相似窗口对的相似距离d为0.3，窗口中心位置的偏移距离u为0.4；自适应阈值矩阵T＝κ·T₀·(s/100wh)^α中的κ为0.4，α为0.4；ROI内局部窗口特征匹配得到的相似窗口的中心位置偏移距离u为0.3。

表2.多尺度滑动窗口的规格

附图5给出了本实施例的检索结果，其中，图形000000为输入的待检索图形，图形000001-000009为检索结果。

实施例3

本实施例与实施例1的区别在于：滑动窗口的规格和滑动步长不同，具体规格见表3，滑窗的水平和垂直滑动步长分别为0.2w，0.1h。全局尺度间特征窗口匹配得到的相似窗口对的窗口中心位置的偏移距离u为0.6；自适应阈值矩阵T＝κ·T₀·(s/100wh)^α中的κ为0.6，α为0.8；ROI内局部窗口特征匹配得到的相似窗口的中心位置偏移距离u为0.3。

表3.多尺度滑动窗口的规格

附图6给出了本实施例的检索结果，其中，图形000000为输入的待检索图形，图形000001-000009为检索结果。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (12)

1.一种基于多尺度区域特征比对的商标图像检索方法，其特征在于，图像处理的对象包括输入的待检商标图像与检索系统的所有图像，所述商标图像检索方法包括以下步骤：

(1)采用多尺度滑窗分割图像，得到一系列窗口图像，然后采用LBP算子提取所述窗口图像的特征；

(2)将从输入的待检商标图像中提取得到的任意滑动窗口A_i的图像特征与从检索系统内的图像中提取得到的所有符合相似可能性条件的窗口B_j的图像特征进行全局尺度间特征窗口匹配，得到相似窗口对A_i：B_j；

(3)排除步骤(2)得到的相似窗口对中的错误匹配，筛选尺度-空间位置一致的相似窗口对；

(4)采用自适应性阈值矩阵T对步骤(3)的相似窗口对进行分割，得到相似区域ROI；

(5)在步骤(4)得到的相似区域ROI内进行局部窗口特征匹配；

(6)根据步骤(5)的特征匹配结果，输出检索结果；

步骤(3)所述的排除错误匹配的方法包括采用空间变换模型M和变换矩阵L，所述变换矩阵L满足下式：

其中，(x₁,y₁)、(x₁',y₁')分别表示待检图像中某个窗口的左上角和右下角坐标，(x₂,y₂)、(x₂',y₂')分别表示检索系统内图像的某个窗口的左上角和右下角坐标；变换矩阵L中的a₁和a₂分别表示两对比窗口的长度缩放比和宽度缩放比，t_x和t_y分别表示两窗口中心的横向平移距离和纵向平移距离。

2.根据权利要求1所述的商标图像检索方法，其中，所述滑窗的水平滑动步长范围为0.1w-0.2w，垂直滑动步长范围为0.1h-0.2h，w和h分别表示图像的宽和高。

3.根据权利要求2所述的商标图像检索方法，其中，所述滑窗是以图像的左上角为起点，按照水平滑动步长、垂直滑动步长，从左到右、从上到下滑动。

4.根据权利要求1-3任一项所述的商标图像检索方法，其中，步骤(2)所述的相似窗口对满足两窗口间的相似距离d小于0.5。

5.根据权利要求1-3任一项所述的商标图像检索方法，其中，步骤(2)所述的相似窗口对A_i：B_j满足以下条件：

其中u为偏移距离，u的数值范围为0.4-0.6；②窗口的长宽比r满足0.5rA_i≤rB_j≤2rA_i。

6.根据权利要求1所述的商标图像检索方法，其中，步骤(4)所述自适应阈值矩阵T满足下式：T＝κ·T₀·(s/100wh)^α，其中，κ和α为常数，s表示所有相似窗口的总面积，w和h分别表示图像的宽和高，T₀表示初始阈值矩阵。

7.根据权利要求2或3所述的商标图像检索方法，其中，步骤(4)所述自适应阈值矩阵T满足下式：T＝κ·T₀·(s/100wh)^α，其中，κ和α为常数，s表示所有相似窗口的总面积，T₀表示初始阈值矩阵。

8.根据权利要求6或7所述的商标图像检索方法，其中，所述初始阈值矩阵T₀的大小为10*10，所述κ的数值范围为0.2-0.6，所述α的数值范围为0.4-0.8。

9.根据权利要求5所述的商标图像检索方法，其中，步骤(5)所述的局部窗口特征匹配与步骤(2)所述全局尺度间特征窗口匹配的区别在于偏移距离u的数值范围为0.2-0.3。

10.根据权利要求6-9任一项所述的商标图像检索方法，其中，步骤(5)所述的局部窗口特征匹配与步骤(2)所述全局尺度间特征窗口匹配的区别在于偏移距离u的数值范围为0.2-0.3。

11.根据权利要求1-3任一项所述的商标图像检索方法，其中，步骤(5)所述的ROI内局部窗口特征匹配是以滑窗中心点的相似性计算,中心点的相似性计算公式为：

其中，k表示包含该中心点的窗口数目；

两个ROI区域的相似距离为：

其中，n_A、n_B分别为ROI_A和ROI_B中包含窗口的中心点的数目，λ为相似面积参数。

12.根据权利要求4-10任一项所述的商标图像检索方法，其中，步骤(5)所述的ROI内局部窗口特征匹配是以滑窗中心点的相似性计算，中心点的相似性计算公式为：

其中，k表示包含该中心点的窗口数目；

两个ROI区域的相似距离为：

其中，n_A、n_B分别为ROI_A和ROI_B中包含窗口的中心点的数目，λ为相似面积参数。

Images