CN104156413A - 一种基于商标密度的个性化商标匹配识别方法 - Google Patents

Abstract

一种基于商标密度的个性化商标匹配识别方法，包括：建立商标图片样本库，提取SIFT特征，计算商标密度，并根据该商标密度，设定个性化匹配策略；为样本库中的商标图片提取SIFT特征及GSC特征，并建立SIFT词袋模型和GSC词袋模型；对于待识别图像区域，提取SIFT特征和GSC特征，分别在SIFT词袋模型和GSC词袋模型中计算商标的相似度列表；根据个性化匹配策略，将两个商标相似度列表结合，获得该区域与所有商标的最终相似度列表，相似度最大且满足相似度阈值的商标为该区域的识别结果。本发明提高了商标识别的速度与精度，同时对于商标在受到尺度变换、视角变换、光照、遮挡、背景干扰等影响下的检测具有良好的效果。

Description

一种基于商标密度的个性化商标匹配识别方法

技术领域

本发明涉及目标检测与识别技术领域，尤其涉及一种基于商标密度的个性化商标匹配识别方法，可以用于快速商标识别及商标检索。

背景技术

特定目标识别是计算机视觉中具有挑战性的工作之一，同时，随着目标种类的爆炸式增长，对于大规模类别下实时目标识别的需求越来越高，尤其是在移动应用和推荐系统中的特定区域识别。商标可以看做是一种平坦表面的目标，他们在现代市场，广告和商标注册中具有很大的价值。特别的，商标库可以达到上万的种类，这种规模在普通的目标检测和识别领域很少出现。我们的主要目标就是给定一个自然场景下的查询区域或者一张未知图片，以及一个大规模的商标库，识别出其中的商标(如图1所示)。

早期研究主要集中于文本文档中的商标识别和分类，但是这些场景中的商标都是非彩色，正面视角的并且背景简单，这些方法不适用于实际场景中的商标识别。基于内容的商标检索中，形状是分辨商标很重要的信息，因此很多研究采用形状描述子来进行识别，比如形状上下文(shape context，SC)，以及后来对其改进的广义形状上下文(generalized shape contexts，GSCs)。同时还有一些将颜色和形状结合的全局特征用于检测实际场景中的商标。局部特征对于实际场景中的商标也有很好的检测和识别效果，比如SIFT和SURF。最近很多研究将关键信息中融入了一些空间信息，利用视觉单词进行识别。

尽管这些基于全局和局部描述子的商标识别系统有很好的效果，但是他们都对所有的商标采用相同的识别框架，并没有考虑商标的多样性和差异性。因此，随着商标库规模的增大，这些通用的方法没有办法将每一个商标都很好的识别出。对于采用基于形状特征的方法来说，当商标的形状有很多琐碎的小区域构成，如图1中的星巴克和联合利华，这些特征无法获得准确的形状特征。因此当商标复杂并且边界信息很难获得时，这些基于边界的描述子就不合适了。对于采用局部特征的系统，当商标由一些平滑的区域构成或者商标非常简单时，如图1中的百度和德士古，局部特征无法获得足够多的关键点。因此对于简单商标来说，局部特征会导致较低的召回率和准确率。因此，在识别匹配时要考虑商标的多样性，对不同的商标采用不同的匹配方案，将形状和局部特征自适应地结合，利用各自的优点来弥补对方的缺点，达到综合的准确识别。

发明内容

为了达到快速准确识别的目的，本发明区别于以上的现有技术，从商标本身的特点出发，提出了一种基于商标密度的个性化匹配识别方法。

本发明提出的一种基于商标密度的个性化商标匹配识别方法，包括以下步骤：

建立商标图片样本库；

对商标图片样本库中的商标图片提取SIFT特征，计算所有商标图片的商标密度ρ_L；

根据得到的所述商标密度，设定待识别的图像区域与所述商标图片样本库中的商标图片的个性化匹配策略；

对所述商标图片样本库中的商标图片提取SIFT及GSC特征，并利用这些特征建立SIFT词袋模型和GSC词袋模型；

对所述待识别的图像区域提取SIFT及GSC特征，并利用得到的商标图片的所述SIFT词袋模型和GSC词袋模型，计算所述待识别的图像区域与所述商标图片样本库中的商标图片的SIFT相似度列表及GSC相似度列表；

利用得到的基于商标密度的个性化匹配策略，将所述待识别的图像区域与所述商标图片样本库中的商标图片的SIFT相似度列表及GSC相似度列表融合，得到所述待识别的图像区域与所述商标图片样本库中的商标图片的最终相似度列表；

基于所述最终相似度列表中相似度最大且满足相似度阈值的商标，得到所述待识别的图像区域的识别结果。

其中，所述的商标密度ρ_L表示单位面积中的平均关键点数目，如下所示：

ρ_L＝ＫN/UAN

UAN＝Area/UA

其中，KN是对所述商标图像提取SIFT特征后得到的SIFT关键点数目，UAN是所述商标中单位面积的数目，UA设为100，Area是所述商标图像长宽的乘积。

其中，所述的设定待识别的图像区域与所述商标图片样本库中的商标图片的个性化匹配策略的步骤进一步包括：

根据所述待识别的图像区域与所述商标图片样本库中的商标图片的商标密度，得到匹配密度计算公式如下：

${\mathrm{\ρ}}_{M_i}=\mathrm{\α}\·{\mathrm{\ρ}}_Q+\mathrm{\β}\·{\mathrm{\ρ}}_{L_i},$

其中，是匹配密度，ρ_Q为待查询区域的商标密度，为商标库中第i个商标的商标密度，i∈{1，…，N}；α、β是权重系数，取α＝β＝0.5；

根据得到的匹配密度利用逻辑回归思想，给出SIFT特征与GSC特征融合的权重比例w_i，计算公式如下：

$w_i=f({\mathrm{\ρ}}_{M_i}-T_{\mathrm{\ρ}})=\frac{1}{1+e^{-({\mathrm{\ρ}}_{M_i}-T_{\mathrm{\ρ}})}},$

其中，w_i是权重比例，且0≤w_i≤1；f(·)是logistic回归方程，值域是0到1；T_ρ是密度阈值，通过在验证集上进行测试，在获得最佳识别结果时获得；

根据得到的所述权重比例将所述待识别的图像区域与所述商标图片样本库中的商标图片的所述SIFT相似度和GSC相似度进行个性化融合，得到所述待识别的图像区域与所述商标图片样本库中的商标图片的最终相似度计算公式如下：

$\mathrm{Sim}\left(Q_{L_i}\right)=w_i{\mathrm{Sim}}_{\mathrm{SIFT}}\left(Q_{L_i}\right)+(1-w_i){\mathrm{Sim}}_{\mathrm{GSCs}}\left(Q_{L_i}\right),$

其中，是查询Q和商标L_i的综合相似度；L_i是所述商标图片样本库N个商标中的第i个，i∈{1，…，N}；和是所述待识别的图像区域与所述商标图片样本库中的商标图片的SIFT和GSCs相似度。

其中，所述建立SIFT词袋模型及GSC词袋模型的步骤进一步包括：

对所述商标图片样本库中的所有商标图片分别提取SIFT特征及GSC特征；

利用HKM对所有提取的SIFT特征计算聚类中心，设置聚类中心为10,000，将所有商标的SIFT特征建立词袋模型，用倒排查找索引表示；

利用HKM对所有提取的GSC特征计算聚类中心，设置聚类中心为10,000，将所有商标的GSC特征建立GSC词袋模型，用倒排查找索引表示。

其中，所述计算待识别的图像区域与所述商标图片样本库中的商标图片的SIFT相似度列表及GSC相似度列表的步骤包括：

利用建立的所述SIFT词袋模型及GSC词袋模型，对所述待识别的图像区域的SIFT特征及GSC特征在所述倒排查找索引中进行查找检索，得到所述待识别的图像区域与所述商标图片样本库中所有商标的相似度降序列表：BOW-SIFT排序表和BOW-GSCs排序表。

其中，所述利用得到的基于商标密度的个性化匹配策略，将所述待识别的图像区域与所述商标图片样本库中的商标图片的SIFT相似度列表及GSC相似度列表融合，得到所述待识别的图像区域与所述商标图片样本库中的商标图片的最终相似度列表的步骤进一步包括：

对于所述BOW-SIFT排序表中的前R个商标，在所述BOW-GSCs排序表中获得该商标的之后按照最终相似度的计算公式计算其中R为正整数。

对于所述BOW-GSCs排序表中的前R个商标，在所述BOW-SIFT排序表中获得该商标的之后按照最终相似度的计算公式计算由此得到2×R个商标的综合列表。

优选地，R＝20。

其中，所述的基于所述最终相似度列表中相似度最大且满足相似度阈值的商标，得到所述待识别的图像区域的识别结果的步骤包括：

按照相似度从大到小对得到的所述综合列表中的商标进行排序，如果排序列表中第一个商标的相似度大于相似度阈值T_sim，则所述商标为所述待识别的图像区域的识别结果，否则查询结果为空。

其中，所述相似度阈值T_sim是通过将T_sim从0到1之间变化，获得最佳F1值时确定的，其中F1为综合评价指标。

本发明方法充分利用商标的复杂性，以特征点对复杂性进行数学量化表示，给出商标密度，之后利用商标密度将形状和区域特征自适应融合，对待测区域进行准确识别，并将该过程和词袋模型结合，进一步提高了大规模商标库下的商标识别的速度和精度。

附图说明

图1是出现在实际场景图片中的商标图片；

图2是本发明的商标图片库中的部分商标图片；

图3是十种商标图片及对应SIFT关键点图片和形状边界图片；

图4是基于商标密度的商标分布以及对应区域的商标示例；

图5是基于本发明方法对查询区域识别的流程图；

图6是本发明方法的测试图片中的24种商标示意图及各自商标密度；

图7是本发明方法的测试数据库中标注好的待测区域图片及负样本图片；

图8本发明方法在验证集上将密度阈值T_ρ变化时的准确率曲线；

图9本发明方法在验证集上准确率-召回率曲线；

图10用本发明方法测试查询图片在不同尺寸下的F1值曲线；

图11是本发明方法所选测试集FlickrLogos-27数据库的样本图片；

图12是利用本发明方法和baseline-1、baseline-3在FlickrLogos-27数据库含有27种商标时的对比(查询区域和整张图片)；

图13是利用本发明方法和baseline-1、baseline-3在FlickrLogos-27数据库含有4K种商标时的对比(查询区域和整张图片)；

图14是本发明方法的流程框架图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。

本发明提出了一种基于商标密度的个性化商标匹配识别方法，该方法对待识别的区域和每个商标都进行分析，结合两者特点，将每次匹配都个性化处理，获得查询区域和商标更加准确的相似度。参考图14，本发明基于商标密度的个性化商标匹配识别方法包括以下步骤：

步骤1，建立包含多种商标图片的商标图片样本库；

由于本发明的目的是商标识别，即在大规模商标库下识别待测区域是哪种商标，因此商标图片样本库中商标图片的规模应该较大，这里设置该库含有10,000种商标。

图2列出了本发明商标图片样本库中的部分商标图片，从这些商标图片中可以看出，商标的背景都是白色，商标的主体颜色不受外界因素的影响，比如光照。同时商标的边界清晰，容易从背景中分割出来。

商标图片样本库中的商标图片的尺寸大约在158×158左右，这样大部分的商标细节都可以清晰的保留下来。另外，商标图片样本库中的商标图片作为商标识别的基础，应该尽可能的清晰，这样才能保证从中提取的特征的准确性。

步骤2，为商标图片样本库中的商标图片提取SIFT特征，根据该发明定义的商标密度计算所有商标图片的商标密度；

步骤2.1，对所有商标图片提取SIFT特征，本发明参考文献“Distinctiveimage features from scale-invariant keypoints”(D.Lowe，International Journalof Computer Vision(60)，pp.91-110，2004)中的SIFT特征提取方法进行。

商标一般是由一些图形、图案构成，如图3第一行所示，本发明给出了十个商标示意图，有的由一些简单的图形构成，如“苹果”、“百事可乐”和“家乐福”，有的则由很多不同的区域构成，相对复杂，如“联合利华”，“雀巢”等。图3第二行给出了每种商标对应的SIFT特征点图片，第三行给出了每种商标形状的边界。从该图中可以看出这些复杂的商标比简单的含有更多的信息，商标越复杂，形状就越复杂，此时全局形状描述子描述能力下降，而局部特征点越多，局部特征的描述性就要越准确。相反，商标越简单，形状越简单，这样全局描述子的表现就更好，而此时局部特征点越少，局部描述子的表现就很差。

因此在进行匹配识别时，这两个特征可以互相补充增强，将这两个特征以合适的方式结合到一起，使得在进行简单商标匹配时，全局的形状描述子贡献的力量大些；在进行复杂商标匹配时，局部描述子贡献的大些；在其他情况时，这两种特征互相补充。这样可以更加准确的获得每次匹配的相似度，获得更高的鲁棒性，从而成功地识别出各种各样的商标。

步骤2.2，根据所述步骤2.1得到所有的商标的SIFT特征，对每个商标图片计算商标密度；

在将这两个特征进行结合的时候，本发明计划根据每个商标的复杂性来给出他们所占的比例。因此建立一个标准来衡量一个商标有多复杂就十分重要。这里，本发明提出了一个新的概念——商标密度。正如“密度”的字面义，他是商标的本质属性，可以反映商标的复杂度。研究发现SIFT关键点的数目在一定程度上可以表示这种复杂度。如图3第二行所示，在同样尺寸下，复杂商标相比简单商标含有更多的关键点。因此本发明给出了商标密度的定义：

定义：商标密度ρ_L是单位面积(unit area，UA)中的平均关键点数目，如式(1)和(2)所示：

ρ_L＝KN/UAN  (1)

UAN＝Area/UA  (2)

其中，KN是对所述商标图像提取SIFT特征后得到的SIFT关键点数目，本发明参考文献“Distinctive image features from scale-invariantkeypoints”(D.Lowe，International Journal of Computer Vision(60)，pp.91-110，2004)，UAN是商标中单位面积的数目。KN和UAN可以看做是“质量”和“体积”。本发明将UA设为100。Area是图像的长宽的乘积。

表1一些商标的商标密度值

如图4所示，本发明给出了数据库中10,000个商标的商标密度分布图。同时，也在相应的区域给出了一些示例图片以及他们的密度值，如表1所示。很明显，随着商标密度的增加，商标变得越来越复杂，本发明认为当商标密度大于0.5时，该商标为复杂的(“重”)，否则为简单的(“轻”)。因此，商标密度可以为形状和局部特征的完美结合提供一些语义信息。从图4中可以看出简单商标和复杂商标的数目基本相等，这意味着将这两个特征结合能够获得全面准确的商标识别结果。

步骤3，根据步骤2提出的商标密度，设定待识别的图像区域(下称待测区域)与商标图片的个性化匹配策略；

步骤3.1，融合待测区域与商标图片的商标密度，按照式(3)得到此次匹配的匹配密度；

${\mathrm{\ρ}}_{M_i}=\mathrm{\α}\·{\mathrm{\ρ}}_Q+\mathrm{\β}\·{\mathrm{\ρ}}_{L_i}---\left(3\right)$

其中是匹配密度，ρ_Q为待测区域的商标密度，为商标库中第i个商标的商标密度，α、β分别为待测区域与第i个商标的商标密度融合比例。对于查询Q，ρ_Q决定了SIFT和GSCs哪个更可靠，同样的对于商标L_i，也具有同样的作用。因此我们应该同时考虑ρ_Q和从而获得式(3)的本发明认为这两个密度都很重要，所以设置α＝β＝0.5。当值较低的时候(比如小于0.3时)，给这次匹配取名为“简单匹配”；当值较高时(比如大于0.7时)，则取名为“复杂匹配”；其他情况则认为是“中等匹配”。

步骤3.2，根据步骤3.1中得到的匹配密度，利用逻辑回归思想，给出SIFT特征与GSC特征融合的权重比例；

由于商标具有很大的多样性，本发明需要自适应的为每个商标选择合适的权重w。如步骤2所述，商标越复杂，局部特征越准确。相反，商标越简单，全局特征描述子表现越好。所以商标密度可以当做一个变量来为这两种情况计算权重，这个过程可以在一定程度上看成二分类问题。这样本发明采用logistic回归的思想，然后将其调整来使其适合我们的方法，公式如下：

$w_i=f({\mathrm{\ρ}}_{M_i}-T_{\mathrm{\ρ}})=\frac{1}{1+e^{-({\mathrm{\ρ}}_{M_i}-T_{\mathrm{\ρ}})}}---\left(4\right)$

在式(4)中，f(·)是logistic回归方程，值域是0到1。因此其输出结果可以认为是SIFT特征所占的权重w_i。是决策边界，当w_i＝f(0)＝0.5时，意味着对于查询Q和商标L_i，SIFT和GSCs同等重要；当增加时，w_i会变得越来越大，此时SIFT要比GSCs更加有效；相反的，当减小时，w_i会变得越来越小，表明此时GSCs要比SIFT更有效。在本发明中，T_ρ是密度阈值，其值是通过在验证集上进行测试，在获得最佳识别结果时获得的。

步骤3.3，根据步骤3.2中的权重将待测区域与商标图片的SIFT相似度及GSC相似度进行个性化融合，获得待测区域与该商标图片的最终相似度；

由于SIFT特征能够获得充足的具有区分性的局部信息，因此本发明采用SIFT作为局部特征描述子。GSCs能够很好的描述商标形状信息，因此将其作为全局特征描述子，具体描述请参考文献“Efficient shapematching using shape contexts”(Mori et al.，IEEE Transactions on PatternAnalysis and Machine Intelligence(27)，PP.1832-1837，2005)。对于待查询区域和商标，我们获得它们的SIFT和GSCs相似度，并按照式(5)结合：

$\mathrm{Sim}\left(Q_{L_i}\right)=w_i{\mathrm{Sim}}_{\mathrm{SIFT}}\left(Q_{L_i}\right)+(1-w_i){\mathrm{Sim}}_{\mathrm{GSCs}}\left(Q_{L_i}\right)---\left(5\right)$

其中，w_i是权重且0≤w_i≤1。是查询Q和商标L_i的综合相似度。L_i是商标库N个商标的的i个，i∈{1，…，N}。和是使用SIFT和GSCs的相似度。

通过基于商标密度的个性化匹配策略，可以将待查询区域和每个商标对于特征的喜好结合到商标匹配中，这样便可以个性化的对待每次匹配，从而为每次匹配获得更加准确的相似度。

步骤4，为商标图片样本库中的商标图片提取SIFT及GSC特征，并利用这些特征建立SIFT词袋模型及GSC词袋模型，并用倒排索引数据结构表示；

所述步骤4进一步分为两个步骤：

步骤4.1，对所有商标图片分别提取SIFT特征及GSC特征；

步骤4.2，大规模目标检索中，常用的方法是视觉词袋模型(BOW)，具体请参考文献“Video Google：A text retrieval approach to object matchingin videos”(Sivic et al.，International Conference on Computer Vision，pp.1470-1477，2003)，其核心是对局部特征进行量化从而有效的建立匹配索引，替代原有的遍历匹配，从而达到实时快速的检索。因此本发明也采用这种思想，在对10,000种商标图片提取SIFT和GSCs描述子后，分别建立词袋模型，并用倒排索引数据结构表示，具体请参考图书“Dictionaryof algorithms and data structures”(Paul E Black，National Institute ofStandards and Technology，2004)。

首先利用HKM对所有提取的SIFT特征计算聚类中心，这里设置聚类中心为10,000(HKM请参考文献“Scalable recognition with avocabularytree”(Nister et al.，Computer Vision and Pattern Recognition，pp.2161-2168，2006))。获得聚类中心后，将所有商标的SIFT特征建立词袋模型，用建立倒排查找索引表示。同理，对于GSC特征也这么操作，建立GSC的词袋模型。

基于这两个匹配索引，图5给出了流程示意图，具体步骤如下：

步骤5，对待识别的图像区域提取SIFT及GSC特征，并利用所述步骤4得到的商标图片的SIFT词袋模型及GSC词袋模型，计算待测区域与商标图片的SIFT相似度列表及GSC相似度列表；

所述步骤5进一步分为两个步骤：

步骤5.1，提取待测区域的SIFT特征及GSC特征；

步骤5.2，利用所述步骤4.2中建立的两个词袋模型，对待测区域的SIFT特征及GSC特征在各自的倒排索引中进行查找检索，获得该区域与所有商标的相似度降序列表：BOW-SIFT排序表和BOW-GSCs排序表。

步骤6，利用基于商标密度的个性化匹配策略，将待测区域与商标图片的SIFT相似度列表及GSC相似度列表融合，获得待测区域与商标图片的最终相似度列表；

具体的，所述步骤6进一步包括以下步骤：

步骤6.1，对于BOW-SIFT排序表中的前R(20)个商标，在BOW-GSCs排序表中获得该商标的之后按照公式(5)计算其中R为正整数。

步骤6.2，对于BOW-GSCs排序表的前R个商标也同样这么操作。这样可以获得最多2×R个商标的综合列表。

步骤7，最终相似度列表中相似度最大且满足一定阈值的商标为待测区域的识别结果。具体为，按照相似度从大到小对综合列表中的商标进行排序，如果排序列表中第一个商标的相似度大于相似度阈值T_sim，则这个商标为该查询区域的识别结果，否则这个查询不含有任何商标。

其中相似度阈值T_sim是通过将T_sim从0到1之间变化，获得最佳F1值时确定的，其中F1值为综合评价指标，定义为F1＝2×召回率×准确率/(召回率+准确率)。

算法测试数据集

为了更加合理的评价本发明提出的方法，本发明首先在自建数据库中进行了测试。对于自建数据库，本发明对24种商标搜集了1700张实际场景图片，每一张图片含有一种商标，这些图片来自Flickr和Google图像。之后人工对这些图像中的商标区域进行了标注，作为查询识别区域，标注好的查询集合分为两个不相交的子集P1和P2，每个集合都含有所有的24种商标，分别为850张图片。本发明的实验选择P1为验证集来进行参数调整，P2为测试集来验证算法好坏。此外，为了将此查询集合进行完善，本发明为P1和P2各搜集了200张不含有任何商标的图片作为负样本图片。图6给出了这24种商标示意图以及每个商标对应的商标密度，从该图中可以看出，随着商标越来越复杂，密度值越来越大，而且这些商标从简单到复杂分布均匀，这样可以准确衡量本章方法处理各种商标的效果。图7给出了数据库中的部分示例图片，第一、二行为含有已标注好的商标图片，这些图片中的商标有一定的旋转、空间变形、光照影响、尺度影响等，第三行为不含商标图片。

接着，本发明也在FlickrLogos-27数据库中进行了验证，该数据库来自文献“Scalable triangulation-based logo recognition”(Y.Kalantidis et al.，ACM International Conference on Multimedia Retrieval，pp.20，2011)。本发明将查询集中的135张正样本图片的商标区域及135张负样本图片作为待识别区域，直接在自建测试库获得的参数基础上进行实验分析，图11给出了FlickrLogos-27数据库的部分图片示意图。

最后，本发明从Flickr和Google上面搜集了10,000张不同种类的商标图片作为我们的商标库，这些商标的复杂程度各不相同，每种商标仅有一张图片，这些图片都调整到合适的尺寸(158×158)，我们保证商标都是清晰、正面的出现在图片中，图2给出了部分商标示意图。

算法性能评价

本发明方法的性能评价是从10,000种商标中识别出待查询区域是什么商标进行验证的。首先将本发明的IMS算法和SIFTs和GSCs的平均比例融合策略进行对比(Average)，即在式(5)中设置w＝0.5，以此来说明本发明个性化融合的优势。之后我们将IMS和两个state-of-art的方法进行对比，即将使用BOW-SIFT识别作为baseline-1，将使用BOW-GSCs识别作为baseline-2。

对于自建数据库，算法性能指标有三个，准确率ξ、召回率δ、F1值和检测时间。

评价公式表示为：

$F1=\frac{2\·\mathrm{\ξ}\·\mathrm{\δ}}{\mathrm{\ξ}+\mathrm{\δ}}.$

对于FlickrLogos-27数据库，本发明采用文献“Scalabletriangulation-based logo recognition”(Y.Kalantidis et al.，ACM InternationalConference on Multimedia Retrieval，pp.20，2011)中的正确率(Accuracy)来衡量算法性能。

算法性能验证

在本发明的模型中，公式(4)中的T_ρ是很重要的一个参数，实验中将其从0到1进行变化，在验证集P1上进行测试，测试时设置T_sim＝0，因此本发明以正样本图片上的准确率来进行判断。如图8所示，当T_ρ是0.15时，准确率最高，因此T_p＝0.15。确定T_ρ后，图9给出了本发明方法、平均比例策略(Average)、baseline-1和baseline-2在验证集P1上的准确率&召回率曲线，可以看出本发明提出的方法不论在准确率还是召回率上都要好于基准方法，之后我们选择最大F1值时的阈值0.18为T_sim。

在通过验证集P1的各项试验后，我们获得所有的最佳参数值。表2给出了在测试集上5种商标测试样本和全部测试图片的召回率和准确率，这些商标的密度各不相同。从该表中可以看出：

1)随着商标密度的增加，基于SIFT的baseline-1处理效果越来越好，反之，基于形状的baseline-2则越来越差，这进一步说明了单一的处理框架无法全面的对所有商标进行准确的识别。

2)对于各个密度的商标，包括简单的和复杂的商标，本发明提出的IMS和平均比例融合策略相比baseline-1和baseline-2，检测准确率和召回率方面都有提高，这说明进行多特征融合可以更加全面的提高商标检测识别的效果，更好的处理大规模场景中的商标识别。

3)本发明的IMS策略将一定的语义信息——商标密度，应用到了融合中，不论是简单商标还是复杂商标，都要比平均比例策略要好很多，所有商标的平均准确率是0.52，召回率是0.45，同时还保证了快速识别，每个查询图片的平均时间为0.452s。如果商标库中每种商标的图片越多，识别结果将会越好。

表2使用本发明的个性化匹配策略、平均比例策略、baseline-1和baseline-2的5种商标和全部测试图片的准确率(P)、召回率(R)和F1值

为了验证我们基于密度的识别方法对于待识别图片尺寸的鲁棒性，我们对不同尺寸的图片进行了测试，如图10所示，Scale-i是指对原始图片进行0.9ⁱ倍缩小，从图中可以看出，图像尺寸对我们的识别结果并没有很大的影响，说明我们的方法对图像尺寸有一定的鲁棒性。

为了说明本发明方法的通用性，本发明在FlickrLogos-27数据库上对该方法也进行了测试。Y.Kalantidis等人在他们的文献“Scalabletriangulation-based logo recognition”(Y.Kalantidiset al.，ACM IntemationalConference on Multimedia Retrieval，pp.20，2011)中比较了BOW模型(baseline-1)和所提出的msDT方法(baseline-3)，他们比较商标在不同数目训练图片下的正确率，即正样本查询检测正确的加上负样本查询没有检测出的除以所有查询。由于本发明的方法没有训练的过程，所以将每种商标的训练图片当作是该商标参考图片。因此，如果某种商标有k张训练图片，则商标库中这种商标就有k张图片，最后的查询的识别结果便是能够使式5中相似度最大商标。本发明对这个商标库中的测试图片标注查询区域，并测试在两种不同的尺度的商标库下，即含有27种商标和4K种商标，特征单词规模分别为5K和10K时，使用本发明方法以及baseline-1和baseline-3识别查询区域和整张图片的实验结果。如图12所示，在测试整张图片时，当每种商标只有一张图片时，正确率已经接近基准方法，随着参考图片增多，本发明方法和他们相差不大；在识别查询区域时，本发明方法有很高的正确率。如图13所示，当商标库规模增大到4K时，在识别整张图片时，相比其他两种基准方法，本发明方法的正确率并没有明显的降低。在每种商标仅有一张图片时的正确率就已经高于基准方法，而且随着参考图片的增多，依然保持较高的正确率。在识别查询区域时，相比仅含有27种商标的规模时，正确率并没有很大的降低，在每种商标含有5、10、15、25的参考图片时，正确率和27种商标时基本保持一致。

可以看出，本发明提出的方法对商标库种类规模具有较强的鲁棒性，识别的正确率不会因为商标种类变多而变差。此外，当商标种类为4K时，本发明方法对于查询区域的识别时间是0.74s，对于整张图片的识别时间为3.4s。因此本发明的方法可以快速有效地处理不同规模下的商标识别。

实验证明，与以往方法相比，本发明提出的方法针对商标的特点，进一步提高了商标检测与定位识别的速度与精度。

综上所述，本发明提出了一种新颖有效的标准来衡量商标的密度并且给出了基于商标密度的个性化匹配策略，更有针对性的获取每次匹配的相似度。本发明首先对商标进行了分析，结合现阶段对商标识别所采用的特征，发现这些特征有一定的局限性，他们都无法全面的处理各种复杂度的商标，但是这些特征可以按照商标特性进行融合，以此来弥补各自的缺陷。接着本发明提出了商标密度的概念，它可以在一定程度上反应商标的复杂性。结合商标密度给出了查询和商标的匹配密度以及个性化匹配策略，将全局和局部特征描述子很好的结合在一起，并且可以个性化的对待每次匹配，从而获得此次匹配更准确的相似度。在此基础上，本发明利用了词袋模型的思想进行大规模商标库下的快速识别。经过在自建数据库和FlickrLogos-27数据库上的实验对比，表明本发明方法相比经典方法可以更加全面准确地识别各种复杂度的商标，同时也说明本发明的方法适合于在各种尺度的商标库中进行快速准确的商标识别。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于商标密度的个性化商标匹配识别方法，包括以下步骤：

建立商标图片样本库；

对商标图片样本库中的商标图片提取SIFT特征，计算所有商标图片的商标密度ρ_L；

根据得到的所述商标密度，设定待识别的图像区域与所述商标图片样本库中的商标图片的个性化匹配策略；

对所述商标图片样本库中的商标图片提取SIFT及GSC特征，并利用这些特征建立SIFT词袋模型和GSC词袋模型；

对所述待识别的图像区域提取SIFT及GSC特征，并利用得到的商标图片的所述SIFT词袋模型和GSC词袋模型，计算所述待识别的图像区域与所述商标图片样本库中的商标图片的SIFT相似度列表及GSC相似度列表；

利用得到的基于商标密度的个性化匹配策略，将所述待识别的图像区域与所述商标图片样本库中的商标图片的SIFT相似度列表及GSC相似度列表融合，得到所述待识别的图像区域与所述商标图片样本库中的商标图片的最终相似度列表；

基于所述最终相似度列表中相似度最大且满足相似度阈值的商标，得到所述待识别的图像区域的识别结果。

2.根据权利要求1所述的基于商标密度的个性化商标匹配识别方法，其中，所述的商标密度ρ_L表示单位面积中的平均关键点数目，如下所示：

ρ_L＝KN/UAN

UAN＝Area/UA

其中，KN是对所述商标图像提取SIFT特征后得到的SIFT关键点数目，UAN是所述商标中单位面积的数目，UA设为100，Area是所述商标图像长宽的乘积。

3.根据权利要求1所述的基于商标密度的个性化商标匹配识别方法，其中，所述的设定待识别的图像区域与所述商标图片样本库中的商标图片的个性化匹配策略的步骤进一步包括：

根据所述待识别的图像区域与所述商标图片样本库中的商标图片的商标密度，得到匹配密度计算公式如下：

${\mathrm{\ρ}}_{M_i}=\mathrm{\α}\·{\mathrm{\ρ}}_Q+\mathrm{\β}\·{\mathrm{\ρ}}_{L_i},$

其中，是匹配密度，ρ_Q为待查询区域的商标密度，为商标库中第i个商标的商标密度，i∈{1，…，N}；α、β是权重系数，取α＝β＝0.5；

根据得到的匹配密度利用逻辑回归思想，给出SIFT特征与GSC特征融合的权重比例w_i，计算公式如下：

$w_i=f({\mathrm{\ρ}}_{M_i}-T_{\mathrm{\ρ}})=\frac{1}{1+e^{-({\mathrm{\ρ}}_{M_i}-T_{\mathrm{\ρ}})}},$

其中，w_i是权重比例，且0≤w_i≤1；f(·)是logistic回归方程，值域是0到1；T_ρ是密度阈值，通过在验证集上进行测试，在获得最佳识别结果时获得；

根据得到的所述权重比例将所述待识别的图像区域与所述商标图片样本库中的商标图片的所述SIFT相似度和GSC相似度进行个性化融合，得到所述待识别的图像区域与所述商标图片样本库中的商标图片的最终相似度计算公式如下：

$\mathrm{Sim}\left(Q_{L_i}\right)=w_i{\mathrm{Sim}}_{\mathrm{SIFT}}\left(Q_{L_i}\right)+(1-w_i){\mathrm{Sim}}_{\mathrm{GSCs}}\left(Q_{L_i}\right),$

其中，是查询Q和商标L_i的综合相似度；L_i是所述商标图片样本库N个商标中的第i个，i∈{1，…，N}；和是所述待识别的图像区域与所述商标图片样本库中的商标图片的SIFT和GSCs相似度。

4.根据权利要求1所述的基于商标密度的个性化商标匹配识别方法，其中，所述建立SIFT词袋模型及GSC词袋模型的步骤进一步包括：

对所述商标图片样本库中的所有商标图片分别提取SIFT特征及GSC特征；

利用HKM对所有提取的SIFT特征计算聚类中心，设置聚类中心为10,000，将所有商标的SIFT特征建立词袋模型，用倒排查找索引表示；

利用HKM对所有提取的GSC特征计算聚类中心，设置聚类中心为10,000，将所有商标的GSC特征建立GSC词袋模型，用倒排查找索引表示。

5.根据权利要求1所述的基于商标密度的个性化商标匹配识别方法，其中，所述计算待识别的图像区域与所述商标图片样本库中的商标图片的SIFT相似度列表及GSC相似度列表的步骤包括：

利用建立的所述SIFT词袋模型及GSC词袋模型，对所述待识别的图像区域的SIFT特征及GSC特征在所述倒排查找索引中进行查找检索，得到所述待识别的图像区域与所述商标图片样本库中所有商标的相似度降序列表：BOW-SIFT排序表和BOW-GSCs排序表。

6.根据权利要求1所述的基于商标密度的个性化商标匹配识别方法，其中，所述利用得到的基于商标密度的个性化匹配策略，将所述待识别的图像区域与所述商标图片样本库中的商标图片的SIFT相似度列表及GSC相似度列表融合，得到所述待识别的图像区域与所述商标图片样本库中的商标图片的最终相似度列表的步骤进一步包括：

对于所述BOW-SIFT排序表中的前R个商标，在所述BOW-GSCs排序表中获得该商标的之后按照最终相似度的计算公式计算其中R为正整数。

对于所述BOW-GSCs排序表中的前R个商标，在所述BOW-SIFT排序表中获得该商标的之后按照最终相似度的计算公式计算由此得到2×R个商标的综合列表。

7.根据权利要求6所述的基于商标密度的个性化商标匹配识别方法，其中R＝20。

8.根据权利要求1所述的基于商标密度的个性化商标匹配识别方法，其中所述的基于所述最终相似度列表中相似度最大且满足相似度阈值的商标，得到所述待识别的图像区域的识别结果的步骤包括：

按照相似度从大到小对得到的所述综合列表中的商标进行排序，如果排序列表中第一个商标的相似度大于相似度阈值T_sim，则所述商标为所述待识别的图像区域的识别结果，否则查询结果为空。

9.根据权利要求1所述的基于商标密度的个性化商标匹配识别方法，其中所述相似度阈值T_sim是通过将T_sim从0到1之间变化，获得最佳F1值时确定的，其中F1为综合评价指标。