CN104199931A - 一种商标图像一致语义提取方法及商标检索方法 - Google Patents

Abstract

本发明提供了一种商标图像一致语义提取方法及商标检索方法。本发明首先对用于商标图像检索的商标进行相似性的计算，然后在商标的形状表示与匹配的基础上加入相似图像的语义提取方法，最后基于已经计算好的商标图像相似类与语义映射关系提供商标检索的策略。本发明不仅可以在对商标图像分割获取目标对象后进行应用，从而在对象级别进行精确匹配；而且通过该方法，用户还可以用商标图像或文本进行相似商标的检索，其检索结果的查准率和查全率都得到了提高。

Description

一种商标图像一致语义提取方法及商标检索方法

技术领域

本发明涉及图像搜索技术领域,尤其是涉及一种商标图像一致语义提取方法及商标检索方法。

背景技术

随着我国市场经济的快速发展,商标图像需求量不断增加,而传统的以基于分类码并且以大量人力为代价的检索方法日益不能解决当前商标注册的矛盾。目前处于研究热点和难点的基于内容商标检索技术,以计算机视觉技术为基础,并利用模式识别等相关计算机辅助知识进行图像检索,为解决当前商标注册问题提供了一个很好的途径。

传统的常用的图像检索方式与文本信息检索一致,均是通过关键词来进行检索。这种方式一般被称为基于文本的图像检索,其中主要存在两方面问题：第一、该检索方式需要对图像进行合理的关键词标注,然而当前图像自动标注技术尚不成熟；第二、用户有时很难用若干关键词来表示检索条件,而更希望通过以图搜图的方式来查找相似图像。为了解决这些问题,进一步满足用户的检索需求,基于内容的图像检索技术被提出。该技术是直接通过对图像内容进行分析来提取相应的视觉特征,以此实现检索。

尽管基于内容的图像检索技术已经有了较大的发展，却仍然无法满足人们的检索要求。一方面传统的基于内容的图像检索系统没有考虑图像的语义信息。另一方面，由于特征维数高，运算复杂度高，从提高检索精度或分类正确率的角度而言，都不可能将所有提取的特征都能用于检索或分类。因此，对图像语义特征进行分析和选择成为这一领域最前沿的研究热点之一。

但如今系统存在从图像的视觉特征到图像的语义表达之间的巨大差距，使得检索无论在准确率和效率上都无法满足用户的需求。其最大的困难就是：系统提取出的图像底层内容特征与用户检索时使用的高层语义之间无法对应起来，也就是说图像特征根本无法表达用户的高层语义，故检索结果往往不令人满意。

由于商标注册时是根据选择类别进行注册的，因此商标的相似性检索只需要在一个类别里面进行即可。

中国商标数据库的商标除了商标图像外，还包括商标文字、商标持有人、使用商品、国际分类等信息。

因而，尽量结合利用商标领域内的知识，缩小从商标图像的视觉特征到商标图像的语义表达之间存在的差距，使检索内容更能符合用户的需求，是一个目前急需解决的问题。

发明内容

本发明的目的在于提供一种商标图像一致语义提取方法及商标检索方法。通过该方法，用户可以用商标图像或文本进行相似商标的检索，其检索结果的查准率和查全率都得到了提高。

本发明采用如下技术方案：

一种商标图像一致语义提取方法，其特征在于，包括如下步骤：

1)商标图像的相似性计算，具体包括：

1.1)商标对象形状的特征提取；

1.2)商标图像的特征匹配；

2)相似图像的语义提取，具体包括：

2.1)商标图像的相似性矩阵计算；

2.2)进行商标图像的相似类计算，用于得到若干个商标图像相似类；

2.3)进行商标图像相似类描述的词频统计及语义映射，得到商标相似类语义映射特征。

优选的，所述步骤1.1)的特征提取具体如下：

1.1.1)进行商标对象规范化处理，依次包括目标位置的规范化、目标大小的规范化及目标旋转的规范化；

1.1.2)计算平面中所有给定样本点的半径最小的外接圆，该最小外接圆作为商标图像的目标区域；

1.1.3)将目标区域划分成若干等面积的同心圆环；

1.1.4)将每个同心圆环划分成等面积的若干子块；

1.1.5)对每个子块进行二值特征计算与提取，统计所有子块的二值特征构成二值特征序列。

优选的，所述步骤1.1.1)中的位置的规范化是通过将商标图像原点移至图像重心来实现；所述的目标大小的规范化是将目标位置规范化后的商标图像缩放到一致的大小；所述的目标旋转的规范化是对目标大小规范化后的商标图像，计算其目标形状主轴方向与水平方向的夹角后进行旋转实现。

优选的，1.1.5)中对每个子块进行二值特征计算与提取，统计所有子块的二值特征构成二值特征序列，是指对每个子块统计目标像素占该子块像素的比重，来确定每个子块的统计值，所有子块的统计值构成二值特征序列。

优选的，步骤1.2)所述的商标图像的特征的匹配，具体如下：

设定两个商标图像的二值特征序列分别为SB₁和SB₂，长度皆为K×M，且要求两个二值特征序列的有效长度偏差不超过50％，即相似性度量计算公式如下：

$\mathrm{Sim}({\mathrm{SB}}_1,{\mathrm{SB}}_2)=\frac{2\×\∪({\mathrm{SB}}_1\∩{\mathrm{SB}}_2)}{\∪\left({\mathrm{SB}}_1\right)+\∪\left({\mathrm{SB}}_2\right)}$

其中，“∩”为按位与操作符，“∪”操作符用于将特征向量序列按位相加，“∪(SB₁∩SB₂)”表示两个二值特征序列间非零相似位的个数，而“∪(SB₁)+∪(SB₂)”表示两个商标图像的二值特征序列的所有位之和。

优选的，步骤2.1)所述的商标图像的相似性矩阵计算，具体是指：设某个商标分类里面有n个商标图像，分别为a₁,a₂,...,a_n,商标图像a_i与a_j的相似度用s_i，j表示，i，j∈[1，n]，基于步骤1.2)对所有商标图像两两进行相似度计算，可以得到如下相似性矩阵

该矩阵为对称矩阵，s_i，j∈[0，1]，并且当i=j时,s_i，j=1。

优选的，步骤2.2)所述的商标图像的相似类计算，预先设定一个阈值，基于步骤2.1)得到的相似性矩阵计算商标图像的相似类，包括如下步骤：

2.2.1)对相似性矩阵左下部分或右上部分的相似度值按从大到小排序，并记录相似度值对应的相似性矩阵的位置；

2.2.2)每个商标图像开始都单独视为一类；

2.2.3)依次判断按相似度大小排序构成的序列的每个相似度值，如果大于阈值，则将其对应的相似性矩阵上的所在行和列取出并为一类，同时划掉该行和列，即可得到若干个商标图像相似类。

优选的，步骤2.3)中的相似商标类描述的词频统计及语义映射，基于商标图像注册时的商标文字描述，包括如下步骤：

2.3.1)对商标文字描述进行中文分词，分词后去除停用词，得到若干关键词，基于步骤2.2)得到的每个商标图像相似类将对应一序列关键词，或者一个关键词对应多个商标图像相似类；

2.3.2)在每个商标图像相似类对应的关键词中取出现频率最大的若干个关键词，构成商标相似类语义映射特征。

一种商标检索方法，其特征在于，基于上述的任一一种商标图像一致语义提取方法实现，用户上传商标图像后，与步骤2.2)得到的若干个商标图像相似类进行比较，输出最相似的商标图像类，作为第一部分输出；而后根据对应的商标图像相似类语义映射特征，得到多个关键词，通过这些关键词进行检索，输出结果作为第二部分输出。

一种商标检索方法，其特征在于，基于上述的任一一种商标图像一致语义提取方法实现，用户输入关键词后，首先，通过输入的关键词进行检索，检索结果作为第一部分输出；而后根据对应的商标图像相似类语义映射特征得到商标图像相似类，作为第二部分输出。

由上述对本发明的描述可知，与现有技术相比，本发明具有如下有益效果：

采用本发明的方法，不管是用图像搜索图像还是用文本搜索图像，通过构建的商标图像相似类与语义映射的互相转换，在检索过程中，即实现了商标底层特征的匹配，也实现了商标语义的匹配，从而提高了查准率和查全率。

附图说明

图1为本发明提供的商标图像一致语义提取方法及商标检索方法组成原理图；

图2是本发明商标对象形状特征的提取过原理程图；

图3为为本发明中的商标相似类语义映射特征示意图。

具体实施方式

以下通过具体实施方式对本发明作进一步的描述。

参照图1，本发明的实施例是将用于商标图像检索的商标图像进行相似性的计算，然后在商标的形状表示与匹配的基础上加入相似图像的语义提取方法，及一种基于已经计算好的商标图像相似类与语义映射关系提供的商标检索方法，该方法可用于在中国商标图像数据库中进行商标检索，快速提高了商标图像检索结果的查准率和查全率。

一种商标图像一致语义提取方法，包括如下步骤：

1)商标图像的相似性计算，

1.1)商标对象形状的特征提取，参照图2，包括

1.1.1)进行商标对象规范化处理，依次包括目标位置的规范化、目标大小的规范化及目标旋转的规范化。具体操作如下：

其中，设f(x,y)表示商标图像区域Ω的二值图像，目标位置的规范化通过将商标图像原点移至商标图像重心得到。设二值商标图像对象的均值向量为C＝[C_x,C_y]^T，则对原商标图像的变换公式为

f_T(x_i,y_j)＝f(x_i-C_x,y_j-C_y)

其中，x_i，y_j为像素坐标，C_x，C_y为重心坐标。目标大小的规范化在目标位置规范化的基础上进行，以达到对商标图像进行缩放的目的。商标对象的平均半径为

$\stackrel{\‾}{r}=\frac{{\mathrm{\Σ}}_{i=1}^W{\mathrm{\Σ}}_{j=1}^H{f}_T(x_i,y_i)\·\sqrt{x_i^2+y_j^2}}{{\mathrm{\Σ}}_{i=1}^W{\mathrm{\Σ}}_{j=1}^H{f}_T(x_i,y_i)}$

其中W,H分别代表商标图像的宽和高，i＝1，2,…，W；j＝1,2，…H，假设R为商标对象面积的四分之一，则缩放因子定义为：对平移规范化后的商标图像进行缩放变换的公式为f_TS(x_i，y_j)＝f_T(s·x_i，s·y_j)。

目标旋转的初步规范化处理过程如下：之所以称为“初步”是因为在后续的特征匹配步骤还有进一步的关于目标旋转不变性的考虑。

假设μ_kr代表k+r阶中心距，则

${\mathrm{\μ}}_{\mathrm{kr}}=E\left\{{\left({X-C}_x\right)}^k{\left({Y-C}_y\right)}^r\right\}={\underset{\mathrm{\Ω}}{\∫}\left({x-C}_x\right)}^k{\left({y-C}_y\right)}^{r}f(x,y)\mathrm{dxdy}.$

其中x，y为像素坐标，C_x，C_y为重心坐标，X为所有像素的x坐标集合，Y为所有像素的y坐标集合。根据该公式，获得所有的2阶中心矩,即μ₀₂，μ₂₀，μ₁₁，并带入目标的旋转角度公式：

$\mathrm{\θ}={\tan }^{-1}\left\{\frac{{\mathrm{\μ}}_{02}-{\mathrm{\μ}}_{20}+\sqrt{{({\mathrm{\μ}}_{02}-{\mathrm{\μ}}_{20})}^2+{4\mathrm{\μ}}_{11}^2}}{{2\mathrm{\μ}}_{11}}\right\}$

计算所得θ为形状主轴方向与水平方向的夹角。

1.1.2)计算平面中所有给定样本点的半径最小的外接圆，该最小外接圆国家贴近商标图像中形状的边缘，且不受重心位移的一些，因此可作为商标图像的目标区域，该方法提取的目标区域不受旋转变化的影响，具有较好的旋转不变性。

1.1.3)将目标区域划分成若干等面积的同心圆环，采用同心圆的划分方法。将目标区域划分为M个子区域，即

$c_1(x,y),\·\·\·,c_i(x,y),\·\·\·,c_M(x,y),1\≤i\≤M,c_i(x,y)\⋐C(x,y)$

其中，c₁(x,y)为一个中心圆，c₂(x,y)～c_M(x,y)为多个同心圆环。

采用等面积划分，划分后每个圆环子区域所包含的面积是相等的，即

$c_i(x,y)=\left\{\begin{array}{cc}\left\{(x,y)\right|{(x-\stackrel{\&OverBar;}{x})}^2+{(y-\stackrel{\&OverBar;}{y})}^2\&le;\frac{r^2}{M}\}& i=1\\ \left\{(x,y)\right|\frac{{(i-1)\&times;r}^2}{M}<{(x-\stackrel{\&OverBar;}{x})}^2+{(y-\stackrel{\&OverBar;}{y})}^2\&le;\frac{{i\&times;r}^2}{M}\}& 1<i\&le;M\end{array}\right.$

其中，为外接圆的中心，r为最外圈外接圆的半径，(x,y)∈C(x,y)，C(x,y)为外接圆所覆盖的区域。

1.1.4)将每个同心圆环划分成等面积的K个子块。

1.1.5)对每个子块统计目标像素占该子块像素的比重，如大于某个阈值t，则该子块的统计值为1，否则为0。根据每个子块的统计值，形成二值特征序列。序列的统计顺序是由内而外，从0⁰到360⁰进行的。对于一个具有M个环，每个环划分成K个等份的目标区域，其最终形成的二值特征序列为：SB(T(x，y))＝{b₁，...，b_M，...，b_i，...，b_K×M}。b_i表示每个子块的统计值，取值为1或0，i＝1,…,K×M。该二进制特征串即为商标图像对象的特征表示。

1.2)商标图像的特征匹配，具体如下：

设定两个商标图像的二值特征序列分别为SB₁和SB₂，长度皆为K×M，且要求两个二值特征序列的有效长度近似，偏差不超过50％,即相似性度量计算公式如下：

$\mathrm{Sim}({\mathrm{SB}}_1,{\mathrm{SB}}_2)=\frac{2\&times;\&cup;({\mathrm{SB}}_1\&cap;{\mathrm{SB}}_2)}{\&cup;\left({\mathrm{SB}}_1\right)+\&cup;\left({\mathrm{SB}}_2\right)}$

其中，“∩”为按位与操作符，“∪”操作符用于将特征向量序列按位相加，“∪(SB₁∩SB₂)”表示两个二值特征序列间非零相似位的个数，而“∪(SB₁)+∪(SB₂)”表示两个商标图像的二值特征序列的所有位之和。

对其中一个二值特征序列执行K-1次的M位位移，比如对SB₁执行位移操作，而后重新运用相似性度量公式进行相似度计算。对K次计算出来的相似度结果进行大小排序，取最大值作为两个特征串的最终比较结果，即两个商标图像的相似度值。对二进制特征串执行位移操作实际上是对商标对象的旋转操作，通过这种循环移动的比较过程,可以有效实现商标的旋转不变性匹配过程。

2)相似图像的语义提取，具体包括：

2.1)商标图像的相似性矩阵计算，具体是指：设某个商标分类里面有n个商标图像，分别为a₁,a₂,...,a_n,商标图像a_i与a_j的相似度用s_i，j表示，i，j∈[1，n]，基于步骤1.2)对所有商标图像两两进行相似度计算，可以得到如下相似性矩阵

该矩阵为对称矩阵，s_i，j∈[0，1],并且当i＝j时,s_i，j＝1，即矩阵对角线上的值为1。

2.2)进行商标图像的相似类计算，预先设定一个阈值，基于步骤2.1)得到的相似性矩阵计算商标图像的相似类，包括如下步骤：

2.2.1)对相似性矩阵左下部分包括(包括s_2，1，s_3，1，s_3，2，…，s_n，n-1等)的相似度值按从大到小排序，并记录相似度值对应的相似性矩阵的位置。

2.2.2)每个商标图像开始都单独视为一类。

2.2.3)设定一个阈值σ，σ∈[0.5，1]，依次判断按相似度大小排序构成的序列的每个相似度值，如果大于阈值σ，则将其对应的相似性矩阵上的所在行和列取出并为一类(例如s_i，j，取出对应的矩阵i行和j列对应的设备图像，将其并为一类)，同时划掉第i行和第j列(使得进行下个相似度值判断时，不被计算进去)，即可得到多个商标图像相似类。

2.3)进行商标图像相似类描述的词频统计及语义映射，基于商标图像注册时的商标文字描述，包括如下步骤：

2.3.1)对商标文字描述进行中文分词，分词方法可以采用基于字符串匹配或基于统计的分词方法，分成后去除停用词，仅留下一些检索用词，即关键词，基于步骤2.2。3)得到的每个商标图像相似类将对应一序列关键词，或者一个关键词对应多个商标图像相似类，如图3所示。

2.3.2)在每个商标图像相似类对应的关键词中取出现频率最大的前t个关键词，构成商标相似类语义映射特征。每个相似图像类都有与其语义映射的t个关键词。

本发明还提出两种种商标检索方法分别为图像搜索图像和文本搜索图像，均基于上述一种用于商标检索的图像一致语义提取方法实现。

对于图像搜索图像，用户上传商标图像后，与步骤2.2)得到的若干个商标图像相似类进行比较，输出最相似的商标图像类，作为第一部分输出；而后根据对应的商标图像相似类语义映射特征，得到多个关键词，通过这些关键词进行检索，输出结果作为第二部分输出。

对于文本搜索图像，用户输入关键词后，首先，通过输入的关键词进行检索，检索结果作为第一部分输出；而后根据对应的商标图像相似类语义映射特征得到商标图像相似类，作为第二部分输出。

从上述检索过程可见，不管是用图像搜索图像还是用文本搜索图像，通过我们前面构建的商标图像相似类与语义映射的互相转换，在检索过程中，即实现了商标底层特征的匹配，也实现了商标语义的匹配，从而提供了查准率和查全率。

上述仅为本发明的具体实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。

Claims (10)

1.一种商标图像一致语义提取方法，其特征在于，包括如下步骤：

1)商标图像的相似性计算，具体包括：

1.1)商标对象形状的特征提取；

1.2)商标图像的特征匹配；

2)相似图像的语义提取，具体包括：

2.1)商标图像的相似性矩阵计算；

2.2)进行商标图像的相似类计算，用于得到若干个商标图像相似类；

2.3)进行商标图像相似类描述的词频统计及语义映射，得到商标相似类语义映射特征。

2.如权利要求1所述的一种商标图像一致语义提取方法，其特征在于，所述步骤1.1)的特征提取具体如下：

1.1.1)进行商标对象规范化处理，依次包括目标位置的规范化、目标大小的规范化及目标旋转的规范化；

1.1.2)计算平面中所有给定样本点的半径最小的外接圆，该最小外接圆作为商标图像的目标区域；

1.1.3)将目标区域划分成若干等面积的同心圆环；

1.1.4)将每个同心圆环划分成等面积的若干子块；

1.1.5)对每个子块进行二值特征计算与提取，统计所有子块的二值特征构成二值特征序列。

3.如权利要求2所述的一种商标图像一致语义提取方法，其特征在于，所述步骤1.1.1)中的位置的规范化是通过将商标图像原点移至图像重心来实现；所述的目标大小的规范化是将目标位置规范化后的商标图像缩放到一致的大小；所述的目标旋转的规范化是对目标大小规范化后的商标图像，计算其目标形状主轴方向与水平方向的夹角后进行旋转实现。

4.如权利要求2所述的一种商标图像一致语义提取方法，其特征在于，1.1.5)中对每个子块进行二值特征计算与提取，统计所有子块的二值特征构成二值特征序列，是指对每个子块统计目标像素占该子块像素的比重，来确定每个子块的统计值，所有子块的统计值构成二值特征序列。

5.如权利要求1所述的一种商标图像一致语义提取方法，其特征在于，步骤1.2)所述的商标图像的特征的匹配，具体如下：

设定两个商标图像的二值特征序列分别为SB₁和SB₂，长度皆为K×M，且要求两个二值特征序列的有效长度偏差不超过50％，即相似性度量计算公式如下：

$\mathrm{Sim}({\mathrm{SB}}_1,{\mathrm{SB}}_2)=\frac{2\&times;\&cup;({\mathrm{SB}}_1\&cap;{\mathrm{SB}}_2)}{\&cup;\left({\mathrm{SB}}_1\right)+\&cup;\left({\mathrm{SB}}_2\right)}$

其中，“∩”为按位与操作符，“∪”操作符用于将特征向量序列按位相加，“∪(SB₁∩SB₂)”表示两个二值特征序列间非零相似位的个数，而“∪(SB₁)+∪(SB₂)”表示两个商标图像的二值特征序列的所有位之和。

6.如权利要求1所述的一种商标图像一致语义提取方法，其特征在于，步骤2.1)所述的商标图像的相似性矩阵计算，具体是指：设某个商标分类里面有n个商标图像，分别为a₁,a₂,...,a_n,商标图像a_i与a_j的相似度用s_i，j表示，i，j∈[1，n]，基于步骤1.2)对所有商标图像两两进行相似度计算，可以得到如下相似性矩阵

该矩阵为对称矩阵，s_i，j∈[0，1]，并且当i=j时,s_i，j=1。

7.如权利要求1所述的一种商标图像一致语义提取方法，其特征在于，步骤2.2)所述的商标图像的相似类计算，预先设定一个阈值，基于步骤2.1)得到的相似性矩阵计算商标图像的相似类，包括如下步骤：

2.2.1)对相似性矩阵左下部分或右上部分的相似度值按从大到小排序，并记录相似度值对应的相似性矩阵的位置；

2.2.2)每个商标图像开始都单独视为一类；

2.2.3)依次判断按相似度大小排序构成的序列的每个相似度值，如果大于阈值，则将其对应的相似性矩阵上的所在行和列取出并为一类，同时划掉该行和列，即可得到若干个商标图像相似类。

8.如权利要求1所述的一种商标图像一致语义提取方法，其特征在于，步骤2.3)中的相似商标类描述的词频统计及语义映射，基于商标图像注册时的商标文字描述，包括如下步骤：

2.3.1)对商标文字描述进行中文分词，分词后去除停用词，得到若干关键词，基于步骤2.2)得到的每个商标图像相似类将对应一序列关键词，或者一个关键词对应多个商标图像相似类；

2.3.2)在每个商标图像相似类对应的关键词中取出现频率最大的若干个关键词，构成商标相似类语义映射特征。

9.一种商标检索方法，其特征在于，基于权利要求1至8所述的任一一种商标图像一致语义提取方法实现，用户上传商标图像后，与步骤2.2)得到的若干个商标图像相似类进行比较，输出最相似的商标图像类，作为第一部分输出；而后根据对应的商标图像相似类语义映射特征，得到多个关键词，通过这些关键词进行检索，输出结果作为第二部分输出。

10.一种商标检索方法，其特征在于，基于权利要求1至8所述的任一一种商标图像一致语义提取方法实现，用户输入关键词后，首先，通过输入的关键词进行检索，检索结果作为第一部分输出；而后根据对应的商标图像相似类语义映射特征得到商标图像相似类，作为第二部分输出。