CN104462380A - 商标检索方法 - Google Patents

Abstract

本发明提供的商标检索方法包括以下步骤：对样本商标进行文字和图像的分割以分割成文字和图像部分；对样本商标的整体、该样本商标的图像部分以及该样本商标的文字部分分别进行特征提取；根据提取的特征，针对样本商标的整体、样本商标的图像部分以及样本商标的文字部分分别建立整体特征数据库、图像特征数据库以及文字特征数据库；按照与样本商标相同的步骤，对待测商标进行文字和图像的分割以及特征提取；根据待测商标的图像部分和文字部分的特征，分别在图像特征数据库和文字特征数据库中进行相似度检索；在待测商标的图像部分和文字部分的相似度均不满足相似度阈值的情况下，根据待测商标整体的特征，在整体特征数据库中进行相似度检索。

Description

商标检索方法

技术领域

本发明涉及多媒体信息检索技术，具体地，涉及一种商标检索方法。

背景技术

商标是公司、产品或服务的标志，与企业的商品质量、服务质量、经营管理融为一体，在工商业社会中起着非常重要的作用，是公司及其产品的一个重要属性，具有唯一性。为使商标得到合法的保护，必须向商标局正式注册。随着我国经济的发展和全球化进程的加快，商标数量逐年递增。防止重复注册或相似商标注册是商标管理的核心问题。为了保护注册商标的合法权益，打击仿冒盗用注册商标的违法行为，需要对待注册的商标进行检索，与已注册的商标进行比较，确定二者不相同或者不相近似，才具有注册资格。

商标的识别检索是多媒体信息检索领域的热点问题，人们研究和实现了多种不同的形状匹配算法，但对于多组合商标、尤其是文字和图形组合商标来说，并没有对商标中重要的文字信息和图像信息进行专门识别的方法，导致对于多组合商标的识别结果误差较大。

发明内容

本发明的目的是针对现有的商标识别检索技术对于多组合商标的识别率较低的问题，提供一种针对多组合商标的快速有效、识别率高的商标检索方法。

根据本发明的技术方案，提供一种商标检索方法，该方法包括以下步骤：获取所有样本商标；对样本商标进行文字和图像的分割，以分割成文字部分和图像部分；对样本商标的整体、该样本商标的图像部分、以及该样本商标的文字部分分别进行特征提取；根据提取的特征，针对样本商标的整体、样 本商标的图像部分、以及样本商标的文字部分分别建立整体特征数据库、图像特征数据库、以及文字特征数据库；获取待测商标；按照与样本商标相同的步骤，对待测商标进行文字和图像的分割以及特征提取；根据待测商标的图像部分和文字部分的特征，分别在图像特征数据库和文字特征数据库中进行相似度检索，获得相似度检索结果；在待测商标的图像部分和文字部分的相似度均不满足相似度阈值的情况下，根据待测商标整体的特征，在整体特征数据库中进行相似度检索。

根据本发明的技术方案，将样本商标分割成文字部分和图像部分，并对分割前和分割后的样本商标分别进行特征提取，对于待测商标同样进行文字和图像分割以及特征提取，并分别针对待测商标的文字部分和图像部分进行相似度检索。更进一步地，如果针对待测商标的文字部分和图像部分均没有检索到相同或近似结果，再以商标整体进行相似度检索。

本发明的商标检索方法对多组合商标的整体内容进行了分类处理，图形特征和文字特征的提取更加详尽，对多组合商标的文字部分和图像部分均进行了专门的识别和检索，快速有效且识别率更高，克服了现有技术存在的对多组合商标的识别结果误差较大的问题，在未获得满意的识别结果的情况下，本发明的商标检索方法还按照文字和图形结合的商标整体进行了相似度检索，能够更好地保证相似度检索的准确性。

本发明的其他特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。在附图中：

图1是本发明提供的商标检索方法的流程示意图。

具体实施方式

以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。

本发明提供了一种商标检索方法，如图1所示，该方法包括以下步骤：获取所有样本商标；对样本商标进行文字和图像的分割，以分割成文字部分和图像部分；对样本商标的整体、该样本商标的图像部分、以及该样本商标的文字部分分别进行特征提取；根据提取的特征，针对样本商标的整体、样本商标的图像部分、以及样本商标的文字部分分别建立整体特征数据库、图像特征数据库、以及文字特征数据库；获取待测商标；按照与样本商标相同的步骤，对待测商标进行文字和图像的分割以及特征提取；根据待测商标的图像部分和文字部分的特征，分别在图像特征数据库和文字特征数据库中进行相似度检索，获得相似度检索结果；在待测商标的图像部分和文字部分的相似度均不满足相似度阈值的情况下，根据待测商标整体的特征，在整体特征数据库中进行相似度检索。

根据本发明的技术方案，此处“所有的样本商标”指的是已注册的、并定期更新或实时更新的所有商标。对多组合样本商标进行的文字和图像的分割可以根据实际情况的需要采用基于连通域投影法、基于连通域面积法、以及基于结构的子图抽取法中的一者来实现，本发明不对其进行限定。

基于连通域投影法：对于文字图像组合商标来说，虽然商标中的文字部分可能由汉字、拼音和英文组成且字体、大小、形状不规则，但是文字通常以行的形式出现，同一行中的文字个数多于一个且文字的高度相差不大，而商标中的图形部分通常单独位于一行且与文本行间存在间隔。这是文字图像组合商标中最常见的情况。基于连通域投影的文字消除方法是将连通域分解所得到的子图像沿水平方向投影，然后按照投影的结果分层为文本层和图形 层，确定图形所在的层且保留该层。

基于连通域面积法：图形是商标的关键部分，在大部分文字图像组合商标中，图形在面积上占主导地位。商标中的文字无论出现在图形的内部或者外部，与图形相比所占的面积都较小，定义一个面积阈值可以达到去掉噪声面积较小的文字的目的，而对面积较大的子图形来说，在消除文字噪声前需要做一些判断，防止误消除一些有用的子图形。基于连通域面积法主要利用图形的外围特征和笔划穿刺特征把文字和图形区分开来，因为文字通常是由很多笔划组成的不封闭图形，而图形的外轮廓比较平滑，通过该方法可以消除图形内部的文字，也可以消除和图形的投影相重叠的文字。

基于结构的子图抽取法：在部分文字图像组合商标中，与文字部分相比，图形部分并不占据明显的优势，且图形部分通常和文字部分完全重叠。通常在商标图案的宽高差别较大时，会出现图形在面积上不占优势的情况，另外，与其它的图像相比，这些图像的结构比较规则，即具有确定的结构。基于结构的子图抽取法对图像的处理过程如下：对于横向商标图像，首先计算图像的宽高比并判断是否大于给定的阈值，对宽高比较大的图像(大于阈值)，确定该图像的结构，如果满足事先给定的结构，则保留相应的图像部分。对于纵向商标图像，可将商标图像逆时针旋转90度，然后按照横向商标图像的方法处理。

根据本发明的技术方案，在完成样本商标的文字和图像分割之后，对样本商标的整体、该样本商标的图像部分、以及该样本商标的文字部分分别进行特征提取。

对于样本商标的整体的特征提取，根据实际情况的需要，对样本商标的整体的特征提取可以包括全局特征提取或局部特征提取，或包括全局特征和局部特征提取两者，本发明不对此进行限定。

其中，所述全局特征可以包括颜色特征和边缘形状特征。颜色特征用于 描述图像或图像区域所对应的景物的表面性质。常用的颜色特征提取方法包括颜色直方图、颜色集、颜色矩、颜色聚合向量、颜色相关图等等，其原理及计算过程为本领域技术人员所公知。

所谓边缘，是指其周围像素灰度急剧变化的那些象素的集合，边缘存在于目标、背景和区域之间，是图像最基本的特征。所述边缘形状特征信息的提取可采用以下边缘检测算法中的任一者实现：Sobel算子边缘检测、Roberts算子边缘检测、Prewitt算子边缘检测、Laplacian算子边缘检测、以及Canny算子边缘检测。

1、Sobel算子边缘检测

Sobel算子主要用于边缘检测，在技术上是以离散型的差分算子，用以运算图像亮度函数的梯度的近似值，Sobel算子是典型的基于一阶导数的边缘检测算子，由于该算子中引入了类似局部平均的运算，因此对噪声具有平滑作用，能很好的消除噪声的影响。

Sobel算子包含两组3x3的矩阵，分别为横向及纵向模板，将之与图像作平面卷积，即可分别得出横向及纵向的亮度差分近似值。实际使用中，常用以下两个模板来检测图像边缘。

检测水平边沿横向模板：

$G_x=\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right]$

检测垂直平边沿纵向模板：

$G_y=\left[\begin{array}{ccc}1& 2& 1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right]$

图像的每一个像素的横向及纵向梯度近似值可用以下的公式结合，来计算梯度的大小。

$G=\sqrt[2]{G_x^2+G_y^2}$

然后可用以下公式计算梯度方向。

$\mathrm{\Θ}=\arctan \left(\frac{G_y}{G_x}\right)$

2、Roberts算子边缘检测

Roberts算子是一种简单的、利用局部差分算子寻找边缘的算子，采用对角线方向相邻两象素之差近似梯度幅值检测边缘。

Roberts边缘算子是一个2x2的模板，采用的是对角方向相邻的两个像素之差。

3、Prewitt算子边缘检测

Prewitt算子是一种一阶微分算子的边缘检测，利用像素点上下、左右邻点的灰度差，在边缘处达到极值检测边缘，去掉部分伪边缘，对噪声具有平滑作用。其原理是在图像空间利用两个方向模板与图像进行邻域卷积来完成，所述两个方向模板一个检测水平边缘，而另一个检测垂直边缘。

举例来说，对于数字图像f(x，y)，Prewitt算子定义如下：

G(i)＝|[f(i-1，j-1)+f(i-1，j)+f(i-1，j+1)]-[f(i+1，j-1)+f(i+1，j)+f(i+1，j+1)]|

G(j)＝|[f(i-1，j+1)+f(i，j+1)+f(i+1，j+1)]-[f(i-1，j-1)+f(i，j-1)+f(i+1，j-1)]|

则P(i，j)＝max[G(i)，G(j)]或P(i，j)＝G(i)+G(j)

Prewitt梯度算子法是先求平均，再求差分来求梯度。水平和垂直梯度模板分别为：

检测水平边沿横向模板：

$G_x=\left[\begin{array}{ccc}-1& 0& 1\\ -1& 0& 1\\ -1& 0& 1\end{array}\right]$

检测垂直平边沿纵向模板：

$G_y=\left[\begin{array}{ccc}1& 0& 1\\ 0& 0& 0\\ -1& -1& 1\end{array}\right]$

4、Laplacian算子边缘检测 

Laplacian算子为基于二阶微分算子，该算子利用二阶微分过零点的原理提取边界点。在算法实现过程中，也是通过3x3卷积核运算，选取合适的阈值以提取边缘。Laplacian算子表示成模板的形式如下所示：

Laplacian算子模板： 

$\left[\begin{array}{ccc}0& 1& 0\\ 1& -4& 1\\ 0& 1& 0\end{array}\right],$

其扩展模板： 

$\left[\begin{array}{ccc}1& 1& 1\\ 1& -8& 1\\ 1& 1& 1\end{array}\right].$

5、Canny算子边缘检测

Canny算子是一个具有滤波、增强、检测的多阶段的优化算子，在进行处理前，Canny算子先利用高斯平滑滤波器来平滑图像以除去噪声，Canny分割算法采用一阶偏导的有限差分来计算梯度幅值和方向，在处理过程中，Canny算子还将经过一个非极大值抑制的过程，最后Canny算子还采用两个阈值来连接边缘。

其中，所述局部特征可以包括尺度不变特征转换(SIFT)特征或加速鲁棒性(SURF)特征。SIFT(Scale Invariant Feature Transform，尺度不变特征转换)特征是采用SIFT算法提取的一种局部特征，对旋转、亮度变化、尺寸缩放具有不变性。SURF(Speeded Up Robust Features，加速鲁棒性)特征是采用SURF算法提取的一种局部特征，SURF算法是SIFT算法的加速版，它利用Haar小波来近似SIFT方法中的梯度操作，同时利用积分图技术进行 快速计算。SIFT特征和SURF特征的提取算法为本领域技术人员所公知，在此不再做进一步的说明和介绍。

对于样本商标的图像部分的特征提取，根据实际情况的需要，对样本商标的图像部分的特征提取可以包括全局特征提取或局部特征提取，或包括全局特征和局部特征提取两者，本发明不对此进行限定。其中，所述全局特征可以包括颜色特征和边缘形状特征，所述局部特征可以包括尺度不变特征转换(SIFT)特征或加速鲁棒性(SURF)特征，对全局特征和局部特征的提取方法如上文中所述，此处不再阐述。

对于样本商标的文字部分的特征提取，根据实际情况的需要，对样本商标的文字部分的特征提取可以包括结构特征提取或像素分布特征提取，本发明不对此进行限定。

结构特征提取：结构特征充分利用了字符本身的特点，从字符图像上得到其字符笔画信息，并根据这些信息来判别字符。例如，汉字的笔画可以简化成四类：横、竖、左斜和右斜。根据长度不同又可分为长横、短横、长竖和短竖等。将汉字分块，并提取每一块的笔画特征，即可得到一个关于笔画的矩阵，以此作为特征来识别汉字。

像素分布特征提取：像素分布特征的提取方法很多，常见的有水平、垂直投影的特征，微结构特征和周边特征等。水平、垂直投影的特征是计算字符图像在水平和垂直方向上像素值的多少，以此作为特征。微结构法将图像分为几个小块，统计每个小块的像素分布。周边特征则计算从边界到字符的距离。

根据本发明的技术方案，所述像素分布特征提取为逐像素特征提取、骨架特征提取或微结构特征提取。

逐像素特征提取：逐像素特征提取是一种简单的特征提取方法，可以对图像进行逐行逐列的扫描，当遇到黑色像素时取其特征值为1，遇到白色像 素时取其特征值为0，当扫描结束后获得一个维数与图像中的像素点的个数相同的特征向量矩阵。

骨架特征提取：骨架特征提取是利用图形的骨架作为特征来进行数码识别，一般使用细化的方法来提取骨架，细化的算法例如Hilditch算法、Rosenfeld算法等。对经过细化的图像利用EveryPixel函数进行处理就可以得到细化后图像的特征向量矩阵。骨架特征提取的方法对于线条粗细不同的数码有一定的适应性。

微结构特征提取：微结构法是将图像分为几个小块，统计每个小块的像素分布。例如对于汉字而言，微结构特征提取算法可分为以下几个步骤：

步骤一：将字符平均分为几份，统计每一份内黑色像素的个数，统计在行方向和列方向上每一份内的黑色像素个数和与之相邻的一份内黑色像素个数的比值作为一个特征。

步骤二：将字符横向分为几份，统计每一份内黑色像素的个数，每一份内的黑色像素个数与前一份内的黑色像素个数的比值作为一个特征。

步骤三：在竖直方向上找出几列，统计在该列中跳变点的个数，即相邻点像素值从0变到255的次数，作为特征。在水平方向上找出几行，统计在该行中跳变点的个数，即相邻点像素值从0变到255的次数，作为特征。

步骤四：将每一份内黑色像素的个数作为特征。

根据上述步骤提取的字符特征进行图像识别区分。

根据本发明的技术方案，在针对样本商标的整体、样本商标的图像部分以及样本商标的文字部分分别进行特征提取之后，根据所提取的特征，针对样本商标的整体、样本商标的图像部分、以及样本商标的文字部分分别建立整体特征数据库、图像特征数据库、以及文字特征数据库。

在商标检索过程中，对于所获取的待测商标，首先按照与样本商标相同的步骤，对待测商标进行文字和图像的分割以及特征提取。

其中，对多组合待测商标进行的文字和图像的分割可以根据实际情况的需要采用基于连通域投影法、基于连通域面积法、以及基于结构的子图抽取法中的一种来实现，本发明不对其进行限定。

对于待测商标整体的特征提取，根据实际情况的需要，对待测商标整体的特征提取可以包括全局特征提取或局部特征提取，或包括全局特征和局部特征提取两者，本发明不对此进行限定。其中所述全局特征可以包括颜色特征和边缘形状特征，所述局部特征可以包括尺度不变特征转换(SIFT)特征或加速鲁棒性(SURF)特征。

对于待测商标的图像部分的特征提取，根据实际情况的需要，对待测商标的图像部分的特征提取可以包括全局特征提取或局部特征提取，或包括全局特征和局部特征提取两者，本发明不对此进行限定。其中所述全局特征可以包括颜色特征和边缘形状特征，所述局部特征可以包括尺度不变特征转换(SIFT)特征或加速鲁棒性(SURF)特征。

对于待测商标的文字部分的特征提取，根据实际情况的需要，对待测商标的文字部分的特征提取可以包括结构特征提取或像素分布特征提取，本发明不对此进行限定。其中所述像素分布特征提取可以为逐像素特征提取、骨架特征提取或微结构特征提取。

对待测商标进行文字和图像的分割以及特征提取与上述针对样本商标的文字和图像分割及特征提取相同，此处不再阐述。

根据本发明的技术方案，对于待测商标，根据所提取的待测商标的图像部分和文字部分的特征，分别在所建立的图像特征数据库和文字特征数据库中进行相似度检索，以获得相似度检索结果。

由于本发明的商标检索方法对多组合商标的文字部分和图像部分均进行了专门的识别和专门的检索，由此对多组合商标图像的整体内容进行了分类处理，图形特征和文字特征的提取更加详尽，克服了现有技术存在的对多 组合商标的识别结果误差较大的问题，快速有效且识别率更高。

此外，对于多组合商标，商标的文字可能在图像附近、或者遮盖了图像的一部分、或者被图像遮盖一部分、或者直接构成了图像的一部分。因此在对商标的文字部分和图像部分进行分割处理时，有可能分割后的图像或文字并不完整，存在缺陷，因此在分别进行的特征提取方面可能存在误差，导致在分别进行图像和文字的特征检索时，可能存在误差。

根据本发明的技术方案，为了更好地保证相似度检索的准确性，在待测商标的图像部分和文字部分的相似度均不满足相似度阈值的情况下，根据待测商标整体的特征，在整体特征数据库中进行相似度检索。由此，可以根据实际情况的需要对商标的图像部分和文字部分分别设置相似度阈值，在分别在图像特征数据库和文字特征数据库中进行的相似度检索结果为待测商标的图像部分和文字部分的相似度均不满足相似度阈值的情况下，根据所提取的待测商标整体的特征，在所建立的整体特征数据库中进行相似度检索，从而保证相似度检索的准确性。

本发明的商标检索方法对多组合商标的整体内容进行了分类处理，图形特征和文字特征的提取更加详尽，对多组合商标的文字部分和图像部分均进行了专门的识别和检索，快速有效且识别率更高，克服了现有技术存在的对多组合商标的识别结果误差较大的问题，在未获得满意的识别结果的情况下，本发明的商标检索方法还按照文字和图形结合的商标整体进行了相似度检索，能够更好地保证相似度检索的准确性。

以上结合附图详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种简单变型，这些简单变型均属于本发明的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。

此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明的思想，其同样应当视为本发明所公开的内容。

Claims (10)

1.一种商标检索方法，其特征在于，该方法包括以下步骤：

获取所有样本商标；

对样本商标进行文字和图像的分割，以分割成文字部分和图像部分；

对样本商标的整体、该样本商标的图像部分、以及该样本商标的文字部分分别进行特征提取；

根据提取的特征，针对样本商标的整体、样本商标的图像部分、以及样本商标的文字部分分别建立整体特征数据库、图像特征数据库、以及文字特征数据库；

获取待测商标；

按照与样本商标相同的步骤，对待测商标进行文字和图像的分割以及特征提取；

根据待测商标的图像部分和文字部分的特征，分别在图像特征数据库和文字特征数据库中进行相似度检索，获得相似度检索结果；

在待测商标的图像部分和文字部分的相似度均不满足相似度阈值的情况下，根据待测商标整体的特征，在整体特征数据库中进行相似度检索。

2.根据权利要求1所述的方法，其特征在于，所述文字和图像的分割采用基于连通域投影法、基于连通域面积法、以及基于结构的子图抽取法中的一种来实现。

3.根据权利要求1所述的方法，其特征在于，对样本商标的整体和待测商标整体的特征提取包括全局特征提取和/或局部特征提取。

4.根据权利要求3所述的方法，其特征在于，所述全局特征包括颜色特征和边缘形状特征。

5.根据权利要求3所述的方法，其特征在于，所述局部特征包括尺度不变特征转换特征或加速鲁棒性特征。

6.根据权利要求1所述的方法，其特征在于，对样本商标和待测商标的图像部分的特征提取包括全局特征提取和/或局部特征提取。

7.根据权利要求6所述的方法，其特征在于，所述全局特征包括颜色特征和边缘形状特征。

8.根据权利要求6所述的方法，其特征在于，所述局部特征包括尺度不变特征转换特征或加速鲁棒性特征。

9.根据权利要求1所述的方法，其特征在于，对样本商标和待测商标的文字部分的特征提取包括结构特征提取或像素分布特征提取。

10.根据权利要求9所述的方法，其特征在于，所述像素分布特征提取为逐像素特征提取、骨架特征提取或微结构特征提取。