CN110674328A - 一种商标图像检索方法、系统、介质及设备 - Google Patents

Abstract

本发明涉及一种商标图像检索方法、系统、介质及设备，该方法包括：按照每个商标分类号的所有类似群号对包含商标图像的特征向量的特征库进行分库；按照确定的聚类中心的数量对每个所述分库中的商标图像的特征向量进行聚类，在每个所述分库中为属于同一个聚类簇的特征向量划分一个子库；根据待查询商标的分类号和商标图像确定所述待查询商标所属子库；计算所述待查询商标的商标图像的特征向量与所属子库中商标图像的特征向量之间的距离；输出距离最小的前N个商标图像的特征向量对应的商标作为检索结果。本发明可大幅减少线上检索时的搜索范围，尤其当向量维度较高时，可以显著提高检索效率。

Description

一种商标图像检索方法、系统、介质及设备

技术领域

本发明涉及数据检索领域，具体涉及一种商标图像检索方法、系统、介 质及设备。

背景技术

商标检索是注册申请、商标审查、商标管理、商标维权等程序中的重要 工作。商标检索的主要目的是找出商标法意义上相同或近似的商标，用以确 认某一商标的权利权属范围的信息情况。现有的商标检索方法是，预先提取 已有商标数据库中商标图像的特征向量，建立商标特征库，在查询商标时， 采用同样的方法提取待查询商标的商标图像的特征向量，然后一一与商标特 征库中的特征向量计算相似度，然后输出按照相似度大小排序的检索结果， 由于商标数据库中的数据量极大，因此，这种检索方法的搜索范围很大，并 且由于向量间相似度计算是非常耗时的操作，尤其当向量维度较高时，计算 量也很大，检索效率极低。

发明内容

针对上述技术问题，本发明提供一种商标图像检索方法、系统、介质及 设备。

本发明解决上述技术问题的技术方案如下：一种商标图像检索方法，包 括：

按照每个商标分类号的所有类似群号对包含商标图像的特征向量的特 征库进行分库，得到多个分库；

按照确定的聚类中心的数量对每个所述分库中的商标图像的特征向量 进行聚类，在每个所述分库中为属于同一个聚类簇的特征向量划分一个子 库；

根据待查询商标的分类号和商标图像确定所述待查询商标所属子库；

计算所述待查询商标的商标图像的特征向量与所属子库中商标图像的 特征向量之间的距离；

输出距离最小的前N个商标图像的特征向量对应的商标作为检索结果， 其中，N为正整数。

本发明的有益效果是：按照类似群号对商标图像的特征向量进行分库， 并且，通过将分库中商标图像的特征向量进行聚类并划分子库，便于在检索 时先根据待查询商标的商标分类号确定所属分库，然后根据商标图像先寻找 最近的聚类中心，即确定相似的商标图像最有可能在的一个或多个聚类簇， 进而大幅减少线上检索时的搜索范围，尤其当向量维度较高时，可以显著提 高检索效率。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，在每个所述分库中为属于同一个聚类簇的特征向量划分一个子 库之后，还包括：

在每个所述分库中，分别将商标图像的特征向量切分成k段，每段特征 向量分别聚类，确定每段特征向量所属聚类簇的聚类中心；

在所述根据待查询商标的分类号和商标图像确定所述待查询商标所属 子库之后，还包括：

将所述待查询商标的商标图像的特征向量切分成k段；

所述计算所述待查询商标的商标图像的特征向量与所属子库中商标图 像的特征向量之间的距离，具体包括：

计算每段特征向量到所属子库中的商标图像的该段特征向量所属聚类 簇的聚类中心的距离并求和，作为所述待查询商标的商标图像的特征向量与 所属子库中商标图像的特征向量之间的距离。

采用上述进一步方案的有益效果是，通过对每段特征向量分别进行聚 类，然后将该段向量用所属聚类簇聚类中心的向量来表示，最终用少量的聚 类中心的向量来表示大量的特征向量，实现特征向量的压缩，从而可以大大 减少计算特征向量间距离的计算量，提高计算效率。

进一步，在所述在每个分库中，将商标图像的特征向量切分成k段，每 段特征向量分别聚类，确定每段特征向量所属聚类簇的聚类中心之前，还包 括：

将商标图像的特征向量减去所属聚类簇的聚类中心；

在所述将待查询的商标图像的特征向量切分成k段之前，还包括：

将待查询商标的商标图像的特征向量减去所属聚类簇的聚类中心。

采用上述进一步方案的有益效果是，将原始向量减去聚类中心得到残差 向量，残差向量的方差或能量比原始向量小，可使计算结果更加分散、稳定。

进一步，在所述确定每段特征向量所属聚类簇的聚类中心之后，还包括：

使用k个ID代表商标图像的特征向量，每个ID表示每段特征向量所属 聚类簇的聚类中心的ID；

采用上述进一步方案的有益效果是，仅使用的很短的一个ID编码即可 表示特征向量，便于存储以及根据ID查找对应的聚类中心，从而达到压缩 量化的目的。

进一步，所述输出按照距离排序的预设数量的商标图像的特征向量对应 的商标作为检索结果，具体包括：

将按照距离排序的预设数量的商标图像的特征向量在所述特征库中的 二进制编码切分成N段，每段查询预先构建的码表并将查询结果进行拼接， 得到商标图像的商标申请号，其中，所述码表包含字母及阿拉伯数字与二进 制表示之间的转换关系；

根据所述商标申请号查询对应的商标并输出，作为检索结果。

采用上述进一步方案的有益效果是，将每个特征向量对应的数字类型的 编码转化为由数字和字母组成的申请号的顺序号，以避免在内存中多维护一 个申请号到顺序号的映射表，降低内存占用。

进一步，在按照每个商标分类号的所有类似群号对包含商标图像的特征 向量的特征库进行分库之前，还包括：

去除商标图像中的文字区域；

抽取商标图像的特征向量并存入特征库。

采用上述进一步方案的有益效果是，通过去除商标图像中的文字区域， 解决商标图像检索中，图文混排类商标图形占比太小的问题。

进一步，所述根据待查询商标的分类号和商标图像确定所述待查询商标 所属子库，具体包括：

根据待查询商标的分类号确定所述待查询商标所属分库：

计算所述待查询商标的商标图像的特征向量与所属分库中各个聚类中 心的距离；

将与所述待查询商标的商标图像的特征向量距离最小的聚类中心对应 的子库作为所述待查询商标所属子库。

为实现上述发明目的，本发明还提供一种商标图像检索系统，包括：

分库模块，用于按照每个商标分类号的所有类似群号对包含商标图像的 特征向量的特征库进行分库，得到多个分库；

划分模块，用于按照确定的聚类中心的数量对每个所述分库中的商标图 像的特征向量进行聚类，在每个所述分库中为属于同一个聚类簇的特征向量 划分一个子库；

确定模块，用于根据待查询商标的分类号和商标图像确定所述待查询商 标所属子库；

计算模块，用于计算所述待查询商标的商标图像的特征向量与所属子库 中商标图像的特征向量之间的距离；

输出模块，用于输出距离最小的前N个商标图像的特征向量对应的商标 作为检索结果，其中，N为正整数。

本发明还提供一种计算机可读存储介质，包括指令，当所述指令在计算 机上运行时，使所述计算机执行上述方法。

本发明还提供一种计算机设备，包括存储器、处理器及存储在所述存储 器上的并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时 实现上述方法。

附图说明

图1为本发明实施例提供的一种商标图像检索方法的流程图；

图2为特征库划分为尼斯分类分库、类似群分库以及聚类簇子库的结构 示意图；

图3为本发明实施例提供的另一种商标图像检索方法的流程图；

图4为将特征向量转化为编码的过程示意图；

图5为计算查询向量与特征库中特征向量距离的过程示意图；

图6为本发明实施例提供的另一种商标图像检索方法的流程图；

图7为采用RCNN对商标图像中的文字区域和图像区域进行识别训练的 效果示意图；

图8为商标图像检索处理流程图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本 发明，并非用于限定本发明的范围。

图1为本发明实施例提供的一种商标图像检索方法的流程图，如图1所 示，该方法包括：

110、按照每个商标分类号的所有类似群号对包含商标图像的特征向量 的特征库进行分库，得到多个分库；

具体的，申请商标时需要限定尼斯国际分类和类似群号，其中类似群号 是尼斯分类号的细化/子分类号。故商标检索只需在指定尼斯分类号和类似群 号下进行即可。尼斯分类号共45个分类，每个分类号下大概有几十个类似 群号，该步骤中按每个分类号下的所有类似群号分库。

120、按照确定的聚类中心的数量对每个所述分库中的商标图像的特征 向量进行聚类，在每个所述分库中为属于同一个聚类簇的特征向量划分一个 子库；

具体的，经过分库后，每个分库中数量仍然在在几十万到百万级，直接 遍历逐个计算相似度再排序仍然是一个很耗时的过程，需要将分库再做一次 拆分，拆成多个子库，每次只在相关的子库下计算相似度排序。该步骤中通 过聚类方法实现拆分子库，通过提前聚类，将比较相似的特征向量放在一起 存储，检索时根据查询图片先寻找最近的聚类中心，即确定相似图片最有可 能在的一个或多个聚类簇，进而大幅减少线上检索时的搜索范围，显著提高 检索效率。

子库数量即聚类中心数根据向量数量动态调整，可根据以下公式估算：

即，聚类中心数为向量数除以1万并向上取整。

另外，聚类算法可采用K-Means。

如图2所示，经过步骤110和120，对特征库经过了3层的拆分，即首 先按尼斯分类号拆分，再按类似群号拆分，最后再通过聚类拆分一下。以便 于后期只在相关的数据中检索，减少计算量。

130、根据待查询商标的分类号和商标图像确定所述待查询商标所属子 库；

具体的，根据商标的分类号可确定其所属分库，进一步提取商标图像的 特征向量，再根据商标图像的特征向量确定在所属分库下的子库。

140、计算所述待查询商标的商标图像的特征向量与所属子库中商标图 像的特征向量之间的距离；

具体的，特征向量之间的距离计算可采用多种现有算法实现，如欧几里 得算法等，距离值用于表征两个商标图像之间的相似度。

150、输出距离最小的前N个商标图像的特征向量对应的商标作为检索 结果，其中，N为正整数。

具体的，在计算得到所有的距离值后，即可按照距离从小到大或者从大 到小的顺序对相应的商标进行排序，距离越小，则表示两个商标图像之间越 相似。

具体的，如图2所示，在检索Top N(即最相似的N个结果)时，先在 分库下的每个子库中查找Top N，然后再归并排序取Top N结果；最后再将 从各个分库中的结果进行一次归并排序，取Top N结果做最终结果。

本发明实施例提供的一种商标图像检索方法，按照类似群号对商标图像 的特征向量进行分库，并且，通过将分库中商标图像的特征向量进行聚类并 划分子库，便于在检索时先根据待查询商标的商标分类号确定所属分库，然 后根据商标图像先寻找最近的聚类中心，即确定相似的商标图像最有可能在 的一个或多个聚类簇，进而大幅减少线上检索时的搜索范围，尤其当向量维 度较高时，可以显著提高检索效率。

可选地，在该实施例中，步骤130具体包括：

1301、根据待查询商标的分类号确定所述待查询商标所属分库：

1302、计算所述待查询商标的商标图像的特征向量与所属分库中各个聚 类中心的距离；

1303、将与所述待查询商标的商标图像的特征向量距离最小的聚类中心 对应的子库作为所述待查询商标所属子库。

可选地，在该实施例中，步骤150，具体包括：

1501、将按照距离排序的预设数量的商标图像的特征向量在所述特征库 中的二进制编码切分成N段，每段查询预先构建的码表并将查询结果进行拼 接，得到商标图像的商标申请号，其中，所述码表包含字母及阿拉伯数字与 二进制表示之间的转换关系；

1502、根据所述商标申请号查询对应的商标并输出，作为检索结果。

具体的，商标图像的特征向量在特征库中的编码可以是64位数字类型 的顺序号(sequential number)来表示向量的唯一id，如25387444；但国际 申请号以字母‘G’开头、特殊商标以‘P’开头，另外有些特殊业务规则也 导致字母结尾。

该步骤中，首先需要预先构建一个26个字母+数字的码表，如0表示‘0’， 36表示‘Z’，即只需要6bit就可以表示该表中任意一个字母或数字，如‘Z’ 可以用100100表示，这样，对于申请号的每一个字符，都可以通过查询上 述码表找出其二进制表示。

通过申请号查询顺序号的过程是：将申请号所有字符的二进制表示拼接 起来，高位补0，补成64bit，将此64bit代表的整数表示该申请号的最终编 码。

通过顺序号查询申请号的过程是：对于整数id的二进制表示，即64个 bit，首先去除高位的0，再切成长6bit的多段，每一段通过查上述码表，找 到其代表的字母或数字，最终得到的多个字母或数字表示的原始申请号。

该实施例中，将每个特征向量对应的数字类型的编码转化为由数字和字 母组成的申请号的顺序号，以避免在内存中多维护一个申请号到顺序号的映 射表，降低内存占用。

可选地，作为本发明的一个实施例，如图3所示，该方法包括：

310、按照每个商标分类号的所有类似群号对包含商标图像的特征向量 的特征库进行分库，得到多个分库；

320、按照确定的聚类中心的数量对每个所述分库中的商标图像的特征 向量进行聚类，在每个所述分库中为属于同一个聚类簇的特征向量划分一个 子库；

330、在每个所述分库中，分别将商标图像的特征向量切分成k段，每 段特征向量分别聚类，确定每段特征向量所属聚类簇的聚类中心；

340、根据待查询商标的分类号和商标图像确定所述待查询商标所属子 库；

350、将所述待查询商标的商标图像的特征向量切分成k段；

360、计算每段特征向量到所属子库中的商标图像的该段特征向量所属 聚类簇的聚类中心的距离并求和，作为所述待查询商标的商标图像的特征向 量与所属子库中商标图像的特征向量之间的距离；

370、输出距离最小的前N个商标图像的特征向量对应的商标作为检索 结果，其中，N为正整数。

具体的，例如，如图4所示，针对特征库中的N个训练样本，假设样本 维度为128维，先将其切分为4个子段，则每一个子段的维度为32维，然 后在每一个子段中，对子向量采用K-Means对其进行聚类(图2中示意聚成 256类)，这样每一个子段都能得到一个码本。这样训练样本的每个子段，都 可以用子空间最近的聚类中心来近似。

如图4所示，通过这样一种编码方式，训练样本仅使用的很短的一个编 码得以表示，从而达到压缩量化的目的。对于特征库中的其他样本，也进行 相同的切分，然后在各个子段里逐一找到距离它们最近的聚类中心，最终完 成所有特征向量的近似表示。

如图5所示，对于待查询的商标，将其商标图像的特征向量按照上面相 同的方法切段，并计算每段到候选向量该段所属聚类中心的距离，可以得到 4*256个距离，这些算好的距离称作距离池，在计算库中某个样本到查询向 量的距离时，分别到距离池中取各个子段对应的距离即可，取出来后将这些 子段的距离求和相加，即得到该样本到查询样本间的非对称距离。

本实施例中，通过对每段特征向量分别进行聚类，然后用该段向量用所 属聚类簇聚类中心的向量来表示，最终用少量的聚类中心的向量来表示大量 的特征向量，实现特征向量的压缩，从而可以大大减少计算特征向量间距离 的计算量，提高计算效率。

可选地，在该实施例中，在步骤330之后，还包括：

3301、使用k个ID代表商标图像的特征向量，每个ID表示每段特征向 量所属聚类簇的聚类中心的ID；

具体的，如图4所示，通过步骤3301，即可使用的很短的一个ID编码 即可表示特征向量，从而将特征库中的特征向量编码成一个由聚类中心的十 进制的ID构成的码本，便于存储以及根据ID查找对应的聚类中心，从而达 到压缩量化的目的。

可选地，作为本发明的一个实施例，如图6所示，该方法包括：

610、按照每个商标分类号的所有类似群号对包含商标图像的特征向量 的特征库进行分库，得到多个分库；

620、按照确定的聚类中心的数量对每个所述分库中的商标图像的特征 向量进行聚类，在每个所述分库中为属于同一个聚类簇的特征向量划分一个 子库；

630、将商标图像的特征向量减去所属聚类簇的聚类中心；

640、在每个所述分库中，分别将商标图像的特征向量切分成k段，每 段特征向量分别聚类，确定每段特征向量所属聚类簇的聚类中心；

650、根据待查询商标的分类号和商标图像确定所述待查询商标所属子 库；

660、将待查询商标的商标图像的特征向量减去所属聚类簇的聚类中心；

670、将所述待查询商标的商标图像的特征向量切分成k段；

680、计算每段特征向量到所属子库中的商标图像的该段特征向量所属 聚类簇的聚类中心的距离并求和，作为所述待查询商标的商标图像的特征向 量与所属子库中商标图像的特征向量之间的距离；

690、输出距离最小的前N个商标图像的特征向量对应的商标作为检索 结果，其中，N为正整数。

具体的，将原始向量减去聚类中心得到的残差向量的方差或能量比原始 向量小，可使计算结果更加分散、稳定。

可选地，在该实施例中，在步骤110之前，还包括：

1101、去除商标图像中的文字区域；

具体的，这一步属于商标图像的预处理过程，由于商标图像的特殊性， 既包含图像信息，又包含文字信息。而在商标检索的时候，只关心图像的相 似度，因此需要将文字部分过滤掉。

具体可通过使用神经网络，对商标中图像、文字的定位进行训练，利用 此神经网络得到商标图像中的文字区域和图像区域。在预处理的时候，先将 文字区域去除，图像区域，然后再进行下一步的处理。

例如，采用Faster RCNN，训练采用不到1000张商标图片，将所有商标 图形要素涵盖的图形都当成一类，所有文字当成另一类，人工标注出图形和 文字区域，训练效果示例如图7所示。

这样，通过利用rcnn目标检测算法，可以解决商标图像检索中，图文混 排类商标图形占比太小的问题。并且在训练过程中只使用2个类别，人工标 注工作量较小，但仍可以极大提高检索效果；且可以避免类别太多导致低召 回。

另外，还需要对商标图像进行以下预处理操作：

灰度化:商标图像不关心颜色，因此要进行灰度化；

去白边：由于背景比较简单，直接通过二值化分割得到图像所在位置， 将图像截取出来，使有意义区域占图像大部分，且在图像中央；

补成正方形、统一大小：神经网络模型采用固定输入大小；

归一化：全部图片计算到的均值和方差进行归一化。

1102、抽取商标图像的特征向量并存入特征库。

具体的，可采用将商标图像输入经过训练好的卷积神经网络模型的方法 来抽取商标图像的特征向量，总体的商标图像检索处理流程如图8所示。

该实施例中，通过去除商标图像中的文字区域，解决商标图像检索中， 图文混排类商标图形占比太小的问题。

本发明实施例提供一种商标图像检索系统，该系统终端各个模块的功能 原理已在前面对应的方法实施例中进行了介绍，以下不再赘述，该系统包括：

分库模块，用于按照每个商标分类号的所有类似群号对包含商标图像的 特征向量的特征库进行分库，得到多个分库；

划分模块，用于按照确定的聚类中心的数量对每个所述分库中的商标图 像的特征向量进行聚类，在每个所述分库中为属于同一个聚类簇的特征向量 划分一个子库；

确定模块，用于根据待查询商标的分类号和商标图像确定所述待查询商 标所属子库；

计算模块，用于计算所述待查询商标的商标图像的特征向量与所属子库 中商标图像的特征向量之间的距离；

输出模块，用于输出距离最小的前N个商标图像的特征向量对应的商标 作为检索结果，其中，N为正整数。

本发明实施例还提供一种计算机可读存储介质，包括指令，当所述指令 在计算机上运行时，使所述计算机执行上述方法实施例中的方法步骤；或者 存储上述系统实施例的各个软件模块对应的指令。

本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在所 述存储器上的并可在所述处理器上运行的计算机程序，所述处理器执行所述 程序时实现上述方法实施例中的方法步骤。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明 的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发 明的保护范围之内。

Claims (10)

1.一种商标图像检索方法，其特征在于，包括：

按照每个商标分类号的所有类似群号对包含商标图像的特征向量的特征库进行分库，得到多个分库；

按照确定的聚类中心的数量对每个所述分库中的商标图像的特征向量进行聚类，在每个所述分库中为属于同一个聚类簇的特征向量划分一个子库；

根据待查询商标的分类号和商标图像确定所述待查询商标所属子库；

计算所述待查询商标的商标图像的特征向量与所属子库中商标图像的特征向量之间的距离；

输出距离最小的前N个商标图像的特征向量对应的商标作为检索结果，其中，N为正整数。

2.根据权利要求1所述的一种商标图像检索方法，其特征在于，所述在每个所述分库中为属于同一个聚类簇的特征向量划分一个子库之后，还包括：

在每个所述分库中，分别将商标图像的特征向量切分成k段，每段特征向量分别聚类，确定每段特征向量所属聚类簇的聚类中心；

在所述根据待查询商标的分类号和商标图像确定所述待查询商标所属子库之后，还包括：

将所述待查询商标的商标图像的特征向量切分成k段；

所述计算所述待查询商标的商标图像的特征向量与所属子库中商标图像的特征向量之间的距离，具体包括：

计算每段特征向量到所属子库中的商标图像的该段特征向量所属聚类簇的聚类中心的距离并求和，作为所述待查询商标的商标图像的特征向量与所属子库中商标图像的特征向量之间的距离。

3.根据权利要求2所述的一种商标图像检索方法，其特征在于，在所述在每个分库中，将商标图像的特征向量切分成k段，每段特征向量分别聚类，确定每段特征向量所属聚类簇的聚类中心之前，还包括：

将商标图像的特征向量减去所属聚类簇的聚类中心；

在所述将待查询的商标图像的特征向量切分成k段之前，还包括：

将待查询商标的商标图像的特征向量减去所属聚类簇的聚类中心。

4.根据权利要求2所述的一种商标图像检索方法，其特征在于，在所述确定每段特征向量所属聚类簇的聚类中心之后，还包括：

使用k个ID代表商标图像的特征向量，每个ID表示每段特征向量所属聚类簇的聚类中心的ID。

5.根据权利要求1所述的一种商标图像检索方法，其特征在于，所述输出按照距离排序的预设数量的商标图像的特征向量对应的商标作为检索结果，具体包括：

将按照距离排序的预设数量的商标图像的特征向量在所述特征库中的二进制编码切分成N段，每段查询预先构建的码表并将查询结果进行拼接，得到商标图像的商标申请号，其中，所述码表包含字母及阿拉伯数字与二进制表示之间的转换关系；

根据所述商标申请号查询对应的商标并输出，作为检索结果。

6.根据权利要求1所述的一种商标图像检索方法，其特征在于，在按照每个商标分类号的所有类似群号对包含商标图像的特征向量的特征库进行分库之前，还包括：

去除商标图像中的文字区域；

抽取商标图像的特征向量并存入特征库。

7.根据权利要求1至6任一项所述的一种商标图像检索方法，其特征在于，所述根据待查询商标的分类号和商标图像确定所述待查询商标所属子库，具体包括：

根据待查询商标的分类号确定所述待查询商标所属分库：

计算所述待查询商标的商标图像的特征向量与所属分库中各个聚类中心的距离；

将与所述待查询商标的商标图像的特征向量距离最小的聚类中心对应的子库作为所述待查询商标所属子库。

8.一种商标图像检索系统，其特征在于，包括：

分库模块，用于按照每个商标分类号的所有类似群号对包含商标图像的特征向量的特征库进行分库，得到多个分库；

划分模块，用于按照确定的聚类中心的数量对每个所述分库中的商标图像的特征向量进行聚类，在每个所述分库中为属于同一个聚类簇的特征向量划分一个子库；

确定模块，用于根据待查询商标的分类号和商标图像确定所述待查询商标所属子库；

计算模块，用于计算所述待查询商标的商标图像的特征向量与所属子库中商标图像的特征向量之间的距离；

输出模块，用于输出距离最小的前N个商标图像的特征向量对应的商标作为检索结果，其中，N为正整数。

9.一种计算机可读存储介质，包括指令，其特征在于，当所述指令在计算机上运行时，使所述计算机执行根据权利要求1至6任一项所述的方法。

10.一种计算机设备，包括存储器、处理器及存储在所述存储器上的并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述的方法。

Images