CN113569933A - 商标图样匹配方法及其相应的装置、设备、介质 - Google Patents

Abstract

本申请公开一种商标图样匹配方法及其相应的装置、设备、介质，该方法包括：获取待比图片所包含的商标图样的图像特征，构造待比特征矩阵，其中每个行向量存储单个所述商标图样的图像特征；获取预设的被比商标库的被比特征矩阵，其中每个行向量存储被比商标库中单个被比商标的图像特征；基于待比特征矩阵与被比特征矩阵计算相似度，获得相似矩阵；从相似矩阵中筛选出相似度满足预设条件的元素以从所述商标图样中确定与被比商标存在相似度关联的疑似商标图样，为每个疑似商标图样匹配出与其最相似的前若干个被比商标。本申请基于矩阵操作实现对商标近似匹配的运算和判决，运算效率高，响应迅速，开销较小，适于从产品图片中识别出疑似商标侵权信息。

Description

商标图样匹配方法及其相应的装置、设备、介质

技术领域

本申请实施例涉及电商信息技术领域，尤其涉及一种商标图样匹配方法及其相应的装置、设备、介质。

背景技术

知识产权问题日益凸显，在商标的申请、审查、评审、诉讼等生命周期不同环节中，常需进行商标检索，其中商标图案的相似性检索一直是技术难点。在商标的行权阶段，一个典型的应用领域是电商领域，电商领域常以商品图样提供产品信息，而商品图样中通常也包含着商标图样。

电子商务平台大量存在着产品商标侵权的问题，特别是存在未经商标所有方授权，随意使用商标导致的品牌侵权问题，会带来较大的法律风险，尽管平台方可以适用“避风港”原则予以免责，但实践中不如及时发现侵权嫌疑来得高效。因此，如何有效快速地发现侵权现象，减小平台上的侵权产品，是亟待解决的重要问题。

2017年3月22日公开的CN106530194A号专利申请中，公开一种疑似侵权产品图片的检测方法及装置，该方案在一定程度上缓解了基于人工规则审核存在的审核慢、检测精度和召回有限等问题，但同时也存在一些问题：

比如在logo检测部分，该方案使用预先建立的logo图案库中的logo图案遍历性对待识别产品图片进行匹配，且要求预先知道待识别产品图片的类目，只有匹配度超过一定阈值时才认为该待识别产品图片中存在对应的疑似侵权logo，该过程依然需要较大的计算量，且由于需要预先知道待识别产品图片的类目，这进一步依赖于对该待识别产品图片的类目判断的准确性；此外，如果一个logo 涉及到不同领域的类目，同样也会干扰到最终的商标判断，典型的如YAMAHA 品牌，涉及的产品有钢琴、摩托车制造等多个不同的类目，单纯在类目下检测商标，有可能会出现漏检测问题；还有，该方案使用多种局部特征算法提取相关的特征点，针对相对模糊的图像提取的特征点较少，而对边缘光滑的目标可能无法准确提取相关特征点，对这些情况可能会出现误判等。

由此可见，关于实现从产品图片中高效准确地识别出商标侵权行为的技术，仍有提升的空间。

发明内容

本申请的目的针对现有技术中存在的至少部分不足而提供一种商标图样匹配方法及其相应的装置、计算机设备及存储介质。

为解决上述技术问题，本申请采用的一个技术方案是：

本申请提供一种商标图样匹配方法，包括如下步骤：

获取待比图片所包含的商标图样的图像特征，构造待比特征矩阵，其中每个行向量存储单个所述商标图样的图像特征；

获取预设的被比商标库的被比特征矩阵，其中每个行向量存储被比商标库中单个被比商标的图像特征，所述商标图样、被比商标的图像特征均被表示为具有相同维度的行向量；

基于待比特征矩阵与被比特征矩阵计算相似度，获得相似矩阵，其中每个行向量存储单个所述商标图样分别与所有被比商标相比的相似度；

从相似矩阵中筛选出相似度满足预设条件的元素以从所述商标图样中确定与被比商标存在相似度关联的疑似商标图样，为每个疑似商标图样匹配出与其最相似的前若干个被比商标。

具体化的实施例中，获取待比图片所包含的商标图样的图像特征，构造待比特征矩阵，包括如下步骤：

获取待比图片；

调用经预训练的商标检测器对待比图片进行商标图样检测，获得该待比图片包含的一个或多个商标图样；

调用经预训练的特征提取器对各个所述的商标图样进行特征提取，获得其图像特征，每个商标图样的图像特征以一个行向量表示，所有商标图样相对应的行向量被存储于待比特征矩阵中。

较佳的实施例中，调用经预训练的商标检测器对待比图片进行商标图样检测的步骤中，所述商标检测器实施对所述商标图样的检测的中间过程中，应用卷积神经网络双塔结构输出其最终的图像特征，所述双塔结构包含至少四个尺度上的上采样和下采样操作。

较佳的实施例中，获取预设的被比商标库的被比特征矩阵的步骤中，以所述被比商标库中的被比商标为输入，调用所述经预训练的特征提取器对被比商标提取其图像特征，将由图像特征归一化为行向量添加至所述的被比特征矩阵中。

具体化的实施例中，基于待比特征矩阵与被比特征矩阵计算相似度，获得相似矩阵，包括如下步骤：

求取被比特征矩阵的转置矩阵；

将待比特征矩阵与所述转置矩阵进行矩阵相乘获得余弦矩阵；

应用预设的归一化公式将余弦矩阵转换为相似矩阵，以将余弦矩阵中各元素的数值对应归一化为相似矩阵中各元素的相似度。

具体化的实施例中，从相似矩阵中筛选出相似度满足预设条件的元素以从所述商标图样中确定与被比商标存在相似度关联的疑似商标图样，为每个疑似商标图样确定与其最相似的前若干个被比商标，包括如下步骤：

遍历所述相似矩阵的各元素，将其中相似度满足预设条件的元素添加到候选集合中，判定被添加到候选集合中的元素所对应的商标图样及被比商标存在相似度关联，而将该商标图样确定为疑似商标图样；

按照疑似商标图样对候选集合中的所有元素进行聚类，获得每个疑似商标图样和与其存在相似度关联的被比商标之间的包括相应的相似度的映射关系数据；

按照相似度对每一疑似商标图样相关联的被比商标进行排序，匹配出其中与该疑似商标图样最相似的前若干个被比商标。

进一步扩展的实施例中，匹配出其中与该疑似商标图样最相似的前若干个被比商标，包括如下步骤：

基于聚类后的候选集合，按照相似度对每一疑似商标图样相关联的被比商标进行排序；

筛选出与疑似商标图样最相似的前若干个被比商标以实现匹配，确定与疑似商标图样实现匹配的被比商标的索引标识以及该疑似商标图样与该被比商标之间的相似度；

根据所述索引标识查询预设的索引库确定出被比商标的名称，所述索引库预存储被比商标的名称与被比商标在所述被比特征库中的索引标识的映射关系数据，所述索引标识在被比特征矩阵、相似矩阵、候选集合之间对应传递；

输出每个疑似商标图样及其实现匹配的被比商标的名称以及两者之间的相似度的映射关系数据。

为解决上述技术问题，本申请采用的另一技术方案是：

本申请提供一种商标图样匹配装置，其包括待比预备模块、被比预备模块、相似计算模块以及筛选匹配模块，其中，所述待比预备模块，用于获取待比图片所包含的商标图样的图像特征，构造待比特征矩阵，其中每个行向量存储单个所述商标图样的图像特征；所述被比预备模块，用于获取预设的被比商标库的被比特征矩阵，其中每个行向量存储被比商标库中单个被比商标的图像特征，所述商标图样、被比商标的图像特征均被表示为具有相同维度的行向量；所述相似计算模块，用于基于待比特征矩阵与被比特征矩阵计算相似度，获得相似矩阵，其中每个行向量存储单个所述商标图样分别与所有被比商标相比的相似度；所述筛选匹配模块，用于从相似矩阵中筛选出相似度满足预设条件的元素以从所述商标图样中确定与被比商标存在相似度关联的疑似商标图样，为每个疑似商标图样匹配出与其最相似的前若干个被比商标。

具体化的实施例中，所述待比预备模块包括：图片接收子模块，用于获取待比图片；商标检测子模块，用于调用经预训练的商标检测器对待比图片进行商标图样检测，获得该待比图片包含的一个或多个商标图样；特征提取子模块，用于调用经预训练的特征提取器对各个所述的商标图样进行特征提取，获得其图像特征，每个商标图样的图像特征以一个行向量表示，所有商标图样相对应的行向量被存储于待比特征矩阵中。

较佳的实施例中，所述商标检测器实施对所述商标图样的检测的中间过程中，应用卷积神经网络双塔结构输出其最终的图像特征，所述双塔结构包含至少四个尺度上的上采样和下采样操作。

较佳的实施例中，所述被比预备模块被配置为以所述被比商标库中的被比商标为输入，调用所述经预训练的特征提取器对被比商标提取其图像特征，将由图像特征归一化为行向量添加至所述的被比特征矩阵中。

具体化的实施例中，所述相似计算模块包括：矩阵转置子模块，用于求取被比特征矩阵的转置矩阵；余弦计算子模块，用于将待比特征矩阵与所述转置矩阵进行矩阵相乘获得余弦矩阵；相似度归一子模块，用于应用预设的归一化公式将余弦矩阵转换为相似矩阵，以将余弦矩阵中各元素的数值对应归一化为相似矩阵中各元素的相似度。

具体化的实施例中，所述筛选匹配模块包括：遍历排查子模块，用于遍历所述相似矩阵的各元素，将其中相似度满足预设条件的元素添加到候选集合中，判定被添加到候选集合中的元素所对应的商标图样及被比商标存在相似度关联，而将该商标图样确定为疑似商标图样；聚类映射子模块，用于按照疑似商标图样对候选集合中的所有元素进行聚类，获得每个疑似商标图样和与其存在相似度关联的被比商标之间的包括相应的相似度的映射关系数据；排序匹配子模块，用于按照相似度对每一疑似商标图样相关联的被比商标进行排序，匹配出其中与该疑似商标图样相似度最低的前若干个被比商标。

进一步扩展的实施例中，所述排序匹配子模块包括：二级排序子模块，用于基于聚类后的候选集合，按照相似度对每一疑似商标图样相关联的被比商标进行排序；二级筛选子模块，用于筛选出与疑似商标图样最相似的前若干个被比商标以实现匹配，确定与疑似商标图样实现匹配的被比商标的索引标识以及该疑似商标图样与该被比商标之间的相似度；二级查询子模块，用于根据所述索引标识查询预设的索引库确定出被比商标的名称，所述索引库预存储被比商标的名称与被比商标在所述被比特征库中的索引标识的映射关系数据，所述索引标识在被比特征矩阵、相似矩阵、候选集合之间对应传递；二级输出子模块，用于输出每个疑似商标图样及其实现匹配的被比商标的名称以及两者之间的相似度的映射关系数据。

为解决上述技术问题，本申请还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行所述商标图样匹配方法的步骤。

为解决上述技术问题本申请实施例还提供一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行所述商标图样匹配方法的步骤。

与现有技术相比，本申请具有如下优点：

本申请一方面构造出待比特征矩阵用于存储需要进行审核的产品图片所包含的商标图样的图像特征的向量，另一方面预构造有被比特征矩阵用于存储被比商品的图像特征的向量，两方面的向量被统一为同一维度，然后基于待比特征矩阵与被比特征矩阵执行快速高效的矩阵操作，以更小的计算量及内存占用快速地获取待比图片中的商品图样与被比商标库中各个被比商标的相似度，根据相似度进一步可以确定出疑似侵权的商标图样，关联筛选出与待比图片中的疑似侵权商标图样相匹配的被比商标及相应的相似度，整个过程中，计算机运行逻辑清楚，运算高效，方便编程实现，获取结果迅速，便于部署在电子商务之类的互联网平台中对海量的产品图片进行商标侵权行为识别，及时对侵权行为做出响应，提升电商平台的风险防控能力。推而广之，本申请的技术方案还适用于商标检索之需，可以用于辅助相似商标判断之用。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本申请的商标图样匹配方法的基本流程示意图；

图2为本申请的商标图样匹配方法构造待比特征矩阵的流程示意图；

图3为本申请的商标图样匹配方法计算相似度获得相似矩阵的流程示意图；

图4为本申请的商标图样匹配方法筛选疑似商标图样过程的流程示意图；

图5为本申请的商标图样匹配方法输出筛选结果的流程示意图；

图6为本申请的商标图样匹配装置的基本结构示意图；

图7为本申请一个实施例的计算机设备的基本结构框图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

本技术领域技术人员可以理解，这里所使用的“客户端”、“终端”、“终端设备”既包括无线信号接收器的设备，其仅具备无发射能力的无线信号接收器的设备，又包括接收和发射硬件的设备，其具有能够在双向通信链路上，进行双向通信的接收和发射硬件的设备。这种设备可以包括：蜂窝或其他诸如个人计算机、平板电脑之类的通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备；PCS(PersonalCommunications Service，个人通信系统)，其可以组合语音、数据处理、传真和/或数据通信能力；PDA (Personal Digital Assistant，个人数字助理)，其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(Global PositioningSystem，全球定位系统)接收器；常规膝上型和/或掌上型计算机或其他设备，其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“客户端”、“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的，或者适合于和/或配置为在本地运行，和 /或以分布形式，运行在地球和/或空间的任何其他位置运行。这里所使用的“客户端”、“终端”、“终端设备”还可以是通信终端、上网终端、音乐/视频播放终端，例如可以是PDA、MID(Mobile Internet Device，移动互联网设备)和/或具有音乐/视频播放功能的移动电话，也可以是智能电视、机顶盒等设备。

本申请所称的“服务器”、“客户端”、“服务节点”等名称所指向的硬件，本质上是具备个人计算机等效能力的电子设备，为具有中央处理器(包括运算器和控制器)、存储器、输入设备以及输出设备等冯诺依曼原理所揭示的必要构件的硬件装置，计算机程序存储于其存储器中，中央处理器将存储在外存中的程序调入内存中运行，执行程序中的指令，与输入输出设备交互，借此完成特定的功能。

需要指出的是，本申请所称的“服务器”这一概念，同理也可扩展到适用于服务器机群的情况。依据本领域技术人员所理解的网络部署原理，所述各服务器应是逻辑上的划分，在物理空间上，这些服务器既可以是互相独立但可通过接口调用的，也可以是集成到一台物理计算机或一套计算机机群的。本领域技术人员应当理解这一变通，而不应以此约束本申请的网络部署方式的实施方式。

本申请部分技术方案可部署在云端服务器，其可以与业务上相关的服务器实现数据通信连接以协调在线服务，还可与其他相关服务器构成逻辑上相关联的服务机群，来为相关的终端设备例如智能手机、个人计算机、第三方服务器等提供服务。所述的智能手机和个人计算机均可通过公知的网络接入方式接入互联网，与本申请的服务器建立数据通信链路，以便访问和使用所述服务器所提供的服务。

对于服务器而言，一般通过提供在线服务的服务引擎开放相应的程序接口供各种终端设备进行远程调用，本申请中适于部署于服务器的相关技术方案，便可以此种方式实现于服务器中。

本申请所称的计算机程序，即应用程序，以计算机程序语言开发而成，安装于计算机设备中，包括服务器、终端设备等，用于实现本申请所限定的相关功能，除非特别指定，否则与其所采用的开发语言无关。

本领域技术人员对此应当知晓：本申请的各种方法，虽然基于相同的概念而进行描述而使其彼此间呈现共通性，但是，除非特别说明，否则这些方法都是可以独立执行的。同理，对于本申请所揭示的各个实施例而言，均基于同一发明构思而提出，因此，对于相同表述的概念，以及尽管概念表述不同但仅是为了方便而适当变换的概念，应被等同理解。

本申请即将揭示的各个实施例，除非明文指出彼此之间的相互排斥关系，否则，各个实施例所涉的相关技术特征可以交叉结合而灵活构造出新的实施例，只要这种结合不背离本申请的创造精神且可满足现有技术中的需求或解决现有技术中的某方面的不足即可。对此变通，本领域技术人员应当知晓。

请参阅图1所示本申请的商标图样匹配方法在其典型实施例中的基本流程示意图，本申请提供的一种商标图样匹配方法，被编程为应用程序，部署于服务器中，主要服务于电子商务平台识别产品图片是否涉嫌商标侵权的需要，其包括如下步骤：

步骤S1100、获取待比图片所包含的商标图样的图像特征，构造待比特征矩阵，其中每个行向量存储单个所述商标图样的图像特征：

所述的待比图片，可以通过提供访问接口供用户调用，由用户上传来获取；也可以由依据本申请实现的在线服务来从电子商务平台的商品信息库中进行查询获取。故此，平台方应用本申请的技术方案后，既可以通过后台扫描来发现涉嫌侵权的产品图片，也可以在其商家用户上传其产品图片时及时发现，以便实现平台风控的目的。

待比图片中可以包含一个或多个商标图样，可以采用本领域技术人员惯用的诸多图像目标检测算法或工具来对其中的商标图样进行识别，优选基于深度语义学习的神经网络模型来实现，例如YOLO、Faster R-CNN、基于VGG的SSD (Single Shot MultiboxDetector)，借助此类工具，在待比图片中确定一个或多个商标图样相对应的区域，将各个区域的图像提取出来，相应获得各个商标图样。

所述商标图样的“商标”属性，主要包括用于指示产品来源的标志，任何能够将自然人、法人或者其他组织的商品与他人的商品区别开的标志，包括文字、图形、字母、数字、三维标志、颜色组合等，以及上述要素的组合，已注册或未注册的，均可构成本申请所称的“商标”。根据平台风控的实际需要，“商标”这一概念也可以扩展到包含法律所禁止或者可能存在其他侵权纠纷的对象。当借助神经网络模型来实现目标检测时，经过预训练的模型一般均可以实现为产品图片中的商标图样确定相对应的区域，从而将商标图样提取出来。当然，对于本申请而言，所述的商标图样无论其构成内容如何，均被视为图像进行处理。

从待比图片中裁剪出来的商标图样，一般被统一成同一尺度，以便进行提取图像特征的标准化处理。本申请中，可以借助多种图像特征提取算法或工具来实现商标图样的图像特征提取，优选基于深度语义学习的神经网络模型来实现，包括普通的适于提取图像特征的CNN网络、残差网络Resnet及其后续演进版本例如Iresnet系列等，只要适于对所述商标图样进行图像特征提取，获取相应的图像特征即可。

获得各个商标图样相对应的图像特征之后，为了构造多个商标图样相对应的待比特征矩阵，将每个商标图样相对应的图像特征归一化为一个例如2048维的行向量，将该行向量存储于该待比特征矩阵中，由此，同一待比图片的一个或多个商标图样，其图像特征便被反映到所述的待比特征矩阵中，待比特征矩阵中的每个行向量与其中的一个商标图样相对应，结合前例，设一张图片中有B 个商标图样，则该待比特征矩阵为B*2048维的线性空间。

步骤S1200、获取预设的被比商标库的被比特征矩阵，其中每个行向量存储被比商标库中单个被比商标的图像特征，所述商标图样、被比商标的图像特征均被表示为具有相同维度的行向量：

适应本申请所需，预构造有一个被比特征矩阵，该被比特征矩阵与所述被比特征矩阵具有相同的组织结构，其包含多个行向量，每个行向量是一个被比商标的图像特征，这一行向量的维数与待比特征矩阵中行向量的维数相同，例如前述的2048维。

为了构造这一被比特征矩阵，预备一个被比商标库，包括多个被比商标对应的图片文件，即构成商标图库。这些被比商标可以依据本申请所定义的“商标”属性来预选，例如至少可以从电商平台自身的合法商户的合法产品或合法商标图样中采集提取，以及也可由电商平台自行添加等。一般来说，一个被比商标所对应的图片文件仅存储单一一个被比商标，以方便统一处理。

为了确保被比特征矩阵中的行向量与待比特征矩阵中的行向量具有相同维度，可以与待比特征矩阵一样，采用相同的图像特征提取工具，对被比商标库中的各个被比商标进行图像特征提取，最终也一样归一化为例如2048维的行向量，添加到被比特征矩阵中。

经过上述的处理，所述商标图样、被比商标的图像特征均被表示为具有相同维度的行向量，分别对应存储在待比特征矩阵、被比特征矩阵中。

为了便于后续的索引，可以将被比商标的名称，例如其文件名或者自定义的命名，以及被比商标在所述被比特征矩阵中的索引标识提取出来，构造成映射关系数据，存储于一个索引库中，以供后续可依据所述的索引标识反向确定被比商标的名称，获取其图片文件。

至此，设被比商品的总数为N，则被比特征矩阵为N*2048的线性空间，与 B*2048的待比特征矩阵具有相同的行向量长度，两者行向量长度相同，方便后续的计算。

步骤S1300、基于待比特征矩阵与被比特征矩阵计算相似度，获得相似矩阵，其中每个行向量存储单个所述商标图样分别与所有被比商标相比的相似度：

本申请基于余弦相似度算法原理来实现待比特征矩阵与被比特征矩阵之间相似度的计算。根据余弦相似度原理，将两个向量矩阵进行矩阵相乘所得到的相似矩阵，可以反映两者的相似度。

需要注意的是，待比特征矩阵与被比特征矩阵均是以相同的结构存储商标图样、被比商标的行分量的，因此，在应用余弦相似度算法时，需将被比特征矩阵转置后再与待比特征矩阵做矩阵乘法运算，即如，将B*2048维的待比特征矩阵与N*2048维的被比特征矩阵进行矩阵相乘，获得B*N的余弦矩阵。可以理解，所述的余弦矩阵中，其每个行向量存储单个所述商标图样分别与所有被比商标相比的相似度，其每个元素反映一个商标图样与一个被比商标之间的相似度。因此，理论上，该余弦矩阵也可直接用做后续进行相似度比较所需的相似矩阵。

该余弦矩阵中的元素数值，其数值越高，表征商标图样与被比商标之间的相似度越高；其数值越低，表征商标图样与被比商标之间的相似度越低。尽管余弦矩阵的这一数值意义非常直观，但未必方式运算，因而，可以根据实际情况进一步对其适用归一化操作，将余弦矩阵转换为最终采用的相似矩阵。可以理解，转换后所得的相似矩阵，依然是B*N的矩阵。

本申请后续将揭示的另一实施例中，为了方便计算，进一步在余弦矩阵的基础上，利用归一化公式对余弦矩阵进行基于各个元素的数值的转换，将各个数值投射到[0,1]的空间，以便更直观地反映相似度，方便运算。经此转换，将相似矩阵中的数值的意义转换为当其数值越低时，其反映商标图样与相应的被比商标之间的差异越小、相似度越高，当数值越高时，则商标图样与相应的被比商标之间的差异越大、相似度越低。所述的归一化公式，可以由本领域技术人员灵活设定，只要可达到前述的目的即可。

步骤S1400、从相似矩阵中筛选出相似度满足预设条件的元素以从所述商标图样中确定与被比商标存在相似度关联的疑似商标图样，为每个疑似商标图样匹配出与其最相似的前若干个被比商标：

对于相似矩阵中的相似度，本领域技术人员可以根据相似度数值所反映的具体意义，来灵活设定预设条件，用于筛选相似度满足该一预设条件的元素，以便筛选出由该元素反映相似度的具体商标图样和具体被比商标，由此筛选出来的具体商标图样，即被视为疑似商标图样。

应当理解，所述预设条件是根据相似矩阵中相似度数值所反映的意义确定的，是本领域技术人员可以根据相似度数据分布的具体情况灵活确定的，属于经验数据。本申请中，所述的预设条件被设置为相似矩阵中的相似度是否低于一个预设阈值，若低于该预设阈值，则视为满足预设条件，否则不满足预设条件。

具体而言，在相似矩阵中的元素的数值(相似度)被归一化到[0,1]的空间的情况下，该数值越低越相似，实际上已经反映了其所反映的疑似商标图样与具体被比商标之间的差异比率，易读，可比性强。因此，设定所述的预设阈值实际是设定疑似商标图样与被比商标达到何种差异程度，从一个反而反映着相似程度。这种情况下，所述的预设条件设置为预设阈值，判断相似矩阵中的元素数值是否低于这一预设阈值，对于低于这一预设阈值的元素，说明商标图样与被比商标之间的差异较小，便可确定该商标图样为疑似商标图样。

反之，如果直接适用所述的余弦矩阵作为相似矩阵，将余弦矩阵中的相似度数值未经归一化，则其元素数值越高则相似度越高，由此，对其适应所述的预设条件进行筛选时，可以给出一个预设阈值，然后判断其中的相似度是否高于此一预设阈值，若高于此预设阈值则视为满足所述的预设条件。本领域技术人员可以理解，归一化与否，影响到筛选时预设条件的运算原理，而这一点是本领域技术人员均能灵活克服的，无论如何，本领域技术人员能够灵活运用运算手段筛选出满足预设条件的疑似商标图样，因此，恕不赘述。

依据上述的筛选原则，通过遍历整个相似矩阵中的每个元素，将元素数值满足所述预设条件的元素提取出来，便获得了一个元素候选集合，该候选集合的每个元素均反映疑似商标图样与其相关联的被比商标之间的相似度，因此，后续可以在此一候选集合中针对疑似商标图样进行集中操作。

因被比商标通常是海量的，对应的被比特征矩阵也包含海量的被比商标的图像特征行向量，另因一张待比图片中可能包含多个商标图样，由其构造的待比特征矩阵也可能包含多个行向量，因此，最终的相似矩阵是一个多行多列的矩阵，从相似矩阵中筛选出来的候选集合中，也很可能是包含多对多的关系，也即候选集合一般能反映多个疑似商标图样分别与多个被比商标的相似度的映射关系。故而，有必要进一步对候选集合进行深加工，使得最终能够输出更为有效且聚集的信息。

为了实现对候选集合的深加工，可以采用多种方式实现，包括采用TopK算法选取、根据阈值选取等等均可，通常是在其中为同一疑似商标选取固定数量的多个最相似的元素，根据这些元素为各个疑似商标确定相对应的被比商标和相应的相似度。至于最相似的元素的数量，可以由本领域技术人员灵活确定。为了呈现所述的被比商标，可以输出该被比商标的名称和/或图片文件中的图像，对于所述的相似度则可按需进行图形化呈现，输出到用户终端设备中显示。

本申请一方面构造出待比特征矩阵用于存储需要进行审核的产品图片所包含的商标图样的图像特征的向量，另一方面预构造有被比特征矩阵用于存储被比商品的图像特征的向量，两方面的向量被统一为同一维度，然后基于待比特征矩阵与被比特征矩阵执行快速高效的矩阵操作，以更小的计算量及内存占用快速地获取待比图片中的商品图样与被比商标库中各个被比商标的相似度，根据相似度进一步可以确定出疑似侵权的商标图样，关联筛选出与待比图片中的疑似侵权商标图样相匹配的被比商标及相应的相似度，整个过程中，计算机运行逻辑清楚，运算高效，方便编程实现，获取结果迅速，便于部署在电子商务之类的互联网平台中对海量的产品图片进行商标侵权行为识别，及时对侵权行为做出响应，提升电商平台的风险防控能力。

本申请基于图像特征构造的矩阵操作实现的相似度比较，无需依赖商标类别判断，并且可以在必要时兼容其他类型的诸如版权、法律所禁止的其他图样的近似判别，进一步扩大了发现疑似侵权行为的范围，因此，尤其适用于电商平台中。

推而广之，本申请的技术方案还适用于商标检索之需，可以用于辅助相似商标判断之用。只要采集一国已注册的商标的商标图样用于构造本申请的被比商标库，然后适用本申请的技术方案，即可根据检索人员输入的待比图片与被比商标库相应的被比特征矩阵进行特征对比，快速确定待比图片相近似的商标，为商标代理、审查、评审等提供便利。

请参阅图2，为方便进行具体实现的具体化的实施例中，所述步骤S1100，包括如下步骤：

步骤S1110、获取待比图片：

如前所述，所述的待比图片，可以通过提供访问接口供用户调用，由用户上传来获取；也可以由依据本申请实现的在线服务来从电子商务平台的商品信息库中进行查询获取。故此，平台方应用本申请的技术方案后，既可以通过后台扫描来发现涉嫌侵权的产品图片，也可以在其商家用户上传其产品图片时及时发现，以便实现平台风控的目的。

步骤S1120、调用经预训练的商标检测器对待比图片进行商标图样检测，获得该待比图片包含的一个或多个商标图样：

所述的商标检测器，可以采用本领域技术人员惯用的诸多图像目标检测算法或工具来对其中的商标图样进行识别，优选基于深度语义学习的神经网络模型来实现，例如YOLO、Faster R-CNN、基于VGG的SSD(Single Shot Multibox Detector)，借助此类工具，在待比图片中确定一个或多个商标图样相对应的区域，将各个区域的图像提取出来，相应获得各个商标图样。

本实施例中，优选Yolo-5这一具体神经网络模型来训练获得商标检测器，该商标检测器被预先训练至收敛，在其训练阶段，向其馈入含有商标图样的产品图片作为训练样本，通过该模型进行特征提取，识别出一个或多个商标图样的候选框，输出候选框中图像内容是否是商标图样的二分类结果以及候选框所处产品图片中坐标信息，与为该训练样本预先标注的监督样本中的类别信息和坐标信息相比较，计算出损失值并在模型内反向传播，不断迭代训练直至模型收敛，即可投入本申请的技术方案中使用。其中，适用交叉熵损失函数对二分类进行约束，适用广义交叠比损失函数对坐标信息进行约束。

经过预训练的商标检测器，便可以所述的待比图片为输入，从中提取出其中所包含的各个商标图样。

步骤S1130、调用经预训练的特征提取器对各个所述的商标图样进行特征提取，获得其图像特征，每个商标图样的图像特征以一个行向量表示，所有商标图样相对应的行向量被存储于待比特征矩阵中：

如前所述，本申请中，可以借助多种图像特征提取算法或工具来实现商标图样的图像特征提取，优选基于深度语义学习的神经网络模型来实现，包括普通的适于提取图像特征的CNN网络、残差网络Resnet及其后续演进版本例如 Iresnet系列等，只要适于对所述商标图样进行图像特征提取，获取相应的图像特征即可。

本实施例中，优选Iresnet100网络模型训练来实现所述的特征提取器，Iresnet100本质上是Resnet的升级版本，为本领域技术人员所熟知，适用加性角度间隔损失函数来对其进行反向传播，能够更快收敛，实现高效的表示学习效果。

当从Yolo-5的商标检测器检测到并裁剪出商标图样后，所述商标图样被裁剪为统一规格的适于所述特征提取器处理的尺寸，然后由该特征提取器针对各个商标图样进行特征提取，获得各个商标图样的图像特征。

获得各个图像特征之后，为了构造相应的特征矩阵，特征提取器进一步将每个图像特征归一化为一个2048维的行向量进行输出，由此，对应多个商标图样，便获得多个所述的行向量。需要注意的是，行向量的维度不应构成对本申请的限制，在其他实施例中，可以对行向量的维度进行灵活的放大或缩小，视所采用的模型的原理而定，只要在本申请的处理过程中保持相应维度的处理能力，则均不影响本申请的实施。

将从待比图片中进行特征提取获得的多个行向量，添加至所述的待比特征矩阵中，便完成了所述待比特征矩阵的构造。设一张待比图片中包含B个识别出的商标图样，则可以理解，其待比特征矩阵为B*2048的尺度。

本实施例借助Yolo-5、Iresnet100两种具体的神经网络模型来对应实现商标检测器、特征提取器，由于该两类模型在各自的功能领域均有良好的表现，因此，由此实施之后的技术方案，能够取得更为优异的相似度判别效果，且运算效率更高。

为了进一步提升所述商标检测器的性能而提出的较佳的实施例中，对所述步骤S1200所采用的商标检测器的神经网络结构做出优化。众所周知，Yolo-5 在其构造的Neck部分应用了卷积神经网络的双塔结构，即FPN+PAN，在该结构中对图像中间特征进行三个不同尺度的顺序上采样和顺序下采样，在其 Prediction部分获得相应的输出。实测中，根据这一结构对商标图样进行识别时，对于待比图片中模糊图像或者细粒度图像的识别能力依然有限，因此，本实施例进一步在双塔结构中添加一个最大尺度，使所述双塔结构包含至少四个尺度上的上采样和下采样操作，由此来增强商标检测器从待比图片中获得图像细节的能力，使其能够进一步兼容对模糊图像或细粒度图像的识别，提升识别效果。根据本实施改进的商标检测器，经实测统计，其对待比图片中的商标图样的准确召回能力达到95％以上。

请参阅图3，为方便编程实现而提出的具体化的实施例中，所述步骤S1300 中，包括如下步骤：

步骤S1310、求取被比特征矩阵的转置矩阵：

如前各例所述，设被比特征矩阵为N*2048的线性空间，需对其进行转置操作以方便后续计算，因此，在此处将其转换为2048*N的转置矩阵。

步骤S1320、将待比特征矩阵与所述转置矩阵进行矩阵相乘获得余弦矩阵：

根据线性代数原理，将所述待比特征矩阵与所述转置矩阵做矩阵相乘之后，便可获得一个B*N的余弦矩阵，结合余弦相似度算法原理，可以理解，余弦矩阵中的每个元素的数值，代表了其下标b(b属于B)所指向的商标图样与其下标n(n属于N)所指向的被比商标之间的相似度。可以理解，这一相似度越高，则相应的商标图样与被比商标之间的特征差异性就越小，两者越相似；这一相似度越低，则相应的商标图样与被比商标之间的特征差异性就越大，两者就越不相似。

步骤S1330、应用预设的归一化公式将余弦矩阵转换为相似矩阵，以将余弦矩阵中各元素的数值对应归一化为相似矩阵中各元素的相似度。

余弦矩阵C中的元素数值需要最好经过归一化以便进一步提升运算效率，增强其直观性，因此，在本步骤中可以应用一个预设的归一化公式对其进行转换，转换为相似矩阵D。所述的归一化公式可由本领域技术人员灵活确定，在本实施例中，该公式为：

D＝1-(C+1)/2

该公式表示将余弦矩阵中的元素加1之和除以2之积，以1减去该积，将元素的数值归一化到[0,1]空间，从另一反而来反映所述的相似度。需要注意的是，经此归一化之后，相似矩阵D中的元素数值越高，其代表其相关联的商标图样与被比商标之间的差异程度越大，而相似度越小；该元素数值越低，则相应的差异程度越小，而相似度越大。可以理解，后续的计算不脱离此一意义来进行。

根据本实施例可知，商标图样与被比商标之间的相似度计算，整个过程均被转换为基于彼此图像特征之间的矩阵相乘和矩阵求和等操作，因此，一方面能够方便编程实现，另一方面，其运算效率最极高的，这对于部署到电商系统中服务于海量的待比图片的应用场景而言，其在节省运算资源、提升响应效率等方面取得的优异成果是不言而喻的。

请参阅图4，为了高效筛选出疑似侵权的疑似商标图样而提出的具体化的实施例中，所述步骤S1400，包括如下步骤：

步骤S1410、遍历所述相似矩阵的各元素，将其中相似度满足预设条件的元素添加到候选集合中，判定被添加到候选集合中的元素所对应的商标图样及被比商标存在相似度关联，而将该商标图样确定为疑似商标图样：

结合本申请典型实施例中的揭示可知，可以适应相似矩阵的相似度的具体意义来设定相适配的预设条件，根据该预设条件来筛选出相似矩阵中的部分元素，用于确定一个候选集合L。在本实施例中，适应前一实施例中相似矩阵中的元素数值越低代表相应的商标图样与被比商标越相似的情况，将所述预设条件设置为一个预设阈值，如此，当该相似矩阵D中的元素内的相似度低于所述的预设阈值时，代表该元素相应的商标图样b为疑似商标图样，应被添加至所述的候选集合中。

为了构造所述的候选集合，使其中的集合元素携带足够的信息，当所述相似矩阵D中的一个元素满足预设条件被选取后，可以将其该元素的坐标{x1,y1} 确定出来，由于相似矩阵D是B*N的结构，因此，x1属于B，y1属于N，也就是说x1指代一个相对应的商标图样，y1指代一个相对应的被比商标。由此，可以将元素的坐标与其相似度数值d之间的对应关系构造为候选集合中的元素 {{x1,y1},d}，以对值的形式表示。

当完成整个相似矩阵中各个元素的遍历后，所有满足预设条件的元素均被添加到所述的候选集合L中，于是，候选集合L实际包含了所有疑似商标图样及与之相疑似的所有被比商标之间的包含相似度在内的映射关系数据，对于候选集合L中的每一元素而言，其表征了疑似商标图样x1与被比商标y1之间存在相似度关联，彼此之间的相似度为d，其中x1即为疑似商标图样。

步骤S1420、按照疑似商标图样对候选集合中的所有元素进行聚类，获得每个疑似商标图样和与其存在相似度关联的被比商标之间的包括相应的相似度的映射关系数据：

候选集合L中，针对同一疑似商标图样x_n，可能出现多个被比商标y_n相对应的元素，这种情况下，可以根据是否属于同一疑似商标图样对这些元素进行聚类，由此便获得每个疑似商标图样和与其存在相似度关联的被比商标之间的包括相应的相似度的映射关系数据，也即所述的对值。可以针对每个聚类而得的疑似商标图样构造其相应的子集L_n，以便后续的计算在该些子集的基础上进行。

步骤S1430、按照相似度对每一疑似商标图样相关联的被比商标进行排序，匹配出其中与该疑似商标图样最相似的前若干个被比商标。

构造各个子集后，便可对子集内部的各个元素，根据其对值中的相似度d 进行从小到大的排序，获得更可读的结果。为了获取与每一疑似商标图样最相似的前若干个被比商标，因此理论上应当使每个子集包含所述若干个的数量的元素，但实际应用时对这一固定数量应当灵活处理。应当理解，由于每一疑似商标图样相对应的相似度满足预设条件的被比商标未必相等，因此，允许各个所述的子集中的元素不等。将所有排好序的子集顺序连接后，便可构成一个新的结果集合，该结果集合中包含多个对值，这些对值之间按照其中的疑似商标图样为第一排序索引，按照其中的相似度作为第二排序索引自小到大进行排序，实际上形成一个列表，完成了与每一疑似商标图样最相似的前若干个被比商标的匹配。

本实施例通过基于集合的操作，以方便高效的方式实现了TopK算法的运算，有助于快速地筛选出疑似商标图样相关的数据。

请参阅图5，进一步为可视化展示而扩展的实施例中，所述步骤S1430，包括如下步骤：

步骤S1431、基于聚类后的候选集合，按照相似度对每一疑似商标图样相关联的被比商标进行排序：

本步骤表现为可以在前一实施例的原理的基础上，对所述的各个子集L_n内部的各个元素，依据每个元素的对值中的相似度进行自小至大的排序即可。

步骤S1432、筛选出与疑似商标图样最相似的前若干个被比商标以实现匹配，确定与疑似商标图样实现匹配的被比商标的索引标识以及该疑似商标图样与该被比商标之间的相似度：

在所述相似矩阵为前述各实施例中的归一化后的相似矩阵为例，各个子集中的元素一经确定，实质上便实现了对疑似商标图样最相似的前若干个被比商标的匹配筛选，并且，每个疑似商标图样与其一个最相似的被比商标之间的相似度映射关系数据也以对值的形式存储于相应的子集中。因此，对值如{{x1,y1}, d}中的下标如y1，实际上便可视为相应的被比商标的标识，当然x1则为相应的疑似商标图样的索引标识，而d则为两者之间的相似度。

步骤S1433、根据所述索引标识查询预设的索引库确定出被比商标的名称，所述索引库预存储被比商标的名称与被比商标在所述被比特征库中的索引标识的映射关系数据，所述索引标识在被比特征矩阵、相似矩阵、候选集合之间对应传递：

考察本申请的技术方案的实现过程，可以看出，在构建所述的N*2048的被比特征矩阵的过程中，构造有一个索引库，索引库中将被比商标的名称与该被比商标在该被比特征矩阵中的排序行号之间建立了对应关系，因此，给出一个被比商标在该被比特征矩阵中的行号，便可查询索引库确定其相应的名称，这一行号本质上也是一个索引标识。

当B*2048的待比特征矩阵与N*2048的被比特征矩阵的2048*N的转置矩阵进行矩阵相乘之后，便获得了B*N的余弦矩阵，此时，待比图片中商标图样按行B对应不变，而被比商标则按列N对应。因此，被比特征矩阵中的行号被传递到余弦矩阵中的列号。

继而，对余弦矩阵进行归一化操作的过程中，不涉及矩阵结构的变动，因此，相似矩阵也继承了被比商标在被比特征矩阵中的行号的对应关系，具体为被比特征矩阵中的行号被对应转换为相似矩阵中的列号。

进而，当构造所述的候选集合及至相关子集的过程中，通过建立集合中的对值，在对值中包含了相似矩阵中的行号x1和列号y1，由此可见，这些集合均继承了所述被比商标中的行号的对应关系。

根据这一过程可以看出，索引库中，被比商标的索引标识实际上在本申请技术方案的整个过程的各个环节均被对应传递，因此，通过所述的集合的每个对值中的y1，即可查询索引库获取到与其相对应的被比商标名称。如前所述，索引库中存储的与索引标识相对应的对象既可以是被比商标的名称，也可以是其图片文件的访问地址等各种相关信息，这种情况下，不仅可以获取被比商标的名称，也可以按需获取被比商标的相关信息，例如商标权人的名称信息、联系信息等等，以便获取更为丰富的输出信息。

步骤S1434、输出每个疑似商标图样及其实现匹配的被比商标的名称以及两者之间的相似度的映射关系数据：

服务于电商平台的需要，往往希望本申请技术方案匹配形成的结果数据，能够提供比较丰富的输出信息，特别是其中从待比图片中提取出多少疑似商标图样，以及与每个疑似商标图样存在相似度关联的被比商标有哪些，以及疑似商标图样与相关联被比商标之间的具体相似度等，因此，适宜将这些信息进行集中列表展现。

本实施例中，适应电商平台之需，为方便后续进一步进行人工校对，对于每一疑似商标图样而言，主要关注其相关联的被比商标的名称，以及与每个被比商标之间的相似度，如此，使管理用户一目了然。由于在前已经通过所述的集合完成了这些数据的筛选匹配，因此，本步骤中，只需要结合从索引库中查询到的被比商标名称，将所述集合中的各个对值格式化后作为结果输出即可。

本实施例给出了更为细致的实现匹配结果可视化的方案，使得进行相似商标匹配的操作之后，能够获得直观的比较数据，方便后台管理用户能够进一步进行甄别，进一步提高判别商标相似、商标侵权行为的准确率。

请参阅图6，本申请实施例还提供一种商标图样匹配装置，其包括待比预备模块1100、被比预备模块1200、相似计算模块1300以及筛选匹配模块1400，其中，所述待比预备模块1100，用于获取待比图片所包含的商标图样的图像特征，构造待比特征矩阵，其中每个行向量存储单个所述商标图样的图像特征；所述被比预备模块1200，用于获取预设的被比商标库的被比特征矩阵，其中每个行向量存储被比商标库中单个被比商标的图像特征，所述商标图样、被比商标的图像特征均被表示为具有相同维度的行向量；所述相似计算模块1300，用于基于待比特征矩阵与被比特征矩阵计算相似度，获得相似矩阵，其中每个行向量存储单个所述商标图样分别与所有被比商标相比的相似度；所述筛选匹配模块1400，用于从相似矩阵中筛选出相似度满足预设条件的元素以从所述商标图样中确定与被比商标存在相似度关联的疑似商标图样，为每个疑似商标图样匹配出与其最相似的前若干个被比商标。

具体化的实施例中，所述待比预备模块1200包括：图片接收子模块，用于获取待比图片；商标检测子模块，用于调用经预训练的商标检测器对待比图片进行商标图样检测，获得该待比图片包含的一个或多个商标图样；特征提取子模块，用于调用经预训练的特征提取器对各个所述的商标图样进行特征提取，获得其图像特征，每个商标图样的图像特征以一个行向量表示，所有商标图样相对应的行向量被存储于待比特征矩阵中。

较佳的实施例中，所述商标检测器实施对所述商标图样的检测的中间过程中，应用卷积神经网络双塔结构输出其最终的图像特征，所述双塔结构包含至少四个尺度上的上采样和下采样操作。

较佳的实施例中，所述被比预备模块1200被配置为以所述被比商标库中的被比商标为输入，调用所述经预训练的特征提取器对被比商标提取其图像特征，将由图像特征归一化为行向量添加至所述的被比特征矩阵中。

具体化的实施例中，所述相似计算模块1300包括：矩阵转置子模块，用于求取被比特征矩阵的转置矩阵；余弦计算子模块，用于将待比特征矩阵与所述转置矩阵进行矩阵相乘获得余弦矩阵；相似度归一子模块，用于应用预设的归一化公式将余弦矩阵转换为相似矩阵，以将余弦矩阵中各元素的数值对应归一化为相似矩阵中各元素的相似度。

具体化的实施例中，所述筛选匹配模块1400包括：遍历排查子模块，用于遍历所述相似矩阵的各元素，将其中相似度满足预设条件的元素添加到候选集合中，判定被添加到候选集合中的元素所对应的商标图样及被比商标存在相似度关联，而将该商标图样确定为疑似商标图样；聚类映射子模块，用于按照疑似商标图样对候选集合中的所有元素进行聚类，获得每个疑似商标图样和与其存在相似度关联的被比商标之间的包括相应的相似度的映射关系数据；排序匹配子模块，用于按照相似度对每一疑似商标图样相关联的被比商标进行排序，匹配出其中与该疑似商标图样相似度最低的前若干个被比商标。

进一步扩展的实施例中，所述排序匹配子模块包括：二级排序子模块，用于基于聚类后的候选集合，按照相似度对每一疑似商标图样相关联的被比商标进行排序；二级筛选子模块，用于筛选出与疑似商标图样最相似的前若干个被比商标以实现匹配，确定与疑似商标图样实现匹配的被比商标的索引标识以及该疑似商标图样与该被比商标之间的相似度；二级查询子模块，用于根据所述索引标识查询预设的索引库确定出被比商标的名称，所述索引库预存储被比商标的名称与被比商标在所述被比特征库中的索引标识的映射关系数据，所述索引标识在被比特征矩阵、相似矩阵、候选集合之间对应传递；二级输出子模块，用于输出每个疑似商标图样及其实现匹配的被比商标的名称以及两者之间的相似度的映射关系数据。

本申请实施例还提供计算机设备。具体请参阅图7，图7为本实施例计算机设备基本结构框图。

如图7所示，计算机设备的内部结构示意图。该计算机设备包括通过系统总线连接的处理器、非易失性存储介质、存储器和网络接口。其中，该计算机设备的非易失性存储介质存储有操作系统、数据库和计算机可读指令，数据库中可存储有控件信息序列，该计算机可读指令被处理器执行时，可使得处理器实现一种商标图样匹配方法。该计算机设备的处理器用于提供计算和控制能力，支撑整个计算机设备的运行。该计算机设备的存储器中可存储有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行一种商标图样匹配方法。该计算机设备的网络接口用于与终端连接通信。本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本实施方式中处理器用于执行图6中各个模块/子模块的具体功能，存储器存储有执行上述模块所需的程序代码和各类数据。网络接口用于向用户终端或服务器之间的数据传输。本实施方式中的存储器存储有商标图样匹配装置中执行所有子模块所需的程序代码及数据，服务器能够调用服务器的程序代码及数据执行所有子模块的功能。

本申请还提供一种存储有计算机可读指令的存储介质，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述任一实施例的商标图样匹配方法的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory， ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM) 等。

应当理解，本申请的技术方案，除适用于电商平台检测商标侵权行为之需之外，也适用于具有与电商标题相同特点的应用场景的商标相似判断，对此，本领域技术人员应当知晓，将本申请的技术方案应用于电商领域之外的其他场景中，依然属于本申请所限定的等同替换范围之内。

综上所述，本申请基于矩阵操作实现对商标近似匹配的运算和判决，运算效率高，响应迅速，开销较小，特别适于为电商平台从电商产品图片中识别出疑似商标侵权信息。

本技术领域技术人员可以理解，本申请中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本申请中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本申请中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。

以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种商标图样匹配方法，其特征在于，包括如下步骤：

获取待比图片所包含的商标图样的图像特征，构造待比特征矩阵，其中每个行向量存储单个所述商标图样的图像特征；

获取预设的被比商标库的被比特征矩阵，其中每个行向量存储被比商标库中单个被比商标的图像特征，所述商标图样、被比商标的图像特征均被表示为具有相同维度的行向量；

基于待比特征矩阵与被比特征矩阵计算相似度，获得相似矩阵，其中每个行向量存储单个所述商标图样分别与所有被比商标相比的相似度；

从相似矩阵中筛选出相似度满足预设条件的元素以从所述商标图样中确定与被比商标存在相似度关联的疑似商标图样，为每个疑似商标图样匹配出与其最相似的前若干个被比商标。

2.根据权利要求1所述的商标图样匹配方法，其特征在于，获取待比图片所包含的商标图样的图像特征，构造待比特征矩阵，包括如下步骤：

获取待比图片；

调用经预训练的商标检测器对待比图片进行商标图样检测，获得该待比图片包含的一个或多个商标图样；

调用经预训练的特征提取器对各个所述的商标图样进行特征提取，获得其图像特征，每个商标图样的图像特征以一个行向量表示，所有商标图样相对应的行向量被存储于待比特征矩阵中。

3.根据权利要求2所述的商标图样匹配方法，其特征在于，调用经预训练的商标检测器对待比图片进行商标图样检测的步骤中，所述商标检测器实施对所述商标图样的检测的中间过程中，应用卷积神经网络双塔结构输出其最终的图像特征，所述双塔结构包含至少四个尺度上的上采样和下采样操作。

4.根据权利要求2所述的商标图样匹配方法，其特征在于，获取预设的被比商标库的被比特征矩阵的步骤中，以所述被比商标库中的被比商标为输入，调用所述经预训练的特征提取器对被比商标提取其图像特征，将由图像特征归一化为行向量添加至所述的被比特征矩阵中。

5.根据权利要求1所述的商标图样匹配方法，其特征在于，基于待比特征矩阵与被比特征矩阵计算相似度，获得相似矩阵，包括如下步骤：

求取被比特征矩阵的转置矩阵；

将待比特征矩阵与所述转置矩阵进行矩阵相乘获得余弦矩阵；

应用预设的归一化公式将余弦矩阵转换为相似矩阵，以将余弦矩阵中各元素的数值对应归一化为相似矩阵中各元素的相似度。

6.根据权利要求1中所述的商标图样匹配方法，其特征在于，从相似矩阵中筛选出相似度满足预设条件的元素以从所述商标图样中确定与被比商标存在相似度关联的疑似商标图样，为每个疑似商标图样确定与其最相似的前若干个被比商标，包括如下步骤：

遍历所述相似矩阵的各元素，将其中相似度满足预设条件的元素添加到候选集合中，判定被添加到候选集合中的元素所对应的商标图样及被比商标存在相似度关联，而将该商标图样确定为疑似商标图样；

按照疑似商标图样对候选集合中的所有元素进行聚类，获得每个疑似商标图样和与其存在相似度关联的被比商标之间的包括相应的相似度的映射关系数据；

按照相似度对每一疑似商标图样相关联的被比商标进行排序，匹配出其中与该疑似商标图样最相似的前若干个被比商标。

7.根据权利要求6所述的商标图样匹配方法，其特征在于，匹配出其中与该疑似商标图样最相似的前若干个被比商标，包括如下步骤：

基于聚类后的候选集合，按照相似度对每一疑似商标图样相关联的被比商标进行排序；

筛选出与疑似商标图样最相似的前若干个被比商标以实现匹配，确定与疑似商标图样实现匹配的被比商标的索引标识以及该疑似商标图样与该被比商标之间的相似度；

根据所述索引标识查询预设的索引库确定出被比商标的名称，所述索引库预存储被比商标的名称与被比商标在所述被比特征库中的索引标识的映射关系数据，所述索引标识在被比特征矩阵、相似矩阵、候选集合之间对应传递；

输出每个疑似商标图样及其实现匹配的被比商标的名称以及两者之间的相似度的映射关系数据。

8.一种商标图样匹配装置，其特征在于，其包括：

待比预备模块，用于获取待比图片所包含的商标图样的图像特征，构造待比特征矩阵，其中每个行向量存储单个所述商标图样的图像特征；

被比预备模块，用于获取预设的被比商标库的被比特征矩阵，其中每个行向量存储被比商标库中单个被比商标的图像特征，所述商标图样、被比商标的图像特征均被表示为具有相同维度的行向量；

相似计算模块，用于基于待比特征矩阵与被比特征矩阵计算相似度，获得相似矩阵，其中每个行向量存储单个所述商标图样分别与所有被比商标相比的相似度；

筛选匹配模块，用于从相似矩阵中筛选出相似度满足预设条件的元素以从所述商标图样中确定与被比商标存在相似度关联的疑似商标图样，为每个疑似商标图样匹配出与其最相似的前若干个被比商标。

9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项权利要求所述的商标图样匹配方法的步骤。

10.一种存储有计算机可读指令的存储介质，其特征在于，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如权利要求1至7中任一项权利要求所述的商标图样匹配的方法的步骤。

Images