CN115620019A - 商品侵权检测方法及其装置、设备、介质、产品 - Google Patents

商品侵权检测方法及其装置、设备、介质、产品 Download PDF

Info

Publication number
CN115620019A
CN115620019A CN202210531110.5A CN202210531110A CN115620019A CN 115620019 A CN115620019 A CN 115620019A CN 202210531110 A CN202210531110 A CN 202210531110A CN 115620019 A CN115620019 A CN 115620019A
Authority
CN
China
Prior art keywords
trademark
features
image
commodity
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210531110.5A
Other languages
English (en)
Inventor
黄家冕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Huanju Shidai Information Technology Co Ltd
Original Assignee
Guangzhou Huanju Shidai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Huanju Shidai Information Technology Co Ltd filed Critical Guangzhou Huanju Shidai Information Technology Co Ltd
Priority to CN202210531110.5A priority Critical patent/CN115620019A/zh
Publication of CN115620019A publication Critical patent/CN115620019A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3346—Query execution using probabilistic model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及商品侵权检测方法及其装置、设备、介质、产品，所述方法包括：获取目标商品的商品信息中的商品图片及文本信息，所述文本信息包括所述目标商品的商品描述信息；从所述商品图片中提取出商标图像集，所述商标图像集包含一个或多个商标图像；根据所述商标图像集与所述文本信息联合确定各个商标图像的侵权概率；根据所述侵权概率确定所述商标图像集中涉嫌侵权的商标图像。由于所述文本信息是由所述目标商品的商品描述信息构成的，商品描述信息可为商品图片的内容的识别提供文字语义方面的参考信息，因而，可以更为有效地判定商标图像是否具有侵权嫌疑，从而确保能够准确判定目标商品的商品图片中是否包含了未经授权的商标。

Description

商品侵权检测方法及其装置、设备、介质、产品
技术领域
本申请涉及电商信息技术领域，尤其涉及一种商品侵权检测方法及其相应的装置、计算机设备、计算机可读存储介质，以及计算机程序产品。
背景技术
知识产权是国际广泛通行的法律体系，商标权是知识产权的种类之一，互联网全球化的热潮中，电商平台负有维护商标权合法使用法律和道德义务，因而需要对涉嫌商标侵权的信息进行检测，以防止合法商标被恶意使用和剽窃，有效维持健康的市场秩序。
随着电商平台的交易量迅猛增长，人工审核商家上传的图片因过于低效而不可行，因而需要借助技术检测手段来实施。现有用于检测商品涉嫌商标侵权的方法通常单纯基于商品图片进行识别，常出现检测不准确的情况，比如商家意在展示模特所穿的无商标侵权的服饰，但模特所穿的鞋带携带了商标却因为属于侵权商标库中的标识而被识别为侵权商标，从而导致商家被误判为侵权商家；又如，某电子配件意在展示可兼容某些品牌设备，但由于这些品牌设备携带了别家的商标，却被判断为侵权这些未授权品牌，从而将该商家误认定为疑似侵权商家而被严格风控。
由此可见，传统的商标检测方法对商标是否属于侵权商标的判断能力较为粗糙，易造成误判，相关检测技术需要进一步提升。
发明内容
本申请的目的在于解决上述问题而提供一种商品侵权检测方法及其相应的装置、计算机设备、计算机可读存储介质、计算机程序产品、
适应本申请的各个目的，采用如下技术方案：
一个方面，适应本申请的目的之一而提供一种商品侵权检测方法，包括如下步骤：
获取目标商品的商品信息中的商品图片及文本信息，所述文本信息包括所述目标商品的商品描述信息；
从所述商品图片中提取出商标图像集，所述商标图像集包含一个或多个商标图像；
根据所述商标图像集与所述文本信息联合确定各个商标图像的侵权概率；
根据所述侵权概率确定所述商标图像集中涉嫌侵权的商标图像。
可选的，根据所述商标图像集与所述文本信息联合确定各个商标图像的侵权概率，包括如下步骤：
提取所述商标图像集中各个商标图像的图像特征；
提取所述文本信息的文本特征；
将所述文本特征与所述图像特征进行特征融合，获得融合特征；
根据所述融合特征与所述文本特征的交互特征进行归一化，获得各个商标图像相对应的侵权概率。
可选的，将所述文本特征与所述图像特征进行特征融合，获得融合特征，包括如下步骤：
应用注意力层将所述文本特征与图像特征进行初次特征融合，获得初始特征；
将所述图像特征进行多次非线性激活，获得修正特征；
将所述初始特征与所述修正特征进行二次特征融合，获得融合特征。
可选的，应用注意力层将所述文本特征与图像特征进行初次特征融合，获得初始特征，包括如下步骤：
将所述图像特征作为查询向量，所述文本特征作为键向量和值向量，输入注意力层；
由所述注意力层将所述查询向量与所述键向量进行交互并归一化，获得权重矩阵；
由所述注意力层将所述值向量匹配所述权重矩阵获得初始特征。
可选的，将所述图像特征进行多次非线性激活，获得修正特征，包括如下步骤：
将所述图像特征全连接后进行第一次非线性激活，获得初次的修正特征；
将所述初次的修正特征全连接后进行第二次非线性激活，获得最终的修正特征。
可选的，根据所述融合特征与所述文本特征的交互特征进行归一化，获得各个商标图像相对应的侵权概率，包括如下步骤：
将所述融合特征与所述文本特征进行浅层特征交互，获得浅层交互特征；
应用注意力层对所述浅层交互特征进行深层特征交互，获得深层交互特征；
将所述深层交互特征转换池化为高维向量，使其中每个维度对应一个商标图像；
根据该高维向量计算确定各个商标图像相对应的侵权概率。
可选的，根据所述侵权概率确定所述商标图像集中涉嫌侵权的商标图像，包括如下步骤：
对所述商标图像集中的各个商标图像的图像特征进行分类映射，确定各个商标图像相对应的合法商标；
根据各个商标图像相对应的侵权概率选定所述商标图像集中涉嫌侵权的商标图像；
输出涉嫌侵权的商标图像与其相对应的合法商标之间的映射关系数据。
另一方面，适应本申请的目的之一而提供一种商品侵权检测装置，包括图文获取模块、商标提取模块、联合分析模块，以及侵权判定模块，其中：所述图文获取模块，用于获取目标商品的商品信息中的商品图片及文本信息，所述文本信息包括所述目标商品的商品描述信息；所述商标提取模块，用于从所述商品图片中提取出商标图像集，所述商标图像集包含一个或多个商标图像；所述联合分析模块，用于根据所述商标图像集与所述文本信息联合确定各个商标图像的侵权概率；所述侵权判定模块，用于根据所述侵权概率确定所述商标图像集中涉嫌侵权的商标图像。
可选的，所述联合分析模块，包括：商标特征提取子模块，用于提取所述商标图像集中各个商标图像的图像特征；文本特征提取子模块，用于提取所述文本信息的文本特征；多模特征融合子模块，用于将所述文本特征与所述图像特征进行特征融合，获得融合特征；侵权概率确定子模块，用于根据所述融合特征与所述文本特征的交互特征进行归一化，获得各个商标图像相对应的侵权概率。
可选的，所述多模特征融合子模块，包括：初次融合单元，用于应用注意力层将所述文本特征与图像特征进行初次特征融合，获得初始特征；激活修正单元，用于将所述图像特征进行多次非线性激活，获得修正特征；二次融合单元，用于将所述初始特征与所述修正特征进行二次特征融合，获得融合特征。
可选的，所述初次融合单元，包括：向量输入子单元，用于将所述图像特征作为查询向量，所述文本特征作为键向量和值向量，输入注意力层；权重提取子单元，用于由所述注意力层将所述查询向量与所述键向量进行交互并归一化，获得权重矩阵；特征生成子单元，用于由所述注意力层将所述值向量匹配所述权重矩阵获得初始特征。
可选的，所述激活修正单元，包括：初始修正子单元，用于将所述图像特征全连接后进行第一次非线性激活，获得初次的修正特征；二次修正子单元，用于将所述初次的修正特征全连接后进行第二次非线性激活，获得最终的修正特征。
可选的，所述侵权概率确定子模块，包括：浅层交互单元，用于将所述融合特征与所述文本特征进行浅层特征交互，获得浅层交互特征；深层交互单元，用于应用注意力层对所述浅层交互特征进行深层特征交互，获得深层交互特征；向量转换单元，用于将所述深层交互特征转换池化为高维向量，使其中每个维度对应一个商标图像；概率计算单元，用于根据该高维向量计算确定各个商标图像相对应的侵权概率。
可选的，所述侵权判定模块，包括：商标映射子模块，用于对所述商标图像集中的各个商标图像的图像特征进行分类映射，确定各个商标图像相对应的合法商标；图像确定子模块，用于根据各个商标图像相对应的侵权概率选定所述商标图像集中涉嫌侵权的商标图像；数据输出子模块，用于输出涉嫌侵权的商标图像与其相对应的合法商标之间的映射关系数据。
又一方面，适应本申请的目的之一而提供的一种计算机设备，包括中央处理器和存储器，所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行本申请所述的商品侵权检测方法的步骤。
又一方面，适应本申请的另一目的而提供的一种计算机可读存储介质，其以计算机可读指令的形式存储有依据所述的商品侵权检测方法所实现的计算机程序，该计算机程序被计算机调用运行时，执行该方法所包括的步骤。
又一方面，适应本申请的另一目的而提供的一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现本申请任意一种实施例中所述的商品侵权检测方法的步骤。
相对于现有技术，本申请具有多方面的优势，至少包括如下各方面：本申请在对目标商品的商品图片进行商标侵权识别时，获取两个模态的信息，其中一路信息为所述目标商品的商品图片中的一个或多个商标图像构成的商标图像集，另一路信息为所述目标商品的文本信息，然后，根据两个模态的信息联合确定所述商标图像集中的各个商标图像映射到各个合法商标的侵权概率，根据所述侵权概率确定商标图像集中涉嫌侵权的商标图像，实现对商品图片中的商标图像是否构成侵权的检测。由于所述文本信息是由所述目标商品的商品描述信息构成的，商品描述信息可为商品图片的内容的识别提供文字语义方面的参考信息，因而，在对商标图像进行侵权检测的过程中，在商标图像的基础上联合目标商品的文本信息，可以更为有效地判定商标图像是否具有侵权嫌疑，使对涉嫌侵权的商标图像的识别更为准确，从而确保能够准确判定目标商品的商品图片中是否包含了未经授权的商标。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请的商品侵权检测方法的典型实施例的流程示意图。
图2为本申请示例性的商标识别模型的网络结构示意图。
图3为本申请的实施例中，根据所述商品标识模型确定侵权概率的过程的流程示意图。
图4为本申请的实施例中，实现文本特征与图像特征的特征融合的过程的流程示意图。
图5为本申请的实施例中，所述商标识别模型内用于执行所述文本特征与图像特征的特征交互的特征融合网络的结构示意图。
图6为本申请的实施例中，应用注意力层获取初始特征的过程的流程示意图。
图7为本申请的实施例中，所述商标识别模型内用于获取初始特征的注意力层的结构示意图。
图8为本申请的实施例中，对图像特征进行两次激活的过程的流程示意图；
图9为本申请的实施例中，所述商标识别模型内用于实现对图像特征的非线性激活的挤压门的结构示意图。
图10为本申请的实施例中，根据融合特征与文本特征确定深层交互特征并计算出侵权概率过程的流程示意图。
图11为本申请的实施例中，所述商标识别模型内用于执行侵权概率计算过程的转换网络的结构示意图。
图12为本申请的实施例中，根据侵权概率优选出涉嫌侵权的商标图像的过程的流程示意图。
图13为本申请的商品侵权检测装置的原理框图；
图14为本申请所采用的一种计算机设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
本技术领域技术人员可以理解，这里所使用的“客户端”、“终端”、“终端设备”既包括无线信号接收器的设备，其仅具备无发射能力的无线信号接收器的设备，又包括接收和发射硬件的设备，其具有能够在双向通信链路上，进行双向通信的接收和发射硬件的设备。这种设备可以包括：蜂窝或其他诸如个人计算机、平板电脑之类的通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备；PCS(PersonalCommunications Service，个人通信系统)，其可以组合语音、数据处理、传真和/或数据通信能力；PDA(Personal Digital Assistant，个人数字助理)，其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(Global PositioningSystem，全球定位系统)接收器；常规膝上型和/或掌上型计算机或其他设备，其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“客户端”、“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的，或者适合于和/或配置为在本地运行，和/或以分布形式，运行在地球和/或空间的任何其他位置运行。这里所使用的“客户端”、“终端”、“终端设备”还可以是通信终端、上网终端、音乐/视频播放终端，例如可以是PDA、MID(Mobile Internet Device，移动互联网设备)和/或具有音乐/视频播放功能的移动电话，也可以是智能电视、机顶盒等设备。
本申请所称的“服务器”、“客户端”、“服务节点”等名称所指向的硬件，本质上是具备个人计算机等效能力的电子设备，为具有中央处理器(包括运算器和控制器)、存储器、输入设备以及输出设备等冯诺依曼原理所揭示的必要构件的硬件装置，计算机程序存储于其存储器中，中央处理器将存储在外存中的程序调入内存中运行，执行程序中的指令，与输入输出设备交互，借此完成特定的功能。
需要指出的是，本申请所称的“服务器”这一概念，同理也可扩展到适用于服务器机群的情况。依据本领域技术人员所理解的网络部署原理，所述各服务器应是逻辑上的划分，在物理空间上，这些服务器既可以是互相独立但可通过接口调用的，也可以是集成到一台物理计算机或一套计算机机群的。本领域技术人员应当理解这一变通，而不应以此约束本申请的网络部署方式的实施方式。
本申请的一个或数个技术特征，除非明文指定，既可部署于服务器实施而由客户端远程调用获取服务器提供的在线服务接口来实施访问，也可直接部署并运行于客户端来实施访问。
本申请中所引用或可能引用到的神经网络模型，除非明文指定，既可部署于远程服务器且在客户端实施远程调用，也可部署于设备能力胜任的客户端直接调用，某些实施例中，当其运行于客户端时，其相应的智能可通过迁移学习来获得，以便降低对客户端硬件运行资源的要求，避免过度占用客户端硬件运行资源。
本申请所涉及的各种数据，除非明文指定，既可远程存储于服务器，也可存储于本地终端设备，只要其适于被本申请的技术方案所调用即可。
本领域技术人员对此应当知晓：本申请的各种方法，虽然基于相同的概念而进行描述而使其彼此间呈现共通性，但是，除非特别说明，否则这些方法都是可以独立执行的。同理，对于本申请所揭示的各个实施例而言，均基于同一发明构思而提出，因此，对于相同表述的概念，以及尽管概念表述不同但仅是为了方便而适当变换的概念，应被等同理解。
本申请即将揭示的各个实施例，除非明文指出彼此之间的相互排斥关系，否则，各个实施例所涉的相关技术特征可以交叉结合而灵活构造出新的实施例，只要这种结合不背离本申请的创造精神且可满足现有技术中的需求或解决现有技术中的某方面的不足即可。对此变通，本领域技术人员应当知晓。
本申请的一种商品侵权检测方法，可被编程为计算机程序产品，部署于客户端或服务器中运行而实现，例如，本申请的示例性应用场景中，可以在电商平台的服务器中部署实现，藉此可以通过访问该计算机程序产品运行后开放的接口，通过图形用户界面与该计算机程序产品的进程进行人机交互而执行该方法。
请参阅图1，本申请的商品侵权检测方法在其典型实施例中，包括如下步骤：
步骤S1100、获取目标商品的商品信息中的商品图片及文本信息，所述文本信息包括所述目标商品的商品描述信息；
在电商平台的应用场景中，每一个商品作为一个相对独立的单个信息单元进行处理，由电商平台的线上店铺的商家用户负责发布和更新，且可提供给消费者用户进行浏览和下单等。所述的线上店铺可以是独立站点，独立站点独立维护自身线上店铺的商品的商品数据库，可以通过安装根据本申请获得的计算机程序产品来对商品图片是否包含商标侵权信息做出识别。每个商品均以其相应的商品信息进行描述，所述的商品信息通常包括两大类，其一是商品图片，其二是文本信息。
所述的商品图片，通常用于展示相应的商品或其相关产品的图形或者其使用状态，例如，当商品为某一服装时，其商品图片之一可用于展示模特穿上该服装后的效果；又如，当商品需要展示其配套产品的图形时，其商品图片之一可用于展示包含所述配套产品之后的效果。也即，所述的商品图片，允许存在除了其商品的图形之外的其他内容，而这些内容中，也允许出现当前商品之外的其他商品。
所述的文本信息，泛指一切关联于所述商品存储的且适于以文本形式提供的商品描述信息，包括但不限于所述商品的商品标题、商品属性数据、商品详情文本、商品画像标签等任意一项或任意多项。在用途上，所述商品描述信息一般用于描述所述商品的标题、品牌、名称、型号、类别、用途、功能、性质、特点、用法等等任意具体信息。
一种实施例中，可以从线上店铺的商品数据库中，将商品的商品信息中的商品标题及其商品详情文本拼接在一起构成其文本信息。另一实施例中，可以进一步获取所述商品的商品标题、商品详情文本中的关键词，以及所述商品属性数据、商品画像标签等，合并为分词集，用作所述的文本信息。
当线上店铺的商家用户需要发布某一目标商品时，在相应的商品发布页面中录入所述目标商品相对应的商品信息，然后提交到后台以便将相应的商品信息存储于商品数据库中。
当需要对商品数据库中的某一目标商品，或者针对商家用户实时发布的某一目标商品进行识别时，便可获取所述目标商品的商品信息，从其中提取出单张商品图片及文本信息，作为联合输入，启动商标侵权识别过程。
对于目标商品的商品信息中存在多张商品图片的情况，可以针对每张商品图片，联合所述的文本信息，逐张商品图片进行商品侵权识别。
步骤S1200、从所述商品图片中提取出商标图像集，所述商标图像集包含一个或多个商标图像；
无论所述商品图片包含什么内容，其中与商品或产品相关的内容物，都可能会携带其自身的商标图像。对于被用于进行商标侵权识别的商品图片，可先提取出其中的各个商标图像，构成商标图像集ATM。
对所述商品图片进行商标图像的检测，可采用预先训练至收敛状态的目标检测模型来实施。所述目标检测模型一般采用基于深度学习的模型实现，例如RCNN系列、Yolo系列以及SSD(Single Shot MultiBox Detector，一步式多框检测器)系列。RCNN系列是基于区域检测的代表性算法，YOLO是基于区域提取的代表性算法，SSD是在前两个系列的基础上改进获得的算法。
RCNN系列通常包括R-CNN、SPPNet、FastR-CNN、FasterR-CNN等不同具体模型，Yolo系列也有多个版本可以采用。诸如此类的目标检测模型，均适于从给定的图片中识别出目标图像区域，从而可以根据目标图像区域获得相应的目标图像。
一种实施例中，可采用Yolo-v5作为目标检测模型，接入分类器，采用足量的训练样本对其进行微调训练，所述训练样本为商品图片，其中包含一个或多个商标图像，每个训练样本对应其中的各个商标图像均提供相应的训练标签，以便监督模型训练，使其习得能够从给定的商品图片中准确识别出一个或多个商标图像区域的能力。
因此，按照所述目标检测模型对所输入的图像的规格对所述的目标商品的商品图片进行图像预处理后，采用所述目标检测模型对预处理后的商品图片进行目标检测，可以从所述商品图片中识别出其中各个内容物所携带的商标相对应的商标图像区域，输出各个所述商标图像区域的坐标信息。进一步，根据所述目标检测模型输出的坐标信息，从所述商品图片中对应裁剪出各个商标图像区域的坐标信息相对应的商标图像，便获得所述商品图片相对应的商标图像集ATM。根据所述商品图片所携带的商标图像的实际情况，所述商标图像集中可能包括一个或多个商标图像。当然，对于商品图片中经检测不存在商标图像的情况，无需继续本申请的后续处理。
如图2所示的商标识别模型中，将所述目标检测模型作为其中的一个前端构件，用于实现从商品图片中获得一个或多个商标图像，构成商标图像集ATM，所获得的商标图像集作为图像特征提取模型的输入。
步骤S1300、根据所述商标图像集与所述文本信息联合确定各个商标图像的侵权概率；
从所述目标商品的商品图片中获得的商标图像集与所述目标商品的文本信息，可以作为两个模态的信息，被用于联合确定所述商标图像集中的各个商标图像相对应的侵权概率。
一种实施例中，一方面可分别针对所述商标图像集ATM中的各个商标图像获取其对应的图像特征，以便获得整个商标图像集相对应的图像特征featim，另一方面，可针对所述文本信息获取其对应的文本特征feattext，将所述每个商标图像的图像特征featim与所述文本特征feattext均统一为相同维度的向量，然后，将所述图像特征与所述文本特征综合为联合特征信息featim_sq_sa，输入至预设的商标识别模型中判断其中各个维度相对应的置信度P，每个置信度即可作为其相应维度的商标图像的侵权概率。
所述商标识别模型可事先构造并预先训练至收敛状态，使其习得从给定的商标图像集和文本信息中确定所述商标图像集中的各个商标图像对应预设的商标库中的合法商标的侵权概率。如图2的原理性示例，所述商标识别模型中，采用图像特征提取模型用于实现所述图像特征featim的获取，采用文本特征提取模型用于实现所述文本特征feattext的提取，然后，在利用一个特征融合网络将所述图像特征featim与所述文本特征feattext综合获得联合特征信息featim_sq_sa后，使得联合特征信息featim_sq_sa是在所述图像特征featim的基础上融合了所述文本特征feattext的语义信息的结果，可通过转换网络将该联合特征信息转换为维度与商标图像集中的商标图像数量相同的向量，然后根据该向量计算出其中各个维度也即各个商标图像相对应的置信度P，从而确定所述的侵权概率。
不难理解，所述联合特征信息中，不仅包含每个商标图像自身的图像特征，也融合了目标商品的文本特征，所述文本特征可以增强图像特征的语义，为联合特征信息用于计算侵权概率提供了重要的参考信息。由于文本特征的来源，即所述的文本信息通常会描述目标商品本身的信息以及相关商品图片中内容物的说明信息，因而，这些说明信息的语义可以有效增强各个商标图像的图像特征的语义，根据这样的语义确定的侵权概率，由于关联了两个模态的信息而更为准确，可以区分商品图片中的商标图像是对合法商标的合理使用，还是对合法商标的未授权使用，从而对商标合理使用的避免误判。
步骤S1400、根据所述侵权概率确定所述商标图像集中涉嫌侵权的商标图像。
根据所述商标图像集ATM相对应的图像特征featim，可以进一步通过图2所示的分类网络进行分类映射，确定出与其中的各个商标图像的图像特征相对应的合法商标。具体而言，所述商标图像集ATM被提取获得其相对应的图像特征featim后，可通过接入预先训练至收敛状态的分类网络中进行分类映射，所述分类网络的分类空间，按照预设的商标库中的合法商标数量设置相应的类别数量并进行训练至收敛，使其习得根据给定的商标图像集相对应的图像特征确定出商标图像集中各个商标图像相对应的合法商标的能力，从而获得一个疑似侵权商标集合Asus，该疑似侵权商标集合Asus中，可以表示各个商标图像与其相对应的合法商标之间的映射关系数据。
至此，便可借助所述疑似侵权商标集合Asus中的各个商标图像的侵权概率，在所述侵权概率达到预设条件时，判定相应的商标图像为高度可能侵犯其相对应的合法商标的涉嫌侵权的商标图像。所述的预设条件，可根据实际需要，采用根据侵权概率排序截尾或者根据预设阈值筛选侵权概率等方式来实施，截尾优选的数量以及所述的预设阈值均可灵活确定。
需要注意的是，本申请所称的涉嫌侵权，是指概率上的高度可能性，并非指司法上确认的侵权行为。因而，一种实施例中，可以进一步将涉嫌侵权的商标图像构成侵权商标集输出供进一步人工确认。
根据以上的实施例可知，本申请具有多方面的优势，至少包括如下各方面：本申请在对目标商品的商品图片进行商标侵权识别时，获取两个模态的信息，其中一路信息为所述目标商品的商品图片中的一个或多个商标图像构成的商标图像集，另一路信息为所述目标商品的文本信息，然后，根据两个模态的信息联合确定所述商标图像集中的各个商标图像映射到各个合法商标的侵权概率，根据所述侵权概率确定商标图像集中涉嫌侵权的商标图像，实现对商品图片中的商标图像是否构成侵权的检测。由于所述文本信息是由所述目标商品的商品描述信息构成的，商品描述信息可为商品图片的内容的识别提供文字语义方面的参考信息，因而，在对商标图像进行侵权检测的过程中，在商标图像的基础上联合目标商品的文本信息，可以更为有效地判定商标图像是否具有侵权嫌疑，使对涉嫌侵权的商标图像的识别更为准确，从而确保能够准确判定目标商品的商品图片中是否包含了未经授权的商标。
请参阅图3，在以上任意实施例的基础上，所述步骤S1300、根据所述商标图像集与所述文本信息联合确定各个商标图像的侵权概率，包括如下步骤：
步骤S1310、提取所述商标图像集中各个商标图像的图像特征；
如前所述，仍参考图2所示，所述的商标图像集ATM中的各个商标图像，可以分别输入图像特征提取模型提取其中各个商标图像的图像特征后拼接形成所述商标图像集相对应的图像特征，此类图像特征提取模型可以是基于CNN实现的诸如Resnet之类的基础模型，也可输入适于批量提取特征的图像特征提取模型中直接获得所述商标图像集相对应的图像特征，此类图像特征提取模型可以是Transformer系列的模型例如Swin-Transformer之类的基础模型。总之，经图像特征提取模型对所述商标图像集进行特征提取后，可获得该商标图像集ATM相对应的图像特征，本申请中，将其表示为featim。不难理解，设商标图像集中存在B个商标图像，设每个商标图像的维度为N，则所获得的图像特征featim为B*N的特征矩阵。
需要指出的是，所述商标图像集中的各个商标图像可能大小不一，为方便图像特征提取模型进行标准化处理，可采用缩放、裁剪等方式，可事先将各个商标图像进行预处理，获得标准化规格的商标图像。
步骤S1320、提取所述文本信息的文本特征；
所述的文本信息，可按照其不同具体信息类型，在获得每种具体信息类型的文本信息时，先对相应的文本进行分词实现词嵌入，获得其相应的嵌入向量，然后将各个嵌入向量构造为矩阵输入至文本特征提取模型中进行特征提取，可获得相应的文本特征feattext。设所述文本信息包含T种类型的具体信息，例如商品标题、商品详情文本等，这种情况下，为了统一，仍将文本特征的维度设置为N，因此，最终文本信息相对应的文本特征feattext为T*N的特征矩阵。由此，实现了文本特征与图像特征在向量维度上的统一。
所述的文本特征提取模型可以采用基于RNN的神经网络模型来实施，例如LSTM、Bert之类的成熟模型均可，本领域技术人员可根据此处揭示的原理灵活选型。
步骤S1330、将所述文本特征与所述图像特征进行特征融合，获得融合特征；
由于在获取图像特征和文本特征过程中，已经将两者的向量维度实现统一，因而，一种实施例中，可以借助一个特征融合网络，通过矩阵相乘实现对图像特征和文本特征的综合，而获得相应的联合特征信息，将该联合特征信息作为后续处理所需的融合特征，表示为featim_sq_sa，其矩阵结构仍为B*N。
另一实施例中，可借助权重提取的方式实现一个特征融合网络，利用所述特征融合网络将所述图像特征与文本特征进行更为深度的特征交互，而获得联合了两者的语义的联合特征信息，作为后续处理所需的融合特征featim_sq_sa，同理，其矩阵结构仍为B*N。
概括而言，通过将所述图像特征与文本特征进行特征交互，可以获得综合了两者语义的融合特征，实现对目标商品的商品图片中的商标图像与目标商品的文本信息的语义综合，使得所获得的融合特征可以起到有效表示商标图像与文本信息之间的关联信息的作用。
步骤S1340、根据所述融合特征与所述文本特征的交互特征进行归一化，获得各个商标图像相对应的侵权概率。
进一步，通过一个转换网络将所述融合特征featim_sq_sa与所述文本特征再次进行特征交互之后，具体的特征交互手段可以包括矩阵相乘的方式而获得B*T的矩阵，从而获得强化了其中的文本特征的语义信息的中间特征，将该中间特征对应商标图像的数量进一步转换B进行归一化，可获得B*1的向量，至此，转换网络便可根据该向量计算出其中各个维度相对应的置信度，每个置信度由于与一个维度相对应而属于相应的商标图像，也即获得了各个商标图像相对应的置信度，可作为表示商标图像是否构成侵权的侵权概率使用。
根据以上实施例可知，通过将目标商品的图像特征和文本特征进行特征融合，在融合特征的基础上进一步结合文本特征进行转换最终计算出各个商标图样相对应的侵权概率，在此过程中实现了目标商品的商标图像与文本信息的图文两种模态信息的深度交互，由于是在商标图像的语义的基础上深度结合文本信息的语义，因而，据此计算出的侵权概率，可以在文本信息的语义的指导下而有效避免对商标图像是否涉嫌侵权产生误判，大大提升了对商品图片进行侵权检测的准确率。
请参阅图4，在以上任意实施例的基础上，所述步骤S1330、将所述文本特征与所述图像特征进行特征融合，获得融合特征，包括如下步骤：
步骤S1331、应用注意力层将所述文本特征与图像特征进行初次特征融合，获得初始特征；
为了获取所述文本特征与所述图像特征的融合特征featim_sq_sa，如图5所示，所述特征融合网络提供一个注意力层和一个挤压门来处理所述的文本特征和图像特征。
先将所述文本特征及图像特征并行输入所述注意力层，利用注意力层的注意力机制将文本特征和图像特征进行特征交互之后，获得初始特征SA。所述注意力层根据所述文本特征确定所述图像特征的权重信息，突出其中的显著信息，再利用所述权重信息与所述文本特征融合获得所述的初始特征。所述初始特征SA与其所述的图像特征featim的尺度相同，同为B*N的特征矩阵。
步骤S1332、将所述图像特征进行多次非线性激活，获得修正特征；
对于所述的挤压门，其可基于门机制实现，将所述图像特征先后经过两个激活层进行不同类型的非线性激活，获得修正特征featim_sq，可以理解，所述修正特征的尺度同为B*N。据此可见，门机制的引入，可以避免梯度消失，使模型更易被训练至收敛状态，且可以提升本申请的商标识别模型整体的识别准确率。
步骤S1333、将所述初始特征与所述修正特征进行二次特征融合，获得融合特征。
获得所述的初始特征SA与所述的修正特征featim_sq之后，通过点乘运算计算所述初始特征与所述修正特征的点乘矩阵，该点乘矩阵便可作为对文本特征和图像特征进行融合之后获得的融合特征featim_sq_sa，也即所述的联合特征信息。
根据以上实施例的过程可以看出，文本特征与图像特征应用注意力层进行特征交互后获得的初始特征，承载了根据所述文本特征确定的图像特征的权重信息和文本特征本身提供的语义信息，而图像特征又经过多次非线性激活而获得其修正特征，在此基础上，通过点乘运算将初始特征与修正特征进行融合，所获得的融合特征，实现对图像特征与文本特征的深度交互，使两者既深度关联又保留有效的语义信息，确保可以据此准确确定出侵权概率。
在以上任意实施例的基础上，请参阅图6，所述步骤S1331、应用注意力层将所述文本特征与图像特征进行初次特征融合，获得初始特征，包括如下步骤：
步骤S2100、将所述图像特征作为查询向量，所述文本特征作为键向量和值向量，输入注意力层；
如图7所示，本申请在所述融合特征网络中引入了注意力层(Attention)用于对所述文本特征feattext及所述图像特征featim进行初次特征融合，为此，将所述图像特征作为所述注意力层中的查询向量(Query)，将所述文本特征同时作为所述注意力层中的键向量(Key)以及值向量(Value)，以便输入所述注意力层，根据注意力层固有的Q、K、V运算机制进行特征交互。
步骤S2200、由所述注意力层将所述查询向量与所述键向量进行交互并归一化，获得权重矩阵；
如图7所示，在所述注意力层中，所述图像特征featim作为查询向量匹配其相应的权重WQ得到第一特征矩阵，所述文本特征feattext匹配其相应的权重WK得到第二特征矩阵，然后，将所述第一特征矩阵和第二特征矩阵的转置矩阵进行点乘操作，获得一个实现所述图像特征与文本特征的特征交互的乘积矩阵，该乘积矩阵为B*T的尺度，采用Softmax函数对其进行激活输出之后，获得的权重矩阵是对图像特征与文本特征的语义信息进行深度交互之后的语义信息，本质上也是根据所述文本特征实现对所述图像特征中的显著特征进行突出的提权结果。
步骤S2300、由所述注意力层将所述值向量匹配所述权重矩阵获得初始特征。
继续参阅图7，在所述注意力层中，将经Softmax函数激活输出的尺度为B*T的权重矩阵，再与匹配了相应的权重WV的值向量也即所述的尺度为T*N的文本特征再行点乘运算，获得尺度为B*N的乘积矩阵，即为将所述文本特征与所述图像特征进行初次特征交互之后获得的初始特征SA。
本实施例中所述查询向量WQ、键向量WK、值向量WV均为可学习权重，其在商标识别模型训练过程中被训练获得，在模型推理阶段应用。
根据以上实施例，不难理解，所述初始特征是在根据文本特征和图像特征进行交互之后获得的所述权重矩阵基础上乘上所述文本特征获得的，因而，再次对应商标图像的数目B深度融合了所述的文本特征，因而，实现对所述的文本特征与所述的图像特征的初步综合表示，有效的特征表示是指导商标识别模型进行准确计算置信度的依据，对于促使模型快速训练至收敛，提升模型识别效率均有助益。
请参阅图8，在以上任意实施例的基础上，所述步骤S1332、将所述图像特征进行多次非线性激活，获得修正特征，包括如下步骤：
步骤S3100、将所述图像特征全连接后进行第一次非线性激活，获得初次的修正特征；
请结合图9，基于门机制实现的挤压门的网络结构中可知，所述图像特征featim被输入所述挤压门之后，由其中的第一全连接层适配其训练获得的权重Wg1进行全连接后，输入至第一激活层，应用第一激活方式进行第一次非线性激活，所述第一激活方式可采用ReLu的方式实施，从而获得初次的修正特征。
步骤S3200、将所述初次的修正特征全连接后进行第二次非线性激活，获得最终的修正特征。
初次的修正特征进一步经第二全连接层匹配其权重Wg2进行全连接后，输入至第二激活层，应用第二激活方式例如Tanh方式进行第二次非线性激活，即可获得最终的修正特征featim_sq。不难理解，修正特征featim_sq是一个尺度为B*N的特征矩阵。
如上可知，将所述图像特征先后经过两次全连接，每次全连接到经过不同的非线性激活方式进行修正，使各个商标图像的特征实现融合，且可避免梯度消失，所获得的最终的修正特征既有效表示各个商标图像自身特征及其与其他商标图像的关联信息，而且可以促使模型更易被训练。
请参阅图10，在以上任意实施例的基础上，所述步骤S1340、根据所述融合特征与所述文本特征的交互特征进行归一化，获得各个商标图像相对应的侵权概率，包括如下步骤：
步骤S1341、将所述融合特征与所述文本特征进行浅层特征交互，获得浅层交互特征；
由图2的商标识别模型的结构可知，将所述文本特征和图像特征进行特征交互后获得的融合特征featim_sq_sa，其进一步经转换网络进行处理以便计算各个商标图像的侵权概率。
如图11所示，在所述转换网络中，将所述融合特征featim_sq_sa与所述文本特征feattext进行点乘运算，获得一个尺度为B*T的特征矩阵，实现对两者的特征的融合，可作为两者的浅层交互特征。
步骤S1342、应用注意力层对所述浅层交互特征进行深层特征交互，获得深层交互特征；
进一步，将所述浅层交互特征输入一个注意力层(MSA)中对其中的各个向量进行深层特征交互，使各个商标图像对应的向量之间实现更为深层的特征融合，可获得相应的深层交互特征。此处所采用的注意力层可为多头自注意力层，其中，所述浅层交互特征同时作为自注意力层中的查询向量、键向量以及值向量执行Q、K、V运算而获得所述的深层交互特征。
步骤S1343、将所述深层交互特征转换池化为高维向量，使其中每个维度对应一个商标图像；
进一步，将所述深层交互特征经全连接层(fc)全连接后，应用池化层(Max_pooling)对其执行最大值池化操作，将其降维为B*1的高维向量，不难理解，该高维向量中，每个维度的特征值对应一个商标图像。
步骤S1344、根据该高维向量计算确定各个商标图像相对应的侵权概率。
在所述高维向量的基础上，应用由sigmoid函数构造的归一化层(sigmoid)，计算出其中各个维度相对应的置信度P，每个维度相对应的置信度，即为该维度相应的商标图像的侵权概率，表征相应的商标图像包含涉嫌侵权的商标的可能性的高低。
根据以上实施例不难理解，经所述转换网络对所述融合特征和文本特征再行特征交互之后，所获得的深层交互特征已经是深度融合目标商品的商标图像及目标商品的文本信息各自的深层语义信息之后的结果，根据该结果转换计算出的置信度，能够较为准确地表示各个商标图像涉嫌侵犯商标库中的合法商标的侵权概率。
请参阅图12，在以上任意实施例的基础上，所述步骤S1400、根据所述侵权概率确定所述商标图像集中涉嫌侵权的商标图像，包括如下步骤：
步骤S1410、对所述商标图像集中的各个商标图像的图像特征进行分类映射，确定各个商标图像相对应的合法商标；
如图2所示，由所述的图像特征提取模型获得的商标图像集相对应的图像特征featim被进一步输入至预训练至收敛的分类网络中进行分类映射，获得每个商标图像映射到预设的商标库中的一个合法商标的相应标签，从而获得商标图像与其相对应的合法商标之间的映射关系数据，即疑似侵权商标集合Asus。根据该疑似侵权商标集合中的映射关系数据，便可确定任意一个商标图像相对应的合法商标。
所述的分类网络可置于所述商标识别模型中参与联合训练，其分类空间可包含所述商标库中合法商标数量相对应的多个分类，在进行分类映射时，将每个商标图像的图像特征分别映射到所述分类空间的各个类别，其中分类概率最大的合法商标，即为该商标图像的相对应的合法商标。
步骤S1420、根据各个商标图像相对应的侵权概率选定所述商标图像集中涉嫌侵权的商标图像；
为了从所述疑似侵权商标集中中确定出涉嫌侵权的商标图像，可以根据所述各个商标图像获得的置信度，也即其侵权概率，从疑似侵权商标集中优选出部分涉嫌侵权的商标图像。
一个实施例中，根据所述侵权概率对疑似侵权商标集合Asus中的各个映射关系数据进行倒排序，使其中各个商标图像按照侵权概率自大到小排序，然后，根据实际需要，选取前N个商标图像相对应的映射关系数据构成涉嫌侵权商标图像集合Ainfri。其中，所述N的取值可为非0的任意正整数，当其为1时，表示取侵权概率最大的商标图像相对应的映射关系数据，即确定出单个涉嫌侵权的商标图像。当然，也可根据商品图片中所包含的内容的多寡而按需设定N的数值。
另一实施例中，使用一预设阈值与所述疑似侵权商标集合Asus中各个商标图像相对应的侵权概率进行比较，所述预设阈值为经验阈值或实测阈值，当一个商标图像大于该预设阈值时，便可确定其相应的商标图像为涉嫌侵权的商标图像，从而将其与合法商标对应的映射关系数据添加到涉嫌侵权商标图像集合Ainfri中，据此构造出所述的涉嫌侵权商标图像集合Ainfri，获得商品图片中涉嫌侵权的商标图像。
步骤S1430、输出涉嫌侵权的商标图像与其相对应的合法商标之间的映射关系数据。
至此，涉嫌侵权的商标图像与其相对应的合法商标之间的映射关系数据已经存在于涉嫌侵权商标图像集合Ainfri中，将该集合作为结果数据输出，即完成了目标商品的商品图片中的可能侵权的商标图像的检测。
当所述目标商品为电商平台的商家用户初次发布期望上架的商品时，经过本申请的技术方案的检测之后，如果所述涉嫌侵权的商标图像的数量大于0，即存在至少一个涉嫌侵权的商标图像，可以中止所述商家用户的商品发布程序，将所述涉嫌侵权商标图像集合Ainfri发送到人工审核接口，待人工审核接口确认商品图片不侵权后，再继续所述的商品发布程序。若所述涉嫌侵权的商标图像的数量为0，则允许商家用户直接发布所述的目标商品，实现所述目标商品在商家用户的线上店铺中的发布。
当所述目标商品为电商平台的后台进程自行检索线上店铺的商品数据库而获得时，若所述涉嫌侵权的商标图像的数量大于0，即存在至少一个涉嫌侵权的商标图像，可暂时下架相应的目标商品，并向相应的商家用户发送侵权通知消息，待商家用户响应该侵权通知消息执行申诉程序通过后再行恢复。若所述涉嫌侵权的商标图像的数量为0，则无需干预，而继续静默完成所述商品数据库中的其他目标商品的商品侵权检测。
根据以上的实施例可知，本申请根据目标商品的多个模态的特征判断出目标商品的商品图片存在涉嫌侵权的商标图像后，可输出相应的结果，起到告警的作用，有效维护电商平台的知识产权保护机制的健康运行，从而有效维持电商平台的市场秩序，确保电商平台合法运营，降低平台风险。
在以上任意实施例的基础上，本申请的商标识别模型可采用预设的数据集将其迭代训练至收敛状态，所述的数据集中包含多个训练样本，每个训练样本包含一个商品的单张商品图片及该商品的文本信息，对应标注所述商品图片中涉嫌侵权的商标图像对应到预设的商标库中的合法商标的标签作为模型的监督标签。在每次迭代训练中，采用单个训练样本的商品图片和文本信息为商标识别模型的输入，然后经商标识别模型分别获得所述商品图片中的各个商标图像相对应的置信度和对应的合法商标的标签，然后，利用所述监督标签计算模型损失，在模型未收敛时对模型实施梯度更新，直到模型被判断为达至收敛状态即可。由此，所述的商标识别模型便习得根据目标商品的商品图片及文本信息识别出其中的涉嫌侵权的商标图像的能力，可服务于本申请的各个实施例所需。
请参阅图13，适应本申请的目的之一而提供一种商品侵权检测装置，是对本申请的商品侵权检测方法的功能化体现，该装置包括图文获取模块1100、商标提取模块1200、联合分析模块1300，以及侵权判定模块1400，其中：所述图文获取模块1100，用于获取目标商品的商品信息中的商品图片及文本信息，所述文本信息包括所述目标商品的商品描述信息；所述商标提取模块1200，用于从所述商品图片中提取出商标图像集，所述商标图像集包含一个或多个商标图像；所述联合分析模块1300，用于根据所述商标图像集与所述文本信息联合确定各个商标图像的侵权概率；所述侵权判定模块1400，用于根据所述侵权概率确定所述商标图像集中涉嫌侵权的商标图像。
在以上任意实施例的基础上，所述联合分析模块1300，包括：商标特征提取子模块，用于提取所述商标图像集中各个商标图像的图像特征；文本特征提取子模块，用于提取所述文本信息的文本特征；多模特征融合子模块，用于将所述文本特征与所述图像特征进行特征融合，获得融合特征；侵权概率确定子模块，用于根据所述融合特征与所述文本特征的交互特征进行归一化，获得各个商标图像相对应的侵权概率。
在以上任意实施例的基础上，所述多模特征融合子模块，包括：初次融合单元，用于应用注意力层将所述文本特征与图像特征进行初次特征融合，获得初始特征；激活修正单元，用于将所述图像特征进行多次非线性激活，获得修正特征；二次融合单元，用于将所述初始特征与所述修正特征进行二次特征融合，获得融合特征。
在以上任意实施例的基础上，所述初次融合单元，包括：向量输入子单元，用于将所述图像特征作为查询向量，所述文本特征作为键向量和值向量，输入注意力层；权重提取子单元，用于由所述注意力层将所述查询向量与所述键向量进行交互并归一化，获得权重矩阵；特征生成子单元，用于由所述注意力层将所述值向量匹配所述权重矩阵获得初始特征。
在以上任意实施例的基础上，所述激活修正单元，包括：初始修正子单元，用于将所述图像特征全连接后进行第一次非线性激活，获得初次的修正特征；二次修正子单元，用于将所述初次的修正特征全连接后进行第二次非线性激活，获得最终的修正特征。
在以上任意实施例的基础上，所述侵权概率确定子模块，包括：浅层交互单元，用于将所述融合特征与所述文本特征进行浅层特征交互，获得浅层交互特征；深层交互单元，用于应用注意力层对所述浅层交互特征进行深层特征交互，获得深层交互特征；向量转换单元，用于将所述深层交互特征转换池化为高维向量，使其中每个维度对应一个商标图像；概率计算单元，用于根据该高维向量计算确定各个商标图像相对应的侵权概率。
在以上任意实施例的基础上，所述侵权判定模块1400，包括：商标映射子模块，用于对所述商标图像集中的各个商标图像的图像特征进行分类映射，确定各个商标图像相对应的合法商标；图像确定子模块，用于根据各个商标图像相对应的侵权概率选定所述商标图像集中涉嫌侵权的商标图像；数据输出子模块，用于输出涉嫌侵权的商标图像与其相对应的合法商标之间的映射关系数据。
为解决上述技术问题，本申请实施例还提供计算机设备。如图14所示，计算机设备的内部结构示意图。该计算机设备包括通过系统总线连接的处理器、计算机可读存储介质、存储器和网络接口。其中，该计算机设备的计算机可读存储介质存储有操作系统、数据库和计算机可读指令，数据库中可存储有控件信息序列，该计算机可读指令被处理器执行时，可使得处理器实现一种商品搜索类目识别方法。该计算机设备的处理器用于提供计算和控制能力，支撑整个计算机设备的运行。该计算机设备的存储器中可存储有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行本申请的商品侵权检测方法。该计算机设备的网络接口用于与终端连接通信。本领域技术人员可以理解，图14中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本实施方式中处理器用于执行图13中的各个模块及其子模块的具体功能，存储器存储有执行上述模块或子模块所需的程序代码和各类数据。网络接口用于向用户终端或服务器之间的数据传输。本实施方式中的存储器存储有本申请的商品侵权检测装置中执行所有模块/子模块所需的程序代码及数据，服务器能够调用服务器的程序代码及数据执行所有子模块的功能。
本申请还提供一种存储有计算机可读指令的存储介质，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行本申请任一实施例的商品侵权检测方法的步骤。
本申请还提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被一个或多个处理器执行时实现本申请任一实施例所述方法的步骤。
本领域普通技术人员可以理解实现本申请上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等计算机可读存储介质，或随机存储记忆体(Random Access Memory，RAM)等。
综上所述，本申请在对商标图像进行侵权检测的过程中，在商标图像的基础上联合目标商品的文本信息，可以更为有效地判定商标图像是否具有侵权嫌疑，使对涉嫌侵权的商标图像的识别更为准确，避免误判，从而确保能够准确判定目标商品的商品图片中是否包含了未经授权的商标，以维护电商平台的市场秩序，有效维护电商平台的知识产权保护机制的运行。
本技术领域技术人员可以理解，本申请中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本申请中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本申请中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。
以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种商标侵权检测方法，其特征在于，包括如下步骤：
获取目标商品的商品信息中的商品图片及文本信息，所述文本信息包括所述目标商品的商品描述信息；
从所述商品图片中提取出商标图像集，所述商标图像集包含一个或多个商标图像；
根据所述商标图像集与所述文本信息联合确定各个商标图像的侵权概率；
根据所述侵权概率确定所述商标图像集中涉嫌侵权的商标图像。
2.根据权利要求1所述的商品侵权检测方法，其特征在于，根据所述商标图像集与所述文本信息联合确定各个商标图像的侵权概率，包括如下步骤：
提取所述商标图像集中各个商标图像的图像特征；
提取所述文本信息的文本特征；
将所述文本特征与所述图像特征进行特征融合，获得融合特征；
根据所述融合特征与所述文本特征的交互特征进行归一化，获得各个商标图像相对应的侵权概率。
3.根据权利要求2所述的商品侵权检测方法，其特征在于，将所述文本特征与所述图像特征进行特征融合，获得融合特征，包括如下步骤：
应用注意力层将所述文本特征与图像特征进行初次特征融合，获得初始特征；
将所述图像特征进行多次非线性激活，获得修正特征；
将所述初始特征与所述修正特征进行二次特征融合，获得融合特征。
4.根据权利要求3所述的商品侵权检测方法，其特征在于，应用注意力层将所述文本特征与图像特征进行初次特征融合，获得初始特征，包括如下步骤：
将所述图像特征作为查询向量，所述文本特征作为键向量和值向量，输入注意力层；
由所述注意力层将所述查询向量与所述键向量进行交互并归一化，获得权重矩阵；
由所述注意力层将所述值向量匹配所述权重矩阵获得初始特征。
5.根据权利要求3所述的商品侵权检测方法，其特征在于，将所述图像特征进行多次非线性激活，获得修正特征，包括如下步骤：
将所述图像特征全连接后进行第一次非线性激活，获得初次的修正特征；
将所述初次的修正特征全连接后进行第二次非线性激活，获得最终的修正特征。
6.根据权利要求2所述的商品侵权检测方法，其特征在于，根据所述融合特征与所述文本特征的交互特征进行归一化，获得各个商标图像相对应的侵权概率，包括如下步骤：
将所述融合特征与所述文本特征进行浅层特征交互，获得浅层交互特征；
应用注意力层对所述浅层交互特征进行深层特征交互，获得深层交互特征；
将所述深层交互特征转换池化为高维向量，使其中每个维度对应一个商标图像；
根据该高维向量计算确定各个商标图像相对应的侵权概率。
7.根据权利要求1至6中任意一项所述的商品侵权检测方法，其特征在于，根据所述侵权概率确定所述商标图像集中涉嫌侵权的商标图像，包括如下步骤：
对所述商标图像集中的各个商标图像的图像特征进行分类映射，确定各个商标图像相对应的合法商标；
根据各个商标图像相对应的侵权概率选定所述商标图像集中涉嫌侵权的商标图像；
输出涉嫌侵权的商标图像与其相对应的合法商标之间的映射关系数据。
8.一种商品侵权检测装置，其特征在于，包括：
图文获取模块，用于获取目标商品的商品信息中的商品图片及文本信息，所述文本信息包括所述目标商品的商品描述信息；
商标提取模块，用于从所述商品图片中提取出商标图像集，所述商标图像集包含一个或多个商标图像；
联合分析模块，用于根据所述商标图像集与所述文本信息联合确定各个商标图像的侵权概率；
侵权判定模块，用于根据所述侵权概率确定所述商标图像集中涉嫌侵权的商标图像。
9.一种计算机设备，包括中央处理器和存储器，其特征在于，所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行如权利要求1至7中任意一项所述的方法的步骤。
10.一种计算机可读存储介质，其特征在于，其以计算机可读指令的形式存储有依据权利要求1至7中任意一项所述的方法所实现的计算机程序，该计算机程序被计算机调用运行时，执行相应的方法所包括的步骤。
CN202210531110.5A 2022-05-16 2022-05-16 商品侵权检测方法及其装置、设备、介质、产品 Pending CN115620019A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210531110.5A CN115620019A (zh) 2022-05-16 2022-05-16 商品侵权检测方法及其装置、设备、介质、产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210531110.5A CN115620019A (zh) 2022-05-16 2022-05-16 商品侵权检测方法及其装置、设备、介质、产品

Publications (1)

Publication Number Publication Date
CN115620019A true CN115620019A (zh) 2023-01-17

Family

ID=84856665

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210531110.5A Pending CN115620019A (zh) 2022-05-16 2022-05-16 商品侵权检测方法及其装置、设备、介质、产品

Country Status (1)

Country Link
CN (1) CN115620019A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117609771A (zh) * 2024-01-24 2024-02-27 中国标准化研究院 疑似侵权商标的检索方法、检索装置及电子设备
CN118154988A (zh) * 2024-04-19 2024-06-07 浙江知多多网络科技有限公司 侵权假冒商品的自动监测系统及方法
CN118691857A (zh) * 2023-12-29 2024-09-24 中国计量大学 一种商标侵权检测方法和系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118691857A (zh) * 2023-12-29 2024-09-24 中国计量大学 一种商标侵权检测方法和系统
CN117609771A (zh) * 2024-01-24 2024-02-27 中国标准化研究院 疑似侵权商标的检索方法、检索装置及电子设备
CN117609771B (zh) * 2024-01-24 2024-03-29 中国标准化研究院 疑似侵权商标的检索方法、检索装置及电子设备
CN118154988A (zh) * 2024-04-19 2024-06-07 浙江知多多网络科技有限公司 侵权假冒商品的自动监测系统及方法

Similar Documents

Publication Publication Date Title
CN115620019A (zh) 商品侵权检测方法及其装置、设备、介质、产品
CN113011646B (zh) 一种数据处理方法、设备以及可读存储介质
CN112380870A (zh) 用户意图分析方法、装置、电子设备及计算机存储介质
WO2023024413A1 (zh) 信息的匹配方法、装置、计算机设备及可读存储介质
CN112163428A (zh) 语义标签的获取方法、装置、节点设备及存储介质
CN114638646A (zh) 广告投放推荐方法及其装置、设备、介质、产品
CN113918554A (zh) 商品数据清洗方法及其装置、设备、介质、产品
CN114186567A (zh) 敏感词检测方法及其装置、设备、介质、产品
CN113569933A (zh) 商标图样匹配方法及其相应的装置、设备、介质
US20230035366A1 (en) Image classification model training method and apparatus, computer device, and storage medium
CN113762303B (zh) 图像分类方法、装置、电子设备及存储介质
CN112395390A (zh) 意图识别模型的训练语料生成方法及其相关设备
CN110135769B (zh) 货品属性填充方法及装置、存储介质及电子终端
CN112766284A (zh) 图像识别方法和装置、存储介质和电子设备
CN116796027A (zh) 商品图片标签生成方法及其装置、设备、介质、产品
CN114863440A (zh) 订单数据处理方法及其装置、设备、介质、产品
CN114782943A (zh) 票据信息提取方法及其装置、设备、介质、产品
CN114881711A (zh) 基于请求行为进行异常分析的方法及电子设备
CN115129913A (zh) 敏感词挖掘方法及其装置、设备、介质
CN111126049A (zh) 对象关系预测方法、装置、终端设备及可读存储介质
CN114282622A (zh) 训练样本排查方法及其装置、设备、介质、产品
CN116630630B (zh) 语义分割方法、装置、计算机设备及计算机可读存储介质
KR20220150060A (ko) 사용자 정보에 기반하여 업체 매칭 서비스를 제공하고 이에 대한 보안 서비스를 제공하는 플랫폼
CN114782142A (zh) 商品信息匹配方法及其装置、设备、介质、产品
CN115423050A (zh) 一种虚假新闻检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination