CN114186056A - 商品标签标注方法及其装置、设备、介质、产品 - Google Patents

Abstract

本申请公开一种商品标签标注方法及其装置、设备、介质、产品，所述方法包括：获取商品对象的商品图片的图像特征向量；将所述图像特征向量与预设的模板文本向量拼接构成图文编码信息，所述模板文本向量包括第一标记和第二标记，第一标记用于指示已训练至收敛的标注模型在预训练过程中产生的冗余语义信息，第二标记用于指示所述标注模型产出的商品标签的序列位置信息；采用所述标注模型根据所述图文编码信息进行任务词预测，获得所述第二标记相对应的商品标签；以所述商品标签标注所述商品对象。本申请借助标注模型实现根据商品图片的语义信息输出商品标签，提升了商品标签标注效率。

Description

商品标签标注方法及其装置、设备、介质、产品

技术领域

本申请涉及电商信息技术领域，尤其涉及一种商品标签标注方法及其相应的装置、计算机设备、计算机可读存储介质，以及计算机程序产品。

背景技术

电商平台应用场景中，根据商品信息对商品对象进行打标，是高频发生的。例如，需要对商家实例所上线的商品对象，根据商品对象相对应的商品信息，识别出其各种分类属性，然后采用对应的商品标签对商品对象进行标注，以提供商品搜索、推荐、排序之便。

现有技术中存在多种适于对商品进行打标的神经网络模型相关的技术方案，此类技术方案或基于商品的图像语义信息，或基于商品的文本语义信息，或者是两者的结合来实现映射出商品相对应的相关商品标签，各种模型的效果视其技术实现以及训练数据集的多寡而有所差异，但却是普遍依赖于图像或文本的完整语义信息的，因此，每种模型所能取得的成效均较为有限。

有鉴于此，本申请人长期从事相关领域的研究，为解决电商领域业内难题，故另辟蹊径。

发明内容

本申请的首要目的在于解决上述问题至少之一而提供一种商品标签标注方法及其相应的装置、计算机设备、计算机可读存储介质、计算机程序产品。

为满足本申请的各个目的，本申请采用如下技术方案：

适应本申请的目的之一而提供的一种商品标签标注方法，包括如下步骤：

获取商品对象的商品图片的图像特征向量；

将所述图像特征向量与预设的模板文本向量拼接构成图文编码信息，所述模板文本向量包括第一标记和第二标记，第一标记用于指示已训练至收敛的标注模型在预训练过程中产生的冗余语义信息，第二标记用于指示所述标注模型产出的商品标签的序列位置信息；

采用所述标注模型根据所述图文编码信息进行任务词预测，获得所述第二标记相对应的商品标签；

以所述商品标签标注所述商品对象。

扩展的实施例中，获取商品对象的商品图片的图像特征向量的步骤之前，包括如下步骤：

采用商品对象相对应的数据样本对所述标注模型实施多个功能的联合预训练，使该标注模型在训练至收敛状态后适于对数据样本的商品图片和商品文本进行表示学习，所述功能包括分类功能和任务词预测功能；

采用商品对象的数据样本相对应的图文编码信息对所述标注模型实施任务词预测功能相对应的微调训练，使该标注模型被训练至收敛后适于根据所述图文编码信息预测出相对应的商品标签。

深化的实施例中，采用商品对象相对应的数据样本对所述标注模型实施多个功能的联合预训练，包括如下步骤：

调用数据集中的数据样本，分别获取数据样本中商品对象的商品图片及商品文本的编码向量，将所述编码向量拼接为图文综合特征信息，其中，商品文本中部分文本被以所述第二标记屏蔽后进行编码获得相应的编码向量；

采用所述标注模型中基于多头注意力机制的文本特征提取模块对所述图文综合特征信息进行特征融合以提取深层语义信息，获得相应的图文融合向量；

调用该文本特征提取模块的分类功能对所述图文融合向量进行分类，根据被第二标记屏蔽的部分文本对应计算分类结果的第一损失值；

调用该文本特征提取模块的任务词预测功能对所述图文融合向量进行任务词预测，根据被第二标记预关联的标签库中的商品标签计算任务词预测结果中的各个商品标签的第二损失值；

判断所述的第一损失值与所述第二损失值加和所得的总损失值是否达到预设阈值，当达到预设阈值时终止该标注模型的预训练，当未达到预设阈值时调用下一数据样本对该标注模型实施迭代训练。

深化的实施例中，采用商品对象的数据样本相对应的图文编码信息对所述标注模型实施任务词预测功能相对应的微调训练，包括如下步骤：

调用数据集中的数据样本，获取数据样本中商品对象的商品图片的编码向量以及预设的模板文本向量拼接为图文编码信息；所述模板文本向量包括第一标记和第二标记，第一标记用于指示所述标注模型在预训练过程中产生的冗余语义信息，第二标记用于指示所述标注模型产出的商品标签的序列位置信息；

采用所述标注模型中基于多头注意力机制的文本特征提取模块对所述图文编码信息进行特征融合以提取深层语义信息，获得相应的图文融合向量；

调用该文本特征提取模块的任务词预测功能对所述图文融合向量进行任务词预测，根据被第二标记预关联的标签库中的商品标签计算任务词预测结果中的各个商品标签的第二损失值；

判断所述的第二损失值是否达到预设阈值，当达到预设阈值时终止该标注模型的微调训练，当未达到预设阈值时调用下一数据样本对该标注模型实施迭代训练。

具体化的实施例中，获取数据样本中商品对象的商品图片的编码向量以及预设的模板文本向量拼接为图文编码信息，包括如下步骤：

采用预训练的图像特征提取模型提取数据样本中商品对象的商品图片的深层语义信息，获得其相应的编码向量；

根据预设的标签库确定所调用的数据样本的商品文本中包含的商品标签，所述标签库预先从所数据集的各个数据样本中进行关键词提取获得；

以预设的所述第一标记及所述商品文本中商品标签相对应的第二标记构造出模板文本向量；

将所述商品图片相对应的编码向量及所述模板文本向量拼接为图文编码向量。

较佳的实施例中，所述模板文本向量中包含多个所述的第二标记，以用于指示所述标注模型对应预测出多个商品标签。

适应本申请的目的之一而提供的一种商品标签标注装置，包括：图像提取模块、编码处理模块、标签预测模块，以及标注处理模块，其中，所述图像提取模块，用于获取商品对象的商品图片的图像特征向量；所述编码处理模块，用于将所述图像特征向量与预设的模板文本向量拼接构成图文编码信息，所述模板文本向量包括第一标记和第二标记，第一标记用于指示已训练至收敛的标注模型在预训练过程中产生的冗余语义信息，第二标记用于指示所述标注模型产出的商品标签的序列位置信息；所述标签预测模块，用于采用所述标注模型根据所述图文编码信息进行任务词预测，获得所述第二标记相对应的商品标签；所述标注处理模块，用于以所述商品标签标注所述商品对象。

扩展的实施例中，本申请的商品标签标注装置，还包括：

第一训练模块，用于采用商品对象相对应的数据样本对所述标注模型实施多个功能的联合预训练，使该标注模型在训练至收敛状态后适于对数据样本的商品图片和商品文本进行表示学习，所述功能包括分类功能和任务词预测功能；

第二训练模块，用于采用商品对象的数据样本相对应的图文编码信息对所述标注模型实施任务词预测功能相对应的微调训练，使该标注模型被训练至收敛后适于根据所述图文编码信息预测出相对应的商品标签。

深化的实施例中，所述第一训练模块，包括：第一向量处理子模块，用于调用数据集中的数据样本，分别获取数据样本中商品对象的商品图片及商品文本的编码向量，将所述编码向量拼接为图文综合特征信息，其中，商品文本中部分文本被以所述第二标记屏蔽后进行编码获得相应的编码向量；第一特征提取子模块，用于采用所述标注模型中基于多头注意力机制的文本特征提取模块对所述图文综合特征信息进行特征融合以提取深层语义信息，获得相应的图文融合向量；第一分类子模块，用于调用该文本特征提取模块的分类功能对所述图文融合向量进行分类，根据被第二标记屏蔽的部分文本对应计算分类结果的第一损失值；第一标签预测子模块，用于调用该文本特征提取模块的任务词预测功能对所述图文融合向量进行任务词预测，根据被第二标记预关联的标签库中的商品标签计算任务词预测结果中的各个商品标签的第二损失值；第一迭代决策子模块，用于判断所述的第一损失值与所述第二损失值加和所得的总损失值是否达到预设阈值，当达到预设阈值时终止该标注模型的预训练，当未达到预设阈值时调用下一数据样本对该标注模型实施迭代训练。

深化的实施例中，所述第二训练模块，包括：第二向量处理子模块，用于调用数据集中的数据样本，获取数据样本中商品对象的商品图片的编码向量以及预设的模板文本向量拼接为图文编码信息；所述模板文本向量包括第一标记和第二标记，第一标记用于指示所述标注模型在预训练过程中产生的冗余语义信息，第二标记用于指示所述标注模型产出的商品标签的序列位置信息；第二特征提取子模块，用于采用所述标注模型中基于多头注意力机制的文本特征提取模块对所述图文编码信息进行特征融合以提取深层语义信息，获得相应的图文融合向量；第二标签预测子模块，用于调用该文本特征提取模块的任务词预测功能对所述图文融合向量进行任务词预测，根据被第二标记预关联的标签库中的商品标签计算任务词预测结果中的各个商品标签的第二损失值；第二迭代决策子模块，用于判断所述的第二损失值是否达到预设阈值，当达到预设阈值时终止该标注模型的微调训练，当未达到预设阈值时调用下一数据样本对该标注模型实施迭代训练。

具体化的实施例中，所述第二向量处理子模块，包括：图片编码单元，用于采用预训练的图像特征提取模型提取数据样本中商品对象的商品图片的深层语义信息，获得其相应的编码向量；样本选定单元，用于根据预设的标签库确定所调用的数据样本的商品文本中包含的商品标签，所述标签库预先从所数据集的各个数据样本中进行关键词提取获得；模板构造单元，用于以预设的所述第一标记及所述商品文本中商品标签相对应的第二标记构造出模板文本向量；向量拼接单元，用于将所述商品图片相对应的编码向量及所述模板文本向量拼接为图文编码向量。

较佳的实施例中，所述模板文本向量中包含多个所述的第二标记，以用于指示所述标注模型对应预测出多个商品标签。

适应本申请的目的之一而提供的一种计算机设备，包括中央处理器和存储器，所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行本申请所述的商品标签标注方法的步骤。

适应本申请的另一目的而提供的一种计算机可读存储介质，其以计算机可读指令的形式存储有依据所述的商品标签标注方法所实现的计算机程序，该计算机程序被计算机调用运行时，执行该方法所包括的步骤。

适应本申请的另一目的而提供的一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现本申请任意一种实施例中所述方法的步骤。

相对于现有技术，本申请的优势如下：

首先，本申请所采用的标注模型，采用商品图片的编码向量与模板文本向量拼接而成的图文编码信息进行商品标签的预测，可以根据模板文本向量在编码过程中给出的第二标记预测出相对应的商品标签，其中，所述模板文本向量只是给出了用于指示商品标签的序列位置信息的第二标记，以及用于指示该标注模型在训练过程中产生的冗余语义信息，无需依赖商品额外提供商品文本，即可获得相应的商品标签，表面上只需为该模型提供一张商品图片即可进行打标，但实际上该模型却参考了其在预训练过程中产生并且在微调训练过程被赋予语义的冗余语义信息，巧妙地结合了图、文两类信息的特点，再结合标注模型的多头注意力机制可以实现对图文编码信息中的图、文两类语义信息的深层特征交互而实现强表示学习能力，因此，在所述的标注模型的作用下，根据商品图片进行商品标签的标注，精准高效。

其次，由于在模板文本向量中可以按需提供所述的第二标记，如需输出多个商品标签便可对应设置多个第二标记，而所述标注模型基于多头注意力机制而适于处理序列信息因此而具有任务词预测功能，根据这一特点，在一次性提供多个第二标记用于指示商品标签序列位置的情况下，借助所述标注模型的任务词预测功能便可相应预测出多个商品标签，特别适用于商品打标这种需要一次性标记多个商品标签的应用场景。

再者，本申请仅通过单个标注模型对图文编码信息进行多任务预测即可实现商品标签的标注功能，却可同时参考文本语义和图像语义进行预测，模型架构简单易实现，运算成本低。

此外，本申请的标注模型基于多头注意力机制实现，因此可采用基于自监督机制的一些底层模型来实施，利用这些底层模型的自监督特点，可以省去对样本进行人工标注的麻烦，节省人工标注成本。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本申请的商品标签标注方法的典型实施例的流程示意图；

图2为本申请实施例中标注模型在微调训练和使用阶段的网络架构示意图；

图3为本申请的商品标签标注方法的扩展实施例的流程示意图；

图4为本申请实施例中标注模型在预训练阶段的网络架构示意图；

图5为本申请实施例中标注模型的预训练过程的流程示意图；

图6为本申请实施例中标注模型的微调训练过程的流程示意图；

图7为本申请实施例中标注模型在其微调训练过程中构造图文编码向量的过程的流程示意图；

图8为本申请的商品标签标注装置的原理框图；

图9为本申请所采用的一种计算机设备的结构示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

本技术领域技术人员可以理解，这里所使用的“客户端”、“终端”、“终端设备”既包括无线信号接收器的设备，其仅具备无发射能力的无线信号接收器的设备，又包括接收和发射硬件的设备，其具有能够在双向通信链路上，进行双向通信的接收和发射硬件的设备。这种设备可以包括：蜂窝或其他诸如个人计算机、平板电脑之类的通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备；PCS(PersonalCommunications Service，个人通信系统)，其可以组合语音、数据处理、传真和/或数据通信能力；PDA(Personal Digital Assistant，个人数字助理)，其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(Global PositioningSystem，全球定位系统)接收器；常规膝上型和/或掌上型计算机或其他设备，其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“客户端”、“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的，或者适合于和/或配置为在本地运行，和/或以分布形式，运行在地球和/或空间的任何其他位置运行。这里所使用的“客户端”、“终端”、“终端设备”还可以是通信终端、上网终端、音乐/视频播放终端，例如可以是PDA、MID(Mobile Internet Device，移动互联网设备)和/或具有音乐/视频播放功能的移动电话，也可以是智能电视、机顶盒等设备。

本申请所称的“服务器”、“客户端”、“服务节点”等名称所指向的硬件，本质上是具备个人计算机等效能力的电子设备，为具有中央处理器(包括运算器和控制器)、存储器、输入设备以及输出设备等冯诺依曼原理所揭示的必要构件的硬件装置，计算机程序存储于其存储器中，中央处理器将存储在外存中的程序调入内存中运行，执行程序中的指令，与输入输出设备交互，借此完成特定的功能。

需要指出的是，本申请所称的“服务器”这一概念，同理也可扩展到适用于服务器机群的情况。依据本领域技术人员所理解的网络部署原理，所述各服务器应是逻辑上的划分，在物理空间上，这些服务器既可以是互相独立但可通过接口调用的，也可以是集成到一台物理计算机或一套计算机机群的。本领域技术人员应当理解这一变通，而不应以此约束本申请的网络部署方式的实施方式。

本申请的一个或数个技术特征，除非明文指定，既可部署于服务器实施而由客户端远程调用获取服务器提供的在线服务接口来实施访问，也可直接部署并运行于客户端来实施访问。

本申请中所引用或可能引用到的神经网络模型，除非明文指定，既可部署于远程服务器且在客户端实施远程调用，也可部署于设备能力胜任的客户端直接调用，某些实施例中，当其运行于客户端时，其相应的智能可通过迁移学习来获得，以便降低对客户端硬件运行资源的要求，避免过度占用客户端硬件运行资源。

本申请所涉及的各种数据，除非明文指定，既可远程存储于服务器，也可存储于本地终端设备，只要其适于被本申请的技术方案所调用即可。

本领域技术人员对此应当知晓：本申请的各种方法，虽然基于相同的概念而进行描述而使其彼此间呈现共通性，但是，除非特别说明，否则这些方法都是可以独立执行的。同理，对于本申请所揭示的各个实施例而言，均基于同一发明构思而提出，因此，对于相同表述的概念，以及尽管概念表述不同但仅是为了方便而适当变换的概念，应被等同理解。

本申请即将揭示的各个实施例，除非明文指出彼此之间的相互排斥关系，否则，各个实施例所涉的相关技术特征可以交叉结合而灵活构造出新的实施例，只要这种结合不背离本申请的创造精神且可满足现有技术中的需求或解决现有技术中的某方面的不足即可。对此变通，本领域技术人员应当知晓。

本申请的一种商品标签标注方法，可被编程为计算机程序产品，部署于客户端或服务器中运行而实现，例如在本申请的电商平台应用场景中，一般部署在服务器中实施，藉此可以通过访问该计算机程序产品运行后开放的接口，通过图形用户界面与该计算机程序产品的进程进行人机交互而执行该方法。

本申请的一个应用场景，是基于独立站的电商平台中的应用，每个独立站即为电商平台的一个商户实例，拥有独立的访问域名，由其实际拥有者负责进行商品的发布和更新。

独立站的商户实例将每个商品进行上线，电商平台获取与该商品相关的信息之后，构造出相对应的商品对象进行数据存储。商品对象的信息主要包括文本信息和图片信息，其中，文本信息包括商品对象的用于显要显示的标题信息、用于介绍商品详情的内容信息、用于描述商品特征的属性信息等。

为了实施本申请的技术方案，可以采集商品对象的摘要文本及商品图片，其中，摘要文本主要采用商品对象中的标题信息、内容信息及其一项或多项属性信息构成，可由本领域技术人员灵活确定相应的数据构成；商品图片则可以是包含该商品对象的产品外观的主要图片。一般而言，可以按照预设的数量和内容需求获取摘要文本及商品图片，例如摘要文本可以规定为包含商品对象的标题信息及其所有属性项的属性信息、商品图片可以只选取其用于默认显示的单张图片。当然，本领域技术人员可以在此基础上灵活变通调整处理。

请参阅图1，本申请的商品标签标注方法在其典型实施例中，包括如下步骤：

步骤S1300、获取商品对象的商品图片的图像特征向量:

需要为商品对象进行打标的常见场景，一般是商品发布环节，例如电商平台的商家用户在发布其新增商品时，录入新增商品的基础信息，包括新增商品的商品图片、商品文本等，录入这些信息之后，便可触发电商平台根据其所录入的商品图片进行商品标签的生成，最终利用所生成的商品标签对该新增商品进行标注。在计算机系统中，每个商品被视为一个商品对象来操作，所述的商品图片，提供图片信息，可以是关联于该商品对象，作为该商品对象的商品信息的任意图片，为理解的便利，可指定该商品图片为商品对象的封面图片，也称商品主要图片；所述的商品文本，提供文本信息，包括但不限于商品标题、商品详情文本、商品属性数据等，同理，为理解的便利，本申请中，可简单将其理解为商品标题。

本实施例中，采用如图2所示的网络架构，在该网络架构中包括一图像特征提取模型，用于对商品对象的商品图片进行表示学习，从而提取出其中的深层语义信息，获得相应的图像特征向量，所述图像特征向量被归一化为一个高维向量。所述图像特征提取模型，可采用CNN、RNN之类的基础模型来实现，预先被训练至收敛状态以适于为图片提取出相应的图像特征信息即可。推荐的，可采用Resnet系列模型或者其改进模型，例如CLIP模型、Iresnet模型、EfficientNet模型等。本实施例中，推荐使用实测效果较佳的CLIP模型。

步骤S1400、将所述图像特征向量与预设的模板文本向量拼接构成图文编码信息，所述模板文本向量包括第一标记和第二标记，第一标记用于指示已训练至收敛的标注模型在预训练过程中产生的冗余语义信息，第二标记用于指示所述标注模型产出的商品标签的序列位置信息：

本申请中，所述标注模型预先经过预训练阶段和微调训练阶段两阶段训练。在预训练阶段中，其以同一商品对象的商品图片和商品文本作为数据样本实施自监督训练，同时基于分类功能和任务词预测功能两个功能进行联合训练，经过这一训练阶段，标注模型习得了对所述商品图片和商品文本的图文综合特征信息进行表示学习，从而提取出商品图片和商品文本的实现特征交互融合的深层语义信息的能力。在微调训练阶段中，只针对任务词预测功能，利用所述商品图片的编码向量与模板文本向量拼接而成的图文编码信息进行特征交互获得图文融合向量后进行任务词预测，从而使该标注模型进一步获得根据商品图片的编码向量与模板文本向量拼接而成的图文编码信息获得商品标签预测的能力。

由此可见，标注模型的微调训练阶段与该标注模型在本步骤中的使用，均使用了所述的图文编码信息，所述的图文编码信息是商品图片的编码信息，也即所述图像特征向量，与预设的模板文本向量进行拼接后形成的，所述模板文本向量在训练过程中如何产生，将在后续的实施例中进一步说明。而本典型实施例中，只需关注所述模板文本向量的结构。

所述模板文本向量包括第一标记和第二标记。

所述第一标记，是用于指示已训练至收敛的所述标注模型在预训练过程中产生的冗余语义信息，以所述标注模型采用Bert模型实现为例，Bert模型实际上是完全采用了Transformer模型的编码路径，能够基于多头注意力机制，通过QKV运算，实现对输入其中的多个行向量之间的特征交互，在这一过程中，Bert模型会产生一个词表，这个词表中包含一些标记为[unused*]的词，实际上对应着训练过程中未被调用的无语义的冗余语义信息，所述第一标记即为这一冗余语义信息。尽管预训练时这些冗余语义信息并未承载语义，但在经过将由其构成的模板文本向量用于对该标注模型微调训练之后，经过梯度更新，这些冗余语义信息便能获得额外的语义，因此，在经微调训练至收敛状态后投入使用的阶段，对应地提供所述第一标记，实际上便相当于在商品图片的编码信息的基础上丰富了文本信息的语义，从而可以指示标注模型进行图、文相关的深层特征交互。

所述第二标记，是用于指示所述标注模型产出的商品标签的序列位置信息。仍以所述标注模型采用Bert模型实现为例，Bert模型不仅具有分类功能(CLS)，而且具有任务词预测功能(MLM)，对于任务词预测功能而言，在训练过程中，其输入端中被屏蔽的位置，在其输出端相应的序列位置处，便会出现对输出端所屏蔽的序列位置的任务词的预测结果，因此，在训练过程中借助第二标记指示需要出现商品标签的序列位置信息，便可使Bert模型在对应序列位置输出商品标签。因此，在经微调训练至收敛状态后投入使用的阶段，对应地提供所述第二标记，实质上便相当于指定Bert模型在何一分支输出该分支相对应的商品标签。不难理解，如果指定多个这样的第二标记，便可借助这一任务词预测功能实现多个序列位置的商品标签的输出，从而可以实现多分类预测的效果。Bert模型提供了[MASK]标签，可以直接用作所述的第二标记。

在构造所述的图文编码信息时，所述的商品图片的图像特征向量已经预先归一化为一个高维向量，同理，所述模板文本向量也被归一化为与前者相同维度的多个高维向量，因此，直接将两者进行简单拼接(Concat)，即可构造出相应的图文编码信息。

步骤S1500、采用所述标注模型根据所述图文编码信息进行任务词预测，获得所述第二标记相对应的商品标签：

根据前一步骤所述，当前一图文编码信息被输出本申请的标注模型之后，由该标注模型内部的多头注意力机制和多层编码器对该图文编码信息进行充分的特征交互运算，最终便可获得相应的图文融合向量，该图文融合向量综合了所述图像特征向量与所述模板文本向量的深层语义信息，实现将图像特征向量所携带的深层语义信息叠加到模板文本向量的各个位置中，而所述模板文本向量又通过第一标记所指向的冗余语义信息承载了训练过程中习得的语义，且又通过第二标记指示了输出商品标签的序列位置，因此，该图文融合向量包含丰富的图文语义信息，实现了良好的表示学习效果。

进一步，所述标注模型便可根据所述图文融合向量进行任务词预测，经任务词预测后输出一个序列信息，在该序列中由所述第二标记所指示的位置处输出相应的商品标签，从而实现对所述第二标记所指向的序列位置的商品标签的预测。不难理解，当所述模板文本中给出多个第二标记时，此时，便对应输出多个商品标签，起到多分类的作用。

步骤S1600、以所述商品标签标注所述商品对象：

在经过以上的各个步骤之后，即实现根据一张商品图片，获得该商品图片相对应的一个或多个商品标签，将这一商品标签与该商品图片所归属的商品对象进行关联存储，便完成了对该商品对象的标注。

示例而言，一件新上架的男性西装，商家用户在新增商品时，输入该男性西装的商品图片，后台服务器便借助该标注模型根据该商品图片的图像特征向量与模板文本向量相拼接获得图文编码信息，进一步经过表示学习获得图文融合向量，然后根据图文融合向量获得诸如“冬装”、“西装”、“上衣”、“黑色”等等与该商品图片中的图像信息相对应的商品标签，然后利用这些商品标签与该新增商品相对应的商品对象进行关联，实现自动打标的效果。

通过本典型实施例，可以看出，本申请包含丰富的技术优势，包括但不限于如下各方面：

首先，本申请所采用的标注模型，采用商品图片的编码向量与模板文本向量拼接而成的图文编码信息进行商品标签的预测，可以根据模板文本向量在编码过程中给出的第二标记预测出相对应的商品标签，其中，所述模板文本向量只是给出了用于指示商品标签的序列位置信息的第二标记，以及用于指示该标注模型在训练过程中产生的冗余语义信息，无需依赖商品额外提供商品文本，即可获得相应的商品标签，表面上只需为该模型提供一张商品图片即可进行打标，但实际上该模型却参考了其在预训练过程中产生并且在微调训练过程被赋予语义的冗余语义信息，巧妙地结合了图、文两类信息的特点，再结合标注模型的多头注意力机制可以实现对图文编码信息中的图、文两类语义信息的深层特征交互而实现强表示学习能力，因此，在所述的标注模型的作用下，根据商品图片进行商品标签的标注，精准高效。

其次，由于在模板文本向量中可以按需提供所述的第二标记，如需输出多个商品标签便可对应设置多个第二标记，而所述标注模型基于多头注意力机制而适于处理序列信息因此而具有任务词预测功能，根据这一特点，在一次性提供多个第二标记用于指示商品标签序列位置的情况下，借助所述标注模型的任务词预测功能便可相应预测出多个商品标签，特别适用于商品打标这种需要一次性标记多个商品标签的应用场景。

再者，本申请仅通过单个标注模型对图文编码信息进行多任务预测即可实现商品标签的标注功能，却可同时参考文本语义和图像语义进行预测，模型架构简单易实现，运算成本低。

此外，本申请的标注模型基于多头注意力机制实现，因此可采用基于自监督机制的一些底层模型来实施，利用这些底层模型的自监督特点，可以省去对样本进行人工标注的麻烦，节省人工标注成本。

请参阅图3，扩展的实施例中，所述步骤S1300、获取商品对象的商品图片的图像特征向量的步骤之前，包括如下步骤：

步骤S1100、采用商品对象相对应的数据样本对所述标注模型实施多个功能的联合预训练，使该标注模型在训练至收敛状态后适于对数据样本的商品图片和商品文本进行表示学习，所述功能包括分类功能和任务词预测功能：

请参阅图4本申请的标注模型在预训练阶段时所实现的网络架构所示，在实施对本申请的标注模型的预训练时，会同时启动两个任务进行联合预训练，以便通过联合训练提升模型的表示学习效果。仍以Bert模型为例，通过在输入时插入[CLS]标签，使Bert模型根据最后输出的图文融合向量进行分类，与此同时，也获取Bert模型的任务词预测功能分支的输出，获得一个预测序列结果，而在Bert模型的输入端处，则以预设的数据集中数据样本的商品图片和商品文本的编码向量拼接后的图文综合特征信息为输出，并且根据Bert模型固有的原理，其中的商品文本相对应的编码向量是被在随机位置以[MASK]屏蔽的，被屏蔽的位置处所对应的部分文本，便可用于监督所述分类结果和任务词预测结果，以此自监督模型的表示学习过程，最终通过联合预训练，使该标注模型在其被训练至收敛后，适于对商品图片和商品文本进行表示学习，从而完成预训练过程。

步骤S1200、采用商品对象的数据样本相对应的图文编码信息对所述标注模型实施任务词预测功能相对应的微调训练，使该标注模型被训练至收敛后适于根据所述图文编码信息预测出相对应的商品标签：

完成了预训练的标注模型，仍需依赖于商品图片和商品文本两种类型的信息来源才能实现表示学习效果，为了使其能仅依据商品图片便可实现商品标签的预测，而需进一步微调训练。

请参阅图2，如本申请的标注模型在实施微调训练时所实现的网络架构所示，在对所述标注模型实施微调训练时，仅启用该标注模型的任务词预测功能即可，不再启用其分类功能分支，具体如前文所述，通过利用商品图片的图像特征向量与预设的模板文本向量的结合，来实施对标注模型的训练，全程无需依据数据集的数据样本中的商品文本提供信息，而是借助模板文本向量中的第一标记提供在前一步骤预训练时产生的冗余语义信息，借助第二标记提供商品标签的序列位置信息。当然，在微调训练阶段，标定所述第二标记时，可以是一个或者多个，决定第二标记的依据，可以根据相应的数据样本中的商品文本内的相应关键词来决定，若商品文本中存在商品标签相对应的关键词，则可在该商品标签相对应的序列位置中打上第二标记，否则，可不予调用该数据样本参与训练。当然，所述第二标记相对应的关键词最终将被用于对所述标注模型的输出进行监督，以便促使该标注模型收敛，害怕微调训练的过程。

不难理解，由于模板文件向量中的第一标记所携带的冗余语义向量在微调训练过程中，既与图像特征向量进行了深度的特征交互，又通过梯度更新进行了调节，因此，相应的冗余语义信息最终将获得额外的语义，后续在标注模型投入使用时，在模板文本向量中提供该第一标记，便可实现对该冗余语义信息的引用，从而可以与商品图片的编码信息相结合完成表示学习过程，指导标注模型做出任务词预测决策。

本实施例揭示了本申请的标注模型的完整的训练过程，其先经多任务联合预训练习得从商品图片、商品文本中提取深层语义信息的能力，后又以单任务微调训练习得仅依据商品图片即可获得相应的商品标签识别能力，全程自监督实施，无需依赖人工标注的数据样本，大大节省人工标注成本，并且，在微调训练阶段，借助模板文本向量发挥作用，实际上将标注模型的任务词预测能力转化为下游多分类任务能力，构思巧妙，效果优异，经在测试集上实测，当多任务输出集成“性别”、“颜色”、“季节”三类商品标签的情况下，其准确率可达到79％、95％、72％，预期后续通过数据清洗及调优还可进一步提升预测精度，可见，本申请另辟蹊径获得的标注模型，表现优秀。

请结合图4所示网络架构和图5所示的流程，深化的实施例中，所述步骤S1100、采用商品对象相对应的数据样本对所述标注模型实施多个功能的联合预训练，包括如下步骤：

步骤S1110、调用数据集中的数据样本，分别获取数据样本中商品对象的商品图片及商品文本的编码向量，将所述编码向量拼接为图文综合特征信息，其中，商品文本中部分文本被以所述第二标记屏蔽后进行编码获得相应的编码向量：

为了训练本申请的标注模型，预备有一个数据集，该数据集中存储有使所述标注模型训练至收敛状态相对应的足量的数据样本。所述的数据样本无需携带人工标注的监督标签。每个数据样本，对应包括一个商品的商品图片和商品文本。

结合本申请前文各实施例所述，从数据集中调用出一个用于训练的数据样本时，对于其中的商品图片，借助一个预训练的图像特征提取模型对其进行特征提取，从而获得该商品图片相对应的图像特征信息，然后可将其归一化一个高维向量，本实施例中，可将其视为商品图片相对应的编码向量。而对于数据样本中的商品文本，以所述标注模型采用Bert模型实现为例，可对其进行词嵌入，获得其相应的编码向量，同理，所述编码向量也为高维向量。据此，只需将这两种编码向量进行简单拼接为图文综合特征信息送入本申请的标注模型即可，具体将其输入到该标注模型的文本特征提取模块中。

不难理解，依据Bert模型固有的自监督训练原理，在对所述商品文本进行编码的过程中，其中的部分文本会被随机屏蔽，对应替换为所述的第二标记例如[MASK]标签，后续，被屏蔽的各个第二标记便可用于实施模型的自监督。

步骤S1120、采用所述标注模型中基于多头注意力机制的文本特征提取模块对所述图文综合特征信息进行特征融合以提取深层语义信息，获得相应的图文融合向量：

用于处理所述图文综合特征信息的所述文本特征提取模块，实际上是Bert模型中的编码路径，也即Transformer中的编码路径，其包含多级编码器，每级编码器均基于多头注意力机制对输入其中的向量执行QKV运算实现深度的特征交互，将特征交互后的信息经过一个前馈神经层进行特征提取后再输出至下一级的编码器，以此类推，直至最后一个编码器输出最终的图文融合向量，该图文融合向量便表示了所述图文综合特征信息的深层语义信息，且该深层语义信息为所述商品图片的编码向量和所述商品文本的编码向量进行特征的深度交互之后获得的语义信息。

步骤S1130、调用该文本特征提取模块的分类功能对所述图文融合向量进行分类，根据被第二标记屏蔽的部分文本对应计算分类结果的第一损失值：

在所述图文综合特征信息输入标注模型的文本特征提取模块时，会添加[CLS]标记以指示标注模型执行分类功能，因此，在经过标注模型的表示学习获得图文融合向量之后，在分类功能分支处可获得其分类结果，此时，对于这一分类结果，根据在编码过程中被第二标记屏蔽的相应的部分文本，便可计算所述分类结果与该部分文本之间的损失值，即第一损失值。

步骤S1140、调用该文本特征提取模块的任务词预测功能对所述图文融合向量进行任务词预测，根据被第二标记预关联的标签库中的商品标签计算任务词预测结果中的各个商品标签的第二损失值：

与此同时，标注模型的文本特征提取模块表示学习所得的图文融合向量也被用于进行任务词预测，从而对应获得一个相应的输出序列，这一输出序列与模型的输出一般是一一对应的，此时，在输入阶段被第二标记屏蔽的序列位置处，会对应获得各个商品标签，根据在编码过程中被第二标记屏蔽的相应的部分文本，便可计算所述各个商品标签与该部分文本之间的损失值，即第二损失值。

步骤S1150、判断所述的第一损失值与所述第二损失值加和所得的总损失值是否达到预设阈值，当达到预设阈值时终止该标注模型的预训练，当未达到预设阈值时调用下一数据样本对该标注模型实施迭代训练：

获得所述第一损失值和第二损失值后，通过对两者加和，可获得总损失值，然后根据用于判断模型是否达致收敛的预设阈值，判断该总损失值是否达到该预设阈值，当其达到预设阈值时，表示标注模型已被预训练至收敛状态，可以终止其预训练过程，否则，表示标注模型仍未达至收敛状态，于是可以根据该总损失值对模型进行反向传播，实现梯度更新，并可做出决策而继续调用数据集中的下一数据样本对该标注模型继续迭代训练。

本实施例详细揭示了本申请的标注模型的预训练过程中，其中，在预训练过程中启用了该模型的两个功能，分别是分类功能和任务词预测功能，通过两个功能同步协作共同决定每次训练的总损失值，根据总损失值对模型的表示学习能力进行修正，如此不断提升标注模型的表示学习能力，使其基于无人工标注样本的数据样本实现自监督训练，且通过多模态信息的深层语义交互提升模表示学习过程中的泛化能力，以巧妙的构思，全面提升模型的预训练效果。

请参阅图2所示的网络架构和图6所示的流程，深化的实施例中，所述步骤S1200、采用商品对象的数据样本相对应的图文编码信息对所述标注模型实施任务词预测功能相对应的微调训练，包括如下步骤：

步骤S1210、调用数据集中的数据样本，获取数据样本中商品对象的商品图片的编码向量以及预设的模板文本向量拼接为图文编码信息；所述模板文本向量包括第一标记和第二标记，第一标记用于指示所述标注模型在预训练过程中产生的冗余语义信息，第二标记用于指示所述标注模型产出的商品标签的序列位置信息：

在对所述标注模型实施微调训练时，仍可从预训练的数据集中取材。与预训练过程不同的是，微调训练过程中无需根据数据样本中的商品文本来获取其编码向量用于与商品图片的编码向量共同构造图文综合特征信息，而是取而代之，以根据一定规则编制的模板文本向量来与商品图片的编码向量拼接为图文编码信息。不难理解，对于指导标注模型的训练而言，此处的图文编码信息与所述的图文综合特征信息存在等效关系，从标注模型的视角，图文编码信息中所包含的模板文本向量，相当于为该标注模型提供了文本相对应的编码向量。

关于所述模板文本向量，在微调训练阶段，同理也包括前文所述的第一标记和第二标记。其中的第一标记，是该标注模型在调用该数据集进行预训练过程中产生的冗余语义信息，因此可在微调训练阶段通过指定[unused*]标签来调用。其中的第二标记，在微调训练阶段，则可根据被调用于训练的数据样本中的商品文本所包含的关键词是否为预设标签库中的商品标签来确定将其置于何一商品标签相对应的序列位置，由于第二标记实际上建立起了与标签库中的商品标签的预先关联，通过这一处理确定在序列中的何一位置添加所述的第二标记，从而指导标注模型在该第二标记所处的相应位置输出相应的商品标签。关于根据预设的标签库对模板文本向量进行构造的详细过程，将在本文的后一实施例中揭示，此处暂且按下不表。

步骤S1220、采用所述标注模型中基于多头注意力机制的文本特征提取模块对所述图文编码信息进行特征融合以提取深层语义信息，获得相应的图文融合向量：

如前所述，如Bert之类的标注模型，其中的文本特征提取模块负责对所述数据样本相应的图文编码信息进行特征融合以提取出深层语义信息，获得相应的图文融合向量，其原理与前同，恕不赘述。

步骤S1230、调用该文本特征提取模块的任务词预测功能对所述图文融合向量进行任务词预测，根据被第二标记预关联的标签库中的商品标签计算任务词预测结果中的各个商品标签的第二损失值：

同理，微调训练过程中不再需要标注模型的分类功能，而是利用其任务词预测功能对所述图文融合向量进行任务词预测，对应获得一个输出序列，该输出序列中，对应所述的模板文本向量中的第二标记，将获得位置与所述第二标记相对应的商品标签。如模板文本向量中添加了多个位置的第二标记，则相应也在该输出序列中的多个相应位置处获得多个商品标签。据此，便可根据第二标记所关联的标签库中的商品标签，计算任务预测结果的输出序列中各个相应商品标签的损失值，即第二损失值。

步骤S1240、判断所述的第二损失值是否达到预设阈值，当达到预设阈值时终止该标注模型的微调训练，当未达到预设阈值时调用下一数据样本对该标注模型实施迭代训练：

同理，在微调训练阶段，也设有一个用于判断标注模型是否达至收敛状态的预设阈值，当所述第二损失值达到预设阈值时，表示标注模型已被微调训练至收敛状态，可以终止其微调训练过程，否则，表示标注模型仍未达至收敛状态，于是可以根据该第二损失值对模型进行反向传播，实现梯度更新，并可做出决策而继续调用数据集中的下一数据样本对该标注模型继续迭代训练。

本实施例中，对标注模型实施第二阶段的微调训练时，不同于其预训练过程，而仅采用标注模型的任务词预测分支进行微调训练，相应的，不再直接引用数据样本中的商品文本提供文本信息进行编码，而是采用对应构造的模板文本向量替换之，而所述模板文本向量通过其第二标记指示商品文本中存在的商品标签在标注模型进行任务词预测后所应输出的位置，且通过其第一标记将冗余语义向量用于承载微调训练过程中习得的图文信息语义，由此，同理无需任何人工标注样本参与微调训练过程，实现标注模型的全程自监督学习，大大节省了模型的训练成本，并提升了模型的训练效率。

较佳的情况下，本申请的标注模型可直接采用所述的Bert模型来实施，其他可替换但未经实测的实施例中，同样基于Transformer的编码路径实现的Albert、VisionTransformer、EfficientNet等模型，理应也可起到等同替换的作用，对此，本领域技术人员应可灵活变通。

请参阅图7，具体化的实施例中，所述步骤S1210、获取数据样本中商品对象的商品图片的编码向量以及预设的模板文本向量拼接为图文编码信息，包括如下步骤：

步骤S1211、采用预训练的图像特征提取模型提取数据样本中商品对象的商品图片的深层语义信息，获得其相应的编码向量：

在微调训练过程中，调用了数据集中的数据样本用于构造图文编码信息的过程中，首先采用前文所述的图像特征提取模型提取数据样本中商品对象的商品图片的深层语义信息，获得相应的编码向量。具体可参考前文，对此不再赘述。

步骤S1212、根据预设的标签库确定所调用的数据样本的商品文本中包含的商品标签，所述标签库预先从所数据集的各个数据样本中进行关键词提取获得：

为了便于微调训练过程中确定数据样本的商品文本中是否包含商品标签，从而确定数据样本是否适于对标注模型实施自监督训练，本实施例中，可预先通过正则规则对数据集中全量数据样本的商品文本进行正则匹配，提取出丰富多样的多个关键词，作为商品标签，将其存储于一个预设的标签库中备用。

据此，在调用数据集中的一个数据样本时，查询其商品文本中是否包含标签库中的商品标签，如存在，则表示该数据样本可用于对标注模型实施微调训练，相应的，后续在构造模板文本向量时，此处所查询确定的商品标签，便关联模板文本向量中的第二标记所处序列位置，用于在标注模型的输出序列中对相应序列位置的输出进行监督。

步骤S1213、以预设的所述第一标记及所述商品文本中商品标签相对应的第二标记构造出模板文本向量：

所述的第一标记，即所述的冗余语义信息，如前所述，在标注模型的预训练过程中生成并将在标注模型的微调训练过程中进一步承载语义作用，此处，在构造模板文本向量时，直接调用标注模型在预训练过程中产生的词表中的标记为[unuserd*]的词向量即可。

同理，对应商品文本中存在的商品标签，根据该商品标签在标注模型中的输出位置，在构造模板文本向量时，对应该输出位置，在模板文本向量的相应位置处添加所述的第二标记，使得该第二标记对数据样本的商品文本中的相应商品标签起位置指示作用。

步骤S1214、将所述商品图片相对应的编码向量及所述模板文本向量拼接为图文编码向量：

构造好所述的模板文本向量之后，进一步，将所述商品图片相应的编码向量与模板文本向量进行简单拼接即可，便获得相应图文编码向量。可以理解，该图文编码向量包含多个行向量，其中一个行向量为所述商品图片的编码向量，余者的多个行向量则为由模板文本向量定义的各个字向量，由此，便实现了对图文编码向量的构造。

本实施例中，通过揭示从数据集中筛选用于对标注模型实施微调训练的训练样本及揭示在微调训练阶段构造所述模板文本向量的过程，可以看出，全程无需任何人工参与，模板可自行根据适当的数据样本对其自身的任务词预测分支实施自监督训练，并且，无需依赖商品文本为文本信息的输入，而是利用了第一标记所指向的标注模型原本弃用的冗余语义信息来承载微调训练过程中习得的深层语义信息，构思非常巧妙，而又可大大简化训练难度，提升训练效率，使标注模型可以根据一张商品图片而实现多分类，方便对电商平台中的海量商品对象进行批量打标处理。

请参阅图8，适应本申请的目的之一而提供的一种商品标签标注装置，是对本申请的商品标签标注方法的功能化体现，该装置包括：图像提取模块1100、编码处理模块1200、标签预测模块1300，以及标注处理模块1400，其中，所述图像提取模块1100，用于获取商品对象的商品图片的图像特征向量；所述编码处理模块1200，用于将所述图像特征向量与预设的模板文本向量拼接构成图文编码信息，所述模板文本向量包括第一标记和第二标记，第一标记用于指示已训练至收敛的标注模型在预训练过程中产生的冗余语义信息，第二标记用于指示所述标注模型产出的商品标签的序列位置信息；所述标签预测模块1300，用于采用所述标注模型根据所述图文编码信息进行任务词预测，获得所述第二标记相对应的商品标签；所述标注处理模块1400，用于以所述商品标签标注所述商品对象。

扩展的实施例中，本申请的商品标签标注装置，还包括：

第一训练模块，用于采用商品对象相对应的数据样本对所述标注模型实施多个功能的联合预训练，使该标注模型在训练至收敛状态后适于对数据样本的商品图片和商品文本进行表示学习，所述功能包括分类功能和任务词预测功能；

第二训练模块，用于采用商品对象的数据样本相对应的图文编码信息对所述标注模型实施任务词预测功能相对应的微调训练，使该标注模型被训练至收敛后适于根据所述图文编码信息预测出相对应的商品标签。

深化的实施例中，所述第一训练模块，包括：第一向量处理子模块，用于调用数据集中的数据样本，分别获取数据样本中商品对象的商品图片及商品文本的编码向量，将所述编码向量拼接为图文综合特征信息，其中，商品文本中部分文本被以所述第二标记屏蔽后进行编码获得相应的编码向量；第一特征提取子模块，用于采用所述标注模型中基于多头注意力机制的文本特征提取模块对所述图文综合特征信息进行特征融合以提取深层语义信息，获得相应的图文融合向量；第一分类子模块，用于调用该文本特征提取模块的分类功能对所述图文融合向量进行分类，根据被第二标记屏蔽的部分文本对应计算分类结果的第一损失值；第一标签预测子模块，用于调用该文本特征提取模块的任务词预测功能对所述图文融合向量进行任务词预测，根据被第二标记预关联的标签库中的商品标签计算任务词预测结果中的各个商品标签的第二损失值；第一迭代决策子模块，用于判断所述的第一损失值与所述第二损失值加和所得的总损失值是否达到预设阈值，当达到预设阈值时终止该标注模型的预训练，当未达到预设阈值时调用下一数据样本对该标注模型实施迭代训练。

深化的实施例中，所述第二训练模块，包括：第二向量处理子模块，用于调用数据集中的数据样本，获取数据样本中商品对象的商品图片的编码向量以及预设的模板文本向量拼接为图文编码信息；所述模板文本向量包括第一标记和第二标记，第一标记用于指示所述标注模型在预训练过程中产生的冗余语义信息，第二标记用于指示所述标注模型产出的商品标签的序列位置信息；第二特征提取子模块，用于采用所述标注模型中基于多头注意力机制的文本特征提取模块对所述图文编码信息进行特征融合以提取深层语义信息，获得相应的图文融合向量；第二标签预测子模块，用于调用该文本特征提取模块的任务词预测功能对所述图文融合向量进行任务词预测，根据被第二标记预关联的标签库中的商品标签计算任务词预测结果中的各个商品标签的第二损失值；第二迭代决策子模块，用于判断所述的第二损失值是否达到预设阈值，当达到预设阈值时终止该标注模型的微调训练，当未达到预设阈值时调用下一数据样本对该标注模型实施迭代训练。

具体化的实施例中，所述第二向量处理子模块，包括：图片编码单元，用于采用预训练的图像特征提取模型提取数据样本中商品对象的商品图片的深层语义信息，获得其相应的编码向量；样本选定单元，用于根据预设的标签库确定所调用的数据样本的商品文本中包含的商品标签，所述标签库预先从所数据集的各个数据样本中进行关键词提取获得；模板构造单元，用于以预设的所述第一标记及所述商品文本中商品标签相对应的第二标记构造出模板文本向量；向量拼接单元，用于将所述商品图片相对应的编码向量及所述模板文本向量拼接为图文编码向量。

较佳的实施例中，所述模板文本向量中包含多个所述的第二标记，以用于指示所述标注模型对应预测出多个商品标签。

为解决上述技术问题，本申请实施例还提供计算机设备。如图9所示，计算机设备的内部结构示意图。该计算机设备包括通过系统总线连接的处理器、计算机可读存储介质、存储器和网络接口。其中，该计算机设备的计算机可读存储介质存储有操作系统、数据库和计算机可读指令，数据库中可存储有控件信息序列，该计算机可读指令被处理器执行时，可使得处理器实现一种商品标签标注方法。该计算机设备的处理器用于提供计算和控制能力，支撑整个计算机设备的运行。该计算机设备的存储器中可存储有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行本申请的商品标签标注方法。该计算机设备的网络接口用于与终端连接通信。本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本实施方式中处理器用于执行图8中的各个模块及其子模块的具体功能，存储器存储有执行上述模块或子模块所需的程序代码和各类数据。网络接口用于向用户终端或服务器之间的数据传输。本实施方式中的存储器存储有本申请的商品标签标注装置中执行所有模块/子模块所需的程序代码及数据，服务器能够调用服务器的程序代码及数据执行所有子模块的功能。

本申请还提供一种存储有计算机可读指令的存储介质，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行本申请任一实施例的商品标签标注方法的步骤。

本申请还提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被一个或多个处理器执行时实现本申请任一实施例所述方法的步骤。

本领域普通技术人员可以理解实现本申请上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等计算机可读存储介质，或随机存储记忆体(Random Access Memory，RAM)等。

综上所述，本申请借助标注模型实现根据商品图片的语义信息输出商品标签，提升了商品标签标注效率，方便为电商平台的商品对象进行打标，具有广阔的应用前景。

本技术领域技术人员可以理解，本申请中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本申请中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本申请中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。

以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种商品标签标注方法，其特征在于，包括如下步骤：

获取商品对象的商品图片的图像特征向量；

将所述图像特征向量与预设的模板文本向量拼接构成图文编码信息，所述模板文本向量包括第一标记和第二标记，第一标记用于指示已训练至收敛的标注模型在预训练过程中产生的冗余语义信息，第二标记用于指示所述标注模型产出的商品标签的序列位置信息；

采用所述标注模型根据所述图文编码信息进行任务词预测，获得所述第二标记相对应的商品标签；

以所述商品标签标注所述商品对象。

2.根据权利要求1所述的商品标签标注方法，其特征在于，获取商品对象的商品图片的图像特征向量的步骤之前，包括如下步骤：

采用商品对象相对应的数据样本对所述标注模型实施多个功能的联合预训练，使该标注模型在训练至收敛状态后适于对数据样本的商品图片和商品文本进行表示学习，所述功能包括分类功能和任务词预测功能；

采用商品对象的数据样本相对应的图文编码信息对所述标注模型实施任务词预测功能相对应的微调训练，使该标注模型被训练至收敛后适于根据所述图文编码信息预测出相对应的商品标签。

3.根据权利要求2所述的商品标签标注方法，其特征在于，采用商品对象相对应的数据样本对所述标注模型实施多个功能的联合预训练，包括如下步骤：

调用数据集中的数据样本，分别获取数据样本中商品对象的商品图片及商品文本的编码向量，将所述编码向量拼接为图文综合特征信息，其中，商品文本中部分文本被以所述第二标记屏蔽后进行编码获得相应的编码向量；

采用所述标注模型中基于多头注意力机制的文本特征提取模块对所述图文综合特征信息进行特征融合以提取深层语义信息，获得相应的图文融合向量；

调用该文本特征提取模块的分类功能对所述图文融合向量进行分类，根据被第二标记屏蔽的部分文本对应计算分类结果的第一损失值；

调用该文本特征提取模块的任务词预测功能对所述图文融合向量进行任务词预测，根据被第二标记预关联的标签库中的商品标签计算任务词预测结果中的各个商品标签的第二损失值；

判断所述的第一损失值与所述第二损失值加和所得的总损失值是否达到预设阈值，当达到预设阈值时终止该标注模型的预训练，当未达到预设阈值时调用下一数据样本对该标注模型实施迭代训练。

4.根据权利要求2所述的商品标签标注方法，其特征在于，采用商品对象的数据样本相对应的图文编码信息对所述标注模型实施任务词预测功能相对应的微调训练，包括如下步骤：

调用数据集中的数据样本，获取数据样本中商品对象的商品图片的编码向量以及预设的模板文本向量拼接为图文编码信息；所述模板文本向量包括第一标记和第二标记，第一标记用于指示所述标注模型在预训练过程中产生的冗余语义信息，第二标记用于指示所述标注模型产出的商品标签的序列位置信息；

采用所述标注模型中基于多头注意力机制的文本特征提取模块对所述图文编码信息进行特征融合以提取深层语义信息，获得相应的图文融合向量；

调用该文本特征提取模块的任务词预测功能对所述图文融合向量进行任务词预测，根据被第二标记预关联的标签库中的商品标签计算任务词预测结果中的各个商品标签的第二损失值；

判断所述的第二损失值是否达到预设阈值，当达到预设阈值时终止该标注模型的微调训练，当未达到预设阈值时调用下一数据样本对该标注模型实施迭代训练。

5.根据权利要求4所述的商品标签标注方法，其特征在于，获取数据样本中商品对象的商品图片的编码向量以及预设的模板文本向量拼接为图文编码信息，包括如下步骤：

采用预训练的图像特征提取模型提取数据样本中商品对象的商品图片的深层语义信息，获得其相应的编码向量；

根据预设的标签库确定所调用的数据样本的商品文本中包含的商品标签，所述标签库预先从所数据集的各个数据样本中进行关键词提取获得；

以预设的所述第一标记及所述商品文本中商品标签相对应的第二标记构造出模板文本向量；

将所述商品图片相对应的编码向量及所述模板文本向量拼接为图文编码向量。

6.根据权利要求1至5中任意一项所述的商品标签标注方法，其特征在于，所述模板文本向量中包含多个所述的第二标记，以用于指示所述标注模型对应预测出多个商品标签。

7.一种商品标签标注装置，其特征在于，包括：

图像提取模块，用于获取商品对象的商品图片的图像特征向量；

编码处理模块，用于将所述图像特征向量与预设的模板文本向量拼接构成图文编码信息，所述模板文本向量包括第一标记和第二标记，第一标记用于指示已训练至收敛的标注模型在预训练过程中产生的冗余语义信息，第二标记用于指示所述标注模型产出的商品标签的序列位置信息；

标签预测模块，用于采用所述标注模型根据所述图文编码信息进行任务词预测，获得所述第二标记相对应的商品标签；

标注处理模块，用于以所述商品标签标注所述商品对象。

8.一种计算机设备，包括中央处理器和存储器，其特征在于，所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行如权利要求1至6中任意一项所述的方法的步骤。

9.一种计算机可读存储介质，其特征在于，其以计算机可读指令的形式存储有依据权利要求1至6中任意一项所述的方法所实现的计算机程序，该计算机程序被计算机调用运行时，执行相应的方法所包括的步骤。

10.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1至6任意一项中所述方法的步骤。

Images