CN116796027A - 商品图片标签生成方法及其装置、设备、介质、产品 - Google Patents

商品图片标签生成方法及其装置、设备、介质、产品 Download PDF

Info

Publication number
CN116796027A
CN116796027A CN202310800563.8A CN202310800563A CN116796027A CN 116796027 A CN116796027 A CN 116796027A CN 202310800563 A CN202310800563 A CN 202310800563A CN 116796027 A CN116796027 A CN 116796027A
Authority
CN
China
Prior art keywords
commodity
picture
key
description text
tag
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310800563.8A
Other languages
English (en)
Inventor
罗东锋
郭志伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Shangyan Network Technology Co ltd
Original Assignee
Guangzhou Shangyan Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Shangyan Network Technology Co ltd filed Critical Guangzhou Shangyan Network Technology Co ltd
Priority to CN202310800563.8A priority Critical patent/CN116796027A/zh
Publication of CN116796027A publication Critical patent/CN116796027A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • G06F16/535Filtering based on additional data, e.g. user or group profiles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • G06F40/284Lexical analysis, e.g. tokenisation or collocates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/70Labelling scene content, e.g. deriving syntactic or semantic representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开一种商品图片标签生成方法及其装置、设备、介质、产品,所述方法包括:调用图片描述文本生成模型,生成商品图片对应的商品描述文本;调用商品词提取模型,提取出商品描述文本中包含的多个关键商品词;调用搜索词获取算法,获取各关键商品词对应的关联搜索词,将各关键商品词与所述关联搜索词作为备选图片标签存储至图片标签列表;确定出图片标签列表中排序靠前且商品静态信息与商品动态信息满足预设条件的多个备选图片标签,将各备选图片标签作为商品图片的图片标签。本申请可为网络电商平台提供图片标签自动生成服务,以为平台中各商品的商品图片生成图片标签,节省人工手动设置图片标签的时间成本。

Description

商品图片标签生成方法及其装置、设备、介质、产品
技术领域
本申请涉及网络电商领域,尤其涉及一种商品图片标签生成方法,此外还涉及该方法相应的装置、设备、非易失性存储介质以及计算机程序产品。
背景技术
现有的网络平台中通常会为图片设置对应的图片标签(图片ALT标签),图片标签是指赋予图片的关键词提示,通过为图片设置图片标签,可使平台中的用户通过关键词搜索到对应的图片,而在网络电商平台中,平台中卖家用户会为其所线上售卖的商品上传对应的商品图片以介绍商品,而为商品图片设置对应的与售卖商品关联的图片标签,设有与商品相关的图片标签的商品图片在搜索时具有可访问性,使商品图片的商品在买家用户通过关键字搜索需购买商品时更容易被搜索到,但现有的商品图片的图片标签一般由卖家用户自行进行设置,除了需消耗卖家用户大量的人力成本外,卖家用户为商品图片所设置的图片标签不一定可言简意赅地表达出对应商品的特征属性,使得设置的图片标签无法有效提升商品被买家用户搜索到的概率,或因为商品图片设置过于冗长的图片标签而影响了商品被搜索到的概率。
鉴于现有的为图片设置图片标签所存在的问题,本申请人出于解决该问题的考虑作出相应的探索。
发明内容
本申请的目的在于满足用户需求而提供一种商品图片标签生成方法,此外还涉及该方法相应的装置、设备、非易失性存储介质以及计算机程序产品。
为实现本申请的目的,采用如下技术方案:
调用图片描述文本生成模型,生成商品图片对应的商品描述文本;
调用商品词提取模型,提取出所述商品描述文本中包含的多个关键商品词;
获取各所述关键商品词对应的关联搜索词,将各所述关键商品词与所述关联搜索词作为备选图片标签存储至图片标签列表中,所述图片标签列表中各所述备选图片标签以搜索量进行排序;
确定出所述图片标签列表中排序靠前且商品静态信息与商品动态信息满足预设条件的多个备选图片标签,将各所述备选图片标签作为所述商品图片的图片标签。
进一步的实施例中,调用图片描述文本生成模型,生成商品图片对应的商品描述文本的步骤前,包括
获取多个商品图片对应的商品对象的商品关键信息,所述商品关键信息包括商品标题文本与商品属性文本;
调用商品描述文本生成模型,生成各所述商品关键信息生成训练商品描述文本;
将各所述商品图片与其对应所述训练商品描述文本作为训练样本,训练图片描述文本生成模型训练至收敛。
进一步的实施例中,调用图片描述文本生成模型,生成商品图片对应的商品描述文本的步骤中,包括:
提取商品图片的图像语义特征向量,将该图像语义特征向量输入至输入编码层中,获取所述输入编码层输出的图像语义特征编码数据;
将所述图像语义特征编码数据输入至输出解码层中,获取所述输出解码层输出的图像语义特征解码数据,对所述图像语义特征解码数据进行归一化处理获取商品描述文本。
进一步的实施例中,调用图片描述文本生成模型,生成商品图片对应的商品描述文本的步骤中,包括:
提取商品图片的图像语义特征向量,将该图像语义特征向量输入至输入编码层中,获取所述输入编码层输出的图像语义特征编码数据;
将所述图像语义特征编码数据输入至输出解码层中,使用多样性解码策略,获取所述输出解码层输出的多个图像语义特征解码数据对应的多个商品描述文本;
获取所述商品图片对应的商品标题,调用商品标题匹配规则,从多个商品描述文本中确定出与所述商品标题较匹配的商品描述文本。
进一步的实施例中,调用商品词提取模型,提取出所述商品描述文本中包含的多个关键商品词的步骤中,包括:
提取商品描述文本的文本语义特征向量;
根据所述文本语义特征向量,确定出所述商品描述文本中命中预设商品属性类型的词或词组,所述商品属性类型包括商品类目、商品品牌、商品颜色或商品尺寸;
筛选出所述商品描述文本中与任一所述商品属性类型的类型命中分数超过预设分数的词或词组作为关键商品词。
进一步的实施例中,获取各所述关键商品词对应的关联搜索词,将各所述关键商品词与所述关联搜索词作为备选图片标签存储至图片标签列表中,所述图片标签列表中各所述备选图片标签以搜索量进行排序的步骤中,包括:
组合商品图片对应的多个关键商品词,生成多个关键商品词组合,获取各所述关键商品词组合对应的一个或多个关联搜索词;
生成作用于所述商品图片的图片标签列表,将各所述关键商品词与各所述关键商品词作为备选图片标签存储至所述图片标签列表;
获取所述图片标签列表中各所述备选图片标签的搜索量进行逆序排序。
进一步的实施例中,确定出所述图片标签列表中排序靠前且商品静态信息与商品动态信息满足预设条件的多个备选图片标签,将各所述备选图片标签作为所述商品图片的图片标签的步骤中,包括:
识别出图片标签列表中各备选图片标签与商品图片之间的语义特征相似度作为商品静态信息;
获取所述图片标签列表中各备选图片标签的商品竞争程度与商品转化率作为商品动态信息;
筛选出各所述备选图片标签中商品静态信息的语义相似度超过预设相似度阈值,以及商品动态信息中商品竞争程度满足低竞争规则与商品转化率超过预设最低转化率阈值的合规备选图片标签;
确定出图片标签列表的各所述合规备选图片标签中排序满足排序靠前规则的多个目标备选图片标签,将各所述目标备选图片标签作为商品图片的图片标签。
适应本申请的目的而提出的一种商品图片标签生成装置,其包括:
描述文本生成模块,用于调用图片描述文本生成模型,生成商品图片对应的商品描述文本;
商品词提取模块,用于调用商品词提取模型,提取出所述商品描述文本中包含的多个关键商品词;
标签列表生成模块,用于获取各所述关键商品词对应的关联搜索词,将各所述关键商品词与所述关联搜索词作为备选图片标签存储至图片标签列表中,所述图片标签列表中各所述备选图片标签以搜索量进行排序;
图片标签筛选模块,用于筛选出所述图片标签列表中排序靠前且商品静态信息与商品动态信息满足预设条件的多个备选图片标签,将各所述备选图片标签作为所述商品图片的图片标签。
进一步的实施例中,所述描述文本生成模块包括:
图像特征提取子模块,用于提取商品图片的图像语义特征向量,将该图像语义特征向量输入至输入编码层中,获取所述输入编码层输出的图像语义特征编码数据;
唯一描述文本生成模块,用于将所述图像语义特征编码数据输入至输出解码层中,获取所述输出解码层输出的图像语义特征解码数据,对所述图像语义特征解码数据进行归一化处理获取商品描述文本。
较佳的实施例中,所述描述文本生成模块还包括:
图像特征提取子模块,用于提取商品图片的图像语义特征向量,将该图像语义特征向量输入至输入编码层中,获取所述输入编码层输出的图像语义特征编码数据;
多样描述文本生成子模块,用于将所述图像语义特征编码数据输入至输出解码层中,使用多样性解码策略,获取所述输出解码层输出的多个图像语义特征解码数据对应的多个商品描述文本;
描述文本匹配子模块,用于获取所述商品图片对应的商品标题,调用商品标题匹配规则,从多个商品描述文本中确定出与所述商品标题较匹配的商品描述文本。
进一步的实施例中,所述商品词提取模块包括:
文本分词处理子模块,用于对商品描述文本进行分词处理,获取文本分词序列;
语义特征提取子模块,用于提取所述文本分词序列中各分词的语义特征,获取文本语义特征序列;
商品属性类型确定子模块,用于基于所述文本语义特征序列中各分词的语义特征,确定出各所述分词所属的实体类型,筛选出各所述分词中实体类型为预设商品属性类型的分词作为关键商品词,所述商品属性类型包括商品类目、商品品牌、商品颜色或商品尺寸。
进一步的实施例中,所述标签列表生成模块包括:
关联搜索词获取子模块,用于组合商品图片对应的多个关键商品词,生成多个关键商品词组合,获取各所述关键商品词组合对应的一个或多个关联搜索词;
图片标签列表生成子模块,用于生成作用于所述商品图片的图片标签列表,将各所述关键商品词与各所述关键商品词作为备选图片标签存储至所述图片标签列表;
图片标签排序子模块,用于获取所述图片标签列表中各所述备选图片标签的搜索量进行逆序排序。
进一步的实施例中,所述图片标签筛选模块包括:
商品静态信息生成子模块,用于识别出图片标签列表中各备选图片标签与商品图片之间的语义特征相似度作为商品静态信息;
商品动态信息生成子模块,用于地图获取所述图片标签列表中各备选图片标签的商品竞争程度与商品转化率作为商品动态信息;
合规图片标签筛选子模块,用于筛选出各所述备选图片标签中商品静态信息的语义相似度超过预设相似度阈值,以及商品动态信息中商品竞争程度满足低竞争规则与商品转化率超过预设最低转化率阈值的合规备选图片标签;
目标图片标签确定子模块,用于确定出图片标签列表的各所述合规备选图片标签中排序满足排序靠前规则的多个目标备选图片标签,将各所述目标备选图片标签作为商品图片的图片标签。
为解决上述技术问题本申请实施例还提供一种商品图片标签生成设备,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,使得所述处理器执行上述所述商品图片标签生成方法的步骤。
为解决上述技术问题本申请实施例还提供一种存储有计算机可读指令的存储介质,所述计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器执行上述所述商品图片标签生成方法的步骤。
为解决上述技术问题本申请实施例还提供一种计算机程序产品,包括计算机程序及计算机指令,该计算机程序及计算机指令被处理器执行时,使得所述处理器执行上述所述商品图片标签生成方法的步骤。
相对于现有技术,本申请的优势如下:
本申请可为网络电商平台提供自动生成商品图片的图片标签的图片标签自动生成服务,以节省网络电商平台中买家用户为商品图片编辑设置图片标签所消耗的人工成本,在获取商品对象的商品图片后,将为商品图片生成描述其图像所展示的商品对象的商品描述文本,并提取商品描述文本中包含的描述商品对象的商品特征的关键商品词,以基于该些关键商品词,获取在搜索引擎或商品搜索服务中与商品对象的商品特征关联的关联搜索词,进而将各关键商品词与关联搜索词作为备选图片标签存储至作用于商品图片的图片标签列表中,且图片标签列表将以各备选图片标签的搜索量进行逆序排序,即搜索量较高的备选图片标签在图片标签列表中的排序较高,之后以商品图片相似度、商品竞争程度、商品转化率与搜索量为筛选维度,进而从图片标签列表中筛选出各项筛选维度符合条件的备选图片标签作为商品图片的图片标签,可以看出,除了自动为买家用户生成商品图片的图片标签外,生成的图片标签还符合商品图片的图像所展示的商品对象,且具有低竞争程度、高转化率与高搜索量的特性,言简意赅地表达出商品图片所展示的商品对象,且使得为商品图片自动生成的图片标签可有效提升商品对象被买家用户搜索到的概率。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为实施本申请的技术方案相关的一种典型的网络部署架构示意图;
图2为本申请的商品图片标签生成方法的典型实施例的流程示意图;
图3为本申请中关于训练图片描述文本生成模型的具体实施方式的流程示意图;
图4为本申请中关于调用图片描述文本生成模型为商品图片生成商品描述文本的具体实施方式的流程示意图;
图5为本申请中关于调用采样多样性生成策略的图片描述文本生成模型,为商品图片生成多个商品描述文本进行商品标题匹配筛选的具体实施方式的流程示意图;
图6为本申请中关于调用商品词提取模型提取商品描述文本中包含的关键商品词的具体实施方式的流程示意图;
图7为本申请中关于获取关键商品词的关联搜索词,并将关键商品词与关联搜索词作为备选图片标签存储至图片标签列表中进行搜索量排序的具体实施方式的流程示意图;
图8为本申请中关于从图片标签列表中筛选出的排序靠前且商品静态信息与商品动态信息满足预设条件的备选图片标签,并将该备选图片标签作为商品图片的图片标签的具体实施方式的流程示意图;
图9为本申请的商品图片标签生成装置的典型实施例的原理框图;
图10为本申请一个实施例的商品图片标签生成设备的基本结构框图。
具体实施方式
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本申请,而不能解释为对本申请的限制。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样被特定定义,否则不会用理想化或过于正式的含义来解释。
本技术领域技术人员可以理解,这里所使用的“客户端”、“终端”、“终端设备”既包括无线信号接收器的设备,其仅具备无发射能力的无线信号接收器的设备,又包括接收和发射硬件的设备,其具有能够在双向通信链路上,进行双向通信的接收和发射硬件的设备。这种设备可以包括:蜂窝或其他诸如个人计算机、平板电脑之类的通信设备,其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备;PCS(PersonalCommunications Service,个人通信系统),其可以组合语音、数据处理、传真和/或数据通信能力;PDA(Personal Digital Assistant,个人数字助理),其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(Global PositioningSystem,全球定位系统)接收器;传统膝上型和/或掌上型计算机或其他设备,其具有和/或包括射频接收器的传统膝上型和/或掌上型计算机或其他设备。这里所使用的“客户端”、“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的,或者适合于和/或配置为在本地运行,和/或以分布形式,运行在地球和/或空间的任何其他位置运行。这里所使用的“客户端”、“终端”、“终端设备”还可以是通信终端、上网终端、音乐/视频播放终端,例如可以是PDA、MID(Mobile Internet Device,移动互联网设备)和/或具有音乐/视频播放功能的移动电话,也可以是智能电视、机顶盒等设备。
本申请所称的“服务器”、“客户端”、“工作节点”等名称所指向的硬件,本质上是具备个人计算机等效能力的电子设备,为具有中央处理器(包括运算器和控制器)、存储器、输入设备以及输出设备等冯诺依曼原理所揭示的必要构件的硬件装置,计算机程序存储于其存储器中,中央处理器将存储在外存中的程序调入内存中运行,执行程序中的指令,与输入输出设备交互,借此完成特定的功能。
需要指出的是,本申请所称的“服务器”这一概念,同理也可扩展到适用于服务器集群的情况。依据本领域技术人员所理解的网络部署原理,所述各服务器应是逻辑上的划分,在物理空间上,这些服务器既可以是互相独立但可通过接口调用的,也可以是集成到一台物理计算机或一套计算机机群的。本领域技术人员应当理解这一变通,而不应以此约束本申请的网络部署方式的实施方式。
请参阅图1,本申请相关技术方案实施时所需的硬件基础可按图中所示的架构进行部署。本申请所称服务器80部署在云端,作为一个在线服务器,其可以负责进一步连接起相关数据服务器以及其他提供相关支持的服务器等,以此构成逻辑上相关联的服务集群,来为相关的终端设备例如图中所示的智能手机81和个人计算机82或者第三方服务器(未图示)提供服务。所述的智能手机和个人计算机均可通过公知的网络接入方式接入互联网,与云端的服务器80建立数据通信链路,以便运行所述服务器所提供的服务相关的终端应用程序。
对于服务器而言,所述的应用程序通常会被构建为服务进程,开放相应的程序接口,供各种终端设备上运行的应用程序进行远程调用,本申请中适于运行于服务器的相关技术方案,便可以此种方式实现于服务器中。
所述的应用程序,是指运行于服务器或终端设备上的应用程序,这一应用程序采用编程的方式实现了本申请的相关技术方案,其程序代码可被以计算机可执行指令的形式保存于计算机能识别的非易失性存储介质中,并被中央处理器调入内存中运行,通过该应用程序在计算机的运行而构造出本申请的相关装置。
对于服务器而言,所述的应用程序通常会被构建为服务进程,开放相应的程序接口,供各种终端设备上运行的应用程序进行远程调用,本申请中适于运行于服务器的相关技术方案,便可以此种方式实现于服务器中。
本领域技术人员对此应当知晓:本申请的各种方法,虽然基于相同的概念而进行描述而使其彼此间呈现共通性,但是,除非特别说明,否则这些方法都是可以独立执行的。同理,对于本申请所揭示的各个实施例而言,均基于同一发明构思而提出,因此,对于相同表述的概念,以及尽管概念表述不同但仅是为了方便而适当变换的概念,应被等同理解。
请参阅图2,本申请的一种商品图片标签生成方法,在其典型实施例中,其包括如下步骤:
步骤S11,调用图片描述文本生成模型,生成商品图片对应的商品描述文本:
所述的商品图片是指由网络电商平台中的卖家用户为进行销售的商品对象所上传的图片,例如,商品对象在网络电商平台中的商品封面图等,卖家用户为商品对象上传商品图片后,可通过本方法所构建的图片标签自动生成服务自动为上传的商品图片生成对应的图片标签,所述图片标签是指ALT标签,用于通过文本的方式描述商品图片中所展示的图像内容,例如,具有描绘A品牌的手机可为其设置“A品牌”与“手机”的图片标签,为商品图片设置符合其描绘的商品对象的图片标签,可提升商品图片的可访问性及其在搜索中的搜索排名,使商品对象在网络电商平台中易于被买家用户通过关键字搜索到,以提升商品图片所描述的商品对象的曝光率及销量。
获取由卖家用户为商品对象上传的商品图片后,将调用所述图片描述文本生成模型,生成描述所述商品图片所展示的商品对象的商品描述文本,所述的图片描述文本生成模型为基于神经网络思想所构建的神经网络模型,具有用于提取商品图片的图像语义特征向量的图像特征提取层,所述图像特征提取层一般基于深度残差网络(Deep residualnetwork,ResNet)所构建,提取出图像语义特征向量后,将该图像语义特征向量输入至输入编码层中进行编码,并将由输入编码层编码后的图像语义特征编码数据输入至输出解码层中,以由输出解码层输出图像语义特征解码数据通过Softmax算法进行归一化计算,以生成图像语义特征解码数据对应的文本,该文本作为商品图片对应的商品描述文本,所述输入编码层与输出解码层为基于Transformer的Encoder(编码)与Decoder(编码)结构所构建,可以看出,所述的图片描述文本生成模型为通过基于深度残差网络(Deep residualnetwork,ResNet)所构建的图像特征提取层与基于Transformer的Encoder(编码)、Decoder(编码)及Softmax结构所构建的编解码层所构建的神经网络模型。
一种实施例中,所述图片描述文本生成模型中的所述输出编码层可输出图像语义特征解码数据对应图像语义特征解码数据,以对图像语义特征解码数据使用多元化生成策略,生成多个商品描述文本,进而获取商品图片对应的商品标题,调用商品标题匹配规则,从多个商品描述文本中确定出与所述商品标题较匹配的商品描述文本,其中,所述多样化生成策略可以是采用温度控制策略(Temperature Scaling)、顶部K采样策略(Top-kSampling)、随机采样策略(Random Sampling)等本领域技术人员可按需择一实现。
关于所述图片描述文本生成模型所使用的训练样本,一般由商品图片与训练商品描述文本所构成,其中,商品图片输入至未训练至收敛的图片描述文本生成模型中,进而将由所述图片描述文本生成模型生成商品描述文本与所述训练商品描述文本使用损失函数进行损失计算,直至损失满足条件时则损失图片描述文本生成模型完成模型训练,其中,训练样本中商品图片对应的训练商品描述文本一般为通过训练至收敛的商品描述文本生成模型所生成,通过使用商品图片的商品对象的商品关键信息作为所述商品描述文本生成模型的输入,如商品对象的商品标题文本、商品属性文本(商品类目、商品品牌、商品材质、商品尺寸或商品颜色等)作为商品关键信息输入至所述商品描述文本生成模型中,以生成可描述商品对象的文本作为训练商品描述文本。
步骤S12,调用商品词提取模型,提取出所述商品描述文本中包含的多个关键商品词:
通过调用训练至收敛的图片描述文本生成模型,生成商品图片的商品描述文本后,将调用训练至收敛的商品词提取模型,提取出所述商品描述文本中不好的多个关键商品词。
所述的商品词提取模型一般为基于命名实体识别思想(Named EntityRecognition,简称NER)所构建的神经网络模型,将商品描述文本进行分词处理后,获取对应的文本分词序列,进而将所述文本分词序列输入至商品词提取模型中,商品词提取模型将通过由BiLSTM模型,Bert模型,或者Bert模型与BiLSTM模型所构成的语义特征提取层,提取所述文本分词序列中各分词的语义特征,生成对应的文本语义特征序列,进而将文本语义特征序列输入至由CRF所构建的实体类型识别层中,以基于所述文本语义特征序列中各分词的语义特征,确定出各所述分词所属的实体类型,以从各所述分词中筛选出实体类型为预设商品属性类型的目标分词,将该些目标分词作为关键商品词。
关于实体类型中所述预设商品属性类型一般包括商品类目类型、商品品牌类型、商品颜色类型、商品尺寸类型或商品材质类型等,例如,当商品描述文本为“A品牌蓝色小码尺寸丝绸衬衫”,则“A品牌”命中商品品牌类型、“蓝色”命中商品颜色类型、“小码尺寸”命中商品尺寸类型、“丝绸”命中商品材质类型、“衬衫”命中商品类目类型,可以看出,通过训练至收敛的商品词提取模型,以确定出商品描述文本中各词或各词组所对应的实体类型,进而筛选出实体类型为预设的商品属性类型的词或词组,以将该些词或词组作为商品描述文本中的关键商品词,即将商品描述文本中与商品属性相关的词或词组作为关键商品词,以将关键商品词作为商品图片的关联搜索词搜索的参考词,以及将关键商品词作为商品图片的备选图片标签。
从通过图片描述文本生成模型为商品图片生成商品描述文本,进而调用商品词提取模型提取出商品描述文本中与商品属性相关的关键商品词,可以看出,通过使用图片描述文本生成模型与商品词提取模型,即生成表征商品图片中所展示的商品对象的商品关键特征的关键商品词作为备选图片标签,即识别出商品图片中所展示的商品对象的商品关键特征,将商品关键特征作为作用于商品图片的备选图片标签,为了进一步地提升商品图片可使用的图片标签,在后续将使用搜索词获取算法,获取表征商品图片所展示的商品对象的商品关键特征的关键商品词关联的关联搜索词,扩充用于描述商品图片所展示的商品对象的商品关键特征的词或词组,且关联搜索词将作为作用于商品图片的备选图片标签,以增加商品图片的备选图片标签数量。
步骤S13,获取各所述关键商品词对应的关联搜索词,将各所述关键商品词与所述关联搜索词作为备选图片标签存储至图片标签列表中,所述图片标签列表中各所述备选图片标签以搜索量进行排序:
从为商品图片生成的商品描述文本中提取出关键商品词后,将获取与关键商品词关联的关联搜索词,以及获取关键商品词与关联搜索词的搜索量。
所述的关联搜索词是指与关键商品词相关的搜索词,在第三方搜索引擎(如谷歌搜索引擎或百度搜索引擎)或网络电商平台的商品搜索服务中与关键商品词一同使用进行搜索的搜索词,例如,当关键商品词为“裤子”与“大码”时,则一般与该些关键商品词一同使用进行搜索的搜索词可为“男性”、“工装裤”或“牛仔裤”等,该些搜索词则可作为所述关键商品词的关联搜索词,除此之外,与关键商品词进行搜索的搜索对象相同的搜索词也可以作为关联搜索词,例如,当关键商品词为“单车”时,则与该关键商品词的搜索对象相同的搜索词可为“自行车”或“脚踏车”等,该些搜索词则可作为所述关键商品词的关联搜索词。
关于获取关键商品词对应的关联搜索词的方式,一般与获取关联词的来源相关,当获取的关联搜索词来自第三方搜索引擎,则可通过第三方搜索引擎所提供的搜索关键词优化接口,例如,当第三方搜索引擎为谷歌搜索引擎时,则可通过谷歌平台所提供的GoogleAdWords Keyword Planner,来获取谷歌搜索引擎中作用于关键商品词的关联搜索词,当获取的关联搜索词来自网络电商平台时,则可通过爬虫工具抓取网络电商平台的与关键商品词相关的关联搜索词,或者获取由网络电商平台统计商品搜索服务中与关键商品词关联的搜索词作为关联搜索词。
为了提升获取的关联搜索词的数量,以及优化获取的关联搜索词与关键商品的相关性,可通过将关键商品词进行组合后再进行关联搜索词获取,即将多个关键商品词组合为长文本,获取与该长文本对应的关联搜索词,例如,商品图片对应的关键商品词分别为“A品牌”、“男性”、“裤子”、“黑色”,则可将“裤子”与“黑色”组合为关键商品词组合A,将“A品牌”与“黑色”组成为关键商品组合B,为关键商品词组合A获取的关联搜索词可能为“深色服饰”、为关键商品词组合B获取的关联搜索词可能为“A品牌深色服饰”。
所述搜索量是指关键商品词或关联搜索词在第三方搜索引擎或网络电商平台中被作为搜索词进行搜索的搜索次数,当然也可为一段时间周期内的搜索次数,搜索量一般与进行关联搜索词获取的第三方搜索引擎或网络电商平台相关,例如,当关联搜索词为从第三方搜索引擎中获取,则关键商品词与关联搜索词的搜索量将为双方在第三方搜索引擎中的总搜索次数或一段时间周期内的搜索次数,若关联搜索词为从网络电商平台的商品搜索服务中获取,则关键商品词与关联搜索词的搜索量将为双方在商品搜索服务中的总搜索次数或一段时间周期内的搜索次数,当然,关键商品词与关联搜索词的搜索量,也可不以关联搜索词的来源为限定,可从其他第三方搜索引擎或其他网络电商平台中选择一个作为关键商品词与关联搜索词的搜索量进行统计,也可为获取多个第三方搜索引擎或网络电商平台中关键商品词与关联搜索词的搜索量进行权重计算,确定出的关键商品词与关联搜索词在不同第三方搜索引擎或网络电商平台中的综合搜索量。
获取关键商品词对应的关联搜索词,可将关键商品词与关联搜索词作为备选图片标签进行存储至图片标签列表中,所述图片标签列表作用于关键商品词所属的商品图片,且基于关键商品词与关联搜索词各自的搜索量,由大至小,对存储至图片标签列表中的各关键商品词与关联搜索词进行逆序排序。
步骤S14,确定出所述图片标签列表中排序靠前且商品静态信息与商品动态信息满足预设条件的多个备选图片标签,将各所述备选图片标签作为所述商品图片的图片标签:
将关键商品词与关联搜索词作为备选图片标签存储至图片标签列表中并基于搜索量进行逆序排序后,将从所述图片标签列表中筛选出商品静态信息与商品动态信息满足预设条件且排序靠前的多个备选图片作为商品图片的图片标签。
所述的商品静态信息是指备选图片标签的文本与商品图片之间的语义特征相似度,即备选图片标签的文本与商品图片所展示的图像之间的相似度,一般将通过提取备选图片标签的文本的语义特征向量,且提取商品图片的语义特征向量,并将双方的语义特征向量映射至相同的语义空间,计算出两种语义特征向量之间的距离作为备选图片标签的文本与商品图片之间的语义特征相似度,所述语义特征相似度计算,可使用Faiss、ElasticSearch、Milvus等大规模向量检索引擎中的任意一种来实施,也可以采用诸如余弦相似度、内积、曼哈顿距离、欧氏距离等任意一种现成的算法来计算,对应的,商品静态信息的预设条件一般为判断备选图片标签与商品图片之间的特征相似度是否大于等于预设相似度阈值,若是,则备选图片标签的文本与商品图片之间的语义较为相似,该备选图片标签的商品静态信息满足预设条件。
所述的商品动态信息包含备选图片标签的商品竞争程度,所述的商品竞争程度是基于使用备选图片标签作为商品图片的图片标签时的竞争激烈程度,竞争花费资金与竞争风险所决定,一般通过统计使用备选图片标签作为图片标签的电商店铺的销售额度、店铺上线时长与商品销量决定竞争激烈程度,根据使用备选图片标签作为图片标签所需向搜索引擎或网络电商平台的缴费决定竞争花费资金,根据竞争花费资金与使用备选图片标签作为图片标签的转化率决定竞争风险程度,所述商品竞争程度一般分为高中低三个等级,商品竞争程度越高则表征竞争激烈程度越激烈,竞争花费资金越多,竞争风险越高,因此,为所述商品竞争程度预设的条件一般为判断商品竞争程度是否为低等级商品竞争程度,若是,则表征使用备选图片标签作为图片标签时商品对象的商品竞争程度较低,满足其预设条件。
所述商品动态信息除了包含备选图片标签的商品竞争程度外,还包含备选图片标签的商品转化率,所述商品转化率一般通过统计使用备选图片标签作为商品图片的商品对象被搜索到后的点击率与购买率所决定,其可反映出使用备选图片标签作为商品图片的图片标签的商品对象被搜索到时买家用户的购买意愿,因此,为所述商品转化率所设置的预设条件一般为判断商品转化率是否大于等于预设的预设的最低转化率阈值,若是,则表征使用该备选图片标签作为商品图片的图片标签时,商品图片的商品对象的商品转化率较高,该备选图片标签满足其预设条件。
从图片标签列表中存储的备选图片标签中筛选出与商品图片之间的特征相似度大于等于预设相似度阈值,商品竞争程度为低等级商品竞争程度,且商品转化率大于等于最低转化率阈值的合规备选图片标签,该些合规备选图片标签即为与商品图片语义较为相关,则使用该些好贵备选图片标签作为商品图片的图片标签时,商品图片所属的商品对象的竞争程度低且买家用户购买意愿较强,除此之外,还需在该些合规备选图片标签中筛选出在图片标签列表中排序靠前的合规备选图片标签,即搜索量较高的合规备选图片标签,一般可从选择合规备选图片标签中在图片标签列表中排序为预设排位之前的合规备选图片标签作为商品图片的图片标签,例如,选择在图片标签列表中排序为第50排序之前的合规备选图片标签作为商品图片的图片标签,或者选择在图片标签列表的排序靠前的预设数量的合规备选图片标签,例如,当当前的合规备选图片标签分别为排序为5的合规备选图片标签A、排序为10的合规备选图片标签B、排序为25的合规备选图片标签C、排序为49的合规备选图片标签D与排序为67的合规备选图片标签E,则可选择该些合规备选图片标签中3个排序靠前的合规备选图片标签,分别为规备选图片标签A、规备选图片标签B与规备选图片标签C作为商品图片的图片标签。
以上的典型实施例及其变化实施例充分揭示了本申请的商品图片标签生成方法的实施方案,但是,仍可通过对一些技术手段的变换和扩增而演绎出该方法的多种变化实施例,如下概要说明其他实施例:
一种实施例中,请参考图3,调用图片描述文本生成模型,生成商品图片对应的商品描述文本的步骤前,包括
步骤S07,获取多个商品图片对应的商品对象的商品关键信息,所述商品关键信息包括商品标题文本与商品属性文本:
所属的商品关键信息是指商品图片所属的商品图片的商品标题文本与商品属性文本,其中,商品标题文本一般是指卖家用户为商品对象所编辑上传的商品标题的文本,商品属性文本一般包括表征商品对象的商品类目的商品类目文本、表征商品对象的商品品牌的商品品牌文本、表征商品对象的商品材质的商品材质文本、表征商品对象的商品尺寸的商品尺寸文本与表征商品对象的商品颜色的商品颜色文本等用于介绍商品对象的商品属性的文本。
步骤S08,调用商品描述文本生成模型,生成各所述商品关键信息生成训练商品描述文本:
所述的商品描述文本生成模型一般是指基于神经网络所构建,通过提取商品构建信息中包括的商品标题文本与各商品属性文本各自的文本语义特征,进而根据该些文本语义特征信息,提取出商品标题文本与各商品属性文本中的关键词,且基于该些关键词的文本语义特征,将该些关键词组合为用于训练图片描述文本生成模型的训练商品描述文本,其中进行关键词提取与关键词组合的网络可基于CNN算法或FCN算法进行构建,文本语义特征的网络提取则可基于Bert模型进行构建。
另外,也可借助ChatGpt模型作为商品描述文本生成模型,生成基于商品构建信息中包括的商品标题文本与各商品属性文本的文本作为训练商品描述文本,通过将获取的商品标题文本与各商品属性文本输入至ChatGpt模型中,并驱动ChatGpt模型使用商品标题文本与各商品属性文本生成文本,以获取使用商品标题文本与各商品属性文本生成文本进行造句的短文本作为训练商品描述文本。
步骤S09,将各所述商品图片与其对应所述训练商品描述文本作为训练样本,训练图片描述文本生成模型训练至收敛:
生成各商品图片对应的训练商品描述文本,以将该些商品图片与其训练商品描述文本作为训练样本后,则可将各商品图片输入至未训练至收敛的图片描述文本生成模型中,进而将由所述图片描述文本生成模型生成商品描述文本与商品图片对应的训练商品描述文本使用损失函数进行损失计算,直至损失满足条件时则损失图片描述文本生成模型完成模型训练。
本实施例中,通过借助商品描述文本生成模型,以基于商品图片所属的商品对象的商品标题文本与商品属性文本生成用于模型训练的训练商品描述文本,进而将商品图片与训练商品模型文本作为训练样本训练图片描述文本生成模型,无需人工编辑训练样本中的训练商品描述文本,即可生成大量的训练样本供图片描述文本生成模型进行训练,以提升图片描述文本生成模型的训练至收敛的速度。
一种实施例中,请参考图4,调用图片描述文本生成模型,生成商品图片对应的商品描述文本的步骤中,包括:
步骤S111,提取商品图片的图像语义特征向量,将该图像语义特征向量输入至输入编码层中,获取所述输入编码层输出的图像语义特征编码数据:
所述的图片描述文本生成模型为基于神经网络思想所构建的神经网络模型,具有用于提取商品图片的图像语义特征向量的图像特征提取层,所述图像特征提取层一般基于深度残差网络(Deep residual network,ResNet)所构建。
通过图片特征提取层提取出商品图片的图像语义特征训练后,将该图像语义特征向量输入至输入编码层中进行编码,以获取由输入编码层对图像语义特征训练编码后所生成的图像语义特征编码数据,输入编码层一般为基于Transformer的Encoder(编码)结构所构建。
步骤S112,将所述图像语义特征编码数据输入至输出解码层中,获取所述输出解码层输出的图像语义特征解码数据,对所述图像语义特征解码数据进行归一化处理获取商品描述文本:
获取由输入编码层对图像语义特征训练编码后所生成的图像语义特征编码数据后,并将由输入编码层编码后的图像语义特征编码数据输入至输出解码层中,以由输出解码层对图像语义特征编码数据进行解码后产生的图像语义特征解码数据使用Softmax算法进行归一化计算,生成图像语义特征解码数据对应的文本,该文本作为商品图片对应的商品描述文本,输入编码层一般为基于Transformer的Decoder(解码)结构所构建。
本实施例中,通过使用基于Transformer的编解码结构所构建的图片描述文本生成模型,为商品图片生成描述其图像中所展示的商品对象的商品描述文本,使得后续基于商品描述文本生成的图片标签可更准确地描述商品图片所展示的商品对象。
一种实施例中,请参考图5,调用图片描述文本生成模型,生成商品图片对应的商品描述文本的步骤中,包括:
步骤S111’,提取商品图片的图像语义特征向量,将该图像语义特征向量输入至输入编码层中,获取所述输入编码层输出的图像语义特征编码数据:
该步骤请参考步骤S111中的相关实施方式,本步骤恕不赘述。
步骤S112’,将所述图像语义特征编码数据输入至输出解码层中,使用多样性解码策略,获取所述输出解码层输出的多个图像语义特征解码数据对应的多个商品描述文本:
获取由输入编码层对图像语义特征训练编码后所生成的图像语义特征编码数据后,该图像语义特征编码数据将被输入至使用多样性解码策略的输出解码层中进行解码,所述多样化生成策略可以是采用温度控制策略(Temperature Scaling)、顶部K采样策略(Top-k Sampling)或随机采样策略(Random Sampling),以使得生成解码层采样多样性生成策略对图像语义特征编码数据进行解码生成多个图像语义特征解码数据,并生成该些图像语义特征解码数据各自对应的商品描述文本,进而使得输出解码层可基于一个图像语义特征编码数据生成多个商品描述文本。
步骤S113’,获取所述商品图片对应的商品标题,调用商品标题匹配规则,从多个商品描述文本中确定出与所述商品标题较匹配的商品描述文本:
获取由输出解码层输出的多个商品描述文本后,将调用商品标题匹配规则,从该些商品描述文本中筛选出与商品图片所属的商品对象的商品标题最匹配的商品描述文本。
所述商品标题匹配规则可为基于正则表达式的关键词匹配或基于神经网络构建的文本匹配模型,所述文本匹配模型将基于各商品描述文本与商品标题的文本语义特征进行双方之间的语义相似度计算,以将与商品标题的语义相似度最高的商品描述文本作为商品图片的商品描述文本。
本实施例中,通过多样性生成策略使图片描述文本生成模型为商品图片生成多个商品描述文本,并从生成的多个商品描述文本中筛选出与商品图片的商品标题最匹配的商品描述文本,使得商品描述文本不仅以商品图片为生成对象,同时参考商品图片对应的商品标题进行进一步筛选,以提升商品描述文本描述商品图片所展示的商品对象的准确性。
一种实施例中,请参考图6,调用商品词提取模型,提取出所述商品描述文本中包含的多个关键商品词的步骤中,包括:
步骤S121,对商品描述文本进行分词处理,获取文本分词序列:
获取商品描述文本后,一般将对商品描述文本进行分词处理,以生成商品描述文本对应的文本分词序列,例如,当商品描述文本为中文文本时,可采用Jieba分词算法对商品描述文本进行分词处理,当商品描述文本为非中文文本时,则可采用Subword分词算法(BPE、WordPiece、ULM)等对商品描述文本进行分词处理,当然,还可采用基于神经网络所构建的命名实体识别模型对任何语种的商品描述文本进行分词处理。
步骤S122,提取所述文本分词序列中各分词的语义特征,获取文本语义特征序列:
获取商品描述文本对应的文本分词序列后,将对文本分词序列中的各分词进行语义特征提取,以获取由各分词的语义特征所组成的文本语义特征序列,其中,进行语义特征提取的语义特征提取层可使用由BiLSTM模型,Bert模型,或者Bert模型与BiLSTM模型进行构建。
步骤S123,基于所述文本语义特征序列中各分词的语义特征,确定出各所述分词所属的实体类型,筛选出各所述分词中实体类型为预设商品属性类型的分词作为关键商品词,所述商品属性类型包括商品类目、商品品牌、商品颜色或商品尺寸:
提取所述文本分词序列中各分词的语义特征生成对应的文本语义特征序列后,将该文本语义特征序列输入至由CRF所构建的实体类型识别层中,以基于所述文本语义特征序列中各分词的语义特征,确定出各所述分词所属的实体类型,以从各所述分词中筛选出实体类型为预设商品属性类型的目标分词,将该些目标分词作为关键商品词。
本实施例中,通过基于命名实体识别思想所构建的商品词提取模型,以确定出商品描述文本中各词或各词组所对应的实体类型,进而筛选出实体类型为预设的商品属性类型的词或词组,以将该些词或词组作为商品描述文本中的关键商品词,即将商品描述文本中与商品属性相关的词或词组作为关键商品词,使得该些关键商品词可作为商品图片的备选图片标签,提升商品图片的图片标签的商品描述准确性。
一种实施例中,请参考图7,获取各所述关键商品词对应的关联搜索词,将各所述关键商品词与所述关联搜索词作为备选图片标签存储至图片标签列表中,所述图片标签列表中各所述备选图片标签以搜索量进行排序的步骤中,包括:
步骤S131,组合商品图片对应的多个关键商品词,生成多个关键商品词组合,获取各所述关键商品词组合对应的一个或多个关联搜索词:
通过将关键商品词进行组合后再进行关联搜索词获取,以将多个关键商品词组合为长文本,获取与该长文本对应的关联搜索词,例如,商品图片对应的关键商品词分别为“A品牌”、“男性”、“裤子”、“黑色”,则可将“裤子”与“黑色”组合为关键商品词组合A,将“A品牌”与“黑色”组成为关键商品组合B,为关键商品词组合A获取的关联搜索词可能为“深色服饰”、为关键商品词组合B获取的关联搜索词可能为“A品牌深色服饰”,以提升获取的关联搜索词的数量,以及优化获取的关联搜索词与关键商品的相关性。
步骤S132,生成作用于所述商品图片的图片标签列表,将各所述关键商品词与各所述关键商品词作为备选图片标签存储至所述图片标签列表:
关于获取关键商品词对应的关联搜索词的方式,一般与获取关联词的来源相关,当获取的关联搜索词来自第三方搜索引擎,则可通过第三方搜索引擎所提供的搜索关键词优化接口,例如,当第三方搜索引擎为谷歌搜索引擎时,则可通过谷歌平台的GoogleAdWords Keyword Planner所提供的搜索关键词优化接口,来获取谷歌搜索引擎中作用于关键商品词的关联搜索词,当获取的关联搜索词来自网络电商平台时,则可通过爬虫工具抓取网络电商平台的与关键商品词相关的关联搜索词,或者获取由网络电商平台统计商品搜索服务中与关键商品词关联的搜索词作为关联搜索词。
获取关键商品词对应的关联搜索词,可将关键商品词与关联搜索词作为备选图片标签进行存储至图片标签列表中,所述图片标签列表作用于关键商品词所属的商品图片。
步骤S133,获取所述图片标签列表中各所述备选图片标签的搜索量进行逆序排序:
所述搜索量是指关键商品词或关联搜索词在第三方搜索引擎或网络电商平台中被作为搜索词进行搜索的搜索次数,当然也可为一段时间周期内的搜索次数,确定出图片标签列表中各备选图片标签的搜索量后,将基于该些备选图片标签各自的搜索量,由大至小,对该些备选图片标签在图片标签列表的存储排序进行逆序排序。
本实施例中,通过获取关键商品词的关联搜索词,以扩充商品图片的备选图片标签数量,使得可选择更多样且与搜索相关的词作为商品图片的图片标签,且获取备选图片标签的搜索量以作为后续图片标签筛选的参考参数,使得为商品图片选择的图片标签,可提升商品图片的商品对象被买家用户搜索到的概率,提升商品对象的曝光度。
一种实施例中,请参考图8,确定出所述图片标签列表中排序靠前且商品静态信息与商品动态信息满足预设条件的多个备选图片标签,将各所述备选图片标签作为所述商品图片的图片标签的步骤中,包括:
步骤S141,识别出图片标签列表中各备选图片标签与商品图片之间的语义特征相似度作为商品静态信息:
所述的语义特征相似度是指备选图片标签的文本与商品图片所展示的图像之间的语义相似度,一般将通过提取备选图片标签的文本的语义特征向量,且提取商品图片的语义特征向量,并将双方的语义特征向量映射至相同的语义空间,计算出两种语义特征向量之间的距离作为备选图片标签的文本与商品图片之间的语义特征相似度,所述语义特征相似度计算,可使用Faiss、ElasticSearch、Milvus等大规模向量检索引擎中的任意一种来实施,也可以采用诸如余弦相似度、内积、曼哈顿距离、欧氏距离等任意一种现成的算法来计算。
步骤S142,获取所述图片标签列表中各备选图片标签的商品竞争程度与商品转化率作为商品动态信息:
所述的商品竞争程度是基于使用备选图片标签作为商品图片的图片标签时的竞争激烈程度,竞争花费资金与竞争风险所决定,一般通过统计使用备选图片标签作为图片标签的电商店铺的销售额度、店铺上线时长与商品销量决定竞争激烈程度,根据使用备选图片标签作为图片标签所需向搜索引擎或网络电商平台的缴费决定竞争花费资金,根据竞争花费资金与使用备选图片标签作为图片标签的转化率决定竞争风险程度,所述商品竞争程度一般分为高中低三个等级,商品竞争程度越高则表征竞争激烈程度越激烈,竞争花费资金越多,竞争风险越高。
所述商品动态信息除了包含备选图片标签的商品竞争程度外,还包含备选图片标签的商品转化率,所述商品转化率一般通过统计使用备选图片标签作为商品图片的商品对象被搜索到后的点击率与购买率所决定,其可反映出使用备选图片标签作为商品图片的图片标签的商品对象被搜索到时买家用户的购买意愿。
步骤S143,筛选出各所述备选图片标签中商品静态信息的语义相似度超过预设相似度阈值,以及商品动态信息中商品竞争程度满足低竞争规则且商品转化率超过预设最低转化率阈值的合规备选图片标签:
商品静态信息的预设条件一般为判断备选图片标签与商品图片之间的特征相似度是否大于等于预设相似度阈值,若是,则备选图片标签的文本与商品图片之间的语义较为相似,该备选图片标签的商品静态信息满足预设条件。
商品竞争程度预设的条件一般为判断商品竞争程度是否为低等级商品竞争程度,若是,则表征使用备选图片标签作为图片标签时商品对象的商品竞争程度较低,满足其预设条件。
为所述商品转化率所设置的预设条件一般为判断商品转化率是否大于等于预设的最低转化率阈值,若是,则表征使用该备选图片标签作为商品图片的图片标签时,商品图片的商品对象的商品转化率较高,该备选图片标签满足其预设条件。
从图片标签列表中存储的备选图片标签中筛选出与商品图片之间的特征相似度大于等于预设相似度阈值,商品竞争程度为低等级商品竞争程度,且商品转化率大于等于最低转化率阈值的合规备选图片标签,该些合规备选图片标签即为与商品图片语义较为相关,则使用该些好贵备选图片标签作为商品图片的图片标签时,商品图片所属的商品对象的竞争程度低且买家用户购买意愿较强。
步骤S144,确定出图片标签列表的各所述合规备选图片标签中排序满足排序靠前规则的多个目标备选图片标签,将各所述目标备选图片标签作为商品图片的图片标签:
从图片标签列表中筛选出的各合规备选图片标签后,还需在该些合规备选图片标签中筛选出在图片标签列表中排序靠前的合规备选图片标签,即搜索量较高的合规备选图片标签,一般可从选择合规备选图片标签中在图片标签列表中排序为预设排位之前的合规备选图片标签作为商品图片的图片标签,或者选择在图片标签列表的排序靠前的预设数量的合规备选图片标签。
本实施例中,通过在扩充了关联搜索词的图片标签列表中,以商品图片相似度、商品竞争程度、商品转化率与搜索量多个维度为筛选参数,从图片标签列表中筛选出各项筛选参数符合条件的备选图片标签作为商品图片的图片标签,使得为商品图片筛选的图片标签可符合商品图片所展示的商品对象,且具有低竞争程度、高转化率与高搜索量的特性。
进一步,可以通过将上述各实施例所揭示的方法中的各个步骤进行功能化,构造出本申请的一种商品图片标签生成装置,按照这一思路,请参阅图9,其中的一个典型实施例中,该装置包括:描述文本生成模块11,用于调用图片描述文本生成模型,生成商品图片对应的商品描述文本;商品词提取模块12,用于调用商品词提取模型,提取出所述商品描述文本中包含的多个关键商品词;标签列表生成模块13,用于获取各所述关键商品词对应的关联搜索词,将各所述关键商品词与所述关联搜索词作为备选图片标签存储至图片标签列表中,所述图片标签列表中各所述备选图片标签以搜索量进行排序;图片标签筛选模块14,用于筛选出所述图片标签列表中排序靠前且商品静态信息与商品动态信息满足预设条件的多个备选图片标签,将各所述备选图片标签作为所述商品图片的图片标签。
一种实施例中,所述描述文本生成模块11包括:图像特征提取子模块,用于提取商品图片的图像语义特征向量,将该图像语义特征向量输入至输入编码层中,获取所述输入编码层输出的图像语义特征编码数据;唯一描述文本生成模块,用于将所述图像语义特征编码数据输入至输出解码层中,获取所述输出解码层输出的图像语义特征解码数据,对所述图像语义特征解码数据进行归一化处理获取商品描述文本。
另一种实施例中,所述描述文本生成模块11还包括:图像特征提取子模块,用于提取商品图片的图像语义特征向量,将该图像语义特征向量输入至输入编码层中,获取所述输入编码层输出的图像语义特征编码数据;多样描述文本生成子模块,用于将所述图像语义特征编码数据输入至输出解码层中,使用多样性解码策略,获取所述输出解码层输出的多个图像语义特征解码数据对应的多个商品描述文本;描述文本匹配子模块,用于获取所述商品图片对应的商品标题,调用商品标题匹配规则,从多个商品描述文本中确定出与所述商品标题较匹配的商品描述文本。
一种实施例中,所述商品词提取模块12包括:文本分词处理子模块,用于对商品描述文本进行分词处理,获取文本分词序列;语义特征提取子模块,用于提取所述文本分词序列中各分词的语义特征,获取文本语义特征序列;商品属性类型确定子模块,用于基于所述文本语义特征序列中各分词的语义特征,确定出各所述分词所属的实体类型,筛选出各所述分词中实体类型为预设商品属性类型的分词作为关键商品词,所述商品属性类型包括商品类目、商品品牌、商品颜色或商品尺寸。
一种实施例中,所述标签列表生成模块13包括:关联搜索词获取子模块,用于组合商品图片对应的多个关键商品词,生成多个关键商品词组合,获取各所述关键商品词组合对应的一个或多个关联搜索词;图片标签列表生成子模块,用于生成作用于所述商品图片的图片标签列表,将各所述关键商品词与各所述关键商品词作为备选图片标签存储至所述图片标签列表;图片标签排序子模块,用于获取所述图片标签列表中各所述备选图片标签的搜索量进行逆序排序。
一种实施例中,所述图片标签筛选模块14包括:商品静态信息生成子模块,用于识别出图片标签列表中各备选图片标签与商品图片之间的语义特征相似度作为商品静态信息;商品动态信息生成子模块,用于地图获取所述图片标签列表中各备选图片标签的商品竞争程度与商品转化率作为商品动态信息;合规图片标签筛选子模块,用于筛选出各所述备选图片标签中商品静态信息的语义相似度超过预设相似度阈值,以及商品动态信息中商品竞争程度满足低竞争规则与商品转化率超过预设最低转化率阈值的合规备选图片标签;目标图片标签确定子模块,用于确定出图片标签列表的各所述合规备选图片标签中排序满足排序靠前规则的多个目标备选图片标签,将各所述目标备选图片标签作为商品图片的图片标签。
为解决上述技术问题,本申请实施例还提供一种商品图片标签生成设备,用于运行根据所述商品图片标签生成方法所实现的计算机程序。具体请参阅图10,图10为本实施例商品图片标签生成设备基本结构框图。
如图10所示,商品图片标签生成设备的内部结构示意图。该商品图片标签生成设备包括通过系统总线连接的处理器、非易失性存储介质、存储器和网络接口。其中,该商品图片标签生成设备的非易失性存储介质存储有操作系统、数据库和计算机可读指令,数据库中可存储有控件信息序列,该计算机可读指令被处理器执行时,可使得处理器实现一种商品图片标签生成方法。该商品图片标签生成设备的处理器用于提供计算和控制能力,支撑整个商品图片标签生成设备的运行。该商品图片标签生成设备的存储器中可存储有计算机可读指令,该计算机可读指令被处理器执行时,可使得处理器执行一种商品图片标签生成方法。该商品图片标签生成设备的网络接口用于与终端连接通信。本领域技术人员可以理解,图10中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的商品图片标签生成设备的限定,具体的商品图片标签生成设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
本实施方式中处理器用于执行本申请的商品图片标签生成装置中的各个模块/子模块的具体功能,存储器存储有执行上述模块所需的程序代码和各类数据。网络接口用于向用户终端或服务器之间的数据传输。本实施方式中的存储器存储有商品图片标签生成装置中执行所有模块/子模块所需的程序代码及数据,服务器能够调用服务器的程序代码及数据执行所有子模块的功能。
本申请还提供一种非易失性存储介质,所述的商品图片标签生成方法被编写成计算机程序,以计算机可读指令的形式存储于该存储介质中,计算机可读指令被一个或多个处理器执行时,意味着该程序在计算机中的运行,由此使得一个或多个处理器执行上述任一实施例商品图片标签生成方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该计算机程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)等非易失性存储介质,或随机存储记忆体(Random Access Memory,RAM)等。
综上所述,本申请可为网络电商平台提供图片标签自动生成服务,以为平台中各商品的商品图片生成图片标签,节省人工手动设置图片标签的时间成本。
应该理解的是,虽然附图的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本技术领域技术人员可以理解,本申请中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地,具有本申请中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地,现有技术中的具有与本申请中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。
以上所述仅是本申请的部分实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种商品图片标签生成方法,其特征在于,包括如下步骤:
调用图片描述文本生成模型,生成商品图片对应的商品描述文本;
调用商品词提取模型,提取出所述商品描述文本中包含的多个关键商品词;
获取各所述关键商品词对应的关联搜索词,将各所述关键商品词与所述关联搜索词作为备选图片标签存储至图片标签列表中,所述图片标签列表中各所述备选图片标签以搜索量进行排序;
确定出所述图片标签列表中排序靠前且商品静态信息与商品动态信息满足预设条件的多个备选图片标签,将各所述备选图片标签作为所述商品图片的图片标签。
2.根据权利要求1所述的商品图片标签生成方法,其特征在于,调用图片描述文本生成模型,生成商品图片对应的商品描述文本的步骤前,包括
获取多个商品图片对应的商品对象的商品关键信息,所述商品关键信息包括商品标题文本与商品属性文本;
调用商品描述文本生成模型,生成各所述商品关键信息生成训练商品描述文本;
将各所述商品图片与其对应所述训练商品描述文本作为训练样本,训练图片描述文本生成模型训练至收敛。
3.根据权利要求1所述的商品图片标签生成方法,其特征在于,调用图片描述文本生成模型,生成商品图片对应的商品描述文本的步骤中,包括:
提取商品图片的图像语义特征向量,将该图像语义特征向量输入至输入编码层中,获取所述输入编码层输出的图像语义特征编码数据;
将所述图像语义特征编码数据输入至输出解码层中,获取所述输出解码层输出的图像语义特征解码数据,对所述图像语义特征解码数据进行归一化处理获取商品描述文本。
4.根据权利要求1所述的商品图片标签生成方法,其特征在于,调用图片描述文本生成模型,生成商品图片对应的商品描述文本的步骤中,包括:
提取商品图片的图像语义特征向量,将该图像语义特征向量输入至输入编码层中,获取所述输入编码层输出的图像语义特征编码数据;
将所述图像语义特征编码数据输入至输出解码层中,使用多样性解码策略,获取所述输出解码层输出的多个图像语义特征解码数据对应的多个商品描述文本;
获取所述商品图片对应的商品标题,调用商品标题匹配规则,从多个商品描述文本中确定出与所述商品标题较匹配的商品描述文本。
5.根据权利要求1所述的商品图片标签生成方法,其特征在于,调用商品词提取模型,提取出所述商品描述文本中包含的多个关键商品词的步骤中,包括:
对商品描述文本进行分词处理,获取文本分词序列:
提取所述文本分词序列中各分词的语义特征,获取文本语义特征序列:
基于所述文本语义特征序列中各分词的语义特征,确定出各所述分词所属的实体类型,筛选出各所述分词中实体类型为预设商品属性类型的分词作为关键商品词,所述商品属性类型包括商品类目、商品品牌、商品颜色或商品尺寸。
6.根据权利要求1所述的商品图片标签生成方法,其特征在于,获取各所述关键商品词对应的关联搜索词,将各所述关键商品词与所述关联搜索词作为备选图片标签存储至图片标签列表中,所述图片标签列表中各所述备选图片标签以搜索量进行排序的步骤中,包括:
组合商品图片对应的多个关键商品词,生成多个关键商品词组合,获取各所述关键商品词组合对应的一个或多个关联搜索词;
生成作用于所述商品图片的图片标签列表,将各所述关键商品词与各所述关键商品词作为备选图片标签存储至所述图片标签列表;
获取所述图片标签列表中各所述备选图片标签的搜索量进行逆序排序。
7.根据权利要求1所述的商品图片标签生成方法,其特征在于,确定出所述图片标签列表中排序靠前且商品静态信息与商品动态信息满足预设条件的多个备选图片标签,将各所述备选图片标签作为所述商品图片的图片标签的步骤中,包括:
识别出图片标签列表中各备选图片标签与商品图片之间的语义特征相似度作为商品静态信息;
获取所述图片标签列表中各备选图片标签的商品竞争程度与商品转化率作为商品动态信息;
筛选出各所述备选图片标签中商品静态信息的语义相似度超过预设相似度阈值,以及商品动态信息中商品竞争程度满足低竞争规则与商品转化率超过预设最低转化率阈值的合规备选图片标签;
确定出图片标签列表的各所述合规备选图片标签中排序满足排序靠前规则的多个目标备选图片标签,将各所述目标备选图片标签作为商品图片的图片标签。
8.一种商品图片标签生成装置,其特征在于,包括:
描述文本生成模块,用于调用图片描述文本生成模型,生成商品图片对应的商品描述文本;
商品词提取模块,用于调用商品词提取模型,提取出所述商品描述文本中包含的多个关键商品词;
标签列表生成模块,用于获取各所述关键商品词对应的关联搜索词,将各所述关键商品词与所述关联搜索词作为备选图片标签存储至图片标签列表中,所述图片标签列表中各所述备选图片标签以搜索量进行排序;
图片标签筛选模块,用于筛选出所述图片标签列表中排序靠前且商品静态信息与商品动态信息满足预设条件的多个备选图片标签,将各所述备选图片标签作为所述商品图片的图片标签。
9.一种商品图片标签生成设备,包括中央处理器和存储器,其特征在于,所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行如权利要求1至7中任意一项所述的方法的步骤。
10.一种计算机可读存储介质,其特征在于,其以计算机可读指令的形式存储有依据权利要求1至7中任意一项所述的方法所实现的计算机程序,该计算机程序被计算机调用运行时,执行相应的方法所包括的步骤。
CN202310800563.8A 2023-06-30 2023-06-30 商品图片标签生成方法及其装置、设备、介质、产品 Pending CN116796027A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310800563.8A CN116796027A (zh) 2023-06-30 2023-06-30 商品图片标签生成方法及其装置、设备、介质、产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310800563.8A CN116796027A (zh) 2023-06-30 2023-06-30 商品图片标签生成方法及其装置、设备、介质、产品

Publications (1)

Publication Number Publication Date
CN116796027A true CN116796027A (zh) 2023-09-22

Family

ID=88036349

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310800563.8A Pending CN116796027A (zh) 2023-06-30 2023-06-30 商品图片标签生成方法及其装置、设备、介质、产品

Country Status (1)

Country Link
CN (1) CN116796027A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117151082A (zh) * 2023-10-30 2023-12-01 量子数科科技有限公司 一种基于大语言模型的商品标题spu关键词提取方法
CN117456077A (zh) * 2023-10-30 2024-01-26 神力视界(深圳)文化科技有限公司 一种材质贴图生成方法及相关设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117151082A (zh) * 2023-10-30 2023-12-01 量子数科科技有限公司 一种基于大语言模型的商品标题spu关键词提取方法
CN117151082B (zh) * 2023-10-30 2024-01-02 量子数科科技有限公司 一种基于大语言模型的商品标题spu关键词提取方法
CN117456077A (zh) * 2023-10-30 2024-01-26 神力视界(深圳)文化科技有限公司 一种材质贴图生成方法及相关设备

Similar Documents

Publication Publication Date Title
US11204972B2 (en) Comprehensive search engine scoring and modeling of user relevance
WO2018040944A1 (zh) 恶意地址/恶意订单的识别系统、方法及装置
CN112364204B (zh) 视频搜索方法、装置、计算机设备及存储介质
CN116796027A (zh) 商品图片标签生成方法及其装置、设备、介质、产品
CN114638646A (zh) 广告投放推荐方法及其装置、设备、介质、产品
US11682060B2 (en) Methods and apparatuses for providing search results using embedding-based retrieval
CN113570413A (zh) 广告关键词的生成方法、装置、存储介质及电子设备
CN113468414A (zh) 商品搜索方法、装置、计算机设备及存储介质
CN114186013A (zh) 实体识别模型热更新方法及其装置、设备、介质、产品
CN114663197A (zh) 商品推荐方法及其装置、设备、介质、产品
CN116521906B (zh) 元描述生成方法及其装置、设备、介质
CN112488781A (zh) 搜索推荐方法、装置、电子设备及可读存储介质
CN114818674A (zh) 商品标题关键词提取方法及其装置、设备、介质、产品
CN114862480A (zh) 广告投放定向方法及其装置、设备、介质、产品
US20240086474A1 (en) Identifying search results using deep query understanding
CN116029793A (zh) 商品推荐方法及其装置、设备、介质
WO2020072453A1 (en) Probabilistic item matching and searching
CN115907928A (zh) 商品推荐方法及其装置、设备、介质
CN113806536B (zh) 文本分类方法及其装置、设备、介质、产品
CN115618126A (zh) 搜索处理方法、系统、计算机可读存储介质及计算机设备
CN115293818A (zh) 广告投放选品方法及其装置、设备、介质
CN115705468A (zh) 自动的同义词、缩写词和首字母缩略词检测
CN114782142A (zh) 商品信息匹配方法及其装置、设备、介质、产品
CN114282119A (zh) 一种基于异构信息网络的科技信息资源检索方法及系统
CN113449109A (zh) 安全类别标签检测方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination