CN115309905A - 广告文本生成方法及其装置、设备、介质 - Google Patents

广告文本生成方法及其装置、设备、介质 Download PDF

Info

Publication number
CN115309905A
CN115309905A CN202211060601.2A CN202211060601A CN115309905A CN 115309905 A CN115309905 A CN 115309905A CN 202211060601 A CN202211060601 A CN 202211060601A CN 115309905 A CN115309905 A CN 115309905A
Authority
CN
China
Prior art keywords
text
advertisement
probability distribution
decoding
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211060601.2A
Other languages
English (en)
Inventor
葛莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Huanju Shidai Information Technology Co Ltd
Original Assignee
Guangzhou Huanju Shidai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Huanju Shidai Information Technology Co Ltd filed Critical Guangzhou Huanju Shidai Information Technology Co Ltd
Priority to CN202211060601.2A priority Critical patent/CN115309905A/zh
Publication of CN115309905A publication Critical patent/CN115309905A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3346—Query execution using probabilistic model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0276—Advertisement creation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Finance (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Health & Medical Sciences (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Evolutionary Computation (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Probability & Statistics with Applications (AREA)

Abstract

本申请涉及计算机技术领域中一种广告文本生成方法及其装置、设备、介质，所述方法包括：获取广告商品的商品标题及其参考广告文本；采用文本生成模型的编解码网络逐时间步解码获得商品标题的解码特征信息，确定其映射到编解码网络所引用的第一参考词表的生成概率分布；采用文本生成模型的编码器获得商品标题与其参考广告文本所构成的综合文本的编码特征信息，确定其相对于解码特征信息的关键特征信息，作为指针概率分布；根据编码特征信息与解码特征信息计算确定匹配权重，以匹配权重对生成概率分布和指针概率分布平滑加权，获得优化概率分布，根据其在所述第一参考词表或所述综合文本中取词确定目标广告文本的词元。本申请能够生成高质量的广告文本。

Description

广告文本生成方法及其装置、设备、介质
技术领域
本申请涉及电商技术领域，尤其涉及一种广告文本生成方法及其相应的装置、计算机设备、计算机可读存储介质。
背景技术
电商场景中，广告投放是商品吸引潜在顾客、促进购买行为的重要方式，而广告投放时向用户展示的重要内容之一就是广告文本。在实践中，创作广告文本需要充分理解商品和目标市场，了解广告投放的文案规范，在此基础之上，能够提取商品的卖点信息，采用一定的表达技巧，撰写出投合市场和最大程度达成商业目的的文案，由此足见广告文本的创作需要花费人力和时间。除此之外，编写广告文本也需要较高的专业水准，而商家用户往往缺少相应的条件，也为广告文本的创作带来困难。
传统广告文本的生成技术通常输入待投放广告的商品的相关信息，基于预先训练至收敛的编解码网络生成相应的广告文本，然而在广告文本的推理和测试阶段，编解码网络作为黑盒子，人为能做的有效提升生成效果的干预非常少，一般只能从与待投放广告的商品相似的商品在历史投放广告时使用的广告文本着手，然而，如何充分借鉴相似商品的广告文本的广告创意，以生成高质量的广告文本，仍是亟待解决的问题。
发明内容
本申请的首要目的在于解决上述问题至少之一而提供一种广告文本生成方法及其相应的装置、计算机设备、计算机可读存储介质。
为满足本申请的各个目的，本申请采用如下技术方案：
适应本申请的目的之一而提供的一种广告文本生成方法，包括如下步骤：
获取广告商品的商品标题及其参考广告文本；
采用文本生成模型的编解码网络逐时间步解码获得所述商品标题的解码特征信息，确定所述解码特征信息映射到所述编解码网络所引用的第一参考词表的生成概率分布；
采用文本生成模型的编码器获得所述商品标题与其参考广告文本所构成的综合文本的编码特征信息，确定所述编码特征信息相对于所述解码特征信息的关键特征信息，作为指针概率分布；
根据所述编码特征信息与所述解码特征信息计算确定匹配权重，以所述匹配权重对所述生成概率分布和指针概率分布平滑加权，获得优化概率分布，所述优化概率分布包含映射到所述第一参考词表及所述综合文本中各个词元的概率；
根据优化概率分布在所述第一参考词表或所述综合文本中取词确定目标广告文本的词元。
另一方面，适应本申请的目的之一而提供的一种广告文本生成装置，包括数据获取模块、第一概率分布模块、第二概率分布模块、第三概率分布模块以及词元确定模块，其中：数据获取模块，用于获取广告商品的商品标题及其参考广告文本；第一概率分布模块，用于采用文本生成模型的编解码网络逐时间步解码获得所述商品标题的解码特征信息，确定所述解码特征信息映射到所述编解码网络所引用的第一参考词表的生成概率分布；第二概率分布模块，用于采用文本生成模型的编码器获得所述商品标题与其参考广告文本所构成的综合文本的编码特征信息，确定所述编码特征信息相对于所述解码特征信息的关键特征信息，作为指针概率分布；第三概率分布模块，用于根据所述编码特征信息与所述解码特征信息计算确定匹配权重，以所述匹配权重对所述生成概率分布和指针概率分布平滑加权，获得优化概率分布，所述优化概率分布包含映射到所述第一参考词表及所述综合文本中各个词元的概率；词元确定模块，用于根据优化概率分布在所述第一参考词表或所述综合文本中取词确定目标广告文本的词元。
又一方面，适应本申请的目的之一而提供的一种计算机设备，包括中央处理器和存储器，所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行本申请所述的广告文本生成方法的步骤。
又一方面，适应本申请的另一目的而提供的一种计算机可读存储介质，其以计算机可读指令的形式存储有依据所述的广告文本生成方法所实现的计算机程序，该计算机程序被计算机调用运行时，执行该方法所包括的步骤。
本申请的技术方案存在多方面优势，包括但不限于如下各方面：
本申请采用文本生成模型一方面基于广告商品的商品标题，确定出生成概率分布，另一方面基于商品标题及其参考广告文本构成的综合文本，确定出指针概率分布，进而借助匹配权重对生成概率分布和指针概率分布平滑加权得出优化概率分布，根据优化概率分布在模型引用的参考词表或综合文本中取词确定目标广告文本的词元，生成目标广告文本。可见能够结合对广告商品自身信息的充分理解，以及充分地借鉴参考广告文本的广告创意，从而生成高质量的广告商品的广告文本。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请的广告文本生成方法的典型实施例的流程示意图；
图2为本申请的实施例中筛选与广告商品的商品标题相匹配的参考广告文本的流程示意图；
图3为本申请的实施例中确定出构造目标广告文本对应的各个时间步的生成概率分布的流程示意图；
图4为本申请的实施例中构造目标广告文本对应的各个时间步的指针概率分布的流程示意图；
图5为本申请的实施例中构造目标广告文本对应的各个时间步的优化概率分布的流程示意图；
图6为本申请的实施例中文本生成模型的训练过程的示意图；
图7为本申请的广告文本生成装置的原理框图；
图8为本申请所采用的一种计算机设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
本技术领域技术人员可以理解，这里所使用的“客户端”、“终端”、“终端设备”既包括无线信号接收器的设备，其仅具备无发射能力的无线信号接收器的设备，又包括接收和发射硬件的设备，其具有能够在双向通信链路上，进行双向通信的接收和发射硬件的设备。这种设备可以包括：蜂窝或其他诸如个人计算机、平板电脑之类的通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备；PCS(PersonalCommunications Service，个人通信系统)，其可以组合语音、数据处理、传真和/或数据通信能力；PDA(Personal Digital Assistant，个人数字助理)，其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(Global PositioningSystem，全球定位系统)接收器；常规膝上型和/或掌上型计算机或其他设备，其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“客户端”、“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的，或者适合于和/或配置为在本地运行，和/或以分布形式，运行在地球和/或空间的任何其他位置运行。这里所使用的“客户端”、“终端”、“终端设备”还可以是通信终端、上网终端、音乐/视频播放终端，例如可以是PDA、MID(Mobile Internet Device，移动互联网设备)和/或具有音乐/视频播放功能的移动电话，也可以是智能电视、机顶盒等设备。
本申请所称的“服务器”、“客户端”、“服务节点”等名称所指向的硬件，本质上是具备个人计算机等效能力的电子设备，为具有中央处理器(包括运算器和控制器)、存储器、输入设备以及输出设备等冯诺依曼原理所揭示的必要构件的硬件装置，计算机程序存储于其存储器中，中央处理器将存储在外存中的程序调入内存中运行，执行程序中的指令，与输入输出设备交互，借此完成特定的功能。
需要指出的是，本申请所称的“服务器”这一概念，同理也可扩展到适用于服务器机群的情况。依据本领域技术人员所理解的网络部署原理，所述各服务器应是逻辑上的划分，在物理空间上，这些服务器既可以是互相独立但可通过接口调用的，也可以是集成到一台物理计算机或一套计算机机群的。本领域技术人员应当理解这一变通，而不应以此约束本申请的网络部署方式的实施方式。
本申请的一个或数个技术特征，除非明文指定，既可部署于服务器实施而由客户端远程调用获取服务器提供的在线服务接口来实施访问，也可直接部署并运行于客户端来实施访问。
本申请中所引用或可能引用到的神经网络模型，除非明文指定，既可部署于远程服务器且在客户端实施远程调用，也可部署于设备能力胜任的客户端直接调用，某些实施例中，当其运行于客户端时，其相应的智能可通过迁移学习来获得，以便降低对客户端硬件运行资源的要求，避免过度占用客户端硬件运行资源。
本申请所涉及的各种数据，除非明文指定，既可远程存储于服务器，也可存储于本地终端设备，只要其适于被本申请的技术方案所调用即可。
本领域技术人员对此应当知晓：本申请的各种方法，虽然基于相同的概念而进行描述而使其彼此间呈现共通性，但是，除非特别说明，否则这些方法都是可以独立执行的。同理，对于本申请所揭示的各个实施例而言，均基于同一发明构思而提出，因此，对于相同表述的概念，以及尽管概念表述不同但仅是为了方便而适当变换的概念，应被等同理解。
本申请即将揭示的各个实施例，除非明文指出彼此之间的相互排斥关系，否则，各个实施例所涉的相关技术特征可以交叉结合而灵活构造出新的实施例，只要这种结合不背离本申请的创造精神且可满足现有技术中的需求或解决现有技术中的某方面的不足即可。对此变通，本领域技术人员应当知晓。
本申请的一种广告文本生成方法，可被编程为计算机程序产品，部署于客户端或服务器中运行而实现，例如，本申请的示例性应用场景中，可以在电商平台的服务器中部署实现，藉此可以通过访问该计算机程序产品运行后开放的接口，通过图形用户界面与该计算机程序产品的进程进行人机交互而执行该方法。
请参阅图1，本申请的广告文本生成方法，在其典型实施例中，包括如下步骤：
步骤S1100、获取广告商品的商品标题及其参考广告文本；
当线上店铺的用户需要生成投放广告的广告商品的广告文本时，一个实施例中，可以通过一个广告生成页面，在其中指定需要生成广告文本相对应的广告商品。通常所述广告商品可以是线上店铺的商品数据库中的一个商品，或者也可以是由用户提供具体的商品信息而实现自定义的商品。为了便于理解，假设与商品相关的商品信息均存储于商品数据库中，用户通过该广告生成页面指定广告商品即可。
当线上店铺的用户需要指定所述的广告商品时，通常可以通过指定广告商品唯一特征标识码即商品ID来确定，根据该商品ID便可从所述商品数据库中调用所述广告商品的商品信息。
所述商品信息包括但不限于图片、文本等不同类型的数据。商品信息中的图片包括是电商平台的线上店铺的用户上架商品时为该商品上传的用于展示的图片，能够从总体和不同侧面展示商品，包含商品主图、商品详情图等，通常以商品主图作为首要展示商品的图片，因其通常能够展示相应的商品的全貌。本申请中，推荐使用广告商品的商品主图作为后续所赖以处理的商品图片。商品信息中的商品标题是电商平台的线上店铺的用户上架商品时为该商品输入的作为标题的文本。
可采集当前线上店铺的用户在电商平台提供的广告系统上历史投放过的创意广告，除此之外，可采集来自第三方广告系统上历史投放的创意广告，所述创意广告中包含一个商品相对应的商品图片及其创意文本，所述创意文本为用于展示相应的商品的卖点信息相对应的描述文本，所述商品图片可采用最能展示相应商品的图片，例如商品主图。
可预先采用图像编码器编码所述来自第三方广告系统上历史投放的创意广告的商品图片，获得相应的图片编码向量，预先采用文本编码器编码所述创意广告的创意文本，获得相应的文本编码向量，关联相应的创意广告存储其图片编码向量和文本编码向量，以备后续调用。所述图像编码器可采用预先训练至收敛的ViT(Vision Transformer)模型,深度卷积模型EfficientNet、DenseNet、Resnet等任一种模型，所述文本编码器可采用预先训练至收敛的能够向量化表示文本的模型，譬如BERT、RoBERTa、XLM-RoBERTa、MPNet等任意一种模型。
一种实施例中，同理，采用所述图像编码器编码所述线上店铺的用户选定的广告商品的商品图片，获得相应的图片编码向量，采用所述文本编码器编码所述广告商品的商品标题，获得相应的文本编码向量。
进一步，计算出所述广告商品的商品图片的图片编码向量，与所述电商平台提供的广告系统及第三方广告系统上历史投放的各个创意广告中的商品图片的图片编码向量之间的向量距离作为第一相似度，计算出所述广告商品的商品标题的文本编码向量与所述各个创意广告中的创意文本的文本编码向量之间的向量距离作为第二相似度。针对各个创意广告，以其第一相似度和第二相似度乘上各自预设权重再相加，计算出各个创意广告相对应的第一综合相似度，据此，从各个创意广告中，筛选出第一综合相似度超过最高的除所述广告商品的历史投放的创意广告以外的创意广告，获得其中的创意文本作为与所述广告商品的商品标题相匹配的参考广告文本。所述第一相似度和第二相似度各自的预设权重，可由本领域技术人员灵活变通设置，只需保证两者各自的预设权重相加为1。
进一步的实施例中，在计算出所述电商平台提供的广告系统及第三方广告系统上历史投放的各个创意广告对应的图片相似度和文本相似度的基础上，同理，采用所述文本编码器编码所述广告商品的历史投放的创意广告中的创意文本，获得相应的文本编码向量，计算出所述广告商品的创意文本的文本编码向量与所述各个创意广告中的创意文本的文本编码向量之间的向量距离作为第三相似度。针对各个创意广告，以其第一相似度、第二相似度及第三相似度乘上各自预设权重再相加，计算出各个创意广告相对应的第二综合相似度，据此，从各个创意广告中，筛选出第二综合相似度超过最高的除所述广告商品的历史投放的创意广告以外的创意广告，获得其中的创意文本作为与所述广告商品的商品标题相匹配的参考广告文本。所述第一相似度、第二相似度及第三相似度各自的预设权重，可由本领域技术人员灵活变通设置，只需保证三者各自的预设权重相加为1。
在计算所述的向量距离时，可以Faiss、ElasticSearch、Milvus等大规模向量检索引擎中的任意一种来实施，也可以采用诸如余弦相似度、点积、曼哈顿距离、欧氏距离等任意一种现成的算法来计算。
至此，不难理解，当线上店铺的用户指定广告商品后，便可从商品数据库中获得该广告商品的商品标题、商品图片，进一步参考上述实施例的实现便可确定出与该商品标题相匹配的参考广告文本。据此，便可获取广告商品的商品标题及其参考广告文本。
步骤S1200、采用文本生成模型的编解码网络逐时间步解码获得所述商品标题的解码特征信息，确定所述解码特征信息映射到所述编解码网络所引用的第一参考词表的生成概率分布；
所述文本生成模型的编解码网络可采用Transformer模型，该模型同时包含了编码器和解码器。根据文本生成模型的编解码网络所引用的第一参考词表对所述商品标题进行词嵌入，确定所述商品标题中的各个词元在所述第一参考词表中的编码特征，获得相应的第一编码向量。在所述编解码网络的编码器作用下，在所述第一编码向量的基础上提取深层语义信息，获得相应的第一编码向量序列，进一步，解码器基于自身的自回归机制进行逐个时间步的解码，针对每个时间步的解码，根据所述第一编码向量序列及当前时间步之前的每个时间步对应的解码结果进行解码，具体而言，将该第一编码向量序列作为前缀信息输入至所述编解码网络的解码器进行解码，获得解码器的最后一个隐藏层的解码特征序列作为解码特征信息，将所述解码特征信息经全连接层映射到词表分类器，获得相应的生成概率分布，采用预设的解码策略根据该生成概率分布选定当前时间步相对应的词元作为解码结果后，以该词元在所述第一参考词表中的编码特征追加到所述前缀信息中输入至所述编码器进行下一时间步解码，继续进行下一时间步的生成概率的预测，直至遭遇结束符为止。
所述生成概率分布是对第一参考词表中各个词元的分类概率的表示。所述解码策略可以包括但不限于：Top_N算法、Top_K算法、集束搜索算法、贪心搜索算法，本领域技术人员可按需选取一种实现。所述的词表分类器，可以采用Softmax函数来构造，其在解码器的最后一个隐藏层之后接入，预测当前时间步所对应的词元，计算出相应的隐层向量映射到整个第一参考词表中的各个词元的概率分布。
基于上述可以理解，在逐时间步解码所述商品标题的过程中，对应每个时间步都能获得其在解码器的最后一个隐藏层对应的解码特征信息，确定出该解码特征信息映射至所述第一参考词表的生成概率分布。
步骤S1300、采用文本生成模型的编码器获得所述商品标题与其参考广告文本所构成的综合文本的编码特征信息，确定所述编码特征信息相对于所述解码特征信息的关键特征信息，作为指针概率分布；
将所述商品标题与其参考广告文本拼接成综合文本，例如：“商品标题[SEP]参考广告文本”。采用文本生成模型的编码器所引用的第二参考词表对所述综合文本进行词嵌入，确定所述综合文本中各个词元在所述第二参考词表中的编码特征，获得相应的第二编码向量。在该编码器的作用下，在所述第二编码向量的基础上提取深层语义信息，获得编码层的最后一个隐藏层的第二编码向量序列作为编码特征信息，可以理解，所述编码特征信息中的每个元素为相应的所述综合文本中每个词元的编码表示。
所述文本生成模型的编码器为适用于处理长文本编码的编码器，例如：Longformer、BigBird、Reformer等，本领域技术人员可按需选取其中一种实现。
进一步，将所述文本生成模型的编解码网络解码过程中每个时间步对应的所述解码特征信息与所述编码特征信息输入至注意力层基于加性注意力机制进行特征交互，获得每个时间步相对应所述综合文本的关键特征信息作为指针概率分布。
步骤S1400、根据所述编码特征信息与所述解码特征信息计算确定匹配权重，以所述匹配权重对所述生成概率分布和指针概率分布平滑加权，获得优化概率分布，所述优化概率分布包含映射到所述第一参考词表及所述综合文本中各个词元的概率；
在获得每个时间步相对应的所述综合文本的关键特征信息的基础上，以所述关键特征信息对所述编码特征信息中各个元素，即相应的综合文本中的每个词元的在编码器的最后一个隐藏层的编码表示进行加权，将加权后的各个元素相加求和，获得所述综合文本的上下文向量。
进一步，根据所述编码特征信息与所述上下文向量计算确定匹配权重，所述匹配权重具体表示为概率，值域为[0,1]，该概率决定从所述第一参考词表中生成单词的概率，而不是从综合文本中复制单个词元的概率，据此，相对而言则可以1减去所述匹配权重，决定从综合文本中复制单个词元的概率，而不是从所述第一参考词表中生成单词的概率。如此，便可实现以所述匹配权重对所述生成概率分布进行加权，以1减去所述匹配权重对所述指针概率分布进行加权，在两者加权后相加，获得优化概率分布。
步骤S1500、根据优化概率分布在所述第一参考词表或所述综合文本中取词确定目标广告文本的词元。
基于步骤S1100-1400的揭示不难理解，在所述文本生成模型的编解码网络逐时间步解码过程中，针对每个时间步都能够确定出其对应的生成概率分布、指针概率分布、匹配权重，进而可得出相应的优化概率分布。
可知，在所述优化概率分布中的匹配权重的作用下，对于所述文本生成模型预测的各个词元而言，匹配权重越接近1表示预测受到生成概率分布的注意力更强，即较大的概率从所述第一参考词表中取词确定为所述预测的词元；匹配权重越接近于0表示预测受到指针概率分布的注意力更强，即较大的概率从所述综合文本中复制词元确定为所述预测的词元。
基于前述，根据每个时间步相对应的所述优化概率分布，采用预设的解码策略，在所述第一参考词表或所述综合文本中取词确定相应的各个词元作为目标广告文本的词元，构造出目标广告文本，所述解码策略可以包括但不限于：Top_N算法、Top_K算法、集束搜索算法、贪心搜索算法，本领域技术人员可按需选取一种实现。
一种实施例中，采用贪心搜索算法以求一定程度上的局部最优解，具体而言，对应每个时间步根据其优化概率分布确定出概率最大的一个词元，继而以每个时间步对应确定的词元作为目标广告文本的词元，构造出目标广告文本。
根据本申请的典型实施例可以知晓，本申请的技术方案存在多方面优势，包括但不限于如下各方面：
本申请采用文本生成模型一方面基于广告商品的商品标题，确定出生成概率分布，另一方面基于商品标题及其参考广告文本构成的综合文本，确定出指针概率分布，进而借助匹配权重对生成概率分布和指针概率分布平滑加权得出优化概率分布，根据优化概率分布在模型引用的参考词表或综合文本中取词确定目标广告文本的词元，生成目标广告文本。可见能够结合对广告商品自身信息的充分理解，以及充分地借鉴参考广告文本的广告创意，从而生成高质量的广告商品的广告文本。
请参阅图2，进一步的实施例中，步骤S1100、获取广告商品的商品标题及其参考广告文本的步骤中，包括如下步骤：
步骤S1110、获取广告商品的商品标题和商品图片；
当线上店铺的用户需要指定的广告商品为其生成广告文本时，通常可以通过指定广告商品唯一特征标识码即商品ID来确定，根据该商品ID便可从所述线上店铺的商品数据库中调用所述广告商品的商品标题和商品图片。
本申请预备有广告创意库，所述广告创意库包含两个子库，分别是私有广告创意库和公用广告创意库，其中，私有广告创意库可以用于存储当前用户的线上店铺商品相对应的在电商平台提供的广告系统中发布过的创意广告，公用广告创意库可以用于存储第三方广告系统上投放过的创意广告。相应的，所述私有广告创意库被预设为仅供当前线上店铺的用户私有访问，所述公用广告创意库被预设为供电商平台内所有用户访问。所述创意广告中包含一个商品相对应的商品图片及其创意文本，所述创意文本为用于展示相应的商品的卖点信息相对应的描述文本，所述商品图片可采用最能展示相应商品的图片，例如商品主图。前述实现，能够有效实施对不同线上店铺自有的创意广告的数据隔离，保障各个线上店铺自有的创意广告的隐私保护。
进一步，通过将所述私有广告创意库和公用广告创意库中的每一条创意广告映射到统一算法确定相对应的索引标签，使得根据所述的索引标签便可快速确定其对应的创意广告，以便后续调用。所述索引标签可以是自然数序号，也可以是MD5、SHA1等合希散列函数和Base64算法等算法对相应的创意广告编码所得的结果。
在本申请的广告创意库中，每个创意广告中的商品图片，均采用预设的图像编码器预先提取出相应的图片编码向量，每个创意广告中的创意文本，均采用预设的文本编码器预先提取出相应的文本编码向量，进而将每个创意广告相对应的图片编码向量和文本编码向量，关联相应创意广告的索引标签进行存储，以备后续调用。所述图像编码器可采用预先训练至收敛的ViT(VisionTransformer)模型,深度卷积模型EfficientNet、DenseNet、Resnet等任一种模型，所述文本编码器可采用预先训练至收敛的能够向量化表示文本的模型，譬如BERT、RoBERTa、XLM-RoBERTa、MPNet等任意一种模型。
步骤S1120、采用文本编码器提取所述广告商品的商品标题的深层语义信息，获得相应的文本编码向量，采用图像编码器提取所述广告商品的商品图片的深层语义信息，获得相应的图片编码向量；
同理，针对所述广告商品的商品图片，也同样采用所述的图像编码器基于图像卷积提取出深层语义信息，获得相应的向量化表示即图片编码向量，针对所述广告商品的商品标题，也同样采用所述的文本编码器基于双向特征编码提取出深层语义信息，获得相应的向量化表示即文本编码向量。
步骤S1130、计算出所述广告商品的商品图片的图片编码向量与广告创意库中的各个创意广告中的商品图片的图片编码向量之间的第一相似度，以及计算出所述广告商品的商品标题的文本编码向量与广告创意库中的各个创意广告中的参考广告文本的文本编码向量之间的第二相似度；
一般而言，能够以两两对象分别的向量之间的向量距离，表征两两对象之间的相似度。据此，计算出广告商品的商品图片的图片编码向量，与所述广告创意库中各个创意广告的商品图片的图片编码向量之间的向量距离作为第一相似度，计算出广告商品的商品标题的文本编码向量，与所述广告创意库中各个创意广告的商品标题的文本编码向量之间的向量距离作为第二相似度。
在计算所述的向量距离时，可以Faiss、ElasticSearch、Milvus等大规模向量检索引擎中的任意一种来实施，也可以采用诸如余弦相似度、点积、曼哈顿距离、欧氏距离等任意一种现成的算法来计算。
步骤S1140、根据所述第一相似度和第二相似度从广告创意库中筛选出与所述商品标题相匹配的参考广告文本。
可为所述第一相似度和第二相似度预设相应的权重，且两者的权重相加为1，例如视乎商品图片相似相比于文本相似更能表征广告商品与创意广告之间的相似性，则可以设置第一相似度比第二相似度的权重大，可以是第一相似度的权重为0.6，第二相似度的权重为0.4,反之，则可以设置第一相似度比第二相似度小，再者，商品图片相似和文本相似等效表征广告商品与创意广告之间的相似性，则可以设置第一相似度与第二相似度的权重同等为0.5。参考此处揭示，本领域技术人员可按需设置第一相似度和第二相似度对应的权重。
将所述第一相似度和第二相似度乘上各自权重再相加计算出第一综合相似度，据此，便可获得广告创意库中各个创意广告相对应的第一综合相似度，进而筛选出第一综合相似度超过最高的除所述广告商品的历史投放的创意广告以外的创意广告，获得其中的创意文本作为与所述广告商品的商品标题相匹配的参考广告文本。
本实施例中，通过确定出广告商品的商品图片分别与各个创意广告中的商品图片之间的第一相似度，以及广告商品的商品标题分别与各个创意广告中的创意文本之间的第二相似度，继而结合两个维度的相似度得出综合相似度，确保广告商品与各个创意广告之间的相似性的置信度，使得从各个创意广告中，根据其相对应的综合相似度便可精准确定出与广告商品的商品标题相匹配的创意广告，以其中的创意文本作为参考广告文本，为后续生成高质量的目标广告文本奠定基础。
请参阅图3，进一步的实施例中，步骤S1200、采用文本生成模型的编解码网络逐时间步解码获得所述商品标题的解码特征信息，确定所述解码特征信息映射到所述编解码网络所引用的第一参考词表的生成概率分布，包括如下步骤：
步骤S1210、根据文本生成模型的编解码网络所引用的第一参考词表编码所述商品标题，获得第一编码向量；
适应文本生成模型的编解码网络输入所需，需要对所述商品标题进行编码，为此，可参考编解码网络所引用的第一参考词表，将所述商品标题中的各个分词，转换为所述第一参考词表中对应的词元的编码特征，将这些编码特征构造为相应的第一编码向量，输入编解码网络中进行推理。一些实施例中，还可以在所述词元的编码特征的基础上，进一步结合各个词元的位置编码，以丰富编码向量的参考信息。
步骤S1220、采用所述编解码网络的编码器提取出所述第一编码向量的深层语义信息，获得相对应的第一编码向量序列；
所述编解码网络的编码器，适于对输入文本进行向量表示和多层语义空间的转化学习，可以从多种已知模型中选择，包括但不限于RNN、BiLSTM、BiGRU、RoBERTa、ALBert、ERNIE、BERT-WWM等。
采用所述编解码网络的编码器参考所输入的第一编码向量的上下文信息进行深层语义信息的提取，实现对所输入的第一编码向量的深层语义表示，获得第一编码向量序列。所述编码器中也可以应用自注意力机制，以使其中的需要被重点关注的特征被显化，使所获得的第一编码向量序列更有助于后续的解码。
步骤S1230、采用所述编解码网络中的解码器以所述第一编码向量序列作为输入，获得相应的解码特征序列作为解码特征信息，逐时间步自回归解码所述解码特征信息得出各个时间步的生成概率分布，其中每个生成概率分布存储映射到所述第一参考词表中的各个词元的概率。
所述编解码网络的解码器，适于利用当前时间步的上文的第一编码向量序列以及编码器最后一个隐藏层的状态信息，经过多层自注意力和交叉自注意力机制，学习调整当前时间步的隐藏层的状态信息。可以选择的自回归预训练模型包括但不限于：GPT2、XLNet、DistilGPT2等，还可以采用RNN、LSTM、GRU等经典模型。
采用所述编解码网络中的解码器以所述第一编码向量序列所构成的前缀信息为初始输入，在自注意力机制的基础上，进行序列化解码，逐个时间步地解码，获得解码器的最后一个隐藏层的解码特征序列作为解码特征信息，将所述解码特征信息经过词表分类器进行映射，获得映射到所述第一参考词表中的各个词元的概率分布即生成概率分布，根据生成概率分布便可优选出当前时间步所对应的词元，将该词元在所述第一参考词表中的编码特征再追加到所述的前缀信息中，实现自回归，然后根据更新后的前缀信息继续下一时间步的解码，直至遭遇结束符。
基于上述可以理解，在逐时间步解码所述商品标题的过程中，对应每个时间步都能获得其在解码器的最后一个隐藏层对应的解码特征信息，确定出该解码特征信息映射至所述第一参考词表的生成概率分布。
本实施例中，通过文本生成模型的编解码网络参考广告商品的商品标题的上下文信息，在逐时间步自回归解码过程中，预测出每个时间步对应的生成概率分布，使得基于对商品标题的语义的充分理解，能够保证生成概率分布的准确度。
请参阅图4，进一步的实施例中，步骤S1300、采用文本生成模型的编码器获得所述商品标题与其参考广告文本所构成的综合文本的编码特征信息，确定所述编码特征信息相对于所述解码特征信息的关键特征信息，作为指针概率分布的步骤中，包含如下步骤：
步骤S1310、拼接所述商品标题与其参考广告文本构成综合文本；
采用文本生成模型的编码器能够识别的间隔符例如[SEP]，拼接所述商品标题与其参考广告文本构成综合文本，示范性举例“商品标题[SEP]参考广告文本”。使得一方面有利于后续编码器去关注综合文本中的商品标题与参考广告文本之间关联紧密的词元，另一方面有利于后续在编码阶段即可对综合文本中的所述商品标题与参考文本进行深层融合。
步骤S1320、根据文本生成模型的编码器所引用的第二参考词表编码所述综合文本，获得第二编码向量；
适应文本生成模型的编码器输入所需，需要对所述综合文本进行编码，为此，可参考编码器所引用的第二参考词表，将所述综合文本中的各个分词，转换为所述第二参考词表中对应的词元的编码特征，将这些编码特征构造为相应的第二编码向量，输入编码器中进行推理。一些实施例中，还可以在所述词元的编码特征的基础上，进一步结合各个词元的位置编码，以丰富编码向量的参考信息。
步骤S1330、采用所述编码器提取出所述第二编码向量的深层语义信息，获得相应的第二编码向量序列作为编码特征信息；
所述文本生成模型的编码器为适用于处理长文本编码的编码器，例如：Longformer、BigBird、Reformer等，本领域技术人员可按需选取其中一种实现。
采用所述编解码网络的编码器参考所输入的第二编码向量的上下文信息进行深层语义信息的提取，实现对所输入的第二编码向量的深层语义表示，获得所述编码器的最后一个隐藏层的第二编码向量序列作为编码特征信息，可以理解，所述编码特征信息中的每个元素为相应的所述综合文本中每个词元的编码表示。所述编码器中也可以应用自注意力机制，以使其中的需要被重点关注的特征被显化，使所获得的第二编码向量序列的特征表示更为精准。
步骤S1340、将所述文本生成模型的编解码网络解码过程中每个时间步对应的所述解码特征信息与所述编码特征信息输入至注意力层进行特征交互，获得相应的关键特征信息作为指针概率分布。
针对所述文本生成模型的编解码网络解码过程中每个时间步，将其对应的所述解码器的最后一个隐藏层的解码特征信息，与所述文本生成模型的编码器的最后一个隐藏层的编码特征信息，输入至注意力层基于加性注意力机制进行特征交互，获得每个时间步相对应所述综合文本的关键特征信息作为指针概率分布。具体而言，以所述解码特征信息和编码特征信息，使用加性注意力计算出关键特征信息，示范性公式举例如下：
Figure BDA0003825789690000161
其中：at为关键特征信息即所述指针概率分布，v、Wh、Ws、battn都是可以学习的参数，hi为文本生成模型的编解码网络的解码器的最后一个隐藏层的解码特征信息，st为当前时间步的文本生成模型的编码器的最后一个隐藏层的编码特征信息。et和at都是与综合文本中的词元个数相同的向量，softmax函数是将et归一化成加和为1的向量at，at中的每个元素对应的值域为[0，1]，越接近于1表示该元素对应的在综合文本中的词元有较高的概率作为当前时间步的输出。
本实施例中，通过针对所述文本生成模型的编解码网络解码过程中每个时间步，基于加性注意力机制对文本生成模型的编解码网络的解码器的最后一个隐藏层的解码特征信息，与文本生成模型的编码器的最后一个隐藏层的编码特征信息进行特征交互，使得能够在线性复杂度高的综合文本中有效地总结关键特征信息，此外计算复杂度相对于一般的点积注意力机制而言较低，执行效率高。
请参阅图5，进一步的实施例中，步骤S1400、根据所述编码特征信息与所述解码特征信息计算确定匹配权重，以所述匹配权重对所述生成概率分布和指针概率分布平滑加权，获得优化概率分布的步骤中，包含如下步骤：
步骤S1410、以所述关键特征信息对所述编码特征信息进行加权求和，获得所述综合文本的上下文向量；
示范性公式举例如下：
Figure BDA0003825789690000162
其中：context_vector为综合文本的上下文向量，hi为文本生成模型的编码器的最后一个隐藏层的编码特征信息中，对应综合文本中第i个词元的编码表示，
Figure BDA0003825789690000163
为综合文本中第i个词元对应的关键特征信息。
步骤S1420、根据所述解码特征信息与所述上下文向量计算确定匹配权重，以所述匹配权重对所述生成概率分布和指针概率分布分别加权，获得优化概率分布。
所述匹配权重的计算示范性公式举例如下：
p_gen＝sigmoid(w.[st，context_vertor]+bais)
其中，p_gen为匹配权重，w、bais是可学习的参数。
所述优化概率分布示范性公式举例如下：
Figure BDA0003825789690000171
其中，w为预测的词元，P(w)为w的概率，P_vocab_gen(w)为生成概率分布，
Figure BDA0003825789690000172
为综合文本与w相同的所有词元相对应的指针概率分布。
本实施例中，通过以匹配权重对生成概率分布和指针概率分布平滑加权，合理化规划两者对最终的优化概率分布的注意力，使得后续根据优化概率分布确定目标广告文本的词元时，可根据指针概率分布从综合文本中复制词元，或者根据生成概率分布从第一参考词表中确定词元，一方面有效解决了文本生成模型对于第一参考词表以外而在综合文本中的词元的生成，另一方面充分借鉴历史广告投放的参考广告文本。
请参阅图6，进一步的实施例中，所述文本生成模型的训练过程，包括如下步骤：
步骤S2100、获取预备的训练集中的单个训练样本，所述训练集中的各个训练样本包含商品的商品标题及其参考广告文本，各个训练样本相对应标注其商品在历史投放广告时使用的广告文本作为监督标签；
获取足量的电商平台中历史投放过广告的线上店铺商品的商品标题，进一步，参考步骤S1110-1140确定该商品标题相匹配的参考广告文本，由此，以各个商品标题及其参考文本分别作为各个训练样本构造训练集。此外，获取各个训练样本的商品在历史投放广告时使用的广告文本，相应标注为各个训练样本的监督标签。
步骤S2200、采用文本生成模型的编解码网络逐时间步解码获得所述训练样本的商品标题的解码特征信息，确定所述解码特征信息映射到所述编解码网络所引用的第一参考词表的生成概率分布；
可参考步骤S1200实现，本步骤恕不赘述。实现在逐时间步解码所述训练样本的商品标题的过程中，对应每个时间步都能获得其在编解码网络的解码器的最后一个隐藏层对应的解码特征信息，确定出该解码特征信息映射至所述第一参考词表的生成概率分布。
步骤S2300、采用文本生成模型的编码器获得所述训练样本的商品标题与其参考广告文本所构成的综合文本的编码特征信息，确定所述编码特征信息相对于所述解码特征信息的关键特征信息，作为指针概率分布；
可参考步骤S1300实现，本步骤恕不赘述。
步骤S2400、根据所述编码特征信息与所述解码特征信息计算确定匹配权重，以所述匹配权重对所述生成概率分布和指针概率分布平滑加权，获得优化概率分布，根据优化概率分布在所述第一参考词表或所述综合文本中取词确定目标广告文本的词元，构造出目标广告文本，所述优化概率分布包含映射到所述第一参考词表及所述综合文本中各个词元的概率；
可参考步骤S1400-1500实现，本步骤恕不赘述。实现获得所述训练样本对应的目标广告文本。
步骤S2500、根据所述训练样本的监督标签确定所述目标广告文本的损失值，在所述损失值未达到预设阈值时对所述文本生成模型实施权重更新，并继续调用其他训练样本实施迭代训练直到模型收敛。
调用预设的交叉熵损失函数，此处可由本领域技术人员根据先验知识或实验经验灵活变通设置，基于根据所述训练样本的监督标签计算所述目标广告文本的交叉熵损失值，当该损失值达到预设阈值时，表明文本生成模型已被训练至收敛状态，从而可以终止模型训练；损失值未达到预设阈值时，表明模型未收敛，于是根据该损失值对模型实施梯度更新，通常通过反向传播修正模型各个环节的权重参数以使模型进一步逼近收敛，然后，继续调用所述训练集中的下一样本数据对该模型实施迭代训练，直至该模型被训练至收敛状态为止。
本实施例中，通过监督训练文本生成模型的至收敛，使得文本生成模型习得根据商品标题及其参考广告文本，便能精准确定出相应的优化概率分布，从而根据优化概率分布相应取词构造出高质量的目标广告文本的能力。
请参阅图7，适应本申请的目的之一而提供的一种广告文本生成装置，是对本申请的广告文本生成方法的功能化体现，该装置，包括数据获取模块1100、第一概率分布模块1200、第二概率分布模块1300、第三概率分布模块1400以及词元确定模块1500，其中：数据获取模块1100，用于获取广告商品的商品标题及其参考广告文本；第一概率分布模块1200，用于采用文本生成模型的编解码网络逐时间步解码获得所述商品标题的解码特征信息，确定所述解码特征信息映射到所述编解码网络所引用的第一参考词表的生成概率分布；第二概率分布模块1300，用于采用文本生成模型的编码器获得所述商品标题与其参考广告文本所构成的综合文本的编码特征信息，确定所述编码特征信息相对于所述解码特征信息的关键特征信息，作为指针概率分布；第三概率分布模块1400，用于根据所述编码特征信息与所述解码特征信息计算确定匹配权重，以所述匹配权重对所述生成概率分布和指针概率分布平滑加权，获得优化概率分布，所述优化概率分布包含映射到所述第一参考词表及所述综合文本中各个词元的概率；词元确定模块1500，用于根据优化概率分布在所述第一参考词表或所述综合文本中取词确定目标广告文本的词元。
进一步的实施例中，所述数据获取模块1100，包括：数据获取子模块，用于获取广告商品的商品标题和商品图片；图文编码子模块，用于采用文本编码器提取所述广告商品的商品标题的深层语义信息，获得相应的文本编码向量，采用图像编码器提取所述广告商品的商品图片的深层语义信息，获得相应的图片编码向量；相似度计算子模块，用于计算出所述广告商品的商品图片的图片编码向量与广告创意库中的各个创意广告中的商品图片的图片编码向量之间的第一相似度，以及计算出所述广告商品的商品标题的文本编码向量与广告创意库中的各个创意广告中的参考广告文本的文本编码向量之间的第二相似度；筛选匹配子模块，用于根据所述第一相似度和第二相似度从广告创意库中筛选出与所述商品标题相匹配的参考广告文本。
进一步的实施例中，所述第一概率分布模块1200，包括：第一文本编码子模块，用于根据文本生成模型的编解码网络所引用的第一参考词表编码所述商品标题，获得第一编码向量；第一语义提取子模块，用于采用所述编解码网络的编码器提取出所述第一编码向量的深层语义信息，获得相对应的第一编码向量序列；自回归解码子模块，用于采用所述编解码网络中的解码器以所述第一编码向量序列作为输入，获得相应的解码特征序列作为解码特征信息，逐时间步自回归解码所述解码特征信息得出各个时间步的生成概率分布，其中每个生成概率分布存储映射到所述第一参考词表中的各个词元的概率。
进一步的实施例中，所述第二概率分布模块1300，包括：文本拼接子模块，用于拼接所述商品标题与其参考广告文本构成综合文本；第二文本编码子模块，用于根据文本生成模型的编码器所引用的第二参考词表编码所述综合文本，获得第二编码向量；第二语义提取子模块，用于采用所述编码器提取出所述第二编码向量的深层语义信息，获得相应的第二编码向量序列作为编码特征信息；特征交互子模块，用于将所述文本生成模型的编解码网络解码过程中每个时间步对应的所述解码特征信息与所述编码特征信息输入至注意力层进行特征交互，获得相应的关键特征信息作为指针概率分布。
进一步的实施例中，所述第三概率分布模块1400，包括：加权求和子模块，用于以所述关键特征信息对所述编码特征信息进行加权求和，获得所述综合文本的上下文向量；概率分布优化子模块，用于根据所述解码特征信息与所述上下文向量计算确定匹配权重，以所述匹配权重对所述生成概率分布和指针概率分布分别加权，获得优化概率分布。
进一步的实施例中，所述词元确定模块1500，包含：采样取词单元，用于根据优化概率分布，采用预设的采样策略在所述第一参考词表或所述综合文本中取词确定目标广告文本的词元。
进一步的实施例中，所述文本生成模型的训练过程，包括：样本获取模块，用于获取预备的训练集中的单个训练样本，所述训练集中的各个训练样本包含商品的商品标题及其参考广告文本，各个训练样本相对应标注其商品在历史投放广告时使用的广告文本作为监督标签；第一概率分布确定模块，用于采用文本生成模型的编解码网络逐时间步解码获得所述训练样本的商品标题的解码特征信息，确定所述解码特征信息映射到所述编解码网络所引用的第一参考词表的生成概率分布；第二概率分布确定模块，用于采用文本生成模型的编码器获得所述训练样本的商品标题与其参考广告文本所构成的综合文本的编码特征信息，确定所述编码特征信息相对于所述解码特征信息的关键特征信息，作为指针概率分布；广告文本构造模块，用于根据所述编码特征信息与所述解码特征信息计算确定匹配权重，以所述匹配权重对所述生成概率分布和指针概率分布平滑加权，获得优化概率分布，根据优化概率分布在所述第一参考词表或所述综合文本中取词确定目标广告文本的词元，构造出目标广告文本，所述优化概率分布包含映射到所述第一参考词表及所述综合文本中各个词元的概率；迭代训练模块，用于根据所述训练样本的监督标签确定所述目标广告文本的损失值，在所述损失值未达到预设阈值时对所述文本生成模型实施权重更新，并继续调用其他训练样本实施迭代训练直到模型收敛。
为解决上述技术问题，本申请实施例还提供计算机设备。如图8所示，计算机设备的内部结构示意图。该计算机设备包括通过系统总线连接的处理器、计算机可读存储介质、存储器和网络接口。其中，该计算机设备的计算机可读存储介质存储有操作系统、数据库和计算机可读指令，数据库中可存储有控件信息序列，该计算机可读指令被处理器执行时，可使得处理器实现一种广告文本生成方法。该计算机设备的处理器用于提供计算和控制能力，支撑整个计算机设备的运行。该计算机设备的存储器中可存储有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行本申请的广告文本生成方法。该计算机设备的网络接口用于与终端连接通信。本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本实施方式中处理器用于执行图7中的各个模块及其子模块的具体功能，存储器存储有执行上述模块或子模块所需的程序代码和各类数据。网络接口用于向用户终端或服务器之间的数据传输。本实施方式中的存储器存储有本申请的广告文本生成装置中执行所有模块/子模块所需的程序代码及数据，服务器能够调用服务器的程序代码及数据执行所有子模块的功能。
本申请还提供一种存储有计算机可读指令的存储介质，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行本申请任一实施例的广告文本生成方法的步骤。
本领域普通技术人员可以理解实现本申请上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等计算机可读存储介质，或随机存储记忆体(Random Access Memory，RAM)等。
综上所述，本申请能够结合对广告商品自身信息的充分理解，以及充分地借鉴参考广告文本的广告创意，从而生成高质量的广告商品的广告文本。
本技术领域技术人员可以理解，本申请中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本申请中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本申请中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。
以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种广告文本生成方法，其特征在于，包括如下步骤：
获取广告商品的商品标题及其参考广告文本；
采用文本生成模型的编解码网络逐时间步解码获得所述商品标题的解码特征信息，确定所述解码特征信息映射到所述编解码网络所引用的第一参考词表的生成概率分布；
采用文本生成模型的编码器获得所述商品标题与其参考广告文本所构成的综合文本的编码特征信息，确定所述编码特征信息相对于所述解码特征信息的关键特征信息，作为指针概率分布；
根据所述编码特征信息与所述解码特征信息计算确定匹配权重，以所述匹配权重对所述生成概率分布和指针概率分布平滑加权，获得优化概率分布，所述优化概率分布包含映射到所述第一参考词表及所述综合文本中各个词元的概率；
根据优化概率分布在所述第一参考词表或所述综合文本中取词确定目标广告文本的词元。
2.根据权利要求1所述的广告文本生成方法，其特征在于，获取广告商品的商品标题及其参考广告文本的步骤中，包括如下步骤：
获取广告商品的商品标题和商品图片；
采用文本编码器提取所述广告商品的商品标题的深层语义信息，获得相应的文本编码向量，采用图像编码器提取所述广告商品的商品图片的深层语义信息，获得相应的图片编码向量；
计算出所述广告商品的商品图片的图片编码向量与广告创意库中的各个创意广告中的商品图片的图片编码向量之间的第一相似度，以及计算出所述广告商品的商品标题的文本编码向量与广告创意库中的各个创意广告中的参考广告文本的文本编码向量之间的第二相似度；
根据所述第一相似度和第二相似度从广告创意库中筛选出与所述商品标题相匹配的参考广告文本。
3.根据权利要求1所述的广告文本生成方法，其特征在于，采用文本生成模型的编解码网络逐时间步解码获得所述商品标题的解码特征信息，确定所述解码特征信息映射到所述编解码网络所引用的第一参考词表的生成概率分布，包括如下步骤：
根据文本生成模型的编解码网络所引用的第一参考词表编码所述商品标题，获得第一编码向量；
采用所述编解码网络的编码器提取出所述第一编码向量的深层语义信息，获得相对应的第一编码向量序列；
采用所述编解码网络中的解码器以所述第一编码向量序列作为输入，获得相应的解码特征序列作为解码特征信息，逐时间步自回归解码所述解码特征信息得出各个时间步的生成概率分布，其中每个生成概率分布存储映射到所述第一参考词表中的各个词元的概率。
4.根据权利要求1所述的广告文本生成方法，其特征在于，采用文本生成模型的编码器获得所述商品标题与其参考广告文本所构成的综合文本的编码特征信息，确定所述编码特征信息相对于所述解码特征信息的关键特征信息，作为指针概率分布的步骤中，包含如下步骤：
拼接所述商品标题与其参考广告文本构成综合文本；
根据文本生成模型的编码器所引用的第二参考词表编码所述综合文本，获得第二编码向量；
采用所述编码器提取出所述第二编码向量的深层语义信息，获得相应的第二编码向量序列作为编码特征信息；
将所述文本生成模型的编解码网络解码过程中每个时间步对应的所述解码特征信息与所述编码特征信息输入至注意力层进行特征交互，获得相应的关键特征信息作为指针概率分布。
5.根据权利要求1所述的广告文本生成方法，其特征在于，根据所述编码特征信息与所述解码特征信息计算确定匹配权重，以所述匹配权重对所述生成概率分布和指针概率分布平滑加权，获得优化概率分布的步骤中，包含如下步骤：
以所述关键特征信息对所述编码特征信息进行加权求和，获得所述综合文本的上下文向量；
根据所述解码特征信息与所述上下文向量计算确定匹配权重，以所述匹配权重对所述生成概率分布和指针概率分布分别加权，获得优化概率分布。
6.根据权利要求1所述的广告文本生成方法，其特征在于，根据优化概率分布在所述第一参考词表或所述综合文本中取词确定目标广告文本的词元，包含：根据优化概率分布，采用预设的采样策略在所述第一参考词表或所述综合文本中取词确定目标广告文本的词元。
7.根据权利要求1至6中任意一项所述的广告文本生成方法，其特征在于，所述文本生成模型的训练过程，包括如下步骤：
获取预备的训练集中的单个训练样本，所述训练集中的各个训练样本包含商品的商品标题及其参考广告文本，各个训练样本相对应标注其商品在历史投放广告时使用的广告文本作为监督标签；
采用文本生成模型的编解码网络逐时间步解码获得所述训练样本的商品标题的解码特征信息，确定所述解码特征信息映射到所述编解码网络所引用的第一参考词表的生成概率分布；
采用文本生成模型的编码器获得所述训练样本的商品标题与其参考广告文本所构成的综合文本的编码特征信息，确定所述编码特征信息相对于所述解码特征信息的关键特征信息，作为指针概率分布；
根据所述编码特征信息与所述解码特征信息计算确定匹配权重，以所述匹配权重对所述生成概率分布和指针概率分布平滑加权，获得优化概率分布，根据优化概率分布在所述第一参考词表或所述综合文本中取词确定目标广告文本的词元，构造出目标广告文本，所述优化概率分布包含映射到所述第一参考词表及所述综合文本中各个词元的概率；
根据所述训练样本的监督标签确定所述目标广告文本的损失值，在所述损失值未达到预设阈值时对所述文本生成模型实施权重更新，并继续调用其他训练样本实施迭代训练直到模型收敛。
8.一种广告文本生成装置，其特征在于，包括：
数据获取模块，用于获取广告商品的商品标题及其参考广告文本；
第一概率分布模块，用于采用文本生成模型的编解码网络逐时间步解码获得所述商品标题的解码特征信息，确定所述解码特征信息映射到所述编解码网络所引用的第一参考词表的生成概率分布；
第二概率分布模块，用于采用文本生成模型的编码器获得所述商品标题与其参考广告文本所构成的综合文本的编码特征信息，确定所述编码特征信息相对于所述解码特征信息的关键特征信息，作为指针概率分布；
第三概率分布模块，用于根据所述编码特征信息与所述解码特征信息计算确定匹配权重，以所述匹配权重对所述生成概率分布和指针概率分布平滑加权，获得优化概率分布，所述优化概率分布包含映射到所述第一参考词表及所述综合文本中各个词元的概率；
词元确定模块，用于根据优化概率分布在所述第一参考词表或所述综合文本中取词确定目标广告文本的词元。
9.一种计算机设备，包括中央处理器和存储器，其特征在于，所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行如权利要求1至7中任意一项所述的方法的步骤。
10.一种计算机可读存储介质，其特征在于，其以计算机可读指令的形式存储有依据权利要求1至7中任意一项所述的方法所实现的计算机程序，该计算机程序被计算机调用运行时，执行相应的方法所包括的步骤。
CN202211060601.2A 2022-08-31 2022-08-31 广告文本生成方法及其装置、设备、介质 Pending CN115309905A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211060601.2A CN115309905A (zh) 2022-08-31 2022-08-31 广告文本生成方法及其装置、设备、介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211060601.2A CN115309905A (zh) 2022-08-31 2022-08-31 广告文本生成方法及其装置、设备、介质

Publications (1)

Publication Number Publication Date
CN115309905A true CN115309905A (zh) 2022-11-08

Family

ID=83864065

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211060601.2A Pending CN115309905A (zh) 2022-08-31 2022-08-31 广告文本生成方法及其装置、设备、介质

Country Status (1)

Country Link
CN (1) CN115309905A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115545020A (zh) * 2022-12-01 2022-12-30 浙江出海云技术有限公司 一种基于大数据的广告引流效果分析方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115545020A (zh) * 2022-12-01 2022-12-30 浙江出海云技术有限公司 一种基于大数据的广告引流效果分析方法
CN115545020B (zh) * 2022-12-01 2023-05-23 浙江出海云技术有限公司 一种基于大数据的广告引流效果分析方法

Similar Documents

Publication Publication Date Title
CN111695674B (zh) 联邦学习方法、装置、计算机设备及可读存储介质
US20200090651A1 (en) Generating dialogue responses in end-to-end dialogue systems utilizing a context-dependent additive recurrent neural network
CN113837102B (zh) 图文融合分类方法及其装置、设备、介质、产品
CN112035743B (zh) 数据推荐方法、装置、计算机设备以及存储介质
CN113869048A (zh) 商品对象搜索方法及其装置、设备、介质、产品
US20240078385A1 (en) Method and apparatus for generating text
CN115563982A (zh) 广告文本优化方法及其装置、设备、介质、产品
CN113779225A (zh) 实体链接模型的训练方法、实体链接方法及装置
CN116797280A (zh) 广告文案生成方法及其装置、设备、介质
CN116976920A (zh) 商品导购方法及其装置、设备、介质
CN115545832A (zh) 商品搜索推荐方法及其装置、设备、介质
CN113962224A (zh) 命名实体识别方法及其装置、设备、介质、产品
CN115099854A (zh) 广告文案创作方法及其装置、设备、介质、产品
CN113312919A (zh) 一种知识图谱的文本生成方法及装置
CN108268629A (zh) 基于关键词的图像描述方法和装置、设备、介质、程序
CN115309905A (zh) 广告文本生成方法及其装置、设备、介质
CN113806537B (zh) 商品类目分类方法及其装置、设备、介质、产品
CN113065027A (zh) 视频推荐的方法、装置、电子设备和存储介质
CN115700579A (zh) 广告文本生成方法及其装置、设备、介质
CN111339734A (zh) 一种基于文本生成图像的方法
CN115563280A (zh) 商品标签标注方法及其装置、设备、介质
CN115293818A (zh) 广告投放选品方法及其装置、设备、介质
CN114996566A (zh) 一种面向工业互联网平台的智能推荐系统及方法
CN113239215A (zh) 多媒体资源的分类方法、装置、电子设备及存储介质
CN114219571A (zh) 电商独立站点匹配方法及其装置、设备、介质、产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination