CN116188118B - 基于ctr预测模型的目标推荐方法及装置 - Google Patents

基于ctr预测模型的目标推荐方法及装置 Download PDF

Info

Publication number
CN116188118B
CN116188118B CN202310457563.2A CN202310457563A CN116188118B CN 116188118 B CN116188118 B CN 116188118B CN 202310457563 A CN202310457563 A CN 202310457563A CN 116188118 B CN116188118 B CN 116188118B
Authority
CN
China
Prior art keywords
feature
layer
network
prediction model
feature vectors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310457563.2A
Other languages
English (en)
Other versions
CN116188118A (zh
Inventor
董辉
暴宇健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Longzhi Digital Technology Service Co Ltd
Original Assignee
Beijing Longzhi Digital Technology Service Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Longzhi Digital Technology Service Co Ltd filed Critical Beijing Longzhi Digital Technology Service Co Ltd
Priority to CN202310457563.2A priority Critical patent/CN116188118B/zh
Publication of CN116188118A publication Critical patent/CN116188118A/zh
Application granted granted Critical
Publication of CN116188118B publication Critical patent/CN116188118B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9035—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Finance (AREA)
  • General Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Development Economics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开涉及机器学习技术领域，提供了一种基于CTR预测模型的目标推荐方法及装置。该方法包括：利用卷积层、池化层和全连接层构建多组特征生成层，并利用嵌入层和多组特征生成层构建特征生成网络，其中，多组特征生成层彼此使用的卷积核不同；利用特征拼接层、特征组合层、多层感知机和softmax层构建特征分类网络；利用特征生成网络和特征分类网络构建CTR预测模型；依据推荐任务对CTR预测模型进行训练，利用训练后的CTR预测模型执行推荐任务。采用上述技术手段，解决现有技术中，CTR预测中特征交互比较少，比较稀疏，导致CTR预测准确率低的问题。

Description

基于CTR预测模型的目标推荐方法及装置
技术领域
本公开涉及机器学习技术领域，尤其涉及一种基于CTR预测模型的目标推荐方法及装置。
背景技术
推荐系统在当今生活扮演着不可或缺的作用，无论是网络购物，新闻阅读，还是视频观看等，都有其身影。用户点击预测(Click Through Rate，CTR)是推荐系统中的关键任务，它可以估计用户点击一个item的概率，用于执行CTR任务的称之为CTR预测模型。对于CTR预测最关键的是如何有效选择特征交互，然而目前在CTR预测中特征交互比较少，比较稀疏。
在实现本公开构思的过程中，发明人发现相关技术中至少存在如下技术问题：CTR预测中特征交互比较少，比较稀疏，导致CTR预测准确率低的问题。
发明内容
有鉴于此，本公开实施例提供了一种基于CTR预测模型的目标推荐方法、装置、电子设备及计算机可读存储介质，以解决现有技术中，CTR预测中特征交互比较少，比较稀疏，导致CTR预测准确率低的问题。
本公开实施例的第一方面，提供了一种基于CTR预测模型的目标推荐方法，包括：利用卷积层、池化层和全连接层构建多组特征生成层，并利用嵌入层和多组特征生成层构建特征生成网络，其中，多组特征生成层彼此使用的卷积核不同；利用特征拼接层、特征组合层、多层感知机和softmax层构建特征分类网络；利用特征生成网络和特征分类网络构建CTR预测模型；依据推荐任务对CTR预测模型进行训练，利用训练后的CTR预测模型执行推荐任务。
本公开实施例的第二方面，提供了一种基于CTR预测模型的目标推荐装置，包括：第一构建模块，被配置为利用卷积层、池化层和全连接层构建多组特征生成层，并利用嵌入层和多组特征生成层构建特征生成网络，其中，多组特征生成层彼此使用的卷积核不同；第二构建模块，被配置为利用特征拼接层、特征组合层、多层感知机和softmax层构建特征分类网络；第三构建模块，被配置为利用特征生成网络和特征分类网络构建CTR预测模型；训练模块，被配置为依据推荐任务对CTR预测模型进行训练，利用训练后的CTR预测模型执行推荐任务。
本公开实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在存储器中并且可在处理器上运行的计算机程序，该处理器执行计算机程序时实现上述方法的步骤。
本公开实施例的第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
本公开实施例与现有技术相比存在的有益效果是：因为本公开实施例通过利用卷积层、池化层和全连接层构建多组特征生成层，并利用嵌入层和多组特征生成层构建特征生成网络，其中，多组特征生成层彼此使用的卷积核不同；利用特征拼接层、特征组合层、多层感知机和softmax层构建特征分类网络；利用特征生成网络和特征分类网络构建CTR预测模型；依据推荐任务对CTR预测模型进行训练，利用训练后的CTR预测模型执行推荐任务，因此，采用上述技术手段，可以解决现有技术中，CTR预测中特征交互比较少，比较稀疏，导致CTR预测准确率低的问题，进而提高CTR预测准确率。
附图说明
为了更清楚地说明本公开实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本公开实施例提供的一种基于CTR预测模型的目标推荐方法的流程示意图；
图2是本公开实施例提供的一种训练后的CTR预测模型执行推荐任务的流程示意图；
图3是本公开实施例提供的一种基于CTR预测模型的目标推荐装置的结构示意图；
图4是本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本公开实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本公开。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本公开的描述。
图1是本公开实施例提供的一种基于CTR预测模型的目标推荐方法的流程示意图。图1的基于CTR预测模型的目标推荐方法可以由计算机或服务器，或者计算机或服务器上的软件执行。如图1所示，该基于CTR预测模型的目标推荐方法包括：
S101，利用卷积层、池化层和全连接层构建多组特征生成层，并利用嵌入层和多组特征生成层构建特征生成网络，其中，多组特征生成层彼此使用的卷积核不同；
S102，利用特征拼接层、特征组合层、多层感知机和softmax层构建特征分类网络；
S103，利用特征生成网络和特征分类网络构建CTR预测模型；
S104，依据推荐任务对CTR预测模型进行训练，利用训练后的CTR预测模型执行推荐任务。
本公开实施例可以理解为构建一个CTR预测模型，具体地：用多个卷积层、池化层和全连接层的组合构建多组特征生成层，多组特征生成层彼此使用的卷积核不同，比如某组特征生成层是由1维卷积层、1维池化层和全连接层依次连接构成的（该组特征生成层使用的是1维卷积核）；嵌入层后接多组并列的特征生成层，作为特征生成网络；依次连接特征拼接层、特征组合层、多层感知机和softmax层，得到特征分类网络；特征生成网络后接特征分类网络，作为CTR预测模型。
CTR，全称是Click Through Rate，也就是点击预测模型。本公开实施例中训练得到的CTR预测模型可以用于网络购物、新闻阅读以及视频观看等场景中预测用户喜欢的目标，将预测的目标推荐给用户。如在网络购物场景中推荐任务是商品推荐任务；如在新闻阅读场景中推荐任务是文本推荐任务；如在视频观看场景中推荐任务是视频推荐任务。多层感知机（英文简写是MLP，英文全称是Multilayer Perceptron）。
现有技术中，CTR预测中，可以看做是训练中特征交互比较少，比较稀疏，所以训练得到的CTR预测模型准确率低，一组特征生成层可以是实现一种特征交互，本公开实施例中特征生成网络使用了多组特征生成层（现有技术中特征生成网络使用了一组特征生成层），所以增加了特征交互，所以可以提高CTR预测准确率。
进一步地，本公开实施例还可以理解为改进CTR预测模型，现有CTR预测模型的特征生成网络仅使用一组特征生成层，本公开实施例在特征生成网络增加了多组特征生成层，同时为了应对特征生成网络的改进，在特征分类网络中增加特征拼接层和特征组合层（现有CTR预测模型的特征分类网络仅是由多层感知机和softmax层组成的）。特征拼接层和特征组合层可以将特征生成网络中生成的多个多维嵌入特征向量进行拼接和组合。
根据本公开实施例提供的技术方案，利用卷积层、池化层和全连接层构建多组特征生成层，并利用嵌入层和多组特征生成层构建特征生成网络，其中，多组特征生成层彼此使用的卷积核不同；利用特征拼接层、特征组合层、多层感知机和softmax层构建特征分类网络；利用特征生成网络和特征分类网络构建CTR预测模型；依据推荐任务对CTR预测模型进行训练，利用训练后的CTR预测模型执行推荐任务，因此，采用上述技术手段，可以解决现有技术中，CTR预测中特征交互比较少，比较稀疏，导致CTR预测准确率低的问题，进而提高CTR预测准确率。
依据推荐任务对CTR预测模型进行训练，包括：获取推荐任务对应的训练数据集；将训练数据集中的训练样本输入CTR预测模型：特征生成网络中的嵌入层对训练样本进行处理，输出多个多维嵌入特征向量；特征生成网络中的多组特征生成层对多个多维嵌入特征向量进行处理，输出多个多维交互特征向量，其中，每组特征生成层输出一个多维交互特征向量；特征分类网络对多个多维嵌入特征向量和多个多维交互特征向量进行处理，得到分类结果；利用交叉熵损失函数计算分类结果和训练样本对应的标签之间的损失值，利用损失值优化CTR预测模型的模型参数，以完成对CTR预测模型的训练。
每组特征生成层均会输入多个多维嵌入特征向量，每组特征生成层输出一个多维交互特征向量。多个多维嵌入特征向量和多个多维交互特征向量都输入到特征分类网络，输出分类结果。
在网络购物场景中一个训练样本是用户对一种商品产生的信息，比如浏览时长、是否收藏该商品、是否曾经购买该商品、是否收藏该商品的相关商品、是否曾经购买该商品的相关商品等等；在新闻阅读场景中一个训练样本是用户对一条文本产生的信息，比如浏览时长、是否收藏该文本、是否收藏该文本的相关文本、是否转发等等；在视频观看场景中一个训练样本是用户对一条视频产生的信息，比如浏览时长、是否收藏该视频、是否收藏该视频的相关视频、是否转发等等。
每个训练样本的分类结果表示该训练样本是否被推荐给用户。
特征分类网络对多个多维嵌入特征向量和多个多维交互特征向量进行处理，得到分类结果，包括：将多个多维嵌入特征向量和多个多维交互特征向量输入特征分类网络：特征分类网络中的特征拼接层对多个多维嵌入特征向量和多个多维交互特征向量进行拼接，得到拼接特征向量，其中，拼接特征向量包括多个一维特征向量；特征分类网络中的特征组合层对拼接特征向量中每任意两个一维特征向量进行组合，得到多个组合特征；多个组合特征依次经过多层感知机和softmax层，得到分类结果。
举例说明：有四条三维嵌入特征向量和十条三维交互特征向量，拼接特征向量就是（4+10）*3=42条一维特征向量，或者是42维特征向量，对拼接特征向量中每任意两个一维特征向量进行组合，得到多个组合特征。多个组合特征可以看做一个组合特征矩阵，组合特征矩阵依次经过多层感知机和softmax层，得到分类结果。
特征分类网络中的特征拼接层对多个多维嵌入特征向量和多个多维交互特征向量进行拼接，得到拼接特征向量，包括：在特征拼接层之前增设维度变换层；维度变换层将多个多维嵌入特征向量和多个多维交互特征向量均转换为多个一维特征向量；特征拼接层对多个一维特征向量进行拼接，得到拼接特征向量。
依据推荐任务对CTR预测模型进行训练，包括：根据推荐任务生成特征生成任务和特征分类任务，在CTR预测模型中：冻结特征分类网络的网络参数，依据特征生成任务对特征生成网络进行训练；在完成对特征生成网络的训练后，解冻特征分类网络的网络参数，冻结特征生成网络的网络参数，依据特征分类任务对特征分类网络进行训练。
本公开实施例相比于上个对CTR预测模型进行训练的实施例，实际上是将
对CTR预测模型的训练，划分为两个阶段的训练了，第一个阶段冻结特征分类网络的网络参数，依据特征生成任务对特征生成网络进行训练；第二个阶段冻结特征生成网络的网络参数，依据特征分类任务对特征分类网络进行训练。
在一个可选实施例中，池化层采用max pooling 或者avg pooling；在多组特征生成层中的卷积层和池化层中间增加批归一化层。
图2是本公开实施例提供的一种训练后的CTR预测模型执行推荐任务的流程示意图。如图2所示，包括：
S201，将多个对象输入CTR预测模型；
S202，特征生成网络中的嵌入层对多个对象进行处理，输出每个对象对应的多个多维嵌入特征向量；
S203，特征生成网络中的多组特征生成层对每个对象对应的多个多维嵌入特征向量进行处理，输出每个对象对应的多个多维交互特征向量，其中，每组特征生成层输出每个对象对应的一个多维交互特征向量；
S204，特征分类网络对每个对象对应的多个多维嵌入特征向量和多个多维交互特征向量进行处理，得到每个对象对应的分类结果，其中，每个对象对应的分类结果用于表示该对象是否应该被推荐。
根据本公开实施例提供的技术方案，将多个对象输入CTR预测模型；特征生成网络中的嵌入层对多个对象进行处理，输出每个对象对应的多个多维嵌入特征向量；特征生成网络中的多组特征生成层对每个对象对应的多个多维嵌入特征向量进行处理，输出每个对象对应的多个多维交互特征向量，其中，每组特征生成层输出每个对象对应的一个多维交互特征向量；特征分类网络对每个对象对应的多个多维嵌入特征向量和多个多维交互特征向量进行处理，得到每个对象对应的分类结果，其中，每个对象对应的分类结果用于表示该对象是否应该被推荐，因此，采用上述技术手段，可以解决现有技术中，CTR预测中特征交互比较少，比较稀疏，导致CTR预测准确率低的问题，进而提高CTR预测准确率。
上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。
下述为本公开装置实施例，可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节，请参照本公开方法实施例。
图3是本公开实施例提供的一种基于CTR预测模型的目标推荐装置的示意图。如图3所示，该基于CTR预测模型的目标推荐装置包括：
第一构建模块301，被配置为利用卷积层、池化层和全连接层构建多组特征生成层，并利用嵌入层和多组特征生成层构建特征生成网络，其中，多组特征生成层彼此使用的卷积核不同；
第二构建模块302，被配置为利用特征拼接层、特征组合层、多层感知机和softmax层构建特征分类网络；
第三构建模块303，被配置为利用特征生成网络和特征分类网络构建CTR预测模型；
训练模块304，被配置为依据推荐任务对CTR预测模型进行训练，利用训练后的CTR预测模型执行推荐任务。
本公开实施例可以理解为构建一个CTR预测模型，具体地：用多个卷积层、池化层和全连接层的组合构建多组特征生成层，多组特征生成层彼此使用的卷积核不同，比如某组特征生成层是由1维卷积层、1维池化层和全连接层依次连接构成的（该组特征生成层使用的是1维卷积核）；嵌入层后接多组并列的特征生成层，作为特征生成网络；依次连接特征拼接层、特征组合层、多层感知机和softmax层，得到特征分类网络；特征生成网络后接特征分类网络，作为CTR预测模型。
CTR，全称是Click Through Rate，也就是点击预测模型。本公开实施例中训练得到的CTR预测模型可以用于网络购物、新闻阅读以及视频观看等场景中预测用户喜欢的目标，将预测的目标推荐给用户。如在网络购物场景中推荐任务是商品推荐任务；如在新闻阅读场景中推荐任务是文本推荐任务；如在视频观看场景中推荐任务是视频推荐任务。多层感知机（英文简写是MLP，英文全称是Multilayer Perceptron）。
现有技术中，CTR预测中，可以看做是训练中特征交互比较少，比较稀疏，所以训练得到的CTR预测模型准确率低，一组特征生成层可以是实现一种特征交互，本公开实施例中特征生成网络使用了多组特征生成层（现有技术中特征生成网络使用了一组特征生成层），所以增加了特征交互，所以可以提高CTR预测准确率。
进一步地，本公开实施例还可以理解为改进CTR预测模型，现有CTR预测模型的特征生成网络仅使用一组特征生成层，本公开实施例在特征生成网络增加了多组特征生成层，同时为了应对特征生成网络的改进，在特征分类网络中增加特征拼接层和特征组合层（现有CTR预测模型的特征分类网络仅是由多层感知机和softmax层组成的）。特征拼接层和特征组合层可以将特征生成网络中生成的多个多维嵌入特征向量进行拼接和组合。
根据本公开实施例提供的技术方案，利用卷积层、池化层和全连接层构建多组特征生成层，并利用嵌入层和多组特征生成层构建特征生成网络，其中，多组特征生成层彼此使用的卷积核不同；利用特征拼接层、特征组合层、多层感知机和softmax层构建特征分类网络；利用特征生成网络和特征分类网络构建CTR预测模型；依据推荐任务对CTR预测模型进行训练，利用训练后的CTR预测模型执行推荐任务，因此，采用上述技术手段，可以解决现有技术中，CTR预测中特征交互比较少，比较稀疏，导致CTR预测准确率低的问题，进而提高CTR预测准确率。
可选地，训练模块304还被配置为获取推荐任务对应的训练数据集；将训练数据集中的训练样本输入CTR预测模型：特征生成网络中的嵌入层对训练样本进行处理，输出多个多维嵌入特征向量；特征生成网络中的多组特征生成层对多个多维嵌入特征向量进行处理，输出多个多维交互特征向量，其中，每组特征生成层输出一个多维交互特征向量；特征分类网络对多个多维嵌入特征向量和多个多维交互特征向量进行处理，得到分类结果；利用交叉熵损失函数计算分类结果和训练样本对应的标签之间的损失值，利用损失值优化CTR预测模型的模型参数，以完成对CTR预测模型的训练。
每组特征生成层均会输入多个多维嵌入特征向量，每组特征生成层输出一个多维交互特征向量。多个多维嵌入特征向量和多个多维交互特征向量都输入到特征分类网络，输出分类结果。
在网络购物场景中一个训练样本是用户对一种商品产生的信息，比如浏览时长、是否收藏该商品、是否曾经购买该商品、是否收藏该商品的相关商品、是否曾经购买该商品的相关商品等等；在新闻阅读场景中一个训练样本是用户对一条文本产生的信息，比如浏览时长、是否收藏该文本、是否收藏该文本的相关文本、是否转发等等；在视频观看场景中一个训练样本是用户对一条视频产生的信息，比如浏览时长、是否收藏该视频、是否收藏该视频的相关视频、是否转发等等。
每个训练样本的分类结果表示该训练样本是否被推荐给用户。
可选地，训练模块304还被配置为将多个多维嵌入特征向量和多个多维交互特征向量输入特征分类网络：特征分类网络中的特征拼接层对多个多维嵌入特征向量和多个多维交互特征向量进行拼接，得到拼接特征向量，其中，拼接特征向量包括多个一维特征向量；特征分类网络中的特征组合层对拼接特征向量中每任意两个一维特征向量进行组合，得到多个组合特征；多个组合特征依次经过多层感知机和softmax层，得到分类结果。
举例说明：有四条三维嵌入特征向量和十条三维交互特征向量，拼接特征向量就是（4+10）*3=42条一维特征向量，或者是42维特征向量，对拼接特征向量中每任意两个一维特征向量进行组合，得到多个组合特征。多个组合特征可以看做一个组合特征矩阵，组合特征矩阵依次经过多层感知机和softmax层，得到分类结果。
可选地，训练模块304还被配置为在特征拼接层之前增设维度变换层；维度变换层将多个多维嵌入特征向量和多个多维交互特征向量均转换为多个一维特征向量；特征拼接层对多个一维特征向量进行拼接，得到拼接特征向量。
可选地，训练模块304还被配置为根据推荐任务生成特征生成任务和特征分类任务，在CTR预测模型中：冻结特征分类网络的网络参数，依据特征生成任务对特征生成网络进行训练；在完成对特征生成网络的训练后，解冻特征分类网络的网络参数，冻结特征生成网络的网络参数，依据特征分类任务对特征分类网络进行训练。
本公开实施例相比于上个对CTR预测模型进行训练的实施例，实际上是将
对CTR预测模型的训练，划分为两个阶段的训练了，第一个阶段冻结特征分类网络的网络参数，依据特征生成任务对特征生成网络进行训练；第二个阶段冻结特征生成网络的网络参数，依据特征分类任务对特征分类网络进行训练。
在一个可选实施例中，池化层采用max pooling 或者avg pooling；在多组特征生成层中的卷积层和池化层中间增加批归一化层。
可选地，训练模块304还被配置为将多个对象输入CTR预测模型；特征生成网络中的嵌入层对多个对象进行处理，输出每个对象对应的多个多维嵌入特征向量；特征生成网络中的多组特征生成层对每个对象对应的多个多维嵌入特征向量进行处理，输出每个对象对应的多个多维交互特征向量，其中，每组特征生成层输出每个对象对应的一个多维交互特征向量；特征分类网络对每个对象对应的多个多维嵌入特征向量和多个多维交互特征向量进行处理，得到每个对象对应的分类结果，其中，每个对象对应的分类结果用于表示该对象是否应该被推荐。
根据本公开实施例提供的技术方案，将多个对象输入CTR预测模型；特征生成网络中的嵌入层对多个对象进行处理，输出每个对象对应的多个多维嵌入特征向量；特征生成网络中的多组特征生成层对每个对象对应的多个多维嵌入特征向量进行处理，输出每个对象对应的多个多维交互特征向量，其中，每组特征生成层输出每个对象对应的一个多维交互特征向量；特征分类网络对每个对象对应的多个多维嵌入特征向量和多个多维交互特征向量进行处理，得到每个对象对应的分类结果，其中，每个对象对应的分类结果用于表示该对象是否应该被推荐，因此，采用上述技术手段，可以解决现有技术中，CTR预测中特征交互比较少，比较稀疏，导致CTR预测准确率低的问题，进而提高CTR预测准确率。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本公开实施例的实施过程构成任何限定。
图4是本公开实施例提供的电子设备4的示意图。如图4所示，该实施例的电子设备4包括：处理器401、存储器402以及存储在该存储器402中并且可在处理器401上运行的计算机程序403。处理器401执行计算机程序403时实现上述各个方法实施例中的步骤。或者，处理器401执行计算机程序403时实现上述各装置实施例中各模块/单元的功能。
电子设备4可以是桌上型计算机、笔记本、掌上电脑及云端服务器等电子设备。电子设备4可以包括但不仅限于处理器401和存储器402。本领域技术人员可以理解，图4仅仅是电子设备4的示例，并不构成对电子设备4的限定，可以包括比图示更多或更少的部件，或者不同的部件。
处理器401可以是中央处理单元（Central Processing Unit，CPU），也可以是其它通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application SpecificIntegrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
存储器402可以是电子设备4的内部存储单元，例如，电子设备4的硬盘或内存。存储器402也可以是电子设备4的外部存储设备，例如，电子设备4上配备的插接式硬盘，智能存储卡（Smart Media Card，SMC），安全数字（Secure Digital，SD）卡，闪存卡（Flash Card）等。存储器402还可以既包括电子设备4的内部存储单元也包括外部存储设备。存储器402用于存储计算机程序以及电子设备所需的其它程序和数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本公开实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可以存储在计算机可读存储介质中，该计算机程序在被处理器执行时，可以实现上述各个方法实施例的步骤。计算机程序可以包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如，在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的精神和范围，均应包含在本公开的保护范围之内。

Claims (9)

1.一种基于CTR预测模型的目标推荐方法，其特征在于，包括：
利用卷积层、池化层和全连接层构建多组特征生成层，并将嵌入层后接多组并列的特征生成层作为特征生成网络，其中，多组特征生成层彼此使用的卷积核不同；
依次连接特征拼接层、特征组合层、多层感知机和softmax层，得到特征分类网络；
利用所述特征生成网络和所述特征分类网络构建CTR预测模型，其中，所述特征生成网络中的嵌入层和多组特征生成层均和所述特征分类网络存在连接；
依据推荐任务对所述CTR预测模型进行训练，利用训练后的所述CTR预测模型执行所述推荐任务。
2.根据权利要求1所述的方法，其特征在于，依据推荐任务对所述CTR预测模型进行训练，包括：
获取所述推荐任务对应的训练数据集；
将所述训练数据集中的训练样本输入所述CTR预测模型：
所述特征生成网络中的嵌入层对所述训练样本进行处理，输出多个多维嵌入特征向量；
所述特征生成网络中的多组特征生成层对多个多维嵌入特征向量进行处理，输出多个多维交互特征向量，其中，每组特征生成层输出一个多维交互特征向量；
所述特征分类网络对多个多维嵌入特征向量和多个多维交互特征向量进行处理，得到分类结果；
利用交叉熵损失函数计算所述分类结果和所述训练样本对应的标签之间的损失值，利用所述损失值优化所述CTR预测模型的模型参数，以完成对所述CTR预测模型的训练。
3.根据权利要求2所述的方法，其特征在于，所述特征分类网络对多个多维嵌入特征向量和多个多维交互特征向量进行处理，得到分类结果，包括：
将多个多维嵌入特征向量和多个多维交互特征向量输入所述特征分类网络：
所述特征分类网络中的特征拼接层对多个多维嵌入特征向量和多个多维交互特征向量进行拼接，得到拼接特征向量，其中，所述拼接特征向量包括多个一维特征向量；
所述特征分类网络中的特征组合层对所述拼接特征向量中每任意两个一维特征向量进行组合，得到多个组合特征；
多个组合特征依次经过多层感知机和softmax层，得到分类结果。
4.根据权利要求3所述的方法，其特征在于，所述特征分类网络中的特征拼接层对多个多维嵌入特征向量和多个多维交互特征向量进行拼接，得到拼接特征向量，包括：
在所述特征拼接层之前增设维度变换层；
所述维度变换层将多个多维嵌入特征向量和多个多维交互特征向量均转换为多个一维特征向量；
所述特征拼接层对多个一维特征向量进行拼接，得到拼接特征向量。
5.根据权利要求1所述的方法，其特征在于，依据推荐任务对所述CTR预测模型进行训练，包括：
根据所述推荐任务生成特征生成任务和特征分类任务，在所述CTR预测模型中：
冻结所述特征分类网络的网络参数，依据所述特征生成任务对所述特征生成网络进行训练；
在完成对所述特征生成网络的训练后，解冻所述特征分类网络的网络参数，冻结所述特征生成网络的网络参数，依据所述特征分类任务对所述特征分类网络进行训练。
6.根据权利要求1所述的方法，其特征在于，所述池化层采用max pooling 或者avgpooling；
在多组特征生成层中的卷积层和池化层中间增加批归一化层。
7.一种基于CTR预测模型的目标推荐装置，其特征在于，包括：
第一构建模块，被配置为利用卷积层、池化层和全连接层构建多组特征生成层，并将嵌入层后接多组并列的特征生成层作为特征生成网络，其中，多组特征生成层彼此使用的卷积核不同；
第二构建模块，被配置为依次连接特征拼接层、特征组合层、多层感知机和softmax层，得到特征分类网络；
第三构建模块，被配置为利用所述特征生成网络和所述特征分类网络构建CTR预测模型，其中，所述特征生成网络中的嵌入层和多组特征生成层均和所述特征分类网络存在连接；
训练模块，被配置为依据推荐任务对所述CTR预测模型进行训练，利用训练后的所述CTR预测模型执行所述推荐任务。
8.一种电子设备，包括存储器、处理器以及存储在所述存储器中并且可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述方法的步骤。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述方法的步骤。
CN202310457563.2A 2023-04-26 2023-04-26 基于ctr预测模型的目标推荐方法及装置 Active CN116188118B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310457563.2A CN116188118B (zh) 2023-04-26 2023-04-26 基于ctr预测模型的目标推荐方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310457563.2A CN116188118B (zh) 2023-04-26 2023-04-26 基于ctr预测模型的目标推荐方法及装置

Publications (2)

Publication Number Publication Date
CN116188118A CN116188118A (zh) 2023-05-30
CN116188118B true CN116188118B (zh) 2023-08-29

Family

ID=86449280

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310457563.2A Active CN116188118B (zh) 2023-04-26 2023-04-26 基于ctr预测模型的目标推荐方法及装置

Country Status (1)

Country Link
CN (1) CN116188118B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117454016B (zh) * 2023-12-21 2024-03-15 深圳须弥云图空间科技有限公司 基于改进点击预测模型的对象推荐方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110196946A (zh) * 2019-05-29 2019-09-03 华南理工大学 一种基于深度学习的个性化推荐方法
CN111209386A (zh) * 2020-01-07 2020-05-29 重庆邮电大学 一种基于深度学习的个性化文本推荐方法
CN112035747A (zh) * 2020-09-03 2020-12-04 腾讯科技（深圳）有限公司 信息推荐方法及装置
CN113239678A (zh) * 2021-04-02 2021-08-10 南京邮电大学 一种面向答案选择的多角度注意力特征匹配方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110196946A (zh) * 2019-05-29 2019-09-03 华南理工大学 一种基于深度学习的个性化推荐方法
CN111209386A (zh) * 2020-01-07 2020-05-29 重庆邮电大学 一种基于深度学习的个性化文本推荐方法
CN112035747A (zh) * 2020-09-03 2020-12-04 腾讯科技（深圳）有限公司 信息推荐方法及装置
CN113239678A (zh) * 2021-04-02 2021-08-10 南京邮电大学 一种面向答案选择的多角度注意力特征匹配方法及系统

Also Published As

Publication number Publication date
CN116188118A (zh) 2023-05-30

Similar Documents

Publication Publication Date Title
CN109165573B (zh) 用于提取视频特征向量的方法和装置
CN110287412B (zh) 内容推荐方法、推荐模型生成方法、设备、和存储介质
US10726334B1 (en) Generation and use of model parameters in cold-start scenarios
CN116188118B (zh) 基于ctr预测模型的目标推荐方法及装置
Yang et al. Memory-aware gated factorization machine for top-N recommendation
CN116562357B (zh) 点击预测模型训练方法及装置
CN112650942A (zh) 产品推荐方法、装置、计算机系统和计算机可读存储介质
US11531863B1 (en) Systems and methods for localization and classification of content in a data set
CN114155388B (zh) 一种图像识别方法、装置、计算机设备和存储介质
CN116127083A (zh) 内容推荐方法、装置、设备及存储介质
CN116186541A (zh) 一种推荐模型的训练方法及装置
CN112905885B (zh) 向用户推荐资源的方法、装置、设备、介质和程序产品
CN110837596B (zh) 一种智能推荐方法、装置、计算机设备及存储介质
CN117454016B (zh) 基于改进点击预测模型的对象推荐方法及装置
CN116911955B (zh) 目标推荐模型的训练方法及装置
CN116501993B (zh) 房源数据推荐方法及装置
CN116911954B (zh) 基于兴趣和流行度推荐物品的方法及装置
CN117436550B (zh) 推荐模型训练方法及装置
CN103455625A (zh) 一种用于视频摘要的目标快速重排列方法
US11995556B2 (en) Video retrieval method, and method and apparatus for generating video retrieval mapping relationship
CN110019905B (zh) 信息输出方法和装置
CN117670470A (zh) 推荐模型的训练方法及装置
CN117473157A (zh) 一种基于个性化提示学习的序列推荐方法和装置
CN116468507A (zh) 目标推荐方法及装置
CN116975427A (zh) 确定对象对资源信息的感兴趣程度的方法、装置和计算设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant