CN115994632A - 一种点击率预测方法、装置、设备及可读存储介质 - Google Patents
一种点击率预测方法、装置、设备及可读存储介质 Download PDFInfo
- Publication number
- CN115994632A CN115994632A CN202310298772.7A CN202310298772A CN115994632A CN 115994632 A CN115994632 A CN 115994632A CN 202310298772 A CN202310298772 A CN 202310298772A CN 115994632 A CN115994632 A CN 115994632A
- Authority
- CN
- China
- Prior art keywords
- feature vector
- output result
- training
- model
- order
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000012549 training Methods 0.000 claims abstract description 137
- 239000013598 vector Substances 0.000 claims description 226
- 239000002131 composite material Substances 0.000 claims description 61
- 230000009466 transformation Effects 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 14
- 230000004913 activation Effects 0.000 claims description 9
- 230000006399 behavior Effects 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 abstract description 17
- 230000008901 benefit Effects 0.000 abstract description 6
- 230000015556 catabolic process Effects 0.000 description 9
- 238000006731 degradation reaction Methods 0.000 description 9
- 230000003993 interaction Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000012360 testing method Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 238000005266 casting Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000010076 replication Effects 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请公开了一种点击率预测方法、装置、设备及可读存储介质，涉及数据预测领域，包括：获取训练数据集，训练数据集包括用户的历史行为信息、用户的属性信息和视频信息；根据训练数据集对初始点击率预估模型进行训练，得到点击率预估模型，初始点击率预估模型包括xDeepFM模型，xDeepFM模型包括DCN‑v2网络；根据点击率预估模型对待预测视频进行预测，得到待预测视频的预测结果。可见，本申请通过将引入DCN‑v2网络的xDeepFM模型作为初始点击率预估模型，加强了模型对高阶特征的交叉提取能力，进而加强了xDeepFM模型对高阶显隐性特征的提取与交叉能力，使得基于初始点击率预估模型训练得到的点击率预估模型对待预测视频进行点击率预测时的准确性大大增加。
Description
技术领域
本申请涉及数据预测领域，更具体地说，涉及一种点击率预测方法、装置、设备及可读存储介质。
背景技术
点击率(Click-throughRate，CTR)预测在推荐系统和广告系统中都是最重要的组成模块，在视频推荐系统中，其目标是最大化点击次数，在返回给用户的界面上，被推荐的视频的顺序应该根据CTR预测进行排名。所以，正确预测CTR至关重要。
xDeepFM模型是CTR预测任务的经典模型，xDeepFM中的CIN网络，从属于Wide端，对embedding得到的嵌入特征信息进行高阶显式交互。但其进行显性特征的二阶交叉的层级主要基于特征向量级别（vector-wise）的视角，这样的好处是意识到了向量场层面上的抽象意义，具有一定的泛化能力。但是缺点也同样明显，那就是丢失了特征信息内部元素的交互信息，进而丧失了对特征信息内部元素级细节的抽取能力。联合特征信息的丢失导致特征提取能力的下降，进而致使后续的xDeepFM模型性能的下降，最终导致通过xDeepFM模型进行点击率预测时的准确性下降。
发明内容
使得基于初始点击率预估模型训练得到的点击率预估模型对待预测视频进行点击率预测时的准确性大大增加。
有鉴于此，本申请实施例提供了一种点击率预测方法，包括：
获取训练数据集，所述训练数据集包括用户的历史行为信息、用户的属性信息和视频信息；
根据所述训练数据集对初始点击率预估模型进行训练，得到点击率预估模型，所述初始点击率预估模型包括xDeepFM模型，所述xDeepFM模型包括DCN-v2网络；
根据所述点击率预估模型对待预测视频进行预测，得到所述待预测视频的预测结果。
可选地，所述根据所述训练数据集对初始点击率预估模型进行训练，得到点击率预估模型，包括：
将所述训练数据集转化为高阶特征向量，所述高阶特征向量包括第一高阶稀疏特征向量、第二高阶稀疏特征向量和第三高阶稀疏特征向量、第一复合特征向量和第二复合特征向量；
将所述第一复合特征向量输入所述xDeepFM模型中的CIN层中训练，得到第一输出结果；
将所述第二复合特征向量输入所述xDeepFM模型中的DNN层中训练，得到第二输出结果；
将所述第一复合特征向量输入所述xDeepFM模型中的DCN-v2网络中训练，得到第三输出结果；
将所述第一高阶稀疏特征向量输入所述xDeepFM模型中的线性变换网络中训练，得到第四输出结果；
将所述第二高阶稀疏特征向量输入所述xDeepFM模型中的线性变换网络中训练，得到第五输出结果；
所述第三高阶稀疏特征向量输入所述xDeepFM模型中的线性变换网络中训练，得到第六输出结果；
根据激活函数、所述第一输出结果、所述第二输出结果、所述第三输出结果、第四输出结果、第五输出结果和第六输出结果得到点击率预估模型。
可选地，所述将所述训练数据集转化为高阶特征向量，包括：
对所述训练数据集进行数据预处理，得到低阶特征向量；
对所述低阶特征向量进行压缩，得到高阶稀疏特征向量；
对所述高阶稀疏特征向量进行复制，得到第一高阶稀疏特征向量、第二高阶稀疏特征向量和第三高阶稀疏特征向量，所述第一高阶稀疏特征向量与所述第二高阶稀疏特征向量相同，所述第二高阶稀疏特征向量与所述第三高阶稀疏特征向量相同；
将所述第一高阶稀疏特征向量和所述第二高阶稀疏特征向量进行拼接，得到第一复合特征向量；
将所述第二高阶稀疏特征向量和所述第三高阶稀疏特征向量拼接，得到第二复合特征向量。
可选地，所述将所述第一复合特征向量输入所述xDeepFM模型中的DCN-v2网络中训练，得到第三输出结果，包括：
将所述第一复合特征向量输入至DCN-v2网络中的cross层进行训练，得到第七输出结果；
将所述第一复合特征向量输入至DCN-v2网络中的deep层进行训练，得到第八输出结果；
对所述第七输出结果和第八输出结果进行拼接，得到第三输出结果。
本申请实施例还提供了一种点击率预测装置，包括：
获取单元，用于获取训练数据集，所述训练数据集包括用户的历史行为信息、用户的属性信息和视频信息；
训练单元，用于根据所述训练数据集对初始点击率预估模型进行训练，得到点击率预估模型，所述初始点击率预估模型包括xDeepFM模型，所述xDeepFM模型包括DCN-v2网络；
预测单元，用于根据所述点击率预估模型对待预测视频进行预测，得到所述待预测视频的预测结果。
可选地，所述训练单元，具体用于：
将所述训练数据集转化为高阶特征向量，所述高阶特征向量包括第一高阶稀疏特征向量、第二高阶稀疏特征向量和第三高阶稀疏特征向量、第一复合特征向量和第二复合特征向量；
将所述第一复合特征向量输入所述xDeepFM模型中的CIN层中训练，得到第一输出结果；
将所述第二复合特征向量输入所述xDeepFM模型中的DNN层中训练，得到第二输出结果；
将所述第一复合特征向量输入所述xDeepFM模型中的DCN-v2网络中训练，得到第三输出结果；
将所述第一高阶稀疏特征向量输入所述xDeepFM模型中的线性变换网络中训练，得到第四输出结果；
将所述第二高阶稀疏特征向量输入所述xDeepFM模型中的线性变换网络中训练，得到第五输出结果；
所述第三高阶稀疏特征向量输入所述xDeepFM模型中的线性变换网络中训练，得到第六输出结果；
根据激活函数、所述第一输出结果、所述第二输出结果、所述第三输出结果、第四输出结果、第五输出结果和第六输出结果得到点击率预估模型。
可选地，所述训练单元，具体用于：
对所述训练数据集进行数据预处理，得到低阶特征向量；
对所述低阶特征向量进行压缩，得到高阶稀疏特征向量；
对所述高阶稀疏特征向量进行复制，得到第一高阶稀疏特征向量、第二高阶稀疏特征向量和第三高阶稀疏特征向量，所述第一高阶稀疏特征向量与所述第二高阶稀疏特征向量相同，所述第二高阶稀疏特征向量与所述第三高阶稀疏特征向量相同；
将所述第一高阶稀疏特征向量和所述第二高阶稀疏特征向量进行拼接，得到第一复合特征向量；
将所述第二高阶稀疏特征向量和所述第三高阶稀疏特征向量拼接，得到第二复合特征向量。
可选地，所述训练单元，具体用于：
将所述第一复合特征向量输入至DCN-v2网络中的cross层进行训练，得到第七输出结果；
将所述第一复合特征向量输入至DCN-v2网络中的deep层进行训练，得到第八输出结果；
对所述第七输出结果和第八输出结果进行拼接，得到第三输出结果。
本申请实施例还提供了一种计算机设备，包括：存储器、处理器以及总线系统；
其中，所述存储器用于存储程序；
所述处理器用于执行所述存储器中的程序，以实现上述所述的任意一种点击率预测方法；
所述总线系统用于连接所述存储器以及所述处理器，以使所述存储器以及所述处理器进行通信。
本申请实施例还提供了一种计算机可读存储介质，存储有指令，当其在计算机上运行时，使得计算机执行如上述所述的任意一种点击率预测方法。
本申请实施例提供了一种点击率预测方法，包括：获取训练数据集，所述训练数据集包括用户的历史行为信息、用户的属性信息和视频信息；根据所述训练数据集对初始点击率预估模型进行训练，得到点击率预估模型，所述初始点击率预估模型包括xDeepFM模型，所述xDeepFM模型包括DCN-v2网络；根据所述点击率预估模型对待预测视频进行预测，得到所述待预测视频的预测结果。可见，本申请通过将引入DCN-v2网络的xDeepFM模型作为初始点击率预估模型，加强了模型对高阶特征的交叉提取能力，进而加强了xDeepFM模型对高阶显隐性特征的提取与交叉能力，使得基于初始点击率预估模型训练得到的点击率预估模型对待预测视频进行点击率预测时的准确性大大增加。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种点击率预测方法的流程示意图；
图2为本申请实施例提供的一种xDeepFM模型的结构示意图；
图3为本申请实施例提供的一种DCN-v2网络的结构示意图；
图4为本申请实施例提供的一种DCN-v2网络中Cross层的结构示意图；
图5为本申请实施例提供的一种EPLE的特征处理方法的结构示意图；
图6为本申请实施例提供的一种点击率预测装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先对本申请可能涉及的部分名词进行解释：
xdeepFM：点击率预估（Click-Through-Rate，CTR）预测任务经典模型之一。
DCN-v2：为DCN（Deep Cross Network）深度交叉网络的改进版，对DCN进行了矩阵替代和串并行计算方式的两大改进。
embedding：特指用一个低维的向量表示一个对象。multi-embedding是指使用多重嵌入特征复合表示；shared-embedding表示使用同一嵌入特征进行共享表示。
点击率预估 (CTR estimation): 点击率预估是在线信息系统的核心模块之一，广泛应用于推荐系统、付费广告、搜索引擎等产品和业务中。在视频推荐系统中，其目标是最大化点击次数，在返回给用户的界面上，被推荐的视频的顺序应该根据CTR预测进行排名。所以，正确预测CTR至关重要。通常用训练好的点击率预估模型来进行预测。
xDeepFM模型是CTR预测任务的经典模型，xDeepFM中的CIN网络，从属于Wide端，对embedding得到的嵌入特征信息进行高阶显式交互。但其进行显性特征的二阶交叉的层级主要基于特征向量级别（vector-wise）的视角，这样的好处是意识到了向量场层面上的抽象意义，具有一定的泛化能力。但是缺点也同样明显，那就是丢失了特征信息内部元素的交互信息，进而丧失了对特征信息内部元素级细节的抽取能力。联合特征信息的丢失导致特征提取能力的下降，进而致使后续的xDeepFM模型性能的下降，最终导致通过xDeepFM模型进行点击率预测时的准确性下降。
因此，针对上述问题，本申请实施例提供了一种点击率预测方法、装置、设备及可读存储介质，能够使得基于初始点击率预估模型训练得到的点击率预估模型对待预测视频进行点击率预测时的准确性大大增加。
请参阅图1，本申请实施例所提供的一种点击率预测方法包括以下步骤。
S101、获取训练数据集。
本实施例中，可以先获取用于训练出点击率预估模型的训练数据集。可以理解的是，训练数据集中可以包括用户的历史行为信息、用户的属性信息和视频信息等。具体地，用户的历史行为信息可以包括用户的浏览时长和用户是否点击广告；用户的属性信息可以包括用户编号、用户所在城市等；视频信息可以包括视频编号、作者编号、播放次数、视频持续时长、播放渠道、视频特征、音频特征和标题特征等。
S102、根据所述训练数据集对初始点击率预估模型进行训练，得到点击率预估模型，所述初始点击率预估模型包括xDeepFM模型，所述xDeepFM模型包括DCN-v2网络。
本实施例中，在获取训练数据集后，可以根据获取的训练数据集对初始点击率预估模型进行训练，得到点击率预估模型。其中，初始点击率预估模型可以为xDeepFM模型，其中xDeepFM模型包括DCN-v2网络，也即初始点击率预估模型可以为包含DCN-v2网络的xDeepFM模型。
具体地，如图2所示，未引入DCN-v2网络的xDeepFM模型总体结构一共包括三个分支：Linear（稀疏的01向量作为输入），也称为线性变换网络、DNN（经过嵌入的稠密向量作为输入）、CIN（压缩感知层）。其中CIN部分负责学习显式的高阶交互信息，DNN部分负责学习隐式的高阶交互信息。xDeepFM中的CIN网络，从属于Wide端，对嵌入（embedding）得到的嵌入特征信息进行高阶显式交互。但其进行显性特征的二阶交叉的层级主要基于特征向量级别（vector-wise）的视角，这样的好处是意识到了向量场层面上的抽象意义，具有一定的泛化能力。但是缺点也同样明显，那就是丢失了特征信息内部元素的交互信息，进而丧失了对特征信息内部元素级细节的抽取能力。联合特征信息的丢失导致特征提取能力的下降，进而致使后续的xDeepFM模型性能的下降，最终导致通过xDeepFM模型进行点击率预测时的准确性下降。
而如图3所示，DCN-v2的网络结构基于DCN网络进行了相关的改进，主要由四大部分组成，分别为嵌入堆叠层（embedding and stacking layer）、交叉网络（cross network，以下简称Cross层）、深度网络层（deep network，以下简称Deep层）和组合层（combinationlayer）。对deep层和cross层尝试了两种不同的组合方式：串行（stacked）和并行（parallel）。前者将Cross的输出作为Deep层的输入，Deep层的输出为最终的输出结果；而后者将Cross层和Deep层同时进行，最后将Cross层的输出和Deep层的输出相拼接，最终获得输出结果。如图4所示，相较于DCN，DCN-v2改进的核心在于交叉网络层（cross network），将原先的特征交叉参数向量W转变为矩阵，相比于一维的参数向量，多维度的参数矩阵加强了Cross网络的中对于特征交互信息的表达能力。
具体地，DCN-v2各层计算如下，
1、嵌入堆叠层（embedding and stacking layer）
嵌入层（embedding layer）作用在于对输入的高维one-hot编码的向量进行降维，计算方式如下
；
其中为embedding向量，是第i个分类的二值化输入，为相应的embedding矩阵。
堆叠层（stacking layer）的作用是将所有的密集型特征与通过embedding转换后的特征如下式进行联合：
；
得到的输入后续网络。
2、交叉网络层（cross network）
Cross Network为DCN-v2主要改进的部分，由多个交叉层（crossing layer）构成，第l+1层cross layer用下式计算:
；
其中为embedding输入层，分别为第l层的输入和输出，，分别为学习到的权重矩阵和偏置向量，表示计算哈达玛积。在原始DCN中，Wl仅为向量，网络层权重参数由原来的向量变为矩阵的好处是，可以实现元素级（element-wise）和特征级（feature-wise）的特征交叉学习。
3、深度网络层（deep network）
Deep network为前馈神经网络，每一层形式如下
；
，分别表示第l个和第l+1个隐藏层隐藏层，，是第1个深度网络层的参数，表示ReLU函数。
4、组合层（combination layer）
组合层（Combination layer）将交叉网络层（cross network）和深度网络层（deepnetwork）两个网络的输出进行拼接，输入到逻辑回归模型中，从而得到预测概率。
；
其中，分别为交叉网络层（cross network）和深度网络层（deep network）的输出，是组合层（Combination layer）的权重向量，σ为sigmoid函数。
因此，通过将引入DCN-v2网络的xDeepFM模型作为初始点击率预估模型，加强了模型对高阶特征的交叉提取能力，进而加强了xDeepFM模型对高阶显隐性特征的提取与交叉能力，使得基于初始点击率预估模型训练得到的点击率预估模型对待预测视频进行点击率预测时的准确性大大增加。
在一种可能实现的方式中，可以将所述训练数据集转化为高阶特征向量，所述高阶特征向量包括第一高阶稀疏特征向量、第二高阶稀疏特征向量和第三高阶稀疏特征向量、第一复合特征向量和第二复合特征向量；将所述第一复合特征向量输入所述xDeepFM模型中的CIN层中训练，得到第一输出结果；将所述第二复合特征向量输入所述xDeepFM模型中的DNN层中训练，得到第二输出结果；将所述第一复合特征向量输入所述xDeepFM模型中的DCN-v2网络中训练，得到第三输出结果；将所述第一高阶稀疏特征向量输入所述xDeepFM模型中的线性变换网络中训练，得到第四输出结果；将所述第二高阶稀疏特征向量输入所述xDeepFM模型中的线性变换网络中训练，得到第五输出结果；所述第三高阶稀疏特征向量输入所述xDeepFM模型中的线性变换网络中训练，得到第六输出结果；根据激活函数、所述第一输出结果、所述第二输出结果、所述第三输出结果、第四输出结果、第五输出结果和第六输出结果得到点击率预估模型。
可以理解的是，目前大多数的CTR模型例如xDeepFM等在进行完embedding特征提取嵌入之后，一般仅统一使用一套特征嵌入参数，并同时输入到后续显隐性特征交互模型中进行拟合训练。然而embedding特征参数共享这种处理的机制是否合理存疑，并且模型之间对特征参数的训练可能存在一定程度上的相互影响，且这种影响极可能是负相关的，进而降低了模型的拟合优度，导致一定程度上不能有效深入地探索到潜在的Co-Action的特征联合性质。因此，可以通过将训练数据集转化为包括第一高阶稀疏特征向量、第二高阶稀疏特征向量和第三高阶稀疏特征向量、第一复合特征向量和第二复合特征向量的高阶特征向量，并将其分别输入xDeepFM模型中的CIN层、DNN层、DCN-v2网络和线性变换网络中，得到第一输出结果、第二输出结果、第三输出结果、第四输出结果、第五输出结果、第六输出结果，进而根据激活函数、第一输出结果、第二输出结果、第三输出结果、第四输出结果、第五输出结果、第六输出结果来得到点击率预估模型，从而实现multi-embeding和shared-embeding的特征嵌入功能，提升模型的拟合优度。并且通过对模型的训练参数与融合方式进行调优，提升了现有模型的性能以及增强了模型的可训练性，加快了模型的训练速度的同时提高了模型训练的上限，进而使得基于初始点击率预估模型训练得到的点击率预估模型对待预测视频进行点击率预测时的准确性大大增加。
其中线性变换网络的形式可以如下所示：
；
其中W为可变化的参数，b可以为常数。参数w在模型训练开始时进行随机初始化设定，在训练过程中不断迭代以使loss更小，在三个线性分支中，模型最终学习到的（i=1，2，3）并不相同，所以使得最终得到的第四输出结果、第五输出结果、第六输出结果并不相同。
在一种可能实现的方式中，可以对训练数据集进行数据预处理，得到低阶特征向量；对所述低阶特征向量进行压缩，得到高阶稀疏特征向量；对所述高阶稀疏特征向量进行复制，得到第一高阶稀疏特征向量、第二高阶稀疏特征向量和第三高阶稀疏特征向量，所述第一高阶稀疏特征向量与所述第二高阶稀疏特征向量相同，所述第二高阶稀疏特征向量与所述第三高阶稀疏特征向量相同；将所述第一高阶稀疏特征向量和所述第二高阶稀疏特征向量进行拼接，得到第一复合特征向量；将所述第二高阶稀疏特征向量和所述第三高阶稀疏特征向量拼接，得到第二复合特征向量。
可以理解的是，在获取训练数据集后，可以对训练数据集进行数据预处理，得到预处理后的one-hot编码格式的低阶特征向量，然后通过embedding layer对低阶特征向量进行压缩，得到如下所述的高阶稀疏特征向量：
；
其中，m表示m个域（field），表示其中一个field，该高阶稀疏特征向量也可以称为。
如图5所示，在获得高阶稀疏向量时，可以对进行复制得到、、，然后将和进行拼接（cat）作为Wide端也即CIN层和DCN-v2网络的输入，将和进行拼接作为Deep端也即DNN层的输入，可将该过程称为EPLE（Embedding Progressive LayeredExtraction）。EPLE这样三套embedding参数的复合嵌入方式既保留了embedding特征训练的共享性，又保留了embedding特征训练的独立性，表达了multi-embedding & shared-embedding的特点。
在一种可能实现的方式中，将所述第一复合特征向量输入所述xDeepFM模型中的DCN-v2网络中训练，得到第三输出结果，具体可以为先将第一复合特征向量输入至DCN-v2网络中的cross层进行训练，得到第七输出结果；将第一复合特征向量输入至DCN-v2网络中的deep层进行训练，得到第八输出结果；最后对第七输出结果和第八输出结果进行拼接，得到第三输出结果。通过将引入DCN-v2网络的xDeepFM模型作为初始点击率预估模型，加强了模型对高阶特征的交叉提取能力，进而加强了xDeepFM模型对高阶显隐性特征的提取与交叉能力，使得基于初始点击率预估模型训练得到的点击率预估模型对待预测视频进行点击率预测时的准确性大大增加。
在一种可能实现的方式中，根据激活函数、所述第一输出结果、所述第二输出结果、所述第三输出结果、第四输出结果、第五输出结果和第六输出结果得到点击率预估模型，具体可以根据以下公式进行：
；
其中，是sigmoid激活函数；、和分别为对高阶稀疏向量进行复制后得到的三个相同的高阶稀疏向量；和分别为DNN层与CIN层的输出，为经过DCN-v2网络后的输出，和b均为网络可学习的参数；也即为第一输出结果，为第二输出结果，为第三输出结果，为第四输出结果，为第五输出结果，为第六输出结果，为模型激活后预测的输入。
对于二分类问题，后续采用交叉熵损失函数，具体计算公式如下：
。
在一种可能实现的方式中，在得到点击率预估模型后，可以获取测试数据集；根据测试数据集对点击率预估模型的性能进行测试，得到测试结果。可以理解的是，为了对训练出的点击率预估模型进行评价，可以通过测试数据集对点击率预估模型进行测试，并采用准确率AUC值作为评价指标，得到测试结果，以便于在测试结果显示点击率预估模型的性能未达到预期时对参数进行优化调整并重新训练得到新的点击率预估模型。
S103、根据所述点击率预估模型对待预测视频进行预测，得到所述待预测视频的预测结果。
本实施例中，在训练得到点击率预估模型后，可以将待预测视频输入到点击率预估模型中，从而得到待预测视频的预测结果。
由此可知，本申请通过将引入DCN-v2网络的xDeepFM模型作为初始点击率预估模型，加强了模型对高阶特征的交叉提取能力，进而加强了xDeepFM模型对高阶显隐性特征的提取与交叉能力，使得基于初始点击率预估模型训练得到的点击率预估模型对待预测视频进行点击率预测时的准确性大大增加。
请参阅图6，本申请实施例还提供了一种点击率预测装置，包括：
获取单元601，用于获取训练数据集，所述训练数据集包括用户的历史行为信息、用户的属性信息和视频信息；
训练单元602，用于根据所述训练数据集对初始点击率预估模型进行训练，得到点击率预估模型，所述初始点击率预估模型包括xDeepFM模型，所述xDeepFM模型包括DCN-v2网络；
预测单元603，用于根据所述点击率预估模型对待预测视频进行预测，得到所述待预测视频的预测结果。
可选地，所述训练单元602，具体用于：
将所述训练数据集转化为高阶特征向量，所述高阶特征向量包括第一高阶稀疏特征向量、第二高阶稀疏特征向量和第三高阶稀疏特征向量、第一复合特征向量和第二复合特征向量；
将所述第一复合特征向量输入所述xDeepFM模型中的CIN层中训练，得到第一输出结果；
将所述第二复合特征向量输入所述xDeepFM模型中的DNN层中训练，得到第二输出结果；
将所述第一复合特征向量输入所述xDeepFM模型中的DCN-v2网络中训练，得到第三输出结果；
将所述第一高阶稀疏特征向量输入所述xDeepFM模型中的线性变换网络中训练，得到第四输出结果；
将所述第二高阶稀疏特征向量输入所述xDeepFM模型中的线性变换网络中训练，得到第五输出结果；
所述第三高阶稀疏特征向量输入所述xDeepFM模型中的线性变换网络中训练，得到第六输出结果；
根据激活函数、所述第一输出结果、所述第二输出结果、所述第三输出结果、第四输出结果、第五输出结果和第六输出结果得到点击率预估模型。
可选地，所述训练单元602，具体用于：
对所述训练数据集进行数据预处理，得到低阶特征向量；
对所述低阶特征向量进行压缩，得到高阶稀疏特征向量；
对所述高阶稀疏特征向量进行复制，得到第一高阶稀疏特征向量、第二高阶稀疏特征向量和第三高阶稀疏特征向量，所述第一高阶稀疏特征向量与所述第二高阶稀疏特征向量相同，所述第二高阶稀疏特征向量与所述第三高阶稀疏特征向量相同；
将所述第一高阶稀疏特征向量和所述第二高阶稀疏特征向量进行拼接，得到第一复合特征向量；
将所述第二高阶稀疏特征向量和所述第三高阶稀疏特征向量拼接，得到第二复合特征向量。
可选地，所述训练单元602，具体用于：
将所述第一复合特征向量输入至DCN-v2网络中的cross层进行训练，得到第七输出结果；
将所述第一复合特征向量输入至DCN-v2网络中的deep层进行训练，得到第八输出结果；
对所述第七输出结果和第八输出结果进行拼接，得到第三输出结果。
本申请实施例还提供了一种计算机设备，包括：存储器、处理器以及总线系统；
其中，所述存储器用于存储程序；
所述处理器用于执行所述存储器中的程序，以实现上述所述的任意一种点击率预测方法；
所述总线系统用于连接所述存储器以及所述处理器，以使所述存储器以及所述处理器进行通信。
本申请实施例还提供了一种计算机可读存储介质，存储有指令，当其在计算机上运行时，使得计算机执行如上述所述的任意一种点击率预测方法。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种点击率预测方法，其特征在于，所述方法包括：
获取训练数据集，所述训练数据集包括用户的历史行为信息、用户的属性信息和视频信息；
根据所述训练数据集对初始点击率预估模型进行训练，得到点击率预估模型，所述初始点击率预估模型包括xDeepFM模型，所述xDeepFM模型包括DCN-v2网络；
根据所述点击率预估模型对待预测视频进行预测，得到所述待预测视频的预测结果。
2.根据权利要求1所述的方法，其特征在于，所述根据所述训练数据集对初始点击率预估模型进行训练，得到点击率预估模型，包括：
将所述训练数据集转化为高阶特征向量，所述高阶特征向量包括第一高阶稀疏特征向量、第二高阶稀疏特征向量和第三高阶稀疏特征向量、第一复合特征向量和第二复合特征向量；
将所述第一复合特征向量输入所述xDeepFM模型中的CIN层中训练，得到第一输出结果；
将所述第二复合特征向量输入所述xDeepFM模型中的DNN层中训练，得到第二输出结果；
将所述第一复合特征向量输入所述xDeepFM模型中的DCN-v2网络中训练，得到第三输出结果；
将所述第一高阶稀疏特征向量输入所述xDeepFM模型中的线性变换网络中训练，得到第四输出结果；
将所述第二高阶稀疏特征向量输入所述xDeepFM模型中的线性变换网络中训练，得到第五输出结果；
所述第三高阶稀疏特征向量输入所述xDeepFM模型中的线性变换网络中训练，得到第六输出结果；
根据激活函数、所述第一输出结果、所述第二输出结果、所述第三输出结果、第四输出结果、第五输出结果和第六输出结果得到点击率预估模型。
3.根据权利要求2所述的方法，其特征在于，所述将所述训练数据集转化为高阶特征向量，包括：
对所述训练数据集进行数据预处理，得到低阶特征向量；
对所述低阶特征向量进行压缩，得到高阶稀疏特征向量；
对所述高阶稀疏特征向量进行复制，得到第一高阶稀疏特征向量、第二高阶稀疏特征向量和第三高阶稀疏特征向量，所述第一高阶稀疏特征向量与所述第二高阶稀疏特征向量相同，所述第二高阶稀疏特征向量与所述第三高阶稀疏特征向量相同；
将所述第一高阶稀疏特征向量和所述第二高阶稀疏特征向量进行拼接，得到第一复合特征向量；
将所述第二高阶稀疏特征向量和所述第三高阶稀疏特征向量拼接，得到第二复合特征向量。
4.根据权利要求2所述的方法，其特征在于，所述将所述第一复合特征向量输入所述xDeepFM模型中的DCN-v2网络中训练，得到第三输出结果，包括：
将所述第一复合特征向量输入至DCN-v2网络中的cross层进行训练，得到第七输出结果；
将所述第一复合特征向量输入至DCN-v2网络中的deep层进行训练，得到第八输出结果；
对所述第七输出结果和第八输出结果进行拼接，得到第三输出结果。
5.一种点击率预测装置，其特征在于，所述装置包括：
获取单元，用于获取训练数据集，所述训练数据集包括用户的历史行为信息、用户的属性信息和视频信息；
训练单元，用于根据所述训练数据集对初始点击率预估模型进行训练，得到点击率预估模型，所述初始点击率预估模型包括xDeepFM模型，所述xDeepFM模型包括DCN-v2网络；
预测单元，用于根据所述点击率预估模型对待预测视频进行预测，得到所述待预测视频的预测结果。
6.根据权利要求5所述的装置，其特征在于，所述训练单元，具体用于：
将所述训练数据集转化为高阶特征向量，所述高阶特征向量包括第一高阶稀疏特征向量、第二高阶稀疏特征向量和第三高阶稀疏特征向量、第一复合特征向量和第二复合特征向量；
将所述第一复合特征向量输入所述xDeepFM模型中的CIN层中训练，得到第一输出结果；
将所述第二复合特征向量输入所述xDeepFM模型中的DNN层中训练，得到第二输出结果；
将所述第一复合特征向量输入所述xDeepFM模型中的DCN-v2网络中训练，得到第三输出结果；
将所述第一高阶稀疏特征向量输入所述xDeepFM模型中的线性变换网络中训练，得到第四输出结果；
将所述第二高阶稀疏特征向量输入所述xDeepFM模型中的线性变换网络中训练，得到第五输出结果；
所述第三高阶稀疏特征向量输入所述xDeepFM模型中的线性变换网络中训练，得到第六输出结果；
根据激活函数、所述第一输出结果、所述第二输出结果、所述第三输出结果、第四输出结果、第五输出结果和第六输出结果得到点击率预估模型。
7.根据权利要求6所述的装置，其特征在于，所述训练单元，具体用于：
对所述训练数据集进行数据预处理，得到低阶特征向量；
对所述低阶特征向量进行压缩，得到高阶稀疏特征向量；
对所述高阶稀疏特征向量进行复制，得到第一高阶稀疏特征向量、第二高阶稀疏特征向量和第三高阶稀疏特征向量，所述第一高阶稀疏特征向量与所述第二高阶稀疏特征向量相同，所述第二高阶稀疏特征向量与所述第三高阶稀疏特征向量相同；
将所述第一高阶稀疏特征向量和所述第二高阶稀疏特征向量进行拼接，得到第一复合特征向量；
将所述第二高阶稀疏特征向量和所述第三高阶稀疏特征向量拼接，得到第二复合特征向量。
8.根据权利要求6所述的装置，其特征在于，所述训练单元，具体用于：
将所述第一复合特征向量输入至DCN-v2网络中的cross层进行训练，得到第七输出结果；
将所述第一复合特征向量输入至DCN-v2网络中的deep层进行训练，得到第八输出结果；
对所述第七输出结果和第八输出结果进行拼接，得到第三输出结果。
9.一种计算机设备，其特征在于，包括：存储器、处理器以及总线系统；
其中，所述存储器用于存储程序；
所述处理器用于执行所述存储器中的程序，以实现权利要求1至4中任一项所述的方法；
所述总线系统用于连接所述存储器以及所述处理器，以使所述存储器以及所述处理器进行通信。
10.一种计算机可读存储介质，其特征在于，存储有指令，当其在计算机上运行时，使得计算机执行如权利要求1至4中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310298772.7A CN115994632A (zh) | 2023-03-24 | 2023-03-24 | 一种点击率预测方法、装置、设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310298772.7A CN115994632A (zh) | 2023-03-24 | 2023-03-24 | 一种点击率预测方法、装置、设备及可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115994632A true CN115994632A (zh) | 2023-04-21 |
Family
ID=85995461
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310298772.7A Pending CN115994632A (zh) | 2023-03-24 | 2023-03-24 | 一种点击率预测方法、装置、设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115994632A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117672266A (zh) * | 2023-12-05 | 2024-03-08 | 绍兴大明电力建设有限公司 | 一种基于dcn的声纹识别方法 |
| CN117672266B (zh) * | 2023-12-05 | 2024-06-07 | 绍兴大明电力建设有限公司 | 一种基于dcn深度交叉网络的声纹识别方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110111885A (zh) * | 2019-05-09 | 2019-08-09 | 腾讯科技（深圳）有限公司 | 属性预测方法、装置、计算机设备及计算机可读存储介质 |
| CN114154565A (zh) * | 2021-11-18 | 2022-03-08 | 北京科技大学 | 一种基于多层次特征交互的点击率预测方法及装置 |
| CN114781503A (zh) * | 2022-04-09 | 2022-07-22 | 东华大学 | 一种基于深度特征融合的点击率预估方法 |
| CN115168545A (zh) * | 2022-07-26 | 2022-10-11 | 北京百度网讯科技有限公司 | 群组搜索方法、装置、电子设备及介质 |
| CN115563510A (zh) * | 2022-12-01 | 2023-01-03 | 北京搜狐新动力信息技术有限公司 | 一种点击率预估模型的训练方法及相关装置 |
| CN115689639A (zh) * | 2022-08-25 | 2023-02-03 | 江南大学 | 一种基于深度学习的商业广告点击率预测方法 |
-
2023
- 2023-03-24 CN CN202310298772.7A patent/CN115994632A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110111885A (zh) * | 2019-05-09 | 2019-08-09 | 腾讯科技（深圳）有限公司 | 属性预测方法、装置、计算机设备及计算机可读存储介质 |
| CN114154565A (zh) * | 2021-11-18 | 2022-03-08 | 北京科技大学 | 一种基于多层次特征交互的点击率预测方法及装置 |
| CN114781503A (zh) * | 2022-04-09 | 2022-07-22 | 东华大学 | 一种基于深度特征融合的点击率预估方法 |
| CN115168545A (zh) * | 2022-07-26 | 2022-10-11 | 北京百度网讯科技有限公司 | 群组搜索方法、装置、电子设备及介质 |
| CN115689639A (zh) * | 2022-08-25 | 2023-02-03 | 江南大学 | 一种基于深度学习的商业广告点击率预测方法 |
| CN115563510A (zh) * | 2022-12-01 | 2023-01-03 | 北京搜狐新动力信息技术有限公司 | 一种点击率预估模型的训练方法及相关装置 |
Non-Patent Citations (1)
| Title |
|---|
| RUOXI WANG 等: "DCN V2: Improved Deep & Cross Network and Practical Lessons for Web-scale Learning to Rank Systems", PROCEEDINGS OF THE WEB CONFERENCE 2021 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117672266A (zh) * | 2023-12-05 | 2024-03-08 | 绍兴大明电力建设有限公司 | 一种基于dcn的声纹识别方法 |
| CN117672266B (zh) * | 2023-12-05 | 2024-06-07 | 绍兴大明电力建设有限公司 | 一种基于dcn深度交叉网络的声纹识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11893071B2 (en) | Content recommendation method and apparatus, electronic device, and storage medium | |
| Zheng et al. | Joint deep modeling of users and items using reviews for recommendation | |
| CN111339415B (zh) | 一种基于多交互式注意力网络的点击率预测方法与装置 | |
| CN111209386B (zh) | 一种基于深度学习的个性化文本推荐方法 | |
| CN110807154A (zh) | 一种基于混合深度学习模型的推荐方法与系统 | |
| Dias et al. | Using the Choquet integral in the pooling layer in deep learning networks | |
| CN110390052B (zh) | 搜索推荐方法、ctr预估模型的训练方法、装置及设备 | |
| CN112119388A (zh) | 训练图像嵌入模型和文本嵌入模型 | |
| CN111382361A (zh) | 信息推送方法、装置、存储介质和计算机设备 | |
| CN112328900A (zh) | 一种融合评分矩阵和评论文本的深度学习推荐方法 | |
| CN114077661A (zh) | 信息处理装置、信息处理方法和计算机可读介质 | |
| CN116976505A (zh) | 基于信息共享的解耦注意网络的点击率预测方法 | |
| CN110826315B (zh) | 使用神经网络系统识别短文本时效性的方法 | |
| Zhou | A novel movies recommendation algorithm based on reinforcement learning with DDPG policy | |
| Wang et al. | An enhanced multi-modal recommendation based on alternate training with knowledge graph representation | |
| Xia et al. | Attention neural collaboration filtering based on GRU for recommender systems | |
| CN116010696A (zh) | 融合知识图谱和用户长短期兴趣的新闻推荐方法、系统及介质 | |
| CN115994632A (zh) | 一种点击率预测方法、装置、设备及可读存储介质 | |
| CN115630223A (zh) | 基于多模型融合的服务推荐方法及推荐系统 | |
| CN111460302B (zh) | 数据处理方法、装置、电子设备及计算机可读存储介质 | |
| CN112925983A (zh) | 一种电网资讯信息的推荐方法及系统 | |
| CN115203516A (zh) | 基于人工智能的信息推荐方法、装置、设备及存储介质 | |
| Li et al. | Research on recommendation algorithm based on e-commerce user behavior sequence | |
| Bi et al. | An approach for item recommendation using deep neural network combined with the Bayesian personalized ranking | |
| Tian et al. | Collaborative filtering recommendation algorithm based on improved denoising auto encoder |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20230421 |
|
| RJ01 | Rejection of invention patent application after publication |