CN114493674A - 一种广告点击率预测模型及方法 - Google Patents
一种广告点击率预测模型及方法 Download PDFInfo
- Publication number
- CN114493674A CN114493674A CN202111660064.0A CN202111660064A CN114493674A CN 114493674 A CN114493674 A CN 114493674A CN 202111660064 A CN202111660064 A CN 202111660064A CN 114493674 A CN114493674 A CN 114493674A
- Authority
- CN
- China
- Prior art keywords
- feature
- attention
- advertisement
- interaction
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 230000003993 interaction Effects 0.000 claims abstract description 50
- 230000004927 fusion Effects 0.000 claims abstract description 14
- 230000002452 interceptive effect Effects 0.000 claims abstract description 11
- 230000009466 transformation Effects 0.000 claims abstract description 10
- 230000002776 aggregation Effects 0.000 claims abstract description 8
- 238000004220 aggregation Methods 0.000 claims abstract description 8
- 230000001131 transforming effect Effects 0.000 claims abstract description 8
- 230000007246 mechanism Effects 0.000 claims abstract description 5
- 238000012549 training Methods 0.000 claims description 26
- 239000013598 vector Substances 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 15
- 238000012360 testing method Methods 0.000 claims description 14
- 238000003860 storage Methods 0.000 claims description 9
- 238000012795 verification Methods 0.000 claims description 4
- 230000007613 environmental effect Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 abstract description 3
- 238000004590 computer program Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 15
- 238000004364 calculation method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 241001522296 Erithacus rubecula Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000012733 comparative method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0242—Determining effectiveness of advertisements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Strategic Management (AREA)
- Finance (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Economics (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种广告点击率预测模型及方法，用于解决目前广告点击率预估准确性不高的问题。该模型包括：特征转化网络，用于将非结构化的数据转化为图网络的节点，把特征交互转化为结构化的图节点交互；注意力图融合网络，用于通过构建双线性交叉聚合模块和自注意力机制，全面细致地学习节点交互，同时采用GRU模块不断更新节点状态；宽度注意力特征交叉网络，用于将宽度注意力模块和元素级特征交叉模块进行融合，捕获交互特征的重要性和实现精细化的特征交互。本发明有效地加强对营销广告数据复杂特征的学习和提取，显著提高广告点击率预估的精度。
Description
技术领域
本发明涉及广告投放技术领域，尤其涉及一种广告点击率预测模型及方法。
背景技术
随着信息时代的到来，通过广告进行商品销售的模式被广泛应用，其中，对如何预估广告点击率，从而根据用户的特征属性，预测用户点击商品的概率，更好的获得更高的广告点击率，增加商品的曝光度尤为重视。
目前，进行广告点击率预估方法主要包括基于因子分解机的预估方法和基于深度学习的预估方法。其中，基于因子分解机的预估方法通常将一对交互特征增添到特征向量(Feature Vector)之中，忽视了非线性和高阶特征的相互作用，无法获取更高的广告点击率。而基于深度学习的广告点击率预估方法，主要通过将离散特征转化为连续的特征向量，并将其简单的拼接起来，进行的非结构化特征组合，输入到一个深度神经网络结构中，忽视了各种特征之间的结构特性，导致广告点击率预估精度不高。
综上，目前广告点击率预估技术中主要采用的是基于全连接网络的非结构化的特征交互方法，限制复杂特征交互的能力，导致点击率预估的准确度不高。
发明内容
本发明提供一种广告点击率预测模型及方法，用于解决目前广告点击率预估准确性不高的问题。
第一方面，本发明提供一种广告点击率预测模型，该模型包括：
特征转化网络，用于将非结构化的数据转化为图网络的节点，把特征交互转化为结构化的图节点交互；
注意力图融合网络，用于通过构建双线性交叉聚合模块和自注意力机制，全面细致地学习节点交互，同时采用GRU模块不断更新节点状态；
宽度注意力特征交叉网络，用于将宽度注意力模块和元素级特征交叉模块进行融合，捕获交互特征的重要性和实现精细化的特征交互。
在一种可能的实现方式中，所述特征转化网络，具体用于：
根据第m个域的输入数据，确定第i个输入实例；
使用特征域嵌入操作，将高维稀疏的独热编码转化为低维稠密的域嵌入向量，得到第一嵌入向量；
将每一输入实例的多域特征用结构化的特征图来表示。
在一种可能的实现方式中，所述注意力图融合网络，具体用于：
在节点特征融合的第l步，确定第l步对应的节点交互的输出结果；
将多域输入特征第一嵌入向量与前一步的输出结果逐元素相加的结果，与所述第l步对应的节点交互的输出结果，作为门控循环单元的输入，产生下一步的输入特征；
生成特征图的最新表示结果。
在一种可能的实现方式中，所述宽度注意力特征交叉网络中的所述宽度注意力模块，用于动态调节每一个特征域的重要性，计算得到全局节点的宽度注意力权重，来展示每一个交叉特征的重要性；
所述宽度注意力特征交叉网络中的所述元素级特征交叉模块，用于将特征交互转移到更加细粒度的层面上，实现不同特征之间的交互具有唯一的权重参数；将反映不同节点交互重要性的宽度注意力权重和实现元素级高阶特征交互的输出结果，融合得到每一个维度上都具有更加精细展示的交互特征。
第二方面，本发明提供一种广告点击率预测的方法，该方法包括：
将测试集合输入到训练好的广告点击率预测模型中，得到测试集合中每一个实例的预测结果；
如果预测结果大于事先设定的阈值，表明相应的营销广告是用户感兴趣会点击的广告。
在一种可能的实现方式中，获取营销用户的基础数据，所述基础数据包括用户属性、商品广告属性、用户的过往历史点击记录和上下文的环境特征中的部分或全部；
对所述基础数据进行优化处理，得到处理好的数据集；
从所述数据集中随机抽取第一阈值比例作为训练集；
将所述数据集中剩下的数据按照预设比例划分为验证集和测试集。
在一种可能的实现方式中，所述方法还包括：
对所述广告点击率预测模型进行训练。
在一种可能的实现方式中，所述对所述广告点击率预测模型进行训练，包括：
将预处理好的训练数据按照预先设置的批量处理的大小，输入所述广告点击率预测模型中，输出结果；
将所述输出结果输入到sigmoid函数中，得到预测结果；
将所述预测结果与训练集中的真实结果计算误差，基于所述误差进行反向传播，更新所述广告点击率预测模型直至模型收敛。
第三方面，提供了一种通信装置，所述装置具有实现上述第二方面及第二方面任一可能的实现中的功能，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的功能模块。
第四方面，提供了一种通信装置，包括处理器，可选的，还包括存储器；所述处理器和所述存储器耦合；所述存储器，用于存储计算机程序或指令；所述处理器，用于执行所述存储器中的部分或者全部计算机程序或指令，当所述部分或者全部计算机程序或指令被执行时，用于实现上述第二方面及第二方面任一可能的实现方法。
第五方面，本申请提供了一种芯片系统，该芯片系统包括一个或多个处理器(也可以称为处理电路)，所述处理器与存储器(也可以称为存储介质)之间电耦合；所述存储器可以位于所述芯片系统中，也可以不位于所述芯片系统中；所述存储器，用于存储计算机程序或指令；所述处理器，用于执行所述存储器中的部分或者全部计算机程序或指令，当所述部分或者全部计算机程序或指令被执行时，用于实现上述第二方面及第二方面任一可能的实现方法。
在一种可能的实现中，该芯片系统可以由芯片构成，也可以包括芯片和其他分立器件。
第六方面，提供了一种计算机可读存储介质，用于存储计算机程序，所述计算机程序包括用于实现第二方面及第二方面任一可能的实现中的功能的指令，或用于实现第二方面及第二方面任一可能的实现中的功能的指令。
第七方面，提供了一种计算机程序产品，所述计算机程序产品包括计算机程序代码，当所述计算机程序代码在计算机上运行时，使得计算机执行上述第二方面及第二方面任一可能的实现方法。
本发明方法将非结构化的特征交互转换到结构化的图网络上，提出一种宽度注意力图网络的营销广告点击率预估方法。该方法构建一个注意力图融合网络，全面提取节点之间的交互信息，同时设计一个宽度注意力特征交叉网络，以更低的内存消耗，学习交叉特征的重要性和更加精细的特征交互。解决现有方法中使用简洁的非结构化特征组合限制了不同特征域之间显式的复杂特征交互能力，导致广告点击率预估准确性不高的问题，有效地加强对营销广告数据复杂特征的学习和提取，显著提高广告点击率预估的精度。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种广告点击率预测模型整体架构图。
图2为本发明提供的一种特征转换子网络的结构图。
图3为本发明提供的一种注意力图融合子网络的结构图。
图4为本发明提供的一种宽度注意力特征交叉子网络的结构图。
图5为本发明提供的一种广告点击率预测方法流程示意图；
图6为本发明提供的一种与现有技术的预测结果指标对比示意图；
图7为本申请实施例中提供的一种广告点击率预测装置结构图；
图8为本申请实施例中提供的另一种广告点击率预测装置结构图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
下面对文中出现的一些词语进行解释：
1、本发明实施例中术语“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
2、本发明实施例中术语“预埋广告”，是指多媒体设备的开机广告以预埋的形式进行广告的投放，即用户开机播放的广告是上一次用户使用所述多媒体设备时预先投放的广告。
3、本发明实施例中术语“广告”，或者叫“广告订单”，是同一个意思，本领域技术人员能够明白该术语的含义。
本发明实施例描述的应用场景是为了更加清楚的说明本发明实施例的技术方案，并不构成对于本发明实施例提供的技术方案的限定，本领域普通技术人员可知，随着新应用场景的出现，本发明实施例提供的技术方案对于类似的技术问题，同样适用。其中，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
现有技术中，进行广告点击率预估方法主要包括基于因子分解机的预估方法和基于深度学习的预估方法。其中，基于因子分解机的预估方法通常将一对交互特征增添到特征向量(Feature Vector)之中，忽视了非线性和高阶特征的相互作用，无法获取更高的广告点击率。而基于深度学习的广告点击率预估方法，主要通过将离散特征转化为连续的特征向量，并将其简单的拼接起来，进行的非结构化特征组合，输入到一个深度神经网络结构中，忽视了各种特征之间的结构特性，导致广告点击率预估精度不高。
因此，目前广告点击率预估技术中主要采用的是基于全连接网络的非结构化的特征交互方法，限制复杂特征交互的能力，导致点击率预估的准确度不高。
针对上述缺陷，本发明提供了一种广告点击率预测模型及方法，能够有效地加强对营销广告数据复杂特征的学习和提取，显著提高广告点击率预估的精度。
图1为本发明实施例中的一种可能的广告点击率预测模型架构，包括特征转化网络110，注意力图融合网络120，宽度注意力特征交叉网络130。
所述特征转化网络110，用于将非结构化的数据转化为图网络的节点，把特征交互转化为结构化的图节点交互。
所述注意力图融合网络120，用于通过构建双线性交叉聚合模块和自注意力机制，全面细致地学习节点交互，同时采用GRU模块不断更新节点状态。
所述宽度注意力特征交叉网络130，用于将宽度注意力模块和元素级特征交叉模块进行融合，捕获交互特征的重要性和实现精细化的特征交互。
为了更好的理解本申请实施例，下面基于不同阶段对本申请实施例进行广告点击率预测的方法进行介绍：
阶段一：数据采集。
本申请实施例可选的，可以从大数据存储系统中获取营销广告的用户的基础数据。
可选的，所述基础数据可以包括用户属性、商品广告属性、用户的过往历史点击记录和上下文的环境特征中的部分或全部。
可选的，所述的用广告点击序列可以包括用户Id、用户的年龄段、用户性别、用户设备Id、用户设备类型、用户设备品牌、广告位置、广告批次号、广告的点击频次、广告商品的等级、用户手机号归属地中的部分或全部。
阶段二、数据预处理和数据集的划分。
可选的，本申请实施例还可以对获取到的用户的基础数据进行优化处理。
示例性的，例如，本申请实施例可以对汇总的广告点击序列中用户年龄大于100或者小于0的，用0值替换，空值用-1填补。
例如，本申请实施例还可以将类别特征如用户设备类型、用户设备品牌、用户手机号归属地使用one-hot编码进行0/1映射，不仅可以方便数据输入模型进行训练，而且能避免标签编码的赋值顺序固定。
进一步的，本申请实施例可以将优化好的基础数据进行数据划分。
可选的，从所述基础数据中随机抽取第一阈值比例作为训练集；将所述基础数据中剩下的数据按照预设比例划分为验证集和测试集。
示例性的，从所述基础数据中随机筛选70％作为训练集，剩下的30％的基础数据按照1：1的比例等分为验证集和测试集。
阶段三、模型的构建、模型的训练。
其中，本申请实施例构建的模型可以如上述图1所示，包括特征转换网络、注意力图融合网络和宽度注意力特征交叉网络。
可选的，构建的模型具体用于：
将高维稀疏的初始数据映射为低维稠密的特征向量，再转化到图网络上形成特征图；其次，通过特征图上的双线性交叉聚合模块和基于注意力的边权重计算模块，全面的学习邻居节点的聚合关系，实现复杂高阶的特征交互；最后，通过宽度注意力特征交叉网络得到元素级的高阶交叉特征。
示例性的，如图2所示，特征转换网络实现将非结构化的数据转化为图网络的节点，把特征交互转化为结构化的图节点交互的功能，计算方法如公式(1)和公式(2)所示：
其中，xm表示第m个域的输入数据；m表示域的大小；Xi表示第i个输入实例。
同时，使用特征域嵌入操作，将高维稀疏的独热编码转化为低维稠密的域嵌入向量，得到如下所示的嵌入向量：
Ei＝[e1,e2,e3,...,ep,...,em] (2)
其中，Ei表示第i个嵌入实例，ep∈Rd表示第p个域的嵌入向量，d表示嵌入层的维度。
其中，将每一输入实例的多域特征用结构化的特征图来表示，标记为G＝(N,ε)。
其中，在特征图中每一个节点np∈N表示一个p特征域，节点的数量为|N|＝m，边ε反映特征域之间的复杂交互，边的权重代表不同交互特征的重要性。
如图3所示，注意力图融合网络通过构建双线性交叉聚合模块和自注意力机制，全面细致地学习节点交互，同时采用GRU模块不断更新节点状态，在节点特征融合的第l步，节点交互的输出结果Hl的定义如下述公式(3)所示：
Hl＝f(κl,A,Wl) (3)
其中，f(·)表示聚合函数；A∈Rm×m表示相互连接的节点之间边的权重构成的邻接矩阵，m代表节点的数量；κl表示多域输入特征Ei与前一步的输出结果κl-1(κ1＝Ei)逐元素相加的结果；Wl表示网络结构的训练参数。
之后，将Hl和κl作为门控循环单元(GRU)的输入，产生下一步l+1的输入特征κl+1。
最终，注意力图融合网络将会生成特征图的最新表示结果κL，其中L是多跳的特征融合总步骤。
如图4所示，宽度注意力特征交叉网络，将宽度注意力模块和元素级特征交叉模块进行融合，捕获交互特征的重要性和实现精细化的特征交互。
其中，宽度注意力模块用于动态调节每一个特征域的重要性，利用公式(4)计算得到全局节点的宽度注意力权重
来展示每一个交叉特征的重要性。
其中，||表示拼接操作；
是连接权重的可训练矩阵；A+表示A＝[Fr||Ps]的伪逆；λ表示初始值为0.1的可调节参数；I是指单位矩阵。
其中，使用元素级特征交叉模块，将特征交互转移到更加细粒度的层面上，实现不同特征之间的交互具有唯一的权重参数，其计算公式(5)如下：
其中，W1、W2表示可训练的矩阵参数；
表示内积操作；⊙表示哈达玛积；
表示逐元素相加。
最后，利用公式(6)将反映不同节点交互重要性的宽度注意力权重
和实现元素级高阶特征交互的输出结果ξ，融合得到每一个维度上都具有更加精细展示的交互特征Γ。
其中，m表示特征域的大小。
进一步的，本申请实施例构建完所述模型后，还可以对所述模型进行训练。
具体地，可以将预处理好的训练数据按照预先设置的批量处理的大小，输入所述广告点击率预测模型中，输出结果；将所述输出结果输入到sigmoid函数中，得到预测结果；将所述预测结果与训练集中的真实结果计算误差，基于所述误差进行反向传播，更新所述广告点击率预测模型直至模型收敛。
示例性的，将预处理的训练集输入到所述模型中，对其进行迭代训练，具体方式如下所示：
假设训练参数嵌入维度设为20，batch的大小设为1024，迭代次数设为3，epoch大小设为3，学习率设为0.001，采用交叉熵损失函数作为点击率预估模型的目标函数，如公式(7)所示：
其中n表示训练样本的数量；yi表示第i个训练实例的预测实际值；
表示第i个训练实例的预测输出结果。
阶段四、基于模型进行广告点击率预测。
如图5所示，提供了一种一号广告点击率预测方法，该方法的流程，包括以下步骤：
S501，将测试集合输入到训练好的广告点击率预测模型中，得到测试集合中每一个实例的预测结果。
S502，根据预测结果与设定的阈值之间的大小，确定相应的营销广告是否是用户感兴趣会点击的广告。
示例性的，输入测试集获取每个实例的营销广告点击率预测结果，该预测结果的计算过程可以如公式(8)所示：
其中，
表示最终的预测概率；Sigmoid表示一种激活函数；Γ表示交互特征的最终输出；w表示权重参数；m表示Γ的维度大小。
进一步的，由于营销广告点击率预测属于二分类预测问题，并且最终的输出结果为概率值，为了有效的判断本发明所提出的方法的卓越性能，可以采用广泛使用的Logloss和AUC来评价模型的预测效果。
其中，Logloss值越低、AUC的值越高表明模型的性能越优越。
其中，在实施例上将本发明提出的方法和其他已有的方法进行了预测性能的对比，如图6所示的对比结果所示，本发明所提出的方法相比于对比方法在性能上具有大幅的提升。
基于同一发明构思，本申请实施例提供一种广告点击率预测的通信装置，请参照图7，该装置包括：
获取模块701，用于将测试集合输入到训练好的广告点击率预测模型中，得到测试集合中每一个实例的预测结果；
处理模块702，用于根据预测结果与设定的阈值之间的大小，确定相应的营销广告是否是用户感兴趣会点击的广告。
在一种可能的实现方式中，所述获取模块701还用于：
获取营销用户的基础数据，所述基础数据包括用户属性、商品广告属性、用户的过往历史点击记录和上下文的环境特征中的部分或全部；
对所述基础数据进行优化处理，得到处理好的数据集；
从所述数据集中随机抽取第一阈值比例作为训练集；
将所述数据集中剩下的数据按照预设比例划分为验证集和测试集。
在一种可能的实现方式中，所述处理模块702还用于：
对所述广告点击率预测模型进行训练。
在一种可能的实现方式中，所述处理模块702具体用于：
将预处理好的训练数据按照预先设置的批量处理的大小，输入所述广告点击率预测模型中，输出结果；
将所述输出结果输入到sigmoid函数中，得到预测结果；
将所述预测结果与训练集中的真实结果计算误差，基于所述误差进行反向传播，更新所述广告点击率预测模型直至模型收敛。
基于同一发明构思，本申请实施例提供一种电子设备，该设备可以实现前文论述的广告点击率预测的功能，请参照图8，该设备包括处理器801和存储器802。
存储器802，用于存储程序指令；
处理器801，用于调用所述存储器802中存储的程序指令，按照获得的程序指令执行前文论述任一的广告点击率预测方法包括的步骤。由于上述电子设备解决问题的原理与广告点击率预测方法相似，因此上述电子设备的实施可以参见方法的实施，重复之处不再赘述。
处理器801可以是一个中央处理单元(central processing unit，CPU)，或者为数字处理单元、或为图像处理器等中的一种或多种组合。存储器802可以是易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)；存储器802也可以是非易失性存储器(non-volatile memory)，例如只读存储器，快闪存储器(flashmemory)，硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)、或者存储器802是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器802可以是上述存储器的组合。
作为一种实施例，图8中的处理器801可以实现前文论述任一的广告点击率预测方法，处理器801还可以实现前文图7论述的广告点击率预测装置的功能。
基于同一发明构思，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序包括程序指令，程序指令当被计算机执行时，使计算机执行如前文论述任一的广告点击率预测方法。由于上述计算机可读存储介质解决问题的原理与广告点击率预测方法相似，因此上述计算机可读存储介质的实施可以参见方法的实施，重复之处不再赘述。
基于同一发明构思，本申请实施例还提供了一种计算机程序产品，该计算机程序产品包括：计算机程序代码，当该计算机程序代码在计算机上运行时，使得计算机执行如前文论述任一的广告点击率预测方法。由于上述计算机程序产品解决问题的原理与广告点击率预测方法相似，因此上述计算机程序产品的实施可以参见方法的实施，重复之处不再赘述。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (10)
1.一种广告点击率预测模型，其特征在于，该模型包括：
特征转化网络，用于将非结构化的数据转化为图网络的节点，把特征交互转化为结构化的图节点交互；
注意力图融合网络，用于通过构建双线性交叉聚合模块和自注意力机制，全面细致地学习节点交互，同时采用GRU模块不断更新节点状态；
宽度注意力特征交叉网络，用于将宽度注意力模块和元素级特征交叉模块进行融合，捕获交互特征的重要性和实现精细化的特征交互。
2.根据权利要求1所述的模型，其特征在于，所述特征转化网络，具体用于：
根据第m个域的输入数据，确定第i个输入实例；
使用特征域嵌入操作，将高维稀疏的独热编码转化为低维稠密的域嵌入向量，得到第一嵌入向量；
将每一输入实例的多域特征用结构化的特征图来表示。
3.根据权利要求1所述的模型，其特征在于，所述注意力图融合网络，具体用于：
在节点特征融合的第l步，确定第l步对应的节点交互的输出结果；
将多域输入特征第一嵌入向量与前一步的输出结果逐元素相加的结果，与所述第l步对应的节点交互的输出结果，作为门控循环单元的输入，产生下一步的输入特征；
生成特征图的最新表示结果。
4.根据权利要求1所述的模型，其特征在于，所述宽度注意力特征交叉网络中的所述宽度注意力模块，用于动态调节每一个特征域的重要性，计算得到全局节点的宽度注意力权重，来展示每一个交叉特征的重要性；
所述宽度注意力特征交叉网络中的所述元素级特征交叉模块，用于将特征交互转移到更加细粒度的层面上，实现不同特征之间的交互具有唯一的权重参数；将反映不同节点交互重要性的宽度注意力权重和实现元素级高阶特征交互的输出结果，融合得到每一个维度上都具有更加精细展示的交互特征。
5.一种基于权利要求1～4中任一项的广告点击率预测模型进行广告点击率预测的方法，其特征在于，该方法包括：
将测试集合输入到训练好的广告点击率预测模型中，得到测试集合中每一个实例的预测结果；
根据预测结果与设定的阈值之间的大小，确定相应的营销广告是否是用户感兴趣会点击的广告。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
获取营销用户的基础数据，所述基础数据包括用户属性、商品广告属性、用户的过往历史点击记录和上下文的环境特征中的部分或全部；
对所述基础数据进行优化处理，得到处理好的数据集；
从所述数据集中随机抽取第一阈值比例作为训练集；
将所述数据集中剩下的数据按照预设比例划分为验证集和测试集。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
对所述广告点击率预测模型进行训练。
8.根据权利要求7所述的方法，其特征在于，所述对所述广告点击率预测模型进行训练，包括：
将预处理好的训练数据按照预先设置的批量处理的大小，输入所述广告点击率预测模型中，输出结果；
将所述输出结果输入到sigmoid函数中，得到预测结果；
将所述预测结果与训练集中的真实结果计算误差，基于所述误差进行反向传播，更新所述广告点击率预测模型直至模型收敛。
9.一种计算设备，其特征在于，包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行如权利要求5-8任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求5-8任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111660064.0A CN114493674A (zh) | 2021-12-30 | 2021-12-30 | 一种广告点击率预测模型及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111660064.0A CN114493674A (zh) | 2021-12-30 | 2021-12-30 | 一种广告点击率预测模型及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114493674A true CN114493674A (zh) | 2022-05-13 |
Family
ID=81508227
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111660064.0A Pending CN114493674A (zh) | 2021-12-30 | 2021-12-30 | 一种广告点击率预测模型及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114493674A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116562357A (zh) * | 2023-07-10 | 2023-08-08 | 深圳须弥云图空间科技有限公司 | 点击预测模型训练方法及装置 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111325579A (zh) * | 2020-02-25 | 2020-06-23 | 华南师范大学 | 一种广告点击率预测方法 |
-
2021
- 2021-12-30 CN CN202111660064.0A patent/CN114493674A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111325579A (zh) * | 2020-02-25 | 2020-06-23 | 华南师范大学 | 一种广告点击率预测方法 |
Non-Patent Citations (1)
| Title |
|---|
| ZHIFENG XIE等: "BaGFN: Broad Attentive Graph Fusion Network for High-Order Feature Interactions", 《IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS》, vol. 34, no. 8, 8 October 2021 (2021-10-08), pages 3 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116562357A (zh) * | 2023-07-10 | 2023-08-08 | 深圳须弥云图空间科技有限公司 | 点击预测模型训练方法及装置 |
| CN116562357B (zh) * | 2023-07-10 | 2023-11-10 | 深圳须弥云图空间科技有限公司 | 点击预测模型训练方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210256403A1 (en) | Recommendation method and apparatus | |
| US10733431B2 (en) | Systems and methods for optimizing pose estimation | |
| US20210248651A1 (en) | Recommendation model training method, recommendation method, apparatus, and computer-readable medium | |
| US10489688B2 (en) | Personalized digital image aesthetics in a digital medium environment | |
| CN109582956B (zh) | 应用于句子嵌入的文本表示方法和装置 | |
| CN111523044B (zh) | 用于推荐目标对象的方法、计算设备和计算机存储介质 | |
| CN110377740B (zh) | 情感极性分析方法、装置、电子设备及存储介质 | |
| CN111684490A (zh) | 动态对象实例检测、分割和结构映射的优化 | |
| EP4181026A1 (en) | Recommendation model training method and apparatus, recommendation method and apparatus, and computer-readable medium | |
| WO2023065859A1 (zh) | 物品推荐方法、装置及存储介质 | |
| CN111670457A (zh) | 动态对象实例检测、分割和结构映射的优化 | |
| CN111433812A (zh) | 动态对象实例检测、分割和结构映射的优化 | |
| CN112085615A (zh) | 图神经网络的训练方法及装置 | |
| CN116664719B (zh) | 一种图像重绘模型训练方法、图像重绘方法及装置 | |
| CN114511387A (zh) | 产品推荐方法、装置、电子设备及存储介质 | |
| CN103782290A (zh) | 建议值的生成 | |
| CN114445121A (zh) | 一种广告点击率预测模型构建及广告点击率预测方法 | |
| CN111340522A (zh) | 资源推荐方法、装置、服务器及存储介质 | |
| CN114493674A (zh) | 一种广告点击率预测模型及方法 | |
| WO2024051707A1 (zh) | 训练推荐模型的方法、推荐资源的方法及其装置 | |
| CN112989182A (zh) | 信息处理方法、装置、信息处理设备及存储介质 | |
| CN117056595A (zh) | 一种交互式的项目推荐方法、装置及计算机可读存储介质 | |
| US11049041B2 (en) | Online training and update of factorization machines using alternating least squares optimization | |
| CN115599990A (zh) | 一种知识感知结合深度强化学习的跨域推荐方法及系统 | |
| CN112559640A (zh) | 图谱表征系统的训练方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |