CN113793187B - 基于实例权重平衡和双重注意力的点击率预测方法及系统 - Google Patents
基于实例权重平衡和双重注意力的点击率预测方法及系统 Download PDFInfo
- Publication number
- CN113793187B CN113793187B CN202111121418.4A CN202111121418A CN113793187B CN 113793187 B CN113793187 B CN 113793187B CN 202111121418 A CN202111121418 A CN 202111121418A CN 113793187 B CN113793187 B CN 113793187B
- Authority
- CN
- China
- Prior art keywords
- feature
- vector
- attention
- user
- click rate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 230000009977 dual effect Effects 0.000 title claims abstract description 24
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 4
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 239000013598 vector Substances 0.000 claims description 96
- 230000003993 interaction Effects 0.000 claims description 58
- 230000006399 behavior Effects 0.000 claims description 28
- 239000011159 matrix material Substances 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 11
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 230000008447 perception Effects 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 230000002452 interceptive effect Effects 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000000926 separation method Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 2
- 238000013139 quantization Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 11
- 238000004590 computer program Methods 0.000 description 9
- 238000009826 distribution Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000007477 logistic regression Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000002715 modification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0242—Determining effectiveness of advertisements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0277—Online advertisement
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Finance (AREA)
- Development Economics (AREA)
- Accounting & Taxation (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Economics (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种基于实例权重平衡和双重注意力的点击率预测方法，包括以下步骤：步骤S1:获取用户行为信息数据的若干个原始数据组；步骤S2:将若干个原始数据组通过数据预处理成多类别的特征数据；步骤S3:构建实例权重平衡的双重注意力因子分解机模型；步骤S4:根据多类别的特征数据，基于实例权重平衡的双重注意力因子分解机模型得到用户点击率预测结果；步骤S5:根据用户点击率预测结果将对应商品推荐给用户。本发明能够有效提高模型点击率预测的准确度。
Description
技术领域
本发明涉及领域，特别是涉及一种基于实例权重平衡和双重注意力的点击率预测方法及系统。
背景技术
随着移动互联时代的飞速发展，海量信息产生于各大应用平台之中。用户在面对繁多的推送信息当中，无法获取感兴趣的信息。如何将用户感兴趣的信息精准推送给用户，提高用户对应用的满意度和黏性进而带来收益，成为了各大平台和广告商面临的问题。
在计算广告领域，点击预测率(Click-Through Rate，简称CTR)即广告点击与广告曝光的比率作为衡量广告收益的评测指标，是广告商们研究的主要方向。高点击预测率的广告能够为广告商节省大量无效广告投放的成本，带来整体收益的提高。另一方面，定向广告(targeted advertising)面对不同的受众群体，进行不同类别的广告进行投送的方式。将广告主从面向广告商变相面向广告受众群体，提高广告点击概率，带来了广告主，广告商和广告受众的三赢局面。
在计算广告和推荐系统中，通常将用户的统计学信息、历史行为信息和话题信息转换为具有对应特征属性的一条实例，根据用户的行为了话题的不同，一个用户会产生多条实例，通过实例来预测用户的点击率。逻辑回归(Logistic Regression，LR)模型能够将特征属性建模，学习特征之间的线性联系，从而得到准确的点击率预测。然而，LR无法学习特征之间的非线性联系，导致模型的性能瓶颈。因子分解机(Factorization Machine，FM)提出了特征组合的概念，将两两特征组合成交互特征来学习特征之间的非线性联系。FM突破了LR的性能瓶颈，成为了最流行的通用预测模型，被广泛的应用于不同的领域。尽管FM的性能得到了验证，FM仍然存在着不足之处。
发明内容
有鉴于此，本发明的目的在于提供一种基于实例权重平衡和双重注意力的点击率预测方法及系统，解决现有点击率预测模型中忽略特征表示在不同实例上下文的差异以及忽略不同交互特征的重要性而导致的模型点击率预测准确率瓶颈。
为实现上述目的，本发明采用如下技术方案：
一种基于实例权重平衡和双重注意力的点击率预测方法，包括以下步骤：
步骤S1:获取用户行为信息数据的若干个原始数据组；
步骤S2:将若干个原始数据组通过数据预处理成多类别的特征数据；
步骤S3:构建实例权重平衡的双重注意力因子分解机模型；
步骤S4:根据多类别的特征数据，基于实例权重平衡的双重注意力因子分解机模型得到用户点击率预测结果；
步骤S5:根据用户点击率预测结果将对应商品推荐给用户。
进一步的，所述原始数据组包括用户统计学信息，行为信息和话题信息原始数据组。
进一步的，所述实例权重平衡的双重注意力因子分解机模型包括依次连接的输入层、嵌入层、实例感知层、交互层、交互注意力层、交互量化层和输出层。
进一步的，所述步骤S4具体为：
步骤S41:将多类别的特征数据输入到输入层，得到表示特征的高维稀疏的向量；
步骤S42:将表示特征的高维稀疏向量输入到嵌入层中，得到表示特征的低维的实值特征向量；
步骤S43:将低维的实值向量输入到实例感知层，得到实例权重平衡的特征向量；
步骤S44:通过交互层，得到实例权重平衡的特征向量之间的特征交互向量；
步骤S45:将特征交互向量输入到交互注意力层，得到特征交互向量注意力权重；
步骤S46:输出层根据实例权重平衡的特征向量、特征交互向量以及特征交互向量注意力权重得到用户的点击率预测结果。
进一步的，所述步骤S41中输入层的输出层为高维稀疏特征向量X，X＝[x1，...，xi，...，xN],N为特征类别的个数；
其中xi为第i类特征的数据，对于第i类特征，如果第i类特征为离散型特征，则xi为二值向量，其中只有一个维度激活，用于表示该类特征中对应的特征，所有离散型特征的特征权值为1；
如果第i类特征为实数型特征，则通过分桶技术，将实数型特征映射到不同的桶实现离散化，特征权值为对应的原始取值。
进一步的，所述S42中嵌入层具体为:输入高维稀疏向量X，得到低维实值向量E＝[e1，...，ei，...，eN]
其中ei＝Wixi，为嵌入权重矩阵，k为向量ei的维度，ni为第i类特征的数量。
进一步的，所述S43中感知层输入输出关系公式如下：
a1＝σ1(W1E+b1)
Ux＝aL＝σL(WLaL-1+bL)
ex，i＝(1+mx，i)*ei
Ex＝[ex，1，...，ex，i，...，ex，N]
其中，E为嵌入层输出的低维实值向量，WL和bL分别是实例感知层中神经网络的权重参数和偏置系数，L代表神经网络的层数。Px是维数转换矩阵，将神经网络得到的实例权重信息向量Ux的维度转换为特征类别个数的维度；σx是Sigmoid激活函数，将特征实例权重注意力因子mx，i的取值空间转成[0,1]之间；ex，i是经过实例权重注意力因子量化过的特征向量；x表示当前参数与输入实例相关，最后得到实例权重平衡的低维实值向量Ex。
进一步的，所述S45中双重交互注意层的输入输出表达为：
Att＝σ(Attvec+Attbit)
Attvec，ij＝ex，i TWvecex，j
Attbit，1＝σ1(Wbit，1Ex+bbit，1)
Attbit＝σL(Wbit，LAttbit，L-1+bbit，L)
其中，Att为基于向量的交互注意力向量和基于比特位的交互注意力向量之和，σ为Sigmoid激活函数；Wvec为向量交互矩阵，用矩阵乘积得到特征表示i和特征表示j的特征交互注意力权重；Wbit，L和bbit，L分别是比特位交互注意力模块中感知机的参数权重和偏置系数，L为感知机的层数；Pbit为比特交互注意力向量的维数转换矩阵；q为交互特征的个数，q＝n*(n-1)/2。
进一步的，所述S46中用户点击率预测结果计算公式如下：
其中，为点击率预测结果，wx，i为特征i的权重系数，xi为特征i的特征权值，ex，ij，Attij分别是特征i与特征j的特征交互向量和特征交互向量注意力权重，w0为全局的偏置系数。
一种基于实例权重平衡和双重注意力的点击率预测方法，包括
特征收集模块：该模块用于收集用户信息，其中包括用户统计学信息、用户行为信息和与用户相关的话题信息；用户统计学信息在用户注册应用账号时需要用户提供，存储在对应的数据库当中；用户行为信息和相关话题信息在用户使用应用的过程中产生，通常以日志系统的形式存储；将数据库中的统计学信息与日志系统中的用户行为信息以及话题信息输入特征收集模块，得到用户相关特征以及点击行为，将特征与点击行为存储到数据库当中；
点击率预测模块：根据历史用户特征以及点击行为训练点击率预测模型，将当前用户的行为数据输入到点击率预测模型当中，得到当前用户对于商品的点击率。点击率预测模型需要经过训练之后才能得到准确的点击率预测值；
推荐模块：根据点击率预测模块得到的用户点击率，依据点击率将推荐商品进行排序，优先推荐点击率高的商品。
一种基于矩阵运算的移动社会网络图修改系统,包括处理器、存储器以及存储在所述存储器上的计算机程序，所述处理器执行所述计算机程序时，具体执行如上所述的移动社会网络图修改方法中的步骤。
本发明与现有技术相比具有以下有益效果：
本发明解决现有点击率预测模型中忽略特征表示在不同实例上下文的差异以及忽略不同交互特征的重要性而导致的模型点击率预测准确率瓶颈，有效提高模型点击率预测的准确度。
附图说明
图1是本发明方法流程图；
图2是本发明一实施例中的实例感知平衡的双重注意力因子分解机的结构示意图；
图3是本发明一实施例中的实例感知平衡模块示意图；
图4是本发明一实施例中的双重注意力模块示意图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
参考图1，本发明提出了一种基于实例权重平衡的双重注意力因子分解机的点击率预测方法，一种基于实例权重平衡和双重注意力的点击率预测方法，包括以下步骤：
步骤S1:获取用户行为信息数据的若干个原始数据组；
步骤S2:将若干个原始数据组通过数据预处理成多类别的特征数据；
步骤S3:构建实例权重平衡的双重注意力因子分解机模型；
步骤S4:根据多类别的特征数据，基于实例权重平衡的双重注意力因子分解机模型得到用户点击率预测结果；
步骤S5:根据用户点击率预测结果将对应商品推荐给用户。
在本实施例中，优选的，步骤S4包括以下步骤：
步骤A1、将多类别的特征数据输入到输入层，得到表示特征的高维稀疏的向量；
步骤A2、将表示特征的高维稀疏向量输入到嵌入层中，得到表示特征的低维的实值特征向量；
步骤A3、将低维的实值向量输入到实例感知层，得到实例权重平衡的特征向量；
步骤A4、通过交互层，得到实例权重平衡的特征向量之间的特征交互向量；
步骤A5、将特征交互向量输入到交互注意力层，得到特征交互向量注意力权重；
步骤A6、输出层根据实例权重平衡的特征向量、特征交互向量以及特征交互向量注意力权重得到用户的点击率预测结果。
在本实施例中，优选的，步骤A1包括以下步骤：
将多类别的特征数据输入到输入层，输入层的输出为高维稀疏特征向量X，X＝[x1，...，xi，...，xN],N为特征类别的个数。其中xi为第i类特征的数据，对于第i类特征，如果第i类特征为离散型特征，则xi为二值向量，其中只有一个维度激活，用于表示该类特征中对应的特征，所有离散型特征的特征权值为1。如果第i类特征为实数型特征，则通过分桶技术，将实数型特征映射到不同的桶实现离散化，特征权值为对应的原始取值。
在本实施例中，优选的，步骤A2包括以下步骤：
输入高维稀疏向量X，得到低维实值向量E＝[e1，...，ei，...，eN]，其中ei＝Wixi，为嵌入权重矩阵，k为向量ei的维度，ni为第i类特征的数量。
在本实施例中，优选的，步骤A3包括以下步骤：
如图3所示，输入低维实值向量E，输出实例感知的低维实值向量Ex，关系公式如下：
a1＝σ1(W1E+b1)
Ux＝aL＝σL(WLaL-1+bL)
ex，i＝(1+mx，i)*ei
Ex＝[ex，1，...，ex，i，...，ex，N]
其中，E为嵌入层输出的低维实值向量，WL和bL分别是实例感知层中神经网络的权重参数和偏置系数，L代表神经网络的层数。Px是维数转换矩阵，将神经网络得到的实例权重信息向量Ux的维度转换为特征类别个数的维度。σx是Sigmoid激活函数，将特征实例权重注意力因子mx，i的取值空间转成[0,1]之间。ex，i是经过实例权重注意力因子量化过的特征向量。x表示当前参数与输入实例相关，最后得到实例权重平衡的低维实值向量Ex。
在本实施例中，优选的，步骤A4包括以下步骤：
输入实例权重平衡的低维实值向量Ex，得到特征交互向量，关系公式如下：
ex，ij＝(ex，i⊙ex，j)
其中⊙表示两个向量之间对应维度的相乘，输出ex，ij是特征向量i与特征向量j交互所得到交互向量。
在本实施例中，优选的，步骤A5包括以下步骤：
如图4所示，输入实例权重平衡的低维实值向量Ex，得到特征交互向量的注意力权重，关系公式如下：
Att＝σ(Attvec+Attbit)
Attvec，ij＝ex，i TWvecex，j
Attbit，1＝σ1(Wbit，1Ex+bbit，1)
Attbit＝σL(Wbit，LAttbit，L-1+bbit，L)
其中，Att为基于向量(vector-wise)的交互注意力向量和基于比特位(bit-wise)的交互注意力向量之和，σ为Sigmoid激活函数。Wvec为向量交互矩阵，用矩阵乘积得到特征表示i和特征表示j的特征交互注意力权重。Wbit，L和bbit，L分别是比特位交互注意力模块中感知机的参数权重和偏置系数，L为感知机的层数。Pbit为比特交互注意力向量的维数转换矩阵。q为交互特征的个数，q＝n*(n-1)/2。
在本实施例中，优选的，步骤A6包括以下步骤：
输入步骤A3、A4、A5所得的实例权重平衡的低维实值向量Ex、特征交互向量和特征交互向量注意力权重，输出点击率预测值，关系公式如下：
其中，为点击率预测结果，wx，i为特征i的权重系数，xi为特征i的特征权值，ex，ij，Attij分别是特征i与特征j的特征交互向量和特征交互向量注意力权重，w0为全局的偏置系数。
在本实施例中，优选的，得到模型预测值后，采用以下损失函数对模型进行训练：
其中，yi表示对第i个实例的真实点击情况，表示模型预测的点击率，N为样本的总数。
采用公开数据集Criteo和Avazu对本发明的模型进行测试，并将其与现有的基线模型进行对比实验。本发明采用点击率预测中两种常用的评价指标Logloss和AUC(AreaUnder Curve)，其具体定义如下：
Logloss：Logloss用于测量两个分布之间的距离，具体表示为，本发明模型预测的点击率分布与真实点击率分布之间的距离，Losloss的值越小，表示预测的点击率分布越接近真实点击率分布，意味着模型的效果越好，其下限为0。
AUC：AUC是ROC曲线下的面积，用于衡量正向实例的排名高于随机选择的负向实例的概率，AUC的值越大，表示模型的效果越好，其上限为1。
表一、对比实验结果：
本实施例中，还提供一种基于实例权重平衡和双重注意力的点击率预测系统，采用基于实例权重平衡和双重注意力的点击率预测方法，包括特征收集模块、点击率预测模块、推荐模块；具体为：
特征收集模块：该模块用于收集用户信息，其中包括用户统计学信息、用户行为信息和与用户相关的话题信息。用户统计学信息在用户注册应用账号时需要用户提供，存储在对应的数据库当中；用户行为信息和相关话题信息在用户使用应用的过程中产生，通常以日志系统的形式存储。通常需要将数据库中的统计学信息与日志系统中的用户行为信息以及话题信息输入特征收集模块，得到用户相关特征以及点击行为，将特征与点击行为存储到数据库当中。
点击率预测模块：根据历史用户特征以及点击行为训练点击率预测模型，将当前用户的行为数据输入到点击率预测模型当中，得到当前用户对于商品的点击率。点击率预测模型需要经过训练之后才能得到准确的点击率预测值。本发明采用离线训练的方式，先通过系统的历史数据训练得到可用的预测模型，再应用到线上推荐模块。
推荐模块：根据点击率预测模块得到的用户点击率，依据点击率将推荐商品进行排序，优先推荐点击率高的商品。用户接收的商品窗口大小要远小于用户感兴趣的商品数量，所以需要对商品进行筛选，尽可能的将用户最可能点击的商品推荐给用户。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。
Claims (8)
1.一种基于实例权重平衡和双重注意力的点击率预测方法，其特征在于，包括以下步骤：
步骤S1：获取用户行为信息数据的若干个原始数据组；
步骤S2：将若干个原始数据组通过数据预处理成多类别的特征数据；
步骤S3：构建实例权重平衡的双重注意力因子分解机模型；
步骤S4：根据多类别的特征数据，基于实例权重平衡的双重注意力因子分解机模型得到用户点击率预测结果；
步骤S5：根据用户点击率预测结果将对应商品推荐给用户；
所述实例权重平衡的双重注意力因子分解机模型包括依次连接的输入层、嵌入层、实例感知层、交互层、交互注意力层、交互量化层和输出层；
所述步骤S4具体为：
步骤S41：将多类别的特征数据输入到输入层，得到表示特征的高维稀疏的向量；
步骤S42：将表示特征的高维稀疏向量输入到嵌入层中，得到表示特征的低维的实值特征向量；
步骤S43：将低维的实值向量输入到实例感知层，得到实例权重平衡的特征向量；
步骤S44：通过交互层，得到实例权重平衡的特征向量之间的特征交互向量；
步骤S45：将特征交互向量输入到交互注意力层，得到特征交互向量注意力权重；
步骤S46：输出层根据实例权重平衡的特征向量、特征交互向量以及特征交互向量注意力权重得到用户的点击率预测结果。
2.根据权利要求1所述的基于实例权重平衡和双重注意力的点击率预测方法，其特征在于，所述原始数据组包括用户统计学信息，行为信息和话题信息原始数据组。
3.根据权利要求1所述的基于实例权重平衡和双重注意力的点击率预测方法，其特征在于，所述步骤S41中输入层的输出层为高维稀疏特征向量X，X＝[x1，...，xi，...，xN]，N为特征类别的个数；
其中xi为第i类特征的数据，对于第i类特征，如果第i类特征为离散型特征，则xi为二值向量，其中只有一个维度激活，用于表示该类特征中对应的特征，所有离散型特征的特征权值为1；
如果第i类特征为实数型特征，则通过分桶技术，将实数型特征映射到不同的桶实现离散化，特征权值为对应的原始取值。
4.根据权利要求1所述的基于实例权重平衡和双重注意力的点击率预测方法，其特征在于，所述S42中嵌入层具体为：输入高维稀疏向量X，得到低维实值向量E＝[e1，...，ei，...，eN]
其中ei＝Wixi，为嵌入权重矩阵，k为向量ei的维度，ni为第i类特征的数量。
5.根据权利要求1所述的基于实例权重平衡和双重注意力的点击率预测方法，其特征在于，所述S43中感知层输入输出关系公式如下：
a1＝σ1(W1E+b1)
Ux＝aL＝σL(WLaL-1+bL)
ex，i＝(1+mx，i)*ei
Ex＝[ex，1，...，ex，i，...，ex，N]
其中，E为嵌入层输出的低维实值向量，WL和bL分别是实例感知层中神经网络的权重参数和偏置系数，L代表神经网络的层数；Px是维数转换矩阵，将神经网络得到的实例权重信息向量Ux的维度转换为特征类别个数的维度；σx是Sigmoid激活函数，将特征实例权重注意力因子mx，i的取值空间转成[0，1]之间；ex，i是经过实例权重注意力因子量化过的特征向量；x表示当前参数与输入实例相关，最后得到实例权重平衡的低维实值向量Ex。
6.根据权利要求1所述的基于实例权重平衡和双重注意力的点击率预测方法，其特征在于，所述S45中双重交互注意层的输入输出表达为：
Att＝σ(Attvec+Attbit)
Attvec，ij＝ex，i TWvecex，j
Attbit，1＝σ1(Wbit，1Ex+bbit，1)
Attbit，L＝σL(Wbit，LAttbit，L-1+bbit，L)
其中，Att为基于向量的交互注意力向量和基于比特位的交互注意力向量之和，σ为Sigmoid激活函数；Wvec为向量交互矩阵，用矩阵乘积得到特征表示i和特征表示j的特征交互注意力权重；Wbit，L和bbit，L分别是比特位交互注意力模块中感知机的参数权重和偏置系数，L为感知机的层数；Pbit为比特交互注意力向量的维数转换矩阵；q为交互特征的个数，q＝n*(n-1)/2。
7.根据权利要求1所述的基于实例权重平衡和双重注意力的点击率预测方法，其特征在于，所述S46中用户点击率预测结果计算公式如下：
其中，为点击率预测结果，wx，i为特征i的权重系数，xi为特征i的特征权值，ex，ij，Attij分别是特征i与特征j的特征交互向量和特征交互向量注意力权重，w0为全局的偏置系数。
8.一种基于实例权重平衡和双重注意力的点击率预测系统，其特征在于，所述系统采用如权利要求1-7中任一项所述的基于实例权重平衡和双重注意力的点击率预测方法实现，包括
特征收集模块：该模块用于收集用户信息，其中包括用户统计学信息、用户行为信息和与用户相关的话题信息；用户统计学信息在用户注册应用账号时需要用户提供，存储在对应的数据库当中；用户行为信息和相关话题信息在用户使用应用的过程中产生，以日志系统的形式存储；将数据库中的统计学信息与日志系统中的用户行为信息以及话题信息输入特征收集模块，得到用户相关特征以及点击行为，将特征与点击行为存储到数据库当中；
点击率预测模块：根据历史用户特征以及点击行为训练点击率预测模型，将当前用户的行为数据输入到点击率预测模型当中，得到当前用户对于商品的点击率；点击率预测模型需要经过训练之后才能得到准确的点击率预测值；
推荐模块：根据点击率预测模块得到的用户点击率，依据点击率将推荐商品进行排序，优先推荐点击率高的商品。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111121418.4A CN113793187B (zh) | 2021-09-24 | 2021-09-24 | 基于实例权重平衡和双重注意力的点击率预测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111121418.4A CN113793187B (zh) | 2021-09-24 | 2021-09-24 | 基于实例权重平衡和双重注意力的点击率预测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113793187A CN113793187A (zh) | 2021-12-14 |
| CN113793187B true CN113793187B (zh) | 2024-06-18 |
Family
ID=78879219
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111121418.4A Active CN113793187B (zh) | 2021-09-24 | 2021-09-24 | 基于实例权重平衡和双重注意力的点击率预测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113793187B (zh) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111339415A (zh) * | 2020-02-25 | 2020-06-26 | 中国科学技术大学 | 一种基于多交互式注意力网络的点击率预测方法与装置 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018212710A1 (en) * | 2017-05-19 | 2018-11-22 | National University Of Singapore | Predictive analysis methods and systems |
| CN108228703B (zh) * | 2017-10-31 | 2020-05-08 | 北京市商汤科技开发有限公司 | 图像问答方法、装置、系统和存储介质 |
| CN109190109B (zh) * | 2018-07-26 | 2020-09-29 | 中国科学院自动化研究所 | 融合用户信息生成评论摘要的方法及装置 |
| CN111241423B (zh) * | 2020-01-17 | 2023-07-25 | 江西财经大学 | 融合信任不信任关系和注意力机制深度推荐方法及系统 |
| CN112115371A (zh) * | 2020-09-30 | 2020-12-22 | 山东建筑大学 | 一种基于因子分解机的神经注意力机制手机应用推荐模型 |
| CN112631560B (zh) * | 2020-12-29 | 2023-07-07 | 上海海事大学 | 一种推荐模型的目标函数的构建方法及终端 |
| CN112861522B (zh) * | 2021-02-01 | 2023-12-29 | 合肥工业大学 | 基于双重注意力机制的方面级情感分析方法、系统及模型 |
| CN113010774B (zh) * | 2021-02-24 | 2023-04-07 | 四川省人工智能研究院(宜宾) | 一种基于动态深度注意力模型的点击率预测方法 |
| CN113239883A (zh) * | 2021-06-04 | 2021-08-10 | 上海肇观电子科技有限公司 | 分类模型的训练方法、装置、电子设备以及存储介质 |
-
2021
- 2021-09-24 CN CN202111121418.4A patent/CN113793187B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111339415A (zh) * | 2020-02-25 | 2020-06-26 | 中国科学技术大学 | 一种基于多交互式注意力网络的点击率预测方法与装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113793187A (zh) | 2021-12-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Tay et al. | Skipflow: Incorporating neural coherence features for end-to-end automatic text scoring | |
| CN111275521B (zh) | 一种基于用户评论与满意层面嵌入的商品推荐方法 | |
| CN111209386B (zh) | 一种基于深度学习的个性化文本推荐方法 | |
| CN112381581B (zh) | 一种基于改进Transformer的广告点击率预估方法 | |
| CN113626719A (zh) | 信息推荐方法、装置、设备、存储介质及计算机程序产品 | |
| CN113987187B (zh) | 基于多标签嵌入的舆情文本分类方法、系统、终端及介质 | |
| CN111191092A (zh) | 画像数据处理方法和画像模型训练方法 | |
| CN112085565A (zh) | 基于深度学习的信息推荐方法、装置、设备及存储介质 | |
| CN111274330A (zh) | 一种目标对象确定方法、装置、计算机设备及存储介质 | |
| CN111784062A (zh) | 点击概率预测方法、系统、电子设备和介质 | |
| CN112288554B (zh) | 商品推荐方法和装置、存储介质及电子装置 | |
| CN108572984A (zh) | 一种实时用户兴趣识别方法及装置 | |
| CN112258262A (zh) | 一种基于卷积自注意力网络的会话推荐方法 | |
| US20220366295A1 (en) | Pre-search content recommendations | |
| CN107247753A (zh) | 一种相似用户选取方法及装置 | |
| CN111178986A (zh) | 用户-商品偏好的预测方法及系统 | |
| Ayyadevara | Neural Networks with Keras Cookbook: Over 70 recipes leveraging deep learning techniques across image, text, audio, and game bots | |
| CN112131345A (zh) | 文本质量的识别方法、装置、设备及存储介质 | |
| CN116976505A (zh) | 基于信息共享的解耦注意网络的点击率预测方法 | |
| CN118245745A (zh) | 任务处理、对象推荐、模型训练方法以及计算设备 | |
| CN113793187B (zh) | 基于实例权重平衡和双重注意力的点击率预测方法及系统 | |
| CN114357284B (zh) | 基于深度学习的众包任务个性化推荐方法和系统 | |
| CN117112781A (zh) | 文本信息处理模型训练方法、装置、以及存储介质 | |
| CN114358813A (zh) | 一种基于场矩阵因子分解机改进的广告投放方法及系统 | |
| CN113111257A (zh) | 一种基于协同过滤的融合多源异构信息的推荐方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |