CN114881716A - 一种基于多种特征交互的点击率预测技术 - Google Patents

一种基于多种特征交互的点击率预测技术 Download PDF

Info

Publication number
CN114881716A
CN114881716A CN202111588307.4A CN202111588307A CN114881716A CN 114881716 A CN114881716 A CN 114881716A CN 202111588307 A CN202111588307 A CN 202111588307A CN 114881716 A CN114881716 A CN 114881716A
Authority
CN
China
Prior art keywords
interaction
order
representing
output
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111588307.4A
Other languages
English (en)
Inventor
杨晔
李平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha University of Science and Technology
Original Assignee
Changsha University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha University of Science and Technology filed Critical Changsha University of Science and Technology
Priority to CN202111588307.4A priority Critical patent/CN114881716A/zh
Publication of CN114881716A publication Critical patent/CN114881716A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及推荐系统的点击率预测领域，尤其是一种基于多种特征交互的点击率预测技术。1)对输入的稀疏向量进行降维处理，然后根据三种不同的特征交互：低阶、高阶隐式、高阶显式，分别生成三个不同的低维向量；2)对输入的低维向量进行低阶特征交互，得到相应的结果yL；3)利用多层的全连接的神经网络进行高阶隐式特征交互，得到相应的结果yHI；4)利用多层的压缩交互网络进行高阶显式特征交互，得到相应的结果yHE；5)利用单层的全连接层综合分析上述三种特征交互的结果并且进行预测输出。

Description

一种基于多种特征交互的点击率预测技术
技术领域
本发明涉推荐系统的点击率预测领域，尤其是一种基于多种特征交互的点击率预测技术。
背景技术
点击率预测技术这些年已经从萌芽趋于成熟，而在点击率预测技术中，特征交互又起了至关重要的作用。特征交互指的是两个或者两个以上的原始特征之间的相互组合。例如，一个三阶特征交互可以是 (用户性别＝男，物品分类＝深度学习，地点＝北京)，他表示一个男性的用户在北京点击了一个分类为深度学习的物品。如何准确地获取这些特征之间的交互结果成为了点击率预测的关键问题。
在传统的特征交互中，存在着几个问题：首先是原始数据中通常包含了大量的稀疏特征，例如用户和物品的ID，特征交互的维度空间是这些特征维度的乘积(如点积、内积和哈达玛积)，因此这样很容易导致参数爆炸的问题。其次，特征的重要性是与当前的应用场景息息相关的，针对于每一种特定的应用场景，如何选择重要的特征和如何组合特征是对最后的结果起决定性因素的存在。
因此，学习特征交互是很有意义的。目前的大部分研究工作是基于全连接神经网络去自动的学习特征交互的。但是这种方法的缺点就是学习到的特征交互是高阶隐式的交互特征，其形式是未知的、不可控的和不够有效的。深度交叉网络旨在显式地学习高阶特征交互，其优点是模型非常轻巧高效，但是该模型最终的表现形式是一种很特殊的向量扩张，因此该模型的泛化能力不足。除此之外，目前的绝大部分工作的局限性在于没有区分特征交互的类型和阶数，对不同类型和不同阶数的特征交互一概而论，从而无法有效的提取各类特征交互的结果。
发明内容
针对上述现有技术的不足，本发明提供一种基于多种特征交互的点击率预测技术。其目的在于解决以往方法中存在的特征交互分析不足及准确率低的问题。
为了实现上述目的，本发明提供了一种基于多种特征交互的点击率预测技术，包括以下步骤：
A1、降维
A2、提取低阶交互作用(Low)
A3、提取高阶隐式交互作用(High-Implicit)
A4、提取高阶显示交互作用(High-Explicit)
A5、预测输出
本发明提供了一种基于多种特征交互的点击率预测技术。与现有技术相比，具备以下有益效果：
本方案是采用三种不同的特征交互作用，即低阶交互、高阶隐式交互和高阶显式交互。通过对不同阶数和不同类型的特征交互进行分析已经得到证实是有效的。利用特征交互的差异性，使用不同的特征向量去提取不同的特征交互，单独分析每一种特征交互，而不受其他类型的交互的影响。得到的这些不同的特征交互的结果信息可以被进一步地处理，以提取最终的完整信息，从而有助于点击率预测的准确率的提高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是基于多种特征交互的点击率预测技术的框图。
图2是不区分特征交互的Embedding层和本技术提出的区分特征交互的Embedding层的对比。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
下面结合说明书附图以及具体的实施方式对本发明作详细的说明。如图1所示，一种基于多种特征交互的点击率预测技术包括步骤A1～A5：
A1、降维
A2、提取低阶交互作用(Low)
A3、提取高阶隐式交互作用(High-Implicit)
A4、提取高阶显示交互作用(High-Explicit)
A5、预测输出
下面对各个步骤进行详细描述。
在步骤A1中，在推荐系统点击率预测中，输入数据通常都是用 one-hot向量来表示，从而导致输入向量的维度很高并且十分稀疏。其次根据后续的三种不同交互：低阶、高阶隐式和高阶显式，将每一个输入数据xi都降维成三个不同的低维向量：
Figure BDA0003428823790000041
在步骤A2中，给定输入
Figure BDA0003428823790000042
获得低阶交互的结果：其中w0表示全局偏置，wi表示第i个特征的权重，xi表示第i个特征的原始稀疏输入表示，yL表示低阶交互作用的输出：
Figure BDA0003428823790000043
在步骤A3中，给定输入
Figure BDA0003428823790000044
获得高阶隐式交互的结果：其中h(0)将所有的输入数据拼接在一起，输入到神经网络中， h(l+1)表示第l层神经网络的输出，σ表示激活函数，W(l)和b(l)分别表示第l层神经网络的权重和偏置，yHI表示高阶隐式交互作用的输出：
Figure BDA0003428823790000045
h(l+1)＝σ(W(l)h(l)+b(l)) (4)
yHI＝h(L)＝σ(W(L-1)h(L-1)+b(L-1)) (5)
在步骤A4中，给定输入
Figure BDA0003428823790000051
获得高阶隐式交互的结果：其中X0将所有的输入拼接在一起，输入一个压缩交互网络中。 Xl表示第l层网络的输出，，
Figure BDA0003428823790000052
表示第l层网络的第h个子块的权重，
Figure BDA0003428823790000053
表示第l层池化层的输出，yHE表示显式交互作用的输出：
Figure BDA0003428823790000054
Figure BDA0003428823790000055
yHE＝p+＝[p1,p2,…,pl,…,pL] (8)
在步骤A5中，通过一个全连接层对A2、A3和A4得到的结果进行综合和输出，并且采用log loss作为损失函数：其中
Figure BDA0003428823790000056
表示输出层的结果，σ表示激活函数，yL表示A2即低阶交互作用的输出，yHI表示A3即高阶隐式交互作用的输出，yHE表示A4即高阶显式交互作用的输出，wL、
Figure BDA0003428823790000057
和b表示可训练的参数，N表示样本总数，yi∈ {0,1}表示实例xi被点击的概率：
Figure BDA0003428823790000058
Figure BDA0003428823790000059
本发明实施本发明提出了一种基于多种特征交互的点击率预测的方法，创新点包括：
提出了一种基于多种特征交互的点击率预测的方法。该方法利用对不同类型和不同阶数的特征交互进行单独分析，从而更好的提取特征交互的结果，并且本方法采用了提取高阶显式交互作用更为有效的网络-压缩交互网络。从而弥补了传统方法对特征交互分析的不足，进一步提高了点击率预测的准确率。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (6)

1.一种基于多种特征交互的点击率预测的方法。其特征在于，所述方法由计算机执行，包括以下步骤：
A1、降维
A2、提取低阶交互作用(Low)
A3、提取高阶隐式交互作用(High-Implicit)
A4、提取高阶显示交互作用(High-Explicit)
A5、预测输出。
2.如权利要求1所述的基于多种特征交互的点击率预测的方法，其特征在于，根据后续交互的分类，将输入的稀疏数据压缩成三个不同的低维实值向量，A1的具体实现过程如下：在推荐系统点击率预测中，输入数据通常都是用one-hot向量来表示，从而导致输入向量的维度很高并且十分稀疏。其次根据后续的三种不同交互：低阶、高阶隐式和高阶显式，将每一个输入数据xi都降维成三个不同的低维向量：
Figure FDA0003428823780000011
。
3.如权利要求1所述的基于多种特征交互的点击率预测的方法，其特征在于，提取低阶交互作用，A2的具体实现过程如下：给定输入
Figure FDA0003428823780000012
获得低阶交互的结果：其中w0表示全局偏置，wi表示第i个特征的权重，xi表示第i个特征的原始稀疏输入表示，yL表示交互作用的输出：
Figure FDA0003428823780000013
。
4.如权利要求1所述的基于多种特征交互的点击率预测的方法，其特征在于，提取高阶隐式交互作用，A3的具体实现过程如下：给定输入
Figure FDA0003428823780000014
获得高阶隐式交互的结果：其中h(0)将所有的输入数据拼接在一起，输入到全连接神经网络中，h(l+1)表示第l层神经网络的输出，σ表示激活函数，W(l)和b(l)分别表示第l层神经网络的权重和偏置，yHI表示隐式交互作用的输出：
Figure FDA0003428823780000015
h(l+1)＝σ(W(l)h(l)+b(l)) (4)
yHI＝h(L)＝σ(W(L-1)h(L-1)+b(L-1)) (5)
5.如权利要求1所述的基于多种特征交互的点击率预测的方法，其特征在于，提取高阶显式交互作用，A4的具体实现过程如下：给定输入
Figure FDA0003428823780000016
获得高阶隐式交互的结果：其中X0将所有的输入拼接在一起，输入一个压缩交互网络中。Xl表示第l层网络的输出，
Figure FDA0003428823780000017
表示第l层网络的第h个子块的权重，
Figure FDA0003428823780000018
表示第l层池化层的输出，yHE表示显式交互作用的输出：
Figure FDA0003428823780000021
Figure FDA0003428823780000022
yHE＝p+＝[p1,p2,…,pl,…,pL] (8) 。
6.如权利要求1所述的基于多种特征交互的点击率预测的方法，其特征在于，使用全连接层进行预测输出，A5的具体实现过程如下：本方法的最后一个关键步骤是通过一个全连接层对A2、A3和A4得到的结果进行综合和输出，并且采用log loss作为损失函数：其中
Figure FDA0003428823780000023
表示输出层的结果，σ表示激活函数，yL表示A2即低阶交互作用的输出，yHI表示A3即高阶隐式交互作用的输出，yHE表示A4即高阶显式交互作用的输出，wL、
Figure FDA0003428823780000024
和b表示可训练的参数，N表示样本总数，yi∈{0,1}表示实例xi被点击的概率：
Figure FDA0003428823780000025
Figure FDA0003428823780000026
。
CN202111588307.4A 2021-12-23 2021-12-23 一种基于多种特征交互的点击率预测技术 Pending CN114881716A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111588307.4A CN114881716A (zh) 2021-12-23 2021-12-23 一种基于多种特征交互的点击率预测技术

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111588307.4A CN114881716A (zh) 2021-12-23 2021-12-23 一种基于多种特征交互的点击率预测技术

Publications (1)

Publication Number Publication Date
CN114881716A true CN114881716A (zh) 2022-08-09

Family

ID=82667438

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111588307.4A Pending CN114881716A (zh) 2021-12-23 2021-12-23 一种基于多种特征交互的点击率预测技术

Country Status (1)

Country Link
CN (1) CN114881716A (zh)

Similar Documents

Publication Publication Date Title
CN109271522B (zh) 基于深度混合模型迁移学习的评论情感分类方法及系统
CN109165294B (zh) 一种基于贝叶斯分类的短文本分类方法
CN109086375B (zh) 一种基于词向量增强的短文本主题抽取方法
CN112488214A (zh) 一种图像情感分析方法以及相关装置
CN112650929A (zh) 一种融入评论信息的图神经网络推荐方法
CN110993037A (zh) 一种基于多视图分类模型的蛋白质活性预测装置
CN112965968B (zh) 一种基于注意力机制的异构数据模式匹配方法
CN112784017B (zh) 基于主亲和性表示的档案跨模态数据特征融合方法
CN112668633B (zh) 一种基于细粒度领域自适应的图迁移学习方法
CN116719936B (zh) 一种基于集成学习的网络不可靠信息早期检测方法
Ma et al. Multi-scale cooperative multimodal transformers for multimodal sentiment analysis in videos
CN114881716A (zh) 一种基于多种特征交互的点击率预测技术
CN113869049B (zh) 基于法律咨询问题的具有法律属性的事实抽取方法及装置
CN113468203B (zh) 基于循环神经网络与注意力机制的金融用户画像方法
CN115409018A (zh) 基于大数据的公司舆情监测系统及其方法
CN114637846A (zh) 视频数据处理方法、装置、计算机设备和存储介质
CN114862514A (zh) 一种基于元学习的用户偏好商品推荐方法
CN110717100B (zh) 基于高斯嵌入表示技术的上下文感知推荐方法
CN113656556A (zh) 一种文本特征抽取方法及知识图谱构建方法
CN113779248A (zh) 数据分类模型训练方法、数据处理方法及存储介质
CN112561599A (zh) 一种融合域特征交互的基于注意力网络学习的点击率预测方法
CN110851732A (zh) 基于非负矩阵三因子分解的属性网络半监督社团发现的方法
CN114328978B (zh) 关系抽取方法、装置、设备及可读存储介质
CN115358239B (zh) 一种命名实体和关系识别方法及存储介质
CN114117251B (zh) 一种智慧文博下融合多因素的矩阵分解个性化推荐方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication