CN110674857A - 一种基于多尺度堆叠网络的广告点击分类方法 - Google Patents

一种基于多尺度堆叠网络的广告点击分类方法 Download PDF

Info

Publication number
CN110674857A
CN110674857A CN201910867916.XA CN201910867916A CN110674857A CN 110674857 A CN110674857 A CN 110674857A CN 201910867916 A CN201910867916 A CN 201910867916A CN 110674857 A CN110674857 A CN 110674857A
Authority
CN
China
Prior art keywords
features
scale
layer
different
advertisement click
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910867916.XA
Other languages
English (en)
Inventor
强保华
卢永全
陈锐东
谢武
郑虹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guilin University of Electronic Technology
Original Assignee
Guilin University of Electronic Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guilin University of Electronic Technology filed Critical Guilin University of Electronic Technology
Priority to CN201910867916.XA priority Critical patent/CN110674857A/zh
Publication of CN110674857A publication Critical patent/CN110674857A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0242—Determining effectiveness of advertisements

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Accounting & Taxation (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于多尺度堆叠网络的广告点击分类方法，该方法通过一种基于不同感受野构造多尺度特征的MSSP结构来自动构造组合特征，通过构造多个不同角度、不同视野的观测器从深度和宽度两个角度双向堆叠多尺度特征，挖掘了不同局部视野中的高阶和低阶特征，保证了提取特征的多样性；另外，该结构通过因子化来学习参数，保证了高阶特征在稀疏数据中能被有效学习。本发明弥补了LR、Wide&Deep过于依赖手工构造组合特征的缺点；同时相对于传统的Poly2和FM模型，能够从多个角度挖掘不同尺度的特征来保证模型学习到的信息的多样性；相对于FFM等模型时间复杂度过高的特点，本发明时间复杂度能保持在线性级别，能够满足在线广告对时间响应方面的高要求。

Description

一种基于多尺度堆叠网络的广告点击分类方法
技术领域
本发明具体涉及一种基于多尺度堆叠网络的广告点击分类方法。
背景技术
展示广告点击分类任务是指在给定的用户、商品和场景下，预测用户对某些投放的广告是否会进行点击，准确的广告点击分类能够减少广告的无效投放，直接关系到广告平台的收益和用户体验。
LR(Logistic Regression) 作为最经典的分类器，有着形式简单、模型的可解释性良好、训练速度较快等优点，但是没有自动构造特征的能力，过于依赖人工构造的特征。Poly2 模型考虑了二阶组合特征，但是，如果某个特征组合在训练集中没有出现，那么对应项的权重将不能得到充分学习，从而降低了预测的准确性。
谷歌公司公开的Wide&Deep联合训练 Wide 部分和 Deep 部分，因为 Wide 部分相当于单层的神经网络，更加注重特征的记忆性，而 Deep部分相当于多层的深度神经网络，能更加注重特征的泛化性与推理性，但是也比较依赖于人工特征。
POLY2进行无选择的特征交叉使原本就非常稀疏的特征向量更加稀疏，使得大部分交叉特征的权重缺乏有效的数据进行训练，无法收敛，并且权重参数的数量由O(n)直接上升到O(n^2)，极大增加了训练复杂度。
FM(Factorization Machines)通过隐向量来表示特征，从而使二阶的组合特征的权重分解为两个隐含向量的点积，即使训练集中没有出现某个特征组合，也由于两个特征的隐含向量是分别学习的而不会影响预测的准确性；由于对更高阶特征无法化简计算，时间复杂度会非常的高，FM一般情况下只考虑到了一阶和二阶特征，因此这也是FM的局限性，即只考虑到了低阶的特征。
FFM( Field-aware Factorization Machines)在 FM 模型的基础上引入了特征域(Field )的概念，提出了面向特征域的因子分解机，每个特征将针对不同的特征域学习不同的隐含向量，模型学习更加的精细，但是带来的问题是模型过于复杂，时间复杂度太高。
发明内容
本发明提供了一种基于多尺度堆叠网络的广告点击分类方法，该方法通过一种基于不同感受视野构造多尺度特征的Multi-Scale-Stacking Pooling(MSSP)结构来自动构造组合特征，其目标是通过构造多个不同角度、不同视野的观测器从深度和宽度两个角度双向堆叠多尺度特征，挖掘了不同局部视野中的高阶和低阶特征，保证了提取特征的多样性；另外，该结构通过因子化来学习参数，保证了高阶特征在稀疏数据中能被有效学习。
本发明弥补了LR、Wide&Deep过于依赖手工构造组合特征的缺点；同时相对于传统只专注于低阶特征，构建的特征比较单一的Poly2、FM模型，本发明能够从多个角度挖掘不同尺度的特征来保证模型学习到的信息的多样性；另外，相对于FFM等模型的过于复杂，时间复杂度过高的特点，本发明时间复杂度能保持在线性级别，满足了在线广告对时间响应方面的比较高的要求。
本发明技术方案的主要内容包括构建多尺度堆叠特征和搭建广告点击分类网络，所述构建多尺度堆叠特征主要包括如下步骤：
（1）将原始特征输入多尺度堆叠池化层，映射成不同尺度的特征；
（2）将不同尺度的特征进行横向堆叠；
（3）将堆叠的多尺度特征映射到一维向量，输入到全连接层进行特征融合；
（4）输出融合后的多尺度特征。
所述搭建广告点击分类网络主要包括如下步骤：
（1）在输入层和第一个隐藏层之间通过一个嵌入层获得原始特征的embending向量,用于减少深度神经网络的输入单元数；
（2）将embending向量进行拼接输入到特征构建模块，通过多尺度叠加池、因子分解机、深度神经网络三个模块构建特征；
（3）将三个模块输出的特征通过特征映射层约束到同一维度，输入到预测层，得到广告点击分类的结果。
附图说明
图1为本发明的整体流程图。
具体实施方式
参照图1，本发明给出了一个具体的实施例，实施例包括了如下步骤：
1）训练数据准备阶段，针对类别型特征，根据特征出现次数设定阈值，将出现次数少的特征全部归类为同一个特征；将大于2的数值做log变换，减小大方差的数值特性对模型的负面影响。
2）构建特征阶段，通过MSSP、FM、DNN（Deep Neural Network）对输入数据进行处理构建特征。在不同角度、不同视野构造多个观测器从深度和宽度两个角度双向堆叠多尺度特征，挖掘了不同局部视野中的高阶和低阶特征，保证了提取特征的多样性；另外，通过因子化来学习参数，来保证高阶特征在稀疏数据中能被有效学习。
3）计算损失阶段，使用logloss作为模型的损失函数，用于计算输出值与目标值之间的误差。
4）权重更新阶段，使用Adam算法作为模型的优化器，其中Adam优化器使用
Figure DEST_PATH_IMAGE002
，
Figure DEST_PATH_IMAGE004
，
Figure DEST_PATH_IMAGE006
作为初始参数。
5）输出模型文件阶段，当评价指标logloss值不在发生剧烈变化时或训练次数达到最大迭代次数上限N时，输出训练好的模型文件。
6）测试数据准备阶段，对测试数据做和训练数据一样的处理。
7）加载模型文件阶段，调用训练好的模型文件，将测试数据输入模型。
8）获得广告点击率预测输出，对模型训练进行评估。
搭建基于多尺度堆叠网络的广告点击分类网络的主要步骤如下：
1） 在输入层和第一个隐藏层之间通过一个嵌入层( Embedding Layer)获得原始特征的embending向量, 用于减少DNN的输入单元数；
2）将embending向量进行拼接输入到特征构建模块，通过MSSP、FM、DNN三个模块构建特征；
3）将三个模块输出的特征通过特征映射层约束到同一维度，输入到预测层，得到广告点击分类的结果。
构建多尺度堆叠特征主要包括如下步骤：
1）将原始特征输入多尺度堆叠池化层，映射成不同尺度的特征；
2）将不同尺度的特征进行横向堆叠；
3）将堆叠的多尺度特征映射到一维向量，输入到全连接层进行特征融合；
4）输出融合后的多尺度特征。
本发明是一个泛用性极强的通用型结构，可在付出极小参数代价的条件下，加快模型收敛速度，提高模型的可拓展性，并提高模型的准确率。同时，模型的时间复杂度能保持在线性级别，保证了模型在在线广告推荐场景中具有可执行性。

Claims (1)

1.一种基于多尺度堆叠网络的广告点击分类方法，包括构建多尺度堆叠特征、搭建广告点击分类网络，其特征在于：所述构建多尺度堆叠特征主要包括如下步骤：
（1）将原始特征输入多尺度堆叠池化层，映射成不同尺度的特征；
（2）将不同尺度的特征进行横向堆叠；
（3）将堆叠的多尺度特征映射到一维向量，输入到全连接层进行特征融合；
（4）输出融合后的多尺度特征；
所述搭建广告点击分类网络主要包括如下步骤：
（1）在输入层和第一个隐藏层之间通过一个嵌入层获得原始特征的embending向量,用于减少深度神经网络的输入单元数；
（2）将embending向量进行拼接输入到特征构建模块，通过多尺度叠加池、因子分解机、深度神经网络三个模块构建特征；
（3）将三个模块输出的特征通过特征映射层约束到同一维度，输入到预测层，得到广告点击分类的结果。
CN201910867916.XA 2019-09-15 2019-09-15 一种基于多尺度堆叠网络的广告点击分类方法 Pending CN110674857A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910867916.XA CN110674857A (zh) 2019-09-15 2019-09-15 一种基于多尺度堆叠网络的广告点击分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910867916.XA CN110674857A (zh) 2019-09-15 2019-09-15 一种基于多尺度堆叠网络的广告点击分类方法

Publications (1)

Publication Number Publication Date
CN110674857A true CN110674857A (zh) 2020-01-10

Family

ID=69076863

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910867916.XA Pending CN110674857A (zh) 2019-09-15 2019-09-15 一种基于多尺度堆叠网络的广告点击分类方法

Country Status (1)

Country Link
CN (1) CN110674857A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111383030A (zh) * 2020-05-28 2020-07-07 支付宝(杭州)信息技术有限公司 一种交易风险的检测方法、装置及设备
CN111429175A (zh) * 2020-03-18 2020-07-17 电子科技大学 稀疏特征场景下进行点击转化预测的方法
CN111861583A (zh) * 2020-07-31 2020-10-30 成都新潮传媒集团有限公司 一种广告点击率的预测方法、装置及计算机可读存储介质
CN112365297A (zh) * 2020-12-04 2021-02-12 东华理工大学 一种广告点击率预估方法
CN113392578A (zh) * 2021-05-19 2021-09-14 桂林电子科技大学 基于dcfm模型的设备故障预测方法
CN113822688A (zh) * 2020-06-23 2021-12-21 北京沃东天骏信息技术有限公司 广告转化率预估方法及装置、存储介质、电子设备

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111429175A (zh) * 2020-03-18 2020-07-17 电子科技大学 稀疏特征场景下进行点击转化预测的方法
CN111429175B (zh) * 2020-03-18 2022-05-27 电子科技大学 稀疏特征场景下进行点击转化预测的方法
CN111383030A (zh) * 2020-05-28 2020-07-07 支付宝(杭州)信息技术有限公司 一种交易风险的检测方法、装置及设备
CN111383030B (zh) * 2020-05-28 2021-02-23 支付宝(杭州)信息技术有限公司 一种交易风险的检测方法、装置及设备
CN113822688A (zh) * 2020-06-23 2021-12-21 北京沃东天骏信息技术有限公司 广告转化率预估方法及装置、存储介质、电子设备
CN111861583A (zh) * 2020-07-31 2020-10-30 成都新潮传媒集团有限公司 一种广告点击率的预测方法、装置及计算机可读存储介质
CN111861583B (zh) * 2020-07-31 2022-10-21 成都新潮传媒集团有限公司 一种广告点击率的预测方法、装置及计算机可读存储介质
CN112365297A (zh) * 2020-12-04 2021-02-12 东华理工大学 一种广告点击率预估方法
CN112365297B (zh) * 2020-12-04 2022-06-28 东华理工大学 一种广告点击率预估方法
CN113392578A (zh) * 2021-05-19 2021-09-14 桂林电子科技大学 基于dcfm模型的设备故障预测方法

Similar Documents

Publication Publication Date Title
CN110674857A (zh) 一种基于多尺度堆叠网络的广告点击分类方法
KR101899101B1 (ko) 인공 신경망 기반 예측 모델 생성 장치 및 방법
Lu et al. Generalized radial basis function neural network based on an improved dynamic particle swarm optimization and AdaBoost algorithm
CN110580314A (zh) 基于图卷积神经网络和动态权重的课程推荐方法和系统
Kauko On current neural network applications involving spatial modelling of property prices
CN116664719B (zh) 一种图像重绘模型训练方法、图像重绘方法及装置
CN108647691A (zh) 一种基于点击特征预测的图像分类方法
CN113255844A (zh) 基于图卷积神经网络交互的推荐方法及系统
CN112364242A (zh) 针对上下文感知型的图卷积推荐系统
CN115203550A (zh) 一种增强邻居关系的社交推荐方法及系统
Luber et al. Structural neural additive models: Enhanced interpretable machine learning
CN117194771A (zh) 一种图模型表征学习的动态知识图谱服务推荐方法
Dosdoğru Comparative study of hybrid artificial neural network methods under stationary and nonstationary data in stock market
CN116304289A (zh) 基于图神经网络的供应链的信息链推荐方法及装置
CN113887570B (zh) 一种基于神经网络的太阳耀斑二分类预测方法
CN112508351B (zh) 攻击环境下的强鲁棒性项目推荐方法、系统、设备及介质
CN115562258A (zh) 基于神经网络的机器人社会自适应路径规划方法及系统
Chandra Multi-objective cooperative neuro-evolution of recurrent neural networks for time series prediction
He Automatic Quality Assessment of Speech‐Driven Synthesized Gestures
Neshat et al. Designing an adaptive neuro fuzzy inference system for prediction of customers satisfaction
CN114462707A (zh) 一种基于特征深度融合的Web服务多维QoS联合预测方法
Riedel et al. Evolving multilevel forecast combination models-an experimental study
CN118170993B (zh) 一种基于对比学习与场因子分解的教育资源推荐方法
CN117094762B (zh) 一种基于ai人工智能的用户权益推荐方法和系统
Zhao et al. Combining influence and sensitivity to factorize matrix for multi-context recommendation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination