CN112053188A

CN112053188A - 一种基于混合深度神经网络模型的互联网广告推荐方法

Info

Publication number: CN112053188A
Application number: CN202010862465.3A
Authority: CN
Inventors: 周仁杰; 刘臣; 万健; 张纪林; 殷昱煜; 蒋从锋
Original assignee: Hangzhou Dianzi University
Current assignee: Hangzhou Dianzi University
Priority date: 2020-08-25
Filing date: 2020-08-25
Publication date: 2020-12-08
Anticipated expiration: 2040-08-25
Also published as: CN112053188B

Abstract

本发明公开了一种基于混合深度神经网络模型的互联网广告推荐方法。本发明从基于深度学习用于广告点击率预估的模型出发，在DeepFM网络提供特征自动组合的基础上，利用RNN模型从用户历史点击行为记录中精准建模用户的兴趣，提高了广告点击率的预估性能；模型不需要超大规模的广告ID作为输入，降低了对现有广告系统的数据要求，也降低了模型的过拟合风险。本发明在应用到对用户兴趣刻画要求严格的互联网广告投放系统中，能提升广告的点击率，同时不影响模型的更新训练速度。

Description

一种基于混合深度神经网络模型的互联网广告推荐方法

技术领域

本发明属于面向互联网广告领域，涉及一种基于混合深度神经网络模型的互联网广告推荐方法，更具体地说是一种解决现有方法无法对用户随时间变化的兴趣进行充分挖掘的互联网广告推荐方法。

背景技术

在推荐系统、互联网广告投放等个性化服务中，预估点击率具有非常重要的意义。预估点击率的任务就是计算用户在特定的上下文环境下会点击物品的概率。这个概率值表达了用户对特定物品(如一个视频，一个商品广告等)的感兴趣程度。根据预估的点击概率，不同应用可采用不同的策略，如新闻推送系统可直接向用户推送预估点击率高的新闻，互联网广告系统可向用户投放点击收益最高的广告。无论哪种情况，关键是要尽可能准确预估点击率。

在互联网广告中，用户从不主动表达他们的兴趣，因此设计模型捕捉用户的兴趣对提高互联网广告预估点击率准确性具有至关重要的作用。但目前大多数基于深度学习的模型关注于捕获来自不同领域的特性之间的交互，而较少关注用户兴趣对于广告推荐的影响力。用户兴趣是会随着时间的变化而变化，目前并没有人提出相关技术侧重考虑时序对用户兴趣影响，进而影响广告推荐方法。

因此，针对目前深度学习在互联网广告点击率预估中存在的问题，有必要发明一种高效建模用户随时间变化的行为序列，且能够更加精准捕捉用户点击兴趣的深度神经网络模型。

发明内容

本发明的目的在于解决现有互联网广告推荐方法无法对用户随时间变化的兴趣进行充分挖掘的问题，提出了一种基于混合深度神经网络模型的互联网广告推荐方法。

本发明采用的技术方案步骤如下：

一种基于混合深度神经网络模型的互联网广告推荐方法，在DeepFM深度神经网络进行特征自动组合的基础上，利用RNN模型从用户的随时间变化的历史点击行为记录中建模用户的点击兴趣，以提升互联网广告点击率预估性能。该模型采用以下步骤实现：

步骤(1)、获取互联网广告系统中用户属性、用户历史点击行为记录、广告属性和上下文环境特征，将其转换为统一的数据格式。

步骤(2)、从广告投放点击记录数据库中抽取全量数据集，分别从用户、广告维度拼接相应的属性构成训练集。

步骤(3)、用户特征、广告特征和上下文环境特征输入到DeepFM中进行特征的自动组合，用户历史点击行为记录输入到RNN中用于捕捉用户的点击兴趣。

步骤(4)、将DeepFM的输出和RNN的输出相加，输入到sigmoid函数中，得到预测结果y，和真实结果计算误差进行反向传播，更新模型参数直至模型收敛。

步骤(5)、若预测结果y大于事先设定阈值，则该预测结果对应的广告为用户感兴趣广告。

一种基于混合深度神经网络模型的互联网广告推荐设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于混合深度神经网络模型的互联网广告推荐程序，所述基于混合深度神经网络模型的互联网广告推荐程序被所述处理器执行时实现上述基于混合深度神经网络模型的互联网广告推荐方法的步骤。

一种存储介质，存储有基于混合深度神经网络模型的互联网广告推荐程序，所述基于混合深度神经网络模型的互联网广告推荐程序被处理器执行时实现上述基于混合深度神经网络模型的互联网广告推荐方法的步骤。

本发明具有的有益效果是：

1、本发明提出一种新的混合深度神经网络模型，在DeepFM模型基础上融合RNN模型，利用RNN模型从带有时间维度的用户点击记录中提取用户随时间变化的兴趣，弥补的DeepFM无法建模时间序列的缺点。对用户兴趣的精准刻画将大幅提升互联网广告的推荐精准度。

2、本发明不需要输入超大规模的物品ID，这降低了对现有广告系统的数据要求，也避免了模型训练容易过拟合的风险。这非常有利于互联网广告推荐中的模型训练、模型更新、模型上线。

附图说明

图1为本发明方法混合深度神经网络模型架构图。

具体实施方式

下面结合附图1，对本发明的具体实施方案作进一步详细描述。其中：

步骤(1)、获取互联网广告系统中用户属性、用户历史点击行为记录、广告属性和上下文环境特征；

用户属性包括性别、年龄等。

用户历史点击行为记录是用户过去一段时间的点击情况，比如一个用户在此时刻之前一共有三个记录，第一次未点击，第二次点击，第三次点击，则用户历史点击行为记录L取值为[0，1，1]。

广告属性包括广告主所属行业、广告定向年龄等。

上下文环境包括用户本次请求的网络情况(WIFI、4G)、用户的设备(PC、Phone、iPad)。

步骤(2)、预处理用户属性、用户历史点击行为记录、广告属性和上下文环境特征。分别对用户属性、广告属性、上下文环境特征进行序号编码；对用户历史点击行为记录进行截断，使用户历史点击行为记录长度不超过指定值。

步骤(3)、构建DeepFM模型

3.1将用户属性、广告属性、上下文环境特征输入到DeepFM模块中，进行高阶特征的自动组合。具体的计算过程如下：

DeepFM能够同时进行低阶特征交互和高阶特征交互。DeepFM有两部分组成，FM进行一阶和二阶特征建模，全连接网络进行高阶特征建模。

3.2计算FM的输出；

其中w为d维向量，d是所有特征的个数，V_i是第i个特征的表示向量。<w,x>表示向量w和特征x做内积，用于计算一阶特征的重要性，<V_i,V_j>表示第i个特征的表示向量和第j个特征的表示向量做内积，用于计算特征的相互作用程度。

3.3计算全连接网络的输出；

前馈神经网络以特征的嵌入向量作为输入，通过多层的神经网络结构学习多阶特征交互，他的工作方法如下：

a⁽⁰⁾＝[e₁,e₂,...,e_d],

a^(l)＝σ(W^(l-1)a^(l-1)+b^(l-1))

其中e_i是第i个特征的嵌入向量，d是所有特征的个数。l为神经网络当前层深度，σ为激活函数，W^(l)是第l层的权重矩阵，b^(l)是第l层的偏置项。最后前馈神经网络的输出为：

y_MLP＝σ(W^ha^h-1+b^h)

其中h为神经网络的最大深度。

3.4计算DeepFM的输出。

y_DeepFM＝σ(y_FM+y_MLP)

其中y_FM为FM的输出，y_MLP为前馈神经网络的输出。

步骤4：构建RNN模型

将用户历史点击记录输入到RNN中，进行用户点击兴趣的建模。

RNN组件是一个标准的循环神经网络，它有能力处理任意长度的序列。RNN递归的为序列中的每一个输入元素的隐状态应用转换函数，被我们用来学习用户点击行为记录。

RNN通过应用转换函数为每个输入元素得到一个隐状态，在t时刻的隐状态h_t以当前输入元素x_t和前一时刻t-1的隐状态h_t-1为输入，应用转换函数f计算得到：

h_t＝f(x_t,h_t-1)

为了得到非线性组合，激活函数f通常为:

h_t＝φ(Wx_t+Uh_t-1)

其中W是输入到隐层的映射矩阵，U为状态到状态的转移矩阵，φ为非线性激活函数双曲正切函数或者logisticsigmoid函数。

通常，标准的循环神经网络使用最后一个隐状态来表示整个序列的信息，它可以被输入到下游任务中，我们将它应用到CTR预测中。计算公式如下：

y_RNN＝sigmoid(Vh_last+b)

其中h_last为序列最后一个元素对应的隐状态，V为一个向量，b为偏置项，y_RNN即为整个RNN组件的输出。

步骤5：将DeepFM的输出和RNN的输出相加，输入到sigmoid函数中，得到预测结果，和真实结果计算误差进行反向传播，更新模型参数直至模型收敛。

y`＝sigmoid(y_DeepFM+y_RNN)

步骤6：在互联网广告系统中，给定一个用户，一个广告和当时的上下文环境特征，利用模型预测用户会点击这个广告的概率，当概率大于系统指定的阈值，系统向用户推送该广告。

实施例采用以下两个数据集对比了本发明模型和其他模型的效果：

1)图灵联邦数据集。图灵联邦提供了三天的用户视频点击行为数据，预测第四天用户在相应的上下文环境下会点击视频的概率。给定一个用户基本属性，一个视频基本属性和环境上下文信息，预测用户会点击这个视频的概率。

2)盘石广告数据集。浙江盘石信息技术股份有限公司是中国领先的专注于广告投放的企业。收集了一个月的广告点击记录，将前25天用于训练，后5天用于预测。在该数据集中，一条训练样本包含广告的特征(广告定向性别、广告定向行业、广告定向年龄)，和媒介网站上广告位的特征(网站访问量、网站所属行业、网站用户性别比例)。

实验中使用AUC和LogLoss来评价模型的性能。

AUC：AUC是ROC曲线下的面积，被广泛应用于CTR领域性能评价。AUC衡量一个模型能够在多大程度上将用户喜欢的商品与不喜欢的商品区分出来，如果模型预测用户喜欢的商品和不喜欢的商品的AUC差别很大，则模型性能越好。

LogLoss：和AUC不同，LogLoss衡量每一个样本的预测值和真实标签的偏离程度，越小越好。

表1

实验结果表明，本发明提出的一种新的混合深度神经网络模型比其他先进模型的推荐精度提升4.3％。

Claims

1.一种基于混合深度神经网络模型的互联网广告推荐方法，其特征在于该方法包括以下步骤：

步骤(2)、对用户属性、用户历史点击行为记录、广告属性和上下文环境特征预处理，具体是分别对用户属性、广告属性、上下文环境特征进行序号编码；对用户历史点击行为记录进行截断，使用户历史点击行为记录长度不超过指定值；

步骤(3)、构建DeepFM模型

用户属性、广告属性、上下文环境特征作为DeepFM模型的输入，由于DeepFM能够同时进行低阶特征交互和高阶特征交互，DeepFM由FM、全连接网络两部分构成：FM进行一阶和二阶特征建模，全连接网络进行高阶特征建模；

FM的输出：

其中w为d维向量，d是所有特征的个数，V_i是第i个特征的表示向量，<w,x>表示向量w和特征x做内积，用于计算一阶特征的重要性，<V_i,V_j>表示第i个特征的表示向量和第j个特征的表示向量做内积，用于计算特征的相互作用程度；

全连接网络的输出：

前馈神经网络以特征的嵌入向量作为输入，通过多层的神经网络结构学习多阶特征交互：

a⁽⁰⁾＝[e₁,e₂,...,e_d],

a^(l)＝σ(W^(l-1)a^(l-1)+b^(l-1))

其中e_i是第i个特征的嵌入向量，d是所有特征的个数，l为神经网络当前层深度，σ为激活函数，W^(l)是第l层的权重矩阵，b^(l)是第l层的偏置项；

前馈神经网络的输出为：

y_MLP＝σ(W^ha^h-1+b^h)

其中h为神经网络的最大深度；

DeepFM的输出：

y_DeepFM＝σ(y_FM+y_MLP)

其中y_FM为FM的输出，y_MLP为前馈神经网络的输出；

步骤(4)、构建RNN模型

用户历史点击记录作为RNN模型的输入，y_RNN作为RNN模型的输出；

y_RNN＝sigmoid(Vh_last+b)

其中h_last为用户历史点击记录序列最后一个元素对应的隐状态，V为一个向量，b为偏置项；

h_t＝f(x_t,h_t-1)

为了得到非线性组合，激活函数f通常为:

h_t＝φ(Wx_t+Uh_t-1)

其中W是输入到隐层的映射矩阵，U为状态到状态的转移矩阵，φ为非线性激活函数双曲正切函数或者logisticsigmoid函数；

步骤(5)、将DeepFM模型的输出和RNN模型的输出相加，输入到sigmoid函数中，得到预测结果y；通过预测结果y和真实结果计算误差进行反向传播，更新模型参数直至模型收敛；

y`＝sigmoid(y_DeepFM+y_RNN)

步骤(6)、若预测结果y大于事先设定阈值，则该预测结果对应的广告为用户感兴趣广告。

2.一种基于混合深度神经网络模型的互联网广告推荐设备，其特征在于包括所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于混合深度神经网络模型的互联网广告推荐程序，所述基于混合深度神经网络模型的互联网广告推荐程序被所述处理器执行时实现如权利要求1中所述的基于混合深度神经网络模型的互联网广告推荐方法的步骤。

3.一种存储介质，其特征在于，所述存储介质上存储有基于混合深度神经网络模型的互联网广告推荐程序，所述基于混合深度神经网络模型的互联网广告推荐程序被处理器执行时实现如权利要求1中所述的基于混合深度神经网络模型的互联网广告推荐方法的步骤。