CN113590953B

CN113590953B - 一种基于深度学习的推荐算法系统

Info

Publication number: CN113590953B
Application number: CN202110868848.6A
Authority: CN
Inventors: 陶红伟; 袁书泽; 胡英辉; 张秋闻; 王晓; 马江涛
Original assignee: Zhengzhou University of Light Industry
Current assignee: Zhengzhou University of Light Industry
Priority date: 2021-07-30
Filing date: 2021-07-30
Publication date: 2023-07-18
Anticipated expiration: 2041-07-30
Also published as: CN113590953A

Abstract

本发明公开了一种基于深度学习的推荐算法系统，属于推荐系统技术领域。一种基于深度学习的推荐算法系统，包括推荐系统算法包DeepRS，所述推荐系统算法包DeepRS包括框架层、抽象层和算法层三层架构，所述框架层采用Tensorflow开源框架，所述Tensorflow开源框架为上层服务提供自动微分、张量计算、GPU计算以及数值优化算法多个接口；本发明中的推荐系统算法包DeepRS是一种开源的、易扩展的算法包，丰富了推荐系统算法工具箱，填补了基于深度学习的推荐系统算法包缺口，使基于深度学习的推荐模型结果再现更容易，降低开发基于深度学习的推荐模型的门槛，同时又提高了实用性。

Description

一种基于深度学习的推荐算法系统

技术领域

本发明属于推荐系统技术领域，尤其涉及一种基于深度学习的推荐算法系统。

背景技术

推荐算法是一种信息过滤工具，对用户日常行为产生的数据进行处理，用得到的结果去分析用户对不同实体或内容的喜好，根据用户的喜好程度不同来推荐用户感兴趣的相关实体或内容；基于深度学习的推荐系统吸引了大量来自学术界和工业界科研人员的关注，每年都有许多新模型被提出；科研人员往往需要实现已提出模型来进行结果比较，这是一个巨大的挑战，即便有部分论文提供源代码，但所采用的编程语言或深度学习框架各种各样，想要在同一框架内进行结果对比并不容易。

然而目前存在的推荐系统算法包并没有跟上推荐系统算法的发展；现有的算法包多是基于传统的推荐模型，比如MyMediaLite，LibRec和Suprise；这些算法包中的模型不能进行端到端的训练，甚至有的算法包不是机器学习第一语言-----python编写，导致不能很好的集成到现有的推荐服务中；存在唯一基于深度学习的算法库-----OpenRec，它仅仅提供基于深度学习的推荐系统模型的接口，没有对模型中的组件进行抽象，因此不具有良好的可扩展性。

针对目前缺少易于扩展基于深度学习的推荐系统算法包问题，基于对DCN、DeepFM、NFM、AFM等推荐系统中常用深度学习算法的共性分析，本发明设计并实现一个基于深度学习的推荐系统算法包---DeepRS，以解决上述问题。

发明内容

本发明的目的是提供一个基于深度学习的推荐系统算法包——DeepRS，推荐系统算法包DeepRS是一种开源的、易扩展的算法包，丰富了推荐系统算法工具箱，填补了基于深度学习的推荐系统算法包缺口，使基于深度学习的推荐模型结果再现更容易，降低开发基于深度学习的推荐模型的门槛，同时又提高其实用性，以解决背景技术中提出的问题。

为了实现上述目的，本发明采用了如下技术方案：

一种基于深度学习的推荐算法系统，包括推荐系统算法包DeepRS，所述推荐系统算法包DeepRS包括框架层、抽象层和算法层三层架构，所述框架层采用Tensorflow开源框架，所述Tensorflow开源框架为上层服务提供自动微分、张量计算、GPU计算以及数值优化算法多个接口；所述抽象层利用框架层中提供的多个接口实现嵌入层、全连接层、多层感知机层、预测层、因子分解机层、注意力网络层、交叉层以及交叉网络层多个接口；所述算法层基于抽象层和框架层实现DCN算法、DeepFM算法、NFM算法和AFM算法四个深度学习推荐系统算法。

优选的，所述Tensorflow开源框架基于数据流图进行数值计算，所述数据流图将各个节点分配到不同的计算设备上完成异步并行计算；所述Tensorflow开源框架的核心组件由分发式中心、数据流执行器、内核实现以及最底端的设备层和网络层组成。

优选的，所述Tensorflow开源框架的运行过程如下：

A1：所述分发式中心从输入的数据流图中提取子图，将其划分为操作片段并启动数据流执行器；

A2：所述分发式中心处理数据流图时会预先进行设定好的优化操作，包括消去公共子表达式和常量折叠等优化方式；

A3：所述数据流执行器负责操作图在设备和进程中运行，收发其它所述数据流执行器的结果；所述数据流执行器在调度本地设备时会优先选择并行计算和GPU计算加速；

A4：所述内核实现负责单一图操作，包括数学基础运算、数组操作、控制流操作和状态管理操作；所述内核实现使用内部引擎执行张量的并行计算、GPU加速和低精度数值计算；

A5：所述网络层为上层提供RPC和RDMA通信接口；设备层控制底层设备的处理，使其对上层提供统一的设备管理接口。

优选的，所述抽象层包括了嵌入层、全连接层、多层感知机层、预测层、因子分解机层、注意力网络层、交叉层和交叉网络层；

所述嵌入层将经过one-hot编码的高维稀疏的特征向量进行处理，保证深度推荐模型可以找到最优值；

所述全连接层作为深度推荐模型的基石和学习输入中的表示，所述全连接层用于将深度推荐模型学到的“分布式特征表示”映射到样本标记空间；

所述多层感知机层是由多个全连接层组成的网络，用于将深度推荐模型学习过程中属于复杂输入的视频和图像进行抽象表示；

所述预测层用于将最后一层的输入数据进行一个函数变换；

所述因子分解机层用于在推荐系统中自动学习特征交互功能，解决大规模稀疏数据下的特征组合问题；

所述注意力网络层用于在推荐系统中给与不同特征组合赋予不同的权重，在推荐系统中识别不同特征交互的重要性；

所述交叉层用于学习交叉特征，所述交叉网络层是由多层交叉层组成的网络，用于高效的学习显式交叉特征。

优选的，所述嵌入层的表达式为：需要估计的参数为M∈R^m×n(n＜＜m)，其中，x∈R^m表示类别特征one-hot编码后的向量，x^TM∈Rⁿ表示该类别特征经过映射后的嵌入向量，m表示类别特征的总数，n表示嵌入向量空间的大小；

所述全连接层的表达式为：

a^(l+1)＝f(W^(l)a^(l)+b^(l))

需要估计的参数有W^(l)∈R^n×m，b^(l)∈R^n×1，其中，l表示第l层全连接层，f是激活函数，W^(l)和b^(l)分别被称为第l层权重矩阵和偏置，a^(l)表示第l层的输入，m和n分别表示第l层的神经元数量、第l+1层的神经元数量；

所述多层感知机层的表达式为：

a⁽¹⁾＝x

a⁽²⁾＝f(W⁽¹⁾a⁽¹⁾+b⁽¹⁾)

........

a^(l-1)＝f(W^(l-2)a^(l-2)+b^(l-2))

y_MLP(x)＝f(W^(l-1)a^(l-1)+b^(l-1))

其中，l是多层感知机层的深度，f是激活函数，W⁽ⁱ⁾和b⁽ⁱ⁾分别被称为第i(1≤i≤l-1)层权重矩阵和偏置，a^(i-1)和a⁽ⁱ⁾分别表示第i(2≤i≤l-1)层的输入和输出；多层感知机层的输入为x，输出为y_MLP(x)，输出维度由多层感知机层中最后一层的隐藏单元数量决定；

所述预测层的表达式为：

y_predict(x)＝f(x+b)；其中，x,b∈Rⁿ分别表示输入和偏置参数，f表示变换函数；

所述因子分解机层表达式为：

式中需要估计的参数是w₀∈R，w_i∈Rⁿ，v_i∈R^k，其中，<v_i，v_j>表示两个长度为k的向量的点积，w_i反应一阶特征的重要性；

所述注意力网络层的表达式为：

d_i,j＝h^TReLU(W(v_i⊙v_j)+b)

需要估计的参数是W∈R^t×k,b∈R^t×1,h∈R^t×1；其中，t表示注意力网络层中隐藏单元的数量，通常被称为注意力因子，k表示输入向量的长度；

所述交叉层的表达式为：

x_L+1＝f(x_l,x₀)＝x₀x_L ^Tw_L+b_L+x_L

其中，x₀∈R^d，x_L,x_L+1∈R^d分别表示第L层的输入和输出向量，w_L,b_L∈R^d分别表示第L层的权重和偏置参数，f表示拟合一个x_L+1-x_L残差的映射函数；

所述交叉网络层的表达式为：

其中，x₀,x₁,...,x_l+1∈R^d，x_l列向量表示第l交叉层的输入，而x_l+1表示第l交叉层的输出；w_l，b_l∈R^d表示第l交叉层的权重参数和偏置参数，均可以通过训练得到。

优选的，所述AFM算法、NFM算法和DeepFM算法均属于可以学习任何实值特征向量的通用机器学习器，所述NFM算法用于学习推荐场景中稀疏数据之间的高低阶交互，所述DeepFM算法用于学习推荐场景中稀疏数据之间的低阶交互和非线性表示。

与现有技术相比，本发明提供了一种基于深度学习的推荐算法系统，具备以下有益效果：

(1)本发明提出了一个基于深度学习的推荐系统算法包DeepRS，推荐系统算法包DeepRS是一种开源的、易扩展的算法包，丰富了推荐系统算法工具箱，填补了基于深度学习的推荐系统算法包缺口，使基于深度学习的推荐模型结果再现更容易，降低开发基于深度学习的推荐模型的门槛，同时又提高其实用性。

(2)本发明中的推荐系统算法包DeepRS包括框架层、抽象层和算法层三层架构，框架层采用Tensorflow开源框架，提供自动微分、张量计算、GPU计算以及数值优化算法等接口，抽象层利用框架层中接口实现嵌入层、全连接层、多层感知机层、预测层、因子分解机层、注意力网络层、交叉层以及交叉网络层多个接口，算法层基于抽象层和框架层实现DCN、DeepFM、NFM、AFM等深度推荐系统算法；本发明中的推荐系统算法包DeepRS是基于算法级别的模块化，因此可以轻而易举的在某个推荐算法中添加一些复杂的辅助功能；另外，推荐系统算法包DeepRS的框架层是建立在Tensorflow之上的，因此推荐系统可以很方便的利用现代硬件，并且扩展到分布式计算环境。

(3)本发明中的推荐系统算法包DeepRS是针对推荐数据的稀疏性和多样性，基于深度学习的推荐模型提出的完全开源的python算法包，作为建模推荐任务的工具，便于使用；通过实验验证了算法包的可行性。

(4)本发明对推荐系统算法包DeepRS的合理性进行实验分析，在各种实验环境下分析NFM算法、AFM算法、DeepFM算法和DCN算法的训练误差和准确率；在图7-10中描述了AFM、NFM、DeepFM、DCN模型的学习过程，其中，左纵坐标轴为交叉熵，右纵坐标轴为准确率，横轴表示AFM、NFM、DeepFM、DCN模型的迭代次数；metric-train和metric-val分别表示AFM、NFM、DeepFM、DCN模型在训练集和验证集中的准确率，loss-train和loss-val分别表示AFM、NFM、DeepFM、DCN模型在训练集和验证集中的交叉熵；根据图7-10中可以看到，随着迭代次数的增加，训练集的损失值逐渐下降，但是验证集的准确率都保持在0.75附近，即模型存在过拟合的问题。

附图说明

图1为本发明提出的一种基于深度学习的推荐算法系统的DeepRS的体系架构图；

图2为本发明提出的一种基于深度学习的推荐算法系统的框架层结构设计图；

图3为本发明提出的一种基于深度学习的推荐算法系统的AFM算法的网络拓扑结构图；

图4为本发明提出的一种基于深度学习的推荐算法系统的NFM算法的网络拓扑结构图；

图5为本发明提出的一种基于深度学习的推荐算法系统的DeepFM算法的网络拓扑结构图；

图6为本发明提出的一种基于深度学习的推荐算法系统的DCN算法的网络拓扑结构图；

图7为本发明提出的一种基于深度学习的推荐算法系统的AFM训练误差和准确率展示图；

图8为本发明提出的一种基于深度学习的推荐算法系统的NFM训练误差和准确率展示图；

图9为本发明提出的一种基于深度学习的推荐算法系统的DeepFM训练误差和准确率展示图；

图10为本发明提出的一种基于深度学习的推荐算法系统的DCN训练误差和准确率展示图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

实施例1：

请参阅图1-2，一种基于深度学习的推荐算法系统，包括推荐系统算法包DeepRS，如图1所示，所述推荐系统算法包DeepRS包括框架层、抽象层和算法层三层架构，所述框架层采用Tensorflow开源框架，所述Tensorflow开源框架为上层服务提供自动微分、张量计算、GPU计算以及数值优化算法多个接口；所述抽象层利用框架层中提供的多个接口实现嵌入层、全连接层、多层感知机层、预测层、因子分解机层、注意力网络层、交叉层以及交叉网络层多个接口；所述算法层基于抽象层和框架层实现DCN算法、DeepFM算法、NFM算法和AFM算法四个深度学习推荐系统算法；

所述Tensorflow开源框架基于数据流图进行数值计算，所述数据流图将各个节点分配到不同的计算设备上完成异步并行计算；如图2所示，所述Tensorflow开源框架的核心组件由分发式中心、数据流执行器、内核实现以及最底端的设备层和网络层组成；

所述Tensorflow开源框架的运行过程如下：

A5：所述网络层为上层提供RPC和RDMA通信接口；设备层控制底层设备的处理，使其对上层提供统一的设备管理接口；

所述抽象层包括了嵌入层、全连接层、多层感知机层、预测层、因子分解机层、注意力网络层、交叉层和交叉网络层；

所述AFM算法、NFM算法和DeepFM算法均属于可以学习任何实值特征向量的通用机器学习器，所述NFM算法用于学习推荐场景中稀疏数据之间的高低阶交互，所述DeepFM算法用于学习推荐场景中稀疏数据之间的低阶交互和非线性表示。

实施例2：

如图3-6所示，基于实施例1又有所不同的是：

所述嵌入层的表达式为：

需要估计的参数为M∈R^m×n(n＜＜m)，其中，x∈R^m表示类别特征one-hot编码后的向量，x^TM∈Rⁿ表示该类别特征经过映射后的嵌入向量，m表示类别特征的总数，n表示嵌入向量空间的大小；

所述全连接层的表达式为：

a^(l+1)＝f(W^(l)a^(l)+b^(l))

所述多层感知机层的表达式为：

a⁽¹⁾＝x

a⁽²⁾＝f(W⁽¹⁾a⁽¹⁾+b⁽¹⁾)

........

a^(l-1)＝f(W^(l-2)a^(l-2)+b^(l-2))

y_MLP(x)＝f(W^(l-1)a^(l-1)+b^(l-1))

其中，l是多层感知机层的深度，f是激活函数，W⁽ⁱ⁾和b⁽ⁱ⁾分别被称为第i(1≤i≤l-1)层权重矩阵和偏置，a^(i-1)和a⁽ⁱ⁾分别表示第i(2≤i≤l-1)层的输入和输出；

所述预测层用于将最后一层的输入数据进行一个函数变换；

所述预测层的表达式为：

所述因子分解机层表达式为：

所述注意力网络层的表达式为：

d_i,j＝h^TReLU(W(v_i⊙v_j)+b)

所述交叉层用于学习交叉特征，所述交叉层的表达式为：

x_L+1＝f(x_l,x₀)＝x₀x_L ^Tw_L+b_L+x_L

所述交叉网络层是由多层交叉层组成的网络，用于高效的学习显式交叉特征，所述交叉网络层的表达式为：

实施例2：

如图3-6，基于实施例1又有所不同的是：

算法层中的四个深度学习推荐系统算法相关模型的网络拓扑结构和公式，以及使用的正则化方法和优化方式如下：

(1)AFM算法

AFM算法的网络拓扑结构如图3所示：

其中，AFM模型的最终表达式如式(1)和(2)所示：

上述x∈Rⁿ是输入的稀疏向量，该向量通常是由原始数据通过one-hot编码后形成的；当输入向量中x_i＝0意味着该实例中不存在第i个特征；其中，第一项和第二项是线性回归部分，主要用于学习低阶特征之间的权重和建模数据的偏置，第三项是一个注意力层的池化操作网络，主要为二阶特征组合分配不同的权重；稀疏输入层的数据通过嵌入层后，获得一个嵌入向量集：v_x＝{x₁v₁,...,x_nv_n}，模型中需要求解的参数有Θ＝{w₀,{w_i,v_i},p,h,W,b}。选择L2范数来防止AFM模型的过拟合，这里主要集中在显式反馈实数目标值的回归任务，采用式(3)进行优化，式(3)如下所示：

其中，X表示训练集，x表示训练集中的一个实例，W表示注意力层的权重矩阵，λ控制正则化的强度；优化该目标函数使用随机梯度下降算法；其核心思想是迭代更新参数直到函数收敛，如式(4)所示；在迭代过程中，每次随机的选择一个训练样本x，朝模型参数的负梯度方向进行更新，其时间复杂度大约为O(n²(t×k))；

(2)NFM算法

NFM算法由嵌入层、多层感知机层、全连接层、预测层组成，其主要作用是学习推荐场景中稀疏数据之间的高低阶交互；NFM是一个可以学习任何实值特征向量的通用机器学习器，NFM算法的网络拓扑结构如图4所示；

其中，NFM模型的最终表达式如式(5)所示：

需要特别强调的是第三项是一个堆叠多层全连接层的多层前向神经网络，以捕捉更高阶的特征之间的关系；L表示多层感知机层的深度，W_L、b_L、σ_L分别表示第L层的权重矩阵、偏置向量和激活函数；向量h表示预测层(最后一层)的权重；模型中需要求解的参数有Θ＝{w₀,{w_i,v_i},h,{W₁,b₁}}；最后，采用dropout技术来防止模型的过拟合；

这里主要集中在隐式反馈推荐的二分类任务，因此用交叉熵函数，即式(6)进行优化；优化该目标函数同样使用随机梯度下降算法，如式(7)；考虑到基于深度学习的推荐系统中数据稀疏问题，采用批量Adagrad算法作为优化器而不是朴素版本的SGD算法，因为Adagrad算法学习速度在训练阶段可以自适应，结果就是它的收敛速度更快；同时，为了处理模型的过拟合问题，在池化操作上使用了dropout技术；式(6)和式(7)分别如下：

(3)DeepFM算法

DeepFM算法由嵌入层、因子分解机层、多层感知机层、全连接层、预测层组成，其主要作用是学习推荐场景中稀疏数据之间的低阶交互和非线性表示；DeepFM是基于因子分解机器的神经网络，是一个可以学习任何实值特征向量的通用机器学习器；DeepFM模型由FM组件和DNN组件组成，它们共享相同的输入；y_FM(x)、y_DNN(x)分别是FM组件和DNN组件的输出；FM组件是一个堆叠在嵌入层和输入层上的FM层，其主要建模数据的偏置和特征的权重以及二阶特征交互；DNN组件是一个堆叠在嵌入层上的多层感知机层和全连接层，主要建模高阶特征交互；DeepFM算法的网络拓扑结构如图5所示；

其中，DeepFM模型的最终表达式为式(8)所示：

y_DeepFM(x)＝f(y_FM(x)+y_DNN(x)) (8)

FM组件的表达式为式(9)所示：

DNN组件的表达式如式(10)所示：

y_DNN(x)＝σ_L(w_L(...σ₁(w₁f_BI(v_x)+b₁)...)+b_L) (10)

f表示预测层中使用的函数；L表示多层感知机层的深度，w_L、b_L、σ_L分别表示第L层的权重矩阵、偏置向量和激活函数；这里仅描述采用对数似然损失函数的二分类任务，如式(11)所示；使用随机梯度下降及其变体算法，如式(12)所示；防止过拟合方面：在DNN组件中使用dropout技术，嵌入层中使用L2正则化；在学习的过程中使用早停止策略来选择最佳的迭代次数。

(4)DCN算法

DCN算法为深度交叉网络，其主要目的是学习特征的抽象表示和更加有效地学习指定阶数内的特征交互；DCN算法的网络拓扑结构如图6所示；

其中，DCN模型的最终表达式为式(13)、(14)、(15)、(16)：

x₁＝y_embedding(x) (14)

x_out＝[y_CNL(x₁),y_MLP(x₁)] (15)

y_DCN(x)＝y_prediction(y_FCL(x_out)) (16)

式中x_dense∈R^a表示实值特征列向量，x_sparse∈R^b表示类别特征列向量，x∈R^(a+b)表示把实值特征列向量和类别特征列向量拼接成的列向量，y_embedding、y_CNL、y_MLP、y_FCL、y_predict分别表示嵌入层组件、交叉网络层组件、多层感知机层组件、全连接层组件、预测层组件，x₁是嵌入层组件的输出，x_out是交叉网络层组件输出和多层感知机层组件输出拼接而成的列向量；在这里仅描述采用对数似然损失函数的二分类任务，如式(17)所示；使用随机梯度下降及其变体算法，如式(18)所示；式(17)和式(18)分别如下：

实施例3：

如图7-10所示，基于实施例1-2又有所不同的是：

本发明对推荐系统算法包DeepRS的合理性进行实验分析，在各种实验环境下分析NFM算法、AFM算法、DeepFM算法和DCN算法的训练误差和准确率；

(1)实验平台及数据集：

算法包在Windows10环境下，以vs code为集成开发工具，采用TensorFlow开源框架作为框架层，Python作为开发语言，PyPI做第三方仓库，进行研发；评估本发明已实现的NFM、AFM、DeepFM、DCN算法采用公开数据集--MovieLens；这个电影评价数据集被广泛地用于评估协同过滤算法；它包含17045个用户应用在23743个产品的668953个标签；把每个标签应用(用户ID，电影ID和标签ID)转化为一个特征向量，总共产生90445个特征。

(2)评估方案及实验结果

在MovieLens数据集，每条日志记录都被分配一个值为1的目标，这意味着用户已经在电影上应用了标签；对于MovieLens中的每条记录，随机采样两个用户没有分配给电影的标签；每条采样的实例其目标值设为-1；因此，MovieLens的最终实验数据包含2006859个实例；将每个数据集随机分成两个部分：80％用于训练，20％用于验证；训练集用于学习模型，验证集被用于超参数的调优。Logloss和AUC广泛用于带有显示反馈推荐的分类任务；因此采用AUC作为评价指标、Logloss为损失函数；AUC值越高表明效率越好，与之相反；

表(1)AFM、NFM、DeepFM、DCN四种算法的默认值

如表(1)给出了各算法主要的参数设置，取不同算法在MovieLens数据集各算法训练收敛后稳定在某范围内震荡的平均值作评价指标；图7-10中描述了AFM、NFM、DeepFM、DCN模型的学习过程；其中，左纵坐标轴为交叉熵，右纵坐标轴为准确率，横轴表示AFM、NFM、DeepFM、DCN模型的迭代次数；metric-train和metric-val分别表示AFM、NFM、DeepFM、DCN模型在训练集和验证集中的准确率，loss-train和loss-val分别表示AFM、NFM、DeepFM、DCN模型在训练集和验证集中的交叉熵；从图7-10中可以看到，随着迭代次数的增加，训练集的损失值逐渐下降，但是验证集的准确率都保持在0.75附近，即模型存在过拟合的问题；

本发明针对推荐数据的稀疏性和多样性，设计了基于深度学习的推荐模型的完全开源的python算法包---DeepRS，作为建模推荐任务的工具，便于研究者和实践者使用；通过实验直接验证了算法包的可行性。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims

1.一种基于深度学习的推荐算法系统，其特征在于：包括推荐系统算法包DeepRS，所述推荐系统算法包DeepRS包括框架层、抽象层和算法层三层架构，所述框架层采用Tensorflow开源框架，所述Tensorflow开源框架为上层服务提供自动微分、张量计算、GPU计算以及数值优化算法的不同接口；所述抽象层利用框架层中提供的不同接口实现向嵌入层、全连接层、多层感知机层、预测层、因子分解机层、注意力网络层、交叉层、交叉网络层的参数数据传输；所述算法层基于抽象层和框架层实现DCN算法、DeepFM算法、NFM算法和AFM算法四个深度学习推荐系统算法；

所述抽象层包括嵌入层、全连接层、多层感知机层、预测层、因子分解机层、注意力网络层、交叉层和交叉网络层；

所述嵌入层将经过one-hot编码的高维稀疏的特征向量进行处理，保证深度推荐模型找到最优值；

所述全连接层作为深度推荐模型的基石和学习输入中的表示，所述全连接层用于将深度推荐模型学到的分布式特征表示映射到样本标记空间；

所述多层感知机层是由全连接层组成的网络，用于将深度推荐模型学习过程中属于输入的视频和图像进行抽象表示；

所述预测层用于将最后一层的输入数据进行一个函数变换；

所述因子分解机层用于在深度推荐模型中自动学习特征交互功能，解决稀疏数据下的特征组合问题；

所述注意力网络层用于在深度推荐模型中给与不同特征组合赋予不同的权重，在深度推荐模型中识别不同特征交互的重要性；

所述交叉层用于学习交叉特征，所述交叉网络层是由交叉层组成的网络，用于学习显式交叉特征。

2.根据权利要求1所述的一种基于深度学习的推荐算法系统，其特征在于：所述Tensorflow开源框架基于数据流图进行数值计算，所述数据流图将各个节点分配到不同的计算设备上完成异步并行计算；所述Tensorflow开源框架的核心组件由分发式中心、数据流执行器、内核实现以及最底端的设备层和网络层组成。

3.根据权利要求2所述的一种基于深度学习的推荐算法系统，其特征在于：所述Tensorflow开源框架的运行过程如下：

A2：所述分发式中心处理数据流图时预先进行设定好的优化操作，包括消去公共子表达式和常量折叠的优化方式；

A3：所述数据流执行器负责操作图在设备和进程中运行，收发其它所述数据流执行器的结果；所述数据流执行器在调度本地设备时优先选择并行计算和GPU计算加速；

4.根据权利要求1所述的一种基于深度学习的推荐算法系统，其特征在于：所述嵌入层的表达式为：

所述全连接层的表达式为：

a^(l+1)＝f(W^(l)a^(l)+b^(l))

所述多层感知机层的表达式为：

a⁽¹⁾＝x

a⁽²⁾＝f(W⁽¹⁾a⁽¹⁾+b⁽¹⁾)

........

a^(l-1)＝f(W^(l-2)a^(l-2)+b^(l-2))

y_MLP(x)＝f(W^(l-1)a^(l-1)+b^(l-1))

所述预测层的表达式为：

所述因子分解机层表达式为：

式中需要估计的参数是w₀∈R，w_i∈R，v_i∈R^k，v_j∈R^k，其中，<v_i，v_j>表示两个长度为k的向量的点积，w_i反应一阶特征的重要性；

所述注意力网络层的表达式为：

d_i,j＝h^TReLU(W(v_i⊙v_j)+b)

所述交叉层的表达式为：

x_L+1＝f(x_l,x₀)＝x₀x_L ^Tw_L+b_L+x_L

所述交叉网络层的表达式为：

...................

其中，x₀,x₁,...,x_l+1∈R^d，x_l列向量表示第l交叉层的输入，而x_l+1表示第l交叉层的输出；w_l，b_l∈R^d表示第l交叉层的权重参数和偏置参数，均通过训练得到。

5.根据权利要求1所述的一种基于深度学习的推荐算法系统，其特征在于：所述AFM算法、NFM算法和DeepFM算法均属于学习任何实值特征向量的通用机器学习器，所述NFM算法用于学习推荐场景中稀疏数据之间的高低阶交互，所述DeepFM算法用于学习推荐场景中稀疏数据之间的低阶交互和非线性表示。