CN105046515A - 广告排序方法及装置 - Google Patents

Abstract

本发明提供一种广告排序方法，其包括：获取广告图像特征参数以及广告文字特征参数；将广告图像特征参数以及广告文字特征参数，设定为第一深度神经网络的输入向量；对第一深度神经网络进行第一模型训练，以输出预估广告点击率特征；根据预估广告点击率特征，进行广告排序。本发明还提供一种广告排序装置，本发明的广告排序方法及装置通过卷积神经网络对广告图片的特征进行统计，提高了广告点击率预估的准确性。

Description

广告排序方法及装置

技术领域

本发明涉及广告技术领域，特别是涉及一种广告排序方法及装置。

背景技术

目前，业内进行广告投放时，广泛使用了基于广告点击率预估的方法对广告进行排序。具体方法为，首先通过逻辑回归算法预估候选广告的点击率，即广告点击率预估(pCTR，predictedclick-throughrate)，然后基于pCTR计算广告的质量度(Quality)，最后将广告按照出价(Bid)*Quality逆序排列并展现，出价越高且质量度越高的广告排序越靠前。在排序时遵循普遍二级价格拍卖(GSP，GeneralizedSecondPriceAuction)机制，该机制可以最大化搜索引擎的收益，达到GSP均衡。在上述计算过程中，广告点击率预估是最核心的部分之一。

但是现有的逻辑回归算法均采用用户特征以及广告文字特征作为训练数据，并没有考虑到广告图片的特征，如一张比较好的可以反映商品的特征的图片可以大幅度的提升广告的点击率，或用户对广告产品所展示图形的喜好程度也可以大幅度的提升广告的点击率。这样导致现有的广告排序方法并不能有效的进行广告点击率的预估。

发明内容

本发明实施例提供一种可对广告图片的特征进行统计，从而提高了广告点击率预估的准确性的广告排序方法及装置；以解决现有的广告排序方法及装置的广告点击率预估的准确性较低的技术问题。

本发明实施例提供一种广告排序方法，其包括：

获取广告图像特征参数以及广告文字特征参数；其中通过卷积神经网络获取所述广告图像特征参数；

将所述广告图像特征参数以及所述广告文字特征参数，设定为第一深度神经网络的输入向量；

对所述第一深度神经网络进行第一模型训练，以输出预估广告点击率特征；以及

根据所述预估广告点击率特征，进行广告排序。

本发明实施例还提供一种广告排序装置，其包括：

特征参数获取模块，用于获取广告图像特征参数以及广告文字特征参数；其中通过卷积神经网络获取所述广告图像特征参数；

第一输入向量设定模块，用于将所述广告图像特征参数以及所述广告文字特征参数，设定为第一深度神经网络的输入向量；

第一训练模块，用于对所述第一深度神经网络进行第一模型训练，以输出预估广告点击率特征；以及

排序模块，用于根据所述预估广告点击率特征，进行广告排序。

相较于现有技术的广告排序方法及装置，本发明的广告排序方法及装置通过卷积神经网络对广告图片的特征进行统计，提高了广告点击率预估的准确性；解决了现有的广告排序方法及装置的广告点击率预估的准确性较低的技术问题。

附图说明

图1为本发明的广告排序方法的优选实施例的流程图；

图2A为本发明的广告排序方法的优选实施例的步骤S101的获取广告文字特征参数的流程图；

图2B为本发明的广告排序方法的优选实施例的第二深度神经网络的结构示意图；

图3A为本发明的广告排序方法的优选实施例的步骤S101的获取广告图像特征参数的流程图；

图3B为本发明的广告排序方法的优选实施例的卷积神经网络的结构示意图；

图4为本发明的广告排序方法的优选实施例的第一深度神经网络的结构示意图之一；

图5为本发明的广告排序方法的优选实施例的第一深度神经网络的结构示意图之二；

图6为本发明的广告排序方法的优选实施例的第一深度神经网络的结构示意图之三；

图7为本发明的广告排序方法的优选实施例的步骤S103的流程图；

图8为本发明的广告排序装置的优选实施例的结构示意图；

图9为本发明的广告排序装置的优选实施例的特征参数获取模块的结构示意图；

图10本发明的广告排序装置的优选实施例的特征参数获取模块的第二训练单元的结构示意图；

图11为本发明的广告排序装置的优选实施例的特征参数获取模块的第三训练单元的结构示意图；

图12为本发明的广告排序装置的优选实施例的第一训练模块的结构示意图；

图13为本发明的广告排序装置的优选实施例的第一训练模块的隐藏层神经元建立单元的结构示意图之一；

图14为本发明的广告排序装置的优选实施例的第一训练模块的隐藏层神经元建立单元的结构示意图之二；

图15为本发明的广告排序装置所在的电子设备的工作环境结构示意图。

具体实施方式

请参照图式，其中相同的组件符号代表相同的组件，本发明的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本发明具体实施例，其不应被视为限制本发明未在此详述的其它具体实施例。

在以下的说明中，本发明的具体实施例将参考由一部或多部计算机所执行之作业的步骤及符号来说明，除非另有述明。因此，其将可了解到这些步骤及操作，其中有数次提到为由计算机执行，包括了由代表了以一结构化型式中的数据之电子信号的计算机处理单元所操纵。此操纵转换该数据或将其维持在该计算机之内存系统中的位置处，其可重新配置或另外以本领域技术人员所熟知的方式来改变该计算机之运作。该数据所维持的数据结构为该内存之实体位置，其具有由该数据格式所定义的特定特性。但是，本发明原理以上述文字来说明，其并不代表为一种限制，本领域技术人员将可了解到以下所述的多种步骤及操作亦可实施在硬件当中。

本发明的广告排序方法可使用各种具有计算能力的电子设备进行实施，该电子设备包括但不限于个人计算机、服务器计算机、手持式或膝上型设备、移动设备(比如移动电话、个人数字助理(PDA)、媒体播放器等等)、多处理器系统、消费型电子设备、小型计算机、大型计算机、包括上述任意系统或设备的分布式计算环境，等等。本发明的广告投放方法通过卷积神经网络对广告图片的特征进行统计，提高了广告点击率预估的准确性。

请参照图1，图1为本发明的广告排序方法的优选实施例的流程图。本优选实施例的广告排序方法包括：

步骤S101，获取广告图像特征参数以及广告文字特征参数；

步骤S102，将广告图像特征参数以及广告文字特征参数，设定为第一深度神经网络的输入向量；

步骤S103，对第一深度神经网络进行第一模型训练，以输出预估广告点击率特征；

步骤S104，根据预估广告点击率特征，进行广告排序。

下面详细说明本优选实施例的广告排序方法的各步骤的具体流程。

在步骤S101中，广告排序装置获取广告图像特征参数以及广告文字特征参数。这里可将文字特征参数以及用户特征参数直接作为广告文字特征参数，其文字特征参数包括广告文字以及广告类别等广告侧的特征参数；用户特征参数包括用户的年龄、性别、地址、网龄以及兴趣爱好等用户侧的特征参数。也可通过对文字特征参数以及用户特征参数进行深度神经网络处理，以输出广告文字特征参数，具体获取方法可参见图2A，图2A为本发明的广告排序方法的优选实施例的步骤S101的获取广告文字特征参数的流程图。该步骤S101包括：

步骤S1011，将文字特征参数以及用户特征参数设定为第二深度神经网络的输入向量；

步骤S1012，对第二深度神经网络进行第二模型训练，以输出广告文字特征参数。其中第二模型训练包括第二正向传播算法训练以及第二反向传播算法训练。具体请参照图2B，图2B为本发明的广告排序方法的优选实施例的第二深度神经网络的结构示意图。具体为建立第二深度神经网络的一个输入层201、多个隐藏层202以及一个输出层203；输入层201包括多个输入层神经元，隐藏层202包括多个隐藏层神经元，输出层203包括多个输出层神经元，每个神经元均为一个可微的非线性激活函数。

输出层神经元通过第二正向传播算法204训练将输入层神经元和隐藏层神经元的向前输出进行汇总，并通过第二反向传播算法205训练将误差信号向后递归至隐藏层神经元以及输入层神经元。输入层神经元和隐藏层神经元全连接，隐藏层神经元与输出层神经元全连接，这样以输出正确的广告文字特征参数。

在步骤S101中，同时通过卷积神经网络获取广告图像特征参数，具体获取方法可参见图3A，图3A为本发明的广告排序方法的优选实施例的步骤S101的获取广告图像特征参数的流程图。该步骤S101还包括：

步骤S1013，将广告图像设定为卷积神经网络的输入向量；

步骤S1014，对卷积神经网络进行第三模型训练，以输出广告图像特征参数。其中第三模型训练包括第三正向传播算法训练以及第三反向传播算法训练。具体请参照图3B，图3B为本发明的广告排序方法的优选实施例的卷积神经网络的结构示意图。具体为建立卷积神经网络的一个输入层301、多个卷积层302以及多个输出层303；输入层301包括多个输入层神经元，卷积层302包括多个卷积单元，输出层303包括多个输出层神经元。其中卷积单元包括用于对卷积单元中的参数进行共享的共享权重子单元以及对特征进行聚合操作的池化子单元。这样卷积神经网络可对图像的平移、比例缩放、倾斜以及其他形式的变形具有高度不变形；即将图像局部的统计特征，适用于图像上的所有位置的特征。

在本优选实施例中，输入的图像通过两路并行进行卷积操作，每路通过五个串联的卷积单元完成图像高级特征学习，之后将输出汇总到输出层，多个输出层之间全连接。输出层神经元通过第三正向传播算法304训练将输入层神经元和卷积单元的向前输出进行汇总，并通过第三反向传播算法305训练将误差信号向后递归至卷积单元以及输入层神经元。这样以输出正确的广告图像特征参数。随后转到步骤S102。

在步骤S102中，广告排序装置将步骤S101获取的广告图像特征参数以及广告文字特征参数，设定为第一深度神经网络的输入向量。随后转到步骤S103。

在步骤S103中，广告排序装置对第一深度神经网络进行第一模型训练，以输出预估广告点击率特征。具体为建立第一深度神经网络的一个输入层401、多个隐藏层402以及一个输出层403；输入层401包括多个输入层神经元，隐藏层402包括多个隐藏层神经元，输出层403包括多个输出层神经元，每个神经元均为一个可微的非线性激活函数。

第一深度神经网络的输出层神经元通过第一正向传播算法404将第一深度神经网络的输入层神经元和隐藏层神经元的向前输出层进行汇总，并通过第一反向传播算法405训练将误差信号向后递归至第一深度神经网络的隐藏层神经元以及输入层神经元。第一深度神经网络的隐藏层神经元以及输入层神经元全连接，第一深度神经网络的隐藏层神经元与输出层神经元全连接。

优选的，请参照图4，图4为本发明的广告排序方法的优选实施例的第一深度神经网络的结构示意图之一。在图4中，第二深度神经网络输出的广告文字特征参数以及卷积神经网络输出的广告图像特征参数直接作为第一深度神经网络的输入向量进行第一模型训练。由于广告文字特征参数、广告图像特征参数以及预估广告点击率特征各自独立进行训练，广告文字特征参数的训练以及广告图像特征参数的训练可以通过更加长久时间累积的训练数据以得到稳定的广告文字特征参数以及广告图像特征参数。

优选的，请参照图5，图5为本发明的广告排序方法的优选实施例的第一深度神经网络的结构示意图之二。在图5中，第二深度神经网络输出的广告文字特征参数以及卷积神经网络输出的广告图像特征参数不仅作为第一深度神经网络的输入向量进行第二模型训练，即第二正向传播算法204训练的输出值进行第一正向传播算法104训练，第三正向传播算法304训练的输出值进行第一正向传播算法104训练；并且使用第一反向传播算法105训练的误差值进行第二反向传播算法205训练，使用第一反向传播算法105训练的误差值进行第三反向传播算法305训练。这样通过预估广告点击率特征的误差对广告文字特征参数以及广告图像特征参数进行修正；使得广告文字特征参数以及广告图像特征参数，与预估广告点击率特征的关联性加强；这样可进一步提高第一深度神经网络输出的预估广告点击率特征的准确性。

当然，如将文字特征参数以及用户特征参数直接作为广告文字特征参数，则可不建立第二深度神经网络，具体的第一深度神经网络的结构示意图如图6所示。

优选的，为了进一步提高第一深度神经网络的计算速度，可对第一深度神经网络的输入层神经元以及隐藏层神经元进行分组训练；具体请参照图7，图7为本发明的广告排序方法的优选实施例的步骤S103的流程图。该步骤S103包括：

步骤S1031，广告排序装置根据输入向量，对输入层神经元进行分类；具体为广告排序装置根据不同种类的第一深度神经网络的输入向量的相关性，对输入层神经元进行分类；具体包括：

首先广告排序装置计算每个第一深度神经网络的输入向量与其他第一深度神经网络的输入向量的相关系数。如使用用户年龄的用户特征参数对样本进行分类，以及使用用户网龄的用户特征参数对样本进行分类，然后通过判断对应类别中心之间的距离来判断每个输入向量与其他输入向量的相关系数，该距离越小，即说明分类结构越相似，两种输入向量的相关性就越高，相关系数就越大。

如按用户年龄将样本分为三类，以及按用户网龄将样本分为三类，两种划分方式对应的三个类别中心的距离小于设定值，则认为用户年龄的输入向量和用户网龄的输入向量的相关系数较大。如按用户地址将样本分为五类类，按用户兴趣爱好将样本分为五类，两种划分方式对应的五个类别中心的距离大于设定值，则认为用户地址的输入向量和用户兴趣爱好的输入向量的相关系数较小，甚至两个输入向量完全不相关。当然这里也可直接人为设置两个输入向量的相关系数。

然后广告排序装置根据获取的输入向量的相关系数对输入向量进行分类，具体为：

广告投放装置计算每个输入向量与其他输入向量的相关系数和，如该相关系数和小于设定值，则认为该输入向量与其他输入向量相关性较差，即该输入向量对广告点击率特征的显著性较强，因此将该相关系数和小于设定值的输入向量单独设定为一个类别。

相关系数和大于等于设定值的输入向量与其他输入向量的相关性较强，即该输入向量对广告点击率特征的显著性较差，因此可将相关系数和大于等于设定值的输入向量与其他输入向量设定到同一类别中，以减小第一深度神经网络结构的计算量。这里可将相关系数和大于等于设定值的输入向量设定到输入向量的最大相关性类别中，其中最大相关性类别为与该输入向量的相关性最高的输入向量所在的类别。这样即完成了对输入向量的分类操作。

最后广告投放装置按输入向量的类别，对相应的输入层神经元也进行分类。随后转到步骤S1032。

步骤S1032，广告排序装置根据输入层神经元的类别，建立隐藏层神经元。其中隐藏层神经元和至少一个输入层神经元连接。具体为广告排序装置根据步骤S1031获取的输入层神经元的类别，建立第一隐藏层神经元，该第一隐藏层神经元包括多个神经元组，每个神经元组与对应类别的至少一个输入层神经元连接，这样即完成了第一隐藏层神经元的分类。随后转到步骤S1033。

步骤S1033，广告排序装置根据步骤S1032建立的第一隐藏层神经元，通过输出层神经元输出预估广告点击率特征。随后转到步骤S104。

在步骤S104中，广告排序装置根据步骤S103输出的预估广告点击率特征，进行广告排序。

优选的，在步骤S1032中，广告排序装置还可建立与第一隐藏层神经元全连接的第二隐藏层神经元。在步骤S1033中，广告排序装置根据第二隐藏层神经元，通过输出层神经元输出预估广告点击率特征。这样通过第二隐藏层神经元和第一隐藏层神经元的全连接将各个相关性较差的不同神经元组的第一隐藏层神经元的输出进行汇总，输出预估广告点击率特征。从而降低了对输出层神经元的全连接要求。

这样即完成了本优选实施例的广告排序方法的广告排序过程。

本优选实施例的广告排序方法通过卷积神经网络对广告图片的特征进行统计，提高了广告点击率预估的准确性。

本发明还提供一种广告排序装置，该广告排序装置可使用上述广告排序方法进行实施。请参照图8，图8为本发明的广告排序装置的优选实施例的结构示意图。本优选实施例的广告排序装置80包括特征参数获取模块81、第一输入向量设定模块82、第一训练模块83以及排序模块84。特征参数获取模块81用于获取广告图像特征参数以及广告文字特征参数。第一输入向量设定模块82用于将广告图像特征参数以及广告文字特征参数，设定为第一深度神经网络的输入向量。第一训练模块83用于对第一深度神经网络进行第一模型训练，以输出预估广告点击率特征。排序模块84用于根据预估广告点击率特征，进行广告排序。

请参照图9，图9为本发明的广告排序装置的优选实施例的特征参数获取模块的结构示意图。该特征参数获取模块81包括第二输入向量设定单元811、第二训练单元812、第三输入向量设定单元813以及第三训练单元814。第二输入向量设定单元811用于将文字特征参数以及用户特征参数设定为第二深度神经网络的输入向量；第二训练单元812用于对第二深度神经网络进行第二模型训练，以输出广告文字特征参数；第三输入向量设定单元813用于将广告图像设定为卷积神经网络的输入向量；第三训练单元814用于对卷积神经网络进行第三模型训练，以输出广告图像特征参数。

请参照图10，图10为本发明的广告排序装置的优选实施例的特征参数获取模块的第二训练单元的结构示意图。第二训练单元812包括第二正向传播子单元8121以及第二反相传播子单元8122。第二正向传播子单元8121用于使用第二正相传播算法训练的输出值进行第一正向传播算法训练。第二反向传播子单元8122用于使用第一反向传播算法训练的误差值进行第二反向传播算法训练。

请参照图11，图11为本发明的广告排序装置的优选实施例的特征参数获取模块的第三训练单元的结构示意图。第三训练单元814包括第三正向传播子单元8141以及第三反向传播子单元8142，第三正向传播子单元8141用于使用第三正向传播算法的输出值进行第一正向传播算法训练，第三反向传播子单元8142用于使用第一反向传播算法训练的误差值进行第三反向传播算法训练。

请参照图12，图12为本发明的广告排序装置的优选实施例的第一训练模块的结构示意图。该第一训练模块83包括输入层神经元分类单元831、隐藏层神经元建立单元832以及输出单元833。输入层神经元分类单元831用于根据输入向量，对输入层神经元进行分类；隐藏层神经元建立单元832用于根据输入层神经元的类别，建立隐藏层神经元，其中隐藏层神经元和至少一个输入层神经元连接；输出单元833用于根据隐藏层神经元，输出预估广告点击率特征。

请参照图13，图13为本发明的广告排序装置的优选实施例的第一训练模块的隐藏层神经元建立单元的结构示意图之一。该隐藏层神经元建立单元832包括用于根据所述输入层神经元的类别，建立第一隐藏层神经元的第一隐藏层神经元建立子单元8321。其中第一隐藏层神经元包括多个神经元组，每个神经元组与对应类别的至少一个输入层神经元连接。

请参照图14，图14为本发明的广告排序装置的优选实施例的第一训练模块的隐藏层神经元建立单元的结构示意图之二。该隐藏层神经元建立单元832包括第一隐藏层神经元建立子单元8321以及第二隐藏层神经元建立子单元8322。第二隐藏层神经元建立子单元8322用于建立第二隐藏层神经元，其中第二隐藏层神经元与第一隐藏层神经元全连接。

本优选实施例的广告排序装置80使用时，首先特征参数获取模块81获取广告图像特征参数以及广告文字特征参数。这里可将文字特征参数以及用户特征参数直接作为广告文字特征参数，其文字特征参数包括广告文字以及广告类别等广告侧的特征参数；用户特征参数包括用户的年龄、性别、地址、网龄以及兴趣爱好等用户侧的特征参数。也可通过对文字特征参数以及用户特征参数进行深度神经网络处理，以输出广告文字特征参数。具体为：

特征参数获取模块81的第二输入向量设定单元811将文字特征参数以及用户特征参数设定为第二深度神经网络的输入向量。随后第二训练单元812对第二深度神经网络进行第二模型训练，以输出广告文字特征参数。其中第二模型训练包括第二正向传播算法训练以及第二反向传播算法训练。

具体为：建立第二深度神经网络的一个输入层、多个隐藏层以及一个输出层；输入层包括多个输入层神经元，隐藏层包括多个隐藏层神经元，输出层包括多个输出层神经元，每个神经元均为一个可微的非线性激活函数。

输出层神经元通过第二正向传播算法训练将输入层神经元和隐藏层神经元的向前输出进行汇总，并通过第二反向传播算法训练将误差信号向后递归至隐藏层神经元以及输入层神经元。输入层神经元和隐藏层神经元全连接，隐藏层神经元与输出层神经元全连接，这样以输出正确的广告文字特征参数。

同时特征参数获取模块81通过卷积神经网络获取广告图像特征参数，具体包括：

特征参数获取模块81的第三输入向量设定单元813将广告图像设定为卷积神经网络的输入向量；随后特征参数获取模块81的第三训练单元814对卷积神经网络进行第三模型训练，以输出广告图像特征参数。其中第三模型训练包括第三正向传播算法训练以及第三反向传播算法训练。

具体为：建立卷积神经网络的一个输入层、多个卷积层以及多个输出层；输入层包括多个输入层神经元，卷积层包括多个卷积单元，输出层包括多个输出层神经元。其中卷积单元包括用于对卷积单元中的参数进行共享的共享权重子单元以及对特征进行聚合操作的池化子单元。这样卷积神经网络可对图像的平移、比例缩放、倾斜以及其他形式的变形具有高度不变形；即将图像局部的统计特征，适用于图像上的所有位置的特征。

在本优选实施例中，输入的图像通过两路并行进行卷积操作，每路通过五个串联的卷积单元完成图像高级特征学习，之后将输出汇总到输出层，多个输出层之间全连接。输出层神经元通过第三正向传播算法训练将输入层神经元和卷积单元的向前输出进行汇总，并通过第三反向传播算法训练将误差信号向后递归至卷积单元以及输入层神经元。这样以输出正确的广告图像特征参数。

随后第一输入向量设定模块811将特征参数获取模块获取的广告图像特征参数以及广告文字特征参数，设定为第一深度神经网络的输入向量。

第一训练模块83对第一深度神经网络进行第一模型训练，以输出预估广告点击率特征。具体为建立第一深度神经网络的一个输入层、多个隐藏层以及一个输出层；输入层包括多个输入层神经元，隐藏层包括多个隐藏层神经元，输出层包括多个输出层神经元，每个神经元均为一个可微的非线性激活函数。

第一深度神经网络的输出层神经元通过第一正向传播算法将第一深度神经网络的输入层神经元和隐藏层神经元的向前输出层进行汇总，并通过第一反向传播算法训练将误差信号向后递归至第一深度神经网络的隐藏层神经元以及输入层神经元。第一深度神经网络的隐藏层神经元以及输入层神经元全连接，第一深度神经网络的隐藏层神经元与输出层神经元全连接。

优选的，第二深度神经网络输出的广告文字特征参数以及卷积神经网络输出的广告图像特征参数直接作为第一深度神经网络的输入向量进行第一模型训练。

优选的，第二深度神经网络输出的广告文字特征参数以及卷积神经网络输出的广告图像特征参数不仅作为第一深度神经网络的输入向量进行第二模型训练，即第二训练单元812的第二正向传播子单元8121使用第二正向传播算法训练的输出值进行第一正向传播算法训练，第三训练单元814的第三正向传播子单元8141使用第三正向传播算法训练的输出值进行第一正向传播算法训练；并且第二训练单元812的第二反向传播子单元8122使用第一反向传播算法训练的误差值进行第二反向传播算法训练，第三训练单元814的第三反向传播子单元8142使用第一反向传播算法训练的误差值进行第三反向传播算法训练。这样可进一步提高第一深度神经网络输出的预估广告点击率特征的准确性。

当然，如将文字特征参数以及用户特征参数直接作为广告文字特征参数，则可不建立第二深度神经网络。

优选的，为了进一步提高第一深度神经网络的计算速度，可对第一深度神经网络的输入层神经元以及隐藏层神经元进行分组训练；具体包括：

第一训练模块83的输入层神经元分类单元831根据输入向量，对输入层神经元进行分类；具体为广告排序装置根据不同种类的第一深度神经网络的输入向量的相关性，对输入层神经元进行分类；具体包括：

首先输入层神经元分类单元831计算每个第一深度神经网络的输入向量与其他第一深度神经网络的输入向量的相关系数。如使用用户年龄的用户特征参数对样本进行分类，以及使用用户网龄的用户特征参数对样本进行分类，然后通过判断对应类别中心之间的距离来判断每个输入向量与其他输入向量的相关系数，该距离越小，即说明分类结构越相似，两种输入向量的相关性就越高，相关系数就越大。

如按用户年龄将样本分为三类，以及按用户网龄将样本分为三类，两种划分方式对应的三个类别中心的距离小于设定值，则认为用户年龄的输入向量和用户网龄的输入向量的相关系数较大。如按用户地址将样本分为五类类，按用户兴趣爱好将样本分为五类，两种划分方式对应的五个类别中心的距离大于设定值，则认为用户地址的输入向量和用户兴趣爱好的输入向量的相关系数较小，甚至两个输入向量完全不相关。当然这里也可直接人为设置两个输入向量的相关系数。

然后输入层神经元分类单元831根据获取的输入向量的相关系数对输入向量进行分类，具体为：

广告投放装置80每个输入向量与其他输入向量的相关系数和，如该相关系数和小于设定值，则认为该输入向量与其他输入向量相关性较差，即该输入向量对广告点击率特征的显著性较强，因此将该相关系数和小于设定值的输入向量单独设定为一个类别。

相关系数和大于等于设定值的输入向量与其他输入向量的相关性较强，即该输入向量对广告点击率特征的显著性较差，因此可将相关系数和大于等于设定值的输入向量与其他输入向量设定到同一类别中，以减小第一深度神经网络结构的计算量。这里可将相关系数和大于等于设定值的输入向量设定到输入向量的最大相关性类别中，其中最大相关性类别为与该输入向量的相关性最高的输入向量所在的类别。这样即完成了对输入向量的分类操作。

最后输入层神经元分类单元831按输入向量的类别，对相应的输入层神经元也进行分类。

然后隐藏层神经元建立单元832根据输入层神经元的类别，建立隐藏层神经元。其中隐藏层神经元和至少一个输入层神经元连接。具体为隐藏层神经元建立单元832的第一隐藏层神经元建立子单元8321根据获取的输入层神经元的类别，建立第一隐藏层神经元，该第一隐藏层神经元包括多个神经元组，每个神经元组与对应类别的至少一个输入层神经元连接，这样即完成了第一隐藏层神经元的分类。

输出单元833根据隐藏层神经元建立单元832建立的第一隐藏层神经元，通过输出层神经元输出预估广告点击率特征。

最后排序模块84根据第一训练模块83输出的预估广告点击率特征，进行广告排序。

优选的，隐藏层神经元建立单元832的第二隐藏层神经元建立子单元8322还可建立与第一隐藏层神经元8321全连接的第二隐藏层神经元。随后输出单元733根据第二隐藏层神经元，通过输出层神经元输出预估广告点击率特征。这样通过第二隐藏层神经元和第一隐藏层神经元的全连接将各个相关性较差的不同神经元组的第一隐藏层神经元的输出进行汇总，输出预估广告点击率特征。从而降低了对输出层神经元的全连接要求。

这样即完成了本优选实施例的广告排序装置80的广告排序过程。

本发明的广告排序方法及广告排序装置仅以年龄、性别、省份、网龄、兴趣等主要用户侧特征作为引例加以描述。由于广告产品所面向用户人群的复杂性、用户在广告浏览行为上的个体差异性，在实际应用场景中用于训练模型的用户特征为数众多，无法依次引以为例、一一叙述。但对于未加叙述的新特征，其应用于深度神经网络部分的技术方案进行推广使用。本发明保护的是结合广告图像特征和用户特征的广告点击率预估模型的思想，在此基础上的特征的增加或减少均视为本发明的保护范围。

本发明的广告排序方法及广告排序装置使用卷积神经网络提取广告图像特征，其结构包括但不限于文中所用实例刻画的网络结构，不应再将对卷积神经网络部分的调整(增多、减少卷积层，调整卷积层参数等)视作另外的创新。

本发明的广告排序方法及广告排序装置使用深度神经网络提取广告用户特征以及广告文字特征，其结构包括但不限于文中所用实例刻画的网络结构，不应再将对深度神经网络部分的调整(增多、减少每层神经元个数，加入或减少隐藏层)视作另外的创新，不应将加减特征学习所经过多层感知器个数视作另外的创新。

本发明的广告排序方法及广告排序装置在图像特征提取和广告用户特征提取之后，使用深度神经网络融合这两部分特征，并通过逐层学习刻画特征对广告点击的贡献。其结构包括但不限于文中所用实例刻画的网络结构，不应再将对多层感知器网络部分的调整(增多、减少每层神经元个数，加入或减少隐藏层)视作另外的创新，不应将加减特征学习所经过多层感知器个数视作另外的创新。

本发明的广告排序方法及广告排序装置用于提取图像特征的特征学习算法可为Gabor滤波器，用于提取用户特征以及广告文字特征的特征学习算法可为逻辑回归模型以及决策树模型等，不应对上述特征学习算法的替换作为另外的创新。

本发明的广告排序方法及广告排序装置将广告图片作为影响广告用户点击率的重要因素，在广告点击率预估模型中，引入了广告图像特征学习步骤，提取能够表征广告点击行为的图像高级特征预测广告点击率的方法：相较于区分到广告素材粒度的建模方法，考虑到一幅广告图片中可以蕴含各种信息量(产品本身、产品展示方式、价格水平、是否新款、是否包邮、其他文字描述等)，而广告图像特征提取的步骤通过海量数据学习到这些信息的显著作用，使用广告图像特征可以更加充分地挖掘到广告图片中吸引用户点击浏览的某些特性，使得广告点击率预测更加准确。

本发明的广告排序方法及广告排序装置通过卷积神经网络学习广告图像特征，加入到广告点击率预估模型的方法：在以往以广告素材粒度作为特征建立模型时，广告素材更新、替换将使得旧有的曝光点击不能作用于新的广告素材，从而影响模型对于点击行为传播的学习，进而限制了模型的表达能力；提取广告图像高级特征，可以从广告素材挖掘更多特征，一方面增强了模型的表达，另一方面不再受制于广告素材的频繁更新而必须快速地训练和更新模型。

本发明的广告排序方法及广告排序装置使用深度神经网络逐层学习广告用户特征，并进一步地，与卷积神经网络提取的广告图像特征融合学习，提高广告点击率预估准确性的方法：一方面，通过建立适当子模型对广告用户特征进行挖掘，提取高阶非线性特征用于点击率预估可以提升预测效果；另一方面，深度神经网络模型学习到的广告用户高阶特征同卷积神经网络模型提取的图像高级特征之间的融合学习更加反映来自用户侧、广告侧特征组合影响广告点击率的特性，并将继续挖掘和改进模型对于特性的学习效果。

本发明的广告排序方法及装置通过卷积神经网络对广告图片的特征进行统计，提高了广告点击率预估的准确性；解决了现有的广告排序方法及装置广告点击率预估的准确性较低的技术问题。

如本申请所使用的术语“组件”、“模块”、“系统”、“接口”、“进程”等等一般地旨在指计算机相关实体：硬件、硬件和软件的组合、软件或执行中的软件。例如，组件可以是但不限于是运行在处理器上的进程、处理器、对象、可执行应用、执行的线程、程序和/或计算机。通过图示，运行在控制器上的应用和该控制器二者都可以是组件。一个或多个组件可以有在于执行的进程和/或线程内，并且组件可以位于一个计算机上和/或分布在两个或更多计算机之间。

而且，要求保护的主题可以被实现为使用标准编程和/或工程技术产生软件、固件、硬件或其任意组合以控制计算机实现所公开的主题的方法、装置或制造品。本文所使用的术语“制造品”旨在包含可从任意计算机可读设备、载体或介质访问的计算机程序。当然，本领域技术人员将认识到可以对该配置进行许多修改，而不脱离要求保护的主题的范围或精神。

图15和随后的讨论提供了对实现本发明所述的广告排序装置所在的电子设备的工作环境的简短、概括的描述。图15的工作环境仅仅是适当的工作环境的一个实例并且不旨在建议关于工作环境的用途或功能的范围的任何限制。实例电子设备1512包括但不限于个人计算机、服务器计算机、手持式或膝上型设备、移动设备(比如移动电话、个人数字助理(PDA)、媒体播放器等等)、多处理器系统、消费型电子设备、小型计算机、大型计算机、包括上述任意系统或设备的分布式计算环境，等等。

尽管没有要求，但是在“计算机可读指令”被一个或多个电子设备执行的通用背景下描述实施例。计算机可读指令可以经由计算机可读介质来分布(下文讨论)。计算机可读指令可以实现为程序模块，比如执行特定任务或实现特定抽象数据类型的功能、对象、应用编程接口(API)、数据结构等等。典型地，该计算机可读指令的功能可以在各种环境中随意组合或分布。

图15图示了包括本发明的广告排序装置的一个或多个实施例的电子设备1512的实例。在一种配置中，电子设备1512包括至少一个处理单元1516和存储器1518。根据电子设备的确切配置和类型，存储器1518可以是易失性的(比如RAM)、非易失性的(比如ROM、闪存等)或二者的某种组合。该配置在图15中由虚线1514图示。

在其他实施例中，电子设备1512可以包括附加特征和/或功能。例如，设备1512还可以包括附加的存储装置(例如可移除和/或不可移除的)，其包括但不限于磁存储装置、光存储装置等等。这种附加存储装置在图15中由存储装置1520图示。在一个实施例中，用于实现本文所提供的一个或多个实施例的计算机可读指令可以在存储装置1520中。存储装置1520还可以存储用于实现操作系统、应用程序等的其他计算机可读指令。计算机可读指令可以载入存储器1518中由例如处理单元1516执行。

本文所使用的术语“计算机可读介质”包括计算机存储介质。计算机存储介质包括以用于存储诸如计算机可读指令或其他数据之类的信息的任何方法或技术实现的易失性和非易失性、可移除和不可移除介质。存储器1518和存储装置1520是计算机存储介质的实例。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字通用盘(DVD)或其他光存储装置、盒式磁带、磁带、磁盘存储装置或其他磁存储设备、或可以用于存储期望信息并可以被电子设备1512访问的任何其他介质。任意这样的计算机存储介质可以是电子设备1512的一部分。

电子设备1512还可以包括允许电子设备1512与其他设备通信的通信连接1526。通信连接1526可以包括但不限于调制解调器、网络接口卡(NIC)、集成网络接口、射频发射器/接收器、红外端口、USB连接或用于将电子设备1512连接到其他电子设备的其他接口。通信连接1526可以包括有线连接或无线连接。通信连接1526可以发射和/或接收通信媒体。

术语“计算机可读介质”可以包括通信介质。通信介质典型地包含计算机可读指令或诸如载波或其他传输机构之类的“己调制数据信号”中的其他数据，并且包括任何信息递送介质。术语“己调制数据信号”可以包括这样的信号：该信号特性中的一个或多个按照将信息编码到信号中的方式来设置或改变。

电子设备1512可以包括输入设备1524，比如键盘、鼠标、笔、语音输入设备、触摸输入设备、红外相机、视频输入设备和/或任何其他输入设备。设备1512中也可以包括输出设备1522，比如一个或多个显示器、扬声器、打印机和/或任意其他输出设备。输入设备1524和输出设备1522可以经由有线连接、无线连接或其任意组合连接到电子设备1512。在一个实施例中，来自另一个电子设备的输入设备或输出设备可以被用作电子设备1512的输入设备1524或输出设备1522。

电子设备1512的组件可以通过各种互连(比如总线)连接。这样的互连可以包括外围组件互连(PCI)(比如快速PCI)、通用串行总线(USB)、火线(IEEE1394)、光学总线结构等等。在另一个实施例中，电子设备1512的组件可以通过网络互连。例如，存储器1518可以由位于不同物理位置中的、通过网络互连的多个物理存储器单元构成。

本领域技术人员将认识到，用于存储计算机可读指令的存储设备可以跨越网络分布。例如，可经由网络1528访问的电子设备1530可以存储用于实现本发明所提供的一个或多个实施例的计算机可读指令。电子设备1512可以访问电子设备1530并且下载计算机可读指令的一部分或所有以供执行。可替代地，电子设备1512可以按需要下载多条计算机可读指令，或者一些指令可以在电子设备1512处执行并且一些指令可以在电子设备1530处执行。

本文提供了实施例的各种操作。在一个实施例中，所述的一个或多个操作可以构成一个或多个计算机可读介质上存储的计算机可读指令，其在被电子设备执行时将使得计算设备执行所述操作。描述一些或所有操作的顺序不应当被解释为暗示这些操作必需是顺序相关的。本领域技术人员将理解具有本说明书的益处的可替代的排序。而且，应当理解，不是所有操作必需在本文所提供的每个实施例中存在。

而且，本文所使用的词语“优选的”意指用作实例、示例或例证。奉文描述为“优选的”任意方面或设计不必被解释为比其他方面或设计更有利。相反，词语“优选的”的使用旨在以具体方式提出概念。如本申请中所使用的术语“或”旨在意指包含的“或”而非排除的“或”。即，除非另外指定或从上下文中清楚，“X使用A或B”意指自然包括排列的任意一个。即，如果X使用A；X使用B；或X使用A和B二者，则“X使用A或B”在前述任一示例中得到满足。

而且，尽管已经相对于一个或多个实现方式示出并描述了本公开，但是本领域技术人员基于对本说明书和附图的阅读和理解将会想到等价变型和修改。本公开包括所有这样的修改和变型，并且仅由所附权利要求的范围限制。特别地关于由上述组件(例如元件、资源等)执行的各种功能，用于描述这样的组件的术语旨在对应于执行所述组件的指定功能(例如其在功能上是等价的)的任意组件(除非另外指示)，即使在结构上与执行本文所示的本公开的示范性实现方式中的功能的公开结构不等同。此外，尽管本公开的特定特征已经相对于若干实现方式中的仅一个被公开，但是这种特征可以与如可以对给定或特定应用而言是期望和有利的其他实现方式的一个或多个其他特征组合。而且，就术语“包括”、“具有”、“含有”或其变形被用在具体实施方式或权利要求中而言，这样的术语旨在以与术语“包含”相似的方式包括。

本发明实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器，磁盘或光盘等。上述的各装置或系统，可以执行相应方法实施例中的方法。

综上所述，虽然本发明已以优选实施例揭露如上，但上述优选实施例并非用以限制本发明，本领域的普通技术人员，在不脱离本发明的精神和范围内，均可作各种更动与润饰，因此本发明的保护范围以权利要求界定的范围为准。

Claims (18)

1.一种广告排序方法，其特征在于，包括：

获取广告图像特征参数以及广告文字特征参数；其中通过卷积神经网络获取所述广告图像特征参数；

将所述广告图像特征参数以及所述广告文字特征参数，设定为第一深度神经网络的输入向量；

对所述第一深度神经网络进行第一模型训练，以输出预估广告点击率特征；以及

根据所述预估广告点击率特征，进行广告排序。

2.根据权利要求1所述的广告排序方法，其特征在于，所述获取广告文字特征参数的步骤具体为：

将文字特征参数以及用户特征参数直接作为所述广告文字特征参数。

3.根据权利要求1所述的广告排序方法，其特征在于，所述获取广告文字特征参数的步骤具体为：

将文字特征参数以及用户特征参数设定为第二深度神经网络的输入向量；以及

对所述第二深度神经网络进行第二模型训练，以输出所述广告文字特征参数。

4.根据权利要求3所述的广告排序方法，其特征在于，所述第一模型训练包括第一正向传播算法训练以及第一反向传播算法训练，所述第二模型训练包括第二正向传播算法训练以及第二反向传播算法训练；

所述对所述第二深度神经网络进行第二模型训练，以输出所述广告文字特征参数的步骤包括：

使用所述第二正向传播算法训练的输出值进行所述第一正向传播算法训练；以及

使用所述第一反向传播算法训练的误差值进行所述第二反向传播算法训练。

5.根据权利要求1所述的广告排序方法，其特征在于，所述通过卷积神经网络获取所述广告图像特征参数的步骤包括：

将广告图像设定为所述卷积神经网络的输入向量；

对所述卷积神经网络进行第三模型训练，以输出所述广告图像特征参数。

6.根据权利要求5所述的广告排序方法，其特征在于，所述第三模型训练包括第三正向传播算法训练以及第三反向传播算法训练；

所述对所述第三深度神经网络进行第三模型训练，以输出所述广告文字特征参数的步骤包括：

使用所述第三正向传播算法训练的输出值进行所述第一正向传播算法训练；以及

使用所述第一反向传播算法训练的误差值进行所述第三反向传播算法训练。

7.根据权利要求1所述的广告排序方法，其特征在于，所述对所述第一深度神经网络进行第一模型训练，以输出预设广告点击率特征的步骤包括：

根据所述输入向量，对所述输入层神经元进行分类；

根据所述输入层神经元的类别，建立隐藏层神经元；其中所述隐藏层神经元和至少一个所述输入层神经元连接；以及

根据所述隐藏层神经元，输出预估广告点击率特征。

8.根据权利要求7所述的广告排序方法，其特征在于，所述根据所述输入层神经元的类别，建立隐藏层神经元的步骤包括：

根据所述输入层神经元的类别，建立第一隐藏层神经元，其中所述第一隐藏层神经元包括多个神经元组，每个所述神经元组与对应类别的至少一个所述输入层神经元连接。

9.根据权利要求7所述的广告排序方法，其特征在于，所述根据所述输入层神经元的类别，建立隐藏层神经元的步骤包括：

根据所述输入层神经元的类别，建立第一隐藏层神经元，其中所述第一隐藏层神经元包括多个神经元组，每个所述神经元组与对应类别的至少一个所述输入层神经元连接；以及

建立第二隐藏层神经元，其中所述第二隐藏层神经元与所述第一隐藏层神经元全连接。

10.一种广告排序装置，其特征在于，包括：

特征参数获取模块，用于获取广告图像特征参数以及广告文字特征参数；其中通过卷积神经网络获取所述广告图像特征参数；

第一输入向量设定模块，用于将所述广告图像特征参数以及所述广告文字特征参数，设定为第一深度神经网络的输入向量；

第一训练模块，用于对所述第一深度神经网络进行第一模型训练，以输出预估广告点击率特征；以及

排序模块，用于根据所述预估广告点击率特征，进行广告排序。

11.根据权利要求10所述的广告排序装置，其特征在于，所述特征参数获取模块具体用于将文字特征参数以及用户特征参数直接作为所述广告文字特征参数。

12.根据权利要求10所述的广告排序装置，其特征在于，所述特征参数获取模块包括：

第二输入向量设定单元，用于将文字特征参数以及用户特征参数设定为第二深度神经网络的输入向量；以及

第二训练单元，用于对所述第二深度神经网络进行第二模型训练，以输出所述广告文字特征参数。

13.根据权利要求12所述的广告排序装置，其特征在于，所述第一模型训练包括第一正向传播算法训练以及第一反向传播算法训练，所述第二模型训练包括第二正向传播算法训练以及第二反向传播算法训练；

所述第二训练单元包括：

第二正向传播子单元，用于使用所述第二正向传播算法训练的输出值进行所述第一正向传播算法训练；以及

第二反相传播子单元，用于使用所述第一反向传播算法训练的误差值进行所述第二反向传播算法训练。

14.根据权利要求10所述的广告排序装置，其特征在于，所述特征参数获取模块还包括：

第三输入向量设定单元，用于将广告图像设定为所述卷积神经网络的输入向量；以及

第三训练单元，用于对所述卷积神经网络进行第三模型训练，以输出所述广告图像特征参数。

15.根据权利要求14所述的广告排序装置，其特征在于，所述第三模型训练包括第三正向传播算法训练以及第三反向传播算法训练；

所述第三训练单元包括：

第三正向传播子单元，用于使用所述第三正向传播算法训练的输出值进行所述第一正向传播算法训练；以及

第三反相传播子单元，用于使用所述第一反向传播算法训练的误差值进行所述第三反向传播算法训练。

16.根据权利要求10所述的广告排序装置，其特征在于，所述第一训练模块包括：

输入层神经元分类单元，用于根据所述输入向量，对所述输入层神经元进行分类；

隐藏层神经元建立单元，用于根据所述输入层神经元的类别，建立隐藏层神经元；其中所述隐藏层神经元和至少一个所述输入层神经元连接；以及

输出单元，用于根据所述隐藏层神经元，输出预估广告点击率特征。

17.根据权利要求16所述的广告排序装置，其特征在于，所述隐藏层神经元建立单元包括：

第一隐藏层神经元建立子单元，用于根据所述输入层神经元的类别，建立第一隐藏层神经元，其中所述第一隐藏层神经元包括多个神经元组，每个所述神经元组与对应类别的至少一个所述输入层神经元连接。

18.根据权利要求16所述的广告排序装置，其特征在于，所述隐藏层神经元建立单元包括：

第一隐藏层神经元建立子单元，用于根据所述输入层神经元的类别，建立第一隐藏层神经元，其中所述第一隐藏层神经元包括多个神经元组，每个所述神经元组与对应类别的至少一个所述输入层神经元连接；以及

第二隐藏层神经元建立子单元，用于建立第二隐藏层神经元，其中所述第二隐藏层神经元与所述第一隐藏层神经元全连接。