CN110189163A - 推广内容的评价方法、装置、电子设备和存储介质 - Google Patents

Abstract

本申请公开了推广内容的评价方法、装置、电子设备和存储介质。所述方法包括：根据推广数据生成样本数据；所述样本数据包括多个标签，且至少包括与唤起行为对应的唤起标签；将所述样本数据输入到基于深度学习网络的多目标模型中进行训练，得到推广内容的评价模型；所述多目标模型包括与各标签分别对应的子网络；根据所述推广内容的评价模型对待评价的推广内容进行评价。该技术方案的有益效果在于，考虑到了与APP相关的推广内容的唤起行为，适用站内与站外结合的复杂场景，能够有效评估设备从站外跳转到站内APP的可能性；在样本利用率上由于加入了唤起标签，并采用多目标模型，提高了样本多样性和特征丰富度，缓解了样本偏差问题，提高了评价准确率。

Description

推广内容的评价方法、装置、电子设备和存储介质

技术领域

本申请涉及内容推广技术领域，具体涉及推广内容的评价方法、装置、电子设备和存储介质。

背景技术

如何评价推广内容与用户需求的契合度一直是一个难题，深度学习的不断发展为推广内容的评价带来了新的解决思路，通过将用户与推广内容相关的各类行为作为样本进行学习，可以预估一个推广内容是否能够被用户点击等等。但是这也带来了新的问题，深度学习模型的种类、样本的选择等都是影响评价效果的因素。现有技术中的评价方式存在支持的场景较少、样本利用率低等缺陷，有待改进。

发明内容

鉴于上述问题，提出了本申请以便提供一种克服上述问题或者至少部分地解决上述问题的推广内容的评价方法、装置、电子设备和存储介质。

依据本申请的一个方面，提供了一种推广内容的评价方法，包括：

根据推广数据生成样本数据；样本数据包括多个标签，且至少包括与唤起行为对应的唤起标签；

将样本数据输入到基于深度学习网络的多目标模型中进行训练，得到推广内容的评价模型；多目标模型包括与各标签分别对应的子网络；

根据推广内容的评价模型对待评价的推广内容进行评价。

可选地，将样本数据输入到基于深度学习网络的多目标模型中进行训练，得到推广内容的评价模型包括：

基于梯度下降的方法，降低多目标模型使用的损失函数的值，对各子网络的参数同时进行更新。

可选地，推广数据包括推广内容的展现数据；

多个标签还包括：与点击行为对应的点击标签，与转化行为对应的转化标签；

根据推广内容的评价模型对待评价的推广内容进行评价包括：预估待评价的推广内容的点击率、唤起率和转化率。

可选地，多目标模型使用的损失函数包括若干个交叉熵损失函数，各交叉熵损失函数分别用于计算一项差异性信息，差异性信息包括如下的一种或多种：

点击标签与相应子网络预估值的差异；

点击标签、唤起标签与相应子网络预估值的差异；

点击标签、唤起标签、转化标签与相应子网络预估值的差异。

可选地，根据推广数据生成样本数据包括：

根据推广数据抽取如下的一维或多维原始特征，得到相应的特征序列：设备特征，用户特征，推广内容特征，上下文特征。

可选地，根据推广数据生成样本数据还包括：

对原始特征进行如下的一种或多种处理，得到相应的特征序列：特征embedding处理，one-hot编码处理，multi-hot编码处理，特征归一化，特征分桶，特征交叉。

可选地，深度学习网络包括如下的一种或多种：

深度神经网络，卷积神经网络，长短期记忆网络，变换网络。

依据本发明的另一方面，提供了一种推广内容的评价装置，包括：

样本数据单元，用于根据推广数据生成样本数据；样本数据包括多个标签，且至少包括与唤起行为对应的唤起标签；

训练单元，用于将样本数据输入到基于深度学习网络的多目标模型中进行训练，得到推广内容的评价模型；多目标模型包括与各标签分别对应的子网络；

评价单元，用于根据推广内容的评价模型对待评价的推广内容进行评价。

可选地，训练单元，用于基于梯度下降的方法，降低多目标模型使用的损失函数的值，对各子网络的参数同时进行更新。

可选地，推广数据包括推广内容的展现数据；

多个标签还包括：与点击行为对应的点击标签，与转化行为对应的转化标签；

评价单元，用于预估待评价的推广内容的点击率、唤起率和转化率。

可选地，多目标模型使用的损失函数包括若干个交叉熵损失函数，各交叉熵损失函数分别用于计算一项差异性信息，差异性信息包括如下的一种或多种：

点击标签与相应子网络预估值的差异；

点击标签、唤起标签与相应子网络预估值的差异；

点击标签、唤起标签、转化标签与相应子网络预估值的差异。

可选地，样本数据单元，用于根据推广数据抽取如下的一维或多维原始特征，得到相应的特征序列：设备特征，用户特征，推广内容特征，上下文特征。

可选地，样本数据单元，还用于对原始特征进行如下的一种或多种处理，得到相应的特征序列：特征embedding处理，one-hot编码处理，multi-hot编码处理，特征归一化，特征分桶，特征交叉。

可选地，深度学习网络包括如下的一种或多种：深度神经网络，卷积神经网络，长短期记忆网络，变换网络。

依据本申请的又一方面，提供了一种电子设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，可执行指令在被执行时使处理器执行如上述任一所述的方法。

依据本申请的再一方面，提供了一种计算机可读存储介质，其中，计算机可读存储介质存储一个或多个程序，一个或多个程序当被处理器执行时，实现如上述任一所述的方法。

由上述可知，本申请的技术方案，采用了深度学习的思路，将根据推广数据生成包含多个标签、且至少包含唤起标签的样本数据，输入到基于深度学习网络的多目标模型中进行训练，多目标模型包括与各标签分别对应的子网络；最终得到推广内容的评价模型对待评价的推广内容进行评价。该技术方案的有益效果在于，考虑到了与APP相关的推广内容的唤起行为，适用站内与站外结合的复杂场景，能够有效评估设备从站外跳转到站内APP的可能性；在样本利用率上由于加入了唤起标签，并采用多目标模型而非多个模型，提高了样本多样性和特征丰富度，有效缓解了样本偏差问题，提高了评价的准确率。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本申请一个实施例的一种推广内容的评价方法的流程示意图；

图2示出了根据本申请一个实施例的一种推广内容的评价装置的结构示意图；

图3示出了根据本申请一个实施例的电子设备的结构示意图；

图4示出了根据本申请一个实施例的计算机可读存储介质的结构示意图；

图5示出了一个推广内容的评价模型的训练方式示意图。

具体实施方式

下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。

以互联网广告为例，在站内情景(例如APP内部投放与APP内商品相关的广告)下，广告的展现数据、点击数据和转化数据是影响广告主付费的因素。其中转化行为是指用户通过展现的广告最终购买广告内容所对应的商品或服务的行为。一般地，对推广内容进行评价，可以从点击率和转化率两个方面进行评价。因此在采用深度学习的思路下，可以通过构建模型，基于样本数据进行模型训练，最终对目标推广内容进行评价。

然而这种方式对站外、站内共存的复杂场景的支持较弱。因为在这类场景下，一个重要的行为是唤起行为，例如用户点击广告，唤起相应的APP再到达广告内容对应的页面。用户点击广告并不能绝对唤起APP，因为存在用户未安装相应APP、已卸载相应APP、网络环境差以及误点击操作后中断唤起等。唤起失败的情况下，站外点击广告不会为广告主带来收益。因此，在对点击率、转化率之外引入唤起率的概念，可以对这类复杂场景下的推广内容进行有效的评估。

图1示出了根据本申请一个实施例的一种推广内容的评价方法的流程示意图。如图1所示，该方法包括：

步骤S110，根据推广数据生成样本数据；样本数据包括多个标签，且至少包括与唤起行为对应的唤起标签。

推广数据是在将推广内容推荐给用户的过程中产生的数据，可以包含用户的各类行为等。这里，使用的推广数据可以是展现数据，即根据展现给用户的推广内容来得到。展现并不一定会带来用户的点击，点击也不一定会带来唤起，点击、唤起也不一定会带来最终的转化。因此，对于一条样本数据而言，其可以携带与点击、唤起、转化等对应的标签，根据实际的点击、唤起、转化等行为，通过“是”或“否”来分别标注各个标签，为了便于计算，可以将“是”对应记录为1，“否”对应记录为0。

步骤S120，将样本数据输入到基于深度学习网络的多目标模型中进行训练，得到推广内容的评价模型；多目标模型包括与各标签分别对应的子网络。

每个子网络都是一个小的深度学习网络，样本数据同时输入到各子网络中进行训练。

步骤S130，根据推广内容的评价模型对待评价的推广内容进行评价。

可见，图1所示的方法，考虑到了与APP相关的推广内容的唤起行为，适用站内与站外结合的复杂场景，能够有效评估设备从站外跳转到站内APP的可能性；在样本利用率上由于加入了唤起标签，并采用多目标模型而非多个模型，提高了样本多样性和特征丰富度，有效缓解了样本偏差问题，提高了评价的准确率。

在本发明的一个实施例中，上述方法中，将样本数据输入到基于深度学习网络的多目标模型中进行训练，得到推广内容的评价模型包括：基于梯度下降的方法，降低多目标模型使用的损失函数的值，对各子网络的参数同时进行更新。

这种方式下，一般认为损失函数的值越低，训练出的推广内容的评价模型也就越高，但为了避免过度训练可以设定一个阈值，到达阈值后停止训练。

在本发明的一个实施例中，上述方法中，推广数据包括推广内容的展现数据；多个标签还包括：与点击行为对应的点击标签，与转化行为对应的转化标签；根据推广内容的评价模型对待评价的推广内容进行评价包括：预估待评价的推广内容的点击率、唤起率和转化率。

这里限定了多个标签还包括点击标签和转化标签，分别对应点击行为和转化行为。在优选的实施例中样本数据可以包含这三类标签，训练出的推广内容的评价模型用于评价推广内容的点击率、唤起率和转化率，也就是进行预估。这样可以更合理地参与到站外广告投放竞价，节约投放成本。

在本发明的一个实施例中，上述方法中，多目标模型使用的损失函数包括若干个交叉熵损失函数，各交叉熵损失函数分别用于计算一项差异性信息，差异性信息包括如下的一种或多种：点击标签与相应子网络预估值的差异；点击标签、唤起标签与相应子网络预估值的差异；点击标签、唤起标签、转化标签与相应子网络预估值的差异。

通过前面的介绍我们可以知道，展现、点击、唤起、转化是一组递进的过程。因此在使用交叉熵损失函数计算差异性信息时，也需要考虑实际场景下的行为关联性，例如点击可以单独产生，而唤起行为需要关联点击行为，转化行为可以关联点击行为和唤起行为。

在一个具体的实施例中，多目标模型可以使用如下的损失函数：

其中，θ_cvr为转化预估网络参数集合，θ_ar为唤起预估网络参数集合，θ_ctr为点击预估网络集合；f(·)为计算网络预估值的sigmoid函数；l(·)为交叉熵损失函数；y_i为点击标签，z_i为唤起标签，w_i为转化标签。

在本发明的一个实施例中，上述方法中，根据推广数据生成样本数据包括：根据推广数据抽取如下的一维或多维原始特征，得到相应的特征序列：设备特征，用户特征，推广内容特征，上下文特征。

这里示出了生成特征序列时可以抽取的一些原始特征，其中，设备特征可以包括机型、品牌等，用户特征可以包括用户的历史行为、用户画像等，推广内容特征可以包括广告位尺寸、广告内容等。上下文特征可以包括时间、天气等。这些原始特征也可以在一定程度上影响用户各类行为的产生，因此训练时可以考察这些特征与点击行为、唤起行为以及转化行为等的关联性。当然在其他实施例中可以不限于抽取这些维度的特征，也可以在这些原始特征的基础上生成新的特征。

在本发明的一个实施例中，上述方法中，根据推广数据生成样本数据还包括：对原始特征进行如下的一种或多种处理，得到相应的特征序列：特征embedding处理，one-hot编码处理，multi-hot编码处理，特征归一化，特征分桶，特征交叉。

其中，特征embedding处理，one-hot编码处理，multi-hot编码处理可以针对离散型特征，而特征归一化，特征分桶可以针对连续型特征，特征交叉可以在不同特征之间进行。这里给出了一些特征处理的介绍，当然在其他实施例中可以采用其他的处理手段来生成相应的特征。

在本发明的一个实施例中，上述方法中，深度学习网络包括如下的一种或多种：深度神经网络，卷积神经网络，长短期记忆网络，变换网络。

深度神经网络DNN、卷积神经网络CNN、长短期记忆网络LSTM和变换网络Transform等都是常用的深度学习网络，在其他实施例中也可以选用除上述外的其他深度学习网络，本申请对此不做限制，在深度学习网络的选择上与业务场景相贴合，效果会更好。例如在商户推荐功能的APP中选用DNN构建模型是一个优选的实施例。

图5示出了一个推广内容的评价模型的训练方式示意图，如图5所示，推广内容的评价模型基于DNN网络构建，包含三个子网络；样本数据的格式包括点击标签、唤起标签和转化标签，以及特征序列；将样本数据输入到推广内容的评价模型中，可以预估点击率、唤起率以及转化率。

例如，一条样本数据的含义可以理解为：“A品牌手机，安卓系统版本6.0，有点击行为，无唤起行为，无转化行为”，具体到样本数据中，“A品牌手机”和“安卓系统版本6.0”可以被转化为向量形式的特征序列，点击标签的值可以是1，唤起标签和转化行为的值可以是0。类似这样的大量样本数据被输入到DNN网络中，并均被输入到三个子网络中进行训练。举例来说，每条样本数据，无论是否有唤起行为，都会被输入到转化子网络中进行训练，相较于仅使用有唤起行为的样本进行训练，大大提升了样本利用率。

图2示出了根据本申请一个实施例的一种推广内容的评价装置的结构示意图。如图2所示，推广内容的评价装置200包括：

样本数据单元210，用于根据推广数据生成样本数据；样本数据包括多个标签，且至少包括与唤起行为对应的唤起标签。

训练单元220，用于将样本数据输入到基于深度学习网络的多目标模型中进行训练，得到推广内容的评价模型；多目标模型包括与各标签分别对应的子网络。

评价单元230，用于根据推广内容的评价模型对待评价的推广内容进行评价。

可见，图2所示的装置，通过各单元的相互配合，考虑到了与APP相关的推广内容的唤起行为，适用站内与站外结合的复杂场景，能够有效评估设备从站外跳转到站内APP的可能性；在样本利用率上由于加入了唤起标签，并采用多目标模型而非多个模型，提高了样本多样性和特征丰富度，有效缓解了样本偏差问题，提高了评价的准确率。

在本发明的一个实施例中，上述装置中，训练单元220，用于基于梯度下降的方法，降低多目标模型使用的损失函数的值，对各子网络的参数同时进行更新。

在本发明的一个实施例中，上述装置中，推广数据包括推广内容的展现数据；多个标签还包括：与点击行为对应的点击标签，与转化行为对应的转化标签；评价单元230，用于预估待评价的推广内容的点击率、唤起率和转化率。

在本发明的一个实施例中，上述装置中，多目标模型使用的损失函数包括若干个交叉熵损失函数，各交叉熵损失函数分别用于计算一项差异性信息，差异性信息包括如下的一种或多种：点击标签与相应子网络预估值的差异；点击标签、唤起标签与相应子网络预估值的差异；点击标签、唤起标签、转化标签与相应子网络预估值的差异。

在本发明的一个实施例中，上述装置中，样本数据单元210，用于根据推广数据抽取如下的一维或多维原始特征，得到相应的特征序列：设备特征，用户特征，推广内容特征，上下文特征。

在本发明的一个实施例中，上述装置中，样本数据单元210，还用于对原始特征进行如下的一种或多种处理，得到相应的特征序列：特征embedding处理，one-hot编码处理，multi-hot编码处理，特征归一化，特征分桶，特征交叉。

在本发明的一个实施例中，上述装置中，深度学习网络包括如下的一种或多种：深度神经网络，卷积神经网络，长短期记忆网络，变换网络。

需要说明的是，上述各装置实施例的具体实施方式可以参照前述对应方法实施例的具体实施方式进行，在此不再赘述。

综上所述，本申请的技术方案，采用了深度学习的思路，将根据推广数据生成包含多个标签、且至少包含唤起标签的样本数据，输入到基于深度学习网络的多目标模型中进行训练，多目标模型包括与各标签分别对应的子网络；最终得到推广内容的评价模型对待评价的推广内容进行评价。该技术方案的有益效果在于，考虑到了与APP相关的推广内容的唤起行为，适用站内与站外结合的复杂场景，能够有效评估设备从站外跳转到站内APP的可能性；在样本利用率上由于加入了唤起标签，并采用多目标模型而非多个模型，提高了样本多样性和特征丰富度，有效缓解了样本偏差问题，提高了评价的准确率。

需要说明的是：

在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本申请也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本申请的内容，并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本申请的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的推广内容的评价装置中的一些或者全部部件的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

例如，图3示出了根据本申请一个实施例的电子设备的结构示意图。该电子设备300包括处理器310和被安排成存储计算机可执行指令(计算机可读程序代码)的存储器320。存储器320可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。存储器320具有存储用于执行上述方法中的任何方法步骤的计算机可读程序代码331的存储空间330。例如，用于存储计算机可读程序代码的存储空间330可以包括分别用于实现上面的方法中的各种步骤的各个计算机可读程序代码331。计算机可读程序代码331可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘，紧致盘(CD)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为例如图4所述的计算机可读存储介质。图4示出了根据本申请一个实施例的一种计算机可读存储介质的结构示意图。该计算机可读存储介质400存储有用于执行根据本申请的方法步骤的计算机可读程序代码331，可以被电子设备300的处理器310读取，当计算机可读程序代码331由电子设备300运行时，导致该电子设备300执行上面所描述的方法中的各个步骤，具体来说，该计算机可读存储介质存储的计算机可读程序代码331可以执行上述任一实施例中示出的方法。计算机可读程序代码331可以以适当形式进行压缩。

应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (10)

1.一种推广内容的评价方法，其特征在于，包括：

根据推广数据生成样本数据；所述样本数据包括多个标签，且至少包括与唤起行为对应的唤起标签；

将所述样本数据输入到基于深度学习网络的多目标模型中进行训练，得到推广内容的评价模型；所述多目标模型包括与各标签分别对应的子网络；

根据所述推广内容的评价模型对待评价的推广内容进行评价。

2.如权利要求1所述的方法，其特征在于，所述将所述样本数据输入到基于深度学习网络的多目标模型中进行训练，得到推广内容的评价模型包括：

基于梯度下降的方法，降低所述多目标模型使用的损失函数的值，对各子网络的参数同时进行更新。

3.如权利要求1所述的方法，其特征在于，所述推广数据包括推广内容的展现数据；

所述多个标签还包括：与点击行为对应的点击标签，与转化行为对应的转化标签；

所述根据所述推广内容的评价模型对待评价的推广内容进行评价包括：预估所述待评价的推广内容的点击率、唤起率和转化率。

4.如权利要求3所述的方法，其特征在于，所述多目标模型使用的损失函数包括若干个交叉熵损失函数，各交叉熵损失函数分别用于计算一项差异性信息，所述差异性信息包括如下的一种或多种：

点击标签与相应子网络预估值的差异；

点击标签、唤起标签与相应子网络预估值的差异；

点击标签、唤起标签、转化标签与相应子网络预估值的差异。

5.如权利要求1所述的方法，其特征在于，所述根据推广数据生成样本数据包括：

根据所述推广数据抽取如下的一维或多维原始特征，得到相应的特征序列：设备特征，用户特征，推广内容特征，上下文特征。

6.如权利要求5所述的方法，其特征在于，所述根据推广数据生成样本数据还包括：

对所述原始特征进行如下的一种或多种处理，得到相应的特征序列：特征embedding处理，one-hot编码处理，multi-hot编码处理，特征归一化，特征分桶，特征交叉。

7.如权利要求1所述的方法，其特征在于，所述深度学习网络包括如下的一种或多种：

深度神经网络，卷积神经网络，长短期记忆网络，变换网络。

8.一种推广内容的评价装置，其特征在于，包括：

样本数据单元，用于根据推广数据生成样本数据；所述样本数据包括多个标签，且至少包括与唤起行为对应的唤起标签；

训练单元，用于将所述样本数据输入到基于深度学习网络的多目标模型中进行训练，得到推广内容的评价模型；所述多目标模型包括与各标签分别对应的子网络；

评价单元，用于根据所述推广内容的评价模型对待评价的推广内容进行评价。

9.一种电子设备，其中，该电子设备包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如权利要求1-7中任一项所述的方法。

10.一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现如权利要求1-7中任一项所述的方法。