CN113723982A

CN113723982A - 广告对用户体验影响评估方法、装置、服务器及存储介质

Info

Publication number: CN113723982A
Application number: CN202010457689.6A
Authority: CN
Inventors: 吴艺峰
Original assignee: Beijing Dajia Internet Information Technology Co Ltd
Current assignee: Beijing Dajia Internet Information Technology Co Ltd
Priority date: 2020-05-26
Filing date: 2020-05-26
Publication date: 2021-11-30
Anticipated expiration: 2040-05-26
Also published as: CN113723982B

Abstract

本公开关于广告对用户体验影响评估方法、装置、服务器及存储介质。该方法包括：针对多个账户中的每个账户，获取所述账户针对已观看过的广告进行负面评价的负面评价率；根据所述多个账户中每个账户分别所对应的负面评价率的大小，生成多个账户组，其中，所述的多个账户组中包括第一账户组以及第二账户组；根据所述第一账户组中的账户在观看目标广告前后的APP使用行为数据，以及所述第二账户组中的账户在观看所述目标广告前后的APP使用行为数据，评估所述目标广告对用户体验的影响。这样基于对账户进行分组以及APP使用行为数据，能够评估目标广告对用户体验造成的影响，从而解决现有技术中的问题。

Description

广告对用户体验影响评估方法、装置、服务器及存储介质

技术领域

本公开涉及互联网技术领域，尤其涉及广告对用户体验影响评估方法、装置、服务器及存储介质。

背景技术

随着互联网技术的高速发展，在各类APP(application，应用软件)上进行广告投放逐渐成为了主流的广告投放方式。与传统的广告投放方式相比，在APP上投放广告性价比通常较高并且具有强烈的互动性，因此，也越来越受到各公司及商户的青睐。然而对于APP的使用者而言，在APP上所投放的广告通常会对其用户体验造成影响，其中，用户体验(UserExperience，)通常是用户在使用APP过程中，对于APP使用的便捷性、趣味性等的主观感受。因此，需要提一种评估方法，来针对APP上所投放的广告对于用户体验的影响进行评估。

发明内容

本公开提供广告对用户体验影响评估方法、装置、服务器及存储介质，能够用于评估广告对用户体验的影响。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种广告对用户体验影响的评估方法，包括：

针对多个账户中的每个账户，获取所述账户针对已观看过的广告进行负面评价的负面评价率；

根据所述多个账户中每个账户分别所对应的负面评价率的大小，生成多个账户组，其中，所述的多个账户组中包括第一账户组以及第二账户组，并且所述第一账户组中的账户所对应的负面评价率大于所述第二账户组中的账户所对应的负面评价率；

根据所述第一账户组中的账户在观看目标广告前后的APP使用行为数据，以及所述第二账户组中的账户在观看所述目标广告前后的APP使用行为数据，评估所述目标广告对用户体验的影响。

根据本公开实施例的第二方面，提供一种广告对用户体验影响的评估装置，包括：

获取单元，被配置为执行针对多个账户中的每个账户，获取所述账户针对已观看过的广告进行负面评价的负面评价率；

生成单元，被配置为执行根据所述多个账户中每个账户分别所对应的负面评价率的大小，生成多个账户组，其中，所述的多个账户组中包括第一账户组以及第二账户组，并且所述第一账户组中的账户所对应的负面评价率大于所述第二账户组中的账户所对应的负面评价率；

评估单元，被配置为执行根据所述第一账户组中的账户在观看目标广告前后的APP使用行为数据，以及所述第二账户组中的账户在观看所述目标广告前后的APP使用行为数据，评估所述目标广告对用户体验的影响。

根据本公开实施例的第三方面，提供一种服务器，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现本公开实施例所提供的广告对用户体验影响的评估方法。

根据本公开实施例的第四方面，提供一种存储介质，当所述存储介质中的指令由服务器的处理器执行时，使得所述服务器能够执行本公开实施例所提供的广告对用户体验影响的评估方法。

本公开的实施例提供的技术方案至少带来以下有益效果：

采用该广告对用户体验影响的评估方法，获取多个账户中每个账户对已观看过的广告进行负面评价的负面评价率，然后基于这些负面评价率的大小，将该多个账户生成多个账户组，并且这些账户组中包括第一账户组以及第二账户组，然后根据第一账户组中的账户在观看目标广告前后的APP使用行为数据，以及第二账户组中的账户在观看目标广告前后的APP使用行为数据，评估目标广告对用户体验的影响。这样基于对账户进行分组以及第一账户组和第二账户组中账户的APP使用行为数据，能够评估目标广告对用户体验所造成的影响，从而解决现有技术中的问题。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是根据一示例性实施例示出的，广告对用户体验影响的评估方法的具体流程示意图。

图2是根据一示例性实施例示出的，广告对用户体验影响的评估装置的具体结构示意图。

图3是根据一示例性实施例示出的服务器的具体结构示意图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等描述是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。

对于APP的使用者而言，在APP上所投放的广告通常会对其用户体验造成影响，其中，用户体验(User Experience，)通常是用户在使用APP过程中，对于APP使用的便捷性、趣味性等的一种主观感受，从而当用户体验降低时，往往会导致用户使用APP的时长、频率甚至继续使用的意愿降低。

基于此，本公开实施例提供了一种广告对用户体验影响的评估方法，能够用于评估广告对于APP上用户体验所造成的影响。如图1所示为该方法的流程示意图，在该图1所示的评估方法中，执行主体通常可以为手机、电脑、服务器等，下面仅以服务器为示例对该评估方法进行说明。该评估方法的具体步骤如下所示：

步骤S11：针对多个账户中的每个账户，获取所述账户针对已观看过的广告进行负面评价的负面评价率。

在实际应用中，APP上通常会包括评价功能，用于对某个视频、音频、广告等内容进行评价。该评价的形式可以是星级评价方式，比如5星、3星、1星等，也可以是文字或图片等评价方式，比如发表一段文字对于所观看的视频进行夸奖、批判等；也可以是“踩”、“赞”或类似的评价方式。在各种各样的评价方式中，通常会包括正面评价、负面评价、中性评价等，比如在星级评价方式中，5星通常为正面评价，1星、2星为负面评价；在“踩”、“赞”或类似的评价方式中，“赞”通常是正面评价，而“踩”通常是负面评价；文字或图片等评价方式的评价方式中，可以对文字或图片的内容进行分析，比如某一段对内容进行夸奖的文字通常可以认为时正面评价，而一段批判的文字可以认为时负面评价。

另外，在一些视频类APP中，通常可以通过长按广告页面，并通过所弹出的评价窗口，直接对该广告进行正面、负面或中性的评价。

对于用户而言，其在使用APP过程中，通常会对APP上的广告进行正面、中性或负面的评价，因此这些正面或负面的评价能够反映出广告对用户体验的影响。可以获取用户在账户上的评价行为，并计算出负面评价次数与总评价次数之间的比值(称之为负面评价率)，来计算该账户对已观看过的广告进行负面评价的负面评价率。比如，某个账户对于APP上的广告进行了30次评价，其中负面评价12次、正面评价10次、中性评价8次，则可以通过负面评价次数(12次)与总评价次数(30次)之间的比值，计算出该账户对已观看过的广告进行负面评价的负面评价率为40％。

为了更加客观的反应出APP上的广告对用户体验的影响，通常可以从APP的全部账户中随机抽取部分账户作为检测样件，从而获取多个账户。比如某个APP有100万个账户，可以随机抽取一定比例(比如1％)或一定数量(比如1000个)的账户作为检测样件，从而获取多个账户。在获取多个账户之后，可以获取其中每个账户针对已观看过的广告进行负面评价的负面评价率。

对于获取每个账户针对已观看过的广告进行负面评价的负面评价率的具体方式，可以为实时计算的方式，比如实时获取这些账户负面评价次数与总评价次数，然后计算其比值，从而获取到每个账户所对应的负面评价率；另一种方式为，预先计算出每个账户相应的负面评价率并进行存储，当需要时，从所存储的数据库中获取相应的负面评价率。在实际应用中，由于账户在使用APP时，可能会实时的进行广告的评价，从而对负面评价率实时的造成影响，因此实时计算的方式所获取的负面评价率更能够反应真实情况；而预先计算负面评价率并存储的方式，由于计算过程预先进行，在需要时只是从数据库中获取，因此通常效率较高，可以结合实际需要来选择其中任意一种获取方式。

步骤S12：根据该多个账户中每个账户分别所对应的负面评价率的大小，生成多个账户组，其中，该多个账户组中包括第一账户组以及第二账户组，并且第一账户组中的账户所对应的负面评价率大于第二账户组中的账户所对应的负面评价率。

在获取到多个账户中的每个账户分别所对应的负面评价率之后，可以根据这些负面评价率的大小，将这些账户划分为多个账户组，比如划分2个账户组、3个账户组等。这些账户组中至少有两个账户组的负面评价率不同，可以将其中负面评价率较低的组作为第二账户组(Control组，C)，同时将其中负面评价率较高的组作为第一账户组(Treatment组，T)。

比如，一种方式可以为，先将这些账户按照负面评价率从大到小或从小到大的顺序进行排列，然后获取各负面评价率的中位数，从而通过中位数将这些账户分为2组，其中一组中的账户的负面评价率大于该中位数，可以将该组作为T组，另一组中的账户的负面评价率小于该中位数，可以将该组作为C组。

在实际应用中，可以采用类似的方式将多个账户划分为其他数量的组。比如，在将账户按照负面评价率大小顺序进行排列之后，可以以25％位数、中位数和75％位数为分界点，从而生成4各组，然后将其中任意的两个组相应作为T组和C组。

通过先将账户按照负面评价率大小的顺序进行排列，然后根据负面评价率的中位数或其他位数来划分得到多个组的方式，由于流程较为简单，主要涉及到排序过程，因此实现的成本较低。但是，由于T组与C组的用户特征分布通常不均匀，因此可以先按用户特征对齐(该用户特征可以是账户注册天数、性别、年龄、广告曝光次数等)，将不能对齐的账户删除出组，具体的过程可以如下所示：

首先，将T组记为T＝1；C组记为T＝0。将需要对齐的特征记为X1，X2，X3，…，Xn。

然后，采用目标二元分类模型进行拟合。其中，该目标二元分类模型可以是逻辑回归模型、Boosting模型、随机森林模型等。如下所示为该目标二元分类模型的示例。

Pr(T＝1)＝f(X1，X2，X3，…，Xn)，其中Pr(T＝1)表示账户为高负面评价率(即，大于某个预设的负面评价率)的概率。

这样，可以将负面评价率大于该中位数的各个账户的用户特征分别输入至目标二元分类模型，从而计算出各个账户的Pr(T＝1)值，即得到各个账户分别为高负面评价率的概率。然后将该概率大于预设值(比如为50％、65％或其他值)的账户，划分至T组。

同样，也可以采用第二目标二元分类模型进行拟合，并且该第二目标二元分类模型也可以是逻辑回归模型、Boosting模型、随机森林模型等。如下所示为该目标二元分类模型的示例。

Pr(T＝0)＝F(X1，X2，X3，…，Xn)，其中Pr(T＝0)表示账户为低负面评价率(即，小于某个预设的负面评价率)的概率。

这样，也可以将负面评价率小于该中位数的各个账户的用户特征分别输入至第二目标二元分类模型，从而计算出各个账户的Pr(T＝0)值，即得到各个账户分别为低负面评价率的概率。然后将该概率小于预设值(比如为50％、30％或其他值)的账户，划分至C组。

通过这种方式，可以将不能对齐的账户删除出T组和C组，利用对齐后的数据，最终得到无偏估算。

步骤S13：根据T组中的账户在观看目标广告前后的APP使用行为数据，以及C组中的账户在观看目标广告前后的APP使用行为数据，评估目标广告对用户体验的影响。

其中，该目标广告可以是需要评估的任意一个或指定的某一个广告，这里对此并不限定。

T组中的账户的APP使用行为数据，通常记录出该组中的账户使用该APP的时长、频率、最近一次使用时间点等，因此能够通过其反映出T组的用户体验。比如，该APP使用行为数据可以是APP使用时长、留存率等，当该APP使用时长、留存率等降低时，往往能够反映用户体验降低。同理，C组中的账户的APP使用行为数据，通常记录出该组中的账户使用该APP的时长、频率、最近一次使用时间点等，因此能够通过其反映出C组用户体验。

在根据T组中的账户在观看目标广告前后的APP使用行为数据，以及C组中的账户在观看所述目标广告前后的APP使用行为数据，来评估目标广告对用户体验的影响时，可以先根据可以根据T组中的账户观看目标广告后的APP使用行为数据，以及观看目标广告前的APP使用行为数据，获取T组中的账户观看目标广告所造成的APP使用行为数据的第一衰减值，比如将T组的账户观看目标广告后的APP使用时长，减去观看目标广告前的APP使用时长，从而得到该第一衰减值。

然后，根据C组中的账户观看目标广告后的APP使用行为数据，以及观看目标广告前的APP使用行为数据，获取C组中的账户观看目标广告所造成的APP使用行为数据的第二衰减值，比如将账户观看目标广告后的APP使用行为数据，减去观看目标广告前的APP使用行为数据，从而得到该第二衰减值。

然后，获取T组中各个账户的负反馈率，并基于此计算出其平均值，作为T组中账户平均负反馈率；同理，也可以获取C组中账户的平均负反馈率；然后，计算T组中账户平均负反馈率和C组中账户的平均负反馈率两者之间的差值。

然后根据第一衰减值、第二衰减值以及该差值，来计算目标广告对用户体验的影响指数，其中，通过该方式所计算出的影响指数，能够用于表征单位平均负反馈率所造成的APP使用行为数据损失。

比如，采用负面评价率的中位数划分得到T组和C组，并将T组中的账户观看目标广告后的APP使用行为数据记为Y(after，T)，将T组中的账户观看目标广告前的APP使用行为数据记为Y(before，T)；将C组中的账户观看目标广告后的APP使用行为数据记为Y(after，C)，将C组中的账户观看目标广告前的APP使用行为数据记为Y(before，C)；T组中账户的平均负反馈率记为ntr(T)；C组中账户的平均负反馈率记为ntr(C)。

这样，该第一衰减值可以为Y(after，T)-Y(before，T)；第二衰减值为Y(after，C)-Y(before，C)；T组中账户的平均负反馈率与C组中账户的平均负反馈率之间的差值为ntr(T)-ntr(C)。

因此，可以采用下述的公式一来计算出，目标广告对用户体验的影响指数：

([Y(after，T)-Y(before，T)]-[Y(after，C)-Y(before，C)])/(ntr(T)-ntr(C))公式一。

该公式一的计算结果即为目标广告对用户体验的影响指数，可以通过其表征单位平均负反馈率所造成的APP使用行为数据损失。因此，在通过公式一的计算出目标广告对用户体验的影响指数之后，可以根据该影响指数的大小，确定目标广告的投放优先级次序，比如当该影响指数较大时，反映出该目标广告的单位平均负反馈率所造成的APP使用行为数据损失较大，可以降低该目标广告的投放优先级次序(比如，降低其投放比例、投放时长甚至下架)，或者当该影响指数较小时，反映出该目标广告的单位平均负反馈率所造成的APP使用行为数据损失较小，可以提高该目标广告的投放优先级次序(比如增加其投放比例、投放时长等)。

在实际应用中，还可以分别将多个广告作为该目标广告，从而计算出各自所对应的影像指数，并基于各自影像指数的大小，从而对这些广告进行筛选、投放优先级次序的排序等处理。

采用该广告对用户体验影响的评估方法，获取多个账户中每个账户对已观看过的广告进行负面评价的负面评价率，然后基于这些负面评价率的大小，将该多个账户生成多个账户组，并且这些账户组中包括第一账户组以及第二账户组，然后根据第一账户组中的账户在观看目标广告前后的APP使用行为数据，以及第二账户组中的账户在观看目标广告前后的APP使用行为数据，评估目标广告对用户体验的影响。这样基于对账户进行分组以及APP使用行为数据，能够评估目标广告对用户体验造成的影响，从而解决现有技术中的问题。

在实际应用中，由于广告对用户体验的影响通常反映在两个维度，一个是短期影响，另一个是长期影响。因此，对于该APP使用行为数据也可以从时间上划分为短期APP使用行为数据和长期APP使用行为数据。比如，短期APP使用行为数据为1天、3天或1周内的APP使用行为数据；长期APP使用行为数据在时间周期上大于短期APP使用行为数据，比如可以是为14天、20天或30天内的APP使用行为数据。比如，短期APP使用行为数据为3天内的APP使用时长，长期APP使用行为数据为30天内的APP使用时长。

因此，根据第一账户组中的账户在观看目标广告前后的APP使用行为数据，以及第二账户组中的账户在观看目标广告前后的APP使用行为数据，评估目标广告对用户体验的影响时，可以先根据第一账户组中的账户在观看目标广告前后的短期APP使用行为数据，以及第二账户组中的账户在观看所述目标广告前后的短期APP使用行为数据，获取目标广告对用户体验的短期影响指数，其中该短期影响指数用于表征，在短期内(如1天、3天等)的单位平均负反馈率所造成的APP使用行为数据损失。

然后，根据第一账户组中的账户在观看目标广告前后的长期APP使用行为数据，以及第二账户组中的账户在观看目标广告前后的长期APP使用行为数据，获取目标广告对用户体验的长期影响指数，其中该长期影响指数用于表征，在长期内(如14天、30天)的单位平均负反馈率所造成的APP使用行为数据损失。

在计算出短期影响指数和长期影响指数之后，可以将两者进行加权求和，从而得到加权平均值，并将该加权平均值作为所获取的目标广告对用户体验的综合影响指数，该综合影响指数综合反应短期以及长期内，单位平均负反馈率所造成的APP使用行为数据损失。因此可以通过该综合影响指数的大小来评估广告对用户体验的影响。比如，当该综合影响指数较大时，说明单位平均负反馈率所造成的APP使用行为数据的损失较大，对用户体验的影响较大。

另外，对于短期影响指数和长期影响指数各自的权重，可以结合实际需要来进行设定。

在实际应用中，通过本公开实施例所提供的评估方法，在对目标广告进行评估之后，还可以基于该评估结果对进行广告筛选、优先级排序等。

比如，针对广告1和广告2，分别作为目标广告并采用上述的步骤S11～步骤S13，评估对用户体验的影响，比如可以采用上述的公式一来计算广告A的影响指数和广告B的影响指数，然后可以优先播放影响指数较小的广告，或删除影响指数较大的广告。

又比如，针对广告1和广告2，可以以3天的APP使用时长作为短期APP使用行为数据，30天的留存率作为长期APP使用行为数据，通过公式一所计算出的广告1的短期影响指数为A1，长期影响指数为B1；通过公式一所计算出的广告2的短期影响指数为A2，长期影响指数为B2；短期影响指数的权重为WA，长期影响指数的权重为WB。这样可以通过比较计算出广告1的综合影响指数：WA*A1+WB*B1，以及广告2的综合影响指数：WA*A2+WB*B2，并通过比较WA*A1+WB*B1与WA*A2+WB*B2的大小来进行广告筛选、优先级排序等。

本公开实施例还可以采用双重差分方法，来确定目标广告的转化行为导致账户流失的概率，并基于概率来评估目标广告对用户体验的影响，比如当该概率较大时，说明账户有更大的可能性会流失，反映出用户体验降低。当然，也可以将该概率与上述公式一所计算出影响指数或综合影响指数相结合，从而评估目标广告对用户体验的影响。

其中，采用双重差分方法，来确定目标广告的转化行为导致账户流失的概率时，其具体方式可以如下所示：

对于所给定的目标广告(记为X)，为了做出无选择性偏差的对比，可以E组和F组定义为：

E组：有看过X，但没有转化行为的账户

F组：有看过X，而且有转化行为的账户，其中该转化行为通常可以是指通过X进行的产品二级跳转行为。

这样可以通过双重差分方法，求出X的转化行为导致账户流失的概率：

以Y代表账户使用时长；0/1变量T作为分组变量，其取值0和1分别代表不收X影响和受X影响；另一个0/1变量Z作为政策实施虚拟变量，其取值0和1分别代表看过X前/后一段预设时长；X代表对齐的特征变量(比如注册天数，性别年龄，活跃度等)，这样得到线性回归方程：

Y＝β₀+β’X+β₁T+β₂Z+β₃(T×Z)+ε

该双重差分方法的重点是加入(T×Z)项，即分组变量与政策实施虚拟变量的交互项。加入分组变量T，可以得出E组/F组，在前一段预设时长差别的估算；加入政策实施虚拟变量Z，可以得出前后时间段的“自然变化”；所以，交互项的系数β3，可以理解为在时长与E组/F组的“自然差别”下，F组所带来的作用。这样所计算出的系数β3能够反映出的双重差分系数，也就是X的转化行为所导致的APP使用时长的损失。在使用双重差分方法时，还需要注意检验数据是否满足平行性假设。

同样的，在预估长期影响时，还可以将上述代表账户使用时长的Y替换为留存率，但由于也Y是0/1的变量，此时可以将模型换成逻辑回归：

P(Y＝1)＝Logit(β0+β’X+β1T+β2Z+β3(T×Z))

此时，所计算出的系数β3能够反映X的转化行为所导致的账户流失的概率。

基于与本公开实施例图1中所提供的广告对用户体验影响的评估方法相同的发明构思，本公开还提供了一种广告对用户体验影响的评估装置。该装置20包括获取单元201、生成单元202和评估单元203，其中：

获取单元201，被配置为执行针对多个账户中的每个账户，获取所述账户针对已观看过的广告进行负面评价的负面评价率；

生成单元202，被配置为执行根据所述多个账户中每个账户分别所对应的负面评价率的大小，生成多个账户组，其中，所述的多个账户组中包括第一账户组以及第二账户组，并且所述第一账户组中的账户所对应的负面评价率大于所述第二账户组中的账户所对应的负面评价率；

评估单元203，被配置为执行根据所述第一账户组中的账户在观看目标广告前后的APP使用行为数据，以及所述第二账户组中的账户在观看所述目标广告前后的APP使用行为数据，评估所述目标广告对用户体验的影响。

由于该装置20也采用与本公开实施例所提供的广告对用户体验影响的评估方法相同的发明构思，因此也能够解决现有技术中的问题。另外，对于该装置20，如有不清楚之处，可以参考方法实施例中的相应类容，这里不再赘述。

另外，本公开实施例还可以提供一种服务器。图3是根据一示例性实施例示出的服务器30的框图。该服务器30包括处理器301，以及用于存储处理器301可执行指令的存储器302。其中，处理器301被配置为执行所述指令，以实现本公开实施例的广告对用户体验影响的评估方法。

在实际应用中，该服务器30还可以包括网络接口303、I/O控制器304、大容量存储设备305，以及用于连接它们的总线306。

在示例性实施例中，本公开还提供了一种包括指令的存储介质，例如包括指令的存储器302，上述指令可由服务器30的处理器301执行以完成上述方法。其中，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本公开实施例还可以提供一种计算机程序产品，当其在计算机上运行时，使得所述计算机执行本公开实施例所提供的群组成员的推荐方法。

所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本公开实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字账户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims

1.一种广告对用户体验影响的评估方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述APP使用行为数据具体包括：短期APP使用行为数据和长期APP使用行为数据；则，

根据所述第一账户组中的账户在观看目标广告前后的APP使用行为数据，以及所述第二账户组中的账户在观看所述目标广告前后的APP使用行为数据，评估所述目标广告对用户体验的影响，具体包括：

根据所述第一账户组中的账户在观看目标广告前后的短期APP使用行为数据，以及所述第二账户组中的账户在观看所述目标广告前后的短期APP使用行为数据，获取所述目标广告对用户体验的短期影响指数，其中，所述短期影响指数用于表征在短期内的单位平均负反馈率所造成的APP使用行为数据损失；

根据所述第一账户组中的账户在观看目标广告前后的长期APP使用行为数据，以及所述第二账户组中的账户在观看所述目标广告前后的长期APP使用行为数据，获取所述目标广告对用户体验的长期影响指数，其中，其中，所述长期影响指数用于表征在长期内的单位平均负反馈率所造成的APP使用行为数据损失；

根据所述短期影响指数和所述长期影响指数的加权平均值的大小，评估所述目标广告对用户体验的影响。

3.根据权利要求1所述的方法，其特征在于，根据所述第一账户组中的账户在观看目标广告前后的APP使用行为数据，以及所述第二账户组中的账户在观看所述目标广告前后的APP使用行为数据，评估所述目标广告对用户体验的影响，具体包括：

根据所述第一账户组中的账户观看目标广告后的APP使用行为数据，以及观看所述目标广告前的APP使用行为数据，获取所述第一账户组中的账户观看目标广告所造成的APP使用行为数据的第一衰减值；

根据所述第二账户组中的账户观看目标广告后的APP使用行为数据，以及观看所述目标广告前的APP使用行为数据，获取所述第二账户组中的账户观看目标广告所造成的APP使用行为数据的第二衰减值；

获取所述第一账户组中账户的平均负反馈率，与所述第二账户组中账户的平均负反馈率的差值；

根据所述第一衰减值、所述第二衰减值以及所述差值，确定所述目标广告对用户体验的影响指数，其中，所述影响指数用于表征单位平均负反馈率所造成的APP使用行为数据损失。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：根据所述影响指数的大小，确定所述目标广告的投放优先级次序。

5.根据权利要求3所述的方法，其特征在于，所述方法还包括：采用双重差分方法，确定所述目标广告的转化行为所导致的APP使用时长的损失或账户流失的概率，并基于所述影响指数以及所述APP使用时长的损失或账户流失的概率，评估所述目标广告对用户体验的影响。

6.根据权利要求1所述的方法，其特征在于，根据所述多个账户中每个账户分别所对应的负面评价率的大小，生成多个账户组，具体包括：

获取各所述负面评价率的中位数；

根据所述多个账户中负面评价率大于所述中位数的账户生成第一账户组，并根据所述多个账户中负面评价率小于所述中位数的账户生成第二账户组。

7.根据权利要求6所述的方法，其特征在于，根据所述多个账户中负面评价率大于所述中位数的账户生成第一账户组，并根据所述多个账户中负面评价率小于所述中位数的账户生成第二账户组，具体包括：

将负面评价率大于所述中位数的各个账户的用户特征分别输入至目标二元分类模型，并根据所述目标二元分类模型的输出结果生成第一账户组，其中，所述目标二元分类模型的输出结果反应相应账户为高负面评价率的概率，所述高负面评价率具体为大于预设负面评价率；以及，

将负面评价率小于所述中位数的各个账户的用户特征分别输入至第二目标二元分类模型，并根据所述第二目标二元分类模型的输出结果生成第二账户组，其中，所述第二目标二元分类模型的输出结果反应相应账户为低负面评价率的概率，所述低负面评价率具体为小于所述预设负面评价率。

8.一种广告对用户体验影响的评估装置，其特征在于，包括：

9.一种服务器，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如权利要求1至7中任一项所述的广告对用户体验影响的评估方法。

10.一种存储介质，当所述存储介质中的指令由服务器的处理器执行时，使得所述服务器能够执行如权利要求1至7中任一项所述的广告对用户体验影响的评估方法。