CN111768251A - 一种基于流量信息评估的广告投放方法、装置及电子设备 - Google Patents

一种基于流量信息评估的广告投放方法、装置及电子设备 Download PDF

Info

Publication number
CN111768251A
CN111768251A CN202010913318.4A CN202010913318A CN111768251A CN 111768251 A CN111768251 A CN 111768251A CN 202010913318 A CN202010913318 A CN 202010913318A CN 111768251 A CN111768251 A CN 111768251A
Authority
CN
China
Prior art keywords
advertisement
detected
target
user side
evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010913318.4A
Other languages
English (en)
Inventor
陈晓宇
童有军
李旸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Youyi Internet Technology Development Co ltd
Original Assignee
Beijing Youyi Internet Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Youyi Internet Technology Development Co ltd filed Critical Beijing Youyi Internet Technology Development Co ltd
Priority to CN202010913318.4A priority Critical patent/CN111768251A/zh
Publication of CN111768251A publication Critical patent/CN111768251A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0242—Determining effectiveness of advertisements

Landscapes

  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明实施例提供了一种基于流量信息评估的广告投放方法、装置及电子设备，方法包括：在获取目标用户端发送的广告投放请求时，确定目标广告商；基于预设的投放定向规则确定待投放广告位；基于预先确定评估等级确定待投放广告位的待投放广告，其中，评估等级为预先基于广告位评估模型确定的，广告位评估模型为基于预先获取的多个流量信息样本对初始广告位评估模型进行训练得到的，每个所述流量信息样本包括第一预设时间段内目标广告在目标广告位的投放效果信息样本、目标广告的属性特征样本及目标广告位的属性特征样本；在待投放广告位投放对应的待投放广告。采用本发明实施例，可以提高广告投放的效果。

Description

一种基于流量信息评估的广告投放方法、装置及电子设备
技术领域
本发明涉及广告投放技术领域，特别是涉及一种基于流量信息评估的广告投放方法、装置及电子设备。
背景技术
互联网广告是指在网站、网络应用程序等网络媒体中的广告位播放的广告。随着互联网的迅速发展，互联网广告已经成为一种重要的广告形式。
目前，互联网广告的投放是基于以下方式实现的：当用户端打开具有广告位的网页或应用程序页面时，广告投放端将会对该用户端进行竞价拍卖，不同的广告商可以进行出价，然后将出价最高的广告商确定为目标广告商，然后从目标广告商的广告中随机选择一个广告，作为待投放广告，进而在该广告位中投放该待投放广告。
采用上述互联网广告投放方式进行广告投放时，随机投放目标广告商的一个广告，广告的点击率、转化率等投放效果较差。
发明内容
本发明实施例的目的在于提供一种基于流量信息评估的广告投放方法，以提高广告投放的效果。具体技术方案如下：
第一方面，本发明实施例提供了一种基于流量信息评估的广告投放方法，所述方法包括：
在获取目标用户端发送的针对广告位的广告投放请求时，确定所述目标用户端对应的目标广告商；
基于预设的投放定向规则，从所述广告位中确定待投放广告位；
基于预先确定的所述目标广告商的每个广告分别在所述待投放广告位的投放效果的评估等级，从所述广告中确定所述待投放广告位的待投放广告，其中，所述评估等级为预先基于广告位评估模型确定的，所述广告位评估模型为基于预先获取的多个流量信息样本对初始广告位评估模型进行训练得到的，每个所述流量信息样本包括第一预设时间段内目标广告在目标广告位的投放效果信息样本、所述目标广告的属性特征样本及所述目标广告位的属性特征样本；
在所述待投放广告位投放对应的待投放广告。
可选的，所述评估等级的确定方式，包括：
获取第二预设时间段内待评价广告在待评价广告位的投放效果信息、所述待评价广告的属性特征及所述待评价广告位的属性特征；
将所述投放效果信息、所述待评价广告的属性特征及所述待评价广告位的属性特征输入广告位评估模型，确定所述待评价广告在所述待评价广告位的投放效果的评估等级。
可选的，所述广告位评估模型的训练方式，包括：
获取初始广告位评估模型及多个流量信息样本，其中，每个所述流量信息样本包括第一预设时间段内目标广告在目标广告位的投放效果信息样本、所述目标广告的属性特征样本及所述目标广告位的属性特征样本；
针对每个所述流量信息样本，基于该流量信息样本中的投放效果信息样本、目标广告的属性特征样本及目标广告位的属性特征样本，标记目标广告在目标广告位的投放效果的评估等级，作为标注等级；
针对每个所述流量信息样本，将该流量信息样本输入所述初始广告位评估模型，确定目标广告在目标广告位的评估等级，作为预测等级；
基于所述预测等级及对应的标注等级之间的残差，确定所述初始广告位评估模型的参数，直到所述初始广告位评估模型收敛，停止训练，得到所述广告位评估模型。
可选的，所述投放效果信息包括无效信息，所述投放效果信息样本包括无效信息样本，所述无效信息为虚假用户端对应的投放效果信息。
可选的，所述无效信息的获取方式，包括：
针对每个待检测广告，获取第三预设时间段内显示该待检测广告的待检测用户端对该待检测广告的操作数据；
针对每个所述待检测用户端，基于该待检测用户端的操作数据，按照预设的无效流量确定规则，确定该待检测用户端是否为虚假用户端；
基于所述虚假用户端的操作数据及所述待检测用户端的操作数据确定所述无效信息。
可选的，所述针对每个待检测广告，获取第三预设时间段内显示该待检测广告的待检测用户端对该待检测广告的操作数据的步骤，包括：
针对每个待检测广告，获取第三预设时间段内显示该待检测广告的待检测用户端的网络日志；
针对每个所述待检测用户端的网络日志，对该待检测用户端的网络日志进行解析，得到该待检测用户端的操作数据。
可选的，在所述确定所述目标用户端对应的目标广告商的步骤之前，所述方法还包括：
确定所述目标用户端是否为虚假用户端；
当所述目标用户端不为虚假用户端时，执行所述确定所述目标用户端对应的目标广告商的步骤。
第二方面，本发明实施例提供了一种基于流量信息评估的广告投放装置，所述装置包括：
广告商确定模块，用于在获取目标用户端发送的针对广告位的广告投放请求时，确定所述目标用户端对应的目标广告商；
待投放广告位确定模块，用于基于预设的投放定向规则，从所述广告位中确定待投放广告位；
待投放广告确定模块，用于基于预先确定的所述目标广告商的每个广告分别在所述待投放广告位的投放效果的评估等级，从所述广告中确定所述待投放广告位的待投放广告，其中，所述评估等级为等级评估模块预先基于广告位评估模型确定的，所述广告位评估模型为模型训练模块基于预先获取的多个流量信息样本对初始广告位评估模型进行训练得到的，每个所述流量信息样本包括第一预设时间段内目标广告在目标广告位的投放效果信息样本、所述目标广告的属性特征样本及所述目标广告位的属性特征样本；
广告投放模块，用于在所述待投放广告位投放对应的待投放广告。
可选的，所述等级评估模块包括：
信息获取子模块，用于获取第二预设时间段内待评价广告在待评价广告位的投放效果信息、所述待评价广告的属性特征及所述待评价广告位的属性特征；
等级评估子模块，用于将所述投放效果信息、所述待评价广告的属性特征及所述待评价广告位的属性特征输入广告位评估模型，确定所述待评价广告在所述待评价广告位的投放效果的评估等级。
第三方面，本发明实施例提供了一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一所述的基于流量信息评估的广告投放方法步骤。
本发明实施例提供的方案中，电子设备可以在获取目标用户端发送的针对广告位的广告投放请求时，确定目标用户端对应的目标广告商；基于预设的投放定向规则，从广告位中确定待投放广告位；基于预先确定的目标广告商的每个广告分别在待投放广告位的投放效果的评估等级，从广告中确定待投放广告位的待投放广告，其中，评估等级为预先基于广告位评估模型确定的，广告位评估模型为基于预先获取的多个流量信息样本对初始广告位评估模型进行训练得到的，每个流量信息样本包括第一预设时间段内目标广告在目标广告位的投放效果信息样本、所述目标广告的属性特征样本及所述目标广告位的属性特征样本；在待投放广告位投放对应的待投放广告。电子设备可以预先通过广告位评估模型确定每个广告分别在待投放广告位的投放效果的评估等级，评估等级可以表征在对应的广告位中投放的广告的投放效果，这样可以确保待投放广告投放在待投放广告位中的投放效果更好，从而可以提高广告的投放效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
图1为本发明实施例所提供的一种基于流量信息评估的广告投放方法的流程图；
图2（a）为本发明实施例中的统计数据选择页面的示意图；
图2（b）为本发明实施例中的统计报表界面的示意图；
图3为图1所示实施例中的广告位评估模型的训练方式的流程图；
图4为本发明实施例中的无效信息的获取方式的路程图；
图5为本发明实施例所提供的一种基于流量信息评估的广告投放装置的结构示意图；
图6为本发明实施例中的模型训练模块的结构示意图；
图7为本发明实施例所提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了提高广告投放的效果，本发明实施例提供了一种基于流量信息评估的广告投放方法、装置、电子设备、存储介质及计算机程序产品。下面首先对本发明实施例所提供的一种基于流量信息评估的广告投放方法进行介绍。
本发明实施例所提供的一种基于流量信息评估的广告投放方法适用于任意需要进行广告投放的电子设备，例如可以为处理器、服务器等。为了方便描述，后续称为电子设备。
如图1所示，一种基于流量信息评估的广告投放方法，所述方法包括：
S101，在获取目标用户端发送的针对广告位的广告投放请求时，确定所述目标用户端对应的目标广告商；
S102，基于预设的投放定向规则，从所述广告位中确定待投放广告位；
S103，基于预先确定的所述目标广告商的每个广告分别在所述待投放广告位的投放效果的评估等级，从所述广告中确定所述待投放广告位的待投放广告；
其中，所述评估等级为预先基于广告位评估模型确定的，所述广告位评估模型为基于预先获取的多个流量信息样本对初始广告位评估模型进行训练得到的，每个所述流量信息样本包括第一预设时间段内目标广告在目标广告位的投放效果信息样本、所述目标广告的属性特征样本及所述目标广告位的属性特征样本。
S104，在所述待投放广告位投放对应的待投放广告。
可见，本发明实施例所提供的方案中，电子设备可以在获取目标用户端发送的针对广告位的广告投放请求时，确定目标用户端对应的目标广告商；基于预设的投放定向规则，从广告位中确定待投放广告位；基于预先确定的目标广告商的每个广告分别在待投放广告位的投放效果的评估等级，从广告中确定待投放广告位的待投放广告，其中，评估等级为预先基于广告位评估模型确定的，广告位评估模型为基于预先获取的多个流量信息样本对初始广告位评估模型进行训练得到的，每个流量信息样本包括第一预设时间段内目标广告在目标广告位的投放效果信息样本、所述目标广告的属性特征样本及所述目标广告位的属性特征样本；在待投放广告位投放对应的待投放广告。电子设备可以预先通过广告位评估模型确定每个广告分别在待投放广告位的投放效果的评估等级，评估等级可以表征在对应的广告位中投放的广告的投放效果，这样可以确保待投放广告投放在待投放广告位中的投放效果更好，从而可以提高广告的投放效果。
网站中的网页、应用程序的页面、网络视频流的视频画面等页面中一般设置有广告位，当用户通过手机、电脑等用户端打开具有广告位的页面时，电子设备可以在将被打开的页面中的广告位中投放广告，当页面被打开时，需要确定广告位中投放的广告。
当用户通过用户端打开具有广告位的页面时，用户端可以向电子设备发送广告投放请求。为了确定向广告位投放哪些广告商的广告，在上述步骤S101中，电子设备可以在获取目标用户端发送的针对广告位的广告投放请求时，确定目标用户端对应的目标广告商。
其中，目标用户端即为用户打开具有广告位的页面时使用的手机、电脑等电子设备，向广告位投放的广告所属的广告商即为目标广告商，上述广告投放请求可以包括目标用户端的用户端标识、IP地址、页面的URL（uniform resource locator，统一资源定位符），以及广告位的标识、大小、位置等信息。如果页面为应用程序中的页面，上述广告投放请求还可以包括应用程序的标识、版本等信息；如果页面为网页，上述广告投放请求还可以包括打开该网页的浏览器的UA（User Agent，用户代理字符串）信息。
在一种实施方式中，电子设备可以基于RTB（Real Time Bidding，实时竞价）的方式确定目标广告商。具体来说，当电子设备获取到目标用户端发送的广告投放请求时，可以对目标用户端进行竞价拍卖，想要在目标用户端投放广告的广告商可以进行出价，然后电子设备可以根据GSP（Generalized Second Pricing，广义第二高价）策略从出价的广告商中确定目标广告商。
在页面中通常包含一个或多个广告位，为了确定向哪个或哪些广告位投放目标广告商的广告，在上述步骤S102中，电子设备可以基于预设的投放定向规则，从广告位中确定待投放广告位。其中，待投放广告位为投放目标广告商的广告的广告位，待投放广告位可以为一个或者多个，投放定向规则用于确定广告位中的哪个或哪些广告位的形式符合目标广告商的需求，对于每个不同的广告商可以根据该广告商的广告业务需求等因素预先设置该广告商对应的投放定向规则。广告位的形式可以为文字链接、通栏广告、按钮广告、焦点图广告、悬浮广告、弹出视频等。
电子设备可以根据预先设置的投放定向规则，从广告位中确定那个或哪些广告位的形式符合目标广告商的需求，然后将广告位的形式符合目标广告商的需求的广告位确定为待投放广告位。例如，目标用户端打开的页面中包括文字链接形式的广告位、通栏广告形式的广告位及弹出视频形式的广告位，目标广告商Ms1对应的投放定向规则为：向弹出视频形式的广告位投放目标广告商Ms1的广告，那么，便可以确定打开的页面中的弹出视频形式的广告位为待投放广告位。
广告商通常具有多个广告，为了确定向每个待投放广告位分别投放目标广告商的哪个广告，在上述步骤S103中，电子设备可以基于预先确定的目标广告商的每个广告分别在待投放广告位的投放效果的评估等级，从广告中确定待投放广告位的待投放广告，其中，待投放广告位的待投放广告即为将要在该待投放广告位中投放的广告。
为了确保将目标广告商的广告投放到待投放广告位时具有更好的投放效果，电子设备可以预先基于广告位评估模型，确定目标广告商的每个广告分别在待投放广告位的投放效果的评估等级，评估等级可以表征广告在广告位中投放时的投放效果。然后，针对每个待投放广告位，电子设备可以根据预先确定的评估等级，确定在该待投放广告位投放时的投放效果较好的目标广告商的广告，作为该待投放广告位的待投放广告。
例如，目标广告商M1的广告包括广告g1、广告g2、广告g3及广告g4，待投放广告位包括广告位w1及广告位w2，电子设备预先基于广告位评估模型，确定广告g1、广告g2、广告g3、广告g4分别在广告位w1及广告位w2的投放效果的评估等级，评估等级为1-6，评估等级越低表示对应的投放效果越好，评估等级如下表所示：
Figure 502865DEST_PATH_IMAGE001
根据上表所示的评估等级，电子设备可以确定广告g1在广告位w1投放时的投放效果最好，并可以确定广告g4在广告位w2投放时的投放效果最好，这样电子设备便可以确定广告位w1的待投放广告为广告g1，并确定广告位w2的待投放广告为广告g4。
广告位评估模型为基于预先获取的多个流量信息样本对初始广告位评估模型进行训练得到的，每个流量信息样本可以包括第一预设时间段内目标广告在目标广告位的投放效果信息样本、目标广告的属性特征样本及目标广告位的属性特征样本。其中，上述第一预设时间段可以为预设时长的时间段，预设时长可以根据流量信息样本的大小等因素进行设置，例如，可以为24小时、一周等。
上述目标广告为流量信息样本对应的广告，上述目标广告位为流量信息样本对应的广告所投放的广告位。上述投放效果信息样本为表示目标广告在目标广告位投放时的投放效果的信息，上述目标广告的属性特征样本为表示目标广告的属性的信息，上述目标广告位的属性特征样本为表示目标广告位的属性的信息。上述广告位评估模型可以为xgboost（eXtreme Gradient Boosting，极端梯度提升）模型等机器学习模型，在训练过程中可以不断调整广告位评估模型的参数以使其更加合适。
上述投放效果信息样本可以包括第一预设时间段内目标广告在目标广告位投放时对应的PV（Page view，单页点阅数）、UV（Unique Visitor，独立访客数）、Bid（竞价次数）、Win（竞价成功次数）、Show（曝光次数）、Click（点击次数）、Cost（广告成本）、ECpm（effective cost per mile，每千次曝光的成本）、GrossECpm（Gross effective cost permile，每一百万次曝光的成本）、CTR（Click Through Rate，点击率）、CPC（Cost per Click，点击成本）、CVR（Conversion Rate、转化率）及UVR（Unique Visitor Rate，独立访客率），上述目标广告的属性特征样本可以包括目标广告的creativeType（创意类型）、目标广告的内容的类型，上述目标广告位的属性特征样本可以包括目标广告位的adZone（广告位标识）、adTemplateld（广告位模板标识）、adZoneType（广告位类型）、adZonePosition（广告位位置）、adZoneSize（广告位大小）、isHighImp（is high impression，是否高曝光）、videoStartTime（播放位置）、media（广告位所处的媒体的名称）、platform（广告位所处的平台的类型）、trafficType（流量类型）、isDirectTraffic（是否为直接媒体的流量）、reqType（request type请求类型）。
其中，PV、UV、Bid、Win、Show、Click、Cost、ECpm、GrossECpm、CTR、CPC、CVR及UVR为第一预设时间段内投放效果信息样本对应的统计特征（Continuous）。adZone、adTemplateld、adZoneType、adZonePosition、adZoneSize、videoStartTime、media、platform、trafficType、reqType为投放效果信息样本对应的类别特征（Categorical）。isHighImp及isDirectTraffic为投放效果信息样本对应的二值特征（Ordinal），即isHighImp及isDirectTraffic的取值均为1或0，当isHighImp取值为0时表示投放效果信息样本对应的广告不为高曝光的广告，当isHighImp取值为1时表示投放效果信息样本对应的广告为高曝光的广告；当isDirectTraffic取值为0时表示投放效果信息样本对应的广告流量不是直接媒体的流量，当isDirectTraffic取值为1时表示投放效果信息样本对应的广告流量是直接媒体的流量。同时，也可以将多个类别特征进行组合，作为投放效果信息样本对应的交叉特征（Cross）。
在确定待投放广告位对应的待投放广告后，电子设备便可以向待投放广告位投放对应的待投放广告。由于评估等级可以表征广告在广告位中投放时的投放效果，因此电子设备基于评估等级可以确定在待投放广告位的投放效果较好的广告作为该待投放广告位的待投放广告，这样可以提高广告投放的效果。
作为本发明实施例的一种实施方式，上述评估等级的确定方式，可以包括：
获取第二预设时间段内待评价广告在待评价广告位的投放效果信息、待评价广告的属性特征及待评价广告位的属性特征；将投放效果信息、待评价广告的属性特征及待评价广告位的属性特征输入广告位评估模型，确定待评价广告在待评价广告位的投放效果的评估等级。
为了确定待评价广告在待评价广告位的投放效果的评估等级，电子设备可以预先获取第二预设时间段内待评价广告在待评价广告位的投放效果信息、待评级广告的属性特征及待评价广告位的属性特征。其中，第二预设时间段为预设时长的时间段，可以根据评估等级的准确度等需求进行设置，第二预设时间段可以与上述第一预设时间段相同，也可以与上述第一预设时间段不同，例如，可以为12小时、24小时等。
上述待评价广告为可以投放的广告，上述待评价广告位为可以投放广告的广告位。待评价广告在待评价广告位的投放效果信息为表示待评价广告在待评价广告位投放时的投放效果的信息，待评价广告位的属性特征为表示待评价广告的属性的信息，待评价广告位的属性特征为表示待评价广告位的属性的信息。
在一种实施方式中，上述投放效果信息所包括的内容可以与上述投放效果信息样本包括的内容相同。
在获取到第二预设时间段内待评价广告在待评价广告位的投放效果信息、待评级广告的属性特征及待评价广告位的属性特征之后，电子设备可以将投放效果信息、待评价广告的属性特征及待评价广告位的属性特征输入预先训练完成的广告位评估模型，确定待评价广告在待评价广告位的投放效果的评估等级。这样，电子设备在确定目标用户端对应的目标广告商之后，便可以基于预先确定的评估等级，快速准确的确定待投放广告位的待投放广告。
在一种实施方式中，电子设备在确定待评价广告在待评价广告位的投放效果的评估等级之后，可以显示统计数据选择页面。统计数据选择页面中包括多个按钮，每个按钮分别表示一种统计指标或筛选条件，工作人员可以点击统计数据选择页面中的按钮，选取筛选条件及统计指标。之后，电子设备可以基于选取的筛选条件及统计指标，生成统计报表，并在统计报表界面中显示该统计报表，供工作人员查看。其中，统计指标可以为投放效果信息中包含的PV、UV、CVR、CTR等统计指标，还可以包括评估等级。对于每种评估等级，分别可以预先设置不同的颜色，在统计报表中可以按照每种评估等级对应的颜色进行展示。
例如，在如图2（a）所示的统计数据选择页面中包括多个按钮，当工作人员点击“ADX名称”、“曝光量”、“点击量”、“点击率”及“评估等级”对应的按钮时，电子设备在如图2（b）所示的统计报表界面中显示统计报表200。其中，ADX名称为广告交易平台（Ad-Exchange）的名称。
统计报表200中包括广告交易平台Mt1、Mt2、Mt3及Mt4中广告的曝光量、点击量、点击率及评估等级。评估等级包括等级A、等级B、等级C及等级D，且预先设置等级A对应的颜色为颜色s1、等级B对应的颜色为颜色s2、等级C对应的颜色为颜色s3、等级D对应的颜色为颜色s4。区域201内的颜色为颜色s1，区域201的大小表示广告交易平台Mt1中评估等级为等级A的广告所占的比例；区域202的大小表示广告交易平台Mt1中评估等级为等级B的广告所占的比例；区域203的大小表示广告交易平台Mt1中评估等级为等级C的广告所占的比例；区域204的大小表示广告交易平台Mt1中评估等级为等级D的广告所占的比例。
可见，本发明实施例所提供的方案中，电子设备可以获取第二预设时间段内待评价广告在待评价广告位的投放效果信息、待评价广告的属性特征及待评价广告位的属性特征；将投放效果信息、待评价广告的属性特征及待评价广告位的属性特征输入广告位评估模型，确定待评价广告在待评价广告位的投放效果的评估等级。这样，电子设备可以基于预先确定的评估等级快速准确的确定待投放广告位的待投放广告。
作为本发明实施例的一种实施方式，如图3所示，上述广告位评估模型的训练方式，可以包括：
S301，获取初始广告位评估模型及多个流量信息样本；
由于生成广告位评估模型需要利用大量的流量信息样本对初始广告位评估模型进行训练，因此，电子设备可以预先获取初始广告位评估模型及多个流量信息样本。其中，每个流量信息样本包括第一预设时间段内目标广告在目标广告位的投放效果信息样本、目标广告的属性特征样本及目标广告位的属性特征样本。
初始广告位评估模型可以为xgboost模型等机器学习模型，其参数可以随机初始化，对于初始广告位评估模型的结构在此不做具体限定。
在一种实施方式中，电子设备可以预先获取多个用户端的网络日志，然后对获得的网络日志进行解析和结构化处理，得到每个用户端处理后的网络日志。然后，针对在预先获取多个用户端投放过的每个广告，根据每个用户端处理后的网络日志数据，确定该投放过的广告的投放效果信息，作为数据样本。进而，可以从每个投放过的广告的数据样本中选择部分数据样本，作为投放效果信息样本。在另一种实施方式中，可以预先设置样本选取条件，从每个投放过的广告的数据样本中，选取符合上述样本选取条件的数据样本，作为投放效果信息样本，其中，样本选取条件可以根据投放效果信息中包括的一个或多个内容进行设置，例如，可以根据单页点阅数进行设置；又例如，可以根据单页点阅数和独立访客数进行设置。
S302，针对每个所述流量信息样本，基于该流量信息样本中的投放效果信息样本、目标广告的属性特征样本及目标广告位的属性特征样本，标记目标广告在目标广告位的投放效果的评估等级，作为标注等级；
由于电子设备需要通过训练完成的广告位评估模型确定评估等级，因此，在获得上述多个流量信息样本之后，针对每个流量信息样本，具有丰富业务经验的产品经理可以基于该流量信息样本中的投放效果信息样本、目标广告的属性特征样本及目标广告位的属性特征样本，标记目标广告在目标广告位的投放效果的评估等级，作为标注等级。
为了提高标注等级的准确性，在一种实施方式中，可以由多个产品经理分别对同一流量信息样本标记评估等级，然后计算该同一流量信息样本所有的评估等级的平均值，作为该流量信息样本的标注等级。在另一种实施方式中，在得到流量信息样本对应的标注等级后，可以根据该流量信息样本标记的评估等级，向该流量信息样本对应的目标广告位中投放目标广告，得到测试结果，然后基于测试结果调整该流量信息样本的标注等级。
S303，针对每个所述流量信息样本，将该流量信息样本输入所述初始广告位评估模型，确定目标广告在目标广告位的评估等级，作为预测等级；
对每个流量信息样本进行标记得到标注等级后，针对每个流量信息样本，电子设备可以将该流量信息样本包括的投放效果信息样本、目标广告的属性特征样本及目标广告位的属性特征样本输入初始广告位评估模型，初始广告位评估模型可以基于模型的参数，确定目标广告在目标广告位的投放效果的评估等级，做为预测等级。
为了使更好地训练初始广告位评估模型，得到能够更加准确地预测评估等级的广告位评估模型，在将流量信息样本输入初始广告位评估模型评估模型之前，可以对流量信息样本中包括的信息进行数据清洗、特征选择、特征过滤、特征标准化及特征编码的处理，得到处理后的流量信息样本。
S304，基于所述预测等级及对应的标注等级之间的残差，确定所述初始广告位评估模型的参数，直到所述初始广告位评估模型收敛，停止训练，得到所述广告位评估模型。
由于当前阶段的初始广告位评估模型可能还无法准确确定流量信息样本对应的评估等级，所以得到上述预测等级及标注等级后，电子设备可以基于预测等级及对应的标注等级之间的残差，确定初始广告位评估模型的参数，直到初始广告位评估模型收敛，停止训练，得到广告位评估模型。
电子设备可以将上述预测等级与对应的标注等级进行对比，进而根据预测等级与对应的标注等级之间的残差，调整初始广告位评估模型的参数，以使初始广告位评估模型的参数更加合适。其中，确定初始广告位评估模型的参数的算法可以为牛顿下山法等算法，在此不做具体限定及说明。
为了确定上述初始广告位评估模型是否收敛，电子设备可以判断初始广告位评估模型的目标函数对应的损失函数值是否不大于预设的损失阈值。
如果初始广告位评估模型的目标函数对应的损失函数值不大于预设的损失阈值，说明当前初始广告位评估模型已经收敛，也就是说，当前初始广告位评估模型可以准确确定评估等级，所以此时可以停止训练，得到广告位评估模型。
其中，预设的损失阈值可以根据初始广告位评估模型的收敛情况、评估等级的准确度等因素设定，例如，可以为0.01、0.001等，在此不做具体限定。
如果初始广告位评估模型的目标函数对应的损失函数值大于预设的损失阈值，说明当前的初始广告位评估模型还未收敛，也就是说，当前初始广告位评估模型还不能准确确定评估等级，当前的初始广告位评估模型的模型效果没有达到预期的理想效果，那么电子设备需要继续训练初始广告位评估模型。其中，模型效果可以包括准确率、召回率等。
在一种实施方式中，电子设备可以根据预设的最大迭代次数确定初始广告位评估模型的模型效果是否达到预期的理想效果。具体的，电子设备可以判断初始广告位评估模型的迭代次数是否达到最大迭代次数，如果是，可以确定当前初始广告位评估模型的模型效果达到预期的理想效果，可以停止训练，得到广告位评估模型；如果否，可以确定当前初始广告位评估模型的模型效果没有达到预期的理想效果，需要继续训练初始广告位评估模型。
在另一种实施方式中，上述初始广告位评估模型可以为xgboost模型，初始广告位评估模型的目标函数可以为：
Figure 387382DEST_PATH_IMAGE002
。
其中，
Figure 370382DEST_PATH_IMAGE003
为第i个流量信息样本对应的预测等级，
Figure 31170DEST_PATH_IMAGE004
为第i个流量信息样本对应的标注等级，
Figure 48805DEST_PATH_IMAGE005
为第i个流量信息样本对应的损失函数值，损失函数l可以自定义设置，例如可以为均方误差损失函数等。
Figure 136846DEST_PATH_IMAGE006
表示所有流量信息样本对应的损失函数的加和，
Figure 607142DEST_PATH_IMAGE007
表示初始广告位评估模型中第k棵决策树的结构，第k棵决策树的结构也就是第k棵决策树中叶子节点的数量、叶子节点的权重参数等数据的集合。Ω为正则化项，
Figure 71621DEST_PATH_IMAGE008
，γ、λ为预设的超参数，T为第k棵决策树中叶子节点的数量，
Figure 943762DEST_PATH_IMAGE009
为第k棵决策树中叶子节点的权重参数组成的数组w的L2范数。
可见，本发明实施例所提供的方案中，电子设备可以根据上述方式训练初始广告位评估模型。这样，可以调整初始广告位评估模型的参数，得到可以精准预测评估等级的广告位评估模型。
作为本发明实施例的一种实施方式，上述投放效果信息可以包括无效信息，上述投放效果信息样本包括无效信息样本，上述无效信息为虚假用户端对应的投放效果信息。
在广告投放后，可能会存在虚假用户端对已投放的广告进行浏览、点击等操作，这种情况称为广告作弊。在这种情况下，上述投放效果信息中很可能包括由于广告作弊所产生的投放效果信息。
针对这种情况，为了更加准确地确定上述评估等级，上述投放效果信息样本也可以包括无效信息样本。这样，在通过流量信息样本对初始广告位评估模型进行训练时，初始广告位评估模型可以学习到无效信息样本对评估等级的影响，进而通过训练完成的广告位评估模型确定评估等级时，确定的评估等级可以考虑到投放效果信息包括的无效信息的影响，从而得到更加准确的评估等级。
作为本发明实施例的一种实施方式，如图4所示，上述无效信息的获取方式，可以包括：
S401，针对每个待检测广告，获取第三预设时间段内显示该待检测广告的待检测用户端对该待检测广告的操作数据；
为了确定无效信息，针对每个待检测广告，电子设备可以获取第三预设时间段内显示该待检测广告的待检测用户端对该待检测广告的操作数据。其中，待检测广告可以为与上述待评价广告相同的广告，也可以为与上述待评价广告不同的广告；待检测用户端可以为与上述待评价广告位相同的广告位，也可以为与上述待评价广告位不同的广告位。第三预设时间段为预设时长的时间段，可以为与上述第一预设时间段相同的时间段，也可以为与上述第一预设时间段不同的时间段，例如可以为12小时、24小时、48小时等。
S402，针对每个所述待检测用户端，基于该待检测用户端的操作数据，按照预设的无效流量确定规则，确定该待检测用户端是否为虚假用户端；
针对每个待检测用户端，为了确定该待检测用户段是否为虚假用户端，电子设备可以根据预先设置的无效流量确定规则，确定该待检测用户端是否为虚假用户端。其中，虚假用户端即为IVT（invalid Traffic，无效流量）用户端。
电子设备可以根据预设的无效流量确定规则，确定待检测用户端是否为虚假用户端，并确定虚假用户端的IVT Type（无效流量类型）以及IVT Type对应的级别。
IVT Type可以包括Blank User Id（用户端标识为空）、Invalid IP（无效的IP地址）、Invalid User Id（无效的用户端标识）、Faster Click（广告的曝光时间至广告的点击时间之间的时间间隔异常）、Duplicate Click（重复点击）、Duplicate Impression（重复曝光）、User Id Reset Fraud（新用户端的点击量或曝光量异常）、User Id Stuffing（用户端的访问IP异常）、Display Click Fraud（点击量异常）、Display Impression Fraud（曝光量异常）、IP Obfuscation（IP地址漂移）、high CTR Traffic（点击率异常）、PreClick（预点击）、Abnormal Activity（异常操作活动）、Abnormal Request User（用户端应用程序的请求量异常）、Blank User Agent（用户代理字符串为空）、User Agent Stuffing（存在多个不同的用户代理字符串）、High Risk User Id（高风险用户端）中的至少一种。IVT Type对应的级别可以为critical（严重）、high（危险）或elevated（一般）。
上述操作数据可以包括待检测用户端标识、待检测用户端的IP地址、待检测用户端点击待检测广告时的时间戳、待检测广告在待检测用户端曝光时的时间戳、待检测广告的曝光量、待检测用户端点击待检测广告的点击量、待检测用户端的应用程序发送的请求的数量、待检测用户端的用户代理字符串等。
在一种实施方式中，预设的无效流量确定规则为：当待检测用户端的用户端标识为空或用户端标识全部为数字时，确定该待检测用户端为虚假用户端，并确定该虚假用户端的IVT Type为Blank User Id，IVT Type对应的级别为high。
在另一种实施方式中，预设的无效流量确定规则为：当待检测用户端的IP地址为IP地址黑名单中的IP地址时，确定该待检测用户端为虚假用户端，并确定该虚假用户端的IVT Type为Invalid IP，IVT Type对应的级别为critical。其中，IP地址黑名单可以为MMA（Mobile Marketing Association，移动营销协会）、IAC（IP地理信息标准委员会）等发布的IP地址黑名单。
在另一种实施方式中，预设的无效流量确定规则为：当待检测用户端标识的格式或用户端标识的字符串长度不符合标准时，确定该待检测用户端为虚假用户端，并确定该虚假用户端的IVT Type为Invalid User Id，IVT Type对应的级别为high；当待检测用户端标识为设备标识黑名单中的用户标识时，确定该待检测用户端为虚假用户端，并确定该虚假用户端的IVT Type为Invalid User Id，IVT Type对应的级别为critical。
在另一种实施方式中，预设的无效流量确定规则可以为：当待检测用户端在第一预设时长内的待检测广告的总曝光量大于第一预设值，且第一异常请求的数量或第二异常请求的数量占总广告投放请求的数量的比例不小于第一预设比例时，确定该待检测用户端为虚假用户端，并确定该虚假用户端的IVT Type为Faster Click，IVT Type对应的级别为critical；当待检测用户端在第一预设时长内的待检测广告的总曝光量大于第一预设值，且第一异常请求的数量或第二异常请求的数量占总广告请求的数量的比例大于第二预设比例且小于第一预设比例时，确定该待检测用户端为虚假用户端，并确定该虚假用户端的IVT Type为Faster Click，IVT Type对应的级别为high。其中，第一异常请求为广告曝光的时间戳与广告点击的时间戳之间的差值大于第一目标值小于第二目标值的广告投放请求，第二异常请求为广告曝光的时间戳与广告点击的时间戳之间的差值大于第三目标值小于第四目标值的广告投放请求。上述第一预设时长、第一预设值、第一预设比例、第二预设比例、第一目标值、第二目标值、第三目标值及第四目标值的数值可以根据虚假用户端判断的业务需求进行设置，在此不做具体限定。
例如，第一预设时长为24小时，第一预设值为10，第一预设比例为50%，第二预设比例为30%，第一目标值为0秒，第二目标值为1秒，第三目标值为-60秒，第四目标值为1秒。当待检测用户端J1在24小时内的待检测广告的总曝光量为11，且第一异常请求的数量或第二异常请求的数量占总广告投放请求的数量的比例为51%时，可以确定待检测用户端J1为虚假用户端，并确定待检测用户端J1的IVT Type为Faster Click，IVT Type对应的级别为critical。当待检测用户端J2在24小时内的待检测广告的总曝光量为12，且第一异常请求的数量或第二异常请求的数量占总广告投放请求的数量的比例为42%时，可以确定待检测用户端J2为虚假用户端，并确定待检测用户端J1的IVT Type为Faster Click，IVT Type对应的级别为high。
在另一种实施方式中，预设的无效流量确定规则为：当待检测用户端在第二预设时长内的待检测广告的总点击量大于第二预设值，且重复点击的比例大于第三预设比例小于第四预设比例时，确定该待检测用户端为虚假用户端，并确定该虚假用户端的IVT Type为Duplicate Click，IVT Type对应的级别为elevated；当待检测用户端在第二预设时长内的待检测广告的总点击量大于第二预设值，且重复点击的比例大于第四预设比例时，确定该待检测用户端为虚假用户端，并确定该虚假用户端的IVT Type为Duplicate Click，IVTType对应的级别为high。其中，重复点击为相邻的同一待检测广告的投放请求的广告点击的时间戳之间的差值小于第五目标值的点击操作，重复点击的比例即为重复点击的次数与相邻的同一待检测广告的投放请求的次数的比值。上述第二预设时长、第二预设值、第三预设比例、第四预设比例、第五目标值的数值可以根据虚假用户端判断的业务需求进行设置，在此不做具体限定。
例如，第二预设时长为12小时，第二预设值为5，第三预设比例为10%，第四预设比例为20%，第五目标值的数值为0.8秒。当待检测用户端J1在12小时内的待检测广告的总点击量为6，且重复点击的比例为13%时，可以确定待检测用户端J1为虚假用户端，并确定待检测用户端J1的IVT Type为Duplicate Click，IVT Type对应的级别为elevated。当待检测用户端J2在12小时内的待检测广告的总点击量为6，且重复点击的比例为26%时，可以确定待检测用户端J2为虚假用户端，并确定待检测用户端J2的IVT Type为Duplicate Click，IVTType对应的级别为high。
在另一种实施方式中，预设的无效流量确定规则为：当待检测用户端在第三预设时长内的待检测广告的总曝光量大于第三预设值，且重复曝光的比例大于第五预设比例小于第六预设比例时，确定该待检测用户端为虚假用户端，并确定该虚假用户端的IVT Type为Duplicate Impression，IVT Type对应的级别为elevated；当待检测用户端在第三预设时长内的广告的总曝光量大于第三预设值，且重复曝光的比例大于第六预设比例时，确定该待检测用户端为虚假用户端，并确定该虚假用户端的IVT Type为DuplicateImpression，IVT Type对应的级别为high。其中，重复曝光为相邻的同一待检测广告的投放请求的广告曝光的时间戳之间的差值小于第六目标值的曝光操作，重复曝光的比例即为重复曝光的次数与相邻的同一待检测广告的投放请求的次数的比值。上述第三预设时长、第三预设值、第五预设比例、第六预设比例及第六目标值的数值可以根据虚假用户端判断的业务需求进行设置，在此不做具体限定。
例如，第三预设时长为12小时，第三预设值为10，第五预设比例为40%，第六预设比例为60%，第六目标值为10秒。当待检测用户端J1在12小时内的待检测广告的总曝光量为20，且重复曝光的比例为55%时，可以确定待检测用户端J1为虚假用户端，并确定待检测用户端J1的IVT Type为Duplicate Impression，IVT Type对应的级别为elevated。当待检测用户端J2在12小时内的待检测广告的总曝光量为20，且重复曝光的比例为63%时，可以确定待检测用户端J2为虚假用户端，并确定待检测用户端J2的IVT Type为DuplicateImpression，IVT Type对应的级别为high。
在另一种实施方式中，预设的无效流量确定规则为：当待检测用户端为新用户端，在第四预设时长内的待检测广告的总曝光量大于第四预设值，或在第四预设时长内的待检测广告的总点击量大于第五预设值时，确定该待检测用户端为虚假用户端，并确定该虚假用户端的IVT Type为User Id Reset Fraud，IVT Type对应的级别为elevated；当待检测用户端为新用户端，在第四预设时长内的待检测广告的总曝光量大于第六预设值，或在第四预设时长内的待检测广告的总点击量大于第七预设值时，确定该待检测用户端为虚假用户端，并确定该虚假用户端的IVT Type为User Id Reset Fraud，IVT Type对应的级别为high。其中，上述第四预设时长、第四预设值、第五预设值、第六预设值及第七预设值的数值可以根据虚假用户端判断的业务需求进行设置，在此不做具体限定。
例如，第四预设时长为24小时，第四预设值为50，第五预设值为30，第六预设值为100，第七预设值为50。当待检测用户端J1为新用户端，在24小时内的待检测广告的总曝光量为57、总点击量为29时，可以确定待检测用户端J1为虚假用户端，并确定待检测用户端J1的IVT Type为User Id Reset Fraud，IVT Type对应的级别为elevated。当待检测用户端J2为新用户端，在24小时内的待检测广告的总曝光量为93、总点击量为53时，可以确定待检测用户端J2为虚假用户端，并确定待检测用户端J2的IVT Type为User Id Reset Fraud，IVTType对应的级别为high。
在另一种实施方式中，预设的无效流量确定规则为：当待检测用户端在第五预设时长内待检测广告的广告投放请求中对应的IP地址的总数量大于第八预设值时，确定该待检测用户端为虚假用户端，并确定该虚假用户端的IVT Type为User Id Stuffing，IVTType对应的级别为elevated；当待检测用户端在第五预设时长内待检测广告的广告投放请求中对应的IP地址的总数量大于第九预设值时，确定该待检测用户端为虚假用户端，并确定该虚假用户端的IVT Type为User Id Stuffing，IVT Type对应的级别为high。其中，上述第五预设时长、第八预设值及第九预设值的数值可以根据虚假用户端判断的业务需求进行设置，在此不做具体限定。
例如，第五预设时长为24小时，第八预设值为10，第九预设值为50。当待检测用户端J1在24小时内待检测广告的广告投放请求中对应的IP地址的总数量为11时，可以确定待检测用户端J1为虚假用户端，并确定待检测用户端J1的IVT Type为User Id Stuffing，IVTType对应的级别为elevated。当待检测用户端J2在24小时内待检测广告的广告投放请求中对应的IP地址的总数量为69时，可以确定待检测用户端J2为虚假用户端，并确定待检测用户端J2的IVT Type为User Id Stuffing，IVT Type对应的级别为high。
在另一种实施方式中，预设的无效流量确定规则为：当待检测用户端在第六预设时长内的待检测广告的总点击量大于第十预设值时，确定该待检测用户端为虚假用户端，并确定该虚假用户端的IVT Type为Display Click Fraud，IVT Type对应的级别为critical；当待检测用户端在第六预设时长内的待检测广告的总点击量大于第十一预设值小于第十预设值时，确定该待检测用户端为虚假用户端，并确定该虚假用户端的IVT Type为Display Click Fraud，IVT Type对应的级别为high。其中，上述第六预设时长、第十预设值及第十一预设值的数值可以根据虚假用户端判断的业务需求进行设置，在此不做具体限定。
例如，第六预设时长为24小时，第十预设值为100，第十一预设值为50。当待检测用户端J1在24小时内待检测广告的总点击量为71时，确定待检测用户端J1为虚假用户端，并确定待检测用户端J1的IVT Type为Display Click Fraud，IVT Type对应的级别为high。当待检测用户端J2在24小时内待检测广告的总点击量为125时，确定待检测用户端J2为虚假用户端，并确定待检测用户端J2的IVT Type为Display Click Fraud，IVT Type对应的级别为critical。
在另一种实施方式中，预设的无效流量确定规则为：当待检测用户端在第七预设时长内的待检测广告的总曝光量大于第十二预设值时，确定该待检测用户端为虚假用户端，并确定该虚假用户端的IVT Type为Display Impression Fraud，IVT Type对应的级别为high；当待检测用户端在第七预设时长内的待检测广告的总曝光量大于第十三预设值小于第十二预设值时，确定该待检测用户端为虚假用户端，并确定该虚假用户端的IVT Type为Display Impression Fraud，IVT Type对应的级别为elevated。其中，上述第七预设时长、第十二预设值及第十三预设值的数值可以根据虚假用户端判断的业务需求进行设置，在此不做具体限定。
例如，第七预设时长为10小时，第十二预设值为100，第十三预设值为50。当待检测用户端J1在10小时内的待检测广告的总曝光量为67时，可以确定待检测用户端J1为虚假用户端，并确定待检测用户端J1的IVT Type为Display Impression Fraud，IVT Type对应的级别为elevated。当待检测用户端J2在10小时内的待检测广告的总曝光量为112时，可以确定待检测用户端J2为虚假用户端，并确定待检测用户端J2的IVT Type为DisplayImpression Fraud，IVT Type对应的级别为high。
在另一种实施方式中，预设的无效流量确定规则为：当待检测用户端的操作数据中，同一待检测广告的投放请求中广告曝光对应的IP地址与广告点击对应的IP地址为不同城市的IP地址时，确定该待检测用户端为虚假用户端，并确定该虚假用户端的IVT Type为IP Obfuscation，IVT Type对应的级别为high。
在另一种实施方式中，预设的无效流量确定规则为：当待检测用户端在第八预设时长内同一待检测广告的总点击量大于第十四预设值，且点击率大于第七预设比例时；或当待检测用户端在第八预设时长内同一待检测广告的总点击量大于第十五预设值不小于第十四预设值，且点击率大于第八预设比例时，确定该待检测用户端为虚假用户端，并确定该虚假用户端的IVT Type为IP Obfuscation，IVT Type对应的级别为elevated。其中，上述第八预设时长、第十四预设值、第七预设比例、第十五预设值及第八预设比例的数值可以根据虚假用户端判断的业务需求进行设置，在此不做具体限定。
例如，第八预设时长为24小时，第十四预设值为10，第七预设比例为100%，第十五预设值为0，第八预设比例为500%。当待检测用户端J1在24小时内同一待检测广告的总点击量为63，且点击率为147%时，可以确定待检测用户端J1为虚假用户端，并确定待检测用户端J1的IVT Type为IP Obfuscation，IVT Type对应的级别为elevated。当待检测用户端J2在24小时内同一待检测广告的总点击量为5，且点击率为573%时，可以确定待检测用户端J2为虚假用户端，并确定待检测用户端J2的IVT Type为IP Obfuscation，IVT Type对应的级别为elevated。
在另一种实施方式中，预设的无效流量确定规则为：当待检测用户端在第九预设时长内，总点击量大于0且总曝光量为0或空的广告投放请求的数量占所有广告投放请求的数量的比例大于第九预设比例时，确定该待检测用户端为虚假用户端，并确定该虚假用户端的IVT Type为PreClick，IVT Type对应的级别为high；当待检测用户端在第九预设时长时内，总点击量大于0且总曝光量为0或空的广告投放请求的数量占所有广告投放请求的数量的比例大于第十预设比例小于第九预设比例时，确定该待检测用户端为虚假用户端，并确定该虚假用户端的IVT Type为PreClick，IVT Type对应的级别为elevated。其中，上述第九预设时长、第九预设比例及第十预设比例的数值可以根据虚假用户端判断的业务需求进行设置，在此不做具体限定。
例如，第九预设时长为24小时，第九预设比例为50%，第十预设比例为30%。当待检测用户端J1在24小时内总点击量大于0且总曝光量为0或空的广告投放请求的数量占所有广告投放请求的数量的比例为54%时，可以确定待检测用户端J1为虚假用户端，并确定待检测用户端J1的IVT Type为PreClick，IVT Type对应的级别为high。当待检测用户端J2在24小时内总点击量大于0且总曝光量为0或空的广告投放请求的数量占所有广告投放请求的数量的比例为47%时，可以确定待检测用户端J2为虚假用户端，并确定待检测用户端J2的IVT Type为PreClick，IVT Type对应的级别为elevated。
在另一种实施方式中，预设的无效流量确定规则为：当待检测用户端在第十预设时长内，同一待检测广告的总点击量大于第十五预设值，且异常点击的比例大于第十一预设比例时，确定该待检测用户端为虚假用户端，并确定该虚假用户端的IVT Type为Abnormal Activity，IVT Type对应的级别为elevated；当待检测用户端在第十预设时长内，同一待检测广告的总曝光量大于第十六预设值，且异常曝光的比例大于第十二预设比例时，确定该待检测用户端为虚假用户端，并确定该虚假用户端的IVT Type为AbnormalActivity，IVT Type对应的级别为elevated。其中，异常点击为相邻的同一待检测广告的投放请求的广告点击的时间戳之间的差值大于第六目标值小于第七目标值的点击操作，异常点击的比例即为异常点击的次数与相邻的同一待检测广告的投放请求的次数的比值。异常曝光为相邻的同一待检测广告的投放请求的广告曝光的时间戳之间的差值大于第八目标值小于第九目标值的曝光操作，异常曝光的比例即为异常曝光的次数与相邻的同一待检测广告的投放请求的次数的比值。其中，上述第十预设时长、第十五预设值、第十一预设比例、第十六预设值、第十二预设比例、第六目标值、第七目标值、第八目标值、第九目标值的数值可以根据虚假用户端判断的业务需求进行设置，在此不做具体限定。
例如，第十预设时长为24小时，第十五预设值为5，第十一预设比例为50%，第十六预设值为5，第十二预设比例为50%，第六目标值为10秒，第七目标值为120秒，第八目标值为10秒，第九目标值为120秒。当待检测用户端J1在24小时内同一待检测广告的总点击量为6，且异常点击的比例为53%时，可以确定待检测用户端J1为虚假用户端，并确定待检测用户端J1的IVT Type为Abnormal Activity，IVT Type对应的级别为elevated。当待检测用户端J2在24小时内同一待检测广告的总曝光量为7，且异常曝光的比例为67%时，可以确定待检测用户端J2为虚假用户端，并确定待检测用户端J2的IVT Type为Abnormal Activity，IVTType对应的级别为elevated。
在另一种实施方式中，预设的无效流量确定规则为：当待检测用户端在第十一预设时长内，发送的广告投放请求的总数量大于第十七预设值，且通过至少一个应用程序发送的广告投放请求的总数量大于第十八预设值时，确定该待检测用户端为虚假用户端，并确定该虚假用户端的IVT Type为Abnormal Request User，IVT Type对应的级别为high。其中，上述第十一预设时长、第十七预设值及第十八预设值的数值可以根据虚假用户端判断的业务需求进行设置，在此不做具体限定。
例如，第十一预设时长为24小时，第十七预设值为10000，第十八预设值为1000。当待检测用户端J1在24小时内发送的广告投放请求的总数量为20467，且通过应用程序C1发送的广告投放请求的总数量为3476时，可以确定待检测用户端J1为虚假用户端，并确定待检测用户端J1的IVT Type为Abnormal Request User，IVT Type对应的级别为high。
在另一种实施方式中，预设的无效流量确定规则为：当待检测用户端在第十二预设时长内，包括的UA字符串为空的广告请求的数量占发送的广告投放请求总数量的比例大于第十三预设比例时，确定该待检测用户端为虚假用户端，并确定该虚假用户端的IVTType为Blank User Agent，IVT Type对应的级别为high。其中，上述第十二预设时长及第十三预设比例的数值可以根据虚假用户端判断的业务需求进行设置，在此不做具体限定。
例如，第十二预设时长为24小时，第十三预设比例为50%。当待检测用户端J1在24小时内，包括的UA字符串为空的广告请求的数量占发送的广告投放请求总数量的比例为71%时，可以确定待检测用户端J1为虚假用户端，并确定待检测用户端J1的IVT Type为Blank User Agent，IVT Type对应的级别为high。
在另一种实施方式中，预设的无效流量确定规则为：当待检测用户端在第十三预设时长内发送的广告投放请求中，所包括的同一UA字符串的数量为多个时，确定该待检测用户端为虚假用户端，并确定该虚假用户端的IVT Type为User Agent Stuffing，IVT Type对应的级别为high。其中，上述第十三预设时长的数值可以根据虚假用户端判断的业务需求进行设置，在此不做具体限定。
例如，第十三预设时长为24小时。当待检测用户端J1在24小时内发送的广告投放请求中，所包括的同一UA字符串的数量为多个时，可以确定待检测用户端J1为虚假用户端，并确定待检测用户端J1的IVT Type为User Agent Stuffing，IVT Type对应的级别为high。
在另一种实施方式中，预设的无效流量确定规则为：当虚假用户端在第十四预设时长内，被确定的IVT Type对应的级别为elevated的次数不小于第一预设次数，或，被确定的IVT Type对应的级别为high的次数不小于第二预设次数，或，被确定的IVT Type对应的级别为critical的次数不小于第三预设次数时，确定该虚假用户端的IVT Type为HighRisk User Id，IVT Type对应的级别为critical。其中，上述第十四预设时长、第一预设次数、第二预设次数、第三预设次数的数值可以根据虚假用户端判断的业务需求进行设置，在此不做具体限定。
例如，第十四预设时长为168小时，第一预设次数为5次，第二预设次数为3次，第三预设次数为2次。当待虚假用户端X1在168小时内被确定的IVT Type对应的级别为elevated的次数为6次时，可以确定虚假用户端X1的IVT Type为High Risk User Id，IVT Type对应的级别为critical。当待虚假用户端X2在168小时内被确定的IVT Type对应的级别为high的次数为4次时，可以确定虚假用户端X2的IVT Type为High Risk User Id，IVT Type对应的级别为critical。当待虚假用户端X3在168小时内被确定的IVT Type对应的级别为critical的次数为3次时，可以确定虚假用户端X3的IVT Type为High Risk User Id，IVTType对应的级别为critical。
在另一种实施方式中，针对已经确定的虚假用户端，当该虚假用户端的IVT Type为Blank User Id、Invalid IP、Invalid User Id、Faster Click、Duplicate Click、Duplicate Impression、User Id Reset Fraud、Blank User Agent中的至少一个时，电子设备可以确定该虚假用户端为GIVT（General Invalid Traffic，一般无效流量）用户端；当该虚假用户端的IVT Type为User Id Stuffing、Display Click Fraud、DisplayImpression Fraud、IP Obfuscation、high CTR Traffic、PreClick、Abnormal Activity、Abnormal Request User、User Agent Stuffing、High Risk User Id中的至少一个时，电子设备可以确定该虚假用户端为SIVT（Sophisticated Invalid Traffic，复杂无效流量）用户端。
在另一种实施方式中，当确定待检测用户端为虚假用户端时，电子设备可以屏蔽该虚假用户端，也就是说，当电子设备接收到该虚假用户端发送的广告投放请求时，将不会向该虚假用户端投放广告。其中，当被屏蔽的虚假用户端的IVT Type为Blank User Id、Invalid IP、Invalid User Id、Blank User Agent、User Id Stuffing或AbnormalRequest User时，对该虚假用户端的屏蔽操作可以称为PreBid（投前屏蔽），表示对该虚假用户端的屏蔽操作是由于该虚假用户端在广告竞价前的操作行为导致的；当被屏蔽的虚假用户端的IVT Type为Faster Click、Duplicate Click、Duplicate Impression、User IdReset Fraud、Display Click Fraud、Display Impression Fraud、IP Obfuscation、highCTR Traffic、PreClick、Abnormal Activity、User Agent Stuffing或High Risk User Id时，对该虚假用户端的屏蔽操作可以称为PostBid（投后屏蔽），表示对该虚假用户端的屏蔽操作是由于该虚假用户端在广告竞价后的操作行为导致的。
S403，基于所述虚假用户端的操作数据及所述待检测用户端的操作数据确定所述无效信息。
在确定上述待检测用户端中的虚假用户端后，电子设备可以基于虚假用户端的操作数据和待检测用户端的操作数据，确定无效信息。其中，无效信息可以包括IvtPvRatio（invalid Traffic Page view Ratio，IVT用户端的单页点阅数比例）、IvtUvRatio（invalid Traffic Unique Visitor Ratio，IVT用户端独立访客数比例）、IvtImpRatio（invalid Traffic impression Ratio，IVT用户端曝光量比例）、IvtClickRatio（invalidTraffic Click Ratio，IVT用户端点击量比例）等。
其中，IvtPvRatio表示待检测用户端中的IVT用户端对于在同一个广告位中投放的待检测广告的单页点阅数占待检测用户端对于在该同一个广告位中投放的该待检测广告的单页点阅数的比例，例如，在第三预设时间段内，IVT用户端对于在广告位Gw1中投放的待检测广告D*1的单页点阅数为100，待检测用户端对于在广告位Gw1中投放的待检测广告D*1的单页点阅数为1000，那么IvtPvRatio即为
Figure 202706DEST_PATH_IMAGE010
。
IvtUvRatio表示待检测用户端中的IVT用户端对于在同一个广告位中投放的待检测广告的独立访客数占待检测用户端对于在该同一个广告位中投放的该待检测广告的独立访客数的比例，例如，在第三预设时间段内，IVT用户端对于在广告位Gw1中投放的待检测广告D*1的独立访客数为50，待检测用户端对于在广告位Gw1中投放的待检测广告D*1的独立访客数为100，那么IvtUvRatio即为
Figure 160297DEST_PATH_IMAGE011
。
IvtImpRatio表示待检测用户端中的IVT用户端对于在同一个广告位中投放的待检测广告的曝光量占待检测用户端对于在该同一个广告位中投放的该待检测广告的曝光量的比例，例如，在第三预设时间段内，IVT用户端对于在广告位Gw1中投放的待检测广告D*1的曝光量为32，待检测用户端对于在广告位Gw1中投放的待检测广告D*1的曝光量为100，那么IvtImpRatio即为
Figure 162888DEST_PATH_IMAGE012
。
IvtClickRatio表示待检测用户端中的IVT用户端对于在同一个广告位中投放的待检测广告的点击量占待检测用户端对于在该同一个广告位中投放的该待检测广告的点击量的比例，例如，在第三预设时间段内，IVT用户端对于在广告位Gw1中投放的待检测广告D*1的点击量为14，待检测用户端对于在广告位Gw1中投放的待检测广告D*1的点击量为200，那么IvtClickRatio即为
Figure 889536DEST_PATH_IMAGE013
。
在一种实施方式中，上述无效信息还可以包括GIvtPvRatio（General InvalidTraffic Page view Ratio，GIVT用户端的单页点阅数比例），GivtPvRatio表示待检测用户端中的GIVT用户端对于在同一个广告位中投放的待检测广告的单页点阅数占待检测用户端对于在该同一个广告位中投放的该待检测广告的单页点阅数的比例，例如，在第三预设时间段内，GIVT用户端对于在广告位Gw1中投放的待检测广告D*1的单页点阅数为50，待检测用户端对于在广告位Gw1中投放的待检测广告D*1的单页点阅数为400，那么GIvtPvRatio即为
Figure 584959DEST_PATH_IMAGE014
。
在另一种实施方式中，上述无效信息还可以包括SIvtPvRatio（SophisticatedInvalid Traffic Page view Ratio，SIVT用户端的单页点阅数比例），SivtPvRatio表示待检测用户端中的SIVT用户端对于在同一个广告位中投放的待检测广告的单页点阅数占待检测用户端对于在该同一个广告位中投放的该待检测广告的单页点阅数的比例，例如，在第三预设时间段内，SIVT用户端对于在广告位Gw1中投放的待检测广告D*1的单页点阅数为80，待检测用户端对于在广告位Gw1中投放的待检测广告D*1的单页点阅数为400，那么SvtPvRatio即为
Figure 29847DEST_PATH_IMAGE015
。
在另一种实施方式中，上述无效信息还可以包括GIvtUvRatio（General invalidTraffic Unique Visitor Ratio，GIVT用户端独立访客数比例），GIvtUvRatio表示待检测用户端中的GIVT用户端对于在同一个广告位中投放的待检测广告的独立访客数占待检测用户端对于在该同一个广告位中投放的该待检测广告的独立访客数的比例，例如，在第三预设时间段内，GIVT用户端对于在广告位Gw1中投放的待检测广告D*1的独立访客数为41，待检测用户端对于在广告位Gw1中投放的待检测广告D*1的独立访客数为100，那么GIvtUvRatio即为
Figure 570550DEST_PATH_IMAGE016
。
在另一种实施方式中，上述无效信息还可以包括SIvtUvRatio（Sophisticatedinvalid Traffic Unique Visitor Ratio，SIVT用户端独立访客数比例），SIvtUvRatio表示待检测用户端中的SIVT用户端对于在同一个广告位中投放的待检测广告的独立访客数占待检测用户端对于在该同一个广告位中投放的该待检测广告的独立访客数的比例，例如，在第三预设时间段内，SIVT用户端对于在广告位Gw1中投放的待检测广告D*1的独立访客数为52，待检测用户端对于在广告位Gw1中投放的待检测广告D*1的独立访客数为100，那么SIvtUvRatio即为
Figure 214021DEST_PATH_IMAGE017
。
在另一种实施方式中，上述无效信息还可以包括GIvtImpRatio（General invalidTraffic impression Ratio，GIVT用户端曝光量比例），GIvtImpRatio表示待检测用户端中的GIVT用户端对于在同一个广告位中投放的待检测广告的曝光量占待检测用户端对于在该同一个广告位中投放的该待检测广告的曝光量的比例，例如，在第三预设时间段内，GIVT用户端对于在广告位Gw1中投放的待检测广告D*1的曝光量为86，待检测用户端对于在广告位Gw1中投放的待检测广告D*1的曝光量为200，那么GIvtImpRatio即为
Figure 516564DEST_PATH_IMAGE018
。
在另一种实施方式中，上述无效信息还可以包括SIvtImpRatio（Sophisticatedinvalid Traffic impression Ratio，SIVT用户端曝光量比例），SIvtImpRatio表示待检测用户端中的SIVT用户端对于在同一个广告位中投放的待检测广告的曝光量占待检测用户端对于在该同一个广告位中投放的该待检测广告的曝光量的比例，例如，在第三预设时间段内，SIVT用户端对于在广告位Gw1中投放的待检测广告D*1的曝光量为78，待检测用户端对于在广告位Gw1中投放的待检测广告D*1的曝光量为200，那么SIvtImpRatio即为
Figure 448748DEST_PATH_IMAGE019
。
在另一种实施方式中，上述无效信息还可以包括GIvtClickRatio（Generalinvalid Traffic Click Ratio，GIVT用户端点击量比例），GIvtClickRatio表示待检测用户端中的GIVT用户端对于在同一个广告位中投放的待检测广告的点击量占待检测用户端对于在该同一个广告位中投放的该待检测广告的点击量的比例，例如，在第三预设时间段内，GIVT用户端对于在广告位Gw1中投放的待检测广告D*1的点击量为32，待检测用户端对于在广告位Gw1中投放的待检测广告D*1的点击量为400，那么GIvtClickRatio即为
Figure 793142DEST_PATH_IMAGE020
。
在另一种实施方式中，上述无效信息还可以包括SIvtClickRatio（Sophisticatedinvalid Traffic Click Ratio，SIVT用户端点击量比例），SIvtClickRatio表示待检测用户端中的SIVT用户端对于在同一个广告位中投放的待检测广告的点击量占待检测用户端对于在该同一个广告位中投放的该待检测广告的点击量的比例，例如，在第三预设时间段内，SIVT用户端对于在广告位Gw1中投放的待检测广告D*1的点击量为56，待检测用户端对于在广告位Gw1中投放的待检测广告D*1的点击量为400，那么SIvtClickRatio即为
Figure 494381DEST_PATH_IMAGE021
。
可见，本发明实施例所提供的方案中，电子设备可以针对每个待检测广告，获取第三预设时间段内显示该待检测广告的待检测用户端对该待检测广告的操作数据；针对每个待检测用户端，基于该待检测用户端的操作数据，按照预设的无效流量确定规则，确定该待检测用户端是否为虚假用户端；基于虚假用户端的操作数据及待检测用户端的操作数据确定无效信息。这样，电子设备可以确定无效信息，根据无效信息可以更加准确地确定待检测广告在待检测广告位的投放效果的评估等级。
作为本发明实施例的一种实施方式，上述针对每个待检测广告，获取第三预设时间段内显示该待检测广告的待检测用户端对该待检测广告的操作数据的步骤，包括：
针对每个待检测广告，获取第三预设时间段内显示该待检测广告的待检测用户端的网络日志；针对每个待检测用户端的网络日志，对该待检测用户端的网络日志进行解析，得到该待检测用户端的操作数据。
为了获取待检测用户端的操作数据，针对每个待检测广告，电子设备可以获取第三预设时间段内显示该待检测广告的待检测用户端的网络日志。其中，网络日志可以包括待检测用户端对于APP（Application，应用程序）、domain（域名）、URL（Uniform ResourceLocator，统一资源定位符）的访问请求。
在获取到第三预设时间段内待检测用户端的网络日志之后，针对每个待检测用户端的网络日志，电子设备可以对该待检测用户端的网络日志进行解析，获取该待检测用户端的操作数据，以便后续基于操作数据判断该待检测用户端是否为虚假用户端。对于电子设备对待检测用户端的网络日志进行解析的具体方式，可以采用日志解析领域的相关方式，在此不做具体限定及说明，只要可以对待检测用户端的网络日志进行解析得到操作数据即可。
在一种实施方式中，电子设备在得到每个待检测用户端的操作数据后，可以对每个待检测用户端的操作数据进行结构化处理，也就是将每个待检测用户端的操作数据以表格的形式存储在预设数据库中。
可见，本发明实施例所提供的方案中，电子设备可以针对每个待检测广告，获取第三预设时间段内显示该待检测广告的待检测用户端的网络日志；针对每个待检测用户端的网络日志，对该待检测用户端的网络日志进行解析，得到该待检测用户端的操作数据。这样，电子设备可以通过解析待检测用户端的网络日志得到待检测用户端的操作数据，可以为确定待检测用户端是否为虚假用户端带来方便。
作为本发明实施例的一种实施方式，在上述确定所述目标用户端对应的目标广告商的步骤之前，上述方法还可以包括：
确定目标用户端是否为虚假用户端；当目标用户端不为虚假用户端时，执行上述确定所述目标用户端对应的目标广告商的步骤。
在广告投放的过程中，通常存在广告作弊的情况，为了提高广告投放的效果，避免对广告商的利益造成损失，应当避免向虚假用户端投放广告。因此，电子设备在获取到目标用户端发送的针对广告位的广告投放请求后，可以确定目标用户端是否为虚假用户端。
当确定目标用户端为虚假用户端时，电子设备将不会向该目标用户端投放广告，也就是对虚假用户端进行屏蔽，此时电子设备可以不执行任何操作。当确定目标用户端不为虚假用户端时，电子设备可以向该目标用户端投放广告，那么电子设备可以执行上述确定所述目标用户端对应的目标广告商的步骤。
在一种实施方式中，电子设备可以预先确定待检测用户端是否为虚假用户端，并将确定的虚假用户端的标识信息、IP地址等信息进行存储，得到虚假用户端黑名单。当电子设备在获取到目标用户端发送的广告投放请求时，可以确定该目标用户端是否为虚假用户端黑名单中的用户端，如果是，可以确定该目标用户端为虚假用户端；如果不是，可以确定该目标用户端不为虚假用户端。
可见，本发明实施例所提供的方案中，电子设备可以在确定所述目标用户端对应的目标广告商的步骤之前，确定目标用户端是否为虚假用户端；当目标用户端不为虚假用户端时，执行确定所述目标用户端对应的目标广告商的步骤。这样，电子设备可以屏蔽为虚假用户端的目标用户端，避免向虚假用户端投放广告，提高广告投放的效果。
相应于上述基于流量信息评估的广告投放方法，本发明实施例还提供了一种基于流量信息评估的广告投放装置。下面对本发明实施例提供的一种基于流量信息评估的广告投放装置进行介绍。
如图5所示，一种基于流量信息评估的广告投放装置，所述装置包括：
广告商确定模块501，用于在获取目标用户端发送的针对广告位的广告投放请求时，确定所述目标用户端对应的目标广告商；
待投放广告位确定模块502，用于基于预设的投放定向规则，从所述广告位中确定待投放广告位；
待投放广告确定模块503，用于基于预先确定的所述目标广告商的每个广告分别在所述待投放广告位的投放效果的评估等级，从所述广告中确定所述待投放广告位的待投放广告；
其中，所述评估等级为等级评估模块预先基于广告位评估模型确定的，所述广告位评估模型为模型训练模块基于预先获取的多个流量信息样本对初始广告位评估模型进行训练得到的，每个所述流量信息样本包括第一预设时间段内目标广告在目标广告位的投放效果信息样本、所述目标广告的属性特征样本及所述目标广告位的属性特征样本。
广告投放模块504，用于在所述待投放广告位投放对应的待投放广告。
可见，本发明实施例所提供的方案中，电子设备可以在获取目标用户端发送的针对广告位的广告投放请求时，确定目标用户端对应的目标广告商；基于预设的投放定向规则，从广告位中确定待投放广告位；基于预先确定的目标广告商的每个广告分别在待投放广告位的投放效果的评估等级，从广告中确定待投放广告位的待投放广告，其中，评估等级为预先基于广告位评估模型确定的，广告位评估模型为基于预先获取的多个流量信息样本对初始广告位评估模型进行训练得到的，每个流量信息样本包括第一预设时间段内目标广告在目标广告位的投放效果信息样本、所述目标广告的属性特征样本及所述目标广告位的属性特征样本；在待投放广告位投放对应的待投放广告。电子设备可以预先通过广告位评估模型确定每个广告分别在待投放广告位的投放效果的评估等级，评估等级可以表征在对应的广告位中投放的广告的投放效果，这样可以确保待投放广告投放在待投放广告位中的投放效果更好，从而可以提高广告的投放效果。
作为本发明实施例的一种实施方式，上述等级评估模块（图5中未示出）可以包括：
信息获取子模块（图5中未示出），用于获取第二预设时间段内待评价广告在待评价广告位的投放效果信息、所述待评价广告的属性特征及所述待评价广告位的属性特征；
等级评估子模块（图5中未示出），用于将所述投放效果信息、所述待评价广告的属性特征及所述待评价广告位的属性特征输入广告位评估模型，确定所述待评价广告在所述待评价广告位的投放效果的评估等级。
作为本发明实施例的一种实施方式，如图6所示，上述模型训练模块（图5中未示出）可以包括：
样本获取子模块601，用于获取初始广告位评估模型及多个流量信息样本；
其中，每个所述流量信息样本包括第一预设时间段内目标广告在目标广告位的投放效果信息样本、所述目标广告的属性特征样本及所述目标广告位的属性特征样本。
标记子模块602，用于针对每个所述流量信息样本，基于该流量信息样本中的投放效果信息样本、目标广告的属性特征样本及目标广告位的属性特征样本，标记目标广告在目标广告位的投放效果的评估等级，作为标注等级；
预测子模块603，用于针对每个所述流量信息样本，将该流量信息样本输入所述初始广告位评估模型，确定目标广告在目标广告位的评估等级，作为预测等级；
参数调整子模块604，用于基于所述预测等级及对应的标注等级之间的残差，确定所述初始广告位评估模型的参数，直到所述初始广告位评估模型收敛，停止训练，得到所述广告位评估模型。
作为本发明实施例的一种实施方式，上述投放效果信息可以包括无效信息，上述投放效果信息样本包括无效信息样本，上述无效信息为通过无效信息获取模块获取的虚假用户端对应的投放效果信息。
作为本发明实施例的一种实施方式，上述无效信息获取模块（图5中未示出）可以包括：
操作数据获取子模块（图5中未示出），用于针对每个待检测广告，获取第三预设时间段内显示该待检测广告的待检测用户端对该待检测广告的操作数据；
虚假用户端确定子模块（图5中未示出），用于针对每个所述待检测用户端，基于该待检测用户端的操作数据，按照预设的无效流量确定规则，确定该待检测用户端是否为虚假用户端；
无效信息确定子模块（图5中未示出），用于基于所述虚假用户端的操作数据及所述待检测用户端的操作数据确定所述无效信息。
作为本发明实施例的一种实施方式，上述操作数据获取子模块可以包括：
网络日志获取单元（图5中未示出），用于针对每个待检测广告，获取第三预设时间段内显示该待检测广告的待检测用户端的网络日志；
解析单元（图5中未示出），用于针对每个所述待检测用户端的网络日志，对该待检测用户端的网络日志进行解析，得到该待检测用户端的操作数据。
作为本发明实施例的一种实施方式，上述广告商确定模块501可以包括：
虚假用户端确定子模块（图5中未示出），用于在确定所述目标用户端对应的目标广告商之前，确定所述目标用户端是否为虚假用户端；
执行子模块（图5中未示出），用于当所述目标用户端不为虚假用户端时，确定所述目标用户端对应的目标广告商。
本发明实施例还提供了一种电子设备，如图7所示，包括处理器701、通信接口702、存储器703和通信总线704，其中，处理器701，通信接口702，存储器703通过通信总线704完成相互间的通信，
存储器703，用于存放计算机程序；
处理器701，用于执行存储器703上所存放的程序时，实现上述任一实施例所述的基于流量信息评估的广告投放方法的步骤。
可见，本发明实施例所提供的方案中，电子设备可以在获取目标用户端发送的针对广告位的广告投放请求时，确定目标用户端对应的目标广告商；基于预设的投放定向规则，从广告位中确定待投放广告位；基于预先确定的目标广告商的每个广告分别在待投放广告位的投放效果的评估等级，从广告中确定待投放广告位的待投放广告，其中，评估等级为预先基于广告位评估模型确定的，广告位评估模型为基于预先获取的多个流量信息样本对初始广告位评估模型进行训练得到的，每个流量信息样本包括第一预设时间段内目标广告在目标广告位的投放效果信息样本、所述目标广告的属性特征样本及所述目标广告位的属性特征样本；在待投放广告位投放对应的待投放广告。电子设备可以预先通过广告位评估模型确定每个广告分别在待投放广告位的投放效果的评估等级，评估等级可以表征在对应的广告位中投放的广告的投放效果，这样可以确保待投放广告投放在待投放广告位中的投放效果更好，从而可以提高广告的投放效果。
上述电子设备提到的通信总线可以是外设部件互连标准（Peripheral ComponentInterconnect，PCI）总线或扩展工业标准结构（Extended Industry StandardArchitecture，EISA）总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器（Random Access Memory，RAM），也可以包括非易失性存储器（Non-Volatile Memory，NVM），例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器（Central Processing Unit，CPU）、网络处理器（Network Processor，NP）等；还可以是数字信号处理器（Digital SignalProcessing，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一实施例所述的基于流量信息评估的广告投放方法的步骤。
可见，本发明实施例所提供的方案中，计算机可读存储介质内存储的计算机程序被处理器执行时，可以在获取目标用户端发送的针对广告位的广告投放请求时，确定目标用户端对应的目标广告商；基于预设的投放定向规则，从广告位中确定待投放广告位；基于预先确定的目标广告商的每个广告分别在待投放广告位的投放效果的评估等级，从广告中确定待投放广告位的待投放广告，其中，评估等级为预先基于广告位评估模型确定的，广告位评估模型为基于预先获取的多个流量信息样本对初始广告位评估模型进行训练得到的，每个流量信息样本包括第一预设时间段内目标广告在目标广告位的投放效果信息样本、所述目标广告的属性特征样本及所述目标广告位的属性特征样本；在待投放广告位投放对应的待投放广告。电子设备可以预先通过广告位评估模型确定每个广告分别在待投放广告位的投放效果的评估等级，评估等级可以表征在对应的广告位中投放的广告的投放效果，这样可以确保待投放广告投放在待投放广告位中的投放效果更好，从而可以提高广告的投放效果。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一基于流量信息评估的广告投放方法。
可见，本发明实施例所提供的方案中，包含指令的计算机程序产品在计算机上运行时，可以在获取目标用户端发送的针对广告位的广告投放请求时，确定目标用户端对应的目标广告商；基于预设的投放定向规则，从广告位中确定待投放广告位；基于预先确定的目标广告商的每个广告分别在待投放广告位的投放效果的评估等级，从广告中确定待投放广告位的待投放广告，其中，评估等级为预先基于广告位评估模型确定的，广告位评估模型为基于预先获取的多个流量信息样本对初始广告位评估模型进行训练得到的，每个流量信息样本包括第一预设时间段内目标广告在目标广告位的投放效果信息样本、所述目标广告的属性特征样本及所述目标广告位的属性特征样本；在待投放广告位投放对应的待投放广告。电子设备可以预先通过广告位评估模型确定每个广告分别在待投放广告位的投放效果的评估等级，评估等级可以表征在对应的广告位中投放的广告的投放效果，这样可以确保待投放广告投放在待投放广告位中的投放效果更好，从而可以提高广告的投放效果。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线（例如同轴电缆、光纤、数字用户线（DSL））或无线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质（例如固态硬盘Solid State Disk (SSD)）等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种基于流量信息评估的广告投放方法，其特征在于，所述方法包括：
在获取目标用户端发送的针对广告位的广告投放请求时，确定所述目标用户端对应的目标广告商；
基于预设的投放定向规则，从所述广告位中确定待投放广告位；
基于预先确定的所述目标广告商的每个广告分别在所述待投放广告位的投放效果的评估等级，从所述广告中确定所述待投放广告位的待投放广告，其中，所述评估等级为预先基于广告位评估模型确定的，所述广告位评估模型为基于预先获取的多个流量信息样本对初始广告位评估模型进行训练得到的，每个所述流量信息样本包括第一预设时间段内目标广告在目标广告位的投放效果信息样本、所述目标广告的属性特征样本及所述目标广告位的属性特征样本；
在所述待投放广告位投放对应的待投放广告。
2.根据权利要求1所述的方法，其特征在于，所述评估等级的确定方式，包括：
获取第二预设时间段内待评价广告在待评价广告位的投放效果信息、所述待评价广告的属性特征及所述待评价广告位的属性特征；
将所述投放效果信息、所述待评价广告的属性特征及所述待评价广告位的属性特征输入广告位评估模型，确定所述待评价广告在所述待评价广告位的投放效果的评估等级。
3.根据权利要求1或2所述的方法，其特征在于，所述广告位评估模型的训练方式，包括：
获取初始广告位评估模型及多个流量信息样本，其中，每个所述流量信息样本包括第一预设时间段内目标广告在目标广告位的投放效果信息样本、所述目标广告的属性特征样本及所述目标广告位的属性特征样本；
针对每个所述流量信息样本，基于该流量信息样本中的投放效果信息样本、目标广告的属性特征样本及目标广告位的属性特征样本，标记目标广告在目标广告位的投放效果的评估等级，作为标注等级；
针对每个所述流量信息样本，将该流量信息样本输入所述初始广告位评估模型，确定目标广告在目标广告位的评估等级，作为预测等级；
基于所述预测等级及对应的标注等级之间的残差，确定所述初始广告位评估模型的参数，直到所述初始广告位评估模型收敛，停止训练，得到所述广告位评估模型。
4.根据权利要求3所述的方法，其特征在于，所述投放效果信息包括无效信息，所述投放效果信息样本包括无效信息样本，所述无效信息为虚假用户端对应的投放效果信息。
5.根据权利要求4所述的方法，其特征在于，所述无效信息的获取方式，包括：
针对每个待检测广告，获取第三预设时间段内显示该待检测广告的待检测用户端对该待检测广告的操作数据；
针对每个所述待检测用户端，基于该待检测用户端的操作数据，按照预设的无效流量确定规则，确定该待检测用户端是否为虚假用户端；
基于所述虚假用户端的操作数据及所述待检测用户端的操作数据确定所述无效信息。
6.根据权利要求5所述的方法，其特征在于，所述针对每个待检测广告，获取第三预设时间段内显示该待检测广告的待检测用户端对该待检测广告的操作数据的步骤，包括：
针对每个待检测广告，获取第三预设时间段内显示该待检测广告的待检测用户端的网络日志；
针对每个所述待检测用户端的网络日志，对该待检测用户端的网络日志进行解析，得到该待检测用户端的操作数据。
7.根据权利要求1所述的方法，其特征在于，在所述确定所述目标用户端对应的目标广告商的步骤之前，所述方法还包括：
确定所述目标用户端是否为虚假用户端；
当所述目标用户端不为虚假用户端时，执行所述确定所述目标用户端对应的目标广告商的步骤。
8.一种基于流量信息评估的广告投放装置，其特征在于，所述装置包括：
广告商确定模块，用于在获取目标用户端发送的针对广告位的广告投放请求时，确定所述目标用户端对应的目标广告商；
待投放广告位确定模块，用于基于预设的投放定向规则，从所述广告位中确定待投放广告位；
待投放广告确定模块，用于基于预先确定的所述目标广告商的每个广告分别在所述待投放广告位的投放效果的评估等级，从所述广告中确定所述待投放广告位的待投放广告，其中，所述评估等级为等级评估模块预先基于广告位评估模型确定的，所述广告位评估模型为模型训练模块基于预先获取的多个流量信息样本对初始广告位评估模型进行训练得到的，每个所述流量信息样本包括第一预设时间段内目标广告在目标广告位的投放效果信息样本、所述目标广告的属性特征样本及所述目标广告位的属性特征样本；
广告投放模块，用于在所述待投放广告位投放对应的待投放广告。
9.根据权利要求8所述的装置，其特征在于，所述等级评估模块包括：
信息获取子模块，用于获取第二预设时间段内待评价广告在待评价广告位的投放效果信息、所述待评价广告的属性特征及所述待评价广告位的属性特征；
等级评估子模块，用于将所述投放效果信息、所述待评价广告的属性特征及所述待评价广告位的属性特征输入广告位评估模型，确定所述待评价广告在所述待评价广告位的投放效果的评估等级。
10.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-7任一所述的方法步骤。
CN202010913318.4A 2020-09-03 2020-09-03 一种基于流量信息评估的广告投放方法、装置及电子设备 Pending CN111768251A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010913318.4A CN111768251A (zh) 2020-09-03 2020-09-03 一种基于流量信息评估的广告投放方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010913318.4A CN111768251A (zh) 2020-09-03 2020-09-03 一种基于流量信息评估的广告投放方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN111768251A true CN111768251A (zh) 2020-10-13

Family

ID=72729236

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010913318.4A Pending CN111768251A (zh) 2020-09-03 2020-09-03 一种基于流量信息评估的广告投放方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN111768251A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112183885A (zh) * 2020-10-21 2021-01-05 中国银联股份有限公司 一种位置确定方法及装置
CN112241902A (zh) * 2020-10-16 2021-01-19 上海触乐信息科技有限公司 确定广告转化率的方法、装置、存储介质和电子设备
CN112348600A (zh) * 2020-11-30 2021-02-09 广州至真信息科技有限公司 业务推广对象的维护方法、装置、计算机设备和存储介质
CN112435064A (zh) * 2020-11-27 2021-03-02 北京沃东天骏信息技术有限公司 推荐信息的评估方法、装置、设备及计算机可读存储介质
CN112488754A (zh) * 2020-11-30 2021-03-12 上海酷量信息技术有限公司 一种广告点击的反作弊系统和方法
CN112801712A (zh) * 2021-02-09 2021-05-14 杭州网易再顾科技有限公司 一种广告投放策略的优化方法及装置
CN113409092A (zh) * 2021-07-12 2021-09-17 上海明略人工智能(集团)有限公司 一种异常特征信息提取方法、系统、电子设备及介质
CN114255088A (zh) * 2021-12-28 2022-03-29 北京奇艺世纪科技有限公司 广告的评估方法、装置及计算机可读存储介质
CN114581146A (zh) * 2022-03-10 2022-06-03 北京乐我无限科技有限责任公司 模型评估方法、装置、电子设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105718879A (zh) * 2016-01-19 2016-06-29 华南理工大学 基于深度卷积神经网络的自由场景第一视角手指关键点检测方法
CN106127528A (zh) * 2016-06-30 2016-11-16 北京小米移动软件有限公司 广告投放方法及装置
CN108681915A (zh) * 2018-04-18 2018-10-19 北京奇艺世纪科技有限公司 一种点击率预估方法、装置及电子设备
CN109493136A (zh) * 2018-11-06 2019-03-19 广东工业大学 一种基于Xgboost算法的点击率预估方法及系统
CN110969490A (zh) * 2019-12-17 2020-04-07 天津亿玛科技有限公司 一种广告投放方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105718879A (zh) * 2016-01-19 2016-06-29 华南理工大学 基于深度卷积神经网络的自由场景第一视角手指关键点检测方法
CN106127528A (zh) * 2016-06-30 2016-11-16 北京小米移动软件有限公司 广告投放方法及装置
CN108681915A (zh) * 2018-04-18 2018-10-19 北京奇艺世纪科技有限公司 一种点击率预估方法、装置及电子设备
CN109493136A (zh) * 2018-11-06 2019-03-19 广东工业大学 一种基于Xgboost算法的点击率预估方法及系统
CN110969490A (zh) * 2019-12-17 2020-04-07 天津亿玛科技有限公司 一种广告投放方法和装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112241902A (zh) * 2020-10-16 2021-01-19 上海触乐信息科技有限公司 确定广告转化率的方法、装置、存储介质和电子设备
CN112183885A (zh) * 2020-10-21 2021-01-05 中国银联股份有限公司 一种位置确定方法及装置
CN112435064A (zh) * 2020-11-27 2021-03-02 北京沃东天骏信息技术有限公司 推荐信息的评估方法、装置、设备及计算机可读存储介质
CN112348600A (zh) * 2020-11-30 2021-02-09 广州至真信息科技有限公司 业务推广对象的维护方法、装置、计算机设备和存储介质
CN112488754A (zh) * 2020-11-30 2021-03-12 上海酷量信息技术有限公司 一种广告点击的反作弊系统和方法
CN112348600B (zh) * 2020-11-30 2024-09-17 广州至真信息科技有限公司 业务推广对象的维护方法、装置、计算机设备和存储介质
CN112801712A (zh) * 2021-02-09 2021-05-14 杭州网易再顾科技有限公司 一种广告投放策略的优化方法及装置
CN112801712B (zh) * 2021-02-09 2024-03-01 杭州网易再顾科技有限公司 一种广告投放策略的优化方法及装置
CN113409092A (zh) * 2021-07-12 2021-09-17 上海明略人工智能(集团)有限公司 一种异常特征信息提取方法、系统、电子设备及介质
CN113409092B (zh) * 2021-07-12 2024-03-26 上海明略人工智能(集团)有限公司 一种异常特征信息提取方法、系统、电子设备及介质
CN114255088A (zh) * 2021-12-28 2022-03-29 北京奇艺世纪科技有限公司 广告的评估方法、装置及计算机可读存储介质
CN114581146A (zh) * 2022-03-10 2022-06-03 北京乐我无限科技有限责任公司 模型评估方法、装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
CN111768251A (zh) 一种基于流量信息评估的广告投放方法、装置及电子设备
CN109426980B (zh) 确定广告竞价的方法、装置、服务器以及存储介质
CN108027830B (zh) 用于自动内容验证的系统和方法
WO2020248508A1 (zh) 广告渠道的评估方法、装置、设备和存储介质
US20160210657A1 (en) Real-time marketing campaign stimuli selection based on user response predictions
JP5144719B2 (ja) 大衆へ向けた製品プレースメント
US11144952B2 (en) Behavioral content discovery
US20120239489A1 (en) Method and system for viral promotion of online content
US20110214163A1 (en) Automated analysis of cookies
US8843619B2 (en) System and method for monitoring visits to a target site
CA2758401A1 (en) Measuring impact of online advertising campaigns
CN102385729A (zh) 一种广告投放策略的评估方法和装置
US10290026B2 (en) Advertisement snapshot recorder
CN115408586B (zh) 一种智能渠道运营数据分析方法、系统、设备及存储介质
US20170053307A1 (en) Techniques for detecting and verifying fraudulent impressions
US8538842B2 (en) System and method for financial analysis and brand index in brand valuation
US20200410542A1 (en) Real-time video ad evaluation
US10810632B1 (en) Adaptive bidding for networked advertising
US20230316106A1 (en) Method and apparatus for training content recommendation model, device, and storage medium
CN112819528A (zh) 人群包的上线方法、装置及电子设备
US9306958B2 (en) Methods, systems and media for detecting non-intended traffic using co-visitation information
CN113139826A (zh) 广告位的分配权限确定方法、装置、计算机设备
US11475475B2 (en) Methods, systems and media platform for increasing advertisement engagement with users
CN105138897A (zh) 确定用户权限的方法及装置
KR20120069938A (ko) 온라인 마케팅 분석 방법 및 온라인 마케팅 분석 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201013

RJ01 Rejection of invention patent application after publication