CN105450462A - 在线状态的监测方法和系统 - Google Patents
在线状态的监测方法和系统 Download PDFInfo
- Publication number
- CN105450462A CN105450462A CN201410315840.7A CN201410315840A CN105450462A CN 105450462 A CN105450462 A CN 105450462A CN 201410315840 A CN201410315840 A CN 201410315840A CN 105450462 A CN105450462 A CN 105450462A
- Authority
- CN
- China
- Prior art keywords
- content
- online
- key value
- primary key
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Information Transfer Between Computers (AREA)
Abstract
本申请提供一种在线状态的监测方法和系统。其中,该方法包括访问包含展现在线展示内容的展示位的网页,根据配置中的位置标识信息,获取并解析与在线展示内容相关的元素信息,获得与在线展示内容相关的请求信息的关键字段值;根据对展现在线展示内容的展示位的操作所产生的操作日志以及记录的对所述操作的响应消息内容,获取验证用的关键字段值;基于元素信息、请求信息关键字段值以及验证用的关键字段值进行校验以确定相应的展现在线展示内容的展示位的在线状态是否正常。由此可以简单便捷实时获取真实在线环境中海量状态信息/数据,准确、高效地监测并获取信息/数据,提升互联网和计算机系统处理性能、效率,降低处理成本。
Description
技术领域
本申请涉及互联网监测领域,尤其涉及一种在线状态的监测方法和系统。
背景技术
随着互联网技术的发展,对互联网各种状态信息进行监测和实时获取,能确定网络是否正常有效地运行。常见的在线监测、实时获取信息的一种应用,比如在线广告投放的状态信息实时获取以及广告位监测。在线广告展现后能否正常被用户点击并正常跳转,是广告投放后非常重要的网络技术的状态信息,通过这些广告位状态信息能够及时发现网络运行中出现的问题,比如点击广告后跳转的地址是否与广告投放主需求的跳转地址准确对应,或者,比如CPC广告的点击发生后,该项点击信息是否能准确反馈到广告联盟的计费系统,不会因为异常使得该项点击信息未能通过广告联盟的计费系统记录而损失广告商利益,等等。因而,需要有效便捷地实时获取这些广告位状态信息并监测众多的广告位。但由于广告位非常多,完成这些监测操作非常耗时,同时通过每天或每月的日志汇总和统计又不能及时发现问题。
现有技术中的一种方案采用模拟监测以发现可能存在的问题。如图1所示例子,通过浏览器模拟真实的用户访问展示有广告的页面,并点击以查看(监测)广告跳转的详细情况。具体地,可以使用浏览器依次把所有广告位所在的网页打开,查看页面上的所有广告位的广告,并点击广告,查看广告详情。然而,当广告位多达上千个时,人工完成这些页面操作,即使一个广告位检查需要2分钟,整体完成需要30多个小时,已经失去了实时监控的意义。但如果只是抽样检查,又不能统计到全部的广告位状态。更重要的是,人工检查,只能从网页看到最直观的广告是否可展现并跳转,没法看到或者校验到一些重要数据。例如,这个广告点击日志中对各种字段记录是否正常,比如用户点击行为发生时的ip收集是否正确,或者在广告详情的url上添加的业务参数是否合理等等。
因而,该现有技术的方案对广告位监测很受局限,费时费力,效率低下,不能全方位验证详细到字段级别的广告位状态信息。
现有技术中,还提供了另一种方案去模拟监测以发现可能存在的问题。如图2所示例子,利用php脚本语言完成编码,模拟构造与每个pid对应的http广告请求串,直接批量请求并获取返回结果。其中,该点击串格式与线上真实广告点击串格式相同。其中,pid是广告位的唯一标识字段名称(即广告位的编号,通常由数字、字母和下划线构成,即根据该编号来区分广告位,例如400001_1234)。具体地,首先,构造每个pid对应的http广告请求串;然后,依次发送这些广告请求串;获取返回的http请求的response内容,比如服务端响应码、服务端转发地址等等;远程获取到点击服务器上的点击日志;把请求串与日志都解析开来进行匹配,关键字段必须符合一定的对应规则。
由于该现有技术提供的方案通过代码直接模拟,可以快速完成所有pid的点击请求串从构造到最终验证的所有步骤,平均每个pid只需耗时低于1s。相比手工验证,速度有显著提升,而且,涉及的人工操作少,只需要完成一个触发脚本运行的命令。因而,在很大程度上有助于提升效率。因为代码可以快速抓取到日志服务器的日志,然后完成广告点击日志的解析,再与请求串中的字段进行快速运行匹对,这个过程人工几乎无法做到。并且,也增加了更多的校验点:由于代码可以快速抓取到日志服务器的日志,然后完成广告点击日志的解析,再与请求串中的字段进行快速运行匹对,这个过程人工几乎无法做到。
但是,该方案毕竟是通过代码模拟广告点击串,与线上真实广告点击串存在差异:线上环境中展现出来的点击串是经过一系列复杂的系统处理而生成,而非在另设的一套环境中模拟构造而产生,现实的线上环境中,有可能点击服务正常但线上点击串生成有误导致无法被正常解密;另外,模拟的点击串会在某些字段上忽略上下游接口数据的要求,而只关注保证测试点击服务有关的字段。由此,该方案并不能验证线上真实展现出来的“广告位状态”,而仅仅验证了“广告点击跳转服务”。其中,“广告位状态正常”代表着在该广告位上投放的广告本身是没有问题的前提下,广告能否正常展现并且可以被点击跳转。广告位的状态不等同于广告的状态,因为一个广告位可以每次投放不同的广告。广告状态是基于广告位才存在的。没有广告位,广告对用户而言不可见,也可以理解为是没有状态。“状态信息”即广告位状态信息,包含了能从任何一个方面代表“广告位状态”的所有相关信息。
因此,需要提供一种在线状态的监测方案,以准确、高效、简单便捷地实时获取真实在线环境中的海量状态信息/数据。
发明内容
本申请的主要目的在于提供一种在线状态的监测方法和系统,以解决简单便捷地实时获取真实在线环境中的海量状态信息/数据的问题,进而能解决准确、高效地进行监测并获取信息/数据,提升互联网和计算机系统处理性能,降低处理成本,提升处理效率等问题。
本申请一方面提供一种在线状态的监测方法,包括:访问包含展现在线展示内容的展示位的网页,并根据配置中的位置标识信息,获取与在线展示内容相关的元素信息;根据解析与在线展示内容相关的元素信息,获得与在线展示内容相关的请求信息的关键字段值;根据对展现在线展示内容的展示位的操作所产生的操作日志以及记录的对所述操作的响应消息内容,获取验证用的关键字段值;基于获取的元素信息、请求信息关键字段值以及验证用的关键字段值,进行校验,以确定相应的展现在线展示内容的展示位的在线状态是否正常。
其中,访问包含展现在线展示内容的展示位的网页,并根据配置中的位置标识信息,获取与在线展示内容相关的元素信息,包括:确定展示位的展现目标网页和位置,并获得所有配置中的位置id信息;根据所述位置id信息,生成位置信息列表以定位展示位,并依次访问包含有所述展示位的网页;从包含有相应展示位的网页中,获取与相应展示位上展现的在线展示内容相关的元素信息。
其中,根据解析与在线展示内容相关的元素信息,获得与在线展示内容相关的请求信息的关键字段值,包括:其中,与在线展示内容相关的元素信息,包含展示位上对其展现的所述在线展示内容的所述请求信息。
其中,根据解析与在线展示内容相关的元素信息,获得与在线展示内容相关的请求信息的关键字段值,包括:基于位置id信息和与在线展示内容相关的元素信息,根据在线展示内容的不同类型,对于在线展示内容相关的元素信息所包含的请求信息,采用不同的解析方式,以获得所述请求信息的关键字段值;将所述请求信息的关键字段值进行存储。其中,根据对展现在线展示内容的展示位的操作所产生的操作日志以及记录的对所述操作的响应消息内容,获取验证用的关键字段值,包括:基于对在线展示内容的展示位所在位置的操作,按照展示位上对在线展示内容的请求信息发送请求;记录对应该请求的响应消息内容,并记录对应该操作的日志文件的日志文件名;从所述响应消息内容中提取响应关键字段值,以及基于解析所述操作日志,获得日志关键字段值;将响应关键字段以及日志关键字段作为验证用的关键字段值,并存储所述验证用的关键字段值。
其中,基于获取的元素信息、请求信息关键字段值以及验证用的关键字段值,进行校验,以确定相应的展现在线展示内容的展示位的在线状态是否正常,包括:所述校验基于综合比对方式进行验证,包括:比对展示位所包含的对在线展示内容的所述请求信息的关键字段值与所述操作日志中相对应的关键字段值;验证所述操作日志中生成的关键字段值;验证响应消息内容中记录的关键字段值中的响应后目标地址和http响应状态代码。
其中,还包括:基于对所有展现在线展示内容的展示位进行的所述校验,返回在线状态的监测结果。
本申请另一方面提供一种在线状态的监测系统,包括:第一获取装置,用于访问包含展现在线展示内容的展示位的网页,并根据配置中的位置标识信息,获取与在线展示内容相关的元素信息;第一解析装置,用于根据解析与在线展示内容相关的元素信息,获得与在线展示内容相关的请求信息的关键字段值;第二获取装置,用于根据对展现在线展示内容的展示位的操作所产生的操作日志以及记录的对所述操作的响应消息内容,获取验证用的关键字段值;校验装置,基于获取的元素信息、请求信息关键字段值以及验证用的关键字段值,进行校验,以确定相应的展现在线展示内容的展示位的在线状态是否正常。
其中,第一获取装置,包括:配置模块,用于确定展示位的展现目标网页和位置,并获得所有配置中的位置id信息;访问模块,用于根据所述位置id信息,生成位置信息列表以定位展示位,并依次访问包含有所述展示位的网页;第一获取子模块,用于从包含有相应展示位的网页中,获取与相应展示位上展现的在线展示内容相关的元素信息。其中,第一解析装置,包括:与在线展示内容相关的元素信息,包含展示位上对其展现的所述在线展示内容的所述请求信息。
其中,第一解析装置,包括:基于位置id信息和与在线展示内容相关的元素信息,根据在线展示内容的不同类型,对于在线展示内容相关的元素信息所包含的请求信息,采用不同的解析方式,以获得所述请求信息的关键字段值;将所述请求信息的关键字段值进行存储。
其中,第二获取装置,包括:操作记录模块,基于对在线展示内容的展示位所在位置的操作,按照展示位上对在线展示内容的请求信息发送请求,以记录对应该请求的响应消息内容,并记录对应该操作的日志文件的日志文件名;第二获取子模块,从所述响应消息内容中提取响应关键字段值,以及基于解析所述操作日志,获得日志关键字段值,以便将响应关键字段以及日志关键字段作为验证用的关键字段值,并存储所述验证用的关键字段值。
其中,校验装置,包括:所述校验基于综合比对方式进行验证,包括:比对展示位所包含的对在线展示内容的所述请求信息的关键字段值与所述操作日志中相对应的关键字段值;验证所述操作日志中生成的关键字段值;验证响应消息内容中记录的关键字段值中的响应后目标地址和http响应状态代码。
其中,还包括:返回装置,基于对所有展现在线展示内容的展示位进行的所述校验,返回在线状态的监测结果。
本申请再一方面提供一种在线状态的监测方法,包括:配置处理,由配置得到位置id信息,建立位置信息列表,确定要监测状态展示位所在网页以及展示位所处网页上页面位置;请求处理,调用浏览器打开服务,以位置id信息所生成的位置信息列表为基础,依次访问配置中指定的展示位所在网页,并且,从展示位的位置抓取所包含的在线展示内容列表,获得所有与其展现的在线展示内容有关的元素信息,其中包含请求在线展示内容详情页的请求信息;模拟操作处理,在打开的包含所述展示位的网页上,模拟对展示位上的在线展示内容的操作,记录相应于该操作的响应消息内容、以及记录产生操作日志文件的日志名;数据分析处理,对所述请求信息进行解析以得到元素信息关键字段值、对记录的响应消息内容进行提取以得到响应的关键字段值、以及对经日志获取处理所抓取的对应记录的日志名的日志文件进行解析而得到日志的关键字段值,并将响应关键字段值和日志关键字段值作为验证用的关键字段值,以便与元素信息、元素信息关键字段值进行校验,确定所述展示位的状态是否正常。
本申请又一方面提供一种在线状态的监测系统,包括:配置装置,由配置得到位置id信息,建立位置信息列表,确定要监测状态展示位所在网页以及展示位所处网页上页面位置;请求装置,调用浏览器打开服务,以位置id信息所生成的位置信息列表为基础,依次访问配置中指定的展示位所在网页,并且,从展示位的位置抓取所包含的在线展示内容列表,获得所有与其展现的在线展示内容有关的元素信息,其中包含请求在线展示内容详情页的请求信息;模拟操作装置,在打开的包含所述展示位的网页上,模拟对展示位上的在线展示内容的操作,记录相应于该操作的响应消息内容、以及记录产生操作日志文件的日志名;数据分析装置,对所述请求信息进行解析以得到元素信息关键字段值、对记录的响应消息内容进行提取以得到响应的关键字段值、以及对经日志获取处理所抓取的对应记录的日志名的日志文件进行解析而得到日志的关键字段值,并将响应关键字段值和日志关键字段值作为验证用的关键字段值,以便与元素信息、元素信息关键字段值进行校验,确定所述展示位的状态是否正常。
与现有技术相比,根据本申请的技术方案,可以根据需求,实时对需要监测的网页页面上的位置、区域、内容执行监测,包括监测展现在线展示内容的展示位、以及该展示位上展现的在线展示内容被操作时是否能正常动作的各种状态,如该展示位上在线展示内容被点击、被请求、正常跳转反馈状态代码等,从而提供了便捷简单低成本地实时获取并监测众多的网页页面及页面上众多展现内容的位置、区域的方案,进一步,其能覆盖到所有pid,验证真实的页面展现用的位置状态,提高了在线数据/信息实时监测和获取的效率,提升了网络和计算机系统处理的性能。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是现有的一种采用模拟方式进行在线状态的监测的示意图;
图2是现有的另一种采用模拟方式进行在线状态的监测的示意图;
图3是本申请的在线状态的监测方法的一实施例的流程图;
图4是本申请的在线状态的监测方法的获取元素信息的一实施例的流程图;
图5是本申请的在线状态的监测方法的日志解析的一实施例的流程图;
图6是本申请的在线状态的监测系统的一实施例的结构框图;
图7是本申请的一应用实例的示意图。
具体实施方式
本申请的主要思想在于,访问包含配置中所指定的展示位的网页,基于展示位在网页的位置获取该网页上与每个展示位展现的在线展示内容相关的元素信息,解析出对于该在线展示内容的请求信息的关键字段值;并且,从对所述展示位上展现的在线展示内容的操作所产生的响应消息内容和操作日志进行解析而获得验证用的关键字段值;进而,将元素信息、请求信息关键字段值、日志关键字段值等进行校验,以确定相应的在线展示内容所处的位置的在线状态是否正常。本申请的应用,比如,在线广告展现中,可以监测投放的广告在广告位上被点击并跳转的状态,便捷简单低成本地实时获取并监测众多的广告位,能覆盖到所有pid,验证真实的广告位状态,提高了在线数据/信息实时监测和获取的效率,提升了网络和计算机系统处理的性能。
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
根据本申请的实施例,提供了一种在线状态的检测方法。
参考图3,图3是本申请的在线状态的监测方法的一实施例的流程图300。
在一个实施方式中,当互联网平台(例如互联网广告推广平台等)执行监测任务时,启动(开始)监测应用(应用程序),可以对包含展示位的网页实现数据实时获取、监测、以及检验等。这里,监测包括了对平台提供的网页以及网页上的内容、状态和动作等的检测和监控等。
在步骤S310处,访问包含展现在线展示内容的展示位的网页,并根据配置中的位置标识(位置id)信息,获取与在线展示内容相关的元素信息。
其中,展现在线展示内容的展示位,是指平台提供的在网页页面确定的位置上,进行在线展示内容展现的区域或空间,而该位置即为展示位在页面的位置。比如,互联网平台加载到终端用户浏览器的页面上展现内容的展示位,例:网页上展现广告的“广告位”。
其中,配置是一种平台具备的涉及展示位及其相关网页的匹配关系文件,其可以预先被存储。配置中可以包含3个重要字段,分别是展示位的编号pid、提供该pid对应的展示位的网页的url地址、在网页中某个位置所处的ul的id即展示位在该网页上的位置id。配置中的3个重要字段的形式依次例如:
400001_1234:http://www.baobao.com,J_SaleBd
400001_1235:http://www.ballball.com,J_SaleBc
这里,一个pid只出现一次;一个位置id可以用于一个或多个在线展示内容的展现即安放多个展示位,例如下表1所示:<ulid>中的J_SaleBd指示的位置下,有12个<li>对应展现在线展示内容,即12个展示位。
由于pid是平台产生的,则平台已知要监测的展示位。平台可以将包含pid等信息的配置,在进行监测之前就确定并存储,如:存储在数据库中。以互联网推广平台上的广告位为例,广告位的编号(pid)是平台产生的,平台确定所要监测的广告位是哪些。
其中,配置中的位置标识信息即位置id信息,包括配置中的各个字段的信息。位置id信息,可以指定互联网平台要监测的、在网页上展现在线展示内容的展示位。
监测期间,当基于预先存储的配置中位置id信息所指示的要监测的展示位而访问包含该展示位的网页时,还可以根据配置中的位置id信息,获取与该展示位上的被展现的在线展示内容相关的元素信息,如表1所示的ul和li等页面元素信息。进一步,存储这些元素信息。
例如:互联网推广平台在线展示广告技术,网页的页面上设置有展示广告的广告位。当平台进行监测(或检测)时,读取预先存储的配置,由配置中的位置id信息所指定的要监测的广告位,依次访问所有包含对应广告位的目标网页,获得对应的所有关于广告位和广告(列表)等页面元素信息(如表1所示)。例如:确定包含有广告位的网页,并从网页的广告位所在位置处抓取展示的广告(广告列表)等。
在一个实施方式中,参见图4所示的本申请的在线状态的监测方法的获取元素信息的一实施例的流程图。
在步骤S410处,在确定展示位的展现目标网页和位置后,获得所有配置中的位置id信息。
其中,当平台执行监测时,从平台预先存储的配置中,获得所有配置中的位置id信息包括:所有的pid、提供pid对应的所述展示位的网页(即展现目标网页)的url和展示位在所述网页上的位置id,并存储到一个文件中,比如:存储到一个列表文件中,形成位置信息列表。
具体地,从平台在数据库里存储的配置中,读取配置中指定要监测的展示位(即由位置id信息确定的展示位),可以根据展示位找到其pid,进而确定该pid具体展现到的网页的url即展现目标网页(url)和展示位在目标网页的页面位置(位置id);然后,将配置中的所有的位置id信息都读取出,即获得所有的pid、网页url和位置id,进一步,存储到一个列表文件,以生成位置信息列表。以在线广告展示为例:平台执行在线监测,读取平台预存的配置指示的广告位,得到广告位的pid以确定该pid展现到的网页的url即广告位展现目标网页、该广告位在该网页上的位置;然后,从配置中获取所有的需要进行监测的广告位的编号pid、提供所述广告位的网页的url、放置了该广告位的位置id等字段的内容;进一步,将获得的所有pid、网页url和位置id存储到一个列表文件。
该位置信息列表,是用于定位在线展示内容所在平台以及平台为其提供的页面的位置的一种信息,该页面的位置即展示位放置的位置也即在线展示内容在页面展现的位置。以在线广告为例:由位置信息列表能定位广告所在网页地址以及广告在页面中的具体位置,即广告位的位置,例如:参见表1描述的页面上<ulid>指示的区域下有12个固定位置用于展现广告。生成的位置信息列表如包含所有如下位置id信息,(1)~(12)即在http://www.baobao.com网页的位置idJ_SaleBd所指示页面的位置处展现在线展示内容的12个展示位即12个pid所对应的展示位:
(1)400001_1234:http://www.baobao.com,J_SaleBd
(2)400001_1239:http://www.baobao.com,J_SaleBd
……
(12)400001_1238:http://www.baobao.com,J_SaleBd
(13)400001_1235:http://www.bobao.com,J_SaleBc在步骤S420处,根据所述位置id信息所生成的位置信息列表,定位展示位,并依次访问包含有所述展示位的网页。
具体地,根据位置id信息生成位置信息列表,可以通过对在线展示内容的请求方式,由平台调用浏览器打开网页(页面)服务,按照该位置信息列表所对应的展现在线展示内容的展示位即位置信息列表中pid所对应的展示位,以及由位置信息列表定位这些展示位所处页面位置,依次访问包含了这些展示位的网页。以在线广告为例:通过广告请求方式,调用浏览器打开页面的服务,根据广告位的位置信息列表,依次访问含有相应广告位的网页。
在步骤S430处,从包含有相应展示位的网页中,获取与相应展示位上展现的在线展示内容相关的元素信息。
其中,访问的网页,包含有由位置信息列表定位的展示位。而位置信息列表中包含来自配置的位置id信息,即展示位的编号pid、网页url和在网页某位置所处ul的id(位置id)。在访问的网页上,按照位置id即ul的id,可以获取所有与位置id处的展示位所展现的在线展示内容相关的元素信息。比如,抓取元素ul对应的在线展示内容列表,列表中包含元素li对应的在线展示内容的信息,进而在网页的html页面元素中获得所有与展示位上展现的在线展示内容相关的元素信息。进而存储这些元素信息。
参见表1的例子,可以在该网页的html页面元素信息中,根据元素ul的id,来找到其中的一个或多个元素li,该一个或多个li元素对应一个或多个在线展示内容的信息。以在线广告为例:访问在包含广告位的网页,抓取广告位所包含的广告列表,获得所有ul的id对应的一个或多个li元素(页面元素信息),一个li与广告列表中的一个广告的信息对应。
下面以表1所示在线广告为例进行说明。以配置中的位置id信息为基础生成位置信息列表,依据位置信息列表,可以在访问的网页的页面的几个固定位置提供广告位展现广告,如:一个网站首页的最下方即<ulid>J_SaleBd处有12个位置,作为广告位展现广告。参见表1所示的本申请的方法一实施例的html页面元素信息。表1中,ul为html语言中的一种标签,用来定义无序列表,li同样也是html的一种标签,用来定义列表项。在<ul></ul>中写入<li>就可以构成一个无序列表。其中,ul标签具有多种属性,比如标识id、类class等。其中,该id用来标示这个ul在一个html页面中的唯一性。标签、属性及其内容,都属于页面元素信息。
此例中,页面元素ul可以用于创建广告位列表;页面元素li可以给出每个广告位的点击串,点击串可以是加密的广告位信息,可以确定具体广告位的位置。
其中,由pid和url指定的广告位及其对应目标网页,其html的页面元素信息中,元素ul中id为J_SaleBd的下面有12个元素li,每个元素li里面都对应有一个广告点击串,点击这个广告点击串可以跳转到广告对应的详情页面。也即,访问具有广告位的网页时,可以从其html的页面元素信息中,由页面上的位置id“J_SaleBd”(元素ul中的id)找到该位置下的12个元素li,从而获得12个广告位上展现的与广告相关的元素信息。
表1:
在步骤S320处,根据解析与相应展示位上展现的在线展示内容相关的元素信息,获得与在线展示内容相关的请求信息的关键字段值。
具体地,可以基于配置中的位置id信息以及获得的与相应展示位上展现的在线展示内容相关的元素信息,进行解析,以便获取该相应的展示位包含的、对于其展现的在线展示内容的请求信息的关键字段值。关键字段值包含相应的关键字段和该字段的具体值。进而,存储这些关键字段值。
其中,所述元素信息,包括上一步骤中的元素ul所对应的在线展示内容列表,而在线展示内容列表中包含了一个或多个在线展示内容的信息,一个或多个在线展示内容的信息对应一个或多个元素li。
其中,这些在线展示内容是具有类型属性的,而这些在线展示内容的类型可以相同或不同。并且,与在线展示内容相关的页面元素信息中,包含有相应的对在线展示内容的请求信息,用于请求处于相应的展示位上的在线展示内容,例如:跳转页面的请求串(点击串)参见表1的页面元素信息li所示,可以是加密的请求串。
进一步,在线展示内容的请求信息,可以包括相应的关键字段信息或者说关键字段值。对于不同类型的在线展示内容,则对应有不同的在线展示内容请求信息(或者说请求串,例如:一系列请求代码、编码等)。
进一步,由于类型不同,对应的后台服务应用不同,其生成的在对应展示位的对在线展示内容的请求信息不同,如:点击后产生的跳转命令代码或链接等请求串不同,进而,相应的关键字段的参数、加解密方式不同,解析这些请求串以得到关键字段的方式也不同。
进一步,解析与在线展示内容相关的元素信息,包括解析在线展示内容列表。具体地,可以根据在线展示内容的不同类型,针对相应展示位上对在线展示内容的请求串,采用不同的解析方式。进而,将解析完成后获得的关键字段值进行存储。其中,关键字段值可以包括各种参数信息(如参数值)。
承上述在线广告例,可以解析广告列表信息,根据广告类型如CPC、CPM等的不同,对相应广告位的广告请求串采用不同的解析方式,以获得相应的关键字段值,进而存储这些解析完成的关键字段值。
其中,CPC为按照点击付费的广告类型,每个广告在广告位被展现出来后,用户点击一次,就扣除对应广告的广告主一定的费用,费用扣除完则不再展现其广告;CPM为按照千次展现付费的广告类型,假如单价是1元则每展现一千次,扣除对应广告的广告主1元的费用。由于广告类型不同,广告点击串(即请求串)的字段参数不同,加密解密方式不同,从而对广告请求串的解析方式也就不同。
如CPC广告类型点击串(广告请求串即对在线展示内容操作)在加密前的关键字段的信息即包含的内容,包括:版本号、广告展现时间、广告来源、广告展现ip、目标地址等一种或多种。其中,“版本号”,用来区别点击串的版本,不同版本字段可能有差异。“广告展现时间”,为广告展现时(生成点击串)的时间。“广告来源”,用来区别该广告是来自于b2b、etao、Taobao或其他外部广告主等。“广告展现ip”,为广告在浏览器端展现时,该浏览器所在的ip。“目标地址”,为广告详情页的地址,就是广告点击后需要跳转过去的地址。
在步骤S330处,根据对展现在线展示内容的展示位的操作所产生的操作日志以及记录的对所述操作的响应消息内容,获取验证用的关键字段值。
其中,关键字段值包含相应的字段和该字段的具体值。
在一个实施方式中,参见图5所示的本申请的在线状态的监测方法的获取验证用关键字段值的一实施例的流程图。
在步骤S510处,对在线展示内容的展示位所在位置进行操作,以根据所述展示位上对在线展示内容的请求信息发送请求,记录对应该请求的响应消息内容和对应该操作的日志文件名。
其中,对在线展示内容的展示位所在位置进行操作(如:点击等),从而,可以根据展示位上对在线展示内容的请求信息发送请求。具体地,平台执行监测时,访问包含有配置指示的展示位所在网页,可以模拟用户对在线展示内容的展示位所处位置进行操作,获得展示位上对其展现的在线展示内容的请求串,依据该请求串发送跳转到在线展示内容的详情页的访问请求,等等。
由该操作,可以获得对该操作的响应消息内容,如:http请求响应返回给浏览器的Response消息内容,进而,记录这些响应消息内容。
由该操作,平台对应的操作处理(或操作服务)会产生对应展示位上展现的在线展示内容的操作日志(即在线展示内容日志),并将日志存储在日志服务器中。进而,平台执行的该监测处理(监测服务)则会将该存储在日志服务器中的相应于该操作的日志文件名(名称)与该响应消息内容一并做记录。这样可以根据平台记录的日志文件名,在日志服务器的相应的日志文件中去提取相应的日志。
具体地,操作可以是终端用户在访问平台加载到浏览器的网页时,在网页进行的如:点击、鼠标放置持续一预设定的时间长度、滑动滚动条、选择等操作。终端用户的操作,能够获得相应展示位(元素li)中对其在线展示内容的请求信息(请求串)而发送请求。基于请求而发生跳转,可以向服务器请求该在线展示内容的详情页。跳转过程中,由所述请求信息产生目标地址和状态代码(url目标地址和httpresponse状态代码)等。完成跳转后,平台监测处理会记录这些目标地址、状态代码等。另外,由该操作,经操作处理(服务)生成对应的在线展示内容的操作日志并保存在日志服务器上,平台监测处理会记录相应的操作日志名,以便之后能够在日志服务器上提取相应的日志进行后续处理。
其中,平台上的操作处理/操作服务(如点击服务等)可以根据当前时间段来为日志命名,每半个小时的日志都在同一个文件里,如201405091100代表11点00分到11点29分的操作日志。由此,平台的状态监测处理会记录下这个预期的文件名称,后面在获取的时候,可以根据名称直接快速去获取。而不用拿到所有的日志文件从其中去找。
进一步,平台上的操作服务,除了获得终端用户访问平台网页时进行操作的直接信息,还会依据该操作从平台的其他处理或服务中获得与该操作以及该直接信息相关的其他信息,以这些信息为基础生成操作对应的日志文件。
其中,脚本代码在发送请求之后,直接获取跳转后的url目标地址和httpresponse状态代码等对应该操作的响应消息内容,并记录响应消息内容(例:记录根据该请求跳转后的url目标地址和httpresponse状态码等)。而发送请求之后,浏览器是否真正跳转到正确的详情页,并且详情页页面的正常显示,也由脚本代码获取和判断,并作为响应消息内容的一部分进行记录。
在步骤S520处,根据验证请求,从记录的所述响应消息内容以及已经记录的所述日志文件名所获取的日志中,获取相应的验证用的关键字段值。
具体地,可以由脚本代码从响应消息内容中提取关键字段值(或称为响应关键字段值),并且,从服务器提取对应日志文件名的日志,进行解析,以获得日志的关键字段值(或称为日志关键字段值)。响应关键字段值和日志关键字段值都是用于验证用的关键字段值。进而,可以存储这些验证用的关键字段值。
进一步,可以基于平台的监测需求,在准备进行校验的时候,按照日志文件名从存储在线展示内容的日志的日志服务器中,远程抓取出被操作过的在线展示内容的日志,比如从日志服务器中远程抓取出所点击的在线展示内容的日志。对日志进行解析,比如,采用如步骤320的解析方式,基于所述在线展示内容的日志,获得对应的关键字段以及其关键字段值,即日志关键字段值,并存储起来。同样,从记录的响应消息内容中,提取出对应的关键字段及其关键字段值,即响应关键字段值,并存储起来。
在一个例子中:在平台被终端用户通过浏览器访问时,网页的页面加载到浏览器,终端用户在页面展现的在线展示内容的位置进行操作(如:点击),该操作将依据展示位置上的对相应的在线展示内容的请求信息(如:请求串)发起请求,以便向服务器端请求该在线展示内容的详情页(跳转到该详情页)。进而,平台监测处理可以通过脚本代码可以获得并记录跳转后的统一资源定位器url目标地址(即响应后的目标地址)和对超文本转移协议http请求的服务器返回代码即httpresponse状态代码等针对操作的响应消息内容;并且,依据该终端用户的操作以及与该操作相关的平台其他处理相关的数据,生成操作日志,将操作日志存储到日志服务器中,由平台监测处理记录下该操作日志的日志文件名。当平台执行监测需要做验证时,可以从记录的响应消息内容中提取、以及对远程抓取的日志进行解析,从而获得验证用的关键字段值。
以在线广告为例,可以点击广告位上的广告,由此获得广告位上对广告的点击串。而进一步,平台的广告系统可以依据该点击串发生跳转,发送请求以访问广告的详情页。发送请求后,脚本代码记录跳转后的URL目标地址(即详情页地址)和服务器返回代码即httpresponse状态代码等(响应消息内容),并且,记录下保存到日志服务器上对应该操作的广告的广告日志的日志文件名。其中,广告日志可以通过平台上展现广告的广告系统利用点击服务处理(程序),在其展现的该广告被点击时得到的直接信息(广告编号、广告主名称、价格、等等),以及该广告系统利用该点击服务处理,依据该点击和该直接信息从平台的其他服务处理得到的相关的其他信息(广告商品的折扣、点击用户的优惠、点击时段的优惠、等等),而生成对应的广告日志文件。在平台监测期间,需要进行验证时,可以从记录的响应消息内容中提取关键字段值,并且,从日志服务器中,远程抓取出该点击操作的广告的日志,解析该日志,获得对应的关键字段值,并存储这些关键字段值。将日志解析获得的、以及响应消息内容中提取的关键字段值作为验证用的关键字段值。
在步骤S340处,基于获取的元素信息、请求信息关键字段值以及验证用的关键字段值,进行校验,以确定相应的展现在线展示内容的展示位的在线状态是否正常。
其中,基于由步骤S310获取的元素信息(页面元素)、由步骤S320解析获得的请求信息的关键字段值、由步骤S330获得的验证用的关键字段值等信息和关键字段值进行校验。其中,以元素信息以及请求信息的关键字段值为基础,将模拟操作展示位所得到的验证用的关键字段值与之比较、运算等,确定模拟操作中该展示位是否是正常状态。
比如,可以利用综合比对等方式,对页面元素信息、各种关键字段值等数据的进行校验(或者说验证),从而确定相应的展示位是否状态正常,即平台监测以确认展示位的在线状态是否正常。
其中,在线展现用的展示位状态是否正常,包括:展示位的操作是否正常,即该展示位是否能被用户正确操作;是否能正常获得该展示位所包含的对相应的在线展示内容的请求信息,进而,该请求信息是否正确产生目标地址以向服务器请求跳转;是否发生正常的跳转动作并获得正确反馈,即状态代码所表现的是否正确完成在线展示内容详情页的加载等;响应消息内容记录的跳转后的目标地址和状态代码;在线展示内容的日志;等等。
以在线广告为例,综合比对可以包括对以下内容的验证:
(1)比对广告位所包含的广告的点击串中与点击日志对应的字段,主要包括:Pvid、pvip、pvacookie、pv时间、点击时间、广告位id、广告客户id(即广告主id)、广告价格、产品类型、产品子类型、广告类目、广告目标地址等。具体的,不同字段,验证方式不同。例如:pvid应当是一个32位的数字,pvip的格式应当是符合正常的ip地址的规则,广告位id应当与配置信息中的pid相同,点击时间必须是在pv时间之后且为一个正常的时间值,广告价格在一个正常的区间,广告客户id或者广告类目等则只需点击串中的该字段与点击日志中字段相同即可,等等。
其中,Pvid:广告展现id,就是广告展现一次,会生成一条展现日志,每条日志的唯一标示id。Pvip:广告展现时浏览器所在的ip。Pvacookie:广告展现时,种植在用户浏览器中的一个cookie值,该cookie长年有效,用来认识用户身份。pv时间:广告展现时间。
(2)验证点击日志生成的字段,包括:日志版本号、点击ip、点击acookie、点击时间、折扣率、用户代理user-agent、是否过滤等。
(3)验证跳转之后的目标地址和状态代码:比如,可以验证目标地址前一部分与点击串中加密部分所包含的目标地址相同,后面如果添加了表示点击日志唯一标示id的参数,表明对应着哪一条点击日志,并且,可以验证状态代码中是否存在失败消息(如:400、404等),成功的消息例如2或3开始的消息。其中,点击串中加密部分所包含的目标地址+点击日志id+其他参数=跳转后的目标地址。
具体地,对于验证,首先如果前面可以找到展现的广告元素信息,说明广告已经被正确展现。然后,可以包含三种类型的情况:
第一,与请求串(点击串)中的字段完全相同,比如“广告展现id”、“广告展现ip”、“广告展现acookie”、“点击acookie”、“广告类型”、“广告目标地址”,日志中的该字段必须与请求串中的该字段完全相同。
第二,与请求串中的字段具有一定的对应运算关系,比如“点击价格”,请求串中的点击价格是原价,点击服务器会提供一个折扣值,最终记录到日志中的是原价*折扣值,为防止资损,需要验证日志中的价格范围是在0到请求串的“点击价格”之间。尤其是价格变为0的比率非常高,代表这些广告每次被用户点击都变为免费,是一种非常严重的异常情况,需要立即排查处理。
第三,与请求串中的字段无任何关系,而是另外的运算逻辑来判断。比如“日志版本号”,这个是根据当前的日志服务器应用版本号来确定。还有“点击时间”,这个是根据脚本代码在请求点击串时记录的一个参考时间点,日志中的点击时间应当在这个参考时间点之后最多3秒之内。“是否过滤”这个字段也是由日志服务器生成的,其值只能为0或者1。“user-agent”代表发送请求时的浏览器类型。“折扣率”是日志服务器根据pid来查另一个系统提供的文件获得的值,可以利用脚本同样去查询获得。
在步骤S350处,基于对所有展现在线展示内容的展示位进行的所述校验,返回在线状态的监测结果。
具体地,基于对所有展示位(例:广告位)的前述信息(数据)的收集、解析,以及结合这些数据进行的校验,确定在线状态的监测结果并返回,如:展示位(广告位)状态正确、错误等,汇总统计所有的请求监测所获得的结果,发出状态报告。
图6示意性地示出了根据本申请的在线状态的监测系统的一实施例的结构框图。
根据本申请的一个实施例,该系统600可以包括:元素信息获取装置610、元素信息解析装置620、验证用关键字段值获取装置630、校验装置640、结果返回装置650。
元素信息获取装置610,或称第一获取装置,用于在访问包含展现在线展示内容的展示位的网页时,根据配置中的位置标识(位置id)信息,获取与在线展示内容相关的元素信息,具体功能和处理参见步骤S310所述。
元素信息获取装置610还包括:配置模块611、访问模块612、元素信息获取子模块613。
配置模块611,用于在确定展示位的展现目标网页和位置后,获得所有配置中的位置id信息,具体功能和处理参见步骤S410所述。
访问模块612,用于根据所述位置id信息所生成的位置信息列表以定位展示位,并依次访问包含有所述展示位的网页,具体功能和处理参见步骤S420所述。
元素信息获取子模块613,或称第一获取子模块,用于从包含有相应展示位的网页中,获取与相应展示位上展现的在线展示内容相关的元素信息,具体功能和处理参见步骤S430所述。
元素信息解析装置620,或称第一解析装置,用于根据解析与在线展示内容相关的元素信息,获得与在线展示内容相关的请求信息的关键字段值,具体功能和处理参见步骤S320所述。
验证用关键字段值获取装置630,或称第二获取装置,用于根据对展现在线展示内容的展示位的操作所产生的操作日志以及记录的对所述操作的响应消息内容,获取验证用的关键字段值,具体功能和处理参见步骤S330所述。
验证用关键字段值获取装置630还包括:操作记录模块631,用于对在线展示内容的展示位所在位置进行操作,以根据展示位上对在线展示内容的请求信息发送请求,记录对应该请求的响应消息内容和存储对应该操作的日志文件名,具体功能和处理参见步骤S510所述;验证用关键字段值获取子模块632,或称第二获取子模块,用于根据验证请求,从记录的所述响应消息内容和以及经记录的所述日志文件名所获取的日志中,获取相应的验证用的关键字段值,其中,可以由日志解析模块或称解析模块如第一解析装置,实现日志的解析以取得关键字段,具体功能和处理参见步骤S520所述。
校验装置640,用于基于获取的元素信息、请求信息关键字段值以及验证用的关键字段值,进行校验,以确定相应的展现在线展示内容的展示位的在线状态是否正常,具体功能和处理参见步骤S340所述。
结果返回装置650,或称返回装置,用于基于对所有展现在线展示内容的展示位进行的所述校验,返回在线状态的监测结果,具体功能和处理参见步骤S350所述。
由于本实施例的系统所实现的处理及功能基本相应于前述图1~图5所示的方法实施例,故本实施例的描述中未详尽之处,可以参见前述实施例中的相关说明,在此不做赘述。
下面以在线广告为例,说明利用本申请的方法和系统来获取在线广告位状态的一个应用实例。参见图7所示的本申请应用的一实例示意图。
启动监测在线广告位状态的任务710。
进入配置处理720:如步骤S410,由配置模块611得到位置id信息,其可以建立位置信息列表,确定要监测状态的哪些广告位在哪些网页上并且在网页上的哪个页面位置。
接着,进入广告请求处理730:如步骤S420~S430,由访问模块612调用浏览器打开服务,以位置id信息生成的位置信息列表为基础,依次访问配置中指定的广告位所在网页,并且,由元素信息获取子模块613从这些广告位的位置处抓取所包含的广告列表,获得所有与其展现的广告有关的元素信息,其中包含请求广告详情的点击串数据。
并且,在该监测任务710的阶段,模拟在打开的网页的广告位上在线展现广告时的互联网广告平台(广告系统)750的处理:如步骤S510,模拟访问用户点击广告位上的广告,如点击一个或多个在线广告751,操作记录模块631会记录下点击广告的响应消息内容、以及产生的点击日志文件的日志名。而该点击日志文件本身则由广告系统750的点击服务产生并存储到广告系统750的广告日志服务器752中。
进入数据分析处理740:
如步骤S320,由元素信息解析装置620,根据广告类型的不同,对广告点击串或者说请求串数据进行与类型相符的解析,并存储解析完成的关键字段值,即点击串数据的关键字段值。
如步骤S520,由验证用关键字段值获取子模块632的日志获取处理,从广告日志服务器752中远程抓取对应记录的日志名的点击日志文件,在由如步骤S320类似的解析方式完成日志解析,得到点击日志的关键字段值并存储;由验证用关键字段值获取子模块632的提取处理,从记录的响应消息内容中提取响应关键字段值并存储。将响应关键字段值和日志关键字段值作为验证用的关键字段值并存储。
如步骤S340,将相应广告的验证用的关键字段值、相应广告的点击串的关键字段值、与相应广告相关的元素信息,进行校验比对,由校验装置640做校验比对,以确定相应的广告,其在线广告位的状态是否正常,进而返回监测结果,如步骤S350,由结果返回装置650返回监测的在线广告位状态结果。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flashRAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括非暂存电脑可读媒体(transitorymedia),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上所述仅为本申请的实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (16)
1.一种在线状态的监测方法,其特征在于,包括:
访问包含展现在线展示内容的展示位的网页,并根据配置中的位置标识信息,获取与在线展示内容相关的元素信息;
根据解析与在线展示内容相关的元素信息,获得与在线展示内容相关的请求信息的关键字段值;
根据对展现在线展示内容的展示位的操作所产生的操作日志以及记录的对所述操作的响应消息内容,获取验证用的关键字段值;
基于获取的元素信息、请求信息关键字段值以及验证用的关键字段值,进行校验,以确定相应的展现在线展示内容的展示位的在线状态是否正常。
2.如权利要求1所述的方法,其特征在于,访问包含展现在线展示内容的展示位的网页,并根据配置中的位置标识信息,获取与在线展示内容相关的元素信息,包括:
确定展示位的展现目标网页和位置,并获得所有配置中的位置id信息;
根据所述位置id信息,生成位置信息列表以定位展示位,并依次访问包含有所述展示位的网页;
从包含有相应展示位的网页中,获取与相应展示位上展现的在线展示内容相关的元素信息。
3.如权利要求1所述的方法,其特征在于,根据解析与在线展示内容相关的元素信息,获得与在线展示内容相关的请求信息的关键字段值,包括:
其中,与在线展示内容相关的元素信息,包含展示位上对其展现的所述在线展示内容的所述请求信息。
4.如权利要求1所述的方法,其特征在于,根据解析与在线展示内容相关的元素信息,获得与在线展示内容相关的请求信息的关键字段值,包括:
基于位置id信息和与在线展示内容相关的元素信息,根据在线展示内容的不同类型,对于在线展示内容相关的元素信息所包含的请求信息,采用不同的解析方式,以获得所述请求信息的关键字段值;
将所述请求信息的关键字段值进行存储。
5.如权利要求1所述的方法,其特征在于,根据对展现在线展示内容的展示位的操作所产生的操作日志以及记录的对所述操作的响应消息内容,获取验证用的关键字段值,包括:
基于对在线展示内容的展示位所在位置的操作,按照展示位上对在线展示内容的请求信息发送请求;
记录对应该请求的响应消息内容,并记录对应该操作的日志文件的日志文件名;
从所述响应消息内容中提取响应关键字段值,以及基于解析所述操作日志,获得日志关键字段值;
将响应关键字段以及日志关键字段作为验证用的关键字段值,并存储所述验证用的关键字段值。
6.如权利要求1所述的方法,其特征在于,基于获取的元素信息、请求信息关键字段值以及验证用的关键字段值,进行校验,以确定相应的展现在线展示内容的展示位的在线状态是否正常,包括:
所述校验基于综合比对方式进行验证,包括:
比对展示位所包含的对在线展示内容的所述请求信息的关键字段值与所述操作日志中相对应的关键字段值;
验证所述操作日志中生成的关键字段值;
验证响应消息内容中记录的关键字段值中的响应后目标地址和http响应状态代码。
7.如权利要求1所述的方法,其特征在于,还包括:
基于对所有展现在线展示内容的展示位进行的所述校验,返回在线状态的监测结果。
8.一种在线状态的监测系统,其特征在于,包括:
第一获取装置,用于访问包含展现在线展示内容的展示位的网页,并根据配置中的位置标识信息,获取与在线展示内容相关的元素信息;
第一解析装置,用于根据解析与在线展示内容相关的元素信息,获得与在线展示内容相关的请求信息的关键字段值;
第二获取装置,用于根据对展现在线展示内容的展示位的操作所产生的操作日志以及记录的对所述操作的响应消息内容,获取验证用的关键字段值;
校验装置,基于获取的元素信息、请求信息关键字段值以及验证用的关键字段值,进行校验,以确定相应的展现在线展示内容的展示位的在线状态是否正常。
9.如权利要求8所述的系统,其特征在于,第一获取装置,包括:
配置模块,用于确定展示位的展现目标网页和位置,并获得所有配置中的位置id信息;
访问模块,用于根据所述位置id信息,生成位置信息列表以定位展示位,并依次访问包含有所述展示位的网页;
第一获取子模块,用于从包含有相应展示位的网页中,获取与相应展示位上展现的在线展示内容相关的元素信息。
10.如权利要求8所述的系统,其特征在于,第一解析装置,包括:
与在线展示内容相关的元素信息,包含展示位上对其展现的所述在线展示内容的所述请求信息。
11.如权利要求8所述的系统,其特征在于,第一解析装置,包括:
基于位置id信息和与在线展示内容相关的元素信息,根据在线展示内容的不同类型,对于在线展示内容相关的元素信息所包含的请求信息,采用不同的解析方式,以获得所述请求信息的关键字段值;
将所述请求信息的关键字段值进行存储。
12.如权利要求8所述的系统,其特征在于,第二获取装置,包括:
操作记录模块,基于对在线展示内容的展示位所在位置的操作,按照展示位上对在线展示内容的请求信息发送请求,以记录对应该请求的响应消息内容,并记录对应该操作的日志文件的日志文件名;
第二获取子模块,从所述响应消息内容中提取响应关键字段值,以及基于解析所述操作日志,获得日志关键字段值,以便将响应关键字段以及日志关键字段作为验证用的关键字段值,并存储所述验证用的关键字段值。
13.如权利要求8所述的系统,其特征在于,校验装置,包括:
所述校验基于综合比对方式进行验证,包括:比对展示位所包含的对在线展示内容的所述请求信息的关键字段值与所述操作日志中相对应的关键字段值;验证所述操作日志中生成的关键字段值;验证响应消息内容中记录的关键字段值中的响应后目标地址和http响应状态代码。
14.如权利要求8所述的系统,其特征在于,还包括:
返回装置,基于对所有展现在线展示内容的展示位进行的所述校验,返回在线状态的监测结果。
15.一种在线状态的监测方法,其特征在于,包括:
配置处理,由配置得到位置id信息,建立位置信息列表,确定要监测状态展示位所在网页以及展示位所处网页上页面位置;
请求处理,调用浏览器打开服务,以位置id信息所生成的位置信息列表为基础,依次访问配置中指定的展示位所在网页,并且,从展示位的位置抓取所包含的在线展示内容列表,获得所有与其展现的在线展示内容有关的元素信息,其中包含请求在线展示内容详情页的请求信息;
模拟操作处理,在打开的包含所述展示位的网页上,模拟对展示位上的在线展示内容的操作,记录相应于该操作的响应消息内容、以及记录产生操作日志文件的日志名;
数据分析处理,对所述请求信息进行解析以得到元素信息关键字段值、对记录的响应消息内容进行提取以得到响应的关键字段值、以及对经日志获取处理所抓取的对应记录的日志名的日志文件进行解析而得到日志的关键字段值,并将响应关键字段值和日志关键字段值作为验证用的关键字段值,以便与元素信息、元素信息关键字段值进行校验,确定所述展示位的状态是否正常。
16.一种在线状态的监测系统,其特征在于,包括:
配置装置,由配置得到位置id信息,建立位置信息列表,确定要监测状态展示位所在网页以及展示位所处网页上页面位置;
请求装置,调用浏览器打开服务,以位置id信息所生成的位置信息列表为基础,依次访问配置中指定的展示位所在网页,并且,从展示位的位置抓取所包含的在线展示内容列表,获得所有与其展现的在线展示内容有关的元素信息,其中包含请求在线展示内容详情页的请求信息;
模拟操作装置,在打开的包含所述展示位的网页上,模拟对展示位上的在线展示内容的操作,记录相应于该操作的响应消息内容、以及记录产生操作日志文件的日志名;
数据分析装置,对所述请求信息进行解析以得到元素信息关键字段值、对记录的响应消息内容进行提取以得到响应的关键字段值、以及对经日志获取处理所抓取的对应记录的日志名的日志文件进行解析而得到日志的关键字段值,并将响应关键字段值和日志关键字段值作为验证用的关键字段值,以便与元素信息、元素信息关键字段值进行校验,确定所述展示位的状态是否正常。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410315840.7A CN105450462B (zh) | 2014-07-03 | 2014-07-03 | 在线状态的监测方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410315840.7A CN105450462B (zh) | 2014-07-03 | 2014-07-03 | 在线状态的监测方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105450462A true CN105450462A (zh) | 2016-03-30 |
CN105450462B CN105450462B (zh) | 2018-09-18 |
Family
ID=55560267
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410315840.7A Active CN105450462B (zh) | 2014-07-03 | 2014-07-03 | 在线状态的监测方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105450462B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107256491A (zh) * | 2017-04-28 | 2017-10-17 | 北京金山安全软件有限公司 | 一种监控广告投放的方法及装置 |
CN107276842A (zh) * | 2017-05-10 | 2017-10-20 | 北京金山安全软件有限公司 | 接口测试方法、装置及电子设备 |
CN107679198A (zh) * | 2017-10-10 | 2018-02-09 | 北京奇虎科技有限公司 | 信息的查询方法及装置 |
CN115118616A (zh) * | 2022-04-29 | 2022-09-27 | 腾讯科技(深圳)有限公司 | 展示结果测试方法、装置、计算机设备和存储介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080215418A1 (en) * | 2007-03-02 | 2008-09-04 | Adready, Inc. | Modification of advertisement campaign elements based on heuristics and real time feedback |
US8386314B2 (en) * | 2008-12-11 | 2013-02-26 | Accenture Global Services Limited | Online ad detection and ad campaign analysis |
-
2014
- 2014-07-03 CN CN201410315840.7A patent/CN105450462B/zh active Active
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107256491A (zh) * | 2017-04-28 | 2017-10-17 | 北京金山安全软件有限公司 | 一种监控广告投放的方法及装置 |
CN107276842A (zh) * | 2017-05-10 | 2017-10-20 | 北京金山安全软件有限公司 | 接口测试方法、装置及电子设备 |
CN107276842B (zh) * | 2017-05-10 | 2020-10-09 | 北京金山安全软件有限公司 | 接口测试方法、装置及电子设备 |
CN107679198A (zh) * | 2017-10-10 | 2018-02-09 | 北京奇虎科技有限公司 | 信息的查询方法及装置 |
CN107679198B (zh) * | 2017-10-10 | 2021-04-09 | 北京奇虎科技有限公司 | 信息的查询方法及装置 |
CN115118616A (zh) * | 2022-04-29 | 2022-09-27 | 腾讯科技(深圳)有限公司 | 展示结果测试方法、装置、计算机设备和存储介质 |
CN115118616B (zh) * | 2022-04-29 | 2024-04-23 | 腾讯科技(深圳)有限公司 | 展示结果测试方法、装置、计算机设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN105450462B (zh) | 2018-09-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210083954A1 (en) | Systems and methods for configuring a resource for network traffic analysis | |
US20220222700A1 (en) | Systems and methods for monitoring malicious software engaging in online advertising fraud or other form of deceit | |
CA2936379C (en) | System and method for detecting classes of automated browser agents | |
EP3058472B1 (en) | System and method for reporting on automated browser agents | |
CN103329162B (zh) | 使用分布式人口统计信息确定媒体印象的方法和装置 | |
US9858341B2 (en) | Method and apparatus for remotely monitoring a social website | |
US20160140626A1 (en) | Web page advertisement configuration and optimization with visual editor and automatic website and webpage analysis | |
US11961117B2 (en) | Methods and systems to evaluate and determine degree of pretense in online advertisement | |
US20160027043A1 (en) | Collecting Information Regarding Consumer Click-Through Traffic | |
WO2009051225A4 (ja) | 情報提供方法及び広告提供方法 | |
KR102504075B1 (ko) | 사용자 디바이스 이벤트의 매칭 및 속성 | |
JP2017516195A (ja) | 広告における広告主識別子の自動検証 | |
US20150302466A1 (en) | Data determination method and device for a thermodynamic chart | |
CN105450724A (zh) | 监测媒体呈现的方法和装置 | |
CN105677866A (zh) | 一种内容转化追踪方法、装置、系统和转化服务器 | |
WO2016039783A1 (en) | Auditing of web-based video | |
US11157948B2 (en) | Method and system for independent validation of asset serving | |
CN105450462A (zh) | 在线状态的监测方法和系统 | |
CN104468549B (zh) | 客户端操作请求响应方法、装置和服务器 | |
US20200193458A1 (en) | A web-based method for enhanced analysis of analytics setup and data | |
CN112671615B (zh) | 前端用户操作行为数据的收集方法、系统及存储介质 | |
CN113689232B (zh) | 对人群召回服务进行检测的方法、装置及电子设备 | |
CA3022614C (en) | Method and device for pushing electronic transaction certificate | |
KR20150046816A (ko) | 구매이력 정보를 기반으로 최저가 가격비교목록을 제공하기 위한 서비스 장치, 시스템 및 방법 | |
CN107292584A (zh) | 市场薪酬推送方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |