CN106649353B - 网页数据的收集方法及装置 - Google Patents

Abstract

本申请公开了一种网页数据的收集方法及装置。该方法包括：在网页加载过程中，获取第一调用信息，并将第一调用信息存储至预设全局数组，其中，第一调用信息为网页中部署脚本对网页中基础脚本发起调用的信息；在网页上加载基础脚本；在基础脚本加载完成之后，确定目标函数，其中，目标函数为预设全局数组中的第一调用信息在基础脚本中对应的函数；以及通过执行目标函数对网页进行数据收集。通过本申请，解决了相关技术中收集网页数据的准确性较低的问题。

Description

网页数据的收集方法及装置

技术领域

本申请涉及互联网领域，具体而言，涉及一种网页数据的收集方法及装置。

背景技术

目前，主流网页分析工具使用布置在网页上的采集程序(例如：JavaScriptTracker)在网页端收集访问者访问行为和系统信息数据，发送至数据仓库服务器。JavaScript Tracker代码分为两部分：基础脚本是一个可供外界调用的函数类库；部署脚本用来发起对基础脚本的调用。由于部署脚本中的一些调用信息对基础脚本中的函数调用发生在基础脚本加载完成之前，但是在基础脚本加载完成之前无法对基础脚本进行调用，从而使在基础脚本加载完成之前的对基础脚本中的一些函数调用发生失败，导致收集网页数据的准确性较低。

针对相关技术中收集网页数据的准确性较低的问题，目前尚未提出有效的解决方案。

发明内容

本申请的主要目的在于提供一种网页数据的收集方法及装置，以解决相关技术中收集网页数据的准确性较低的问题。

为了实现上述目的，根据本申请的一个方面，提供了一种网页数据的收集方法。该方法包括：在网页加载过程中，获取第一调用信息，并将第一调用信息存储至预设全局数组，其中，第一调用信息为网页中部署脚本对网页中基础脚本发起调用的信息；在网页上加载基础脚本；在基础脚本加载完成之后，确定目标函数，其中，目标函数为预设全局数组中的第一调用信息在基础脚本中对应的函数；以及通过执行目标函数对网页进行数据收集。

进一步地，在基础脚本加载完成之后，在确定目标函数之前，该方法还包括：检测是否接收到第二调用信息；如果接收到第二调用信息，解析第二调用信息，确定目标函数包括：确定预设全局数组中的第一调用信息在基础脚本中对应的函数以及第二调用信息在基础脚本中对应的函数；将预设全局数组中的第一调用信息在基础脚本中对应的函数以及第二调用信息在基础脚本中对应的函数作为目标函数。

进一步地，第一调用信息包括多个调用子信息，确定目标函数包括：遍历预设全局数组中的多个调用子信息确定多个调用子信息在基础脚本中对应的函数。

进一步地，将第一调用信息存储至预设全局数组包括：调用预设全局数组中的Push函数将第一调用信息存入预设全局数组。

进一步地，在网页上加载基础脚本时采用异步加载。

为了实现上述目的，根据本申请的另一方面，提供了一种网页数据的收集装置。该装置包括：获取单元，用于在网页加载过程中，获取第一调用信息，并将第一调用信息存储至预设全局数组，其中，第一调用信息为网页中部署脚本对网页中基础脚本发起调用的信息；加载单元，用于在网页上加载基础脚本；确定单元，用于在基础脚本加载完成之后，确定目标函数，其中，目标函数为预设全局数组中的第一调用信息在基础脚本中对应的函数；以及收集单元，用于通过执行目标函数对网页进行数据收集。

进一步地，该装置还包括：检测单元，用于检测是否接收到第二调用信息；解析单元，用于在接收到第二调用信息的情况下，解析第二调用信息，确定单元还用于确定预设全局数组中的第一调用信息在基础脚本中对应的函数以及第二调用信息在基础脚本中对应的函数；将预设全局数组中的第一调用信息在基础脚本中对应的函数以及第二调用信息在基础脚本中对应的函数作为目标函数。

进一步地，第一调用信息包括多个调用子信息，确定单元还用于遍历预设全局数组中的多个调用子信息确定多个调用子信息在基础脚本中对应的函数。

进一步地，获取单元还用于调用预设全局数组中的Push函数将第一调用信息存入预设全局数组。

进一步地，加载单元还用于在网页上加载基础脚本时采用异步加载。

通过本申请，采用以下步骤：在网页加载过程中，获取第一调用信息，并将第一调用信息存储至预设全局数组，其中，第一调用信息为网页中部署脚本对网页中基础脚本发起调用的信息；在网页上加载基础脚本；在基础脚本加载完成之后，确定目标函数，其中，目标函数为预设全局数组中的第一调用信息在基础脚本中对应的函数；以及通过执行目标函数对网页进行数据收集，解决了相关技术中收集网页数据的准确性较低的问题，通过在基础脚本加载完成之前，将对其调用的调用信息存入预设全局数组，基础脚本加载完成后遍历该数组并依次解析调用信息确定目标函数，然后执行目标函数对网页进行数据收集，进而达到了提升收集网页数据的准确性的效果。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的网页数据的收集方法的流程图；以及

图2是根据本申请实施例的网页数据的收集装置的示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为了便于描述，以下对本申请实施例涉及的几个术语进行说明：

JavaScript：一种直译式脚本语言，是一种动态类型、弱类型、基于原型的语言。

Tracker：追踪器，为一小段JavaScript代码，在网页端收集访问者的访问行为和系统信息数据，发送至数据仓库服务器。

根据本申请的实施例，提供了一种网页数据的收集方法。

图1是根据本申请实施例的网页数据的收集方法的流程图。如图1所示，该方法包括以下步骤：

步骤S101，在网页加载过程中，获取第一调用信息，并将第一调用信息存储至预设全局数组，其中，第一调用信息为网页中部署脚本对网页中基础脚本发起调用的信息。

本申请实施例中的应用程序优选为JavaScript Tracker，即第一调用信息为JavaScript Tracker中部署脚本对JavaScript Tracker中基础脚本发起调用的信息。例如，第一调用信息可以为_gsq.push(["T"，"GWD-123456"，"enableHeatmap"])；即为调用JavaScript Tracker中基础脚本中的“开启鼠标点击(热力图)监测”函数。第一调用信息还可以为_gsq.push(["T"，"GWD-123456"，"track"])；即为调用JavaScript Tracker中基础脚本中的“发送页面浏览数据”函数。

需要说明的是，在网页加载过程中，获取第一调用信息之前，在客户网页上预先创建一个全局数组，即上述的预设全局数据，例如，通过执行以下代码：var_gsq＝_gsq||[]，创建一个名为“_gsq”全局数组。

可选地，在本申请实施例提供的网页数据的收集方法中，将第一调用信息存储至预设全局数组包括：调用预设全局数组中的Push函数将第一调用信息存入预设全局数组。

步骤S102，在网页上加载基础脚本。

优选地，在本申请实施例提供的网页数据的收集方法中，在网页上加载基础脚本时采用异步加载。通过异步加载基础脚本，进而提升在网页上加载基础脚本的速度。

步骤S103，在基础脚本加载完成之后，确定目标函数，其中，目标函数为预设全局数组中的第一调用信息在基础脚本中对应的函数。

可选地，在本申请实施例提供的网页数据的收集方法中，第一调用信息包括多个调用子信息，确定目标函数包括：遍历预设全局数组中的多个调用子信息确定多个调用子信息在基础脚本中对应的函数。

如果第一调用信息为_gsq.push(["T"，"GWD-123456"，"enableHeatmap"])，在基础脚本中确定出第一调用信息对应的目标函数为GridsumWebDissector.getTracker("GWD-123456").enableHeatmap()；即发起对基础脚本中的“开启鼠标点击(热力图)监测”函数的调用。如果第一调用信息为_gsq.push(["T"，"GWD-123456"，"track"])；在基础脚本中确定出第一调用信息对应的目标函数为GridsumWebDissector.getTracker("GWD-123456").track()，即发起对基础脚本中的“发送页面浏览数据”函数的调用。

可选地，在本申请实施例提供的网页数据的收集方法中，第一调用信息包括多个调用子信息，即在基础脚本加载完成之前，获取到多个调用子信息，将多个调用子信息存入预设全局数组。在基础脚本加载完成之后，通过遍历预设全局数组中的多个调用子信息，并依次解析多个调用子信息，确定出多个调用子信息在基础脚本中对应的函数，即确定出目标函数。

可选地，在本申请实施例提供的网页数据的收集方法中，在基础脚本加载完成之后，在确定目标函数之前，该方法还包括：检测是否接收到第二调用信息；如果接收到第二调用信息，解析第二调用信息，确定目标函数包括：确定预设全局数组中的第一调用信息在基础脚本中对应的函数以及第二调用信息在基础脚本中对应的函数；将预设全局数组中的第一调用信息在基础脚本中对应的函数以及第二调用信息在基础脚本中对应的函数作为目标函数。

在基础脚本加载完成之后，检测是否接收到第二调用信息；如果接收到第二调用信息，立即解析第二调用信息，确定第二调用信息在基础脚本中对应的函数，立即执行第二调用信息在基础脚本中对应的函数。通过对在基础脚本加载完成之后接收到的调用信息，不用存入预设全局数据，采用立即执行的方法，从而保证了执行效率。

步骤S104，通过执行目标函数对网页进行数据收集。

通过执行基础脚本中的对应函数，对网页进行数据收集，即在网页端进行收集访问者访问行为和系统信息数据。通过以上步骤，在对网页进行数据收集时，当JavaScriptTracker的部署脚本中一些调用信息对基础脚本中的函数调用发生在基础脚本加载完成之前时，通过在基础脚本加载完成之前，将对其调用的调用信息存入预设全局数组，避免了由于在基础脚本加载完成之前无法对其进行调用，对基础脚本中的一些函数调用失败的情况，从而解决了由于对基础脚本中的一些函数调用失败导致收集网页数据的准确性较低的问题，进而达到了提升收集网页数据的准确性的效果。

本申请实施例提供的网页数据的收集方法，通过在网页加载过程中，获取第一调用信息，并将第一调用信息存储至预设全局数组，其中，第一调用信息为网页中部署脚本对网页中基础脚本发起调用的信息；在网页上加载基础脚本；在基础脚本加载完成之后，确定目标函数，其中，目标函数为预设全局数组中的第一调用信息在基础脚本中对应的函数；以及通过执行目标函数对网页进行数据收集，解决了相关技术中收集网页数据的准确性较低的问题，通过在基础脚本加载完成之前，将对其调用的调用信息存入预设全局数组，基础脚本加载完成后遍历该数组并依次解析调用信息确定目标函数，然后执行目标函数对网页进行数据收集，进而达到了提升收集网页数据的准确性的效果。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本申请实施例还提供了一种网页数据的收集装置，需要说明的是，本申请实施例的网页数据的收集装置可以用于执行本申请实施例所提供的用于网页数据的收集方法。以下对本申请实施例提供的网页数据的收集装置进行介绍。

图2是根据本申请实施例的网页数据的收集装置的示意图。如图2所示，该装置包括：获取单元10、加载单元20、确定单元30和收集单元40。

获取单元10，用于在网页加载过程中，获取第一调用信息，并将第一调用信息存储至预设全局数组，其中，第一调用信息为网页中部署脚本对网页中基础脚本发起调用的信息。

加载单元20，用于在网页上加载基础脚本。

确定单元30，用于在基础脚本加载完成之后，确定目标函数，其中，目标函数为预设全局数组中的第一调用信息在基础脚本中对应的函数。

收集单元40，用于通过执行目标函数对网页进行数据收集。

本申请实施例提供的网页数据的收集装置，通过获取单元10在网页加载过程中，获取第一调用信息，并将第一调用信息存储至预设全局数组，其中，第一调用信息为网页中部署脚本对网页中基础脚本发起调用的信息；加载单元20在网页上加载基础脚本；确定单元30在基础脚本加载完成之后，确定目标函数，其中，目标函数为预设全局数组中的第一调用信息在基础脚本中对应的函数；以及收集单元40通过执行目标函数对网页进行数据收集，解决了相关技术中收集网页数据的准确性较低的问题。通过在基础脚本加载完成之前，将对其调用的调用信息存入预设全局数组，基础脚本加载完成后遍历该数组并依次解析调用信息确定目标函数，然后执行目标函数对网页进行数据收集，进而达到了提升收集网页数据的准确性的效果。

可选地，在本申请实施例提供的网页数据的收集装置中，该装置还包括：检测单元，用于检测是否接收到第二调用信息；解析单元，用于在接收到第二调用信息的情况下，解析第二调用信息，确定单元30还用于确定预设全局数组中的第一调用信息在基础脚本中对应的函数以及第二调用信息在基础脚本中对应的函数；将预设全局数组中的第一调用信息在基础脚本中对应的函数以及第二调用信息在基础脚本中对应的函数作为目标函数。

可选地，在本申请实施例提供的网页数据的收集装置中，第一调用信息包括多个调用子信息，确定单元30还用于遍历预设全局数组中的多个调用子信息确定多个调用子信息在基础脚本中对应的函数。

可选地，在本申请实施例提供的网页数据的收集装置中，获取单元10还用于调用预设全局数组中的Push函数将第一调用信息存入预设全局数组。

可选地，在本申请实施例提供的网页数据的收集装置中，加载单元20还用于在网页上加载基础脚本时采用异步加载。

还用于异步加载基础脚本。

所述网页数据的收集装置包括处理器和存储器，上述获取单元、加载单元、确定单元和收集单元等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元实现相应功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数收集网页数据。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

本申请还提供了一种计算机程序产品的实施例，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序代码：在网页加载过程中，获取第一调用信息，并将第一调用信息存储至预设全局数组，其中，第一调用信息为网页中部署脚本对网页中基础脚本发起调用的信息；在网页上加载基础脚本；在基础脚本加载完成之后，确定目标函数，其中，目标函数为预设全局数组中的第一调用信息在基础脚本中对应的函数；以及通过执行目标函数对网页进行数据收集。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。

以上所述仅为本申请的优选实施例，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种网页数据的收集方法，其特征在于，包括：

在网页加载过程中，获取第一调用信息，并将所述第一调用信息存储至预设全局数组，其中，所述第一调用信息为所述网页中部署脚本对所述网页中基础脚本发起调用的信息，基础脚本是一个可供外界调用的函数类库，所述部署脚本和基础脚本布置在所述网页上；

在所述网页上加载所述基础脚本；

在所述基础脚本加载完成之后，确定目标函数，其中，所述目标函数为所述预设全局数组中的第一调用信息在所述基础脚本中对应的函数；以及

通过执行所述目标函数对所述网页进行访问者访问行为和系统信息数据收集。

2.根据权利要求1所述的方法，其特征在于，

在所述基础脚本加载完成之后，在确定所述目标函数之前，所述方法还包括：检测是否接收到第二调用信息；以及如果接收到第二调用信息，解析所述第二调用信息，

确定所述目标函数包括：确定所述预设全局数组中的第一调用信息在所述基础脚本中对应的函数以及所述第二调用信息在所述基础脚本中对应的函数；以及将所述预设全局数组中的第一调用信息在所述基础脚本中对应的函数以及所述第二调用信息在所述基础脚本中对应的函数作为目标函数。

3.根据权利要求1所述的方法，其特征在于，所述第一调用信息包括多个调用子信息，确定所述目标函数包括：遍历所述预设全局数组中的多个调用子信息确定所述多个调用子信息在所述基础脚本中对应的函数。

4.根据权利要求1所述的方法，其特征在于，将所述第一调用信息存储至预设全局数组包括：调用所述预设全局数组中的Push函数将所述第一调用信息存入所述预设全局数组。

5.根据权利要求1所述的方法，其特征在于，在所述网页上加载所述基础脚本时采用异步加载。

6.一种网页数据的收集装置，其特征在于，包括：

获取单元，用于在网页加载过程中，获取第一调用信息，并将所述第一调用信息存储至预设全局数组，其中，所述第一调用信息为所述网页中部署脚本对所述网页中基础脚本发起调用的信息，基础脚本是一个可供外界调用的函数类库，所述部署脚本和基础脚本布置在所述网页上；

加载单元，用于加载所述基础脚本；

确定单元，用于在所述基础脚本加载完成之后，确定目标函数，其中，所述目标函数为所述预设全局数组中的第一调用信息在所述基础脚本中对应的函数；以及

收集单元，用于通过执行所述目标函数对所述网页进行访问者访问行为和系统信息数据收集。

7.根据权利要求6所述的装置，其特征在于，

所述装置还包括：检测单元，用于检测是否接收到第二调用信息；以及解析单元，用于在接收到第二调用信息的情况下，解析所述第二调用信息，

所述确定单元还用于确定所述预设全局数组中的第一调用信息在所述基础脚本中对应的函数以及所述第二调用信息在所述基础脚本中对应的函数；以及将所述预设全局数组中的第一调用信息在所述基础脚本中对应的函数以及所述第二调用信息在所述基础脚本中对应的函数作为目标函数。

8.根据权利要求6所述的装置，其特征在于，所述第一调用信息包括多个调用子信息，所述确定单元还用于遍历所述预设全局数组中的多个调用子信息确定所述多个调用子信息在所述基础脚本中对应的函数。

9.根据权利要求6所述的装置，其特征在于，所述获取单元还用于调用所述预设全局数组中的Push函数将所述第一调用信息存入所述预设全局数组。

10.根据权利要求6所述的装置，其特征在于，所述加载单元还用于在所述网页上加载所述基础脚本时采用异步加载。

Images