CN108334619A - 一种数据采集方法、装置、计算设备及存储介质 - Google Patents

Abstract

本申请提供的一种数据采集方法、装置、计算设备及存储介质，其中，所述方法包括获取待监控网页的目标多维度数据；根据预设校验规则对所述多维度数据进行校验；将有效的多维度数据分类存储至数据库，所述有效的多维度数据为通过校验的多维度数据，采用上述方法可以进行多维度数据的采集和分类存储，方便后期维护人员可以根据分类存储的数据针对网页进行优化。

Description

一种数据采集方法、装置、计算设备及存储介质

技术领域

本申请涉及数据处理技术领域，特别涉及一种数据采集方法、装置、计算设备及存储介质。

背景技术

目前，随着移动互联网的发展，可以通过智能手机、平板电脑以及多媒体播放器之类的终端设备进行网页浏览，为了帮助用户提高浏览效率，都会对网页结构进行优化，一般优化方式可以利用网页的日志文件为基础数据，经过数据预处理后的基础数据，利用模式分析来拆分用户的行为特征，形成用户的访问模式，并根据模式修改网页结构，如增加超级链接、调整热点图等实现网页拓扑结构优化。

用户浏览网页时，网页请求发出之后网页从服务端到浏览器端的显示时间以及渲染时间是需要多维度统计的，但是网页从服务端到浏览器端的显示时间以及渲染时间在不同客户和不同浏览器中所用的时间有所不同，用户的行为习惯也会影响到网页产品展示设计和交互界面设计，因此如何实现不同客户和不同浏览器之间浏览网页时的各维度数据采集存储，方便后期维护人员可以根据采集的数据对网页进行优化是目前需要解决的问题。

发明内容

有鉴于此，本申请实施例提供了一种数据采集方法、装置、计算设备及存储介质，以解决现有技术中存在的技术缺陷。

本申请实施例公开了一种数据采集方法，包括：

获取待监控网页的目标多维度数据；

根据预设校验规则对所述多维度数据进行校验；

将有效的多维度数据分类存储至数据库，所述有效的多维度数据为通过校验的多维度数据。

可选地，所述待监控网页包括注入侵入式脚本的网页，获取待监控网页的目标多维度数据包括：

通过所述侵入式脚本获取所述网页的目标多维度数据，所述目标多维度数据包括网页性能数据、网页报错数据和交互数据；

其中，所述网页性能数据包括首屏时间、内容加载完成时间、重定向时间和/或卸载网页时间；

所述网页报错数据包括找不到文件、找不到文件目录、无法解析此请求和/或禁止访问；

所述交互数据包括每个按钮点击次数、用户登录时间和/或每个网页查看时间。

可选地，将有效的多维度数据分类存储至数据库之后，还包括：

分析无效的多维度数据的无效原因，并将所述无效原因存储至数据库，所述无效的多维度数据包括未通过校验的多维度数据。

可选地，获取待监控网页的目标多维度数据之后，还包括：

为所述多维度数据的每个维度数据添加对应的标识符。

可选地，将有效的多维度数据分类存储至数据库包括：

根据所述标识符将有效的多维度数据分类存储至数据库。

可选地，分析无效的多维度数据的无效原因，并将所述无效原因存储至数据库之后，还包括：

将存储至数据库的有效的多维度数据生成第一报表和/或将存储至数据库的无效原因生成第二报表。

可选地，将存储至数据库的有效的多维度数据生成第一报表和/或将存储至数据库的无效原因生成第二报表之后，还包括：

根据第一报表对所述待监控网页进行优化和/或根据第二报表对所述侵入式脚本进行优化。

可选地，根据第一报表对所述待监控网页进行优化包括：

根据第一报表中记录的同一个用户使用不同浏览器，浏览同一待监控网页的有效的多维度数据对所述待监控网页进行优化；

根据第一报表中记录的不同用户使用同一浏览器，浏览同一待监控网页的有效的多维度数据对所述待监控网页进行优化；

根据第一报表中记录的同一个用户使用同一浏览器，浏览不同待监控网页的有效的多维度数据对所述待监控网页进行优化。

另一方面，本申请还提供了一种数据采集装置，包括：

获取模块，用于获取待监控网页的目标多维度数据；

校验模块，用于根据预设校验规则对所述多维度数据进行校验；

第一存储模块，用于将有效的多维度数据分类存储至数据库，所述有效的多维度数据为通过校验的多维度数据。

可选地，所述待监控网页包括注入侵入式脚本的网页，所述获取模块还用于：

通过所述侵入式脚本获取所述网页的目标多维度数据，所述目标多维度数据包括网页性能数据、网页报错数据和交互数据；

其中，所述网页性能数据包括首屏时间、内容加载完成时间、重定向时间和/或卸载网页时间；

所述网页报错数据包括找不到文件、找不到目录、无法解析此请求和/或禁止访问；

所述交互数据包括每个按钮点击次数、用户登录时间和/或每个网页查看时间。

可选地，所述装置还包括：

第二存储模块，用于分析无效的多维度数据的无效原因，并将所述无效原因存储至数据库，所述无效的多维度数据包括未通过校验的多维度数据。

可选地，所述装置还包括：

标识添加模块，用于为所述多维度数据的每个维度数据添加对应的标识符。

可选地，所述第一存储模块还用于：

根据所述标识符将有效的多维度数据分类存储至数据库。

可选地，所述装置还包括：

报表生成模块，用于将存储至数据库的有效的多维度数据生成第一报表和/或将存储至数据库的无效原因生成第二报表。

可选地，所述装置还包括：

优化模块，用于根据第一报表对所述待监控网页进行优化和/或根据第二报表对所述侵入式脚本进行优化。

可选地，所述优化模块还用于：

根据第一报表中记录的同一个用户使用不同浏览器，浏览同一待监控网页的有效的多维度数据对所述待监控网页进行优化；

根据第一报表中记录的不同用户使用同一浏览器，浏览同一待监控网页的有效的多维度数据对所述待监控网页进行优化；

根据第一报表中记录的同一个用户使用同一浏览器，浏览不同待监控网页的有效的多维度数据对所述待监控网页进行优化。

另一方面，本申请还提供了一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，所述处理器执行所述指令时实现以下步骤：

获取待监控网页的目标多维度数据；

根据预设校验规则对所述多维度数据进行校验；

将有效的多维度数据分类存储至数据库，所述有效的多维度数据为通过校验的多维度数据。

另一方面，本申请还提供了一种计算机可读存储介质，其存储有计算机指令，该指令被处理器执行时实现所述数据采集方法的步骤。

本申请提供的一种数据采集方法、装置、计算设备及存储介质，其中，所述方法包括获取待监控网页的目标多维度数据；根据预设校验规则对所述多维度数据进行校验；将有效的多维度数据分类存储至数据库，所述有效的多维度数据为通过校验的多维度数据，采用上述方法可以进行多维度数据的采集和分类存储，方便后期维护人员可以根据分类存储的数据针对网页进行优化。

附图说明

图1为本申请一实施例提供的一种计算设备的结构示意图；

图2为本申请一实施例提供的一种数据采集方法的流程图；

图3为本申请一实施例提供的一种数据采集方法的流程图；

图4为本申请一实施例提供的一种数据采集方法的流程图；

图5为本申请一实施例提供的一种数据采集方法的流程图；

图6为本申请一实施例提供的一种数据采集方法的交互示意图；

图7为本申请一实施例提供的一种数据采集装置的结构示意图。

具体实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。

在本申请中，“第一”、“第二”、“第三”、“第四”等仅用于彼此的区分，而非表示重要程度及顺序、以及互为存在的前提等。

在本申请中，提供了一种数据采集方法、装置、计算设备及存储介质，在下面的实施例中逐一进行详细说明。

图1是示出了本申请一实施例的计算设备100的结构框图。该计算设备100的部件包括但不限于包括存储器110、处理器120及存储在存储器110上并可在处理器120上运行的计算机指令。

虽然图1中没有示出，但是应该知道，计算设备100还可以包括网络接口，网络接口使得计算设备100能够经由一个或多个网络通信。这些网络的示例包括局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。网络接口可以包括有线或无线的任何类型的网络接口(例如，网络接口卡(NIC))中的一个或多个，诸如IEEE802.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口，等等。计算设备可以通过网络接口访问网页。

在本申请的一个实施例中，计算设备100的上述以及图1中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图1所示的计算设备结构框图仅仅是出于示例的目的，而不是对本申请范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。

计算设备100可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备(例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如，智能手机)、可佩戴的计算设备(例如，智能手表、智能眼镜等)或其他类型的移动设备，或者诸如台式计算机或PC的静止计算设备。计算设备100还可以是移动式或静止式的服务器。

其中，处理器120可以执行图2所示方法中的步骤。图2是示出了根据本申请一实施例的数据采集方法的示意性流程图，包括步骤201至步骤203。

步骤201：获取待监控网页的目标多维度数据。

本申请实施例中，所述待监控网页包括注入侵入式脚本的网页，通过所述侵入式脚本获取所述网页的目标多维度数据。即首先在网页中注入一个侵入式脚本，然后通过该侵入式脚本获取网页的目标多维度数据。

本申请实施例中，所述目标多维度数据包括网页性能数据、网页报错数据和交互数据，其中，所述网页性能数据包括但不限于首屏时间、内容加载完成时间、重定向时间和/或卸载网页时间，所述网页报错数据包括但不限于找不到文件、找不到文件目录、无法解析此请求和/或禁止访问，所述交互数据包括但不限于每个按钮点击次数、用户登录时间和/或每个网页查看时间。

其中，所述首屏时间为浏览器显示第一屏网页所消耗的时间；所述内容加载完成时间为进行网页渲染时，将数据从数据库中加载出来的时间；所述重定向时间为通过各种方法将各种网络请求重新定个方向转到其它位置的时间。

所述网页性能数据还可以包括：初始化网页，从同一个浏览器上下文的上一个文档卸载(unload)结束时的尤尼斯(UNIX)时间戳(关键字为navigationStart)，如果没有上一个文档，这个值会和fetchStart值相同；unload事件抛出时的UNIX时间戳(关键字为unloadEventStart)，如果没有上一个文档，这个值会返回0；unload事件处理完成时的UNIX时间戳(关键字为unloadEventEnd)，如果没有上一个文档，这个值会返回0；第一个HTTP重定向开始时的UNIX时间戳(关键字为redirectStart)，如果没有重定向，或者重定向中的一个不同源，这个值会返回0；最后一个HTTP重定向完成时(也就是说是HTTP响应的最后一个比特直接被收到的时间)的UNIX时间戳(关键字为redirectEnd)，如果没有重定向，或者重定向中的一个不同源，这个值会返回0；浏览器准备好使用HTTP请求来获取(fetch)文档的UNIX时间戳(关键字为fetchStart)，这个时间点会在检查任何应用缓存之前；域名查询开始的UNIX时间戳(关键字为domainLookupStart)，如果使用了持续连接(persistentconnection)，或者这个信息存储到了缓存或者本地资源上，这个值将和fetchStart一致；域名查询结束的UNIX时间戳(关键字为domainLookupEnd)，如果使用了持续连接(persistent connection)，或者这个信息存储到了缓存或者本地资源上，这个值将和fetchStart一致；返回HTTP请求开始向服务器发送时的Unix毫秒时间戳(关键字为connectStart)，如果使用持久连接(persistent connection)，则返回值等同于fetchStart属性的值；返回浏览器与服务器之间的连接建立时的UNIX毫秒时间戳(关键字为connectEnd)，如果建立的是持久连接，则返回值等同于fetchStart属性的值，连接建立指的是所有握手和认证过程全部结束；返回浏览器与服务器开始安全链接的握手时的UNIX毫秒时间戳(关键字为secureConnectionStart)，如果当前网页不要求安全连接，则返回0，返回浏览器向服务器发出HTTP请求时(或开始读取本地缓存时)的UNIX毫秒时间戳(关键字为requestStart)；返回浏览器从服务器收到(或从本地缓存读取)第一个字节时的UNIX毫秒时间戳(关键字为responseStart)，如果传输层在开始请求之后失败并且连接被重开，该属性将会被数制成新的请求的相对应的发起时间；返回浏览器从服务器收到(或从本地缓存读取，或从本地资源读取)最后一个字节时(如果在此之前HTTP连接已经关闭，则返回关闭时)的UNIX毫秒时间戳(关键字为responseEnd)；返回当前网页DOM结构开始解析时(即Document.readyState属性变为“loading”、相应的readystatechange事件触发时)的UNIX毫秒时间戳(关键字为domLoading)；返回当前网页DOM结构结束解析、开始加载内嵌资源时(即Document.readyState属性变为“interactive”、相应的readystatechange事件触发时)的UNIX毫秒时间戳(关键字为domInteractive)；返回当解析器发送DOMContentLoaded事件，即所有需要被执行的脚本已经被解析时的UNIX毫秒时间戳(关键字为domContentLoadedEventStart)；返回当所有需要立即执行的脚本已经被执行(不论执行顺序)时的UNIX毫秒时间戳(关键字为domContentLoadedEventEnd)；返回当前文档解析完成，即Document.readyState变为'complete'且相对应的readystatechange被触发时的UNIX毫秒时间戳(关键字为domComplete)；返回该文档下，load事件被发送时的UNIX毫秒时间戳(关键字为loadEventStart)，如果这个事件还未被发送，它的值将会是0；返回当load事件结束，即加载事件完成时的UNIX毫秒时间戳(关键字为loadEventEnd)。如果这个事件还未被发送，或者尚未完成，它的值将会是0。

所述网页报错数据还可以包括用于访问该网页的HTTP动作未被许可错误、文件已删除错误等，其中，还可以对网页报错数据进行进一步的维度划分，例如可以将无法解析此请求错误划分为以下维度：访问由于凭据无效被拒绝错误和访问由于服务器配置倾向使用替代身份验证方法而被拒绝错误等。

本申请实施例中，可以获取不同用户使用同一浏览器浏览同一网页的网页性能数据、网页报错数据和交互数据，还可以获取同一用户使用不同浏览器浏览同一网页的网页性能数据、网页报错数据和交互数据，若不同网页上均注入了所述侵入式脚本，则可以获取同一用户使用同一浏览器浏览不同网页的网页性能数据、网页报错数据和交互数据。

步骤202：根据预设校验规则对所述多维度数据进行校验。

本申请实施例中，所述预设校验规则可以包括所述多维度数据是否满足预设数据格式，那么根据预设校验规则对所述多维度数据进行校验包括：

判断所述多维度数据是否满足所述预设数据格式，

若是，则为有效的多维度数据；

若否，则为无效的多维度数据，并分析无效的多维度数据的无效原因。

首先，预先规定各维度的数据格式，每个维度的数据分别对应一类数据格式，若获取到的各维度的数据不符合预先设定的对应的数据格式，则可以判断为无效的多维度数据。

以网页性能数据为例，网页性能数据均为时间戳，现在常用的时间戳毫秒级为13位，若获到的网页性能数据不是13位或者该13位均为0，则可认为该网页性能数据是无效的数据。

其他多维度数据的校验方式可以根据数据类型或者实际需要设置，本申请对此不作限定。

步骤203：将有效的多维度数据分类存储至数据库，所述有效的多维度数据为通过校验的多维度数据。

本申请实施例中，可以根据维度对有效的多维度数据进行分类存储至数据库，例如将网页性能数据分为一类存储至数据库，将网页报错数据分为一类存储至数据库，将交互数据分为一类存储至数据库，还可以对网页性能数据再进行维度划分，例如首屏时间为一类、内容加载完成时间为一类等分别存储至数据库。

本申请实施例中，通过上述方法可以自定义采集注入侵入式脚本的网页的多维度数据，然后对采集的多维度数据进行分类存储，方便网站开发人员可以根据分类存储的数据，有针对性的对网页进行优化，例如网页渲染时间太长，开发人员就可以调取网页性能数据中的首屏时间数据等进行优化，体验效果好。

参见图3，本申请一实施例还提供一种数据采集方法，包括步骤301至步骤305。

步骤301：获取待监控网页的目标多维度数据。

步骤302：为所述多维度数据的每个维度数据添加对应的标识符。

本申请实施例中，所述标识符是用来标识某个实体的一个符号，在编程语言中标识符是用户编程时使用的名字，对于变量、常量、函数、语句块也有名字，统称为标识符，标识符可以是字、编号、字母或符号，也可以是由上述元素组成的。

本申请实施例中，为所述多维度数据的每个维度数据添加对应的标识符，例如为每个网页性能维度的数据添加标识符ab2，为每个网页错误维度的数据添加标识符cd3，为每个网页交互维度的数据添加标识符ef4，方便对每个维度的数据进行区分。

步骤303：根据预设校验规则对所述多维度数据进行校验。

步骤304：根据所述标识符将有效的多维度数据分类存储至数据库。

本申请实施例中，所述标识符是用来标识某个实体的一个符号，在编程语言中标识符是用户编程时使用的名字，对于变量、常量、函数、语句块也有名字，统称为标识符，标识符可以是字、编号、字母或符号，也可以是由上述元素组成的。

本申请实施例中，为所述多维度数据的每个维度数据添加对应的标识符，例如为每个网页性能维度的数据添加标识符a2，为每个网页错误维度的数据添加标识符c3，为每个网页交互维度的数据添加标识符e4，方便对每个维度的数据进行区分，还可以对每个维度中的多维度添加各自的标识符，根据实际应用进行设定即可。

本申请实施例中，可以根据所述标识符将通过校验的多维度数据分类存储至数据库，例如为每个网页性能维度的数据添加标识符a2，为每个网页错误维度的数据添加标识符c3，为每个网页交互维度的数据添加标识符e4，通过校验的多维度数据分类存储时，就会将带有标识符为a2的数据存储在第一文件夹，将带有标识符为c3的数据存储在第二文件夹，将带有标识符为e4的数据存储在第三文件夹。

步骤305：分析无效的多维度数据的无效原因，并将所述无效原因存储至数据库，所述无效的多维度数据包括未通过校验的多维度数据。

本申请实施例中，若所述多维度数据不满足预设数据格式，则认为该多维度数据为无效数据，分析所述无效数据的无效原因，最后将分析的无效原因以文本的格式存储至数据库。

本申请实施例中，可以按照标识符对分析出的无效原因进行存储，例如将标识符为a2的无效的网页性能数据分析出的无效原因放在一个文本中进行存储，将标识符为c3的无效的网页报错数据分析出的无效原因放在一个文本中进行存储，将标识符为e4的无效的交互数据分析出的无效原因放在一个文本中进行存储。

本申请实施例中，通过上述方法可以自定义采集多维度数据，然后为采集的多维度数据添加标识符，根据标识符对有效的多维度数据和无效数据的无效原因进行分类存储，操作更加简单方便，也方便开发人员可以根据分类存储的有效的多维度数据以及无效原因，有针对性的对网页或者是代码进行优化。

参见图4，本申请一实施例还提供一种数据采集方法，包括步骤401至步骤406。

步骤401：获取待监控网页的目标多维度数据。

步骤402：为所述多维度数据的每个维度数据添加对应的标识符。

步骤403：根据预设校验规则对所述多维度数据进行校验。

步骤404：根据所述标识符将有效的多维度数据分类存储至数据库。

步骤405：分析无效的多维度数据的无效原因，并将所述无效原因存储至数据库，所述无效的多维度数据包括未通过校验的多维度数据。

步骤406：将存储至数据库的有效的多维度数据生成第一报表和/或将存储至数据库的无效原因生成第二报表。

本申请实施例中，所述第一报表和所述第二报表可以按照网页性能维度、网页错误维度以及网页交互维度分别生成对应的三个报表，也可以将存储在数据库的有效的多维度数据和无效原因进行其他维度划分后生成对应的报表，例如可以按照用户使用时间维度、用户操作习惯及热区维度、网页跳出率维度、网页渲染时间维度等生成对应的多个报表，所述用户使用时间维度包括统计分析出的用户集中操作时间的数据，包括每个按钮点击次数、用户登录时间和/或每个网页查看时间；所述用户操作习惯及热区维度包括统计分析的用户集中按钮操作区的数据，例如用户在某个广告位的点击次数，可以判断出最优广告位；所述网页跳出率维度包括统计分析的用户单次访问网页数量为1的数据，所述网页跳出率的算法为：阅读了网站的一个网页就离开网站的次数/进入网站的次数；所述网页渲染时间维度又可以按照首屏渲染时间、白屏渲染时间等生成对应的报表，所述白屏时间为浏览器开始显示内容的时间。

本申请实施例中，所述第一报表和所述第二报表可以为一个、两个或多个，根据实际需要生成，本申请对此不作限定。

本申请实施例中，将有效的多维度数据和无效数据的原因分别生成报表，方便开发人员在对侵入式脚本的代码或网页进行优化时更加有针对性的找出优化需要的数据，节省时间并且操作简单快捷。

参见图5，本申请一实施例还提供一种数据采集方法，包括步骤501至步骤507。

步骤501：获取待监控网页的目标多维度数据。

步骤502：为所述多维度数据的每个维度数据添加对应的标识符。

步骤503：根据预设校验规则对所述多维度数据进行校验。

步骤504：根据所述标识符将有效的多维度数据分类存储至数据库。

步骤505：分析无效的多维度数据的无效原因，并将所述无效原因存储至数据库，所述无效的多维度数据包括未通过校验的多维度数据。

步骤506：将存储至数据库的有效的多维度数据生成第一报表和/或将存储至数据库的无效原因生成第二报表。

步骤507：根据第一报表对所述待监控网页进行优化和/或根据第二报表对所述侵入式脚本进行优化。

本申请实施例中，根据第一报表对所述待监控网页进行优化包括：

根据第一报表中记录的同一个用户使用不同浏览器，浏览同一待监控网页的有效的多维度数据对所述待监控网页进行优化；根据第一报表中记录的不同用户使用同一浏览器，浏览同一待监控网页的有效的多维度数据对所述待监控网页进行优化；根据第一报表中记录的同一个用户使用同一浏览器，浏览不同待监控网页的有效的多维度数据对所述待监控网页进行优化。

实际应用中，可以基于不同的应用场景根据所述有效的多维度数据生成的第一报表对网页进行优化。

例如，一个应用场景为同一个用户使用不同浏览器浏览同一网页。

从第一报表的有效的多维度数据中提取该用户使用不同浏览器浏览同一网页时的网页性能数据分析出不同浏览器对该网页的渲染时间，从而可以为该网页设置与不同浏览器相匹配的网页参数，避免同一网页被同一用户在不同浏览器打开时等待时长不同的情况。

以该网页为新闻网页为例，用户1分别使用浏览器1、浏览器2和浏览器3打开该新闻网页，用户1使用浏览器1打开该新闻网页时使用了1s，用户1使用浏览器2打开该新闻网页时使用了1.5s，用户1使用浏览器3打开该新闻网页时使用了1s，则可以分析出浏览器1、浏览器2和浏览器3对该新闻网页的渲染时间不同，从而在该新闻网页进行优化时，就可以为该新闻网页设置与浏览器1、浏览器2和浏览器3相匹配的网页参数，避免该新闻网页被同一用户在不同浏览器打开时等待时长不同，造成用户体验效果不好的情况。

所述应用场景还可以为不同用户使用同一浏览器浏览同一网页。

从第一报表的有效的多维度数据中提取出不同用户使用同一浏览器浏览同一网页时的网页性能数据，分析出不同用户对该网页上某个按钮或某处版块信息的共同喜好，从而可以根据不同用户的共同喜好调整该网页的布局。

以该网页为购物网页为例，以100个均使用浏览器A对该购物网页进行浏览的用户为参考对象，其中95个用户均点击进入了该购物网页左上角的春装推荐版块，则可以理解为该左上角的网页位置比较受用户关注或者所述春装推荐版块比较受用户关注，在进行网页优化时就可以考虑将不受关注的广告或推荐信息等放置在左上角的网页位置以期提高所述广告或者推荐信息的点击率或者可以考虑通过增加网页中春装推荐版块，提高该网页的点击率。

所述应用场景还可以为同一个用户使用同一浏览器浏览不同网页。

该不同网页可以为同种类型的不同网页，通过从所述有效的多维度数据中提取同一用户在同一浏览器上对同类型不同网页的交互数据，分析出用户对不同网页的喜好，从而可以指导特定网页的优化。

以两个购物网页为例，所述两个购物网页分别为购物网页1和购物网页2，首先分别为两个购物网页注入可以获取交互数据的侵入式脚本，然后从第一报表的有效的多维度数据中提取用户B使用浏览器B浏览购物网页1和购物网页2的交互数据，若发现用户B使用浏览器B浏览购物网页1的次数远远多于用户B使用浏览器B浏览购物网页2的次数，分析之后确定用户B使用浏览器B浏览购物网页1时经常点击厨房家电版块，而购物网页2的厨房家电版块位于该购物网页比较靠下的位置，因此就造成了用户B使用浏览器B浏览购物网页1的次数较多，那么在对所述购物网页2进行优化时就可以将厨房家电版块设置于用户点击率较高的区域，以此来增加关注率。

实际应用中，第一报表中有效的多维度数据可以进行不同的组合、排列，以此实现不同的网页优化目的，本申请对此不作限定。

本申请实施例中，根据第二报表对所述侵入式脚本进行优化可以包括：

若第二报表中网页性能数据的无效原因较多，则说明目前的侵入式脚本与网页浏览器的兼容性较差，从而导致获取到的网页性能数据进行格式校验不通过，那么可以对该侵入式脚本进行优化，例如调整该侵入式脚本从该浏览器所采集的信息的构造方式，获得与该浏览器相匹配的性能数据，减少无效的网页性能数据的产生。

若侵入式脚本无法在网页中成功注入，则可能是侵入式脚本中的语法不兼容该网页所在的浏览器，那么可以优化该侵入式脚本，例如修改侵入式脚本中的语法。

可以修改侵入式脚本的代码中的目标多维度数据，并将修改后的侵入式脚本重新注入网页来获取该网页中修改后的目标多维度数据。

本申请实施例中，根据所述有效的多维度数据生成的第一报表对网页进行优化比较有针对性，可以准确的分析出是需要对网页进行参数调整，还是需要对网页进行版块调整；根据所述无效原因生成的第二报表对侵入式脚本进行优化，可以准确的分析出该侵入式脚本的代码需要优化的部分，可以有目标的进行调整，使得进行优化过的网页用户体验效果好，网页关注率更高。

参见图6，本申请实施例为将该数据采集方法使用在基于Node.js的web开发平台上的具体应用示例，在本实施例进行描述之前，首先就其中涉及的名词概念做简要说明。

Node.js是一个基于Chrome V8引擎的JavaScript运行环境，Node.js使用了一个事件驱动、非阻塞式I/O的模型，使其轻量又高效。

侵入式js脚本：本申请的侵入式js脚本为基于Node.js的web开发平台编写的一个可以获取网页多维度数据的代码。

Node服务器：Node是javascript中节点的概念，即网络连接的端点，或两条(或多条)线路的连接点，节点可以是处理器、控制器或工作站，节点随其功能不同而各不相同，多个节点可以通过链路互联在一起，在网络中用作控制点。Node为一个可行并且真正高效的Web开发平台，Node服务器为该开发平台的服务器。

mongodb数据库：是一个基于分布式文件存储的数据库，由C++语言编写，旨在为Web应用提供可扩展的高性能数据存储解决方案。mongodb数据库是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。mongodb数据库支持的数据结构非常松散，是类似json的bjson格式，因此可以存储比较复杂的数据类型。mongodb数据库最大的特点是其支持的查询语言非常强大，其语法有点类似于面向对象的查询语言，几乎可以实现类似关系数据库单表查询的绝大部分功能，而且还支持对数据建立索引。

本申请实施例中，可以使用侵入式js脚本获取网页的目标多维度数据，所述侵入式js脚本为开发人员编写的，可以获取网页多维度数据的脚本程序，首先开发人员确定需要获取哪些网页的多维度数据，然后为每个网页注入一个该侵入式js脚本后，自定义需要获取的多维度数据，所述自定义多维度数据可以根据后期对网页进行优化的需求来定义。

例如，若后期需要对一个网页的广告位进行优化，就需要确定出用户点击量最高的广告位区域，即通过侵入式js脚本获取该网页的网页性能数据、网页报错数据和用户交互数据等多维度数据，然后从获取的多维度数据中获取用户的交互数据，所述交互数据中包括该网页的各个广告位的点击次数，然后根据所述广告位的点击次数对所述网页的广告位进行优化，可以将点击率低的广告按照一定的时间段调整到点击次数较多的广告位。

所述侵入式js脚本还可以为获取到的多维度数据按照维度添加标识符，方便在数据存储的时候可以按照该标识符进行分类存储，所述标识符可以按照“见名知意”的规则设定，例如网页性能数据的标识符可以提取“网页性能数据”每个汉字拼音的首字母设定为ymxn，按照该规则，网页报错数据的标识符可以设定为ymcw，交互数据的标识符可以设定为ymjh等，便于后期分类存储。即使多维度数据在一张报表生成，开发人员也可以很容易的区分出每个维度的数据，有助于提高开发人员的工作效率。

在侵入式js脚本获取到自定义的多维度数据，添加了标识符之后，将添加有标识符的多维度数据发送给Node服务器，所述Node服务器接收到多维度数据之后，对接收到的数据进行校验，判断接收到的数据格式是否满足预设的数据格式要求，例如Node服务器中预设的网页报错数据格式为msg:xxx，url:xxx，rowNum:xxx或colNum:xxx，若Node服务器接收到的网页报错数据格式与预设的网页报错数据格式不同，则认为接收到的该网页报错数据为无效数据。

Node服务器对接收到的数据校验完成之后，将有效的多维度数据按照标识符分类存储到mongodb数据库，同时对无效的多维度数据分析其无效的原因，然后将无效的原因以文本的方式也存储到mongodb数据库。

mongodb数据库可以存储比较复杂的数据类型，具体的说可以存储侵入式js脚本获取到的网页性能数据、网页报错数据、交互数据等格式不同并且又可以在内部继续区分维度的有效的多维度数据，还可以存储文本格式的无效原因，并且将存储在其内部的所有进行多维度分析之后生成报表，可以根据实际需要生成一个、两个或多个报表，而且还支持对数据建立索引，使得所存储的数据能够被更加准确快速地获取。

采用侵入式js脚本、Node服务器和mongodb数据库对数据进行采集、校验、存储以及根据采集的数据对网页或侵入式js脚本进行优化的具体步骤如下：

第一步：为网页注入侵入式js脚本，所述侵入式js脚本获取该网页的网页性能数据、网页报错数据和交互数据，并且为获取到的所述网页性能数据、所述网页报错数据和所述交互数据添加对应的标识符。

第二步：Node服务器接收所述侵入式js脚本获取的带有标识符的所述网页性能数据、所述网页报错数据和所述交互数据。

第三步：所述Node服务器根据预设数据格式判断所述网页性能数据、所述网页报错数据和所述交互数据是否有效，若是，则将有效的所述网页性能数据、所述网页报错数据和所述交互数据按照标识符进行归类，若否，则分析无效的所述网页性能数据、所述网页报错数据和所述交互数据的无效原因。

第四步：将有效的所述网页性能数据、所述网页报错数据和所述交互数据分类存储至mongodb数据库，将无效原因存储至所述mongodb数据库。

第五步：对存储至所述mongodb数据库中的所述有效的多维度数据和所述无效原因按照需求分别生成对应的报表。

第六步：根据所述有效的多维度数据生成的报表对网页进行优化，根据所述无效原因生成的报表对侵入式js脚本进行优化。

本申请实施例中，采用侵入式js脚本获取自定义的多维度数据，为所述多维度数据添加标识符后发送至Node服务器进行数据有效性校验，然后将通过校验的有效的多维度数据和无效原因按照标识符分类存储至mongodb数据库，方便开发人员在对网页或侵入式js脚本进行优化的时候可以快速准确的找到需求的数据，数据存储在mongodb数据库非第三方存储，数据的私密性更好，并且采用报表可以更加合理的展示并解析获取到的数据，提高数据至实用性的转化率。

参见图7，本申请一实施例还提供一种数据采集装置，包括：

获取模块701，用于获取待监控网页的目标多维度数据；

校验模块702，用于根据预设校验规则对所述多维度数据进行校验；

第一存储模块703，用于将有效的多维度数据分类存储至数据库，所述有效的多维度数据为通过校验的多维度数据。

可选地，所述待监控网页包括注入侵入式脚本的网页，所述获取模块还用于：

通过所述侵入式脚本获取所述网页的目标多维度数据，所述目标多维度数据包括网页性能数据、网页报错数据和交互数据；

其中，所述网页性能数据包括首屏时间、内容加载完成时间、重定向时间和/或卸载网页时间；

所述网页报错数据包括找不到文件、找不到目录、无法解析此请求和/或禁止访问；

所述交互数据包括每个按钮点击次数、用户登录时间和/或每个网页查看时间。

可选地，所述装置还包括：

第二存储模块，用于分析无效的多维度数据的无效原因，并将所述无效原因存储至数据库，所述无效的多维度数据包括未通过校验的多维度数据。

可选地，所述装置还包括：

标识添加模块，用于为所述多维度数据的每个维度数据添加对应的标识符。

可选地，所述第一存储模块还用于：

根据所述标识符将有效的多维度数据分类存储至数据库。

可选地，所述装置还包括：

报表生成模块，用于将存储至数据库的有效的多维度数据生成第一报表和/或将存储至数据库的无效原因生成第二报表。

可选地，所述装置还包括：

优化模块，用于根据第一报表对所述待监控网页进行优化和/或根据第二报表对所述侵入式脚本进行优化。

可选地，所述优化模块还用于：

根据第一报表中记录的同一个用户使用不同浏览器，浏览同一待监控网页的有效的多维度数据对所述待监控网页进行优化；

根据第一报表中记录的不同用户使用同一浏览器，浏览同一待监控网页的有效的多维度数据对所述待监控网页进行优化；

根据第一报表中记录的同一个用户使用同一浏览器，浏览不同待监控网页的有效的多维度数据对所述待监控网页进行优化。

本申请实施例中，通过上述装置可以在侵入式脚本中对需采集多维度数据进行自定义，然后将所述侵入式脚本注入网页，采集多维度数据并对采集的多维度数据进行分类存储，方便网站开发人员根据分类存储的数据，有针对性的对网页进行优化，例如网页渲染时间太长，开发人员就可以调取网页性能数据中的首屏时间数据等进行优化，体验效果好。

上述为本实施例的一种数据采集装置的示意性方案。需要说明的是，该数据采集装置的技术方案与上述的数据采集方法的技术方案属于同一构思，数据采集装置的技术方案未详细描述的细节内容，均可以参见上述数据采集方法的技术方案的描述。

本申请一实施例还提供一种计算机可读存储介质，其存储有计算机指令，该指令被处理器执行时实现所述数据采集方法的步骤。

上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的数据采集方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述数据采集方法的技术方案的描述。

所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。

以上公开的本申请优选实施例只是用于帮助阐述本申请。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本申请的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本申请。本申请仅受权利要求书及其全部范围和等效物的限制。

Claims (18)

1.一种数据采集方法，其特征在于，包括：

获取待监控网页的目标多维度数据；

根据预设校验规则对所述多维度数据进行校验；

将有效的多维度数据分类存储至数据库，所述有效的多维度数据为通过校验的多维度数据。

2.根据权利要求1所述的方法，其特征在于，所述待监控网页包括注入侵入式脚本的网页，获取待监控网页的目标多维度数据包括：

通过所述侵入式脚本获取所述网页的目标多维度数据，所述目标多维度数据包括网页性能数据、网页报错数据和交互数据；

其中，所述网页性能数据包括首屏时间、内容加载完成时间、重定向时间和/或卸载网页时间；

所述网页报错数据包括找不到文件、找不到文件目录、无法解析此请求和/或禁止访问；

所述交互数据包括每个按钮点击次数、用户登录时间和/或每个网页查看时间。

3.根据权利要求1所述的方法，其特征在于，将有效的多维度数据分类存储至数据库之后，还包括：

分析无效的多维度数据的无效原因，并将所述无效原因存储至数据库，所述无效的多维度数据包括未通过校验的多维度数据。

4.根据权利要求1所述的方法，其特征在于，获取待监控网页的目标多维度数据之后，还包括：

为所述多维度数据的每个维度数据添加对应的标识符。

5.根据权利要求4所述的方法，其特征在于，将有效的多维度数据分类存储至数据库包括：

根据所述标识符将有效的多维度数据分类存储至数据库。

6.根据权利要求3所述的方法，其特征在于，分析无效的多维度数据的无效原因，并将所述无效原因存储至数据库之后，还包括：

将存储至数据库的有效的多维度数据生成第一报表和/或将存储至数据库的无效原因生成第二报表。

7.根据权利要求6所述的方法，其特征在于，将存储至数据库的有效的多维度数据生成第一报表和/或将存储至数据库的无效原因生成第二报表之后，还包括：

根据第一报表对所述待监控网页进行优化和/或根据第二报表对所述侵入式脚本进行优化。

8.根据权利要求7所述的方法，其特征在于，根据第一报表对所述待监控网页进行优化包括：

根据第一报表中记录的同一个用户使用不同浏览器，浏览同一待监控网页的有效的多维度数据对所述待监控网页进行优化；

根据第一报表中记录的不同用户使用同一浏览器，浏览同一待监控网页的有效的多维度数据对所述待监控网页进行优化；

根据第一报表中记录的同一个用户使用同一浏览器，浏览不同待监控网页的有效的多维度数据对所述待监控网页进行优化。

9.一种数据采集装置，其特征在于，包括：

获取模块，用于获取待监控网页的目标多维度数据；

校验模块，用于根据预设校验规则对所述多维度数据进行校验；

第一存储模块，用于将有效的多维度数据分类存储至数据库，所述有效的多维度数据为通过校验的多维度数据。

10.根据权利要求9所述的装置，其特征在于，所述待监控网页包括注入侵入式脚本的网页，所述获取模块还用于：

通过所述侵入式脚本获取所述网页的目标多维度数据，所述目标多维度数据包括网页性能数据、网页报错数据和交互数据；

其中，所述网页性能数据包括首屏时间、内容加载完成时间、重定向时间和/或卸载网页时间；

所述网页报错数据包括找不到文件、找不到目录、无法解析此请求和/或禁止访问；

所述交互数据包括每个按钮点击次数、用户登录时间和/或每个网页查看时间。

11.根据权利要求9所述的装置，其特征在于，所述装置还包括：

第二存储模块，用于分析无效的多维度数据的无效原因，并将所述无效原因存储至数据库，所述无效的多维度数据包括未通过校验的多维度数据。

12.根据权利要求9所述的装置，其特征在于，所述装置还包括：

标识添加模块，用于为所述多维度数据的每个维度数据添加对应的标识符。

13.根据权利要求12所述的装置，其特征在于，所述第一存储模块还用于：

根据所述标识符将有效的多维度数据分类存储至数据库。

14.根据权利要求11所述的装置，其特征在于，所述装置还包括：

报表生成模块，用于将存储至数据库的有效的多维度数据生成第一报表和/或将存储至数据库的无效原因生成第二报表。

15.根据权利要求14所述的装置，其特征在于，所述装置还包括：

优化模块，用于根据第一报表对所述待监控网页进行优化和/或根据第二报表对所述侵入式脚本进行优化。

16.根据权利要求15所述的装置，其特征在于，所述优化模块还用于：

根据第一报表中记录的同一个用户使用不同浏览器，浏览同一待监控网页的有效的多维度数据对所述待监控网页进行优化；

根据第一报表中记录的不同用户使用同一浏览器，浏览同一待监控网页的有效的多维度数据对所述待监控网页进行优化；

根据第一报表中记录的同一个用户使用同一浏览器，浏览不同待监控网页的有效的多维度数据对所述待监控网页进行优化。

17.一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，其特征在于，所述处理器执行所述指令时实现以下步骤：

获取待监控网页的目标多维度数据；

根据预设校验规则对所述多维度数据进行校验；

将有效的多维度数据分类存储至数据库，所述有效的多维度数据为通过校验的多维度数据。

18.一种计算机可读存储介质，其存储有计算机指令，其特征在于，该指令被处理器执行时实现权利要求1-8任意一项所述方法的步骤。