CN112380473A - 数据采集与同步方法、装置、设备及存储介质 - Google Patents

Abstract

本发明涉及大数据技术领域，公开了一种数据采集与同步方法、装置、设备及存储介质，用于提高打点数据的准确性。数据采集与同步方法包括：按照预置的节点属性规则对文档对象模型结构树进行节点初始化；基于文档对象模型结构树确定待监测静态节点；通过预设变动观察器接口对文档对象模型结构树进行节点监听，得到待监测动态节点；通过预设交叉口观察器接口对待监测静态节点和待监测动态节点进行注册处理，得到多个目标注册节点，当目标注册节点进入浏览器的视口范围时，调用目标注册节点对应的打点逻辑，得到已采集的打点数据；将已采集的打点数据同步至目标服务器。此外，本发明还涉及区块链技术，预置的节点属性规则可存储于区块链节点中。

Description

数据采集与同步方法、装置、设备及存储介质

技术领域

本发明涉及大数据技术的可视化埋点领域，尤其涉及一种数据采集与同步方法、装置、设备及存储介质。

背景技术

当网页页面的特定节点出现在浏览器视口可视范围之内，确定此节点可以被用户看到，此时通知服务器增加一条查看记录，并展示打点数据。其中，展示打点数据是互联网领域的必备场景，为分析用户行为和提高点击转化率提供基础数据支撑。

传统的页面打点实现方式，通常包括业务逻辑和打点逻辑两部分。业务逻辑在实现业务功能时，需要获取打点逻辑哪些节点要被观察展示情况。当打点逻辑接收到这些特定节点时，终端在文档对象模型(document object model，简称DOM)树中检查节点(例如，可滚动的祖先节点或者层叠样式表CSS动画影响的祖先节点)的事件变化可以改变特定节点在可视范围中的位置，并在这些事件发生时，检查每个节点的边界和浏览器视口的相交情况，从而判定是否需要记录展示打点。

但是当业务逻辑动态改变超文本标记语言的节点时，在每次操作节点后，业务逻辑需要并且主动调用接口通知打点逻辑节点的变化情况，不利于各业务间关注点的分离，存在代码间耦合度高的问题。同时监听每一个可能导致节点位置变化的滚动和动画事件，若存在遗漏，就会导致记录缺失，影响采集打点数据的准确性。

发明内容

本发明提供了一种数据采集与同步方法、装置、设备及存储介质，用于提高采集打点数据的准确性，并降低代码间的耦合性。

为实现上述目的，本发明第一方面提供了一种数据采集与同步方法，包括：接收页面加载指令，根据所述页面加载请求加载目标应用页面，按照预置的节点属性规则对所述目标应用页面中的文档对象模型结构树进行节点初始化，所述目标应用页面包括对应的打点逻辑；当检测到所述目标应用页面加载完成时，基于所述文档对象模型结构树确定符合节点属性规则的待监测静态节点；通过预设变动观察器接口对所述文档对象模型结构树进行节点监听，获取并筛选新增的节点，得到符合节点属性规则的待监测动态节点；通过预设交叉口观察器接口对所述待监测静态节点和所述待监测动态节点进行注册处理，得到多个目标注册节点，当检测到所述目标注册节点进入浏览器的视口范围时，调用所述目标注册节点对应的打点逻辑，得到已采集的打点数据，所述打点逻辑用于指示文档对象模型结构树的节点位置和对应的上报内容；对所述已采集的打点数据依次进行数据预处理和加密处理，得到加密后的打点数据，并将所述加密后的打点数据同步至目标服务器，得到数据同步结果。

可选的，在本发明第一方面的第一种实现方式中，所述接收页面加载指令，根据所述页面加载请求加载目标应用页面，按照预置的节点属性规则对所述目标应用页面中的文档对象模型结构树进行节点初始化，所述目标应用页面包括对应的打点逻辑，包括：接收页面加载指令，根据所述页面加载指令向目标服务器发送页面信息获取请求，并接收所述目标服务器返回的页面资源信息，所述页面资源信息包括目标应用页面；基于所述页面资源信息加载所述目标应用页面，并按照预置的节点属性规则对所述目标应用页面中的文档对象模型结构树设置节点属性。

可选的，在本发明第一方面的第二种实现方式中，所述当检测到所述目标应用页面加载完成时，基于所述文档对象模型结构树确定符合节点属性规则的待监测静态节点，包括：当检测到所述目标应用页面加载完成时，按照预设查找函数对所述文档对象模型结构树进行元素匹配，得到匹配结果；当所述匹配结果不为空值时，从所述匹配结果中筛选符合节点属性规则的待监测静态节点。

可选的，在本发明第一方面的第三种实现方式中，所述通过预设变动观察器接口对所述文档对象模型结构树进行节点监听，获取并筛选新增的节点，得到符合节点属性规则的待监测动态节点，包括：获取预设变动观察器接口对应的观察器监听信息，并从所述文档对象模型结构树中获取待监听节点；获取与所述待监听节点对应的事件回调函数，将所述事件回调函数设置为所述预设观察器实例对应的输入参数，并基于所述待监听节点和所述观察器监听信息调用所述预设观察器实例对应的观察者函数，监测所述待监听节点，得到新增的节点；按照所述节点属性规则对所述新增的节点进行筛选，得到符合节点属性规则的待监测动态节点，并执行所述预设观察器实例对应的断开函数，停止节点监听。

可选的，在本发明第一方面的第四种实现方式中，所述通过预设交叉口观察器接口对所述待监测静态节点和所述待监测动态节点进行注册处理，得到多个目标注册节点，当检测到所述目标注册节点进入浏览器的视口范围时，调用所述目标注册节点对应的打点逻辑，得到已采集的打点数据，所述打点逻辑用于指示文档对象模型结构树的节点位置和对应的上报内容，包括：根据预设交叉口观察器接口创建交叉口观察者对象，并根据所述交叉口观察者对象对所述待监测静态节点和所述待监测动态节点进行信息注册，得到多个目标注册节点；当检测到所述目标注册节点进入浏览器的视口范围时，获取目标注册节点的位置信息，按照所述目标注册节点的位置信息触发所述目标注册节点对应的打点逻辑，得到已采集的打点数据，所述打点逻辑用于指示文档对象模型结构树的节点位置和对应的上报内容。

可选的，在本发明第一方面的第五种实现方式中，所述对所述已采集的打点数据依次进行数据预处理和加密处理，得到加密后的打点数据，并将所述加密后的打点数据同步至目标服务器，得到数据同步结果，包括：对所述已采集的打点数据进行数据清洗操作，得到清洗后的打点数据；根据预设加密算法对所述清洗后的打点数据进行数据加密处理，得到加密后的打点数据；通过预设发送队列将所述加密后的打点数据同步至目标服务器，得到数据同步结果。

可选的，在本发明第一方面的第六种实现方式中，在所述接收页面加载指令，根据所述页面加载请求加载目标应用页面，按照预置的节点属性规则对所述目标应用页面中的文档对象模型结构树进行节点初始化，所述目标应用页面包括对应的打点逻辑之前，所述数据采集与同步方法还包括：获取初始应用页面，按照所述预置的节点属性规则对所述初始应用页面配置对应的打点逻辑，得到所述目标应用页面；将所述目标应用页面发送至所述目标服务器，以使得所述目标服务器将所述目标应用页面存储在预设文件目录中。

本发明第二方面提供了一种数据采集与同步装置，包括：初始化模块，用于接收页面加载指令，根据所述页面加载请求加载目标应用页面，按照预置的节点属性规则对所述目标应用页面中的文档对象模型结构树进行节点初始化，所述目标应用页面包括对应的打点逻辑；确定模块，当检测到所述目标应用页面加载完成时，用于基于所述文档对象模型结构树确定符合节点属性规则的待监测静态节点；监听模块，用于通过预设变动观察器接口对所述文档对象模型结构树进行节点监听，获取并筛选新增的节点，得到符合节点属性规则的待监测动态节点；注册模块，用于通过预设交叉口观察器接口对所述待监测静态节点和所述待监测动态节点进行注册处理，得到多个目标注册节点，当检测到所述目标注册节点进入浏览器的视口范围时，调用所述目标注册节点对应的打点逻辑，得到已采集的打点数据，所述打点逻辑用于指示文档对象模型结构树的节点位置和对应的上报内容；同步模块，用于对所述已采集的打点数据依次进行数据预处理和加密处理，得到加密后的打点数据，并将所述加密后的打点数据同步至目标服务器，得到数据同步结果。

可选的，在本发明第二方面的第一种实现方式中，所述初始化模块具体用于：接收页面加载指令，根据所述页面加载指令向目标服务器发送页面信息获取请求，并接收所述目标服务器返回的页面资源信息，所述页面资源信息包括目标应用页面；基于所述页面资源信息加载所述目标应用页面，并按照预置的节点属性规则对所述目标应用页面中的文档对象模型结构树设置节点属性。

可选的，在本发明第二方面的第二种实现方式中，所述确定模块具体用于：当检测到所述目标应用页面加载完成时，按照预设查找函数对所述文档对象模型结构树进行元素匹配，得到匹配结果；当所述匹配结果不为空值时，从所述匹配结果中筛选符合节点属性规则的待监测静态节点。

可选的，在本发明第二方面的第三种实现方式中，所述监听模块具体用于：获取预设变动观察器接口对应的观察器监听信息，并从所述文档对象模型结构树中获取待监听节点；获取与所述待监听节点对应的事件回调函数，将所述事件回调函数设置为所述预设观察器实例对应的输入参数，并基于所述待监听节点和所述观察器监听信息调用所述预设观察器实例对应的观察者函数，监测所述待监听节点，得到新增的节点；按照所述节点属性规则对所述新增的节点进行筛选，得到符合节点属性规则的待监测动态节点，并执行所述预设观察器实例对应的断开函数，停止节点监听。

可选的，在本发明第二方面的第四种实现方式中，所述注册模块具体用于：根据预设交叉口观察器接口创建交叉口观察者对象，并根据所述交叉口观察者对象对所述待监测静态节点和所述待监测动态节点进行信息注册，得到多个目标注册节点；当检测到所述目标注册节点进入浏览器的视口范围时，获取目标注册节点的位置信息，按照所述目标注册节点的位置信息触发所述目标注册节点对应的打点逻辑，得到已采集的打点数据，所述打点逻辑用于指示文档对象模型结构树的节点位置和对应的上报内容。

可选的，在本发明第二方面的第五种实现方式中，所述同步模块具体用于：对所述已采集的打点数据进行数据清洗操作，得到清洗后的打点数据；根据预设加密算法对所述清洗后的打点数据进行数据加密处理，得到加密后的打点数据；通过预设发送队列将所述加密后的打点数据同步至目标服务器，得到数据同步结果。

可选的，在本发明第二方面的第六种实现方式中，所述数据采集与同步装置还包括：配置模块，用于获取初始应用页面，按照所述预置的节点属性规则对所述初始应用页面配置对应的打点逻辑，得到所述目标应用页面；存储模块，用于将所述目标应用页面发送至所述目标服务器，以使得所述目标服务器将所述目标应用页面存储在预设文件目录中。

本发明第三方面提供了一种数据采集与同步设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述数据采集与同步设备执行上述的数据采集与同步方法。

本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的数据采集与同步方法。

本发明提供的技术方案中，接收页面加载指令，根据所述页面加载请求加载目标应用页面，按照预置的节点属性规则对所述目标应用页面中的文档对象模型结构树进行节点初始化，所述目标应用页面包括对应的打点逻辑；当检测到所述目标应用页面加载完成时，基于所述文档对象模型结构树确定符合节点属性规则的待监测静态节点；通过预设变动观察器接口对所述文档对象模型结构树进行节点监听，获取并筛选新增的节点，得到符合节点属性规则的待监测动态节点；通过预设交叉口观察器接口对所述待监测静态节点和所述待监测动态节点进行注册处理，得到多个目标注册节点，当检测到所述目标注册节点进入浏览器的视口范围时，调用所述目标注册节点对应的打点逻辑，得到已采集的打点数据，所述打点逻辑用于指示文档对象模型结构树的节点位置和对应的上报内容；对所述已采集的打点数据依次进行数据预处理和加密处理，得到加密后的打点数据，并将所述加密后的打点数据同步至目标服务器，得到数据同步结果。本发明实施例中，通过预置的节点属性规则对目标应用页面中的文档对象模型结构树进行节点初始化与节点筛选，通过预设变动观察器接口监测节点，以使得业务逻辑与打点逻辑相互解耦，提高了代码质量，降低了维护成本；通过预设交叉口观察器监听节点与视口范围的相交，以使得打点逻辑不再监听各种事件和计算节点相交情况，降低了代码复杂度，同时提高了采集打点数据的准确性和网页应用的性能。

附图说明

图1为本发明实施例中数据采集与同步方法的一个实施例示意图；

图2为本发明实施例中数据采集与同步方法的另一个实施例示意图；

图3为本发明实施例中数据采集与同步装置的一个实施例示意图；

图4为本发明实施例中数据采集与同步装置的另一个实施例示意图；

图5为本发明实施例中数据采集与同步设备的一个实施例示意图。

具体实施方式

本发明实施例提供了一种数据采集与同步方法、装置、设备及存储介质，用于通过预设变动观察器接口监测节点，以使得业务逻辑与打点逻辑相互解耦，提高了代码质量，降低了维护成本；通过预设交叉口观察器监听节点与视口范围的相交，以使得打点逻辑不再监听各种事件和计算节点相交情况，降低了代码复杂度。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中数据采集与同步方法的一个实施例包括：

101、接收页面加载指令，根据页面加载请求加载目标应用页面，按照预置的节点属性规则对目标应用页面中的文档对象模型结构树进行节点初始化，目标应用页面包括对应的打点逻辑。

其中，预置的节点属性规则为终端预先定义的节点属性规则信息。具体的，终端接收页面加载指令，终端从页面加载指令中获取页面对应的业务唯一标识，终端通过业务唯一标识从内存数据库中调用与目标应用页面对应的超文本标记语言源代码，超文本标记语言源代码包括打点逻辑以及预设外部文件，终端通过文档对象化模型对超文本标记语言源代码进行解析，得到超文本标记语言的树状结构和对应访问函数，也就是文档对象模型结构树，提高了页面加载效率。

需要说明的是，目标应用页面包括采用索引标识对应的业务逻辑，业务逻辑包括至少一个功能函数。而打点逻辑用于指示文档对象模型结构树的节点位置和对应的上报内容，对应的上报内容用于指示用户的打开或者关闭的点击行为，在目标应用页面中，打点逻辑和业务逻辑之间的代码分离，降低了代码间的耦合性。进一步地，将预置的节点属性规则存储于区块链数据库中，具体此处不做限定。

可以理解的是，本发明的执行主体可以为数据采集与同步装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以终端为执行主体为例进行说明。

102、当检测到目标应用页面加载完成时，基于文档对象模型结构树确定符合节点属性规则的待监测静态节点。

当终端检测到目标应用页面在浏览器中加载完成时，终端从目标应用页面中的文档对象模型(document object model，DOM)结构树中筛选所有符合节点属性规则的节点，得到所需监控的静态节点(符合节点属性规则的待监测静态节点)。例如，文档对象模型结构树包含50个节点，服务器获取的符合节点属性规则的待监测静态节点数量为15个。

103、通过预设变动观察器接口对文档对象模型结构树进行节点监听，获取并筛选新增的节点，得到符合节点属性规则的待监测动态节点。

其中，预设变动观察器接口为变动观察器Mutation Observer接口，而终端采用Mutation Observer接口用于监听文档对象模型结构树的变动情况。也就是，终端通过预设变动观察器接口获取新增或者被移除的节点(监听文档对象模型结构树的节点变化)。进一步地，终端对新增的节点按照节点属性规则再次筛选，得到符合节点属性规则的待监测动态节点。

需要说明的是，当目标应用页面加载时，一般先加载超文本标记语言中的各标签元素，例如，div标签，然后终端加载脚本代码js或者层叠样式表代码css，在此过程中，文档对象模型结构树没有发生变化，Mutation Observer接口的回调函数也不会执行。而当目标应用页面加载完成，并且文档对象模型结构树的节点发生变化时，终端采用MutationObserver接口的回调函数监听并上报节点信息，得到符合节点属性规则的待监测动态节点。

104、通过预设交叉口观察器接口对待监测静态节点和待监测动态节点进行注册处理，得到多个目标注册节点，当检测到目标注册节点进入浏览器的视口范围时，调用目标注册节点对应的打点逻辑，得到已采集的打点数据，打点逻辑用于指示文档对象模型结构树的节点位置和对应的上报内容。

其中，预设交叉口观察器接口为Intersection Observer接口，进一步地，终端通过Intersection Observer接口的实例的观察者函数observer()对待监测静态节点和待监测动态节点进行注册处理，得到多个目标注册节点，当终端检测到目标注册节点与浏览器的视口范围发生相交时，终端执行预设交叉口观察器接口的回调函数，以获取目标注册节点中各元素发生变化后，各元素所在视口范围中的位置信息，以使得终端根据位置信息去触发不同的打点逻辑，提高了采集打点数据的准确性。

需要说明的是，浏览器的视口范围，也就是浏览器的可视化界面，是与设备相关的一个矩形区域，坐标单位是与浏览器相关的“像素”。

105、对已采集的打点数据依次进行数据预处理和加密处理，得到加密后的打点数据，并将加密后的打点数据同步至目标服务器，得到数据同步结果。

其中，已采集的打点数据来源于文档对象模型结构树的多个节点，也就是目标应用网页的内容，目标应用页面的内容包括文本信息、点选按钮、单选框、多选框以及输入框等内容，也可以包括其他页面元素，具体此处不做限定。需要说明的是，已采集的打点数据用于指示统计后的对用户操作文档对象模型结构树的用户行为数据，为了确保数据传输的安全性，终端对已采集的打点数据进行数据加密处理，得到加密后的打点数据；终端将加密后的打点数据发送至目标服务器，得到数据同步结果。

本发明实施例中，通过预置的节点属性规则对目标应用页面中的文档对象模型结构树进行节点初始化与节点筛选，通过预设变动观察器接口监测节点，以使得业务逻辑与打点逻辑相互解耦，提高了代码质量，降低了维护成本；通过预设交叉口观察器监听节点与视口范围的相交，以使得打点逻辑不再监听各种事件和计算节点相交情况，降低了代码复杂度，同时提高了采集打点数据的准确性和网页应用的性能。

请参阅图2，本发明实施例中数据采集与同步方法的另一个实施例包括：

201、接收页面加载指令，根据页面加载请求加载目标应用页面，按照预置的节点属性规则对目标应用页面中的文档对象模型结构树进行节点初始化，目标应用页面包括对应的打点逻辑。

需要说明的是，在步骤201之前，可选的，终端获取初始应用页面，按照预置的节点属性规则对初始应用页面配置对应的打点逻辑，得到目标应用页面。可以理解的是，终端预先定义节点的属性规则，得到预置节点属性规则，并标识出需要检测是否与视口范围相交的节点。例如，当终端接收到属性规则配置指令时，终端按照属性规则配置指令检查并配置具有监控monitor属性的节点，终端将此规则命名为预置节点属性规则A，并存储在超文本标记语言标记中，预置节点属性规则用于标识与视口范围相交的待监测节点。进一步地，终端将目标应用页面(已添加打点逻辑的目标应用页面)发送至目标服务器，以使得目标服务器将目标应用页面存储在预设文件目录中。

其中，页面加载指令与目标应用页面存在对应关系。可选的，首先，终端接收页面加载指令，终端根据页面加载指令向目标服务器发送页面信息获取请求，并接收目标服务器返回的页面资源信息，页面资源信息包括目标应用页面。可以理解的是，终端向目标服务器发送页面获取请求，页面获取请求包括业务唯一标识，当目标服务器接收到页面获取请求时，目标服务器解析页面信息获取请求，得到业务唯一标识，目标服务器按照业务唯一标识获取页面资源信息，并将页面资源信息发送至终端，以使得终端按照页面资源信息调用目标应用页面。

然后，终端基于页面资源信息加载目标应用页面，并按照预置的节点属性规则对目标应用页面中的文档对象模型结构树设置节点属性。也就是，终端在加载页面过程中，对目标应用页面进行页面渲染，并按照预置的节点属性规则对目标应用页面中的文档对象模型结构树设置节点属性，例如，终端将节点编码属性data-booth-code设置为“ML011”，终端将节点埋点标识属性data-trace-id设置为“30219”。

需要说明的是，终端还可以对页面资源信息进行缓存，当终端接收到包含待加载页面地址的页面加载指令时，终端判断指定预设页面列表中是否包括待加载页面的页面地址；若预设页面列表中包括待加载页面的页面地址，则终端从内存数据库中调用待加载页面的页面代码，并加载待加载页面，提高了页面加载效率。

202、当检测到目标应用页面加载完成时，基于文档对象模型结构树确定符合节点属性规则的待监测静态节点。

也就是，当终端检测到目标应用页面加载完成时，终端按照节点属性规则对文档对象模型结构树进行节点筛选，得到符合节点属性规则的待监测静态节点。可选的，首先，当终端检测到目标应用页面加载完成时，终端按照预设查找函数对文档对象模型结构树进行元素匹配，得到匹配结果。例如，终端采用预设查找函数document.querySelectorAll查找目标应用页面中的文档对象模型结构树的节点，当文档对象模型结构树的节点符合预置的节点属性规则时，终端确定匹配结果不为空值。

然后，当匹配结果不为空值时，终端从匹配结果中筛选符合节点属性规则的待监测静态节点。具体的，终端判断匹配结果是否为空值，其中，空值包括空字符串、未定义undefined、null以及0，具体此处不做限定。例如，终端采用预设运算符typeof判断匹配结果是否为空值，当匹配结果为空值时，终端生成并展示提示消息，提示消息用于指示文档对象模型结构树的节点属性配置异常；当匹配结果不为空值时，终端从匹配结果中筛选符合节点属性规则的待监测静态节点，去除重复节点数据。

203、通过预设变动观察器接口对文档对象模型结构树进行节点监听，获取并筛选新增的节点，得到符合节点属性规则的待监测动态节点。

可以理解的是，终端通过预设变动观察器接口对文档对象模型结构树进行节点监听，而不是在打点逻辑中获取业务逻辑发送的监听节点，以使得事件监听和获取元素边界信息都是在主线程上运行，提高了在频繁触发和调用情形下的页面性能。可选的，终端获取预设变动观察器接口对应的观察器监听信息，并从文档对象模型结构树中获取待监听节点，其中，待监听节点可以包括待监测静态节点和其他动态变化的节点，也可以为终端预先设置的节点，具体此处不做限定；终端按照节点属性规则对新增的节点进行筛选，得到符合节点属性规则的待监测动态节点，并执行预设观察器实例对应的断开函数，停止节点监听。具体的，终端获取与待监听节点对应的事件回调函数，终端将事件回调函数设置为预设观察器实例对应的输入参数，并基于待监听节点和观察器监听信息调用预设观察器实例对应的观察者函数，监测待监听节点，得到新增的节点；也就是，终端通过浏览器MutationObserver接口的预设观察器实例(例如，mutationObserver)的观察者函数observer()，回调告知超文本标记语言动态发生改变的节点。进一步地，终端通过浏览器MutationObserver接口的预设观察器实例对应的断开函数disconnect()停止节点监听。

需要说明的是，Mutation Observer接口在文档对象模型结构树变动频繁的情况下，在当前所有DOM操作都结束后才触发一次对应的事件，执行回调函数(异步触发)，提高了终端对节点的监听效率。

204、通过预设交叉口观察器接口对待监测静态节点和待监测动态节点进行注册处理，得到多个目标注册节点，当检测到目标注册节点进入浏览器的视口范围时，调用目标注册节点对应的打点逻辑，得到已采集的打点数据，打点逻辑用于指示文档对象模型结构树的节点位置和对应的上报内容。

其中，待监测静态节点和待监测动态节点用于指示监控网页元素的文档对象模型结构树的标签，监控网页元素为预先按照设定的协议格式写入目标应用页面对应的超文本标记语言文件中。可选的，终端根据预设交叉口观察器接口创建交叉口观察者对象，并根据交叉口观察者对象对待监测静态节点和待监测动态节点进行信息注册，得到多个目标注册节点；当终端检测到目标注册节点进入浏览器的视口范围时，终端获取目标注册节点的位置信息，终端按照目标注册节点的位置信息触发目标注册节点对应的打点逻辑，得到已采集的打点数据，打点逻辑用于指示文档对象模型结构树的节点位置和对应的上报内容。

需要说明的是，当终端检测到目标应用页面加载完成，并监控到有监控网页元素进入浏览器的视口范围(与浏览器的视口相交)时，终端获取目标注册节点，终端记录目标注册节点的进入时刻；当终端检测到目标注册节点离开浏览器的视口范围时，终端记录目标注册节点的离开时刻；终端根据目标注册节点的进入时刻和目标注册节点的离开时刻确定目标注册节点的停留时长(目标注册节点的停留时长属于已采集的打点数据)。也就是，当终端检测到Intersection Observer对象中的元素进入或离开浏览器的视口范围时，终端触发匹配的Intersection Observer的预设回调函数，对目标注册节点进入浏览器的视窗，或者目标注册节点离开浏览器的视窗的状态进行监控并采集打点数据，并实现延迟加载和展现量的统计，得到已采集的打点数据。

205、对已采集的打点数据进行数据清洗操作，得到清洗后的打点数据。

其中，清洗后的打点数据包括删除已采集的打点数据中的空格、标签或者换行符等特殊字符，还可以包括清理已采集的打点数据中的广告内容、导航条信息或者版权说明信息等内容，具体此处不做限定。进一步地，终端通过预设的正则表达式筛选并清理已采集的打点数据中的空格、标签、换行符、广告内容、导航条信息或者版权说明信息，得到清洗后的打点数据，提高了打点数据的准确性。

需要说明的是，预设的正则表达式是的对字符串操作的一种逻辑公式，也就是预先定义好的一些特定字符及这些特定字符的组合，对字符串进行过滤的逻辑。

206、根据预设加密算法对清洗后的打点数据进行数据加密处理，得到加密后的打点数据。

其中，预设加密算法包括对称式加密算法(例如，数据加密标准DES算法和高级加密标准AES算法)、非对称密钥加密(例如，数字签名算法DSA)以及散列算法，还可以为其他加密算法，具体此处不做限定。进一步地，终端采用对称式加密算法对清洗后的打点数据进行加密处理，得到加密后的打点数据，提高了打点数据传输的安全性。

207、通过预设发送队列将加密后的打点数据同步至目标服务器，得到数据同步结果。

具体的，终端将加密后的打点数据更新至待发送队列中，得到队列数据；终端根据优先级次序依次从待发送队列中获取队列数据，终端将队列数据写入至预设发送队列，终端通过预设发送队列将队列数据逐一发送至目标服务器，得到数据同步结果，提高了数据处理效率。进一步地，终端按照数据同步结果更新已采集的打点数据对应的同步状态，其中，同步状态包括未同步、同步成功和同步失败。进一步地，终端对同步状态为同步失败的打点数据按照预设同步次数进行重新发送，当重新发送次数超过预设同步次数时，终端发送预警信息至目标人员，以使得目标人员检查网络状况并同步加密后的打点数据。需要说明的是，重新发送次数的初始值为0，终端重新发送一次，终端对重新发送次数进行加1计算，当同步状态为同步成功时，终端将重新发送次数设置为0。

本发明实施例中，通过预置的节点属性规则对目标应用页面中的文档对象模型结构树进行节点初始化与节点筛选，通过预设变动观察器接口监测节点，以使得业务逻辑与打点逻辑相互解耦，提高了代码质量，降低了维护成本；通过预设交叉口观察器监听节点与视口范围的相交，以使得打点逻辑不再监听各种事件和计算节点相交情况，降低了代码复杂度，同时提高了采集打点数据的准确性和网页应用的性能。

上面对本发明实施例中数据采集与同步方法进行了描述，下面对本发明实施例中数据采集与同步装置进行描述，请参阅图3，本发明实施例中数据采集与同步装置的一个实施例包括：

初始化模块301，用于接收页面加载指令，根据页面加载请求加载目标应用页面，按照预置的节点属性规则对目标应用页面中的文档对象模型结构树进行节点初始化，目标应用页面包括对应的打点逻辑；

确定模块302，当检测到目标应用页面加载完成时，用于基于文档对象模型结构树确定符合节点属性规则的待监测静态节点；

监听模块303，用于通过预设变动观察器接口对文档对象模型结构树进行节点监听，获取并筛选新增的节点，得到符合节点属性规则的待监测动态节点；

注册模块304，用于通过预设交叉口观察器接口对待监测静态节点和待监测动态节点进行注册处理，得到多个目标注册节点，当检测到目标注册节点进入浏览器的视口范围时，调用目标注册节点对应的打点逻辑，得到已采集的打点数据，打点逻辑用于指示文档对象模型结构树的节点位置和对应的上报内容；

同步模块305，用于对已采集的打点数据依次进行数据预处理和加密处理，得到加密后的打点数据，并将加密后的打点数据同步至目标服务器，得到数据同步结果。

进一步地，将预置的节点属性规则存储于区块链数据库中，具体此处不做限定。

本发明实施例中，通过预置的节点属性规则对目标应用页面中的文档对象模型结构树进行节点初始化与节点筛选，通过预设变动观察器接口监测节点，以使得业务逻辑与打点逻辑相互解耦，提高了代码质量，降低了维护成本；通过预设交叉口观察器监听节点与视口范围的相交，以使得打点逻辑不再监听各种事件和计算节点相交情况，降低了代码复杂度，同时提高了采集打点数据的准确性和网页应用的性能。

请参阅图4，本发明实施例中数据采集与同步装置的另一个实施例包括：

初始化模块301，用于接收页面加载指令，根据页面加载请求加载目标应用页面，按照预置的节点属性规则对目标应用页面中的文档对象模型结构树进行节点初始化，目标应用页面包括对应的打点逻辑；

确定模块302，当检测到目标应用页面加载完成时，用于基于文档对象模型结构树确定符合节点属性规则的待监测静态节点；

监听模块303，用于通过预设变动观察器接口对文档对象模型结构树进行节点监听，获取并筛选新增的节点，得到符合节点属性规则的待监测动态节点；

注册模块304，用于通过预设交叉口观察器接口对待监测静态节点和待监测动态节点进行注册处理，得到多个目标注册节点，当检测到目标注册节点进入浏览器的视口范围时，调用目标注册节点对应的打点逻辑，得到已采集的打点数据，打点逻辑用于指示文档对象模型结构树的节点位置和对应的上报内容；

同步模块305，用于对已采集的打点数据依次进行数据预处理和加密处理，得到加密后的打点数据，并将加密后的打点数据同步至目标服务器，得到数据同步结果。

可选的，初始化模块301还可以具体用于：

接收页面加载指令，根据页面加载指令向目标服务器发送页面信息获取请求，并接收目标服务器返回的页面资源信息，页面资源信息包括目标应用页面；

基于页面资源信息加载目标应用页面，并按照预置的节点属性规则对目标应用页面中的文档对象模型结构树设置节点属性。

可选的，确定模块302还可以具体用于：

当检测到目标应用页面加载完成时，按照预设查找函数对文档对象模型结构树进行元素匹配，得到匹配结果；

当匹配结果不为空值时，从匹配结果中筛选符合节点属性规则的待监测静态节点。

可选的，监听模块303还可以具体用于：

获取预设变动观察器接口对应的观察器监听信息，并从文档对象模型结构树中获取待监听节点；

获取与待监听节点对应的事件回调函数，将事件回调函数设置为预设观察器实例对应的输入参数，并基于待监听节点和观察器监听信息调用预设观察器实例对应的观察者函数，监测待监听节点，得到新增的节点；

按照节点属性规则对新增的节点进行筛选，得到符合节点属性规则的待监测动态节点，并执行预设观察器实例对应的断开函数，停止节点监听。

可选的，注册模块304还可以具体用于：

根据预设交叉口观察器接口创建交叉口观察者对象，并根据交叉口观察者对象对待监测静态节点和待监测动态节点进行信息注册，得到多个目标注册节点；

当检测到目标注册节点进入浏览器的视口范围时，获取目标注册节点的位置信息，按照目标注册节点的位置信息触发目标注册节点对应的打点逻辑，得到已采集的打点数据，打点逻辑用于指示文档对象模型结构树的节点位置和对应的上报内容。

可选的，同步模块305还可以具体用于：

对已采集的打点数据进行数据清洗操作，得到清洗后的打点数据；

根据预设加密算法对清洗后的打点数据进行数据加密处理，得到加密后的打点数据；

通过预设发送队列将加密后的打点数据同步至目标服务器，得到数据同步结果。

可选的，数据采集与同步装置还包括：

配置模块306，用于获取初始应用页面，按照预置的节点属性规则对初始应用页面配置对应的打点逻辑，得到目标应用页面；

存储模块307，用于将目标应用页面发送至所述目标服务器，以使得目标服务器将目标应用页面存储在预设文件目录中。

本发明实施例中，通过预置的节点属性规则对目标应用页面中的文档对象模型结构树进行节点初始化与节点筛选，通过预设变动观察器接口监测节点，以使得业务逻辑与打点逻辑相互解耦，提高了代码质量，降低了维护成本；通过预设交叉口观察器监听节点与视口范围的相交，以使得打点逻辑不再监听各种事件和计算节点相交情况，降低了代码复杂度，同时提高了采集打点数据的准确性和网页应用的性能。

上面图3和图4从模块化的角度对本发明实施例中的数据采集与同步装置进行详细描述，下面从硬件处理的角度对本发明实施例中数据采集与同步设备进行详细描述。

图5是本发明实施例提供的一种数据采集与同步设备的结构示意图，该数据采集与同步设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)510(例如，一个或一个以上处理器)和存储器520，一个或一个以上存储应用程序533或数据532的存储介质530(例如一个或一个以上海量存储设备)。其中，存储器520和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对数据采集与同步设备500中的一系列指令操作。更进一步地，处理器510可以设置为与存储介质530通信，在数据采集与同步设备500上执行存储介质530中的一系列指令操作。

数据采集与同步设备500还可以包括一个或一个以上电源540，一个或一个以上有线或无线网络接口550，一个或一个以上输入输出接口560，和/或，一个或一个以上操作系统531，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图5示出的数据采集与同步设备结构并不构成对数据采集与同步设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述数据采集与同步方法的步骤。

本发明还提供一种数据采集与同步设备，所述数据采集与同步设备包括存储器和处理器，存储器中存储有指令，所述指令被处理器执行时，使得处理器执行上述各实施例中的所述数据采集与同步方法的步骤。

进一步地，所述计算机可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。

本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种数据采集与同步方法，其特征在于，所述数据采集与同步方法包括：

接收页面加载指令，根据所述页面加载请求加载目标应用页面，按照预置的节点属性规则对所述目标应用页面中的文档对象模型结构树进行节点初始化，所述目标应用页面包括对应的打点逻辑；

当检测到所述目标应用页面加载完成时，基于所述文档对象模型结构树确定符合节点属性规则的待监测静态节点；

通过预设变动观察器接口对所述文档对象模型结构树进行节点监听，获取并筛选新增的节点，得到符合节点属性规则的待监测动态节点；

通过预设交叉口观察器接口对所述待监测静态节点和所述待监测动态节点进行注册处理，得到多个目标注册节点，当检测到所述目标注册节点进入浏览器的视口范围时，调用所述目标注册节点对应的打点逻辑，得到已采集的打点数据，所述打点逻辑用于指示文档对象模型结构树的节点位置和对应的上报内容；

对所述已采集的打点数据依次进行数据预处理和加密处理，得到加密后的打点数据，并将所述加密后的打点数据同步至目标服务器，得到数据同步结果。

2.根据权利要求1所述的数据采集与同步方法，其特征在于，所述接收页面加载指令，根据所述页面加载请求加载目标应用页面，按照预置的节点属性规则对所述目标应用页面中的文档对象模型结构树进行节点初始化，所述目标应用页面包括对应的打点逻辑，包括：

接收页面加载指令，根据所述页面加载指令向目标服务器发送页面信息获取请求，并接收所述目标服务器返回的页面资源信息，所述页面资源信息包括目标应用页面；

基于所述页面资源信息加载所述目标应用页面，并按照预置的节点属性规则对所述目标应用页面中的文档对象模型结构树设置节点属性。

3.根据权利要求1所述的数据采集与同步方法，其特征在于，所述当检测到所述目标应用页面加载完成时，基于所述文档对象模型结构树确定符合节点属性规则的待监测静态节点，包括：

当检测到所述目标应用页面加载完成时，按照预设查找函数对所述文档对象模型结构树进行元素匹配，得到匹配结果；

当所述匹配结果不为空值时，从所述匹配结果中筛选符合节点属性规则的待监测静态节点。

4.根据权利要求1所述的数据采集与同步方法，其特征在于，所述通过预设变动观察器接口对所述文档对象模型结构树进行节点监听，获取并筛选新增的节点，得到符合节点属性规则的待监测动态节点，包括：

获取预设变动观察器接口对应的观察器监听信息，并从所述文档对象模型结构树中获取待监听节点；

获取与所述待监听节点对应的事件回调函数，将所述事件回调函数设置为所述预设观察器实例对应的输入参数，并基于所述待监听节点和所述观察器监听信息调用所述预设观察器实例对应的观察者函数，监测所述待监听节点，得到新增的节点；

按照所述节点属性规则对所述新增的节点进行筛选，得到符合节点属性规则的待监测动态节点，并执行所述预设观察器实例对应的断开函数，停止节点监听。

5.根据权利要求1所述的数据采集与同步方法，其特征在于，所述通过预设交叉口观察器接口对所述待监测静态节点和所述待监测动态节点进行注册处理，得到多个目标注册节点，当检测到所述目标注册节点进入浏览器的视口范围时，调用所述目标注册节点对应的打点逻辑，得到已采集的打点数据，所述打点逻辑用于指示文档对象模型结构树的节点位置和对应的上报内容，包括：

根据预设交叉口观察器接口创建交叉口观察者对象，并根据所述交叉口观察者对象对所述待监测静态节点和所述待监测动态节点进行信息注册，得到多个目标注册节点；

当检测到所述目标注册节点进入浏览器的视口范围时，获取目标注册节点的位置信息，按照所述目标注册节点的位置信息触发所述目标注册节点对应的打点逻辑，得到已采集的打点数据，所述打点逻辑用于指示文档对象模型结构树的节点位置和对应的上报内容。

6.根据权利要求1所述的数据采集与同步方法，其特征在于，所述对所述已采集的打点数据依次进行数据预处理和加密处理，得到加密后的打点数据，并将所述加密后的打点数据同步至目标服务器，得到数据同步结果，包括：

对所述已采集的打点数据进行数据清洗操作，得到清洗后的打点数据；

根据预设加密算法对所述清洗后的打点数据进行数据加密处理，得到加密后的打点数据；

通过预设发送队列将所述加密后的打点数据同步至目标服务器，得到数据同步结果。

7.根据权利要求1-6中任意一项所述的数据采集与同步方法，其特征在于，在所述接收页面加载指令，根据所述页面加载请求加载目标应用页面，按照预置的节点属性规则对所述目标应用页面中的文档对象模型结构树进行节点初始化，所述目标应用页面包括对应的打点逻辑之前，所述数据采集与同步方法还包括：

获取初始应用页面，按照所述预置的节点属性规则对所述初始应用页面配置对应的打点逻辑，得到所述目标应用页面；

将所述目标应用页面发送至所述目标服务器，以使得所述目标服务器将所述目标应用页面存储在预设文件目录中。

8.一种数据采集与同步装置，其特征在于，所述数据采集与同步装置包括：

初始化模块，用于接收页面加载指令，根据所述页面加载请求加载目标应用页面，按照预置的节点属性规则对所述目标应用页面中的文档对象模型结构树进行节点初始化，所述目标应用页面包括对应的打点逻辑；

确定模块，当检测到所述目标应用页面加载完成时，用于基于所述文档对象模型结构树确定符合节点属性规则的待监测静态节点；

监听模块，用于通过预设变动观察器接口对所述文档对象模型结构树进行节点监听，获取并筛选新增的节点，得到符合节点属性规则的待监测动态节点；

注册模块，用于通过预设交叉口观察器接口对所述待监测静态节点和所述待监测动态节点进行注册处理，得到多个目标注册节点，当检测到所述目标注册节点进入浏览器的视口范围时，调用所述目标注册节点对应的打点逻辑，得到已采集的打点数据，所述打点逻辑用于指示文档对象模型结构树的节点位置和对应的上报内容；

同步模块，用于对所述已采集的打点数据依次进行数据预处理和加密处理，得到加密后的打点数据，并将所述加密后的打点数据同步至目标服务器，得到数据同步结果。

9.一种数据采集与同步设备，其特征在于，所述数据采集与同步设备包括：存储器和至少一个处理器，所述存储器中存储有指令；

所述至少一个处理器调用所述存储器中的所述指令，以使得所述数据采集与同步设备执行如权利要求1-7中任意一项所述的数据采集与同步方法。

10.一种计算机可读存储介质，其上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-7中任意一项所述的数据采集与同步方法。

Images