CN113268695A - 数据埋点处理方法、装置及相关设备 - Google Patents
数据埋点处理方法、装置及相关设备 Download PDFInfo
- Publication number
- CN113268695A CN113268695A CN202110601007.9A CN202110601007A CN113268695A CN 113268695 A CN113268695 A CN 113268695A CN 202110601007 A CN202110601007 A CN 202110601007A CN 113268695 A CN113268695 A CN 113268695A
- Authority
- CN
- China
- Prior art keywords
- target
- dom
- tree structure
- buried point
- webpage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 34
- 238000012545 processing Methods 0.000 claims abstract description 51
- 238000012544 monitoring process Methods 0.000 claims abstract description 27
- 230000006399 behavior Effects 0.000 claims description 54
- 238000000034 method Methods 0.000 claims description 36
- 238000004422 calculation algorithm Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000009933 burial Methods 0.000 claims description 4
- 230000009193 crawling Effects 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 238000011161 development Methods 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 20
- 230000000694 effects Effects 0.000 description 14
- 230000008569 process Effects 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本申请涉及数据处理技术,提供一种数据埋点处理方法、装置、计算机设备与存储介质,包括:获取网页的第一Dom树结构;确定第一Dom树结构中的目标Dom对象,并创建遮罩层;监听遮罩层中的鼠标点击事件,并确定被选中的目标Dom对象的路由信息;根据路由信息构建第二Dom树结构;获取第二Dom树结构中各个Dom对象的历史行为数据;根据历史行为数据计算各个Dom对象的埋点属性的权重值,并选取权重值超过预设权重阈值的属性为目标埋点属性;根据目标埋点属性创建对应Dom对象的埋点代码,并将埋点代码添加至网页中的预设位置,得到埋点网页。本申请能够提高数据埋点效率,促进智慧城市的快速发展。
Description
技术领域
本申请涉及数据处理技术领域,尤其涉及一种数据埋点处理方法、装置、计算机设备及介质。
背景技术
网站上线后,通常需要通过分析用户的行为数据来判断网站功能是否满足用户需求,以及是否达到设计初衷。因此,用户的行为数据是网站功能分析的必备条件,可通过对网站中各个网页元素建立可视化埋点的方式采集用户的行为数据。
在实现本发明的过程中,发明人发现现有技术存在以下技术问题:可视化埋点在选中原有网页中的DOM对象时,多半会采用点击行为,这样会导致和被埋点项目的点击事件发生冲突,埋点准确性无法保证。
因此,有必要提供一种数据埋点处理方法,能够提高数据埋点处理的准确性。
发明内容
鉴于以上内容,有必要提出一种数据埋点处理方法、数据埋点处理装置、计算机设备及介质,能够提高数据埋点的准确性。
本申请实施例第一方面提供一种数据埋点处理方法,所述数据埋点处理方法包括:
获取网页的第一Dom树结构;
确定所述第一Dom树结构中的目标Dom对象,并创建对应所述目标Dom对象的遮罩层,所述目标Dom对象用于创建埋点事件;
监听所述遮罩层中的鼠标点击事件,并根据所述鼠标点击事件确定被选中的所述目标Dom对象的路由信息;
根据所述路由信息构建第二Dom树结构,在所述遮罩层的目标展示区域显示所述第二Dom树结构;
获取所述第二Dom树结构中各个Dom对象的历史行为数据;
根据所述历史行为数据计算各个Dom对象的埋点属性的权重值,并选取所述权重值超过预设权重阈值的属性为目标埋点属性;
根据所述目标埋点属性创建对应Dom对象的埋点代码,并将所述埋点代码添加至所述网页中的预设位置,得到埋点网页。
进一步地,在本申请实施例提供的上述数据埋点处理方法中,所述获取网页的第一Dom树结构包括:
解析网页,得到网页源代码;
根据所述网页源代码确定所述网页中的信息元素;
获取所述信息元素间的逻辑关系,并根据所述逻辑关系构建第一Dom树结构。
进一步地,在本申请实施例提供的上述数据埋点处理方法中,所述方法还包括:
爬取预设数据库中的初始Dom树结构集,所述初始Dom树结构集中包含若干个Dom树结构;
计算所述初始Dom树结构集中与所述第一Dom树结构的结构相似度;
获取所述结构相似度超过预设结构相似度阈值的目标Dom树结构集。
进一步地,在本申请实施例提供的上述数据埋点处理方法中,在所述获取所述结构相似度超过预设结构相似度阈值的目标Dom树结构集之后,所述方法还包括:
获取所述目标Dom树结构集中每一Dom树结构的埋点数据;
根据所述埋点数据计算各项埋点的埋点频率,并选取埋点频率大于预设埋点频率大于预设频率值作为目标埋点;
确定所述目标埋点对应的信息元素作为所述Dom树结构中的目标Dom对象。
进一步地,在本申请实施例提供的上述数据埋点处理方法中,所述根据所述路由信息构建第二Dom树结构包括:
获取被选中的每一Dom对象的路由信息;
根据所述路由信息遍历预先设置的业务逻辑架构,得到Dom对象间的业务逻辑关系;
根据所述业务逻辑关系确定Dom对象父节点与Dom对象子节点;
根据所述Dom对象父节点与所述Dom对象子节点构建第二Dom树结构。
进一步地,在本申请实施例提供的上述数据埋点处理方法中,所述根据所述历史行为数据计算各个Dom对象的埋点属性的权重值包括:
按照预设数据结构处理所述历史行为数据,得到目标行为数据;
基于预设的TF-IDF算法处理所述目标行为数据,计算每一项埋点属性的词频与逆向文件频率;
根据所述词频与所述逆向文件频率确定所述埋点属性的权重值。
进一步地,在本申请实施例提供的上述数据埋点处理方法中,所述根据所述目标埋点属性创建对应Dom对象的埋点代码,并将所述埋点代码添加至所述网页中的预设位置,得到埋点网页包括:
获取所述第二Dom树结构中每一Dom对象在所述网页中的目标位置;
确定所述目标位置处的初始网页代码;
根据预先训练的埋点代码生成模型处理所述目标埋点属性,得到埋点代码;
将所述埋点代码添加至所述初始代码处,得到目标网页代码。
本申请实施例第二方面还提供一种数据埋点处理装置,所述数据埋点处理装置包括:
结构获取模块,用于获取网页的第一Dom树结构;
对象确定模块,用于确定所述第一Dom树结构中的目标Dom对象,并创建对应所述目标Dom对象的遮罩层,所述目标Dom对象用于创建埋点事件;
事件监听模块,用于监听所述遮罩层中的鼠标点击事件,并根据所述鼠标点击事件确定被选中的所述目标Dom对象的路由信息;
结构构建模块,用于根据所述路由信息构建第二Dom树结构,在所述遮罩层的目标展示区域显示所述第二Dom树结构;
行为获取模块,用于获取所述第二Dom树结构中各个Dom对象的历史行为数据;
权重计算模块,用于根据所述历史行为数据计算各个Dom对象的埋点属性的权重值,并选取所述权重值超过预设权重阈值的属性为目标埋点属性;
代码创建模块,用于根据所述目标埋点属性创建对应Dom对象的埋点代码,并将所述埋点代码添加至所述网页中的预设位置,得到埋点网页。
本申请实施例第三方面还提供一种计算机设备,所述计算机设备包括处理器,所述处理器用于执行存储器中存储的计算机程序时实现如上述任意一项所述数据埋点处理方法。
本申请实施例第四方面还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述任意一项所述数据埋点处理方法。
本申请实施例提供的上述数据埋点处理方法、数据埋点处理装置、计算机设备以及计算机可读存储介质,通过在原有网页中添加遮罩的方式实现数据埋点,无需与web服务器连接,再在web服务器中对同步显示的web页面进行可视化埋点,简化埋点处理步骤,能够提高数据埋点效率;且本申请在对原有网页中的Dom对象进行点选时,通过设置Dom对象的目标属性,能够避免误触发被埋点项目的原有点击事件,提高数据埋点的准确性;此外,本申请通过对历史行为数据进行分析,得到权重值超过预设权重阈值的属性为目标埋点属性,能够针对性的设置各个Dom对象的埋点属性,实现个性化分析产品在用户端的使用情况,从而根据使用情况辅助产品优化。本申请可应用于智慧政务、智慧交通等智慧城市的各个功能模块中,比如智慧政务的数据埋点处理模块等,能够促进智慧城市的快速发展。
附图说明
图1是本申请实施例一提供的数据埋点处理方法的流程图。
图2是本申请实施例二提供的数据埋点处理装置的结构图。
图3是本申请实施例三提供的计算机设备的结构示意图。
如下具体实施方式将结合上述附图进一步说明本申请。
具体实施方式
为了能够更清楚地理解本申请的上述目的、特征和优点,下面结合附图和具体实施例对本申请进行详细描述。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本申请,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本申请。
本发明实施例提供的数据埋点处理方法由计算机设备执行,相应地,数据埋点处理装置运行于计算机设备中。
图1是本申请第一实施方式的数据埋点处理方法的流程图。如图1所示,所述数据埋点处理方法可以包括如下步骤,根据不同的需求,该流程图中步骤的顺序可以改变,某些可以省略:
S11,获取网页的第一Dom树结构。
在本申请的至少一实施例中,所述数据埋点处理方法可以为可视化埋点处理方法,用于对应用程序中的信息元素进行可视化埋点处理。网页可以指应用程序对应的应用界面,所述应用界面上包含若干个信息元素,其中,所述信息元素可以指所有可见内容,比如,文本输入框、图片、表格、按钮等。Dom(Document Object Model,文档对象模型)树结构上定义了网页上所有信息元素的属性信息及层级信息,形似一颗树。所述属性信息可以包括所述信息元素的名称与类型等信息,所述层级信息可以包括所述信息元素所在网页的层级信息。
可选地,所述获取网页的第一Dom树结构可以包括:
解析网页,得到网页源代码;
根据所述网页源代码确定所述网页中的信息元素;
获取所述信息元素间的逻辑关系,并根据所述逻辑关系构建第一Dom树结构。
其中,所述网页源代码是指网页的语言构成,就是指在网页制作过程中需要用到的一些特殊的语言,设计人员通过对这些语言进行组织编排制作出网页,由浏览器对代码进行翻译后就是用户最终看到的效果。所述网页源代码中包含网页中的信息元素,所述信息元素可通过预设标记的方式标记出来,通过遍历所述预设标记能够得到所述网页源代码中的信息元素,所述预设标记可以为数字标记或字母标记等。所述信息元素间存在逻辑关系,所述逻辑关系可通过所述信息元素间的逻辑关键词确定,所述逻辑关键词可以包括“and、also、or、neither”等,在此不做限制。
在本申请的至少一实施例中,所述网页中的信息元素可能存在变更,当所述网页中的信息元素发生变更时,需及时更新所述第一Dom树结构,以提高数据埋点处理的准确性。可选地,所述方法还包括:
新建监测进程,并调用所述监测进程监测所述第一Dom树结构中的节点是否存在更新;
当监测结果为所述第一Dom树结构中的节点存在更新时,确定更新的节点位置;
获取所述节点位置处的新节点与旧节点,并比较所述新节点与所述旧节点间的差异信息;
根据所述差异信息更新所述第一Dom树结构。
其中,新建一个监测进程(Observer),用来劫持并监测节点对象上所有属性,其实现核心方法就是Object.defineProperty()(对象定义新属性或修改原有的属性),如果有变动的,就调用patch函数(补丁函数)接收旧节点和新节点的属性信息与层级信息,得到所述新节点与所述旧节点间的差异信息,并根据所述差异信息更新所述第一Dom树结构。
S12,确定所述第一Dom树结构中的目标Dom对象,并创建对应所述目标Dom对象的遮罩层,所述目标Dom对象用于创建埋点事件。
在本申请的至少一实施例中,所述目标Dom对象是指预先设置的用于创建埋点事件的信息元素。所述目标Dom对象的确定方法可以系统人员预先设置的,也可以根据相似或相同网页中信息元素的重要程度设置的。可以理解的是,当所述目标Dom对象是根据相似或相同网页中信息元素的重要程度设置时,通过自动化的方式,能够提高目标Dom对象确定的速率;且由于避免人工设置的方式,能够提高目标Dom对象确定的准确性。
可选地,当所述目标Dom对象的确定方法为根据相似或相同网页中信息元素的重要程度设置时,所述方法还包括:
爬取预设数据库中的初始Dom树结构集,所述初始Dom树结构集中包含若干个Dom树结构;
计算所述初始Dom树结构集中与所述第一Dom树结构的结构相似度;
获取所述结构相似度超过预设结构相似度阈值的目标Dom树结构集。
可选地,在所述获取所述结构相似度超过预设结构相似度阈值的目标Dom树结构集之后,所述方法还包括:
获取所述目标Dom树结构集中每一Dom树结构的埋点数据;
根据所述埋点数据计算各项埋点的埋点频率,并选取埋点频率大于预设埋点频率大于预设频率值作为目标埋点;
确定所述目标埋点对应的信息元素作为所述Dom树结构中的目标Dom对象。
其中,在根据相似或相同网页中信息元素的重要程度设置目标Dom对象之后,还可以输出提示,供用户确定自动化结果是否正确,并在用户确定自动化结果不正确时,供用户手动设置目标Dom对象。对于网页中的目标Dom对象,还可以通过添加标记的方式在所述网页中标识出来,所述标记可以为数字标记、字母标记或者颜色标记等。通过在所述网页中对所述目标Dom对象进行标记,能够直观地看出网页中需埋点处理的Dom对象的信息,便于快速选中目标Dom对象实现埋点操作,能够提高埋点处理的效率。
在一实施例中,所述目标Dom对象的数量可以为一个,也可以为多个。当所述目标Dom对象的数量为多个时,可以对应多个目标Dom对象创建统一的预设数量的遮罩层,能够减少遮罩层的数量,避免系统资源浪费。所述预设数量为根据实际需求预先设置的遮罩层的数量,所述预设数量可以为2个。当所述预设数量为2个时,所述遮罩层包括遮罩层A(也称selectedMask)与遮罩层B(也称eleMask),其中,所述遮罩层A用于在鼠标选中目标Dom对象时展示效果;所述遮罩层B用于在移动鼠标时展示Dom对象作为待选项。示例性地,点击目标Dom对象的展示效果与移动鼠标时展示Dom对象的效果不同。在一实施例中,在所述遮罩层处于初始状态时,将两个遮罩层样式都设置为宽度高度0,且不可见。
S13,监听所述遮罩层中的鼠标点击事件,并根据所述鼠标点击事件确定被选中的所述目标Dom对象的路由信息。
在本申请的至少一实施例中,通过elementFromPoint函数来获得当前发生鼠标点击事件的信息元素。其中,埋点是指数据采集SDK根据用户对网页的信息元素统计方案,向网页中动态的插入统计标识和绑定事件,其中,统计标识在本申请中定义为rseat,rseat在网页内部具有唯一性,代表网页内的某个信息元素,如:跳转链接、按钮等,绑定事件比如,点击、滑动等。所述路由信息是指所述Dom对象对应的URL地址等信息。
可选地,所述监听所述遮罩层中的鼠标点击事件可以包括:
当监听到鼠标点击事件时,调用预设elementFromPoint函数;
基于所述elementFromPoint函数获取鼠标所在位置的信息元素。
在本申请的至少一实施例中,在所述监听所述遮罩层中的鼠标点击事件之后,所述方法还包括:
获取被选中的目标Dom对象的目标属性;
更新所述目标属性的属性值为auto属性。
所述目标属性值可为pointerEvents属性,当监听到鼠标移动至所述目标Dom对象的位置时,将所述pointerEvents属性的属性值更新为none属性。其中,pointerEvents属性是css3的一个属性,指定在什么情况下元素(包括鼠标的样式)可以成为鼠标事件的target(目标),将所述pointerEvents属性的属性值更新为none属性时,也即该信息元素永远不会成为鼠标事件的target(目标)。当监听到鼠标点击所述目标Dom对象时,将所述pointerEvents属性的属性值更新为auto属性。其中,auto属性的效果和没有定义pointerEvents属性相同,鼠标不会穿透当前层。在SVG中,该属性值的效果和visiblePainted的效果相同。
本申请通过在鼠标移动到目标Dom对象时,将所述目标Dom对象的pointerEvents属性设置为none,在鼠标点击目标Dom对象时,将所述目标Dom对象的pointerEvents属性设置为auto,能够防止误点击被埋点的原有功能,能够提高数据埋点处理的准确性。
S14,根据所述路由信息构建第二Dom树结构,在所述遮罩层的目标展示区域显示所述第二Dom树结构。
在本申请的至少一实施例中,所述第二Dom树结构是指按照逻辑树的形式展示Dom对象,所述第二Dom树结构包括Dom对象父节点与Dom对象子节点,所述Dom对象父节点可以对应多个Dom对象子节点。
可选地,所述根据所述路由信息构建第二Dom树结构包括:
获取被选中的每一Dom对象的路由信息;
根据所述路由信息遍历预先设置的业务逻辑架构,得到Dom对象间的业务逻辑关系;
根据所述业务逻辑关系确定Dom对象父节点与Dom对象子节点;
根据所述Dom对象父节点与所述Dom对象子节点构建第二Dom树结构。
其中,所述业务逻辑关系包括并列逻辑关系与包含逻辑关系,所述并列逻辑关系是指业务处于同一层级,所述包含逻辑关系是指业务间存在包含与被包含的逻辑关系。所述业务逻辑架构是指根据业务应用系统中的各个模块预先构建的架构,所述业务逻辑架构存储于区块链的目标节点中。
S15,获取所述第二Dom树结构中各个Dom对象的历史行为数据。
在本申请的至少一实施例中,所述历史行为数据是指用户在一段时间内对网页中的Dom对象进行的点击或浏览等操作,所述历史行为数据可以为结构化的数据,包括用户信息、使用时间、使用方式、使用地点等多个埋点属性信息,其中,所述用户信息可以指用户的年龄信息与性别信息;所述使用时间可以指上午、中午、下午或者晚上等时间段信息;所述使用方式可以为web端使用、平板端使用或者手机端使用等;所述使用地点可以为地铁、住宅、公司或商场等。所述历史行为数据可通过日志的方式存储于区块链的目标节点中,通过分析所述历史行为数据,能够分析产品在用户端的使用情况,从而根据使用情况辅助产品优化。
S16,根据所述历史行为数据计算各个Dom对象的埋点属性的权重值,并选取所述权重值超过预设权重阈值的属性为目标埋点属性。
在本申请的至少一实施例中,通过预设权重算法计算各个Dom对象的埋点属性的权重值,所述权重值用于体现该埋点属性重要程度的值。在一实施例中,所述预设权重算法可以为TF-IDF算法,通过所述TF-IDF算法处理所述历史行为数据,得到对应各个Dom对象的埋点属性的权重值,用于表明各个埋点属性的重要程度。所述预设权重阈值为预先设置的阈值。
可选地,所述根据所述历史行为数据计算各个Dom对象的埋点属性的权重值包括:
按照预设数据结构处理所述历史行为数据,得到目标行为数据;
基于预设的TF-IDF算法处理所述目标行为数据,计算每一项埋点属性的词频与逆向文件频率;
根据所述词频与所述逆向文件频率确定所述埋点属性的权重值。
S17,根据所述目标埋点属性创建对应Dom对象的埋点代码,并将所述埋点代码添加至所述网页中的预设位置,得到埋点网页。
在本申请的至少一实施例中,所述根据所述目标埋点属性创建对应Dom对象的埋点代码,并将所述埋点代码添加至所述网页中的预设位置,得到埋点网页包括:
获取所述第二Dom树结构中每一Dom对象在所述网页中的目标位置;
确定所述目标位置处的初始网页代码;
根据预先训练的埋点代码生成模型处理所述目标埋点属性,得到埋点代码;
将所述埋点代码添加至所述初始代码处,得到目标网页代码。
其中,在应用程序中,基本上用户的每次操作均通过点击或者其他手势触发应用程序上的某块区域产生的。所以,用户每次操作在应用程序上都会有一个对应的承载区。定位用户的操作,也即先定位用户操作对应的承载区的位置,再定位承载区中被选中的Dom对象的位置。所述埋点代码生成模型用于将所述目标埋点属性结构化为预设数据格式的代码,所述预设数据格式的代码中包含共用代码与差异代码的替换标识,通过确定所述替换标识对应的填充内容,再将替换代码与所述填充内容进行替换,能够得到埋点代码。
本申请通过训练埋点代码生成模型的方式生成埋点代码,能够提高埋点代码生成及添加的效率,避免了人为添加埋点代码操作失误而在网页中产生漏洞,确保了埋点代码添加的效率及可靠性,在实际应用过程中取得了良好的技术效果。
在本申请的至少一实施例中,将所述埋点代码添加至埋点配置文件中进行存储,具体地,在服务器中预先存储有各个网页的埋点配置文件,所述埋点配置文件包括执行埋点处理的目标Dom对象以及该目标Dom对象的埋点属性等配置信息,在一实施例中,所述埋点配置文件可以指包含埋点代码的文件,因此当用户在客户端访问网页时,也即,当客户端检测到网页被加载时,客户端就可以向服务器请求被访问网页的埋点配置。服务器在接收到客户端发送的请求后,就可以基于被访问网页的标识,从预先存储的各个网页和对应的埋点配置文件中,查找到被访问网页的埋点配置文件,并将查找到的埋点配置反馈给客户端。此外,当用户对网页修改埋点方案时,仅需修改埋点配置文件即可,无需重新编码埋点并上线网页,效率高且易维护。
在本申请的至少一实施例中,所述方法还包括:批量获取之前设置埋点的信息元素,并监听其事件行为;当关注的埋点触发了所监听的行为时,内部收集行为所产生的数据,比如点击的次数,停留的时间点等;整理采集数据拼装所需的数据格式模块:对当前所有采集到的埋点事件数据,进行清洗、统计拼装出使用者所需要的数据格式;通过使用者所给定的上报地址,对整理后的数据进行编码发送。
本申请实施例提供的上述数据埋点处理方法,通过在原有网页中添加遮罩的方式实现数据埋点,无需与web服务器连接,再在web服务器中对同步显示的web页面进行可视化埋点,简化埋点处理步骤,能够提高数据埋点效率;且本申请在对原有网页中的Dom对象进行点选时,通过设置Dom对象的目标属性,能够避免误触发被埋点项目的原有点击事件,提高数据埋点的准确性;此外,本申请通过对历史行为数据进行分析,得到权重值超过预设权重阈值的属性为目标埋点属性,能够针对性的设置各个Dom对象的埋点属性,实现个性化分析产品在用户端的使用情况,从而根据使用情况辅助产品优化。本申请可应用于智慧政务、智慧交通等智慧城市的各个功能模块中,比如智慧政务的数据埋点处理模块等,能够促进智慧城市的快速发展。
图2是本申请实施例二提供的数据埋点处理装置的结构图。
在一些实施例中,所述数据埋点处理装置20可以包括多个由计算机程序段所组成的功能模块。所述数据埋点处理装置20中的各个程序段的计算机程序可以存储于计算机设备的存储器中,并由至少一个处理器所执行,以执行(详见图1描述)数据埋点处理的功能。
本实施例中,所述数据埋点处理装置20根据其所执行的功能,可以被划分为多个功能模块。所述功能模块可以包括:结构获取模块201、对象确定模块202、事件监听模块203、结构构建模块204、行为获取模块205、权重计算模块206以及代码创建模块207。本申请所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机程序段,其存储在存储器中。在本实施例中,关于各模块的功能将在后续的实施例中详述。
所述结构获取模块201用于获取网页的第一Dom树结构,所述第一Dom树结构上包括所述网页的所有信息元素的属性信息与层级信息。
在本申请的至少一实施例中,所述数据埋点处理方法可以为可视化埋点处理方法,用于对应用程序中的信息元素进行可视化埋点处理。网页可以指应用程序对应的应用界面,所述应用界面上包含若干个信息元素,其中,所述信息元素可以指所有可见内容,比如,文本输入框、图片、表格、按钮等。Dom(Document Object Model,文档对象模型)树结构上定义了网页上所有信息元素的属性信息及层级信息,形似一颗树。所述属性信息可以包括所述信息元素的名称与类型等信息,所述层级信息可以包括所述信息元素所在网页的层级信息。
可选地,所述获取网页的第一Dom树结构可以包括:
解析网页,得到网页源代码;
根据所述网页源代码确定所述网页中的信息元素;
获取所述信息元素间的逻辑关系,并根据所述逻辑关系构建第一Dom树结构。
其中,所述网页源代码是指网页的语言构成,就是指在网页制作过程中需要用到的一些特殊的语言,设计人员通过对这些语言进行组织编排制作出网页,由浏览器对代码进行翻译后就是用户最终看到的效果。所述网页源代码中包含网页中的信息元素,所述信息元素可通过预设标记的方式标记出来,通过遍历所述预设标记能够得到所述网页源代码中的信息元素,所述预设标记可以为数字标记或字母标记等。所述信息元素间存在逻辑关系,所述逻辑关系可通过所述信息元素间的逻辑关键词确定,所述逻辑关键词可以包括“and、also、or、neither”等,在此不做限制。
在本申请的至少一实施例中,所述网页中的信息元素可能存在变更,当所述网页中的信息元素发生变更时,需及时更新所述第一Dom树结构,以提高数据埋点处理的准确性。可选地,所述结构获取模块201还包括:
新建监测进程,并调用所述监测进程监测所述第一Dom树结构中的节点是否存在更新;
当监测结果为所述第一Dom树结构中的节点存在更新时,确定更新的节点位置;
获取所述节点位置处的新节点与旧节点,并比较所述新节点与所述旧节点间的差异信息;
根据所述差异信息更新所述第一Dom树结构。
其中,新建一个监测进程(Observer),用来劫持并监测节点对象上所有属性,其实现核心方法就是Object.defineProperty()(对象定义新属性或修改原有的属性),如果有变动的,就调用patch函数(补丁函数)接收旧节点和新节点的属性信息与层级信息,得到所述新节点与所述旧节点间的差异信息,并根据所述差异信息更新所述第一Dom树结构。
所述对象确定模块202用于确定所述第一Dom树结构中的目标Dom对象,并创建对应所述目标Dom对象的遮罩层,所述目标Dom对象用于创建埋点事件。
在本申请的至少一实施例中,所述目标Dom对象是指预先设置的用于创建埋点事件的信息元素。所述目标Dom对象的确定方法可以系统人员预先设置的,也可以根据相似或相同网页中信息元素的重要程度设置的。可以理解的是,当所述目标Dom对象是根据相似或相同网页中信息元素的重要程度设置时,通过自动化的方式,能够提高目标Dom对象确定的速率;且由于避免人工设置的方式,能够提高目标Dom对象确定的准确性。
可选地,当所述目标Dom对象的确定方法为根据相似或相同网页中信息元素的重要程度设置时,所述对象确定模块202还包括:
爬取预设数据库中的初始Dom树结构集,所述初始Dom树结构集中包含若干个Dom树结构;
计算所述初始Dom树结构集中与所述第一Dom树结构的结构相似度;
获取所述结构相似度超过预设结构相似度阈值的目标Dom树结构集。
可选地,在所述获取所述结构相似度超过预设结构相似度阈值的目标Dom树结构集之后,所述对象确定模块202还包括:
获取所述目标Dom树结构集中每一Dom树结构的埋点数据;
根据所述埋点数据计算各项埋点的埋点频率,并选取埋点频率大于预设埋点频率大于预设频率值作为目标埋点;
确定所述目标埋点对应的信息元素作为所述Dom树结构中的目标Dom对象。
其中,在根据相似或相同网页中信息元素的重要程度设置目标Dom对象之后,还可以输出提示,供用户确定自动化结果是否正确,并在用户确定自动化结果不正确时,供用户手动设置目标Dom对象。对于网页中的目标Dom对象,还可以通过添加标记的方式在所述网页中标识出来,所述标记可以为数字标记、字母标记或者颜色标记等。通过在所述网页中对所述目标Dom对象进行标记,能够直观地看出网页中需埋点处理的Dom对象的信息,便于快速选中目标Dom对象实现埋点操作,能够提高埋点处理的效率。
在一实施例中,所述目标Dom对象的数量可以为一个,也可以为多个。当所述目标Dom对象的数量为多个时,可以对应多个目标Dom对象创建统一的预设数量的遮罩层,能够减少遮罩层的数量,避免系统资源浪费。所述预设数量为根据实际需求预先设置的遮罩层的数量,所述预设数量可以为2个。当所述预设数量为2个时,所述遮罩层包括遮罩层A(也称selectedMask)与遮罩层B(也称eleMask),其中,所述遮罩层A用于在鼠标选中目标Dom对象时展示效果;所述遮罩层B用于在移动鼠标时展示Dom对象作为待选项。示例性地,点击目标Dom对象的展示效果与移动鼠标时展示Dom对象的效果不同。在一实施例中,在所述遮罩层处于初始状态时,将两个遮罩层样式都设置为宽度高度0,且不可见。
所述事件监听模块203用于监听所述遮罩层中的鼠标点击事件,并根据所述鼠标点击事件确定被选中的所述目标Dom对象的路由信息。
在本申请的至少一实施例中,通过elementFromPoint函数来获得当前发生鼠标点击事件的信息元素。其中,埋点是指数据采集SDK根据用户对网页的信息元素统计方案,向网页中动态的插入统计标识和绑定事件,其中,统计标识在本申请中定义为rseat,rseat在网页内部具有唯一性,代表网页内的某个信息元素,如:跳转链接、按钮等,绑定事件比如,点击、滑动等。所述路由信息是指所述Dom对象对应的URL地址等信息。
可选地,所述监听所述遮罩层中的鼠标点击事件可以包括:
当监听到鼠标点击事件时,调用预设elementFromPoint函数;
基于所述elementFromPoint函数获取鼠标所在位置的信息元素。
在本申请的至少一实施例中,在所述监听所述遮罩层中的鼠标点击事件之后,所述事件监听模块203还包括:
获取被选中的目标Dom对象的目标属性;
更新所述目标属性的属性值为auto属性。
所述目标属性值可为pointerEvents属性,当监听到鼠标移动至所述目标Dom对象的位置时,将所述pointerEvents属性的属性值更新为none属性。其中,pointerEvents属性是css3的一个属性,指定在什么情况下元素(包括鼠标的样式)可以成为鼠标事件的target(目标),将所述pointerEvents属性的属性值更新为none属性时,也即该信息元素永远不会成为鼠标事件的target(目标)。当监听到鼠标点击所述目标Dom对象时,将所述pointerEvents属性的属性值更新为auto属性。其中,auto属性的效果和没有定义pointerEvents属性相同,鼠标不会穿透当前层。在SVG中,该属性值的效果和visiblePainted的效果相同。
本申请通过在鼠标移动到目标Dom对象时,将所述目标Dom对象的pointerEvents属性设置为none,在鼠标点击目标Dom对象时,将所述目标Dom对象的pointerEvents属性设置为auto,能够防止误点击被埋点的原有功能,能够提高数据埋点处理的准确性。
所述结构构建模块204用于根据所述路由信息构建第二Dom树结构,在所述遮罩层的目标展示区域显示所述第二Dom树结构。
在本申请的至少一实施例中,所述第二Dom树结构是指按照逻辑树的形式展示Dom对象,所述第二Dom树结构包括Dom对象父节点与Dom对象子节点,所述Dom对象父节点可以对应多个Dom对象子节点。
可选地,所述根据所述路由信息构建第二Dom树结构包括:
获取被选中的每一Dom对象的路由信息;
根据所述路由信息遍历预先设置的业务逻辑架构,得到Dom对象间的业务逻辑关系;
根据所述业务逻辑关系确定Dom对象父节点与Dom对象子节点;
根据所述Dom对象父节点与所述Dom对象子节点构建第二Dom树结构。
其中,所述业务逻辑关系包括并列逻辑关系与包含逻辑关系,所述并列逻辑关系是指业务处于同一层级,所述包含逻辑关系是指业务间存在包含与被包含的逻辑关系。所述业务逻辑架构是指根据业务应用系统中的各个模块预先构建的架构,所述业务逻辑架构存储于区块链的目标节点中。
所述行为获取模块205用于获取所述第二Dom树结构中各个Dom对象的历史行为数据。
在本申请的至少一实施例中,所述历史行为数据是指用户在一段时间内对网页中的Dom对象进行的点击或浏览等操作,所述历史行为数据可以为结构化的数据,包括用户信息、使用时间、使用方式、使用地点等多个埋点属性信息,其中,所述用户信息可以指用户的年龄信息与性别信息;所述使用时间可以指上午、中午、下午或者晚上等时间段信息;所述使用方式可以为web端使用、平板端使用或者手机端使用等;所述使用地点可以为地铁、住宅、公司或商场等。所述历史行为数据可通过日志的方式存储于区块链的目标节点中,通过分析所述历史行为数据,能够分析产品在用户端的使用情况,从而根据使用情况辅助产品优化。
所述权重计算模块206用于根据所述历史行为数据计算各个Dom对象的埋点属性的权重值,并选取所述权重值超过预设权重阈值的属性为目标埋点属性。
在本申请的至少一实施例中,通过预设权重算法计算各个Dom对象的埋点属性的权重值,所述权重值用于体现该埋点属性重要程度的值。在一实施例中,所述预设权重算法可以为TF-IDF算法,通过所述TF-IDF算法处理所述历史行为数据,得到对应各个Dom对象的埋点属性的权重值,用于表明各个埋点属性的重要程度。所述预设权重阈值为预先设置的阈值。
可选地,所述根据所述历史行为数据计算各个Dom对象的埋点属性的权重值包括:
按照预设数据结构处理所述历史行为数据,得到目标行为数据;
基于预设的TF-IDF算法处理所述目标行为数据,计算每一项埋点属性的词频与逆向文件频率;
根据所述词频与所述逆向文件频率确定所述埋点属性的权重值。
所述代码创建模块207用于根据所述目标埋点属性创建对应Dom对象的埋点代码,并将所述埋点代码添加至所述网页中的预设位置,得到埋点网页。
在本申请的至少一实施例中,所述根据所述目标埋点属性创建对应Dom对象的埋点代码,并将所述埋点代码添加至所述网页中的预设位置,得到埋点网页包括:
获取所述第二Dom树结构中每一Dom对象在所述网页中的目标位置;
确定所述目标位置处的初始网页代码;
根据预先训练的埋点代码生成模型处理所述目标埋点属性,得到埋点代码;
将所述埋点代码添加至所述初始代码处,得到目标网页代码。
其中,在应用程序中,基本上用户的每次操作均通过点击或者其他手势触发应用程序上的某块区域产生的。所以,用户每次操作在应用程序上都会有一个对应的承载区。定位用户的操作,也即先定位用户操作对应的承载区的位置,再定位承载区中被选中的Dom对象的位置。所述埋点代码生成模型用于将所述目标埋点属性结构化为预设数据格式的代码,所述预设数据格式的代码中包含共用代码与差异代码的替换标识,通过确定所述替换标识对应的填充内容,再将替换代码与所述填充内容进行替换,能够得到埋点代码。
本申请通过训练埋点代码生成模型的方式生成埋点代码,能够提高埋点代码生成及添加的效率,避免了人为添加埋点代码操作失误而在网页中产生漏洞,确保了埋点代码添加的效率及可靠性,在实际应用过程中取得了良好的技术效果。
在本申请的至少一实施例中,将所述埋点代码添加至埋点配置文件中进行存储,具体地,在服务器中预先存储有各个网页的埋点配置文件,所述埋点配置文件包括执行埋点处理的目标Dom对象以及该目标Dom对象的埋点属性等配置信息,在一实施例中,所述埋点配置文件可以指包含埋点代码的文件,因此当用户在客户端访问网页时,也即,当客户端检测到网页被加载时,客户端就可以向服务器请求被访问网页的埋点配置。服务器在接收到客户端发送的请求后,就可以基于被访问网页的标识,从预先存储的各个网页和对应的埋点配置文件中,查找到被访问网页的埋点配置文件,并将查找到的埋点配置反馈给客户端。此外,当用户对网页修改埋点方案时,仅需修改埋点配置文件即可,无需重新编码埋点并上线网页,效率高且易维护。
在本申请的至少一实施例中,所述代码创建模块207还包括:批量获取之前设置埋点的信息元素,并监听其事件行为;当关注的埋点触发了所监听的行为时,内部收集行为所产生的数据,比如点击的次数,停留的时间点等;整理采集数据拼装所需的数据格式模块:对当前所有采集到的埋点事件数据,进行清洗、统计拼装出使用者所需要的数据格式;通过使用者所给定的上报地址,对整理后的数据进行编码发送。
参阅图3所示,为本申请实施例三提供的计算机设备的结构示意图。在本申请较佳实施例中,所述计算机设备3包括存储器31、至少一个处理器32、至少一条通信总线33及收发器34。
本领域技术人员应该了解,图3示出的计算机设备的结构并不构成本申请实施例的限定,既可以是总线型结构,也可以是星形结构,所述计算机设备3还可以包括比图示更多或更少的其他硬件或者软件,或者不同的部件布置。
在一些实施例中,所述计算机设备3是一种能够按照事先设定或存储的指令,自动进行数值计算和/或信息处理的设备,其硬件包括但不限于微处理器、专用集成电路、可编程门阵列、数字处理器及嵌入式设备等。所述计算机设备3还可包括客户设备,所述客户设备包括但不限于任何一种可与客户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品,例如,个人计算机、平板电脑、智能手机、数码相机等。
需要说明的是,所述计算机设备3仅为举例,其他现有的或今后可能出现的电子产品如可适应于本申请,也应包含在本申请的保护范围以内,并以引用方式包含于此。
在一些实施例中,所述存储器31中存储有计算机程序,所述计算机程序被所述至少一个处理器32执行时实现如所述的数据埋点处理方法中的全部或者部分步骤。所述存储器31包括只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable Read-Only Memory,PROM)、可擦除可编程只读存储器(Erasable Programmable Read-OnlyMemory,EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory,OTPROM)、电子擦除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory,EEPROM)、只读光盘(Compact Disc Read-Only Memory,CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
进一步地,所述计算机可读存储介质可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序等;存储数据区可存储根据区块链节点的使用所创建的数据等。
本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
在一些实施例中,所述至少一个处理器32是所述计算机设备3的控制核心(Control Unit),利用各种接口和线路连接整个计算机设备3的各个部件,通过运行或执行存储在所述存储器31内的程序或者模块,以及调用存储在所述存储器31内的数据,以执行计算机设备3的各种功能和处理数据。例如,所述至少一个处理器32执行所述存储器中存储的计算机程序时实现本申请实施例中所述的数据埋点处理方法的全部或者部分步骤;或者实现数据埋点处理装置的全部或者部分功能。所述至少一个处理器32可以由集成电路组成,例如可以由单个封装的集成电路所组成,也可以是由多个相同功能或不同功能封装的集成电路所组成,包括一个或者多个中央处理器(Central Processing unit,CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。
在一些实施例中,所述至少一条通信总线33被设置为实现所述存储器31以及所述至少一个处理器32等之间的连接通信。
尽管未示出,所述计算机设备3还可以包括给各个部件供电的电源(比如电池),优选的,电源可以通过电源管理装置与所述至少一个处理器32逻辑相连,从而通过电源管理装置实现管理充电、放电、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述计算机设备3还可以包括多种传感器、蓝牙模块、Wi-Fi模块等,在此不再赘述。
上述以软件功能模块的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,计算机设备,或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的部分。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,既可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言,显然本申请不限于上述示范性实施例的细节,而且在不背离本申请的精神或基本特征的情况下,能够以其他的具体形式实现本申请。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本申请的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外,显然“包括”一词不排除其他单元或,单数不排除复数。说明书中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一,第二等词语用来表示名称,而并不表示任何特定的顺序。
最后应说明的是,以上实施例仅用以说明本申请的技术方案而非限制,尽管参照较佳实施例对本申请进行了详细说明,本领域的普通技术人员应当理解,可以对本申请的技术方案进行修改或等同替换,而不脱离本申请技术方案的精神和范围。
Claims (10)
1.一种数据埋点处理方法,其特征在于,所述数据埋点处理方法包括:
获取网页的第一Dom树结构;
确定所述第一Dom树结构中的目标Dom对象,并创建对应所述目标Dom对象的遮罩层,所述目标Dom对象用于创建埋点事件;
监听所述遮罩层中的鼠标点击事件,并根据所述鼠标点击事件确定被选中的所述目标Dom对象的路由信息;
根据所述路由信息构建第二Dom树结构,在所述遮罩层的目标展示区域显示所述第二Dom树结构;
获取所述第二Dom树结构中各个Dom对象的历史行为数据;
根据所述历史行为数据计算各个Dom对象的埋点属性的权重值,并选取所述权重值超过预设权重阈值的属性为目标埋点属性;
根据所述目标埋点属性创建对应Dom对象的埋点代码,并将所述埋点代码添加至所述网页中的预设位置,得到埋点网页。
2.根据权利要求1所述的数据埋点处理方法,其特征在于,所述获取网页的第一Dom树结构包括:
解析所述网页,得到网页源代码;
根据所述网页源代码确定所述网页中的信息元素;
获取所述信息元素间的逻辑关系,并根据所述逻辑关系构建第一Dom树结构。
3.根据权利要求1所述的数据埋点处理方法,其特征在于,所述方法还包括:
爬取预设数据库中的初始Dom树结构集,所述初始Dom树结构集中包含若干个Dom树结构;
计算所述初始Dom树结构集中与所述第一Dom树结构的结构相似度;
获取所述结构相似度超过预设结构相似度阈值的目标Dom树结构集。
4.根据权利要求3所述的数据埋点处理方法,其特征在于,在所述获取所述结构相似度超过预设结构相似度阈值的目标Dom树结构集之后,所述方法还包括:
获取所述目标Dom树结构集中每一Dom树结构的埋点数据;
根据所述埋点数据计算各项埋点的埋点频率,并选取埋点频率大于预设埋点频率大于预设频率值作为目标埋点;
确定所述目标埋点对应的信息元素作为所述Dom树结构中的目标Dom对象。
5.根据权利要求1所述的数据埋点处理方法,其特征在于,所述根据所述路由信息构建第二Dom树结构包括:
获取被选中的每一Dom对象的路由信息;
根据所述路由信息遍历预先设置的业务逻辑架构,得到Dom对象间的业务逻辑关系;
根据所述业务逻辑关系确定Dom对象父节点与Dom对象子节点;
根据所述Dom对象父节点与所述Dom对象子节点构建第二Dom树结构。
6.根据权利要求1所述的数据埋点处理方法,其特征在于,所述根据所述历史行为数据计算各个Dom对象的埋点属性的权重值包括:
按照预设数据结构处理所述历史行为数据,得到目标行为数据;
基于预设的TF-IDF算法处理所述目标行为数据,计算每一项埋点属性的词频与逆向文件频率;
根据所述词频与所述逆向文件频率确定所述埋点属性的权重值。
7.根据权利要求1所述的数据埋点处理方法,其特征在于,所述根据所述目标埋点属性创建对应Dom对象的埋点代码,并将所述埋点代码添加至所述网页中的预设位置,得到埋点网页包括:
获取所述第二Dom树结构中每一Dom对象在所述网页中的目标位置;
确定所述目标位置处的初始网页代码;
根据预先训练的埋点代码生成模型处理所述目标埋点属性,得到埋点代码;
将所述埋点代码添加至所述初始代码处,得到目标网页代码。
8.一种数据埋点处理装置,其特征在于,所述数据埋点处理装置包括:
结构获取模块,用于获取网页的第一Dom树结构;
对象确定模块,用于确定所述第一Dom树结构中的目标Dom对象,并创建对应所述目标Dom对象的遮罩层,所述目标Dom对象用于创建埋点事件;
事件监听模块,用于监听所述遮罩层中的鼠标点击事件,并根据所述鼠标点击事件确定被选中的所述目标Dom对象的路由信息;
结构构建模块,用于根据所述路由信息构建第二Dom树结构,在所述遮罩层的目标展示区域显示所述第二Dom树结构;
行为获取模块,用于获取所述第二Dom树结构中各个Dom对象的历史行为数据;
权重计算模块,用于根据所述历史行为数据计算各个Dom对象的埋点属性的权重值,并选取所述权重值超过预设权重阈值的属性为目标埋点属性;
代码创建模块,用于根据所述目标埋点属性创建对应Dom对象的埋点代码,并将所述埋点代码添加至所述网页中的预设位置,得到埋点网页。
9.一种计算机设备,其特征在于,所述计算机设备包括处理器,所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1至7中任意一项所述数据埋点处理方法。
10.一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述数据埋点处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110601007.9A CN113268695B (zh) | 2021-05-31 | 2021-05-31 | 数据埋点处理方法、装置及相关设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110601007.9A CN113268695B (zh) | 2021-05-31 | 2021-05-31 | 数据埋点处理方法、装置及相关设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113268695A true CN113268695A (zh) | 2021-08-17 |
CN113268695B CN113268695B (zh) | 2024-05-31 |
Family
ID=77233634
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110601007.9A Active CN113268695B (zh) | 2021-05-31 | 2021-05-31 | 数据埋点处理方法、装置及相关设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113268695B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114489660A (zh) * | 2021-12-22 | 2022-05-13 | 北京字节跳动网络技术有限公司 | 一种埋点代码添加方法、装置及设备 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110016376A1 (en) * | 2009-07-16 | 2011-01-20 | David Hinson | Web Page Hot Spots |
US8166394B1 (en) * | 2009-09-22 | 2012-04-24 | Adobe Systems Incorporated | Systems and methods for implementing and using event tracking and analytics in electronic content |
US20120159306A1 (en) * | 2010-12-15 | 2012-06-21 | Wal-Mart Stores, Inc. | System And Method For Processing XML Documents |
US20150149878A1 (en) * | 2013-11-25 | 2015-05-28 | Mov Digital Media, Inc. | Systems and methods to market to consumers using data obtained from electronic forms |
CN107633019A (zh) * | 2017-08-24 | 2018-01-26 | 阿里巴巴集团控股有限公司 | 一种页面事件采集方法和装置 |
CN110321038A (zh) * | 2019-05-24 | 2019-10-11 | 深圳壹账通智能科技有限公司 | 信息展示位置的调整方法、装置、终端和存储介质 |
CN111290931A (zh) * | 2020-02-18 | 2020-06-16 | 支付宝(杭州)信息技术有限公司 | 用于可视化展示埋点数据的方法及装置 |
CN112015467A (zh) * | 2020-09-04 | 2020-12-01 | 杭州网易再顾科技有限公司 | 埋点方法、介质、装置和计算设备 |
CN112363943A (zh) * | 2020-11-20 | 2021-02-12 | 腾讯科技(深圳)有限公司 | 一种埋点设置方法、装置、计算机设备和存储介质 |
CN112711731A (zh) * | 2019-10-25 | 2021-04-27 | 腾讯科技(深圳)有限公司 | 数据埋点方法、装置、设备及存储介质 |
CN112799946A (zh) * | 2021-01-29 | 2021-05-14 | 长沙市到家悠享网络科技有限公司 | 埋点和数据采集方法、设备及存储介质 |
-
2021
- 2021-05-31 CN CN202110601007.9A patent/CN113268695B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110016376A1 (en) * | 2009-07-16 | 2011-01-20 | David Hinson | Web Page Hot Spots |
US8166394B1 (en) * | 2009-09-22 | 2012-04-24 | Adobe Systems Incorporated | Systems and methods for implementing and using event tracking and analytics in electronic content |
US20120159306A1 (en) * | 2010-12-15 | 2012-06-21 | Wal-Mart Stores, Inc. | System And Method For Processing XML Documents |
US20150149878A1 (en) * | 2013-11-25 | 2015-05-28 | Mov Digital Media, Inc. | Systems and methods to market to consumers using data obtained from electronic forms |
CN107633019A (zh) * | 2017-08-24 | 2018-01-26 | 阿里巴巴集团控股有限公司 | 一种页面事件采集方法和装置 |
CN110321038A (zh) * | 2019-05-24 | 2019-10-11 | 深圳壹账通智能科技有限公司 | 信息展示位置的调整方法、装置、终端和存储介质 |
CN112711731A (zh) * | 2019-10-25 | 2021-04-27 | 腾讯科技(深圳)有限公司 | 数据埋点方法、装置、设备及存储介质 |
CN111290931A (zh) * | 2020-02-18 | 2020-06-16 | 支付宝(杭州)信息技术有限公司 | 用于可视化展示埋点数据的方法及装置 |
CN112015467A (zh) * | 2020-09-04 | 2020-12-01 | 杭州网易再顾科技有限公司 | 埋点方法、介质、装置和计算设备 |
CN112363943A (zh) * | 2020-11-20 | 2021-02-12 | 腾讯科技(深圳)有限公司 | 一种埋点设置方法、装置、计算机设备和存储介质 |
CN112799946A (zh) * | 2021-01-29 | 2021-05-14 | 长沙市到家悠享网络科技有限公司 | 埋点和数据采集方法、设备及存储介质 |
Non-Patent Citations (4)
Title |
---|
BAUER, LUJO等: "Run-time Monitoring and Formal Analysis of Information Flows in Chromium", 《22ND ANNUAL NETWORK AND DISTRIBUTED SYSTEM SECURITY SYMPOSIUM (NDSS 2015)》, 31 December 2015 (2015-12-31), pages 1 - 16 * |
JIAN LI等: "Webpage saliency prediction with multi-features fusion", 《2016 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP)》, 19 August 2016 (2016-08-19), pages 674 - 678 * |
刘文萱: "基于SaaS服务平台的用户行为采集及分析技术的研究与实现", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》, 15 August 2020 (2020-08-15), pages 138 - 241 * |
唐赛: "基于分布式的个性化推荐系统的设计与实现", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》, 15 January 2020 (2020-01-15), pages 138 - 2562 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114489660A (zh) * | 2021-12-22 | 2022-05-13 | 北京字节跳动网络技术有限公司 | 一种埋点代码添加方法、装置及设备 |
CN114489660B (zh) * | 2021-12-22 | 2024-03-08 | 抖音视界有限公司 | 一种埋点代码添加方法、装置及设备 |
Also Published As
Publication number | Publication date |
---|---|
CN113268695B (zh) | 2024-05-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106777644B (zh) | 电厂标识系统编码的自动生成方法及装置 | |
CN108399072B (zh) | 应用页面更新方法和装置 | |
CN112948275A (zh) | 测试数据生成方法、装置、设备及存储介质 | |
CN113094674A (zh) | 页面展示方法、装置、电子设备及存储介质 | |
CN113946690A (zh) | 潜在客户挖掘方法、装置、电子设备及存储介质 | |
CN111625748A (zh) | 网站的导航栏信息提取方法、装置、电子设备及存储介质 | |
CN111931471A (zh) | 表单收集方法、装置、电子设备及存储介质 | |
CN113282795A (zh) | 数据结构图生成及更新方法、装置、电子设备及存储介质 | |
CN115203435A (zh) | 基于知识图谱的实体关系生成方法及数据查询方法 | |
CN112667878A (zh) | 网页的文本内容提取方法、装置、电子设备及存储介质 | |
CN114612194A (zh) | 产品推荐方法、装置、电子设备及存储介质 | |
CN111427577A (zh) | 代码处理方法、装置及服务器 | |
CN114862520A (zh) | 产品推荐方法、装置、计算机设备及存储介质 | |
CN113468288B (zh) | 基于人工智能的文本课件的内容抽取方法及相关设备 | |
CN113268695A (zh) | 数据埋点处理方法、装置及相关设备 | |
CN113886204A (zh) | 用户行为数据收集方法、装置、电子设备及可读存储介质 | |
US20150154567A1 (en) | Facility management system using perspective definition metadata and method therefor | |
CN117009357A (zh) | 智慧城市的物联网数据治理方法、装置、系统及介质 | |
CN114237829B (zh) | 一种电力设备的数据采集与处理方法 | |
Lacasta et al. | Population of a spatio-temporal knowledge base for jurisdictional domains | |
WO2022134820A1 (zh) | 网页的数据抽取方法、装置、电子设备及存储介质 | |
CN113127428A (zh) | 数据批量导入方法、装置及相关设备 | |
CN114881313A (zh) | 基于人工智能的行为预测方法、装置及相关设备 | |
CN113609428A (zh) | 基于Git的原型设计文件在线查看方法、装置、设备及介质 | |
CN113722590B (zh) | 基于人工智能的医学信息推荐方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20211019 Address after: 518000 Room 201, building A, No. 1, Qian Wan Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong (Shenzhen Qianhai business secretary Co., Ltd.) Applicant after: Shenzhen saiante Technology Service Co.,Ltd. Address before: 1-34 / F, Qianhai free trade building, 3048 Xinghai Avenue, Mawan, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong 518000 Applicant before: Ping An International Smart City Technology Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |