CN112256701A - 一种动态埋点数据采集系统及其使用方法 - Google Patents

一种动态埋点数据采集系统及其使用方法 Download PDF

Info

Publication number
CN112256701A
CN112256701A CN202011136219.6A CN202011136219A CN112256701A CN 112256701 A CN112256701 A CN 112256701A CN 202011136219 A CN202011136219 A CN 202011136219A CN 112256701 A CN112256701 A CN 112256701A
Authority
CN
China
Prior art keywords
buried point
point
module
buried
embedded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011136219.6A
Other languages
English (en)
Inventor
李维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Wanwei Computer Service Co ltd
Original Assignee
Guangdong Wanwei Computer Service Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Wanwei Computer Service Co ltd filed Critical Guangdong Wanwei Computer Service Co ltd
Priority to CN202011136219.6A priority Critical patent/CN112256701A/zh
Publication of CN112256701A publication Critical patent/CN112256701A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2228Indexing structures
    • G06F16/2255Hash tables
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2228Indexing structures
    • G06F16/2272Management thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明提供一种动态埋点数据采集系统及其使用方法,包括埋点配置模块、埋点获取模块、埋点缓存模块、埋点监听模块和埋点上报模块,埋点配置模块通过互联网与埋点获取模块连接,埋点缓存模块与埋点获取模块连接,埋点获取模块与埋点监听模块连接,埋点监听模块与埋点上报模块连接,埋点上报模块用于将获得该埋点所需的数据并上报到服务端,在使用此动态埋点数据采集系统时,通过在服务端里面的埋点配置模块配置及生成埋点信息配置列表,当需要使用埋点信息配置列表时,通过埋点获取模块对整个埋点信息配置列表进行获取,然后通过埋点监听模块进行监听,最终通过埋点上报模块把对应的埋点进行上报。整体的灵活性和及时性高,便于使用。

Description

一种动态埋点数据采集系统及其使用方法
技术领域
本发明涉及领域,特别是涉及一种。
背景技术
数据是企业的核心资产,它可以反映出企业的经营状况,对企业经营者的决策活动提供依据。在行业竞争激烈的背景下,如若企业能更加高效、全面、及时地采集到多维度、多途径的数据,那么企业将更加容易在行业中立于不败地位。另外,业务系统的稳定性都不可能达到百分百,如若业务系统在运行过程出现故障而不能及时发现,将对企业的生产经营以及声誉造成重大影响。
现有的数据采集方案大多采用手动埋点,即在需要埋点的代码节点上调用接口直接上传埋点数据,其优点是实现简单,但弊端同样明显:埋点代码侵入到业务代码中并分散在需要埋点的各个位置上,在系统架构层面来说,埋点逻辑与业务逻辑耦合在一起,使埋点代码变得很繁琐并且容易出错,影响了系统的可维护性,同时,手动埋点由于是固定写在代码里,一旦上线后就很难修改,如果埋点有需求变更,只能重新发布代码,导致灵活性和及时性低,对移动应用这种需要重新上架来更新的应用场景影响尤其明显。另外,虽然也有代码热修复的方案,但热修复的诸多限制也带来更多的复杂度。
发明内容
为解决上述问题,本发明采用如下技术方案:一种动态埋点数据采集系统,包括:埋点配置模块、埋点获取模块、埋点缓存模块、埋点监听模块和埋点上报模块;
所述埋点配置模块通过互联网与所述埋点获取模块连接,所述埋点缓存模块的输出端与所述埋点获取模块的输入端连接,所述埋点获取模块的输出端与所述埋点监听模块的输入端连接,所述埋点监听模块的输出端与所述埋点上报模块的输入端连接;
所述埋点上报模块用于将获得该埋点所需的数据并上报到服务端。
进一步地,所述埋点配置模块设置于所述服务端内,且所述埋点配置模块负责配置及生成埋点信息配置列表,所述埋点信息配置列表中包括若干个埋点信息,每一所述埋点信息均至少包含触发该埋点的触发类型以及触发该埋点时所需上报的数据集标识。
进一步地,所述埋点获取模块用于在页面加载时从所述服务端获取所述埋点信息配置列表。
进一步地,所述埋点缓存模块用于将埋点信息配置列表以及哈希值存储到本地中,以加快页面加载。
进一步地,所述埋点上报模块用于将获得该埋点所需的数据上报到所述服务端。
一种动态埋点数据采集方法,使用上述任一所述动态埋点数据采集系统进行采集,包括以下具体步骤:
S1.页面加载时从所述服务端获取所述埋点信息配置列表;
S2.根据所述埋点信息配置列表中的每一个埋点信息所提供的触发类型来初始化埋点;
S3.当触发埋点的条件成立时,获得该埋点所需的数据并上报到所述服务端。
进一步地,所述步骤S1中,对于一个所述埋点信息所包含的触发该埋点的触发类型,以及触发该埋点时所需上报的数据集标识。
进一步地,所述埋点的触发类型包括用户交换、系统或业务事件,所述用户交换为当用户发生某种动作时,埋点被触发,所述系统或业务事件为当系统发生某种事件,或者业务流程进行到某一步骤时,埋点被触发。
进一步地,所述所需上报的数据集标识包含了触发一个所述埋点后需要上报到所述服务端的所有数据的集合。
进一步地,所述步骤S2中,对于触发类型为用户交互的埋点,通过埋点信息中提供的交互对象的标识找到该交互对象,绑定回调函数到该埋点信息中所指定的交互类型事件;对于触发类型为系统或业务事件的埋点,向该系统或业务事件所对应的事件勾子函数中添加回调函数。
本发明的有益效果为:在使用此动态埋点数据采集系统时,通过在服务端里面的埋点配置模块配置及生成埋点信息配置列表,当需要使用埋点信息配置列表时,通过埋点获取模块对整个埋点信息配置列表进行获取,然后通过埋点监听模块进行监听,最终通过埋点上报模块把对应的埋点进行上报。整体的灵活性和及时性高,便于使用。
附图说明
附图对本发明作进一步说明,但附图中的实施例不构成对本发明的任何限制。
图1为一实施例提供的一种动态埋点数据采集系统的模块连接示意图;
图2为一实施例提供的一种动态埋点数据采集方法的流程图。
具体实施方式
以下将结合本发明实施例的附图,对本发明的技术方案做进一步描述,本发明不仅限于以下具体实施方式。需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
如图1所示,一种动态埋点数据采集系统,包括:埋点配置模块101、埋点获取模块102、埋点缓存模块103、埋点监听模块104和埋点上报模块105,所述埋点配置模块101通过互联网与所述埋点获取模块102连接,所述埋点缓存模块103的输出端与所述埋点获取模块102的输入端连接,所述埋点获取模块102的输出端与所述埋点监听模块104的输入端连接,所述埋点监听模块104的输出端与所述埋点上报模块105的输入端连接,所述埋点上报模块105用于将获得该埋点所需的数据并上报到服务端。
具体地,所述埋点配置模块101设置于所述服务端内,且所述埋点配置模块101负责配置及生成埋点信息配置列表,所述埋点信息配置列表中包括若干个埋点信息,每一所述埋点信息均至少包含触发该埋点的触发类型以及触发该埋点时所需上报的数据集标识。所述埋点获取模块102用于在页面加载时从所述服务端获取所述埋点信息配置列表。所述埋点缓存模块103用于将埋点信息配置列表以及哈希值存储到本地中,以加快页面加载。所述埋点上报模块105用于将获得该埋点所需的数据上报到所述服务端。
也就是说,在使用此动态埋点数据采集系统时,通过在服务端里面的埋点配置模块101配置及生成埋点信息配置列表,当需要使用埋点信息配置列表时,通过埋点获取模块102对整个埋点信息配置列表进行获取,然后通过埋点监听模块104进行监听,最终通过埋点上报模块105把对应的埋点进行上报。
如图2所示,一种动态埋点数据采集方法,使用上述任一所述动态埋点数据采集系统进行采集,包括以下具体步骤:
S1.页面加载时从所述服务端获取所述埋点信息配置列表。
具体地,在设备上使用此动态埋点数据采集系统,然后通过在设备的页面上加载从服务端获取到的埋点信息配置列表,然后对于埋点信息配置列表中的每一个埋点信息所包含的触发该埋点的触发类型,以及触发该埋点时所需上报的数据集标识。
S2.根据所述埋点信息配置列表中的每一个埋点信息所提供的触发类型来初始化埋点。
也就是说,根据埋点信息来对每一个埋点进行初始化。
S3.当触发埋点的条件成立时,获得该埋点所需的数据并上报到所述服务端。
具体地,如果触发埋点的条件成立时,埋点监听模块104会将该埋点所需的数据通过埋点上报模块105进行上报,将数据发送至服务端。
也就是说,通过使用此采集方法,将埋点逻辑从分散到业务代码逻辑转变为集中式的后端统一配置,使得埋点代码与业务代码完全解耦,互为正交,提高了系统的可维护性和稳定性。同时,由于埋点逻辑是通过埋点信息配置列表实时下发的,避免了因为埋点需求的变更导致业务系统需要重新发布,提高了系统的稳定性,以及埋点的灵活性和及时性。再者,埋点需求变更,无论是埋点的变更,还是上报数据的变更,只需在后端重新配置生成埋点信息配置列表即可,大大降低了开发成本。
在上述实施例中,埋点信息配置列表的数据结构可以根据不同需求而具体设置,例如,埋点信息配置列表的数据结构为JSON结构,如下所示,
Figure BDA0002736787520000051
也就是说,还可以为其它的数据结构,本实施例中不累赘描述。
上述实施例中,埋点信息配置列表里一共有两个埋点信息,其中,第一个埋点信息A的type字段的值为user,代表触发类型为用户交互。第二个埋点信息B的type字段的值为system,代表触发类型为系统或业务事件。
进一步地,因为埋点信息A的触发类型为用户交互,所以,埋点信息AA还需额外提供页面中交互对象的标识,以及具体用户交互类型。其中,target字段的值为交互对象的标识,#download_btn代表ID为download_btn的元素;bind字段的值表示用户的具体交互类型,click代表用户点击指定位置时触发埋点。
进一步地,埋点信息B的触发类型为系统或业务事件,其target字段的值是video.complete,代表当视频播放完成时,埋点被触发。
进一步地,埋点信息A的data字段声明了所需上报的数据集标识,其中data一共有两个数据,一个是key为d1,另一个是key为d2。数据d1的值是已在埋点信息配置列表中指定的常量字符串str1。数据d2的值需要在运行时中获取,获取途径为device.imei。
进一步地,依据埋点信息所提供的触发类型来初始化埋点,指的是:对于触发类型为用户交互的埋点信息A,通过埋点信息A中提供的交互对象的标识找到该交互对象,具体地,该交互对象可以为一个或者多个,根据具体情况具体分析,绑定回调函数到该埋点信息A中所指定的交互类型事件,在本实施例中,将绑定回调函数到ID为download_btn的元素的点击事件click中;对于触发类型为系统或业务事件的埋点信息B,向该系统或业务事件所对应的事件勾子函数中添加回调函数,在本实施例中,将回调函数添加至device.imei所对应的勾子函数中。
进一步地,当所述触发埋点的条件成立,也就是指在添加的回调函数能被调用,即当用户点击ID为download_btn的元素时,回调函数被调用。值得一提的是,如果触发埋点的条件成立时,埋点监听模块104会将该埋点所需的数据通过埋点上报模块105进行上报,将数据发送至服务端,也就是依据该埋点信息中所定义的数据集标识,生成或获取对应的数据实例,然后将其提交到服务端。在本实施例中,当用户点击ID为download_btn的元素时,回调函数被调用,这时候,数据实例形如“d1=str1&d2=864055047001641”,表示上报数据有两个,其参数名分别为d1和d2,其中,d1的值为字符串常量str1,d2的值为运行时获取的IMEI值。
综上所述,上述实施方式并非是本发明的限制性实施方式,凡本领域的技术人员在本发明的实质内容的基础上所进行的修饰或者等效变形,均在本发明的技术范畴。

Claims (10)

1.一种动态埋点数据采集系统,其特征在于,包括:埋点配置模块、埋点获取模块、埋点缓存模块、埋点监听模块和埋点上报模块;
所述埋点配置模块通过互联网与所述埋点获取模块连接,所述埋点缓存模块的输出端与所述埋点获取模块的输入端连接,所述埋点获取模块的输出端与所述埋点监听模块的输入端连接,所述埋点监听模块的输出端与所述埋点上报模块的输入端连接;
所述埋点上报模块用于将获得该埋点所需的数据并上报到服务端。
2.根据权利要求1所述的动态埋点数据采集系统,其特征在于:所述埋点配置模块设置于所述服务端内,且所述埋点配置模块负责配置及生成埋点信息配置列表,所述埋点信息配置列表中包括若干个埋点信息,每一所述埋点信息均至少包含触发该埋点的触发类型以及触发该埋点时所需上报的数据集标识。
3.根据权利要求1所述的动态埋点数据采集系统,其特征在于:所述埋点获取模块用于在页面加载时从所述服务端获取所述埋点信息配置列表。
4.根据权利要求1所述的动态埋点数据采集系统,其特征在于:所述埋点缓存模块用于将埋点信息配置列表以及哈希值存储到本地中,以加快页面加载。
5.根据权利要求1所述的动态埋点数据采集系统,其特征在于:所述埋点上报模块用于将获得该埋点所需的数据上报到所述服务端。
6.一种动态埋点数据采集方法,使用上述任一所述动态埋点数据采集系统进行采集,其特征在于,包括以下具体步骤:
S1.页面加载时从所述服务端获取所述埋点信息配置列表;
S2.根据所述埋点信息配置列表中的每一个埋点信息所提供的触发类型来初始化埋点;
S3.当触发埋点的条件成立时,获得该埋点所需的数据并上报到所述服务端。
7.根据权利要求6所述的动态埋点数据采集方法,其特征在于:所述步骤S1中,对于一个所述埋点信息所包含的触发该埋点的触发类型,以及触发该埋点时所需上报的数据集标识。
8.根据权利要求7所述的动态埋点数据采集方法,其特征在于:所述埋点的触发类型包括用户交换、系统或业务事件,所述用户交换为当用户发生某种动作时,埋点被触发,所述系统或业务事件为当系统发生某种事件,或者业务流程进行到某一步骤时,埋点被触发。
9.根据权利要求7所述的动态埋点数据采集方法,其特征在于:所述所需上报的数据集标识包含了触发一个所述埋点后需要上报到所述服务端的所有数据的集合。
10.根据权利要求8所述的动态埋点数据采集方法,其特征在于:所述步骤S2中,对于触发类型为用户交互的埋点,通过埋点信息中提供的交互对象的标识找到该交互对象,绑定回调函数到该埋点信息中所指定的交互类型事件;对于触发类型为系统或业务事件的埋点,向该系统或业务事件所对应的事件勾子函数中添加回调函数。
CN202011136219.6A 2020-10-22 2020-10-22 一种动态埋点数据采集系统及其使用方法 Pending CN112256701A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011136219.6A CN112256701A (zh) 2020-10-22 2020-10-22 一种动态埋点数据采集系统及其使用方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011136219.6A CN112256701A (zh) 2020-10-22 2020-10-22 一种动态埋点数据采集系统及其使用方法

Publications (1)

Publication Number Publication Date
CN112256701A true CN112256701A (zh) 2021-01-22

Family

ID=74263854

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011136219.6A Pending CN112256701A (zh) 2020-10-22 2020-10-22 一种动态埋点数据采集系统及其使用方法

Country Status (1)

Country Link
CN (1) CN112256701A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112860515A (zh) * 2021-02-03 2021-05-28 读书郎教育科技有限公司 一种儿童电话手表埋点上报的方法
CN113055435A (zh) * 2021-02-04 2021-06-29 北京淇瑀信息科技有限公司 一种跨环境统一埋点数据传输方法、装置及电子设备
CN113312404A (zh) * 2021-08-02 2021-08-27 北京华品博睿网络技术有限公司 一种特征样本实时采集方法及系统
CN113656102A (zh) * 2021-08-17 2021-11-16 杭州网易云音乐科技有限公司 数据埋点方法及装置、存储介质、电子设备
CN113885995A (zh) * 2021-10-18 2022-01-04 上海哔哩哔哩科技有限公司 数据处理方法及装置
CN114003272A (zh) * 2021-11-01 2022-02-01 焦点科技股份有限公司 一种埋点参数及触发条件配置化方法
CN114546377A (zh) * 2022-01-07 2022-05-27 北京达佳互联信息技术有限公司 埋点处理方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106571949A (zh) * 2016-09-23 2017-04-19 北京五八信息技术有限公司 埋点处理方法及装置
CN107295050A (zh) * 2016-04-01 2017-10-24 阿里巴巴集团控股有限公司 前端用户行为统计方法及装置
CN107436832A (zh) * 2016-05-27 2017-12-05 阿里巴巴集团控股有限公司 一种动态埋点的方法、装置及电子设备
CN108038053A (zh) * 2017-11-29 2018-05-15 上海恺英网络科技有限公司 一种动态配置埋点的方法及设备
CN110059282A (zh) * 2019-04-23 2019-07-26 北京奇艺世纪科技有限公司 一种交互类数据的获取方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107295050A (zh) * 2016-04-01 2017-10-24 阿里巴巴集团控股有限公司 前端用户行为统计方法及装置
CN107436832A (zh) * 2016-05-27 2017-12-05 阿里巴巴集团控股有限公司 一种动态埋点的方法、装置及电子设备
CN106571949A (zh) * 2016-09-23 2017-04-19 北京五八信息技术有限公司 埋点处理方法及装置
CN108038053A (zh) * 2017-11-29 2018-05-15 上海恺英网络科技有限公司 一种动态配置埋点的方法及设备
CN110059282A (zh) * 2019-04-23 2019-07-26 北京奇艺世纪科技有限公司 一种交互类数据的获取方法及系统

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112860515A (zh) * 2021-02-03 2021-05-28 读书郎教育科技有限公司 一种儿童电话手表埋点上报的方法
CN113055435A (zh) * 2021-02-04 2021-06-29 北京淇瑀信息科技有限公司 一种跨环境统一埋点数据传输方法、装置及电子设备
CN113055435B (zh) * 2021-02-04 2022-12-02 北京淇瑀信息科技有限公司 一种跨环境统一埋点数据传输方法、装置及电子设备
CN113312404A (zh) * 2021-08-02 2021-08-27 北京华品博睿网络技术有限公司 一种特征样本实时采集方法及系统
CN113312404B (zh) * 2021-08-02 2021-11-02 北京华品博睿网络技术有限公司 一种特征样本实时采集方法及系统
CN113656102A (zh) * 2021-08-17 2021-11-16 杭州网易云音乐科技有限公司 数据埋点方法及装置、存储介质、电子设备
CN113885995A (zh) * 2021-10-18 2022-01-04 上海哔哩哔哩科技有限公司 数据处理方法及装置
CN114003272A (zh) * 2021-11-01 2022-02-01 焦点科技股份有限公司 一种埋点参数及触发条件配置化方法
CN114003272B (zh) * 2021-11-01 2024-04-16 焦点科技股份有限公司 一种埋点参数及触发条件配置化方法
CN114546377A (zh) * 2022-01-07 2022-05-27 北京达佳互联信息技术有限公司 埋点处理方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN112256701A (zh) 一种动态埋点数据采集系统及其使用方法
CN108628748B (zh) 自动化测试管理方法和自动化测试管理系统
US9607064B2 (en) Content transfer
CN112286806B (zh) 自动化测试方法、装置、存储介质及电子设备
CN111563041B (zh) 一种测试用例按需精准执行方法
CN112256318B (zh) 一种用于依赖产品的构建方法及设备
CN110231956B (zh) 应用程序版本构建的方法、系统及装置
CN103617118A (zh) 测试结果的统一处理方法、装置及系统
US20100332904A1 (en) Testing of Distributed Systems
CN112487075B (zh) 一种集成关系型和非关系型数据库数据转换算子的方法
US11874728B2 (en) Software application diagnostic aid
CN111459631A (zh) 服务器自动化批处理方法及系统
CN110740071A (zh) 一种网络接口监控的方法、装置及系统
CN107317742B (zh) 消息处理方法及系统、计算机系统、计算机可读存储介质
CN114936254A (zh) 云链融合机制下的食品安全大数据共享管理方法及系统
CN112395339B (zh) 系统间数据准入校验方法、装置、计算机设备和存储介质
CN116627849A (zh) 系统测试方法、装置、设备及存储介质
CN116599881A (zh) 云平台租户建模测试的方法、装置、设备及存储介质
CN110865918A (zh) 数据库的监控方法、装置、计算机设备和存储介质
CN109525642B (zh) 一种用户机制下的lims系统客户数据自动化上报方法
CN114416163A (zh) 一种制品管理方法、系统、存储介质和电子设备
CN110399296B (zh) 测试客户端与服务端之间交互接口的方法、系统和介质
CN113836212A (zh) 数据库数据自动生成Json数据的方法、可读介质和电子设备
US10324819B1 (en) Runtime performance introspection
CN108920182A (zh) 一种新型源代码统计分析方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination