CN111767185A - 一种数据埋点方法和装置 - Google Patents
一种数据埋点方法和装置 Download PDFInfo
- Publication number
- CN111767185A CN111767185A CN201910536113.6A CN201910536113A CN111767185A CN 111767185 A CN111767185 A CN 111767185A CN 201910536113 A CN201910536113 A CN 201910536113A CN 111767185 A CN111767185 A CN 111767185A
- Authority
- CN
- China
- Prior art keywords
- data
- buried point
- queue
- attribute
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000012545 processing Methods 0.000 claims abstract description 31
- 230000007246 mechanism Effects 0.000 claims abstract description 21
- 238000013507 mapping Methods 0.000 claims description 56
- 230000008569 process Effects 0.000 claims description 17
- 238000009933 burial Methods 0.000 claims description 16
- 238000003860 storage Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 10
- 238000002910 structure generation Methods 0.000 claims description 7
- 238000012163 sequencing technique Methods 0.000 claims description 6
- 238000012423 maintenance Methods 0.000 abstract description 12
- 230000000694 effects Effects 0.000 abstract description 5
- 230000002829 reductive effect Effects 0.000 abstract description 4
- 230000018109 developmental process Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 16
- 238000011161 development Methods 0.000 description 15
- 238000012544 monitoring process Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000011144 upstream manufacturing Methods 0.000 description 8
- 101100075995 Schizosaccharomyces pombe (strain 972 / ATCC 24843) fma2 gene Proteins 0.000 description 6
- 238000003491 array Methods 0.000 description 6
- 101150064138 MAP1 gene Proteins 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 101150009249 MAP2 gene Proteins 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000010169 landfilling Methods 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本发明公开了一种数据埋点方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：利用反射机制，依据业务数据确定业务实例类别包含的数据属性，并根据数据属性生成埋点结构；根据从业务数据中获取所述数据属性的值，并基于数据属性及其值生成埋点消息队列；基于埋点需求更新所述埋点结构，并从埋点消息队列中确定更新后的埋点结构中的数据属性的值；根据更新后的埋点结构和数据属性的值进行数据埋点。该实施方式可以达到多业务不同类的数据可以直接一次性进行埋点、提高埋点效率的技术效果，并且能自动动态地进行配置和监控，无论是对于需要埋点的数据系统方，还是数据处理中心的维护方，都能实现自动化处理，有效的减少人力。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种数据埋点方法和装置。
背景技术
数据埋点指在应用的特定流程中收集一些信息，对一些过程数据或结果数据进行采集(存储)，用来跟踪应用使用的状况。在互联网平台中，由于业务的横向切分，通常将数据模块与业务模块区分开，使需要埋点的系统(即业务模块)独立成为一个通用的逻辑处理模块。因此对于数据模块的设计和如何准确、安全且自动化地完成数据的埋点则成为重中之重。现有的技术方案主要有：上游埋点系统将需要埋点的数据以原始类或手动装载的容器的形式放入不同队列主题的消息队列中；下游数据处理中心根据业务需求，手动添加对消息队列中不同队列主题的监听，引入包含原始类的数据包(jar包)进行数据解析，通过开发或者配置的方式维护队列主题和字段(即数据属性)的映射关系，并进行数据处理和存储；定期人工对监听的队列主题进行整理，关闭不需要再监听的消息队列配置。
在实现本发明过程中，发明人发现现有技术中至少存在如下问题：
对于需要埋点的系统：
1.同一个业务多实例的情况不易于埋点，无论是手动取出多个对象的属性再写入一个映射(map)数据结构进行埋点，还是分成多个不同的内容进行埋点后续再增加数据加工，都存在很多无实际意义的工作，影响开发效率。
2.针对已有埋点的队列主题每需要新增一个字段，都需要进行埋点部分代码的变更，非常不便利，不适用于埋点需求变更频繁的系统。
对于数据处理中心：
1.针对已有埋点的队列主题新增或变更字段的情况，都需要人工手动去进行队列主题和字段配置，甚至可能需要额外引入新jar包进行开发。
2.已有队列主题的监听需要手动去变更埋点内容，维护不便。
发明内容
有鉴于此，本发明实施例提供一种数据埋点方法和装置，能够利用反射机制获取业务实例类别中的数据属性，解决了同一个业务多实例的情况不易于埋点从而影响开发效率的问题。
为实现上述目的，根据本发明实施例的一个方面，提供了一种数据埋点方法，包括：利用反射机制，依据业务数据确定业务实例类别包含的数据属性，并根据所述数据属性生成埋点结构；根据所述数据属性从业务数据中获取所述数据属性的值，并基于所述数据属性及其值生成埋点消息队列；基于埋点需求更新所述埋点结构，并从所述埋点消息队列中确定更新后的埋点结构中的数据属性的值；根据所述更新后的埋点结构和所述数据属性的值进行数据埋点。
根据本发明实施例的另一个方面，提供了一种数据埋点方法，应用于数据处理中心，包括：获取并解析数据包，得到埋点消息队列和埋点结构；基于埋点需求更新所述埋点结构，并从所述埋点消息队列中确定更新后的埋点结构中的数据属性的值；根据所述更新后的埋点结构和所述数据属性的值进行数据埋点。
可选地，基于埋点需求更新所述埋点结构，并从所述埋点消息队列中确定更新后的埋点结构中的数据属性的值，包括：将所述埋点结构分别作为第一映射数据结构和第二映射数据结构；从所述埋点消息队列中，确定第一映射数据结构中的数据属性的值，存储所述第一映射数据结构及其数据属性的值；获取埋点需求，基于埋点需求更新第二映射数据结构；从所述埋点消息队列中，确定更新后的第二映射数据结构中的数据属性的值。
可选地，根据所述更新后的埋点结构和所述数据属性的值进行数据埋点，包括：根据所述更新后的第二映射数据结构和其对应的所述数据属性的值，进行数据埋点。
可选地，获取并解析数据包，得到埋点消息队列和埋点结构，还包括：将所述数据包作为第一数据包，解析所述第一数据包得到所述埋点消息队列的队列主题和业务标识；判断在获取所述第一数据包的时刻之前的第一设定时间范围内，是否获取过第二数据包；若是，则暂停流程并删除所述第一数据包及其解析出的内容，若否，则确定处理所述队列主题对应的数据埋点的线程；其中，所述第二数据包包括与所述第一数据包解析出的所述队列主题和所述业务标识皆相同的数据包。
可选地，获取并解析数据包，得到埋点消息队列和埋点结构，还包括：若在获取所述第一数据包的时刻之后的第二设定时间范围内，未获取第二数据包，则关闭处理所述队列主题对应的数据埋点的线程。
根据本发明实施例的再一个方面，提供了一种数据埋点方法，应用于业务系统，包括：利用反射机制，依据业务数据确定业务实例类别包含的数据属性，并根据所述数据属性生成埋点结构；根据所述数据属性从业务数据中获取所述数据属性的值，并基于所述数据属性及其值生成埋点消息队列；基于所述埋点消息队列及其队列主题、所述埋点结构和业务标识生成数据包；发送所述数据包，以使接收方根据所述数据包完成数据埋点。
可选地，基于所述数据属性及其值生成埋点消息队列，包括：排序所述业务实例类别，并按照所述业务实例类别的排序将所述数据属性作为类数组中的元素；按照所述类数组中元素的顺序，将所述数据属性的值作为类对象数组的元素；根据所述类数组和所述类对象数组生成埋点消息队列，并按照所述业务实例类别的排序，将所述业务实例类别进行拼接作为所述埋点消息队列的队列主题。
可选地，基于所述埋点消息队列及其队列主题、所述埋点结构和业务标识生成数据包，包括：设置时间间隔；按照所述时间间隔，定时基于最新的所述埋点消息队列及其队列主题、所述埋点结构和业务标识生成数据包。
根据本发明实施例的再一个方面，提供了一种数据埋点装置，包括：结构生成模块，用于：利用反射机制，依据业务数据确定业务实例类别包含的数据属性，并根据所述数据属性生成埋点结构；队列生成模块，用于：根据所述数据属性从业务数据中获取所述数据属性的值，并基于所述数据属性及其值生成埋点消息队列；确定埋点数据模块，用于：基于埋点需求更新所述埋点结构，并从所述埋点消息队列中确定更新后的埋点结构中的数据属性的值；埋点模块，用于：根据所述更新后的埋点结构和所述数据属性的值进行数据埋点。
根据本发明实施例的再一个方面，提供了一种数据埋点装置，设置于数据处理中心，包括：获取数据包模块，用于：获取并解析数据包，得到埋点消息队列和埋点结构；确定埋点数据模块，用于：基于埋点需求更新所述埋点结构，并从所述埋点消息队列中确定更新后的埋点结构中的数据属性的值；埋点模块，用于：根据所述更新后的埋点结构和所述数据属性的值进行数据埋点。
可选地，确定埋点数据模块还用于：将所述埋点结构分别作为第一映射数据结构和第二映射数据结构；从所述埋点消息队列中，确定第一映射数据结构中的数据属性的值，存储所述第一映射数据结构及其数据属性的值；获取埋点需求，基于埋点需求更新第二映射数据结构；从所述埋点消息队列中，确定更新后的第二映射数据结构中的数据属性的值。
可选地，埋点模块还用于：根据所述更新后的第二映射数据结构和其对应的所述数据属性的值，进行数据埋点。
可选地，获取数据包模块还用于：将所述数据包作为第一数据包，解析所述第一数据包得到所述埋点消息队列的队列主题和业务标识；判断在获取所述第一数据包的时刻之前的第一设定时间范围内，是否获取过第二数据包；若是，则暂停流程并删除所述第一数据包及其解析出的内容，若否，则确定处理所述队列主题对应的数据埋点的线程；其中，所述第二数据包包括与所述第一数据包解析出的所述队列主题和所述业务标识皆相同的数据包。
可选地，获取数据包模块还用于：若在获取所述第一数据包的时刻之后的第二设定时间范围内，未获取第二数据包，则关闭处理所述队列主题对应的数据埋点的线程。
根据本发明实施例的再一个方面，提供了一种数据埋点装置，设置于业务系统，包括：结构生成模块，用于：利用反射机制，依据业务数据确定业务实例类别包含的数据属性，并根据所述数据属性生成埋点结构；队列生成模块，用于：根据所述数据属性从业务数据中获取所述数据属性的值，并基于所述数据属性及其值生成埋点消息队列；数据包生成模块，用于：基于所述埋点消息队列及其队列主题、所述埋点结构和业务标识生成数据包；发送模块，用于：发送所述数据包，以使接收方根据所述数据包完成数据埋点。
可选地，队列生成模块还用于：排序所述业务实例类别，并按照所述业务实例类别的排序将所述数据属性作为类数组中的元素；按照所述类数组中元素的顺序，将所述数据属性的值作为类对象数组的元素；根据所述类数组和所述类对象数组生成埋点消息队列，并按照所述业务实例类别的排序，将所述业务实例类别进行拼接作为所述埋点消息队列的队列主题。
可选地，数据包生成模块还用于：设置时间间隔；按照所述时间间隔，定时基于最新的所述埋点消息队列及其队列主题、所述埋点结构和业务标识生成数据包。
根据本发明实施例的再一个方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如前述实施例提出的数据埋点方法。
根据本发明实施例的再一个方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现如前述实施例提出的数据埋点方法。
上述发明中的一个实施例具有如下优点或有益效果：因为采用反射机制获取业务实例类别中的数据属性的技术手段，解决了同一个业务多实例的情况不易于埋点从而影响开发效率的问题，可以达到多业务不同类的数据可以直接一次性进行埋点、提高埋点效率的技术效果，通过反射机制自动循环获取类中的所有属性并进行组装埋点，减少埋点方和接收方的开发及上线的工作，同时也减少后期的配置及维护的工作，并保证代码结构的一致性。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1是现有技术中数据埋点的方法的流程示意图；
图2是根据本发明实施例的数据埋点的方法的基本流程的示意图；
图3是根据本发明实施例的应用于数据处理中心的数据埋点方法的基本流程的示意图；
图4是根据本发明实施例的应用于业务系统数据埋点方法的基本流程的示意图；
图5是根据本发明实施例的数据埋点的方法的优选流程的示意图；
图6是根据本发明实施例的数据埋点的装置的基本模块的示意图；
图7是本发明实施例可以应用于其中的示例性系统架构图；
图8是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1是现有技术中数据埋点的方法的流程示意图；如图所示，上游埋点系统也就是图中的系统A、系统B、系统C(即需要埋点的系统)将需要埋点的数据以原始类或手动装载的容器的形式放入不同队列主题的消息队列(即图中的队列A、队列B、队列C)中；下游的数据处理中心根据业务需求，手动添加对消息队列中不同队列主题的监听，引入包含原始类的数据包(jar包)进行数据解析，埋点是将不同的类(class)数据通过转换成统一的形式(可以包括但不限于是json)后，放入消息队列，数据处理中心可能需要针对不同的class做不同的处理，因此需要再将统一格式转换为以前的格式进行对应操作，这个再次转换的操作就需要解析获取类中的各个属性。通过开发或者配置的方式维护队列主题和字段的映射关系，并进行数据处理和存储；定期人工对监听的队列主题进行整理，关闭不需要再监听的消息队列配置。
针对希望将多个对象中不同的属性在同一处埋点的情况，现有技术是由开发者通过写代码的方式分别从多对象中将需要的类属性取出，并写入一个map结构中进行埋点，或多业务各自埋点成多张表，之后再通过其他方式进行多表合并。无论哪种都在埋点过程中存在很多无实际意义的工作，影响开发效率。图2是根据本发明实施例的数据埋点的方法的基本流程的示意图，如图2所示，针对以上问题，本发明实施例提供了一种数据埋点方法，包括：
步骤S201.利用反射机制，依据业务数据确定业务类别包含的数据属性，并根据所述数据属性生成埋点结构；
步骤S202.根据所述数据属性从业务数据中获取所述数据属性的值，并基于所述数据属性及其值生成埋点消息队列；
步骤S203.基于埋点需求更新所述埋点结构，并从所述埋点消息队列中确定更新后的埋点结构中的数据属性的值；
步骤S204.根据所述更新后的埋点结构和所述数据属性的值进行数据埋点。
具体地，上游业务系统(需要埋点的系统)A是一个有三个实例(a1、a2、a3，即各实例做同样的工作)的应答系统为例：包含了业务分配、语义识别、匹配答案这三个业务功能模块。当一通消息到达上游业务系统A后，就会产生以下几种步骤及数据：
经过业务分配模块处理后，生成分配类的数据对象：
分配类(Allocate)包含消息id、分配给机器人或者人工标识两个属性；
对应的属性值为{消息id：“message_1”，标识：“robot”}。
经过语义识别模块处理后，生成意图类的数据对象：
意图类(Intention)包含消息id、问题内容、意图、识别情况四个属性；
对应的属性值为{消息id：“message_1”，问题内容：“这个商品怎么没货”，意图：“商品咨询”，识别情况：“清晰”}。
经过匹配答案模块处理后，生成答案类的数据对象：
答案类(Answer)包含消息id、答案内容两个属性；
对应的属性值为{消息id：“message_1”，答案内容：“目前供货紧缺，请耐心等待～”}。
利用java的反射机制，生成{消息id，标识，问题内容，意图，识别情况，答案内容}的埋点结构；生成埋点消息队列：{消息id：“message_1”，标识：“robot”，问题内容：“这个商品怎么没货”，意图：“商品咨询”，识别情况：“清晰”，答案内容：“目前供货紧缺，请耐心等待～”}。埋点需求中只需要{消息id，问题内容，答案内容}这三个属性，则根据埋点需求更新后的埋点结构为{消息id，问题内容，答案内容}；只从消息队列中获取{消息id：“message_1”，问题内容：“这个商品怎么没货”，答案内容：“目前供货紧缺，请耐心等待～”}进行埋点即可。
本发明实施例因为采用反射机制获取业务实例类别中的数据属性的技术手段，解决了同一个业务多实例的情况不易于埋点从而影响开发效率的问题，可以达到多业务不同类的数据可以直接一次性进行埋点、提高埋点效率的技术效果，减少埋点方和接收方的开发及上线的工作，同时也减少后期的配置及维护的工作。
图3是根据本发明实施例的应用于数据处理中心的数据埋点方法的基本流程的示意图；如图3所示，本发明实施例提供了一种数据埋点方法，应用于数据处理中心，包括：
步骤S301.获取并解析数据包，得到埋点消息队列和埋点结构；
步骤S302.基于埋点需求更新所述埋点结构，并从所述埋点消息队列中确定更新后的埋点结构中的数据属性的值；
步骤S303.根据所述更新后的埋点结构和所述数据属性的值进行数据埋点。
其中，本发明实施例中的数据处理中心是用于进行具体埋点操作或数据处理的模块或单元。
本发明实施例中的步骤S302基于埋点需求更新所述埋点结构，并从所述埋点消息队列中确定更新后的埋点结构中的数据属性的值，包括：将所述埋点结构分别作为第一映射数据结构和第二映射数据结构；从所述埋点消息队列中，确定第一映射数据结构中的数据属性的值，存储所述第一映射数据结构及其数据属性的值；获取埋点需求，基于埋点需求更新第二映射数据结构；从所述埋点消息队列中，确定更新后的第二映射数据结构中的数据属性的值。根据所述更新后的埋点结构和所述数据属性的值进行数据埋点，包括：根据所述更新后的第二映射数据结构和其对应的所述数据属性的值，进行数据埋点。
具体地，数据处理中心解析出埋点内容的结构为{消息id，标识，问题内容，意图，识别情况，答案内容}，初始化两个映射数据结构Map1和Map2，都缓存该的埋点结构。Map1用于存储原始结构，不可修改；Map2用于存储实际埋点结构，可以修改。初始时两者内容相同，即{消息id，标识，问题内容，意图，识别情况，答案内容}。Map1和Map2都会通过界面的方式反馈给数据处理中心的维护人员，使维护人员能清楚掌握全部的结构和埋点部分的结构，并能灵活进行埋点修改。例如，埋点内容若只需要{消息id，问题内容，答案内容}这三个属性，只需要修改map2为如此结构即可。消费线程获取到队列中的消息内容为{消息id：“message_1”，标识：“robot”，问题内容：“这个商品怎么没货”，意图：“商品咨询”，识别情况：“清晰”，答案内容：“目前供货紧缺，请耐心等待～”}，根据埋点需求map2中的属性，只获取{消息id：“message_1”，问题内容：“这个商品怎么没货”，答案内容：“目前供货紧缺，请耐心等待～”}进行埋点即可。
本发明实施例中的步骤S301获取并解析数据包，得到埋点消息队列和埋点结构，还包括：将所述数据包作为第一数据包，解析所述第一数据包得到所述埋点消息队列的队列主题和业务标识；判断在获取所述第一数据包的时刻之前的第一设定时间范围内，是否获取过第二数据包；若是，则暂停流程并删除所述第一数据包及其解析出的内容，若否，则确定处理所述队列主题对应的数据埋点的线程；其中，所述第二数据包包括与所述第一数据包解析出的所述队列主题和所述业务标识皆相同的数据包。
具体地，由于上游需要埋点的系统都是多实例的，因此会出现短时间内收到不同实例发来同一队列主题(topic)的数据包的情况，为了避免重复处理浪费资源的问题，会在数据处理中心通过topic：Allocate_Intention_Answer和应用名(上游业务系统)A拼接为一个key为Allocate_Intention_Answer_A_Filter，且其生存周期只有3分钟(第一设定时间范围可以包括但不限于是3分钟)的缓存内容，在3分钟内收到的同名key的数据包都会被直接删除，3分钟后该缓存消失，则进行下一轮数据包的解析处理。
本发明实施例中步骤S301获取并解析数据包，得到埋点消息队列和埋点结构，还包括：若在获取所述第一数据包的时刻之后的第二设定时间范围内，未获取第二数据包，则关闭处理所述队列主题对应的数据埋点的线程。
具体地，为了能动态地开启和关闭数据监控，数据处理中心会对每个topic另外进行缓存，例如生成名为Allocate_Intention_Answer_A_Monitor的生命周期为10分钟(第二设定时间范围可以包括但不限于是10分钟)的缓存内容。若能一直收到包含队列主题为Allocate_Intention_Answer的数据包，则topic缓存的生命周期一直是更新并存在，整个埋点流程也能正常运行；若超过10分钟后，生命周期完结依然未收到新的队列主题为Allocate_Intention_Answer的数据包，则会关闭之前监听jmq该topic的线程，终止负责处理包含队列主题为Allocate_Intention_Answer的数据包的埋点流程。
图4是根据本发明实施例的应用于业务系统数据埋点方法的基本流程的示意图。如图4所示，本发明实施例提供了一种数据埋点方法，应用于业务系统，包括：
步骤S401.利用反射机制，依据业务数据确定业务实例类别包含的数据属性，并根据所述数据属性生成埋点结构；
步骤S402.根据所述数据属性从业务数据中获取所述数据属性的值，并基于所述数据属性及其值生成埋点消息队列；
步骤S403.基于所述埋点消息队列及其队列主题、所述埋点结构和业务标识生成数据包；
步骤S404.发送所述数据包，以使接收方根据所述数据包完成数据埋点。
其中，本发明实施例中的业务系统是指需要埋点的系统。接收方可以包括但不限于是用于完成数据埋点的单元或模块。
本发明实施例中步骤S402基于所述数据属性及其值生成埋点消息队列，包括：排序所述业务实例类别(这里的排序规则可以是随机对业务实例类别进行排序，也可以按设定顺序排序，比如按字典序、流程序、生产数据的时间序等)，并按照所述业务实例类别的排序将所述数据属性作为类数组中的元素；按照所述类数组中元素的顺序，将所述数据属性的值作为类对象数组的元素；根据所述类数组和所述类对象数组生成埋点消息队列，并按照所述业务实例类别的排序，将所述业务实例类别进行拼接作为所述埋点消息队列的队列主题。
具体地，上游业务系统一共产成了三个不同的数据类，而后期的数据分析或者数据统计大多需要把这些内容结合在一起进行，因此就需要将它们进行合并组装。即对应生成的埋点数据为{消息id：“message_1”，标识：“robot”，问题内容：“这个商品怎么没货”，意图：“商品咨询”，识别情况：“清晰”，答案内容：“目前供货紧缺，请耐心等待～”}。现有技术中内容的合并通常是需要开发者手动操作的，该方案则是在sdk包中实现了统一操作，只需要在调用sdk的方法时依次对应传入Allocate、Intention和Answer这三个类数组及它们对应的内容数组即可。为了实现埋点的通用性，埋点内容的结构设计为map数据结构。skd完成数据合并后，sdk根据Allocate、Intention、Answer这三个类名生成埋点的消息队列topic：Allocate_Intention_Answer(这样生成主要是为了能自动地避免不同业务埋点重复的情况)，并往该队列中按照传入类数组的顺序写入属性值。
本发明实施例中步骤S403基于所述埋点消息队列及其队列主题、所述埋点结构和业务标识生成数据包，包括：设置时间间隔；按照所述时间间隔，定时基于最新的所述埋点消息队列及其队列主题、所述埋点结构和业务标识生成数据包。
具体地，sdk会创建一个的定时器，每2分钟(设置时间间隔可以包括但不限于是2分钟)会向数据处理中心发送数据包，也可以每2分钟生成新的数据包，并将新生成的数据包发送至数据处理中心，数据包中还包括业务标识、IP等信息数据。其中，sdk软件开发工具包，在本发明实施例中可以是基于埋点功能的对外应用程序接口，是埋点流程的一部分。
图5是根据本发明实施例的数据埋点的方法的优选流程的示意图。如图5所示，本发明实施例的优选流程如下：
1)上游埋点系统引用埋点sdk，调用sdk中的静态埋点方法，传入需要埋点的类和类对象(类和对象都可以为数组，不过前后类与对象的顺序一致)；
2)埋点方法将类对象数组映射到map(这里指dataMap)中并转化为json；同时根据传入的类数组中的类名拼接生成唯一性的消息队列topic，并将转化好的json写入对应的消息队列中；此外，再利用java的反射机制，获取埋点类数组的所有属性拼接写入一个字符串集Set中(同名属性合并)，并维护一个以topic为key、属性字符集为value的map(这里指topicMap)；
3)埋点Sdk会创建一个的定时器，每两分钟会向数据处理中心发送包含步骤2)中topicMap的数据包，数据包还会加入实例应用名、ip等信息数据。
4)数据处理中心接收到数据包后，解析并缓存topicMap内容，遍历topicMap中的key，分别创建多线程监听消息队列中相应topic，消费各topic的内容，根据topicMap中的value值获取对应属性中的数值，并写入存储器中进行存储。
5)数据处理中心会维护两套topic与属性集的映射关系，一套是用于记录收到数据包的原始映射数据，解析消息队列获取的json数据；另一套用于数据处理和存储(存储至数据库中，例如传统数据库或分布式数据库)，可人为对字段进行动态修改和删减。
6)由于存在多实例同一时间发送多个数据包的情况，数据处理中心可对同一应用名的数据包进行生命周期为1分钟缓存，只对第一个包进行解析，之后的全部过滤掉。其中，从缓存中找不到该topic的内容即第一个。
再具体地，在调用sdk的方法时依次对应传入Allocate、Intention和Answer这三个类数组及它们对应的内容数组即可。为了实现埋点的通用性，埋点内容的结构设计为map数据结构。skd完成数据合并后，sdk根据Allocate、Intention、Answer这三个类名生成埋点的消息队列topic：Allocate_Intention_Answer(这样生成主要是为了能自动地避免不同业务埋点重复的情况)，并往该队列中写入数据。同时sdk会定时将包含{消息id，标识，问题内容，意图，识别情况，答案内容}属性的埋点结构加上topic(即Allocate_Intention_Answer)、该实例的应用(业务系统)名称A及ip一同通过数据包的形式发送给数据处理中心。
数据中心接收到数据包后，解析获知应用A需要对topic名为Allocate_Intention_Answer队列内容进行埋点，随即创建线程去监听该topic的消息队列。同时数据中心也解析出埋点内容的结构为{消息id，标识，问题内容，意图，识别情况，答案内容}，初始化两个的map1和map2缓存该的埋点结构，map1用于存储原始结构，不可修改；map2用于存储实际埋点结构，可以修改，初始时两者内容相同，即{消息id，标识，问题内容，意图，识别情况，答案内容}。Map1和Map2都会通过界面的方式反馈给数据处理中心的维护人员，使维护人员能清楚掌握全部的结构和埋点部分的结构，并能灵活进行埋点修改。例如，埋点内容若只需要{消息id，问题内容，答案内容}这三个属性，只需要修改map2为如此结构即可。消费线程获取到队列中的消息内容为{消息id：“message_1”，标识：“robot”，问题内容：“这个商品怎么没货”，意图：“商品咨询”，识别情况：“清晰”，答案内容：“目前供货紧缺，请耐心等待～”}，根据埋点需求map2中的属性，只获取{消息id：“message_1”，问题内容：“这个商品怎么没货”，答案内容：“目前供货紧缺，请耐心等待～”}进行埋点即可。
在sdk中设置的是5分钟发送一次数据包，但由于上游的系统都是多实例的，因此出现实际5分钟内收到不同实例发来同一topic的数据包的情况(即a1、a2、a3分别在t1、t2、t3发包，t1<5,t2<5,t3<5)，为了避免重复处理浪费资源的问题，会在数据处理中心通过topic：Allocate_Intention_Answer和应用名：A拼接为一个名为Allocate_Intention_Answer_A_Filter的生存周期只有3分钟的缓存内容，在3分钟内收到的同名key都会被直接排除，3分钟后该缓存消失，则进行下一轮的解析处理。
另外，为了能动态地开启和关闭数据监控，数据处理中心会针对每个topic另外进行缓存，在本例中即生成名为Allocate_Intention_Answer_A_Monitor的生命周期为10分钟的缓存内容。若超过10分钟后，生命周期完结依然未收到新的Allocate_Intention_Answer的数据包，则会关闭之前监听jmq该topic的线程，终止Allocate_Intention_Answer的埋点流程。
通过以上实施例可以实现整个埋点工作的自动化，多业务不同类的数据可以直接一次性进行埋点，并由sdk进行业务字段的组装。sdk能动态获取类中属性，不需要开发人员针对埋点进行额外开发。数据处理中心的常规维护操作实现自动化，通过解析定时数据包动态获取topic和字段的映射关系，并能自动地创建和关闭对消息队列topic的监听。减少埋点方和接收方的开发及上线的工作，同时也减少后期的配置及维护的工作；此外能更好的将业务侧(业务系统)和数据侧(数据处理中心)区分开，让两侧能更好关注自己内容而不受其他模块干扰，能自动动态地进行配置和监控，无论是对于需要埋点的数据系统方，还是数据处理中心的维护方，都能实现自动化处理，有效的减少人力。
图6是根据本发明实施例的数据埋点的装置的基本模块的示意图；如图6所示，本发明实施例提供了一种数据埋点装置600，包括：
结构生成模块601，用于：利用反射机制，依据业务数据确定业务实例类别包含的数据属性，并根据所述数据属性生成埋点结构；
队列生成模块602，用于：根据所述数据属性从业务数据中获取所述数据属性的值，并基于所述数据属性及其值生成埋点消息队列；
确定埋点数据模块603，用于：基于埋点需求更新所述埋点结构，并从所述埋点消息队列中确定更新后的埋点结构中的数据属性的值；
埋点模块604，用于：根据所述更新后的埋点结构和所述数据属性的值进行数据埋点。
根据本发明实施例的再一个方面，提供了一种数据埋点装置，设置于数据处理中心，包括：获取数据包模块，用于：获取并解析数据包，得到埋点消息队列和埋点结构；确定埋点数据模块，用于：基于埋点需求更新所述埋点结构，并从所述埋点消息队列中确定更新后的埋点结构中的数据属性的值；埋点模块，用于：根据所述更新后的埋点结构和所述数据属性的值进行数据埋点。
本发明实施例中确定埋点数据模块还用于：将所述埋点结构分别作为第一映射数据结构和第二映射数据结构；从所述埋点消息队列中，确定第一映射数据结构中的数据属性的值，存储所述第一映射数据结构及其数据属性的值；获取埋点需求，基于埋点需求更新第二映射数据结构；从所述埋点消息队列中，确定更新后的第二映射数据结构中的数据属性的值。
本发明实施例中埋点模块还用于：根据所述更新后的第二映射数据结构和其对应的所述数据属性的值，进行数据埋点。
本发明实施例中获取数据包模块还用于：将所述数据包作为第一数据包，解析所述第一数据包得到所述埋点消息队列的队列主题和业务标识；判断在获取所述第一数据包的时刻之前的第一设定时间范围内，是否获取过第二数据包；若是，则暂停流程并删除所述第一数据包及其解析出的内容，若否，则确定处理所述队列主题对应的数据埋点的线程；其中，所述第二数据包包括与所述第一数据包解析出的所述队列主题和所述业务标识皆相同的数据包。
本发明实施例中获取数据包模块还用于：若在获取所述第一数据包的时刻之后的第二设定时间范围内，未获取第二数据包，则关闭处理所述队列主题对应的数据埋点的线程。
根据本发明实施例的再一个方面，提供了一种数据埋点装置，设置于业务系统，包括：结构生成模块，用于：利用反射机制，依据业务数据确定业务实例类别包含的数据属性，并根据所述数据属性生成埋点结构；队列生成模块，用于：根据所述数据属性从业务数据中获取所述数据属性的值，并基于所述数据属性及其值生成埋点消息队列；数据包生成模块，用于：基于所述埋点消息队列及其队列主题、所述埋点结构和业务标识生成数据包；发送模块，用于：发送所述数据包，以使接收方根据所述数据包完成数据埋点。
本发明实施例中队列生成模块还用于：排序所述业务实例类别，并按照所述业务实例类别的排序将所述数据属性作为类数组中的元素；按照所述类数组中元素的顺序，将所述数据属性的值作为类对象数组的元素；根据所述类数组和所述类对象数组生成埋点消息队列，并按照所述业务实例类别的排序，将所述业务实例类别进行拼接作为所述埋点消息队列的队列主题。
本发明实施例中数据包生成模块还用于：设置时间间隔；按照所述时间间隔，定时基于最新的所述埋点消息队列及其队列主题、所述埋点结构和业务标识生成数据包。
图7示出了可以应用本发明实施例的数据埋点方法或数据埋点装置的示例性系统架构700。
如图7所示，系统架构700可以包括终端设备701、702、703，网络704和服务器705。网络704用以在终端设备701、702、703和服务器705之间提供通信链路的介质。网络704可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备701、702、703通过网络704与服务器705交互，以接收或发送消息等。终端设备701、702、703上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备701、702、703可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器705可以是提供各种服务的服务器，例如对用户利用终端设备701、702、703所浏览的购物类网站提供支持的后台管理服务器。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果例如目标推送信息反馈给终端设备。
需要说明的是，本发明实施例所提供的数据埋点方法一般由服务器705执行，相应地，数据埋点装置一般设置于服务器705中。
应该理解，图7中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
根据本发明的实施例，本发明还提供了一种电子设备和一种可读介质。
本发明的电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如前述实施例提出的数据埋点方法。
本发明的计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现如前述实施例提出的数据埋点方法。
下面参考图8，其示出了适于用来实现本发明实施例的终端设备的计算机系统800的结构示意图。图8示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图8所示，计算机系统800包括中央处理单元(CPU)801，其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。在RAM 803中，还存储有系统800操作所需的各种程序和数据。CPU 801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
以下部件连接至I/O接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被中央处理单元(CPU)801执行时，执行本发明的系统中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种数据埋点装置包括：结构生成模块、队列生成模块、确定埋点数据模块、埋点模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，埋点模块还可以被描述为“用于根据埋点结构和数据属性的值进行数据埋点模块”。
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：利用反射机制，依据业务数据确定业务实例类别包含的数据属性，并根据所述数据属性生成埋点结构；根据所述数据属性从业务数据中获取所述数据属性的值，并基于所述数据属性及其值生成埋点消息队列；基于埋点需求更新所述埋点结构，并从所述埋点消息队列中确定更新后的埋点结构中的数据属性的值；根据所述更新后的埋点结构和所述数据属性的值进行数据埋点。
本发明实施例因为采用反射机制获取业务实例类别中的数据属性的技术手段，解决了同一个业务多实例的情况不易于埋点从而影响开发效率的问题，可以达到多业务不同类的数据可以直接一次性进行埋点、提高埋点效率的技术效果，减少埋点方和接收方的开发及上线的工作，同时也减少后期的配置及维护的工作。可以实现整个埋点工作的自动化，多业务不同类的数据可以直接一次性进行埋点，并由sdk进行业务字段的组装。sdk能动态获取类中属性，不需要开发人员针对埋点进行额外开发。数据处理中心的常规维护操作实现自动化，通过解析定时数据包动态获取topic和字段的映射关系，并能自动地创建和关闭对消息队列topic的监听。此外能更好的将业务侧(业务系统)和数据侧(数据处理中心)区分开，让两侧能更好关注自己内容而不受其他模块干扰。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (20)
1.一种数据埋点方法，其特征在于，包括：
利用反射机制，依据业务数据确定业务实例类别包含的数据属性，并根据所述数据属性生成埋点结构；
根据所述数据属性从业务数据中获取所述数据属性的值，并基于所述数据属性及其值生成埋点消息队列；
基于埋点需求更新所述埋点结构，并从所述埋点消息队列中确定更新后的埋点结构中的数据属性的值；
根据所述更新后的埋点结构和所述数据属性的值进行数据埋点。
2.一种数据埋点方法，其特征在于，应用于数据处理中心，包括：
获取并解析数据包，得到埋点消息队列和埋点结构；
基于埋点需求更新所述埋点结构，并从所述埋点消息队列中确定更新后的埋点结构中的数据属性的值；
根据所述更新后的埋点结构和所述数据属性的值进行数据埋点。
3.根据权利要求1或2所述的方法，其特征在于，基于埋点需求更新所述埋点结构，并从所述埋点消息队列中确定更新后的埋点结构中的数据属性的值，包括：
将所述埋点结构分别作为第一映射数据结构和第二映射数据结构；
从所述埋点消息队列中，确定第一映射数据结构中的数据属性的值，存储所述第一映射数据结构及其数据属性的值；
获取埋点需求，基于埋点需求更新第二映射数据结构；
从所述埋点消息队列中，确定更新后的第二映射数据结构中的数据属性的值。
4.根据权利要求3所述的方法，其特征在于，根据所述更新后的埋点结构和所述数据属性的值进行数据埋点，包括：
根据所述更新后的第二映射数据结构和其对应的所述数据属性的值，进行数据埋点。
5.根据权利要求2所述的方法，其特征在于，获取并解析数据包，得到埋点消息队列和埋点结构，还包括：
将所述数据包作为第一数据包，解析所述第一数据包得到所述埋点消息队列的队列主题和业务标识；
判断在获取所述第一数据包的时刻之前的第一设定时间范围内，是否获取过第二数据包；若是，则暂停流程并删除所述第一数据包及其解析出的内容，若否，则确定处理所述队列主题对应的数据埋点的线程；
其中，所述第二数据包包括与所述第一数据包解析出的所述队列主题和所述业务标识皆相同的数据包。
6.根据权利要求5所述的方法，其特征在于，获取并解析数据包，得到埋点消息队列和埋点结构，还包括：
若在获取所述第一数据包的时刻之后的第二设定时间范围内，未获取第二数据包，则关闭处理所述队列主题对应的数据埋点的线程。
7.一种数据埋点方法，其特征在于，应用于业务系统，包括：
利用反射机制，依据业务数据确定业务实例类别包含的数据属性，并根据所述数据属性生成埋点结构；
根据所述数据属性从业务数据中获取所述数据属性的值，并基于所述数据属性及其值生成埋点消息队列；
基于所述埋点消息队列及其队列主题、所述埋点结构和业务标识生成数据包；
发送所述数据包，以使接收方根据所述数据包完成数据埋点。
8.根据权利要求1或7所述的方法，其特征在于，基于所述数据属性及其值生成埋点消息队列，包括：
排序所述业务实例类别，并按照所述业务实例类别的排序将所述数据属性作为类数组中的元素；
按照所述类数组中元素的顺序，将所述数据属性的值作为类对象数组的元素；
根据所述类数组和所述类对象数组生成埋点消息队列，并按照所述业务实例类别的排序，将所述业务实例类别进行拼接作为所述埋点消息队列的队列主题。
9.根据权利要求7所述的方法，其特征在于，基于所述埋点消息队列及其队列主题、所述埋点结构和业务标识生成数据包，包括：
设置时间间隔；
按照所述时间间隔，定时基于最新的所述埋点消息队列及其队列主题、所述埋点结构和业务标识生成数据包。
10.一种数据埋点装置，其特征在于，包括：
结构生成模块，用于：利用反射机制，依据业务数据确定业务实例类别包含的数据属性，并根据所述数据属性生成埋点结构；
队列生成模块，用于：根据所述数据属性从业务数据中获取所述数据属性的值，并基于所述数据属性及其值生成埋点消息队列；
确定埋点数据模块，用于：基于埋点需求更新所述埋点结构，并从所述埋点消息队列中确定更新后的埋点结构中的数据属性的值；
埋点模块，用于：根据所述更新后的埋点结构和所述数据属性的值进行数据埋点。
11.一种数据埋点装置，其特征在于，设置于数据处理中心，包括：
获取数据包模块，用于：获取并解析数据包，得到埋点消息队列和埋点结构；
确定埋点数据模块，用于：基于埋点需求更新所述埋点结构，并从所述埋点消息队列中确定更新后的埋点结构中的数据属性的值；
埋点模块，用于：根据所述更新后的埋点结构和所述数据属性的值进行数据埋点。
12.根据权利要求10或11所述的装置，其特征在于，确定埋点数据模块还用于：
将所述埋点结构分别作为第一映射数据结构和第二映射数据结构；
从所述埋点消息队列中，确定第一映射数据结构中的数据属性的值，存储所述第一映射数据结构及其数据属性的值；
获取埋点需求，基于埋点需求更新第二映射数据结构；
从所述埋点消息队列中，确定更新后的第二映射数据结构中的数据属性的值。
13.根据权利要求12所述的装置，其特征在于，埋点模块还用于：
根据所述更新后的第二映射数据结构和其对应的所述数据属性的值，进行数据埋点。
14.根据权利要求11所述的装置，其特征在于，获取数据包模块还用于：
将所述数据包作为第一数据包，解析所述第一数据包得到所述埋点消息队列的队列主题和业务标识；
判断在获取所述第一数据包的时刻之前的第一设定时间范围内，是否获取过第二数据包；若是，则暂停流程并删除所述第一数据包及其解析出的内容，若否，则确定处理所述队列主题对应的数据埋点的线程；
其中，所述第二数据包包括与所述第一数据包解析出的所述队列主题和所述业务标识皆相同的数据包。
15.根据权利要求14所述的装置，其特征在于，获取数据包模块还用于：
若在获取所述第一数据包的时刻之后的第二设定时间范围内，未获取第二数据包，则关闭处理所述队列主题对应的数据埋点的线程。
16.一种数据埋点装置，其特征在于，设置于业务系统，包括：
结构生成模块，用于：利用反射机制，依据业务数据确定业务实例类别包含的数据属性，并根据所述数据属性生成埋点结构；
队列生成模块，用于：根据所述数据属性从业务数据中获取所述数据属性的值，并基于所述数据属性及其值生成埋点消息队列；
数据包生成模块，用于：基于所述埋点消息队列及其队列主题、所述埋点结构和业务标识生成数据包；
发送模块，用于：发送所述数据包，以使接收方根据所述数据包完成数据埋点。
17.根据权利要求10或16所述的装置，其特征在于，队列生成模块还用于：
排序所述业务实例类别，并按照所述业务实例类别的排序将所述数据属性作为类数组中的元素；
按照所述类数组中元素的顺序，将所述数据属性的值作为类对象数组的元素；
根据所述类数组和所述类对象数组生成埋点消息队列，并按照所述业务实例类别的排序，将所述业务实例类别进行拼接作为所述埋点消息队列的队列主题。
18.根据权利要求16所述的装置，其特征在于，数据包生成模块还用于：
设置时间间隔；
按照所述时间间隔，定时基于最新的所述埋点消息队列及其队列主题、所述埋点结构和业务标识生成数据包。
19.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-9中任一所述的方法。
20.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-9中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910536113.6A CN111767185A (zh) | 2019-06-20 | 2019-06-20 | 一种数据埋点方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910536113.6A CN111767185A (zh) | 2019-06-20 | 2019-06-20 | 一种数据埋点方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111767185A true CN111767185A (zh) | 2020-10-13 |
Family
ID=72718345
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910536113.6A Pending CN111767185A (zh) | 2019-06-20 | 2019-06-20 | 一种数据埋点方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111767185A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113590447A (zh) * | 2021-08-02 | 2021-11-02 | 北京百度网讯科技有限公司 | 埋点处理方法和装置 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130007767A1 (en) * | 2011-06-29 | 2013-01-03 | International Business Machines Corporation | Automated generation of service definitions for message queue application clients |
| CN104572043A (zh) * | 2013-10-16 | 2015-04-29 | 阿里巴巴集团控股有限公司 | 一种对客户端应用的控件进行实时埋点的方法及装置 |
| CN106844217A (zh) * | 2017-01-26 | 2017-06-13 | 网易（杭州）网络有限公司 | 对应用的控件进行埋点的方法及装置、可读存储介质 |
| CN107196788A (zh) * | 2017-05-02 | 2017-09-22 | 阿里巴巴集团控股有限公司 | 一种埋点数据的处理方法、装置、服务器及客户端 |
| CN107894889A (zh) * | 2017-10-16 | 2018-04-10 | 努比亚技术有限公司 | 埋点方法、设备及计算机可读存储介质 |
| CN108156006A (zh) * | 2016-12-05 | 2018-06-12 | 阿里巴巴集团控股有限公司 | 一种埋点数据上报方法、装置及电子设备 |
| CN108304176A (zh) * | 2017-12-14 | 2018-07-20 | 广东数果科技有限公司 | 一种跨平台移动终端的可视化埋点方法 |
| CN108712426A (zh) * | 2018-05-21 | 2018-10-26 | 携程旅游网络技术（上海）有限公司 | 基于用户行为埋点的爬虫识别方法及系统 |
| US20180324277A1 (en) * | 2017-05-03 | 2018-11-08 | International Business Machines Corporation | System and method for message queue configuration in a network |
-
2019
- 2019-06-20 CN CN201910536113.6A patent/CN111767185A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130007767A1 (en) * | 2011-06-29 | 2013-01-03 | International Business Machines Corporation | Automated generation of service definitions for message queue application clients |
| CN104572043A (zh) * | 2013-10-16 | 2015-04-29 | 阿里巴巴集团控股有限公司 | 一种对客户端应用的控件进行实时埋点的方法及装置 |
| CN108156006A (zh) * | 2016-12-05 | 2018-06-12 | 阿里巴巴集团控股有限公司 | 一种埋点数据上报方法、装置及电子设备 |
| CN106844217A (zh) * | 2017-01-26 | 2017-06-13 | 网易（杭州）网络有限公司 | 对应用的控件进行埋点的方法及装置、可读存储介质 |
| CN107196788A (zh) * | 2017-05-02 | 2017-09-22 | 阿里巴巴集团控股有限公司 | 一种埋点数据的处理方法、装置、服务器及客户端 |
| US20180324277A1 (en) * | 2017-05-03 | 2018-11-08 | International Business Machines Corporation | System and method for message queue configuration in a network |
| CN107894889A (zh) * | 2017-10-16 | 2018-04-10 | 努比亚技术有限公司 | 埋点方法、设备及计算机可读存储介质 |
| CN108304176A (zh) * | 2017-12-14 | 2018-07-20 | 广东数果科技有限公司 | 一种跨平台移动终端的可视化埋点方法 |
| CN108712426A (zh) * | 2018-05-21 | 2018-10-26 | 携程旅游网络技术（上海）有限公司 | 基于用户行为埋点的爬虫识别方法及系统 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113590447A (zh) * | 2021-08-02 | 2021-11-02 | 北京百度网讯科技有限公司 | 埋点处理方法和装置 |
| CN113590447B (zh) * | 2021-08-02 | 2024-04-19 | 北京百度网讯科技有限公司 | 埋点处理方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110019350B (zh) | 基于配置信息的数据查询方法和装置 | |
| CN107491488B (zh) | 页面数据采集的方法和装置 | |
| CN109446274B (zh) | 大数据平台bi元数据管理的方法和装置 | |
| CN108897854B (zh) | 一种超时任务的监控方法和装置 | |
| CN113987074A (zh) | 分布式服务全链路监控方法、装置、电子设备及存储介质 | |
| CN111190888A (zh) | 一种管理图数据库集群的方法和装置 | |
| WO2021023149A1 (zh) | 一种动态返回报文的方法和装置 | |
| CN109783562B (zh) | 一种业务处理方法和装置 | |
| CN111917687A (zh) | 一种循环推送提醒消息的方法和装置 | |
| CN111427701A (zh) | 一种工作流引擎系统和业务处理方法 | |
| CN110162512A (zh) | 一种日志检索方法、装置及存储介质 | |
| CN110874307A (zh) | 事件埋点的收集上报方法和装置 | |
| CN110795315A (zh) | 监控业务的方法和装置 | |
| US20200012545A1 (en) | Event to serverless function workflow instance mapping mechanism | |
| CN110781180A (zh) | 一种数据筛选方法和数据筛选装置 | |
| CN113760677A (zh) | 异常链路分析方法、装置、设备及存储介质 | |
| CN110321252B (zh) | 一种技能服务资源调度的方法和装置 | |
| CN113190558A (zh) | 一种数据加工方法和系统 | |
| CN111767185A (zh) | 一种数据埋点方法和装置 | |
| CN113014618A (zh) | 消息处理方法、系统和电子设备 | |
| CN112948138A (zh) | 一种处理消息的方法和装置 | |
| CN113127225A (zh) | 一种数据处理任务的调度方法、装置和系统 | |
| CN108959309B (zh) | 数据分析的方法和装置 | |
| CN112749204B (zh) | 一种读取数据的方法和装置 | |
| CN114138758A (zh) | 一种基于多源系统的数据清洗合并方法、装置及可读介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |