CN114595117A - 埋点数据采集方法、装置、介质及电子设备 - Google Patents
埋点数据采集方法、装置、介质及电子设备 Download PDFInfo
- Publication number
- CN114595117A CN114595117A CN202210215722.3A CN202210215722A CN114595117A CN 114595117 A CN114595117 A CN 114595117A CN 202210215722 A CN202210215722 A CN 202210215722A CN 114595117 A CN114595117 A CN 114595117A
- Authority
- CN
- China
- Prior art keywords
- buried point
- point data
- data acquisition
- buried
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 86
- 230000009471 action Effects 0.000 claims abstract description 110
- 238000013480 data collection Methods 0.000 claims abstract description 85
- 238000012545 processing Methods 0.000 claims abstract description 59
- 230000008569 process Effects 0.000 claims abstract description 32
- 238000012544 monitoring process Methods 0.000 claims abstract description 12
- 238000003860 storage Methods 0.000 claims description 25
- 230000007246 mechanism Effects 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 8
- 238000009933 burial Methods 0.000 claims description 5
- 239000002609 medium Substances 0.000 description 13
- 238000004458 analytical method Methods 0.000 description 7
- 230000008520 organization Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000013468 resource allocation Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000012120 mounting media Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3051—Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
Abstract
本申请实施例公开了一种埋点数据采集方法、装置、介质及电子设备。所述方法包括：对用户动作进行监测，根据监测到的用户动作在候选埋点数据采集模型中选择目标埋点数据采集模型；其中，候选埋点数据采集模型包括埋点数据采集策略；所述埋点数据采集策略用于规范埋点数据采集；根据所述目标埋点数据采集模型中的所述埋点数据采集策略采集埋点数据，并将所述埋点数据上传给数据处理服务器以供所述数据处理服务器对所述埋点数据进行分析处理；本申请实施例规范了埋点数据采集，提高了埋点数据的采集效率，统一了埋点数据的数据格式，降低了后续对埋点数据进行分析处理的难度和复杂度。
Description
技术领域
本申请实施例涉及计算机应用技术领域，尤其涉及一种埋点数据采集方法、装置、介质及电子设备。
背景技术
数据埋点属于数据采集的阶段，是互联网分析业务闭环中的起点，是了解用户行为的重要手段，为之后的许多日常及专题的分析提供数据支持，对于提升应用性能具有重要意义。
目前大多采用由开发人员根据埋点需求文档进行代码埋点的方式采集埋点数据，埋点数据采集效率较低。
发明内容
本申请实施例提供一种埋点数据采集方法、装置、介质及电子设备，可以达到提高埋点数据采集效率的目的。
第一方面，本申请实施例提供了一种埋点数据采集方法，所述方法包括：
对用户动作进行监测，根据监测到的用户动作在候选埋点数据采集模型中选择目标埋点数据采集模型；其中，候选埋点数据采集模型包括埋点数据采集策略；所述埋点数据采集策略用于规范埋点数据采集；
根据所述目标埋点数据采集模型中的所述埋点数据采集策略采集埋点数据，并将所述埋点数据上传给数据处理服务器以供所述数据处理服务器对所述埋点数据进行分析处理。
第二方面，本申请实施例提供了一种埋点数据采集装置，所述装置包括：
目标埋点数据采集模型选择模块，用于对用户动作进行监测，根据监测到的用户动作在候选埋点数据采集模型中选择目标埋点数据采集模型；其中，候选埋点数据采集模型包括埋点数据采集策略；所述埋点数据采集策略用于规范埋点数据采集；
埋点数据采集模块，用于根据所述目标埋点数据采集模型中的所述埋点数据采集策略采集埋点数据，并将所述埋点数据上传给数据处理服务器以供所述数据处理服务器对所述埋点数据进行分析处理。
第三方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请实施例所述的埋点数据采集方法。
第四方面，本申请实施例提供了一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如本申请实施例所述的埋点数据采集方法。
本申请实施例所提供的技术方案，对用户动作进行监测，根据监测到的用户动作在候选埋点数据采集模型中选择目标埋点数据采集模型，根据所述目标埋点数据采集模型中的所述埋点数据采集策略采集埋点数据；本申请实施例通过利用埋点数据采集模型采集埋点数据，规范了埋点数据采集，提高了埋点数据的采集效率，统一了埋点数据的数据格式，降低了后续对埋点数据进行分析处理的难度和复杂度。
附图说明
图1是本申请实施例一提供的一种埋点数据采集方法的流程图；
图2是本申请实施例二提供的另一种埋点数据采集方法的流程图；
图3是本申请实施例三提供的又一种埋点数据采集方法的流程图；
图4是本申请实施例四提供的又一种埋点数据采集方法的流程图；
图5是本申请实施例五提供的一种埋点数据采集装置的结构示意图；
图6是本申请实施例七提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
实施例一
图1是本申请实施例一提供的一种埋点数据采集方法的流程图，本实施例可适用于对埋点数据进行采集的情况。该方法可以由本申请实施例所提供的埋点数据采集装置执行，该装置可以由软件和/或硬件的方式来实现，并可集成于运行此系统的电子设备中。
如图1所示，所述埋点数据采集方法包括：
S110、对用户动作进行监测，根据监测到的用户动作在候选埋点数据采集模型中选择目标埋点数据采集模型。
其中，用户动作是指作用于应用软件的交互动作。可以知道的是，在一个应用软件被设计完成时，用户作用于应用软件的交互动作是确定的，也就是说用户动作是可以归纳的。示例性的，以具有教学功能的教育应用软件，用户动作类型大致可以归纳为以下三类：应用控制类、课堂学习类以及页面访问类。其中，应用控制类可以包括打开应用和关闭应用；课堂学习类具体是指用户学习过程中在课堂页面产生的动作，可以进一步分为：在课程或课程子类别(具体某一堂课、某一个知识点)之间的切换动作和在具体的知识学习页面的学习动作；页面访问类，是指对除课堂页面以外的其他页面的浏览工作，其中，其他页面可以是首页或者活动页面。
对用户动作进行监测，在监测到用户动作的情况下，根据监测到的用户动作在候选埋点数据采集模型中选择目标埋点数据采集模型。
其中，埋点数据采集模型用于采集埋点数据，候选埋点数据采集模型包括埋点数据采集策略；所述埋点数据采集策略用于规范埋点数据采集。可选的，埋点数据采集策略包括埋点数据采集规范。示例性的，埋点数据采集规范可以包括：埋点数据命名规范、埋点数据格式规范以及埋点数据类型规范中的至少一项。利用埋点数据采集模型采集埋点数据，可以统一埋点数据。
候选埋点数据采集模型是根据可作用于应用软件的交互工作预先构建的，候选埋点数据采集模型与用户动作相关，候选埋点数据采集模型与用户动作存在关联关系。
在一个可选的实施例中，所述候选埋点数据采集模型包括：页面访问数据采集模型、课堂学习数据采集模型和应用运行数据采集模型中的至少一种。其中，页面访问数据采集模型对应于页面访问类用户动作；课堂学习数据采集模型对应于课堂学习类用户动作；应用运行数据采集模型对应于应用控制类用户动作。
在监测到用户动作的情况下，基于候选埋点数据采集模型与用户动作存在的关联关系，选择与监测到用户动作相关联的候选埋点数据采集模型作为目标埋点数据采集模型。
S120、根据所述目标埋点数据采集模型中的所述埋点数据采集策略采集埋点数据，并将所述埋点数据上传给数据处理服务器以供所述数据处理服务器对所述埋点数据进行分析处理。
如上所述，埋点数据采集策略用于规范埋点数据采集。可选的，埋点数据采集策略可以包括：埋点数据命名规范、埋点数据格式规范以及埋点数据类型规范中的至少一项。
利用目标埋点数据采集模型采集埋点数据，具体的根据目标埋点数据采集模型中的埋点采集策略采集埋点数据，使得采集得到的埋点数据满足埋点数据采集规范。具体的，使得埋点数据的命名符合埋点数据命名规范，埋点数据的格式满足埋点数据格式规范，埋点数据的类型规范满足埋点数据类型规范。可以知道的是，埋点数据采集策略可以根据实际业务需求确定，埋点数据采集策略包括但不限于埋点数据命名规范、埋点数据格式规范以及埋点数据类型规范。
在完成埋点数据采集以后，将采集到的埋点数据上传给数据处理服务器，数据处理服务器对所述埋点数据进行分析处理。其中，数据处理服务器用于对埋点数据进行进一步的分析处理。可选的，数据处理服务器可以是日志服务器，日志服务器对埋点数据进行清洗转化，再根据埋点数据生成日志，生成的日志可以用于用户行为分析等。
可选的，在向数据处理服务器上传埋点数据之前先对埋点数据进行编码，示例性的，对埋点数据进行Base64编码。其中，Base64编码是8Bit字节代码的编码方式之一。可选的，在对埋点数据进行编码前，对埋点数据进行压缩处理，具体的可以使用gzip对埋点数据进行压缩。其中，gzip是若干种文件压缩程序的简称，gzip代表GNU zip，用于表示gzip格式。采取分批上传的方式，向数据处理服务器上传埋点数据，即一次性向数据处理服务器上传设定条数的埋点数据。其中，设定条数根据实际情况确定，在这里不作限定，示例性的设定条数可以是100条。
本申请实施例所提供的技术方案，对用户动作进行监测，根据监测到的用户动作在候选埋点数据采集模型中选择目标埋点数据采集模型，根据所述目标埋点数据采集模型中的所述埋点数据采集策略采集埋点数据；本申请实施例通过利用埋点数据采集模型采集埋点数据，规范了埋点数据采集，提高了埋点数据的采集效率，统一了埋点数据的数据格式，降低了后续对埋点数据进行分析处理的难度和复杂度。
实施例二
图2是本申请实施例二提供的另一种埋点数据采集方法的流程图。本实施例在上述实施例的基础上进行进一步地优化。具体优化为，所述候选埋点数据采集模型包括基础数据采集策略和至少一种业务数据采集策略；相应的，根据所述目标埋点数据采集模型中的所述埋点数据采集策略采集埋点数据，包括：根据所述目标埋点数据采集模型中的所述基础数据采集策略和所述业务数据采集策略分别采集基础数据和业务数据；将所述基础数据和所述业务数据作为埋点数据上传给数据处理服务器，以供所述数据处理服务器对所述埋点数据进行分析处理。
如图2所示，所述埋点数据采集方法包括：
S210、对用户动作进行监测，根据监测到的用户动作在候选埋点数据采集模型中选择目标埋点数据采集模型。
其中，候选埋点数据采集模型包括埋点数据采集策略；所述埋点数据采集策略用于规范埋点数据采集。所述候选埋点数据采集模型包括基础数据采集策略和至少一种业务数据采集策略，也就是说，候选埋点数据采集模型中均包括基础数据采集策略。从候选埋点数据采集模型中产生的目标数据采集模型中也包括基础数据采集策略，以及至少一种业务数据采集策略。候选埋点数据采集模型之间可以通过其包括的业务数据采集策略进行区分。
可选的，埋点数据可以进一步划分为基础数据和业务数据。基础数据采集策略用于规范基础数据采集，相对的，业务数据采集策略用于规范业务数据采集。业务数据与业务场景相关，不同业务场景下的业务数据不同。业务数据具体根据实际情况确定，在这里不作限定。继续以教育应用软件为例，业务数据可以是学期ID、学科ID、班级ID或者教师ID等组织类数据；也可以是是页面标识、产品模块、页面元素ID、列表显示或者上游页面等页面类数据；还可以是课程类型、学习动作如与课程类型有关的课程播放动作、代码运行动作或者代码提交动作等学习类数据。
区别于业务数据，基础数据与业务场景无关。在任何业务场景下必须采集的埋点数据即为基础数据。基础数据可以是根据实际情况确定，在这里不作限定。示例性，基础数据可以是用户数据、产品数据、设备数据或者网络数据等。其中，用户数据可以是用户ID，产品数据可以是产品标识、产品版本；设备数据可以是设备品牌、设备型号、设备ID、操作系统版本、屏幕分辨率等；网络数据可以是网络类型等。
S220、根据所述目标埋点数据采集模型中的所述基础数据采集策略和所述业务数据采集策略分别采集基础数据和业务数据。
基础数据采集策略用于规范基础数据采集，根据目标埋点数据采集模型中的基础数据采集策略采集基础数据。相对的，业务数据采集策略用于规范业务数据采集，根据目标埋点数据采集模型中的业务数据采集策略采集业务数据。
可选的，基础数据采集策略和业务数据采集策略中所包括的埋点数据采集规范的类型相同。示例性的，基础数据采集策略和业务数据采集策略中均包括：埋点数据命名规范、埋点数据格式规范以及埋点数据类型规范中的至少一项。
S230、将所述基础数据和所述业务数据作为埋点数据上传给数据处理服务器，以供所述数据处理服务器对所述埋点数据进行分析处理。
将采集到的基础数据与业务数据作为埋点数据，一并上传给数据处理服务器。数据处理服务器对埋点数据进行分析处理。
本申请实施例所提供的技术方案，对用户动作进行监测，根据监测到的用户动作在候选埋点数据采集模型中选择目标埋点数据采集模型；根据所述目标埋点数据采集模型中的所述基础数据采集策略和所述业务数据采集策略分别采集基础数据和业务数据；将所述基础数据和所述业务数据作为埋点数据上传给数据处理服务器。本申请实施例通过将基础数据和业务数据分离开，避免了重要埋点数据遗漏。根据基础数据采集策略和业务数据采集策略分别采集基础数据和业务数据，使得采集得到的埋点数据更加标准，同时减少了开发人员定义埋点数据的工作量，提高了埋点数据采集效率。
实施例三
图3是本申请实施例三提供的另一种埋点数据采集方法的流程图。本实施例在上述实施例的基础上进行进一步地优化。具体优化为，对用户动作进行监测，根据监测到的用户动作在候选埋点数据采集模型中选择目标埋点数据采集模型，包括：将所述监测到的用户动作确定为目标用户动作，对所述目标用户动作进行资源定位，得到目标用户动作的资源定位信息；基于所述资源定位信息，确定所述目标用户动作的动作类型作为目标动作类型；根据所述目标动作类型，在所述候选埋点数据采集模型中选择目标埋点数据采集模型。
如图3所示，所述埋点数据采集方法包括：
S310、将所述监测到的用户动作确定为目标用户动作，对所述目标用户动作进行资源定位，得到目标用户动作的资源定位信息。
目标用户动作为监测到的作用于应用软件的交互动作。其中，资源定位信息用于在应用软件中定位用户动作。对目标用户动作进行资源定位即为确定交互动作作用于应用软件的具体位置。资源定位信息可以唯一确定用户动作在应用软件的具体位置。可选的，资源定位信息包括资源定位字段，资源定位字段包括：page_name，block_name，module_name，element_name以及index。资源定位信息用资源定位字段可以表示为：page_name/block_name/module_name/element/index。其中，page_name为页面标识，用于区分学习页面、活动页面等；block_name为页面中设置的模块标识，用于区分同一页面中的不同模块；module_name为模块级别下的单元标识，用于区分同一模块下的不同单元；element为单元中设置的元素标识；用于区分同一单元中的不同元素，示例性的，元素可以是按钮、下拉框等页面控件。
S320、基于所述资源定位信息，确定所述目标用户动作的动作类型作为目标动作类型。
在监测到用户动作的情况下，确定用户动作所属的动作类型。将目标用户动作所属的动作类型确定为目标动作类型。继续以具有教学功能的教育应用软件，用户动作类型大致可以归纳为以下三类：应用控制类、课堂学习类以及页面访问类。
S330、根据所述目标动作类型，在所述候选埋点数据采集模型中选择目标埋点数据采集模型。
候选埋点数据采集模型与用户动作相关，候选埋点数据采集模型与用户动作存在关联关系。根据目标动作类型，在候选埋点数据采集模型中选择目标埋点数据采集模型。
S340、根据所述目标埋点数据采集模型中的所述埋点数据采集策略采集埋点数据，并将所述埋点数据上传给数据处理服务器以供所述数据处理服务器对所述埋点数据进行分析处理。
本申请实施例所提供通过对目标用户动作进行资源定位，得到目标用户动作的资源定位信息。基于资源定位信息，确定目标用户动作的动作类型作为目标动作类型。根据目标动作类型，在所述候选埋点数据采集模型中唯一确定一个目标埋点数据采集模型。本申请实施例通过利用目标埋点数据采集模型采集埋点数据，规范了埋点数据采集，提高了埋点数据的采集效率，统一了埋点数据的数据格式，降低了后续对埋点数据进行分析处理的难度和复杂度。
在一个可选的实施例中，将所述埋点数据上传给数据处理服务器，包括：根据预设等级划分标准，对埋点数据进行重要等级划分；基于重要等级与上传通道的预设关系，根据所述重要等级为各埋点数据分配上传通道；利用所述上传通道，将对应重要等级的所述埋点数据上传给所述数据处理服务器。
其中，预设等级划分标准是根据实际业务需求预设确定的，用于区分埋点数据的重要程度。根据预设等级划分标准对埋点数据进行重要等级划分，示例性的，可以将埋点数据划分为三个等级，分别为第一等级、第二等级和第三等级，埋点数据的等级越低表明埋点数据越重要。示例性的，可以将启动数据、登录数据和课程节点等对于业务场景有较大参考价值的埋点数据划分为第一等级，将应用软件的运行数据如心跳数据划分为第二等级，将对于业务场景参考价值不大的埋点数据划分为第三等级。
为了优化资源分配，将资源向重要等级较高的埋点数据倾斜，保证重要埋点数据及时上传给数据服务器。本申请实施例，基于埋点数据的重要等级，对上传通道进行了划分，并构建了重要等级与上传通道的关联关系。其中，上传通道用于上传埋点数据。基于重要等级与上传通道的预设关系，根据重要等级为各埋点数据分配上传通道，具体的，为高重要等级的埋点数据分配时效性强的上传通道。示例性的，为第一等级的埋点数据分配实时通道；为第二等级的埋点数据分配1分钟通道；为第三等级的埋点数据分配2分钟通道。在为各埋点数据分配上传通道以后，利用上传通道，将对应重要等级的埋点数据上传给所述数据处理服务器。上述技术方案，通过根据埋点数据的重要等级，为各埋点数据分配上传通道，通过上传通道将对应重要等级的埋点数据上传给数据处理服务器，优化了资源配置，使得高重要等级的埋点数据能够及时上传。
在一个可选的实施例中，根据所述重要等级与上传通道的预设关系，为所述上传通道配置重传机制，以便在所述埋点数据上传失败的情况下，根据所述重传机制重新向所述数据处理服务器上传所述埋点数据。
可以知道的是，在埋点数据上传的过程中由于网络波动等问题可能会出现埋点数据上传失败或者上传超时的情况，本申请实施例根据所述重要等级与上传通道的预设关系，为上传通道配置重传机制。
埋点数据上传失败的情况下，根据重传机制重新向数据处理服务器上传埋点数据。重要等级与上传通道的预设关系是根据实际业务需求确定，在这里不作限定。根据重要等级与上传通道的预设关系，为上传通道配置重传机制，具体的，可以根据上传通道上传埋点数据的重要等级或者上传通道的时效性，为上传通道配置重传机制。示例性的，分别为上传第一等级、第二等级和第三等级的上传通道配置第一重传机制、第二重传机制和第三重传机制。随着埋点数据的重要等级的升高，重传机制的重传间隔也大。例如第一重传机制可以是每10秒重试一次，若埋点数据上传失败则将上传失败的埋点数据存储到重传队列中，一旦重传队列中有埋点数据，则从重传队列中取出埋点数据再次上传；第二重传机制可以是延迟第一设定时间后再次上传；第三重传机制可以是延迟第一设定时间后再次上传。其中，第二设定时间长于第一设定时间。上述技术方案，根据重要等级与上传通道的预设关系，为上传通道配置重传机制，提高了埋点数据的上传成功率，避免了埋点数据遗漏。
实施例四
图4是本申请实施例四提供的又一种埋点数据采集方法的流程图。本实施例在上述实施例的基础上进行进一步地优化。具体优化为，根据所述目标埋点数据采集模型中的所述埋点数据采集策略采集埋点数据，包括：根据所述埋点数据采集策略中的埋点数据类型规范，确定待采集的埋点数据；根据所述埋点数据采集策略中的埋点数据命名规范，对所述埋点数据进行命名；根据所述埋点数据采集策略中的埋点数据格式规范，确定所述埋点数据的数据格式。
如图4所示，所述埋点数据采集方法包括：
S410、对用户动作进行监测，根据监测到的用户动作在候选埋点数据采集模型中选择目标埋点数据采集模型。
其中，候选埋点数据采集模型包括种埋点数据采集策略；所述埋点数据采集策略用于规范埋点数据采集。
S420、根据所述埋点数据采集策略中的埋点数据类型规范，确定待采集的埋点数据。
其中，埋点数据类型规范规定了埋点数据采集模型需要采集的埋点数据类型。待采集的埋点数据即为目标埋点数据采集模型需要采集的埋点数据。不同埋点数据采集模型对应的埋点数据类型规范存在差异，也就是说，不同埋点数据采集模型需要采集的埋点数据存在差异。
S430、根据所述埋点数据采集策略中的埋点数据命名规范，对所述埋点数据进行命名。
其中，埋点数据命名规范规定了埋点数据的命名形式。根据埋点数据采集策略中的埋点数据命名规范，对埋点数据进行命名，以避免名称混乱、不易命名、命名重复的情况出现。示例性的，埋点数据可以统一采用英文小写字母组合下划线的命名形式。
S440、根据所述埋点数据采集策略中的埋点数据格式规范，确定所述埋点数据的数据格式。
埋点数据格式规范规定了埋点数据的数据格式，使得同一埋点数据的格式相同。可选的，埋点数据的格式为JSON数组格式。
S450、将所述埋点数据上传给数据处理服务器以供所述数据处理服务器对所述埋点数据进行分析处理。
本申请实施例通过根据埋点数据采集策略中的埋点数据类型规范、埋点数据命名规范以及埋点数据格式规范采集埋点数据，明确了待采集的埋点数据类型，避免了漏采重要埋点数据，统一了埋点数据的命名形式，避免了名称混乱、不易命名、命名重复的情况出现。统一了埋点数据的数据格式，降低了后续对埋点数据进行分析处理的难度和复杂度。
在一个具体的实施例中，可选的，课堂学习数据采集模型还可以进一步的细分为学习过程数据采集模型和学习内容数据采集模型。其中，学习过程数据采集模型用于采集学习过程，如各课程节点进入数据和退出数据；学习内容数据采集模型用于采集具体学习内容，如视频观看数据和代码提交数据。应用运行数据采集模型还可以进一步的细分为启动数据采集模型和心跳数据采集模型。其中，启动数据采集模型，用于采集应用软件的启动数据；心跳数据采集模型，用于采集应用软件的心跳数据。
继续以具有教学功能的教育应用软件为例进行说明，可以知道的是，埋点数据采集策略，包括基础数据采集策略和业务数据采集策略。基础数据采集策略如表1和表2所示。业务数据采集策略如表3到表9所示。从表1到表9按先后顺序依次是设备基础数据采集策略、用户基础数据采集策略、组织类数据采集策略、页面数据采集策略、课程数据采集策略、学习过程数据采集策略、学习内容数据采集策略、启动数据采集策略和心跳数据采集策略。各表格示出了对应的数据采集策略，表格中的列与埋点数据采集规范对应。
埋点数据采集策略中的埋点数据类型规范，规定了所需采集的埋点数据的类型信息。不同的埋点数据采集策略中包括的埋点数据类型规范存在差异。如表1所示，设备基础数据采集策略的埋点数据类型规范，规定了需要采集的设备基础数据包括：事件请求标识、事件触发时客户端时间、客户端标识、客户端版本、设备型号、设备品牌和用户系统时区等类型；如表4所示，页面数据采集策略的埋点数据类型规范，规定了需要采集的页面数据包括：页面标识、页面模块名称、页面单元名称、页面元素名称、动作类型和上游页面名称等类型。
埋点数据采集策略中的埋点数据命名规范，规定了埋点数据的命名规范。可选的，可以采用小写英文字母与下划线组合的形式对埋点数据进行命名，优选的，采用具有明确释义的英文单词结合下划线对埋点数据进行命名，来增加埋点数据名称的可读性。如表1所示，示例性的，事件请求标识可以命名为request_id，设备型号可以命名为device_model。
埋点数据采集策略中的埋点数据格式规范，规定了埋点数据的数据格式。如表1所示，事件标识的数据格式为如表1中示例示出的字符串；如表3所示，学期标识的数据格式为如表3中示例示出的数值型。
此外，在埋点数据存在枚举值和默认值的情况下，埋点数据采集策略包括埋点数据的枚举值和默认值。此处不再一一介绍本实施例提供的上述9种埋点数据采集策略，具体请参见下述表格。可以理解的是，下述表格仅作说明使用，并不对本申请实施例提供的埋点数据采集方法造成限定。
表1
表2
表3
表4
表5
表6
表7
表8
表9
在一个优选的实施例中，不同埋点数据采集模型中除了包括表1和表2示出的基础数据采集策略以外，还会包括至少一种表3到表9示出的业务数据采集策略。示例性的，页面访问数据采集模型除表1和表2示出的基础数据采集策略以外，还包括表4示出的页面数据采集策略。学习过程数据采集模型除表1和表2示出的基础数据采集策略以外，还包括表3示出的组织类数据采集策略、表5示出的课程数据采集策略和表6示出的学习过程数据采集策略。学习内容数据采集模型除表1和表2示出的基础数据采集策略以外，还包括表3示出的组织类数据采集策略、表5示出的课程数据采集策略和表7示出的学习内容数据采集策略。启动数据采集模型和心跳数据采集模型除表1和表2示出的基础数据采集策略以外，还包括分别包括表7示出的启动数据采集策略和表8示出的心跳数据采集策略。
可选的，根据实际业务需求为埋点数据采集模型配置触发机制，触发机制可以包括：即刻触发和事后触发。适用于即可触发的事件可以是ENTER(进入)、SHOW(曝光)类事件或者提交任务事件；事后触发可以是视频加载完成后、观看完成视频后或者任务运行后触发。
本申请实施例通过利用埋点数据采集模型采集埋点数据，规范了埋点数据采集，提高了埋点数据的采集效率，统一了埋点数据的数据格式，降低了后续对埋点数据进行分析处理的难度和复杂度。
实施例五
图5是本申请实施例五提供的一种埋点数据采集装置，本实施例可适用于对埋点数据进行采集的情况。所述装置可由软件和/或硬件实现，并可集成于智能终端等电子设备中。
如图5所示，该装置可以包括：目标埋点数据采集模型选择模块510和埋点数据采集模块520。
目标埋点数据采集模型选择模块510，用于对用户动作进行监测，根据监测到的用户动作在候选埋点数据采集模型中选择目标埋点数据采集模型；其中，候选埋点数据采集模型包括埋点数据采集策略；所述埋点数据采集策略用于规范埋点数据采集；
埋点数据采集模块520，用于根据所述目标埋点数据采集模型中的所述埋点数据采集策略采集埋点数据，并将所述埋点数据上传给数据处理服务器以供所述数据处理服务器对所述埋点数据进行分析处理。
本申请实施例所提供的技术方案，对用户动作进行监测，根据监测到的用户动作在候选埋点数据采集模型中选择目标埋点数据采集模型，根据所述目标埋点数据采集模型中的所述埋点数据采集策略采集埋点数据；本申请实施例通过利用埋点数据采集模型采集埋点数据，规范了埋点数据采集，提高了埋点数据的采集效率，统一了埋点数据的数据格式，降低了后续对埋点数据进行分析处理的难度和复杂度。
可选的，所述候选埋点数据采集模型包括基础数据采集策略和至少一种业务数据采集策略；相应的，埋点数据采集模块520，包括：埋点数据采集子模块，用于根据所述目标埋点数据采集模型中的所述基础数据采集策略和所述业务数据采集策略分别采集基础数据和业务数据；第一埋点数据上传子模块，用于将所述基础数据和所述业务数据作为埋点数据上传给数据处理服务器，以供所述数据处理服务器对所述埋点数据进行分析处理。
可选的，目标埋点数据采集模型选择模块510，包括：资源定位信息确定子模块，用于将所述监测到的用户动作确定为目标用户动作，对所述目标用户动作进行资源定位，得到目标用户动作的资源定位信息；目标动作类型确定子模块，用于基于所述资源定位信息，确定所述目标用户动作的动作类型作为目标动作类型；目标埋点数据采集模型选择子模块，用于根据所述目标动作类型，在所述候选埋点数据采集模型中选择目标埋点数据采集模型。
可选的，埋点数据采集模块520，包括：埋点数据确定子模块，用于根据所述埋点数据采集策略中的埋点数据类型规范，确定待采集的埋点数据；埋点数据命名子模块，用于根据所述埋点数据采集策略中的埋点数据命名规范，对所述埋点数据进行命名；数据格式确定子模块，用于根据所述埋点数据采集策略中的埋点数据格式规范，确定所述埋点数据的数据格式。
可选的，埋点数据采集模块520，包括：埋点数据等级划分子模块，用于根据预设等级划分标准，对埋点数据进行重要等级划分；上传通道分配子模块，用于基于重要等级与上传通道的预设关系，根据所述重要等级为各埋点数据分配上传通道；第二埋点数据上传子模块，用于利用所述上传通道，将对应重要等级的所述埋点数据上传给所述数据处理服务器。
可选的，所述装置还包括：重传机制配置模块，用于根据所述重要等级与上传通道的预设关系，为所述上传通道配置重传机制，以便在所述埋点数据上传失败的情况下，根据所述重传机制重新向所述数据处理服务器上传所述埋点数据。
可选的，所述候选埋点数据采集模型包括：页面访问数据采集模型、课堂学习数据采集模型和应用运行数据采集模型中的至少一种。本发明实施例所提供的一种埋点数据采集装置可执行本发明任意实施例所提供的一种埋点数据采集方法，具备执行一种埋点数据采集方法相应的性能模块和有益效果。
实施例六
本申请实施例六还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种埋点数据采集方法，该方法包括：
对用户动作进行监测，根据监测到的用户动作在候选埋点数据采集模型中选择目标埋点数据采集模型；其中，候选埋点数据采集模型包括埋点数据采集策略；所述埋点数据采集策略用于规范埋点数据采集；
根据所述目标埋点数据采集模型中的所述埋点数据采集策略采集埋点数据，并将所述埋点数据上传给数据处理服务器以供所述数据处理服务器对所述埋点数据进行分析处理。
存储介质是指任何的各种类型的存储器电子设备或存储电子设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDR RAM、SRAM、EDO RAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到计算机系统。第二计算机系统可以提供程序指令给计算机用于执行。术语“存储介质”可以包括可以驻留在不同未知中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的埋点数据采集操作，还可以执行本申请任意实施例所提供的埋点数据采集方法中的相关操作。
实施例七
本申请实施例七提供了一种电子设备，该电子设备中可集成本申请实施例提供的埋点数据采集装置，该电子设备可以是配置于系统内的，也可以是执行系统内的部分或者全部性能的设备。图6是本申请实施例七提供的一种电子设备的结构示意图。如图6所示，本实施例提供了一种电子设备600，其包括：一个或多个处理器620；存储装置610，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器620执行，使得所述一个或多个处理器620实现本申请实施例所提供的埋点数据采集方法，该方法包括：
对用户动作进行监测，根据监测到的用户动作在候选埋点数据采集模型中选择目标埋点数据采集模型；其中，候选埋点数据采集模型包括埋点数据采集策略；所述埋点数据采集策略用于规范埋点数据采集；
根据所述目标埋点数据采集模型中的所述埋点数据采集策略采集埋点数据，并将所述埋点数据上传给数据处理服务器以供所述数据处理服务器对所述埋点数据进行分析处理。
当然，本领域技术人员可以理解，处理器620还实现本申请任意实施例所提供的埋点数据采集方法的技术方案。
图6显示的电子设备600仅仅是一个示例，不应对本申请实施例的性能和使用范围带来任何限制。
如图6所示，该电子设备600包括处理器620、存储装置610、输入装置630和输出装置640；电子设备中处理器620的数量可以是一个或多个，图6中以一个处理器620为例；电子设备中的处理器620、存储装置610、输入装置630和输出装置640可以通过总线或其他方式连接，图6中以通过总线650连接为例。
存储装置610作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块单元，如本申请实施例中的埋点数据采集方法对应的程序指令。
存储装置610可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个性能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储装置610可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置610可进一步包括相对于处理器620远程设置的存储器，这些远程存储器可以通过网络连接。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置630可用于接收输入的数字、字符信息或语音信息，以及产生与电子设备的用户设置以及性能控制有关的键信号输入。输出装置640可包括显示屏、扬声器等电子设备。
上述实施例中提供的埋点数据采集装置、介质及电子设备可执行本申请任意实施例所提供的埋点数据采集方法，具备执行该方法相应的性能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的埋点数据采集方法。
注意，上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解，本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由所附的权利要求范围决定。
Claims (10)
1.一种埋点数据采集方法，其特征在于，所述方法包括：
对用户动作进行监测，根据监测到的用户动作在候选埋点数据采集模型中选择目标埋点数据采集模型；其中，候选埋点数据采集模型包括埋点数据采集策略；所述埋点数据采集策略用于规范埋点数据采集；
根据所述目标埋点数据采集模型中的所述埋点数据采集策略采集埋点数据，并将所述埋点数据上传给数据处理服务器以供所述数据处理服务器对所述埋点数据进行分析处理。
2.根据权利要求1所述的方法，其特征在于，所述候选埋点数据采集模型包括基础数据采集策略和至少一种业务数据采集策略；相应的，根据所述目标埋点数据采集模型中的所述埋点数据采集策略采集埋点数据，包括：
根据所述目标埋点数据采集模型中的所述基础数据采集策略和所述业务数据采集策略分别采集基础数据和业务数据；
将所述基础数据和所述业务数据作为埋点数据上传给数据处理服务器，以供所述数据处理服务器对所述埋点数据进行分析处理。
3.根据权利要求1所述的方法，其特征在于，对用户动作进行监测，根据监测到的用户动作在候选埋点数据采集模型中选择目标埋点数据采集模型，包括：
将所述监测到的用户动作确定为目标用户动作，对所述目标用户动作进行资源定位，得到目标用户动作的资源定位信息；
基于所述资源定位信息，确定所述目标用户动作的动作类型作为目标动作类型；
根据所述目标动作类型，在所述候选埋点数据采集模型中选择目标埋点数据采集模型。
4.根据权利要求1所述的方法，其特征在于，根据所述目标埋点数据采集模型中的所述埋点数据采集策略采集埋点数据，包括：
根据所述埋点数据采集策略中的埋点数据类型规范，确定待采集的埋点数据；
根据所述埋点数据采集策略中的埋点数据命名规范，对所述埋点数据进行命名；
根据所述埋点数据采集策略中的埋点数据格式规范，确定所述埋点数据的数据格式。
5.根据权利要求1所述的方法，其特征在于，将所述埋点数据上传给数据处理服务器，包括：
根据预设等级划分标准，对埋点数据进行重要等级划分；
基于重要等级与上传通道的预设关系，根据所述重要等级为各埋点数据分配上传通道；
利用所述上传通道，将对应重要等级的所述埋点数据上传给所述数据处理服务器。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
根据所述重要等级与上传通道的预设关系，为所述上传通道配置重传机制，以便在所述埋点数据上传失败的情况下，根据所述重传机制重新向所述数据处理服务器上传所述埋点数据。
7.根据权利要求1所述的方法，其特征在于，其中，所述候选埋点数据采集模型包括：页面访问数据采集模型、课堂学习数据采集模型和应用运行数据采集模型中的至少一种。
8.一种埋点数据采集装置，其特征在于，所述装置包括：
目标埋点数据采集模型选择模块，用于对用户动作进行监测，根据监测到的用户动作在候选埋点数据采集模型中选择目标埋点数据采集模型；其中，候选埋点数据采集模型包括埋点数据采集策略；所述埋点数据采集策略用于规范埋点数据采集；
埋点数据采集模块，用于根据所述目标埋点数据采集模型中的所述埋点数据采集策略采集埋点数据，并将所述埋点数据上传给数据处理服务器以供所述数据处理服务器对所述埋点数据进行分析处理。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的埋点数据采集方法。
10.一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-7中任一项所述的埋点数据采集方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210215722.3A CN114595117A (zh) | 2022-03-07 | 2022-03-07 | 埋点数据采集方法、装置、介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210215722.3A CN114595117A (zh) | 2022-03-07 | 2022-03-07 | 埋点数据采集方法、装置、介质及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114595117A true CN114595117A (zh) | 2022-06-07 |
Family
ID=81807202
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210215722.3A Pending CN114595117A (zh) | 2022-03-07 | 2022-03-07 | 埋点数据采集方法、装置、介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114595117A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100146011A1 (en) * | 2008-12-04 | 2010-06-10 | International Business Machines Corporation | Generic Data Model for Event Monitoring Integration |
| CN108833459A (zh) * | 2018-04-09 | 2018-11-16 | 平安普惠企业管理有限公司 | 数据上报方法及终端设备 |
| CN110457256A (zh) * | 2019-08-01 | 2019-11-15 | 大众问问(北京)信息科技有限公司 | 数据存储方法、装置、计算机设备及存储介质 |
| CN110634030A (zh) * | 2019-09-24 | 2019-12-31 | 阿里巴巴集团控股有限公司 | 应用的业务指标挖掘方法、装置及设备 |
| CN110740153A (zh) * | 2018-07-20 | 2020-01-31 | 阿里巴巴集团控股有限公司 | 一种监测数据获取方法、系统及装置 |
| CN111723115A (zh) * | 2020-06-24 | 2020-09-29 | 深圳前海微众银行股份有限公司 | 基于多级缓存的数据统计方法、装置、终端及存储介质 |
| CN112667527A (zh) * | 2021-01-15 | 2021-04-16 | 北京云上曲率科技有限公司 | 一种确保客户端数据采集准确性的方法及客户端 |
| CN113779633A (zh) * | 2021-09-16 | 2021-12-10 | 咪咕文化科技有限公司 | 一种数据处理方法、装置及设备 |
-
2022
- 2022-03-07 CN CN202210215722.3A patent/CN114595117A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100146011A1 (en) * | 2008-12-04 | 2010-06-10 | International Business Machines Corporation | Generic Data Model for Event Monitoring Integration |
| CN108833459A (zh) * | 2018-04-09 | 2018-11-16 | 平安普惠企业管理有限公司 | 数据上报方法及终端设备 |
| CN110740153A (zh) * | 2018-07-20 | 2020-01-31 | 阿里巴巴集团控股有限公司 | 一种监测数据获取方法、系统及装置 |
| CN110457256A (zh) * | 2019-08-01 | 2019-11-15 | 大众问问(北京)信息科技有限公司 | 数据存储方法、装置、计算机设备及存储介质 |
| CN110634030A (zh) * | 2019-09-24 | 2019-12-31 | 阿里巴巴集团控股有限公司 | 应用的业务指标挖掘方法、装置及设备 |
| CN111723115A (zh) * | 2020-06-24 | 2020-09-29 | 深圳前海微众银行股份有限公司 | 基于多级缓存的数据统计方法、装置、终端及存储介质 |
| CN112667527A (zh) * | 2021-01-15 | 2021-04-16 | 北京云上曲率科技有限公司 | 一种确保客户端数据采集准确性的方法及客户端 |
| CN113779633A (zh) * | 2021-09-16 | 2021-12-10 | 咪咕文化科技有限公司 | 一种数据处理方法、装置及设备 |
Non-Patent Citations (1)
| Title |
|---|
| 唐文编: "《Python自动化测试入门与进阶实战》", 机械工业出版社, pages: 241 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10389592B2 (en) | Method, system and program product for allocation and/or prioritization of electronic resources | |
| US9367601B2 (en) | Cost-based optimization of configuration parameters and cluster sizing for hadoop | |
| KR102565360B1 (ko) | 지도 서비스 테스트 방법 및 장치 | |
| CN109684370A (zh) | 日志数据处理方法、系统、设备及存储介质 | |
| WO2018184420A1 (zh) | 软件测试方法、装置、电子设备及介质 | |
| CN108984389B (zh) | 一种应用程序测试方法及终端设备 | |
| CN107861981B (zh) | 一种数据处理方法及装置 | |
| US20090228789A1 (en) | System and methods for collecting software development feedback | |
| CN107480036A (zh) | iOS移动应用的自动测试方法、装置、存储介质及终端 | |
| CN110147327B (zh) | 一种基于多粒度的web自动化测试管理方法 | |
| CN113986746A (zh) | 性能测试方法及其装置、计算机可读存储介质 | |
| CN112597014A (zh) | 基于数据驱动的自动化测试方法、装置、介质及电子设备 | |
| CN113485909B (zh) | 测试方法、装置、计算设备以及介质 | |
| CN110781998A (zh) | 一种基于人工智能的推荐处理方法及装置 | |
| CN113360413A (zh) | 一种代码测试方法及装置 | |
| CN114595117A (zh) | 埋点数据采集方法、装置、介质及电子设备 | |
| CN109933506A (zh) | 服务器大数据性能评价方法、系统及电子设备和存储介质 | |
| CN107682427B (zh) | 一种消息推送方法、装置、设备及存储介质 | |
| US11714699B2 (en) | In-app failure intelligent data collection and analysis | |
| CN112799910A (zh) | 层次化监控方法及装置 | |
| CN113590667A (zh) | 一种基于Spark Streaming的实时数据更新及管理方法 | |
| CN114116278A (zh) | 直播故障检测处理方法及其装置、设备、介质、产品 | |
| CN113449166A (zh) | 数据采集方法、装置、设备及存储介质 | |
| CN115220987A (zh) | 数据采集方法、装置、电子设备及存储介质 | |
| KR20220060429A (ko) | 원격지의 네트워크 스위치에 대한 로그 수집 시스템 및 이의 빅데이터 구축 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |