CN114356733B - 一种数据埋点的配置方法、存储介质及设备 - Google Patents

Abstract

本发明的一种数据埋点的配置方法、存储介质及设备，其中方法包括以下步骤，S1、采用全埋点+代码埋点的综合模式，设定前端记录用户的行为日志，对页面访问、按钮点击这些基础事件，全面记录和上报，对功能事件，增加专门的埋点；S2、基于后端同步各项业务数据日志，建立维度信息表，完善EV事件的处理方法，确保数据的准确性和全面性；S3、进行埋点流程管理和数据过滤管理。本发明能够基于埋点配置、处理和埋点系统进行埋点流程管控和方案编制，完善埋点技术方案的顶层设计，通过业务映射增加对事件信息和属性信息的理解，监控使用情况，解决埋点的触发机制不清晰不明确的问题，提升埋点数据准确性和全面性。

Description

一种数据埋点的配置方法、存储介质及设备

技术领域

本发明涉及数据采集技术领域，具体涉及一种数据埋点的配置方法、系统及设备。

背景技术

所谓埋点，就是数据采集领域的术语，作为一种常用的数据收集方法，它的学名应该叫做事件追踪，对应的英文是Event Tracking，指的是针对特定用户行为或事件进行捕获，处理和发送的相关技术及其实施过程。

数据埋点是基于业务需求或者产品需求对用户行为的每一个事件对应位置进行开发埋点，并通过上报埋点的数据结果，记录汇总数据后进行分析，推动产品优化和指导运营，或者用于研究用户的行为习惯等方面。

比如直接采用友盟、百度统计这样的第三方统计工具进行数据埋点，通过嵌入AppSDK 或JS SDK，来直接查看统计数据。这种方式只能采集很基础的数据，比如页面访问，按钮点击等等，但是想分析各个维度的情况，分析服务端的库存、订单等情况，就基本上无法实现。

再如企业自行设计进行人为埋点，只使用业务数据库来完成数据分析，理论上可行，但是由于业务数据库面向OLTP的业务事务过程，很多中间数据不会保存，很多分析没办法做，且性能上完全不支持大规模的数据分析，运行速度迟缓。

在埋点的实际操作过程中，经常会遇到各种技术问题，比如：

① 业务兼容的问题

前期规范执行之后，后续随着业务的拓展，已有数据字段满足不了业务的分析需求；

②产品兼容的问题

埋点从应用端来区分，包括web/ios/android、小程序、公众号，还要区分是原生还是H5，新老版本之间肯定会带来一些模块化的差异；

③前后端埋点不一致的问题

前端请求服务端的数据大多是存在binlog里面的，数据日志同步解析的过程里面可能会存在丢包的可能性，数据仓库的稳定性也会影响数据质量；后端服务信息存储的数据是存在mysql，表字段结构化，分多表存储，需要靠主键进行关联，有大量的ETL过程，两者之间可能因为数据清洗、处理、实时技术等原因，造成数据差异化；

④ 自埋点和第三方应用统计口径的问题

自埋点一般都会定义一个唯一id作为区分用户的标志，但是第三方是缺少用户属性信息的判断，一般会以设备号uuid/imei，或者IP地址段、mac地址段作为区分标志，从而造成统计数据上的差异化，对于留存分析、转化分析、流失分析需要用到明细数据的场景，可兼容性不是很友好；

⑤ 埋点开发技术执行不到位的问题

绝大多数情况下说埋点，一般都是说前端埋点，前端开发工程师在做埋点的时候又多是人为埋点，在开发过程中，会造成部分信息冗余、重复、记录不完整的情况存在；

⑥多产品之间的模块差异化问题

埋点不能够只有一套标准规范，多生态应用下，业务繁琐，在产品、技术的架构上有明显的差异，不同的产品、模块、坑位、点击事件的定义也可能有一定的区别，这时候可能需要根据场景划分不同的埋点标准；

⑦自定义埋点信息的键对设计问题

往往会在埋点里面增加一个json的字段（bdata），在埋点的时候写入自定义的业务信息进行场景识别，譬如活动id、业务信息、用户快照的基本信息等，不同开发写入的自定义字段格式可能会有差异。

发明内容

本发明提出的一种数据埋点的配置方法、系统及设备，可至少解决背景技术中的技术问题之一。

为实现上述目的，本发明采用了以下技术方案：

一种数据埋点的配置方法，通过计算机设备执行以下步骤，

S1、采用全埋点+代码埋点的综合模式，设定前端记录用户的行为日志，对页面访问、按钮点击这些基础事件，全面记录和上报，对功能事件，增加专门的埋点；

S2、基于后端同步各项业务数据日志，建立维度信息表，完善EV事件的处理方法，确保数据的准确性和全面性；

S3、进行埋点流程管理和数据过滤管理。

进一步的，步骤S1采用全埋点+代码埋点的综合模式，设定前端记录用户的行为日志，对页面访问、按钮点击这些基础事件，全面记录和上报，对功能事件，增加专门的埋点；具体包括，

先配置代码埋点，即是将上报的逻辑，直接写到业务代码里，代码埋点分为前端埋点和后端埋点；前端埋点，是由客户端、前端页面，直接将用户的行为记录下来，进行上报；而后端埋点，是将用户与服务端的交互记录进行上报；

第二步配置全埋点，或者叫无埋点；

全埋点，就是将预先定义的某类事件包括这四种事件类型：APP启动、APP关闭、页面访问、元素点击，通过SDK实现完全自动上报。

进一步的，实现全埋点时，规范页面和元素的命名规则，通过SPM码规范，来标识具体的页面和元素。

进一步的，步骤S2、基于后端同步各项业务数据日志，建立维度信息表，完善EV事件的处理方法，确保数据的准确性和全面性，具体包括，

配置埋点时，制定Ev事件的命名规则，同一类功能在不同页面或位置出现时，按照功能名称命名，页面和位置在ev参数中进行区分，仅是按钮点击时，按照按钮名称命名。

进一步的，ev分为ev标识和ev参数；规则如下：

①ev标识和ev参数之间用“#”连接即一级连接符；

②ev参数和ev参数之间用“/”来连接即二级连接符；

③ev参数使用key=value的结构，当一个key对应多个value值时，value1与value2之间用“，”连接即三级连接符，当埋点仅有ev标识没有ev参数的时候，不需要带#；

④ev标识：作为埋点的唯一标识，用来区分埋点的位置和属性，不可变，不可修改；

⑤ev参数：埋点需要回传的参数，ev参数顺序可变，可修改；app埋点调整时，ev标识不变，只修改后面的埋点参数即参数取值变化或者增加参数类型。

进一步的，步骤S2还包括最终基于埋点的数据统计，用埋点统计数据查找埋点ev事件的方法，方法如下：

①明确埋点类型即点击/曝光/浏览——筛选type字段；

②明确按钮埋点所属页面即页面或功能——筛选功能模块字段；

③明确埋点事件名称——筛选名称字段；

④知道ev标识，直接用ev来进行筛选；

根据ev事件进行查询统计：当查询按钮点击统计时，直接用ev标识进行查询，当有所区分可限定埋点参数取值，因为ev参数的顺序不做要求可变，所以查询统计时，不能按照参数的顺序进行限定。

进一步的，所述S3中埋点流程管理步骤如下：

①埋点流程管理：如果要新增埋点，由需求方发起，提交审批，然后通过后数据分析师进行埋点设计，数据开发进行实现；

②事件和属性的理解即业务映射；

③事件信息：每个事件是否启动、数据量如何、修改记录、类别；

④属性信息：数据监控、映射名称、属性管理。

进一步的，所述S3中数据过滤管理步骤如下：

在配置好埋点并成功获取数据的基础上对XML、局域网、防火墙这些过滤，研究针对不良数据的过滤方式，分析通信框架和数据格式协议，通过定义值的限制对数据进行过滤，提升数据过滤的效率；

数据过滤和处理：对于一些明显错误的数据，设定对应的数据过滤规则包括IP黑名单、事件属性、用户属性，如果不符合条件，则将数据删除，不进行上报；

配合上埋点系统，持续对埋点数据进行管理，为数据分析、业务数据使用，提供技术支撑。

又一方面，本发明还公开一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上述方法的步骤。

再一方面，本发明还公开一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上方法的步骤。

由上述技术方案可知，本发明实施提供一种数据埋点配置方法、和管理系统，在遵循唯一性、可扩展性、一致性等的基础上，能够基于埋点配置、处理和埋点系统进行埋点流程管控和方案编制，完善埋点技术方案的顶层设计，通过业务映射增加对事件信息和属性信息的理解，监控使用情况，解决埋点的触发机制不清晰不明确的问题，提升埋点数据准确性和全面性。

具体的说，本发明的有益效果如下：

①埋点元信息api提供，数据采集服务会对采集到的埋点写入到Kafka中，对于各个业务的实时数据消费需求，为每个业务提供了单独的Kafka，流量分发模块会定期读取埋点管理平台提供的元信息，将流量实时分发的各业务Kafka中。

②支持快速构建指标体系，体系化的指标可以综合不同的指标不同的维度串联起来进行全面的分析，会更快的发现目前产品和业务流程存在的问题。

③数据全息可视化，人对图像信息的解释效率比文字更高，可视化对数据分析极为重要，利用数据可视化可以揭示出数据内在的错综复杂的关系，提升统计分析的可视性。

附图说明

图1为本发明方法的流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。

如图1所示，本实施例所述的数据埋点的配置方法，通过计算机设备执行以下步骤，

S1、采用全埋点+代码埋点的综合模式，设定前端记录用户的行为日志，对页面访问等基础事件，全面记录和上报，对一些功能事件，增加专门的埋点事件。

先配置代码埋点，即是将上报的逻辑，直接写到业务代码里。代码埋点分为前端埋点和后端埋点，区别在于埋点逻辑是放在前端完成，还是后端完成。前端埋点，基本上是由客户端、前端页面，直接将用户的行为记录下来，进行上报。因此可以记录得非常详细齐全，一些本地完成的操作，也可以得到上报。而后端埋点，是将用户与服务端的交互记录进行上报。由于服务端记录比较精准，因而这种数据一般都比较可靠。而且一些没有发生在用户界面上的操作变化，也能通过后端埋点记录下来，比如商品库存的变化。代码埋点的缺点是它会侵入业务代码，带来更多的维护成本。

第二步配置全埋点，或者叫无埋点。所谓全埋点，就是将预先定义的某类事件（通常包括这四种事件类型：APP启动、APP关闭、页面访问、元素点击），通过SDK实现完全自动上报。比如当用户访问本产品的任何页面时，都会自动上报PV数据。自动上报数据时，会将页面的名称、按钮的名称等作为属性信息上报，方便理解用户访问了哪个页面，点击了什么按钮。

实现全埋点时，需要规范页面和元素的命名规则，可通过SPM码规范，来标识具体的页面和元素。SPM码的全称是 super position model（超级位置模型），它通过五个字符串，将一个页面功能位置，唯一标识出来，下面是一个SPM码的格式：

SPM=SPMA.SPMB.SPMC.SPMD.SPME

SPMA 唯一标识一个站点

SPMB 唯一标识某站点的一个页面

SPMC 唯一标识某页面的一个区块

SPMD 唯一标识某区块的一个具体位置

SPME 随机生成的字串，跟时间有关系，在循环页面计算时可以区分点击的时序。

举个具体的例子：

SPM=smpc.home.top-news1.6.1600345645320wCquJhc，这个SPM码，就表明位置是smpc站点——首页——置顶新闻——第6位的内容。有了这个SPM码，就能自动编码产品里的每一个页面和位置。通过配合SPM位置编码，全埋点基本上就可以实现全APP内，页面浏览数据的记录，甚至还可以通过页面的前后跳转关系，记录页面转化率。

S2、基于后端同步各项精准的业务数据日志，建立维度信息表，完善EV事件的处理方法，确保数据的准确性和全面性。

配置埋点时，需制定Ev事件的命名规则，同一类功能在不同页面或位置出现时，按照功能名称命名，页面和位置在ev参数中进行区分。仅是按钮点击时，按照按钮名称命名。

ev分为ev标识和ev参数；规则如下：

①ev标识和ev参数之间用“#”连接(一级连接符)

②ev参数和ev参数之间用“/”来连接(二级连接符)

③ev参数使用key=value的结构，当一个key对应多个value值时，value1与value2之间用“，”连接(三级连接符)，当埋点仅有ev标识没有ev参数的时候，不需要带#。

④ev标识：作为埋点的唯一标识，用来区分埋点的位置和属性，不可变，不可修改。

⑤ev参数：埋点需要回传的参数，ev参数顺序可变，可修改；app埋点调整时，ev标识不变，只修改后面的埋点参数(参数取值变化或者增加参数类型)

最终基于埋点的数据统计，用埋点统计数据查找埋点ev事件的方法，方法如下：

①明确埋点类型（点击/曝光/浏览）——筛选type字段

②明确按钮埋点所属页面（页面或功能）——筛选功能模块字段

③明确埋点事件名称——筛选名称字段

④知道ev标识，可直接用ev来进行筛选

根据ev事件进行查询统计：当查询按钮点击统计时，可直接用ev标识进行查询，当有所区分可限定埋点参数取值。因为ev参数的顺序不做要求可变，所以查询统计时，不能按照参数的顺序进行限定。

S3、埋点流程管理和数据过滤管理；

所述埋点流程管理用于复杂业务的埋点，对埋点进行管理，步骤如下：

①埋点流程管理：如果要新增埋点，可以由需求方发起，提交审批，然后通过后数据分析师进行埋点设计，数据开发进行实现。这样流程更加规范。

②事件和属性的理解（业务映射）：每个埋点到底是什么含义，触发机制是什么，这些信息不能纯靠人记，也不能从代码里看。需要一个管理平台，将这些内容记录下来，方便查阅和理解，甚至还可以监控它们的使用情况。

③事件信息：每个事件是否启动、数据量如何、修改记录、类别

④属性信息：数据监控、映射名称、属性管理。

所述数据过滤管理是在配置好埋点并成功获取数据的基础上对XML、局域网、防火墙等过滤的新方法，研究针对不良数据的过滤方式，分析通信框架和数据格式协议，通过定义值的限制对数据进行过滤，提升数据过滤的效率。

数据过滤和处理：对于一些明显错误的数据，可以设定一些数据过滤规则（如IP黑名单、事件属性、用户属性等），如果不符合条件，则将数据删除，不进行上报。

配合上埋点系统，持续对埋点数据进行管理，为数据分析、业务数据使用，提供技术支撑。

具体的说，本发明实施例的有益效果如下：

①埋点元信息api提供，数据采集服务会对采集到的埋点写入到Kafka中，对于各个业务的实时数据消费需求，为每个业务提供了单独的Kafka，流量分发模块会定期读取埋点管理平台提供的元信息，将流量实时分发的各业务Kafka中。

②支持快速构建指标体系，体系化的指标可以综合不同的指标不同的维度串联起来进行全面的分析，会更快的发现目前产品和业务流程存在的问题。

③数据全息可视化，人对图像信息的解释效率比文字更高，可视化对数据分析极为重要，利用数据可视化可以揭示出数据内在的错综复杂的关系，提升统计分析的可视性。

又一方面，本发明还公开一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上述方法的步骤。

再一方面，本发明还公开一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上方法的步骤。

在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一数据埋点的配置方法。

可理解的是，本发明实施例提供的系统与本发明实施例提供的方法相对应，相关内容的解释、举例和有益效果可以参考上述方法中的相应部分。

本申请实施例还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信，

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现上述数据埋点的配置方法，所述方法包括：

S1、采用全埋点+代码埋点的综合模式，设定前端记录用户的行为日志，对页面访问这些基础事件，全面记录和上报，对功能事件，增加专门的埋点事件；

S2、基于后端同步各项业务数据日志，建立维度信息表，完善EV事件的处理方法，确保数据的准确性和全面性；

S3、进行埋点流程管理和数据过滤管理。

上述电子设备提到的通信总线可以是外设部件互连标准（英文：PeripheralComponent Interconnect，简称：PCI）总线或扩展工业标准结构（英文：Extended IndustryStandard Architecture，简称：EISA）总线等。该通信总线可以分为地址总线、数据总线、控制总线等。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器（英文：Random Access Memory，简称：RAM），也可以包括非易失性存储器（英文：Non-Volatile Memory，简称：NVM），例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器（英文：Central ProcessingUnit，简称：CPU）、网络处理器（英文：Network Processor，简称：NP）等；还可以是数字信号处理器（英文：Digital Signal Processing，简称：DSP）、专用集成电路（英文：ApplicationSpecific Integrated Circuit，简称：ASIC）、现场可编程门阵列（英文：Field-Programmable Gate Array，简称：FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线（例如同轴电缆、光纤、数字用户线（DSL））或无线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质（例如固态硬盘Solid State Disk (SSD)）等。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (6)

1.一种数据埋点的配置方法，其特征在于，包括以下步骤，

S1、采用全埋点+代码埋点的综合模式，设定前端记录用户的行为日志，对页面访问、按钮点击这些基础事件，全面记录和上报，对功能事件，增加专门的埋点；具体包括，

先配置代码埋点，即是将上报的逻辑，直接写到业务代码里，代码埋点分为前端埋点和后端埋点；前端埋点，是由客户端、前端页面，直接将用户的行为记录下来，进行上报；而后端埋点，是将用户与服务端的交互记录进行上报；

第二步配置全埋点，或者叫无埋点；

全埋点，就是将预先定义的某类事件包括这四种事件类型：APP启动、APP关闭、页面访问、元素点击，通过SDK实现完全自动上报；

实现全埋点时，规范页面和元素的命名规则，通过SPM码规范，来标识具体的页面和元素

S2、基于后端同步各项业务数据日志，建立维度信息表，完善EV事件的处理方法，确保数据的准确性和全面性；具体包括，

配置埋点时，制定Ev事件的命名规则，同一类功能在不同页面或位置出现时，按照功能名称命名，页面和位置在ev参数中进行区分，仅是按钮点击时，按照按钮名称命名；ev分为ev标识和ev参数；规则如下：

①ev标识和ev参数之间用“#”连接即一级连接符；

②ev参数和ev参数之间用“/”来连接即二级连接符；

③ev参数使用key=value的结构，当一个key对应多个value值时，value1与value2之间用“，”连接即三级连接符，当埋点仅有ev标识没有ev参数的时候，不需要带#；

④ev标识：作为埋点的唯一标识，用来区分埋点的位置和属性，不可变，不可修改；

⑤ev参数：埋点需要回传的参数，ev参数顺序可变，可修改；app埋点调整时，ev标识不变，只修改后面的埋点参数即参数取值变化或者增加参数类型；

S3、进行埋点流程管理和数据过滤管理。

2.根据权利要求1所述的数据埋点的配置方法，其特征在于：

步骤S2还包括最终基于埋点的数据统计，用埋点统计数据查找埋点ev事件的方法，方法如下：

①明确埋点类型即点击/曝光/浏览——筛选type字段；

②明确按钮埋点所属页面即页面或功能——筛选功能模块字段；

③明确埋点事件名称——筛选名称字段；

④知道ev标识，直接用ev来进行筛选；

根据ev事件进行查询统计：当查询按钮点击统计时，直接用ev标识进行查询，当有所区分可限定埋点参数取值，因为ev参数的顺序不做要求可变，所以查询统计时，不能按照参数的顺序进行限定。

3.根据权利要求2所述的数据埋点的配置方法，其特征在于：

所述S3中埋点流程管理步骤如下：

①埋点流程管理：如果要新增埋点，由需求方发起，提交审批，然后通过后数据分析师进行埋点设计，数据开发进行实现；

②事件和属性的理解即业务映射；

③事件信息：每个事件是否启动、数据量如何、修改记录、类别；

④属性信息：数据监控、映射名称、属性管理。

4.根据权利要求3所述的数据埋点的配置方法，其特征在于：

所述S3中数据过滤管理步骤如下：

在配置好埋点并成功获取数据的基础上对XML、局域网、防火墙这些过滤，研究针对不良数据的过滤方式，分析通信框架和数据格式协议，通过定义值的限制对数据进行过滤，提升数据过滤的效率；

数据过滤和处理：对于一些明显错误的数据，设定对应的数据过滤规则包括IP黑名单、事件属性、用户属性，如果不符合条件，则将数据删除，不进行上报；

配合上埋点系统，持续对埋点数据进行管理，为数据分析、业务数据使用，提供技术支撑。

5.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至4中任一项所述方法的步骤。

6.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至4中任一项所述方法的步骤。

Images