CN110727572A - 埋点数据处理方法、装置、设备及存储介质 - Google Patents
埋点数据处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN110727572A CN110727572A CN201911011717.5A CN201911011717A CN110727572A CN 110727572 A CN110727572 A CN 110727572A CN 201911011717 A CN201911011717 A CN 201911011717A CN 110727572 A CN110727572 A CN 110727572A
- Authority
- CN
- China
- Prior art keywords
- buried point
- application
- data packet
- database
- tested
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3476—Data logging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3688—Test management for test execution, e.g. scheduling of test suites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明实施例公开了一种埋点数据处理方法、装置、设备及存储介质。所述方法包括:对获取的待测应用的埋点数据包进行实时处理得到埋点字段的取值;在埋点数据库中生成包括所述埋点字段的取值的数据记录;当接收到包括目标关键信息的查询请求时,将所述埋点数据库中与所述目标关键信息关联的数据记录作为查询结果。利用该方案,能够实现对埋点数据的实时查询,且保证查询得到的数据记录是埋点数据包中符合业务需求的具体字段的详细取值信息,实现可以实时查询用户行为的效果。
Description
技术领域
本发明实施例涉及计算机技术领域,尤其涉及一种埋点数据处理方法、装置、设备及存储介质。
背景技术
埋点分析,是一种常用的数据采集方式。针对应用程序中的一个或多个特定行为事件能够设置埋点,例如,对点击控件的行为设置埋点。当应用程序的控件被点击时,能够得到表征用户点击控件行为的埋点数据,进而可以根据获取的埋点数据包进行数据分析。然而,由于埋点数据包的数量非常庞大,通常将采集的埋点数据包批量落入数据仓库工具hive中离线计算,而离线计算需要一定的时间,导致数据的查询也会存在很大的延迟。
发明内容
本发明实施例中提供了一种数据处理方法、装置、设备及存储介质,以实现实时查询表征用户行为的埋点数据。
第一方面,本发明实施例中提供了一种埋点数据处理方法,该方法包括:
对获取的待测应用的埋点数据包进行实时处理,得到埋点字段的取值;
在埋点数据库中生成包括所述埋点字段的取值的数据记录;
当接收到包括目标关键信息的查询请求时,将所述埋点数据库中与所述目标关键信息关联的数据记录作为查询结果。
第二方面,本发明实施例中还提供了一种埋点数据处理装置,该装置包括:
实时处理模块,用于对获取的待测应用的埋点数据包进行实时处理,得到埋点字段的取值;
数据生成模块,用于在埋点数据库中生成包括所述埋点字段的取值的数据记录;
数据查询模块,用于当接收到包括目标关键信息的查询请求时,将所述埋点数据库中与所述目标关键信息关联的数据记录作为查询结果。
第三方面,本发明实施例中还提供了一种电子设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如本发明任意实施例中提供的埋点数据处理方法。
第四方面,本发明实施例中还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明任意实施例中提供的埋点数据处理方法。
本发明实施例中提供了一种埋点数据处理方案,在获取到待测应用的埋点数据包后,会立即对获取的埋点数据包进行实时处理,得到埋点数据包中包含的多个埋点字段的取值,然后将多个埋点字段在埋点数据库中生成对应的数据记录。在此基础上,当接收到查询请求后,可以将埋点数据库中与目标关键信息关联的数据记录作为查询结果提供给用户。采用上述方案,能够实现对埋点数据的实时查询,且保证查询的数据记录是埋点数据包中符合业务需求的具体字段的详细取值信息,实现可以实时查询用户行为的效果。
上述发明内容仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1是本发明实施例中提供的一种埋点数据处理方法的流程图;
图2是本发明实施例中提供的一种数据记录在客户端的查询示意图;
图3是本发明实施例中提供的一种埋点数据处理装置的结构框图;
图4是本发明实施例中提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理,但是其中的许多操作可以被并行地、并发地或者同时实施。此外,各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止,但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
图1是本发明实施例中提供的一种埋点数据处理方法的流程图,该方法可适用于查询待测应用的埋点数据的情况,该方法可以由埋点数据处理装置来执行,该装置可由软件和/或硬件实现,并集成在任何具有网络通信功能的电子设备上。其中,该电子设备可以为服务器等。如图1所示,本发明实施例中的埋点数据处理方法,包括以下步骤:
S110、对获取的待测应用的埋点数据包进行实时处理,得到一个或多个埋点字段的取值。
在本实施例中,待测应用可以安装在客户端设备中,并在客户端设备中进行正常使用。对于每一个待测应用而言,测试人员会根据测试需求,在待测应用中预先设置埋点事件。当用户在待测应用中执行相应的行为操作时,会触发预先设置的埋点事件,而待测应用会获取埋点事件对应的埋点数据,并以埋点数据包的形式上报到服务器。这里,埋点数据能够表征用户在待测应用上执行操作时的行为数据。
在本实施例中,可选地,埋点数据包中包含有不同类型的字段信息,埋点数据包中的埋点字段具体包括:待测应用的型号、页面名称、页面中页面元素标识、埋点的触发条件、服务器的ID、待测应用的版本等。其中,待测应用的型号指示了埋点数据包的所属;页面名称指示了埋点数据包的页面来源;页面中页面元素标识指示了对页面中的哪个元素进行的埋点。因此,在获取待测应用的埋点数据包后,可以对埋点数据包进行实时解析,得到其中的一个或多个埋点字段的取值。
在本实施例的一种可选方式中,在对获取的待测应用的埋点数据包进行实时处理之前,还包括:通过预设的分布式发布订阅系统Kafka,实时接收待测应用上报的埋点数据包。
在本实施方式中,分布式发布订阅系统Kafka能够实时接收一个或多个客户端设备上待测应用的埋点数据包,并将获取的埋点数据包进行消费。埋点数据包是待测应用上的埋点事件被触发时生成的。可选地,考虑到待测应用可以是处于测试环境中的应用,也可以是处于生产环境中的应用,因此可以根据待测应用所处环境的不同,为处于不同环境的待测应用分配不同的Kafka,实现待测应用将生成的埋点数据包上报到各自环境下的Kafka中,避免出现混淆。
在本实施例的一种可选方式中,对获取的待测应用的埋点数据包进行实时处理,得到埋点字段的取值,具体包括:将埋点数据库中具有的字段作为埋点字段,并从待测应用的埋点数据包中实时提取埋点字段的取值。
在本实施方式中,埋点数据包中包含有不同类型的字段,在进行实时处理时并不是从中提取任意类型的埋点字段,具体需要提取哪些类型的埋点字段需要参考埋点数据库中设置的埋点字段。如果埋点数据库中只存储待测应用的类型和页面名称这两类字段的埋点字段,那么在对获取的待测应用的埋点数据包进行实时处理时,只需要从获取的埋点数据包中获取上述两类埋点字段的取值即可,而不需要额外获取其他埋点字段的取值。这样,在向埋点数据库写入数据时,不需要写入完整的埋点数据包,大幅度降低了埋点数据库的数据存储压力,同时也可以提高数据的写入速率,避免写入不必要的数据。
在本实施方式中,在一个可选示例中,在对获取的待测应用的埋点数据包进行实时处理之前,还包括:检测埋点数据包是否属于预设格式的数据包;若是,则对获取的待测应用的埋点数据包进行实时处理。例如,预设格式为Json格式,如果检测到埋点数据包的格式是Json格式,此时可以对Json格式的埋点数据包进行解析,并从解析结果中实时提取埋点字段的取值。埋点数据库中具有的字段是测试人员在创建埋点数据库时根据对待测应用的具体测试需求进行埋点而定。换句换件,将在待测应用中设置的埋点事件对应的字段,作为埋点数据库所具有的字段。
在本实施例中,可选地,当需要消费分布式发布订阅系统Kafka进行数据时,可以基于Spark Streaming机制,对收集到的埋点数据包进行实时的流处理,将埋点数据库中具有的字段作为埋点字段,并从待测应用的埋点数据包中实时提取埋点字段的取值。
S120、在埋点数据库中生成包括埋点字段的取值的数据记录。
在本实施例中,获取的待测应用的埋点数据包的数量有多个,针对每一个埋点数据包对应的多个埋点字段的取值,可以将同一个埋点数据包的多个埋点字段的取值组成一条记录,并写入到预设的埋点数据库中。这样,针对该埋点数据包在埋点数据库中就会有对应的一条数据记录。
在本实施例中,考虑到待测应用所处的环境不同,有的待测应用处于测试环境中,其采集的埋点数据包本质上属于线下埋点数据;而,另外有的待测应用处于生产环境中,其采集的埋点数据包本质上属于线上埋点数据。为此,在存储埋点数据的埋点字段的取值时,可以根据待测应用的环境,即根据埋点数据包本质类型,选取合适的埋点数据库进行存储。可选地,根据待测应用所处环境类型,确定待测应用的埋点数据库;在确定的埋点数据库中,生成包括埋点字段的取值的数据记录。
在本实施例的一种可选方式中,根据待测应用所处环境类型,确定待测应用的埋点数据库,具体包括:若待测应用处于测试环境中,则将线下的分布式存储系统ES作为待测应用的埋点数据库;若待测应用处于生产环境中,则将位于线下与线上之间隔离区的Mysql数据库作为待测应用的埋点数据库。
在本实施方式中,由于线下埋点数据的数据量比较小,为此可以将线下的埋点数据包中埋点字段的取值在线下的分布式存储系统ES进行记录。而,线上埋点数据包的数据量非常庞大,考虑到分布式存储系统ES的成本,可以将线上的埋点数据包中埋点字段的取值在Mysql数据库中记录。此外,由于线上和线下环境是隔离,普通测试人员不能很轻易的看到线上用户埋点数据,因此在设置Mysql数据库时,需要将Mysql数据库设置在线上与线下之间的隔离区DMZ。
在本实施例的一种可选方式中,在对获取的待测应用的埋点数据包进行实时处理之前,还包括:当待测应用处于生产环境中时,需要对获取的待测应用的埋点数据包进行白名单检测,确定埋点数据包是否为来自白名单中的待测应用中的埋点数据包。若是,则将其保留并对获取的待测应用的埋点数据包进行实时处理;否者,直接过滤掉。
S130、当接收到包括目标关键信息的查询请求时,将埋点数据库中与目标关键信息关联的数据记录作为查询结果。
在本实施例中,测试人员可以通过客户端向服务器发送包括目标关键信息的查询请求。查询请求中的目标关键信息指示了需要查询的一个或多个埋点字段的取值。例如,目标关键信息中包含有待测应用的型号的取值和页面名称的取值,此时可以将待测应用的型号的取值和页面名称的取值作为索引,在埋点数据库中遍历搜索包含有待测应用的型号的取值和页面名称的取值的数据记录,并将最终搜索到的数据记录作为最终的查询结果。
S140、将查询结果发送到查询请求关联的客户端,用以在客户端上可视化展示查询结果,以及依据查询结果校验埋点数据包。
在本实施例中,图2是本发明实施例中提供的一种数据记录在客户端的查询示意图。参见图2,在将埋点数据库中与目标关键信息关联的数据记录发送到客户端上后,可以在客户端上进行渲染生成可视化显示结果。同时,还可以依据查询结果校验埋点数据包。具体实现过程为:在得到与目标关键信息关联的数据记录后,可将该埋数据记录与测试人员预期的埋点数据的埋点字段的取值进行比较,如果两者取值相同,则表明埋点是正确的;否则,认为埋点是不正确的,需要读待测应用重新埋点。
在上述实施例的基础上,可选地,服务器能够基于Websocket机制,与用于查询的客户端建立通信连接,对分布式发布订阅消息系统Kafka中的埋点数据包进行直接消费,即实时将分布式发布订阅消息系统Kafka中接收的埋点数据包发送到用于查询的客户端,以在该客户端上进行实时跟踪显示。
本发明实施例中提供了一种埋点数据处理方案,在获取到待测应用的埋点数据包后,会立即对获取的埋点数据包进行实时处理,得到埋点数据包中包含的多个埋点字段的取值,然后将多个埋点字段在埋点数据库中生成对应的数据记录。在此基础上,当接收到查询请求后,可以将埋点数据库中与目标关键信息关联的数据记录作为查询结果提供给用户。采用上述方案,能够实现对埋点数据的实时查询,且保证查询的数据记录是埋点数据包中符合业务需求的具体字段的详细取值信息,实现可以实时查询用户行为的效果。同时,本实施例的方案提供了线上白名单以及线下所有用户行为的埋点数据实时展示和实时跟踪功能,为埋点测试提供统一的实时查询以及数据实时跟踪功能,从而可以实时地验证线下测试环境和线上生产环境中埋点数据的准确性、完整性。
图3是本发明实施例中提供的一种埋点数据处理装置的结构框图,该方法可适用于查询待测应用的埋点数据的情况,该装置可由软件和/或硬件实现,并集成在任何具有网络通信功能的电子设备上。其中,该电子设备可以为服务器等。如图3所示,本发明实施例中提供的埋点数据处理装置,具体包括:实时处理模块310、数据生成模块320和数据查询模块330。其中:
实时处理模块310,用于对获取的待测应用的埋点数据包进行实时处理,得到埋点字段的取值;
数据生成模块320,用于在埋点数据库中生成包括所述埋点字段的取值的数据记录;
数据查询模块330,用于当接收到包括目标关键信息的查询请求时,将所述埋点数据库中与所述目标关键信息关联的数据记录作为查询结果。
在上述实施例的基础上,可选地,所述装置还包括:
查询结果发送模块340,用于将所述查询结果发送到查询请求关联的客户端,用以在客户端上可视化展示所述查询结果,以及依据查询结果校验埋点数据包。
在上述实施例的基础上,可选地,实时处理模块310包括:
将埋点数据库中具有的字段作为埋点字段;
从所述待测应用的埋点数据包中实时提取所述埋点字段的取值。
在上述实施例的基础上,可选地,数据生成模块320包括:
数据库确定单元,用于根据待测应用所处环境类型,确定待测应用的埋点数据库;
数据记录生成单元,用于在确定的埋点数据库中,生成包括所述埋点字段的取值的数据记录。
在上述实施例的基础上,可选地,数据库确定单元包括:
若所述待测应用处于测试环境中,则将线下的分布式存储系统ES作为待测应用的埋点数据库;
若所述待测应用处于生产环境中,则将位于线下与线上之间隔离区的Mysql数据库作为待测应用的埋点数据库。
在上述实施例的基础上,可选地,所述装置还包括:
数据包格式检测模块350,用于在对获取的待测应用的埋点数据包进行实时处理之前,检测所述埋点数据包是否属于预设格式的数据包;若是,则对获取的待测应用的埋点数据包进行实时处理。
本发明实施例中所提供的埋点数据处理装置可执行上述本发明任意实施例中所提供的埋点数据处理方法,具备执行该埋点数据处理方法相应的功能和有益效果,详细过程参见前述实施例中埋点数据处理方法的相关操作。
图4是本发明实施例中提供的一种电子设备的结构示意图。如图4所示结构,本发明实施例中提供的电子设备包括:一个或多个处理器410和存储装置420;该电子设备中的处理器410可以是一个或多个,图4中以一个处理器410为例;存储装置420用于存储一个或多个程序;所述一个或多个程序被所述一个或多个处理器410执行,使得所述一个或多个处理器410实现如本发明实施例中任一项所述的埋点数据处理方法。
该电子设备还可以包括:输入装置430和输出装置440。
该电子设备中的处理器410、存储装置420、输入装置430和输出装置440可以通过总线或其他方式连接,图4中以通过总线连接为例。
该电子设备中的存储装置420作为一种计算机可读存储介质,可用于存储一个或多个程序,所述程序可以是软件程序、计算机可执行程序以及模块,如本发明实施例中所提供的埋点数据处理方法对应的程序指令/模块。处理器410通过运行存储在存储装置420中的软件程序、指令以及模块,从而执行电子设备的各种功能应用以及数据处理,即实现上述方法实施例中埋点数据处理方法。
存储装置420可包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储装置420可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储装置420可进一步包括相对于处理器410远程设置的存储器,这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置430可用于接收输入的数字或字符信息,以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置440可包括显示屏等显示设备。
并且,当上述电子设备所包括一个或者多个程序被所述一个或者多个处理器410执行时,程序进行如下操作:
对获取的待测应用的埋点数据包进行实时处理,得到埋点字段的取值;
在埋点数据库中生成包括所述埋点字段的取值的数据记录;
当接收到包括目标关键信息的查询请求时,将所述埋点数据库中与所述目标关键信息关联的数据记录作为查询结果。
当然,本领域技术人员可以理解,当上述电子设备所包括一个或者多个程序被所述一个或者多个处理器410执行时,程序还可以进行本发明任意实施例中所提供的埋点数据处理方法中的相关操作。
本发明实施例中提供了一种计算机可读介质,其上存储有计算机程序,该程序被处理器执行时用于执行埋点数据处理方法,该方法包括:
对获取的待测应用的埋点数据包进行实时处理,得到埋点字段的取值;
在埋点数据库中生成包括所述埋点字段的取值的数据记录;
当接收到包括目标关键信息的查询请求时,将所述埋点数据库中与所述目标关键信息关联的数据记录作为查询结果。
可选的,该程序被处理器执行时还可以用于执行本发明任意实施例中所提供的埋点数据处理方法。
本发明实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(Random AccessMemory,RAM)、只读存储器(Read Only Memory,ROM)、可擦式可编程只读存储器(ErasableProgrammable Read Only Memory,EPROM)、闪存、光纤、便携式CD-ROM、光存储器件、磁存储器件、或者上述的任意合适的组合。计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于:电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、无线电频率(RadioFrequency,RF)等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (14)
1.一种埋点数据处理方法,其特征在于,所述方法包括:
对获取的待测应用的埋点数据包进行实时处理,得到埋点字段的取值;
在埋点数据库中生成包括所述埋点字段的取值的数据记录;
当接收到包括目标关键信息的查询请求时,将所述埋点数据库中与所述目标关键信息关联的数据记录作为查询结果。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
将所述查询结果发送到查询请求关联的客户端,用以在客户端上可视化展示所述查询结果,以及依据查询结果校验埋点数据包。
3.根据权利要求1所述的方法,其特征在于,对获取的待测应用的埋点数据包进行实时处理,得到埋点字段的取值,包括:
将埋点数据库中具有的字段作为埋点字段;
从所述待测应用的埋点数据包中实时提取所述埋点字段的取值。
4.根据权利要求1所述的方法,其特征在于,在埋点数据库中生成包括所述埋点字段的取值的数据记录,包括:
根据待测应用所处环境类型,确定待测应用的埋点数据库;
在确定的埋点数据库中,生成包括所述埋点字段的取值的数据记录。
5.根据权利要求4所述的方法,其特征在于,根据待测应用所处环境类型,确定待测应用的埋点数据库,包括:
若所述待测应用处于测试环境中,则将线下的分布式存储系统ES作为待测应用的埋点数据库;
若所述待测应用处于生产环境中,则将位于线下与线上之间隔离区的Mysql数据库作为待测应用的埋点数据库。
6.根据权利要求1所述的方法,其特征在于,在对获取的待测应用的埋点数据包进行实时处理之前,还包括:
检测所述埋点数据包是否属于预设格式的数据包;若是,则对获取的待测应用的埋点数据包进行实时处理。
7.一种埋点数据处理装置,其特征在于,所述装置包括:
实时处理模块,用于对获取的待测应用的埋点数据包进行实时处理,得到埋点字段的取值;
数据生成模块,用于在埋点数据库中生成包括所述埋点字段的取值的数据记录;
数据查询模块,用于当接收到包括目标关键信息的查询请求时,将所述埋点数据库中与所述目标关键信息关联的数据记录作为查询结果。
8.根据权利要求7所述的装置,其特征在于,所述装置还包括:
查询结果发送模块,用于将所述查询结果发送到查询请求关联的客户端,用以在客户端上可视化展示所述查询结果,以及依据查询结果校验埋点数据包。
9.根据权利要求7所述的装置,其特征在于,实时处理模块包括:
将埋点数据库中具有的字段作为埋点字段;
从所述待测应用的埋点数据包中实时提取所述埋点字段的取值。
10.根据权利要求7所述的装置,其特征在于,数据生成模块包括:
数据库确定单元,用于根据待测应用所处环境类型,确定待测应用的埋点数据库;
数据记录生成单元,用于在确定的埋点数据库中,生成包括所述埋点字段的取值的数据记录。
11.根据权利要求10所述的装置,其特征在于,数据库确定单元包括:
若所述待测应用处于测试环境中,则将线下的分布式存储系统ES作为待测应用的埋点数据库;
若所述待测应用处于生产环境中,则将位于线下与线上之间隔离区的Mysql数据库作为待测应用的埋点数据库。
12.根据权利要求7所述的装置,其特征在于,所述装置还包括:
数据包格式检测模块,用于在对获取的待测应用的埋点数据包进行实时处理之前,检测所述埋点数据包是否属于预设格式的数据包;若是,则对获取的待测应用的埋点数据包进行实时处理。
13.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现权利要求1-6中任一所述的埋点数据处理方法。
14.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1-6中任一所述的埋点数据处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911011717.5A CN110727572A (zh) | 2019-10-23 | 2019-10-23 | 埋点数据处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911011717.5A CN110727572A (zh) | 2019-10-23 | 2019-10-23 | 埋点数据处理方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110727572A true CN110727572A (zh) | 2020-01-24 |
Family
ID=69221769
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911011717.5A Withdrawn CN110727572A (zh) | 2019-10-23 | 2019-10-23 | 埋点数据处理方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110727572A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111338933A (zh) * | 2020-02-07 | 2020-06-26 | 北京每日优鲜电子商务有限公司 | 埋点验证方法、装置、设备及存储介质 |
CN111506475A (zh) * | 2020-04-15 | 2020-08-07 | 北京字节跳动网络技术有限公司 | 数据处理方法、装置、系统、可读介质及电子设备 |
CN112559306A (zh) * | 2020-11-17 | 2021-03-26 | 贝壳技术有限公司 | 用户行为轨迹获取方法、装置与电子设备 |
CN113014623A (zh) * | 2021-02-05 | 2021-06-22 | 招联消费金融有限公司 | 埋点实时流数据处理方法、装置、计算机设备和存储介质 |
CN113420099A (zh) * | 2021-07-06 | 2021-09-21 | 广州方硅信息技术有限公司 | 埋点数据访问控制方法、装置以及计算机设备、存储介质 |
CN114221823A (zh) * | 2022-02-18 | 2022-03-22 | 中航信移动科技有限公司 | 一种信息处理方法、装置、电子设备及存储介质 |
CN114780434A (zh) * | 2022-05-13 | 2022-07-22 | 北京达佳互联信息技术有限公司 | 数据处理方法、装置、电子设备和计算机可读存储介质 |
-
2019
- 2019-10-23 CN CN201911011717.5A patent/CN110727572A/zh not_active Withdrawn
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111338933A (zh) * | 2020-02-07 | 2020-06-26 | 北京每日优鲜电子商务有限公司 | 埋点验证方法、装置、设备及存储介质 |
CN111506475A (zh) * | 2020-04-15 | 2020-08-07 | 北京字节跳动网络技术有限公司 | 数据处理方法、装置、系统、可读介质及电子设备 |
CN112559306A (zh) * | 2020-11-17 | 2021-03-26 | 贝壳技术有限公司 | 用户行为轨迹获取方法、装置与电子设备 |
CN112559306B (zh) * | 2020-11-17 | 2022-11-15 | 贝壳技术有限公司 | 用户行为轨迹获取方法、装置与电子设备 |
CN113014623A (zh) * | 2021-02-05 | 2021-06-22 | 招联消费金融有限公司 | 埋点实时流数据处理方法、装置、计算机设备和存储介质 |
CN113014623B (zh) * | 2021-02-05 | 2022-05-10 | 招联消费金融有限公司 | 埋点实时流数据处理方法、装置、计算机设备和存储介质 |
CN113420099A (zh) * | 2021-07-06 | 2021-09-21 | 广州方硅信息技术有限公司 | 埋点数据访问控制方法、装置以及计算机设备、存储介质 |
CN113420099B (zh) * | 2021-07-06 | 2022-11-04 | 广州方硅信息技术有限公司 | 埋点数据访问控制方法、装置以及计算机设备、存储介质 |
CN114221823A (zh) * | 2022-02-18 | 2022-03-22 | 中航信移动科技有限公司 | 一种信息处理方法、装置、电子设备及存储介质 |
CN114221823B (zh) * | 2022-02-18 | 2022-04-26 | 中航信移动科技有限公司 | 一种信息处理方法、装置、电子设备及存储介质 |
CN114780434A (zh) * | 2022-05-13 | 2022-07-22 | 北京达佳互联信息技术有限公司 | 数据处理方法、装置、电子设备和计算机可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110727572A (zh) | 埋点数据处理方法、装置、设备及存储介质 | |
CN107294808B (zh) | 接口测试的方法、装置和系统 | |
US8291388B2 (en) | System, method and program for executing a debugger | |
CN111338931B (zh) | 埋点测试方法、装置、设备及存储介质 | |
CN111796978B (zh) | 一种接口检测方法、装置、系统、设备及存储介质 | |
EP3365788A1 (en) | System and method for annotating client-server transactions | |
CN104579830A (zh) | 服务监控方法及装置 | |
CN105204986A (zh) | 产品的自动化测试方法、服务器及移动设备 | |
CN111654495B (zh) | 用于确定流量产生来源的方法、装置、设备及存储介质 | |
CN111198797A (zh) | 操作监控方法及装置、操作分析方法及装置 | |
CN111831542A (zh) | Api应用调测方法及装置、存储介质 | |
CN110083529B (zh) | 自动化测试方法、装置、介质和电子设备 | |
CN111784176A (zh) | 一种数据处理方法、装置、服务器及介质 | |
CN111651330B (zh) | 数据采集方法、装置、电子设备和计算机可读存储介质 | |
US9830215B1 (en) | Computing system error analysis based on system dump data | |
CN103595819A (zh) | 一种在线测试web系统业务可用性的方法 | |
CN114416555A (zh) | 一种页面性能的测试方法、装置、介质及设备 | |
KR20150038983A (ko) | 객체 추출 기반의 어플리케이션 검증 방법 및 그 장치 | |
CN114297211A (zh) | 一种数据在线分析系统、方法、设备及存储介质 | |
CN113190458A (zh) | 自动埋点数据分析的方法、装置、计算机设备和存储介质 | |
US9275358B1 (en) | System, method, and computer program for automatically creating and submitting defect information associated with defects identified during a software development lifecycle to a defect tracking system | |
CN113032341A (zh) | 一种基于可视化配置的日志处理方法 | |
CN113760696A (zh) | 一种程序问题定位方法、装置、电子设备和存储介质 | |
CN117938792A (zh) | 一种预警信息处理方法及装置 | |
CN107609008A (zh) | 一种基于Apache Sqoop的从关系型数据库到Kafka的数据导入装置及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20200124 |