CN112612674A - 监控埋点数据的方法、装置、设备和计算机可读存储介质 - Google Patents
监控埋点数据的方法、装置、设备和计算机可读存储介质 Download PDFInfo
- Publication number
- CN112612674A CN112612674A CN202011560136.XA CN202011560136A CN112612674A CN 112612674 A CN112612674 A CN 112612674A CN 202011560136 A CN202011560136 A CN 202011560136A CN 112612674 A CN112612674 A CN 112612674A
- Authority
- CN
- China
- Prior art keywords
- target
- buried point
- point data
- parameter item
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 210
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000005856 abnormality Effects 0.000 claims abstract description 26
- 230000002159 abnormal effect Effects 0.000 claims description 33
- 238000001514 detection method Methods 0.000 claims description 17
- 238000013075 data extraction Methods 0.000 claims description 16
- 230000015654 memory Effects 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 8
- 238000009933 burial Methods 0.000 claims 3
- 230000008569 process Effects 0.000 description 16
- 238000012545 processing Methods 0.000 description 16
- 238000012806 monitoring device Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 210000001072 colon Anatomy 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007493 shaping process Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3051—Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3089—Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
- G06F11/3093—Configuration details thereof, e.g. installation, enabling, spatial arrangement of the probes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本申请公开了一种监控埋点数据的方法、装置、设备和计算机可读存储介质，属于计算机技术领域。所述方法包括：确定待检测的目标埋点数据对应的目标业务类型；基于预先存储的业务类型与格式监控参数项的对应关系，确定所述目标业务类型对应的目标格式监控参数项；如果所述目标埋点数据中不存在所述目标格式监控参数项，则确定所述目标埋点数据存在格式异常。采用本申请，提供了埋点数据的更多监控方式，能够对更多的情况进行监控。
Description
技术领域
本申请涉及计算机技术领域，特别涉及一种监控埋点数据的方法、装置、设备和计算机可读存储介质。
背景技术
埋点监控技术是互联网领域一种非常常用的技术。埋点监控技术，需要在业务程序中插入数据采集代码，在执行业务的过程中，数据采集代码会采集相应的业务数据，作为埋点数据进行上报，监控设备会对埋点数据中指定参数项的参数值进行统计分析，后续可以进行统计数据显示、分析结果显示、超阈值报警等处理。
在实现本申请的过程中，发明人发现相关技术至少存在以下问题：
相关技术中仅仅是对埋点数据中指定参数项的统计数据进行监控，能够监控的情况比较局限。
发明内容
本申请实施例提供了一种监控埋点数据的方法、装置、设备和计算机可读存储介质，能够解决相关技术能够监控的情况比较局限的问题。所述技术方案如下：
第一方面，提供了一种监控埋点数据的方法，所述方法包括：
确定待检测的目标埋点数据对应的目标业务类型；
基于预先存储的业务类型与格式监控参数项的对应关系，确定所述目标业务类型对应的目标格式监控参数项；
如果所述目标埋点数据中不存在所述目标格式监控参数项，则确定所述目标埋点数据存在格式异常。
在一种可能的实现方式中，所述方法还包括：
确定所述目标埋点数据对应的目标业务接口；
所述基于预先存储的业务类型与格式监控参数项的对应关系，确定所述目标业务类型对应的目标格式监控参数项，包括：
基于预先存储的业务类型、业务接口与格式监控参数项的对应关系，确定所述目标业务类型和所述目标业务接口对应的目标格式监控参数项。
在一种可能的实现方式中，所述确定所述目标埋点数据存在格式异常之后，还包括：
确定所述目标业务接口对应的埋点数据的格式异常的统计数据，其中，所述统计数据为所述目标业务接口对应的存在格式异常的埋点数据的数目、或所述目标业务接口对应的存在格式异常的埋点数据的数目在所述目标业务接口对应的埋点数据的总数目中所占的比例；
显示所述统计数据。
在一种可能的实现方式中，所述显示所述统计数据之前，还包括：
确定所述统计数据达到展示阈值；或者，
接收到所述目标业务接口对应的格式异常展示指令；或者，
确定当前的统计数据相对于前一次的统计数据发生变化。
在一种可能的实现方式中，所述方法还包括：
基于预先存储的业务类型、业务接口、类型监控参数项与基准数据类型的对应关系，确定所述目标业务类型和所述目标业务接口对应的目标类型监控参数项和目标基准数据类型；
如果所述目标埋点数据中目标类型监控参数项的参数值的数据类型不是所述目标基准数据类型，则确定所述目标埋点数据的所述目标类型监控参数项存在类型异常。
在一种可能的实现方式中，所述方法还包括：
基于预先存储的业务类型、业务接口、量级监控参数项和量级阈值的对应关系，确定所述目标业务类型和所述目标业务接口对应的目标量级监控参数项和目标量级阈值；
如果所述目标埋点数据中存在所述目标量级监控参数项，则对所述目标量级监控参数项对应的量级加1，如果所述量级加1后超过目标量级阈值，则确定所述目标埋点数据的所述目标量级监控参数项存在量级异常。
在一种可能的实现方式中，所述如果所述目标埋点数据中不存在所述目标格式监控参数项，则确定所述目标埋点数据存在格式异常，包括：
将所述目标格式监控参数项的名称标识，添加到预先存储的数据提取代码框架中，生成数据提取代码；
基于所述数据提取代码，在所述目标埋点数据中提取所述目标格式监控参数项对应的参数值，如果提取失败，则确定所述目标埋点数据存在格式异常。
第二方面，提供了一种监控埋点数据的装置，所述装置包括：
类型确定模块，用于确定待检测的目标埋点数据对应的目标业务类型；
参数项确定模块，用于基于预先存储的业务类型与格式监控参数项的对应关系，确定所述目标业务类型对应的目标格式监控参数项；
异常检测模块，用于如果所述目标埋点数据中不存在所述目标格式监控参数项，则确定所述目标埋点数据存在格式异常。
在一种可能的实现方式中，所述装置还包括：
接口确定模块，用于确定所述目标埋点数据对应的目标业务接口；
所述参数项确定模块，用于：
基于预先存储的业务类型、业务接口与格式监控参数项的对应关系，确定所述目标业务类型和所述目标业务接口对应的目标格式监控参数项。
在一种可能的实现方式中，所述装置还包括显示模块，用于：
确定所述目标业务接口对应的埋点数据的格式异常的统计数据，其中，所述统计数据为所述目标业务接口对应的存在格式异常的埋点数据的数目、或所述目标业务接口对应的存在格式异常的埋点数据的数目在所述目标业务接口对应的埋点数据的总数目中所占的比例；
显示所述统计数据。
在一种可能的实现方式中，所述显示模块，在显示所述统计数据之前，还用于：
确定所述统计数据达到展示阈值；或者，
接收到所述目标业务接口对应的格式异常展示指令；或者，
确定当前的统计数据相对于前一次的统计数据发生变化。
在一种可能的实现方式中，所述参数项确定模块，还用于基于预先存储的业务类型、业务接口、类型监控参数项与基准数据类型的对应关系，确定所述目标业务类型和所述目标业务接口对应的目标类型监控参数项和目标基准数据类型；
所述异常检测模块，还用于如果所述目标埋点数据中目标类型监控参数项的参数值的数据类型不是所述目标基准数据类型，则确定所述目标埋点数据的所述目标类型监控参数项存在类型异常。
在一种可能的实现方式中，所述参数项确定模块，还用于基于预先存储的业务类型、业务接口、量级监控参数项和量级阈值的对应关系，确定所述目标业务类型和所述目标业务接口对应的目标量级监控参数项和目标量级阈值；
所述异常检测模块，还用于如果所述目标埋点数据中存在所述目标量级监控参数项，则对所述目标量级监控参数项对应的量级加1，如果所述量级加1后超过目标量级阈值，则确定所述目标埋点数据的所述目标量级监控参数项存在量级异常。
在一种可能的实现方式中，所述异常检测模块，用于：
将所述目标格式监控参数项的名称标识，添加到预先存储的数据提取代码框架中，生成数据提取代码；
基于所述数据提取代码，在所述目标埋点数据中提取所述目标格式监控参数项对应的参数值，如果提取失败，则确定所述目标埋点数据存在格式异常。
第三方面，提供一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如第一方面所述的监控埋点数据的方法所执行的操作。
第四方面，提供一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现如第一方面所述的监控埋点数据的方法所执行的操作。
本申请实施例提供的技术方案带来的有益效果是：
本申请实施例中，基于目标埋点数据的目标业务类型确定目标格式监控参数项，进一步检测目标埋点数据中如果不存在目标格式监控参数项，则确定目标埋点数据存在格式异常。从而，可以实现对埋点数据的格式监控，这样，提供了埋点数据的更多监控方式，能够对更多的情况进行监控。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的实施环境的示意图；
图2是本申请实施例提供的监控埋点数据的方法流程图；
图3是本申请实施例提供的监控埋点数据的方法流程图；
图4是本申请实施例提供的监控埋点数据的装置结构示意图；
图5是本申请实施例提供的服务器的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
图1是本申请实施例提供的一种实施环境的示意图。参见图1，本申请提供的监控埋点数据的方法可以由埋点数据监控系统来实现，埋点数据监控系统可以包括业务设备、消息队列中间件和监控设备。其中，业务设备是在业务过程中产生埋点数据的设备，可以是用户终端也可以是业务服务器，业务设备可以是独立的实体设备，也可以是虚拟机，即多个业务设备以虚拟机的形式搭建在一个实体设备上。消息队列中间件是用来存储埋点数据的设备，业务设备生成埋点数据后会将埋点数据上报给消息队列中间件。监控设备是对埋点数据进行监控的设备，可以是单独的服务器或是由多台服务器组成的服务器组。
监控设备可以包括处理器、存储器和通信部件。处理器可以是CPU(CentralProcessing Unit，中央处理器)，处理器可以用于执行在对埋点数据进行监控的过程中的相关处理。存储器可以是磁盘和固态存储器等，存储器可以用于存储在对埋点数据执行监控的过程中需要的使用数据、产生的中间数据和生成的结果数据，例如，埋点数据、监控逻辑的执行代码、监控的结果数据，等等。通信部件可以是网口、天线等，通信部件可以用于监控设备与其他设备的数据传输，例如，通信部件可以用于连接消息队列中间件，可以用于连接显示输出设备(可以是技术人员使用的某终端设备)。
图2是本申请实施例提供的一种监控埋点数据的方法的流程图。参见图2，该实施例包括：
步骤201，确定待检测的目标埋点数据对应的目标业务类型(也可称作服务类型)。
其中，埋点数据是业务程序中插入的数据采集代码在业务执行过程中采集的需要监控的业务数据。目标埋点数据是大量埋点数据中的一个。业务类型可以是需要监控的业务的类型，例如，对于某个综合购物类平台来说，业务类型可以包括外卖业务类型、电影业务类型、机票业务类型、买菜业务类型等等。每个被监控的业务类型都会产生大量的埋点数据，目标业务类型是目标埋点数据所属的业务类型。
在实施中，某个综合购物类平台中包含了大量的业务类型，技术人员可以预先确定需要监控的业务类型进行。然后在相应的业务代码中插入数据采集代码。其中，业务代码可以属于服务端代码或客户端代码，也即，基于不同的监控需求，埋点数据的采集可以在业务服务器中进行也可以在用户终端中进行。在业务代码执行的过程中，数据采集代码会被触发执行，对相应的业务数据进行采集。
列举一些数据采集的场景：在业务服务器执行某业务时，可以对业务服务器中不同功能模块之间传输的业务数据进行采集，也可以对业务服务器向用户终端发送的业务数据进行采集，不同的业务服务器之间传输的业务数据进行采集。在用户终端执行业务时，可以对用户终端中不同功能模块之间传输的业务数据进行采集，也可以对用户终端向业务服务器发送的业务数据进行采集。例如，用户终端向业务服务器发送订单请求的时候，用户终端可以采集订单请求中的账户标识、订单金额、商品标识、商户标识等业务数据。又例如，业务服务器向用户终端推送活动通知时，业务服务器可以采集活动通知中的活动标识、减价金额等业务数据。
在一次业务过程中采集的业务数据可以作为一个埋点数据，一个埋点数据中可以包括多个key-value(键值对)，键值对中的key即为参数项，如用户年龄，value即为参数值，如25岁。业务设备可以将埋点数据异步地发送给消息队列中间件进行存储。消息对列中间件在存储埋点数据时，会对应的存储每个埋点数据的业务类型，可以直接存储业务类型的标识，也可以存储其它能够与业务类型唯一对应的信息来间接反映业务类型，例如，存储数据源的地址信息，数据源可以是发送该埋点数据的业务设备，该地址信息与业务类型唯一对应。
监控设备可以向消息队列中间件获取存储的埋点数据，同时可以获取埋点数据对应的业务类型。监控设备可以逐个获取埋点数据和对应的业务类型，进行格式异常检测，也可以并行的对多个埋点数据同时进行格式异常检测，每个埋点数据进行格式异常检测的处理相同。
另外，还可以设置一定的监控时机，例如，监控设备可以周期性获取埋点数据，然后进行本实施例的监控处理。
步骤202，基于预先存储的业务类型与格式监控参数项的对应关系，确定目标业务类型对应的目标格式监控参数项。
其中，格式监控参数项是在埋点数据中不应该缺失的参数项，如果缺失则说明业务处理过程出现了一些问题。
在实施中，技术人员可以基于监控需求，对不同的业务类型设置需要监控的不能缺失的一个或多个参数项，即格式监控参数项，建立业务类型与格式监控参数项的对应关系表。在确定目标埋点数据所属的目标业务类型之后，可以查表确定目标业务类型对应的目标格式监控参数项。
步骤203，如果目标埋点数据中不存在目标格式监控参数项，则确定目标埋点数据存在格式异常。
在实施中，可以对目标埋点数据进行解析，确定其中是否包括目标格式监控参数项及相应的参数值，如果包括，则说明目标埋点数据格式正常，如果不包括，则说明目标埋点数据缺少监控的参数项，存在格式异常。
在判断目标埋点数据中是否包括目标格式监控参数项时，可以将目标格式监控参数项的名称标识，添加到预先存储的数据提取代码框架中，生成数据提取代码，基于数据提取代码，在目标埋点数据中提取目标格式监控参数项对应的参数值，如果提取失败，则确定目标埋点数据存在格式异常。埋点数据一般为JSON(JavaScript Object Notation,JavaScript对象简谱)结构，可以用JSON结构的解析工具进行上述处理，如JODEL(一种JSON结构解析工具的名称)工具。埋点数据是一个JSON结构的字符串，对JODEL设置好需要提取的参数项，然后将埋点数据输入JODEL，JODEL则会在埋点数据中提取该参数项对应的参数值，如果提取成功则输出该参数值，如果提取失败则输出失败指示信息。
在确定目标埋点数据存在格式异常之后，可以对更新格式异常的统计数据，对更新后的统计数据进行显示，或者，也可以在统计数据满足一定的条件时对统计数据进行显示。另外还可以对格式异常的目标埋点数据的具体内容进行显示，可以在检测到格式异常后直接显示目标埋点数据的具体内容，也可以在提示统计数据后，显示存在格式异常的埋点数据的选项，由技术人员点击选项触发显示埋点数据的具体内容。在显示存在格式异常的目标埋点数据的具体内容时，还可以显示其中缺失的参数项的名称。
本申请实施例中，在每个业务类型中还可以包括大量的业务接口(也可称作服务接口)，这样，在确定格式监控参数项的时候还要考虑业务接口，相应的监控埋点数据的方法的流程图可以如图3所示，该实施例包括：
步骤301，确定待检测的目标埋点数据对应的目标业务类型和目标业务接口。
其中，业务类型可以认为是大的业务分类，业务接口可以认为是小的业务分类，或者可以说是业务类型下的细分的各个业务处理。例如，外卖业务类型可以包括购物车业务接口、订单查询业务接口、支付业务接口等，电影业务类型可以包括影院选择业务接口、影片选择业务接口、选座业务接口等。目标业务接口是目标埋点数据所属的业务接口，目标业务类型是目标业务接口所属的业务类型。
在实施中，某个综合购物类平台中包含了大量的业务类型，技术人员可以预先确定需要监控的业务类型和业务接口进行。然后在相应业务接口的业务代码中插入数据采集代码。其中，业务代码可以是服务端代码或客户端代码，也即，基于不同的监控需求，埋点数据的采集可以在业务服务器中进行也可以在用户终端中进行。在业务代码执行的过程中，数据采集代码会被触发执行，对相应的业务接口的业务数据进行采集。数据采集的场景可以参见上面的实施例内容，此处不再赘述。
在一次业务过程中采集的业务数据可以作为一个埋点数据。业务设备可以将埋点数据发送给消息队列中间件进行存储。消息对列在存储埋点数据时，会对应的存储每个埋点数据的业务类型和业务接口。对于业务类型，可以直接存储业务类型的标识，也可以存储其它能够与业务类型唯一对应的信息来间接反映业务类型，例如，存储数据源的地址信息，数据源可以是发送该埋点数据的业务设备，该地址信息与业务类型唯一对应，也就是说每个业务设备处理一个业务类型的业务，相应的某业务类型下的业务接口的处理都可以由该业务类型对应的业务设备执行。对于业务接口，可以直接存储业务接口的标识。
监控设备可以向消息队列中间件获取存储的埋点数据，同时可以获取埋点数据对应的业务类型和业务接口。监控设备可以逐个获取埋点数据和对应的业务类型、业务接口，进行格式异常检测，也可以并行的对多个埋点数据同时进行格式异常检测，每个埋点数据进行格式异常检测的处理相同。
另外，还可以设置一定的监控时机，例如，监控设备可以周期性获取埋点数据，然后进行本实施例的监控处理。
步骤302，基于预先存储的业务类型、业务接口与格式监控参数项的对应关系，确定目标业务类型和目标业务接口对应的目标格式监控参数项。
其中，格式监控参数项是在执行业务接口的过程中采集的埋点数据中不应该缺失的参数项，如果缺失则说明业务处理过程出现了一些问题。
在实施中，技术人员可以基于监控需求，对不同业务类型的不同业务接口设置需要监控的不能缺失的一个或多个参数项，即格式监控参数项，建立业务类型、业务接口与格式监控参数项的对应关系表，如表1所示。
表1
| 业务类型 | 业务接口 | 格式监控参数项 |
| 外卖业务类型 | 物车业务接口 | 参数项A、参数项B |
| 外卖业务类型 | 订单查询业务接口 | 参数项C、参数项D |
| 电影业务类型 | 选座业务接口 | 参数项E、参数项F |
| …… | …… | …… |
在确定目标埋点数据所属的目标业务类型和目标业务接口之后，可以查表确定目标业务类型和目标业务接口对应的目标格式监控参数项。
步骤303，如果目标埋点数据中不存在目标格式监控参数项，则确定目标埋点数据存在格式异常。
该步骤的具体处理与步骤203相同，可以参见上面的实施例内容，此处不再赘述。
下面对格式异常的统计和呈现的过程进行说明。
在确定目标埋点数据存在格式异常之后，可以确定目标业务接口对应的埋点数据的格式异常的统计数据。显示统计数据。
其中，统计数据可以为目标业务接口对应的存在格式异常的埋点数据的数目、或目标业务接口对应的存在格式异常的埋点数据的数目在目标业务接口对应的埋点数据的总数目中所占的比例。
在实施中，监控设备可以对各个业务接口的埋点数据的格式异常的情况进行统计，可以统计格式异常的埋点数据的数目，也可以统计格式异常的埋点数据在该业务接口的所有埋点数据中所占的比例。在经过步骤303确定目标埋点数据存在格式异常后，可知，目标埋点数据所属的目标业务接口的格式异常的埋点数据的数目需要加1，上述的比例也会发生相应的更新，分子和分母都需要加1。这样就得到了目标业务接口的格式异常的更新的统计数据，可以对之前的统计数据进行替换。此时还可以对更新的统计数据进行显示，如果监控设备上配置有显示器，则可以通过监控设备的显示器进行显示，如果监控设备没有配置显示器，也可以将统计数据发送至指定的终端进行显示。
可选的，可以对显示统计数据的触发条件进行一定的设置，以下给出几种可选的触发条件：
条件一，确定统计数据达到展示阈值。例如，上述的目标业务接口的格式异常的埋点数据的数目达到数目阈值，或者，目标业务接口对应的存在格式异常的埋点数据的数目在目标业务接口对应的埋点数据的总数目中所占的比例达到比例阈值。
条件二，接收到目标业务接口对应的格式异常展示指令。技术人员可以在监控设备输入格式异常展示指令，或者通过终端向监控设备发送格式异常展示指令。
条件三，确定当前的统计数据相对于前一次的统计数据发生变化。监控设备可以随时监控每个业务接口对应的埋点数据的格式异常的统计数据是否发生更新，当目标业务接口对应的统计数据发生更新时，则对相应的统计数据进行显示。
另外，还可以显示各业务接口对应的格式异常列表，其中包括相应业务接口对应的每个存在格式异常的埋点数据的选项。确定目标埋点数据存在格式异常之后，可以在目标业务接口对应的格式异常列表中，添加目标埋点数据的选项。技术人员点击任一埋点数据的选项，可以触发显示相应埋点数据的具体内容，还可以显示其中缺失的参数项的名称。
本申请实施例还提供了对类型异常进行监控的方法，相应的处理可以如下：
基于预先存储的业务类型、业务接口、类型监控参数项与基准数据类型的对应关系，确定目标业务类型和目标业务接口对应的目标类型监控参数项和目标基准数据类型；如果目标埋点数据中目标类型监控参数项的参数值的数据类型不是目标基准数据类型，则确定目标埋点数据的目标类型监控参数项存在类型异常。
其中，类型监控参数项是需要进行类型异常监控的参数项，如果该参数项对应的数据类型与基准数据类型不符，则说明相应的业务处理过程出现了一些问题。基准数据类型是类型监控参数项中的参数值的正确数据类型。
在实施中，技术人员可以基于监控需求，对不同业务类型的不同业务接口设置需要监控的不能出现参数值数据类型错误的一个或多个参数项，即类型监控参数项，建立业务类型、业务接口、类型监控参数项与基准数据类型的对应关系表，如表2所示。
表2
| 业务类型 | 业务接口 | 类型监控参数项 | 基准数据类型 |
| 外卖业务类型 | 物车业务接口 | 参数项H | 整型 |
| 外卖业务类型 | 订单查询业务接口 | 参数项I | 整型 |
| 电影业务类型 | 选座业务接口 | 参数项J | 浮点型 |
| …… | …… | …… | …… |
在确定目标埋点数据所属的目标业务类型和目标业务接口之后，可以查表确定目标业务类型和目标业务接口对应的目标类型监控参数项和目标基准数据类型。然后，可以通过JODEL等工具，在目标埋点数据中提取目标类型监控参数项的参数值，并检测该参数值的数据类型，如果该数据类型与目标基准数据类型相同，则确定目标埋点数据的目标类型监控参数项不存在类型异常，如果该数据类型与目标基准数据类型不同，则确定目标埋点数据的目标类型监控参数项存在类型异常。
本申请实施例还提供了对量级异常进行监控的方法，相应的处理可以如下：
基于预先存储的业务类型、业务接口、量级监控参数项和量级阈值的对应关系，确定目标业务类型和目标业务接口对应的目标量级监控参数项和目标量级阈值；如果目标埋点数据中存在目标量级监控参数项，则对目标量级监控参数项对应的量级加1，如果量级加1后超过目标量级阈值，则确定目标埋点数据的目标量级监控参数项存在量级异常。
其中，参数项的量级是该参数项在所属业务接口的埋点数据中出现的次数。量级监控参数项是需要进行量级异常监控的参数项，如果相应的业务接口的大量埋点数据中该参数项在埋点数据中出现的次数大于量级阈值，则说明相应的业务处理出现了一些问题。量级阈值是量级监控参数项的量级不应超过的数值。
在实施中，技术人员可以基于监控需求，对不同业务类型的不同业务接口设置需要监控的量级不能超过量级阈值的一个或多个参数项，即量级监控参数项，建立业务类型、业务接口、量级监控参数项与量级阈值的对应关系表，如表3所示。
表3
| 业务类型 | 业务接口 | 量级监控参数项 | 量级阈值 |
| 外卖业务类型 | 物车业务接口 | 参数项M | 量级阈值1 |
| 外卖业务类型 | 订单查询业务接口 | 参数项N | 量级阈值2 |
| 电影业务类型 | 选座业务接口 | 参数项O | 量级阈值3 |
| …… | …… | …… | …… |
在确定目标埋点数据所属的目标业务类型和目标业务接口之后，可以查表确定目标业务类型和目标业务接口对应的量级监控参数项和量级阈值。然后，可以通过JODEL等工具，在目标埋点数据中提取目标量级监控参数项的参数值，如果提取成功，则可以确定目标埋点数据中存在目标量级监控参数项，则对目标量级监控参数项对应的量级加1得到更新后的量级，将更新后的量级与目标量级阈值比较，如果大于目标量级阈值，则确定目标埋点数据的目标量级监控参数项存在量级异常，如果小于或等于目标量级阈值，则确定目标埋点数据的目标量级监控参数项不存在量级异常。
上述的JODEL工具用于在JSON结构的埋点数据中进行数据提取，下面对其使用过程进行简单说明。下面列举一个简单的JSON结构的埋点数据：
其中，冒号前引号中的英文均为参数项的名称，冒号后的内容则为对应的参数值。
参见下面表4，列举了对上述JSON结构的埋点数据中一些参数项的参数值进行监控的具体信息。表达式是需要向JODEL输入的用于反映需要监控的参数项的表达式，格式可以为“$.参数项的名称”。第三列是监控的参数项所属的业务接口的标识。监控策略中列出了需要统计和监控的数据，count_distinct为参数值去重后的数量，conut为量级。
表4
将埋点数据和表达式输入到JODEL工具中，即可以输出在该埋点数中该表达式所对应的参数项的参数值。
上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。
本申请实施例中，基于目标埋点数据的目标业务类型确定目标格式监控参数项，进一步检测目标埋点数据中如果不存在目标格式监控参数项，则确定目标埋点数据存在格式异常。从而，可以实现对埋点数据的格式监控，这样，提供了埋点数据的更多监控方式，能够对更多的情况进行监控。
本申请实施例提供了一种监控埋点数据的装置，该装置可以是上述实施例中的监控设备，如图4所示，所述装置包括：
类型确定模块410，用于确定待检测的目标埋点数据对应的目标业务类型；
参数项确定模块420，用于基于预先存储的业务类型与格式监控参数项的对应关系，确定所述目标业务类型对应的目标格式监控参数项；
异常检测模块430，用于如果所述目标埋点数据中不存在所述目标格式监控参数项，则确定所述目标埋点数据存在格式异常。
在一种可能的实现方式中，所述装置还包括：
接口确定模块，用于确定所述目标埋点数据对应的目标业务接口；
所述参数项确定模块420，用于：
基于预先存储的业务类型、业务接口与格式监控参数项的对应关系，确定所述目标业务类型和所述目标业务接口对应的目标格式监控参数项。
在一种可能的实现方式中，所述装置还包括显示模块，用于：
确定所述目标业务接口对应的埋点数据的格式异常的统计数据，其中，所述统计数据为所述目标业务接口对应的存在格式异常的埋点数据的数目、或所述目标业务接口对应的存在格式异常的埋点数据的数目在所述目标业务接口对应的埋点数据的总数目中所占的比例；
显示所述统计数据。
在一种可能的实现方式中，所述显示模块，在显示所述统计数据之前，还用于：
确定所述统计数据达到展示阈值；或者，
接收到所述目标业务接口对应的格式异常展示指令；或者，
确定当前的统计数据相对于前一次的统计数据发生变化。
在一种可能的实现方式中，所述参数项确定模块420，还用于基于预先存储的业务类型、业务接口、类型监控参数项与基准数据类型的对应关系，确定所述目标业务类型和所述目标业务接口对应的目标类型监控参数项和目标基准数据类型；
所述异常检测模块430，还用于如果所述目标埋点数据中目标类型监控参数项的参数值的数据类型不是所述目标基准数据类型，则确定所述目标埋点数据的所述目标类型监控参数项存在类型异常。
在一种可能的实现方式中，所述参数项确定模块420，还用于基于预先存储的业务类型、业务接口、量级监控参数项和量级阈值的对应关系，确定所述目标业务类型和所述目标业务接口对应的目标量级监控参数项和目标量级阈值；
所述异常检测模块430，还用于如果所述目标埋点数据中存在所述目标量级监控参数项，则对所述目标量级监控参数项对应的量级加1，如果所述量级加1后超过目标量级阈值，则确定所述目标埋点数据的所述目标量级监控参数项存在量级异常。
在一种可能的实现方式中，所述异常检测模块430，用于：
将所述目标格式监控参数项的名称标识，添加到预先存储的数据提取代码框架中，生成数据提取代码；
基于所述数据提取代码，在所述目标埋点数据中提取所述目标格式监控参数项对应的参数值，如果提取失败，则确定所述目标埋点数据存在格式异常。
本申请实施例中，基于目标埋点数据的目标业务类型确定目标格式监控参数项，进一步检测目标埋点数据中如果不存在目标格式监控参数项，则确定目标埋点数据存在格式异常。从而，可以实现对埋点数据的格式监控，这样，提供了埋点数据的更多监控方式，能够对更多的情况进行监控。
需要说明的是：上述实施例提供的监控埋点数据的装置在监控埋点数据时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的监控埋点数据的装置与监控埋点数据的方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图5是本申请实施例提供的一种服务器的结构示意图，该服务器500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processingunits，CPU)501和一个或一个以上的存储器502，其中，所述存储器502中存储有至少一条指令，所述至少一条指令由所述处理器501加载并执行以实现上述各个方法实施例提供的方法。当然，该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器还可以包括其他用于实现设备功能的部件，在此不做赘述。
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由终端中的处理器执行以完成上述实施例中监控埋点数据的方法。该计算机可读存储介质可以是非暂态的。例如，所述计算机可读存储介质可以是ROM(Read-OnlyMemory，只读存储器)、RAM(Random Access Memory，随机存取存储器)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (15)
1.一种监控埋点数据的方法，其特征在于，所述方法包括：
确定待检测的目标埋点数据对应的目标业务类型；
基于预先存储的业务类型与格式监控参数项的对应关系，确定所述目标业务类型对应的目标格式监控参数项；
如果所述目标埋点数据中不存在所述目标格式监控参数项，则确定所述目标埋点数据存在格式异常。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
确定所述目标埋点数据对应的目标业务接口；
所述基于预先存储的业务类型与格式监控参数项的对应关系，确定所述目标业务类型对应的目标格式监控参数项，包括：
基于预先存储的业务类型、业务接口与格式监控参数项的对应关系，确定所述目标业务类型和所述目标业务接口对应的目标格式监控参数项。
3.根据权利要求2所述的方法，其特征在于，所述确定所述目标埋点数据存在格式异常之后，还包括：
确定所述目标业务接口对应的埋点数据的格式异常的统计数据，其中，所述统计数据为所述目标业务接口对应的存在格式异常的埋点数据的数目、或所述目标业务接口对应的存在格式异常的埋点数据的数目在所述目标业务接口对应的埋点数据的总数目中所占的比例；
显示所述统计数据。
4.根据权利要求3所述的方法，其特征在于，所述显示所述统计数据之前，还包括：
确定所述统计数据达到展示阈值；或者，
接收到所述目标业务接口对应的格式异常展示指令；或者，
确定当前的统计数据相对于前一次的统计数据发生变化。
5.根据权利要求2所述的方法，其特征在于，所述方法还包括：
基于预先存储的业务类型、业务接口、类型监控参数项与基准数据类型的对应关系，确定所述目标业务类型和所述目标业务接口对应的目标类型监控参数项和目标基准数据类型；
如果所述目标埋点数据中目标类型监控参数项的参数值的数据类型不是所述目标基准数据类型，则确定所述目标埋点数据的所述目标类型监控参数项存在类型异常。
6.根据权利要求2所述的方法，其特征在于，所述方法还包括：
基于预先存储的业务类型、业务接口、量级监控参数项和量级阈值的对应关系，确定所述目标业务类型和所述目标业务接口对应的目标量级监控参数项和目标量级阈值；
如果所述目标埋点数据中存在所述目标量级监控参数项，则对所述目标量级监控参数项对应的量级加1，如果所述量级加1后超过目标量级阈值，则确定所述目标埋点数据的所述目标量级监控参数项存在量级异常。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述如果所述目标埋点数据中不存在所述目标格式监控参数项，则确定所述目标埋点数据存在格式异常，包括：
将所述目标格式监控参数项的名称标识，添加到预先存储的数据提取代码框架中，生成数据提取代码；
基于所述数据提取代码，在所述目标埋点数据中提取所述目标格式监控参数项对应的参数值，如果提取失败，则确定所述目标埋点数据存在格式异常。
8.一种监控埋点数据的装置，其特征在于，所述装置包括：
类型确定模块，用于确定待检测的目标埋点数据对应的目标业务类型；
参数项确定模块，用于基于预先存储的业务类型与格式监控参数项的对应关系，确定所述目标业务类型对应的目标格式监控参数项；
异常检测模块，用于如果所述目标埋点数据中不存在所述目标格式监控参数项，则确定所述目标埋点数据存在格式异常。
9.根据权利要求8所述的装置，其特征在于，所述装置还包括：
接口确定模块，用于确定所述目标埋点数据对应的目标业务接口；
所述参数项确定模块，用于：
基于预先存储的业务类型、业务接口与格式监控参数项的对应关系，确定所述目标业务类型和所述目标业务接口对应的目标格式监控参数项。
10.根据权利要求9所述的装置，其特征在于，所述装置还包括显示模块，用于：
确定所述目标业务接口对应的埋点数据的格式异常的统计数据，其中，所述统计数据为所述目标业务接口对应的存在格式异常的埋点数据的数目、或所述目标业务接口对应的存在格式异常的埋点数据的数目在所述目标业务接口对应的埋点数据的总数目中所占的比例；
显示所述统计数据。
11.根据权利要求10所述的装置，其特征在于，所述显示模块，在显示所述统计数据之前，还用于：
确定所述统计数据达到展示阈值；或者，
接收到所述目标业务接口对应的格式异常展示指令；或者，
确定当前的统计数据相对于前一次的统计数据发生变化。
12.根据权利要求9所述的装置，其特征在于，所述参数项确定模块，还用于基于预先存储的业务类型、业务接口、类型监控参数项与基准数据类型的对应关系，确定所述目标业务类型和所述目标业务接口对应的目标类型监控参数项和目标基准数据类型；
所述异常检测模块，还用于如果所述目标埋点数据中目标类型监控参数项的参数值的数据类型不是所述目标基准数据类型，则确定所述目标埋点数据的所述目标类型监控参数项存在类型异常。
13.根据权利要求9所述的装置，其特征在于，所述参数项确定模块，还用于基于预先存储的业务类型、业务接口、量级监控参数项和量级阈值的对应关系，确定所述目标业务类型和所述目标业务接口对应的目标量级监控参数项和目标量级阈值；
所述异常检测模块，还用于如果所述目标埋点数据中存在所述目标量级监控参数项，则对所述目标量级监控参数项对应的量级加1，如果所述量级加1后超过目标量级阈值，则确定所述目标埋点数据的所述目标量级监控参数项存在量级异常。
14.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如权利要求1至权利要求7任一项所述的监控埋点数据的方法所执行的操作。
15.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现如权利要求1至权利要求7任一项所述的监控埋点数据的方法所执行的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011560136.XA CN112612674A (zh) | 2020-12-25 | 2020-12-25 | 监控埋点数据的方法、装置、设备和计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011560136.XA CN112612674A (zh) | 2020-12-25 | 2020-12-25 | 监控埋点数据的方法、装置、设备和计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112612674A true CN112612674A (zh) | 2021-04-06 |
Family
ID=75245035
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011560136.XA Withdrawn CN112612674A (zh) | 2020-12-25 | 2020-12-25 | 监控埋点数据的方法、装置、设备和计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112612674A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113434498A (zh) * | 2021-05-14 | 2021-09-24 | 国网河北省电力有限公司衡水供电分公司 | 电力系统数据库数据异常监测方法、装置及电子设备 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008040219A1 (fr) * | 2006-09-12 | 2008-04-10 | Huawei Technologies Co., Ltd. | Procédé, appareil et système de configuration de seuils de paramètre de lien |
| CN107846321A (zh) * | 2016-09-19 | 2018-03-27 | 阿里巴巴集团控股有限公司 | 一种接口的监控方法、装置及电子设备 |
| CN109617829A (zh) * | 2018-11-01 | 2019-04-12 | 阿里巴巴集团控股有限公司 | 一种业务请求数据的处理方法、装置及系统 |
| CN110245049A (zh) * | 2019-06-06 | 2019-09-17 | 深圳前海微众银行股份有限公司 | 产品配置数据的监控方法、装置、设备及存储介质 |
| CN111338933A (zh) * | 2020-02-07 | 2020-06-26 | 北京每日优鲜电子商务有限公司 | 埋点验证方法、装置、设备及存储介质 |
| CN111352828A (zh) * | 2018-12-20 | 2020-06-30 | 顺丰科技有限公司 | 一种用于黑盒测试的自动测试方法及系统 |
| CN111597254A (zh) * | 2020-04-14 | 2020-08-28 | 口碑(上海)信息技术有限公司 | 资源数据的共享方法、装置及设备 |
-
2020
- 2020-12-25 CN CN202011560136.XA patent/CN112612674A/zh not_active Withdrawn
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008040219A1 (fr) * | 2006-09-12 | 2008-04-10 | Huawei Technologies Co., Ltd. | Procédé, appareil et système de configuration de seuils de paramètre de lien |
| CN107846321A (zh) * | 2016-09-19 | 2018-03-27 | 阿里巴巴集团控股有限公司 | 一种接口的监控方法、装置及电子设备 |
| CN109617829A (zh) * | 2018-11-01 | 2019-04-12 | 阿里巴巴集团控股有限公司 | 一种业务请求数据的处理方法、装置及系统 |
| CN111352828A (zh) * | 2018-12-20 | 2020-06-30 | 顺丰科技有限公司 | 一种用于黑盒测试的自动测试方法及系统 |
| CN110245049A (zh) * | 2019-06-06 | 2019-09-17 | 深圳前海微众银行股份有限公司 | 产品配置数据的监控方法、装置、设备及存储介质 |
| CN111338933A (zh) * | 2020-02-07 | 2020-06-26 | 北京每日优鲜电子商务有限公司 | 埋点验证方法、装置、设备及存储介质 |
| CN111597254A (zh) * | 2020-04-14 | 2020-08-28 | 口碑(上海)信息技术有限公司 | 资源数据的共享方法、装置及设备 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113434498A (zh) * | 2021-05-14 | 2021-09-24 | 国网河北省电力有限公司衡水供电分公司 | 电力系统数据库数据异常监测方法、装置及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9917744B2 (en) | Method and system for monitoring quality of data transmission in IDC network | |
| US11418534B2 (en) | Threat analysis system and threat analysis method | |
| CN112380473B (zh) | 数据采集与同步方法、装置、设备及存储介质 | |
| CN114500690B (zh) | 接口数据处理方法、装置、电子设备及存储介质 | |
| CN110188159B (zh) | 征信数据接入方法、装置、设备及计算机可读存储介质 | |
| CN111858658B (zh) | 数据采集方法、装置、设备及存储介质 | |
| CN113076729A (zh) | 用于报表导入的方法及系统、可读存储介质及电子设备 | |
| CN112052364A (zh) | 敏感信息检测方法、装置、设备与计算机可读存储介质 | |
| CN110046086B (zh) | 用于测试的期望数据生成方法及装置和电子设备 | |
| CN112612674A (zh) | 监控埋点数据的方法、装置、设备和计算机可读存储介质 | |
| US11822578B2 (en) | Matching machine generated data entries to pattern clusters | |
| US11971813B2 (en) | Data driven testing automation using machine learning | |
| CN112612679A (zh) | 系统运行状态监控方法、装置、计算机设备和存储介质 | |
| CN111835566A (zh) | 一种系统故障管理方法、装置及系统 | |
| CN111597355A (zh) | 一种信息处理方法及装置 | |
| CN112052262A (zh) | 支付订单处理线路展示的方法、装置和电子设备 | |
| CN116340172A (zh) | 基于测试场景的数据收集方法、装置及测试用例检测方法 | |
| US9619443B2 (en) | Enhanced messaging transaction performance with auto-selected dual-tag fields | |
| CN112214497A (zh) | 一种标签的处理方法、装置及计算机系统 | |
| CN115168509A (zh) | 风控数据的处理方法及装置、存储介质、计算机设备 | |
| CN112307088A (zh) | 流程节点状态查询方法、装置、设备及存储介质 | |
| US8538995B2 (en) | Device and method for automatically detecting an unclear description | |
| CN112948328A (zh) | 一种日志数据的检索方法及装置、设备、介质 | |
| CN112364121A (zh) | 问卷pdf的自动创建方法、装置、存储介质及计算机设备 | |
| CN117171816B (zh) | 基于工业标识的数据验证方法及相关设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20210406 |
|
| WW01 | Invention patent application withdrawn after publication |