CN111522711B - 一种数据监控处理系统、方法、执行端、监控端及电子设备 - Google Patents

一种数据监控处理系统、方法、执行端、监控端及电子设备 Download PDF

Info

Publication number
CN111522711B
CN111522711B CN202010307019.6A CN202010307019A CN111522711B CN 111522711 B CN111522711 B CN 111522711B CN 202010307019 A CN202010307019 A CN 202010307019A CN 111522711 B CN111522711 B CN 111522711B
Authority
CN
China
Prior art keywords
data
task
monitoring
execution end
service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010307019.6A
Other languages
English (en)
Other versions
CN111522711A (zh
Inventor
张晓光
刘金霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN202010307019.6A priority Critical patent/CN111522711B/zh
Publication of CN111522711A publication Critical patent/CN111522711A/zh
Application granted granted Critical
Publication of CN111522711B publication Critical patent/CN111522711B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3051—Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/324—Display of status information
    • G06F11/327—Alarm or error message display
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明提供一种数据监控处理系统、方法、执行端、监控端及电子设备，该系统包括监控端和至少一个执行端，各执行端作为任务数据链中的流程节点，通过任务数据链执行所述业务任务，并向监控端发送携带数据标识的目标信息。监控端获取目标信息中的待监控数据，基于预设监控策略确定所述待监控数据中是否存在异常数据；当所述待监控数据中存在异常数据时，输出相应的提示信息。本发明实施例通过采集任务数据链中各节点的目标信息，对目标信息中的待监控数据进行实时监控，从而实现了对各节点数据的实时监控及应用内即时数据行为监控预警，有效提升了数据监控处理系统的数据监控的实时性。

Description

一种数据监控处理系统、方法、执行端、监控端及电子设备
技术领域
本发明涉及计算机技术领域，特别是涉及一种数据监控处理系统、方法、执行端、监控端及电子设备。
背景技术
在应用程序中，用户在移动端进行操作后，移动端执行相应操作并向服务端A发送请求，而服务端A在响应请求并执行操作后可能又向服务端B发送请求，而后服务端B响应请求并执行相应操作，从而形成了移动端-服务端A-服务端B的任务数据链。目前应用程序的业务任务中多端交互越来越频繁，因此对任务数据链的监控也显得越发重要。
当前的外部监控系统通常采取接口巡检方式来进行接口可用性的校验，依赖定时的额外接口流量来校验各个接口的可用性，但由于接口巡检需定时触发，因此现有技术中的监控系统存在监控实时性较差的问题。
发明内容
本发明实施例的目的在于提供一种数据监控处理方法、执行端、监控端及电子设备，以解决现有的外部监控系统的实时性较差的问题。具体技术方案如下：
在本发明实施的第一方面，首先提供了一种数据监控处理系统，包括监控端和至少一个执行端，在业务任务触发的情况下，每一所述执行端作为任务数据链中一节点，其中，
所述执行端用于在触发业务任务的情况下，执行所述任务数据链中所述执行端对应的第一业务操作，所述第一业务操作为完成所述业务任务需执行的业务操作；
所述执行端还用于向所述监控端发送目标信息，所述目标信息包括所述业务任务对应的数据标识和执行所述第一业务操作所关联的待监控数据；
所述监控端用于获取所述业务任务关联的任务数据链中至少一节点发送的目标信息，所述节点为所述业务任务的执行端，所述目标信息包括所述业务任务对应的数据标识和所述执行端执行业务操作所关联的待监控数据；
所述监控端还用于基于预设监控策略确定所述待监控数据中是否存在异常数据，当所述待监控数据中存在异常数据时，输出相应的提示信息。
在本发明实施的第二方面，还提供了一种数据监控处理方法，应用于业务任务的第一执行端，包括：
在触发业务任务的情况下，执行所述业务任务关联的任务数据链中所述第一执行端对应的第一业务操作，所述第一业务操作为完成所述业务任务需执行的业务操作；
向监控端发送目标信息，所述目标信息包括所述业务任务对应的数据标识和执行所述第一业务操作所关联的待监控数据。
在本发明实施的第三方面，还提供了一种数据监控处理方法，应用于业务任务的监控端，包括：
获取所述业务任务关联的任务数据链中至少一节点发送的目标信息，所述节点为所述业务任务的执行端，所述目标信息包括所述业务任务对应的数据标识和所述执行端执行业务操作所关联的待监控数据；
基于预设监控策略确定所述待监控数据中是否存在异常数据；
当所述待监控数据中存在异常数据时，输出相应的提示信息。
在本发明实施的第四方面，还提供了一种执行端，包括：
执行模块，用于在触发业务任务的情况下，执行所述业务任务关联的任务数据链中所述第一执行端对应的第一业务操作，所述第一业务操作为完成所述业务任务需执行的业务操作；
发送模块，用于向监控端发送目标信息，所述目标信息包括所述业务任务对应的数据标识和执行所述第一业务操作所关联的待监控数据。
在本发明实施的第五方面，还提供了一种监控端，包括：
获取模块，用于获取所述业务任务关联的任务数据链中至少一节点发送的目标信息，所述节点为所述业务任务的执行端，所述目标信息包括所述业务任务对应的数据标识和所述执行端执行业务操作所关联的待监控数据；
确定模块，用于基于预设监控策略确定所述待监控数据中是否存在异常数据；
输出模块，用于当所述待监控数据中存在异常数据时，输出相应的提示信息。
在本发明实施的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述任一所述的数据监控处理方法。
在本发明实施的又一方面，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的数据监控处理方法。
本发明实施例提供的数据监控处理系统，包括监控端和至少一个执行端，通过将各执行端作为任务数据链中的流程节点，并基于任务数据链执行相关的业务任务采集任务数据链中各节点的目标信息，对目标信息中的待监控数据进行实时监控，同时向监控端发送携带数据标识的目标信息。监控端实时获取目标信息中的待监控数据并进行监控，从而可以实现对各节点的实时监控及应用内即时数据行为监控预警，进而有效提升了数据监控处理系统数据监控的实时性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1是本发明实施例中的数据监控处理系统的结构示意图；
图2是本发明实施例中的数据监控处理方法的流程图之一；
图3是本发明实施例中的数据监控处理方法的流程图之二；
图4是本发明实施例中的执行端的结构示意图；
图5是本发明实施例中的监控端的结构示意图；
图6是本发明实施例中的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。
参见图1，图1是本发明实施例提供的一种数据监控处理系统的结构示意图，该系统包括监控端和至少一个执行端，在业务任务触发的情况下，每一所述执行端作为任务数据链中一节点，其中，
所述执行端用于在触发业务任务的情况下，执行所述任务数据链中所述执行端对应的第一业务操作，所述第一业务操作为完成所述业务任务需执行的业务操作；
所述执行端还用于向所述监控端发送目标信息，所述目标信息包括所述业务任务对应的数据标识和执行所述第一业务操作所关联的待监控数据；
所述监控端用于获取所述业务任务关联的任务数据链中至少一节点发送的目标信息，所述节点为所述业务任务的执行端，所述目标信息包括所述业务任务对应的数据标识和所述执行端执行业务操作所关联的待监控数据；
所述监控端还用于基于预设监控策略确定所述待监控数据中是否存在异常数据，当所述待监控数据中存在异常数据时，输出相应的提示信息。
本发明实施例中，上述业务任务可以由用户对于移动端应用程序上的某一按钮的点击触发，也可以通过用户的划动屏幕操作触发。上述第一执行端可以为用户使用的移动端，如手机、平板电脑及可穿戴设备等，也可以为执行业务操作的服务端。上述业务任务可以为用户在社交应用程序上填写内容后通过发布按钮触发的发布内容业务任务，也可以为用户在购物应用程序上点击下单按钮触发的商品交易业务任务，在此不作进一步的限定。
需要说明的是，上述任务数据链可以包括多个定义的节点。举例说明，在一实施例中，用户在移动端上某一社交应用程序发布内容时，需要通过接口将内容数据上传至服务端进行记录，而服务端又需要将用户发布的内容发送给审核系统进行审核，审核通过后服务端才能最终展示用户发布的相应内容。从而形成了移动端-服务端-审核系统-服务端的任务数据链。在上述任务数据链中，可以将移动端定义为起始节点，服务端定义为第二节点和第四节点。其中，第二节点与第四节点的区别在于埋点位置不同，即监控端获取目标信息的位置不同。而审核系统定义为第三节点，即每一节点可以代表应用程序中一执行相应的业务操作的执行端。
上述第一业务操作为完成所述业务任务需执行的业务操作，具体可以为上述第一执行端执行的，与业务任务关联的操作。如在上述的实施例中，若将移动端看作第一执行端，则移动端在用户点击发布按钮后，通过接口将内容数据上传至服务端的操作即可以看作第一业务操作。
上述数据标识用于标识一个数据样本，可以表示触发上述业务任务的特定用户操作。上述目标信息可以包括特定标识ID、上述第一执行端在上述任务数据链中的流程节点、用户操作的响应时长、执行第一业务操作的时长以及在调用其他执行端时是否触发接口、接口的输入参数和接口返回等字段。上述第一执行端通过埋点方式向监控端投递相关字段，其中埋点方式为在上述第一执行端的具体位置埋入数据收集器来获取第一执行端发送的目标信息。
在本发明实施例中，上述监控端可以包括一数据收集器，数据收集器与各节点保持通信，将各节点发送的目标信息预处理后存储，以供监控端对目标信息中的待监控数据进行监控。
同时，上述监控端可以根据实际需要配置上述任务数据链的监控场景，选择其中的一个或多个节点发送的目标信息进行监控。如一业务任务关联的任务数据链共包括N1、N2、N3、N4和N5五个节点，可以配置监控场景包括节点N1、N3和N5，也可以监控场景仅包括节点N1和N2，从而可以针对性地对需要监控的节点进行监控，有效节约了系统资源。
上述监控策略可以通过与监控端交互的系统管理页面进行可视化的展示和配置。而当待监控数据中存在异常数据时，监控端可以通过站内消息、邮件、短信或语音电话的方式输出相应的提示消息，以确保消息提醒的及时性。
本发明实施例通过对获取任务数据链中各节点的全量待监控数据，并配置相应的监控指标对各节点的待监控数据进行实时监控，从而实现了应用内即时数据行为监控预警，可以解决外部接口巡检告警的延时性、采样误差及无必要的流量负载，并能够针对各节点的业务量、成功率及时效性变化多维度更好地分析本应用及依赖的外部应用表现。同时通过应用全量的数据行为分析，能够覆盖更多的用户使用场景的监控，可以发掘应用中的错误样本协助提升应用的鲁棒性。
本发明实施例提供的数据监控处理系统，包括监控端和至少一个执行端，通过将各执行端作为任务数据链中的流程节点，并基于任务数据链执行相关的业务任务采集任务数据链中各节点的目标信息，对目标信息中的待监控数据进行实时监控，同时向监控端发送携带数据标识的目标信息。监控端实时获取目标信息中的待监控数据并进行监控，从而可以实现对各节点的实时监控及应用内即时数据行为监控预警，进而有效提升了数据监控处理系统数据监控的实时性。
进一步的，所述至少一个执行端包括第一执行端，在所述第一执行端为所述任务数据链中的起始节点的情况下，所述第一执行端用于执行以下步骤：
接收用户的第一输入，所述第一输入用于触发所述业务任务；
基于所述第一输入确定所述业务任务对应的数据标识。
本发明实施例中，若上述第一执行端为上述任务数据链的起始节点，即用户使用的移动终端时，此时上述第一执行端接收用户的第一输入，如用户进行点击或划动等操作，从而触发上述业务任务。
其中，上述第一执行端通过接收用户的第一输入，获取用户操作内容及操作时间点等确定上述业务任务对应的数据标识。从而可以通过数据标识分辨用户的不同操作及用户在不同时间点的相同操作等。
进一步的，在所述第一执行端为所述任务数据链除起始节点之外的其他节点的情况下，所述第一执行端用于执行以下步骤：
在触发业务任务的情况下，接收第二执行端发送的第一请求，所述第二执行端为所述任务数据链中所述第一执行端的上一节点；
响应于所述第一请求，执行第二业务操作，所述第二业务操作为在所述第一执行端为所述任务数据链除起始节点之外的其他节点的情况下，所述第一业务操作中所述第一执行端对应的业务操作。
在本发明实施例中，对于上述移动端-服务端-审核系统-服务端的任务数据链，若将移动端看作第二执行端，服务端看作第一执行端。此时第一执行端为上述任务数据链除起始节点之外的其他节点，服务端在接收到移动端发送的第一请求后，响应第一请求，执行向审核系统发送内容的第二业务操作。上述第一请求即为移动端向服务端发送的用于调用服务端执行向审核系统发送内容的第二业务操作的请求。
进一步的，在所述第一执行端为所述任务数据链的中间节点的情况下，所述第一执行端用于执行以下步骤：
向第三执行端发送第二请求，所述第二请求用于调用所述第三执行端执行第三业务操作，所述第三执行端为所述业务任务关联的任务数据链中所述第一执行端的下一节点，所述第三业务操作为所述第一业务操作中所述第三执行端对应的业务操作。
在上述实施例中将移动端看作第二执行端，服务端看作第一执行端的情况下，将审核系统看作第三执行端，此时第一执行端也可以看成是任务数据链中的中间节点。则在服务端在接收到移动端发送的第一请求后，响应第一请求，执行向审核系统发送内容的第二业务操作之后，服务端还可以向审核系统发送第二请求，第二请求用于调用审核系统执行对发送的内容进行审核的第三业务操作。
进一步的，上述预设监控策略包括：
获取预先配置的监控指标，所述监控指标包括预设周期内的节点通过数据量、预设周期内的接口调用成功率、预设周期内的节点转化率、接口响应时长和数据处理时长其中至少之一；
若所述待监控数据中的数据达到所述监控指标的预设阈值，则确定所述待监控数据中存在异常数据。
在上述监控指标中，上述预设周期内的节点通过数据量可以理解为在预设周期内执行端执行相应业务操作时的数据流量。上述预设周期内的接口调用成功率可以理解为预设周期内上述任务数据链中节点A通过调用接口向下一节点B发送请求时，调用接口的成功次数所占调用接口的总次数的百分比。上述预设周期内的节点转化率可以理解为预设周期内上述任务数据链中节点C执行相应业务操作时的数据通过量所占上一节点D执行相应业务操作时的数据通过量的百分比。接口响应时长可以理解为调用接口后返回调用结果的耗时，数据处理时长可以理解为执行端对数据进行处理的耗时。
本发明还提供一种数据监控处理方法，该方法应用于业务任务的第一执行端。图2是本发明实施例提供的一种数据监控处理方法的流程图，如图2所示，包括以下步骤：
步骤101、在触发业务任务的情况下，执行所述业务任务关联的任务数据链中所述第一执行端对应的第一业务操作，所述第一业务操作为完成所述业务任务需执行的业务操作；
步骤102、向监控端发送目标信息，所述目标信息包括所述业务任务对应的数据标识和执行所述第一业务操作所关联的待监控数据。
进一步的，在本发明实施例中，在上述第一执行端为上述任务数据链的起始节点的情况下，在步骤101之前，上述方法还包括：
接收用户的第一输入，所述第一输入用于触发所述业务任务；
基于所述第一输入确定所述业务任务对应的数据标识。
进一步的，在本发明实施例中，在上述第一执行端为上述任务数据链除起始节点之外的其他节点的情况下，步骤101具体可以包括：
在触发业务任务的情况下，接收第二执行端发送的第一请求，上述第二执行端为上述任务数据链中上述第一执行端的上一节点；
响应于上述第一请求，执行第二业务操作，所述第二业务操作为在所述第一执行端为所述任务数据链除起始节点之外的其他节点的情况下，所述第一业务操作中所述第一执行端对应的业务操作。
进一步的，在上述第一执行端为上述任务数据链的中间节点的情况下，在步骤101之后，上述方法还包括：
向第三执行端发送第二请求，上述第二请求用于调用第三执行端执行第三业务操作，上述第三执行端为上述业务任务关联的任务数据链中上述第一执行端的下一节点，所述第三业务操作为所述第一业务操作中所述第三执行端对应的业务操作。
参见图3，图3是本发明实施例提供的一种数据监控处理方法的流程图，应用于业务任务的监控端，如图3所示，包括以下步骤：
步骤201、获取所述业务任务关联的任务数据链中至少一节点发送的目标信息，所述节点为所述业务任务的执行端，所述目标信息包括所述业务任务对应的数据标识和所述执行端执行业务操作所关联的待监控数据。
步骤202、基于预设监控策略确定所述待监控数据中是否存在异常数据。
步骤203、当所述待监控数据中存在异常数据时，输出相应的提示信息。
进一步的，上述步骤202具体可以包括：
获取预先配置的监控指标，上述监控指标包括预设周期内的节点通过数据量、预设周期内的接口调用成功率、预设周期内的节点转化率、接口响应时长和数据处理时长其中至少之一；
若所述待监控数据中的数据达到所述监控指标的预设阈值，则确定所述待监控数据中存在异常数据。
为了更好的理解本发明，以下将以一应用程序为例，详细阐述本发明的具体实现过程。
在一应用程序中，存在用户发布内容的场景，其具体流程为：
用户在移动端应用程序的内容发布器页面填写内容后通过发布按钮，按钮点击后触发应用服务端接口将数据发送给应用服务端；
应用服务端接收到用户发布内容后记录信息后将内容通过接口方式传给审核系统；
审核系统收到用户创建内容后通过机器审核或人工审核(统称审核)后将审核结果以消息的形式返给应用服务端；
应用服务端收到审核消息后将审核结果进行记录，在后续内容展示时筛选审核通过的用户内容。
根据上述流程，可以定义如下几个链路节点：
定义节点1为移动端，节点2为应用服务端，节点3为审核系统，节点4为应用服务端。其中，节点1的埋点位置为移动端发布器页面发布按钮，节点2的埋点位置为应用服务端的用户发布内容提交接口，节点3的埋点位置为审核系统审核接口，节点4的埋点位置为应用服务端审核消息消费接口。
若配置监控场景包括节点1和节点3，具体的数据监控处理方法如下：
移动端接收用户在移动端应用程序的内容发布器页面填写内容后按下发布按钮的输入，触发内容发布的业务任务；
确定内容发布的业务任务对应的数据标识；
在触发内容发布的业务任务的情况下，移动端执行调用应用服务端用户发布内容提交接口的操作，将内容数据发送给应用服务端；
移动端向监控端埋点于移动端发布器页面发布按钮的数据收集器发送一携带特定数据标识ID的第一目标信息，第一目标信息中包括待监控数据。
进一步的，应用服务端接收移动端发送的内容数据，存储内容数据，并将内容数据发送至审核系统；
应用服务端向监控端埋点于应用服务端用户发布内容提交接口的数据收集器发送携带同一数据标识ID的第二目标信息，第二目标信息中包括待监控数据。
进一步的，审核系统接收应用服务端发送的内容数据，执行审核操作，将审核结果以消息的形式返给应用服务端；
审核系统向监控端埋点于审核系统审核接口的数据收集器发送携带同一数据标识ID的第三目标信息，第三目标信息中包括待监控数据。
进一步的，应用服务端接收审核系统发送的消息，审核结果记录，在后续内容展示时筛选出审核通过的用户内容展示；
应用服务端向监控端埋点于文学服务端审核消息消费接口的数据收集器发送携带同一数据标识ID的第四目标信息，第四目标信息中包括待监控数据。
根据实际需求配置监控端的监控场景为节点1与节点3；
监控端获取移动端发布器页面发布按钮的待监控数据；待监控数据通过管理页面设置为按钮点击时间、是否触发接口、接口是否调用成功、接口主要参数、接口返回(包含数据实体)等字段；
配置监控指标为预设周期内接口调用成功率；
若发布按钮点击后未触发接口，说明前端校验不通过或按钮异常。此时可以设置一个合理的调用接口次数占点击按钮次数的百分比的阈值来判断前端按钮点击是否正常。若预设周期内接口调用成功率低于预设阈值，则可以通过短信或站内消息等方式向管理员发送相应的提醒消息，管理员可以根据提醒消息判断是否需进行应用程序维护或改进应用程序的用户发布引导。
若发布按钮调用接口返回异常，则表示本次请求接口异常，可设定合适的时间窗口来监测接口一段时间的表现，同时发送提醒消息向管理员预警。
监控端获取审核系统审核接口的待监控数据，待监控数据待监控数据通过管理页面设置为审核操作时间和审核结果。
配置监控指标为审核时长与预设周期内的数据审核通过量；
若审核时长超过监控指标的预设阈值，则说明审核延迟，若一段时间批量数据均未审核，可向审核发送任务堆积预警消息。
若内容审核不通过，则说明数据内容不合规；
若预设周期内审核通过量监控指标的小于预设阈值，可发送存在黑色产业链风险的提醒消息。
本发明实施例以一具体的应用程序为例，监控用户发布内容这一业务任务关联的任务数据链。由于监控端实时获取需要监控的节点的待监控数据，从而保证了应用内即时数据行为监控预警，可以解决外部接口巡检系统告警的延时性。
同时通过获取需监控节点如移动端的按钮点击时间、是否触发接口、接口是否调用成功、接口主要参数、接口返回(包含数据实体)等字段，审核系统的审核操作时间和审核结果的多维度数据，从而可以覆盖更多的用户使用场景的监控，可以发掘应用中的错误样本协助提升应用的鲁棒性。通过设置预设周期内的接口调用成功率、预设周期内的数据审核通过量、与审核时长等监控指标，能够针对各节点的业务量、成功率及时效性变化更好的分析本应用及依赖的外部应用表现。
需要说明的是，本发明实施例中介绍的多种可选的实施方式，彼此可以相互结合实现，也可以单独实现，对此本发明实施例不作限定。
参见图4，图4是本发明实施例提供的执行端400的结构图，如图4所示，上述执行端400包括：
执行模块401，用于在触发业务任务的情况下，执行上述业务任务关联的任务数据链中上述第一执行端对应的第一业务操作，所述第一业务操作为完成所述业务任务需执行的业务操作；
发送模块402，用于向监控端发送目标信息，上述目标信息包括所述业务任务对应的数据标识和执行上述第一业务操作所关联的待监控数据。
进一步的，在上述第一执行端为上述任务数据链的起始节点的情况下，上述执行端400还可以包括：
接收模块，用于接收用户的第一输入，上述第一输入用于触发上述业务任务；
确定模块，用于基于所述第一输入确定所述业务任务对应的数据标识。
进一步的，在所述第一执行端为所述任务数据链除起始节点之外的其他节点的情况下，上述执行模块401可以包括：
接收单元，用于在触发业务任务的情况下，接收第二执行端发送的第一请求，所述第二执行端为所述任务数据链中所述第一执行端的上一节点；
执行单元，用于响应于所述第一请求，执行第二业务操作，所述第二业务操作为在所述第一执行端为所述任务数据链除起始节点之外的其他节点的情况下，所述第一业务操作中所述第一执行端对应的业务操作。
进一步的，在所述第一执行端为所述任务数据链的中间节点的情况下，上述执行模块401还可以包括：
发送单元，用于向第三执行端发送第二请求，所述第二请求用于调用第三执行端执行第三业务操作，所述第三执行端为所述业务任务关联的任务数据链中所述第一执行端的下一节点，所述第三业务操作为所述第一业务操作中所述第三执行端对应的业务操作。
本发明实施例提供的执行端能够实现图1的方法实施例中数据监控处理方法实现的各个过程，为避免重复，这里不再赘述。
参见图5，图5是本发明实施例提供的监控端500的结构图，如图5所示，上述监控端500包括：
获取模块501，用于获取所述业务任务关联的任务数据链中至少一节点发送的目标信息，所述节点为所述业务任务的执行端，所述目标信息包括所述业务任务对应的数据标识和所述执行端执行业务操作所关联的待监控数据；
确定模块502，用于基于预设监控策略确定所述待监控数据中是否存在异常数据；
输出模块503，用于当所述待监控数据中存在异常数据时，输出相应的提示信息。
进一步的，上述确定模块502可以包括：
获取单元，用于获取预先配置的监控指标，所述监控指标包括预设周期内的节点通过数据量、预设周期内的接口调用成功率、预设周期内的节点转化率、接口响应时长和数据处理时长其中至少之一；
判断单元，用于在所述待监控数据中的数据达到所述监控指标的预设阈值时确定所述待监控数据中存在异常数据。
本发明实施例提供的监控端500能够实现图2的方法实施例中数据监控处理方法实现的各个过程，为避免重复，这里不再赘述。
本发明实施例还提供了一种电子设备，如图6所示，包括处理器601、通信接口602、存储器603和通信总线604，其中，处理器601，通信接口602，存储器603通过通信总线604完成相互间的通信，
存储器603，用于存放计算机程序；
处理器601，用于执行存储器603上所存放的程序时，实现如下步骤：
在触发业务任务的情况下，执行所述业务任务关联的任务数据链中所述第一执行端对应的第一业务操作，所述第一业务操作为完成所述业务任务需执行的业务操作；
向监控端发送目标信息，所述目标信息包括所述业务任务对应的数据标识和执行所述第一业务操作所关联的待监控数据。
或者，处理器601，用于执行存储器603上所存放的程序时，实现如下步骤：
获取所述业务任务关联的任务数据链中至少一节点发送的目标信息，所述节点为所述业务任务的执行端，所述目标信息包括所述业务任务对应的数据标识和所述执行端执行业务操作所关联的待监控数据；
基于预设监控策略确定所述待监控数据中是否存在异常数据；
当所述待监控数据中存在异常数据时，输出相应的提示信息。
上述终端提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述终端与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的数据监控处理方法。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的数据监控处理方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (15)

1.一种数据监控处理系统，其特征在于，包括监控端和至少一个执行端，在业务任务触发的情况下，每一所述执行端作为任务数据链中一节点，其中，
所述执行端用于在触发业务任务的情况下，执行所述任务数据链中所述执行端对应的第一业务操作，所述第一业务操作为完成所述业务任务需执行的业务操作；
所述执行端还用于向所述监控端发送目标信息，所述目标信息包括所述业务任务对应的数据标识和执行所述第一业务操作所关联的待监控数据，所述目标信息用于对数据传输的接口进行监控；
所述监控端用于获取所述业务任务关联的任务数据链中至少一节点发送的目标信息，所述节点为所述业务任务的执行端，所述目标信息包括所述业务任务对应的数据标识和所述执行端执行业务操作所关联的待监控数据；
所述监控端还用于基于预设监控策略确定所述待监控数据中是否存在异常数据，当所述待监控数据中存在异常数据时，输出相应的提示信息。
2.根据权利要求1所述的数据监控处理系统，其特征在于，所述至少一个执行端包括第一执行端，在所述第一执行端为所述任务数据链中的起始节点的情况下，所述第一执行端用于执行以下步骤：
接收用户的第一输入，所述第一输入用于触发所述业务任务；
基于所述第一输入确定所述业务任务对应的数据标识。
3.根据权利要求2所述的数据监控处理系统，其特征在于，在所述第一执行端为所述任务数据链除起始节点之外的其他节点的情况下，所述第一执行端用于执行以下步骤：
在触发业务任务的情况下，接收第二执行端发送的第一请求，所述第二执行端为所述任务数据链中所述第一执行端的上一节点；
响应于所述第一请求，执行第二业务操作，所述第二业务操作为在所述第一执行端为所述任务数据链除起始节点之外的其他节点的情况下，所述第一业务操作中所述第一执行端对应的业务操作。
4.根据权利要求3所述的数据监控处理系统，其特征在于，在所述第一执行端为所述任务数据链的中间节点的情况下，所述第一执行端用于执行以下步骤：
向第三执行端发送第二请求，所述第二请求用于调用所述第三执行端执行第三业务操作，所述第三执行端为所述业务任务关联的任务数据链中所述第一执行端的下一节点，所述第三业务操作为完成所述业务任务需执行的业务操作。
5.根据权利要求1所述的数据监控处理系统，其特征在于，所述预设监控策略包括：
获取预先配置的监控指标，所述监控指标包括预设周期内的节点通过数据量、预设周期内的接口调用成功率、预设周期内的节点转化率、接口响应时长和数据处理时长其中至少之一；
若所述待监控数据中的数据达到所述监控指标的预设阈值，则确定所述待监控数据中存在异常数据。
6.一种数据监控处理方法，应用于业务任务的第一执行端，其特征在于，包括：
在触发业务任务的情况下，执行所述业务任务关联的任务数据链中所述第一执行端对应的第一业务操作，所述第一业务操作为完成所述业务任务需执行的业务操作；
向监控端发送目标信息，所述目标信息包括所述业务任务对应的数据标识和执行所述第一业务操作所关联的待监控数据，所述目标信息用于对数据传输的接口进行监控。
7.根据权利要求6所述的数据监控处理方法，其特征在于，在所述第一执行端为所述任务数据链的起始节点的情况下，所述执行所述业务任务关联的任务数据链中所述第一执行端对应的第一业务操作之前，所述方法还包括：
接收用户的第一输入，所述第一输入用于触发所述业务任务；
基于所述第一输入确定所述业务任务对应的数据标识。
8.根据权利要求6所述的数据监控处理方法，其特征在于，在所述第一执行端为所述任务数据链除起始节点之外的其他节点的情况下，所述在触发业务任务的情况下，执行所述业务任务关联的任务数据链中所述执行端对应的第一业务操作的步骤包括：
在触发业务任务的情况下，接收第二执行端发送的第一请求，所述第二执行端为所述任务数据链中所述第一执行端的上一节点；
响应于所述第一请求，执行第二业务操作，所述第二业务操作为在所述第一执行端为所述任务数据链除起始节点之外的其他节点的情况下，所述第一业务操作中所述第一执行端对应的业务操作。
9.根据权利要求8所述的数据监控处理方法，其特征在于，在所述第一执行端为所述任务数据链的中间节点的情况下，所述执行所述业务任务关联的任务数据链中所述第一执行端对应的第一业务操作之后，所述方法还包括：
向第三执行端发送第二请求，所述第二请求用于调用第三执行端执行第三业务操作，所述第三执行端为所述业务任务关联的任务数据链中所述第一执行端的下一节点，所述第三业务操作为所述第一业务操作中所述第三执行端对应的业务操作。
10.一种数据监控处理方法，应用于业务任务的监控端，其特征在于，包括：
获取所述业务任务关联的任务数据链中至少一节点发送的目标信息，所述节点为所述业务任务的执行端，所述目标信息包括所述业务任务对应的数据标识和所述执行端执行业务操作所关联的待监控数据，所述目标信息用于对数据传输的接口进行监控；
基于预设监控策略确定所述待监控数据中是否存在异常数据；
当所述待监控数据中存在异常数据时，输出相应的提示信息。
11.根据权利要求10所述的数据监控处理方法，其特征在于，所述基于预设监控策略确定所述待监控数据中是否存在异常数据的步骤包括：
获取预先配置的监控指标，所述监控指标包括预设周期内的节点通过数据量、预设周期内的接口调用成功率、预设周期内的节点转化率、接口响应时长和数据处理时长其中至少之一；
若所述待监控数据中的数据达到所述监控指标的预设阈值，则确定所述待监控数据中存在异常数据。
12.一种执行端，其特征在于，包括：
执行模块，用于在触发业务任务的情况下，执行所述业务任务关联的任务数据链中所述执行端对应的第一业务操作，所述第一业务操作为完成所述业务任务需执行的业务操作；
发送模块，用于向监控端发送目标信息，所述目标信息包括所述业务任务对应的数据标识和执行所述第一业务操作所关联的待监控数据，所述目标信息用于对数据传输的接口进行监控。
13.一种监控端，其特征在于，包括：
获取模块，用于获取与业务任务关联的任务数据链中至少一节点发送的目标信息，所述节点为所述业务任务的执行端，所述目标信息包括所述业务任务对应的数据标识和所述执行端执行业务操作所关联的待监控数据，所述目标信息用于对数据传输的接口进行监控；
确定模块，用于基于预设监控策略确定所述待监控数据中是否存在异常数据；
输出模块，用于当所述待监控数据中存在异常数据时，输出相应的提示信息。
14.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求6-11任一所述的方法步骤。
15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求6-11中任一所述的方法。
CN202010307019.6A 2020-04-17 2020-04-17 一种数据监控处理系统、方法、执行端、监控端及电子设备 Active CN111522711B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010307019.6A CN111522711B (zh) 2020-04-17 2020-04-17 一种数据监控处理系统、方法、执行端、监控端及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010307019.6A CN111522711B (zh) 2020-04-17 2020-04-17 一种数据监控处理系统、方法、执行端、监控端及电子设备

Publications (2)

Publication Number Publication Date
CN111522711A CN111522711A (zh) 2020-08-11
CN111522711B true CN111522711B (zh) 2023-05-05

Family

ID=71903401

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010307019.6A Active CN111522711B (zh) 2020-04-17 2020-04-17 一种数据监控处理系统、方法、执行端、监控端及电子设备

Country Status (1)

Country Link
CN (1) CN111522711B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112615753B (zh) * 2020-12-30 2022-08-30 中国工商银行股份有限公司 一种链路异常追踪方法、第一节点、第二节点以及链路
CN113835967B (zh) * 2021-09-28 2024-05-17 北京京东拓先科技有限公司 一种监控方法、装置、电子设备及存储介质
CN114900444A (zh) * 2022-04-25 2022-08-12 北京奇艺世纪科技有限公司 数据监控方法、装置、电子设备及存储介质
CN115037653B (zh) * 2022-06-28 2023-10-13 北京奇艺世纪科技有限公司 业务流量监控方法、装置、电子设备和存储介质
CN115759734B (zh) * 2022-10-19 2024-01-12 国网物资有限公司 基于指标的电力业务供应链监控方法、装置、设备和介质
CN116720202B (zh) * 2023-05-19 2024-03-29 国网物资有限公司 业务信息检测方法、装置、电子设备和计算机可读介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016177156A1 (zh) * 2015-07-16 2016-11-10 中兴通讯股份有限公司 流量的处理方法、装置及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103888287B (zh) * 2013-12-18 2016-01-27 北京首都国际机场股份有限公司 信息系统一体化运维监控服务预警平台
CN106844137B (zh) * 2016-12-08 2020-05-19 腾讯科技（深圳）有限公司 服务器的监控方法和装置
CN108833126B (zh) * 2018-04-02 2021-07-23 平安科技（深圳）有限公司 电子装置、数据链路风险预警方法及存储介质
CN109067610B (zh) * 2018-07-12 2021-03-02 北京京东金融科技控股有限公司 一种监控方法和装置
CN110377413B (zh) * 2019-07-24 2023-03-03 上海金融期货信息技术有限公司 基于bpmn标准的分布式任务异步调度和监控的系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016177156A1 (zh) * 2015-07-16 2016-11-10 中兴通讯股份有限公司 流量的处理方法、装置及系统

Also Published As

Publication number Publication date
CN111522711A (zh) 2020-08-11

Similar Documents

Publication Publication Date Title
CN111522711B (zh) 一种数据监控处理系统、方法、执行端、监控端及电子设备
CN106953740B (zh) 应用中页面访问数据的处理方法、客户端、服务器及系统
WO2016192488A1 (zh) 灰度发布的评估方法、装置和系统
CN111124819A (zh) 全链路监控的方法和装置
CN111552633A (zh) 接口的异常调用测试方法、装置、计算机设备及存储介质
CN111611140B (zh) 埋点数据的上报验证方法、装置、电子设备及存储介质
CN111147310A (zh) 一种日志跟踪处理的方法、装置、服务器及介质
CN105553770B (zh) 一种数据采集控制方法和装置
CN111324809A (zh) 一种热点信息监测方法、装置及系统
CN112948224A (zh) 一种数据处理方法、装置、终端及存储介质
CN112653736B (zh) 一种并行回源方法、装置及电子设备
JP2014523671A (ja) 対話型アプリケーションサービスの全体的なパフォーマンスの評価
CN112948262A (zh) 一种系统测试方法、装置、计算机设备和存储介质
CN110309028B (zh) 监控信息获取方法、服务监控方法、装置及系统
CN113672460B (zh) 一种服务监控方法及装置
CN111552566B (zh) 一种数据处理系统、方法、电子设备及存储介质
CN115083030A (zh) 一种业务巡检方法、装置及电子设备
CN114385457A (zh) 应用程序数据采集方法、装置、设备及存储介质
CN110633165B (zh) 故障处理方法、装置、系统服务器及计算机可读存储介质
CN112835780B (zh) 一种业务检测方法及装置
CN112148508A (zh) 一种信息处理的方法及相关装置
CN110674386B (zh) 资源推荐方法、装置及存储介质
CN113760315A (zh) 测试系统的方法和装置
CN111343242A (zh) 一种信息收集方法、装置、设备、存储介质及分布式系统
CN114760218B (zh) 一种链路采样方法及其相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant