CN112559280A - 基于数据中台的数据全链路监控方法 - Google Patents

基于数据中台的数据全链路监控方法 Download PDF

Info

Publication number
CN112559280A
CN112559280A CN202011410534.3A CN202011410534A CN112559280A CN 112559280 A CN112559280 A CN 112559280A CN 202011410534 A CN202011410534 A CN 202011410534A CN 112559280 A CN112559280 A CN 112559280A
Authority
CN
China
Prior art keywords
data
ogg
component
information
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011410534.3A
Other languages
English (en)
Other versions
CN112559280B (zh
Inventor
胡聪
徐敏
洪德华
肖家锴
刘翠玲
张翠翠
薛晓茹
孙佳丽
王鹏
王国梁
宫政
雷沁怡
孙琦
赵林燕
陈超
徐晓龙
张福华
胡才亮
张懿操
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Mingsheng Hengzhuo Technology Co Ltd
State Grid Corp of China SGCC
Information and Telecommunication Branch of State Grid Anhui Electric Power Co Ltd
Original Assignee
Anhui Mingsheng Hengzhuo Technology Co Ltd
State Grid Corp of China SGCC
Information and Telecommunication Branch of State Grid Anhui Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Mingsheng Hengzhuo Technology Co Ltd, State Grid Corp of China SGCC, Information and Telecommunication Branch of State Grid Anhui Electric Power Co Ltd filed Critical Anhui Mingsheng Hengzhuo Technology Co Ltd
Priority to CN202011410534.3A priority Critical patent/CN112559280B/zh
Publication of CN112559280A publication Critical patent/CN112559280A/zh
Application granted granted Critical
Publication of CN112559280B publication Critical patent/CN112559280B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3089—Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
    • G06F11/3093—Configuration details thereof, e.g. installation, enabling, spatial arrangement of the probes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/321—Display for diagnostics, e.g. diagnostic result display, self-test user interface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/324—Display of status information
    • G06F11/327—Alarm or error message display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3452—Performance evaluation by statistical analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/865—Monitoring of software
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种基于数据中台的数据全链路监控方法。该方法包括数据采集和数据处理。本发明可实现全链路数据可视化监控功能，帮助数据管理运维人员直观发现组件异常、延时等情况，无需逐个组件排查，发现问题、解决问题的效率得到很大程度的提高。还可以帮助数据运维人员及时发现有异常组件影响的支撑应用范围，及时规避由此带来的应用业务风险。

Description

基于数据中台的数据全链路监控方法
技术领域
本发明涉及一种基于数据中台的数据全链路监控方法。
背景技术
随着电网行业自动化、互联网化的程度日益深入，所积累的数据量成指数型增长，越来越多的系统应用之间存在数据共享和相互引用关系，这对数据的管理工作提出了前所未有的挑战。为了更好的数据管理和更有效率的数据整合，相关单位着手实施数据中台建设工作。在此过程中，数据在各存储层同步迁移、关联映射，在确保数据安全和应用效率提升的同时，也带来了数据链路过长，数据运维工作复杂沉重的弊端。
现有技术的不足之处：基于现有数据中台建设成果，数据溯源和数据日常运维工作，只能通过人工在各系统各层级之间进行孤立比对和监控维护。导致工作人员工作强度大、效率低、准确性不高，是数据治理、管理应用工作瓶颈所在。
发明内容
本发明要解决的技术问题是提供一种基于数据中台的数据全链路监控方法。
为了解决上述技术问题，本发明采用的技术方案是，基于数据中台的数据全链路监控方法，包括以下步骤：
一、数据采集
(1)根据阿里云官方网站提供的对各个产品的api，通过对Datahub、Blink、Dataworks组件进行采集适配器数据源配置、采集项目空间配置、执行时间配置来管理对api进行定时检测监控，并构建数据处理过程描述模型和存储结构来记录组件信息；
(2)编写shell脚本，将脚本部署在指定服务器目录下，定时将目录中的文件传送至指定目标服务器目录下，同样通过采集适配器管理页面，对ogg任务的采集适配器管理，来获取ogg的运行日志文件以及ogg的配置文件并构建数据处理过程描述模型和存储结构来记录ogg组件信息；
(3)通过采集适配器管理对ftp文件解析的任务，构建数据处理过程描述模型和存储结构来记录ftp文件信息，对ftp组件检测；
二、数据处理
(4)通过对datahub、blink、dataworks、ogg日志文件、ogg配置文件、ftp文件的监控和解析，实现了对基础数据的采集，设置最小数据采集周期与最大数据采集周期，且根据最小数据采集周期配置数据处理适配器周期。
作为优选，步骤(1)还包括按如下步骤对所述Datahub、Blink、Dataworks组件进行检测：
根据datahub组件的使用率和实际业务，设置datahub的采集适配器的执行时间为准点执行，通过调用datahub的api获取相关数据，整理数据并记录datahub组件的项目空间名称、节点名称、连接类型、延迟状态、报错异常、入库时间；
根据blink组件的使用率和实际业务，设置blink的采集适配器的执行时间为准点执行，通过调用blink的api获取相关数据，整理数据并记录blink组件的项目空间名称、api类型、延迟、运行状态、异常状态、分配内存、实际内存、内存使用、分配vcore、实际使用vcore、vcore使用率、作业数据源、作业数据汇、bps、tps、写入时间；
根据dataworks组件的使用率和实际业务，设置dataworks的采集适配器的执行时间为每天执行一次，通过调用dataworks的api获取相关数据，整理数据并记录dataworks组件的任务名称、任务描述、任务类型、是否增量、项目来源、源表、目标表、项目空间名称、项目模式、文件内容、调度类型、目标项目空间、状态信息、创建用户名称、执行时间、结束时间、执行耗时、数据大小、内存资源、cpu资源信息。
作为优选，步骤(2)还包括按如下步骤对所述ogg组件进行检测：
获取ogg日志文件，根据实际业务考虑每20分钟shell脚本上传文件到指定目标服务器，采集适配器每20分钟执行解析目标服务器执行目录下的日志文件，整理数据并记录ogg运行日志的物理地址、ogg进程类型、进程状态、进程名称、数据延迟时间、检查点延迟时间
获取ogg配置文件，与ogg日志文件解析时间相对应，记录ogg配置文件的进程名、表用户、ogg配置文件中文名、表名称、行信息、ogg文件ip信息。
作为优选，步骤(3)还包括按如下步骤对ftp组件进行检测：
获取服务器指定目录下ftp文件，根据实际业务准点解析ftp文件，记录ftp文件的文件名、ftp文件大小、ftp文件ip信息、内容信息。
作为优选，步骤(4)中，最小数据采集周期为20分钟执行一次，最大数据采集周期为一天执行一次。
作为优选，步骤(4)还包括以下步骤：
以ogg配置文件数据为中心，实现与ogg日志文件根据进程名称进行匹配，根据指定规则，梳理出与datahub、blink、dataworks组件的模型链路关系，分析并记录在ogg链路模型中；并统计ogg组件明细信息；
构建sql解析脚本，从from和join中提取节点信息，与作业数据源和作业数据汇数据验证，根据正则表达式，梳理出与ftp、datahub组件中的模型链路关系。
进一步的优选，模型链路关系的梳理包括以下步骤：
以ogg数据为中心的链路梳理：通过对各个组件信息的采集，以ogg数据为中心，根据datahub、blink的命名规范，推导出ogg模型在datahub以及blink中的监控节点名称,并与datahub组件日志信息和blink组件信息进行关联，梳理出全链路关系；
以blink组件为中心的链路梳理：通过对blink组件的日志信息，构建sql解析脚本，从节点信息获取，作业数据源和作业数据汇，逆向追溯到元数据。
作为优选，还包括统计影响应用信息；所述统计影响应用信息是根据提供的已共享的模型数据，以各个组件对任务节点或者作业的命名规则(如：datahub topic命名规则：dhub_源系统名称_用户名_模型名)为基础，追溯出链路关系；并根据梳理出的链路关系各节点信息，与ogg组件、ftp服务器文件、datahub组件、blink组件监控信息进行匹配，统计模型数据链路关系中有无异常。
作为优选，还包括统计异常总数；所述统计异常总数是统计ogg组件、ftp服务器文件、datahub组件、blink组件的异常信息；实现规则：最新数据与上一次数据进行对比，如当数据正常，上一次统计数据异常，则显示为修复数据。
本发明的有益效果是：
可实现全链路数据可视化监控功能，帮助数据管理运维人员直观发现组件异常、延时等情况，无需逐个组件排查，发现问题、解决问题的效率得到很大程度的提高。还可以帮助数据运维人员及时发现有异常组件影响的支撑应用范围，及时规避由此带来的应用业务风险。
具体实施方式
一种基于数据中台的数据全链路监控方法，包括以下步骤：
一、数据采集：
1、根据阿里云官方网站提供的对各个产品的api，通过对Datahub、Blink、Dataworks组件进行采集适配器数据源配置、采集项目空间配置、执行时间配置等来管理对api进行定时检测监控，并构建数据处理过程描述模型和存储结构来记录组件信息；Datahub、Blink、Dataworks组件检测信息如下：
根据datahub组件的使用率和实际业务，设置datahub的采集适配器的执行时间为准点执行，通过调用datahub的api获取相关数据，整理数据并记录datahub组件的项目空间名称、节点名称、连接类型、延迟状态、报错异常、入库时间等信息；
根据blink组件的使用率和实际业务，设置blink的采集适配器的执行时间为准点执行，通过调用blink的api获取相关数据，整理数据并记录blink组件的项目空间名称、api类型、延迟、运行状态、异常状态、分配内存、实际内存、内存使用、分配vcore、实际使用vcore、vcore使用率、作业数据源、作业数据汇、bps、tps、写入时间等；
根据dataworks组件的使用率和实际业务，设置dataworks的采集适配器的执行时间为每天执行一次，通过调用dataworks的api获取相关数据，整理数据并记录dataworks组件的任务名称、任务描述、任务类型、是否增量、项目来源、源表、目标表、项目空间名称、项目模式、文件内容、调度类型、目标项目空间、状态信息、创建用户名称、执行时间、结束时间、执行耗时、数据大小、内存资源、cpu资源等信息。
2、编写shell脚本，将脚本部署在指定服务器目录下，定时将目录中的文件传送至指定目标服务器目录下，同样通过采集适配器管理页面，对ogg任务的采集适配器管理，来获取ogg的运行日志文件以及ogg的配置文件并构建数据处理过程描述模型和存储结构来记录ogg组件信息；ogg组件检测如下：
获取ogg日志文件，根据实际业务考虑每20分钟shell脚本上传文件到指定目标服务器，采集适配器每20分钟执行解析目标服务器执行目录下的日志文件，整理数据并记录ogg运行日志的物理地址、ogg进程类型、进程状态、进程名称、数据延迟时间、检查点延迟时间
获取ogg配置文件，与ogg日志文件解析时间相对应，记录ogg配置文件的进程名、表用户、ogg配置文件中文名、表名称、行信息、ogg文件ip信息等。
3、通过适配器管理对ftp文件解析的任务，构建数据处理过程描述模型和存储结构来记录ftp文件信息，对ftp组件检测如下：
获取服务器指定目录下ftp文件，根据实际业务准点解析ftp文件，记录ftp文件的文件名、ftp文件大小、ftp文件ip信息、内容信息等。
二、数据处理适配器：
4、通过对datahub、blink、dataworks、ogg日志文件、ogg配置文件、ftp文件的监控和解析，实现了对基础数据的采集；设置最小数据采集周期为20分钟执行一次，最大数据采集周期是一天执行一次。因为数据处理需要使用最新的采集数据，所以按照最小数据采集周期来配置数据处理适配器周期。各组件具体处理如下：
ogg数据处理适配器：以ogg配置文件数据为中心，实现与ogg日志文件根据进程名称进行匹配，根据指定规则，梳理出与datahub、blink、dataworks组件的模型链路关系，分析并记录在ogg链路模型中；并统计ogg组件明细信息；
blink数据处理适配器：构建sql解析脚本，从from和join中提取节点信息，与作业数据源和作业数据汇数据验证，根据正则表达式，梳理出与ftp、datahub组件的模型链路关系。
三、模型链路关系：
以ogg数据为中心的链路梳理：通过对各个组件信息的采集，以ogg数据为中心，根据datahub、blink的命名规范，推导出ogg模型在datahub以及blink中的监控节点名称,并与datahub组件日志信息和blink组件信息进行关联，梳理出全链路关系；
以blink组件为中心的链路梳理：通过对blink组件的日志信息，构建sql解析脚本，从节点信息获取，作业数据源和作业数据汇，逆向追溯到元数据。
四、统计影响应用信息：
统计影响应用信息是根据提供的已共享的模型数据，以各个组件对任务节点或者作业的命名规则(如：datahub topic命名规则：dhub_源系统名称_用户名_模型名)为基础，追溯出模型链路关系；并根据梳理出的模型链路关系各节点信息，与ogg组件、ftp服务器文件、datahub组件、blink组件监控信息进行匹配，统计模型数据链路关系中有无异常。
五、统计异常总数：
统计异常总数是统计ogg组件、ftp服务器文件、datahub组件、blink组件等各个组件的异常信息。实现规则：最新数据与上一次数据进行对比，如当数据正常，上一次统计数据异常，则显示为修复数据。
与现行的数据监控方法相比，本实施例可实现全链路数据可视化监控功能，帮助数据管理运维人员直观发现组件异常、延时等情况，无需逐个组件排查，发现问题、解决问题的效率得到很大程度的提高。还可以帮助数据运维人员及时发现有异常组件影响的支撑应用范围，及时规避由此带来的应用业务风险。
以上所述的本发明实施方式，并不构成对本发明保护范围的限定。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明的权利要求保护范围之内。

Claims (9)

1.基于数据中台的数据全链路监控方法，包括以下步骤：
一、数据采集
(1)根据阿里云官方网站提供的各个产品的api，通过对Datahub、Blink、Dataworks组件进行采集适配器数据源配置、采集项目空间配置、执行时间配置来管理对api进行定时检测监控，并构建数据处理过程描述模型和存储结构来记录组件信息；
(2)编写shell脚本，将脚本部署在指定服务器目录下，定时将目录中的文件传送至指定目标服务器目录下，同样通过采集适配器管理页面，对ogg任务的采集适配器管理，来获取ogg的运行日志文件以及ogg的配置文件并构建数据处理过程描述模型和存储结构来记录ogg组件信息；
(3)通过采集适配器管理对ftp文件解析的任务，构建数据处理过程描述模型和存储结构来记录ftp文件信息，对ftp组件检测；
二、数据处理
(4)通过对datahub、blink、dataworks、ogg日志文件、ogg配置文件、ftp文件的监控和解析，实现了对基础数据的采集；设置最小数据采集周期与最大数据采集周期，且根据最小数据采集周期配置数据处理适配器周期。
2.如权利要求1所述的数据全链路监控方法，其特征在于，步骤(1)还包括按如下步骤对所述Datahub、Blink、Dataworks组件进行检测：
根据datahub组件的使用率和实际业务，设置datahub的采集适配器的执行时间为准点执行，通过调用datahub的api获取相关数据，整理数据并记录datahub组件的项目空间名称、节点名称、连接类型、延迟状态、报错异常、入库时间；
根据blink组件的使用率和实际业务，设置blink的采集适配器的执行时间为准点执行，通过调用blink的api获取相关数据，整理数据并记录blink组件的项目空间名称、api类型、延迟、运行状态、异常状态、分配内存、实际内存、内存使用、分配vcore、实际使用vcore、vcore使用率、作业数据源、作业数据汇、bps、tps、写入时间；
根据dataworks组件的使用率和实际业务，设置dataworks的采集适配器的执行时间为每天执行一次，通过调用dataworks的api获取相关数据，整理数据并记录dataworks组件的任务名称、任务描述、任务类型、是否增量、项目来源、源表、目标表、项目空间名称、项目模式、文件内容、调度类型、目标项目空间、状态信息、创建用户名称、执行时间、结束时间、执行耗时、数据大小、内存资源、cpu资源信息。
3.如权利要求1所述的数据全链路监控方法，其特征在于，步骤(2)还包括按如下步骤对所述ogg组件进行检测：
获取ogg日志文件，根据实际业务考虑每20分钟shell脚本上传文件到指定目标服务器，采集适配器每20分钟执行解析目标服务器执行目录下的日志文件，整理数据并记录ogg运行日志的物理地址、ogg进程类型、进程状态、进程名称、数据延迟时间、检查点延迟时间；
获取ogg配置文件，与ogg日志文件解析时间相对应，记录ogg配置文件的进程名、表用户、ogg配置文件中文名、表名称、行信息、ogg文件ip信息。
4.如权利要求1所述的数据全链路监控方法，其特征在于，步骤(3)还包括按如下步骤对ftp组件进行检测：
获取服务器指定目录下ftp文件，根据实际业务准点解析ftp文件，记录ftp文件的文件名、ftp文件大小、ftp文件ip信息、内容信息。
5.如权利要求1所述的数据全链路监控方法，其特征在于，步骤(4)中，所述最小数据采集周期为20分钟执行一次，所述最大数据采集周期为一天执行一次。
6.如权利要求1所述的数据全链路监控方法，其特征在于，步骤(4)还包括以下步骤：
以ogg配置文件数据为中心，实现与ogg日志文件根据进程名称进行匹配，根据指定规则，梳理出与datahub、blink、dataworks组件的模型链路关系，分析并记录在ogg链路模型中；并统计ogg组件明细信息；
构建sql解析脚本，从from和join中提取节点信息，与作业数据源和作业数据汇数据验证，根据正则表达式，梳理出与ftp、datahub组件中的模型链路关系。
7.如权利要求6所述的数据全链路监控方法，其特征在于，所述模型链路关系的梳理包括以下步骤：
以ogg数据为中心的链路梳理：通过对各个组件信息的采集，以ogg数据为中心，根据datahub、blink的命名规范，推导出ogg模型在datahub以及blink中的监控节点名称,并与datahub组件日志信息和blink组件信息进行关联，梳理出全链路关系；
以blink组件为中心的链路梳理：通过对blink组件的日志信息，构建sql解析脚本，从节点信息获取，作业数据源和作业数据汇，逆向追溯到元数据。
8.如权利要求1所述的数据全链路监控方法，其特征在于，还包括统计影响应用信息；所述统计影响应用信息是根据提供的已共享的模型数据，以各个组件对任务节点或者作业的命名规则为基础，追溯出链路关系；并根据梳理出的链路关系各节点信息，与ogg组件、ftp服务器文件、datahub组件、blink组件监控信息进行匹配，统计模型数据链路关系中有无异常。
9.如权利要求1所述的数据全链路监控方法，其特征在于，还包括统计异常总数；所述统计异常总数是统计ogg组件、ftp服务器文件、datahub组件、blink组件的异常信息；实现规则：最新数据与上一次数据进行对比，如当数据正常，上一次统计数据异常，则显示为修复数据。
CN202011410534.3A 2020-12-04 2020-12-04 基于数据中台的数据全链路监控方法 Active CN112559280B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011410534.3A CN112559280B (zh) 2020-12-04 2020-12-04 基于数据中台的数据全链路监控方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011410534.3A CN112559280B (zh) 2020-12-04 2020-12-04 基于数据中台的数据全链路监控方法

Publications (2)

Publication Number Publication Date
CN112559280A true CN112559280A (zh) 2021-03-26
CN112559280B CN112559280B (zh) 2023-08-22

Family

ID=75048630

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011410534.3A Active CN112559280B (zh) 2020-12-04 2020-12-04 基于数据中台的数据全链路监控方法

Country Status (1)

Country Link
CN (1) CN112559280B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113468159A (zh) * 2021-07-19 2021-10-01 广东电网有限责任公司 一种数据应用全链路管控方法及系统
CN113590240A (zh) * 2021-04-30 2021-11-02 国网江苏省电力有限公司信息通信分公司 一种基于内外网的电力抢修业务网格化管理展示方法
CN113961546A (zh) * 2021-10-27 2022-01-21 国网江苏省电力有限公司营销服务中心 一种支持在线分析统计的实时查询库设计方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110191630A1 (en) * 2010-01-29 2011-08-04 International Business Machines Corporation Diagnosing a fault incident in a data center
US20180096001A1 (en) * 2016-09-15 2018-04-05 Gb Gas Holdings Limited System for importing data into a data repository
CN109685352A (zh) * 2018-12-18 2019-04-26 国网浙江省电力有限公司 一种智能管控联动的设备检修方法及系统
CN109962792A (zh) * 2017-12-22 2019-07-02 南京欣网互联网络科技有限公司 一种基于大数据的全链路监控系统
CN110351131A (zh) * 2019-06-28 2019-10-18 北京奇才天下科技有限公司 一种用于分布式链路的监控方法、装置和电子设备
CN110661657A (zh) * 2019-09-23 2020-01-07 中国—东盟信息港股份有限公司 一种Kubernetes云原生应用的网络安全监控方法及其系统
CN111045791A (zh) * 2019-12-16 2020-04-21 武汉智领云科技有限公司 一种大数据容器化中心调度系统和方法
CN111104454A (zh) * 2019-12-19 2020-05-05 国网湖南省电力有限公司 面向云上电网监视需求的多维度数据处理方法、系统及介质
CN111125152A (zh) * 2019-12-26 2020-05-08 积成电子股份有限公司 一种基于数据处理过程模型的全链路数据管控方法
CN111667305A (zh) * 2020-05-24 2020-09-15 杭州云徙科技有限公司 一种数字中台系统、构建方法及应用方法
CN111984709A (zh) * 2019-05-23 2020-11-24 云南青年学园科技有限公司 可视化大数据中台-资源调用和算法
CN112015733A (zh) * 2020-08-04 2020-12-01 国家电网有限公司客户服务中心 一种电力客服营配业务海量数据存储及快速查询方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110191630A1 (en) * 2010-01-29 2011-08-04 International Business Machines Corporation Diagnosing a fault incident in a data center
US20180096001A1 (en) * 2016-09-15 2018-04-05 Gb Gas Holdings Limited System for importing data into a data repository
CN109962792A (zh) * 2017-12-22 2019-07-02 南京欣网互联网络科技有限公司 一种基于大数据的全链路监控系统
CN109685352A (zh) * 2018-12-18 2019-04-26 国网浙江省电力有限公司 一种智能管控联动的设备检修方法及系统
CN111984709A (zh) * 2019-05-23 2020-11-24 云南青年学园科技有限公司 可视化大数据中台-资源调用和算法
CN110351131A (zh) * 2019-06-28 2019-10-18 北京奇才天下科技有限公司 一种用于分布式链路的监控方法、装置和电子设备
CN110661657A (zh) * 2019-09-23 2020-01-07 中国—东盟信息港股份有限公司 一种Kubernetes云原生应用的网络安全监控方法及其系统
CN111045791A (zh) * 2019-12-16 2020-04-21 武汉智领云科技有限公司 一种大数据容器化中心调度系统和方法
CN111104454A (zh) * 2019-12-19 2020-05-05 国网湖南省电力有限公司 面向云上电网监视需求的多维度数据处理方法、系统及介质
CN111125152A (zh) * 2019-12-26 2020-05-08 积成电子股份有限公司 一种基于数据处理过程模型的全链路数据管控方法
CN111667305A (zh) * 2020-05-24 2020-09-15 杭州云徙科技有限公司 一种数字中台系统、构建方法及应用方法
CN112015733A (zh) * 2020-08-04 2020-12-01 国家电网有限公司客户服务中心 一种电力客服营配业务海量数据存储及快速查询方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘雪剑等: "基于国网云平台的数据治理框架研究及分析应用", 《电子技术与软件工程》 *
遥誉信息: "数据中台 业务应用典型场景", Retrieved from the Internet <URL:https://blog.csdn.net/yzg686114/article/details/106334692/> *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113590240A (zh) * 2021-04-30 2021-11-02 国网江苏省电力有限公司信息通信分公司 一种基于内外网的电力抢修业务网格化管理展示方法
CN113468159A (zh) * 2021-07-19 2021-10-01 广东电网有限责任公司 一种数据应用全链路管控方法及系统
CN113961546A (zh) * 2021-10-27 2022-01-21 国网江苏省电力有限公司营销服务中心 一种支持在线分析统计的实时查询库设计方法

Also Published As

Publication number Publication date
CN112559280B (zh) 2023-08-22

Similar Documents

Publication Publication Date Title
CN112559280A (zh) 基于数据中台的数据全链路监控方法
CN109582551B (zh) 日志数据解析方法、装置、计算机设备和存储介质
CN100451989C (zh) 软件测试系统及测试方法
CN109739742B (zh) 业务数据核对方法、装置及设备
EP2779044A1 (en) System and method to provide management of test data at various lifecycle stages
CN104036365A (zh) 一种企业级数据服务平台建设方法
CN104866580A (zh) 一种数据库变更对现有业务影响的快速侦测方法
CN111125116B (zh) 定位业务表中代码字段及对应代码表的方法及系统
CN114416855A (zh) 一种基于电力大数据的可视化平台及方法
CN113468019A (zh) 基于Hbase的指标监控方法、装置、设备及存储介质
CN114880405A (zh) 一种基于数据湖的数据处理方法及系统
CN112347071A (zh) 一种配电网云平台数据融合方法及配电网云平台
CN103117878A (zh) 一种基于Nagios的分布式监控系统的设计方法
CN105302730A (zh) 一种检测计算模型的方法、测试服务器及业务平台
WO2015196885A1 (zh) 云计算系统的性能数据的采集与存储方法及装置
CN111274056B (zh) 智能电能表故障库的自学习方法与装置
CN112598142B (zh) 一种风电机组检修工作质量审查辅助方法与系统
CN110377519A (zh) 大数据系统的性能容量测试方法、装置、设备及存储介质
CN110750582A (zh) 数据处理方法、装置和系统
Liu et al. System anomaly detection in distributed systems through MapReduce-Based log analysis
CN112650739A (zh) 煤矿数据中台的数据存储处理方法和装置
CN111639016A (zh) 大数据日志分析方法、装置及计算机存储介质
CN116578612A (zh) 锂电池成品检测数据资产构建方法
Kaur et al. Performance analysis in bigdata
CN111797084B (zh) 基于武器装备试验流程的数据编码贯标检查方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant