CN108388495A - 一种数据监控方法及系统 - Google Patents

一种数据监控方法及系统 Download PDF

Info

Publication number
CN108388495A
CN108388495A CN201810024225.9A CN201810024225A CN108388495A CN 108388495 A CN108388495 A CN 108388495A CN 201810024225 A CN201810024225 A CN 201810024225A CN 108388495 A CN108388495 A CN 108388495A
Authority
CN
China
Prior art keywords
monitored
monitoring
data
project
configuration file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201810024225.9A
Other languages
English (en)
Inventor
王勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lianjia Beijing Technology Co Ltd
Original Assignee
Lianjia Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lianjia Beijing Technology Co Ltd filed Critical Lianjia Beijing Technology Co Ltd
Priority to CN201810024225.9A priority Critical patent/CN108388495A/zh
Publication of CN108388495A publication Critical patent/CN108388495A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3089—Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
    • G06F11/3093—Configuration details thereof, e.g. installation, enabling, spatial arrangement of the probes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/324—Display of status information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/324—Display of status information
    • G06F11/327—Alarm or error message display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/80—Database-specific techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/875—Monitoring of systems including the internet

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种数据监控方法及系统，方法包括：获取用户选择的待监控项目，根据待监控项目从预先存储的监控配置文件库中获取与待监控项目对应的监控配置文件，监控配置文件中至少包括监控规则和拓扑依赖关系；根据拓扑依赖关系获取待监控项目中各项待监控数据的监控顺序，按照监控顺序并利用监控规则依次对各项待监控数据进行监控，依次获得各项待监控数据的监控结果；按照拓扑依赖关系，将各项待监控数据的监控结果进行存储，无需编写程序即可实现监控规则的配置，节省了研发人力和时间，有效提升了用户体验；同时，通过拓扑依赖关系能够对各项待监控数据的上游数据进行准确监控，进而确保监控结果的准确性，并能够准确定位异常数据的位置。

Description

一种数据监控方法及系统
技术领域
本发明涉及计算机技术领域，更具体地，涉及一种数据监控方法及系统。
背景技术
大数据是一个庞大的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征，其涉及数据创建、存储、检索和分析等。每天有大量的新增数据存储在大数据中，如果某项数据出现异常，则将影响后期数据的产生。因此，及时发现大数据中异常的数据，对整个大数据是非常重要的。
Hadoop和HIVE是目前业界广泛使用的数据存储以及查询的分布式解决方案。HIVE，是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql(Structured Query Language，结构化查询语言)查询功能，可以将sql语句转换为MapReduce(映射化简)任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。
HDFS(Hadoop分布式文件系统)被设计成适合运行在通用硬件(commodityhardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX(PortableOperatingSystemInterface，可移植操作系统接口)标准的约束，来实现流式读取文件系统数据的目的。现有技术中HDFS中的数据监控包括对数据进行验平(即，数据量的平衡性验证，用于验证数据量处于平衡状态，属于系统数据监控方式的一种)。
然而，现有技术中针对不同的监控规则均需要在后台进行程序编写来实现，但是对于大部分用户来说，并没有相关的研发背景，无法按照实际的监控需求编写程序来实现对数据的监控，且现有的监控规则并不通用，需要对不同的监控规则分别编写监控程序，整个过程需要耗费大量的人力和时间。此外，现有的数据监控方式仅仅对单一的数据进行监控，而数据往往是存在依赖关系的，对于下游的数据而言，当且仅当上游数据的监控结果为正常时，才能确保下游数据的监控结果正常。
发明内容
本发明为了克服现有技术中的数据监控方法存在的针对不同的监控规则均需后台编写程序来实现对数据的监控，需耗费大量的人力和时间，同时并没有考虑数据之间的依赖关系，难以确保监控结果的准确性的问题，提供一种数据监控方法及系统。
一方面，本发明提供一种数据监控方法，包括：
S1，获取用户选择的待监控项目，根据所述待监控项目从预先存储的监控配置文件库中获取与所述待监控项目对应的监控配置文件，所述监控配置文件中至少包括监控规则和拓扑依赖关系；
S2，根据所述拓扑依赖关系获取所述待监控项目中各项待监控数据的监控顺序，按照所述监控顺序并利用所述监控规则依次对各项所述待监控数据进行监控，依次获得各项所述待监控数据的监控结果；
S3，按照所述拓扑依赖关系，将各项所述待监控数据的监控结果进行存储。
优选地，所述步骤S1之前还包括：接收用户输入的所述待监控项目和所述待监控项目对应的监控配置信息，根据所述监控配置信息生成所述监控配置文件，并将所述监控配置文件与所述监控项目关联进行存储。
优选地，所述监控配置文件中还包括项目负责人信息；
相应地，所述步骤S3之后还包括：当至少一项所述待监控数据的监控结果为异常时，向所述项目负责人发送警示信息。
优选地，所述监控配置文件中还包括监控周期，相应地，所述步骤S2还包括：根据所述监控周期对各项所述待监控数据进行周期性地监控。
优选地，所述监控配置文件中还包括结果统计周期，相应地，所述步骤S3之后还包括：按照所述结果统计周期，将各项所述待监控数据的监控结果发送给所述项目负责人。
优选地，所述步骤S3之后还包括：利用有向无环图对所述监控结果进行展示。
一方面，本发明提供一种数据监控系统，包括：
监控任务获取模块，用于获取用户选择的待监控项目，根据所述待监控项目从预先存储的监控配置文件库中获取与所述待监控项目对应的监控配置文件，所述监控配置文件中至少包括监控规则和拓扑依赖关系；
数据监控模块，用于根据所述拓扑依赖关系获取所述待监控项目中各项待监控数据的监控顺序，按照所述监控顺序并利用所述监控规则依次对各项所述待监控数据进行监控，依次获得各项所述待监控数据的监控结果；
监控结果存储模块，用于按照所述拓扑依赖关系，将各项所述待监控数据的监控结果进行存储。
优选地，还包括：数据监控配置模块，用于接收用户输入的所述待监控项目和所述待监控项目对应的监控配置信息，根据所述监控配置信息生成所述监控配置文件，并将所述监控配置文件与所述监控项目关联进行存储。
一方面，本发明提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行所述数据监控方法。
一方面，本发明提供一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行所述数据监控方法。
本发明提供的一种数据监控方法及系统，用户可以根据实际需求对待监控的数据的监控规则进行配置，无需编写程序即可实现监控规则的配置，节省了研发人力和时间，有效提升了用户体验；同时，用户可以根据实际情况配置待监控数据的拓扑依赖关系，使得系统能够根据用户配置的拓扑依赖关系对待监控数据进行有序监控，当存在数据异常时，能够准确定位异常数据的位置，同时能够对各项待监控数据的上游数据进行准确监控，进而确保监控结果的准确性。
附图说明
图1为本发明实施例的一种数据监控方法的整体流程示意图；
图2为本发明实施例的一种数据监控系统的整体结构示意图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
图1为本发明实施例的一种数据监控方法的整体流程示意图，如图1所示，本发明提供一种数据监控方法，包括：
S1，获取用户选择的待监控项目，根据所述待监控项目从预先存储的监控配置文件库中获取与所述待监控项目对应的监控配置文件，所述监控配置文件中至少包括监控规则和拓扑依赖关系；
S2，根据所述拓扑依赖关系获取所述待监控项目中各项待监控数据的监控顺序，按照所述监控顺序并利用所述监控规则依次对各项所述待监控数据进行监控，依次获得各项所述待监控数据的监控结果；
S3，按照所述拓扑依赖关系，将各项所述待监控数据的监控结果进行存储。
具体地，在实际应用中，当用户需要对数据进行监控时，需先创建对应的监控项目，在创建监控项目时，用户需在系统中写入监控项目的名称和监控项目的相关负责人。在完成监控项目的创建后，针对创建的监控项目，用户可以根据实际需求配置监控项目相关的监控配置信息，系统根据用户配置的监控配置信息生成监控项目对应的监控配置文件，并将监控配置文件和监控项目关联存储在监控配置文件库中。其中监控配置信息至少包括：监控项目的监控规则和监控项目中各数据的拓扑依赖关系，拓扑依赖关系具体可以采用有向无环图的形式进行存储，拓扑依赖关系中清楚地表明了某一节点数据的上游节点数据。
进一步地，在用户完成监控项目的监控配置文件的配置后，用户选择并向系统提交待监控的项目，系统根据用户提交的待监控的项目，从预先存储的监控配置文件库中查询与待监控项目对应的监控配置文件，由此通过监控配置文件获取待监控项目对应的监控规则和各项待监控数据的拓扑依赖关系。
进一步地，由于拓扑依赖关系中将各项待监控数据进行有向连接，将各项待监控数据有向连接的顺序作为各项待监控数据的监控顺序，故而可以通过拓扑依赖关系获得各项待监控数据的监控顺序。系统再按照获得的监控顺序，并利用上述获得的对应监控规则依次对各项待监控数据进行监控，系统将判断各项待监控数据是否符合对应的监控规则，进而依次获得各项待监控数据的监控结果。
进一步地，对于获得的各项待监控数据的监控结果，系统将按照拓扑依赖关系，例如可以采用有向无环图的形式，对各项待监控数据的监控结果进行存储，同时对于有向无环图中各节点的各项待监控的数据的不同监控结果可以用不同的颜色进行醒目标识，可以用绿色标识代指该节点的待监控数据的监控结果为正常，可以用红色标识代指该节点的待监控数据的监控结果为异常。由此，可以通过有向无环图清晰地体现各项待监控数据的监控结果。
本发明提供的一种数据监控方法，用户可以根据实际需求对待监控的数据的监控规则进行配置，无需编写程序即可实现监控规则的配置，节省了研发人力和时间，有效提升了用户体验；同时，用户可以根据实际情况配置待监控数据的拓扑依赖关系，使得系统能够根据用户配置的拓扑依赖关系对待监控数据进行有序监控，当存在数据异常时，能够准确定位异常数据的位置，同时能够对各项待监控数据的上游数据进行准确监控，进而确保监控结果的准确性。
基于上述任一实施例，提供一种数据监控方法，所述步骤S1之前还包括：接收用户输入的所述待监控项目和所述待监控项目对应的监控配置信息，根据所述监控配置信息生成所述监控配置文件，并将所述监控配置文件与所述监控项目关联进行存储。
具体地，本实施例中，用户可以预先配置监控项目的监控配置信息，当用户需要对某些数据进行监控时，用户需首先针对待监控的数据创建待监控项目，在创建待监控项目时，用户需在系统中写入待监控项目的名称和待监控项目的相关负责人。在完成监控项目的创建后，针对创建的待监控项目，用户可以根据实际需求配置待监控项目相关的监控配置信息，系统根据用户配置的监控配置信息生成待监控项目对应的监控配置文件，并将监控配置文件和待监控项目关联存储在监控配置文件库中。其中监控配置信息至少包括：监控项目的监控规则和监控项目中各数据的拓扑依赖关系，拓扑依赖关系具体可以采用有向无环图的形式进行存储，拓扑依赖关系中清楚地表明了某一节点数据的上游节点数据。
此外，上述监控配置信息中还包括待监控数据的数据地址和数据类型，其中系统根据数据地址能够准确查找到待监控数据，并通过对比数据类型准确定位待监控数据，进而实现对待监控数据的有效监控。对于不同时间产生的相同数据，可以将数据的产生时间作为数据地址的一部分，以有效区分不同时间产生的相同数据。
本发明提供的一种数据监控方法，用户可以根据实际需求对待监控的数据的监控规则进行配置，无需编写程序即可实现监控规则的配置，节省了研发人力和时间，有效提升了用户体验。
基于上述任一实施例，提供一种数据监控方法，所述监控配置文件中还包括项目负责人信息；
相应地，所述步骤S3之后还包括：当至少一项所述待监控数据的监控结果为异常时，向所述项目负责人发送警示信息。
具体地，用户针对待监控项目配置的监控配置文件中，还需针对待监控的项目配置相应的项目负责人信息。在此基础上，系统根据待监控项目，获取待监控项目对应的监控规则和拓扑依赖关系，根据拓扑依赖关系确定待监控项目中各项待监控数据的监控顺序，按照监控顺序并利用监控规则依次对各项待监控数据就那些监控，当待监控项目中任意一项待监控数据的监控结果为异常时，系统将向预先配置的待监控项目对应的项目负责人发送警示信息。
进一步地，系统可以通过邮件或短信等形式向用户发送警示信息，同时采用有向无环图的形式向用户展示各项待监控数据的监控结果，同时通过醒目标识将监控结果为异常的数据显示出来，以便于用户能够快速定位异常数据。
本发明提供的一种数据监控方法，当待监控项目中的各项待监控数据中存在监控结果为异常的数据时，系统能够及时向项目负责人发送警示信息，以便于项目负责人及时发现异常数据，以免异常数据对后期数据的影响。
基于上述任一实施例，提供一种数据监控方法，所述监控配置文件中还包括监控周期，相应地，所述步骤S2还包括：根据所述监控周期对各项所述待监控数据进行周期性地监控。
具体地，鉴于大部分数据的变化是周期性地，在确保对数据进行有效监控的同时，为了进一步降低系统的监控负担，本实施例中，用户还可以对待监控项目的监控周期进行配置，用户可以结合实际情况对不同的待监控项目配置不同的监控周期，监控周期可以为每天、每小时或每分钟，由此，系统可以根据监控周期对待监控项目中的各项待监控数据进行周期性地监控。
本发明提供的一种数据监控方法，用户可以结合实际需求设置待监控项目的监控周期，系统根据监控周期对待监控项目中的各项待监控数据进行周期性地监控，确保对数据进行有效监控的同时，一定程度上降低了系统的监控负担，有利于提高系统的整体监控效率。
基于上述任一实施例，提供一种数据监控方法，所述监控配置文件中还包括结果统计周期，相应地，所述步骤S3之后还包括：按照所述结果统计周期，将各项所述待监控数据的监控结果发送给所述项目负责人。
具体地，为了便于用户掌握数据监控的结果，用户在配置监控项目的监控配置信息时，还可以给每个监控项目配置对应的结果统计周期，并将配置的结果统计周期存储在监控配置文件中。当进行实际数据监控时，系统获得用户选择的待监控项目对应的监控配置文件后，按照监控配置文件中预先配置的结果统计周期，将待监控项目中各项监控数据的监控结果发送给对应的项目负责人。由此，便于项目负责人周期性地统计各项待监控数据的监控结果，进而能够全面掌握各项待监控数据的监控结果，以便于及时发现异常数据。
本发明提供的一种数据监控方法，用户可以针对待监控项目配置对应的结果统计周期，系统按照结果统计周期将待监控项目中各项待监控数据的监控结果发送给项目负责人，有利于项目负责人及时发现并定位异常数据，有效避免异常数据对后期数据的影响。
基于上述任一实施例，提供一种数据监控方法，所述步骤S3之后还包括：利用有向无环图对所述监控结果进行展示。
具体地，由于数据之间是存在依赖关系的，用户针对待监控项目配置的拓扑依赖关系即表明各项待监控数据之间的依赖关系，故而在对其中某一项待监控数据进行监控时，系统将根据拓扑依赖关系，将该项待监控数据对应的上游数据进行监控，进而依次完成对各项待监控数据的监控，并按照拓扑依赖关系，将各项待监控数据的结果进行存储，并按照用户预先配置的结果统计周期，将各项待监控数据的监控结果发送给用户，并按照拓扑依赖关系将各项待监控数据的监控结果以有向无环图的形式进行展示，便于用户清楚定位异常数据的位置，有效提升了用户体验。
本发明提供的一种数据监控方法，系统根据用户预先配置的拓扑依赖关系，利用有向无环图对监控结果进行展示，便于用户及时准确地定位异常数据的位置，并能够有效确保监控结果的准确性，进一步提升了用户体验。
图2为本发明实施例的一种数据监控系统的整体结构示意图，如图2所示，本发明提供一种数据监控系统，包括：
监控任务获取模块1，用于获取用户选择的待监控项目，根据所述待监控项目从预先存储的监控配置文件库中获取与所述待监控项目对应的监控配置文件，所述监控配置文件中至少包括监控规则和拓扑依赖关系；
数据监控模块2，用于根据所述拓扑依赖关系获取所述待监控项目中各项待监控数据的监控顺序，按照所述监控顺序并利用所述监控规则依次对各项所述待监控数据进行监控，依次获得各项所述待监控数据的监控结果；
监控结果存储模块3，用于按照所述拓扑依赖关系，将各项所述待监控数据的监控结果进行存储。
具体地，在用户完成监控项目的监控配置文件的配置后，用户选择并向系统提交待监控的项目，监控任务获取模块1根据用户提交的待监控的项目，从预先存储的监控配置文件库中查询与待监控项目对应的监控配置文件，监控配置文件预先存储了用户配置的监控配置信息，包括监控规则和拓扑依赖关系。由此，监控任务获取模块1能够通过监控配置文件获取待监控项目对应的监控规则和各项待监控数据的拓扑依赖关系。
进一步地，由于拓扑依赖关系中将各项待监控数据进行有向连接，由此，数据监控模块2将各项待监控数据有向连接的顺序作为各项待监控数据的监控顺序，故而可以通过拓扑依赖关系获得各项待监控数据的监控顺序。数据监控模块2再按照获得的监控顺序，并利用上述获得的对应监控规则依次对各项待监控数据进行监控，数据监控模块2将判断各项待监控数据是否符合对应的监控规则，进而依次获得各项待监控数据的监控结果。
进一步地，对于获得的各项待监控数据的监控结果，监控结果存储模块3将按照拓扑依赖关系，例如可以采用有向无环图的形式，对各项待监控数据的监控结果进行存储，同时对于有向无环图中各节点的各项待监控的数据的不同监控结果可以用不同的颜色进行醒目标识，可以用绿色标识代指该节点的待监控数据的监控结果为正常，可以用红色标识代指该节点的待监控数据的监控结果为异常。由此，可以通过有向无环图清晰地体现各项待监控数据的监控结果。
本发明提供的一种数据监控系统，用户可以根据实际需求对待监控的数据的监控规则进行配置，无需编写程序即可实现监控规则的配置，节省了研发人力和时间，有效提升了用户体验；同时，用户可以根据实际情况配置待监控数据的拓扑依赖关系，使得系统能够根据用户配置的拓扑依赖关系对待监控数据进行有序监控，当存在数据异常时，能够准确定位异常数据的位置，同时能够对各项待监控数据的上游数据进行准确监控，进而确保监控结果的准确性。
基于上述任一实施例，提供一种数据监控系统，还包括：数据监控配置模块，用于接收用户输入的所述待监控项目和所述待监控项目对应的监控配置信息，根据所述监控配置信息生成所述监控配置文件，并将所述监控配置文件与所述监控项目关联进行存储。
具体地，本实施例中，用户可以预先配置监控项目的监控配置信息，当用户需要对某些数据进行监控时，用户需首先利用数据监控配置模块针对待监控的数据创建待监控项目，在创建待监控项目时，用户需在数据监控配置模块中写入待监控项目的名称和待监控项目的相关负责人。在完成监控项目的创建后，针对创建的待监控项目，用户可以根据实际需求利用数据监控配置模块配置待监控项目相关的监控配置信息，数据监控配置模块根据用户配置的监控配置信息生成待监控项目对应的监控配置文件，并将监控配置文件和待监控项目关联存储在监控配置文件库中。其中监控配置信息至少包括：监控项目的监控规则和监控项目中各数据的拓扑依赖关系，拓扑依赖关系具体可以采用有向无环图的形式进行存储，拓扑依赖关系中清楚地表明了某一节点数据的上游节点数据。
此外，上述监控配置信息中还包括待监控数据的数据地址和数据类型，其中数据监控模块根据数据地址能够准确查找到待监控数据，并通过对比数据类型准确定位待监控数据，进而实现对待监控数据的有效监控。对于不同时间产生的相同数据，可以将数据的产生时间作为数据地址的一部分，以有效区分不同时间产生的相同数据。
本发明提供的一种数据监控系统，用户可以根据实际需求对待监控的数据的监控规则进行配置，无需编写程序即可实现监控规则的配置，节省了研发人力和时间，有效提升了用户体验。
基于上述任一实施例，提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：获取用户选择的待监控项目，根据待监控项目从预先存储的监控配置文件库中获取与待监控项目对应的监控配置文件，监控配置文件中至少包括监控规则和拓扑依赖关系；根据拓扑依赖关系获取待监控项目中各项待监控数据的监控顺序，按照监控顺序并利用监控规则依次对各项待监控数据进行监控，依次获得各项待监控数据的监控结果；按照拓扑依赖关系，将各项待监控数据的监控结果进行存储。
基于上述任一实施例，提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：获取用户选择的待监控项目，根据待监控项目从预先存储的监控配置文件库中获取与待监控项目对应的监控配置文件，监控配置文件中至少包括监控规则和拓扑依赖关系；根据拓扑依赖关系获取待监控项目中各项待监控数据的监控顺序，按照监控顺序并利用监控规则依次对各项待监控数据进行监控，依次获得各项待监控数据的监控结果；按照拓扑依赖关系，将各项待监控数据的监控结果进行存储。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
综合上述，本发明提供的一种数据监控方法及系统，用户可以根据实际需求对待监控的数据的监控规则进行配置，无需编写程序即可实现监控规则的配置，节省了研发人力和时间，有效提升了用户体验；同时，用户可以根据实际情况配置待监控数据的拓扑依赖关系，使得系统能够根据用户配置的拓扑依赖关系对待监控数据进行有序监控，当存在数据异常时，能够准确定位异常数据的位置，同时能够对各项待监控数据的上游数据进行准确监控，进而确保监控结果的准确性。
最后，本申请的方法仅为较佳的实施方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据监控方法，其特征在于，包括：
S1，获取用户选择的待监控项目，根据所述待监控项目从预先存储的监控配置文件库中获取与所述待监控项目对应的监控配置文件，所述监控配置文件中至少包括监控规则和拓扑依赖关系；
S2，根据所述拓扑依赖关系获取所述待监控项目中各项待监控数据的监控顺序，按照所述监控顺序并利用所述监控规则依次对各项所述待监控数据进行监控，依次获得各项所述待监控数据的监控结果；
S3，按照所述拓扑依赖关系，将各项所述待监控数据的监控结果进行存储。
2.根据权利要求1所述的方法，其特征在于，所述步骤S1之前还包括：接收用户输入的所述待监控项目和所述待监控项目对应的监控配置信息，根据所述监控配置信息生成所述监控配置文件，并将所述监控配置文件与所述监控项目关联进行存储。
3.根据权利要求1所述的方法，其特征在于，所述监控配置文件中还包括项目负责人信息；
相应地，所述步骤S3之后还包括：当至少一项所述待监控数据的监控结果为异常时，向所述项目负责人发送警示信息。
4.根据权利要求1所述的方法，其特征在于，所述监控配置文件中还包括监控周期，相应地，所述步骤S2还包括：根据所述监控周期对各项所述待监控数据进行周期性地监控。
5.根据权利要求3所述的方法，其特征在于，所述监控配置文件中还包括结果统计周期，相应地，所述步骤S3之后还包括：按照所述结果统计周期，将各项所述待监控数据的监控结果发送给所述项目负责人。
6.根据权利要求5所述的方法，其特征在于，所述步骤S3之后还包括：利用有向无环图对所述监控结果进行展示。
7.一种数据监控系统，其特征在于，包括：
监控任务获取模块，用于获取用户选择的待监控项目，根据所述待监控项目从预先存储的监控配置文件库中获取与所述待监控项目对应的监控配置文件，所述监控配置文件中至少包括监控规则和拓扑依赖关系；
数据监控模块，用于根据所述拓扑依赖关系获取所述待监控项目中各项待监控数据的监控顺序，按照所述监控顺序并利用所述监控规则依次对各项所述待监控数据进行监控，依次获得各项所述待监控数据的监控结果；
监控结果存储模块，用于按照所述拓扑依赖关系，将各项所述待监控数据的监控结果进行存储。
8.根据权利要求7所述的系统，其特征在于，还包括：数据监控配置模块，用于接收用户输入的所述待监控项目和所述待监控项目对应的监控配置信息，根据所述监控配置信息生成所述监控配置文件，并将所述监控配置文件与所述监控项目关联进行存储。
9.一种计算机程序产品，其特征在于，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行如权利要求1至6任一所述的方法。
10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至6任一所述的方法。
CN201810024225.9A 2018-01-10 2018-01-10 一种数据监控方法及系统 Withdrawn CN108388495A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810024225.9A CN108388495A (zh) 2018-01-10 2018-01-10 一种数据监控方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810024225.9A CN108388495A (zh) 2018-01-10 2018-01-10 一种数据监控方法及系统

Publications (1)

Publication Number Publication Date
CN108388495A true CN108388495A (zh) 2018-08-10

Family

ID=63077111

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810024225.9A Withdrawn CN108388495A (zh) 2018-01-10 2018-01-10 一种数据监控方法及系统

Country Status (1)

Country Link
CN (1) CN108388495A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109144819A (zh) * 2018-08-20 2019-01-04 郑州云海信息技术有限公司 一种服务器的监控方法和装置
CN110096415A (zh) * 2019-05-15 2019-08-06 北京首汽智行科技有限公司 一种基于拓扑关系的数据监测方法
CN110597695A (zh) * 2019-08-29 2019-12-20 浙江大搜车软件技术有限公司 报警方法、装置、计算机设备和可读存储介质
CN110837453A (zh) * 2019-11-01 2020-02-25 山东中创软件商用中间件股份有限公司 一种公文交换平台的监控方法及相关装置
CN111475275A (zh) * 2020-05-19 2020-07-31 北京爱笔科技有限公司 一种调度方法及调度服务器
CN112052134A (zh) * 2020-07-21 2020-12-08 北京奇艺世纪科技有限公司 一种业务数据的监控方法及装置
CN113377608A (zh) * 2021-05-19 2021-09-10 广州有信科技有限公司 一种任务异常的告警方法、装置、终端设备及存储介质
CN113835960A (zh) * 2021-09-23 2021-12-24 中国人民解放军63920部队 一种航天测控软件研发状态监控标记方法及装置
CN115134224A (zh) * 2022-08-31 2022-09-30 杭州玳数科技有限公司 Dag图的监控方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103577232A (zh) * 2013-11-04 2014-02-12 交通银行股份有限公司 面向应用的集群式部署it架构环境的方法及设备
CN103605722A (zh) * 2013-11-15 2014-02-26 北京奇虎科技有限公司 数据库监控方法及装置、设备
CN105183610A (zh) * 2015-09-22 2015-12-23 浪潮集团有限公司 一种基于资源依赖关系的云数据中心业务监控系统及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103577232A (zh) * 2013-11-04 2014-02-12 交通银行股份有限公司 面向应用的集群式部署it架构环境的方法及设备
CN103605722A (zh) * 2013-11-15 2014-02-26 北京奇虎科技有限公司 数据库监控方法及装置、设备
CN105183610A (zh) * 2015-09-22 2015-12-23 浪潮集团有限公司 一种基于资源依赖关系的云数据中心业务监控系统及方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109144819A (zh) * 2018-08-20 2019-01-04 郑州云海信息技术有限公司 一种服务器的监控方法和装置
CN110096415A (zh) * 2019-05-15 2019-08-06 北京首汽智行科技有限公司 一种基于拓扑关系的数据监测方法
CN110597695A (zh) * 2019-08-29 2019-12-20 浙江大搜车软件技术有限公司 报警方法、装置、计算机设备和可读存储介质
CN110837453A (zh) * 2019-11-01 2020-02-25 山东中创软件商用中间件股份有限公司 一种公文交换平台的监控方法及相关装置
CN110837453B (zh) * 2019-11-01 2023-09-01 山东中创软件商用中间件股份有限公司 一种公文交换平台的监控方法及相关装置
CN111475275A (zh) * 2020-05-19 2020-07-31 北京爱笔科技有限公司 一种调度方法及调度服务器
CN112052134A (zh) * 2020-07-21 2020-12-08 北京奇艺世纪科技有限公司 一种业务数据的监控方法及装置
CN113377608A (zh) * 2021-05-19 2021-09-10 广州有信科技有限公司 一种任务异常的告警方法、装置、终端设备及存储介质
CN113835960A (zh) * 2021-09-23 2021-12-24 中国人民解放军63920部队 一种航天测控软件研发状态监控标记方法及装置
CN115134224A (zh) * 2022-08-31 2022-09-30 杭州玳数科技有限公司 Dag图的监控方法及系统

Similar Documents

Publication Publication Date Title
CN108388495A (zh) 一种数据监控方法及系统
US20170109657A1 (en) Machine Learning-Based Model for Identifying Executions of a Business Process
US20180248771A1 (en) Monitoring and auto-correction systems and methods for microservices
US20170109676A1 (en) Generation of Candidate Sequences Using Links Between Nonconsecutively Performed Steps of a Business Process
US9298520B2 (en) Generating a sequence of instructions on the basis of a dependency chart generated through application of at least one dependency rule
US20160085399A1 (en) Real Time Streaming Analytics Platform
CN102968374B (zh) 一种数据仓库测试方法
US20170109668A1 (en) Model for Linking Between Nonconsecutively Performed Steps in a Business Process
US20170109667A1 (en) Automaton-Based Identification of Executions of a Business Process
US20170109639A1 (en) General Model for Linking Between Nonconsecutively Performed Steps in Business Processes
CN107506389A (zh) 一种提取职位技能需求的方法和装置
Zhu et al. Monitoring big process data of industrial plants with multiple operating modes based on Hadoop
US20170109638A1 (en) Ensemble-Based Identification of Executions of a Business Process
CN108768790A (zh) 分布式搜索集群监控方法及装置、计算设备、存储介质
Kaplunovich et al. Cloud big data decision support system for machine learning on AWS: Analytics of analytics
US10904126B2 (en) Automated generation and dynamic update of rules
CN109284331A (zh) 基于业务数据资源的制证信息获取方法、终端设备及介质
US20170109640A1 (en) Generation of Candidate Sequences Using Crowd-Based Seeds of Commonly-Performed Steps of a Business Process
Sharma et al. Multi-agents based data mining for intelligent decision support systems
US9876671B2 (en) Method and device for processing commands in a set of components of a computer system
US20170109670A1 (en) Crowd-Based Patterns for Identifying Executions of Business Processes
US20170109637A1 (en) Crowd-Based Model for Identifying Nonconsecutive Executions of a Business Process
Almeida et al. A comprehensive overview of open source big data platforms and frameworks
Abdullahi et al. Big data: performance profiling of meteorological and oceanographic data on hive
CN114329938A (zh) 系统可靠性分析方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20180810