CN112291114A - 一种数据源监控方法、系统、电子设备及存储介质 - Google Patents

一种数据源监控方法、系统、电子设备及存储介质 Download PDF

Info

Publication number
CN112291114A
CN112291114A CN202011286371.2A CN202011286371A CN112291114A CN 112291114 A CN112291114 A CN 112291114A CN 202011286371 A CN202011286371 A CN 202011286371A CN 112291114 A CN112291114 A CN 112291114A
Authority
CN
China
Prior art keywords
alarm
information
index
rule
index information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011286371.2A
Other languages
English (en)
Inventor
迟龙恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Enyike Beijing Data Technology Co ltd
Original Assignee
Enyike Beijing Data Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Enyike Beijing Data Technology Co ltd filed Critical Enyike Beijing Data Technology Co ltd
Priority to CN202011286371.2A priority Critical patent/CN112291114A/zh
Publication of CN112291114A publication Critical patent/CN112291114A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2474Sequence data queries, e.g. querying versioned data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/0631Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Environmental & Geological Engineering (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明提出一种数据源监控方法、系统、电子设备及存储介质,其方法技术方案包括指标采集步骤,收集需要的指标信息,并导出至Prometheus时序数据库;报警管理步骤,根据所述指标信息进行报警。本发明依赖于Prometheus,能够实现高效、直观的数据源监控,以解决现有数据源监控方法流程复杂且可靠性不足的问题。

Description

一种数据源监控方法、系统、电子设备及存储介质
技术领域
本发明属于数据库监控领域,尤其涉及一种数据源监控方法、系统、电子设备及存储介质。
背景技术
随着数据存储方式的日渐丰富,业务场景中用到的数据库类型越来越多,目前已经用到的有MySql、ES、GP、Hive、postgreSQL等。随着IT技术的发展,企业的应用系统越来越复杂,数据库作为应用系统基础的组成部分,其重要性不言而喻。对于企业而言,一旦数据库崩溃或者数据库的性能降低,那么会直接导致依赖于数据库的应用系统运行速度缓慢或者根本无法使用,其最终结果不仅仅是会影响应用系统的使用效率,甚至会造成企业客户和利润的流失。因此,合理、安全、完善的数据库监控工作是至关重要的。对监控系统而言,需要实现对这些数据库中的数据,按照特定业务场景的规则去做监控,并按照既定的规则完成告警。
但现有数据库监控方法流程复杂,配置不便且可靠性不足。
发明内容
本申请实施例提供了一种数据源监控方法、系统、电子设备及存储介质,以至少解决现有数据源监控方法流程复杂且可靠性不足的问题。
第一方面,本申请实施例提供了一种数据源监控方法,包括:指标采集步骤,收集需要的指标信息,并导出至Prometheus时序数据库;报警管理步骤,根据所述指标信息并进行报警。
优选的,所述指标采集步骤还包括:规则创建步骤,创建一指标采集规则,并将所述指标采集规则下发至采集器;信息采集步骤,根据所述指标采集规则采集指标信息,并将所述指标信息发送至指标数据库;信息导出步骤,使用一定时导出工具将所述指标信息从所述指标数据库发送至Prometheus时序数据库。
优选的,所述规则创建步骤还包括:创建一定时规则,并将所述定时规则下发至采集器;所述信息采集步骤还包括:判断所述指标信息是否满足所述定时规则,若满足,则根据所述指标采集规则采集指标信息,并将所述指标信息发送至指标数据库。
优选的,所述报警管理步骤还包括:报警配置步骤,配置报警基础信息,所述报警基础信息包括但不限于接收人通讯方式、报警组信息模板、报警路由、报警规则和临时静默配置;报警发送步骤,根据所述报警规则对所述指标信息进行判断,当所述指标信息为一异常指标信息时根据所述接收人通讯方式、所述报警组信息模板及所述报警路由将报警信息发送至接收人;报表收集步骤,根据配置的所述报警基础信息收集需要统计的报警报表信息;报警关闭步骤,根据所述临时静默配置静默所述报警发送步骤。
第二方面,本申请实施例提供了一种数据源监控系统,适用于上述一种数据源监控方法,包括:指标采集单元,收集需要的指标信息,并导出至Prometheus时序数据库;报警管理单元,根据所述指标信息进行报警。
在其中一些实施例中,所述指标采集单元还包括:规则创建单元,创建一指标采集规则,并将所述指标采集规则下发至采集器;信息采集单元,所述采集器根据所述指标采集规则采集指标信息,并将所述指标信息发送至指标数据库;信息导出单元,使用一定时导出工具将所述指标信息从所述指标数据库发送至Prometheus时序数据库。
在其中一些实施例中,所述规则创建单元还包括:创建一定时规则,并将所述定时规则下发至采集器;所述信息采集单元还包括:判断所述指标信息是否满足所述定时规则,若满足,则根据所述指标采集规则采集指标信息,并将所述指标信息发送至指标数据库。
在其中一些实施例中,所述报警管理单元还包括:报警配置单元,配置报警基础信息,所述报警基础信息包括但不限于接收人通讯方式、报警组信息模板、报警路由、报警规则和临时静默配置;报警发送单元,根据所述报警规则对所述指标信息进行判断,当所述指标信息为一异常指标信息时根据所述接收人通讯方式、所述报警组信息模板及所述报警路由将报警信息发送至接收人;报表收集单元,根据配置的所述报警基础信息收集需要统计的报警报表信息;报警关闭单元,根据所述临时静默配置静默所述报警发送单元;
其中,所述报警配置单元包括:
通讯配置模块,用以配置接收人的通讯方式;
模板配置模块,用以配置每种报警组的信息模板;
路由配置模块,用以根据不同的标签匹配到接收人;
规则配置模块,用以根据不同的promSQL的语句设置所述报警规则;
临时静默配置模块,用以设置所述报警管理单元的静默时间。
第三方面,本申请实施例提供了一种电子设备,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述第一方面所述的一种数据源监控方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述第一方面所述的一种数据源监控方法。
相比于相关技术,本申请实施例提供的一种数据源监控方法:
1.对于数据源比较复杂的场景只需要提供对应编程语言的sdk亦可以实现收集指标;
2.监控和报表生成实现流程化处理过程;
3.监控依赖的仅有Prometheus;
4.可以使运营人员一次配置完成所有日常运营需求;
本申请的一个或多个实施例的细节在以下附图和描述中提出,以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本发明的数据源监控方法流程图;
图2为图1中步骤S1的分步骤流程图;
图3为图1中步骤S2的分步骤流程图;
图4为本发明的数据源监控系统的框架图;
图5为图4中报警配置单元的框架图;
图6为本发明的电子设备的框架图;
以上图中:
1、指标采集单元;11、规则创建单元;12、信息采集单元;13、信息导出单元;2、报警管理单元;21、报警配置单元;22、报警发送单元;23、报表收集单元;3、总线;31、处理器;32、存储器;33、通信接口;211、通信配置模块;212、模板配置模块;213、路由配置模块;214、规则配置模块;215、临时静默配置模块。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行描述和说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。基于本申请提供的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
显而易见地,下面描述中的附图仅仅是本申请的一些示例或实施例,对于本领域的普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图将本申请应用于其他类似情景。此外,还可以理解的是,虽然这种开发过程中所作出的努力可能是复杂并且冗长的,然而对于与本申请公开的内容相关的本领域的普通技术人员而言,在本申请揭露的技术内容的基础上进行的一些设计,制造或者生产等变更只是常规的技术手段,不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是,本申请所描述的实施例在不冲突的情况下,可以与其它实施例相结合。
除非另作定义,本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制,可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形,意图在于覆盖不排他的包含;例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可以还包括没有列出的步骤或单元,或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
随着数据存储方式的日渐丰富,业务场景中用到的数据库类型越来越多,目前已经用到的有MySql、ES、GP、Hive、postgreSQL等。随着IT技术的发展,企业的应用系统越来越复杂,数据库作为应用系统基础的组成部分,其重要性不言而喻。对于企业而言,一旦数据库崩溃或者数据库的性能降低,那么会直接导致依赖于数据库的应用系统运行速度缓慢或者根本无法使用,其最终结果不仅仅是会影响应用系统的使用效率,甚至会造成企业客户和利润的流失。因此,合理、安全、完善的数据库监控工作是至关重要的。对监控系统而言,需要实现对这些数据库中的数据,按照特定业务场景的规则去做监控,并按照既定的规则完成告警。
数据库系统的个体含义是指一个具体的数据库管理系统软件和用它建立起来的数据库;它的学科含义是指研究、开发、建立、维护和应用数据库系统所涉及的理论、方法、技术所构成的学科。在这一含义下,数据库系统是软件研究领域的一个重要分支,常称为数据库领域。数据库系统是为适应数据处理的需要而发展起来的一种较为理想的数据处理的核心机构。计算机的高速处理能力和大容量存储器提供了实现数据管理自动化的条件。
数据源(Data Source)是指数据库应用程序所使用的数据库或者数据库服务器。数据源顾名思义,数据的来源,是提供某种所需要数据的器件或原始媒体。在数据源中存储了所有建立数据库连接的信息。就像通过指定文件名称可以在文件系统中找到文件一样,通过提供正确的数据源名称,你可以找到相应的数据库连接。
时序数据库全称为时间序列数据库。时间序列数据库主要用于指处理带时间标签,按照时间的顺序变化,即时间序列化的数据,带时间标签的数据也称为时间序列数据。时间序列数据主要由电力行业、化工行业等各类型实时监测、检查与分析设备所采集、产生的数据,这些工业数据的典型特点是:产生频率快,每一个监测点一秒钟内可产生多条数据,严重依赖于采集时间,每一条数据均要求对应唯一的时间,测点多信息量大,常规的实时监测系统均有成千上万的监测点,监测点每秒钟都产生数据,每天产生几十GB的数据量。
容器是应用服务器中位于组件和平台之间的接口集合。容器是伴随着瘦客户端系统的发展而诞生的。在开发瘦客户端系统时,开发人员要花费大量的精力去关注线程安全、事务、网络、资源等等细节,从而降低了开发效率。由于这些对这些细节的解决方法一般是固定不变,或者只有参数改变的,所以从代码重用和设计模式的角度出发,开发人员将这些底层细节提取出来,做成平台,并提供一定的接口。这样,业务开发人员就不需要在关注与这些底层细节的实现,而专注于业务逻辑的实现。容器一般位于应用服务器之内,由应用服务器负责加载和维护。一个容器只能存在于一个应用服务器之内,一个应用服务器可以建立和维护多个容器。容器一般遵守可配置的原则,即容器的使用者可以通过对容器参数的配置,来达到自己的使用需求,而不需要修改容器的代码。容器占用资源少、部署快,每个应用可以被打包成一个容器镜像,每个应用与容器间成一对一关系也使容器有更大优势,使用容器可以在build或release的阶段,为应用创建容器镜像,因为每个应用不需要与其余的应用堆栈组合,也不依赖于生产环境基础结构,这使得从研发到测试、生产能提供一致环境。类似地,容器比虚拟机轻量、更“透明”,这更便于监控和管理。
Docker容器是一个开源的应用容器引擎,让开发者可以以统一的方式打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何安装了docker引擎的服务器上(包括流行的Linux机器、windows机器),也可以实现虚拟化。容器是完全使用沙箱机制,相互之间不会有任何接口(类似iPhone的app)。几乎没有性能开销,可以很容易地在机器和数据中心中运行。最重要的是,他们不依赖于任何语言、框架包括系统。
本申请实施例依赖于Prometheus这一时序数据库,适合于docker搭建,Prometheus是由SoundCloud开发的开源监控报警系统和时序列数据库(TSDB)。Prometheus使用Go语言开发,是Google BorgMon监控系统的开源版本。2016年由Google发起Linux基金会旗下的原生云基金会(Cloud Native Computing Foundation),将Prometheus纳入其下第二大开源项目。Prometheus和Heapster(Heapster是K8S的一个子项目,用于获取集群的性能数据。)相比功能更完善、更全面。Prometheus性能也足够支撑上万台规模的集群。kubernetes,简称K8s,是用8代替8个字符“ubernete”而成的缩写。是一个开源的,用于管理云平台中多个主机上的容器化的应用,Kubernetes的目标是让部署容器化的应用简单并且高效(powerful),Kubernetes提供了应用部署,规划,更新,维护的一种机制。新的应用部署方式是通过部署容器方式实现,每个容器之间互相隔离,每个容器有自己的文件系统,容器之间进程不会相互影响,能区分计算资源。相对于虚拟机,容器能快速部署,由于容器与底层设施、机器文件系统解耦的,所以它能在不同云、不同版本操作系统间进行迁移。
为Prometheus提供监控数据源的应用都可以被称为Exporter,比如NodeExporter则用来提供节点相关的资源使用状况,而Prometheus从这些不同的Exporter中获取监控数据,然后可以在诸如Grafana这样的可视化工具中进行结果的显示。
以下,结合附图详细介绍本发明的实施例:
图1为本发明的数据源监控方法流程图,请参见图1,本发明数据源监控方法包括如下步骤:
S1:通过指标采集器收集需要的指标信息,并导出至Prometheus时序数据库,同时可进行数据的呈现。
图2为图1中步骤S1的分步骤流程图,请参见图2,可选的,步骤S1还包括:
S11:新建一收集任务,当任务新建成功后,创建指标采集规则和定时规则,并将指标采集规则和定时规则下发至采集器;可选的,在一种实施方式中,当收集任务未创建成功时,结束此次流程;
S12:首先判断采集指标信息任务是否满足所述定时规则,即是否满足定时器的时间,若满足,则根据指标采集规则采集指标信息,进入采集执行队列,并将所述指标信息发送至一个中间表,也就是指标数据库;可选的,在一种实施方式中,若不满足定时规则,则结束此次流程;
S13:通过一个定时导出工具将中间表,也就是指标数据库的所有指标信息导出至Prometheus时序数据库中;可选的,在一种实施方式中,首先创建一导出规则,当满足导出规则时,导出指标信息至Prometheus时序数据库中;若不满足,则结束此次流程;在本发明实施例中,步骤S13可用到Prometheus中的exporter。
S2:根据步骤S1导出至Prometheus时序数据库的指标信息进行报警。
图3为图1中步骤S2的分步骤流程图,请参见图3,可选的,步骤S2还包括:
S21:配置报警基础信息,先配置接收人信息,包括接收人的通讯方式,本发明实施例可选择邮件、企业微信、短信、slack等通讯方式,配置时需配置好邮件服务器配置、企业微信或短信的服务器配置等,还需要配置每种报警组的信息模板,配置报警的路由、以根据不同的标签匹配到接收人,还需要配置报警规则,本发明实施例还可选的配置临时静默,即可设置在一定时间范围内不接收报警信息。
S22:根据所述报警规则对所述指标信息进行判断,当所述指标信息为一异常指标信息时根据所述接收人通讯方式、所述报警组信息模板及所述报警路由将报警信息发送至接收人;
S23:根据配置的所述报警基础信息收集需要统计的报警报表信息;
S24:根据所述临时静默配置静默所述报警发送步骤。
可选的,在一种实施方式中,采集的指标信息可线性展示在一用于监控的屏幕上。
需要说明的是,在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例提供了一种数据源监控系统,适用于上述的一种数据源监控方法。如以下所使用的,术语“单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件、或者软件和硬件的组合的实现也是可能并被构想的。
图4为根据本发明的数据源监控系统的框架图,包括:
指标采集单元1,通过指标采集器收集需要的指标信息,并导出至Prometheus时序数据库,同时可进行数据的呈现;可选的,所述指标采集单元1还包括:规则创建单元11,新建一收集任务,当任务新建成功后,创建指标采集规则和定时规则,并将指标采集规则和定时规则下发至采集器;可选的,在一种实施方式中,当收集任务未创建成功时,规则创建单元11结束此次作业;信息采集单元12,首先判断采集指标信息任务是否满足所述定时规则,即是否满足定时器的时间,若满足,则根据指标采集规则采集指标信息,进入采集执行队列,并将所述指标信息发送至一个中间表,也就是指标数据库;可选的,在一种实施方式中,若不满足定时规则,信息采集单元12结束此次作业;信息导出单元13,通过一个定时导出工具将中间表,也就是指标数据库的所有指标信息导出至Prometheus时序数据库中;可选的,在一种实施方式中,首先创建一导出规则,当满足导出规则时,导出指标信息至Prometheus时序数据库中;若不满足,信息导出单元13结束此次作业;
报警管理单元2,根据指标采集单元1导出至Prometheus时序数据库的指标信息进行报警;可选的,所述报警管理单元1还包括:报警配置单元21,配置报警基础信息,先配置接收人信息,包括接收人的通讯方式,本发明实施例可选择邮件、企业微信、短信、slack等通讯方式,配置时需配置好邮件服务器配置、企业微信或短信的服务器配置等,还需要配置每种报警组的信息模板,配置报警的路由、以根据不同的标签匹配到接收人,还需要配置报警规则,本发明实施例还可选的配置临时静默,即可设置在一定时间范围内不接收报警信息;图5为图4中报警配置单元的框架图,请参见图4,可选的,报警配置单元21还包括通讯配置模块211,用以配置接收人的通讯方式;模板配置模块212,用以配置每种报警组的信息模板;路由配置模块213,用以根据不同的标签匹配到接收人;规则配置模块214,用以根据不同的promSQL的语句设置所述报警规则;临时静默配置模块215,用以设置所述报警管理单元的静默时间;
报警发送单元22,根据所述报警规则对所述指标信息进行判断,当所述指标信息为一异常指标信息时根据所述接收人通讯方式、所述报警组信息模板及所述报警路由将报警信息发送至接收人;报表收集单元23,根据配置收集需要统计的报警报表信息;报警关闭单元24,根据所述临时静默配置静默所述报警发送单元。
另外,结合图1、图2、图3描述的一种数据源监控方法可以由电子设备来实现。图6为本发明的电子设备的框架图。
电子设备可以包括处理器31以及存储有计算机程序指令的存储器32。
具体地,上述处理器31可以包括中央处理器(CPU),或者特定集成电路(Application Specific Integrated Circuit,简称为ASIC),或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中,存储器32可以包括用于数据或指令的大容量存储器。举例来说而非限制,存储器32可包括硬盘驱动器(Hard Disk Drive,简称为HDD)、软盘驱动器、固态驱动器(SolidState Drive,简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(Universal SerialBus,简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下,存储器32可包括可移除或不可移除(或固定)的介质。在合适的情况下,存储器32可在数据处理装置的内部或外部。在特定实施例中,存储器32是非易失性(Non-Volatile)存储器。在特定实施例中,存储器32包括只读存储器(Read-Only Memory,简称为ROM)和随机存取存储器(RandomAccess Memory,简称为RAM)。在合适的情况下,该ROM可以是掩模编程的ROM、可编程ROM(Programmable Read-Only Memory,简称为PROM)、可擦除PROM(Erasable ProgrammableRead-Only Memory,简称为EPROM)、电可擦除PROM(Electrically Erasable ProgrammableRead-Only Memory,简称为EEPROM)、电可改写ROM(Electrically Alterable Read-OnlyMemory,简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下,该RAM可以是静态随机存取存储器(Static Random-Access Memory,简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory,简称为DRAM),其中,DRAM可以是快速页模式动态随机存取存储器(Fast Page Mode Dynamic Random Access Memory,简称为FPMDRAM)、扩展数据输出动态随机存取存储器(Extended Date Out Dynamic RandomAccess Memory,简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory,简称SDRAM)等。
存储器32可以用来存储或者缓存需要处理和/或通信使用的各种数据文件,以及处理器31所执行的可能的计算机程序指令。
处理器31通过读取并执行存储器32中存储的计算机程序指令,以实现上述实施例中的任意一种数据源监控方法。
在其中一些实施例中,电子设备还可包括通信接口33和总线30。其中,如图5所示,处理器31、存储器32、通信接口33通过总线30连接并完成相互间的通信。
通信端口33可以实现与其他部件例如:外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。
总线30包括硬件、软件或两者,将电子设备的部件彼此耦接在一起。总线20包括但不限于以下至少之一:数据总线(Data Bus)、地址总线(Address Bus)、控制总线(ControlBus)、扩展总线(Expansion Bus)、局部总线(Local Bus)。举例来说而非限制,总线30可包括图形加速接口(Accelerated Graphics Port,简称为AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture,简称为EISA)总线、前端总线(FrontSide Bus,简称为FSB)、超传输(Hyper Transport,简称为HT)互连、工业标准架构(Industry Standard Architecture,简称为ISA)总线、无线带宽(InfiniBand)互连、低引脚数(Low Pin Count,简称为LPC)总线、存储器总线、微信道架构(Micro ChannelArchitecture,简称为MCA)总线、外围组件互连(Peripheral Component Interconnect,简称为PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(Serial AdvancedTechnology Attachment,简称为SATA)总线、视频电子标准协会局部(Video ElectronicsStandards Association Local Bus,简称为VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下,总线30可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线,但本申请考虑任何合适的总线或互连。
该电子设备可以执行本申请实施例中的一种数据源监控方法。
另外,结合上述实施例中的一种数据源监控方法,本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令;该计算机程序指令被处理器执行时实现上述实施例中的任意一种数据源监控方法。
而前述的存储介质包括:U盘、移动硬盘、只读存储器(ReadOnly Memory,简称为ROM)、随机存取存储器(Random Access Memory,简称为RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种数据源监控方法,其特征在于,包括:
指标采集步骤,收集需要的指标信息,并导出至Prometheus时序数据库;
报警管理步骤,根据所述指标信息进行报警。
2.如权利要求1所述的数据源监控方法,其特征在于,所述指标采集步骤还包括:
规则创建步骤,创建一指标采集规则,并将所述指标采集规则下发至采集器;
信息采集步骤,根据所述指标采集规则采集指标信息,并将所述指标信息发送至指标数据库;
信息导出步骤,使用一定时导出工具将所述指标信息从所述指标数据库发送至Prometheus时序数据库。
3.如权利要求2所述的数据源监控方法,其特征在于,
所述规则创建步骤还包括:创建一定时规则,并将所述定时规则下发至采集器;
所述信息采集步骤还包括:判断所述指标信息是否满足所述定时规则,若满足,则根据所述指标采集规则采集指标信息,并将所述指标信息发送至指标数据库。
4.如权利要求1所述的数据源监控方法,其特征在于,所述报警管理步骤还包括:
报警配置步骤,配置报警基础信息,所述报警基础信息包括但不限于接收人通讯方式、报警组信息模板、报警路由、报警规则和临时静默配置;
报警发送步骤,根据所述报警规则对所述指标信息进行判断,当所述指标信息为一异常指标信息时根据所述接收人通讯方式、所述报警组信息模板及所述报警路由将报警信息发送至接收人;
报表收集步骤,根据配置的所述报警基础信息收集需要统计的报警报表信息;
报警关闭步骤,根据所述临时静默配置静默所述报警发送步骤。
5.一种数据源监控系统,其特征在于,包括:
指标采集单元,收集需要的指标信息,并导出至Prometheus时序数据库;
报警管理单元,根据所述指标信息进行报警。
6.如权利要求5所述的数据源监控系统,其特征在于,所述指标采集单元还包括:
规则创建单元,创建一指标采集规则,并将所述指标采集规则下发至采集器;
信息采集单元,所述采集器根据所述指标采集规则采集指标信息,并将所述指标信息发送至指标数据库;
信息导出单元,使用一定时导出工具将所述指标信息从所述指标数据库发送至Prometheus时序数据库。
7.如权利要求6所述的数据源监控系统,其特征在于,
所述规则创建单元还包括:创建一定时规则,并将所述定时规则下发至采集器;
所述信息采集单元还包括:判断所述指标信息是否满足所述定时规则,若满足,则根据所述指标采集规则采集指标信息,并将所述指标信息发送至指标数据库。
8.如权利要求5所述的数据源监控系统,其特征在于,所述报警管理单元还包括:
报警配置单元,配置报警基础信息,所述报警基础信息包括但不限于接收人通讯方式、报警组信息模板、报警路由、报警规则和临时静默配置;
报警发送单元,根据所述报警规则对所述指标信息进行判断,当所述指标信息为一异常指标信息时根据所述接收人通讯方式、所述报警组信息模板及所述报警路由将报警信息发送至接收人;
报表收集单元,根据配置的所述报警基础信息收集需要统计的报警报表信息;
报警关闭单元,根据所述临时静默配置静默所述报警发送单元;
其中,所述报警配置单元包括:
通讯配置模块,用以配置接收人的通讯方式;
模板配置模块,用以配置每种报警组的信息模板;
路由配置模块,用以根据不同的标签匹配到接收人;
规则配置模块,用以根据不同的promSQL的语句设置所述报警规则;
临时静默配置模块,用以设置所述报警管理单元的静默时间。
9.一种电子设备,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至4中任一项所述的数据源监控方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1至4中任一项所述的数据源监控方法。
CN202011286371.2A 2020-11-17 2020-11-17 一种数据源监控方法、系统、电子设备及存储介质 Pending CN112291114A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011286371.2A CN112291114A (zh) 2020-11-17 2020-11-17 一种数据源监控方法、系统、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011286371.2A CN112291114A (zh) 2020-11-17 2020-11-17 一种数据源监控方法、系统、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN112291114A true CN112291114A (zh) 2021-01-29

Family

ID=74398206

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011286371.2A Pending CN112291114A (zh) 2020-11-17 2020-11-17 一种数据源监控方法、系统、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112291114A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113761021A (zh) * 2021-08-17 2021-12-07 杭州涂鸦信息技术有限公司 时序指标数据降精度处理方法、装置和计算机设备
CN115134270A (zh) * 2022-06-28 2022-09-30 北京奇艺世纪科技有限公司 代码监控方法、监控系统、电子设备及存储介质
CN115473783A (zh) * 2022-08-04 2022-12-13 浪潮软件集团有限公司 基于Prometheus的指标告警管理系统及方法
CN116737498A (zh) * 2023-06-15 2023-09-12 中科驭数(北京)科技有限公司 遥测数据采集方法、系统、装置、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018234741A1 (en) * 2017-06-23 2018-12-27 Qio Technologies Ltd SYSTEMS AND METHODS FOR INTELLIGENCE OF INDUSTRIAL ASSETS BY DISTRIBUTED SYSTEMIC ANTICIPATION
CN110635938A (zh) * 2019-08-19 2019-12-31 腾讯科技(深圳)有限公司 一种监控方法、系统、设备及介质
CN111045901A (zh) * 2019-12-11 2020-04-21 东软集团股份有限公司 容器的监控方法、装置、存储介质和电子设备
CN111352800A (zh) * 2020-02-25 2020-06-30 京东数字科技控股有限公司 大数据集群监控方法及相关设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018234741A1 (en) * 2017-06-23 2018-12-27 Qio Technologies Ltd SYSTEMS AND METHODS FOR INTELLIGENCE OF INDUSTRIAL ASSETS BY DISTRIBUTED SYSTEMIC ANTICIPATION
CN110635938A (zh) * 2019-08-19 2019-12-31 腾讯科技(深圳)有限公司 一种监控方法、系统、设备及介质
CN111045901A (zh) * 2019-12-11 2020-04-21 东软集团股份有限公司 容器的监控方法、装置、存储介质和电子设备
CN111352800A (zh) * 2020-02-25 2020-06-30 京东数字科技控股有限公司 大数据集群监控方法及相关设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
陆学勤: "《电子商务数据分析与应用》", 30 May 2019 *
高宇: "基于云原生的拓扑服务系统的设计与实现", 《中国优秀博硕士学位论文全文数据库(硕士)》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113761021A (zh) * 2021-08-17 2021-12-07 杭州涂鸦信息技术有限公司 时序指标数据降精度处理方法、装置和计算机设备
CN115134270A (zh) * 2022-06-28 2022-09-30 北京奇艺世纪科技有限公司 代码监控方法、监控系统、电子设备及存储介质
CN115134270B (zh) * 2022-06-28 2023-09-08 北京奇艺世纪科技有限公司 代码监控方法、监控系统、电子设备及存储介质
CN115473783A (zh) * 2022-08-04 2022-12-13 浪潮软件集团有限公司 基于Prometheus的指标告警管理系统及方法
CN116737498A (zh) * 2023-06-15 2023-09-12 中科驭数(北京)科技有限公司 遥测数据采集方法、系统、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN112291114A (zh) 一种数据源监控方法、系统、电子设备及存储介质
CN106156186B (zh) 一种数据模型管理装置、服务器及数据处理方法
US10169483B2 (en) Validation of schema and schema conformance verification
US8949799B2 (en) Program log record optimization
CN110244994B (zh) 用于数据处理系统的数据模块管理
US8620839B2 (en) Markov modeling of service usage patterns
US11150896B2 (en) Automated generation of service definitions for message queue application clients
CN111459763A (zh) 跨kubernetes集群监控系统及方法
US11372739B2 (en) Accelerator monitoring and testing
US10817339B2 (en) Accelerator validation and reporting
US11449488B2 (en) System and method for processing logs
CN112817720A (zh) 一种可视化工作流调度方法、装置及电子设备
CN113918357A (zh) 业务处理方法及装置、存储介质、电子设备
CN114527996A (zh) 一种多服务的部署方法、装置、电子设备及存储介质
CN109814957A (zh) 一种用于ios系统的标签添加方法和装置
US20180123900A1 (en) Scenario driven, technology agnostic network simulation
US20180123899A1 (en) Technology agnostic network simulation
US8656368B1 (en) System, method, and computer program product for abstract software performance profiling
US20140310069A1 (en) Coordinated business rules management and mixed integer programming
CN115904369A (zh) 一种网络安全源数据高效聚合及关联分析的方法与系统
CN114064712A (zh) 数据访问方法、装置、电子设备及计算机可读存储介质
CN113590217A (zh) 基于引擎的函数管理方法、装置、电子设备及存储介质
CN108694046B (zh) 容器装配方法和装置
CN112667491A (zh) 虚拟机的功能测试方法及装置
CN114095523A (zh) 综合调度系统中的通信数据处理方法、设备及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210129

RJ01 Rejection of invention patent application after publication