CN117931588A - 一种数据源监控方法、装置、电子设备和计算机可读介质 - Google Patents
一种数据源监控方法、装置、电子设备和计算机可读介质 Download PDFInfo
- Publication number
- CN117931588A CN117931588A CN202410039646.4A CN202410039646A CN117931588A CN 117931588 A CN117931588 A CN 117931588A CN 202410039646 A CN202410039646 A CN 202410039646A CN 117931588 A CN117931588 A CN 117931588A
- Authority
- CN
- China
- Prior art keywords
- data source
- target
- alarm
- target data
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 69
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000004044 response Effects 0.000 claims abstract description 30
- 230000005856 abnormality Effects 0.000 claims abstract description 16
- 238000012806 monitoring device Methods 0.000 claims abstract description 3
- 230000002159 abnormal effect Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 abstract description 15
- 208000037805 labour Diseases 0.000 abstract description 8
- 230000007547 defect Effects 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 14
- 230000001960 triggered effect Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000035876 healing Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
- G06F11/324—Display of status information
- G06F11/327—Alarm or error message display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3051—Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3055—Monitoring arrangements for monitoring the status of the computing system or of the computing system component, e.g. monitoring if the computing system is on, off, available, not available
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Quality & Reliability (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Alarm Systems (AREA)
Abstract
本公开的实施例公开了一种数据源监控方法、装置、电子设备和计算机可读介质。该方法的一具体实施方式包括:获取目标数据源配置信息;根据目标数据源配置信息与目标数据源进行连接;响应于确定与目标数据源建立连接,根据文件监控路径对目标数据源中的目标文件进行监测;响应于监测到目标文件存在异常,生成目标告警信息并进行告警。该实施方式提供了一套从发现、决策到自愈及告警推送的告警一站式解决方案,可以有效地找到业务系统中存在的问题,并进行问题暴露、风险兜底,从而降低人工处理成本,从而减少告警的出现,为系统解决缺陷,降低人工治愈成本。
Description
技术领域
本公开的实施例涉及计算机技术领域,具体涉及一种数据源监控方法、装置、电子设备和计算机可读介质。
背景技术
基于业务数据库的监控告警系统,通常通过系统定时连接数据库进行数据库数据的实时查询,定时检查业务数据的正确性。系统可能基于不同的开发语言,但基本原理都是通过连接数据库,通过数据库查询脚本查询数据库获取业务数据并与预设的阈值进行比对,超阈值后进行系统告警,从而实现业务系统的监控功能。
基于文件类的监控市面上未有成熟的监控工具可以使用,因此很多监控系统并未集成文件监控的功能,大多数系统都选择了较为成熟的数据库监控方式对业务数据进行监控。现有的数据库监控系统往往不能对监控过程中出现的网络异常做出应对,会导致监控系统本身在请求数据源连接时出现异常,这种网络异常会影响正常的业务监控的开展,可能会因为某些异常检测不到而导致业务的不稳定性。目前市面上的大部分监控系统都是通过基于文本的告警播报这种单一的告警方式,未接入其它的告警推送方式会导致部分告警内容无法正常推送到相关处理人员。
发明内容
本公开的内容部分用于以简要的形式介绍构思,这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征,也不旨在用于限制所要求的保护的技术方案的范围。
本公开的一些实施例提出了一种数据源监控方法、装置、电子设备和计算机可读介质,来解决以上背景技术部分提到的技术问题。
第一方面,本公开的一些实施例提供了一种数据源监控方法,该方法包括:获取目标数据源配置信息;根据上述目标数据源配置信息与目标数据源进行连接;响应于确定与上述目标数据源建立连接,根据文件监控路径对上述目标数据源中的目标文件进行监测;响应于监测到上述目标文件存在异常,生成目标告警信息并进行告警。
第二方面,本公开的一些实施例提供了一种数据源监控装置,装置包括:获取单元,被配置成获取目标数据源配置信息;连接单元,被配置成根据上述目标数据源配置信息与目标数据源进行连接;监测单元,被配置成响应于确定与上述目标数据源建立连接,根据文件监控路径对上述目标数据源中的目标文件进行监测;告警单元,被配置成响应于监测到上述目标文件存在异常,生成目标告警信息并进行告警。
第三方面,本申请实施例提供了一种电子设备,该电子设备包括:一个或多个处理器;存储装置,用于存储一个或多个程序;当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如第一方面中任一实现方式描述的方法。
第四方面,本申请实施例提供了一种计算机可读介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。
本公开的上述各个实施例中的一个实施例具有如下有益效果:提供了一套从发现、决策到自愈及告警推送的告警一站式解决方案,可以有效地找到业务系统中存在的问题,并进行问题暴露、风险兜底,从而降低人工处理成本,从而减少告警的出现,为系统解决缺陷,降低人工治愈成本。
附图说明
结合附图并参考以下具体实施方式,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中,相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的,元件和元素不一定按照比例绘制。
图1是根据本公开的数据源监控方法的一些实施例的流程图;
图2是根据本公开的数据源监控装置的一些实施例的结构示意图;
图3是适于用来实现本公开的一些实施例的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例。相反,提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合。
需要注意,本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意,本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。
下面将参考附图并结合实施例来详细说明本公开。
参考图1,示出了根据本公开的数据源监控方法的一些实施例的流程100。该数据源监控方法,包括以下步骤:
步骤101,获取目标数据源配置信息。
在一些实施例中,数据源监控方法的执行主体(例如服务器)可以获取目标数据源配置信息。
可以理解的是,数据源监控方法可以是由终端设备来执行,或者也可以是由服务器来执行,上述方法的执行主体还可以包括上述终端设备与上述服务器通过网络相集成所构成的设备,或者还可以是各种软件程序来执行。其中,终端设备可以是具有信息处理能力的各种电子设备,包括但不限于智能手机、平板电脑、电子书阅读器、膝上型便携计算机和台式计算机等等。执行主体也可以体现为服务器、软件等。当执行主体为软件时,可以安装在上述所列举的电子设备中。其可以实现成例如用来提供分布式服务的多个软件或软件模块,也可以实现成单个软件或软件模块。在此不做具体限定。
具体的,上述目标数据源配置信息通常是指上述执行主体需要连接的数据源信息。在这里,上述数据源可以包括ftp,ftp/sftp,db,redis,zookeeper和Mq等多个数据源。
上述执行主体可以绑定多种类型的数据源,通过主键进行关联,告警任务触发时,会根据关联的主键查询数据源配置表,获取数据源相关配置信息,再根据数据源配置信息进行数据源连接,连接成功后,进行数据的检测及告警触发。
步骤102,根据上述目标数据源配置信息与目标数据源进行连接。
在一些实施例中,基于步骤101中得到的目标数据源配置信息,上述执行主体(例如服务器)可以与目标数据源进行连接。
作为示例,上述执行主体可以获取redis数据源配置,并建立redis连接。作为又一示例,上述执行主体还可以读取ftp/sftp数据源配置信息以建立文件服务器的连接。
在一些实施例的一些可选的实现方式中,上述执行主体可以与上述目标数据源进行数据交换,响应于完成与上述目标数据源的数据交换,确定与上述目标数据源建立连接;响应于未完成与上述目标数据源的数据交换,确定与上述目标数据源未建立连接并通知目标用户,以及以预设阈值为时间周期与上述目标数据源进行数据交换直至确定与上述目标数据源建立连接。
具体的,获取数据源配置信息后,上述执行主体可以创建一个触发周期为15min的定时任务,定时任务拉起后,上述执行主体会根据该数据源配置进行数据源的连接,数据源连接成功后系统会与服务器进行一次基础的数据交换,若数据源响应正常,则表明数据源为正常状态,否则视为数据源不可用,数据源若处于不可用状态上述执行主体可以通知目标用户,并在下个时间周期重新尝试与目标数据源进行数据交互,如果下次数据交互依旧失败,上述执行主体可以再次通知目标目标用户并等待下个时间周期。
上述执行主体可以每10-15分钟拉起一次,对数据源进行探活,支持多种数据源的监测,例如ftp/sftp、DataBase、Zookeeper、MQ和Redis,若检测到数据源连接异常会以数据源异常类型的告警通知到相关处理人员,以保证数据源监控的高可用性。
步骤103,响应于确定与上述目标数据源建立连接,根据文件监控路径对上述目标数据源中的目标文件进行监测。
在一些实施例中,上述执行主体可以通过文件监控路径对上述目标数据源中的目标文件进行监测。
具体的,上述文件监控路径通常是指上述目标文件在上述目标数据源中的存储位置路径。在这里,上述文件监控路径支持以占位符的方式进行不同格式日期的动态配置。
作为示例,上述执行主体可以连接目标数据源后通过文件监控路径进行文件的监控。具体的,文件的监控支持具体路径下文件数量和具体某个文件的监控,并且监控路径支持以占位符的方式进行不同格式日期的动态配置。
步骤104,响应于监测到上述目标文件存在异常,生成目标告警信息并进行告警。
在一些实施例中,响应于监测到上述目标文件存在异常,上述执行主体可以生成目标告警信息并进行告警。
具体的,上述目标文件存在异常通常包括两种以下两种异常情况:
1、业务数据预测异常;业务数据定时播报,与最近一周内的均值进行比较,若出现较为明显的数据波动会进行告警。
2.数据源异常监测:数据源除了在告警触发时会进行获取连接,还配备了一键探活功能,开启了一键探活功能后系统会自动每隔30min进行一次数据源的连接,并尝试进行一次基础的数据交换,若数据交换过程中出现异常,系统同样会进行系统异常登记并推送告警。
作为示例,连接redis数据源成功后,上述执行主体可以获取redis数据与预设阈值进行比对,若超过预设阈值上述执行主体可以进行告警。作为又一示例,上述执行主体可以定时拉起文件监控任务,通过文件监控任务进行文件服务器连接,并通过告警任务中配置的文件监控路径进行文件的检查,对文件数量进行统计,之后将统计到的文件数量和设定的告警阈值进行比较,若满足阈值设定条件,则通过预设的告警推送方式将告警推送到具体的值班人员。
上述执行主体会连接数据源,数据源连接成功后会通过该数据源脚本进行数据查询,查询后根据预设阈值进行比较,如果超出阈值范围,则会触发系统告警。其中ftp/sftp是通过检测固定路径下文件的数量,数据库通过执行查询sql查询业务数据,redis通过lua脚本进行数据库操作,查询多种数据结构的数据进而进行数据核对及告警。
在一些实施例的一些可选的实现方式中,响应于监测到上述目标文件存在异常,上述执行主体可以确定上述目标文件的异常信息;根据上述异常信息确定自愈任务信息,以及根据上述自愈任务信息获取Zookeeper数据源配置信息;根据上述Zookeeper数据源配置信息与Zookeeper数据源建立连接并进行数据修复。
上述执行主体可以选择绑定一个治愈任务触发主键,在告警任务触发时,上述执行主体可以通过绑定的自愈任务触发主键查找自愈任务信息,并通过该自愈任务绑定的数据源信息进行数据源连接后自动触发自愈任务,自愈任务可以自动进行告警异常的补偿和修复。
作为示例,上述执行主体检测异常后触发告警并立刻查找绑定的自愈任务信息,获取自愈任务Zookeeper数据源配置信息,根据数据源配置信息建立Zookeeper数据源连接,根据任务id触发自愈任务,进行数据修复。
当监控到异常且告警危险级别较高时,会自动触发系统自愈功能,自愈功能触发时,系统会自动进行Zookeeper数据源的连接并找到相应的补偿任务,通过补偿任务治愈告警。
在一些实施例的一些可选的实现方式中,响应于监测到上述目标文件存在异常,上述执行主体可以确定上述目标文件的异常信息;根据上述异常信息生成告警信息,以及在告警记录中查询是否存在上述告警信息;响应于确定上述告警记录中不存在上述告警信息,将上述告警信息以文本形式推送至目标用户;响应于确定上述告警记录中存在一条上述告警信息,将上述告警信息以邮件形式推送至目标用户;响应于确定上述告警记录中存在至少两条上述告警信息,将上述告警信息以电话形式推送至目标用户。
具体的,第一次告警触发后,系统会先记录告警数据,再通过文本推送告警,第二次触发告警,系统会先查询之前的告警记录数据,若最近的告警未处理数量大于1条,则会进行第一次告警升级,同样会将告警数据记录到告警记录表中,并通过邮件的方式推送告警,第三次触发告警,系统同样会查询之前的告警记录数据,若最近的告警未处理数量大于2条,告警推送方式会连续升级两次,并且将告警数据记录到告警记录标中,最后通过AI外呼的方式推送告警。
告警触发后,还会通过多种方式进行告警内容的实时推送,包括多种推送方式,邮件、企业微信和AI外呼等,可以选择一种或同时多种告警内容送达方式,若选择了多种推送方式,可以指定推送优先级,根据优先级进行按序推送,在高优先级的送法方式触达处理人员后,低优先级告警送达方式将不再触发。
发生告警时,告警推送的触达率往往并不是100%,因此在发生高风险告警时怎么有效提高告警触达率就显得尤为重要,告警自动升级能够有效提高告警触达率,通过多次告警升级来保证告警能够尽可能快地通知到相关处理人员。该升级策略基于告警等级及告警认领及处理结果展开,再满足升级条件时会进行最多三次告警升级,每一次升级都会触达不同的处理人员,并且告警的推送方式也会进行升级,比如文本类的推送方式在多次告警推送未得到响应后会升级未AI外呼电话告警。
另外,本执行主体还会将每次的告警数据落表,并会在后台时时展示成报表形式。可以很直观地看出最近告警的走势并甚至可以预知未来的数据走势。每一次告警数据的产生都预示着业务系统本身存在的问题,如何将这些告警系统产生的数据进行整合加工并且反作用于业务系统才是告警存在最大的意义。每经过一段时间都会从多种维度整合统计最近这段时间内告警出现的规律,从而能够针对告警中出现频率较高的系统问题做针对性治理。
数据源监控方法存在以下技术效果:
(1)数据播报
定时播报一些业务数据以供相关工作人员查看,当数据开始出现异常但是还未达到阈值时可以人工尽早介入处理,在问题放大前及时处理掉从而达到告警预知的目的。
(2)告警方式多样化
支持企业微信、邮件及AI外呼推送,而不是仅仅局限于文本的告警,多样化的告警方式可以保证在某一种告警方式不可达的场景下有备选方案进行告警通知,以保证告警的触达率。
(3)告警多级划分
进行告警多级别划分可以针对不同的告警类型进行治理。比如p0级别告警会优先进行AI外呼及告警自愈功能;p1级别告警则不会进行AI外呼,只会优先触发自愈任务及文本告警推送;p2级别告警只推送文本告警,p3级别属于通知类告警,会定时播报正常业务数据以供相关人员查看。这种告警分级治理可以有效提高告警的处理效率。
(4)告警群组划分
可根据不同业务人员划分群组,并针对不同群组进行定制化告警,做到组与组之间告警隔离,并且定制化的告警可以满足不同组对于告警的不同需求。
(5)多类型监控
监控类型不再是单一的数据库,因为部分业务的特殊性,文件及网络的监控往往也不可忽视,本方法能够很好地支持文件的监控和网络监控,从而丰富了监控的应用场景。
(6)多数据源监控
除了数据库的数据源和ftp数据源,还支持其他的数据源配置,Zookeeper、redis、MQ等,并且支持一键打开所配置数据源的网络状态监控,会定时探活以保证数据源的可用性。
(7)自动排班
该告警系统还集成了一套定制化的排班表,每周及每个月都会根据特定排班算法进行组内自动排班,并且每天将告警推送给值班人员,这样可以有效避免多个人同时处理同一个告警导致的资源浪费。
本公开的上述各个实施例中的一个实施例具有如下有益效果:提供了一套从发现、决策到自愈及告警推送的告警一站式解决方案,可以有效地找到业务系统中存在的问题,并进行问题暴露、风险兜底,从而降低人工处理成本,从而减少告警的出现,为系统解决缺陷,降低人工治愈成本。
进一步参考图2,作为对上述各图所示方法的实现,本公开提供了一种数据源监控装置的一些实施例,这些装置实施例与图1所示的那些方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图2所示,一些实施例的数据源监控装置200包括:获取单元201、连接单元202、监测单元203和告警单元204。其中,获取单元201,被配置成获取目标数据源配置信息;连接单元202,被配置成根据上述目标数据源配置信息与目标数据源进行连接;监测单元203,被配置成响应于确定与上述目标数据源建立连接,根据文件监控路径对上述目标数据源中的目标文件进行监测;告警单元204,被配置成响应于监测到上述目标文件存在异常,生成目标告警信息并进行告警。
可以理解的是,该装置200中记载的诸单元与参考图1描述的方法中的各个步骤相对应。由此,上文针对方法描述的操作、特征以及产生的有益效果同样适用于装置200及其中包含的单元,在此不再赘述。
本公开的上述各个实施例中的一个实施例具有如下有益效果:提供了一套从发现、决策到自愈及告警推送的告警一站式解决方案,可以有效地找到业务系统中存在的问题,并进行问题暴露、风险兜底,从而降低人工处理成本,从而减少告警的出现,为系统解决缺陷,降低人工治愈成本。
下面参考图3,其示出了适于用来实现本公开的一些实施例的电子设备(例如一种数据源监控方法的执行主体)300的结构示意图。图3示出的电子设备仅仅是一个示例,不应对本公开的实施例的功能和使用范围带来任何限制。
如图3所示,电子设备300可以包括处理装置(例如中央处理器、图形处理器等)301,其可以根据存储在只读存储器(ROM)302中的程序或者从存储装置308加载到随机访问存储器(RAM)303中的程序而执行各种适当的动作和处理。在RAM 303中,还存储有电子设备300操作所需的各种程序和数据。处理装置301、ROM 302以及RAM 303通过总线304彼此相连。输入/输出(I/O)接口305也连接至总线304。
通常,以下装置可以连接至I/O接口305:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置306;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置307;包括例如磁带、硬盘等的存储装置308;以及通信装置309。通信装置309可以允许电子设备300与其他设备进行无线或有线通信以交换数据。虽然图3示出了具有各种装置的电子设备300,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图3中示出的每个方框可以代表一个装置,也可以根据需要代表多个装置。
特别地,根据本公开的一些实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的一些实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的一些实施例中,该计算机程序可以通过通信装置309从网络上被下载和安装,或者从存储装置308被安装,或者从ROM 302被安装。在该计算机程序被处理装置301执行时,执行本公开的一些实施例的方法中限定的上述功能。
需要说明的是,本公开的一些实施例上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
在本公开的一些实施例中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的一些实施例中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。
计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
在一些实施方式中,客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol,超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信,并且可以与任意形式或介质的数字数据通信(例如,通信网络)互连。通信网络的示例包括局域网(“LAN”),广域网(“WAN”),网际网(例如,互联网)以及端对端网络(例如,ad hoc端对端网络),以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:获取目标数据源配置信息;根据上述目标数据源配置信息与目标数据源进行连接;响应于确定与上述目标数据源建立连接,根据文件监控路径对上述目标数据源中的目标文件进行监测;响应于监测到上述目标文件存在异常,生成目标告警信息并进行告警。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的一些实施例的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开的一些实施例中的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括获取单元、连接单元、监测单元和告警单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,获取单元还可以被描述为“获取目标数据源配置信息的单元”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
以上描述仅为本公开的一些较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开的实施例中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (7)
1.一种数据源监控方法,包括:
获取目标数据源配置信息;
根据所述目标数据源配置信息与目标数据源进行连接;
响应于确定与所述目标数据源建立连接,根据文件监控路径对所述目标数据源中的目标文件进行监测;
响应于监测到所述目标文件存在异常,生成目标告警信息并进行告警。
2.根据权利要求1所述的方法,其中,所述方法还包括:
与所述目标数据源进行数据交换,响应于完成与所述目标数据源的数据交换,确定与所述目标数据源建立连接;
响应于未完成与所述目标数据源的数据交换,确定与所述目标数据源未建立连接并通知目标用户,以及以预设阈值为时间周期与所述目标数据源进行数据交换直至确定与所述目标数据源建立连接。
3.根据权利要求1所述的方法,其中,所述方法还包括:
响应于监测到所述目标文件存在异常,确定所述目标文件的异常信息;
根据所述异常信息确定自愈任务信息,以及根据所述自愈任务信息获取Zookeeper数据源配置信息;
根据所述Zookeeper数据源配置信息与Zookeeper数据源建立连接并进行数据修复。
4.根据权利要求1所述的方法,其中,所述生成目标告警信息并进行告警,包括:
响应于监测到所述目标文件存在异常,确定所述目标文件的异常信息;
根据所述异常信息生成告警信息,以及在告警记录中查询是否存在所述告警信息;
响应于确定所述告警记录中不存在所述告警信息,将所述告警信息以文本形式推送至目标用户;
响应于确定所述告警记录中存在一条所述告警信息,将所述告警信息以邮件形式推送至目标用户;
响应于确定所述告警记录中存在至少两条所述告警信息,将所述告警信息以电话形式推送至目标用户。
5.一种数据源监控装置,包括:
获取单元,被配置成获取目标数据源配置信息;
连接单元,被配置成根据所述目标数据源配置信息与目标数据源进行连接;
监测单元,被配置成响应于确定与所述目标数据源建立连接,根据文件监控路径对所述目标数据源中的目标文件进行监测;
告警单元,被配置成响应于监测到所述目标文件存在异常,生成目标告警信息并进行告警。
6.一种电子设备,包括:
一个或多个处理器;
存储装置,其上存储有一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-4中任一所述的方法。
7.一种计算机可读介质,其上存储有计算机程序,其中,所述程序被处理器执行时实现如权利要求1-4中任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410039646.4A CN117931588A (zh) | 2024-01-10 | 2024-01-10 | 一种数据源监控方法、装置、电子设备和计算机可读介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410039646.4A CN117931588A (zh) | 2024-01-10 | 2024-01-10 | 一种数据源监控方法、装置、电子设备和计算机可读介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117931588A true CN117931588A (zh) | 2024-04-26 |
Family
ID=90758730
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410039646.4A Pending CN117931588A (zh) | 2024-01-10 | 2024-01-10 | 一种数据源监控方法、装置、电子设备和计算机可读介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117931588A (zh) |
-
2024
- 2024-01-10 CN CN202410039646.4A patent/CN117931588A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113495820B (zh) | 异常信息收集、处理方法和装置以及异常监控系统 | |
US20180278497A1 (en) | Systems for monitoring application servers | |
CN112965879A (zh) | 数据处理方法、装置、电子设备及可读存储介质 | |
CN114625597A (zh) | 监控运维系统、方法、装置、电子设备及存储介质 | |
CN110933172A (zh) | 一种基于云计算的远程监控系统及方法 | |
CN112100034A (zh) | 一种业务监控方法和装置 | |
CN111476539A (zh) | 任务监控方法、装置、计算机设备及存储介质 | |
CN113656194A (zh) | 对账结果数据的通知方法、装置、电子装置及存储介质 | |
CN111782431A (zh) | 一种异常的处理方法、装置、终端及存储介质 | |
CN116627333A (zh) | 日志缓存方法、装置、电子设备及计算机可读存储介质 | |
CN115629933A (zh) | 业务系统监控方法、装置、设备及存储介质 | |
CN113220342A (zh) | 中心化配置方法、装置、电子设备及存储介质 | |
CN117931588A (zh) | 一种数据源监控方法、装置、电子设备和计算机可读介质 | |
CN111290873B (zh) | 故障处理方法和装置 | |
CN113743842B (zh) | 一种多源数据差异告警方法和装置 | |
CN110633165B (zh) | 故障处理方法、装置、系统服务器及计算机可读存储介质 | |
CN112799863B (zh) | 用于输出信息的方法和装置 | |
CN110888770B (zh) | 用于发送信息的方法和装置 | |
CN114968696A (zh) | 指标监控方法、电子设备及芯片系统 | |
CN112783677A (zh) | 一种服务异常的监控方法和装置 | |
CN111310043B (zh) | 用于推送信息的方法和装置 | |
CN113535768A (zh) | 生产监控方法和装置 | |
CN116991630B (zh) | 重试执行方法、装置、电子设备及计算机可读存储介质 | |
WO2024179387A1 (zh) | 应用程序内活动数据管理方法、装置、设备、介质及产品 | |
CN118643046A (zh) | 数据类变更方法、设备、存储介质及程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |