CN116303399A - 数据监控方法、系统、装置以及存储介质 - Google Patents
数据监控方法、系统、装置以及存储介质 Download PDFInfo
- Publication number
- CN116303399A CN116303399A CN202310287262.XA CN202310287262A CN116303399A CN 116303399 A CN116303399 A CN 116303399A CN 202310287262 A CN202310287262 A CN 202310287262A CN 116303399 A CN116303399 A CN 116303399A
- Authority
- CN
- China
- Prior art keywords
- data
- equipment
- monitored
- target
- monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Abstract
本申请公开了一种数据监控方法、系统、装置以及存储介质。该方法包括:接收监控指令,并识别发送监控指令的目标监控设备,其中,监控指令用于监控待监控设备中的数据信息;解析监控指令,确定监控指令指示的待监控设备;确定待监控设备的备用数据库,并根据监控指令从备用数据库中获取待监控设备的运行数据;根据待监控设备的等级对运行数据进行处理,得到处理后的目标数据;将目标数据发送至目标监控设备,并通过目标监控设备确定目标数据的异常情况。通过本申请,解决了相关技术中使用不同的待监控设备对不同数据系统中的数据进行监控的效率低,并且浪费监控资源的问题。
Description
技术领域
本申请涉及数据处理领域,具体而言,涉及一种数据监控方法、系统、装置以及存储介质。
背景技术
随着金融机构中的线上业务量不断扩大,并且金融机构设立的数量不断增多,使用的数据系统或平台的数量和种类也不断增多,由于不同数据系统或平台之间的数据类型或数据格式不同,导致在多平台和多系统之间进行数据交互,以及数据监控的时候,会由于数据之间的差异导致无法统一进行监控,进而需要使用每个平台或系统对应的数据待监控设备进行数据监控,进而降低数据监控效率,并且还会导致监控资源的浪费。
针对相关技术中使用不同的待监控设备对不同数据系统中的数据进行监控的效率低,并且浪费监控资源的问题,目前尚未提出有效的解决方案。
发明内容
本申请提供一种数据监控方法、系统、装置以及存储介质,以解决相关技术中使用不同的待监控设备对不同数据系统中的数据进行监控的效率低,并且浪费监控资源的问题。
根据本申请的一个方面,提供了一种数据监控方法。该方法包括:接收监控指令,并识别发送监控指令的目标监控设备,其中,监控指令用于监控待监控设备中的数据信息;解析监控指令,确定监控指令指示的待监控设备;确定待监控设备的备用数据库,并根据监控指令从备用数据库中获取待监控设备的运行数据;根据待监控设备的等级对运行数据进行处理,得到处理后的目标数据;将目标数据发送至目标监控设备,并通过目标监控设备确定目标数据的异常情况。
可选地,确定待监控设备的备用数据库包括:识别待监控设备的主数据库,并确定主数据库关联的备用数据库的数量;在主数据库关联一个备用数据库的情况下,将备用数据库确定为待监控设备的备用数据库;在主数据库关联多个备用数据库的情况下,获取每个备用数据库的使用率,并获取使用率最低的备用数据库,得到目标数据库,将目标数据库确定为待监控设备的备用数据库。
可选地,根据待监控设备的等级对运行数据进行处理,得到处理后的目标数据包括:判断运行数据中是否存在异常数据,并在运行数据中存在异常数据的情况下,将异常数据进行删除,得到第一数据;判断待监控设备的等级是否为第一等级,并在待监控设备的等级为第一等级的情况下,获取预设格式,并通过预设格式将第一数据进行转换,得到目标数据;判断待监控设备的等级是否为第二等级,并在待监控设备的等级为第二等级的情况下,获取预设格式,并通过预设格式将第一数据进行转换,得到第二数据,并获取待监控设备关联的数据处理流程,通过数据处理流程将第二数据进行处理,得到目标数据。
可选地,数据信息中包括数据数量,在根据待监控设备的等级对运行数据进行处理,得到处理后的目标数据之前,该方法还包括:获取待监控设备的属性信息,并根据属性信息确定待监控设备的第一分值;根据数据数量确定待监控设备的第二分值;通过第一分值和第二分值计算待监控设备的总分值,并根据总分值确定待监控设备的等级。
可选地,在根据监控指令从备用数据库中获取待监控设备的运行数据包括:确定待监控设备的系统类型,得到目标系统类型;确定目标系统类型关联的数据传输接口,得到目标接口;通过目标接口向备用数据库发送数据获取指令,并通过目标接口接收运行数据。
可选地,在通过目标监控设备确定目标数据的异常情况之后,该方法还包括:接收目标监控设备发送的反馈信息,并判断反馈信息是否表征运行数据存在异常;在反馈信息表征运行数据存在异常的情况下,确定异常运行数据的异常原因,并将异常原因发送至待监控设备。
可选地,在将目标数据发送至目标监控设备之后,该方法还包括:获取数据库中目标监控设备所处的存储池,得到目标存储池;将目标数据发送至目标存储池中,并获取目标存储池中的数据存储量;判断数据存储量是否大于预设存储量;在数据存储量大于预设存储量的情况下,删除目标数据池中存储时长最长的数据,得到更新后的数据存储池,其中,更新后的数据存储池的数据存储量小于等于预设存储量。
根据本申请的另一方面,提供了一种数据监控系统。该系统包括:待监控设备,用于向数据处理设备发送运行数据;数据处理设备,用于接收监控指令,并识别发送监控指令的目标监控设备,解析监控指令,确定监控指令指示的待监控设备,确定待监控设备的备用数据库,并根据监控指令从备用数据库中获取待监控设备的运行数据,根据待监控设备的等级对运行数据进行处理,得到处理后的目标数据,将目标数据发送至目标监控设备,并通过目标监控设备确定目标数据的异常情况,其中,监控指令用于监控待监控设备中的数据信息;目标监控设备,与数据处理设备连接,用于发送监控指令,并接收数据处理设备发送的目标数据,并确定目标数据的异常情况。
根据本申请的另一方面,提供了一种数据监控装置。该装置包括:第一接收单元,用于接收监控指令,并识别发送监控指令的目标监控设备,其中,监控指令用于监控待监控设备中的数据信息;解析单元,用于解析监控指令,确定监控指令指示的待监控设备;第一确定单元,用于确定待监控设备的备用数据库,并根据监控指令从备用数据库中获取待监控设备的运行数据;处理单元,用于根据待监控设备的等级对运行数据进行处理,得到处理后的目标数据;第二确定单元,用于将目标数据发送至目标监控设备,并通过目标监控设备确定目标数据的异常情况。
根据本发明实施例的另一方面,还提供了一种计算机存储介质,计算机存储介质用于存储程序,其中,程序运行时控制计算机存储介质所在的设备执行一种数据监控方法。
根据本发明实施例的另一方面,还提供了一种电子设备,包含一个或多个处理器和存储器;存储器中存储有计算机可读指令,处理器用于运行计算机可读指令,其中,计算机可读指令运行时执行一种数据监控方法。
通过本申请,采用以下步骤:接收监控指令,并识别发送监控指令的目标监控设备,其中,监控指令用于监控待监控设备中的数据信息;解析监控指令,确定监控指令指示的待监控设备;确定待监控设备的备用数据库,并根据监控指令从备用数据库中获取待监控设备的运行数据;根据待监控设备的等级对运行数据进行处理,得到处理后的目标数据;将目标数据发送至目标监控设备,并通过目标监控设备确定目标数据的异常情况。解决了相关技术中使用不同的待监控设备对不同数据系统中的数据进行监控的效率低,并且浪费监控资源的问题。通过确定发送监控指令的目标监控设备,并确定待监控设备,并从待监控设备的备库中获取数据,在得到数据后,根据需要该数据的待监控设备的等级对数据进行统一处理,并将处理后的数据发送至目标监控设备,通过在数据处理设备中根据待监控设备的类型对数据进行不同的处理,进而达到了提高数据监控效率,并且节省数据监控资源的效果。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例提供的数据监控方法的流程图;
图2是根据本申请实施例提供的可选的备库选择方法的流程图;
图3是根据本申请实施例提供的数据监控系统的示意图;
图4是根据本申请实施例提供的数据监控装置的示意图;
图5是根据本申请实施例提供的一种电子设备的示意图。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是,本公开所涉及的相关信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等),均为经用户授权或者经过各方充分授权的信息和数据。例如,本系统和相关用户或机构间设置有接口,在获取相关信息之前,需要通过接口向前述的用户或机构发送获取请求,并在接收到前述的用户或机构反馈的同意信息后,获取相关信息。
需要说明的是,本公开所确定的数据监控方法、系统、装置以及存储介质可用于数据处理领域,也可用于除数据处理领域之外的任意领域,本公开所确定的数据监控方法、系统、装置以及存储介质的应用领域不做限定。
根据本申请的实施例,提供了一种数据监控方法。
图1是根据本申请实施例的数据监控方法的流程图。如图1所示,该方法包括以下步骤:
步骤S101,接收监控指令,并识别发送监控指令的目标监控设备,其中,监控指令用于监控待监控设备中的数据信息。
具体的,数据处理设备可以与多个待监控设备相连接,同时还可以与多个用户使用的待监控设备相连接,在用户使用目标监控设备下发监控指令的时候,目标监控设备会向数据处理设备发送监控指令,此时,数据处理设备会识别监控指令中的源IP信息,从而确定发送监控指令的设备,进而在得到数据后可以准确的返回数据。
步骤S102,解析监控指令,确定监控指令指示的待监控设备。
具体的,在得到监控指令后,可以解析监控指令,从而确定用户需要监控的设备。
步骤S103,确定待监控设备的备用数据库,并根据监控指令从备用数据库中获取待监控设备的运行数据。
具体的,为了保证在获取待监控设备的数据的时候,将对待监控设备的影响降到最低,因此,可以从待监控设备的备用数据库中获取监控指令中指示的数据,从而得到待监控设备的运行数据。
步骤S104,根据待监控设备的等级对运行数据进行处理,得到处理后的目标数据。
具体的,由于不同设备的设备类型,以及数据的存储类型不同,因此,在得到运行数据后,可以由数据处理设备对数据进行处理,从而将运行数据进行标准化,使得监控设备接收到的数据为标准化数据。
步骤S105,将目标数据发送至目标监控设备,并通过目标监控设备确定目标数据的异常情况。
具体的,在得到标准化数据后,可以根据源IP将数据返回至目标监控设备中,进而由目标监控设备对运行数据进行校验和检查,从而确定待监控设备是否存在问题。
本申请实施例提供的数据监控方法,通过接收监控指令,并识别发送监控指令的目标监控设备,其中,监控指令用于监控待监控设备中的数据信息;解析监控指令,确定监控指令指示的待监控设备;确定待监控设备的备用数据库,并根据监控指令从备用数据库中获取待监控设备的运行数据;根据待监控设备的等级对运行数据进行处理,得到处理后的目标数据;将目标数据发送至目标监控设备,并通过目标监控设备确定目标数据的异常情况。解决了相关技术中使用不同的待监控设备对不同数据系统中的数据进行监控的效率低,并且浪费监控资源的问题。通过确定发送监控指令的目标监控设备,并确定待监控设备,并从待监控设备的备库中获取数据,在得到数据后,根据需要该数据的待监控设备的等级对数据进行统一处理,并将处理后的数据发送至目标监控设备,通过在数据处理设备中根据待监控设备的类型对数据进行不同的处理,进而达到了提高数据监控效率,并且节省数据监控资源的效果。
可选地,图2是根据本申请实施例提供的可选的备库选择方法的流程图,如图2所示,在本申请实施例提供的数据监控方法中,步骤S103中,确定待监控设备的备用数据库包括:
步骤S201,识别待监控设备的主数据库,并确定主数据库关联的备用数据库的数量;
步骤S202,在主数据库关联一个备用数据库的情况下,将备用数据库确定为待监控设备的备用数据库;
步骤S203,在主数据库关联多个备用数据库的情况下,获取每个备用数据库的使用率,并获取使用率最低的备用数据库,得到目标数据库,将目标数据库确定为待监控设备的备用数据库。
具体的,由于在获取待监控设备的数据时,通常会影响待监控设备的运行,为了将对待监控设备的运行影响降到最低,因此,首先可以采用从备用数据库中获取运行数据的方式,从而避免对主数据库造成影响,进一步的,在存在多个备用数据库的情况下,可以确定使用率最低的备用数据库,并从该数据库中获取运行数据,达到降低对待监控设备的运行影响的效果。
可选地,在本申请实施例提供的数据监控方法中,根据待监控设备的等级对运行数据进行处理,得到处理后的目标数据包括:判断运行数据中是否存在异常数据,并在运行数据中存在异常数据的情况下,将异常数据进行删除,得到第一数据;判断待监控设备的等级是否为第一等级,并在待监控设备的等级为第一等级的情况下,获取预设格式,并通过预设格式将第一数据进行转换,得到目标数据;判断待监控设备的等级是否为第二等级,并在待监控设备的等级为第二等级的情况下,获取预设格式,并通过预设格式将第一数据进行转换,得到第二数据,并获取待监控设备关联的数据处理流程,通过数据处理流程将第二数据进行处理,得到目标数据。
具体的,由于待监控设备之间存在差异,因此在得到运行数据后,需要根据待监控设备的等级对数据进行处理。
其中,无论待监控设备的等级为几级,均需要将得到的运行数据中的异常数据进行删除,也即对数据进行清洗,还可以根据运行数据之间的关系对缺失数据进行填充,或是对存在缺失的异常数据进行删除,从而保证数据的有效性。
进一步的,在待监控设备的等级为第一等级的情况下,需要按照通用性规则,将数据进行标准化加工,也即,通过预设格式对第一数据进行转换,得到目标数据。表1为一种可选的转换前后的运行数据对照表,如表1所示,可以按照表1中的预设格式对数据中的字段名称进行变更:
表1
转换前字段名称 | 转换后字段名称 | 说明 |
sys | head_sys | 数据头-系统标识-- |
name | head_name | 数据头-系统名称 |
code | head_code | 数据头-系统简称 |
desc | head_desc | 数据头-描述 |
from | head_from | 数据头-来源 |
type | head_type | 数据头-类型 |
最后,在待监控设备的等级为第二等级的情况下,需要先根据上述流程对运行数据进行标准化,得到第二数据,同时需要获取待监控设备独有的标准化流程,进而对待监控设备进行二次标准化处理,从而达到对不同的设备的运行数据进行对应处理的效果。
可选地,在本申请实施例提供的数据监控方法中,数据信息中包括数据数量,在根据待监控设备的等级对运行数据进行处理,得到处理后的目标数据之前,该方法还包括:获取待监控设备的属性信息,并根据属性信息确定待监控设备的第一分值;根据数据数量确定待监控设备的第二分值;通过第一分值和第二分值计算待监控设备的总分值,并根据总分值确定待监控设备的等级。
具体的,在确定待监控设备的等级的时候,首先可以根据属性信息进行确定,也即,在属性信息表征待监控设备的重要度为X的情况下,可以将X对应的分值确定为第一分值中的部分元素,同样的,也可以对其余的属性信息进行分值确定,也即根据特性分组,并对每个组确定不同的分值,例如,重要度为X,X位于第二组,则分值可以为2分。
进一步的,还由于需要监控的数据的数量越大,越需要数据规范统一,因此,可以需要监控的数据的数量确定第二分值,并根据第一分值和第二分值确定总分值,例如,对第一分值和第二分值进行加权求和,或是直接进行求和,得到总分值后,即可根据总分值和等级的对应关系确定待监控设备的等级。
可选地,在本申请实施例提供的数据监控方法中,在根据监控指令从备用数据库中获取待监控设备的运行数据包括:确定待监控设备的系统类型,得到目标系统类型;确定目标系统类型关联的数据传输接口,得到目标接口;通过目标接口向备用数据库发送数据获取指令,并通过目标接口接收运行数据。
具体的,在通过数据处理设备向待监控设备获取数据的时候,需要先获取待监控设备的系统类型,并根据系统类型确定接口信息,例如,数据库接口或API接口,并在确定了接口信息后,通过数据库接口或API接口与待监控设备进行连接,从而准确的从待监控设备中获取运行数据。
可选地,在本申请实施例提供的数据监控方法中,在通过目标监控设备确定目标数据的异常情况之后,该方法还包括:接收目标监控设备发送的反馈信息,并判断反馈信息是否表征运行数据存在异常;在反馈信息表征运行数据存在异常的情况下,确定异常运行数据的异常原因,并将异常原因发送至待监控设备。
具体的,在得到目标数据后,可以向目标监控设备发送目标数据,并由目标监控设备对数据进行检查,在目标监控设备识别到目标数据存在异常的情况下,可以识别目标数据的异常原因,并将异常原因发送至数据处理设备中,从而可以由数据处理设备调取该待监控设备的历史数据,并将历史数据发送至目标监控设备,从而进一步分析异常发生原因,还可以根据异常原因向待监控设备发送告警信息,进而停止待监控设备执行当前的操作,及时解决异常。
可选地,在本申请实施例提供的数据监控方法中,在将目标数据发送至目标监控设备之后,该方法还包括:获取数据库中目标监控设备所处的存储池,得到目标存储池;将目标数据发送至目标存储池中,并获取目标存储池中的数据存储量;判断数据存储量是否大于预设存储量;在数据存储量大于预设存储量的情况下,删除目标数据池中存储时长最长的数据,得到更新后的数据存储池,其中,更新后的数据存储池的数据存储量小于等于预设存储量。
具体的,为了保证在设备出现异常的时候可以及时的获取历史时刻完成数据处理的历史目标数据,因此,可以在得到目标数据后,将目标数据进行存储,并在存储量大于预设存储量的情况下,将存储时间最长的数据进行删除,也即,将时间最远的数据进行删除,从而即保证了数据的时效性,又保证了数据不冗余,保证了存储池的正常运行。
需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
根据本申请的实施例,提供了一种数据监控系统。图3是根据本申请实施例提供的数据监控系统的示意图。如图3所示,该系统包括:
待监控设备301,用于向数据处理设备302发送运行数据。
具体的,待监控设备301可以有多个,每个待监控设备301可以在接收到数据处理设备302发送的监控指令后,将对应的运行数据发送至数据处理设备302中,从而完成数据的传输操作。
数据处理设备302,用于接收监控指令,并识别发送监控指令的目标监控设备303,解析监控指令,确定监控指令指示的待监控设备301,确定待监控设备301的备用数据库,并根据监控指令从备用数据库中获取待监控设备301的运行数据,根据待监控设备301的等级对运行数据进行处理,得到处理后的目标数据,将目标数据发送至目标监控设备303,并通过目标监控设备303确定目标数据的异常情况,其中,监控指令用于监控待监控设备301中的数据信息。
具体的,数据处理设备302可以在接收到目标监控设备303的监控指令后,向待监控设备301中获取运行数据,并根据待监控设备301的等级对运行数据进行处理,得到目标数据,并将目标数据进行存储后发送至目标监控设备303中,从而完成数据标准化操作。
目标监控设备303,与数据处理设备302连接,用于发送监控指令,并接收数据处理设备302发送的目标数据,并确定目标数据的异常情况。
具体的,在目标监控设备303接收到目标数据后,可以对目标数据进行检查,在目标监控设备303识别到目标数据存在异常的情况下,可以识别目标数据的异常原因,并将异常原因发送至数据处理设备302中,从而可以由数据处理设备302调取该待监控设备301的历史数据,并将历史数据发送至目标监控设备303,从而进一步分析异常发生原因,还可以根据异常原因向待监控设备301发送告警信息,进而停止待监控设备301执行当前的操作,及时解决异常
本申请实施例还提供了一种数据监控装置,需要说明的是,本申请实施例的数据监控装置可以用于执行本申请实施例所提供的用于数据监控方法。以下对本申请实施例提供的数据监控装置进行介绍。
图4是根据本申请实施例提供的数据监控装置的示意图。如图4所示,该装置包括:第一接收单元41,解析单元42,第一确定单元43,处理单元44,第二确定单元45。
第一接收单元41,用于接收监控指令,并识别发送监控指令的目标监控设备,其中,监控指令用于监控待监控设备中的数据信息。
解析单元42,用于解析监控指令,确定监控指令指示的待监控设备。
第一确定单元43,用于确定待监控设备的备用数据库,并根据监控指令从备用数据库中获取待监控设备的运行数据。
处理单元44,用于根据待监控设备的等级对运行数据进行处理,得到处理后的目标数据。
第二确定单元45,用于将目标数据发送至目标监控设备,并通过目标监控设备确定目标数据的异常情况。
本申请实施例提供的数据监控装置,通过第一接收单元41接收监控指令,并识别发送监控指令的目标监控设备,其中,监控指令用于监控待监控设备中的数据信息;解析单元42解析监控指令,确定监控指令指示的待监控设备;第一确定单元43确定待监控设备的备用数据库,并根据监控指令从备用数据库中获取待监控设备的运行数据;处理单元44根据待监控设备的等级对运行数据进行处理,得到处理后的目标数据;第二确定单元45将目标数据发送至目标监控设备,并通过目标监控设备确定目标数据的异常情况。解决了相关技术中使用不同的待监控设备对不同数据系统中的数据进行监控的效率低,并且浪费监控资源的问题。通过确定发送监控指令的目标监控设备,并确定待监控设备,并从待监控设备的备库中获取数据,在得到数据后,根据需要该数据的待监控设备的等级对数据进行统一处理,并将处理后的数据发送至目标监控设备,通过在数据处理设备中根据待监控设备的类型对数据进行不同的处理,进而达到了提高数据监控效率,并且节省数据监控资源的效果。
可选地,在本申请实施例提供的数据监控装置中,第一确定单元43包括:识别模块,用于识别待监控设备的主数据库,并确定主数据库关联的备用数据库的数量;第一确定模块,用于在主数据库关联一个备用数据库的情况下,将备用数据库确定为待监控设备的备用数据库;第一获取模块,用于在主数据库关联多个备用数据库的情况下,获取每个备用数据库的使用率,并获取使用率最低的备用数据库,得到目标数据库,将目标数据库确定为待监控设备的备用数据库。
可选地,在本申请实施例提供的数据监控装置中,处理单元44包括:第一判断模块,用于判断运行数据中是否存在异常数据,并在运行数据中存在异常数据的情况下,将异常数据进行删除,得到第一数据;第二判断模块,用于判断待监控设备的等级是否为第一等级,并在待监控设备的等级为第一等级的情况下,获取预设格式,并通过预设格式将第一数据进行转换,得到目标数据;第三判断模块,用于判断待监控设备的等级是否为第二等级,并在待监控设备的等级为第二等级的情况下,获取预设格式,并通过预设格式将第一数据进行转换,得到第二数据,并获取待监控设备关联的数据处理流程,通过数据处理流程将第二数据进行处理,得到目标数据。
可选地,在本申请实施例提供的数据监控装置中,数据信息中包括数据数量,该装置还包括:第一获取单元,用于获取待监控设备的属性信息,并根据属性信息确定待监控设备的第一分值;第三确定单元,用于根据数据数量确定待监控设备的第二分值;第四确定单元,用于通过第一分值和第二分值计算待监控设备的总分值,并根据总分值确定待监控设备的等级。
可选地,在本申请实施例提供的数据监控装置中,第一确定单元43包括:第二确定模块,用于确定待监控设备的系统类型,得到目标系统类型;第三确定模块,用于确定目标系统类型关联的数据传输接口,得到目标接口;第二获取模块,用于通过目标接口向备用数据库发送数据获取指令,并通过目标接口接收运行数据。
可选地,在本申请实施例提供的数据监控装置中,该装置还包括:第二接收单元,用于接收目标监控设备发送的反馈信息,并判断反馈信息是否表征运行数据存在异常;第五确定单元,用于在反馈信息表征运行数据存在异常的情况下,确定异常运行数据的异常原因,并将异常原因发送至待监控设备。
可选地,在本申请实施例提供的数据监控装置中,该装置还包括:第二获取单元,用于获取数据库中目标监控设备所处的存储池,得到目标存储池;发送单元,用于将目标数据发送至目标存储池中,并获取目标存储池中的数据存储量;判断单元,用于判断数据存储量是否大于预设存储量;删除单元,用于在数据存储量大于预设存储量的情况下,删除目标数据池中存储时长最长的数据,得到更新后的数据存储池,其中,更新后的数据存储池的数据存储量小于等于预设存储量。
上述数据监控装置包括处理器和存储器,上述第一接收单元41,解析单元42,第一确定单元43,处理单元44,第二确定单元45等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来解决了相关技术中使用不同的待监控设备对不同数据系统中的数据进行监控的效率低,并且浪费监控资源的问题。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
本发明实施例提供了一种计算机可读存储介质,其上存储有程序,该程序被处理器执行时实现所述数据监控方法。
本发明实施例提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行所述数据监控方法。
如图5所示,本发明实施例提供了一种电子设备,电子设备50包括处理器、存储器及存储在存储器上并可在处理器上运行的程序,处理器执行程序时实现以下步骤:接收监控指令,并识别发送监控指令的目标监控设备,其中,监控指令用于监控待监控设备中的数据信息;解析监控指令,确定监控指令指示的待监控设备;确定待监控设备的备用数据库,并根据监控指令从备用数据库中获取待监控设备的运行数据;根据待监控设备的等级对运行数据进行处理,得到处理后的目标数据;将目标数据发送至目标监控设备,并通过目标监控设备确定目标数据的异常情况。本文中的设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有如下方法步骤的程序:接收监控指令,并识别发送监控指令的目标监控设备,其中,监控指令用于监控待监控设备中的数据信息;解析监控指令,确定监控指令指示的待监控设备;确定待监控设备的备用数据库,并根据监控指令从备用数据库中获取待监控设备的运行数据;根据待监控设备的等级对运行数据进行处理,得到处理后的目标数据;将目标数据发送至目标监控设备,并通过目标监控设备确定目标数据的异常情况。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种数据监控方法,其特征在于,包括:
接收监控指令,并识别发送所述监控指令的目标监控设备,其中,所述监控指令用于监控待监控设备中的数据信息;
解析所述监控指令,确定所述监控指令指示的所述待监控设备;
确定所述待监控设备的备用数据库,并根据所述监控指令从所述备用数据库中获取所述待监控设备的运行数据;
根据所述待监控设备的等级对所述运行数据进行处理,得到处理后的目标数据;
将所述目标数据发送至所述目标监控设备,并通过所述目标监控设备确定所述目标数据的异常情况。
2.根据权利要求1所述的方法,其特征在于,确定所述待监控设备的备用数据库包括:
识别所述待监控设备的主数据库,并确定所述主数据库关联的备用数据库的数量;
在所述主数据库关联一个备用数据库的情况下,将所述备用数据库确定为所述待监控设备的备用数据库;
在所述主数据库关联多个备用数据库的情况下,获取每个备用数据库的使用率,并获取使用率最低的备用数据库,得到目标数据库,将所述目标数据库确定为所述待监控设备的备用数据库。
3.根据权利要求1所述的方法,其特征在于,根据所述待监控设备的等级对所述运行数据进行处理,得到处理后的目标数据包括:
判断所述运行数据中是否存在异常数据,并在所述运行数据中存在所述异常数据的情况下,将所述异常数据进行删除,得到第一数据;
判断所述待监控设备的等级是否为第一等级,并在所述待监控设备的等级为所述第一等级的情况下,获取预设格式,并通过所述预设格式将所述第一数据进行转换,得到所述目标数据;
判断所述待监控设备的等级是否为第二等级,并在所述待监控设备的等级为所述第二等级的情况下,获取预设格式,并通过所述预设格式将所述第一数据进行转换,得到第二数据,并获取所述待监控设备关联的数据处理流程,通过所述数据处理流程将所述第二数据进行处理,得到所述目标数据。
4.根据权利要求1所述的方法,其特征在于,所述数据信息中包括数据数量,在根据所述待监控设备的等级对所述运行数据进行处理,得到处理后的目标数据之前,所述方法还包括:
获取所述待监控设备的属性信息,并根据所述属性信息确定所述待监控设备的第一分值;
根据所述数据数量确定所述待监控设备的第二分值;
通过所述第一分值和所述第二分值计算所述待监控设备的总分值,并根据所述总分值确定所述待监控设备的等级。
5.根据权利要求1所述的方法,其特征在于,根据所述监控指令从所述备用数据库中获取所述待监控设备的运行数据包括:
确定所述待监控设备的系统类型,得到目标系统类型;
确定所述目标系统类型关联的数据传输接口,得到目标接口;
通过所述目标接口向所述备用数据库发送数据获取指令,并通过所述目标接口接收所述运行数据。
6.根据权利要求1所述的方法,其特征在于,在通过所述目标监控设备确定所述目标数据的异常情况之后,所述方法还包括:
接收所述目标监控设备发送的反馈信息,并判断所述反馈信息是否表征所述运行数据存在异常;
在所述反馈信息表征所述运行数据存在异常的情况下,确定所述异常运行数据的异常原因,并将所述异常原因发送至所述待监控设备。
7.根据权利要求1所述的方法,其特征在于,在将所述目标数据发送至所述目标监控设备之后,所述方法还包括:
获取数据库中所述目标监控设备所处的存储池,得到目标存储池;
将所述目标数据发送至所述目标存储池中,并获取所述目标存储池中的数据存储量;
判断所述数据存储量是否大于预设存储量;
在所述数据存储量大于所述预设存储量的情况下,删除所述目标数据池中存储时长最长的数据,得到更新后的数据存储池,其中,所述更新后的数据存储池的数据存储量小于等于所述预设存储量。
8.一种数据监控系统,其特征在于,包括:
待监控设备,用于向数据处理设备发送运行数据;
所述数据处理设备,用于接收监控指令,并识别发送所述监控指令的目标监控设备,解析所述监控指令,确定所述监控指令指示的所述待监控设备,确定所述待监控设备的备用数据库,并根据所述监控指令从所述备用数据库中获取所述待监控设备的运行数据,根据所述待监控设备的等级对所述运行数据进行处理,得到处理后的目标数据,将所述目标数据发送至所述目标监控设备,并通过所述目标监控设备确定所述目标数据的异常情况,其中,所述监控指令用于监控待监控设备中的数据信息;
所述目标监控设备,与所述数据处理设备连接,用于发送监控指令,并接收所述数据处理设备发送的目标数据,并确定所述目标数据的异常情况。
9.一种数据监控装置,其特征在于,包括:
第一接收单元,用于接收监控指令,并识别发送所述监控指令的目标监控设备,其中,所述监控指令用于监控待监控设备中的数据信息;
解析单元,用于解析所述监控指令,确定所述监控指令指示的所述待监控设备;
第一确定单元,用于确定所述待监控设备的备用数据库,并根据所述监控指令从所述备用数据库中获取所述待监控设备的运行数据;
处理单元,用于根据所述待监控设备的等级对所述运行数据进行处理,得到处理后的目标数据;
第二确定单元,用于将所述目标数据发送至所述目标监控设备,并通过所述目标监控设备确定所述目标数据的异常情况。
10.一种计算机存储介质,其特征在于,所述计算机存储介质用于存储程序,其中,所述程序运行时控制所述计算机存储介质所在的设备执行权利要求1至7中任意一项所述的数据监控方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310287262.XA CN116303399A (zh) | 2023-03-22 | 2023-03-22 | 数据监控方法、系统、装置以及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310287262.XA CN116303399A (zh) | 2023-03-22 | 2023-03-22 | 数据监控方法、系统、装置以及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116303399A true CN116303399A (zh) | 2023-06-23 |
Family
ID=86786840
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310287262.XA Pending CN116303399A (zh) | 2023-03-22 | 2023-03-22 | 数据监控方法、系统、装置以及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116303399A (zh) |
-
2023
- 2023-03-22 CN CN202310287262.XA patent/CN116303399A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110661659B (zh) | 一种告警方法、装置、系统及电子设备 | |
CN110650036A (zh) | 告警处理方法、装置及电子设备 | |
CN113641526B (zh) | 告警根因定位方法、装置、电子设备及计算机存储介质 | |
CN108134812B (zh) | 数据处理方法和装置 | |
CN111966289A (zh) | 基于Kafka集群的分区优化方法和系统 | |
CN112182089B (zh) | 基于数据仓库模型的报表生成方法、装置和设备 | |
CN117336135A (zh) | 数据传输方法、装置、存储介质以及电子设备 | |
CN117196625A (zh) | 用于汇兑业务的信息展示方法、系统、设备及存储介质 | |
CN116841653A (zh) | 运维作业的执行方法、装置、处理器及电子设备 | |
CN113472881B (zh) | 在线终端设备的统计方法和装置 | |
CN116303399A (zh) | 数据监控方法、系统、装置以及存储介质 | |
CN116225958A (zh) | 故障预测方法、装置、存储介质及电子设备 | |
CN107515864A (zh) | 监控工作流的方法及设备 | |
CN113222223B (zh) | 实时数仓的风控联动预警方法、系统、设备及存储介质 | |
CN106888244B (zh) | 一种业务处理方法及装置 | |
CN115525392A (zh) | 容器监控方法、装置、电子设备及存储介质 | |
CN115114275A (zh) | 一种数据采集方法、设备及介质 | |
CN113220757A (zh) | 实时数仓自动etl方法、系统、设备及计算机存储介质 | |
CN112286792A (zh) | 一种接口测试方法、装置、设备和存储介质 | |
CN112509164A (zh) | 一种出勤打卡方法、装置、设备和存储介质 | |
CN117853221A (zh) | 消费信贷模型的监控方法、装置和系统 | |
CN110597603A (zh) | 一种分布式排期任务的调度方法与系统 | |
CN116954975A (zh) | 软件产品的故障处理方法、系统、装置以及存储介质 | |
CN117596187B (zh) | 一种基于多云平台的服务器运维方法、装置、设备及介质 | |
CN117689319A (zh) | 金融服务生命周期的管理方法和装置、处理器及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |