CN115442263A - 被监控系统的数据监控方法、装置和计算机设备 - Google Patents
被监控系统的数据监控方法、装置和计算机设备 Download PDFInfo
- Publication number
- CN115442263A CN115442263A CN202210991010.0A CN202210991010A CN115442263A CN 115442263 A CN115442263 A CN 115442263A CN 202210991010 A CN202210991010 A CN 202210991010A CN 115442263 A CN115442263 A CN 115442263A
- Authority
- CN
- China
- Prior art keywords
- data
- monitoring
- index
- monitored
- indexes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 380
- 238000000034 method Methods 0.000 title claims abstract description 80
- 238000000605 extraction Methods 0.000 claims description 42
- 238000004590 computer program Methods 0.000 claims description 28
- 238000012216 screening Methods 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 14
- 238000012806 monitoring device Methods 0.000 abstract description 5
- 230000002401 inhibitory effect Effects 0.000 abstract 1
- 238000013075 data extraction Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000007726 management method Methods 0.000 description 4
- 230000002085 persistent effect Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000012550 audit Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000002354 daily effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0805—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/04—Processing captured monitoring data, e.g. for logfile generation
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Environmental & Geological Engineering (AREA)
- Data Mining & Analysis (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请涉及一种被监控系统的数据监控方法、装置、计算机设备和存储介质，所述方法包括：获取被监控系统的数据库数据和日志数据；获取被监控系统的系统规范信息；根据系统规范信息以及预先设定的监控指标对数据库数据和/或日志数据进行特征数据提取，得到监控指标的指标数据；基于监控指标的指标数据对被监控系统进行数据监控。上述方法能够提高被监控系统的数据可观测性，从而对被监控系统进行准确地数据监控，抑制被监控系统的黑盒影响。
Description
技术领域
本申请涉及数据处理技术领域，特别是涉及一种被监控系统的数据监控方法、装置、计算机设备和存储介质。
背景技术
当前，很多互联网企业引入外部信息化系统。这些系统除SaaS(Software-as-a-Service，软件即服务)服务天然具备数据透明和服务商运维兜底之外，其他服务的数据对于使用方而言，基本属于黑盒状态，因此严重依赖服务供应商的维护保障服务。同时使用方的IT设施不同、业务不同，也导致供应方无法提供合适的系统监控运维设施或手段，使得使用方很难对引入的外部信息化系统进行准确监控。即使供应方提供基础的应用监控(APM)或网络监控(NPM)，使用方也很难将故障和引入的外部信息化系统的具体运行机制相联系，因而导致使用方很难对外部信息化系统进行准确地数据监控和系统修复，对外部信息化系统的监控能力缺失问题尤其突出。
发明内容
基于此，有必要针对上述技术问题，提供一种被监控系统的数据监控方法、装置、计算机设备和存储介质，能够提高被监控系统的数据可观测性，从而对被监控系统进行准确地数据监控，抑制被监控系统的黑盒影响。
一种被监控系统的数据监控方法，包括：获取被监控系统的数据库数据和日志数据；获取被监控系统的系统规范信息；根据系统规范信息以及预先设定的监控指标对数据库数据和/或日志数据进行特征数据提取，得到监控指标的指标数据；基于监控指标的指标数据对被监控系统进行数据监控。
在其中一个实施例中，一种被监控系统的数据监控方法还包括：获取被监控系统的数据属性和操作方法；根据数据属性和操作方法，生成系统规范信息。
在其中一个实施例中，根据系统规范信息以及预先设定的监控指标对数据库数据和/或日志数据进行特征数据提取，得到监控指标的指标数据，包括：识别出被监控系统的监控对象；从数据库数据和/或日志数据中筛选出监控对象的监控数据；根据系统规范信息以及预先设定的监控指标对监控数据进行数据特征提取，得到监控指标的指标数据。
在其中一个实施例中，从数据库数据和/或日志数据中筛选出监控对象的监控数据，包括：从数据库数据中筛选出监控对象的数据库监控数据；从日志数据中筛选出监控对象的日志监控数据；其中监控对象的监控数据包括数据库监控数据和日志监控数据；根据系统规范信息以及预先设定的监控指标对监控数据进行数据特征提取，得到监控指标的指标数据，包括：根据系统规范信息以及预先设定的监控指标对数据库监控数据和日志监控数据进行数据特征提取，得到监控指标的指标数据。
在其中一个实施例中，根据系统规范信息以及预先设定的监控指标对数据库监控数据和日志监控数据进行数据特征提取，得到监控指标的指标数据，包括：根据系统规范信息对数据库监控数据进行数据特征提取，得到反映被监控系统对监控对象的数据处理结果的监控指标的指标数据；根据系统规范信息对日志监控数据进行数据特征提取，得到反映被监控系统对监控对象的数据处理过程的监控指标的指标数据。
在其中一个实施例中，一种被监控系统的数据监控方法还包括：识别出监控对象的系统框架链路，根据系统框架链路提取监控对象的一个或多个系统指标；识别出监控对象的业务链路，根据业务链路提取监控对象的一个或多个业务指标；根据一个或多个系统指标和一个或多个业务指标构建监控对象的监控指标；根据系统规范信息以及预先设定的监控指标对监控数据进行数据特征提取，得到监控指标的指标数据，包括：根据一个或多个系统指标以及系统规范信息对监控数据进行特征数据提取，得到一个或多个系统指标的指标数据；根据一个或多个业务指标以及系统规范信息对监控数据进行特征数据提取，得到一个或多个业务指标的指标数据。
在其中一个实施例中，基于监控指标的指标数据对被监控系统进行数据监控，包括：获取预先设定的告警条件；当监控指标的指标数据满足告警条件时，进行告警提示。
一种被监控系统的数据监控装置，包括：第一获取模块，用于获取被监控系统的数据库数据和日志数据；第二获取模块，用于获取被监控系统的系统规范信息；特征提取模块，用于根据系统规范信息以及预先设定的监控指标对数据库数据和/或日志数据进行特征数据提取，得到监控指标的指标数据；监控模块，用于基于监控指标的指标数据对被监控系统进行数据监控。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述任一实施例方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任一实施例方法的步骤。
上述一种被监控系统的数据监控方法、装置、计算机设备和存储介质，获取被监控系统的数据库数据和日志数据，获取被监控系统的系统规范信息，根据系统规范信息以及预先设定的监控指标对数据库数据和/或日志数据进行特征数据提取，得到监控指标的指标数据，基于监控指标的指标数据对被监控系统进行数据监控。因此，采用“数据库+日志+指标”的方法提高被监控系统的可观测性，从而对被监控系统进行准确地数据监控，抑制被监控系统的黑盒影响。
附图说明
图1为一个实施例中一种被监控系统的数据监控方法的应用环境图；
图2为一个实施例中一种被监控系统的数据监控方法的流程示意图；
图3为一个实施例中监控系统实现一种被监控系统的数据监控方法的流程示意图；
图4为一个实施例中一种被监控系统的数据监控装置的结构框图；
图5为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的一种被监控系统的数据监控方法，应用于如图1所示的应用环境中。如图1所示，监控系统202用于执行本申请的一种被监控系统的数据监控方法。系统集群中包含系统102、系统104和系统106。系统102为系统104的上游系统，系统104为系统106的上游系统。系统集群中，任一系统均可作为被监控系统。例如，如图1所示，以系统104为被监控系统为例进行说明。监控系统202获取系统104的数据库数据和日志数据，并从数据库中获取系统104的系统规范信息以及预先设定的监控指标。监控系统202根据系统规范信息以及预先设定的监控指标对数据库数据和/或日志数据进行特征数据提取，得到监控指标的指标数据，基于监控指标的指标数据对系统104进行数据监控。因此，采用“数据库+日志+指标”的方法提高系统104的可观测性，从而对系统104进行准确地数据监控，抑制系统104的黑盒影响。其中，系统104为引进的外部信息化系统，因此可以对外部信息化系统进行准确地数据监控。
在一个实施例中，如图2所示，提供了一种被监控系统的数据监控方法，以该方法应用于图1中的监控系统202为例进行说明，包括以下步骤：
S202，获取被监控系统的数据库数据和日志数据。
本实施例中，被监控系统可以是信息系统。数据库是对数据进行可靠存储、高效管理维护的软件。保存在数据库的数据，通常是被监控系统需可靠保存、供各种管理场景而进行加工的持久化数据。对于被监控系统的核心部分，其存储在数据库的数据，往往也是被监控系统的核心结构化数据。其次，被监控系统中还存储有日志数据。日志数据通常是记录被监控系统的运行情况，以跟踪运行、检测错误以及安全审计等。
由上可知，数据库数据为被监控系统中的持久化数据，日志数据为被监控系统中的过程化数据。抽取被监控系统的数据库数据和日志数据两部分数据，能够为后续的数据监控提供较为完整的数据支持。
S204，获取被监控系统的系统规范信息。
本实施例中，被监控系统按照设定的规范要求对外提供服务。系统规范信息中提供了设定的规范要求。即，被监控系统基于系统规范信息对外提供服务。以被监控系统为排班系统为例：排班系统中包含人员、班次、时间、工作内容等数据，也包含排班系统的运行状况数据。排班系统的系统规范信息中设定了外部对排班系统的这些数据的操作要求。如，按照指定的修改方式修改排班系统内部的这些数据，按照指定的统计方式统计排班系统内部的这些数据。不论什么人员设计、开发、实现，都须满足被监控系统的系统规范信息设定的规范要求。
S206，根据系统规范信息以及预先设定的监控指标对数据库数据和/或日志数据进行特征数据提取，得到监控指标的指标数据。
本实施例中，若监控指标对应的数据只来源于数据库，则只对数据库数据进行特征数据提取。若监控指标对应的数据只来源于日志文件，则只对日志数据进行特征数据提取。若监控指标对应的数据来源于数据库和日志文件，则对数据库数据和日志数据进行特征数据提取。
如，上述排班系统，一个监控指标为排班人员的工作时长，则根据排班系统的系统规范信息对提取到的数据库数据进行特征数据提取，得到排班人员的工作时长数据。一个监控指标为班次的创建数量，则根据排班系统的系统规范信息对提取到的数据库数据和日志数据进行特征数据提取，得到每天的排班数量。
S208，基于监控指标的指标数据对被监控系统进行数据监控。
本实施例中，基于监控指标的指标数据对被监控系统进行数据监控。可以是，采用可视化展示监控指标的指标数据的方式对被监控系统进行数据监控。还可以是，设定监控指标对应的标准条件，将监控指标的指标数据与标准条件进行对比，基于对比结果进行数据监控。
如上述排班系统，监控指标为班次的创建数量，监控指标的指标数据为每天的班次新增量，设定的标准条件为正常的新增班次数量，即阈值。将每天的班次新增量与正常的新增班次数量对比，可确定每天排班是否异常，即是否过多、过少或过快。
上述一种被监控系统的数据监控方法，获取被监控系统的数据库数据和日志数据，获取被监控系统的系统规范信息，根据系统规范信息以及预先设定的监控指标对数据库数据和/或日志数据进行特征数据提取，得到监控指标的指标数据，基于监控指标的指标数据对被监控系统进行数据监控。因此，采用“数据库+日志+指标”的方法提高被监控系统的可观测性，从而对被监控系统进行准确地数据监控，抑制被监控系统的黑盒影响。
在一个实施例中，上述获取被监控系统的系统规范信息的步骤之前，还包括：获取被监控系统的数据属性和操作方法；根据数据属性和操作方法，生成系统规范信息。
被监控系统根据场景需要，对结构化数据进行创建以及加工。其创建或加工的过程，也会将部分数据或操作体现在日志文件中。无论被监控系统内部如何设计以及实现，在对外工作和服务时被监控系统均设置有明确的数据属性和操作方法。该实施例中，基于被监控系统的数据属性和操作方法构建其系统规范信息。可以是，基于被监控系统的数据属性生成第一规范要求信息，基于被监控系统的操作方法生成第二规范要求信息，基于第一规范要求信息和第二规范要求信息构建系统规范信息。第一规范要求信息用于规范外部对被监控系统的数据操作要求，如按照指定方式提取被监控系统内的数据。第二规范要求信息用于规范外部对被监控系统的操作方式，如按照指定操作方式操作被监控系统。
以上述排班系统为例：排班系统操作排班记录，记录包含了人员、班次、时间、工作内容等数据属性。外部需按照该数据属性提取排班系统内的数据。排班系统提供增加、修改等操作方法，更具体如修改班次的具体时间、取消对应排班。外部需按照该操作方法操作排班系统。基于这种明确的数据属性和操作方法，构建排班系统的系统规范信息。
因此，可明确出被监控系统的外部规范。
在一个实施例中，上述根据系统规范信息以及预先设定的监控指标对数据库数据和/或日志数据进行特征数据提取，得到监控指标的指标数据，包括：识别出被监控系统的监控对象；从数据库数据和/或日志数据中筛选出监控对象的监控数据；根据系统规范信息以及预先设定的监控指标对监控数据进行数据特征提取，得到监控指标的指标数据。
前述实施例中，筛选出被监控系统的数据库数据和日志数据，为被监控系统的数据监控提供较为完整的数据基础。该实施例中，需具体确定被监控的监控对象，进而基于监控对象明确出监控数据。如，监控对象只包含数据库数据，则只需从获取到的数据库数据中筛选出监控数据即可。或，监控对象只包含日志数据，则只需从获取到的日志数据中筛选出监控数据即可。或，监控对象包含数据库数据和日志数据，则需从获取到的数据库数据和日志数据中筛选出监控数据。因此，能够准确获取监控对象的监控数据，以实现被监控系统中各个监控对象的数据监控。
在一个实施例中，上述从数据库数据和/或日志数据中筛选出监控对象的监控数据的步骤，包括：从数据库数据中筛选出监控对象的数据库监控数据；从日志数据中筛选出监控对象的日志监控数据；其中监控对象的监控数据包括数据库监控数据和日志监控数据。上述根据系统规范信息以及预先设定的监控指标对监控数据进行数据特征提取，得到监控指标的指标数据的步骤，包括：根据系统规范信息以及预先设定的监控指标对数据库监控数据和日志监控数据进行数据特征提取，得到监控指标的指标数据。
该实施例中，监控对象的监控数据包含来源于数据库的数据和来源于日志文件的数据。即，监控对象的监控数据包括数据库监控数据和日志监控数据。基于设定的监控指标按照系统规范信息对数据库监控数据和日志监控数据进行数据特征提取，得到监控对象的监控指标的指标数据。
由于数据库中的数据为结果数据，日志文件中的数据为过程性数据，按照系统规范信息对数据库监控数据和日志监控数据进行数据特征提取，得到的监控指标的指标数据较为完整，从而提高了对监控对象的数据监控的准确性。
在一个实施例中，上述根据系统规范信息以及预先设定的监控指标对数据库监控数据和日志监控数据进行数据特征提取，得到监控指标的指标数据的步骤，包括：根据系统规范信息对数据库监控数据进行数据特征提取，得到反映被监控系统对监控对象的数据处理结果的监控指标的指标数据；根据系统规范信息对日志监控数据进行数据特征提取，得到反映被监控系统对监控对象的数据处理过程的监控指标的指标数据。
该实施例中，被监控系统中的数据库数据，对应被监控系统的持久化数据，反映被监控系统的数据处理结果。基于数据库监控数据进行数据特征提取，得到的指标数据反映被监控系统对监控对象的数据处理结果。被监控系统中的日志数据，对应被监控系统运行的过程性数据，反映被监控系统的数据处理过程。根据系统规范信息对日志监控数据进行数据特征提取，得到的指标数据反映被监控系统对监控对象的数据处理过程。因此，通过抽取被监控系统的监控对象的数据库监控数据和日志监控数据，实现被监控系统的过程性和持久化数据覆盖，追踪被监控系统中监控对象的行为和结果。
在一个实施例中，上述根据系统规范信息以及预先设定的监控指标对监控数据进行数据特征提取，得到监控指标的指标数据的步骤之前，包括：识别出监控对象的系统框架链路，根据系统框架链路提取监控对象的一个或多个系统指标；识别出监控对象的业务链路，根据业务链路提取监控对象的一个或多个业务指标；根据一个或多个系统指标和一个或多个业务指标构建监控对象的监控指标。上述根据系统规范信息以及预先设定的监控指标对监控数据进行数据特征提取，得到监控指标的指标数据的步骤，包括：根据一个或多个系统指标以及系统规范信息对监控数据进行特征数据提取，得到一个或多个系统指标的指标数据；根据一个或多个业务指标以及系统规范信息对监控数据进行特征数据提取，得到一个或多个业务指标的指标数据。
该实施例中，监控对象的监控指标包括基于系统层面的系统指标和基于业务层面的业务指标。系统指标根据系统框架链路确定。例如，系统框架链路中包含初始节点A以及中间节点B、中间节点C和结束节点D。基于各个节点可以确定一个或多个系统指标。如，基于中间节点B确定一个系统指标，基于中间节点C确定另一个系统指标。业务指标基于业务链路确定。例如，业务链路中包含初始节点AA以及中间节点BB、中间节点CC和结束节点DD。基于各个节点可以确定一个或多个业务指标。如，基于中间节点BB确定一个业务指标，基于中间节点CC确定另一个业务指标。根据监控对象的系统指标以及系统规范信息对监控对象的监控数据进行特征数据提取，得到监控对象的系统指标对应的指标数据。根据监控对象的业务指标以及系统规范信息对监控对象的监控数据进行特征数据提取，得到监控对象的业务指标对应的指标数据。
一般地，对监控对象进行数据监控时，监控指标以及监控指标的指标数据局限于业务层面。被监控系统执行对外提供业务服务时，通过监控业务指标的指标数据可及时掌握被监控系统的业务服务情况。然而，被监控系统对外提供业务服务时，出现业务服务故障情况下，有可能是被监控系统的系统支持问题导致而非业务数据处理问题导致。这种情况下，仅监控被监控系统的业务指标无法确切了解到被监控系统业务服务故障的真实原因。
上述实施例，通过监控对象的系统框架链路提取监控对象的一个或多个系统指标，通过监控对象的业务链路提取监控对象的一个或多个业务指标，进而根据一个或多个系统指标和一个或多个业务指标构建监控对象的监控指标，从而使得对监控对象的数据监控更为全面，基于数据监控结果可以更加准确地确定被监控系统的数据运行状况。
例如，如图3所示，监控系统中包含信号采集组件、指标管理组件以及指标应用组件。各组件对应执行的操作参考图3所示。其中，MySQL表示关系型数据库管理系统，SLS表示日志服务。由此，采用“系统+业务”以及“全链路”结合的方法，分层追踪业务和系统故障和定位故障点，同时提供系统和业务关联影响的能力。
在一个实施例中，上述基于监控指标的指标数据对被监控系统进行数据监控的步骤，包括：获取预先设定的告警条件；当监控指标的指标数据满足告警条件时，进行告警提示。
该实施例中，预先设定告警条件，告警条件与监控指标的指标数据对应。即，当指标数据为数值时，告警条件中设置数值阈值，当确定监控指标大于数值阈值时，进行告警提示。当指标数据为字符时，告警条件中设置指定字符，当确定指标数据中包含指定字符时，进行告警提示。其中，告警提示可以是特定的可视化方式。因此，能够通过被监控系统的监控指标的指标数据对被监控系统的内部情况进行风险监控。
综上各个实施例提供的一种被监控系统的数据监控方法，降低了监控系统对被监控系统的内部透明要求，容易从业务以及系统集成逻辑出发构造可观测系统，提升了被监控系统的可观测性和故障生命周期管理能力，同时提供一定的数字孪生能力和无人值守能力，极大降低人力耦合范围和提升人工监控信息系统的能力。
应该理解的是，虽然流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，附图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本申请还提供一种被监控系统的数据监控装置。如图4所示，一种被监控系统的数据监控装置，包括第一获取模块402、第二获取模块404、特征提取模块406以及监控模块408。第一获取模块402，用于获取被监控系统的数据库数据和日志数据；第二获取模块404，用于获取被监控系统的系统规范信息；特征提取模块406，用于根据系统规范信息以及预先设定的监控指标对数据库数据和/或日志数据进行特征数据提取，得到监控指标的指标数据；监控模块408，用于基于监控指标的指标数据对被监控系统进行数据监控。
在其中一个实施例中，一种被监控系统的数据监控装置还包括生成模块，用于获取被监控系统的数据属性和操作方法；根据数据属性和操作方法，生成系统规范信息。
在其中一个实施例中，根据系统规范信息以及预先设定的监控指标对数据库数据和/或日志数据进行特征数据提取，得到监控指标的指标数据，包括：识别出被监控系统的监控对象；从数据库数据和/或日志数据中筛选出监控对象的监控数据；根据系统规范信息以及预先设定的监控指标对监控数据进行数据特征提取，得到监控指标的指标数据。
在其中一个实施例中，从数据库数据和/或日志数据中筛选出监控对象的监控数据，包括：从数据库数据中筛选出监控对象的数据库监控数据；从日志数据中筛选出监控对象的日志监控数据；其中监控对象的监控数据包括数据库监控数据和日志监控数据；根据系统规范信息以及预先设定的监控指标对监控数据进行数据特征提取，得到监控指标的指标数据，包括：根据系统规范信息以及预先设定的监控指标对数据库监控数据和日志监控数据进行数据特征提取，得到监控指标的指标数据。
在其中一个实施例中，根据系统规范信息以及预先设定的监控指标对数据库监控数据和日志监控数据进行数据特征提取，得到监控指标的指标数据，包括：根据系统规范信息对数据库监控数据进行数据特征提取，得到反映被监控系统对监控对象的数据处理结果的监控指标的指标数据；根据系统规范信息对日志监控数据进行数据特征提取，得到反映被监控系统对监控对象的数据处理过程的监控指标的指标数据。
在其中一个实施例中，一种被监控系统的数据监控装置还包括构建模块，用于识别出监控对象的系统框架链路，根据系统框架链路提取监控对象的一个或多个系统指标；识别出监控对象的业务链路，根据业务链路提取监控对象的一个或多个业务指标；根据一个或多个系统指标和一个或多个业务指标构建监控对象的监控指标；根据系统规范信息以及预先设定的监控指标对监控数据进行数据特征提取，得到监控指标的指标数据，包括：根据一个或多个系统指标以及系统规范信息对监控数据进行特征数据提取，得到一个或多个系统指标的指标数据；根据一个或多个业务指标以及系统规范信息对监控数据进行特征数据提取，得到一个或多个业务指标的指标数据。
在其中一个实施例中，基于监控指标的指标数据对被监控系统进行数据监控，包括：获取预先设定的告警条件；当监控指标的指标数据满足告警条件时，进行告警提示。
关于一种被监控系统的数据监控装置的具体限定可以参见上文中对于一种被监控系统的数据监控方法的限定，在此不再赘述。上述一种被监控系统的数据监控装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种被监控系统的数据监控方法。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：获取被监控系统的数据库数据和日志数据；获取被监控系统的系统规范信息；根据系统规范信息以及预先设定的监控指标对数据库数据和/或日志数据进行特征数据提取，得到监控指标的指标数据；基于监控指标的指标数据对被监控系统进行数据监控。
在其中一个实施例中，处理器执行计算机程序时还实现以下步骤：获取被监控系统的数据属性和操作方法；根据数据属性和操作方法，生成系统规范信息。
在其中一个实施例中，处理器执行计算机程序实现上述的根据系统规范信息以及预先设定的监控指标对数据库数据和/或日志数据进行特征数据提取，得到监控指标的指标数据的步骤时，具体实现以下步骤：识别出被监控系统的监控对象；从数据库数据和/或日志数据中筛选出监控对象的监控数据；根据系统规范信息以及预先设定的监控指标对监控数据进行数据特征提取，得到监控指标的指标数据。
在其中一个实施例中，处理器执行计算机程序实现上述的从数据库数据和/或日志数据中筛选出监控对象的监控数据的步骤时，具体实现以下步骤：从数据库数据中筛选出监控对象的数据库监控数据；从日志数据中筛选出监控对象的日志监控数据；其中监控对象的监控数据包括数据库监控数据和日志监控数据；处理器执行计算机程序实现上述的根据系统规范信息以及预先设定的监控指标对监控数据进行数据特征提取，得到监控指标的指标数据的步骤时，具体实现以下步骤：根据系统规范信息以及预先设定的监控指标对数据库监控数据和日志监控数据进行数据特征提取，得到监控指标的指标数据。
在其中一个实施例中，处理器执行计算机程序实现上述的根据系统规范信息以及预先设定的监控指标对数据库监控数据和日志监控数据进行数据特征提取，得到监控指标的指标数据的步骤时，具体实现以下步骤：根据系统规范信息对数据库监控数据进行数据特征提取，得到反映被监控系统对监控对象的数据处理结果的监控指标的指标数据；根据系统规范信息对日志监控数据进行数据特征提取，得到反映被监控系统对监控对象的数据处理过程的监控指标的指标数据。
在其中一个实施例中，处理器执行计算机程序时还实现以下步骤：识别出监控对象的系统框架链路，根据系统框架链路提取监控对象的一个或多个系统指标；识别出监控对象的业务链路，根据业务链路提取监控对象的一个或多个业务指标；根据一个或多个系统指标和一个或多个业务指标构建监控对象的监控指标；处理器执行计算机程序实现上述的根据系统规范信息以及预先设定的监控指标对监控数据进行数据特征提取，得到监控指标的指标数据的步骤时，具体实现以下步骤：根据一个或多个系统指标以及系统规范信息对监控数据进行特征数据提取，得到一个或多个系统指标的指标数据；根据一个或多个业务指标以及系统规范信息对监控数据进行特征数据提取，得到一个或多个业务指标的指标数据。
在其中一个实施例中，处理器执行计算机程序实现上述的基于监控指标的指标数据对被监控系统进行数据监控的步骤时，具体实现以下步骤：获取预先设定的告警条件；当监控指标的指标数据满足告警条件时，进行告警提示。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取被监控系统的数据库数据和日志数据；获取被监控系统的系统规范信息；根据系统规范信息以及预先设定的监控指标对数据库数据和/或日志数据进行特征数据提取，得到监控指标的指标数据；基于监控指标的指标数据对被监控系统进行数据监控。
在其中一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取被监控系统的数据属性和操作方法；根据数据属性和操作方法，生成系统规范信息。
在其中一个实施例中，计算机程序被处理器执行实现上述的根据系统规范信息以及预先设定的监控指标对数据库数据和/或日志数据进行特征数据提取，得到监控指标的指标数据的步骤时，具体实现以下步骤：识别出被监控系统的监控对象；从数据库数据和/或日志数据中筛选出监控对象的监控数据；根据系统规范信息以及预先设定的监控指标对监控数据进行数据特征提取，得到监控指标的指标数据。
在其中一个实施例中，计算机程序被处理器执行实现上述的从数据库数据和/或日志数据中筛选出监控对象的监控数据的步骤时，具体实现以下步骤：从数据库数据中筛选出监控对象的数据库监控数据；从日志数据中筛选出监控对象的日志监控数据；其中监控对象的监控数据包括数据库监控数据和日志监控数据；计算机程序被处理器执行实现上述的根据系统规范信息以及预先设定的监控指标对监控数据进行数据特征提取，得到监控指标的指标数据的步骤时，具体实现以下步骤：根据系统规范信息以及预先设定的监控指标对数据库监控数据和日志监控数据进行数据特征提取，得到监控指标的指标数据。
在其中一个实施例中，计算机程序被处理器执行实现上述的根据系统规范信息以及预先设定的监控指标对数据库监控数据和日志监控数据进行数据特征提取，得到监控指标的指标数据的步骤时，具体实现以下步骤：根据系统规范信息对数据库监控数据进行数据特征提取，得到反映被监控系统对监控对象的数据处理结果的监控指标的指标数据；根据系统规范信息对日志监控数据进行数据特征提取，得到反映被监控系统对监控对象的数据处理过程的监控指标的指标数据。
在其中一个实施例中，计算机程序被处理器执行时还实现以下步骤：识别出监控对象的系统框架链路，根据系统框架链路提取监控对象的一个或多个系统指标；识别出监控对象的业务链路，根据业务链路提取监控对象的一个或多个业务指标；根据一个或多个系统指标和一个或多个业务指标构建监控对象的监控指标；计算机程序被处理器执行实现上述的根据系统规范信息以及预先设定的监控指标对监控数据进行数据特征提取，得到监控指标的指标数据的步骤时，具体实现以下步骤：根据一个或多个系统指标以及系统规范信息对监控数据进行特征数据提取，得到一个或多个系统指标的指标数据；根据一个或多个业务指标以及系统规范信息对监控数据进行特征数据提取，得到一个或多个业务指标的指标数据。
在其中一个实施例中，计算机程序被处理器执行实现上述的基于监控指标的指标数据对被监控系统进行数据监控的步骤时，具体实现以下步骤：获取预先设定的告警条件；当监控指标的指标数据满足告警条件时，进行告警提示。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种被监控系统的数据监控方法，所述方法包括：
获取所述被监控系统的数据库数据和日志数据；
获取所述被监控系统的系统规范信息；
根据所述系统规范信息以及预先设定的监控指标对所述数据库数据和/或所述日志数据进行特征数据提取，得到所述监控指标的指标数据；
基于所述监控指标的指标数据对所述被监控系统进行数据监控。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述被监控系统的数据属性和操作方法；
根据所述数据属性和所述操作方法，生成所述系统规范信息。
3.根据权利要求1或2所述的方法，其特征在于，所述根据所述系统规范信息以及预先设定的监控指标对所述数据库数据和/或所述日志数据进行特征数据提取，得到所述监控指标的指标数据，包括：
识别出所述被监控系统的监控对象；
从所述数据库数据和/或所述日志数据中筛选出所述监控对象的监控数据；
根据所述系统规范信息以及预先设定的监控指标对所述监控数据进行数据特征提取，得到监控指标的指标数据。
4.根据权利要求3所述的方法，其特征在于，所述从所述数据库数据和/或所述日志数据中筛选出所述监控对象的监控数据，包括：
从所述数据库数据中筛选出所述监控对象的数据库监控数据；
从所述日志数据中筛选出所述监控对象的日志监控数据；
其中所述监控对象的监控数据包括所述数据库监控数据和所述日志监控数据；
所述根据所述系统规范信息以及预先设定的监控指标对所述监控数据进行数据特征提取，得到监控指标的指标数据，包括：
根据所述系统规范信息以及预先设定的监控指标对所述数据库监控数据和所述日志监控数据进行数据特征提取，得到监控指标的指标数据。
5.根据权利要求4所述的方法，其特征在于，所述根据所述系统规范信息以及预先设定的监控指标对所述数据库监控数据和所述日志监控数据进行数据特征提取，得到监控指标的指标数据，包括：
根据所述系统规范信息对所述数据库监控数据进行数据特征提取，得到反映所述被监控系统对所述监控对象的数据处理结果的监控指标的指标数据；
根据系统规范信息对所述日志监控数据进行数据特征提取，得到反映所述被监控系统对所述监控对象的数据处理过程的监控指标的指标数据。
6.根据权利要求3所述的方法，其特征在于，所述方法还包括：
识别出所述监控对象的系统框架链路，根据所述系统框架链路提取所述监控对象的一个或多个系统指标；
识别出所述监控对象的业务链路，根据所述业务链路提取所述监控对象的一个或多个业务指标；
根据所述一个或多个系统指标和所述一个或多个业务指标构建所述监控对象的所述监控指标；
所述根据所述系统规范信息以及预先设定的监控指标对所述监控数据进行数据特征提取，得到监控指标的指标数据，包括：
根据所述一个或多个系统指标以及所述系统规范信息对所述监控数据进行特征数据提取，得到所述一个或多个系统指标的指标数据；
根据所述一个或多个业务指标以及所述系统规范信息对所述监控数据进行特征数据提取，得到所述一个或多个业务指标的指标数据。
7.根据权利要求1所述的方法，其特征在于，所述基于所述监控指标的指标数据对所述被监控系统进行数据监控，包括：
获取预先设定的告警条件；
当所述监控指标的指标数据满足所述告警条件时，进行告警提示。
8.一种被监控系统的数据监控装置，其特征在于，所述装置包括：
第一获取模块，用于获取所述被监控系统的数据库数据和日志数据；
第二获取模块，用于获取所述被监控系统的系统规范信息；
特征提取模块，用于根据所述系统规范信息以及预先设定的监控指标对所述数据库数据和/或所述日志数据进行特征数据提取，得到所述监控指标的指标数据；
监控模块，用于基于所述监控指标的指标数据对所述被监控系统进行数据监控。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210991010.0A CN115442263B (zh) | 2022-08-18 | 被监控系统的数据监控方法、装置、设备和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210991010.0A CN115442263B (zh) | 2022-08-18 | 被监控系统的数据监控方法、装置、设备和介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115442263A true CN115442263A (zh) | 2022-12-06 |
| CN115442263B CN115442263B (zh) | 2024-07-12 |
Family
ID=
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110022221A (zh) * | 2018-01-08 | 2019-07-16 | 车伯乐（北京）信息科技有限公司 | 一种系统接口数据的监控方法、装置及系统 |
| CN110650038A (zh) * | 2019-09-12 | 2020-01-03 | 国家电网有限公司 | 面向多类监管对象的安全事件日志采集处理方法和系统 |
| CN111596863A (zh) * | 2020-05-20 | 2020-08-28 | 歌尔科技有限公司 | 一种数据读取方法、装置、设备及可读存储介质 |
| CN113391990A (zh) * | 2021-06-30 | 2021-09-14 | 未鲲(上海)科技服务有限公司 | 系统日志的监控方法、装置、设备及存储介质 |
| WO2021256577A1 (ko) * | 2020-06-15 | 2021-12-23 | 주식회사시옷 | 멀티네트워크 디바이스의 보안 진단 방법 |
| US20220092062A1 (en) * | 2015-04-03 | 2022-03-24 | Oracle International Corporation | Method and system for implementing a log parser in a log analytics system |
| CN114564405A (zh) * | 2022-03-04 | 2022-05-31 | 中信银行股份有限公司 | 一种基于日志监控的测试案例检查方法及系统 |
| CN114866546A (zh) * | 2022-04-20 | 2022-08-05 | 北京红山信息科技研究院有限公司 | 一种基于PaaS的监控平台一站式管理系统 |
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220092062A1 (en) * | 2015-04-03 | 2022-03-24 | Oracle International Corporation | Method and system for implementing a log parser in a log analytics system |
| CN110022221A (zh) * | 2018-01-08 | 2019-07-16 | 车伯乐（北京）信息科技有限公司 | 一种系统接口数据的监控方法、装置及系统 |
| CN110650038A (zh) * | 2019-09-12 | 2020-01-03 | 国家电网有限公司 | 面向多类监管对象的安全事件日志采集处理方法和系统 |
| CN111596863A (zh) * | 2020-05-20 | 2020-08-28 | 歌尔科技有限公司 | 一种数据读取方法、装置、设备及可读存储介质 |
| WO2021256577A1 (ko) * | 2020-06-15 | 2021-12-23 | 주식회사시옷 | 멀티네트워크 디바이스의 보안 진단 방법 |
| CN113391990A (zh) * | 2021-06-30 | 2021-09-14 | 未鲲(上海)科技服务有限公司 | 系统日志的监控方法、装置、设备及存储介质 |
| CN114564405A (zh) * | 2022-03-04 | 2022-05-31 | 中信银行股份有限公司 | 一种基于日志监控的测试案例检查方法及系统 |
| CN114866546A (zh) * | 2022-04-20 | 2022-08-05 | 北京红山信息科技研究院有限公司 | 一种基于PaaS的监控平台一站式管理系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109639450B (zh) | 基于神经网络的故障告警方法、系统、计算机设备及介质 | |
| CN101902366B (zh) | 一种业务行为异常检测方法和系统 | |
| Zhang et al. | An empirical study on factors impacting bug fixing time | |
| CN109583758B (zh) | 监察系统的预警规则修正方法、装置和计算机设备 | |
| CN111240994B (zh) | 漏洞处理方法、装置、电子设备及可读存储介质 | |
| US9704382B2 (en) | Method for calculating error rate of alarm | |
| CN110929036A (zh) | 电力营销稽查管理方法、装置、计算机设备和存储介质 | |
| CN109062788B (zh) | 测试用例生成方法、装置、计算机设备和存储介质 | |
| CN112115005B (zh) | 测试数据采集方法、装置、计算机设备和存储介质 | |
| CN108874618B (zh) | Cognos进程的监控方法、装置、计算机设备和存储介质 | |
| CN115511136B (zh) | 基于层次分析和故障树的设备故障辅助诊断方法及系统 | |
| CN111881014A (zh) | 一种系统测试方法、装置、存储介质及电子设备 | |
| CN114924990A (zh) | 一种异常场景测试方法及电子设备 | |
| CN112396250A (zh) | 一种柴油机故障预测方法、装置、设备及存储介质 | |
| CN110674149B (zh) | 业务数据处理方法、装置、计算机设备和存储介质 | |
| CN110941543A (zh) | 日志处理方法、装置、计算机设备和存储介质 | |
| CN114201090A (zh) | 产品生产异常预警系统、方法、计算机设备和存储介质 | |
| Novák et al. | Predicting the life expectancy of railway fail-safe signaling systems using dynamic models with censoring | |
| CN110633165B (zh) | 故障处理方法、装置、系统服务器及计算机可读存储介质 | |
| CN115442263B (zh) | 被监控系统的数据监控方法、装置、设备和介质 | |
| CN115442263A (zh) | 被监控系统的数据监控方法、装置和计算机设备 | |
| CN116010897A (zh) | 数据异常检测的方法、装置、电子设备及存储介质 | |
| CN110838940A (zh) | 地下电缆巡检任务配置方法和装置 | |
| CN109558956A (zh) | 计量设备的掉线估算方法、装置、计算机设备和存储介质 | |
| CN115934487A (zh) | 日志监控告警方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |