CN117251769B - 基于监控组件的异常数据识别方法、装置、设备及介质 - Google Patents
基于监控组件的异常数据识别方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN117251769B CN117251769B CN202311524460.XA CN202311524460A CN117251769B CN 117251769 B CN117251769 B CN 117251769B CN 202311524460 A CN202311524460 A CN 202311524460A CN 117251769 B CN117251769 B CN 117251769B
- Authority
- CN
- China
- Prior art keywords
- monitoring
- state data
- component
- data
- configuration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 333
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 85
- 238000000034 method Methods 0.000 title claims abstract description 65
- 230000001419 dependent effect Effects 0.000 claims abstract description 87
- 238000013079 data visualisation Methods 0.000 claims abstract description 14
- 238000001514 detection method Methods 0.000 claims description 69
- 230000036541 health Effects 0.000 claims description 68
- 238000012545 processing Methods 0.000 claims description 30
- 230000002776 aggregation Effects 0.000 claims description 28
- 238000004220 aggregation Methods 0.000 claims description 28
- 238000004590 computer program Methods 0.000 claims description 18
- 238000012937 correction Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 238000012546 transfer Methods 0.000 claims description 9
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
- G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
Abstract
本发明公开了一种基于监控组件的异常数据识别方法、装置、设备及介质。通过在监控组件中，周期性地获取当前配置分类监控状态数据；其中，不同的当前配置分类监控状态数据对应于监控组件中的不同类型的依赖组件对象；所述监控组件包括至少一种类型的依赖组件对象；将所述当前配置分类监控状态数据与预先构建的数据分类告警规则进行匹配，得到数据匹配结果；如果所述数据匹配结果是数据异常匹配结果，则将所述数据异常匹配结果以数据可视化的方式反馈至用户。解决了对于不同组件类型的数据不能进行及时监控和检测而造成的人力成本高的问题，节约了时间成本和人工成本，提高了对不同类型监控组件的异常数据识别的准确率。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及一种基于监控组件的异常数据识别方法、装置、设备及介质。
背景技术
随着各应用系统的扩建重构和微服务化的升级改造，伴随而来的是服务之间调用链路愈发错综复杂、以及服务内依赖的组件数量爆发式增长。比如：消息队列、网络附属存储、对象存储等；如何从应用层面角度出发，对监测组件中的异常数据识别、以及模拟发现系统调用链路上关联服务以及服务内部依赖组件是否可用，是系统整体可用性监控非常重要的环节。
发明人在实现本发明的过程中，发现现有技术存在如下缺陷：目前，对于不同组件类型的数据不能进行及时监控和检测，对各依赖组件对象也不能进行检测，需要人为进行检测，导致人力成本高，无法使用监控组件对异常数据进行识别。
发明内容
本发明提供了一种基于监控组件的异常数据识别方法、装置、设备及介质，以实现节约时间成本和人工成本，并提高对不同类型监控组件的异常数据识别的准确率。
根据本发明的一方面，提供了一种基于监控组件的异常数据识别方法，其中，包括：
在监控组件中，周期性地获取当前配置分类监控状态数据；
其中，不同的当前配置分类监控状态数据对应于监控组件中的不同类型的依赖组件对象；所述监控组件包括至少一种类型的依赖组件对象；
将所述当前配置分类监控状态数据与预先构建的数据分类告警规则进行匹配，得到数据匹配结果；
如果所述数据匹配结果是数据异常匹配结果，则将所述数据异常匹配结果以数据可视化的方式反馈至用户。
根据本发明的另一方面，提供了一种基于监控组件的异常数据识别装置，其中，包括：
当前配置分类监控状态数据获取模块，用于在监控组件中，周期性地获取当前配置分类监控状态数据；
其中，不同的当前配置分类监控状态数据对应于监控组件中的不同类型的依赖组件对象；所述监控组件包括至少一种类型的依赖组件对象；
数据匹配结果确定模块，用于将所述当前配置分类监控状态数据与预先构建的数据分类告警规则进行匹配，得到数据匹配结果；
数据异常匹配结果反馈模块，用于如果所述数据匹配结果是数据异常匹配结果，则将所述数据异常匹配结果以数据可视化的方式反馈至用户。
根据本发明的另一方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现本发明任一实施例所述的基于监控组件的异常数据识别方法。
根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的基于监控组件的异常数据识别方法。
本发明实施例的技术方案，通过在监控组件中，周期性地获取当前配置分类监控状态数据；其中，所述不同的当前配置分类监控状态数据对应于监控组件中的不同类型的依赖组件对象；所述监控组件包括至少一种类型的依赖组件对象；将所述当前配置分类监控状态数据与预先构建的数据分类告警规则进行匹配，得到数据匹配结果；如果所述数据匹配结果是数据异常匹配结果，则将所述数据异常匹配结果以数据可视化的方式反馈至用户。解决了对于不同组件类型的数据不能进行及时监控和检测而造成的人力成本高的问题，节约了时间成本和人工成本，提高了对不同类型监控组件的异常数据识别的准确率。
应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例一提供的一种基于监控组件的异常数据识别方法的流程图；
图2是根据本发明实施例二提供的一种基于监控组件的异常数据识别装置的结构示意图；
图3是根据本发明实施例三提供的一种电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“目标”、“当前”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
图1为本发明实施例一提供了一种基于监控组件的异常数据识别方法的流程图，本实施例可适用于对于不同组件类型的数据进行监控和检测的情况，该方法可以由基于监控组件的异常数据识别装置来执行，该基于监控组件的异常数据识别装置可以采用硬件和/或软件的形式实现。
相应的，如图1所示，该方法包括：
S110、在监控组件中，周期性地获取当前配置分类监控状态数据。
其中，不同的当前配置分类监控状态数据对应于监控组件中的不同类型的依赖组件对象；所述监控组件包括至少一种类型的依赖组件对象。
其中，所述当前配置分类监控状态数据可以是从监控组件中获取到的状态数据，需要进行识别是否存在异常的状态数据。
具体的，在监控组件中，获取到的当前配置分类监控状态数据可能属于不同类型的依赖组件对象，也即在不同类型的依赖组件对象中包括不同数据格式的当前配置分类监控状态数据。
进一步的，所述依赖组件对象包括下述至少一项：数据库依赖组件对象、缓存依赖组件对象、消息队列依赖组件对象、对象存储依赖组件对象、网络附属存储依赖组件对象、以及安全文件传输协议依赖组件对象。
示例性的，所述数据库依赖组件对象对应于A类型的数据格式；所述缓存依赖组件对象对应于B类型的数据格式。
S120、将所述当前配置分类监控状态数据与预先构建的数据分类告警规则进行匹配，得到数据匹配结果。
其中，数据分类告警规则可以包括预先设置的不同的状态数据匹配的告警规则。
具体的，可以根据当前配置分类监控状态数据解析，来进一步的与数据分类告警规则进行匹配，得到对应的数据匹配结果。如果当前配置分类监控状态数据满足数据分类告警规则，则说明该当前配置分类监控状态数据为正常数据，也即得到数据正常匹配结果。反之，如果当前配置分类监控状态数据不满足数据分类告警规则，则说明该当前配置分类监控状态数据为异常数据，也即得到数据异常匹配结果。
可以理解的是，数据匹配结果包括数据正常匹配结果和数据异常匹配结果。
S130、如果所述数据匹配结果是数据异常匹配结果，则将所述数据异常匹配结果以数据可视化的方式反馈至用户。
在本实施例中，如果确定数据匹配结果是数据异常匹配结果，需要将数据异常匹配结果通过数据可视化方式来反馈给用户，其中，数据可视化方式可以包括短信的方式或者邮件的方式进行反馈。
可选的，在所述在监控组件中，周期性地获取当前配置分类监控状态数据之前，还包括：指示监控组件去分别接收各依赖组件对象的监控状态数据；指示监控组件对各所述监控状态数据进行初始化配置，分别得到各初始化配置监控状态数据；指示监控组件通过组件信息加载模块对各所述初始化配置监控状态数据进行实例化处理，得到实例化配置监控状态数据；指示监控组件通过监控信息聚合存储模块对所述实例化配置监控状态数据进行分类聚合处理，得到各配置分类监控状态数据。
其中，监控状态数据可以是从依赖组件对象中获取到的初始数据。
在本实施例中，需要对获取到的监控状态数据进行初始化配置，接着进行实例化处理得到实例化配置监控状态数据，进一步地对得到的实例化配置监控状态数据进行分类聚合处理，得到各配置分类监控状态数据。
具体的，上述操作集成于配置模块中，该配置模块用于提供监控组件初始化配置并在应用启动后对配置文件进行加载初始化所需对象。具体的，还包括组件信息加解密秘钥，主要用于存储在数据库中的组件信息通过工具包进行对称加密存储，需配置存储时使用的秘钥用于解密。另外的，还包括检测任务执行频率，主要用于应用方自定义对组件进行检测的周期，范围为30到600秒之间，该配置项为可选配置，默认100秒。
另外的，还包括系统标识，作为从应用方数据库表中加载组件信息时的一个查询匹配条件，解决多个应用共用同一个数据库时能够加载各自需要监测的组件信息，该配置项为可选配置，默认加载表中所有组件信息。相应的，还包括数据源类型，配置值为应用方中使用的数据源类型，用于监控组件识别以何种加载方式获取应用中的数据源，如、等，该配置项为可选配置，默认；以及数据源名称，用于应用方使用的数据源名称，监控组件根据该名称和数据源类型来获取到具体的数据源。
可选的，所述指示监控组件对各所述监控状态数据进行初始化配置，分别得到各配置监控状态数据，包括：指示监控组件在各所述监控状态数据中依次选取一个目标监控状态数据，并获取与所述目标监控状态数据对应的目标类型依赖组件对象；指示监控组件获取与所述目标类型依赖组件对象对应的数据库中的目标配置文件，并指示监控组件根据所述目标配置文件来对所述目标监控状态数据进行初始化配置，得到目标配置监控状态数据；指示监控组件返回执行指示监控组件在各所述监控状态数中依次选取一个目标监控状态数的操作，直至遍历完成各所述监控状态数，确定出各配置监控状态数据。
在本实施例中，需要逐个遍历各监控状态数据，来确定出各个目标监控状态数据，并分别确定出每个目标监控状态数据对应的目标类型依赖组件对象，从而确定出目标配置文件，进一步地根据确定出的目标配置文件来目标监控状态数据进行初始化配置，直至遍历完各监控状态数，得到各配置监控状态数据。
可选的，所述目标监控状态数据包括：目标监控状态数据源类型和目标监控状态数据名称；指示监控组件解析所述目标类型依赖组件对象，得到所述目标监控状态数据源类型和所述目标监控状态数据名称；指示监控组件根据所述目标监控状态数据源类型和所述目标监控状态数据名称，确定出数据库中的目标配置文件。
在本实施例中，目标监控状态数据可以包括目标监控状态数据源类型和目标监控状态数据名称，进一步地根据目标监控状态数据源类型和目标监控状态数据名称来确定数据库中的目标配置文件。
这样设置的好处在于：根据确定出目标监控状态数据对应的目标监控状态数据源类型和目标监控状态数据名称，这样根据目标监控状态数据源类型和目标监控状态数据名称来确定出目标配置文件，这样可以更加准确地对目标监控状态数据进行初始化配置处理，更好地进行数据异常识别处理。
可选的，在所述指示监控组件通过组件信息加载模块对各所述初始化配置监控状态数据进行实例化处理，得到实例化配置监控状态数据之后，还包括：指示监控组件通过组件检测模块对所述实例化配置监控状态数据对应的所述依赖组件对象进行健康检测，得到健康检测结果；将所述健康检测结果和与健康检测结果对应的实例化配置监控状态数据联合发送于所述监控信息聚合存储模块中；其中，所述健康检测结果包括正常健康检测结果和异常健康检测结果。
其中，健康检测结果是对依赖组件对象进行健康检测得到的结果，具体的，健康检测结果包括正常健康检测结果和异常健康检测结果。
在本实施例中，在确定出健康检测结果之后，需要将健康检测结果和实例化配置监控状态数据共同发送于监控信息聚合存储模块中。
具体的，假设依赖组件对象为文件传输协议依赖组件对象。在对文件传输协议依赖组件对象进行健康检测的具体步骤为：1、从检测文件传输协议依赖组件对象中获取到文件传输协议的网络地址、端口、用户名和密码；2、根据第1步获取到的信息与文件传输协议服务器建立文件传输协议连接会话；3、通过建立的连接会话执行文件传输协议命令列出当前目录；4、根据第3步命令执行结果判断文件传输协议服务的健康状态，交至监控信息聚合存储模块中。
这样设置的好处在于：可以准确地检测依赖组件对象对应的健康检测结果，这样反馈给监控信息聚合存储模块可以更加准确地进行依赖组件对象的状态的确定，也能够更好地进行分类聚合处理操作。
可选的，所述指示监控组件通过监控信息聚合存储模块对所述实例化配置监控状态数据进行分类聚合处理，得到各配置分类监控状态数据，包括：指示监控组件通过监控信息聚合存储模块获取健康检测结果和与健康检测结果对应的实例化配置监控状态数据；如果所述健康检测结果为所述异常健康检测结果，则获取与所述异常健康检测结果对应的异常依赖组件对象，并对所述异常依赖组件对象进行初始化错误纠正处理，得到纠正健康检测结果；将所述纠正健康检测结果和与所述纠正健康检测结果对应的实例化配置监控状态数据、以及所述正常健康检测结果和与所述正常健康检测结果对应的实例化配置监控状态数据分别进行分类聚合处理，得到各配置分类监控状态数据。
在本实施例中，如果确定健康监测结果为异常健康检测结果，则需要对所述异常健康检测结果进行错误纠正处理，可以进一步地得到纠正健康检测结果，这样才可以对其进行分类聚合处理；然而，对于正常健康检测结果则可以直接进行分类聚合处理，从而得到各配置分类监控状态数据。
具体的，可以按照依赖组件对象进行类别分类处理，或者按照依赖组件对象所属自身或者关联应用来进行分类存储。
本发明实施例的技术方案，通过在监控组件中，周期性地获取当前配置分类监控状态数据；其中，所述不同的当前配置分类监控状态数据对应于监控组件中的不同类型的依赖组件对象；所述监控组件包括至少一种类型的依赖组件对象；将所述当前配置分类监控状态数据与预先构建的数据分类告警规则进行匹配，得到数据匹配结果；如果所述数据匹配结果是数据异常匹配结果，则将所述数据异常匹配结果以数据可视化的方式反馈至用户。解决了对于不同组件类型的数据不能进行及时监控和检测而造成的人力成本高的问题，节约了时间成本和人工成本，提高了对不同类型监控组件的异常数据识别的准确率。
实施例二
图2为本发明实施例二提供的一种基于监控组件的异常数据识别装置的结构示意图。本实施例所提供的一种基于监控组件的异常数据识别装置可以通过软件和/或硬件来实现，可配置于终端设备或者服务器中，来实现本发明实施例中的一种基于监控组件的异常数据识别方法。如图2所示，该装置包括：当前配置分类监控状态数据获取模块210、数据匹配结果确定模块220和数据异常匹配结果反馈模块230。
其中，当前配置分类监控状态数据获取模块210，用于在监控组件中，周期性地获取当前配置分类监控状态数据；
其中，不同的当前配置分类监控状态数据对应于监控组件中的不同类型的依赖组件对象；所述监控组件包括至少一种类型的依赖组件对象；
数据匹配结果确定模块220，用于将所述当前配置分类监控状态数据与预先构建的数据分类告警规则进行匹配，得到数据匹配结果；
数据异常匹配结果反馈模块230，用于如果所述数据匹配结果是数据异常匹配结果，则将所述数据异常匹配结果以数据可视化的方式反馈至用户。
本发明实施例的技术方案，通过在监控组件中，周期性地获取当前配置分类监控状态数据；其中，所述不同的当前配置分类监控状态数据对应于监控组件中的不同类型的依赖组件对象；所述监控组件包括至少一种类型的依赖组件对象；将所述当前配置分类监控状态数据与预先构建的数据分类告警规则进行匹配，得到数据匹配结果；如果所述数据匹配结果是数据异常匹配结果，则将所述数据异常匹配结果以数据可视化的方式反馈至用户。解决了对于不同组件类型的数据不能进行及时监控和检测而造成的人力成本高的问题，节约了时间成本和人工成本，提高了对不同类型监控组件的异常数据识别的准确率。
可选的，还包括，配置分类监控状态数据确定模块，可以具体用于：在所述在监控组件中，周期性地获取当前配置分类监控状态数据之前，指示监控组件去分别接收各依赖组件对象的监控状态数据；指示监控组件对各所述监控状态数据进行初始化配置，分别得到各初始化配置监控状态数据；指示监控组件通过组件信息加载模块对各所述初始化配置监控状态数据进行实例化处理，得到实例化配置监控状态数据；指示监控组件通过监控信息聚合存储模块对所述实例化配置监控状态数据进行分类聚合处理，得到各配置分类监控状态数据。
可选的，所述配置分类监控状态数据确定模块，还可以具体用于：指示监控组件在各所述监控状态数据中依次选取一个目标监控状态数据，并获取与所述目标监控状态数据对应的目标类型依赖组件对象；指示监控组件获取与所述目标类型依赖组件对象对应的数据库中的目标配置文件，并指示监控组件根据所述目标配置文件来对所述目标监控状态数据进行初始化配置，得到目标配置监控状态数据；指示监控组件返回执行指示监控组件在各所述监控状态数中依次选取一个目标监控状态数的操作，直至遍历完成各所述监控状态数，确定出各配置监控状态数据。
可选的，所述目标监控状态数据包括：目标监控状态数据源类型和目标监控状态数据名称。
可选的，所述配置分类监控状态数据确定模块，还可以具体用于：指示监控组件解析所述目标类型依赖组件对象，得到所述目标监控状态数据源类型和所述目标监控状态数据名称；指示监控组件根据所述目标监控状态数据源类型和所述目标监控状态数据名称，确定出数据库中的目标配置文件。
可选的，还包括，联合发送模块，可以具体用于：在所述指示监控组件通过组件信息加载模块对各所述初始化配置监控状态数据进行实例化处理，得到实例化配置监控状态数据之后，指示监控组件通过组件检测模块对所述实例化配置监控状态数据对应的所述依赖组件对象进行健康检测，得到健康检测结果；将所述健康检测结果和与健康检测结果对应的实例化配置监控状态数据联合发送于所述监控信息聚合存储模块中；其中，所述健康检测结果包括正常健康检测结果和异常健康检测结果。
可选的，所述配置分类监控状态数据确定模块，还可以具体用于：指示监控组件通过监控信息聚合存储模块获取健康检测结果和与健康检测结果对应的实例化配置监控状态数据；如果所述健康检测结果为所述异常健康检测结果，则获取与所述异常健康检测结果对应的异常依赖组件对象，并对所述异常依赖组件对象进行初始化错误纠正处理，得到纠正健康检测结果；将所述纠正健康检测结果和与所述纠正健康检测结果对应的实例化配置监控状态数据、以及所述正常健康检测结果和与所述正常健康检测结果对应的实例化配置监控状态数据分别进行分类聚合处理，得到各配置分类监控状态数据。
可选的，所述依赖组件对象包括下述至少一项：数据库依赖组件对象、缓存依赖组件对象、消息队列依赖组件对象、对象存储依赖组件对象、网络附属存储依赖组件对象、以及安全文件传输协议依赖组件对象。
本发明实施例所提供的基于监控组件的异常数据识别装置可执行本发明任意实施例所提供的基于监控组件的异常数据识别方法，具备执行方法相应的功能模块和有益效果。
实施例三
图3示出了可以用来实施本发明的实施例三的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备（如头盔、眼镜、手表等）和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图3所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器（ROM）12、随机访问存储器（RAM）13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器（ROM）12中的计算机程序或者从存储单元18加载到随机访问存储器（RAM）13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出（I/O）接口15也连接至总线14。
电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元（CPU）、图形处理单元（GPU）、各种专用的人工智能（AI）计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器（DSP）、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如基于监控组件的异常数据识别方法。
在一些实施例中，基于监控组件的异常数据识别方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的基于监控组件的异常数据识别方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行基于监控组件的异常数据识别方法。
该方法包括：在监控组件中，周期性地获取当前配置分类监控状态数据；其中，不同的当前配置分类监控状态数据对应于监控组件中的不同类型的依赖组件对象；所述监控组件包括至少一种类型的依赖组件对象；将所述当前配置分类监控状态数据与预先构建的数据分类告警规则进行匹配，得到数据匹配结果；如果所述数据匹配结果是数据异常匹配结果，则将所述数据异常匹配结果以数据可视化的方式反馈至用户。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、芯片上系统的系统（SOC）、负载可编程逻辑设备（CPLD）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置（例如，CRT（阴极射线管）或者LCD（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（LAN）、广域网（WAN）、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
实施例四
本发明实施例四还提供一种包含计算机可读存储介质，所述计算机可读指令在由计算机处理器执行时用于执行一种基于监控组件的异常数据识别方法，该方法包括：在监控组件中，周期性地获取当前配置分类监控状态数据；其中，不同的当前配置分类监控状态数据对应于监控组件中的不同类型的依赖组件对象；所述监控组件包括至少一种类型的依赖组件对象；将所述当前配置分类监控状态数据与预先构建的数据分类告警规则进行匹配，得到数据匹配结果；如果所述数据匹配结果是数据异常匹配结果，则将所述数据异常匹配结果以数据可视化的方式反馈至用户。
当然，本发明实施例所提供的一种包含计算机可读存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的基于监控组件的异常数据识别方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器（Read-Only Memory，ROM）、随机存取存储器（RandomAccess Memory，RAM）、闪存（FLASH）、硬盘或光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。
值得注意的是，上述基于监控组件的异常数据识别装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (8)
1.一种基于监控组件的异常数据识别方法，其特征在于，包括：
在监控组件中，周期性地获取当前配置分类监控状态数据；
其中，不同的当前配置分类监控状态数据对应于监控组件中的不同类型的依赖组件对象；所述监控组件包括至少一种类型的依赖组件对象；
将所述当前配置分类监控状态数据与预先构建的数据分类告警规则进行匹配，得到数据匹配结果；
如果所述数据匹配结果是数据异常匹配结果，则将所述数据异常匹配结果以数据可视化的方式反馈至用户；
其中，在所述在监控组件中，周期性地获取当前配置分类监控状态数据之前，还包括：
指示监控组件去分别接收各依赖组件对象的监控状态数据；
指示监控组件对各所述监控状态数据进行初始化配置，分别得到各初始化配置监控状态数据；
指示监控组件通过组件信息加载模块对各所述初始化配置监控状态数据进行实例化处理，得到实例化配置监控状态数据；
指示监控组件通过监控信息聚合存储模块对所述实例化配置监控状态数据进行分类聚合处理，得到各配置分类监控状态数据；
其中，所述指示监控组件对各所述监控状态数据进行初始化配置，分别得到各初始化配置监控状态数据，包括：
指示监控组件在各所述监控状态数据中依次选取一个目标监控状态数据，并获取与所述目标监控状态数据对应的目标类型依赖组件对象；
指示监控组件获取与所述目标类型依赖组件对象对应的数据库中的目标配置文件，并指示监控组件根据所述目标配置文件来对所述目标监控状态数据进行初始化配置，得到目标配置监控状态数据；
指示监控组件返回执行指示监控组件在各所述监控状态数据中依次选取一个目标监控状态数据的操作，直至遍历完成各所述监控状态数据，确定出各初始化配置监控状态数据。
2.根据权利要求1所述的方法，其特征在于，所述目标监控状态数据包括：目标监控状态数据源类型和目标监控状态数据名称；
所述指示监控组件获取与所述目标类型依赖组件对象对应的数据库中的目标配置文件，包括：
指示监控组件解析所述目标类型依赖组件对象，得到所述目标监控状态数据源类型和所述目标监控状态数据名称；
指示监控组件根据所述目标监控状态数据源类型和所述目标监控状态数据名称，确定出数据库中的目标配置文件。
3.根据权利要求1所述的方法，其特征在于，在所述指示监控组件通过组件信息加载模块对各所述初始化配置监控状态数据进行实例化处理，得到实例化配置监控状态数据之后，还包括：
指示监控组件通过组件检测模块对所述实例化配置监控状态数据对应的所述依赖组件对象进行健康检测，得到健康检测结果；
将所述健康检测结果和与健康检测结果对应的实例化配置监控状态数据联合发送到所述监控信息聚合存储模块中；
其中，所述健康检测结果包括正常健康检测结果和异常健康检测结果。
4.根据权利要求3所述的方法，其特征在于，所述指示监控组件通过监控信息聚合存储模块对所述实例化配置监控状态数据进行分类聚合处理，得到各配置分类监控状态数据，包括：
指示监控组件通过监控信息聚合存储模块获取健康检测结果和与健康检测结果对应的实例化配置监控状态数据；
如果所述健康检测结果为所述异常健康检测结果，则获取与所述异常健康检测结果对应的异常依赖组件对象，并对所述异常依赖组件对象进行初始化错误纠正处理，得到纠正健康检测结果；
将所述纠正健康检测结果和与所述纠正健康检测结果对应的实例化配置监控状态数据、以及所述正常健康检测结果和与所述正常健康检测结果对应的实例化配置监控状态数据分别进行分类聚合处理，得到各配置分类监控状态数据。
5.根据权利要求4所述的方法，其特征在于，所述依赖组件对象包括下述至少一项：数据库依赖组件对象、缓存依赖组件对象、消息队列依赖组件对象、对象存储依赖组件对象、网络附属存储依赖组件对象、以及安全文件传输协议依赖组件对象。
6.一种基于监控组件的异常数据识别装置，其特征在于，包括：
当前配置分类监控状态数据获取模块，用于在监控组件中，周期性地获取当前配置分类监控状态数据；
其中，不同的当前配置分类监控状态数据对应于监控组件中的不同类型的依赖组件对象；所述监控组件包括至少一种类型的依赖组件对象；
数据匹配结果确定模块，用于将所述当前配置分类监控状态数据与预先构建的数据分类告警规则进行匹配，得到数据匹配结果；
数据异常匹配结果反馈模块，用于如果所述数据匹配结果是数据异常匹配结果，则将所述数据异常匹配结果以数据可视化的方式反馈至用户；
其中，配置分类监控状态数据确定模块，用于：
在所述在监控组件中，周期性地获取当前配置分类监控状态数据之前，指示监控组件去分别接收各依赖组件对象的监控状态数据；指示监控组件对各所述监控状态数据进行初始化配置，分别得到各初始化配置监控状态数据；指示监控组件通过组件信息加载模块对各所述初始化配置监控状态数据进行实例化处理，得到实例化配置监控状态数据；指示监控组件通过监控信息聚合存储模块对所述实例化配置监控状态数据进行分类聚合处理，得到各配置分类监控状态数据；
其中，所述配置分类监控状态数据确定模块，还用于：
指示监控组件在各所述监控状态数据中依次选取一个目标监控状态数据，并获取与所述目标监控状态数据对应的目标类型依赖组件对象；指示监控组件获取与所述目标类型依赖组件对象对应的数据库中的目标配置文件，并指示监控组件根据所述目标配置文件来对所述目标监控状态数据进行初始化配置，得到目标配置监控状态数据；指示监控组件返回执行指示监控组件在各所述监控状态数据中依次选取一个目标监控状态数据的操作，直至遍历完成各所述监控状态数据，确定出各初始化配置监控状态数据。
7.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-5中任一项所述的基于监控组件的异常数据识别方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现如权利要求1-5中任一项所述的基于监控组件的异常数据识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311524460.XA CN117251769B (zh) | 2023-11-16 | 2023-11-16 | 基于监控组件的异常数据识别方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311524460.XA CN117251769B (zh) | 2023-11-16 | 2023-11-16 | 基于监控组件的异常数据识别方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117251769A CN117251769A (zh) | 2023-12-19 |
| CN117251769B true CN117251769B (zh) | 2024-03-12 |
Family
ID=89126717
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311524460.XA Active CN117251769B (zh) | 2023-11-16 | 2023-11-16 | 基于监控组件的异常数据识别方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117251769B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103378995A (zh) * | 2012-04-24 | 2013-10-30 | 中兴通讯股份有限公司 | 分布式监控管道的方法、服务器及系统 |
| CN108268706A (zh) * | 2017-12-30 | 2018-07-10 | 国网天津市电力公司电力科学研究院 | 面向一体化监控系统智能告警应用的闭环测试系统及方法 |
| CN115269308A (zh) * | 2022-06-29 | 2022-11-01 | 北京结慧科技有限公司 | 一种Kafka监控方法及系统、计算机设备及介质 |
| CN115391427A (zh) * | 2022-08-31 | 2022-11-25 | 兴业银行股份有限公司 | Impala自动化伸缩的系统、方法、介质及设备 |
| CN115499288A (zh) * | 2022-07-12 | 2022-12-20 | 平安国际融资租赁有限公司 | 业务监控方法、装置、设备及介质 |
| CN116737491A (zh) * | 2023-05-30 | 2023-09-12 | 中国银联股份有限公司 | 异常监控方法、装置、设备、介质及产品 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130297603A1 (en) * | 2012-05-01 | 2013-11-07 | Fujitsu Technology Solutions Intellectual Property Gmbh | Monitoring methods and systems for data centers |
| US20230135997A1 (en) * | 2021-11-01 | 2023-05-04 | Acumino | Ai monitoring and processing system |
-
2023
- 2023-11-16 CN CN202311524460.XA patent/CN117251769B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103378995A (zh) * | 2012-04-24 | 2013-10-30 | 中兴通讯股份有限公司 | 分布式监控管道的方法、服务器及系统 |
| CN108268706A (zh) * | 2017-12-30 | 2018-07-10 | 国网天津市电力公司电力科学研究院 | 面向一体化监控系统智能告警应用的闭环测试系统及方法 |
| CN115269308A (zh) * | 2022-06-29 | 2022-11-01 | 北京结慧科技有限公司 | 一种Kafka监控方法及系统、计算机设备及介质 |
| CN115499288A (zh) * | 2022-07-12 | 2022-12-20 | 平安国际融资租赁有限公司 | 业务监控方法、装置、设备及介质 |
| CN115391427A (zh) * | 2022-08-31 | 2022-11-25 | 兴业银行股份有限公司 | Impala自动化伸缩的系统、方法、介质及设备 |
| CN116737491A (zh) * | 2023-05-30 | 2023-09-12 | 中国银联股份有限公司 | 异常监控方法、装置、设备、介质及产品 |
Non-Patent Citations (1)
| Title |
|---|
| 私有云平台资源监控与优化系统;杨光 等;计算机工程;20180331;44(3);第1-7页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117251769A (zh) | 2023-12-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117176802B (zh) | 一种业务请求的全链路监控方法、装置、电子设备及介质 | |
| CN117251769B (zh) | 基于监控组件的异常数据识别方法、装置、设备及介质 | |
| CN116545905A (zh) | 一种服务健康检测方法、装置、电子设备及存储介质 | |
| CN116701168A (zh) | 一种外设接口测试方法、装置、设备及存储介质 | |
| CN116645082A (zh) | 一种系统巡检方法、装置、设备以及存储介质 | |
| CN116450176A (zh) | 版本更新方法、装置、电子设备及存储介质 | |
| CN115146309A (zh) | 隐私合规检测方法、装置、服务器、终端及存储介质 | |
| CN112685256B (zh) | 服务端监控方法、设备和介质 | |
| CN114327988A (zh) | 一种可视化网络故障关系确定方法和装置 | |
| CN114389969A (zh) | 客户端的测试方法、装置、电子设备和存储介质 | |
| CN113420713A (zh) | 异常监控方法、装置、电子设备及计算机可读介质 | |
| CN106547679B (zh) | 脚本管理的方法和脚本管理平台 | |
| CN114500326B (zh) | 异常检测方法、装置、电子设备以及存储介质 | |
| CN117785264A (zh) | 一种服务器运维的接口配置方法、装置和存储介质 | |
| CN117729005A (zh) | 一种网络资产测绘方法 | |
| CN114418429A (zh) | 一种批量作业的监控方法、装置、移动终端及介质 | |
| CN117081939A (zh) | 一种流量数据处理方法、装置、设备及存储介质 | |
| CN117272151A (zh) | 数据处理方法、装置、设备和存储介质 | |
| CN117493000A (zh) | 一种任务处理方法、装置、设备及介质 | |
| CN117093627A (zh) | 信息挖掘的方法、装置、电子设备和存储介质 | |
| CN116668258A (zh) | 告警信息的处理方法、装置和电子设备 | |
| CN117749614A (zh) | 一种协议规则确定方法、装置、电子设备及存储介质 | |
| CN116094908A (zh) | 日志文件存储方法、装置、设备和存储介质 | |
| CN116089499A (zh) | 基于kafka数据量的数据统计方法、装置及介质 | |
| CN116781572A (zh) | 一种服务可用性检测方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |