CN111124801A - 智能化系统资源监控方法、装置及计算机可读存储介质 - Google Patents
智能化系统资源监控方法、装置及计算机可读存储介质 Download PDFInfo
- Publication number
- CN111124801A CN111124801A CN201911138085.9A CN201911138085A CN111124801A CN 111124801 A CN111124801 A CN 111124801A CN 201911138085 A CN201911138085 A CN 201911138085A CN 111124801 A CN111124801 A CN 111124801A
- Authority
- CN
- China
- Prior art keywords
- resource
- data
- monitoring
- data set
- system resource
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 101
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000013524 data verification Methods 0.000 claims abstract description 28
- 238000012545 processing Methods 0.000 claims abstract description 23
- 238000012806 monitoring device Methods 0.000 claims abstract description 13
- 238000010223 real-time analysis Methods 0.000 claims abstract description 9
- 230000015654 memory Effects 0.000 claims description 31
- 238000007726 management method Methods 0.000 claims description 22
- 230000004083 survival effect Effects 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 15
- 238000005192 partition Methods 0.000 claims description 12
- 238000003032 molecular docking Methods 0.000 claims description 8
- 238000009795 derivation Methods 0.000 claims description 5
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 230000005540 biological transmission Effects 0.000 description 21
- 238000004891 communication Methods 0.000 description 10
- 238000010923 batch production Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 239000003795 chemical substances by application Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3051—Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3024—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a central processing unit [CPU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3034—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a storage system, e.g. DASD based or network based
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3037—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a memory, e.g. virtual memory, cache
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3041—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is an input/output interface
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本发明涉及一种人工智能技术，揭露了一种智能化系统资源监控方法，包括：接收系统资源，利用数据导出组件从所述系统资源内导出资源数据集，对所述资源数据集进行数据校验，在所述数据校验成功时，调用资源监控模型接收所述资源数据集并对所述资源数据集执行分批次处理，按照所述分批次处理和预先构建的实时资源监控脚本对所述系统资源进行实时分析监控，若分析到所述系统资源的资源值大于预设阈值条件时，则触发系统资源报警，完成对所述系统资源的监控。本发明还提出一种智能化系统资源监控装置以及一种计算机可读存储介质。本发明可以实现性价比高的智能化系统资源监控功能。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及一种智能化系统资源监控的方法、装置及计算机可读存储介质。
背景技术
用户为了更好地了解系统运行的情况，防止系统在运行时出现意外情况，通常需要对系统资源进行监控。目前主流的资源监控方法是基于网络开源监控方案，如K8S，但由于网络开源监控方案的扩展性较差并且方案采用服务器主动推送方式读取监控数据，对服务器来说具有一定的性能压力。
发明内容
本发明提供一种智能化系统资源监控方法、装置及计算机可读存储介质，其主要目的在于对系统的系统资源进行智能监控。
为实现上述目的，本发明提供的一种智能化系统资源监控方法，包括：
接收系统资源，利用预先构建的数据导出组件从所述系统资源内导出资源数据集；
将所述资源数据集与所述系统资源建立索引关系，并基于所述索引关系对所述资源数据集进行数据校验；
在所述数据校验成功时，调用资源监控模型接收所述资源数据集并对所述资源数据集执行分批次处理，将所述资源数据集分为多个批次；
按照所述批次并根据预先构建的实时资源监控脚本对所述系统资源进行实时分析监控，若分析到所述系统资源的资源值大于预设阈值条件时，则触发系统资源报警，完成对所述系统资源的监控。
可选地，所述系统资源包括CPU数据、磁盘数据、IO数据、内存数据、网络数据、端口存活数据、进程存活及/或机器内核配置参数数据中的一种或者几种。
可选地，所述利用预先构建的数据导出组件从所述系统资源内导出资源数据集，包括：
将所述数据导出组件与所述系统资源执行对接操作；
调用所述数据导出组件中的资源连接模块，通过所述资源连接模块发送请求指令；
与所述资源连接模块对应的用于存储所述系统资源的系统资源堆接收到所述请求指令时返回所述系统资源给所述资源连接模块；
所述数据导出组件中的管理模块实时查看当前所述资源连接模块的状态，若所述资源连接模块的状态是已接收到所述系统资源，则所述管理模块在预设时间段内将所有所述资源连接模块所接收到的系统资源打包成所述资源数据集。
可选地，所述按照所述批次并根据预先构建的实时资源监控脚本对所述系统资源进行实时分析监控，包括：
读取本地系统的IP地址信息，根据所述分批次处理获取所述本地系统CPU的资源数据；
从所述CPU的资源数据中抓取CPU的总核数和本地系统指定分钟内的总负载值；
基于所述CPU的总核数和所述总负载值计算单个CPU在所述指定分钟内的平均负载值，若所述平均负载值大于预设CPU警告值，发送CPU资源紧张通知；
从所述分批次处理中获取所述本地系统磁盘的资源数据；
从所述本地系统磁盘的资源数据获取磁盘分区情况和每个分区的磁盘空闲容量；
若有分区的磁盘空闲容量已小于预设磁盘空闲量，发送磁盘资源紧张通知。
可选地，所述将所述资源数据集与所述系统资源建立索引关系包括：
基于二进制编码法在所述资源数据集与所述系统资源对应的系统资源堆之间建立索引关系。
此外，为实现上述目的，本发明还提供一种智能化系统资源监控装置，该装置包括存储器和处理器，所述存储器中存储有可在所述处理器上运行的智能化系统资源监控程序，所述智能化系统资源监控程序被所述处理器执行时实现如下步骤：
接收系统资源，利用预先构建的数据导出组件从所述系统资源内导出资源数据集；
将所述资源数据集与所述系统资源建立索引关系，并基于所述索引关系对所述资源数据集进行数据校验；
在所述数据校验成功时，调用资源监控模型接收所述资源数据集并对所述资源数据集执行分批次处理，将所述资源数据集分为多个批次；
按照所述批次并根据预先构建的实时资源监控脚本对所述系统资源进行实时分析监控，若分析到所述系统资源的资源值大于预设阈值条件时，则触发系统资源报警，完成对所述系统资源的监控。
可选地，所述系统资源包括CPU数据、磁盘数据、IO数据、内存数据、网络数据、端口存活数据、进程存活及/或机器内核配置参数数据中的一种或者几种。
可选地，所述利用预先构建的数据导出组件从所述系统资源内导出资源数据集，包括：
将所述数据导出组件与所述系统资源执行对接操作；
调用所述数据导出组件中的资源连接模块，通过所述资源连接模块发送请求指令；
与所述资源连接模块对应的用于存储所述系统资源的系统资源堆接收到所述请求指令时返回所述系统资源给所述资源连接模块；
所述数据导出组件中的管理模块实时查看当前所述资源连接模块的状态，若所述资源连接模块的状态是已接收到所述系统资源，则所述管理模块在预设时间段内将所有所述资源连接模块所接收到的系统资源打包成所述资源数据集。
可选地，所述将所述资源数据集与所述系统资源建立索引关系包括：
基于二进制编码法在所述资源数据集与所述系统资源对应的系统资源堆之间建立索引关系。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有智能化系统资源监控程序，所述智能化系统资源监控程序可被一个或者多个处理器执行，以实现如上所述的智能化系统资源监控方法的步骤。
本发明获取系统资源，将预先构建的数据导出组件与所述系统资源进行连接操作，通过实时获取所述系统资源的方式保证监控的时效性，确保了数据的纯洁性，进一步地，由预先构建的数据传输模型将所述资源数据集与所述系统资源建立索引关系，并进行实时数据校验，保证系统资源能够满足预设条件，同时由于分批处理的原因，降低了服务器的压力。因此，本发明提出的智能化系统资源监控方法、装置及计算机可读存储介质，可以实现性价比高的系统资源监控。
附图说明
图1为本发明一实施例提供的智能化系统资源监控方法的流程示意图；
图2为本发明一实施例提供的智能化系统资源监控装置的内部结构示意图；
图3为本发明一实施例提供的智能化系统资源监控装置中智能化系统资源监控程序的模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供一种智能化系统资源监控方法。参照图1所示，为本发明一实施例提供的智能化系统资源监控方法的流程示意图。该方法可以由一个装置执行，该装置可以由软件和/或硬件实现。
在本实施例中，智能化系统资源监控方法包括：
S1、接收系统资源，利用预先构建的数据导出组件从所述系统资源内导出资源数据集。
由于应用程序在系统中运行时，系统必须实时"跟踪"该应用程序的运行，并保留与之相关的许多信息，如光标、窗口的状况等，这些信息由系统保留在一种叫堆(Heap)的内存块中。所述堆是采用特殊机制管理的内存块，所述堆分为两种类型：由系统的一个系统内核User.exe管理的堆叫作User资源堆(User Resource Heap)，由另一个系统内核Gdi.exe管理的堆叫作GDI资源堆(Graphical Device Interface Resource Heap)，User资源堆和GDI资源堆合称为系统资源堆(System Resource Heap)。所述系统资源堆中存储有CPU数据、磁盘数据、IO数据、内存数据、网络数据、端口存活数据、进程存活及/或机器内核配置参数数据等各种系统资源(System Resource)，因此不管用户的业务规模大小、运维团队处于何种状态，所述系统资源无时无刻都是存在的。
优选地，所述数据导出组件用于从所述系统资源内导出资源数据集，方便后续对所述系统资源进行资源监控。所述数据导出组件包括：资源连接模块和管理模块。所述管理模块与所述资源连接模块之间具有通信机制，可管理所述资源连接模块的数量、版本号、状态等，因此本发明所述管理模块与所述资源连接模块是一对多的关系。
具体地，所述从所述系统资源内导出资源数据集包括：将所述数据导出组件与所述系统资源执行对接操作；调用所述数据导出组件中的资源连接模块，通过所述资源连接模块发送请求指令；与所述资源连接模块对应的用于存储所述系统资源的系统资源堆接收到所述请求指令时返回所述系统资源给所述资源连接模块；所述数据导出组件中的管理模块实时查看当前所述资源连接模块的状态，若所述资源连接模块的状态是已接收到所述系统资源，则所述管理模块在预设时间段内将所有所述资源连接模块所接收到的系统资源打包成资源数据集，并将所述资源数据集传输至所述预先构建的数据传输模型。
较佳地，所述对接操作可基于tcp协议(一种面向连接可靠的、基于字节流的传输层通信协议)或rcp协议(一种通过网络从远程计算系统程序上请求服务的通讯协议)建立连接通道连接所述系统资源堆和所述数据导出组件中的资源连接模块。所述资源连接模块发送请求指令，所述系统资源堆接受所述请求指令，并返回系统资源给所述资源连接模块后关闭所述连接通道，并继续等待下一次的请求指令。本发明所述资源连接模块可采用Agent模块。
较佳地，所述管理模块实时查看当前所述资源连接模块的状态，所述状态包括：所述资源连接模块与所述系统资源堆未建立连接关系、所述资源连接模块与所述系统资源堆未建立连接关系但未发送请求指令、所述资源连接模块已发送请求指令，并等待所述系统资源堆响应、所述资源连接模块接收到系统资源数据。只有当所述资源连接模块的状态是已接收到所述系统资源，则所述管理模块在预设时间段内将所有所述资源连接模块所接收到的系统资源打包成资源数据集，并将所述资源数据集传输至所述预先构建的数据传输模型，其余状态下，所述资源连接模块处于等待状态。
S2、将所述资源数据集与所述系统资源建立索引关系，并基于所述索引关系对所述资源数据集进行数据校验。
本发明较佳实施例基于预先构建的数据传输模型基于预先构建的数据传输模型。其中，所述预先构建的数据传输模型包括：索引建立模块、数据校验模块。优选地，所述索引建立模块接收所述资源数据集，在所述资源数据集内的资源数据与所述资源数据对应的系统资源堆之间建立索引关系，基于所述索引关系将所述资源数据集输入至所述数据校验模块执行数据校验操作。
建立所述索引关系是为了区分所述资源数据集内的不同资源数据，如资源数据A与所述CPU相关的系统资源堆建立索引关系、资源数据B与所述网络相关的系统资源堆建立索引关系、资源数据C与所述IO的系统资源堆建立索引关系等。
所述索引关系可采用二进制编码的方法，相同资源数据与系统资源堆的二进制码组相同。所述索引建立模块可采用gateway模块。
所述数据校验模块执行数据校验操作是为了保证资源数据在上传至资源监控模型中时是准确无误的。
所述数据校验可采用除数及余数除尽原理，如上述索引建立模块已根据所述二进制编码的方法将所述资源数据集内的资源数据建立了二进制码组，因此所述数据校验模块对所述二进制码组进行除法运算，若除尽则说明传输无误；若未除尽则表明传输出现差错。
具体地，因为任意一个二进制码组都可以和一个系数仅为‘0’和‘1’取值的多项式一一对应，例如：代码1010111对应的多项式为x6+x4+x2+x+1，多项式为x5+x3+x2+x+1对应的代码101111等。设二进制码组长度为N，信息字段为K位，校验字段为R位(故：N＝K+R)，则对于所述资源数据集形成的任意二进制码组，仅存一个R位多项式g(x)，因此所述数据校验模块通过该g(x)来验证收到的二进制码组。例如：信息字段代码为1011001，对应m(x)＝x6+x4+x3+1，假设生成多项式g(x)为x4+x3+1，则对应g(x)的二进制码组为信息字段代码+校验字段，采用多项式除法得余数为:1010(即校验字段为：1010)，据此所述索引建立模块发出的传输字段为:1 0 1 1 0 0 11 0 10；所述数据校验模块使用相同的生成码进行校验，即使用接收到的字段/生成码(二进制除法)，若除尽则说明传输无误；若未除尽则表明传输出现差错(所述出错原因有多种，如所述资源连接模块已发送请求指令，在未等待到所述系统资源堆响应时，所述资源连接模块接直接收到系统资源数据，因此造成资源数据重叠；如在所述资源数据集内的资源数据与所述资源数据对应的系统资源堆之间建立索引关系时，索引关系建立错误导致所述校验失败等)，不能将所述资源数据集上传至所述资源监控模型。
S3、在所述数据校验成功时，调用资源监控模型接收所述资源数据集并对所述资源数据集执行分批次处理，将所述资源数据集分为多个批次。
在本发明实施例中，由于需要监控多个应用程序的系统资源(如CPU、磁盘、IO、Load、内存、网络、端口、进程、机器内核配置等)，因此所述资源数据集数据量非常巨大，若对所述资源数据集统一监控，则会消耗大量计算资源，且监控延迟大成本代价高，据此需要将所述资源数据集进行分批处理。
所述分批处理基于预先构建的分批处理脚本将所述资源数据集分为多个批次供后续实时监控。
S4、按照所述批次并根据预先构建的实时资源监控脚本对所述系统资源进行实时分析监控，若分析到所述系统资源的资源值大于预设阈值条件时，则触发系统资源报警，完成对所述系统资源的监控。
所述实时监控基于预选构建的实时资源监控脚本对接收的所述资源数据集进行分析。具体地，所述实时资源监控脚本的内容包括：读取本地系统的IP地址信息，从所述分批处理脚本中获取所述本地系统CPU的资源数据，从所述CPU的资源数据中抓取CPU的总核数和本地系统指定分钟内的总负载值，基于所述CPU的总核数和所述总负载值计算单个CPU在所述指定分钟内的平均负载值，若所述平均负载值大于预设CPU警告值，发送CPU资源紧张通知；从所述分批处理脚本中获取所述本地系统磁盘的资源数据，从所述本地系统磁盘的资源数据获取磁盘分区情况和每个分区的磁盘空闲容量，若有分区的磁盘空闲容量已小于预设磁盘空闲量，发送磁盘资源紧张通知；以此类推，所述实时资源监控脚本包括对IO、Load、内存、网络、端口存活、进程存活、机器内核配置等系统的监控代码。
进一步地，发送系统资源紧张通知可采用邮件、图形化、语音等通知方式。所述邮件通知需要预先在所述实时资源监控脚本放置邮箱地址，所述图形化通知需要预先构建图像化用户界面，所述语音通知需要用支持语音传输的硬件设备。
发明还提供一种智能化系统资源监控装置。参照图2所示，为本发明一实施例提供的智能化系统资源监控装置的内部结构示意图。
在本实施例中，所述智能化系统资源监控装置1可以是PC(Personal Computer，个人电脑)，或者是智能手机、平板电脑、便携计算机等终端设备，也可以是一种服务器等。该智能化系统资源监控装置1至少包括存储器11、处理器12，通信总线13，以及网络接口14。
其中，存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器11在一些实施例中可以是智能化系统资源监控装置1的内部存储单元，例如该智能化系统资源监控装置1的硬盘。存储器11在另一些实施例中也可以是智能化系统资源监控装置1的外部存储设备，例如智能化系统资源监控装置1上配备的插接式硬盘，智能存储卡(SmartMedia Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，存储器11还可以既包括智能化系统资源监控装置1的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于智能化系统资源监控装置1的应用软件及各类数据，例如智能化系统资源监控程序01的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
处理器12在一些实施例中可以是一中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行智能化系统资源监控程序01等。
通信总线13用于实现这些组件之间的连接通信。
网络接口14可选的可以包括标准的有线接口、无线接口(如WI-FI接口)，通常用于在该装置1与其他电子设备之间建立通信连接。
可选地，该装置1还可以包括用户接口，用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在智能化系统资源监控装置1中处理的信息以及用于显示可视化的用户界面。
图2仅示出了具有组件11-14以及智能化系统资源监控程序01的智能化系统资源监控装置1，本领域技术人员可以理解的是，图1示出的结构并不构成对智能化系统资源监控装置1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
在图2所示的装置1实施例中，存储器11中存储有智能化系统资源监控程序01；处理器12执行存储器11中存储的智能化系统资源监控程序01时实现如下步骤：
步骤一、接收系统资源，利用预先构建的数据导出组件从所述系统资源内导出资源数据集。
由于应用程序在系统中运行时，系统必须实时"跟踪"该应用程序的运行，并保留与之相关的许多信息，如光标、窗口的状况等，这些信息由系统保留在一种叫堆(Heap)的内存块中。所述堆是采用特殊机制管理的内存块，所述堆分为两种类型：由系统的一个系统内核User.exe管理的堆叫作User资源堆(User Resource Heap)，由另一个系统内核Gdi.exe管理的堆叫作GDI资源堆(Graphical Device Interface Resource Heap)，User资源堆和GDI资源堆合称为系统资源堆(System Resource Heap)。所述系统资源堆中存储有CPU数据、磁盘数据、IO数据、内存数据、网络数据、端口存活数据、进程存活及/或机器内核配置参数数据等各种系统资源(System Resource)，因此不管用户的业务规模大小、运维团队处于何种状态，所述系统资源无时无刻都是存在的。
优选地，所述数据导出组件用于从所述系统资源内导出资源数据集，方便后续对所述系统资源进行资源监控。所述数据导出组件包括：资源连接模块和管理模块。所述管理模块与所述资源连接模块之间具有通信机制，可管理所述资源连接模块的数量、版本号、状态等，因此本发明所述管理模块与所述资源连接模块是一对多的关系。
具体地，所述从所述系统资源内导出资源数据集包括：将所述数据导出组件与所述系统资源执行对接操作；调用所述数据导出组件中的资源连接模块，通过所述资源连接模块发送请求指令；与所述资源连接模块对应的用于存储所述系统资源的系统资源堆接收到所述请求指令时返回所述系统资源给所述资源连接模块；所述数据导出组件中的管理模块实时查看当前所述资源连接模块的状态，若所述资源连接模块的状态是已接收到所述系统资源，则所述管理模块在预设时间段内将所有所述资源连接模块所接收到的系统资源打包成资源数据集，并将所述资源数据集传输至所述预先构建的数据传输模型。
较佳地，所述对接操作可基于tcp协议(一种面向连接可靠的、基于字节流的传输层通信协议)或rcp协议(一种通过网络从远程计算系统程序上请求服务的通讯协议)建立连接通道连接所述系统资源堆和所述数据导出组件中的资源连接模块。所述资源连接模块发送请求指令，所述系统资源堆接受所述请求指令，并返回系统资源给所述资源连接模块后关闭所述连接通道，并继续等待下一次的请求指令。本发明所述资源连接模块可采用Agent模块。
较佳地，所述管理模块实时查看当前所述资源连接模块的状态，所述状态包括：所述资源连接模块与所述系统资源堆未建立连接关系、所述资源连接模块与所述系统资源堆未建立连接关系但未发送请求指令、所述资源连接模块已发送请求指令，并等待所述系统资源堆响应、所述资源连接模块接收到系统资源数据。只有当所述资源连接模块的状态是已接收到所述系统资源，则所述管理模块在预设时间段内将所有所述资源连接模块所接收到的系统资源打包成资源数据集，并将所述资源数据集传输至所述预先构建的数据传输模型，其余状态下，所述资源连接模块处于等待状态。
步骤二、将所述资源数据集与所述系统资源建立索引关系，并基于所述索引关系对所述资源数据集进行数据校验。
本发明较佳实施例基于预先构建的数据传输模型基于预先构建的数据传输模型。其中，所述预先构建的数据传输模型包括：索引建立模块、数据校验模块。优选地，所述索引建立模块接收所述资源数据集，在所述资源数据集内的资源数据与所述资源数据对应的系统资源堆之间建立索引关系，基于所述索引关系将所述资源数据集输入至所述数据校验模块执行数据校验操作。
建立所述索引关系是为了区分所述资源数据集内的不同资源数据，如资源数据A与所述CPU相关的系统资源堆建立索引关系、资源数据B与所述网络相关的系统资源堆建立索引关系、资源数据C与所述IO的系统资源堆建立索引关系等。
所述索引关系可采用二进制编码的方法，相同资源数据与系统资源堆的二进制码组相同。所述索引建立模块可采用gateway模块。
所述数据校验模块执行数据校验操作是为了保证资源数据在上传至资源监控模型中时是准确无误的。
所述数据校验可采用除数及余数除尽原理，如上述索引建立模块已根据所述二进制编码的方法将所述资源数据集内的资源数据建立了二进制码组，因此所述数据校验模块对所述二进制码组进行除法运算，若除尽则说明传输无误；若未除尽则表明传输出现差错。
具体地，因为任意一个二进制码组都可以和一个系数仅为‘0’和‘1’取值的多项式一一对应，例如：代码1010111对应的多项式为x6+x4+x2+x+1，多项式为x5+x3+x2+x+1对应的代码101111等。设二进制码组长度为N，信息字段为K位，校验字段为R位(故：N＝K+R)，则对于所述资源数据集形成的任意二进制码组，仅存一个R位多项式g(x)，因此所述数据校验模块通过该g(x)来验证收到的二进制码组。例如：信息字段代码为1011001，对应m(x)＝x6+x4+x3+1，假设生成多项式g(x)为x4+x3+1，则对应g(x)的二进制码组为信息字段代码+校验字段，采用多项式除法得余数为:1010(即校验字段为：1010)，据此所述索引建立模块发出的传输字段为:1 0 1 1 0 0 11 0 10；所述数据校验模块使用相同的生成码进行校验，即使用接收到的字段/生成码(二进制除法)，若除尽则说明传输无误；若未除尽则表明传输出现差错(所述出错原因有多种，如所述资源连接模块已发送请求指令，在未等待到所述系统资源堆响应时，所述资源连接模块接直接收到系统资源数据，因此造成资源数据重叠；如在所述资源数据集内的资源数据与所述资源数据对应的系统资源堆之间建立索引关系时，索引关系建立错误导致所述校验失败等)，不能将所述资源数据集上传至所述资源监控模型。
步骤三、在所述数据校验成功时，调用资源监控模型接收所述资源数据集并对所述资源数据集执行分批次处理，将所述资源数据集分为多个批次。
在本发明实施例中，由于需要监控多个应用程序的系统资源(如CPU、磁盘、IO、Load、内存、网络、端口、进程、机器内核配置等)，因此所述资源数据集数据量非常巨大，若对所述资源数据集统一监控，则会消耗大量计算资源，且监控延迟大成本代价高，据此需要将所述资源数据集进行分批处理。
所述分批处理基于预先构建的分批处理脚本将所述资源数据集分为多个批次供后续实时监控。
步骤四、按照所述批次并根据预先构建的实时资源监控脚本对所述系统资源进行实时分析监控，若分析到所述系统资源的资源值大于预设阈值条件时，则触发系统资源报警，完成对所述系统资源的监控。
所述实时监控基于预选构建的实时资源监控脚本对接收的所述资源数据集进行分析。具体地，所述实时资源监控脚本的内容包括：读取本地系统的IP地址信息，从所述分批处理脚本中获取所述本地系统CPU的资源数据，从所述CPU的资源数据中抓取CPU的总核数和本地系统指定分钟内的总负载值，基于所述CPU的总核数和所述总负载值计算单个CPU在所述指定分钟内的平均负载值，若所述平均负载值大于预设CPU警告值，发送CPU资源紧张通知；从所述分批处理脚本中获取所述本地系统磁盘的资源数据，从所述本地系统磁盘的资源数据获取磁盘分区情况和每个分区的磁盘空闲容量，若有分区的磁盘空闲容量已小于预设磁盘空闲量，发送磁盘资源紧张通知；以此类推，所述实时资源监控脚本包括对IO、Load、内存、网络、端口存活、进程存活、机器内核配置等系统的监控代码。
进一步地，发送系统资源紧张通知可采用邮件、图形化、语音等通知方式。所述邮件通知需要预先在所述实时资源监控脚本放置邮箱地址，所述图形化通知需要预先构建图像化用户界面，所述语音通知需要用支持语音传输的硬件设备。
可选地，在其他实施例中，智能化系统资源监控程序还可以被分割为一个或者多个模块，一个或者多个模块被存储于存储器11中，并由一个或多个处理器(本实施例为处理器12)所执行以完成本发明，本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段，用于描述智能化系统资源监控程序在智能化系统资源监控装置中的执行过程。
例如，参照图3所示，为本发明智能化系统资源监控装置一实施例中的智能化系统资源监控程序的程序模块示意图，该实施例中，所述智能化系统资源监控程序可以被分割为数据接收及导出模块10、索引关系建立模块20、数据校验模块30、系统资源实时监控模块40示例性地：
所述数据接收及导出模块10用于：接收系统资源，利用预先构建的数据导出组件从所述系统资源内导出资源数据集。
所述索引关系建立模块20用于：将所述资源数据集与所述系统资源建立索引关系，并基于所述索引关系对所述资源数据集进行数据校验。
所述数据校验模块30用于：在所述数据校验成功时，调用资源监控模型接收所述资源数据集并对所述资源数据集执行分批次处理，将所述资源数据集分为多个批次。
所述系统资源实时监控模块40用于：按照所述批次并根据预先构建的实时资源监控脚本对所述系统资源进行实时分析监控，若分析到所述系统资源的资源值大于预设阈值条件时，则触发系统资源报警，完成对所述系统资源的监控。
上述数据接收及导出模块10、索引关系建立模块20、数据校验模块30、系统资源实时监控模块40等程序模块被执行时所实现的功能或操作步骤与上述实施例大体相同，在此不再赘述。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有智能化系统资源监控程序，所述智能化系统资源监控程序可被一个或多个处理器执行，以实现如下操作：
接收系统资源，利用预先构建的数据导出组件从所述系统资源内导出资源数据集；
将所述资源数据集与所述系统资源建立索引关系，并基于所述索引关系对所述资源数据集进行数据校验；
在所述数据校验成功时，调用资源监控模型接收所述资源数据集并对所述资源数据集执行分批次处理，将所述资源数据集分为多个批次；
按照所述批次并根据预先构建的实时资源监控脚本对所述系统资源进行实时分析监控，若分析到所述系统资源的资源值大于预设阈值条件时，则触发系统资源报警，完成对所述系统资源的监控。
需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种智能化系统资源监控方法，其特征在于，所述方法包括：
接收系统资源，利用预先构建的数据导出组件从所述系统资源内导出资源数据集；
将所述资源数据集与所述系统资源建立索引关系，并基于所述索引关系对所述资源数据集进行数据校验；
在所述数据校验成功时，调用资源监控模型接收所述资源数据集并对所述资源数据集执行分批次处理，将所述资源数据集分为多个批次；
按照所述批次并根据预先构建的实时资源监控脚本对所述系统资源进行实时分析监控，若分析到所述系统资源的资源值大于预设阈值条件时，则触发系统资源报警，完成对所述系统资源的监控。
2.如权利要求1所述的智能化系统资源监控方法，其特征在于，所述系统资源包括CPU数据、磁盘数据、IO数据、内存数据、网络数据、端口存活数据、进程存活及/或机器内核配置参数数据中的一种或者几种。
3.如权利要求1或2所述的智能化系统资源监控方法，其特征在于，所述利用预先构建的数据导出组件从所述系统资源内导出资源数据集，包括：
将所述数据导出组件与所述系统资源执行对接操作；
调用所述数据导出组件中的资源连接模块，通过所述资源连接模块发送请求指令；
与所述资源连接模块对应的用于存储所述系统资源的系统资源堆接收到所述请求指令时返回所述系统资源给所述资源连接模块；
所述数据导出组件中的管理模块实时查看当前所述资源连接模块的状态，若所述资源连接模块的状态是已接收到所述系统资源，则所述管理模块在预设时间段内将所有所述资源连接模块所接收到的系统资源打包成所述资源数据集。
4.如权利要求3所述的智能化系统资源监控方法，其特征在于，所述按照所述批次并根据预先构建的实时资源监控脚本对所述系统资源进行实时分析监控，包括：
读取本地系统的IP地址信息，根据所述分批次处理获取所述本地系统CPU的资源数据；
从所述CPU的资源数据中抓取CPU的总核数和本地系统指定分钟内的总负载值；
基于所述CPU的总核数和所述总负载值计算单个CPU在所述指定分钟内的平均负载值，若所述平均负载值大于预设CPU警告值，发送CPU资源紧张通知；
从所述分批次处理中获取所述本地系统磁盘的资源数据；
从所述本地系统磁盘的资源数据获取磁盘分区情况和每个分区的磁盘空闲容量；
若有分区的磁盘空闲容量已小于预设磁盘空闲量，发送磁盘资源紧张通知。
5.如权利要求3所述的智能化系统资源监控方法，其特征在于，所述将所述资源数据集与所述系统资源建立索引关系包括：
基于二进制编码法在所述资源数据集与所述系统资源对应的系统资源堆之间建立索引关系。
6.一种智能化系统资源监控装置，其特征在于，所述装置包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的智能化系统资源监控程序，所述智能化系统资源监控程序被所述处理器执行时实现如下步骤：
接收系统资源，利用预先构建的数据导出组件从所述系统资源内导出资源数据集；
将所述资源数据集与所述系统资源建立索引关系，并基于所述索引关系对所述资源数据集进行数据校验；
在所述数据校验成功时，调用资源监控模型接收所述资源数据集并对所述资源数据集执行分批次处理，将所述资源数据集分为多个批次；
按照所述批次并根据预先构建的实时资源监控脚本对所述系统资源进行实时分析监控，若分析到所述系统资源的资源值大于预设阈值条件时，则触发系统资源报警，完成对所述系统资源的监控。
7.如权利要求6所述的智能化系统资源监控装置，其特征在于，所述系统资源包括CPU数据、磁盘数据、IO数据、内存数据、网络数据、端口存活数据、进程存活及/或机器内核配置参数数据中的一种或者几种。
8.如权利要求6或7所述的智能化系统资源监控装置，其特征在于，所述利用预先构建的数据导出组件从所述系统资源内导出资源数据集，包括：
将所述数据导出组件与所述系统资源执行对接操作；
调用所述数据导出组件中的资源连接模块，通过所述资源连接模块发送请求指令；
与所述资源连接模块对应的用于存储所述系统资源的系统资源堆接收到所述请求指令时返回所述系统资源给所述资源连接模块；
所述数据导出组件中的管理模块实时查看当前所述资源连接模块的状态，若所述资源连接模块的状态是已接收到所述系统资源，则所述管理模块在预设时间段内将所有所述资源连接模块所接收到的系统资源打包成所述资源数据集。
9.如权利要求8中所述的智能化系统资源监控装置，其特征在于，所述将所述资源数据集与所述系统资源建立索引关系包括：
基于二进制编码法在所述资源数据集与所述系统资源对应的系统资源堆之间建立索引关系。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有智能化系统资源监控程序，所述智能化系统资源监控程序可被一个或者多个处理器执行，以实现如权利要求1至5中任一项所述的智能化系统资源监控方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911138085.9A CN111124801B (zh) | 2019-11-19 | 2019-11-19 | 智能化系统资源监控方法、装置及计算机可读存储介质 |
| PCT/CN2020/119217 WO2021098393A1 (zh) | 2019-11-19 | 2020-09-30 | 智能化系统资源监控方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911138085.9A CN111124801B (zh) | 2019-11-19 | 2019-11-19 | 智能化系统资源监控方法、装置及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111124801A true CN111124801A (zh) | 2020-05-08 |
| CN111124801B CN111124801B (zh) | 2023-06-13 |
Family
ID=70495925
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911138085.9A Active CN111124801B (zh) | 2019-11-19 | 2019-11-19 | 智能化系统资源监控方法、装置及计算机可读存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN111124801B (zh) |
| WO (1) | WO2021098393A1 (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112162518A (zh) * | 2020-10-14 | 2021-01-01 | 河北中兴冀能电力发展有限公司 | 一种应用于电力仪器设备的单板多运算芯片算力监控系统 |
| WO2021098393A1 (zh) * | 2019-11-19 | 2021-05-27 | 平安科技（深圳）有限公司 | 智能化系统资源监控方法、装置、电子设备及存储介质 |
| CN113485970A (zh) * | 2021-06-29 | 2021-10-08 | 平安信托有限责任公司 | 数据监控方法、装置、电子设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101118502A (zh) * | 2006-08-03 | 2008-02-06 | 国际商业机器公司 | 用于选择性地监视事务的方法和系统 |
| CN102223419A (zh) * | 2011-07-05 | 2011-10-19 | 北京邮电大学 | 面向网络化操作系统的虚拟资源动态反馈均衡分配机制 |
| CN104820628A (zh) * | 2015-04-01 | 2015-08-05 | 浪潮电子信息产业股份有限公司 | 一种基于bash的监控系统负载和系统资源使用情况的方法 |
| CN106326008A (zh) * | 2016-08-23 | 2017-01-11 | 成都卡莱博尔信息技术股份有限公司 | 一种面向集群系统的监控方法 |
| CN109324897A (zh) * | 2018-08-24 | 2019-02-12 | 平安科技（深圳）有限公司 | 数据上传方法及系统、终端和计算机可读存储介质 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9524224B2 (en) * | 2010-10-05 | 2016-12-20 | Red Hat Israel, Ltd. | Customized monitoring of system activities |
| CN103532780B (zh) * | 2013-10-11 | 2017-09-22 | 北京有度致远信息科技股份有限公司 | 用于it领域的运维监控一体化系统及一体化监控方法 |
| CN105490870A (zh) * | 2015-11-20 | 2016-04-13 | 浪潮电子信息产业股份有限公司 | 一种批量监控Linux服务器运行状态的方法 |
| CN106649028A (zh) * | 2016-09-29 | 2017-05-10 | 郑州云海信息技术有限公司 | 一种自动化Linux系统维护任务的方法 |
| CN110347546B (zh) * | 2019-05-23 | 2022-05-17 | 平安科技（深圳）有限公司 | 监控任务动态调整方法、装置、介质及电子设备 |
| CN111124801B (zh) * | 2019-11-19 | 2023-06-13 | 平安科技（深圳）有限公司 | 智能化系统资源监控方法、装置及计算机可读存储介质 |
-
2019
- 2019-11-19 CN CN201911138085.9A patent/CN111124801B/zh active Active
-
2020
- 2020-09-30 WO PCT/CN2020/119217 patent/WO2021098393A1/zh active Application Filing
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101118502A (zh) * | 2006-08-03 | 2008-02-06 | 国际商业机器公司 | 用于选择性地监视事务的方法和系统 |
| US20080034082A1 (en) * | 2006-08-03 | 2008-02-07 | Mckinney Howard Milton | Intelligent Performance Monitoring Based on Resource Threshold |
| CN102223419A (zh) * | 2011-07-05 | 2011-10-19 | 北京邮电大学 | 面向网络化操作系统的虚拟资源动态反馈均衡分配机制 |
| CN104820628A (zh) * | 2015-04-01 | 2015-08-05 | 浪潮电子信息产业股份有限公司 | 一种基于bash的监控系统负载和系统资源使用情况的方法 |
| CN106326008A (zh) * | 2016-08-23 | 2017-01-11 | 成都卡莱博尔信息技术股份有限公司 | 一种面向集群系统的监控方法 |
| CN109324897A (zh) * | 2018-08-24 | 2019-02-12 | 平安科技（深圳）有限公司 | 数据上传方法及系统、终端和计算机可读存储介质 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021098393A1 (zh) * | 2019-11-19 | 2021-05-27 | 平安科技（深圳）有限公司 | 智能化系统资源监控方法、装置、电子设备及存储介质 |
| CN112162518A (zh) * | 2020-10-14 | 2021-01-01 | 河北中兴冀能电力发展有限公司 | 一种应用于电力仪器设备的单板多运算芯片算力监控系统 |
| CN113485970A (zh) * | 2021-06-29 | 2021-10-08 | 平安信托有限责任公司 | 数据监控方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021098393A1 (zh) | 2021-05-27 |
| CN111124801B (zh) | 2023-06-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111124801B (zh) | 智能化系统资源监控方法、装置及计算机可读存储介质 | |
| CN112087454B (zh) | 一种物联网网关设备的通信方法、装置、设备及储存介质 | |
| CN111818136B (zh) | 数据处理方法、装置、电子设备及计算机可读介质 | |
| CN113590363B (zh) | 数据发送方法、装置、电子设备及存储介质 | |
| CN113900834B (zh) | 基于物联网技术的数据处理方法、装置、设备及存储介质 | |
| WO2020147403A1 (zh) | 基于云存储的文件处理方法、系统及计算机设备 | |
| CN112995239B (zh) | 一种数据处理方法和装置 | |
| CN105573733A (zh) | 浏览器与web前端通信的方法、web前端及系统 | |
| CN108900627B (zh) | 一种网络请求方法、终端装置及存储介质 | |
| CN114035987A (zh) | 基于消息队列的数据传输方法、装置、电子设备及介质 | |
| CN114048108A (zh) | 多源异构数据的自动化治理方法及装置 | |
| CN113364857A (zh) | 业务数据的处理方法、装置和服务器 | |
| CN113760264A (zh) | 多应用之间组件复用的方法和装置 | |
| CN106095886B (zh) | 一种数据处理方法及其装置 | |
| TWI815098B (zh) | Web請求處理方法、裝置、電子設備以及內儲程式之電腦可讀取記錄媒體 | |
| CN108011964A (zh) | 图片上传方法、装置、电子终端及可读存储介质 | |
| CN112925623A (zh) | 任务处理方法、装置、电子设备和介质 | |
| CN103294527A (zh) | 一种处理网络任务的方法、系统以及服务器 | |
| CN113779021B (zh) | 数据处理方法、装置、计算机系统及可读存储介质 | |
| CN114390067B (zh) | 一种数据交换的方法、系统、装置及存储介质 | |
| CN117499487A (zh) | 基于消息队列的业务处理方法、装置、计算机设备及介质 | |
| CN115378792B (zh) | 告警处理方法、装置及存储介质 | |
| CN114328549B (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| CN116467060A (zh) | 基于Hook的业务请求处理方法及相关设备 | |
| CN113779021A (zh) | 数据处理方法、装置、计算机系统及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |