CN110018932A - 一种容器磁盘的监控方法及装置 - Google Patents

Abstract

本申请提供一种容器磁盘的监控方法和装置，涉及物理机领域，能够更加高效、快速的监控容器磁盘的使用情况和性能指标，有效提升资源分配的合理性、系统稳定性和资源利用率。该方法应用于容器磁盘监控系统，所述系统包括一个主节点和多个从节点，包括：主节点接收所有从节点发送的容器磁盘的实时数据信息；所述主节点将所述实时数据信息以节点容器集群为维度进行分析整理并建立预设监控项的时间图索引；存储所述预设监控项的实时数据信息，并根据数据同步协议和同步规则，将所述主节点上存储的所述实时数据信息同步备份到所有从节点；当所述预设监控项大于或等于相应的预设阈值，则所述主节点发出预警信息。

Description

一种容器磁盘的监控方法及装置

技术领域

本申请涉及物理机领域，尤其涉及一种容器磁盘的监控方法及装置。

背景技术

容器是应用服务器中位于组件和平台之间的接口集合，具有资源隔离和资源大小限制的特点，在资源隔离上以操作系统进程为对象进行主机CPU、内存、磁盘、网络、系统用户等资源和操作系统管理对象的隔离。容器磁盘是容器的外部存储器，目前众多监控工具和系统都主要集中在对容器状态、容器进程以及CPU、内存的资源监控，但对于容器磁盘这种特殊资源类型的监控，缺少实时性和不同时间维度的统计监控指标。

现有技术中针对容器磁盘监控有两种方式，一种是系统通过获取容器启动后截止到当前时间内的监控数据，另一种是通过定时获取各时间段内的数据指标，如30s的时间间隔。这两种方式在各自的数据指标上都是精确的，但历史累计的方式只能看到系统各项指标的总和情况，无法得知历史趋势。如Docker Stats即采用这种累积汇总的方式。定时获取各时间段的数据，这种监控方式所对应的数据精度相对于前者有了提高，但在定时间隔内数据失效，意味着在定时间隔内的故障将无法及时处理。

发明内容

本申请提供一种容器磁盘的监控方法及装置，能够更加高效、快速的监控容器磁盘的使用情况和性能指标，有效提升资源分配的合理性、系统稳定性和资源利用率。

为达到上述目的，本申请采用如下技术方案：

第一方面，本申请提供一种容器磁盘的监控方法，应用于容器磁盘监控系统，其特征在于，所述系统包括一个主节点和多个从节点，该方法包括：

主节点接收所有从节点发送的容器磁盘的实时数据信息；所述主节点将所述实时数据信息以节点容器集群为维度进行分析整理并建立预设监控项的时间图索引；存储所述预设监控项的实时数据信息，并根据数据同步协议和同步规则，将所述主节点上存储的所述实时数据信息同步备份到所有从节点；当所述预设监控项大于或等于相应的预设阈值，则所述主节点发出预警信息。

第二方面，本申请提供一种容器磁盘的监控装置，应用于容器磁盘监控系统，所述系统包括一个主节点和多个从节点，该装置包括：

接收单元，用于接收所有从节点发送的容器磁盘的实时数据信息；整理单元，用于将所述实时数据信息以节点容器集群为维度进行分析整理并建立预设监控项的时间图索引；存储单元，用于存储所述预设监控项的实时数据信息，并根据数据同步协议和同步规则，将所述主节点上存储的所述实时数据信息同步备份到所有从节点；预警单元，用于当所述预设监控项大于或等于相应的预设阈值，则发出预警信息。

第三方面，本申请提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当计算机执行该指令时，该计算机执行上述第一方面及其各种可选的实现方式中任意之一所述的容器磁盘的监控方法。

第四方面，本申请提供一种包含指令的计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行上述第一方面及其各种可选的实现方式中任意之一所述的容器磁盘的监控方法。

第五方面，提供一种容器磁盘的监控装置，包括：处理器、存储器和通信接口，通信接口用于所述测试装置和其他设备或网络通信，存储器用于存储程序，处理器调用存储器存储的程序，以执行上述第一方面所述的容器磁盘的监控方法。

本申请提供的容器磁盘的监控方法及装置，通过获取不同类型的实时容器磁盘数据信息，并对数据进行整理分析，得到数据的时间图索引，通过设置预设监控项的预设阈值来判断容器磁盘在运行过程中是否发生问题。实现了对容器磁盘的监控，更加高效、快速的监控容器磁盘的使用情况和性能指标，有效提升了资源分配的合理性、系统稳定性和资源利用率。

附图说明

图1为本申请实施例提供的容器磁盘的监控方法流程示意图；

图2为本申请实施例提供的容器磁盘的监控装置的结构示意图一；

图3为本申请实施例提供的容器磁盘的监控装置的结构示意图二。

具体实施方式

下面结合附图对本申请实施例提供的容器磁盘的监控方法、装置及系统进行详细地描述。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。

此外，本申请的描述中所提到的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括其他没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

在本申请的描述中，除非另有说明，“多个”的含义是指两个或两个以上。

容器(Container)技术是一种轻量级虚拟化技术，经过十多年的技术发展，最后演进成操作系统内核提供资源的隔离和限制的系统级能力，容器运行的程序，本质上是在操作系统内核层面，与容器外运行的程序没有区别。在操作系统内核提供资源限制的能力时，也提供资源限制、审计和控制的能力。容器可以应用在不同种类的操作系统中,如Linux操作系统、WINDOWS操作系统以及一些嵌入式系统等，本发明实施例不做限定。容器磁盘作为容器的外部存储器，对于容器的性能以及系统稳定性至关重要。

本申请实施例提供的容器磁盘的监控方法可以应用于容器磁盘监控系统，所述系统包括多个监控管理节点，其中，包括一个主节点和多个从节点，初始化设置节点个数为奇数个，以分布式的形式进行协作，若所述主节点无法提供正常的监控服务，则通过选举算法选择一个从节点作为新的主节点。

本申请实施例提供的容器磁盘的监控方法，应用于容器磁盘监控系统中，通过多种操作系统底层技术提供不同类型的实时磁盘数据源，对数据进行整合分析以提供最精准的实时数据，并将其存储，从而以不同时间维度进行可视化展示、告警或监控处理。

本申请实施例提供一种容器磁盘的监控方法，如图1所示，该方法可以包括S101-S104：

S101、主节点接收所有从节点发送的容器磁盘的实时数据信息。

系统的主节点与多个从节点上都设置有数据采集单元，该数据采集单元用于采集容器磁盘的实时数据信息，该实时数据信息包括容器实时事件数据、文件系统实时事件数据以及系统内核性能数据。

容器实时事件数据是通过Docker容器引擎提供的实时数据流，包括对容器的创建、启停、销毁，数据卷的挂载等信息。当实时数据因未知错误断开后，也可以主动拿取过去某段时间内发生的事件。根据该实时数据流，可实现对容器操作和容器磁盘使用的实时监控，也可以作为容器信息的源头，在其它数据源中进行实时关联监控。

文件系统实时事件数据是操作系统级文件系统数据，如Linux的EXT3、EXT4、XFS或Windows的NTFS等。数据采集单元通过调用注册监控文件系统和事件类型，如访问，即可实时获取相关文件系统的操作。通过Docker容器实时事件数据可以将容器使用的数据卷以及需要监控的文件系统，注册到文件系统的待监控列表中，从而对该文件系统中的文件操作如文件创建、打开、读写、关闭以及目录进行实时的监控，以便后续可以准确计算磁盘实时性能指标。

系统内核性能数据是指操作系统容器级的块设备监控数据，提供了从容器创建到采集时间范围内的输入输出操作的统计总和信息，如某个数据卷的读写总大小、读写次数等。

S102、将所述实时数据信息以节点容器集群为维度进行分析整理并建立预设监控项的时间图索引。

由于每个节点上都包括多个容器，多个容器构成了容器集群。通过步骤S101获取了大量的实时数据信息后，需要将该实时数据信息以节点容器集群为维度进行分析整理，并建立预设监控项的时间图索引，该预设监控项包括磁盘资源的使用和性能等，建立时间图索引是为了便于查询预设监控项在不同时间维度的变化。通过对这些原始监控数据进行关联分析，以容器集群、时刻点为维度进行数据整合，对监控项进行细化、分阶段处理，以获取最精准的数据。

S103、主节点存储所述预设监控项的实时数据信息，并根据数据同步协议和同步规则，将所述主节点上存储的所述实时数据信息同步备份到所有从节点。

通过步骤S102对实时数据信息进行了分析整理，在这些实时数据信息中包括多个预设监控项，根据预设监控项的时间图索引，查找并判断预设监控项是否小于相应的预设阈值，若是。说明预设监控项处于正常的参数指标范围内，存储所述实时数据信息并根据数据同步协议和同步规则，将所述实时数据信息备份到所有从节点，若所述主节点无法提供正常的监控服务，则通过选举算法选择一个从节点作为新的主节点。避免主节点监控本身的故障导致监控系统全部失效的问题。

可选的，可以通过主节点或从节点上的预留接口将所有历史数据信息以预设方式通过可视化图像界面进行展示，所述预设方式包括表格、柱状图、曲线图中的任意一种或多种。展示的时间维度包括小时、天、月、年等，根据用户具体操作进行切换。监控管理节点对外提供标准REST API服务，以便其他系统根据该历史数据信息进行后续处理。同时，系统还提供一套Web UI人机交互界面，将历史数据信息以可视化图形界面进行展示，便于监控人员实时查看。

S104、当所述时间图索引中的预设监控项大于或等于相应的预设阈值，则发出预警信息。

通过步骤S102对实时数据信息进行了分析整理，在这些实时数据信息中包括多个预设监控项，根据预设监控项的时间图索引，查找并判断预设监控项是否大于或等于相应的预设阈值，若是则发出预警信息。系统提供了与其他系统交互的能力，将监控人员关心的监控事件，如磁盘剩余空间不足、磁盘损坏等事件实时通过报警、短信、邮件等方式发送给监控处理人员或其他监控处理系统。

本申请提供的容器磁盘的监控方法，通过获取不同类型的实时容器磁盘数据信息，并对数据进行整理分析，得到数据的时间图索引，通过设置预设监控项的预设阈值来判断容器磁盘在运行过程中是否发生问题。实现了对容器磁盘的监控，更加高效、快速的监控容器磁盘的使用情况和性能指标，有效提升了资源分配的合理性、系统稳定性和资源利用率。

本申请实施例可以根据上述方法示例对容器磁盘的监控装置进行功能模块或者功能单元的划分，例如，可以对应各个功能划分各个功能模块或者功能单元，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块或者功能单元的形式实现。其中，本申请实施例中对模块或者单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

图2示出了上述实施例中所涉及的容器磁盘的监控装置的一种可能的结构示意图。该装置100包括接收单元101、整理单元102、存储单元103和预警单元104，具体的：

接收单元101，用于接收所有从节点发送的容器磁盘的实时数据信息。

整理单元102，用于将所述实时数据信息以节点容器集群为维度进行分析整理并建立预设监控项的时间图索引。

存储单元103，用于存储所述预设监控项的实时数据信息，并根据数据同步协议和同步规则，将所述主节点上存储的所述实时数据信息同步备份到所有从节点。

预警单元104，用于当所述时间图索引中的预设监控项大于或等于相应的预设阈值，则发出预警信息。

可选的，所述实时数据信息包括容器实时事件数据、文件系统实时事件数据和系统内核性能数据。

可选的，所述装置100还包括：

展示单元105，用于通过主节点或从节点上的预留接口将所有历史数据信息以预设方式通过可视化图像界面进行展示，所述预设方式包括表格、柱状图、曲线图中的任意一种或多种。

可选的，所述装置100还包括：

选择单元106，用于若所述主节点无法提供正常的监控服务，则通过选举算法选择一个从节点作为新的主节点。

图3示出了上述实施例中所涉及的容器磁盘的监控装置的又一种可能的结构示意图。该装置300包括：处理器302和通信接口303。处理器302用于对该装置300的动作进行控制管理，例如，执行上述整理单元102、存储单元103、预警单元104、展示单元105以及选择单元106执行的步骤，和/或用于执行本文所描述的技术的其它过程。通信接口303用于支持装置300与其他网络实体的通信，例如，执行上述接收单元101执行的步骤。该装置300还可以包括存储器301和总线304，存储器301用于存储该装置300的程序代码和数据。

其中，存储器301可以是装置300中的存储器，该存储器可以包括易失性存储器，例如随机存取存储器；该存储器也可以包括非易失性存储器，例如只读存储器，快闪存储器，硬盘或固态硬盘；该存储器还可以包括上述种类的存储器的组合。

上述处理器302可以是实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。该处理器可以是中央处理器，通用处理器，数字信号处理器，专用集成电路，现场可编程门阵列或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。所述处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。

总线304可以是扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。总线304可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请实施例提供一种包含指令的计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行上述方法实施例所述的容器磁盘的监控方法。

本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当网络设备执行该指令时，该网络设备执行上述方法实施例所示的方法流程中网络设备执行的各个步骤。

其中，计算机可读存储介质，例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(Random Access Memory，RAM)、只读存储器(Read-Only Memory，ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、寄存器、硬盘、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合、或者本领域熟知的任何其它形式的计算机可读存储介质。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于特定用途集成电路(Application Specific Integrated Circuit，ASIC)中。在本申请实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (11)

1.一种容器磁盘的监控方法，应用于容器磁盘监控系统，所述系统包括一个主节点和多个从节点，其特征在于，包括：

主节点接收所有从节点发送的容器磁盘的实时数据信息；

所述主节点将所述实时数据信息以节点容器集群为维度进行分析整理并建立预设监控项的时间图索引；

存储所述预设监控项的实时数据信息，并根据数据同步协议和同步规则，将所述主节点上存储的所述实时数据信息同步备份到所有从节点；

当所述预设监控项大于或等于相应的预设阈值，则所述主节点发出预警信息。

2.根据权利要求1所述的容器磁盘的监控方法，其特征在于，所述实时数据信息包括容器实时事件数据、文件系统实时事件数据和系统内核性能数据。

3.根据权利要求1所述的容器磁盘的监控方法，其特征在于，所述将所述主节点上存储的所述实时数据信息同步备份到所有从节点之后还包括：

通过主节点或从节点上的预留接口将所有历史数据信息以预设方式通过可视化图像界面进行展示，所述预设方式包括表格、柱状图、曲线图中的任意一种或多种。

4.根据权利要求1所述的容器磁盘的监控方法，其特征在于，所述方法还包括：

若所述主节点无法提供正常的监控服务，则通过选举算法选择一个从节点作为新的主节点。

5.一种容器磁盘的监控装置，应用于容器磁盘监控系统，所述系统包括一个主节点和多个从节点，其特征在于，包括：

接收单元，用于接收所有从节点发送的容器磁盘的实时数据信息；

整理单元，用于将所述实时数据信息以节点容器集群为维度进行分析整理并建立预设监控项的时间图索引；

存储单元，用于存储所述预设监控项的实时数据信息，并根据数据同步协议和同步规则，将所述主节点上存储的所述实时数据信息同步备份到所有从节点；

预警单元，用于当所述预设监控项大于或等于相应的预设阈值，则发出预警信息。

6.根据权利要求5所述的容器磁盘的监控装置，其特征在于，所述实时数据信息包括容器实时事件数据、文件系统实时事件数据和系统内核性能数据。

7.根据权利要求5所述的容器磁盘的监控装置，其特征在于，所述装置还包括：

展示单元，用于通过主节点或从节点上的预留接口将所有历史数据信息以预设方式通过可视化图像界面进行展示，所述预设方式包括表格、柱状图、曲线图中的任意一种或多种。

8.根据权利要求5所述的容器磁盘的监控装置，其特征在于，所述装置还包括：

选择单元，用于若所述主节点无法提供正常的监控服务，则通过选举算法选择一个从节点作为新的主节点。

9.一种容器磁盘的监控装置，其特征在于，所述装置包括：处理器、存储器和通信接口，所述通信接口用于所述装置和其他设备或网络通信，存储器用于存储程序，处理器调用存储器存储的程序，以执行如权利要求1-4任意之一所述的容器磁盘的监控方法。

10.一种计算机可读存储介质，计算机可读存储介质中存储有指令，当计算机执行该指令时，该计算机执行上述权利要求1-4中任意之一所述的容器磁盘的监控方法。

11.一种包含指令的计算机程序产品，当所述计算机程序产品在计算机上运行时，该计算机执行上述权利要求1-4中任意之一所述的容器磁盘的监控方法。