CN115827413B - 一种基于大页内存的存储监控系统及方法 - Google Patents

Abstract

本申请涉及计算机技术领域，提供了一种基于大页内存的存储监控系统及方法，所述系统包括：周期管理器，用于生成原始数据的预设信息类型并发送给数据收集器，周期性地发送dump指令给数据生成器，且发送扫描指令给中间扫描器；数据收集器：附着在I/O上，用于收集原始收集数据；数据生成器，设置在每个polling core，用于接受原始收集数据，生成周期大页，且发送给中间扫描器；中间扫描器：扫描周期大页，生成监控数据；归档存储器，用于按照时间点生成时序数据链，提供数据存储接口和查询接口。本申请采用周期性的大页缓存作为监控数据，形成时序数据链，用以查询。因此，本公开实施例提高了监控运行的效率，从而保证了被监控系统运行流畅。

Description

一种基于大页内存的存储监控系统及方法

技术领域

本申请属于计算机技术领域，涉及一种基于大页内存的存储监控系统及方法。

背景技术

存储系统中，对I/O的控制是核心功能，每时每刻存储系统都将处理大量的数据操作，发生在I/O路径上的所有过程，都将被视为核心过程，那么对I/O路径的实时监控，将是在存储系统开发、调试与安全运维过程中，成功掌控存储系统的关键工具。系统开发时，实时监控信息可为系统排错、性能优化提供有力的帮助;系统发布后，实时监控还将记录系统每天产生的大量信息，为系统的安全监测和运行维护提供数据。

当前流行的分布式存储系统，在传统存储基础上，增加了跨网络、跨节点、跨硬件的基本属性、不定时scale out的功能等，对分布式存储的实时监控提出了更加严苛的要求。最新一代的分布式存储为更有效的利用计算资源，会将线程绑定到固定核心core上，采用轮询polling方式，提升cpu利用率，那么线程在所绑定core上的运行情况，将是实时监控重点关注的方向。

现有技术中，最常采用的实时监控记录方式是通过日志记录，记录过程中将产生大量的系统调用，在用户空间和内核空间不断切换，影响记录效率，而且实时监控与业务处理串行，输出实时监控日志时，势必影响业务处理速度，这种方式的时间代价与日志条数几乎成正比，而且当日志记录过多时会引发业务处理延时，对于实时性较高的系统是不允许的。若信息量过于庞大，甚至会阻塞正常的业务处理。

发明内容

为了对披露的实施例的一些方面有基本的理解，下面给出了简单的概括。所述概括不是泛泛评述，也不是要确定关键／重要组成元素或描绘这些实施例的保护范围，而是作为后面的详细说明的序言。

为了解决相关技术中存在的问题，本公开实施例公开了一种基于大页内存的存储监控系统及方法，用以解决现有技术中的面对实时性较高的系统，监控会影响业务处理从而导致被监控系统运行不流畅的问题。

在一些实施例中，提供了一种基于大页内存的存储监控系统，系统包括：周期管理器、数据收集器、数据生成器、中间扫描器和归档存储器；周期管理器，包括控制器和定时器；所述控制器，与数据收集器相连接，被配置为接收原始数据的预设信息类型指令，生成原始数据的预设信息类型并发送给数据收集器；所述定时器，分别与中间扫描器和数据生成器，被配置为接收预设时间指令，根据预设时间，周期性地发送dump指令给数据生成器；接收大页生成完毕指令，发送扫描指令给中间扫描器；数据收集器，设置在附着在I/O上，被配置为接收原始数据的信息类型；根据原始数据的信息类型，收集对应的原始数据，获得原始收集数据；数据生成器，设置在每个polling core上，与数据收集器相连接，被配置为接收原始收集数据，实时生成临时大页；接收dump指令，生成周期大页，发送大页生成完毕指令给定时器，且发送给中间扫描器；中间扫描器，被配置为接收扫描指令，扫描周期大页，生成监控数据，将监控数据发送给归档存储器；归档存储器，被配置为接收监控数据，将监控数据按照时间点生成时序数据链存入历史数据库，并提供监控数据的查询输出。

优选的，所述周期管理器为人机交互装置。

优选的，归档存储器包括数据存储接口和查询接口。

在一些实施例中，公开了一种基于大页内存的存储监控方法，应用于系统的数据收集器，所述方法包括：接收原始数据的信息类型；根据原始数据的信息类型，收集对应的原始数据，获得原始收集数据；

发送原始收集数据给数据生成器。

在一些实施例中，公开了一种基于大页内存的存储监控方法，应用于系统的数据生成器，所述方法包括：接收原始收集数据，实时生成临时大页；接收dump指令，生成周期大页，发送大页生成完毕指令给定时器，且发送给中间扫描器。

优选的，生成临时大页和周期大页的过程为：根据数据类型进行分类，对同一种资源内部排序，按照存储需要申请大页内存进行缓存。

在一些实施例中，公开了一种基于大页内存的存储监控方法，应用于系统的周期管理器，所述方法包括：接收原始数据的预设信息类型指令，生成原始数据的预设信息类型并发送给数据收集器；接收入预设时间指令，根据预设时间，周期性地发送dump指令给数据生成器；接收大页生成完毕指令，发送扫描指令给中间扫描器。

在一些实施例中，公开了一种基于大页内存的存储监控方法，应用于系统的中间扫描器，所述方法包括：接收扫描指令；扫描周期大页，生成监控数据；将监控数据发送给归档存储器。

优选的，监控数据，包括：I/O在经过模块的硬件资源平均值，和/或硬件资源执行周期数据；其中，所述硬件资源包括cpu、mem、disk；所述硬件资源执行周期数据，包括处理的I/O总数和平均耗时。

在一些实施例中，公开了一种基于大页内存的存储监控方法，应用于系统的归档存储器，所述方法包括：接收监控数据；将监控数据按照时间点生成时序数据链存入历史数据库，并提供监控数据的查询输出。

本公开实施例提供的一种基于大页内存的存储监控系统及方法，可以实现以下技术效果：

本公开实施例以每一个polling core所承担作业为依据，作业过程中所涉及到的逻辑上、物理上的资源为核心，采用周期性的大页缓存作为监控数据，形成时序数据链，用以查询。本公开实施例利用大页内存作为监控数据传输手段，提升内存使用效率。因此，本公开实施例面对实时性较高的系统时，能够提高了监控效率从而影响让被监控运行流畅。

以上的总体描述和下文中的描述仅是示例性和解释性的，不用于限制本申请。

附图说明

一个或多个实施例通过与之对应的附图进行示例性说明，这些示例性说明和附图并不构成对实施例的限定，附图中具有相同参考数字标号的元件示为类似的元件，附图不构成比例限制，并且其中：

图1是本公开实施例提供的一种基于大页内存的存储监控系统的示意图；

图2是本公开实施例提供的一种存储监控系统的接口连接示意图；

图3是本公开实施例提供的一种基于大页内存的存储监控方法流程图；

图4是本公开实施例提供的一种数据收集器作用于子模块的示意图；

图5是本公开实施例提供的一种数据的流转示意图。

具体实施方式

为了能够更加详尽地了解本公开实施例的特点与技术内容，下面结合附图对本公开实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本公开实施例。在以下的技术描述中，为方便解释起见，通过多个细节以提供对所披露实施例的充分理解。然而，在没有这些细节的情况下，一个或多个实施例仍然可以实施。在其它情况下，为简化附图，熟知的结构和装置可以简化展示。

以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。其他实施方案可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施方案的部分和特征可以被包括在或替换其他实施方案的部分和特征。本发明的实施方案的范围包括权利要求书的整个范围，以及权利要求书的所有可获得的等同物。在本文中，各实施方案可以被单独地或总地用术语“发明”来表示，这仅仅是为了方便，并且如果事实上公开了超过一个的发明，不是要自动地限制该应用的范围为任何单个发明或发明构思。本文中，诸如第一和第二等之类的关系术语仅仅用于将一个实体或者操作与另一个实体或操作区分开来，而不要求或者暗示这些实体或操作之间存在任何实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。本文中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的方法、产品等而言，由于其与实施例公开的方法部分相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

存储系统中，对I/O的控制是核心功能，每时每刻存储系统都将处理大量的数据操作，发生在I/O路径上的所有过程，都将被视为核心过程，那么对I/O路径的实时监控，将是在存储系统开发、调试与安全运维过程中，成功掌控存储系统的关键工具。系统开发时，实时监控信息可为系统排错、性能优化提供有力的帮助;系统发布后，实时监控还将记录系统每天产生的大量信息，为系统的安全监测和运行维护提供数据。当前流行的分布式存储系统，在传统存储基础上，增加了跨网络、跨节点、跨硬件的基本属性、不定时scale out的功能等，对分布式存储的实时监控提出了更加严苛的要求。

现有技术中，最常采用的实时监控记录方式是通过日志记录，记录过程中将产生大量的系统调用，在用户空间和内核空间不断切换，影响记录效率，而且实时监控与业务处理串行，输出实时监控日志时，势必影响业务处理速度，这种方式的时间代价与日志条数几乎成正比，而且当日志记录过多时会引发业务处理延时，对于实时性较高的系统是不允许的。若信息量过于庞大，甚至会阻塞正常的业务处理。

为了解决相关技术中存在的问题，本公开实施例公开了一种基于大页内存的存储监控系统及方法，用以解决现有技术中的面对实时性较高的系统，监控会影响业务处理从而导致系统运行不流畅的问题。

结合图1所示，本公开实施例提供一种基于大页内存的存储监控的示意图。所述系统，包括：周期管理器、数据收集器、数据生成器、中间扫描器和归档存储器；周期管理器，包括控制器和定时器；所述控制器，与数据收集器相连接，被配置为接收原始数据的预设信息类型指令，生成原始数据的预设信息类型并发送给数据收集器；所述定时器，分别与中间扫描器和数据生成器，被配置为接收预设时间指令，根据预设时间，周期性地发送dump指令给数据生成器；接收大页生成完毕指令，发送扫描指令给中间扫描器；数据收集器，设置在附着在I/O上，被配置为接收原始数据的信息类型；根据原始数据的信息类型，收集对应的原始数据，获得原始收集数据；数据生成器，设置在每个polling core上，与数据收集器相连接，被配置为接收原始收集数据，实时生成临时大页；接收dump指令，生成周期大页，发送大页生成完毕指令给定时器，且发送给中间扫描器；中间扫描器，被配置为接收扫描指令，扫描周期大页，生成监控数据，将监控数据发送给归档存储器；归档存储器，被配置为接收监控数据，

将监控数据按照时间点生成时序数据链存入历史数据库，并提供监控数据的查询输出。

需要说明的是，周期管理器可以是人机交互装置，用于输入原始数据的预设信息类型指令和预设时间指令。其中，预设时间指令用于生成定时器的定时周期。所述定时周期同时作用于指示数据生成器的生成周期大页，和中间扫描器的扫描周期大页。输入原始数据的预设信息类型指令和预设时间指令，可以适时调整，用于适应于实际情况。

数据生成器在绑定到核上运行，所有core参与运算，运算效率远超共用生成器，每个core上只运算自己相关数据，运算过程无加锁，进一步提升运算效率。采集、计算与持久化分离，中间采用高效的周期大页进行缓存和传输，在大压力下对业务的影响减小到最小。

所述数据收集器，主要用于数据收集，可连接在任何模块上的任何位置。本公开实施例并没有对数据收集器设定连接限制。归档存储器包括数据存储接口和查询接口。

关于可以连接的接口，参见图2，为本公开实施例提供一种存储监控系统的接口连接示意图。其中，注入接口连接数据收集器，控制接口连接周期管理器，Restful接口连接归档存储器。

结合图3所示，本公开实施例提供一种基于大页内存的存储监控方法示意图。其中，应用于数据收集器，所述方法包括：

S110，接收原始数据的信息类型。

S120，根据原始数据的信息类型，收集对应的原始数据，获得原始收集数据。

应理解，I/O路径上任意位置注入数据收集器，那么随着I/O在I/O路径上流转，数据收集器会将收集I/O经过的子模块的名称、处理时间，在各个模块上所使用的cpu、mem、网络资源、存储设备等资源信息，收集的信息类型由周期管理器配置。完全收集后将数据发送给数据生成器，由数据生成器进行数据整理和存储。参见图4，为本公开实施例中的一种数据收集器作用于子模块的示意图。

应用于数据生成器，所述方法包括：

S210，接收原始收集数据，实时生成临时大页；

S220，接收dump指令，生成周期大页，发送大页生成完毕指令给定时器，且发送给中间扫描器。

进一步地，生成临时大页和周期大页的过程为：根据数据类型进行分类，对同一种资源内部排序，按照存储需要申请大页内存进行缓存。

应理解，上述方式避免内存反复申请的开销。需要说明的是，当数据生成器收到周期管理器的dump请求时，根据周期管理器提供的周期进行计算，生成这段时间内资源的平均利用率。大页生成完毕指令作为一个反馈，发送给定时器。

需要说明的是，core上的缓存实时写的是临时大页。周期大页是收到dump指令后，整理本core的临时大页输出来的数据，周期性地写给扫描器看的。这样设计的目的是为了不加锁提高效率，中间扫描器会读所有core的周期大页。

应用于周期管理器，所述方法包括：

S310，接收原始数据的预设信息类型指令，生成原始数据的预设信息类型并发送给数据收集器；

S320，接收入预设时间指令，根据预设时间，周期性地发送dump指令给数据生成器；接收大页生成完毕指令，发送扫描指令给中间扫描器。

应理解，周期管理器中包括两个部分：控制器和定时器，其中控制器接受内存映射文件的控制参数，即原始数据的预设信息类型指令。另外，控制器也接收预设时间指令。预设时间为定时器中的生成周期。定时器根据配置周期，定时向数据生成器发送dump请求，数据生成器将最终的计算结果输出到大页。定时器通知中间扫描器，由中间扫描器进行数据扫描。

应用于中间扫描器，所述方法包括：

S410，接收扫描指令；

S420，扫描周期大页，生成监控数据；

S430，将监控数据发送给归档存储器。

进一步地，监控数据，包括：I/O在经过模块的硬件资源平均值，和/或硬件资源执行周期数据；其中，所述硬件资源包括cpu、mem、disk；所述硬件资源执行周期数据，包括处理的I/O总数和平均耗时。

参见图5，为本公开实施例中一种数据的流转示意图。

应用于归档存储器，所述方法包括：

S510，将监控数据按照时间点生成时序数据链存入历史数据库，并提供监控数据的查询输出。

应理解，归档存储器接受到数据后，将数据有序持久化到历史数据库，在一个大的时间段内反映分布式存储系统的整体运行情况，提供restful api提供隶属数据查询，可以查询分项和总体查询。

本公开实施例实现一种以每一个pollingcore所承担作业为依据，作业过程中所涉及到的逻辑上、物理上的资源为核心，可调周期内输入大页缓存，通过中间实例形成时序数据链的方法。对外提供restful接口作为数据源。本公开实施例采用周期性的大页缓存作为监控数据，形成时序数据链，用以查询。因此，本公开实施例提高了监控运行的效率，从而保证了被监控系统运行流畅。

以上描述和附图充分地示出了本公开的实施例，以使本领域的技术人员能够实践它们。其他实施例可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施例的部分和特征可以被包括在或替换其他实施例的部分和特征。而且，本申请中使用的用词仅用于描述实施例并且不用于限制权利要求。如在实施例以及权利要求的描述中使用的，除非上下文清楚地表明，否则单数形式的“一个”（a）、“一个”（an）和“所述”（the）旨在同样包括复数形式。类似地，如在本申请中所使用的术语“和/或”是指包含一个或一个以上相关联的列出的任何以及所有可能的组合。另外，当用于本申请中时，术语“包括”（comprise）及其变型“包括”（comprises）和/或包括（comprising）等指陈述的特征、整体、步骤、操作、元素，和/或组件的存在，但不排除一个或一个以上其它特征、整体、步骤、操作、元素、组件和/或这些的分组的存在或添加。在没有更多限制的情况下，由语句“包括一个…”限定的要素，并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。本文中，每个实施例重点说明的可以是与其他实施例的不同之处，各个实施例之间相同相似部分可以互相参见。对于实施例公开的方法、产品等而言，如果其与实施例公开的方法部分相对应，那么相关之处可以参见方法部分的描述。

本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，可以取决于技术方案的特定应用和设计约束条件。所述技术人员可以对每个特定的应用来使用不同方法以实现所描述的功能，但是这种实现不应认为超出本公开实施例的范围。所述技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

附图中的流程图和框图显示了根据本公开实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。在附图中的流程图和框图所对应的描述中，不同的方框所对应的操作或步骤也可以以不同于描述中所披露的顺序发生，有时不同的操作或步骤之间不存在特定的顺序。例如，两个连续的操作或步骤实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的装置来实现，或者可以用专用硬件与计算机指令的组合来实现。

Claims (10)

1.一种基于大页内存的存储监控系统，其特征在于，包括：周期管理器、数据收集器、数据生成器、中间扫描器和归档存储器；

周期管理器，包括控制器和定时器；所述控制器，与数据收集器相连接，被配置为接收原始数据的预设信息类型指令，生成原始数据的预设信息类型并发送给数据收集器；所述定时器，分别与中间扫描器和数据生成器，被配置为接收预设时间指令，根据预设时间，周期性地发送dump指令给数据生成器；接收大页生成完毕指令，发送扫描指令给中间扫描器；

数据收集器，设置在附着在I/O上，被配置为接收原始数据的信息类型；

根据原始数据的信息类型，收集对应的原始数据，获得原始收集数据；

数据生成器，设置在每个polling core上，与数据收集器相连接，被配置为接收原始收集数据，实时生成临时大页；接收dump指令，生成周期大页，发送大页生成完毕指令给定时器，且发送给中间扫描器；

中间扫描器，被配置为接收扫描指令，扫描周期大页，生成监控数据，将监控数据发送给归档存储器；

归档存储器，被配置为接收监控数据，

将监控数据按照时间点生成时序数据链存入历史数据库，并提供监控数据的查询输出。

2.根据权利要求1所述的系统，其特征在于，所述周期管理器为人机交互装置。

3.根据权利要求1所述的系统，其特征在于，归档存储器包括数据存储接口和查询接口。

4.一种基于大页内存的存储监控方法，其特征在于，应用于如权利要求1至3任一项的系统的数据收集器，所述方法包括：

接收原始数据的信息类型；

根据原始数据的信息类型，收集对应的原始数据，获得原始收集数据；

发送原始收集数据给数据生成器。

5.一种基于大页内存的存储监控方法，其特征在于，应用于如权利要求1至3任一项的系统的数据生成器，所述方法包括：

接收原始收集数据，实时生成临时大页；

接收dump指令，生成周期大页，发送大页生成完毕指令给定时器，且发送给中间扫描器。

6.根据权利要求5中所述的方法，其特征在于，生成临时大页和周期大页的过程为：

根据数据类型进行分类，对同一种资源内部排序，按照存储需要申请大页内存进行缓存。

7.一种基于大页内存的存储监控方法，其特征在于，应用于如权利要求1至3任一项的系统的周期管理器，所述方法包括：

接收原始数据的预设信息类型指令，生成原始数据的预设信息类型并发送给数据收集器；

接收入预设时间指令，根据预设时间，周期性地发送dump指令给数据生成器；接收大页生成完毕指令，发送扫描指令给中间扫描器。

8.一种基于大页内存的存储监控方法，其特征在于，应用于如权利要求1至3任一项的系统的中间扫描器，所述方法包括：

接收扫描指令；

扫描周期大页，生成监控数据；

将监控数据发送给归档存储器。

9.根据权利要求8中所述的方法，其特征在于，监控数据，包括：

I/O在经过模块的硬件资源平均值，和/或硬件资源执行周期数据；其中，所述硬件资源包括cpu、mem、disk；所述硬件资源执行周期数据，包括处理的I/O总数和平均耗时。

10.一种基于大页内存的存储监控方法，其特征在于，应用于如权利要求1至3任一项的系统的归档存储器，所述方法包括：

接收监控数据；

将监控数据按照时间点生成时序数据链存入历史数据库，并提供监控数据的查询输出。

Images