CN103647723A - 一种流量监控的方法和系统 - Google Patents

Abstract

本发明公开了一种流量监控的方法和系统，其中所述方法包括以下步骤：S1，对各功能模块的资源使用情况进行监控，判断至少一功能模块的资源使用情况是否超过预设值，是则执行步骤S2；S2，为涉及的功能模块重新动态分配资源。本发明通过调配系统资源，避免系统局部负载过大，同时，在负载过大以及系统异常的情况下提供流控手段，保证系统稳定运行，提供SAN存储系统在大压力I/O请求下的稳定性以及鲁棒性。有效地整合系统资源，在一个或多个模块发生过载时，能够继续进行流控；当系统出现异常时，能动态调整流控策略，避免大量I/O请求加重异常错误的影响，从系统的角度解决了流控问题，使得存储系统更加稳定。

Description

一种流量监控的方法和系统

技术领域

本发明涉及存储系统的流量监控，尤其涉及的是，一种流量监控的方法和系统。

背景技术

现有的SAN（Storage Area Network，存储区域网络）存储系统，包括IP（iSCSI，internet SCSI，互联网小型计算机系统接口）-SAN，FC（FibreChannel，光纤通道）-SAN，大多没有设计流量监控（简称流控）系统，或者只根据独立的模块设计简单的流控系统，不能很好的整合系统资源，在系统出现异常的时候容易引起数据拥塞，从而导致系统不稳定，影响业务访问，严重时导致系统崩溃。

例如，无流控系统的SAN存储系统，当I/O请求超过系统某一个模块的负载时，SAN存储系统无流量响应控制，I/O请求被挂起，直到系统模块负载回复正常，导致I/O请求端大量请求得不到响应，无法判断存储端状态。

对于具有简单流控系统的SAN存储系统，对系统某一个模块，或者某一个系统资源的使用情况进行监控，如果资源达到瓶颈，则发出流量控制反馈。其存在三类问题：（1）不能很好地整合系统资源，例如，某一个模块负载达到瓶颈时，无法通过调配资源来降低局部负载；（2）其他模块发生过载时，依旧不能进行流控；（3）未考虑到异常错误的流控需求，即，当系统出现异常时，需要动态的调整流控策略，避免大量I/O请求加重异常错误的影响。

发明内容

本发明所要解决的技术问题是提供一种新的流量监控的方法和系统。

本发明的技术方案如下：一种流量监控的方法，其包括以下步骤：S1，对各功能模块的资源使用情况进行监控，判断至少一功能模块的资源使用情况是否超过预设值，是则执行步骤S2；S2，为涉及的功能模块重新动态分配资源。

优选的，所述方法中，步骤S1之前还执行以下步骤S0：在资源分配时，除正常资源之外，还预留其中一部分用于动态分配的后备资源；并且，步骤S2中，所述重新动态分配资源，是分配所述后备资源。

优选的，所述方法中，步骤S2之后还执行以下步骤S3：选择符合预设置条件的功能模块，对经由所述功能模块的读写请求进行流量控制；其中，所述预设置条件包括：重新动态分配资源后，涉及的功能模块的资源使用情况仍然超过预设值，和/或，至少一模块出现需要后台恢复的异常情况；所述流量控制包括以下步骤：在预设时间内，将资源使用情况最多的功能模块标识为流控模块，对于所有的读写请求，分别判断是否途经所述流控模块，是则直接返回对应的读写请求。

优选的，所述方法中，步骤S3之前，还执行以下步骤S30：判断涉及的所述功能模块是否出现异常情况，是则锁定所述功能模块所使用的资源，设置所述功能模块的资源使用率为100%，进行异常情况处理，并执行步骤S3；否则不再执行步骤S3。

优选的，所述方法中，步骤S30之前，还执行以下步骤S300：定期检测各功能模块的资源使用情况。

优选的，所述方法中，步骤S3之后，还执行以下步骤S31：判断所述功能模块的所述异常情况是否解除，是则终止对经由所述功能模块的所述流量控制。

优选的，所述方法中，步骤S0中，保留30%作为所述后备资源；并且，步骤S1中，所述预设值为所述正常资源的70%。

优选的，所述方法中，步骤S2之前，还执行以下步骤S20：判断后备资源的当前值是否低于后备资源的总值的50%，是则从空闲的各功能模块中临时回收资源。

优选的，所述方法中，步骤S20之后，还执行以下步骤S21：判断后备资源的当前值是否低于后备资源的总值的20%，是则对涉及的所述功能模块进行流量控制。

本发明的又一技术方案如下：一种流量监控的系统，包括若干功能模块，其还包括分别与各所述功能模块连接的资源均衡模块，用于对各功能模块的资源使用情况进行监控，在至少一功能模块的资源使用情况超过预设值时，为涉及的功能模块重新动态分配资源。

优选的，所述系统还包括分别与各所述功能模块连接的流控调度模块；所述流控调度模块还与所述资源均衡模块连接，用于选择符合预设置条件的功能模块，对经由所述功能模块的读写请求进行流量控制；其中，所述预设置条件包括：重新动态分配资源后，涉及的功能模块的资源使用情况仍然超过预设值，和/或，至少一模块出现需要后台恢复的异常情况；所述流量控制包括：在预设时间内，将资源使用情况最多的功能模块标识为流控模块，对于所有的读写请求，分别判断是否途经所述流控模块，是则直接返回对应的读写请求。

优选的，所述系统还包括分别与各所述功能模块连接的异常检测模块；所述异常检测模块与所述流控调度模块连接，用于在各所述功能模块出现异常情况时，锁定对应功能模块所使用的资源，设置所述功能模块的资源使用率为100%，进行异常情况处理，并通知所述流控调度模块。

采用上述方案，本发明及时有效监控各功能模块的资源使用情况，在一个或多个功能模块的资源使用情况超过阈值时，为相关功能模块重新动态分配资源，具有很高的实际应用价值。

附图说明

图1为本发明的一个实施例的流程示意图；

图2为本发明的一个实施例的资源均衡流程示意图；

图3为本发明的一个实施例的异常检测流程示意图；

图4为本发明的一个实施例的流控调度流程示意图。

具体实施方式

为了便于理解本发明，下面结合附图和具体实施例，对本发明进行更详细的说明。附图中给出了本发明的较佳的实施例。但是，本发明可以以许多不同的形式来实现，并不限于本说明书所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。

需要说明的是，当元件被称为“固定于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本说明书所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。

除非另有定义，本说明书所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本说明书中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是用于限制本发明。本说明书所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。

本发明的一个实施例是，一种流量监控的方法，其包括以下步骤：S1，对各功能模块的资源使用情况进行监控，判断至少一功能模块的资源使用情况是否超过预设值，是则执行步骤S2；S2，为涉及的功能模块重新动态分配资源。例如，SAN存储系统按照I/O请求路径的顺序，包括以下功能模块：前端接口模块（Front End，FC/iSCSI/FCoE，FE）、逻辑虚拟卷模块（Logic volume，LV）、Cache缓存模块（Cache）、Raid模块（RAID）、后端磁盘接口模块（Back End，SATA/SAS磁盘接口，BE）；上述功能模块可能存在瓶径的系统资源包括：内存、CPU、IO resource（读写资源）、异常处理资源等，例如，在步骤S1中，对上述各功能模块的资源使用情况进行监控；例如，类似参考windows系统的任务管理器（ctrl+alt+del组合键），类似于“进程”和/或“性能”，可以看到内存、CPU等使用情况，例如，某一进程占用内存若干，使用CPU某一百分比等。

优选的，所述方法中，步骤S1之前还执行以下步骤S0：在资源分配时，除正常资源之外，还预留其中一部分用于动态分配的后备资源；并且，步骤S2中，所述重新动态分配资源，是分配所述后备资源。例如，在资源分配时，可用内存100%，预留60%-80%的内存空间作为正常资源，剩余40%-20%作为用于动态分配的后备资源；以此类推。优选的，步骤S0中，保留30%作为所述后备资源；并且，步骤S1中，所述预设值为所述正常资源的70%。例如，保留30%的CPU空闲率作为所述后备资源，并且，步骤S1中，所述预设值为所述正常资源的70%；以此类推。优选的，步骤S2之前，还执行以下步骤S20：判断后备资源的当前值是否低于后备资源的总值的50%，是则从空闲的各功能模块中临时回收资源。优选的，步骤S20之后，步骤S2之前，还执行以下步骤S21：判断后备资源的当前值是否低于后备资源的总值的20%，是则对涉及的所述功能模块进行流量控制。

例如，如图2所示，设置资源水位，例如，按经验值设置为系统整体资源的70%，并将此资源分配给所有功能模块，剩下30%的资源称之为后备资源，初始化后备资源。然后定期或实时或被动检查各个功能模块的资源使用情况，当某一个或多个功能模块的资源使用率达到70%时，则发出均衡资源的请求，此时可将后备资源临时分配给所需模块。

当后备资源下降到50%时，触发资源回收机制，从空闲的功能模块中临时回收资源。如果后备资源下降到20%，则认为所有模块均处于高压力之下，对涉及的所述功能模块进行流量控制，例如，将信息发给流控调度模块，并触发其进行工作。并且，还周期性将数据发给流控调度模块，当后备资源上升至50%时，解除流量控制工作（简称“流控”）。

优选的，所述方法中，步骤S2之后还执行以下步骤S3：选择符合预设置条件的功能模块，对经由所述功能模块的读写请求进行流量控制；其中，所述预设置条件包括：重新动态分配资源后，涉及的功能模块的资源使用情况仍然超过预设值，和/或，至少一模块出现需要后台恢复的异常情况；所述流量控制包括以下步骤：在预设时间内，将资源使用情况最多的功能模块标识为流控模块，对于所有的读写请求，分别判断是否途经所述流控模块，是则直接返回对应的读写请求。

例如，如图4所示，分别接收数据，检查是否使能流控调度，例如，判断是否触发动作，如果有触发动作，则进行下一步，否则返回；选择资源使用率最高的模块，即选择最大使用率的功能模块，将其标识为流控模块；对于所有I/O请求，判断途经的模块是否有标识为流控模块，如果存在流控模块标识，则直接返回；流控的时间根据流控模块或者其他功能模块的资源使用情况调整，即根据收到信息设置流控周期，直到系统解除流量控制。

优选的，所述方法中，步骤S3之前，还执行以下步骤S30：判断涉及的所述功能模块是否出现异常情况，是则锁定所述功能模块所使用的资源，设置所述功能模块的资源使用率为100%，进行异常情况处理，并执行步骤S3；否则不再执行步骤S3。例如，所述异常情况处理，包括上报管理员，上报上级，发出报警信号，调整电源输入或输出，和/或，进入休眠状态等。又如，设置所述功能模块的资源使用率为100%，则默认不再接收对该功能模块的读写操作。例如，如图3所示，检测各功能模块是否出现异常；如果出现异常，则锁定本模块的资源，并设置资源使用率100%，并触发异常处理机制，同时，将数据发送给流控调度模块，并触发其进行工作；周期性地将数据发给流量调度模块，当异常处理完成时，解除流控。

优选的，所述方法中，步骤S30之前，还执行以下步骤S300：定期检测各功能模块的资源使用情况。例如，每间隔200毫秒、1秒、5秒、50秒或者其他预定时间，检测各功能模块的资源使用情况。

优选的，所述方法中，步骤S3之后，还执行以下步骤S31：判断所述功能模块的所述异常情况是否解除，是则终止对经由所述功能模块的所述流量控制。例如，当某一功能模块发生异常状况时，对经由所述功能模块的所述流量控制；之后，发现该功能模块的所述异常情况解除时或者解除后，终止对经由所述功能模块的所述流量控制。

例如，一实施例包括以下步骤：

步骤S300，定期检测各功能模块的资源使用情况。

步骤S30，判断涉及的所述功能模块是否出现异常情况，是则锁定所述功能模块所使用的资源，设置所述功能模块的资源使用率为100%，进行异常情况处理，并执行步骤S3；否则不再执行步骤S3。

步骤S3，选择符合预设置条件的功能模块，对经由所述功能模块的读写请求进行流量控制。

步骤S31，判断所述功能模块的所述异常情况是否解除，是则终止对经由所述功能模块的所述流量控制。

又一实施例包括以下步骤：

步骤S0，在资源分配时，除正常资源之外，还预留其中一部分用于动态分配的后备资源。

步骤S1，对各功能模块的资源使用情况进行监控，判断至少一功能模块的资源使用情况是否超过预设值，是则执行步骤S20。

步骤S20，判断后备资源的当前值是否低于后备资源的总值的50%，是则从空闲的各功能模块中临时回收资源。

步骤S21，判断后备资源的当前值是否低于后备资源的总值的20%，是则对涉及的所述功能模块进行流量控制。

步骤S2，为涉及的功能模块重新动态分配资源。

步骤S3，选择符合预设置条件的功能模块，对经由所述功能模块的读写请求进行流量控制。

步骤S31，判断所述功能模块的所述异常情况是否解除，是则终止对经由所述功能模块的所述流量控制。

本发明的又一实施例如下：一种流量监控的系统，包括若干功能模块，其还包括分别与各所述功能模块连接的资源均衡模块，用于对各功能模块的资源使用情况进行监控，在至少一功能模块的资源使用情况超过预设值时，为涉及的功能模块重新动态分配资源。通过设置资源均衡模块，用于调配各个功能模块的资源；例如，资源均衡模块，根据各个功能模块的资源使用情况分析出是否有需要进行流量控制的模块；其中，功能模块包括但不限于FE、LV、CACHE、RAID、BE。例如，资源均衡模块的处理流程如图2所示，资源均衡模块设置资源水位，例如，按经验值设置为系统整体资源的70%，并将此资源分配给所有功能模块，剩下30%的资源称之为后备资源，初始化后备资源。然后定期或实时或被动检查各个功能模块的资源使用情况，当某一个或多个功能模块的资源使用率达到70%时，则均衡资源，例如发出均衡资源的请求，此时可将后备资源临时分配给所需模块。当后备资源下降到50%或者小于50%时，进行回收资源，例如，触发资源回收机制，从空闲的功能模块中临时回收资源，作为后备资源使用。如果后备资源下降到20%或者小于20%时，则触发流控调度模块；例如，认为所有模块均处于高压力之下，对涉及的所述功能模块进行流量控制，例如，将信息发给流控调度模块，并触发其进行工作。并且，还周期性将数据发给流控调度模块，当后备资源上升至50%时，解除流量控制工作（简称“流控”）。

优选的，所述系统还包括分别与各所述功能模块连接的流控调度模块；所述流控调度模块还与所述资源均衡模块连接，用于选择符合预设置条件的功能模块，对经由所述功能模块的读写请求进行流量控制；其中，所述预设置条件包括：重新动态分配资源后，涉及的功能模块的资源使用情况仍然超过预设值，和/或，至少一模块出现需要后台恢复的异常情况；所述流量控制包括：在预设时间内，将资源使用情况最多的功能模块标识为流控模块，对于所有的读写请求，分别判断是否途经所述流控模块，是则直接返回对应的读写请求。通过设置流控模块，用于选择出需要进行流控的模块，使能流控机制。例如，可能需要调度的数据输入到流控调度模块，由流控调度模块决定是否需要调度，以及按照何种方式进行调度。这样，所有的I/O请求根据流量调度模块的结论进行I/O流量控制，使得系统在大压力下表现出很强的鲁棒性（Robustness，也称健壮性）。

优选的，所述系统还包括分别与各所述功能模块连接的异常检测模块；所述异常检测模块与所述流控调度模块连接，用于在各所述功能模块出现异常情况时，锁定对应功能模块所使用的资源，设置所述功能模块的资源使用率为100%，进行异常情况处理，并通知所述流控调度模块。通过设置异常检测模块，用于监控各个模块的健康状态。例如，异常检测模块，对各个模块的异常情况进行检测，分析异常处理所需要的资源使用情况，并得出需要进行流量控制的模块。例如，异常检测模块的处理流程如图3所示，异常检测模块检测各功能模块是否出现异常；如果出现异常，则锁定本模块的资源，并设置资源使用率100%，并触发异常处理机制，同时，将数据发送给流控调度模块，并触发其进行工作；周期性地将数据发给流量调度模块，当异常处理完成时，解除流控。

本发明上述各流量监控的系统，其针对SAN存储响应I/O请求，当系统整体资源不能满足过量I/O请求时，对请求发起端做出流量控制响应。

本发明通过对上述功能模块所使用的资源进行监控，当某一个或多个模块的资源由于负载过大出现瓶颈时，动态的重新分配资源。并在必要的情况下选择出需要流控的模块，对经由此模块的I/O请求进行流量控制。例如，必要的情况包括：重新分配资源后仍然出现瓶颈；和/或，模块出现异常，需要后台恢复异常，此时必须降低I/O请求压力。

又一实施例是，所述系统包括各功能模块，以及分别与各功能模块连接的资源均衡模块、异常检测模块、流控调度模块，例如，资源均衡模块、异常检测模块以及流控调度模块均作为后台管理模块，独立于功能模块运行，系统的整体流量控制由该三个后台管理模块协同工作得以实现。

流控调度模块的处理流程如图4所示，分别接收来自资源均衡模块、异常检测模块的数据，检查是否使能流控调度，例如，判断是否触发动作，如果有触发动作，则进行下一步，否则返回；选择资源使用率最高的模块，即选择最大使用率的功能模块，将其标识为流控模块；对于所有I/O请求，判断途经的模块是否有标识为流控模块，如果存在流控模块标识，则直接返回；流控的时间根据流控模块或者其他功能模块的资源使用情况调整，即根据收到信息设置流控周期，直到系统解除流量控制。

又一实施例如图1所示，对于IO请求（也称“I/O请求”），进行流控判定，判断其涉及流控模块，需要进行流量控制，则反馈流量控制命令，结束对应的IO请求；如果不需要进行流量控制，则发送到FE、LV、CACHE、RAID、BE等功能模块，调用内存、CPU、IO读写操作等资源完成相应的功能，此过程中，由资源均衡模块实现资源均衡处理，数据发送到流控调度模块；如果存在异常，则对于异常处理所需的内存、CPU、IO读写操作等资源，通过异常检测模块实现异常检测处理，数据发送到流控调度模块；由流控调度模块确定是否对相关功能模块标记为用于流控判定的流控模块以及是否解除该流控模块的标记。

进一步地，本发明的实施例还包括，上述各实施例的各技术特征，相互组合形成的流量监控的方法和系统，本发明在资源分配时预留一部分资源作为动态调拨用途，在SAN存储系统中某个模块出现瓶颈时，先对整体系统资源做均衡处理，如果均衡处理之后仍旧出现瓶颈，再针对访问相关模块的I/O请求作出流量控制；当系统出现异常时，通过对异常处理所需资源的分析，对系统作出流量控制，防止过大压力导致异常模块崩溃；并将异常处理资源与正常使用资源同步量化，同时纳入流控系统。

本发明的上述各实施例所述系统，作为流量监测及控制系统，通过调配系统资源，避免系统局部负载过大，同时，在负载过大以及系统异常的情况下提供流控手段，保证系统稳定运行，提供SAN存储系统在大压力I/O请求下的稳定性以及鲁棒性。有效地整合系统资源，在一个或多个模块发生过载时，能够继续进行流控；当系统出现异常时，能动态调整流控策略，避免大量I/O请求加重异常错误的影响，从系统的角度解决了流控问题，使得存储系统更加稳定。

综上所述，本发明是一种改进计算系统流量监控的方法和系统，解决的是如何提升计算机系统尤其是存储系统的流量监控的技术问题，该方法通过执行计算机程序实现对计算机系统内部运行性能以及计算机系统整体运行性能的改进，反映的是利用资源均衡和异常检测共同实现流量监控，利用的是遵循自然规律的技术手段，获得计算机系统对资源使用的效率提高的技术效果。因此，本发明专利申请是一种通过执行计算机程序实现计算机系统内部性能改进的解决方案，属于专利法第二条第二款规定的技术方案，属于专利保护的客体。

需要说明的是，上述各技术特征继续相互组合，形成未在上面列举的各种实施例，均视为本发明说明书记载的范围；并且，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种流量监控的方法，其特征在于，包括以下步骤：

S1，对各功能模块的资源使用情况进行监控，判断至少一功能模块的资源使用情况是否超过预设值，是则执行步骤S2；

S2，为涉及的功能模块重新动态分配资源。

2.根据权利要求1所述方法，其特征在于，步骤S1之前还执行以下步骤S0：在资源分配时，除正常资源之外，还预留其中一部分用于动态分配的后备资源；

并且，步骤S2中，所述重新动态分配资源，是分配所述后备资源。

3.根据权利要求2所述方法，其特征在于，步骤S2之后还执行以下步骤S3：选择符合预设置条件的功能模块，对经由所述功能模块的读写请求进行流量控制；其中，

所述预设置条件包括：重新动态分配资源后，涉及的功能模块的资源使用情况仍然超过预设值，和/或，至少一模块出现需要后台恢复的异常情况；

所述流量控制包括以下步骤：在预设时间内，将资源使用情况最多的功能模块标识为流控模块，对于所有的读写请求，分别判断是否途经所述流控模块，是则直接返回对应的读写请求。

4.根据权利要求3所述方法，其特征在于，步骤S3之前，还执行以下步骤S30：判断涉及的所述功能模块是否出现异常情况，是则锁定所述功能模块所使用的资源，设置所述功能模块的资源使用率为100%，进行异常情况处理，并执行步骤S3；否则不再执行步骤S3。

5.根据权利要求4所述方法，其特征在于，步骤S30之前，还执行以下步骤S300：定期检测各功能模块的资源使用情况。

6.根据权利要求5所述方法，其特征在于，步骤S3之后，还执行以下步骤S31：判断所述功能模块的所述异常情况是否解除，是则终止对经由所述功能模块的所述流量控制。

7.根据权利要求3至6任一所述方法，其特征在于，步骤S0中，保留30%作为所述后备资源；

并且，步骤S1中，所述预设值为所述正常资源的70%；

优选的，步骤S2之前，还执行以下步骤S20：判断后备资源的当前值是否低于后备资源的总值的50%，是则从空闲的各功能模块中临时回收资源；

优选的，步骤S20之后，还执行以下步骤S21：判断后备资源的当前值是否低于后备资源的总值的20%，是则对涉及的所述功能模块进行流量控制。

8.一种流量监控的系统，包括若干功能模块，其特征在于，还包括分别与各所述功能模块连接的资源均衡模块，用于对各功能模块的资源使用情况进行监控，在至少一功能模块的资源使用情况超过预设值时，为涉及的功能模块重新动态分配资源。

9.根据权利要求8所述系统，其特征在于，还包括分别与各所述功能模块连接的流控调度模块；

所述流控调度模块还与所述资源均衡模块连接，用于选择符合预设置条件的功能模块，对经由所述功能模块的读写请求进行流量控制；其中，

所述预设置条件包括：重新动态分配资源后，涉及的功能模块的资源使用情况仍然超过预设值，和/或，至少一模块出现需要后台恢复的异常情况；

所述流量控制包括：在预设时间内，将资源使用情况最多的功能模块标识为流控模块，对于所有的读写请求，分别判断是否途经所述流控模块，是则直接返回对应的读写请求。

10.根据权利要求9所述系统，其特征在于，还包括分别与各所述功能模块连接的异常检测模块；

所述异常检测模块与所述流控调度模块连接，用于在各所述功能模块出现异常情况时，锁定对应功能模块所使用的资源，设置所述功能模块的资源使用率为100%，进行异常情况处理，并通知所述流控调度模块。

Images