CN107463487A - 一种分布式主机性能采集系统及性能采集方法 - Google Patents

Abstract

本发明涉及一种分布式主机性能采集系统及性能采集方法，针对各个分布式主机节点，分别设计性能采集模块针对对应主机进行性能采集，并结合本地校验操作设计，保证数据完整性，然后再将采集数据上传至系统消息队列模块，并通过系统实时校验模块针对系统消息队列模块中的数据进行二次校验，实现双重数据校验，最大限度保证数据的完整性与准确性，最后再基于准确的数据，实现针对各个主机节点的性能预测，实现各个主机节点优先级的准确定义，提高后续工作效率。

Description

一种分布式主机性能采集系统及性能采集方法

技术领域

本发明涉及一种分布式主机性能采集系统及性能采集方法，属于分布式和信息采集技术领域。

背景技术

当前在大数据时代，主机的分布式系统也成为当前系统部署的主流方案，但分布式主机性能信息采集是分布式系统中很重要的一部分，一方面系统资源调度时，需要根据当前性能参数动态分配任务；另一方面，管理员可以通过主机性能参数优化分布式系统。但当前分布式性能参数采集往往出现信息不及时，且纯在数据丢失情况。

发明内容

本发明所要解决的技术问题是提供一种分布式主机性能采集系统，能够确保主机性能的实时采集，并且能够做到数据零丢失，有效提高了主机性能的采集效率。

本发明为了解决上述技术问题采用以下技术方案：本发明设计了一种分布式主机性能采集系统，包括各个分布式主机节点、系统消息队列模块、系统实时校验模块、系统内存数据库、系统主机性能预测模块；其中，各个主机节点上分别设置性能采集模块；

各个主机节点上的性能采集模块，分别用于采集所对应主机的指定各项参数，并验证所采集各项参数的完整性，将完整性合格的各项参数发送给系统消息队列模块；

系统消息队列模块用于按照各个主机节点的对应关系，分别接收来自各个主机节点上性能采集模块所发送的各项参数；

系统实时校验模块用于针对系统消息队列模块中各个主机节点分别对应的各项参数，实现数据完整性与数据正确性的校验，并针对校验成功的参数，将该参数所对应的主机、以及各项参数剪切至系统内存数据库中；针对校验不成功的参数，删除系统消息队列模块该参数的记录，同时在系统内存数据库中记录该参数所对应的主机、以及校验失败结果；

系统内存数据库用于接收来自系统实时校验模块的处理数据；

并且各个主机节点上的性能采集模块，还分别用于扫描系统内存数据库，若发现所对应主机为校验失败结果，则性能采集模块重新采集所对应主机的指定各项参数，并验证所采集各项参数的完整性，再将完整性合格的各项参数发送给系统消息队列模块；

系统主机性能预测模块用于根据系统内存数据库中各个主机分别所对应的数据，采用灰度预测法，预测各个主机的性能，并按各个主机预测性能，针对各个主机进行优先级定义。

作为本发明的一种优选技术方案：所述各个分布式主机节点上还分别包括节点缓存；节点缓存用于存放对应所述性能采集模块校验合格的各项参数，等待发送至所述系统消息队列模块。

本发明所述一种分布式主机性能采集系统采用以上技术方案与现有技术相比，具有以下技术效果：本发明设计的一种分布式主机性能采集系统，基于现有分布式系统，针对各个分布式主机节点，分别设计性能采集模块针对对应主机进行性能采集，并结合本地校验操作设计，保证数据完整性，然后再将采集数据上传至系统消息队列模块，并通过系统实时校验模块针对系统消息队列模块中的数据进行二次校验，实现双重数据校验，最大限度保证数据的完整性与准确性，最后再基于准确的数据，实现针对各个主机节点的性能预测，实现各个主机节点优先级的准确定义，提高后续工作效率。

与上述相对应的，本发明还要解决的技术问题是提供一种基于分布式主机性能采集系统的性能采集方法，能够确保主机性能的实时采集，并且能够做到数据零丢失，有效提高了主机性能的采集效率。

本发明为了解决上述技术问题采用以下技术方案：本发明设计了一种基于分布式主机性能采集系统的性能采集方法，包括如下步骤：

步骤1. 各个主机节点上的性能采集模块，分别采集所对应主机的指定各项参数，并验证所采集主机对应的各项参数是否完整，是则将主机所对应各项参数发送给系统消息队列模块；否则性能采集模块针对对应主机，重新采集指定各项参数，直至校验完整、并发送至系统消息队列模块；

步骤2. 系统消息队列模块按照各个主机节点的对应关系，分别接收来自各个主机节点上性能采集模块所发送的各项参数；

步骤3. 系统实时校验模块针对系统消息队列模块中各个主机节点所对应的数据，分别做如下操作：系统实时校验模块校验主机节点所对应各项参数的数据完整性与数据正确性，若校验成功，则将该各项参数、以及该各项参数所对应的主机剪切至系统内存数据库中；若校验不成功，则删除系统消息队列模块中该各项参数的记录，同时在系统内存数据库中，记录该各项参数所对应的主机、以及校验失败结果；

步骤4. 系统主机性能预测模块根据系统内存数据库，针对各个主机分别所对应的数据，采用灰度预测法，预测各个主机的性能，并按各个主机预测性能，针对各个主机进行优先级定义。

作为本发明的一种优选技术方案，在执行所述步骤1至所述步骤4的同时，还包括执行如下操作：

各个主机节点上的性能采集模块，分别实时扫描系统内存数据库，若发现所对应主机对应着校验失败结果，则该主机执行步骤1至步骤3操作，向内存数据库上传数据。

作为本发明的一种优选技术方案：所述步骤1中，各个主机节点上的性能采集模块，分别采集所对应主机的指定各项参数，并验证所采集主机对应的各项参数是否完整，是则将主机所对应各项参数存放在对应的节点缓存当中，并经节点缓存发送给系统消息队列模块；否则性能采集模块针对对应主机，重新采集指定各项参数，直至校验完整、并存放在对应的节点缓存当中，再经节点缓存发送给系统消息队列模块。

作为本发明的一种优选技术方案：针对所述各个主机节点的节点缓存，统一定义数据有效时长，所述步骤1当中，各个主机节点存放于对应节点缓存上的各项参数，若存放时长超过数据有效时长，则删除该各项参数。

作为本发明的一种优选技术方案，还包括周期执行如下操作：

针对所述系统内存数据库，以当前时刻为起点，向历史时间方向推移，删除超过预设数据采集时长的历史数据。

本发明所述一种基于分布式主机性能采集系统的性能采集方法采用以上技术方案与现有技术相比，具有以下技术效果：本发明设计的一种基于分布式主机性能采集系统的性能采集方法，针对各个分布式主机节点，分别设计性能采集模块针对对应主机进行性能采集，并结合本地校验操作设计，保证数据完整性，然后再将采集数据上传至系统消息队列模块，并通过系统实时校验模块针对系统消息队列模块中的数据进行二次校验，实现双重数据校验，最大限度保证数据的完整性与准确性，最后再基于准确的数据，实现针对各个主机节点的性能预测，实现各个主机节点优先级的准确定义，提高后续工作效率。

附图说明

图1是本发明所设计一种分布式主机性能采集系统的模块示意图。

具体实施方式

下面结合说明书附图对本发明的具体实施方式作进一步详细的说明。

如图1所示，本发明设计了一种分布式主机性能采集系统，实际应用中，具体包括各个分布式主机节点、系统消息队列模块、系统实时校验模块、系统内存数据库、系统主机性能预测模块；其中，各个主机节点上分别设置性能采集模块和节点缓存；

各个主机节点上的性能采集模块，分别用于采集所对应主机的指定各项参数，并验证所采集各项参数的完整性，将完整性合格的各项参数发送给系统消息队列模块。

系统消息队列模块用于按照各个主机节点的对应关系，分别接收来自各个主机节点上性能采集模块所发送的各项参数。

系统实时校验模块用于针对系统消息队列模块中各个主机节点分别对应的各项参数，实现数据完整性与数据正确性的校验，并针对校验成功的参数，将该参数所对应的主机、以及各项参数剪切至系统内存数据库中；针对校验不成功的参数，删除系统消息队列模块该参数的记录，同时在系统内存数据库中记录该参数所对应的主机、以及校验失败结果；

系统内存数据库用于接收来自系统实时校验模块的处理数据。

并且各个主机节点上的性能采集模块，还分别用于扫描系统内存数据库，若发现所对应主机为校验失败结果，则性能采集模块重新采集所对应主机的指定各项参数，并验证所采集各项参数的完整性，再将完整性合格的各项参数发送给系统消息队列模块。

系统主机性能预测模块用于根据系统内存数据库中各个主机分别所对应的数据，采用灰度预测法，预测各个主机的性能，并按各个主机预测性能，针对各个主机进行优先级定义。

节点缓存用于存放对应所述性能采集模块校验合格的各项参数，等待发送至所述系统消息队列模块。

基于上述所设计分布式主机性能采集系统，本发明进一步设计了基于分布式主机性能采集系统的性能采集方法，实际应用中，具体包括如下步骤：

步骤1. 各个主机节点上的性能采集模块，分别采集所对应主机的指定各项参数，并验证所采集主机对应的各项参数是否完整，是则将主机所对应各项参数存放在对应的节点缓存当中，并经节点缓存发送给系统消息队列模块；否则性能采集模块针对对应主机，重新采集指定各项参数，直至校验完整、并存放在对应的节点缓存当中，再经节点缓存发送给系统消息队列模块。

实际应用中，并且针对所述各个主机节点的节点缓存，统一定义数据有效时长，所述步骤1当中，各个主机节点存放于对应节点缓存上的各项参数，若存放时长超过数据有效时长，则删除该各项参数。

步骤2. 系统消息队列模块按照各个主机节点的对应关系，分别接收来自各个主机节点上性能采集模块所发送的各项参数。

步骤3. 系统实时校验模块针对系统消息队列模块中各个主机节点所对应的数据，分别做如下操作：系统实时校验模块校验主机节点所对应各项参数的数据完整性与数据正确性，若校验成功，则将该各项参数、以及该各项参数所对应的主机剪切至系统内存数据库中；若校验不成功，则删除系统消息队列模块中该各项参数的记录，同时在系统内存数据库中，记录该各项参数所对应的主机、以及校验失败结果。

步骤4. 系统主机性能预测模块根据系统内存数据库，针对各个主机分别所对应的数据，采用灰度预测法，预测各个主机的性能，并按各个主机预测性能，针对各个主机进行优先级定义。

与此同时，在执行所述步骤1至所述步骤4的同时，还包括执行如下操作：

各个主机节点上的性能采集模块，分别实时扫描系统内存数据库，若发现所对应主机对应着校验失败结果，则该主机执行步骤1至步骤3操作，向内存数据库上传数据。

除此之外，在上述所有步骤执行的同时，还包括周期执行如下操作：

针对所述系统内存数据库，以当前时刻为起点，向历史时间方向推移，删除超过预设数据采集时长的历史数据。

上述技术方案所设计一种基于分布式主机性能采集系统的性能采集方法，针对各个分布式主机节点，分别设计性能采集模块针对对应主机进行性能采集，并结合本地校验操作设计，保证数据完整性，然后再将采集数据上传至系统消息队列模块，并通过系统实时校验模块针对系统消息队列模块中的数据进行二次校验，实现双重数据校验，最大限度保证数据的完整性与准确性，最后再基于准确的数据，实现针对各个主机节点的性能预测，实现各个主机节点优先级的准确定义，提高后续工作效率。

上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变动。

Claims (7)

1.一种分布式主机性能采集系统，包括各个分布式主机节点，其特征在于：还包括系统消息队列模块、系统实时校验模块、系统内存数据库、系统主机性能预测模块；其中，各个主机节点上分别设置性能采集模块；

各个主机节点上的性能采集模块，分别用于采集所对应主机的指定各项参数，并验证所采集各项参数的完整性，将完整性合格的各项参数发送给系统消息队列模块；

系统消息队列模块用于按照各个主机节点的对应关系，分别接收来自各个主机节点上性能采集模块所发送的各项参数；

系统实时校验模块用于针对系统消息队列模块中各个主机节点分别对应的各项参数，实现数据完整性与数据正确性的校验，并针对校验成功的参数，将该参数所对应的主机、以及各项参数剪切至系统内存数据库中；针对校验不成功的参数，删除系统消息队列模块该参数的记录，同时在系统内存数据库中记录该参数所对应的主机、以及校验失败结果；

系统内存数据库用于接收来自系统实时校验模块的处理数据；

并且各个主机节点上的性能采集模块，还分别用于扫描系统内存数据库，若发现所对应主机为校验失败结果，则性能采集模块重新采集所对应主机的指定各项参数，并验证所采集各项参数的完整性，再将完整性合格的各项参数发送给系统消息队列模块；

系统主机性能预测模块用于根据系统内存数据库中各个主机分别所对应的数据，采用灰度预测法，预测各个主机的性能，并按各个主机预测性能，针对各个主机进行优先级定义。

2.根据权利要求1所述一种分布式主机性能采集系统，其特征在于：所述各个分布式主机节点上还分别包括节点缓存；节点缓存用于存放对应所述性能采集模块校验合格的各项参数，等待发送至所述系统消息队列模块。

3.一种基于权利要求2所述一种分布式主机性能采集系统的性能采集方法，其特征在于，包括如下步骤：

步骤1. 各个主机节点上的性能采集模块，分别采集所对应主机的指定各项参数，并验证所采集主机对应的各项参数是否完整，是则将主机所对应各项参数发送给系统消息队列模块；否则性能采集模块针对对应主机，重新采集指定各项参数，直至校验完整、并发送至系统消息队列模块；

步骤2. 系统消息队列模块按照各个主机节点的对应关系，分别接收来自各个主机节点上性能采集模块所发送的各项参数；

步骤3. 系统实时校验模块针对系统消息队列模块中各个主机节点所对应的数据，分别做如下操作：系统实时校验模块校验主机节点所对应各项参数的数据完整性与数据正确性，若校验成功，则将该各项参数、以及该各项参数所对应的主机剪切至系统内存数据库中；若校验不成功，则删除系统消息队列模块中该各项参数的记录，同时在系统内存数据库中，记录该各项参数所对应的主机、以及校验失败结果；

步骤4. 系统主机性能预测模块根据系统内存数据库，针对各个主机分别所对应的数据，采用灰度预测法，预测各个主机的性能，并按各个主机预测性能，针对各个主机进行优先级定义。

4.根据权利要求3所述一种分布式主机性能采集系统的性能采集方法，其特征在于，在执行所述步骤1至所述步骤4的同时，还包括执行如下操作：

各个主机节点上的性能采集模块，分别实时扫描系统内存数据库，若发现所对应主机对应着校验失败结果，则该主机执行步骤1至步骤3操作，向内存数据库上传数据。

5.根据权利要求4所述一种分布式主机性能采集系统的性能采集方法，其特征在于，所述步骤1中，各个主机节点上的性能采集模块，分别采集所对应主机的指定各项参数，并验证所采集主机对应的各项参数是否完整，是则将主机所对应各项参数存放在对应的节点缓存当中，并经节点缓存发送给系统消息队列模块；否则性能采集模块针对对应主机，重新采集指定各项参数，直至校验完整、并存放在对应的节点缓存当中，再经节点缓存发送给系统消息队列模块。

6.根据权利要求5所述一种分布式主机性能采集系统的性能采集方法，其特征在于，针对所述各个主机节点的节点缓存，统一定义数据有效时长，所述步骤1当中，各个主机节点存放于对应节点缓存上的各项参数，若存放时长超过数据有效时长，则删除该各项参数。

7.根据权利要求6所述一种分布式主机性能采集系统的性能采集方法，其特征在于，还包括周期执行如下操作：

针对所述系统内存数据库，以当前时刻为起点，向历史时间方向推移，删除超过预设数据采集时长的历史数据。