CN115757059A - 集群资源的评估方法及装置 - Google Patents

Abstract

本申请公开一种集群资源的评估方法及装置，涉及计算机技术领域。本申请的方法包括：获取目标集群的事件处理数量，并基于所述事件处理数量确定所述目标集群的总存储空间，所述目标集群至少包括分布式处理集群、分布式事件交流集群以及文件搜索集群中的一种；根据所述总存储空间以及所述目标集群的节点存储量，计算所述目标集群的存储节点数量；获取所述目标集群的事件处理数量峰值，并基于所述目标集群的事件处理数量峰值以及节点计算量，计算所述目标集群的计算节点数量；基于所述存储节点数量以及所述计算节点数量评估所述目标集群的集群资源数量。

Description

集群资源的评估方法及装置

技术领域

本申请涉及计算机技术领域，尤其涉及一种集群资源的评估方法及装置。

背景技术

随着企业规模的不断扩大，为了确定企业内部的资源情况，对企业的集群资源的评估就显得尤为重要。

目前对集群资源进行评估的过程中，一般会通过历史数量分析整个集群的整体处理能力，然后再根据多个资产设备确定平均处理能力，再此基于简单的除法计算，得到集群资源的评估结果。然而在实际应用中，现有的评估方式过于简单、粗暴，一旦资产设备的平均处理能力计算错误，或者整个集群的整体处理能力计算错误，就会导致评估结果的准确性受到影响，使得现有的集群资源的评估结果的准确性较低。

发明内容

本申请实施例提供一种集群资源的评估方法及装置，主要目的在于实现一种集群资源的评估方法，以解决现有的集群资源评估结果的准确性较低的问题。

为解决上述技术问题，本申请实施例提供如下技术方案：

第一方面，本申请提供了一种集群资源的评估方法，所述方法包括：

获取目标集群的事件处理数量，并基于所述事件处理数量确定所述目标集群的总存储空间，所述目标集群至少包括分布式处理集群、分布式事件交流集群以及文件搜索集群中的一种；

根据所述总存储空间以及所述目标集群的节点存储量，计算所述目标集群的存储节点数量，所述节点存储量用于表征在所述目标集群中单个节点在存储数据过程中的最大存储量，所述节点存储量是基于所述集群中的各个节点对应的资产设备的性能确定的；

获取所述目标集群的事件处理数量峰值，并基于所述目标集群的事件处理数量峰值以及节点计算量，计算所述目标集群的计算节点数量，所述节点计算量用于表征在所述目标集群中单个节点在处理数据过程中的最大处理量，所述节点计算量是基于所述集群中的所述各个节点对应的所述资产设备的性能确定的；

基于所述存储节点数量以及所述计算节点数量评估所述目标集群的集群资源数量。

可选的，所述事件处理数量包括每日处理量；

所述获取目标集群的事件处理数量，并基于所述事件处理数量确定所述目标集群的总存储空间包括：

根据所述每日处理量以及事件数据量计算所述目标集群的日存储量，所述事件数据量用于表征被处理的每个任务的数据量；

根据所述日存储量以及目标天数，确定所述总存储空间。

可选的，所述每日处理量包括每日流量信息以及每日安全日志信息；所述每日流量信息用于表征所述目标集群每天处理的流量任务的数量；所述每日安全日志信息用于表征所述目标集群每天处理的日志任务的数量；所述事件数据量包括单位流量数据量以及单位日志数据量；

所述根据所述每日处理量以及事件数据量计算所述目标集群的日存储量，包括：

分别获取所述单位流量数据量以及所述单位日志数据量；

根据所述每日流量信息以及所述单位流量数据量，计算单日流量处理量；

根据所述每日安全日志信息以及所述单位日志数据量，计算单日日志处理量；

根据所述单日流量处理量及所述单日日志处理量，确定所述日存储量。

可选的，所述分别获取所述单位流量数据量以及所述单位日志数据量，包括：

确定所述目标集群的集群种类，并基于所述集群种类确定数据副本数量以及数据压缩比，其中，所述数据副本数量用以表征在存储数据时备份的数量，所述数据压缩比用于表征在存储数据时被压缩后的数据量与压缩前的数据量的比例；

分别获取流量的历史数据以及日志的历史数据，并基于所述流量的历史数据确定所述流量任务的平均数据量，以及基于所述日志的历史数据确定所述日志任务的平均数据量；

根据所述数据副本数量、所述数据压缩比以及所述流量任务的平均数据量计算所述单位流量数据量；

根据所述数据副本数量、所述数据压缩比以及所述日志任务的平均数据量计算所述单位日志数据量。

可选的，所述获取所述目标集群的事件处理数量峰值，并基于所述目标集群的事件处理数量峰值以及节点计算量，计算所述目标集群的计算节点数量，包括：

当确定所述目标集群包括所述分布式处理集群以及所述文件搜索集群时，确定所述分布式处理集群与所述文件搜索集群之间的节点比例关系，所述节点比例关系中包括第一比例和第二比例，其中，所述第一比例对应所述分布式处理集群，所述第二比例对应所述文件搜索集群；

所述第一比例和所述第二比例之和等于1；

基于所述事件处理数量峰值以及节点计算量，计算所述目标集群的计算节点总数；

根据所述计算节点总数以及所述第一比例，确定所述分布式处理集群的计算节点数量；

根据所述计算节点总数以及所述第二比例，确定所述文件搜索集群的计算节点数量。

可选的，所述基于所述存储节点数量以及所述计算节点数量评估所述目标集群的集群资源数量，包括：

在所述存储节点数量以及所述计算节点数量中选取最大的一个，作为对应所述目标集群的运行节点数量，其中，所述运行节点数量用于表征在所述目标集群中执行存储数据和处理数据的资产设备的数量；

根据所述运行节点数量确定管理节点数量，其中，所述管理节点数量用于表征在所述目标集群中用以管理的资产设备的数量，所述管理节点数量是与所述运行节点数量之间存在特定比例，所述特定比例是基于所述目标集群确定的；

根据所述运行节点数量以及所述管理节点数量，确定所述集群资源数量。

可选的，所述集群资源数量包括第一集群资源数量、第二集群资源数量以及第三集群资源数量；其中，所述第一集群资源数量对应所述分布式处理集群；所述第二集群资源数量对应所述分布式事件交流集群；所述第三集群资源数量对应所述文件搜索集群；

在所述根据所述运行节点数量以及所述管理节点数量，确定所述集群资源数量之后，所述方法还包括：

当确定所述目标集群包括分布式处理集群、所述分布式事件交流集群以及所述文件搜索集群三者全部时，根据所述第一集群资源数量、所述第二集群资源数量以及所述第三集群资源数量，计算目标集群总资源数量。

第二方面，本申请还提供一种集群资源的评估装置，包括：

确定单元，用于获取目标集群的事件处理数量，并基于所述事件处理数量确定所述目标集群的总存储空间，所述目标集群至少包括分布式处理集群、分布式事件交流集群以及文件搜索集群中的一种；

第一计算单元，用于根据所述总存储空间以及所述目标集群的节点存储量，计算所述目标集群的存储节点数量，所述节点存储量用于表征在所述目标集群中单个节点在存储数据过程中的最大存储量，所述节点存储量是基于所述集群中的各个节点对应的资产设备的性能确定的；

第二计算单元，用于获取所述目标集群的事件处理数量峰值，并基于所述目标集群的事件处理数量峰值以及节点计算量，计算所述目标集群的计算节点数量，所述节点计算量用于表征在所述目标集群中单个节点在处理数据过程中的最大处理量，所述节点计算量是基于所述集群中的所述各个节点对应的所述资产设备的性能确定的；

评估单元，用于基于所述存储节点数量以及所述计算节点数量评估所述目标集群的集群资源数量。

可选的，所述事件处理数量包括每日处理量；

所述确定单元，还用于根据所述每日处理量以及事件数据量计算所述目标集群的日存储量；并根据所述日存储量以及目标天数，确定所述总存储空间，所述事件数据量用于表征被处理的每个任务的数据量。

可选的，所述每日处理量包括每日流量信息以及每日安全日志信息；所述每日流量信息用于表征所述目标集群每天处理的流量任务的数量；所述每日安全日志信息用于表征所述目标集群每天处理的日志任务的数量；所述事件数据量包括单位流量数据量以及单位日志数据量；

所述确定单元，包括：

获取模块，用于分别获取所述单位流量数据量以及所述单位日志数据量；

第一计算模块，用于根据所述每日流量信息以及所述单位流量数据量，计算单日流量处理量；

第二计算模块，用于根据所述每日安全日志信息以及所述单位日志数据量，计算单日日志处理量；

确定模块，用于根据所述单日流量处理量及所述单日日志处理量，确定所述日存储量。

可选的，所述获取模块，包括：

确定子模块，用于确定所述目标集群的集群种类，并基于所述集群种类确定数据副本数量以及数据压缩比，其中，所述数据副本数量用以表征在存储数据时备份的数量，所述数据压缩比用于表征在存储数据时被压缩后的数据量与压缩前的数据量的比例；

获取子模块，用于分别获取流量的历史数据以及日志的历史数据，并基于所述流量的历史数据确定所述流量任务的平均数据量，以及基于所述日志的历史数据确定所述日志任务的平均数据量；

第一计算子模块，用于根据所述数据副本数量、所述数据压缩比以及所述流量任务的平均数据量计算所述单位流量数据量；

第二计算子模块，用于根据所述数据副本数量、所述数据压缩比以及所述日志任务的平均数据量计算所述单位日志数据量。

可选的，所述第二计算单元，包括：

第一确定模块，用于当确定所述目标集群包括所述分布式处理集群以及所述文件搜索集群时，确定所述分布式处理集群与所述文件搜索集群之间的节点比例关系，所述节点比例关系中包括第一比例和第二比例，其中，所述第一比例对应所述分布式处理集群，所述第二比例对应所述文件搜索集群；所述第一比例和所述第二比例之和等于1；

计算模块，用于基于所述事件处理数量峰值以及节点计算量，计算所述目标集群的计算节点总数；

第二确定模块，用于根据所述计算节点总数以及所述第一比例，确定所述分布式处理集群的计算节点数量；

第三确定模块，用于根据所述计算节点总数以及所述第二比例，确定所述文件搜索集群的计算节点数量。

可选的，所述评估单元，包括：

选取模块，用于在所述存储节点数量以及所述计算节点数量中选取最大的一个，作为对应所述目标集群的运行节点数量，其中，所述运行节点数量用于表征在所述目标集群中执行存储数据和处理数据的资产设备的数量；

第一确定模块，用于根据所述运行节点数量确定管理节点数量，其中，所述管理节点数量用于表征在所述目标集群中用以管理的资产设备的数量，所述管理节点数量是与所述运行节点数量之间存在特定比例，所述特定比例是基于所述目标集群确定的；

第二确定模块，用于根据所述运行节点数量以及所述管理节点数量，确定所述集群资源数量。

可选的，所述集群资源数量包括第一集群资源数量、第二集群资源数量以及第三集群资源数量；其中，所述第一集群资源数量对应所述分布式处理集群；所述第二集群资源数量对应所述分布式事件交流集群；所述第三集群资源数量对应所述文件搜索集群；

所述评估单元，还包括：

计算模块，用于当确定所述目标集群包括分布式处理集群、所述分布式事件交流集群以及所述文件搜索集群三者全部时，根据所述第一集群资源数量、所述第二集群资源数量以及所述第三集群资源数量，计算目标集群总资源数量。

第三方面，本申请的实施例提供了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行第一方面所述的终端设备的集群资源的评估方法。

第四方面，本申请的实施例提供了一种集群资源的评估装置，所述装置包括存储介质；及一个或者多个处理器，所述存储介质与所述处理器耦合，所述处理器被配置为执行所述存储介质中存储的程序指令；所述程序指令运行时执行第一方面所述的终端设备的集群资源的评估方法。

借由上述技术方案，本申请提供的技术方案至少具有下列优点：

本申请提供一种集群资源的评估方法及装置，本申请能够首先获取目标集群的事件处理数量，并基于所述事件处理数量确定所述目标集群的总存储空间；然后根据所述总存储空间以及所述目标集群的节点存储量，计算所述目标集群的存储节点数量；之后获取所述目标集群的事件处理数量峰值，并基于所述目标集群的事件处理数量峰值以及节点计算量，计算所述目标集群的计算节点数量；最后基于所述存储节点数量以及所述计算节点数量评估所述目标集群的集群资源数量，从而实现集群资源的评估功能。与现有技术相比，由于本申请在进行集群资源评估的过程中考虑到了计算能力和存储能力之间的差异，并基于此按照存储节点数量和计算节点数量进行集群资源的评估，有效避免了在不同操作行为情况下基于处理能力的差异而导致的每个资产设备的处理能力评估的准确性不足的问题，从而有效解决了现有的较为简答、粗暴的评估方式所带来的评估结果准确性较低的问题，提高了集群资源评估过程中的准确性。并且由于所述目标集群至少包括分布式处理集群、分布式事件交流集群以及文件搜索集群中的一种，因此本申请能够考虑到上述多种不同类型的集群进行评估，避免了将多个不同集群混淆导致的评估结果准确性较差的问题。同时，所述节点存储量用于表征在所述目标集群中单个节点在存储数据过程中的最大存储量，所述节点存储量是基于所述集群中的各个节点对应的资产设备的性能确定的，所述节点计算量用于表征在所述目标集群中单个节点在处理数据过程中的最大处理量，所述节点计算量是基于所述集群中的所述各个节点对应的所述资产设备的性能确定的，这样就确保了在进行集群资源评估时，能够基于集群中各个节点对应的资产设备实际的性能分别确定每个资产设备在存储和计算过程中的不同处理能力，这就保障了在资产设备使用较长时间后性能下滑情况对其存储能力和计算能力的准确评估，继而保证了以存储能力和计算能力进行集群中资源数量的评估时的准确性。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

通过参考附图阅读下文的详细描述，本申请示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本申请的若干实施方式，相同或对应的标号表示相同或对应的部分，其中：

图1示出了本申请实施例提供的一种集群资源的评估方法流程图；

图2示出了本申请实施例提供的另一种集群资源的评估方法流程图；

图3示出了本申请实施例提供的一种集群资源的评估装置的组成框图；

图4示出了本申请实施例提供的另一种集群资源的评估装置的组成框图。

具体实施方式

下面将参照附图更详细地描述本申请的示例性实施方式。虽然附图中显示了本申请的示例性实施方式，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。

需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本申请所属领域技术人员所理解的通常意义。

本申请实施例提供一种集群资源的评估方法，具体如图1所示，该方法包括：

101、获取目标集群的事件处理数量，并基于事件处理数量确定目标集群的总存储空间。

其中，所述目标集群至少包括分布式处理集群、分布式事件交流集群以及文件搜索集群中的一种。

在本实施例中，该目标集群可以理解为用户想要确认集群资源的集群。一般情况下，对应企业而言一般会通过分布式进行多资产设备的联网控制，在这种情况下，多个资产设备之间相当于网络中的各个节点，能够基于分布式系统管理机制进行协调控制，共同利用网络中各个节点的处理性能，从而形成集群。

在本实施例中，所述目标集群可以分为几种常见的资产管理集群，其中包括：第一种为分布式处理集群，即Hadoop。其中，Hadoop是一种常见的可靠的、可扩展、分布式计算的开源软件。它允许使用简单的编程模型跨计算机集群分布式处理大型数据集。它的设计是从单个服务器扩展到数千台机器，每台机器都提供本地计算和存储，这里每个服务器和具体的机器都可以视为企业的资产设备；第二种为分布式事件交流集群，即Kafka。其中Kafka是一个开源的分布式事件流平台，被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用；第三种为文件搜索集群，即ES(ElasticSearch。分布式搜索引擎)，其中，ES是一个基于Lucene构建的开源、分布式、具有REST(Representational State Transfer，简称REST)接口的全文搜索引擎。ES还是一个分布式文档数据库，每个字段均是被索引的数据且可被搜索，它能够扩展至数以百计的服务器存储以及处理PB级(拍字节级别)的数据。

由于在上述任一种集群中，各个节点中资产设备之间形成了一个整体，也就是说一个集群所能够处理的数据量就体现其存储数据的能力，因此在本实施例中事件处理数量来确定当前目标集群的总存储空间。当然，在具体的应用中，该事件处理数量可以是每天处理的数据量，也可以是每个月处理的数据量，在此不做具体的限定，可以基于用户的需要进行选取。

102、根据总存储空间以及目标集群的节点存储量，计算目标集群的存储节点数量。

其中，所述节点存储量用于表征在所述目标集群中单个节点在存储数据过程中的最大存储量，所述节点存储量是基于所述集群中的各个节点对应的资产设备的性能确定的。

基于前述步骤的描述可知，在一个集群中，各个节点之间通过分布式系统的方式形成了一个整体，这样在确定了整个目标集群的总存储空间之后，就可以通过每个节点的存储数据的能力来反推当前的目标集群中有多少个节点。

在本实施例中，所述节点存储量就可以理解为对单个的节点所对应的资产设备的在存储数据的过程中最大的存储量所确定，由于该节点存储量能够反应这个节点对应的资产设备实际应用时的存储量，因此能够确保基于此确定出的节点存储量代表实际的存储量，而不同于利用资产设备的出厂标示的存储量，这就使得当资产设备在使用较长时间后出厂标示的存储量与实际的存储量之间存在差异时影响节点存储量确定的准确性的问题，继而为整个集群资源评估结果的准确性奠定了基础。

103、获取目标集群的事件处理数量峰值，并基于目标集群的事件处理数量峰值以及节点计算量，计算目标集群的计算节点数量。

其中，所述节点计算量用于表征在所述目标集群中单个节点在处理数据过程中的最大处理量，所述节点计算量是基于所述集群中的所述各个节点对应的所述资产设备的性能确定的。

由于在实际应用中，集群中的不同资产设备的实际功能可能存在差异，譬如有的资产设备主要用于处理数据，而有的资产设备主要用于存储数据，因此在评估集群资源的过程中就需要对参与处理数据的节点进行确定，因此在本实施例中可以基于事件处理数量峰值来确定计算节点数量。需要说明的是，在本实施例中，基于前述事件处理数量的描述可知，该事件处理数量可以基于用户选取的时间段进行划分，那么在不同时间段情况下就会出现处理数据的数据量波动的问题，为了确保在确定计算节点数量的过程中保证所有具备计算能力的节点都参与到，避免部分节点未参与处理过程，影响计算节点数量的确定，就需要按照本实施例的方法采用较长一段时间内的多个事件处理数量中，选取最高的峰值，以此确保全部具有计算能力的节点参与进来，从而保证计算节点数量确定结果的准确性。

另外，在确定节点计算量的过程中，也是基于所述各个节点对应的所述资产设备的性能确定的，也就是说与前述步骤的节点存储量相同，都采用了实时处理过程中的计算量，而不是利用资产设备出厂标示的计算量，这就确保了当使用较长时间后，资产设备的处理性能下降从而与出厂标示的计算量存在区别的问题，继而同样为整个集群资源评估结果的准确性奠定了基础。

104、基于存储节点数量以及计算节点数量评估目标集群的集群资源数量。

当确定了存储节点数量和计算节点数量之后，实际上就确定了目标集群中的所有能够参与存储数据的资产设备的数量以及能够参与处理数据的资产设备的数量。因此就可以基于这两个数量进行该集群资源数量的评估。由于考虑到了的处理数据和存储数据的不同节点的资产设备，因此保证了评估结果的准确性。

本申请提供一种集群资源的评估方法，本申请能够首先获取目标集群的事件处理数量，并基于所述事件处理数量确定所述目标集群的总存储空间；然后根据所述总存储空间以及所述目标集群的节点存储量，计算所述目标集群的存储节点数量；之后获取所述目标集群的事件处理数量峰值，并基于所述目标集群的事件处理数量峰值以及节点计算量，计算所述目标集群的计算节点数量；最后基于所述存储节点数量以及所述计算节点数量评估所述目标集群的集群资源数量，从而实现集群资源的评估功能。与现有技术相比，由于本申请在进行集群资源评估的过程中考虑到了计算能力和存储能力之间的差异，并基于此按照存储节点数量和计算节点数量进行集群资源的评估，有效避免了在不同操作行为情况下基于处理能力的差异而导致的每个资产设备的处理能力评估的准确性不足的问题，从而有效解决了现有的较为简答、粗暴的评估方式所带来的评估结果准确性较低的问题，提高了集群资源评估过程中的准确性。并且由于所述目标集群至少包括分布式处理集群、分布式事件交流集群以及文件搜索集群中的一种，因此本申请能够考虑到上述多种不同类型的集群进行评估，避免了将多个不同集群混淆导致的评估结果准确性较差的问题。同时，所述节点存储量用于表征在所述目标集群中单个节点在存储数据过程中的最大存储量，所述节点存储量是基于所述集群中的各个节点对应的资产设备的性能确定的，所述节点计算量用于表征在所述目标集群中单个节点在处理数据过程中的最大处理量，所述节点计算量是基于所述集群中的所述各个节点对应的所述资产设备的性能确定的，这样就确保了在进行集群资源评估时，能够基于集群中各个节点对应的资产设备实际的性能分别确定每个资产设备在存储和计算过程中的不同处理能力，这就保障了在资产设备使用较长时间后性能下滑情况对其存储能力和计算能力的准确评估，继而保证了以存储能力和计算能力进行集群中资源数量的评估时的准确性。

以下为了更加详细地说明，本申请实施例提供了另一种集群资源的评估方法，具体如图2所示，该方法包括：

201、获取目标集群的事件处理数量，并基于事件处理数量确定目标集群的总存储空间。

其中，所述目标集群至少包括分布式处理集群、分布式事件交流集群以及文件搜索集群中的一种。

具体的，由于目标集群的事件处理数量可以基于用户的选取按照每日、每月以及每年等不同时段进行选取，在此为了避免用户选取的时段较长出现集群资源发送变更的情况，因此在本实施例中可以采用按日进行，这样所述事件处理数量具体可以包括每日处理量；

基于此，本步骤在执行时可以具体包括：

步骤1、根据所述每日处理量以及事件数据量计算所述目标集群的日存储量，所述事件数据量用于表征被处理的每个任务的数据量；

步骤2、根据所述日存储量以及目标天数，确定所述总存储空间。

在步骤1中，当确定了每日处理量之后，实际上就确定了每天处理任务的数量，那么每个任务的数据量与之相乘就能够确定每天该集群中整体的数据存储量是多少，即单位日期内(每日)存储数据量的多少，即日存储量，然后在步骤2就可以基于该日存储量结合用户想要确定的时间长度来确定一段时间内的存储空间的总体存储量，即通过日存储量和目标天数，就能够确定出该目标集群的总存储空间，该总存储空间就表征在目标天数内的整个集群能够存储的数据量的总量，可以反应该集群的整体存储能力。

进一步的，由于在执行存储任务的过程中，分为流量和日志两种，因此对于这两种数据形式需要分别进行存储能力的确定。

因此，所述每日处理量可以包括每日流量信息以及每日安全日志信息；所述每日流量信息用于表征所述目标集群每天处理的流量任务的数量；所述每日安全日志信息用于表征所述目标集群每天处理的日志任务的数量；所述事件数据量包括单位流量数据量以及单位日志数据量。

基于此，前述步骤1中根据所述每日处理量以及事件数据量计算所述目标集群的日存储量，包括：

步骤A、分别获取所述单位流量数据量以及所述单位日志数据量；

步骤B、根据所述每日流量信息以及所述单位流量数据量，计算单日流量处理量；

步骤C、根据所述每日安全日志信息以及所述单位日志数据量，计算单日日志处理量；

步骤D、根据所述单日流量处理量及所述单日日志处理量，确定所述日存储量。

在本实施例中，由于日存储量需要考虑流量和日志两种数据形式，因此在确定日存储量的过程中就可以首先获取每个流量任务对应的数据量，即单位流量数据量，以及每个日志任务对应的数据量，即单位日志数据量。然后基于步骤B利用每天处理流量任务的数量乘以单位流量数据量，就能够得到每天处理所有流量任务对应的数据量是多少。同理，基于步骤利用每天处理日志任务的数量乘以单位日志数据量，就能够确定每天处理所有日志任务对应的数据量是多少。最后基于每天处理日志任务的数据量(单日流量处理量)和每天处理流量任务的数据量(单日日志处理量)进行累加都能够得到日存储量。

进一步的，在实际应用中，不同的集群在存储数据时的具体细节存在区别，例如压缩比、副本数量等是不同的。其中，所述数据副本数量用以表征在存储数据时备份的数量，所述数据压缩比用于表征在存储数据时被压缩后的数据量与压缩前的数据量的比例。

基于此，前述步骤A中分别获取所述单位流量数据量以及所述单位日志数据量，包括：

首先，确定所述目标集群的集群种类，并基于所述集群种类确定数据副本数量以及数据压缩比；

然后，分别获取流量的历史数据以及日志的历史数据，并基于所述流量的历史数据确定所述流量任务的平均数据量，以及基于所述日志的历史数据确定所述日志任务的平均数据量；

之后，根据所述数据副本数量、所述数据压缩比以及所述流量任务的平均数据量计算所述单位流量数据量；

最后，根据所述数据副本数量、所述数据压缩比以及所述日志任务的平均数据量计算所述单位日志数据量。

具体的，本步骤所述的方法如下述示例：

例如，当确定目标捷群的集群种类为分布式处理集群，即Hadoop时，由于Hadoop存储数据的过程中需要备份的文件数量为2，因此可以确定数据副本数量为3(两个备份文件加一个原始文件共计3个)，同时基于Hadoop性质，其存储数据过程中压缩后的数据量是压缩前的四分之一，因此可以确定压缩比为0.25。然后当基于日志的历史数据确定平均每个日志的数据量为10kb，那么单位日志数据量就可以为：10kb*0.25*3＝7.5kb。

202、根据总存储空间以及目标集群的节点存储量，计算目标集群的存储节点数量。

其中，所述节点存储量用于表征在所述目标集群中单个节点在存储数据过程中的最大存储量，所述节点存储量是基于所述集群中的各个节点对应的资产设备的性能确定的。

在基于总存储空间以及节点存储量来计算存储节点数量的过程中，节点存储量的准确与否将直接影响最后确定的存储节点数量的准确性。因此在本实施例中该节点存储量可以理解为基于实际检测的每个节点对应的资产设备进行存储过程中，通过获取其运行时的属性参数，确定该资产设备的实际性能，因此节点存储量能够反应出当前集群中所有节点实际的运行时存储能力，这样就确保了节点存储量可以反应实际的资产设备的状态，避免了当资产设备长期使用后性能下降时，仍采用出厂标示的存储性能所导致实时不符的情况，继而整体上可以确保集群资源数量评估的准确性。

203、获取目标集群的事件处理数量峰值，并基于目标集群的事件处理数量峰值以及节点计算量，计算目标集群的计算节点数量。

其中，所述节点计算量用于表征在所述目标集群中单个节点在处理数据过程中的最大处理量，所述节点计算量是基于所述集群中的所述各个节点对应的所述资产设备的性能确定的。

具体的，本步骤在执行过程中可以包括：

当确定所述目标集群包括所述分布式处理集群以及所述文件搜索集群时，确定所述分布式处理集群与所述文件搜索集群之间的节点比例关系，所述节点比例关系中包括第一比例和第二比例，其中，所述第一比例对应所述分布式处理集群，所述第二比例对应所述文件搜索集群；所述第一比例和所述第二比例之和等于1；

基于所述事件处理数量峰值以及节点计算量，计算所述目标集群的计算节点总数；

根据所述计算节点总数以及所述第一比例，确定所述分布式处理集群的计算节点数量；

根据所述计算节点总数以及所述第二比例，确定所述文件搜索集群的计算节点数量。

由于在实际应用中，Hadoop和ES之间是协同使用的，因此在确定节点数量的过程中，二者之间是存在一定的比例关系的。因此在本步骤中在通过基于所述事件处理数量峰值以及节点计算量，计算所述目标集群的计算节点总数的过程中，就需要考虑在确定整体集群的数据处理能力中二者之间的比例，也就是按照比例关系来确定Hadoop和ES之间的两个种类的集群中具体节点的数量。一般来说，Hadoop的占比可以达到计算节点总数3/5，而ES的占比可以达到计算节点总数剩余部分，即2/5。

另外，当集群种类为分布式事件交流集群时，由于该分布式交流集群，即Kafka，是单独使用的，因此可以直接将计算节点总数确定为该Kafka集群的计算节点数量。

204、基于存储节点数量以及计算节点数量评估目标集群的集群资源数量。

由于在实际应用中，并非所有的节点都在进行评估时都进行了存储和数据处理，也就是说确定的存储节点数量与计算节点数量之间会存储差异，那么由于计算机系统的性质，有可能出现有的节点只进行了处理，也就是计算节点，而有的节点只进行了存储，也就是存储节点，而有的是二者同时执行了，那么既属于存储节点也属于计算节点。因此，在基于存储节点数量和计算节点数据确定目标集群的集群资源数量过程中就需要在这两个数量中选取较大的一个，该数量更为趋近实际的集群资源数量。因此，本步骤执行时可以包括：

在所述存储节点数量以及所述计算节点数量中选取最大的一个，作为对应所述目标集群的运行节点数量，其中，所述运行节点数量用于表征在所述目标集群中执行存储数据和处理数据的资产设备的数量；

根据所述运行节点数量确定管理节点数量，其中，所述管理节点数量用于表征在所述目标集群中用以管理的资产设备的数量，所述管理节点数量是与所述运行节点数量之间存在特定比例，所述特定比例是基于所述目标集群确定的；

根据所述运行节点数量以及所述管理节点数量，确定所述集群资源数量。

由于在实际应用中，作为分布式系统的一种，上述任意一种集群在实际使用过程中不仅存在执行上述存储和数据处理的节点，也就是运行节点，还会存在对各个节点进行管理的节点，也就是管理节点，而管理节点数量与运行节点数量之间存在一定的关系，譬如当运行节点数量为20时，管理节点数量一般为2到3个，不会出现管理节点数量趋近或超过运行节点数量的情况。

因此，在本步骤中通过根据所述运行节点数量确定管理节点数量，并根据所述运行节点数量以及所述管理节点数量，确定所述集群资源数量可以确保避免将管理节点对应的资产设备遗漏的问题，从而可以进一步的提高评估集群资源数量的准确性。

进一步的，由于在实际应用中，上述三种集群：Hadoop集群、Kafka集群以及ES集群可能并不是孤立使用的，还可能三种都使用。那么在这种情况下，评估集群资源数量的过程中，就需要分别确定这三种集群的集群资源数量，并进行累加，从而得到实际的企业中所有集群的整体的集群资源数量的评估结果。

基于此，所述集群资源数量包括第一集群资源数量、第二集群资源数量以及第三集群资源数量；其中，所述第一集群资源数量对应所述分布式处理集群；所述第二集群资源数量对应所述分布式事件交流集群；所述第三集群资源数量对应所述文件搜索集群；

在前述步骤运行节点数量以及所述管理节点数量，确定所述集群资源数量之后，所述方法还包括：

当确定所述目标集群包括分布式处理集群、所述分布式事件交流集群以及所述文件搜索集群三者全部时，根据所述第一集群资源数量、所述第二集群资源数量以及所述第三集群资源数量，计算目标集群总资源数量。

例如，本步骤的执行结果可以为：企业总集群资源数量实际上为：Hadoop集群资源数量(第一集群资源数量)、Kafka集群资源数量(第二集群资源数量)，以及ES集群资源数量(第三集群资源数量)的三者相加的总和。

进一步的，作为对上述图1及图2所示方法的实现，本申请另一实施例还提供了一种集群资源的评估装置。该集群资源的评估装置实施例与前述方法实施例对应，为便于阅读，本集群资源的评估装置实施例不再对前述方法实施例中的细节内容进行逐一赘述，但应当明确，本实施例中的装置能够对应实现前述方法实施例中的全部内容。具体如图3所示，该集群资源的评估装置包括：

确定单元31，可以用于获取目标集群的事件处理数量，并基于所述事件处理数量确定所述目标集群的总存储空间，所述目标集群至少包括分布式处理集群、分布式事件交流集群以及文件搜索集群中的一种；

第一计算单元32，可以用于根据所述总存储空间以及所述目标集群的节点存储量，计算所述目标集群的存储节点数量，所述节点存储量可以用于表征在所述目标集群中单个节点在存储数据过程中的最大存储量，所述节点存储量是基于所述集群中的各个节点对应的资产设备的性能确定的；

第二计算单元33，可以用于获取所述目标集群的事件处理数量峰值，并基于所述目标集群的事件处理数量峰值以及节点计算量，计算所述目标集群的计算节点数量，所述节点计算量可以用于表征在所述目标集群中单个节点在处理数据过程中的最大处理量，所述节点计算量是基于所述集群中的所述各个节点对应的所述资产设备的性能确定的；

评估单元34，可以用于基于所述存储节点数量以及所述计算节点数量评估所述目标集群的集群资源数量。

进一步的，如图4所示，所述事件处理数量包括每日处理量；

所述确定单元31，还可以用于根据所述每日处理量以及事件数据量计算所述目标集群的日存储量；并根据所述日存储量以及目标天数，确定所述总存储空间，所述事件数据量可以用于表征被处理的每个任务的数据量。

进一步的，如图4所示，所述每日处理量包括每日流量信息以及每日安全日志信息；所述每日流量信息用于表征所述目标集群每天处理的流量任务的数量；所述每日安全日志信息可以用于表征所述目标集群每天处理的日志任务的数量；所述事件数据量包括单位流量数据量以及单位日志数据量；

所述确定单元31，包括：

获取模块311，可以用于分别获取所述单位流量数据量以及所述单位日志数据量；

第一计算模块312，可以用于根据所述每日流量信息以及所述单位流量数据量，计算单日流量处理量；

第二计算模块313，可以用于根据所述每日安全日志信息以及所述单位日志数据量，计算单日日志处理量；

确定模块314，可以用于根据所述单日流量处理量及所述单日日志处理量，确定所述日存储量。

进一步的，如图4所示，所述获取模块311，包括：

确定子模块3111，可以用于确定所述目标集群的集群种类，并基于所述集群种类确定数据副本数量以及数据压缩比，其中，所述数据副本数量用以表征在存储数据时备份的数量，所述数据压缩比可以用于表征在存储数据时被压缩后的数据量与压缩前的数据量的比例；

获取子模块3112，可以用于分别获取流量的历史数据以及日志的历史数据，并基于所述流量的历史数据确定所述流量任务的平均数据量，以及基于所述日志的历史数据确定所述日志任务的平均数据量；

第一计算子模块3113，可以用于根据所述数据副本数量、所述数据压缩比以及所述流量任务的平均数据量计算所述单位流量数据量；

第二计算子模块3114，可以用于根据所述数据副本数量、所述数据压缩比以及所述日志任务的平均数据量计算所述单位日志数据量。

进一步的，如图4所示，所述第二计算单元33，包括：

第一确定模块331，可以用于当确定所述目标集群包括所述分布式处理集群以及所述文件搜索集群时，确定所述分布式处理集群与所述文件搜索集群之间的节点比例关系，所述节点比例关系中包括第一比例和第二比例，其中，所述第一比例对应所述分布式处理集群，所述第二比例对应所述文件搜索集群；所述第一比例和所述第二比例之和等于1；

计算模块332，可以用于基于所述事件处理数量峰值以及节点计算量，计算所述目标集群的计算节点总数；

第二确定模块333，可以用于根据所述计算节点总数以及所述第一比例，确定所述分布式处理集群的计算节点数量；

第三确定模块334，可以用于根据所述计算节点总数以及所述第二比例，确定所述文件搜索集群的计算节点数量。

进一步的，如图4所示，所述评估单元34，包括：

选取模块341，可以用于在所述存储节点数量以及所述计算节点数量中选取最大的一个，作为对应所述目标集群的运行节点数量，其中，所述运行节点数量可以用于表征在所述目标集群中执行存储数据和处理数据的资产设备的数量；

第一确定模块342，可以用于根据所述运行节点数量确定管理节点数量，其中，所述管理节点数量可以用于表征在所述目标集群中用以管理的资产设备的数量，所述管理节点数量是与所述运行节点数量之间存在特定比例，所述特定比例是基于所述目标集群确定的；

第二确定模块343，可以用于根据所述运行节点数量以及所述管理节点数量，确定所述集群资源数量。

进一步的，如图4所示，所述集群资源数量包括第一集群资源数量、第二集群资源数量以及第三集群资源数量；其中，所述第一集群资源数量对应所述分布式处理集群；所述第二集群资源数量对应所述分布式事件交流集群；所述第三集群资源数量对应所述文件搜索集群；

所述评估单元34，还包括：

计算模块344，可以用于当确定所述目标集群包括分布式处理集群、所述分布式事件交流集群以及所述文件搜索集群三者全部时，根据所述第一集群资源数量、所述第二集群资源数量以及所述第三集群资源数量，计算目标集群总资源数量。

本申请实施例提供一种集群资源的评估方法及装置，本申请实施例能够首先获取目标集群的事件处理数量，并基于所述事件处理数量确定所述目标集群的总存储空间；然后根据所述总存储空间以及所述目标集群的节点存储量，计算所述目标集群的存储节点数量；之后获取所述目标集群的事件处理数量峰值，并基于所述目标集群的事件处理数量峰值以及节点计算量，计算所述目标集群的计算节点数量；最后基于所述存储节点数量以及所述计算节点数量评估所述目标集群的集群资源数量，从而实现集群资源的评估功能。与现有技术相比，由于本申请在进行集群资源评估的过程中考虑到了计算能力和存储能力之间的差异，并基于此按照存储节点数量和计算节点数量进行集群资源的评估，有效避免了在不同操作行为情况下基于处理能力的差异而导致的每个资产设备的处理能力评估的准确性不足的问题，从而有效解决了现有的较为简答、粗暴的评估方式所带来的评估结果准确性较低的问题，提高了集群资源评估过程中的准确性。并且由于所述目标集群至少包括分布式处理集群、分布式事件交流集群以及文件搜索集群中的一种，因此本申请能够考虑到上述多种不同类型的集群进行评估，避免了将多个不同集群混淆导致的评估结果准确性较差的问题。同时，所述节点存储量用于表征在所述目标集群中单个节点在存储数据过程中的最大存储量，所述节点存储量是基于所述集群中的各个节点对应的资产设备的性能确定的，所述节点计算量用于表征在所述目标集群中单个节点在处理数据过程中的最大处理量，所述节点计算量是基于所述集群中的所述各个节点对应的所述资产设备的性能确定的，这样就确保了在进行集群资源评估时，能够基于集群中各个节点对应的资产设备实际的性能分别确定每个资产设备在存储和计算过程中的不同处理能力，这就保障了在资产设备使用较长时间后性能下滑情况对其存储能力和计算能力的准确评估，继而保证了以存储能力和计算能力进行集群中资源数量的评估时的准确性。

本申请实施例提供了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述所述的集群资源的评估方法。

存储介质可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

本申请实施例还提供了一种集群资源的评估装置，所述装置包括存储介质；及一个或者多个处理器，所述存储介质与所述处理器耦合，所述处理器被配置为执行所述存储介质中存储的程序指令；所述程序指令运行时执行上述所述的集群资源的评估方法。

本申请实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：获取目标集群的事件处理数量，并基于所述事件处理数量确定所述目标集群的总存储空间，所述目标集群至少包括分布式处理集群、分布式事件交流集群以及文件搜索集群中的一种；根据所述总存储空间以及所述目标集群的节点存储量，计算所述目标集群的存储节点数量，所述节点存储量用于表征在所述目标集群中单个节点在存储数据过程中的最大存储量，所述节点存储量是基于所述集群中的各个节点对应的资产设备的性能确定的；获取所述目标集群的事件处理数量峰值，并基于所述目标集群的事件处理数量峰值以及节点计算量，计算所述目标集群的计算节点数量，所述节点计算量用于表征在所述目标集群中单个节点在处理数据过程中的最大处理量，所述节点计算量是基于所述集群中的所述各个节点对应的所述资产设备的性能确定的；基于所述存储节点数量以及所述计算节点数量评估所述目标集群的集群资源数量。

进一步的，所述事件处理数量包括每日处理量；

所述获取目标集群的事件处理数量，并基于所述事件处理数量确定所述目标集群的总存储空间包括：

根据所述每日处理量以及事件数据量计算所述目标集群的日存储量，所述事件数据量用于表征被处理的每个任务的数据量；

根据所述日存储量以及目标天数，确定所述总存储空间。

进一步的，所述每日处理量包括每日流量信息以及每日安全日志信息；所述每日流量信息用于表征所述目标集群每天处理的流量任务的数量；所述每日安全日志信息用于表征所述目标集群每天处理的日志任务的数量；所述事件数据量包括单位流量数据量以及单位日志数据量；

所述根据所述每日处理量以及事件数据量计算所述目标集群的日存储量，包括：

分别获取所述单位流量数据量以及所述单位日志数据量；

根据所述每日流量信息以及所述单位流量数据量，计算单日流量处理量；

根据所述每日安全日志信息以及所述单位日志数据量，计算单日日志处理量；

根据所述单日流量处理量及所述单日日志处理量，确定所述日存储量。

进一步的，所述分别获取所述单位流量数据量以及所述单位日志数据量，包括：

确定所述目标集群的集群种类，并基于所述集群种类确定数据副本数量以及数据压缩比，其中，所述数据副本数量用以表征在存储数据时备份的数量，所述数据压缩比用于表征在存储数据时被压缩后的数据量与压缩前的数据量的比例；

分别获取流量的历史数据以及日志的历史数据，并基于所述流量的历史数据确定所述流量任务的平均数据量，以及基于所述日志的历史数据确定所述日志任务的平均数据量；

根据所述数据副本数量、所述数据压缩比以及所述流量任务的平均数据量计算所述单位流量数据量；

根据所述数据副本数量、所述数据压缩比以及所述日志任务的平均数据量计算所述单位日志数据量。

进一步的，所述获取所述目标集群的事件处理数量峰值，并基于所述目标集群的事件处理数量峰值以及节点计算量，计算所述目标集群的计算节点数量，包括：

当确定所述目标集群包括所述分布式处理集群以及所述文件搜索集群时，确定所述分布式处理集群与所述文件搜索集群之间的节点比例关系，所述节点比例关系中包括第一比例和第二比例，其中，所述第一比例对应所述分布式处理集群，所述第二比例对应所述文件搜索集群；

所述第一比例和所述第二比例之和等于1；

基于所述事件处理数量峰值以及节点计算量，计算所述目标集群的计算节点总数；

根据所述计算节点总数以及所述第一比例，确定所述分布式处理集群的计算节点数量；

根据所述计算节点总数以及所述第二比例，确定所述文件搜索集群的计算节点数量。

进一步的，所述基于所述存储节点数量以及所述计算节点数量评估所述目标集群的集群资源数量，包括：

在所述存储节点数量以及所述计算节点数量中选取最大的一个，作为对应所述目标集群的运行节点数量，其中，所述运行节点数量用于表征在所述目标集群中执行存储数据和处理数据的资产设备的数量；

根据所述运行节点数量确定管理节点数量，其中，所述管理节点数量用于表征在所述目标集群中用以管理的资产设备的数量，所述管理节点数量是与所述运行节点数量之间存在特定比例，所述特定比例是基于所述目标集群确定的；

根据所述运行节点数量以及所述管理节点数量，确定所述集群资源数量。

进一步的，所述集群资源数量包括第一集群资源数量、第二集群资源数量以及第三集群资源数量；其中，所述第一集群资源数量对应所述分布式处理集群；所述第二集群资源数量对应所述分布式事件交流集群；所述第三集群资源数量对应所述文件搜索集群；

在所述根据所述运行节点数量以及所述管理节点数量，确定所述集群资源数量之后，所述方法还包括：

当确定所述目标集群包括分布式处理集群、所述分布式事件交流集群以及所述文件搜索集群三者全部时，根据所述第一集群资源数量、所述第二集群资源数量以及所述第三集群资源数量，计算目标集群总资源数量。

本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序代码：获取目标集群的事件处理数量，并基于所述事件处理数量确定所述目标集群的总存储空间，所述目标集群至少包括分布式处理集群、分布式事件交流集群以及文件搜索集群中的一种；根据所述总存储空间以及所述目标集群的节点存储量，计算所述目标集群的存储节点数量，所述节点存储量用于表征在所述目标集群中单个节点在存储数据过程中的最大存储量，所述节点存储量是基于所述集群中的各个节点对应的资产设备的性能确定的；获取所述目标集群的事件处理数量峰值，并基于所述目标集群的事件处理数量峰值以及节点计算量，计算所述目标集群的计算节点数量，所述节点计算量用于表征在所述目标集群中单个节点在处理数据过程中的最大处理量，所述节点计算量是基于所述集群中的所述各个节点对应的所述资产设备的性能确定的；基于所述存储节点数量以及所述计算节点数量评估所述目标集群的集群资源数量。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种集群资源的评估方法，其特征在于，包括：

获取目标集群的事件处理数量，并基于所述事件处理数量确定所述目标集群的总存储空间，所述目标集群至少包括分布式处理集群、分布式事件交流集群以及文件搜索集群中的一种；

根据所述总存储空间以及所述目标集群的节点存储量，计算所述目标集群的存储节点数量，所述节点存储量用于表征在所述目标集群中单个节点在存储数据过程中的最大存储量，所述节点存储量是基于所述集群中的各个节点对应的资产设备的性能确定的；

获取所述目标集群的事件处理数量峰值，并基于所述目标集群的事件处理数量峰值以及节点计算量，计算所述目标集群的计算节点数量，所述节点计算量用于表征在所述目标集群中单个节点在处理数据过程中的最大处理量，所述节点计算量是基于所述集群中的所述各个节点对应的所述资产设备的性能确定的；

基于所述存储节点数量以及所述计算节点数量评估所述目标集群的集群资源数量。

2.根据权利要求1所述的方法，其特征在于，所述事件处理数量包括每日处理量；

所述获取目标集群的事件处理数量，并基于所述事件处理数量确定所述目标集群的总存储空间包括：

根据所述每日处理量以及事件数据量计算所述目标集群的日存储量，所述事件数据量用于表征被处理的每个任务的数据量；

根据所述日存储量以及目标天数，确定所述总存储空间。

3.根据权利要求2所述的方法，其特征在于，所述每日处理量包括每日流量信息以及每日安全日志信息；所述每日流量信息用于表征所述目标集群每天处理的流量任务的数量；所述每日安全日志信息用于表征所述目标集群每天处理的日志任务的数量；所述事件数据量包括单位流量数据量以及单位日志数据量；

所述根据所述每日处理量以及事件数据量计算所述目标集群的日存储量，包括：

分别获取所述单位流量数据量以及所述单位日志数据量；

根据所述每日流量信息以及所述单位流量数据量，计算单日流量处理量；

根据所述每日安全日志信息以及所述单位日志数据量，计算单日日志处理量；

根据所述单日流量处理量及所述单日日志处理量，确定所述日存储量。

4.根据权利要求3所述的方法，其特征在于，所述分别获取所述单位流量数据量以及所述单位日志数据量，包括：

确定所述目标集群的集群种类，并基于所述集群种类确定数据副本数量以及数据压缩比，其中，所述数据副本数量用以表征在存储数据时备份的数量，所述数据压缩比用于表征在存储数据时被压缩后的数据量与压缩前的数据量的比例；

分别获取流量的历史数据以及日志的历史数据，并基于所述流量的历史数据确定所述流量任务的平均数据量，以及基于所述日志的历史数据确定所述日志任务的平均数据量；

根据所述数据副本数量、所述数据压缩比以及所述流量任务的平均数据量计算所述单位流量数据量；

根据所述数据副本数量、所述数据压缩比以及所述日志任务的平均数据量计算所述单位日志数据量。

5.根据权利要求1-4中任一项所述的方法，其特征在于，所述获取所述目标集群的事件处理数量峰值，并基于所述目标集群的事件处理数量峰值以及节点计算量，计算所述目标集群的计算节点数量，包括：

当确定所述目标集群包括所述分布式处理集群以及所述文件搜索集群时，确定所述分布式处理集群与所述文件搜索集群之间的节点比例关系，所述节点比例关系中包括第一比例和第二比例，其中，所述第一比例对应所述分布式处理集群，所述第二比例对应所述文件搜索集群；

所述第一比例和所述第二比例之和等于1；

基于所述事件处理数量峰值以及节点计算量，计算所述目标集群的计算节点总数；

根据所述计算节点总数以及所述第一比例，确定所述分布式处理集群的计算节点数量；

根据所述计算节点总数以及所述第二比例，确定所述文件搜索集群的计算节点数量。

6.根据权利要求1-4中任一项所述的方法，其特征在于，所述基于所述存储节点数量以及所述计算节点数量评估所述目标集群的集群资源数量，包括：

在所述存储节点数量以及所述计算节点数量中选取最大的一个，作为对应所述目标集群的运行节点数量，其中，所述运行节点数量用于表征在所述目标集群中执行存储数据和处理数据的资产设备的数量；

根据所述运行节点数量确定管理节点数量，其中，所述管理节点数量用于表征在所述目标集群中用以管理的资产设备的数量，所述管理节点数量是与所述运行节点数量之间存在特定比例，所述特定比例是基于所述目标集群确定的；

根据所述运行节点数量以及所述管理节点数量，确定所述集群资源数量。

7.根据权利要求6所述的方法，其特征在于，所述集群资源数量包括第一集群资源数量、第二集群资源数量以及第三集群资源数量；其中，所述第一集群资源数量对应所述分布式处理集群；所述第二集群资源数量对应所述分布式事件交流集群；所述第三集群资源数量对应所述文件搜索集群；

在所述根据所述运行节点数量以及所述管理节点数量，确定所述集群资源数量之后，所述方法还包括：

当确定所述目标集群包括分布式处理集群、所述分布式事件交流集群以及所述文件搜索集群三者全部时，根据所述第一集群资源数量、所述第二集群资源数量以及所述第三集群资源数量，计算目标集群总资源数量。

8.一种集群资源的评估装置，其特征在于，包括：

确定单元，用于获取目标集群的事件处理数量，并基于所述事件处理数量确定所述目标集群的总存储空间，所述目标集群至少包括分布式处理集群、分布式事件交流集群以及文件搜索集群中的一种；

第一计算单元，用于根据所述总存储空间以及所述目标集群的节点存储量，计算所述目标集群的存储节点数量，所述节点存储量用于表征在所述目标集群中单个节点在存储数据过程中的最大存储量，所述节点存储量是基于所述集群中的各个节点对应的资产设备的性能确定的；

第二计算单元，用于获取所述目标集群的事件处理数量峰值，并基于所述目标集群的事件处理数量峰值以及节点计算量，计算所述目标集群的计算节点数量，所述节点计算量用于表征在所述目标集群中单个节点在处理数据过程中的最大处理量，所述节点计算量是基于所述集群中的所述各个节点对应的所述资产设备的性能确定的；

评估单元，用于基于所述存储节点数量以及所述计算节点数量评估所述目标集群的集群资源数量。

9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至7中任一项所述的集群资源的评估方法。

10.一种集群资源的评估装置，其特征在于，所述装置包括存储介质；及一个或者多个处理器，所述存储介质与所述处理器耦合，所述处理器被配置为执行所述存储介质中存储的程序指令；所述程序指令运行时执行权利要求1至7中任一项所述的集群资源的评估方法。

Images