CN117873374A - 单一集群存储系统的数据存储方法及装置 - Google Patents

Abstract

本申请提供了单一集群存储系统的数据存储方法及装置，该方法包括：获取服务器的种类信息和服务器对应的磁盘的种类信息；基于服务器的种类信息和所述磁盘的种类信息，生成配置文件；基于配置文件，利用indexmaster单元对space单元进行空间规划以生成空间规划信息；基于空间规划信息，利用indexserver单元对slot进行加载；利用业务层将预设存储数据传输到所述indexserver单元以获取第一存储信息；基于第一存储信息，利用数据存储层进行存储操作。该方法可以在单一集群中完成对多种异构服务器的支持，并确保各个服务器上的IO负载相对均衡，降低管控成本和运维成本。

Description

单一集群存储系统的数据存储方法及装置

技术领域

本申请涉及大数据、信息存储的技术领域，尤其涉及单一集群存储系统的数据存储方法及装置。

背景技术

随着国产芯片和国产服务器的发展，越来越多的项目开始使用国产服务器以及国产芯片，这是一种新的不可阻挡的趋势。同时各种照片以及短视频应用的产生，大数据量的存储需求也越来越强烈，正因如此大规模的存储系统也应运而生。整个系统中采用大量的服务器组成一个或者多个存储集群来提供大容量的存储。早期的存储系统都是要求集群中各个服务器是同样的配置，即同样的CPU,硬盘等，可以把这种同样配置类型的服务器叫做同构服务器，然而随着国产服务器的成熟应用，越来越多的使用国产CPU的国产服务器被应用到了存储系统中来，比如海光X86的CPU、鲲鹏ARM86的CPU等。这就对存储系统对异构服务器的支持提出了要求。不过现在主流的存储系统方案对同一集群对服务器配置要求都是比较苛刻的，基本都是要求相同配置的服务器，至少是CPU相同和硬盘相同的服务器，不支持异构服务器。如果强行把异构的服务器当成同样的服务器对待，不做区分的加入集群中会造成诸如各服务器IO负载不均衡，性能调优困难等种种问题。

现有技术中，如果必须要支持异构服务器，目前常用的解决方案是分成多个集群，也就是相同配置的服务器组成一个集群，即每一个集群内部的服务器是同样配置的，但是由原来的一个集群变成了多个集群，会需要更多的节点从而占用更多的资源。此外，管控运维以及升级的难度随之变大，之前只需要维护一个集群，拆分成多个集群后，需要去维护多个集群，从而造成成本的提升。现有技术均无法在控制成本的情况下对异构服务器进行负载均衡，因此，如何对存储系统中的异构服务器进行负载分配成为了亟待解决的问题。

专利CN114915631A公开了一种面向异构集群能效优化的负载均衡方法，包括如下步骤：S1，服务器功耗建模：提前测量服务器在不同服务请求到达率下的功耗值，建立线性关系函数，并获得服务器的能效值；S2，负载均衡器配置：负载均衡器统计集群内服务器的功耗模型和能效值，并作为服务入口根据服务请求到达率建立集群整体功耗优化的整数规划目标模型；S3，服务器选择：当服务请求到达时，负载均衡器根据服务需求和冗余需求，依照能效值作为优先级选择最少数量的开机服务器，关闭剩余服务器；S4，负载分配：利用求解工具在多项式时间内获得各服务器最优的负载分配系数；根据步骤S3后确定的开机服务器集合，化简S2中建立的整数规划目标模型，对其中的开机状态参数代入具体值，从而获得松弛后的线性规划问题，利用现有的工具可在多项式时间内对其求解，从而获得各服务器最优的负载分配系数；S5，周期执行：周期性地执行步骤S3和S4，根据服务器请求变化对开机服务器和负载分配系数进行动态调整。该方法只涉及对多种异构集群的负载均衡分配，无法节约资源和降低维护成本。

基于此，本申请提供了单一集群存储系统的数据存储方法及装置，以改进现有技术。

发明内容

本申请的目的在于提供单一集群存储系统的数据存储方法及装置，可以在单一集群中完成对多种异构服务器的支持，并确保各个服务器上的IO负载相对均衡，降低管控成本和运维成本。

本申请的目的采用以下技术方案实现：

第一方面，本申请提供了一种单一集群存储系统的数据存储方法，所述存储系统包括业务层和数据存储层，所述方法包括：

获取服务器的种类信息和服务器对应的磁盘的种类信息；

基于所述服务器的种类信息和所述磁盘的种类信息，生成配置文件；

基于所述配置文件，利用indexmaster单元对space单元进行空间规划以生成空间规划信息；

基于所述空间规划信息，利用indexserver单元对slot进行加载；

利用业务层将预设存储数据传输到所述indexserver单元以获取第一存储信息；

基于所述第一存储信息，利用所述数据存储层进行存储操作。

该技术方案的有益效果在于：首先，获取服务器的种类信息和服务器对应的磁盘的种类信息；基于服务器的种类信息和磁盘的种类信息，从而生成配置文件；再利用indexmaster单元对space单元进行空间规划以生成空间规划信息；基于空间规划信息，利用indexserver单元对slot进行加载；利用业务层将预设存储数据传输到indexserver单元以获取第一存储信息；最后基于第一存储信息，利用数据存储层进行存储操作。通过获取服务器的种类信息和服务器对应的磁盘的种类信息，可以针对不同类型的服务器和磁盘进行有针对性的配置，提高存储系统的管理效率；利用indexmaster单元对space单元进行空间规划，可以根据实际需求和资源情况灵活调整空间分配，优化存储空间的利用率；基于空间规划信息，利用indexserver单元对slot进行加载，可以实现存储资源的自动分配和负载均衡，降低系统维护成本；通过业务层将预设存储数据传输到indexserver单元，可以确保数据在存储过程中的稳定性，避免数据丢失或损坏；基于第一存储信息，利用数据存储层进行存储操作，可以提高数据存储和检索的速度，满足高性能存储的需求。该方法可以通过自动化地获取、分析和处理服务器和磁盘的信息，实现存储资源的智能管理，降低人力成本，提高系统运行效率，并通过合理规划和管理存储资源，可以避免资源的浪费，可以在单一集群中完成对多种异构服务器的支持，并确保各个服务器上的IO负载相对均衡，降低管控成本和运维成本。

在一些可选的实施方式中，所述基于所述配置文件，利用indexmaster单元对space单元进行空间规划以生成空间规划信息，包括：

获取所述服务器的性能信息；

基于所述服务器的性能信息，在所述配置文件中设置每个所述indexserver单元对应的IO线程的数量以获取分配数量；

基于所述分配数量，利用所述indexserver单元向所述indexmaster单元传输所述indexserver单元对应的服务器的属性信息；

基于所述服务器的属性信息和所述配置文件，利用所述indexmaster单元对所述space单元进行空间规划以生成空间规划信息，所述空间规划信息用于指待启动的IO线程的启动数量以及indexserver单元对应的slot信息。

该技术方案的有益效果在于：通过使用配置文件和indexmaster单元对space单元进行空间规划，可以实现对服务器资源的高效利用。根据服务器的性能信息，为每个indexserver单元设置合适的IO线程数量，以确保系统运行在最佳状态下。通过获取服务器的性能信息，可以更准确地了解服务器的负载情况，从而针对性地进行优化。设置合适的IO线程数量有助于提高服务器的吞吐量和响应速度，提升整体性能。通过配置文件对indexserver单元的IO线程数量进行管理，可以轻松地调整服务器资源分配，满足不同业务需求。同时，配置文件的可维护性也使得系统参数的修改和更新变得更加方便。基于空间规划信息，indexserver单元可以自动地向indexmaster单元传输服务器属性信息，实现自动化的空间分配。这有助于降低管理成本，提高系统的自动化程度。空间规划信息用于指示indexserver单元待启动的IO线程数量以及对应的slot信息，确保系统在运行过程中能够稳定可靠地提供服务。同时，这种方法也有助于避免因资源竞争导致的系统故障，提升系统的可靠性。该方法可以轻松地扩展到大规模存储系统中，同时能够适应异构服务器的增减和性能变化。这使得存储系统具有较高的灵活性和适应性，满足不断变化的业务需求。通过空间规划优化了服务器的资源分配，提高了系统的性能和可靠性，同时简化了配置管理，降低了成本。

在一些可选的实施方式中，所述服务器的属性信息包括服务器的架构信息、服务器的种类信息以及服务器的数量信息。

该技术方案的有益效果在于：通过获取和整合服务器的架构信息、种类信息和数量信息，可以对服务器资源进行全面的管理。这有助于确保系统管理员能够准确了解服务器集群的实际情况，为后续的资源调配和优化提供依据。了解服务器的种类和数量信息，可以更好地进行负载均衡和资源调度，避免服务器资源的浪费。根据服务器的架构信息，可以针对不同类型的服务器分配合适的任务，提高资源利用率。通过全面的服务器信息，可以针对服务器的性能特点进行有针对性的优化。例如，性能强的CPU就可以多启动一些IO线程，即多分配一些slot；性能差一些的CPU就可以少启动一些IO线程，即少分配一些slot，这样可以确保每台服务器的IO负载比较均衡。

一些可选的实施方式中，所述方法还包括：

基于所述服务器的种类信息和所述磁盘的种类信息，对服务器和服务器对应的磁盘进行分类，以获取多个存储资源池，每个所述存储资源池包括M个相同类型的服务器和与M个服务器对应的磁盘；

在每个所述存储资源池上创建一个文件系统并将所述配置文件保存于所述文件系统中。

该技术方案的有益效果在于：首先，基于服务器的种类信息和磁盘的种类信息，对服务器和服务器对应的磁盘进行分类，以获取多个存储资源池，每个存储资源池包括M个相同类型的服务器和与M个服务器对应的磁盘；其次，在每个存储资源池上创建一个文件系统并将配置文件保存于存储资源池中。通过根据服务器的种类信息和磁盘的种类信息进行分类，可以确保相同类型的服务器和磁盘被分配到同一个存储资源池中，将相同类型的服务器和磁盘分组到多个存储资源池中，有助于优化数据读写操作。将服务器和磁盘按照类型进行分类，可以使得存储资源池的结构更加清晰。这将有助于管理员更好地管理和维护系统，提高工作效率。通过创建多个存储资源池，可以方便地在系统中添加或删除服务器和磁盘。这使得系统具有较高的灵活性和可扩展性；将配置文件保存在每个存储资源池中，有助于提高数据的安全性。同时，多个存储资源池之间的相互独立性提高了系统的容错能力，即使某个存储资源池出现故障，其他存储资源池仍然可以继续提供存储服务。

在一些可选的实施方式中，所述方法还包括：

基于所述启动数量，利用所述indexserver单元启动所述待启动的IO线程。

该技术方案的有益效果在于：通过启动与CPU核心数量相匹配的IO线程，可以充分利用CPU资源，实现高效的数据读写和处理。在多线程并发执行的情况下，IO操作速度得到提升，从而提高了整个系统的运行效率。利用indexserver单元启动IO线程，可以实现对IO操作的合理分配和调度。多个IO线程并行执行，降低了IO操作的延迟，提高了系统的响应速度和性能。根据服务器硬件资源(如CPU、内存等)合理配置IO线程数量，可以避免资源的浪费，实现高性能和高资源利用率的平衡。通过启动适当数量的IO线程，可以将任务负载分散到多个线程上，实现服务器资源的均衡利用，降低单一线程的压力，提高整个系统的稳定性和可靠性。

第二方面，本申请提供了一种单一集群存储系统的数据存储装置，所述装置包括处理器，所述处理器被配置成实现以下步骤：

信息获取模块，用于获取服务器的种类信息和服务器对应的磁盘的种类信息；

文件生成模块，用于基于所述服务器的种类信息和所述磁盘的种类信息，生成配置文件；

空间规划模块，用于基于所述配置文件，利用indexmaster单元对space单元进行空间规划以生成空间规划信息；

slot加载模块，用于基于所述空间规划信息，利用indexserver单元对slot进行加载；

信息传输模块，用于利用业务层将预设存储数据传输到所述indexserver单元以获取第一存储信息；

数据存储模块，用于基于所述第一存储信息，利用所述数据存储层进行存储操作。

在一些可选的实施方式中，所述处理器被配置成执行所述计算机程序时采用以下方式利用indexmaster单元对space单元进行空间规划以生成空间规划信息：

获取所述服务器的性能信息；

基于所述服务器的性能信息，在所述配置文件中设置每个所述indexserver单元对应的IO线程的数量以获取分配数量；

基于所述分配数量，利用所述indexserver单元向所述indexmaster单元传输所述indexserver单元对应的服务器的属性信息；

基于所述服务器的属性信息和所述配置文件，利用所述indexmaster单元对所述space单元进行空间规划以生成空间规划信息，所述空间规划信息用于指待启动的IO线程的启动数量以及indexserver单元对应的slot信息。

在一些可选的实施方式中，所述管网拓扑结构还包括非孤立线，所述服务器的属性信息包括服务器的架构信息、服务器的种类信息以及服务器的数量信息。

在一些可选的实施方式中，所述处理器还被配置成实现以下步骤：

基于所述服务器的种类信息和所述磁盘的种类信息，对服务器和服务器对应的磁盘进行分类，以获取多个存储资源池，每个所述存储资源池包括M个相同类型的服务器和与M个服务器对应的磁盘；

在每个所述存储资源池上创建一个文件系统并将所述配置文件保存于所述文件系统中。

在一些可选的实施方式中，所述处理器还被配置成实现以下步骤：

基于所述启动数量，利用所述indexserver单元启动所述待启动的IO线程。

第三方面，本申请提供了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项方法的步骤。

第四方面，本申请提供了一种存储系统，所述电子设备包括：

上述电子设备；

所述存储系统还包括索引层；

所述索引层包括indexmaster单元、indexserver单元和space单元；

所述space单元包括至少一个slot。

第五方面，本申请提供了一种芯片，所述芯片存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项方法的步骤。

附图说明

下面结合附图和实施方式对本申请进一步说明。

图1示出了本申请实施例提供的一种单一集群存储系统的数据存储方法的流程示意图；

图2示出了本申请实施例提供的一种生成空间规划信息的流程示意图；

图3示出了本申请实施例提供的一种space单元的结构示意图；

图4示出了本申请实施例提供的一种服务器和slot分配的示意图；

图5示出了本申请实施例提供的一种单一集群存储系统的数据存储装置的结构框图；

图6示出了本申请实施例提供的一种电子设备的结构框架图；

图7示出了本申请实施例提供的一种存储系统的结构示意图；

图8示出了本申请实施例提供的一种程序产品的结构示意图。

具体实施方式

下面，结合附图以及具体实施方式，对本申请实施例做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施方式。

在本申请实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，a和b，a和c，b和c，a和b和c，其中a、b和c可以是单个，也可以是多个。值得注意的是，“至少一项(个)”还可以解释成“一项(个)或多项(个)”。

还需说明的是，本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例被描述为“示例性的”或者“例如”的任何实施方式或设计方案不应被解释为比其他实施方式或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

方法实施例

参见图1，图1示出了本申请实施例提供的一种单一集群存储系统的数据存储方法的流程示意图。

本申请实施例提供了一种单一集群存储系统的数据存储方法，所述存储系统包括业务层和数据存储层，所述方法包括：

S101，获取服务器的种类信息和服务器对应的磁盘的种类信息；

S102，基于所述服务器的种类信息和所述磁盘的种类信息，生成配置文件；

S103，基于所述配置文件，利用indexmaster单元对space单元进行空间规划以生成空间规划信息；

S104，基于所述空间规划信息，利用indexserver单元对slot进行加载；

S105，利用业务层将预设存储数据传输到所述indexserver单元以获取第一存储信息；

S106，基于所述第一存储信息，利用所述数据存储层进行存储操作。

由此，首先，获取服务器的种类信息和服务器对应的磁盘的种类信息；基于服务器的种类信息和磁盘的种类信息，从而生成配置文件；再利用indexmaster单元对space单元进行空间规划以生成空间规划信息；基于空间规划信息，利用indexserver单元对slot进行加载；利用业务层将预设存储数据传输到indexserver单元以获取第一存储信息；最后基于第一存储信息，利用数据存储层进行存储操作。

通过获取服务器的种类信息和服务器对应的磁盘的种类信息，可以针对不同类型的服务器和磁盘进行有针对性的配置，提高存储系统的管理效率；利用indexmaster单元对space单元进行空间规划，可以根据实际需求和资源情况灵活调整空间分配，优化存储空间的利用率；基于空间规划信息，利用indexserver单元对slot进行加载，可以实现存储资源的自动分配和负载均衡，降低系统维护成本；通过业务层将预设存储数据传输到indexserver单元，可以确保数据在存储过程中的稳定性，避免数据丢失或损坏；基于第一存储信息，利用数据存储层进行存储操作，可以提高数据存储和检索的速度，满足高性能存储的需求。该方法可以通过自动化地获取、分析和处理服务器和磁盘的信息，实现存储资源的智能管理，降低人力成本，提高系统运行效率，并通过合理规划和管理存储资源，可以避免资源的浪费，可以在单一集群中完成对多种异构服务器的支持，并确保各个服务器上的IO负载相对均衡，降低管控成本和运维成本。

本申请实施例对服务器的种类不作限定，其例如可以是海光X86、鲲鹏ARM86、Intel x86等。

本申请实施例对磁盘的种类不作限定，其例如可以是SSD、HDD等。

本申请实施例对indexmaster单元的数量不作限定，其例如可以是1、2、3、5、10、20、35、40等。

本申请实施例对indexserver单元的数量不作限定，其例如可以是1、2、3、5、10、20、35、40等。

本申请实施例对space单元的数量不作限定，其例如可以是1、2、3、5、10、20、35、40等。

本申请实施例对slot的数量不作限定，其例如可以是1、2、3、5、10、20、35、40、159、500、1000、5822、12288等。

参见图2，图2示出了本申请实施例提供的一种生成空间规划信息的流程示意图。

在一些可选的实施方式中，所述基于所述配置文件，利用indexmaster单元对space单元进行空间规划以生成空间规划信息(即步骤S103)，包括：

步骤S201：获取所述服务器的性能信息；

步骤S202：基于所述服务器的性能信息，在所述配置文件中设置每个所述indexserver单元对应的IO线程的数量以获取分配数量；

步骤S203：基于所述分配数量，利用所述indexserver单元向所述indexmaster单元传输所述indexserver单元对应的服务器的属性信息；

步骤S204：基于所述服务器的属性信息和所述配置文件，利用所述indexmaster单元对所述space单元进行空间规划以生成空间规划信息，所述空间规划信息用于指待启动的IO线程的启动数量以及indexserver单元对应的slot信息。

由此，通过使用配置文件和indexmaster单元对space单元进行空间规划，可以实现对服务器资源的高效利用。根据服务器的性能信息，为每个indexserver单元设置合适的IO线程数量，以确保系统运行在最佳状态下。通过获取服务器的性能信息，可以更准确地了解服务器的负载情况，从而针对性地进行优化。设置合适的IO线程数量有助于提高服务器的吞吐量和响应速度，提升整体性能。

通过配置文件对indexserver单元的IO线程数量进行管理，可以轻松地调整服务器资源分配，满足不同业务需求。同时，配置文件的可维护性也使得系统参数的修改和更新变得更加方便。基于空间规划信息，indexserver单元可以自动地向indexmaster单元传输服务器属性信息，实现自动化的空间分配。这有助于降低管理成本，提高系统的自动化程度。空间规划信息用于指示indexserver单元待启动的IO线程数量以及对应的slot信息，确保系统在运行过程中能够稳定可靠地提供服务。

同时，这种方法也有助于避免因资源竞争导致的系统故障，提升系统的可靠性。该方法可以轻松地扩展到大规模存储系统中，同时能够适应异构服务器的增减和性能变化。这使得存储系统具有较高的灵活性和适应性，满足不断变化的业务需求。通过空间规划优化了服务器的资源分配，提高了系统的性能和可靠性，同时简化了配置管理，降低了成本。

在一些可选实施例中，可以通过运行性能检测工具收集服务器的性能数据。这些工具可以提供服务器各项性能指标，如CPU利用率、内存利用率、磁盘读写速度和网络带宽等。

本申请实施例对分配数量(IO线程的数量)不作限定，其例如可以是1、2、3、10、50、88、200、500、1800、5000等。

在本申请实施例中，IO线程是指在计算机程序中，专门负责处理输入输出操作的线程。IO线程的主要任务是执行文件读写、网络数据传输等I/O操作，并在操作完成后将结果返回给主程序。IO线程通常与其他线程协同工作，以提高程序的运行效率和响应速度。

在一些可选的实施方式中，所述服务器的属性信息包括服务器的架构信息、服务器的种类信息以及服务器的数量信息。

由此，通过获取和整合服务器的架构信息、种类信息和数量信息，可以对服务器资源进行全面的管理。这有助于确保系统管理员能够准确了解服务器集群的实际情况，为后续的资源调配和优化提供依据。了解服务器的种类和数量信息，可以更好地进行负载均衡和资源调度，避免服务器资源的浪费。

根据服务器的架构信息，可以针对不同类型的服务器分配合适的任务，提高资源利用率。通过全面的服务器信息，可以针对服务器的性能特点进行有针对性的优化。例如，性能强的CPU就可以多启动一些IO线程，即多分配一些slot；性能差一些的CPU就可以少启动一些IO线程，即少分配一些slot，这样可以确保每台服务器的IO负载比较均衡。

在一些可选的实施方式中，所述方法还包括：

基于所述服务器的种类信息和所述磁盘的种类信息，对服务器和服务器对应的磁盘进行分类，以获取多个存储资源池，每个所述存储资源池包括M个相同类型的服务器和与M个服务器对应的磁盘；

在每个所述存储资源池上创建一个文件系统并将所述配置文件保存于所述文件系统中。

由此，首先，基于服务器的种类信息和磁盘的种类信息，对服务器和服务器对应的磁盘进行分类，以获取多个存储资源池，每个存储资源池包括M个相同类型的服务器和与M个服务器对应的磁盘；

其次，在每个存储资源池上创建一个文件系统并将配置文件保存于存储资源池中。通过根据服务器的种类信息和磁盘的种类信息进行分类，可以确保相同类型的服务器和磁盘被分配到同一个存储资源池中，将相同类型的服务器和磁盘分组到多个存储资源池中，有助于优化数据读写操作。

将服务器和磁盘按照类型进行分类，可以使得存储资源池的结构更加清晰。这将有助于管理员更好地管理和维护系统，提高工作效率。通过创建多个存储资源池，可以方便地在系统中添加或删除服务器和磁盘。这使得系统具有较高的灵活性和可扩展性；将配置文件保存在每个存储资源池中，有助于提高数据的安全性。同时，多个存储资源池之间的相互独立性提高了系统的容错能力，即使某个存储资源池出现故障，其他存储资源池仍然可以继续提供存储服务。

在本申请实施例中，M为正整数。

在一些可选实施方式中，可以根据服务器的性能和磁盘的容量，动态调整存储资源池的大小；也可以在不同存储资源池之间进行数据迁移。

在一些可选的实施方式中，所述方法还包括：

基于所述启动数量，利用所述indexserver单元启动所述待启动的IO线程。

由此，通过启动与CPU核心数量相匹配的IO线程，可以充分利用CPU资源，实现高效的数据读写和处理。在多线程并发执行的情况下，IO操作速度得到提升，从而提高了整个系统的运行效率。利用indexserver单元启动IO线程，可以实现对IO操作的合理分配和调度。多个IO线程并行执行，降低了IO操作的延迟，提高了系统的响应速度和性能。根据服务器硬件资源(如CPU、内存等)合理配置IO线程数量，可以避免资源的浪费，实现高性能和高资源利用率的平衡。通过启动适当数量的IO线程，可以将任务负载分散到多个线程上，实现服务器资源的均衡利用，降低单一线程的压力，提高整个系统的稳定性和可靠性。

在一个具体实施例中，存储系统的核心分为三层：业务层、索引层(client)和数据存储层，索引层是由indexmaster单元、indexserver单元和space单元组成，数据存储层是真正存储数据的地方；当IO线程到业务层的时候，业务层根据索引层提供的索引信息把IO线程下发到具体的数据存储层。

参见图3，图3示出了本申请实施例提供的一种space单元的结构示意图。

在一个具体实施例中，每个space单元对应一组相同种类的服务器。多个space单元就可以支持多种异构服务器。其中，一个space单元最多有4096个slot(一个slot对应一个RocksDB实例)。每个indexserver单元对应一个服务器，根据服务器上属性信息的不同，每个indexserver单元可以启动1-32个IO线程，每个IO线程对应一个slot。

参见图4，图4示出了本申请实施例提供的一种服务器和slot分配的示意图。

在一个具体实施例中，下文将用3种CPU架构(比如其CPU分别是x，y，z类型)的服务器每种服务器3台来举例(假设使用的都是同样的硬盘以及CPU数量都相同，所以暂不考虑硬盘处理性能的差异以及CPU数量的差异)。

假设x类型CPU类型的处理能力是y类型的2倍，y类型CPU的处理能力是z类型CPU的2倍。那么根据上述方法的步骤1和步骤2可以生成相应的配置文件，主要记录3种服务器类型和使用该服务器的indexserver应该启动的IO线程数量。

如果设置z类型CPU的indexserver启动4个IO线程，那么根据性能CPU处理能力，很自然地使用y类型CPU的indexserver就应该启动8个IO线程，使用x类型CPU的indexserver应该启动16个IO线程。

然后根据这三种类型创建3个存储资源池，并在每个存储池上建立文件系统，然后indexserver启动后向indexmaster上报自身所在服务器信息后，indexmaster会向其分配slot。indexserver根据indexmaster指定的IO线程数启动相应数量的IO线程，并加载相应的slot。

从而得到，x类型CPU的服务器的space单元的slot范围是1-4096，目前3台服务器，每台服务器上的indexserver启动16个IO线程，服务器1上的indexserver负责slot 1-16，服务器2上的indexserver负责slot 17-32，服务器3上的indexserver负责slot 33-48；

y类型CPU的服务器的space单元的slot范围是4097-8192，目前也是有3台服务器，每台服务器上的indexserver启动8个IO线程，服务器4上indexserver负责slot 4097-4104，服务器5上的indexserver负责slot 4105-4112，服务器6上的indexserver负责slot4113-4120；

z类型CPU的服务器的space单元slot范围是8193-12288，目前也是有3台服务器，每台服务器上的indexserver启动4个IO线程，服务器7上的indexserver负责slot 8193-8196，服务器8上的indexserver负责slot 8197-8200，服务器9上的indexserver负责slot8201-8204。

装置实施例

参见图5，图5示出了本申请实施例提供的一种单一集群存储系统的数据存储装置的结构框图。

本申请实施例还提供了一种单一集群存储系统的数据存储装置，其具体实施方式与上述方法实施例中记载的实施方式、所达到的技术效果一致，部分内容不再赘述。

本申请提供了一种单一集群存储系统的数据存储装置，所述装置包括处理器，所述处理器被配置成实现以下步骤：

信息获取模块101，用于获取服务器的种类信息和服务器对应的磁盘的种类信息；

文件生成模块102，用于基于所述服务器的种类信息和所述磁盘的种类信息，生成配置文件；

空间规划模块103，用于基于所述配置文件，利用indexmaster单元对space单元进行空间规划以生成空间规划信息；

slot加载模块104，用于基于所述空间规划信息，利用indexserver单元对slot进行加载；

信息传输模块105，用于利用业务层将预设存储数据传输到所述indexserver单元以获取第一存储信息；

数据存储模块106，用于基于所述第一存储信息，利用所述数据存储层进行存储操作。

在一些可选的实施方式中，所述处理器被配置成执行所述计算机程序时采用以下方式利用indexmaster单元对space单元进行空间规划以生成空间规划信息：

获取所述服务器的性能信息；

基于所述服务器的性能信息，在所述配置文件中设置每个所述indexserver单元对应的IO线程的数量以获取分配数量；

基于所述分配数量，利用所述indexserver单元向所述indexmaster单元传输所述indexserver单元对应的服务器的属性信息；

基于所述服务器的属性信息和所述配置文件，利用所述indexmaster单元对所述space单元进行空间规划以生成空间规划信息，所述空间规划信息用于指待启动的IO线程的启动数量以及indexserver单元对应的slot信息。

在一些可选的实施方式中，所述管网拓扑结构还包括非孤立线，所述服务器的属性信息包括服务器的架构信息、服务器的种类信息以及服务器的数量信息。

在一些可选的实施方式中，所述处理器还被配置成实现以下步骤：

基于所述服务器的种类信息和所述磁盘的种类信息，对服务器和服务器对应的磁盘进行分类，以获取多个存储资源池，每个所述存储资源池包括M个相同类型的服务器和与M个服务器对应的磁盘；

在每个所述存储资源池上创建一个文件系统并将所述配置文件保存于所述文件系统中。

在一些可选的实施方式中，所述处理器还被配置成实现以下步骤：

基于所述启动数量，利用所述indexserver单元启动所述待启动的IO线程。

设备实施例

本申请实施例还提供了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项方法的步骤，其具体实施方式与上述方法实施例中记载的实施方式、所达到的技术效果一致，部分内容不再赘述。

参见图6，图6示出了本申请实施例提供的一种电子设备的结构框架图。

电子设备包括至少一个存储器210、至少一个处理器220以及连接不同平台系统的总线230。

存储器210可以包括易失性存储器形式的可读介质，例如随机存取存储器(RAM)211和/或高速缓存存储器212，还可以进一步包括只读存储器(ROM)213。

其中，存储器210还存储有计算机程序，计算机程序可以被处理器220执行，使得处理器220实现上述任一项方法的步骤。

存储器210还可以包括具有至少一个程序模块215的实用工具214，这样的程序模块215包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例的每一个或某种组合中可能包括网络环境的实现。

相应的，处理器220可以执行上述计算机程序，以及可以执行实用工具214。

处理器220可以采用一个或多个应用专用集成电路(ASIC，Application SpecificIntegrated Circuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)或其他电子元件。

总线230可以为表示几类总线结构的一种或多种，包括存储器总线或者存储器控制器、外围总线、图形加速端口、处理器或者使用多种总线结构的任意总线结构的局域总线。

电子设备也可以与一个或多个外部设备240例如键盘、指向设备、蓝牙设备等通信，还可与一个或者多个能够与该电子设备交互的设备通信，和/或与使得该电子设备能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等)通信。这种通信可以通过输入输出接口250进行。并且，电子设备还可以通过网络适配器260与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器260可以通过总线230与电子设备的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。

系统实施例

参见图7，图7示出了本申请实施例提供的一种存储系统的结构示意图。

本申请实施例还提供了一种存储系统，所述系统包括：

上述电子设备。

所述存储系统还包括索引层；

所述索引层包括indexmaster单元、indexserver单元和space单元；

所述space单元包括至少一个slot。

介质实施例

本申请实施例还提供了一种芯片，所述芯片存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项方法的步骤，其具体实施方式与上述方法实施例中记载的实施方式、所达到的技术效果一致，部分内容不再赘述。

参见图8，图8示出了本申请实施例提供的一种程序产品的结构示意图。

所述程序产品用于实现上述任一项方法。程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本申请实施例中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

芯片可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等，或者上述的任意合适的组合。可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言诸如Java、C++等，还包括常规的过程式程序设计语言诸如C语言、Python语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

本申请从使用目的上，效能上，进步及新颖性等观点进行阐述，已符合专利法所强调的功能增进及使用要件，本申请以上的说明书及说明书附图，仅为本申请的较佳实施例而已，并非以此局限本申请，因此，凡一切与本申请构造，装置，特征等近似、雷同的，即凡依本申请专利申请范围所作的等同替换或修饰等，皆应属本申请的专利申请保护的范围之内。

Claims (10)

1.一种单一集群存储系统的数据存储方法，其特征在于，所述存储系统包括业务层和数据存储层，所述方法包括：

S101，获取服务器的种类信息和服务器对应的磁盘的种类信息；

S102，基于所述服务器的种类信息和所述磁盘的种类信息，生成配置文件；

S103，基于所述配置文件，利用indexmaster单元对space单元进行空间规划以生成空间规划信息；

S104，基于所述空间规划信息，利用indexserver单元对slot进行加载；

S105，利用业务层将预设存储数据传输到所述indexserver单元以获取第一存储信息；

S106，基于所述第一存储信息，利用所述数据存储层进行存储操作。

2.根据权利要求1所述的单一集群存储系统的数据存储方法，其特征在于，所述基于所述配置文件，利用indexmaster单元对space单元进行空间规划以生成空间规划信息，包括：

获取所述服务器的性能信息；

基于所述服务器的性能信息，在所述配置文件中设置每个所述indexserver单元对应的IO线程的数量以获取分配数量；

基于所述分配数量，利用所述indexserver单元向所述indexmaster单元传输所述indexserver单元对应的服务器的属性信息；

基于所述服务器的属性信息和所述配置文件，利用所述indexmaster单元对所述space单元进行空间规划以生成空间规划信息，所述空间规划信息用于指待启动的IO线程的启动数量以及indexserver单元对应的slot信息。

3.根据权利要求2所述的单一集群存储系统的数据存储方法，其特征在于，所述服务器的属性信息包括服务器的架构信息、服务器的种类信息以及服务器的数量信息。

4.根据权利要求1所述的单一集群存储系统的数据存储方法，其特征在于，所述方法还包括：

基于所述服务器的种类信息和所述磁盘的种类信息，对服务器和服务器对应的磁盘进行分类，以获取多个存储资源池，每个所述存储资源池包括M个相同类型的服务器和与M个服务器对应的磁盘；

在每个所述存储资源池上创建一个文件系统并将所述配置文件保存于所述文件系统中。

5.根据权利要求2所述的单一集群存储系统的数据存储方法，其特征在于，所述方法还包括：

基于所述启动数量，利用所述indexserver单元启动所述待启动的IO线程。

6.一种单一集群存储系统的数据存储装置，其特征在于，所述装置包括：

信息获取模块，用于获取服务器的种类信息和服务器对应的磁盘的种类信息；

文件生成模块，用于基于所述服务器的种类信息和所述磁盘的种类信息，生成配置文件；

空间规划模块，用于基于所述配置文件，利用indexmaster单元对space单元进行空间规划以生成空间规划信息；

slot加载模块，用于基于所述空间规划信息，利用indexserver单元对slot进行加载；

信息传输模块，用于利用业务层将预设存储数据传输到所述indexserver单元以获取第一存储信息；

数据存储模块，用于基于所述第一存储信息，利用所述数据存储层进行存储操作。

7.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1-5任一项所述方法的步骤。

8.一种存储系统，其特征在于，所述存储系统包括：

权利要求7所述的电子设备。

9.根据权利要求8所述的存储系统，其特征在于，所述存储系统还包括索引层；

所述索引层包括indexmaster单元、indexserver单元和space单元；

所述space单元包括至少一个slot。

10.一种芯片，其特征在于，所述芯片存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-5任一项所述方法的步骤。