CN117193675B - 基于分布式计算容量的固态储存器管理系统 - Google Patents

Abstract

本发明涉及储存管理技术领域，具体地说，涉及基于分布式计算容量的固态储存器管理系统。其包括获取处理单元、分析建模单元、预测储存单元、优化容量单元，预测储存单元根据优化的储存容量数据对预测的储存容量数据和分析的储存影响数据进行再次制定储存策略。本发明通过优化容量单元根据储存策略数据和获取的数据进行储存容量的优化，将优化的储存容量数据传入储存策略模块中，储存策略模块根据优化的储存容量数据对分析的储存影响数据和预测的储存容量数据进行再次制定储存策略，通过制定更优化的储存策略，不仅可以获得对储存需求的深入洞察，还可以根据实际需求合理规划储存资源，从而提高储存效率和成本效益。

Description

基于分布式计算容量的固态储存器管理系统

技术领域

本发明涉及储存管理技术领域，具体地说，涉及基于分布式计算容量的固态储存器管理系统。

背景技术

现实场景中，由于固态储存器成本较高，所以目前大容量储存中仍然使用机械式硬盘，当在小容量、超高速、小体积的电子设备中，固态储存器拥有非常大的优势，当使用者在使用储存器储存大量数据时，该储存器不会根据实际需求合理规划储存资源，更不会通过优化的储存策略对储存需求进行深入洞察，这样就会导致储存器容量资源的浪费情况，同样也提高了储存器的成本效益，当使用者在使用储存器数据储存需求突然不断增长时，这样会使储存器来不及调整储存策略，从而导致了容量不足而产生的性能下降或数据中断，于是我们提供了基于分布式计算容量的固态储存器管理系统。

发明内容

本发明的目的在于提供基于分布式计算容量的固态储存器管理系统，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供基于分布式计算容量的固态储存器管理系统，包括获取处理单元、分析建模单元、预测储存单元、优化容量单元；

所述获取处理单元用于获取储存的数据、固态储存器的可储存容量数据和和储存行为数据并进行处理；

所述分析建模单元用于接收获取处理单元中获取的数据，并对获取处理单元中处理的数据进行储存影响的分析，再根据分析的储存影响数据和获取处理单元中储存行为数据建立容量趋势模型，再对容量趋势模型数据进行储存容量趋势的评估；

所述预测储存单元用于接收分析建模单元中分析的储存影响数据和评估的储存容量趋势数据，并根据评估的储存容量趋势数据进行储存容量的预测，再对预测的储存容量数据和分析的储存影响数据制定储存策略；

所述优化容量单元用于接收预测储存单元中储存策略数据和获取处理单元中获取的数据并优化储存容量；

所述预测储存单元接收分析建模单元中分析的储存影响数据和评估的储存容量趋势数据，并根据评估的储存容量趋势数据进行储存容量的预测，再对预测的储存容量数据和分析的储存影响数据制定储存策略，将储存策略数据传入优化容量单元中，优化容量单元根据获取处理单元中获取的数据和储存策略数据进行储存容量的优化，将优化的储存容量数据传入预测储存单元中，预测储存单元根据优化的储存容量数据对预测的储存容量数据和分析的储存影响数据进行再次制定储存策略。

作为本技术方案的进一步改进，所述获取处理单元包括数据获取模块和数据处理模块；

所述数据处理模块用于接收数据获取模块中获取的数据并进行处理，将处理的数据传入分析建模单元中。

作为本技术方案的进一步改进，所述分析建模单元包括数据分析模块、趋势模型模块和提示可视化模块；

所述数据分析模块用于接收数据处理模块中处理的数据，并利用线性分析算法对处理的数据进行储存影响的分析；

所述趋势模型模块用于接收数据分析模块中分析的储存影响数据和数据获取模块中获取的数据，并利用模型训练技术根据分析的储存影响数据和获取的数据建立容量趋势模型，再利用模型优化技术对容量趋势模型数据进行数据质量的优化，并利用模型评估技术对优化的数据进行储存容量趋势的评估，将评估的储存容量趋势数据传入预测储存单元中；

所述提示可视化模块用于接收数据分析模块中分析的储存影响数据进行可视化。

作为本技术方案的进一步改进，所述数据分析模块中储存影响情况包括：

①、通过线性分析算法分析储存器的负载情况了解当前的请求处理能力和容量利用情况；

②、分析储存器的带宽利用情况了解数据的传输速率和效率；

③、分析储存器的访问模式了解不同类型数据的访问特点和需求；

④、分析储存器的储存效果了解储存策略对储存性能的影响；

⑤、分析储存器的故障率了解储存器的可靠效果。

作为本技术方案的进一步改进，所述预测储存单元包括预测容量模块和储存策略模块；

所述预测容量模块用于接收趋势模型模块中评估的储存容量趋势数据，并利用逻辑预估算法对评估的储存容量趋势数据进行储存容量的预测；

所述储存策略模块用于接收数据分析模块中分析的储存影响数据和预测容量模块中预测的储存容量数据，并对分析的储存影响数据和预测的储存容量数据制定储存策略，将储存策略数据传入优化容量单元中。

作为本技术方案的进一步改进，所述优化容量单元用于接收预测储存单元中储存策略数据和数据获取模块中获取的数据，并利用优容技术根据储存策略数据和获取的数据进行储存容量的优化。

作为本技术方案的进一步改进，所述储存策略模块接收数据分析模块中分析的储存影响数据和预测容量模块中预测的储存容量数据并制定储存策略，将储存策略数据传入优化容量单元中，优化容量单元根据储存策略数据和获取的数据进行储存容量的优化，将优化的储存容量数据传入储存策略模块中，储存策略模块根据优化的储存容量数据对分析的储存影响数据和预测的储存容量数据整合成数据集，再利用目标储存策略算法根据优化的储存容量数据和整合的数据集进行再次制定储存策略。

与现有技术相比，本发明的有益效果：

1、该基于分布式计算容量的固态储存器管理系统中，优化容量单元根据储存策略数据和获取的数据进行储存容量的优化，将优化的储存容量数据传入储存策略模块中，储存策略模块根据优化的储存容量数据对分析的储存影响数据和预测的储存容量数据进行再次制定储存策略，通过制定更优化的储存策略，不仅可以获得对储存需求的深入洞察，还可以根据实际需求合理规划储存资源，从而提高储存效率和成本效益；

2、该基于分布式计算容量的固态储存器管理系统中，预测容量模块接收趋势模型模块中评估的储存容量趋势数据并进行储存容量的预测，通过预测的储存容量数据可以提前对未来的储存需求进行预估和规划，可以及时调整储存策略，还保证了储存器能够满足不断增长的数据储存需求，避免因为容量不足而导致的性能下降或数据中断。

附图说明

图1为本发明的整体框图；

图2为本发明的获取处理单元框图；

图3为本发明的分析建模单元框图；

图4为本发明的预测储存单元框图。

图中各个标号意义为：

1、获取处理单元；11、数据获取模块；12、数据处理模块；

2、分析建模单元；21、数据分析模块；22、趋势模型模块；23、提示可视化模块；

3、预测储存单元；31、预测容量模块；32、储存策略模块；4、优化容量单元。

具体实施方式

考虑到当使用者在使用储存器储存大量数据时，该储存器不会根据实际需求合理规划储存资源，更不会通过优化的储存策略对储存需求进行深入洞察，这样就会导致储存器容量资源的浪费情况，同样也提高了储存器的成本效益，当使用者在使用储存器数据储存需求突然不断增长时，这样会使储存器来不及调整储存策略，从而导致了容量不足而产生的性能下降或数据中断，于是我们提供了基于分布式计算容量的固态储存器管理系统。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：本发明提供基于分布式计算容量的固态储存器管理系统，请参阅图1-图4，包括获取处理单元1、分析建模单元2、预测储存单元3、优化容量单元4；

获取处理单元1用于获取储存的数据、固态储存器的可储存容量数据和储存行为数据并进行处理，分析建模单元2用于接收获取处理单元1中获取的数据，并对获取处理单元1中处理的数据进行储存影响的分析，再根据分析的储存影响数据和获取处理单元1中储存行为数据建立容量趋势模型，再对容量趋势模型数据进行储存容量趋势的评估，预测储存单元3用于接收分析建模单元2中分析的储存影响数据和评估的储存容量趋势数据，并根据评估的储存容量趋势数据进行储存容量的预测，再对预测的储存容量数据和分析的储存影响数据制定储存策略，优化容量单元4用于接收预测储存单元3中储存策略数据和获取处理单元1中获取的数据并优化储存容量；

预测储存单元3接收分析建模单元2中分析的储存影响数据和评估的储存容量趋势数据，并根据评估的储存容量趋势数据进行储存容量的预测，再对预测的储存容量数据和分析的储存影响数据制定储存策略，将储存策略数据传入优化容量单元4中，优化容量单元4根据获取处理单元1中获取的数据和储存策略数据进行储存容量的优化，将优化的储存容量数据传入预测储存单元3中，预测储存单元3根据优化的储存容量数据对预测的储存容量数据和分析的储存影响数据进行再次制定储存策略，通过对优化的储存容量数据进行分析和评估，可以更准确地了解当前储存系统的使用情况和容量瓶颈，这样可以避免过度或不足的储存资源配置，从而更精确地进行容量规划和预测。

以下是对上述单元的细化，请参阅图2-图4；

获取处理单元1包括数据获取模块11和数据处理模块12；

数据获取模块11除了获取储存的数据、固态储存器的可储存容量数据和储存行为数据，还可以获取性能数据、数据备份和恢复数据、效能指标数据，数据处理模块12用于接收数据获取模块11中获取的数据并进行处理，还可以对获取的数据进行校正和验证操作，将处理的数据传入分析建模单元2中；

解压缩的操作过程：

①、首先，收集需要校正和验证的数据，再根据储存需求和数据的特性，确定校正和验证的标准和规则；

②、根据数据类型和校正验证需求，选择合适的校正和验证工具，并根据预先设置的校正标准，对收集到的数据进行校正，根据预先设置的验证标准，对已校正的数据进行验证；

③、根据校正和验证操作的结果，处理校正和验证的错误或异常情况，对于大规模或重要的数据进行重复的校正和验证操作。

分析建模单元2包括数据分析模块21、趋势模型模块22和提示可视化模块23；

数据分析模块21用于接收数据处理模块12中处理的数据，并利用线性分析算法对处理的数据进行储存影响的分析，可以获得更深入的洞察和理解，数据分析可以揭示隐藏的模式、趋势和关联性，帮助识别问题和机会，这使得决策者能够做出基于事实和数据的准确判断，优化储存容量，同时将分析的储存影响数据传入趋势模型模块22中；

线性分析算法公式：

；

其中，表示分析的储存影响数据，/>指的是处理的数据值，/>指的是接收处理的数据值所产生的变量值，/>是回归系数，通过分析数据可以识别出储存过程中的瓶颈、浪费容量资源，从而优化储存资源分配，提高储存利用效率。

数据分析模块21中储存影响情况包括：

①、通过线性分析算法分析储存器的负载情况了解当前的请求处理能力和容量利用情况；

②、分析储存器的带宽利用情况了解数据的传输速率和效率；

③、分析储存器的访问模式了解不同类型数据的访问特点和需求；

④、分析储存器的储存效果了解储存策略对储存性能的影响；

⑤、分析储存器的故障率了解储存器的可靠效果。

趋势模型模块22用于接收数据分析模块21中分析的储存影响数据和数据获取模块11中获取的数据，并利用模型训练技术根据分析的储存影响数据和获取的数据建立容量趋势模型（容量趋势模型用于收集储存器中未储存数据的储存容量空间数据），再利用模型优化技术对容量趋势模型数据进行数据质量的优化，并利用模型评估技术对优化的数据进行储存容量趋势的评估，将评估的储存容量趋势数据传入预测储存单元3中；

利用模型训练技术建立容量趋势模型的实现原理：

①、创建训练数据集D，获取的数据集A，分析的储存影响数据集C，若D中的所有实例属于同一类C，将当前节点标记为容量节点，并将该类作为该节点的类别标记；

②、若A为空集，将当前节点标记为容量节点，并将D中实例数最多的类作为该节点的类别标记，计算每个储存容量的信息，选择信息最大的特征S作为当前节点的划分特征；

③、将当前节点的划分特征设置为S，根据S的每个可能取值，将数据集D划分为若干个子数据集Di，i=1,2,…,n；每个子数据集Di对应于特征S的一个取值；

④、再对于每个子数据集Di，将当前节点的子节点设置为所得到的子树，并将子树与对应的储存容量特征值关联，最终建立容量趋势模型。

模型优化技术实现原理：

①、选择合适的初始容量趋势模型参数值，使用当前的初始容量趋势模型参数值计算损失函数的值，用于衡量容量趋势模型的误差；

②、计算损失函数对于每个容量参数的偏导数，即梯度，对于每个参数，将其与损失函数的关系进行偏导数求解，得到该参数的梯度值；

③、使用梯度值乘以容量趋势模型的数量，得到参数的更新量，容量趋势模型的数量决定了每次参数调整的幅度，以平衡收敛速度与参数调整的稳定性，一般来说，较少的容量趋势模型的数量可以使得参数调整更加稳定，但以更多的迭代次数来稳定；

④、重复执行步骤②、③达到优化条件，达到最大迭代次数便是优化的次数越多，使得数据质量较高。

模型评估技术实现原理：

①、将容量趋势模型数据比作测试集，测试集用于模型趋势的评估；

②、在测试集上进行模型的测试，得到测试好的模型M，使用模型M对进行评估，最终得到评估的储存容量趋势结果。

提示可视化模块23用于接收数据分析模块21中分析的储存影响数据和储存策略模块32中储存策略数据并进行可视化。

预测储存单元3包括预测容量模块31和储存策略模块32；

预测容量模块31用于接收趋势模型模块22中评估的储存容量趋势数据，并利用逻辑算法对评估的储存容量趋势数据进行储存容量的预测，通过评估储存容量趋势数据可以预测未来的储存需求，这有助于提前做好容量规划，避免出现储存容量不足的情况，准确预测储存容量需求可以帮助组织合理分配和利用储存资源，同时将预测的储存容量数据传入储存策略模块32中；

逻辑预估算法公式：

；

其中，表示预测的储存容量数据概率值，1表示一个常数，代表一个固定的值，也可以表示概率的最大值，e表示自然对数的底数，也被称为欧拉数或自然常数，约等于2.71828，/>代表了的接收评估的储存容量趋势数据时产生的偏差值，/>指评估的储存容量趋势数据中的斜率参数，/>指的是接收评估的储存容量趋势数据时产生的时间值，根据储存容量的预测，组织可以精确了解未来储存需求的增长趋势，基于这些预测数据，可以避免过度购置储存设备而导致资源浪费，或者及时采购额外的储存设备以应对未来的容量需求，从而提高成本效益。

储存策略模块32用于接收数据分析模块21中分析的储存影响数据和预测容量模块31中预测的储存容量数据，并对分析的储存影响数据和预测的储存容量数据制定储存策略，采用与下文相同的目标储存策略算法，将储存策略数据传入优化容量单元4中。

优化容量单元4用于接收预测储存单元3中储存策略数据和数据获取模块11中获取的数据，并利用优容技术根据储存策略数据和获取的数据进行储存容量的优化；

优容技术实现原理：

①、首先，需要根据储存策略数据和获取的数据中的数据类型、大小、访问频率因素进行分类，再对重复性高的数据压缩和去重来减小储存容量的占用；

②、通过优化储存索引、树状结构、散列表结构，加速数据的存取和搜索过程，再将大文件切割成多个较小的分片，并将这些分片分布储存在不同的储存容量内；

③、根据数据的特性和访问模式，合理地定义和管理数据的生命周期，将常用的数据储存在访问速度较快的储存容量内，将不常用的或过期数据迁移到成本较低的储存介质上，再根据数据的重要性和访问频率，将数据分配到不同的储存容量层级中，高访问频率的数据可以储存在高速的储存容量上，而较低访问频率的数据可以迁移到低成本的储存容量层级上；

④、将数据压缩和加密结合使用，减小数据的储存空间，先对数据进行压缩，然后再对压缩后的数据进行加密，在实施优化容量策略后，需要对该数据进行评估，根据实际的储存需求和性能表现，对各项优化措施进行评估和调整，以达到更好的优化的储存需求。

储存策略模块32接收数据分析模块21中分析的储存影响数据和预测容量模块31中预测的储存容量数据并制定储存策略，将储存策略数据传入优化容量单元4中，优化容量单元4根据储存策略数据和获取的数据进行储存容量的优化，将优化的储存容量数据传入储存策略模块32中，储存策略模块32根据优化的储存容量数据对分析的储存影响数据和预测的储存容量数据整合成数据集，再利用目标储存策略算法根据优化的储存容量数据和整合的数据集进行再次制定储存策略。

目标储存策略算法实现原理：

①、首先需要定义一个合适的储存成本函数，该函数可以是基于储存设备成本、传输成本、能源成本等因素的衡量指标，再接收能够影响储存位置选择的分析的储存影响数据和预测的储存容量数据；

②、根据收集到的数据，对每个可能的储存位置计算储存成本，使用储存成本函数，根据储存设备成本、传输成本、能源成本因素，计算出每个储存位置的成本值；

③、根据给定的储存需求，比较不同储存位置的成本值，并选择成本最低的储存位置或满足特定性能要求的最优储存位置作为最佳储存位置；

④、通过选择最佳储存位置时，可能还需要考虑储存设备的容量的约束条件，定期重新评估储存位置选择，根据需求变化和新的数据评估更新储存位置，优化储存策略。

使用流程：

优化容量单元4接收预测储存单元3中储存策略数据和数据获取模块11中获取的数据并进行储存容量的优化，将优化的储存容量数据传入储存策略模块32中，储存策略模块32根据优化的储存容量数据对分析的储存影响数据和预测的储存容量数据进行再次制定储存策略。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的仅为本发明的优选例，并不用来限制本发明，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (3)

1.基于分布式计算容量的固态储存器管理系统，其特征在于：包括获取处理单元（1）、分析建模单元（2）、预测储存单元（3）、优化容量单元（4）；

所述获取处理单元（1）用于获取储存的数据、固态储存器的可储存容量数据和储存行为数据并进行处理；

所述分析建模单元（2）用于接收获取处理单元（1）中获取的数据，并对获取处理单元（1）中处理的数据进行储存影响的分析，再根据分析的储存影响数据和获取处理单元（1）中储存行为数据建立容量趋势模型，再对容量趋势模型数据进行储存容量趋势的评估；

所述预测储存单元（3）用于接收分析建模单元（2）中分析的储存影响数据和评估的储存容量趋势数据，并根据评估的储存容量趋势数据进行储存容量的预测，再对预测的储存容量数据和分析的储存影响数据制定储存策略；

所述优化容量单元（4）用于接收预测储存单元（3）中储存策略数据和获取处理单元（1）中获取的数据并优化储存容量；

所述预测储存单元（3）接收分析的储存影响数据和评估的储存容量趋势数据，并根据评估的储存容量趋势数据进行储存容量的预测，再对预测的储存容量数据和分析的储存影响数据制定储存策略，将储存策略数据传入优化容量单元（4）中，优化容量单元（4）根据获取处理单元（1）中获取的数据和储存策略数据进行储存容量的优化，将优化的储存容量数据传入预测储存单元（3）中，预测储存单元（3）根据优化的储存容量数据对预测的储存容量数据和分析的储存影响数据进行再次制定储存策略；

所述获取处理单元（1）包括数据获取模块（11）和数据处理模块（12）；

所述数据处理模块（12）用于接收数据获取模块（11）中获取的数据并进行处理，将处理的数据传入分析建模单元（2）中；

所述分析建模单元（2）包括数据分析模块（21）、趋势模型模块（22）和提示可视化模块（23）；

所述数据分析模块（21）用于接收数据处理模块（12）中处理的数据，并利用线性分析算法对处理的数据进行储存影响的分析；

所述趋势模型模块（22）用于接收数据分析模块（21）中分析的储存影响数据和数据获取模块（11）中获取的数据，并利用模型训练技术根据分析的储存影响数据和获取的数据建立容量趋势模型，再利用模型优化技术对趋势模型数据进行数据质量的优化，并利用模型评估技术对优化的数据进行储存容量趋势的评估，将评估的储存容量趋势数据传入预测储存单元（3）中；

所述提示可视化模块（23）用于接收数据分析模块（21）中分析的储存影响数据进行可视化；

所述预测储存单元（3）包括预测容量模块（31）和储存策略模块（32）；

所述预测容量模块（31）用于接收趋势模型模块（22）中评估的储存容量趋势数据，并利用逻辑预估算法对评估的储存容量趋势数据进行储存容量的预测；

所述储存策略模块（32）用于接收数据分析模块（21）中分析的储存影响数据和预测容量模块（31）中预测的储存容量数据，并对分析的储存影响数据和预测的储存容量数据制定储存策略，将储存策略数据传入优化容量单元（4）中；

所述优化容量单元（4）用于接收预测储存单元（3）中储存策略数据和数据获取模块（11）中获取的数据，并利用优容技术根据储存策略数据和获取的数据进行储存容量的优化。

2.根据权利要求1所述的分布式计算容量的固态储存器管理系统，其特征在于：所述数据分析模块（21）中储存影响情况包括：

①、通过线性分析算法分析储存器的负载情况，了解当前的请求处理能力和容量利用情况；

②、分析储存器的带宽利用情况，了解数据的传输速率和效率；

③、分析储存器的访问模式，了解不同类型数据的访问特点和需求；

④、分析储存器的储存效果，了解储存策略对储存性能的影响；

⑤、分析储存器的故障率，了解储存器的可靠效果。

3.根据权利要求1所述的分布式计算容量的固态储存器管理系统，其特征在于：所述储存策略模块（32）接收数据分析模块（21）中分析的储存影响数据和预测容量模块（31）中预测的储存容量数据并制定储存策略，将储存策略数据传入优化容量单元（4）中，优化容量单元（4）根据储存策略数据和获取的数据进行储存容量的优化，将优化的储存容量数据传入储存策略模块（32）中，储存策略模块（32）根据优化的储存容量数据对分析的储存影响数据和预测的储存容量数据整合成数据集，再利用目标储存策略算法根据优化的储存容量数据和整合的数据集进行再次制定储存策略。