CN115098023B - 一种阵列式存储器及存储器单元控制方法 - Google Patents

Abstract

本发明属于数据存储技术领域，涉及阵列式存储器及存储器单元控制方法，本发明在阵列式数据存储器中设置了控制器，控制器中包括监控系统，采用监控系统实时监控并获取存储器单元的实时工作负载，并根据存储器单元的工作负载和现阶段数据存储情况对存储器单元进行调度，以提高用户的数据存储速度和服务体验。本发明还提供了一种阵列式数据存储器的控制方法，以降低数据存储成本、提高数据存储速度为导向，同时兼顾数据存储企业的经营成本和用户使用体验，通过本发明的存储器低成本控制算法对存储器单元进行控制，按照现阶段需要存储的数据具体情况调用合适的存储器单元进行数据的存储，在尽可能降低存储成本的同时完成数据的高速存储任务。

Description

一种阵列式存储器及存储器单元控制方法

技术领域

本发明属于数据存储技术领域，涉及一种阵列式存储器及存储器单元控制方法。

背景技术

大数据时代来临，信息的海量增长，带来的是存储与传输的双重压力，一方面海量数据使得磁盘备份设备的容量趋于饱和，数据中心需要不停地增加存储设备来备份不断增长的数据。另一方面，大数据对于网络传输也是一个巨大的挑战，特别是云存储等存储设备在物理高度集中的场景下。

在目前市场上，随着市场的不断需求，磁盘容量也不断增大，但是在大型的存储系统当中，单个硬盘还是满足不了系统的要求，于是，就有了磁盘阵列技术。即，将若干个磁盘相互串联或者并联，形式存储器单元阵列，以阵列式的存储器单元组成网络进行海量数据的存储工作。阵列式的存储器具有存储容量大、存储速度快的特点，但是如何对整个阵列中的若干个存储器进行有效的调度和控制是必须解决的问题，否则将无法发挥阵列式存储器的优点。

中国专利CN103106175A公开了一种基于共享寄存器和流水处理的处理器阵列，包括：多个处理器单元，划分在多个流水级内，每一流水级包括一个或多个处理器单元，不同流水级之间的处理器单元相互独立；多个寄存器文件，分布在所述多个流水级内，每一流水级包含一个寄存器文件，同一流水级内的处理器单元通过本流水级内的寄存器文件进行数据交互，各流水级内的寄存器文件将数据逐级推移至下一流水级内的寄存器文件。本发明能够使多个处理器单元协同工作，有利于提高处理器阵列的计算效率。

中国专利CN103257908A公开了一种软硬件协同的多控制器磁盘阵列设计方法，其随着控制器数量的增长，每个控制器的心跳计算负载是固定的，故障判断时间也是固定的。双向环形心跳可以更快的发现多个连续控制器失效，并且具有良好的可扩展性。双向环形心跳运行在系统软件层，属于软件心跳机制。由于软件心跳运行于控制器之中，当出现多个控制器失效的时候，容易形成裂脑问题，因此本发明设计中，将软件心跳机制与硬件仲裁机制相协同，避免裂脑问题的产生，提高控制器状态监测的可靠性，并降低故障发现的延迟，实现高效、可靠的系统状态维护，保证存储服务的正常、稳定运行。

中国专利CN107340976A公开了一种元数据存储方法及系统，其中，所述元数据存储方法针对元数据的修改单元一般较小的特性，根据接收的待修改元数据的存储参数生成元数据块，并存储于非易失性内存中；然后当非易失性内存中存储的元数据块总长度大于或等于预设长度时，将非易失性内存中存储的元数据块进行合并下盘的方式减少小块数据的随机写操作对下层存储介质(固态硬盘)的性能影响，从而实现提升固态硬盘的性能，并提升固态硬盘的使用寿命的目的。

中国专利CN112152699A公开了一种数据合路分发处理系统，通过光纤网接收通用数传服务器的载荷数据，对载荷数据格式解析、合路处理、数据存储、数据回放、误码查询及错误信息定位等，对载荷数据分类并实时分发。载荷数据分类后通过光纤网络实时分发载荷数据给载荷终端设备。本方法能够同时处理2路的高速数据，每一路实时处理、存储、网络分发的速率可达3Gbps。可以显著提高数传系统的载荷数据处理速度，实时监测数传分系统星地传输通道工作的正确性和匹配性。

上述现有技术都提及了阵列式数据存储的技术，但是这些公开文件以及现有技术中很少提及对阵列式存储器网络的控制问题。实际上，对于经营数据存储业务的企业来说，数据存储的成本以及用户在进行数据存储时的使用体验会直接影响企业的经营成本和用户吸引力度，更低的成本和更好的用户体验，将会给企业带来更多的用户和更多的收益。因此，对于数据存储企业来说，如何尽可能地降低数据存储的成本、提高用户使用体验是一个十分现实且重要的问题。对于数据存储成本来说，一般包括硬件成本和非硬件成本，对于用户体验来说，其最重要的就是数据存储速度，如何实现用户存储速度和企业经营成本的协调是数据存储企业必须解决的问题。为此，本发明的发明人根据实际工作经验，提出本发明的技术方案，以期获得用户存储速度和企业经营成本的协调。

发明内容

为解决上述技术问题，本发明提供一种阵列式存储器及存储器单元控制方法，本发明在阵列式数据存储器中设置了控制器，根据存储器单元的工作负载和现阶段数据存储情况对存储器单元进行调度，以提高用户的数据存储速度，改善用户的数据存储服务体验。本发明的控制方法以降低数据存储成本、提高数据存储速度为导向，能够在尽可能降低存储成本的同时完成数据的高速存储任务。

为了实现上述目的，本发明的技术方案如下：

一种阵列式存储器，所述阵列式存储器包括若干存储器单元，若干存储器单元组成存储器组，所述阵列式存储器包括若干存储器组，所述存储器单元之间互相通信；还包括控制系统和监控系统，所述控制系统与所述存储器单元相连，所述监控系统与所述存储器单元相连，所述监控系统用于监测所述存储器单元的工作状态。

进一步的，所述存储器单元的工作状态包括存储器单元的工作效率和其对需要存储的数据的读写难度。

进一步的，所述监控系统包括存储器单元负载监控组件，所述控制系统包括存储器单元调用模块。

进一步的，所述存储器单元调用模块根据所述存储器负载监控组件采集的信息调用合适的存储器单元进行数据存储，所述存储器单元负载监控组件与所述存储器单元调用模块相互反馈连接。

进一步的，还包括数据压缩模块，所述数据压缩模块将待存储的数据压缩后发送到存储器单元进行存储。

本发明还提供一种阵列式存储器的存储器单元控制方法，所述控制方法采用存储器低成本控制算法对存储器单元进行控制，所述存储器低成本控制算法为：

s.t.t∈T

其中，f(t)为存储器单元完成一定数据的存储所花费时间的最优值，s.t为约束条件，minZ为存储一定数据所需的硬件成本和非硬件最低成本，Z为存储一定数据所需的硬件成本和非硬件成本总和，s为存储的数据所包含的数据单元数量，m为需要存储的数据总量，n为参与存储的存储器单元数量，i为第i个数据存储需求，i＝1，2，3，...s，j为第j个可以用于数据存储的存储器单元，c_ij为第j个存储器单元完成第i个数据存储需求所花费的硬件成本，x_ij为调派第j个存储器单元完成第i个数据存储需求时为1，否则为0，t_ij为第j个存储器单元完成第i个数据存储需求所花费的时间，q为存储阵列整体的存储效益值，p为存储阵列整体进行数据存储时的单位收费标准，w为存储器单元的硬件成本，d为存储阵列中存储器单元的总数，K_low为存储一定数据最小的硬件成本投入值，K_up为存储一定数据最大的硬件成本投入值，T_up为存储阵列存储一定数据所允许的最大存储时间。

进一步的，所述存储器低成本控制算法中的Z为存储一定数据所需的硬件成本和非硬件成本总和，存储一定数据所需的硬件成本z₁的计算方法为：

存储一定数据所需的非硬件成本z₂的计算方法为：

进一步的，其中的c_ij＝c₀*h_i*g_j，g_j为第j个存储器单元的存储效率，h_i为第i个数据存储需求的写入难度，c₀为存储单元硬件成本系数。

进一步的，其中的其中的/>ω_k为第k个存储效率调整系数、ε_ρ为第ρ个写入难度调整系数、Ψ_kj为第j个存储器单元的第k个工作效率值，k＝1，2，...、σ_ρi为第i个数据存储需求的第ρ个写入难度值，ρ＝1，2，...。

本发明具有以下有益效果：

(1)、本发明在阵列式数据存储器中设置了控制器，控制器中包括监控系统，采用监控系统实时监控并获取存储器单元的实时工作负载，并根据存储器单元的工作负载和现阶段数据存储情况对存储器单元进行调度，将现阶段工作效率较高、数据读写能力较强的存储器单元用于此时的数据存储工作，以提高用户的数据存储速度，改善用户的数据存储服务体验。

(2)、本发明还提供了一种阵列式数据存储器的控制方法，本发明的控制方法以降低数据存储成本、提高数据存储速度为导向，同时兼顾了数据存储企业的经营成本和用户的数据存储使用体验，通过本发明的存储器低成本控制算法对存储器单元进行控制，按照现阶段需要存储的数据具体情况调用合适的存储器单元进行数据的存储，在尽可能降低存储成本的同时完成数据的高速存储任务。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明阵列式存储器的结构示意图。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。

本发明提供一种阵列式存储器及存储器单元控制方法，本发明在阵列式数据存储器中设置了控制器，根据存储器单元的工作负载和现阶段数据存储情况对存储器单元进行调度，以提高用户的数据存储速度，改善用户的数据存储服务体验。本发明的控制方法以降低数据存储成本、提高数据存储速度为导向，能够在尽可能降低存储成本的同时完成数据的高速存储任务。

如本发明背景技术中所言，如何实现用户存储速度和企业经营成本的协调是数据存储企业必须解决的问题，为了解决这一问题，需要在降低数据存储成本的同时提高数据存储的速度，为了解决这一问题，如图1所示，本发明提供了一个阵列式存储器，本发明的所述阵列式存储器包括若干存储器单元，若干存储器单元组成存储器组，所述阵列式存储器包括若干存储器组，所述存储器单元之间互相通信；还包括控制系统和监控系统，所述控制系统与所述存储器单元相连，所述监控系统与所述存储器单元相连，所述监控系统用于监测所述存储器单元的工作状态。

本发明所述存储器单元的工作状态包括存储器单元的工作效率和其对需要存储的数据的读写难度。存储器单元的工作效率是指现阶段的存储器单元进行数据存储时将数据写入存储器的效率，存储器单元对需要存储的数据的读写难度是指现阶段需要存储的数据写入存储器的难度，一般来说，整体的大文件具有较高的写入速度，比如整个的音视频文件，而零散的碎片文件具有较小的写入速度，比如分散的文档、图片或者含有大量零散文件的压缩包，存储器对于这一类文件一般都具有较小的写入速度。

本发明的所述监控系统包括存储器单元负载监控组件，所述控制系统包括存储器单元调用模块，所述存储器单元调用模块根据所述存储器负载监控组件采集的信息调用合适的存储器单元进行数据存储，所述存储器单元负载监控组件与所述存储器单元调用模块相互反馈连接。对于阵列式存储装置来说，由于其整个阵列中的各个存储器单元不是完全一致地在工作，也就是说，每一个存储器单元的工作状态和工作负载都不是完全一样的，在一个特定的时间段内，可能有一些存储器单元在满负荷工作，而另一些存储器单元的工作负荷可能相对较小，此时如果将现阶段的数据存储工作推送给工作负荷较高的存储单元则会导致数据存储速度较低、用户体验不好，如果将现阶段的数据存储工作推送给工作负荷较低的存储器单元虽然可以提高数据存储的速度，但是不利于存储器资源的有效利用，会在整体上增加企业的运营成本。因此，需要实时监控阵列中的各个存储器单元的工作状态，将复合要求的存储器单元调用出来，将不符合工作要求的存储器单元及时从现阶段的数据存储工作中移除，这样既可以获得较好的数据存储速度、提高用户使用体验，也可以提高阵列式存储器的工作效能，降低企业的运营成本。

本发明还包括数据压缩模块，所述数据压缩模块将待存储的数据压缩后发送到存储器单元进行存储。

为了使合适的存储器单元在合适的时间调配出来进行现阶段的数据存储工作，本发明还提供了一种阵列式存储器的控制方法，所述控制方法采用存储器低成本控制算法对存储器单元进行控制，所述存储器低成本控制算法为：

s.t.t∈T

其中各个参数的具体含义如下：

f(t)为存储器单元完成一定数据的存储所花费时间的最优值，

s.t为约束条件，

minZ为存储一定数据所需的硬件成本和非硬件最低成本，

Z为存储一定数据所需的硬件成本和非硬件成本总和，

s为存储的数据所包含的数据单元数量，

m为需要存储的数据总量，

n为参与存储的存储器单元数量，

i为第i个数据存储需求，每一个数据存储需求对应一个数据单元，i＝1，2，3，...s，

j为第j个可以用于数据存储的存储器单元，

c_ij为第j个存储器单元完成第i个数据存储需求所花费的硬件成本，

x_ij为调派第j个存储器单元完成第i个数据存储需求时为1，否则为0，

t_ij为第j个存储器单元完成第i个数据存储需求所花费的时间，

q为存储阵列整体的存储效益值，

p为存储阵列整体进行数据存储时的单位收费标准，

w为存储器单元的硬件成本，

d为存储阵列中存储器单元的总数，

K_low为存储一定数据最小的硬件成本投入值，

K_up为存储一定数据最大的硬件成本投入值，

T_up为存储阵列存储一定数据所允许的最大存储时间。

所述存储器低成本控制算法中的Z为存储一定数据所需的硬件成本和非硬件成本总和。本发明的硬件成本是指完成一个数据存储工作所占用的硬件资源所产生的成本，本发明的存储一定数据所需的硬件成本z₁的计算方法为：

其中的c_ij＝c₀*h_i*g_j，g_j为第j个存储器单元的存储效率，

h_i为第i个数据存储需求的写入难度，

c₀为存储单元硬件成本系数。

其中的

ω_k为第k个存储效率调整系数，

ε_ρ为第ρ个写入难度调整系数，

Ψ_kj为第j个存储器单元的第k个工作效率值，k＝1，2，...，

σ_ρi为第i个数据存储需求的第ρ个写入难度值，ρ＝1，2，...。

本发明所述的非硬件成本是指存储阵列在进行一个数据存储工作时，由于存储器单元被占用而不能进行其他的数据存储工作，由此所导致的存储器单元占用成本，本发明的存储一定数据所需的非硬件成本z₂的计算方法为：

本发明的控制方法采用存储器低成本控制算法对存储器单元进行控制，本发明的这一存储器低成本控制算法可以完成合适的存储器单元和合适的数据存储工作的匹配调度问题，即，实现了存储器单元选择和数据存储工作的最优化配对，让在现阶段最合适的存储器单元去完成现阶段的数据存储工作，在不降低数据存储速度的情况下充分调用了存储器资源，实现了存储器资源的成分利用和数据存储速度的协调统一。

现有技术中一般的控制方法的基本逻辑是根据数据存储任务来分配存储单元，这一控制逻辑本身没有问题，其是以数据存储任务为导向，为了完成该任务，尽可能多地调用存储器单元，可以实现高速存储，具有很好的用户体验。但是对于数据存储企业来说，其在一个时间段内，可能面临多个数据存储任务，其不可能将全部存储器资源都只用于一个数据存储工作，这很不现实。同时，对于数据存储企业来说，其需要控制成本，需要做到经营成本和用户体验的平衡，如果为了提高用户体验而无节制地进行存储器单元的扩增将会导致企业的经营成本成为黑洞，这显然不能作为现代化企业的经营方针，而本发明的控制方法可以实现数据存储成本和数据存储速度的平衡。

对于数据存储业务来说，其一般具有一个成本下限和一个数据存储用时上限，即，完成一次数据存储业务所需要的最低成本和最大用时，最低成本决定了企业的盈利水平(对于企业来说是成本越低越好)，而最大用时决定了用户的使用体验(对于用户来说是存储用时越少越好，但是也有一个可接受的用时上限，如果超过了该用时上限，将会导致使用体验的极度下降)。

本发明的控制方法正是根据数据存储的最低成本和最大用时动态调整用于此次数据存储工作的存储器单元，即，在合适的时间将合适的存储器单元调配出来工作，形成以工作时间和具体存储器单元为参数的控制算法，在现有存储器单元完成数据存储工作时间和存储器阵列成本最小的情况下进行存储器单元和数据存储工作的配对。

本发明上述模型中的minf(t)为存储器单元完成一定数据的存储所花费时间的最优值，即在使用了合适的存储器单元的情况下存储一定数据所花费的最少时间。s.t为约束条件，本发明设定成本和时间为求最优解的约束条件，其中的成本分为存储一定数据最小的硬件成本投入值K_low、存储一定数据最大的硬件成本投入值K_up，时间约束为存储阵列存储一定数据所允许的最大存储时间T_up；同时，还需要考虑第j个存储器单元完成第i个数据存储需求所花费的时间。即，在上述约束条件下，完成最低用时minf(t)和最低成本minZ的最优解求解，并根据该最优解确定在时间t时其所对应的存储器单元的分配方案，以此获得了数据存储成本和数据存储时间(即用户使用体验)的平衡。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上文所述的存储器单元控制方法，或者应用上文所述的阵列式存储器进行数据存储。

该电子设备可以以通用计算设备的形式表现，例如其可以为服务器设备。电子设备的组件可以包括但不限于：至少一个处理器、至少一个存储器、连接不同系统组件(包括存储器和处理器)的总线。总线包括数据总线、地址总线和控制总线。存储器可以包括易失性存储器，例如随机存取存储器(RAM)和/或高速缓存存储器，还可以进一步包括只读存储器(ROM)。存储器还可以包括具有一组(至少一个)程序模块的程序工具，这样的程序模块包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。处理器通过运行存储在存储器中的计算机程序，从而执行各种功能应用以及数据传输。

此外，电子设备还可以与一个或多个外部设备(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(I/O)接口进行。并且，电子设备还可以通过网络适配器与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器通过总线与电子设备的其它模块通信。应当明白，可以结合电子设备使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。

尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。

本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上文所述的存储器单元控制方法，或者应用上文所述的阵列式存储器进行数据存储。

其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。

本发明还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行实现上文所述的存储器单元控制方法，或者应用上文所述的阵列式存储器进行数据存储。

其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码，所述程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (8)

1.一种阵列式存储器，其特征在于，所述阵列式存储器包括若干存储器单元，若干存储器单元组成存储器组，所述阵列式存储器包括若干存储器组，所述存储器单元之间互相通信；还包括控制系统和监控系统，所述控制系统与所述存储器单元相连，所述监控系统与所述存储器单元相连，所述监控系统用于监测所述存储器单元的工作状态；

采用存储器低成本控制算法对存储器单元进行控制，所述存储器低成本控制算法为：

s.t.t∈T

其中，f(t)为存储器单元完成一定数据的存储所花费时间的最优值，s.t为约束条件，minZ为存储一定数据所需的硬件成本和非硬件最低成本，Z为存储一定数据所需的硬件成本和非硬件成本总和，s为存储的数据所包含的数据单元数量，m为需要存储的数据总量，n为参与存储的存储器单元数量，i为第i个数据存储需求，i＝1,2,3,…s，j为第j个可以用于数据存储的存储器单元，ci_j为第j个存储器单元完成第i个数据存储需求所花费的硬件成本，x_ij为调派第j个存储器单元完成第i个数据存储需求时为1，否则为0，t_ij为第j个存储器单元完成第i个数据存储需求所花费的时间，q为存储阵列整体的存储效益值，p为存储阵列整体进行数据存储时的单位收费标准，w为存储器单元的硬件成本，d为存储阵列中存储器单元的总数，K_low为存储一定数据最小的硬件成本投入值，K_up为存储一定数据最大的硬件成本投入值，T_up为存储阵列存储一定数据所允许的最大存储时间。

2.根据权利要求1所述的阵列式存储器，其特征在于，所述存储器单元的工作状态包括存储器单元的工作效率和其对需要存储的数据的读写难度。

3.根据权利要求1所述的阵列式存储器，其特征在于，所述监控系统包括存储器单元负载监控组件，所述控制系统包括存储器单元调用模块。

4.很据权利要求3所述的阵列式存储器，其特征在于，所述存储器单元调用模块根据所述存储器单元负载监控组件采集的信息调用合适的存储器单元进行数据存储，所述存储器单元负载监控组件与所述存储器单元调用模块相互反馈连接。

5.根据权利要求4所述的阵列式存储器，其特征在于，还包括数据压缩模块，所述数据压缩模块将待存储的数据压缩后发送到存储器单元进行存储。

6.根据权利要求5所述的阵列式存储器，其特征在于，所述存储器低成本控制算法中的Z为存储一定数据所需的硬件成本和非硬件成本总和，存储一定数据所需的硬件成本z₁的计算方法为：

存储一定数据所需的非硬件成本z₂的计算方法为：

7.根据权利要求6所述的阵列式存储器，其特征在于，其中的c_ij＝c₀*h_i*g_j，g_j为第j个存储器单元的存储效率，h_i为第i个数据存储需求的写入难度，c₀为存储单元硬件成本系数。

8.根据权利要求7所述的阵列式存储器，其特征在于，其中的其中的/>ω_k为第k个存储效率调整系数、∈_ρ为第ρ个写入难度调整系数、/>为第j个存储器单元的第k个工作效率值，k＝1,2,…、δ_ρi为第i个数据存储需求的第ρ个写入难度值，ρ＝1,2,…。