CN116469447A - 一种基于动态规划的存储单元可靠性等级确定方法及装置 - Google Patents

Abstract

本申请公开了一种基于动态规划的存储单元可靠性等级确定方法及装置、存储介质、计算机设备，该方法包括：通过代理器确定存储系统中每个存储单元对应的初始状态，其中，所述存储系统包括至少一个所述存储单元；基于每个所述存储单元对应的所述初始状态，通过所述代理器确定每个所述存储单元对应的至少一个目标状态，以及与每个所述目标状态对应的目标可靠性动作，其中，存储单元在每个所述目标状态对应的所述目标可靠性动作下奖励最大；基于每个所述存储单元对应的所述目标可靠性动作，通过代理器确定每个所述存储单元对应的可靠性等级。本申请实施例通过利用动态规划方法，可以方便、准确地确定存储单元的可靠性，提升存储单元可靠性确定的效率。

Description

一种基于动态规划的存储单元可靠性等级确定方法及装置

技术领域

本申请涉及闪存寿命预测技术领域，尤其是涉及到一种基于动态规划的存储单元可靠性等级确定方法及装置、存储介质、计算机设备。

背景技术

现今电子技术快速发展，在此背景下存储器也在不断发展。然而，随着存储器存储密度不断增加，存储器的可靠性却在逐渐减弱，例如，存储器的存储单元出现数据读出错误、数据丢失等。

现有技术中为了能够保证存储器使用过程中的有效性，通常先测试一部分芯片，并利用测试结果进行建模，通过模型后续进行存储器可靠性的预测。然而，这种方法如果前期测试的芯片数量不足，会严重影响后续使用时存储器可靠性预测的准确性；如果测试的芯片数量较大，又会浪费大量的时间。

因此，如何方便、准确地确定存储器的可靠性，成为了本领域亟待解决的问题。

发明内容

有鉴于此，本申请提供了一种基于动态规划的存储单元可靠性等级确定方法及装置、存储介质、计算机设备，可以方便、准确地确定存储单元的可靠性，提升存储单元可靠性确定的效率。

根据本申请的一个方面，提供了一种基于动态规划的存储单元可靠性等级确定方法，包括：

通过代理器确定存储系统中每个存储单元对应的初始状态，其中，所述存储系统包括至少一个所述存储单元；

基于每个所述存储单元对应的所述初始状态，通过所述代理器确定每个所述存储单元对应的至少一个目标状态，以及与每个所述目标状态对应的目标可靠性动作，其中，所述存储单元在每个所述目标状态对应的所述目标可靠性动作下奖励最大；

基于每个所述存储单元对应的所述目标可靠性动作，通过所述代理器确定每个所述存储单元对应的可靠性等级。

可选地，所述通过所述代理器确定每个所述存储单元对应的至少一个目标状态，以及与每个所述目标状态对应的目标可靠性动作，具体包括：

通过所述代理器，确定每个所述存储单元的所述初始状态对应的第一目标状态，并从与所述第一目标状态对应的多个可靠性动作中确定奖励最大的可靠性动作作为所述目标可靠性动作；

判断每个所述存储单元对应的所述第一目标状态是否为预设状态中的最终状态；

当所述第一目标状态不为所述预设状态中的最终状态时，通过所述代理器将所述存储单元对应的第一目标状态作为当前状态，确定当前状态对应的第二目标状态，并从与所述第二目标状态对应的多个可靠性动作中确定奖励最大的可靠性动作作为目标可靠性动作，直至所述存储单元的目标状态变为所述预设状态中的最终状态。

可选地，所述通过代理器确定存储系统中每个存储单元对应的初始状态，具体包括：

通过所述代理器接收所述存储系统中每个所述存储单元对应的目标特征参数，其中，所述目标特征参数包括错误数、误码率、错误比特数中的至少一种；

基于所述目标特征参数，通过所述代理器确定每个所述存储单元对应的初始状态。

可选地，所述基于每个所述存储单元对应的所述目标可靠性动作，通过所述代理器确定每个所述存储单元对应的可靠性等级，具体包括：

基于每个所述存储单元对应的任一所述目标可靠性动作，通过所述代理器分别确定每个所述目标可靠性动作对应的操作周期；

依据所述操作周期，确定每个所述存储单元对应的操作总周期；

基于每个所述存储单元对应的操作总周期，确定每个所述存储单元对应的可靠性等级。

可选地，所述确定每个所述存储单元对应的可靠性等级之后，所述方法还包括：

通过所述存储系统判断是否接收到代理器终止运行命令；

当接收到所述代理器终止运行命令时，将所述代理器终止运行命令通过所述存储系统传输至所述代理器中，使所述代理器基于所述代理器终止运行命令终止运行；

当未接收到所述代理器终止运行命令时，基于所述存储系统中每个所述存储单元对应的所述可靠性等级，确定所述存储系统中是否包含可正常运行的存储单元，并当所述存储系统中不包含可正常运行的存储单元时，终止运行所述代理器。

可选地，所述通过代理器确定存储系统中每个存储单元对应的初始状态之后，所述方法还包括：

判断所述初始状态是否是预设状态中的最终状态，并当结果为是时，将所述存储单元剔除，基于剔除后的每个存储单元对应的所述初始状态，通过所述代理器确定剔除后的每个所述存储单元对应的至少一个目标状态，以及与每个所述目标状态对应的目标可靠性动作。

可选地，所述通过所述代理器确定每个所述存储单元对应的可靠性等级之后，所述方法还包括：

获取所述存储系统的历史使用数据，并基于每个所述存储单元对应的可靠性等级以及所述历史使用数据，确定所述存储系统的预计应用时长。

根据本申请的另一方面，提供了一种基于动态规划的存储单元可靠性等级确定装置，包括：

初始状态确定模块，用于通过代理器确定存储系统中每个存储单元对应的初始状态，其中，所述存储系统包括至少一个所述存储单元；

动作确定模块，用于基于每个所述存储单元对应的所述初始状态，通过所述代理器确定每个所述存储单元对应的至少一个目标状态，以及与每个所述目标状态对应的目标可靠性动作，其中，所述存储单元在每个所述目标状态对应的所述目标可靠性动作下奖励最大；

可靠性等级确定模块，用于基于每个所述存储单元对应的所述目标可靠性动作，通过所述代理器确定每个所述存储单元对应的可靠性等级。

可选地，所述动作确定模块，具体用于：

通过所述代理器，确定每个所述存储单元的所述初始状态对应的第一目标状态，并从与所述第一目标状态对应的多个可靠性动作中确定奖励最大的可靠性动作作为所述目标可靠性动作；判断每个所述存储单元对应的所述第一目标状态是否为预设状态中的最终状态；当所述第一目标状态不为所述预设状态中的最终状态时，通过所述代理器将所述存储单元对应的第一目标状态作为当前状态，确定当前状态对应的第二目标状态，并从与所述第二目标状态对应的多个可靠性动作中确定奖励最大的可靠性动作作为目标可靠性动作，直至所述存储单元的目标状态变为所述预设状态中的最终状态。

可选地，所述初始状态确定模块，具体用于：

通过所述代理器接收所述存储系统中每个所述存储单元对应的目标特征参数，其中，所述目标特征参数包括错误数、误码率、错误比特数中的至少一种；基于所述目标特征参数，通过所述代理器确定每个所述存储单元对应的初始状态。

可选地，所述可靠性等级确定模块，具体用于：

基于每个所述存储单元对应的任一所述目标可靠性动作，通过所述代理器分别确定每个所述目标可靠性动作对应的操作周期；依据所述操作周期，确定每个所述存储单元对应的操作总周期；基于每个所述存储单元对应的操作总周期，确定每个所述存储单元对应的可靠性等级。

可选地，所述装置还包括：

接收模块，用于所述确定每个所述存储单元对应的可靠性等级之后，通过所述存储系统判断是否接收到代理器终止运行命令；

判断模块，用于当接收到所述代理器终止运行命令时，将所述代理器终止运行命令通过所述存储系统传输至所述代理器中，使所述代理器基于所述代理器终止运行命令终止运行；当未接收到所述代理器终止运行命令时，基于所述存储系统中每个所述存储单元对应的所述可靠性等级，确定所述存储系统中是否包含可正常运行的存储单元，并当所述存储系统中不包含可正常运行的存储单元时，终止运行所述代理器。

可选地，所述装置还包括：

剔除模块，用于所述通过代理器确定存储系统中每个存储单元对应的初始状态之后，判断所述初始状态是否是预设状态中的最终状态，并当结果为是时，将所述存储单元剔除，基于剔除后的每个存储单元对应的所述初始状态，通过所述代理器确定剔除后的每个所述存储单元对应的至少一个目标状态，以及与每个所述目标状态对应的目标可靠性动作。

可选地，所述装置还包括：

时长确定模块，用于所述通过所述代理器确定每个所述存储单元对应的可靠性等级之后，获取所述存储系统的历史使用数据，并基于每个所述存储单元对应的可靠性等级以及所述历史使用数据，确定所述存储系统的预计应用时长。

依据本申请又一个方面，提供了一种存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述基于动态规划的存储单元可靠性等级确定方法。

依据本申请再一个方面，提供了一种计算机设备，包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述基于动态规划的存储单元可靠性等级确定方法。

借由上述技术方案，本申请提供的一种基于动态规划的存储单元可靠性等级确定方法及装置、存储介质、计算机设备，首先可以利用代理器确定各个存储单元对应的初始状态，接着，可以以每个存储单元对应的初始状态为基础，确定各个存储单元对应的一个或多个目标状态。此外，在确定初始状态的每个目标状态时，还可以从每个目标状态对应的多个可靠性动作中确定出目标可靠性动作，每个可靠性动作均对应有奖励，可以从多个可靠性动作中确定奖励最大的作为目标可靠性动作。之后，针对每个存储单元对应的目标可靠性动作，可以最终通过代理器确定每个存储单元对应的可靠性等级。本申请实施例通过利用动态规划方法，可以方便、准确地确定存储单元的可靠性，提升存储单元可靠性确定的效率。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1示出了本申请实施例提供的一种基于动态规划的存储单元可靠性等级确定方法的流程示意图；

图2示出了本申请实施例提供的另一种基于动态规划的存储单元可靠性等级确定方法的流程示意图；

图3示出了本申请实施例提供的一种基于动态规划的存储单元可靠性等级确定装置的结构示意图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本申请。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

在本实施例中提供了一种基于动态规划的存储单元可靠性等级确定方法，如图1所示，该方法包括：

步骤101，通过代理器确定存储系统中每个存储单元对应的初始状态，其中，所述存储系统包括至少一个所述存储单元；

本申请实施例提供的基于动态规划的存储单元可靠性等级确定方法，可以应用于易失性存储器，也可以应用于非易失性存储器。在本申请中，代理器指的是可以判断存储单元对应的可靠性等级的模块，存储系统中可以包括一个或多个存储单元。在通过本方法进行存储单元可靠性等级预测之前，可以先确定该型号存储单元在不同预设状态下对应的多种可靠性动作，以及在每种可靠性动作下对应的奖励。由于状态是预先确定的，每种预设状态下对应的可靠性动作也是预先确定的，因而后续可以重复利用以进行存储单元可靠性的确定，简单方便。本申请基于动态规划的思想，将一个待解决的问题视为多阶段决策问题，具体可以将一个待解决的问题通过各个状态划分为多个阶段，在解决问题最初可以确定初始状态，此外，针对每个状态，可以对应有不同的可选择动作，与每个可选择动作对应有设定的奖励。动态规划存在一个显著的特征即无后效性。例如，给定某一阶段的状态，则在这一阶段以后过程的发展不受这阶段以前各状态的影响，所有各阶段都确定时，整个过程即确定下来。因而，在利用动态规划思想解决问题时，可以在各个阶段寻找奖励最大的可靠性动作，这样各个阶段对应的解均为最优解，最后选择的各个阶段的可靠性动作均为最优动作。在本申请实施例中，确定存储系统中存储单元的可靠性等级之前，首先，可以利用代理器确定各个存储单元对应的初始状态。在这里，初始状态可以包括存储单元的错误等级等。

步骤102，基于每个所述存储单元对应的所述初始状态，通过所述代理器确定每个所述存储单元对应的至少一个目标状态，以及与每个所述目标状态对应的目标可靠性动作，其中，所述存储单元在每个所述目标状态对应的所述目标可靠性动作下奖励最大；

接着，可以以每个存储单元对应的初始状态为基础，确定各个存储单元对应的一个或多个目标状态。此外，在确定初始状态的每个目标状态时，还可以从每个目标状态对应的多个可靠性动作中确定出目标可靠性动作，每个可靠性动作均对应有奖励，可以从多个可靠性动作中确定奖励最大的作为目标可靠性动作。奖励最大，意味着该可靠性动作为在初始状态过渡到目标状态的最优解。在这里，从可靠性动作可以反映出存储单元对应的擦除-编程操作周期。例如，存储单元的状态可以是存储单元的错误等级状态，包括5个等级，分别是1级～5级，其中1级对应的错误数最少。当存储单元的初始状态为2级时，那么该存储单元的目标状态为3级、4级和5级，对应的目标可靠性动作有3个，分别是从2级初始状态变为3级目标状态对应的目标可靠性动作、从3级目标状态变为4级目标状态对应的目标可靠性动作以及从4级目标状态变为5级目标状态对应的目标可靠性动作；当存储单元的初始状态为4级时，那么该存储单元的目标状态为5级，对应的目标可靠性动作有1个，即从4级初始状态变为5级目标状态对应的目标可靠性动作。

步骤103，基于每个所述存储单元对应的所述目标可靠性动作，通过所述代理器确定每个所述存储单元对应的可靠性等级。

在该实施例中，针对每个存储单元对应的目标可靠性动作，可以最终通过代理器确定每个存储单元对应的可靠性等级。例如，存储单元A对应有3个目标状态，以及3个目标可靠性动作，其中3个目标状态分别是3级错误等级状态、4级错误等级状态以及5级错误等级状态。第一个目标可靠性动作指示经过a个擦除-编程操作周期后进入3级错误等级状态且可正常运作，第二个目标可靠性动作指示经过b个擦除-编程操作周期后进入4级错误等级状态且可正常运作，第三个目标可靠性动作指示经过c个擦除-编程操作周期后进入5级错误等级状态且可正常运作，最后可以根据这三个目标可靠性动作对应的擦除-编程操作周期总和，确定该存储单元对应的可靠性等级。

通过应用本实施例的技术方案，首先可以利用代理器确定各个存储单元对应的初始状态，接着，可以以每个存储单元对应的初始状态为基础，确定各个存储单元对应的一个或多个目标状态。此外，在确定初始状态的每个目标状态时，还可以从每个目标状态对应的多个可靠性动作中确定出目标可靠性动作，每个可靠性动作均对应有奖励，可以从多个可靠性动作中确定奖励最大的作为目标可靠性动作。之后，针对每个存储单元对应的目标可靠性动作，可以最终通过代理器确定每个存储单元对应的可靠性等级。本申请实施例通过利用动态规划方法，可以方便、准确地确定存储单元的可靠性，提升存储单元可靠性确定的效率。

在本申请实施例中，可选地，步骤101之后，所述方法还包括：判断所述初始状态是否是预设状态中的最终状态，并当结果为是时，将所述存储单元剔除，基于剔除后的每个存储单元对应的所述初始状态，通过所述代理器确定剔除后的每个所述存储单元对应的至少一个目标状态，以及与每个所述目标状态对应的目标可靠性动作。

在该实施例中，通过代理器确定每个存储单元对应的初始状态后，可以进一步判断该初始状态是不是预设状态中的最终状态，即是否是预设状态中的最后一个状态。如果是，那么说明产生的错误已经超过存储器的纠正能力，那么此时可以不再计算该存储单元对应的可靠性等级，将该存储单元剔除，之后根据剔除后剩余的存储单元继续进行可靠性等级的判断，即通过代理器确定剔除后剩余的存储单元的目标状态，以及与每个目标状态对应的目标可靠性动作，进而确定该存储单元的可靠性等级。

在本申请实施例中，可选地，步骤103之后，所述方法还包括：获取所述存储系统的历史使用数据，并基于每个所述存储单元对应的可靠性等级以及所述历史使用数据，确定所述存储系统的预计应用时长。

在该实施例中，确定存储系统中每个存储单元的可靠性等级后，可以进一步获取该存储系统的历史使用数据，历史使用数据可以包括预设时间段内擦除-编程操作的频率等。之后可以以每个存储单元对应的可靠性等级和历史使用数据为基础，确定该可靠性等级对应的擦除-编程操作周期，最后以各个存储单元对应的擦除-编程操作总周期确定该存储系统的预计应用时长。

此外，在获取预设时间段内的历史使用数据时，预设时间段可以是多于一天时间，可以为预设时间段内的各个日期设置不同的权重。具体可以将预设时间段内靠近当前时间的日期设置较高的权重，而远离当前时间的日期设置较低的权重，将不同日期的历史使用数据与对应权重相乘再求平均，这样得到的历史使用数据更加符合存储系统的实际使用情况，后续确定的存储系统的预计使用时长准确性更高。

进一步的，作为上述实施例具体实施方式的细化和扩展，为了完整说明本实施例的具体实施过程，提供了另一种基于动态规划的存储单元可靠性等级确定方法，如图2所示，该方法包括：

步骤201，通过所述代理器接收所述存储系统中每个所述存储单元对应的目标特征参数，其中，所述目标特征参数包括错误数、误码率、错误比特数中的至少一种；

在该实施例中，在想要对存储单元的可靠性进行确定之前，存储系统可以将每个存储单元对应的目标特征参数传输至代理器中，代理器接收这些目标特征参数。在这里，目标特征参数可以包括错误数、误码率以及错误比特数中的一种或几种。此外，目标特征参数还可以包括错误率、当前经历过的操作周期数、编程时间、读取时间、擦除时间、电流、功耗、阈值电压分布、存储单元编号和条件错误单元数等，在此不作限定。

步骤202，基于所述目标特征参数，通过所述代理器确定每个所述存储单元对应的初始状态；

在该实施例中，代理器接收每个存储单元对应的目标特征参数后，可以进一步利用目标特征参数确定每个存储单元对应的初始状态。例如，目标特征参数为错误数，可以预先将错误数按照可能取值范围划分为多个状态区间，每个状态区间对应一个状态。其中，状态区间划分的方式为：以1000为存储单元的可纠正错误数最大值，将该范围划分为4个状态区间[0,250)、[250,500)、[500,750)和[750,1000)，这4个状态区间分别对应错误等级1、2、3、4，错误数超过1000的对应错误等级5，即预设状态包括错误等级1～错误等级5。当代理器接收到的存储单元的错误数为458时，那么该存储单元对应的初始状态为错误等级2。

步骤203，基于每个所述存储单元对应的所述初始状态，通过所述代理器，确定每个所述存储单元的所述初始状态对应的第一目标状态，并从与所述第一目标状态对应的多个可靠性动作中确定奖励最大的可靠性动作作为所述目标可靠性动作；

在该实施例中，接着，可以以每个存储单元对应的初始状态为基础，依次确定每个存储单元对应的目标状态。具体地，可以根据存储单元的初始状态确定第一目标状态，以及与该第一目标状态对应的目标可靠性动作，其中，可以从第一目标状态对应的多个可靠性动作中确定奖励最大的可靠性动作，并将该可靠性动作作为目标可靠性动作。例如，第一目标状态对应5个可靠性动作，对应的奖励分别是0.1、0.15、0.18、0.35、0.22，因而可以将奖励为0.35的可靠性动作作为第一目标状态对应的目标可靠性动作。

步骤204，判断每个所述存储单元对应的所述第一目标状态是否为预设状态中的最终状态；

在该实施例中，当确定存储单元对应的第一目标状态后，可以进一步确定该第一目标状态是否是预设状态中的最终状态。例如，预设状态为5个，分别是错误等级1～错误等级5，其中第一目标状态对应错误等级5，而错误等级5为预设状态中的最后一个状态，即最终状态，因而当第一目标状态是预设状态中的最终状态时，后续可以直接根据第一目标状态对应的目标可靠性动作确定存储单元的可靠性等级。

步骤205，当所述第一目标状态不为所述预设状态中的最终状态时，通过所述代理器将所述存储单元对应的第一目标状态作为当前状态，确定当前状态对应的第二目标状态，并从与所述第二目标状态对应的多个可靠性动作中确定奖励最大的可靠性动作作为目标可靠性动作，直至所述存储单元的目标状态变为所述预设状态中的最终状态；

在该实施例中，当存储单元的第一目标状态不是预设状态中的最终状态时，可以通过代理器继续确定该存储单元的第一目标状态的下一目标状态。具体地，可以将第一目标状态作为当前状态，并从预设状态中确定当前状态的下一目标状态，即第二目标状态，并确定第二目标状态对应的目标可靠性动作，即可从第二目标状态对应的多个可靠性动作中确定奖励最大的可靠性动作作为目标可靠性动作。接着，判断第二目标状态是否是预设状态中的最终状态，当不是时，将第二目标状态作为当前状态，继续确定当前状态对应的第三目标状态，以及与第三目标状态对应的目标可靠性动作，直到存储单元的目标状态变为预设状态中的最终状态时结束。

步骤206，基于每个所述存储单元对应的任一所述目标可靠性动作，通过所述代理器分别确定每个所述目标可靠性动作对应的操作周期；依据所述操作周期，确定每个所述存储单元对应的操作总周期；基于每个所述存储单元对应的操作总周期，确定每个所述存储单元对应的可靠性等级；

在该实施例中，当确定每个存储单元对应的一个或多个目标可靠性动作后，可以进一步通过代理器分别确定每个目标可靠性动作对应的操作周期。例如，存储单元A对应的目标可靠性动作有3个，其中第一个目标可靠性动作指示经过a个擦除-编程操作周期后进入下一目标状态且可正常运作，第二个目标可靠性动作指示经过b个擦除-编程操作周期后进入下一目标状态且可正常运作，第三个目标可靠性动作指示经过c个擦除-编程操作周期后进入下一目标状态且可正常运作。接着可以根据这三个操作周期确定该存储单元的操作总周期，具体可以是(a+b+c)，最后根据操作总周期，通过代理器确定该操作总周期对应的可靠性等级。具体可以根据预设操作周期-可靠性等级映射表进行确定，即根据操作总周期，从预设操作周期-可靠性等级映射表中确定该操作总周期对应的可靠性等级。

步骤207，通过所述存储系统判断是否接收到代理器终止运行命令；当接收到所述代理器终止运行命令时，将所述代理器终止运行命令通过所述存储系统传输至所述代理器中，使所述代理器基于所述代理器终止运行命令终止运行；当未接收到所述代理器终止运行命令时，基于所述存储系统中每个所述存储单元对应的所述可靠性等级，确定所述存储系统中是否包含可正常运行的存储单元，并当所述存储系统中不包含可正常运行的存储单元时，终止运行所述代理器。

在该实施例中，当确定存储系统中每个存储单元对应的可靠性等级后，还可以通过存储系统进一步判断是否接收到了代理器终止运行命令，在这里，代理器终止运行命令可以是用户触发后生成的。当存储系统接收到了代理器终止运行命令后，可以将该代理器终止运行命令进一步通过存储系统传输到代理器中，这样代理器接收到代理器终止运行命令后，可以终止运行。如果经过判断，存储系统没有接收到代理器终止运行命令，那么可以继续根据每个存储单元对应的可靠性等级，判断存储系统的各个存储单元中是否存在可以正常运行的存储单元，如果全部存储单元均不可以正常运行，那么即终止运行代理器。例如，可靠性等级可以分为5级，其中第5级对应的存储单元不可以正常运行，如果存储系统中的存储单元的可靠性等级全部为第5级，那么即终止运行代理器。

进一步的，作为图1方法的具体实现，本申请实施例提供了一种基于动态规划的存储单元可靠性等级确定装置，如图3所示，该装置包括：

基于动态规划的存储单元可靠性等级确定装置，包括：

初始状态确定模块，用于通过代理器确定存储系统中每个存储单元对应的初始状态，其中，所述存储系统包括至少一个所述存储单元；

动作确定模块，用于基于每个所述存储单元对应的所述初始状态，通过所述代理器确定每个所述存储单元对应的至少一个目标状态，以及与每个所述目标状态对应的目标可靠性动作，其中，所述存储单元在每个所述目标状态对应的所述目标可靠性动作下奖励最大；

可靠性等级确定模块，用于基于每个所述存储单元对应的所述目标可靠性动作，通过所述代理器确定每个所述存储单元对应的可靠性等级。

可选地，所述动作确定模块，具体用于：

通过所述代理器，确定每个所述存储单元的所述初始状态对应的第一目标状态，并从与所述第一目标状态对应的多个可靠性动作中确定奖励最大的可靠性动作作为所述目标可靠性动作；判断每个所述存储单元对应的所述第一目标状态是否为预设状态中的最终状态；当所述第一目标状态不为所述预设状态中的最终状态时，通过所述代理器将所述存储单元对应的第一目标状态作为当前状态，确定当前状态对应的第二目标状态，并从与所述第二目标状态对应的多个可靠性动作中确定奖励最大的可靠性动作作为目标可靠性动作，直至所述存储单元的目标状态变为所述预设状态中的最终状态。

可选地，所述初始状态确定模块，具体用于：

通过所述代理器接收所述存储系统中每个所述存储单元对应的目标特征参数，其中，所述目标特征参数包括错误数、误码率、错误比特数中的至少一种；基于所述目标特征参数，通过所述代理器确定每个所述存储单元对应的初始状态。

可选地，所述可靠性等级确定模块，具体用于：

基于每个所述存储单元对应的任一所述目标可靠性动作，通过所述代理器分别确定每个所述目标可靠性动作对应的操作周期；依据所述操作周期，确定每个所述存储单元对应的操作总周期；基于每个所述存储单元对应的操作总周期，确定每个所述存储单元对应的可靠性等级。

可选地，所述装置还包括：

接收模块，用于所述确定每个所述存储单元对应的可靠性等级之后，通过所述存储系统判断是否接收到代理器终止运行命令；

判断模块，用于当接收到所述代理器终止运行命令时，将所述代理器终止运行命令通过所述存储系统传输至所述代理器中，使所述代理器基于所述代理器终止运行命令终止运行；当未接收到所述代理器终止运行命令时，基于所述存储系统中每个所述存储单元对应的所述可靠性等级，确定所述存储系统中是否包含可正常运行的存储单元，并当所述存储系统中不包含可正常运行的存储单元时，终止运行所述代理器。

可选地，所述装置还包括：

剔除模块，用于所述通过代理器确定存储系统中每个存储单元对应的初始状态之后，判断所述初始状态是否是预设状态中的最终状态，并当结果为是时，将所述存储单元剔除，基于剔除后的每个存储单元对应的所述初始状态，通过所述代理器确定剔除后的每个所述存储单元对应的至少一个目标状态，以及与每个所述目标状态对应的目标可靠性动作。

可选地，所述装置还包括：

时长确定模块，用于所述通过所述代理器确定每个所述存储单元对应的可靠性等级之后，获取所述存储系统的历史使用数据，并基于每个所述存储单元对应的可靠性等级以及所述历史使用数据，确定所述存储系统的预计应用时长。

需要说明的是，本申请实施例提供的一种基于动态规划的存储单元可靠性等级确定装置所涉及各功能单元的其他相应描述，可以参考图1至图2方法中的对应描述，在此不再赘述。

基于上述如图1至图2所示方法，相应的，本申请实施例还提供了一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述如图1至图2所示的基于动态规划的存储单元可靠性等级确定方法。

基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施场景所述的方法。

基于上述如图1至图2所示的方法，以及图3所示的虚拟装置实施例，为了实现上述目的，本申请实施例还提供了一种计算机设备，具体可以为个人计算机、服务器、网络设备等，该计算机设备包括存储介质和处理器；存储介质，用于存储计算机程序；处理器，用于执行计算机程序以实现上述如图1至图2所示的基于动态规划的存储单元可靠性等级确定方法。

可选地，该计算机设备还可以包括用户接口、网络接口、摄像头、射频(RadioFrequency，RF)电路，传感器、音频电路、WI-FI模块等等。用户接口可以包括显示屏(Display)、输入单元比如键盘(Keyboard)等，可选用户接口还可以包括USB接口、读卡器接口等。网络接口可选的可以包括标准的有线接口、无线接口(如蓝牙接口、WI-FI接口)等。

本领域技术人员可以理解，本实施例提供的一种计算机设备结构并不构成对该计算机设备的限定，可以包括更多或更少的部件，或者组合某些部件，或者不同的部件布置。

存储介质中还可以包括操作系统、网络通信模块。操作系统是管理和保存计算机设备硬件和软件资源的程序，支持信息处理程序以及其它软件和/或程序的运行。网络通信模块用于实现存储介质内部各组件之间的通信，以及与该实体设备中其它硬件和软件之间通信。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本申请可以借助软件加必要的通用硬件平台的方式来实现，也可以通过硬件实现。首先可以利用代理器确定各个存储单元对应的初始状态，接着，可以以每个存储单元对应的初始状态为基础，确定各个存储单元对应的一个或多个目标状态。此外，在确定初始状态的每个目标状态时，还可以从每个目标状态对应的多个可靠性动作中确定出目标可靠性动作，每个可靠性动作均对应有奖励，可以从多个可靠性动作中确定奖励最大的作为目标可靠性动作。之后，针对每个存储单元对应的目标可靠性动作，可以最终通过代理器确定每个存储单元对应的可靠性等级。本申请实施例通过利用动态规划方法，可以方便、准确地确定存储单元的可靠性，提升存储单元可靠性确定的效率。

本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的模块或流程并不一定是实施本申请所必须的。本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

上述本申请序号仅仅为了描述，不代表实施场景的优劣。以上公开的仅为本申请的几个具体实施场景，但是，本申请并非局限于此，任何本领域的技术人员能思之的变化都应落入本申请的保护范围。

Claims (10)

1.一种基于动态规划的存储单元可靠性等级确定方法，其特征在于，包括：

通过代理器确定存储系统中每个存储单元对应的初始状态，其中，所述存储系统包括至少一个所述存储单元；

基于每个所述存储单元对应的所述初始状态，通过所述代理器确定每个所述存储单元对应的至少一个目标状态，以及与每个所述目标状态对应的目标可靠性动作，其中，所述存储单元在每个所述目标状态对应的所述目标可靠性动作下奖励最大；

基于每个所述存储单元对应的所述目标可靠性动作，通过所述代理器确定每个所述存储单元对应的可靠性等级。

2.根据权利要求1所述的方法，其特征在于，所述通过所述代理器确定每个所述存储单元对应的至少一个目标状态，以及与每个所述目标状态对应的目标可靠性动作，具体包括：

通过所述代理器，确定每个所述存储单元的所述初始状态对应的第一目标状态，并从与所述第一目标状态对应的多个可靠性动作中确定奖励最大的可靠性动作作为所述目标可靠性动作；

判断每个所述存储单元对应的所述第一目标状态是否为预设状态中的最终状态；

当所述第一目标状态不为所述预设状态中的最终状态时，通过所述代理器将所述存储单元对应的第一目标状态作为当前状态，确定当前状态对应的第二目标状态，并从与所述第二目标状态对应的多个可靠性动作中确定奖励最大的可靠性动作作为目标可靠性动作，直至所述存储单元的目标状态变为所述预设状态中的最终状态。

3.根据权利要求1所述的方法，其特征在于，所述通过代理器确定存储系统中每个存储单元对应的初始状态，具体包括：

通过所述代理器接收所述存储系统中每个所述存储单元对应的目标特征参数，其中，所述目标特征参数包括错误数、误码率、错误比特数中的至少一种；

基于所述目标特征参数，通过所述代理器确定每个所述存储单元对应的初始状态。

4.根据权利要求1至3中任一项所述的方法，其特征在于，所述基于每个所述存储单元对应的所述目标可靠性动作，通过所述代理器确定每个所述存储单元对应的可靠性等级，具体包括：

基于每个所述存储单元对应的任一所述目标可靠性动作，通过所述代理器分别确定每个所述目标可靠性动作对应的操作周期；

依据所述操作周期，确定每个所述存储单元对应的操作总周期；

基于每个所述存储单元对应的操作总周期，确定每个所述存储单元对应的可靠性等级。

5.根据权利要求4所述的方法，其特征在于，所述确定每个所述存储单元对应的可靠性等级之后，所述方法还包括：

通过所述存储系统判断是否接收到代理器终止运行命令；

当接收到所述代理器终止运行命令时，将所述代理器终止运行命令通过所述存储系统传输至所述代理器中，使所述代理器基于所述代理器终止运行命令终止运行；

当未接收到所述代理器终止运行命令时，基于所述存储系统中每个所述存储单元对应的所述可靠性等级，确定所述存储系统中是否包含可正常运行的存储单元，并当所述存储系统中不包含可正常运行的存储单元时，终止运行所述代理器。

6.根据权利要求1所述的方法，其特征在于，所述通过代理器确定存储系统中每个存储单元对应的初始状态之后，所述方法还包括：

判断所述初始状态是否是预设状态中的最终状态，并当结果为是时，将所述存储单元剔除，基于剔除后的每个存储单元对应的所述初始状态，通过所述代理器确定剔除后的每个所述存储单元对应的至少一个目标状态，以及与每个所述目标状态对应的目标可靠性动作。

7.根据权利要求1所述的方法，其特征在于，所述通过所述代理器确定每个所述存储单元对应的可靠性等级之后，所述方法还包括：

获取所述存储系统的历史使用数据，并基于每个所述存储单元对应的可靠性等级以及所述历史使用数据，确定所述存储系统的预计应用时长。

8.一种基于动态规划的存储单元可靠性等级确定装置，其特征在于，包括：

初始状态确定模块，用于通过代理器确定存储系统中每个存储单元对应的初始状态，其中，所述存储系统包括至少一个所述存储单元；

动作确定模块，用于基于每个所述存储单元对应的所述初始状态，通过所述代理器确定每个所述存储单元对应的至少一个目标状态，以及与每个所述目标状态对应的目标可靠性动作，其中，所述存储单元在每个所述目标状态对应的所述目标可靠性动作下奖励最大；

可靠性等级确定模块，用于基于每个所述存储单元对应的所述目标可靠性动作，通过所述代理器确定每个所述存储单元对应的可靠性等级。

9.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法。

10.一种计算机设备，包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法。