CN112860490B - 一种基于Docker容器故障恢复的属性权重快照选择方法 - Google Patents

Abstract

本发明涉及一种基于Docker容器故障恢复的属性权重快照选择方法，属于数据恢复技术领域。本方法结合不同的需求场景，当容器发生故障需立刻进行恢复操作时，根据各类容器在使用时的不同功能特点，给该容器快照的主要功能属性赋以相应的权重，再经过快照的综合评分选择算法，得到最适合当前容器进行恢复的目标快照。通过对目标快照进行回滚，将该容器恢复到这个快照创建时的状态。本方法既能使容器恢复正常运行，又降低了数据的损失。

Description

一种基于Docker容器故障恢复的属性权重快照选择方法

技术领域

本发明涉及一种属性权重快照选择方法，用于基于快照技术的备份与恢复Docker容器，属于数据恢复技术领域。

背景技术

近年来，以Docker为代表的容器技术成为虚拟化技术领域的一种新型技术手段。Docker容器技术，是在Linux容器技术的基础上发展而来，为云计算等行业带来了巨大的价值。首先，Docker通过限制硬件资源与软件运行环境，与宿主机上其它应用实现了资源隔离。其次，基于Docker环境一致性的特点，使其不会因为安装不同版本的依赖而导致应用运行异常。同时，Docker容器在任何操作系统上都是一致的，将应用程序运行在Docker容器上，能够实现跨平台、跨服务器的操作。此外，与传统的虚拟机技术相比，Docker容器技术还具有资源利用率高、启动时间短、迁移速度快、维护成本低及扩展性优良等优点。

随着Docker容器技术的飞速发展及广泛应用，其安全性、可靠性越来越受到人们的重视。尤其是大规模的云任务和应用种类的复杂性，一旦有服务出现故障甚至失效，其产生的影响将会使企业遭受巨大的损失。比如，微软Azure云的网络设备配置错误、亚马逊云服务的数据存储服务失效、Google Docs内存管理软件错误等。因此，无论是传统的虚拟机还是Docker容器，每天都会有很多任务在运行中出现故障或遭到攻击而导致无法正常提供服务。这些故障和攻击可能是节点故障、过载或逃逸攻击、拒绝服务攻击等等。因此，针对Docker容器的容错恢复，显得尤为重要。

目前，在容错恢复方面，最常用和最有效的方式之一是快照技术。快照技术是静态映像的备份，能在给定的任意时间记录下存储设备上数据的瞬时状态，其核心是对备份和恢复过程采取“即时”数据拷贝的方式。相对于传统备份技术，快照生成只需要记录文件节点信息，不需要对文件本身进行操作，具有速度快的优点。其应用COW技术，使得拷贝只发生在数据块第一次被写入的情况下，减少了磁盘I/O数量，磁盘空间占用小。同时，快照的生成时间可以压缩到秒级，同时支持连续时间点的多个快照。另外，快照技术的最主要优点，是被保护数据的宿主应用可以不被打断而继续工作。

目前，在使用快照技术进行恢复操作时，主要有两种对目标快照的选择方法。一是人工快照选择方法，即人工选择恢复时使用的目标快照。但是，由于人工的介入，使目标对象的恢复时间过长，从而耽误系统运作，并造成额外的损失。二是距离故障发生的时间差最小快照选择方法。虽然这种选择策略避免了人工干预，满足了恢复所需的时间要求，但考虑到对目标对象性能的影响，时间差最小的快照不一定是目标对象用以恢复的最优快照，其缺乏对目标对象综合评估和严谨决策。

发明内容

本发明的目的是为了克服现有技术的缺陷，提出一种基于Docker容器故障恢复的属性权重快照选择方法，可以在进行快照恢复时，根据快照的属性及优先级配置，选择出符合恢复条件的目标快照。

本方法的创新点在于：结合不同的需求场景，当容器发生故障需立刻进行恢复操作时，根据各类容器在使用时的不同功能特点，给该容器快照的主要功能属性赋以相应的权重，再经过快照的综合评分选择算法，得到最适合当前容器进行恢复的目标快照。通过对目标快照进行回滚，将该容器恢复到这个快照创建时的状态。既能使容器恢复正常运行，又降低了数据的损失。

一种基于Docker容器故障恢复的属性权重快照选择方法。包括适用于快照属性的权重赋值方法，使得恢复中目标快照的选择过程更为严谨。在选择目标快照时，通过权重的大小来表示属性指标的重要性，属性指标越重要则权重越大。由于属性指标代表的是目标容器的功能特性，所以在选择恢复所需的目标快照时，极大地考虑到了目标容器的功能特性对恢复过程的影响。这种权重配置方法不仅减少了传统属性指标权重配置方法中的主观性和随意性，还防止了属性指标权重随样本数据变化而变化的弊端。

本方法还包括一种适用于快照评估选优的方法，使得容器在恢复后的性能状态更佳。对比于人工快照选择方法，即人工选择恢复时使用的目标快照，由于人工的介入使得目标对象的恢复时间过长，从而耽误系统运作并造成额外的损失。本发明方法使选择过程自动化，避免了人工干预。对比距离故障发生的时间差最小快照选择方法，本方法根据不同的需求场景和该容器在使用时的功能特点，结合快照的属性指标权重确定方法和综合评分选择算法，得出适合当前容器进行故障恢复的目标快照。通过对实验结果中几项容器资源指标的评估，可证实该策略能使得容器在恢复后的性能状态更佳。

有益效果

本发明方法，与已有技术比较，具有以下优点：

1.本发明提出了一种适用于快照属性的权重赋值方法，使得恢复中目标快照的选择过程更为严谨。在选择目标快照时，通过权重的大小来表示属性指标的重要性，属性指标越重要则权重越大。由于属性指标代表的是目标容器的功能特性，所以在选择恢复所需的目标快照时，极大地考虑到了目标容器的功能特性对恢复过程的影响。这种权重配置方法不仅减少了传统属性指标权重配置方法中的主观性和随意性，还防止了属性指标权重随样本数据变化而变化的弊端。

2.本发明提出了一种适用于快照评估选优的方法，使得容器在恢复后的性能状态更佳。对比于人工快照选择方法，即人工选择恢复时使用的目标快照，由于人工的介入使得目标对象的恢复时间过长，从而耽误系统运作并造成额外的损失。本发明方法使选择过程自动化，避免了人工干预。

3.对比距离故障发生的时间差最小快照选择方法，本方法根据不同的需求场景和该容器在使用时的功能特点，结合快照的属性指标权重确定方法和综合评分选择算法，得出适合当前容器进行故障恢复的目标快照。通过对实验结果中几项容器资源指标的评估，可证实该策略能使得容器在恢复后的性能状态更佳。

附图说明

图1为本发明方法的流程图；

图2为本发明方法的实施系统结构示意图；

图3为本发明方法的决策数据表示例图；

图4为本发明方法数据归一化后的决策数据表示例图；

图5为本发明方法的综合得分表示例图。

具体实施方式

下面结合附图与实施例对本发明方法作进一步详细说明。

如图1所示，一种基于Docker容器故障恢复的属性权重快照选择方法，包括以下步骤：

步骤1：从日志数据库中检索出满足条件的快照记录。

具体地，包括以下步骤：

步骤1.1：在日志数据库中，选择早于恢复时间的记录。根据待恢复容器的目标时间点t^*，筛选出时间戳小于等于t^*的快照记录，得到集合：{[Index，Name，Checkpointindex，Timestamp，CPU％，Memory usage]，…}，其中，每一条记录包含以下信息：快照索引、容器名称、时间戳、CPU占用率、占用空间。

步骤1.2：在检索记录的基础上，计算时间差和数据增量，其中，时间差Δt的计算方式为：Δt＝t^*-t_n，t_n表示当前快照记录的时间戳属性值，数据增量Δm的计算方式为Δm＝m_n+1-m_n，m_n表示当前快照记录的占用空间属性值。

步骤1.3：结合检索记录及时间差和数据增量，组合得到决策数据表：{[Index，Name，Checkpoint index，Δt，CPU rate，Δm]，…}。

步骤2：对决策数据表的Δt、CPU占用率和Δm进行归一化处理，并且基于属性值特点匹配合适的归一化方法。

其中，可以采用的数据归一化方法包括：

第一种方法：min-max归一化。适用于数值存在线性相关的场景，将数据区间[min，max]线性映射到[0，1]，其计算公式为：

x_i＝(v_i-min(v_i))/(max(v_i)-min(v_i)) (1)

其中，x_i表示归一化后的数值，v_i表示原数值。

第二种方法：log函数归一化。适用于数值之间非线性相关且符合函数映射的场景，通过log函数改变数值比例，其计算公式为：

x_i＝log₁₀ v_i/log₁₀ max(v_i) (2)

其中，x_i表示归一化后的数值，v_i表示原数值。

第三种方法：序数归一化。适用于数值之间非线性相关且无序的场景，对属性值进行排序，根据序数进行归一化，其计算公式为：

x_i＝(r-1)/(max(r)-1) (3)

其中，x_i表示归一化后的数值，r表示数值的序数。

步骤3：执行权重配置计算方法，对决策数据表中的目标属性进行权重赋值。

具体地，包括以下步骤：

步骤3.1：从归一化后的决策数据表中，选择属性列Δt、CPU占用率和Δm，构建决策矩阵X：

X＝|x_ij|_n*3 (4)

其中，x_ij表示归一化后的属性值，n表示决策数据表中的数据条数。

步骤3.2：为消除正、逆指标的影响，将决策矩阵X进行标准化处理，得标准化后的矩阵Y为：

Y＝(y_ij) (5)

其中，y_ij表示标准化处理后的x_ij，

表示每一列数值的均值，σ_j表示每一列数值的标准差。

其中，n表示决策数据表中的数据条数。个

步骤3.3：计算相关系数矩阵R＝Y^TY/n的特征值，得到R的3个特征值λ₁，λ₂，λ₃。其中，Y^T表示Y的转置矩阵。

步骤3.4：计算得到各属性的权重系数：

其中，m表示权重系数的个数。

步骤4：计算每条候选条目的综合评分

其中，f_i指各属性，w_i指各属性对应的权重系数。

将权重系数按递减顺序排序后，对应分配给按照优先级排序的属性。

步骤5：对综合评分进行数值排序，根据综合评分数值最小的快照记录的快照ID，从日志数据库的快照信息表中检索出对应的完整快照记录，即为适合当前容器进行故障恢复的目标快照。

本发明给出一种实现上述方法的系统，包含三个模块：容器池、决策模块、日志数据库。如图2所示。

容器池用于存放系统运行的各类容器、性能信息采集单元和容器恢复单元。其中，性能信息采集单元用于采集容器的性能信息，包括但不限于待恢复容器的容器名以及目标恢复时间。容器恢复单元根据决策模块得到的目标快照进行回滚。

日志数据库，用于存储容器产生的快照记录和性能信息采集单元采集的容器信息，并根据内容存储到不同的表中，包含待恢复容器信息表和快照信息表。其中，待恢复容器信息表的字段包括但不限于索引、容器名、目标恢复时间，快照信息表包含的字段包括但不限于索引、容器名、时间戳、CPU占用率、占用空间。

决策模块用于决策出适合当前容器恢复的目标快照，包含读取待恢复的容器信息和快照选择策略。其中，读取待恢复的容器信息包括但不限于待恢复容器信息表和快照信息表。快照选择策略包括记录检索单元、数据归一化单元、属性指标权重配置单元、综合评分单元和目标快照。如图2所示。

其中，记录检索单元从日志数据库中检索出需要的容器及快照信息，检索条件包括但不限于待恢复容器的容器名、目标时间点。

数据归一化单元对记录检索单元检索出的重要属性值进行归一化处理，且使用的归一化方法包括但不限于min-max归一化、序数归一化以及log函数归一化。

属性指标权重配置单元用某一个属性指标的方差Var(F_k)，在所有的属性指标的方差中所占的比例

来表示该属性指标的权重，再根据属性的重要程度来分配权重系数，为综合评估单元提供决策支撑。

综合评分单元依据综合评分公式，计算得到各快照记录的综合评分。

目标快照为综合评分数值最小的快照记录。

实施例

本实施例描述了基于Docker容器故障恢复的属性权重快照选择方法的实施过程。

本实施例中用到的数据库名为日志数据库，日志数据库中包含待恢复容器信息表以及快照信息表。待恢复容器信息表中的属性包含索引、容器名、目标恢复时间，对应的字段名分别为“Index”、“Name”、“Target-recovery-time”。快照信息表中的属性包含索引、容器名、时间戳、CPU占用率、占用空间，对应的字段名分别为“Index”、“Name”,“Checkpointindex”,“Timestamp”,“CPU％”和“Memory usage”。

假设在某容器云中，当时间戳为1595588800时，MySQL容器726348df7af7发生了故障，需立刻进行恢复操作。由假设可知，当前需恢复容器的容器名为726348df7af7，目标恢复时间为1595588800。

步骤1：根据目标容器的相关信息，生成对应的SQL检索语句："SELECT*FROM`Snapshots`WHERE`Snapshots`.`Timestamp`<＝'1595588800'AND`Snapshots`.`Name`＝'726348df7af7'ORDER BY`Snapshots`.`Index`DESC LIMIT 0,20；"。

使用此SQL语句从日志数据库的快照信息表(Snapshots)中检索出所有符合条件的快照记录，在检索记录的基础上，再计算时间差和数据增量，其中时间差的计算方式为Δt＝1595588800-t_n，数据增量的计算方式为Δm＝m_n+1-m_n，形成决策数据表见图3。

步骤2：对决策数据表进行数据归一化处理，根据不同属性值的数据特点使用合适的数据归一化方法。对属性[Δt]进行min-max归一化处理，对属性[CPU％]进行log函数归一化处理，对属性[Δm]进行序数归一化处理。数据归一化后的决策数据表见附图4。

步骤3：执行权重配置计算方法，得到特征值λ₁＝0.54，λ₂＝0.37，λ₃＝0.09。

步骤4：计算每条候选条目的综合评分

f_i指的是各属性，w_i指的是各属性对应的权重系数。对于MySQL容器而言，因为其数据变化量较大且敏感性较高，所以数据增量属性的重要程度较大，其次是时间戳属性，CPU占用率属性的重要程度较小。将权重系数按递减顺序排序后，对应分配给按照优先级排序的属性。因此综合评分S＝Δm的属性值*λ₁+Δt的属性值*λ₂+CPU％的属性值*λ₃，见附图5。例如“Timestamp＝1595588800”的快照的综合评分为：0.16*0.54+0.25*0.37+0.56*0.09＝0.2269。

步骤5：对综合评分进行数值排序，根据综合评分数值最小的快照记录的容器名726348df7af7和时间戳1595587853，从日志数据库的快照信息表中检索出对应的完整快照记录，即为适合当前容器进行恢复的目标快照。

由此可见，采用本发明方法，在以上实施例场景下，决策得出的目标快照为“Name＝726348df7af7，Timestamp＝1595588800”的快照。

以上所述仅是本发明的优选实施方式，应当指出，在不脱离本发明原理的前提下，还可以做出若干改进，或者对其中部分技术进行等同替换，这些改进和替换也应视为本发明的保护范围。

Claims (5)

1.一种基于Docker容器故障恢复的属性权重快照选择方法，其特征在于，包括以下步骤：

步骤1：从日志数据库中检索出满足条件的快照记录，包括以下步骤：

步骤1.1：在日志数据库中，选择早于恢复时间的记录，根据待恢复容器的目标时间点t^*，筛选出时间戳小于等于t^*的快照记录得到集合，其中，每一条记录包括快照索引、容器名称、时间戳、CPU占用率、占用空间；

步骤1.2：在检索记录的基础上，计算时间差和数据增量，其中，时间差Δt的计算方式为：Δt＝t^*-t_n，t_n表示当前快照记录的时间戳属性值，数据增量Δm的计算方式为Δm＝m_n+1-m_n，m_n表示当前快照记录的占用空间属性值；

步骤1.3：结合检索记录及时间差和数据增量，组合得到决策数据表；

步骤2：对决策数据表的Δt、CPU占用率和Δm进行归一化处理，并且基于属性值特点匹配合适的归一化方法；

步骤3：执行权重配置计算方法，对决策数据表中的目标属性进行权重赋值，包括以下步骤：

步骤3.1：从归一化后的决策数据表中，选择属性列Δt、CPU占用率和Δm，构建决策矩阵X：

X＝|x_ij|_n*3 (4)

其中，x_ij表示归一化后的属性值，n表示决策数据表中的数据条数；

步骤3.2：将决策矩阵X进行标准化处理，得标准化后的矩阵Y为：

Y＝(y_ij) (5)

其中，y_ij表示标准化处理后的x_ij，

表示每一列数值的均值，σ_j表示每一列数值的标准差；

其中，n表示决策数据表中的数据条数；

步骤3.3：计算相关系数矩阵R＝Y^TY/n的特征值，得到R的3个特征值λ₁，λ₂，λ₃；其中，Y^T表示Y的转置矩阵；

步骤3.4：计算得到各属性的权重系数：

其中，m表示权重系数的个数；

步骤4：计算每条候选条目的综合评分

其中，f_i指各属性，w_i指各属性对应的权重系数；

将权重系数按递减顺序排序后，对应分配给按照优先级排序的属性；

步骤5：对综合评分进行数值排序，根据综合评分数值最小的快照记录的快照ID，从日志数据库的快照信息表中检索出对应的完整快照记录，即为适合当前容器进行故障恢复的目标快照。

2.如权利要求1所述的一种基于Docker容器故障恢复的属性权重快照选择方法，其特征在于，步骤2中采用的数据归一化方法为min-max归一化，适用于数值存在线性相关的场景，将数据区间[min，max]线性映射到[0，1]，其计算公式为：

x_i＝(v_i-min(v_i))/(max(v_i)-min(v_i)) (1)

其中，x_i表示归一化后的数值，v_i表示原数值。

3.如权利要求1所述的一种基于Docker容器故障恢复的属性权重快照选择方法，其特征在于，步骤2中采用的数据归一化方法为log函数归一化，适用于数值之间非线性相关且符合函数映射的场景，通过log函数改变数值比例，其计算公式为：

x_i＝log₁₀ v_i/log₁₀ max(v_i) (2)

其中，x_i表示归一化后的数值，v_i表示原数值。

4.如权利要求1所述的一种基于Docker容器故障恢复的属性权重快照选择方法，其特征在于，步骤2中采用的数据归一化方法为序数归一化，适用于数值之间非线性相关且无序的场景，对属性值进行排序，根据序数进行归一化，其计算公式为：

x_i＝(r-1)/(max(r)-1) (3)

其中，x_i表示归一化后的数值，r表示数值的序数。

5.一种基于Docker容器故障恢复的属性权重快照选择系统，其特征在于，包括容器池、决策模块、日志数据库；

容器池用于存放系统运行的各类容器、性能信息采集单元和容器恢复单元，其中，性能信息采集单元用于采集容器的性能信息，包括待恢复容器的容器名以及目标恢复时间；容器恢复单元根据决策模块得到的目标快照进行回滚；

日志数据库，用于存储容器产生的快照记录和性能信息采集单元采集的容器信息，并根据内容存储到不同的表中，包含待恢复容器信息表和快照信息表；其中，待恢复容器信息表的字段包括索引、容器名、目标恢复时间，快照信息表包含的字段包括索引、容器名、时间戳、CPU占用率、占用空间；

决策模块用于决策出适合当前容器恢复的目标快照，包含读取待恢复的容器信息和快照选择策略；其中，读取待恢复的容器信息恢复容器信息表和快照信息表；快照选择策略包括记录检索单元、数据归一化单元、属性指标权重配置单元、综合评分单元和目标快照；

其中，记录检索单元从日志数据库中检索出需要的容器及快照信息，检索条件包括但不限于待恢复容器的容器名、目标时间点；

数据归一化单元对记录检索单元检索出的重要属性值进行归一化处理；

属性指标权重配置单元用某一个属性指标的方差Var(F_k)在所有的属性指标的方差中所占的比例

来表示该属性指标的权重，再根据属性的重要程度来分配权重系数，为综合评估单元提供决策支撑；

综合评分单元依据综合评分公式，计算得到各快照记录的综合评分；

目标快照为综合评分数值最小的快照记录。

Images