CN116680114A - Lvm故障数据快速恢复方法、系统和计算机可读存储介质 - Google Patents

Lvm故障数据快速恢复方法、系统和计算机可读存储介质 Download PDF

Info

Publication number
CN116680114A
CN116680114A CN202310977449.2A CN202310977449A CN116680114A CN 116680114 A CN116680114 A CN 116680114A CN 202310977449 A CN202310977449 A CN 202310977449A CN 116680114 A CN116680114 A CN 116680114A
Authority
CN
China
Prior art keywords
hard disk
lvm
fault
user
faults
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310977449.2A
Other languages
English (en)
Other versions
CN116680114B (zh
Inventor
陈晓莉
朱俊
刘越
刘刚
邹楠
郑建南
郑敬挺
何坚东
陈颖倩
吴一帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Ponshine Information Technology Co ltd
Original Assignee
Zhejiang Ponshine Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Ponshine Information Technology Co ltd filed Critical Zhejiang Ponshine Information Technology Co ltd
Priority to CN202310977449.2A priority Critical patent/CN116680114B/zh
Publication of CN116680114A publication Critical patent/CN116680114A/zh
Application granted granted Critical
Publication of CN116680114B publication Critical patent/CN116680114B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0706—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
    • G06F11/0727—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in a storage system, e.g. in a DASD or network based storage system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/079—Root cause analysis, i.e. error or fault diagnosis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0793—Remedial or corrective actions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0616—Improving the reliability of storage systems in relation to life time, e.g. increasing Mean Time Between Failures [MTBF]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0662—Virtualisation aspects
    • G06F3/0665—Virtualisation aspects at area level, e.g. provisioning of virtual or logical volumes
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明属于LVM故障恢复技术领域，具体涉及LVM故障数据快速恢复方法、系统和计算机可读存储介质。方法包括如下步骤：S1，用户使用识别模块检查系统是否存在LVM配置故障和硬盘故障隐患；若不存在，则提示用户并结束流程，否则进入下一步骤；S2，预警模块提示用户存在的问题或者隐患，用户根据提示进行处置；S3，处置模块根据识别的结果给出相应的处置步骤；S4，对处置步骤进行验证；S5，验证模块提示用户验证结果，LVM故障全生命周期管理流程结束。本发明能够实现LVM故障的识别、预警、处置、验证的全流程处理过程，能够针对LVM配置错误导致的故障实现快速无损的数据恢复且不丢失数据。

Description

LVM故障数据快速恢复方法、系统和计算机可读存储介质
技术领域
本发明属于LVM故障恢复技术领域，具体涉及LVM故障数据快速恢复方法、系统和计算机可读存储介质。
背景技术
LVM是一种动态卷管理，可以将多个硬盘和硬盘分区做成一个逻辑卷，并把这个逻辑卷作为一个整体来统一管理，动态对分区进行扩缩空间大小，安全快捷方便管理。对于动态卷管理LVM，有以下专业术语：
PP(physical parttion)：物理分区，LVM直接创建在物理分区之上。
PV(physical volume)：物理卷，出于LVM的最底层，一般一个PV对应一个PP。
PE(physical extends)：物理区域，PV中可以用于分配的最小存储单位，同一个VG所有的PV中的PE大小相同，例如1M，2M。
VG(volume group)：卷组，卷组创建在PV之上，可以含有多个PV。
LV(Logical volume)：逻辑卷，创建在VG之上，是一个可以动态扩容的分区概念。
动态卷管理LVM的工作原理如下：
物理硬盘被格式化为PV，空间被划分为一个个的PE。不同的PV加入到同一个VG中，不同PV的PE全部进入到了VG的PE池内。LV基于PE创建，大小为PE的整数倍，组成LV的PE可能来自不同的物理硬盘。LV直接可以格式化后挂载使用。LV的扩充缩减实际上就是增加或减少组成该LV的PE数量，其过程不会丢失原始数据。
然而，常见的LVM故障仍然存在，且有以下几种分类：
1.正常登录，硬盘故障，部分目录损坏；
2.系统无法登录，硬盘故障；
3.系统无法登录，硬盘正常，LVM配置错误引起的故障。
因此，针对上述问题，设计一种可以做到快速恢复且不丢失数据的LVM故障数据快速恢复方法、系统和计算机可读存储介质， 就显得十分重要。
发明内容
本发明是为了克服现有技术中，针对LVM配置错误导致系统故障以及数据丢失的问题，提供了一种能够做到快速恢复且不丢失数据的LVM故障数据快速恢复方法、系统和计算机可读存储介质。
为了达到上述发明目的，本发明采用以下技术方案：
LVM故障数据快速恢复方法，包括如下步骤：
S1，用户使用识别模块检查系统是否存在LVM配置故障和硬盘故障隐患；若不存在，则提示用户并结束流程，否则进入下一步骤；
S2，预警模块提示用户存在的问题或者隐患，用户根据提示进行处置；
S3，处置模块根据识别的结果给出相应的处置步骤，若存在LVM配置错误导致的故障，则处置模块自动进行LVM配置恢复操作；若存在硬盘故障隐患，用户根据给出的处置步骤进行更换硬盘操作；
S4，对处置步骤进行验证，若处置步骤为自动进行LVM配置恢复操作，则使用将迁移后的目录与原始目录中的文件进行对比；若处置步骤为更换硬盘操作，则检查硬盘的整体健康自我评估结果；
S5，验证模块提示用户验证结果，LVM故障全生命周期管理流程结束。
作为优选，步骤S1中，所述识别模块通过AI模型分析和智能判断规则判断是否存在LVM配置故障和硬盘故障隐患。
作为优选，所述AI模型分析过程，具体包括如下步骤：
S11，从若干台正常运行的设备和LVM配置故障的设备中，采集样本，获得初始数据；
S12，从初始数据中提出与LVM配置故障相关的特征；所述与LVM配置故障相关的特征包括硬盘信息、物理卷信息、卷组信息、逻辑卷信息和磁盘挂载点信息；
S13，结合采集到的所有特征，运用卡方检验和互信息，选择与LVM配置故障相关的最重要的特征；所述与LVM配置故障相关的最重要的特征包括物理卷PV的大小大于总硬盘大小、逻辑卷存在被分区现象、物理卷PV中含有mapper字段的路径；
S14，使用向量机算法SVM对步骤S13中选择得到的特征进行训练，通过训练得到的模型，用于从LVM信息中判断LVM配置是否存在问题；
S15，采用故障检测率FDR、误报率FAR以及准确率 Accuracy三个指标对得到的模型进行评价；
所述故障检测率FDR指正确检测出故障样本个数和实际故障样本个数的比值；误报率FAR指将原本为正常样本却误检为故障的个数和实际正常样本个数的比值；准确率Accuracy指正确检测出的样本个数和总样本数的比值；
S16，对模型进行应用测试，通过特征匹配的方式判断样本未来是否存在LVM配置故障；当特征匹配成功时，视为存在LVM配置故障；
其中，所述模型的输出层包含1个神经元；将LVM状态采用O和1标签进行记录，O为正常样本，1为故障样本。
作为优选，所述智能判断规则具体如下：
通过验证模块获取硬盘的SMART信息，根据如下策略定义硬盘健康等级：
所述硬盘健康等级包括信息级别、警告级别和严重级别；
当出现以下任意一项时，硬盘健康等级定义为信息级别：
（1）通电时间大于硬盘出厂阈值的80%；
（2）硬盘温度大于硬盘出厂阈值的85%；
当出现以下任意一项时，硬盘健康等级定义为警告级别：
（1）重新分配扇区计数器大于硬盘出厂阈值的80%；
（2）当前挂起扇区计数器大于硬盘出厂阈值的50%；
（3）不可纠正扇区计数器大于硬盘出厂阈值的80%；
（4）通电时间大于硬盘出厂阈值的95%；
（5）硬盘温度大于硬盘出厂阈值；
（6）读取剩余寿命大于硬盘出厂阈值的80%；
（7）写入剩余寿命大于硬盘出厂阈值的80%；
当出现以下任意一项时，硬盘健康等级定义为严重级别：
（1）重新分配扇区计数器大于硬盘出厂阈值；
（2）当前挂起扇区计数器大于硬盘出厂阈值；
（3）不可纠正扇区计数器大于硬盘出厂阈值；
（4）通电时间大于硬盘出厂阈值；
（5）读取剩余寿命大于硬盘出厂阈值；
（6）写入剩余寿命大于硬盘出厂阈值。
作为优选，步骤S2中，支持的预警级别包括信息、警告和严重；支持的预警方式包括用户登录后提示和邮件告警。
作为优选，步骤S3包括如下步骤：
S31，若识别出系统正常登录，硬盘故障，部分目录损坏，则处置模块给出操作提示，用户按提示更换硬盘后，处置模块自动进行LVM配置恢复操作，恢复损坏的挂载目录；
S32，若识别出系统无法登录，硬盘故障，则处置模块给出操作提示，用户按提示更换硬盘后，处置模块自动进行LVM配置恢复操作，恢复损坏的挂载目录；
S33，若识别出系统无法登录，硬盘正常，实际为LVM配置错误引起的故障，则处置模块根据AI模型分析给出的结果，自动进行恢复操作；其中，部分设备恢复过程需要重启，且需用户重新使用介质引导系统后继续进行恢复操作。
作为优选，步骤S4中，在将迁移后的目录与原始目录中的文件进行对比的过程中，支持本地目录和本地目录以及远程目录和本地目录之间的对比。
本发明还提供了LVM故障数据快速恢复系统，包括：
识别模块，用于检查系统是否存在LVM配置故障和硬盘故障隐患；
预警模块，用于提示用户存在的问题或者隐患，使用户根据提示进行处置；
处置模块，用于根据识别的结果给出相应的处置步骤，若存在LVM配置错误导致的故障，则自动进行LVM配置恢复操作；若存在硬盘故障隐患，则给出处置步骤使用户进行更换硬盘操作；
验证模块，用于对处置步骤进行验证，若处置步骤为自动进行LVM配置恢复操作，则将迁移后的目录与原始目录中的文件进行对比；若处置步骤为更换硬盘操作，则检查硬盘的整体健康自我评估结果。
作为优选，所述验证模块包括硬盘验证模块和数据验证模块；
所述硬盘验证模块用于检查硬盘的整体健康自我评估结果；
所述数据验证模块用于将迁移后的目录与原始目录中的文件进行对比。
本发明还提供了计算机可读存储介质，包括计算机可执行指令，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行上述任一实施方式所述的LVM故障数据快速恢复方法的步骤。
本发明与现有技术相比，有益效果是：（1）本发明能够实现LVM故障的识别、预警、处置、验证的全流程处理过程，能够针对LVM配置错误导致的故障实现快速无损的数据恢复且不丢失数据；（2）本发明能避免由于人员经验不足造成的故障定位不准确，引起操作失误导致数据的损坏和丢失；（3）本发明可以减少运维人员日常巡检工作，节约人力成本；（4）本发明使用门槛低，关键步骤均自动化处理，需要人工介入的操作时也会提示相关操作指令；（5）本发明中的预警功能能够实现对硬盘物理故障的预测，提前进行硬盘的更换，避免硬盘物理故障导致的数据丢失。
附图说明
图1为本发明中的LVM故障数据快速恢复的一种流程示意图；
图2为本发明中训练集的故障检测率FDR和误报率FAR随样本数量变化情况的一种数据示意图。
具体实施方式
为了更清楚地说明本发明实施例，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。
如图1所示，本发明提供了LVM故障数据快速恢复方法，包括如下步骤：
1.用户使用识别模块检查系统是否存在LVM配置故障和硬盘故障隐患；若不存在，则提示用户并结束流程，否则进入下一步骤；
2.预警模块提示用户存在的问题或者隐患，用户根据提示进行处置；
3.处置模块根据识别的结果给出相应的处置步骤，若存在LVM配置错误导致的故障，则处置模块自动进行LVM配置恢复操作；若存在硬盘故障隐患，用户根据给出的处置步骤进行更换硬盘操作；
4.对处置步骤进行验证，若处置步骤为自动进行LVM配置恢复操作，则使用将迁移后的目录与原始目录中的文件进行对比，支持本地目录和本地目录以及远程目录和本地目录之间的对比；若处置步骤为更换硬盘操作，则检查硬盘的整体健康自我评估结果；
5.验证模块提示用户验证结果，LVM故障全生命周期管理流程结束。
本发明中的识别功能基于AI模型分析和智能判断规则进行故障的类型定位。通过AI模型分析识别LVM配置故障准确率高达99.8%，误报率为0%。
AI模型分析用于判断LVM配置故障，模型训练方法如下：
采集样本：共280台设备，具体如下：40台redhat设备，LVM配置故障的20台，正常的20台。40台Centos设备，LVM配置故障的20台，正常的20台。40台Fedora设备，LVM配置故障的20台，正常的20台。40台Debian设备，LVM配置故障的20台，正常的20台。40台Ubuntu设备，LVM配置故障的20台，正常的20台。40台openeuler设备，LVM配置故障的20台，正常的20台。40台openKylin设备，LVM配置故障的20台，正常的20台。
特征提取：从初始数据中提出与故障相关的特征；与故障相关的特征包括硬盘信息、物理卷信息、卷组信息、逻辑卷信息、磁盘挂载点信息。
其中一台设备的特征信息（初始数据）如下：
文件系统 容量 已用 可用 已用% 挂载点
devtmpfs 3.9G 0 3.9G 0% /dev
tmpfs 3.9G 0 3.9G 0% /dev/shm
tmpfs 3.9G 122M 3.8G 4% /run
tmpfs 3.9G 0 3.9G 0% /sys/fs/cgroup
/dev/mapper/centos-root 83G 49G 35G 59% /
/dev/sda1 1014M 187M 828M 19% /boot
tmpfs 796M 0 796M 0% /run/user/0
磁盘 /dev/sdc：17.2 GB, 17179869184 字节，33554432 个扇区
Units = 扇区 of 1 * 512 = 512 bytes
扇区大小(逻辑/物理)：512 字节 / 512 字节
I/O 大小(最小/最佳)：512 字节 / 512 字节
磁盘标签类型：dos
磁盘标识符：0x3940c36e
设备 Boot Start End Blocks Id System
/dev/sdc1 2048 33554431 16776192 8e Linux LVM
WARNING: fdisk GPT support is currently new, and therefore in anexperimental phase. Use at your own discretion.
磁盘 /dev/sdb：17.2 GB, 17179869184 字节，33554432 个扇区
Units = 扇区 of 1 * 512 = 512 bytes
扇区大小(逻辑/物理)：512 字节 / 512 字节
I/O 大小(最小/最佳)：512 字节 / 512 字节
磁盘标签类型：gpt
Disk identifier: DDA55956-264E-4E89-BE95-2B6A5B5FE404
# Start End Size Type Name
1 2048 9764863 4.7G Microsoft basic primary
2 9764864 33554398 11.4G Linux filesyste
磁盘 /dev/sda：107.4 GB, 107374182400 字节，209715200 个扇区
Units = 扇区 of 1 * 512 = 512 bytes
扇区大小(逻辑/物理)：512 字节 / 512 字节
I/O 大小(最小/最佳)：512 字节 / 512 字节
磁盘标签类型：dos
磁盘标识符：0x00027b96
设备 Boot Start End Blocks Id System
/dev/sda1 * 2048 2099199 1048576 83 Linux
/dev/sda2 2099200 209715199 103808000 8e Linux LVM
磁盘 /dev/mapper/centos-root：89.1 GB, 89116377088 字节，174055424 个扇区
Units = 扇区 of 1 * 512 = 512 bytes
扇区大小(逻辑/物理)：512 字节 / 512 字节
I/O 大小(最小/最佳)：512 字节 / 512 字节
磁盘 /dev/mapper/centos-swap：17.2 GB, 17179869184 字节，33554432 个扇区
Units = 扇区 of 1 * 512 = 512 bytes
扇区大小(逻辑/物理)：512 字节 / 512 字节
I/O 大小(最小/最佳)：512 字节 / 512 字节
--- Physical volume ---物理卷
PV Name /dev/sda2
VG Name centos
PV Size <99.00 GiB / not usable 3.00 MiB
Allocatable yes (but full)
PE Size 4.00 MiB
Total PE 25343
Free PE 0
Allocated PE 25343
PV UUID LJFiVm-15eF-3Yf7-Nm5y-51zS-4SY0-IjGjpV
--- Physical volume ---物理卷
PV Name /dev/sdc1
VG Name sdc_1
PV Size <16.00 GiB / not usable 3.00 MiB
Allocatable yes
PE Size 4.00 MiB
Total PE 4095
Free PE 4095
Allocated PE 0
PV UUID RXoRNf-TppJ-CXsd-N1np-Ro0A-sJbk-HN24yH
"/dev/sdb2" is a new physical volume of "11.34 GiB"
--- NEW Physical volume ---新物理卷
PV Name /dev/sdb2
VG Name
PV Size 11.34 GiB
Allocatable NO
PE Size 0
Total PE 0
Free PE 0
Allocated PE 0
PV UUID qOG2cv-fDfN-iHy4-ycZs-bviX-JI9u-jaUZFA
"/dev/sdb1" is a new physical volume of "<4.66 GiB"
--- NEW Physical volume ---新物理卷
PV Name /dev/sdb1
VG Name
PV Size <4.66 GiB
Allocatable NO
PE Size 0
Total PE 0
Free PE 0
Allocated PE 0
PV UUID 1H5TBc-p0co-dQHS-fw2A-FrFQ-PHKr-q56aKx
--- Volume group ---卷组
VG Name centos
System ID
Format lvm2
Metadata Areas 1
Metadata Sequence No 3
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 2
Open LV 1
Max PV 0
Cur PV 1
Act PV 1
VG Size <99.00 GiB
PE Size 4.00 MiB
Total PE 25343
Alloc PE / Size 25343 /<99.00 GiB
Free PE / Size 0 / 0
VG UUID Qk7V8Z-tkQf-Pp8B-WDqO-4Sf4-eabp-kpC3NI
--- Volume group ---卷组
VG Name sdc_1
System ID
Format lvm2
Metadata Areas 1
Metadata Sequence No 3
VG Access read/write
VG Status resizable
MAX LV 0
Cur LV 0
Open LV 0
Max PV 0
Cur PV 1
Act PV 1
VG Size <16.00 GiB
PE Size 4.00 MiB
Total PE 4095
Alloc PE / Size 0 / 0
Free PE / Size 4095 /<16.00 GiB
VG UUID 1ND0Tb-yHNE-CAbr-z350-Rt0k-32mb-UZliLn
--- Logical volume ---逻辑卷
LV Path /dev/centos/root
LV Name root
VG Name centos
LV UUID 6Ip1qT-GrGc-dOqZ-lAbK-bcCR-z6al-tOGM1Q
LV Write Access read/write
LV Creation host, time localhost, 2021-02-23 16:29:30 +0800
LV Status available
# open 1
LV Size <83.00 GiB
Current LE 21247
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 8192
Block device 253:0
--- Logical volume ---逻辑卷
LV Path /dev/centos/swap
LV Name swap
VG Name centos
LV UUID RK5ffc-uPZA-eMnO-VClp-4mZ5-d9W4-T1TFV1
LV Write Access read/write
LV Creation host, time localhost, 2021-02-23 16:29:35 +0800
LV Status available
# open 0
LV Size 16.00 GiB
Current LE 4096
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 8192
Block device 253:1
特征选择：结合采集到的所有特征，运用卡方检验（Chi Square Test）和互信息（Mutual Information）选择与LVM配置故障相关的最重要的特征，包括PV的大小大于总硬盘大小、逻辑卷存在被分区现象、PV中含有mapper字段的路径。
模型训练：使用向量机算法(SVM)对选择得到的特征进行训练，通过训练得到的模型可以从LVM信息中判断其配置是否存在问题。
模型评估：采取故障检测率 (Failure Detection Rate,FDR)、误报率(FalseAlarm Rate,FAR)以及准确率 (Accuracy)三个指标对模型进行评价。故障检测率指的是正确检测出故障样本个数和实际故障样本个数的比值，误报率指的是将原本为正常样本却误检为故障的个数和实际正常样本个数的比值，准确率指的是正确检测出的样本个数和总样本数的比值。
应用测试：模型的输出层包含1个神经元，通过特征匹配的方式判断样本未来是否存在LVM配置故障。将LVM状态采用“O”（正常样本）和“1”(故障样本）标签进行记录。当特征匹配成功时，视为存在LVM配置故障，训练集的FDR和FAR随样本数量变化的情况如图2所示，故障检测率FDR随样本数增加而增加，误报率FAR随样本数增加而下降。当样本数达到225以上,故障检测率FDR已达到99%以上，误报率FAR为0，符合预期。
本发明中采用的智能判断规则具体如下：
通过验证模块获取硬盘的SMART信息，根据如下策略定义硬盘健康等级：
所述硬盘健康等级包括信息级别、警告级别和严重级别。
出现以下任意一项既定义为信息级别：
Power-On Hours（通电时间）大于硬盘出厂阈值的80%；
Temperature（硬盘温度）大于硬盘出厂阈值的85%。
出现以下任意一项既定义为警告级别：
Reallocated Sector Count（重新分配扇区计数器）大于硬盘出厂阈值的80%；
Current Pending Sector Count（当前挂起扇区计数器）大于硬盘出厂阈值的50%；
Uncorrectable Sector Count（不可纠正扇区计数器）大于硬盘出厂阈值的80%；
Power-On Hours（通电时间）大于硬盘出厂阈值的95%；
Temperature（硬盘温度）大于硬盘出厂阈值；
Lifetime Reads from Host（读取剩余寿命）大于硬盘出厂阈值的80%；
Lifetime Writes from Host（写入剩余寿命）大于硬盘出厂阈值的80%。
出现以下任意一项既定义为严重级别：
Reallocated Sector Count（重新分配扇区计数器）大于硬盘出厂阈值；
Current Pending Sector Count（当前挂起扇区计数器）大于硬盘出厂阈值；
Uncorrectable Sector Count（不可纠正扇区计数器）大于硬盘出厂阈值；
Power-On Hours（通电时间）大于硬盘出厂阈值；
Lifetime Reads from Host（读取剩余寿命）大于硬盘出厂阈值；
Lifetime Writes from Host（写入剩余寿命）大于硬盘出厂阈值。
本发明中的预警功能主要是提示用户存在的风险和隐患，根据识别结果的变化来预测硬盘可能会出现的故障，及时发出预警，以便用户及时采取措施进行修复或更换硬盘，从而保障系统的稳定性和数据的安全性。
具体支持配置项如下：
1.支持用户自定义识别周期，粒度为：小时、天、周、月。
2.支持定义告警级别：级别为：信息、警告、严重。
3.预警方式支持用户登录后提示、邮件告警。
在本发明中，对于处置功能，涉及如下几个场景的处理方式：
1.当系统正常登录，硬盘故障，部分目录损坏时：
该场景使用处置功能会给出操作提示，按提示更换硬盘后，处置功能会自动的进行LVM配置恢复操作，恢复损坏的挂载目录，此场景会丢失损坏硬盘中的数据。
2.当系统无法登录，硬盘故障时：
该场景使用介质引导系统，使用引导系统中的处置功能会给出操作提示，按提示更换硬盘后，处置功能会自动的进行LVM配置恢复操作，恢复损坏的挂载目录，此场景会丢失损坏硬盘中的数据。
3.当系统无法登录，硬盘正常，LVM配置错误引起的故障时：
该场景使用介质引导系统，使用引导系统中的处置功能会根据识别功能中的AI模型分析给出的结果自动的进行恢复操作，部分设备恢复过程需要重启，需用户重新使用介质引导系统后继续进行恢复操作，恢复成功后可以看到原有系统被挂载到新的挂载点上，可以临时恢复业务和数据迁移。
基于本实施例，本发明还提供了LVM故障数据快速恢复系统，包括：
识别模块，用于检查系统是否存在LVM配置故障和硬盘故障隐患；
预警模块，用于提示用户存在的问题或者隐患，使用户根据提示进行处置；
处置模块，用于根据识别的结果给出相应的处置步骤，若存在LVM配置错误导致的故障，则自动进行LVM配置恢复操作；若存在硬盘故障隐患，则给出处置步骤使用户进行更换硬盘操作；
验证模块，用于对处置步骤进行验证，若处置步骤为自动进行LVM配置恢复操作，则将迁移后的目录与原始目录中的文件进行对比；若处置步骤为更换硬盘操作，则检查硬盘的整体健康自我评估结果。
验证模块包括硬盘验证模块和数据验证模块；
所述硬盘验证模块用于检查硬盘的整体健康自我评估结果；
所述数据验证模块用于将迁移后的目录与原始目录中的文件进行对比。
基于本实施例，本发明还提供了计算机可读存储介质，包括计算机可执行指令，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行上述任一实施方式所述的LVM故障数据快速恢复方法的步骤。
另外，本发明的介质具体为ISO镜像，大小为1.45G，可以直接挂载使用或者通过介质安装系统到U盘中使用。对LVM的故障进行全生命周期的管理。当未发生LVM故障时，介质中的识别功能通过AI模型分析和智能判断规则可以识别是否存在LVM配置错误和硬盘故障风险。如果识别出故障或是风险，预警功能会给与提示。预警功能还可以设置成自动进行周期性识别，当识别出风险后会在登录信息中给与提示或进行邮件通知。当无法进入系统时，通过引导介质中的系统临时启动，处置工具可以根据故障原因给出处置建议，如果是LVM配置错误导致的故障可以自动进行无损修复的操作，把原系统目录挂载成一个新的目录，可以临时恢复业务和数据迁移。介质中包含迁移组件，可以帮助用户进行数据迁移。迁移完成后，使用验证功能中的数据检查模块对原数据和目的数据进行差异比较，确保数确迁移的完整性。如果是硬盘故障，会提示更换硬盘，更换后再恢复LVM配置。恢复完成后，使用验证功能中的硬盘检查模块对新换硬盘进行健康检查。
进一步的，结合实际应用，通过以下实施例对本发明的技术方案进行详细描述：
1.以一台Dell R760服务器，含2块800G硬盘，10块4T硬盘，装有centos7.6操作系统为例，在一次掉电重启后发现系统无法启动，开机报错Buffer I/0 error on dev dm-2，logical block 4977648，async page read。
2.由于设备已无法正常开机，需使用介质引导临时系统。选用联想(thinkplus)128G USB固态U盘TU100PRO，将介质中的系统选择安装至此U盘。
3.安装完成后，将U盘插入服务器，BIOS中选择从U盘启动，进入临时操作系统。
4.登录后选择识别工具，对服务器进行故障识别分析，等待输出结果。
5.识别工具返回：“LVM配置故障，建议执行处置功能进行恢复。”
6.选择处置工具，工具根据识别结果，自动给出处置建议“为LVM配置故障，可以进行无损恢复，输入回车后即将自动进行恢复操作”，确认后进行修复操作。
7.等待恢复结束，工具会返回处理结果“恢复成功，原始目录已挂在为/old_system目录下”。
8.将需要恢复的数据目录/old_system/data/下的数据拷贝至/root/data，拷贝完成后运行验证工具，选择本地路径比对，输入原目录和目标目录。
9.等待验证结束，工具会返回“验证技术，数据一致。”，关闭系统，原系统需要的数据已拷贝至U盘。
10.综上所述，使用本发明的介质可以成功快速无损的完成数据恢复。
本发明能够实现LVM故障的识别、预警、处置、验证的全流程处理过程，能够针对LVM配置错误导致的故障实现快速无损的数据恢复且不丢失数据；本发明能避免由于人员经验不足造成的故障定位不准确，引起操作失误导致数据的损坏和丢失；本发明可以减少运维人员日常巡检工作，节约人力成本；本发明使用门槛低，关键步骤均自动化处理，需要人工介入的操作时也会提示相关操作指令；本发明中的预警功能能够实现对硬盘物理故障的预测，提前进行硬盘的更换，避免硬盘物理故障导致的数据丢失。
以上所述仅是对本发明的优选实施例及原理进行了详细说明，对本领域的普通技术人员而言，依据本发明提供的思想，在具体实施方式上会有改变之处，而这些改变也应视为本发明的保护范围。

Claims (10)

1.LVM故障数据快速恢复方法，其特征在于，包括如下步骤：
S1，用户使用识别模块检查系统是否存在LVM配置故障和硬盘故障隐患；若不存在，则提示用户并结束流程，否则进入下一步骤；
S2，预警模块提示用户存在的问题或者隐患，用户根据提示进行处置；
S3，处置模块根据识别的结果给出相应的处置步骤，若存在LVM配置错误导致的故障，则处置模块自动进行LVM配置恢复操作；若存在硬盘故障隐患，用户根据给出的处置步骤进行更换硬盘操作；
S4，对处置步骤进行验证，若处置步骤为自动进行LVM配置恢复操作，则使用将迁移后的目录与原始目录中的文件进行对比；若处置步骤为更换硬盘操作，则检查硬盘的整体健康自我评估结果；
S5，验证模块提示用户验证结果，LVM故障全生命周期管理流程结束。
2.根据权利要求1所述的LVM故障数据快速恢复方法，其特征在于，步骤S1中，所述识别模块通过AI模型分析和智能判断规则判断是否存在LVM配置故障和硬盘故障隐患。
3.根据权利要求2所述的LVM故障数据快速恢复方法，其特征在于，所述AI模型分析过程，具体包括如下步骤：
S11，从若干台正常运行的设备和LVM配置故障的设备中，采集样本，获得初始数据；
S12，从初始数据中提出与LVM配置故障相关的特征；所述与LVM配置故障相关的特征包括硬盘信息、物理卷信息、卷组信息、逻辑卷信息和磁盘挂载点信息；
S13，结合采集到的所有特征，运用卡方检验和互信息，选择与LVM配置故障相关的最重要的特征；所述与LVM配置故障相关的最重要的特征包括物理卷PV的大小大于总硬盘大小、逻辑卷存在被分区现象、物理卷PV中含有mapper字段的路径；
S14，使用向量机算法SVM对步骤S13中选择得到的特征进行训练，通过训练得到的模型，用于从LVM信息中判断LVM配置是否存在问题；
S15，采用故障检测率FDR、误报率FAR以及准确率 Accuracy三个指标对得到的模型进行评价；
所述故障检测率FDR指正确检测出故障样本个数和实际故障样本个数的比值；误报率FAR指将原本为正常样本却误检为故障的个数和实际正常样本个数的比值；准确率Accuracy指正确检测出的样本个数和总样本数的比值；
S16，对模型进行应用测试，通过特征匹配的方式判断样本未来是否存在LVM配置故障；当特征匹配成功时，视为存在LVM配置故障；
其中，所述模型的输出层包含1个神经元；将LVM状态采用O和1标签进行记录，O为正常样本，1为故障样本。
4.根据权利要求2所述的LVM故障数据快速恢复方法，其特征在于，所述智能判断规则具体如下：
通过验证模块获取硬盘的SMART信息，根据如下策略定义硬盘健康等级：
所述硬盘健康等级包括信息级别、警告级别和严重级别；
当出现以下任意一项时，硬盘健康等级定义为信息级别：
（1）通电时间大于硬盘出厂阈值的80%；
（2）硬盘温度大于硬盘出厂阈值的85%；
当出现以下任意一项时，硬盘健康等级定义为警告级别：
（1）重新分配扇区计数器大于硬盘出厂阈值的80%；
（2）当前挂起扇区计数器大于硬盘出厂阈值的50%；
（3）不可纠正扇区计数器大于硬盘出厂阈值的80%；
（4）通电时间大于硬盘出厂阈值的95%；
（5）硬盘温度大于硬盘出厂阈值；
（6）读取剩余寿命大于硬盘出厂阈值的80%；
（7）写入剩余寿命大于硬盘出厂阈值的80%；
当出现以下任意一项时，硬盘健康等级定义为严重级别：
（1）重新分配扇区计数器大于硬盘出厂阈值；
（2）当前挂起扇区计数器大于硬盘出厂阈值；
（3）不可纠正扇区计数器大于硬盘出厂阈值；
（4）通电时间大于硬盘出厂阈值；
（5）读取剩余寿命大于硬盘出厂阈值；
（6）写入剩余寿命大于硬盘出厂阈值。
5.根据权利要求1所述的LVM故障数据快速恢复方法，其特征在于，步骤S2中，支持的预警级别包括信息、警告和严重；支持的预警方式包括用户登录后提示和邮件告警。
6.根据权利要求3所述的LVM故障数据快速恢复方法，其特征在于，步骤S3包括如下步骤：
S31，若识别出系统正常登录，硬盘故障，部分目录损坏，则处置模块给出操作提示，用户按提示更换硬盘后，处置模块自动进行LVM配置恢复操作，恢复损坏的挂载目录；
S32，若识别出系统无法登录，硬盘故障，则处置模块给出操作提示，用户按提示更换硬盘后，处置模块自动进行LVM配置恢复操作，恢复损坏的挂载目录；
S33，若识别出系统无法登录，硬盘正常，实际为LVM配置错误引起的故障，则处置模块根据AI模型分析给出的结果，自动进行恢复操作；其中，部分设备恢复过程需要重启，且需用户重新使用介质引导系统后继续进行恢复操作。
7.根据权利要求6所述的LVM故障数据快速恢复方法，其特征在于，步骤S4中，在将迁移后的目录与原始目录中的文件进行对比的过程中，支持本地目录和本地目录以及远程目录和本地目录之间的对比。
8.LVM故障数据快速恢复系统，用于实现权利要求1-7任一项所述的LVM故障数据快速恢复方法，其特征在于，所述LVM故障数据快速恢复系统包括：
识别模块，用于检查系统是否存在LVM配置故障和硬盘故障隐患；
预警模块，用于提示用户存在的问题或者隐患，使用户根据提示进行处置；
处置模块，用于根据识别的结果给出相应的处置步骤，若存在LVM配置错误导致的故障，则自动进行LVM配置恢复操作；若存在硬盘故障隐患，则给出处置步骤使用户进行更换硬盘操作；
验证模块，用于对处置步骤进行验证，若处置步骤为自动进行LVM配置恢复操作，则将迁移后的目录与原始目录中的文件进行对比；若处置步骤为更换硬盘操作，则检查硬盘的整体健康自我评估结果。
9.根据权利要求8所述的LVM故障数据快速恢复系统，其特征在于，所述验证模块包括硬盘验证模块和数据验证模块；
所述硬盘验证模块用于检查硬盘的整体健康自我评估结果；
所述数据验证模块用于将迁移后的目录与原始目录中的文件进行对比。
10.计算机可读存储介质，其特征在于，包括计算机可执行指令，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行权利要求1-7中任一项所述的LVM故障数据快速恢复方法的步骤。
CN202310977449.2A 2023-08-04 2023-08-04 Lvm故障数据快速恢复方法、系统和计算机可读存储介质 Active CN116680114B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310977449.2A CN116680114B (zh) 2023-08-04 2023-08-04 Lvm故障数据快速恢复方法、系统和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310977449.2A CN116680114B (zh) 2023-08-04 2023-08-04 Lvm故障数据快速恢复方法、系统和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN116680114A true CN116680114A (zh) 2023-09-01
CN116680114B CN116680114B (zh) 2023-10-31

Family

ID=87789537

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310977449.2A Active CN116680114B (zh) 2023-08-04 2023-08-04 Lvm故障数据快速恢复方法、系统和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN116680114B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050060070A1 (en) * 2000-08-18 2005-03-17 Nnt, Inc. Wireless communication framework
US8713356B1 (en) * 2011-09-02 2014-04-29 Emc Corporation Error detection and recovery tool for logical volume management in a data storage system
CN103885718A (zh) * 2012-12-21 2014-06-25 刘庆国 一种基于lvm的镜像磁盘增量同步方法
US20140181579A1 (en) * 2012-12-21 2014-06-26 Zetta, Inc. Systems and methods for on-line backup and disaster recovery
CN106201357A (zh) * 2016-07-18 2016-12-07 浪潮(北京)电子信息产业有限公司 一种存储池的构建方法及系统
CN108153618A (zh) * 2017-12-22 2018-06-12 国网浙江杭州市萧山区供电有限公司 硬盘数据恢复方法、装置及硬盘数据恢复设备
CN108446734A (zh) * 2018-03-20 2018-08-24 中科边缘智慧信息科技（苏州）有限公司 基于人工智能的磁盘故障自动预测方法
CN111933207A (zh) * 2020-08-26 2020-11-13 腾讯科技（深圳）有限公司 慢盘识别方法、装置、电子设备及存储设备
CN112559263A (zh) * 2020-12-03 2021-03-26 西安天互通信有限公司 一种实时的硬盘智能监控和预警系统及方法
CN113031879A (zh) * 2021-05-24 2021-06-25 广东睿江云计算股份有限公司 一种基于lvm逻辑的集群存储方法
CN114116292A (zh) * 2022-01-27 2022-03-01 华南理工大学 一种融合ap聚类与宽度学习系统的硬盘故障预测方法
CN115858086A (zh) * 2022-10-19 2023-03-28 阿里巴巴（中国）有限公司 数据恢复方法、数据恢复系统、设备及存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050060070A1 (en) * 2000-08-18 2005-03-17 Nnt, Inc. Wireless communication framework
US8713356B1 (en) * 2011-09-02 2014-04-29 Emc Corporation Error detection and recovery tool for logical volume management in a data storage system
CN103885718A (zh) * 2012-12-21 2014-06-25 刘庆国 一种基于lvm的镜像磁盘增量同步方法
US20140181579A1 (en) * 2012-12-21 2014-06-26 Zetta, Inc. Systems and methods for on-line backup and disaster recovery
CN106201357A (zh) * 2016-07-18 2016-12-07 浪潮(北京)电子信息产业有限公司 一种存储池的构建方法及系统
CN108153618A (zh) * 2017-12-22 2018-06-12 国网浙江杭州市萧山区供电有限公司 硬盘数据恢复方法、装置及硬盘数据恢复设备
CN108446734A (zh) * 2018-03-20 2018-08-24 中科边缘智慧信息科技（苏州）有限公司 基于人工智能的磁盘故障自动预测方法
CN111933207A (zh) * 2020-08-26 2020-11-13 腾讯科技（深圳）有限公司 慢盘识别方法、装置、电子设备及存储设备
CN112559263A (zh) * 2020-12-03 2021-03-26 西安天互通信有限公司 一种实时的硬盘智能监控和预警系统及方法
CN113031879A (zh) * 2021-05-24 2021-06-25 广东睿江云计算股份有限公司 一种基于lvm逻辑的集群存储方法
CN114116292A (zh) * 2022-01-27 2022-03-01 华南理工大学 一种融合ap聚类与宽度学习系统的硬盘故障预测方法
CN115858086A (zh) * 2022-10-19 2023-03-28 阿里巴巴（中国）有限公司 数据恢复方法、数据恢复系统、设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
张云鹏;: "计算机硬盘故障数据恢复技术", 计算机光盘软件与应用, no. 03 *
李静;刘冬实;: "主动容错云存储系统的可靠性评价模型", 计算机应用, no. 09 *
石维盛, 康慕宁, 王彦龙, 董欢庆: "基于LVM的容灾系统传输协议的实现", 微电子学与计算机, no. 04 *

Also Published As

Publication number Publication date
CN116680114B (zh) 2023-10-31

Similar Documents

Publication Publication Date Title
US8943358B2 (en) Storage system, apparatus, and method for failure recovery during unsuccessful rebuild process
US7975171B2 (en) Automated file recovery based on subsystem error detection results
CN107943414A (zh) 嵌入式Linux的文件系统分区及数据读写方法
EP3244315B1 (en) Method and apparatus for performing data recovery in redundant storage system
US8055948B2 (en) Resilient software-controlled redundant array of independent disks (RAID)
US9519545B2 (en) Storage drive remediation in a raid system
US8799595B1 (en) Eliminating duplicate data in storage systems with boot consolidation
US20100313069A1 (en) Computer system and failure recovery method
US6772286B2 (en) Method for regenerating data in disk array
CN110989938A (zh) 一种故障盘识别方法、装置、设备及计算机可读存储介质
US20140379649A1 (en) Distributed storage system and file synchronization method
CN109426586B (zh) 一种数据文件修复方法、设备及计算机可读存储介质
US8539156B2 (en) Storage subsystem and its logical unit processing method
CN110321067B (zh) 估计和管理存储设备退化的系统和方法
CN104133750A (zh) 主机与存储设备兼容适配测试方法和系统
US9280431B2 (en) Prioritizing backups on a disk level within enterprise storage
CN116680114B (zh) Lvm故障数据快速恢复方法、系统和计算机可读存储介质
CN110795281A (zh) 一种文件恢复方法、装置、设备及存储介质
CN114489504B (zh) 一种ssd数据管理方法及相关组件
CN113391941B (zh) 一种raid的读写超时处理方法、装置、设备及介质
CN113190179B (zh) 提升机械硬盘使用寿命的方法、存储设备及系统
US11314600B2 (en) Data placement method based on health scores
JP2002318732A (ja) 復電時のファイル処理装置およびファイル処理方法
EP3547139B1 (en) System and method of assessing and managing storage device degradation
KR20230060261A (ko) 네트워크 자동 복구 제어 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant