CN105389232A - Ext文件系统有效数据分析方法 - Google Patents

Ext文件系统有效数据分析方法 Download PDF

Info

Publication number
CN105389232A
CN105389232A CN201510715609.1A CN201510715609A CN105389232A CN 105389232 A CN105389232 A CN 105389232A CN 201510715609 A CN201510715609 A CN 201510715609A CN 105389232 A CN105389232 A CN 105389232A
Authority
CN
China
Prior art keywords
block
block group
data
distribution state
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510715609.1A
Other languages
English (en)
Other versions
CN105389232B (zh
Inventor
谈振华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WUHAN OS-EASY CLOUD COMPUTING Co Ltd
Original Assignee
WUHAN OS-EASY CLOUD COMPUTING Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WUHAN OS-EASY CLOUD COMPUTING Co Ltd filed Critical WUHAN OS-EASY CLOUD COMPUTING Co Ltd
Priority to CN201510715609.1A priority Critical patent/CN105389232B/zh
Publication of CN105389232A publication Critical patent/CN105389232A/zh
Application granted granted Critical
Publication of CN105389232B publication Critical patent/CN105389232B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种EXT文件系统有效数据分析方法，涉及数据备份还原领域，磁盘分区中每个块组均包括元数据区和数据区，其包括：将磁盘分区中每个块组的元数据区判断为全部已分配状态；通过读取块组描述符表，判断磁盘分区中每个块组中数据区的分配状态是否为全部已分配状态、全部未分配状态或部分分配状态；判断分配状态为部分分配状态的块组中数据区每一块的分配状态；将所有块组的元数据区、全部已分配状态块组中的数据区以及部分分配状态块组的数据区中已分配的块标记为EXT文件系统的有效数据。本发明只需读取部分分配的块组的块位图，有效的降低了读取块位图的数量，能有效提高分析EXT文件系统有效数据的速度。

Description

EXT文件系统有效数据分析方法
技术领域
本发明涉及数据备份还原领域，具体涉及一种EXT文件系统有效数据分析方法。
背景技术
备份还原类软件通常需要对硬盘分区进行快速的备份操作，对分区进行备份的速度也是一项非常重要的性能指标，基于文件系统有效数据的备份方法在保护还原类软件中使用非常广泛。该技术首先分析分区中文件系统有效数据的分配状态，然后根据有效数据分配状态来进行有效数据的备份操作。
EXT文件系统所在区域分为元数据区和数据区，元数据区包括管理空间需要分配的数据区域、超级块、块组描述符表、块位图，I节点位图，I节点表所在区域。数据区指的是文件内容存放的区域，每个块组Inode表后面的区域都是数据区；文件系统有效数据包含所有的元数据区和已被分配的数据区块中的数据。
EXT文件系统所有区域被划分为一个个的块，对于同一个文件系统每个块大小都是一样的，EXT文件系统以块作为数据的分配单元和存储的基本单位；所有的块又被分为若干个块组，每个块组内的结构都是大致相同的，每个块组包含的块数都相等，只是由于文件系统的总扇区数并不一定是块组所包含扇区数的整数倍，因此最后一个块组的块数往往小于其他块组。
EXT文件系统的2号扇区开始是EXT文件系统的超级块，占用2个扇区，其记录了文件系统的综合信息。位于超级块所在块的下一个块是块组描述符表的起始位置，每个块组描述符占用32字节或64字节，每个块组都有这样的一个块组描述符，记录了块组的相关信息，所有的块组描述符集中存放，组成块组描述符表。
每个块组中都有一个块位图，块位图的地址在该块组的描述符中给出，块位图用于描述本块组所管理的块的分配状态，块位图中的每一位映射本块组中的一个块，如果某个块对应的位设置为0，那么代表该块未分配，为无效数据块，如果对应的位设置为1，则代表该块已分配，为有效数据块。
现有技术中分析EXT文件系统，判断全部有效数据块的传统方法是：分别从磁盘分区中读取每个块组的块位图，然后根据块位图的分配状态来判断相应的块是否为有效数据块。但是读取全部的块位图会产生大量分散的小读，但是分散的小写或小读操作会增加磁头的寻道时间，造成读取全部块位图的操作就会消耗大量的时间，大大降低了分析EXT文件系统有效数据的速度。
发明内容
针对现有技术中存在的缺陷，本发明的目的在于提供一种快速的EXT文件系统有效数据分析方法，磁盘分区中每个块组均包括元数据区和数据区，其包括以下步骤：
(A)通过读取块组描述符表，判断磁盘分区中每个块组中数据区的分配状态是否为全部已分配状态、全部未分配状态或部分分配状态；
(B)读取分配状态为部分分配状态的块组的块位图，判断分配状态为部分分配状态的块组中数据区每一块的分配状态；
(C)将所有块组的元数据区、全部已分配状态块组中的数据区以及部分分配状态块组的数据区中已分配的块标记为EXT文件系统的有效数据。
在上述技术方案的基础上，所述步骤(A)中判断块组中数据区是否为全部已分配状态的方法为：读取块组描述符表，遍历块组描述符表中块组描述符，若块组描述符中记录的空闲块数为零，则判断相应块组数据区的分配状态为全部已分配状态。
在上述技术方案的基础上，所述步骤(A)中判断块组中数据区是否为全部未分配状态的方法为：读取块组描述符表，遍历块组描述符表中块组描述符，若块组描述符中记录的空闲块数等于该块组数据区块的数量，则判断该块组数据区的分配状态为全部未分配状态。
在上述技术方案的基础上，所述步骤(A)中判断块组中数据区是否为部分分配状态的方法为：读取块组描述符表，遍历块组描述符表中块组描述符，若块组描述符中记录的空闲块的数量不为零，也不等于该块组数据区块的数量，则判断该块组数据区的分配状态为部分分配状态。
在上述技术方案的基础上，所述块组描述符表记录每个块组的块位图的起始块号，空闲块数以及i-节点表的起始块号。
在上述技术方案的基础上，所述块组数据区块的数量的计算方式为：该块组i-节点表的起始块号加上i-节点表所占用块的数量再减去该块组的起始块号得出该块组元数据区块的数量，使用该块组块的总数减去元数据块的数量得到该块组数据区块的数量。
在上述技术方案的基础上，读取元数据区中超级块，所述超级块记录了相应磁盘分区的总块数，块大小描述值，每块组包含的块数。
与现有技术相比，本发明的优点在于：通过直接读取块组描述符表判断块组中数据区是否已经全部分配或者全部未分配。进而只需读取部分分配的块组的块位图，有效的降低了读取块位图的数量，能有效提高分析EXT文件系统有效数据的速度。
附图说明
图1为本发明EXT文件系统有效数据分析方法流程图。
具体实施方式
以下结合附图及实施例对本发明作进一步详细说明。
参见图1所示，本发明一种EXT文件系统有效数据分析方法，其包括以下步骤：
(A)读取元数据区中超级块，所述超级块记录了相应磁盘分区的总块数，块大小描述值，每块组包含的块数，为后续的有效分析做准备。通过读取块组描述符表，判断磁盘分区中每个块组中数据区的分配状态是否为全部已分配状态、全部未分配状态或部分分配状态；
步骤(A)中判断块组中数据区是否为全部已分配状态的方法为：读取块组描述符表，遍历块组描述符表中块组描述符，若块组描述符中记录的空闲块数为零，则判断该块组数据区的分配状态为全部已分配状态。由于通过读取块组描述符直接完成块组类别的判断，不需要从磁盘分区中读取该块组的块位图进行分析。
由于在文件系统创建的时将元数据区的数据块都划分为已分配状态。判断块组中数据区是否为全部未分配状态的方法为：读取块组描述符表，遍历块组描述符表中块组描述符，若块组描述符中记录的空闲块数等于该块组数据区块的数量，则判断该块组数据区的分配状态为全部未分配状态。判断块组中数据区是否为部分分配状态的方法为：读取块组描述符表，遍历块组描述符表中块组描述符，若块组描述符中记录的空闲块的数量不为零，也不等于该块组数据区块的数量，则判断该块组数据区的分配状态为部分分配状态。
块组数据区块的数量的计算方式为：该块组i-节点表的起始块号加上i-节点表所占用块的数量再减去该块组的起始块号得出该块组元数据区块的数量，使用该块组块的总数减去元数据块的数量得到该块组数据区块的数量。
(B)读取分配状态为部分分配状态的块组的块位图，判断分配状态为部分分配状态的块组中数据区每一块的分配状态；其判断方式为，块位图中的每一位映射本块组中的一个块，如果某个块对应的位设置为0，那么代表该块未分配，为无效数据块，如果对应的位设置为1，则代表该块已分配，为有效数据块。
(C)将所有块组的元数据区、全部已分配状态块组中的数据区以及部分分配状态块组的数据区中已分配的块标记为EXT文件系统的有效数据。
本发明通过直接读取块组描述符表判断块组中数据区是否已经全部分配或者全部未分配。进而只需读取部分分配的块组的块位图，有效的降低了读取块位图的数量，能有效提高分析EXT文件系统有效数据的速度。
本发明不局限于上述实施方式，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围之内。本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (7)

1.一种EXT文件系统有效数据分析方法，磁盘分区中每个块组均包括元数据区和数据区，其特征在于，其包括以下步骤：
(A)通过读取块组描述符表，判断磁盘分区中每个块组中数据区的分配状态是否为全部已分配状态、全部未分配状态或部分分配状态；
(B)读取分配状态为部分分配状态的块组的块位图，判断分配状态为部分分配状态的块组中数据区每一块的分配状态；
(C)将所有块组的元数据区、全部已分配状态块组中的数据区以及部分分配状态块组的数据区中已分配的块标记为EXT文件系统的有效数据。
2.如权利要求1所述的EXT文件系统有效数据分析方法，其特征在于，所述步骤(A)中判断块组中数据区是否为全部已分配状态的方法为：读取块组描述符表，遍历块组描述符表中块组描述符，若块组描述符中记录的空闲块数为零，则判断相应块组数据区的分配状态为全部已分配状态。
3.如权利要求1所述的EXT文件系统有效数据分析方法，其特征在于，所述步骤(A)中判断块组中数据区是否为全部未分配状态的方法为：读取块组描述符表，遍历块组描述符表中块组描述符，若块组描述符中记录的空闲块数等于该块组数据区块的数量，则判断该块组数据区的分配状态为全部未分配状态。
4.如权利要求1所述的EXT文件系统有效数据分析方法，其特征在于，所述步骤(A)中判断块组中数据区是否为部分分配状态的方法为：读取块组描述符表，遍历块组描述符表中块组描述符，若块组描述符中记录的空闲块的数量不为零，也不等于该块组数据区块的数量，则判断该块组数据区的分配状态为部分分配状态。
5.如权利要求3或4所述的EXT文件系统有效数据分析方法，其特征在于：所述块组描述符表记录每个块组的块位图的起始块号，空闲块数以及i-节点表的起始块号。
6.如权利要求5所述的EXT文件系统有效数据分析方法，其特征在于：所述块组数据区块的数量的计算方式为：该块组i-节点表的起始块号加上i-节点表所占用块的数量再减去该块组的起始块号得出该块组元数据区块的数量，使用该块组块的总数减去元数据块的数量得到该块组数据区块的数量。
7.如权利要求1所述的EXT文件系统有效数据分析方法，其特征在于，还包括：读取元数据区中超级块，所述超级块记录了相应磁盘分区的总块数，块大小描述值，每块组包含的块数。
CN201510715609.1A 2015-10-28 2015-10-28 Ext文件系统有效数据分析方法 Active CN105389232B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510715609.1A CN105389232B (zh) 2015-10-28 2015-10-28 Ext文件系统有效数据分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510715609.1A CN105389232B (zh) 2015-10-28 2015-10-28 Ext文件系统有效数据分析方法

Publications (2)

Publication Number Publication Date
CN105389232A true CN105389232A (zh) 2016-03-09
CN105389232B CN105389232B (zh) 2018-02-09

Family

ID=55421539

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510715609.1A Active CN105389232B (zh) 2015-10-28 2015-10-28 Ext文件系统有效数据分析方法

Country Status (1)

Country Link
CN (1) CN105389232B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106156639A (zh) * 2016-06-28 2016-11-23 北京小米移动软件有限公司 数据分区加密方法及装置
CN106445737A (zh) * 2016-09-12 2017-02-22 恒为科技（上海）股份有限公司 一种多备份启动方法
CN113419897A (zh) * 2021-01-19 2021-09-21 阿里巴巴集团控股有限公司 一种文件处理方法、装置、电子设备及其存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050144501A1 (en) * 2003-12-02 2005-06-30 Kim Jae G. Method for recovering data in EXT2 file system, and computer-readable storage medium recorded with data-recovery program
CN103309773A (zh) * 2013-07-03 2013-09-18 厦门市美亚柏科信息股份有限公司 在ext3文件系统下的raid0的数据恢复方法
CN103744875A (zh) * 2013-12-19 2014-04-23 记忆科技(深圳)有限公司 基于文件系统的数据快速迁移方法及系统
CN104537050A (zh) * 2014-12-25 2015-04-22 华中科技大学 一种批量快速创建文件系统元数据和数据的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050144501A1 (en) * 2003-12-02 2005-06-30 Kim Jae G. Method for recovering data in EXT2 file system, and computer-readable storage medium recorded with data-recovery program
CN103309773A (zh) * 2013-07-03 2013-09-18 厦门市美亚柏科信息股份有限公司 在ext3文件系统下的raid0的数据恢复方法
CN103744875A (zh) * 2013-12-19 2014-04-23 记忆科技(深圳)有限公司 基于文件系统的数据快速迁移方法及系统
CN104537050A (zh) * 2014-12-25 2015-04-22 华中科技大学 一种批量快速创建文件系统元数据和数据的方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106156639A (zh) * 2016-06-28 2016-11-23 北京小米移动软件有限公司 数据分区加密方法及装置
CN106445737A (zh) * 2016-09-12 2017-02-22 恒为科技（上海）股份有限公司 一种多备份启动方法
CN106445737B (zh) * 2016-09-12 2023-03-10 恒为科技（上海）股份有限公司 一种多备份启动方法
CN113419897A (zh) * 2021-01-19 2021-09-21 阿里巴巴集团控股有限公司 一种文件处理方法、装置、电子设备及其存储介质
CN113419897B (zh) * 2021-01-19 2023-12-22 阿里巴巴集团控股有限公司 一种文件处理方法、装置、电子设备及其存储介质

Also Published As

Publication number Publication date
CN105389232B (zh) 2018-02-09

Similar Documents

Publication Publication Date Title
US11068455B2 (en) Mapper tree with super leaf nodes
CN108021513B (zh) 一种数据存储方法及装置
CN101777017B (zh) 一种连续数据保护系统的快速恢复方法
CN102323958A (zh) 重复数据删除方法
CN107122126B (zh) 数据的迁移方法、装置和系统
CN105589812A (zh) 磁盘碎片整理方法、装置及主机
CN104731896A (zh) 一种数据处理方法及系统
CN104238962A (zh) 向缓存中写入数据的方法及装置
US9940331B1 (en) Proactive scavenging of file system snaps
CN105117351A (zh) 向缓存写入数据的方法及装置
US10169161B2 (en) High speed backup
CN103399823A (zh) 业务数据的存储方法、设备和系统
CN105243027A (zh) 在存储设备中存储数据的方法和存储控制器
CN104461384B (zh) 一种数据写入方法及存储设备
CN104065906A (zh) 数字录像设备的录像方法及装置
CN102253985B (zh) 一种文件系统数据的管理方法及系统
CN105389232A (zh) Ext文件系统有效数据分析方法
CN106020722A (zh) 一种云存储系统的重复数据去重方法、装置及系统
CN104281717A (zh) 一种建立海量id映射关系的方法
CN104050057A (zh) 一种历史感知的数据去重碎片消除方法与系统
WO2019084917A1 (zh) 存储系统可用容量计算方法及装置
CN105867836A (zh) 存储管理方法、装置及流媒体系统
CN103631589A (zh) 应用识别方法与装置
EP2811410A1 (en) Monitoring record management method and device
CN104681050A (zh) 一种提取磁盘视频数据的方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 430000 Hubei city of Wuhan Province, East Lake New Technology Development Zone, Optics Valley Road No. 465 building 17 room 1701 creative

Applicant after: WUHAN OS-EASY CLOUD COMPUTING CO., LTD.

Address before: 430074 Hubei city of Wuhan Province, East Lake New Technology Development Zone, Road No. 465 Optics Valley creative building C block 17 layer

Applicant before: WUHAN OS-EASY CLOUD COMPUTING CO., LTD.

COR Change of bibliographic data
GR01 Patent grant
GR01 Patent grant