CN101441638A - 映像文件的数据结构 - Google Patents

映像文件的数据结构 Download PDF

Info

Publication number
CN101441638A
CN101441638A CNA2007101875369A CN200710187536A CN101441638A CN 101441638 A CN101441638 A CN 101441638A CN A2007101875369 A CNA2007101875369 A CN A2007101875369A CN 200710187536 A CN200710187536 A CN 200710187536A CN 101441638 A CN101441638 A CN 101441638A
Authority
CN
China
Prior art keywords
data
image file
file
storage device
data structure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2007101875369A
Other languages
English (en)
Inventor
何江
陈玄同
刘文涵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inventec Corp
Original Assignee
Inventec Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inventec Corp filed Critical Inventec Corp
Priority to CNA2007101875369A priority Critical patent/CN101441638A/zh
Publication of CN101441638A publication Critical patent/CN101441638A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种映像文件的数据结构,其包括有:映像文件头、数据区、索引表及文件尾信息。映像文件头记录着储存装置的硬件参数信息;将储存装置划分成数个数据单元。数据单元进行压缩处理,用以生成相应的已压缩数据区块。将其所产生的已压缩数据区块存放置数据区中;索引表利用指针值将数据单元的起始位置与已压缩数据区块在映像文件中的所在位置记录至索引表中;文件尾信息标记映像文件的文件长度。映像文件在网络传输的过程中,目的端可以将接收的已压缩数据区块还原至相应的位置上。

Description

映像文件的数据结构
技术领域
本发明涉及一种纪录映像文件的数据结构,特别涉及一种改进纪录映像文件的数据结构。
背景技术
对于一般使用者而言,安装计算机系统及其应用程序是件繁杂的事情,因为使用者需要熟知对周边装置及计算机系统的设定。而且每次安装需要耗费掉许多的时间,若是发生错误的话还得重新安装一次。为了能节省安装的时间,所以有人提出了计算机系统的备份方法。
所谓计算机系统的备份是将来源端的计算机系统的储存设备进行数据的备份,其中备份的项目包括了系统信息或应用程序。若是以后计算机系统发生了任何错误或毁损的话,使用者只要将备份数据回复至计算机系统中,就可以将计算机系统回复成数据备份前的样貌。使用者不需在额外的费心设定计算机系统与安装应用程序,而且回复的时间远比安装计算机系统的时间更为短少。
目前的个人计算机(例如笔记型计算机)生产厂商,通常会在个人计算机出厂前就预装有操作系统(Operation System),例如微软的窗口操作系统(Microsoft Windows System),由于这类操作系统的数据量庞大且安装费时,所以通常会利用映像文件(image file)还原技术对将出厂的个人计算机进行操作系统及/或其它应用程序的预安装(pre-installation),以达到快速安装操作系统的目的,进而提高生产线的生产效能。
现有的映像文件的生成方式,请参考图1所示,其为现有文件示意图。读取来源端的储存装置(在此指的是个人计算机中用以安装操作系统及/或其它应用程序的硬盘机)的相关信息(步骤S110),其中相关信息例如储存装置的扇区数量、文件位置、及文件数量等。再根据储存装置的相关信息进行映像文件处理(步骤S120),将上述的相关信息把储存装置中的文件进行压缩处理并且将压缩后的文件重新排放。
一般而言,现有映像文件备份方法对于储存装置间的直接备份确实能达到其备份的优点,例如将来源端的映像文件利用光盘或其它不同的储存媒体来还原至目的端的储存装置。但传输过程若是以因特网由来源端传送至目的端的话,则会出现下列问题:1.映像文件只能从头依序接收;2.传输过程中数据有遗失,需要重头在传送一次。所以在传输过程需要耗费许多的时间。
其中,主要的原因在于映像文件的数据结构组成。一般映像文件的数据结构根据储存装置中的文件存放位置来进行排列压缩等动作。若要重建映像文件的话,则需要映像文件的重组信息,举例来说,重组信息可能放置于映像文件的文件头(file head)或文件尾(file tail)里。对于其它的目的端而言需要将映像文件完全接收完后,才能根据重组信息来对映像文件做数据还原(restore)的动作。
而且,根据各种不同操作系统所提供的磁盘存放机制也会对映像文件的存放大小有所限制。例如,对于微软公司所提供的FAT磁盘存放机制而言,FAT-16具有单一文件2GBBytes的限制,而FAT-32则具有单一文件4GByte的限制。若是来源端的第一储存装置超过其存放文件的限制的话,则无法对其进行映像文件的处理。
发明内容
鉴于以上的问题,本发明的主要目的在于提供一种记录映像文件的数据结构的备份系统。
在本发明的映像文件的数据结构中包括:映像文件头、数据区、索引表及文件尾信息。映像文件头记录着来源端的储存装置的硬件参数信息;数据区中具有数个连续储存的已压缩数据区块,已压缩数据区块分别记录着来源端的储存装置中,被划分成固定数据长度的数个数据单元之中被压缩后的数据;索引表中具有一指针值,指针值用以记录数据单元在来源端的储存装置中的起始位置,以及已压缩数据区块在数据区中的所在位置;文件尾信息记录映像文件的文件长度。其中,在已压缩数据区块中更包括了:原始数据长度字段、已压缩数据区块长度字段与检查码字段。原始数据长度字段用以纪录数据单元中所存放的有效数据大小。已压缩数据区块长度字段用以纪录已压缩数据区块的数据大小。检查码字段则是根据已压缩数据区块进行校验处理后的纪录字段,检查码字段提供数据还原时检查已压缩数据区块是否在传送的过程中出现错误。
根据本发明映像文件的数据结构,使得映像文件在传输过程中可以不需要依照接收顺序,即可进行映像文件的还原动作。在网络传输过程中目的端若是有遗漏部分的已压缩数据区块的话,目的端可以先对已接收到的部分数据进行数据还原的动作。并且本发明可以依据文件存放机制的不同,进而调整其中的数据单元大小,使得本发明的映像文件的大小可以不受EXT、NTFS、FAT16或FAT32等文件容量限制。
以下结合附图和具体实施例对本发明进行详细描述,但不作为对本发明的限定。
附图说明
图1为现有映像文件生成示意图;
图2a为本发明的映像文件数据结构示意图;
图2b为本发明的已压缩数据区块结构示意图;
图2c为本发明的索引表内容示意图;
图3为本发明利用群播传输技术的传输时程图。
其中,附图标记
400       映像文件
410       映像文件头
420       索引表
430       数据区
440       文件尾信息
450       已压缩数据区块
451       原始数据长度字段
452       已压缩数据区块长度字段
453       检查码字段
具体实施方式
下面结合附图对本发明的结构原理和工作原理作具体的描述:
本发明为纪录映像文件的数据结构,其应用于来源端中的第一储存装置。在第一储存装置中用以存放操作系统或其相关的应用程序。来源端可以是个人计算机、笔记型计算机(notebook)、平版计算机(tablet pc)或移动运算装置。储存装置可以是硬盘(hard disk)、磁盘冗余数组(RAID)、记忆卡(memory card)或是储存装置。
请参考图2a所示,其为本发明的映像文件数据结构示意图。在映像文件中分别包括了:映像文件头410、索引表420、数据区430及文件尾信息440。映像文件头410是根据第一储存装置的硬件参数信息所产生的,其中第一储存装置若为硬盘的话,则硬件参数信息为磁头(head)、磁柱(cylinder)及扇区(sector)。
数据区430中储存有数个连续储存的已压缩数据区块450,这些已压缩数据区块450分别记录着来源端的第一储存装置中被划分成固定数据长度的数个数据单元之中被压缩后的数据。在本发明的较佳实施例中将第一储存装置以2MB(Mega Bytes)来划分成一个数据单元,就以一个20GB(Giga Bytes)的储存装置而言,其中会具有10240个数据单元,所以在经过压缩处理的步骤后也会产生10240个已压缩数据区块450。数据单元大小根据当前欲进行映像文件处理的磁盘储存机制所决定。以本发明的较佳实施例而言,数据单元在理想状况下应该会储存有2MB的数据。
值得注意的是,在已压缩数据区块450中更包括以下字段:原始数据长度字段451、已压缩数据区块长度字段452与检查码字段453。请参考图2b所示,其为本发明的已压缩数据区块结构示意图。原始数据长度字段用以纪录数据单元中所存放的有效数据大小,在此所称的有效数据可以通过查找如NTFS或是Linux EXT文件系统中的bit map信息得知哪些是有效数据。以实际文件的存放机制而言,文件数据的放置并不一定是被存放在连续的区块中,使得数据单元并不会都存放有2MB的数据。假设数据单元中所存放的数据大小为2MB的话,那记录数据域位451可以利用4Bytes的长度来记录。
已压缩数据区块长度字段452用以纪录已压缩数据区块450的数据大小,换句话说就是记录数据单元所实际存放的数据在进行压缩后的数据大小。检查码字段453用以提供已压缩数据区块450的识别检查。检查码利用一循环冗余校验(Cyclic Redundancy Check,CRC)、MD5法或低密度同位检查(Low-Density Parity-Check,LDPC)所产生,以提供将映像文件400还原后可以根据检查码来验证已压缩数据区块450的数据完整性。对于已压缩数据区块长度字段452与检查码字段453长度同样的也是根据数据单元的大小所决定,在本实施例中分别是以4Bytes作为其记录字段长度。
索引表420中具有一指标值(未绘示),指针值用以记录数据单元在来源端的第一储存装置中的起始位置,与已压缩数据区块450在数据区430中的所在位置。请另外参考图2c所示,其为本发明的索引表内容示意图。在图2c中的索引表420中分别记载数据单元在第一储存装置中的磁盘位置。在映像文件400的最后产生文件尾信息440,文件尾信息440用以标记映像文件400的文件长度,使得目的端在接收时可以用以确认映像文件400的实际数据长度。
本发明所提出的映像文件的数据结构特别在网络传输更能凸显其优点,特别是利用群播(multicasting)传输技术。所谓的群播是指一计算机主机可通过群播路由器(MRouter;Muticasting Router)同时对多部主机传送相同的数据。群播传输的特点在于,在网络中的来源端只需传送一次就可以传达到各目的端中,使得多点群播可以降低在网络上的信息传送量。但若以现有的映像文件数据结构而言,当目的端漏接一个数据封包的话,目的端需要重新接收映像文件,这样对来源端或目的端都是非常浪费资源的。所以为能符合群播传输的特性,本发明将第一储存装置划分为多个数据单元,并且目的端只要通过映像文件头410与索引文件420就可以确认已压缩数据区块450的存放位置。
请参考图3所示,其为本发明利用群播传输技术的传输时程图。在图3上方所代表的是,来源端利用群播传输技术来传送映像文件400的时间长度,在此假设每次传送完后会进行次一回合的传送,直至来源端停止映像文件400的传送为止。而图3中的每一个目的端均会在不同的时间点接收来源端所传送的映像文件400。举例来说,对于第一目的端从一开始就接收到来源端所传送的映像文件400,并且在接收的过程并无任何的中断。所以当第一回合结束后,第一目的端也完成映像文件400的接收程序。
第二目的端则是从第一回合中才开始进行接收映像文件400,此时第二目的端根据映像文件400的索引文件420,就可以将当前所接收的数据单元存放在第二储存装置相应的位置上。所以第二目的端只要在第二回合中接收所未接收到的数据单元,即可完成映像文件400的接收程序。而第三目的端在第一回合的传输过程中,因为并未接收到第一回合的起迄的部分映像文件400,此时第三目的端可以根据索引文件420先排放所接收到的数据单元。等到第二回合的映像文件400传输时,第三目的端再对所缺失的映像文件400部分进行接收即可完成映像文件400的传输。
本发明映像文件在传输过程中可以不需要依照接收顺序,即可进行映像文件的还原动作。在网络传输过程中目的端若是有遗漏部分的已压缩数据区块的话,目的端可以先对已接收到的部分数据进行数据还原的动作。并且本发明可以依据文件存放机制的不同,进而调整其中的数据单元大小,使得本发明的映像文件的大小可以不受EXT、NTFS、FAT16或FAT32等文件容量限制。
当然,本发明还可有其它多种实施例,在不背离本发明精神及其实质的情况下,熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形,但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (7)

1、一种纪录映像文件的数据结构,为一种被储存在一计算机可存取的记录设备中且相应于一来源端所储存的数据的映像文件,其特征在于,该映像文件的数据结构包括:
一映像文件头,记录着来源端的储存装置的硬件参数信息;
一数据区,具有数个连续储存的已压缩数据区块,该些已压缩数据区块分别记录着该来源端的储存装置中,被划分成固定数据长度的数个数据单元之中被压缩后的数据;
一索引表,具有一指针值,该指针值用以记录该些数据单元在该来源端的储存装置中的起始位置,以及该些已压缩数据区块在该数据区中的所在位置;以及
一文件尾信息,记录该映像文件的文件长度。
2、根据权利要求1所述的纪录映像文件的数据结构,其特征在于,每一该数据单元的固定数据长度为2GBytes。
3、根据权利要求1所述的纪录映像文件的数据结构,其特征在于,该已压缩数据区块中更包括:
一原始数据长度字段,用以纪录该数据单元中所存放的数据大小;
一已压缩数据区块长度字段,用以纪录该已压缩数据区块的数据大小;以及
一检查码字段,用以提供该已压缩数据区块的识别检查。
4、根据权利要求3所述的纪录映像文件的数据结构,其特征在于,该检查码利用循环冗余校验所产生。
5、根据权利要求3所述的纪录映像文件的数据结构,其特征在于,该检查码利用MD5所产生。
6、根据权利要求3所述的纪录映像文件的数据结构,其特征在于,该检查码利用低密度同位检查码所产生。
7、一种采用权利要求1、2、3、4、5或6所述的数据结构的备份系统。
CNA2007101875369A 2007-11-21 2007-11-21 映像文件的数据结构 Pending CN101441638A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CNA2007101875369A CN101441638A (zh) 2007-11-21 2007-11-21 映像文件的数据结构

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CNA2007101875369A CN101441638A (zh) 2007-11-21 2007-11-21 映像文件的数据结构

Publications (1)

Publication Number Publication Date
CN101441638A true CN101441638A (zh) 2009-05-27

Family

ID=40726075

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2007101875369A Pending CN101441638A (zh) 2007-11-21 2007-11-21 映像文件的数据结构

Country Status (1)

Country Link
CN (1) CN101441638A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101977231A (zh) * 2010-10-21 2011-02-16 英业达集团(天津)电子技术有限公司 映像文件的下载方法
CN102455949A (zh) * 2010-10-20 2012-05-16 英业达股份有限公司 备份方法
CN102760063A (zh) * 2011-04-25 2012-10-31 联想(北京)有限公司 一种文件加载方法及装置
CN111193837A (zh) * 2019-12-31 2020-05-22 西安翔腾微电子科技有限公司 多维图像数据的传输方法、装置、电子设备及存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102455949A (zh) * 2010-10-20 2012-05-16 英业达股份有限公司 备份方法
CN102455949B (zh) * 2010-10-20 2013-10-02 英业达股份有限公司 备份方法
CN101977231A (zh) * 2010-10-21 2011-02-16 英业达集团(天津)电子技术有限公司 映像文件的下载方法
CN102760063A (zh) * 2011-04-25 2012-10-31 联想(北京)有限公司 一种文件加载方法及装置
CN102760063B (zh) * 2011-04-25 2015-08-26 联想(北京)有限公司 一种文件加载方法及装置
CN111193837A (zh) * 2019-12-31 2020-05-22 西安翔腾微电子科技有限公司 多维图像数据的传输方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US10445016B2 (en) Techniques for storage command processing
CN104541252B (zh) 用于实现基于服务器的分层大容量存储系统的系统和方法
CN101582920B (zh) 一种分布式文件系统中校验和同步数据块的方法及装置
US10310938B2 (en) Data deduplication with reduced hash computations
CN103098035B (zh) 存储系统
EP3168737A2 (en) Distributed multimode storage management
US20150154220A1 (en) Synchronized data duplication
US9672216B2 (en) Managing deduplication in a data storage system using a bloomier filter data dictionary
WO2017039797A1 (en) Systems and methods for data organization in storage systems using large erasure codes
US20120137094A1 (en) Snapshot based replication
CN102378973A (zh) 用于数据重复删除的系统及方法
CN102591947A (zh) 用于数据去重复的快速且低ram占用的索引
CN101482838A (zh) 基于写时拷贝的数据写入方法及设备
US8930751B2 (en) Initializing replication in a virtual machine
CN105573681A (zh) 一种ssd盘片内部raid组建方法及系统
CN101441639A (zh) 一种映像文件的生成方法
US11074124B2 (en) Method and system for enhancing throughput of big data analysis in a NAND-based read source storage
CN102469142A (zh) 重复数据删除程序的数据传输方法
CN102479118B (zh) 数据块的增量备份方法
CN104077380A (zh) 一种重复数据删除方法、装置及系统
CN101727298B (zh) 实现独立磁盘冗余阵列的方法和装置
CN105893169A (zh) 一种基于纠删码的文件存储方法和系统
CN101441638A (zh) 映像文件的数据结构
US10642508B2 (en) Method to limit impact of partial media failure of disk drive and detect/report the loss of data for objects due to partial failure of media
JPWO2020081512A5 (zh)

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20090527