CN101118508A - 一种数据的安全存储方法 - Google Patents

一种数据的安全存储方法 Download PDF

Info

Publication number
CN101118508A
CN101118508A CNA200710120749XA CN200710120749A CN101118508A CN 101118508 A CN101118508 A CN 101118508A CN A200710120749X A CNA200710120749X A CN A200710120749XA CN 200710120749 A CN200710120749 A CN 200710120749A CN 101118508 A CN101118508 A CN 101118508A
Authority
CN
China
Prior art keywords
data
memory device
hard disk
source data
storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA200710120749XA
Other languages
English (en)
Other versions
CN100530125C (zh
Inventor
欧阳睿章
余军
王炜
刘盾
谭肇
吕袤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Sobey Digital Technology Co Ltd
Original Assignee
Chengdu Sobey Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Sobey Digital Technology Co Ltd filed Critical Chengdu Sobey Digital Technology Co Ltd
Priority to CNB200710120749XA priority Critical patent/CN100530125C/zh
Publication of CN101118508A publication Critical patent/CN101118508A/zh
Application granted granted Critical
Publication of CN100530125C publication Critical patent/CN100530125C/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明公开了一种数据的安全存储方法,在计算机系统中通过接入多个存储设备,把任一数据同时存储到两个独立的存储设备中并形成关联,当某一存储设备中的数据损坏,或存储设备损坏后,从存储有相应数据的另一存储设备取出数据存储到其它存储设备,以保证任一数据都同时在两个存储设备中有可用数据。读取数据时从两个存储设备中择一读取,如果存储数据的某一存储设备损坏,直接从另一存储设备中读取数据。本发明硬件成本低廉,数据安全性强,扩展性强,可以任意增减存储设备容量,适用于多硬盘和多服务器构成的存储系统,数据读取效率高;无需重建时间,在数据读取过程中发现数据损坏,也可以在线恢复,不会影响数据的读取和运行。

Description

一种数据的安全存储方法
技术领域
本发明涉及一种数据的安全存储方法,尤其是一种基于多个存储设备实现的数据安全存储方法,能实现数据的实时备份与在线恢复,确保存储数据的安全。
特别是提供一种用于电视台视频服务器上存储系统中的数据安全存储方法。
背景技术
数据的安全存储是一项非常重要的工作,特别对于一些特殊行业,对数据存储的安全性、可靠性、稳定性甚至超过对于功能性的要求,甚至要求对损坏的数据能在最短时间内得以恢复,以实现数据的及时读取,保证计算机系统执行的工作不被中断。比如用于电视台视频服务器的存储设备,要求保障存储的节目数据安全可靠,即使数据损坏,也能即时恢复,尤其是在节目播放过程中,如果所播放节目的数据损坏,要求能在不中断所播放节目的前提下恢复数据,不得影响节目的正常播放。这对数据存储的安全性和即时恢复性提出了很高的要求。
目前,为了实现数据的安全存储,采用包括:通过采用高性能的存储设备保障数据不被损坏,但是这类设备成本较高,而且也存在被损坏的可能;采用数据备份技术,实现在数据或存储数据的存储设备被损坏后能恢复原有数据。
公知的数据备份技术主要包括:
利用数据压缩技术,把需要备份的数据压缩生成备份文件存储到其他存储器,当数据损坏后,通过备份文件恢复原有数据。这种技术的优点在于可以降低备份文件对存储设备的占用量,有利于存储空间的充分利用,但是这种方式在建立备份和数据恢复时都需要大量的时间,而且在数据恢复过程中无法提取该数据供系统使用,不能实现不中断数据使用的数据恢复。
RAID技术(Redundant Array of Inexpensive Disks的缩写,中文简称为廉价磁盘冗余阵列)提供了一系列较为成熟的数据安全存储技术,该技术通过专用的硬件设备RAID控制器,比如RAID卡、带有RAID芯片的主板或者SCSI控制器等,将多个转速、容量、规格完全相同的磁盘连接到计算机组成磁盘阵列,进行数据的安全存储。具体技术包括RAID0(Disk Striping,数据条带化技术)、RAID1(Disk Mirroring,硬盘镜像技术)、RAID3至RAID6(数据冗余技术),RAID技术作为数据安全保证手段获得了极大成功,广泛应用到了各个数据存储领域。其中:
RAID0技术把拟存储的文件分成多个数据块,顺次存入硬盘阵列中的全部硬盘,读取数据时同时从各个硬盘中读取各个数据块,组合成文件,无法实现数据的安全存储,但是它能提高从存储设备中读取数据的效率。
RAID1用一个RAID控制器带至少两个互为镜像的硬盘。数据同时写入两个硬盘的相同位置,两个硬盘上的数据完全相同,因此一个硬盘故障时,另一个硬盘可提供数据,通过替换损坏的硬盘,系统自动从另一个硬盘取出所有数据,存储到新的硬盘上,形成新的镜像。这种方式能很好地保障存储数据的安全,即使在数据读取过程中,所述数据的硬盘损坏,也能即时从另一个硬盘读取数据,不会中断数据的读取。
RAID3至RAID6技术是通过在将同一文件的数据分成多个文件数据块分散存储到不同硬盘、通过奇偶码模式的数据冗余技术生成校验信息,存储到一个专作奇偶校验用的硬盘,或者分散存储在硬盘阵列的全部硬盘中来提高数据的安全性。如果一块硬盘损坏,更换新硬盘后,可通过Rebuild(重建)从其他未损坏硬盘中提取数据,通过对应的数据校验信息进行运算实现数据恢复。这类RAID技术的优点在于,冗余信息仅仅是校验信息,冗余小,对存储设备的利用率高,安全性较强;而且由于采用了数据块分散存储的模式,在读取数据时可以同时读取各数据块,有较高的读取效率。
但是RAID技术也存在很明显的不足:其一、需要增加昂贵的硬件RAID和使用相同的硬盘,其控制性才能基本满足读写要求,需增加额外的成本;其二、RAID存储可扩展性差,RAID的硬盘捆绑使用模式,增减硬盘容量都变的很困难;其三、如果硬盘阵列中的硬盘损坏,没有及时更换新磁盘,此时数据存储安全性无法得到保障;其四、只能用于多个硬盘,而不能用于多个服务器。
虽然RAID1技术采用硬盘镜像,能保证数据的即时恢复,但是由于是镜像,同一数据在两个磁盘的存储位置完全对应,如磁盘的磁道损坏,将是镜像失去意义,数据无法安全存储;而且由于是镜像技术,需要偶数个磁盘才能实现,而且如果没能及时更换损坏的硬盘,数据的安全性将受影响;在读取数据时,被镜像的磁盘经常处于闲置状态,只有一个磁盘提供数据,读写效率较低。
对于RAID3至6技术需要把数据分散存储并计算校验数据,校验的运算量极大,磁盘损坏后,RAID的Rebuild重建通常要花掉十几、二十个小时才能完成,影响系统的正常运转,在此期间,如果再次发生磁盘故障,将彻底导致数据丢失。
发明内容
为解决上述问题,本发明提供了一种适合所有的计算机系统接入的各种存储设备实现的、安全性更好的数据安全存储方法,能对数据进行实时备份,并能在数据损坏或者存储数据的存储设备损坏后,无需数据恢复时间即可直接读取数据并用于系统工作的数据安全存储方法。
进一步提供一种具有高读写效率的数据安全存储方法。
特别是用于电视台视频服务器存储设备上的数据安全存储方法,实现节目的播出不受影响。
为了实现上述目的,本发明在计算机系统中通过公知的任何方式接入多个存储设备,将拟存储文件的数据分别同时存储到两个不同的存储设备的任一可用位置,并对其建立关联,当某一存储设备中的数据损坏,或存储设备损坏后,从存储有相应数据的其他存储设备取出数据存储到其他存储设备修改关联信息,以保证任一数据都同时在两个存储设备中有可用数据。
其具体包括步骤:
(1)连接多个独立存储设备构成存储设备组;
(2)将同一源数据分别存储到两个存储设备中,保证每一个存储设备中的每一个源数据都在其他存储设备中有存储;
(3)将不同存储设备上存储的同一源数据建立关联;
(4)当某一存储设备中存储的源数据损坏时,在所述存储设备组中再选择一个没有存储该源数据的可用存储设备,根据建立的所述关联,从另一存储设备中取出关联的所述源数据,存储到所述新选择的存储设备,并修改数据关联。
所述存储设备是硬盘,所构成的存储设备组是硬盘组,所述硬盘包括磁盘、电子硬盘;所述硬盘组中的硬盘采用包括IDE、SATA、SCSI、光纤通道、USB通道中的一种或多种连接方式与计算机或服务器连接;或
所述存储设备是带有硬盘的服务器,所构成的存储设备组是带有硬盘的服务器群,所述硬盘包括磁盘、电子硬盘。
所述源数据是一个完整的文件数据。
所述源数据是数据块;
所述步骤(2)进一步包括:
将文件数据分割成多个数据块;
将所述同一文件数据的多个数据块分散存储在不同的存储设备中。
所述步骤(3)进一步包括:根据同一个源数据建立的所述关联,从所述两个存储设备中择一读取所述源数据。
所述择一读取是根据所述两个存储设备的运行状态,从读取效率高的存储设备中读取所述源数据。
所述择一读取所述源数据还包括,当前读取的所述源数据的存储设备或数据损坏,根据建立的所述关联,从所述源数据在另一存储设备上的存储位置,继续读取。
所述步骤(4)进一步包括:所述某一存储设备上存储的所述源数据或所述存储设备损坏,根据建立的所述关联,从另一个存储设备读取所述源数据。
所述步骤(4)进一步包括,在存储设备组中添加一个新存储设备,选择所述新存储设备,根据建立的所述关联,从另一存储设备中取出所述源数据,存储到所述新存储设备,修改数据关联。
所述建立关联是将所述数据存取的寻址路径同时指向所述数据在两个存储设备上的存储地址。
本发明的优点在于:
1、硬件成本低廉,不用专用设备连接存储设备,可以使用多种方式接入;对存储设备的数量和规格没有严格要求,都可以实现安全存储;
2、扩展性强,可以任意增减存储设备容量;
3、由于没有采用镜像备份,如果存储设备组中的磁盘损坏,即时没有及时更换或添加新存储设备,只要系统中存储设备的空间足够,仍然可以进行数据的备份,数据存储安全性仍可保障;即使存储设备中存储介质的部分损坏,也不会影响存储数据的安全性;
4、适用范围广,既可用于连接多个硬盘构成存储器组的普通计算机、服务器,也能用于多个服务器构成的存储器组。
5、能保证数据的在线恢复,无需重建时间,可以保证对损坏数据的即时读取,不会影响数据的读取和运行;
6、数据读取效率高,同一数据被分别存储到不同存储设备,读取数据时可以选择从当前读取效率高的存储设备中读取,而且由于采用多个数据块的分散存储方式,可以同时对文件的各个数据块同时读取。
7、数据恢复效率高,数据块的分散存储以及任一数据同时存储于两个不同的存储设备,数据恢复时也可以并行读取存储,提高数据恢复效率。
附图说明
图1以硬盘作为存储设备组实施例的硬件结构框图;
图2以服务器作为存储设备组实施例的硬件结构框图;
图3数据的存储流程图;
图4数据读取流程图;
图5数据在线恢复流程图;
图6备份数据修复流程图。
图1和图2提供的硬件结构与现有的公知技术相同。
具体实施方式
本发明的基本思路是采用分散式实时备份存储,以空间换安全。在计算机系统中通过公知的任何方式接入多个存储设备,把任一数据同时存储到两个不同的存储设备中,当某一存储设备中的数据损坏,或存储设备损坏,从存储有相应数据的其它存储设备取出数据存储到其它存储设备,以保证任一数据都同时在两个存储设备中有可用数据。读取数据时从两个存储设备中择一读取,如果存储数据的某一存储设备损坏,直接从另一存储设备中读取数据。
为便于对本发明的理解,下面结合附图和实施例对本发明作进一步的详细说明。
图1和图2提供的硬件结构与现有技术相同。图1中的存储设备组是硬盘组2,其由多个硬盘21~2N组成,图2中的存储设备组是服务器群3,其由多台连接有硬盘的服务器31~3N组成。
图1提供的实施例是通过计算机1直接连接多个硬盘21~2N组成的硬盘组2。所述的计算机1包括PC机、服务器、大中小型机以及其他具有数据运算和信息处理能力的设备。所述的硬盘组2至少包括两块硬盘,图中绘出的是大于3块硬盘的情况,如果采用将文件分割成多个数据块进行存储,至少需要三块硬盘,硬盘21~2N与计算机1的连接采用包括通过IDE(Integrated Drive Electronics,电子集成驱动器)、SCSI(Small ComputerSystem Interface,小型计算机系统接口)、光纤通道(Fibre Channe)、SATA(Serial ATA,串口)或者USB接口中的一种或多种进行连接。
在图2提供的实施例中计算机1通过网络设备(图中未绘出)连接多个服务器31~3N组成的服务器群3,在其中的各个服务器上连接有硬盘。所述的服务器群3至少包括两台服务器,如果采用将文件分割成多个数据块实现不同服务器间的分散存储,至少需要三台服务器,当然利用两台服务器也可以实现,此时同一数据可能存储在一台服务器的两个不同硬盘上,而非存储在两台不同的服务器上。所述的计算机1包括PC机、服务器、大中小型机以及其他具有数据运算和信息处理能力的设备。
本发明可以在图1、图2提供的硬件系统中的一种或两种上实现。下面主要结合图1提供的硬件进行具体描述。
在图3提供的数据的存储流程图中:
步骤S101选择可用存储设备,在硬盘组2中根据硬盘索引表(与公知技术一样,硬盘索引表中记录硬盘空间的使用情况,硬盘组2中的每一个硬盘21~2N的硬盘索引表至少存储在其自身第一扇区中用于操作)记录的磁盘空间的使用情况,选择至少三个可用硬盘,图1中分别选择了硬盘21、22、2N。如果硬盘组2中的可用硬盘足够多,可以选择拟存储文件数据分割成的数据块数量的两倍个数的硬盘,如文件分成三个数据块,可以选择六块硬盘进行存储,这样在数据读写时会获得最大的访问效率。修改硬盘索引表,记录增加的硬盘存储使用情况。在硬盘的选择上,除了根据硬盘索引表的记录外,为了进一步提高数据存储的效率,对可供选择的硬盘的执行任务队列进行检测,优先选择执行任务队列中读写任务少的硬盘,由于执行任务队列中将要执行的任务少甚至没有,具有最高的存储速度,同时也可以结合各个硬盘的I/O带宽进行选择,即总的选择原则是优先选择读写效率高的硬盘。具体选择用于当前数据存储的硬盘的数目可以通过预先设定的具体数量,如3个、5个,或根据设定,由系统根据设定的参数确定具体数量,比如通过包括拟存储文件的数据块数量、硬盘的读写效率等进行设定,实现对选择硬盘的数量的确定。事实上,在硬盘的选择过程是一个动态的,在数据存储过程中不断进行存储硬盘的选择。
如果文件存储采用完整的文件存储方式进行,在硬盘组2中选择两个硬盘即可以实现,所述的一个数据块既是一个完整的文件数据进行存储,也即一个文件只分成了一个数据块,在这种情况下,与数据块分割相关的步骤不予执行,在以下的其他相关步骤中均可以采用所描述的方法来实现。根据图1所示,也即只有数据块A。同样,如果文件分成了两个数据块,也至少需要三个硬盘,即图1中提供的数据块A、数据块B。
步骤S102分割文件为数据块,根据设定把拟存储的文件根据设定的数据块尺寸,分割成多个数据块,每个数据块尺寸可以设定为数百k到数M,或者其他需要的尺寸,一般对于数据量在数M甚至上G数量级的节目文件,最好每个数据块尺寸大小在1M~20M之间,这样,读写的效率会比较高,而且也便于硬盘和文件的管理。在实际运用中,文件分割成数据块的过程是动态的,边存储边分割,比如,有一个大小为1G的文件,设定的数据块大小为20M,从文件数据中顺序取出20M作为一个数据块,按下述步骤进行存储,可以同时取出多个数据块同时进行存储,存储完毕,再顺序取出20M作为一个或多个数据块进行存储,直到存储完毕。在图1中,我们将拟存储的文件分成了4个数据块,分别是数据块A、数据块B、数据块C、数据块D。在以下的描述中,为简化描述,如果没有特别说明,均仅以数据块A、数据块B、数据块C为例进行说明。
S103建立数据映射表,根据步骤S102,在数据映射表中建立拟存储文件名称及分割成的各个数据块。数据映射表至少存储在计算机的系统盘或执行本发明所述方法的程序存储的硬盘上、或至少存储在存储数据的硬盘组2中的一个硬盘的索引扇区上。
S104记录数据块的存储地址,根据步骤S101和步骤S102,将每个数据块分配到在硬盘组2中所选定的硬盘,每个数据块同时选定存储到两块硬盘,同一文件的各个数据块分散存储到在选定的多个硬盘上存储。结合步骤S103,将每个数据块在硬盘组2中两个不同硬盘上的存储地址记录在数据映射表中对应的位置。通过这个存储地址实现在两个不同硬盘上存储的同一数据实现关联。如图1中所示,数据块A的存储地址分别是硬盘21上的某一具体地址和硬盘22上的某一具体位置,两个位置不要求是对应的,数据块B、数据块C、数据块D的存储地址也分别确定到硬盘21、22、2N上。同时在硬盘索引表中记录本次数据存储在所选择的硬盘上所使用的硬盘空间。
步骤S105同时存储数据块,根据S101、步骤S102和步骤S104,在硬盘组2的硬盘上根据确定的存储地址存储数据块。每个数据块在不同硬盘上的存储位置不要求对应,但必需保证每个数据块存储的硬盘为可用硬盘,无磁道损坏和硬盘损坏,如果在数据存储过程中发现硬盘或磁道又损坏,应返回步骤S104重新选择硬盘或存储地址。
在具体的文件执行过程中上述步骤S102、S103、S104、S105可以采用循环执行。
步骤S106直到拟存储文件的全部数据存储完毕。
根据图4提供的数据读取流程图,读取数据时执行:
步骤S201确定要读取的文件,根据计算机1的选定,确定要读取的文件。
步骤S202取出数据映射表中的对应信息,根据选定的拟读取文件,打开数据映射表,取出所述文件对应的所有数据块信息。
步骤S203取出各数据块的存储地址,根据步骤S202确定的拟读取文件的数据块,取出其对应的两个存储地址。然后执行步骤S204判断对应硬盘的工作状态,根据各个数据块的所有存储地址所指向的硬盘,通过检测所述硬盘执行任务队列的任务数量、I/O带宽确定其当前的读写效率。如数据块A指向的是硬盘21、硬盘22的某一具体位置,经检测发现硬盘22的执行任务队列中的任务少,读取效率最高。
步骤S203选择硬盘读取数,根据步骤S203的检测,选择并指向当前数据读取效率较高的硬盘进行数据的读取,例如,对数据块A、数据块B、数据块C的存储地址所指向的硬盘21、22、2N进行检测,硬盘22、2N的当前读取效率较高,将对数据块A的读取任务按照数据映射表中数据块A在硬盘22上的存储地址指向其在硬盘22上的对应位置进行数据的读取,为了进一步提高数据读取效率,可以从不同的硬盘同时读取多个数据块,同时从硬盘22读取数据块A、从硬盘2N读取数据块B,再从硬盘22读取数据块C。
直到步骤S206数据读取完毕。
图5提供了数据在线恢复流程图,如果在数据读取过程中发现在当前读取数据的位置数据有错,执行本流程:
步骤S301数据损坏,在读取当前数据过程中发现数据有损坏,所述数据损坏包括数据存储有误、存储数据的磁道损坏、当前硬盘突然不可用。例如在从硬盘2N中读取数据块B时,发现存储数据块B的硬盘2N在当前的磁道损坏,无法正常读取数据。如果数据错误是由于硬盘硬件故障引起,包括磁道损坏,硬盘突然损坏,在对应的硬盘索引表中对该地址作上不可用标记,在以后数据读写时均不指向该硬盘或硬盘上的磁道所在位置。
步骤S302取出数据映射表中的对应信息,根据当前读取的数据块从其对应的数据映射表中取出对应信息,对损坏数据的存储地址做上标记,执行步骤S303取出当前数据块的另一存储地址,并指向该地址,执行步骤S304读取对应的数据,直到步骤S305数据读取完毕。如,从硬盘2N读取数据块B时数据损坏,根据数据映射表取出数据块B的另一存储地址指向硬盘22上,并根据该地址指向硬盘22上的对应位置,继续读取数据块B。这样可以在读取数据过程中数据出现损坏时,不影响数据的正常读取,实现在线恢复功能。
为了提高读取的效率,可以在发现当前读取数据损坏时,记录当前的断点标记,根据该标记的数据偏移量,从另一硬盘中接着断点读取数据,减少数据的重复读取。
在此过程中可以同时执行图6提供的数据修复流程,将该数据重新存储到其他硬盘上。
图6提供了备份数据修复流程图,如果某一数据损坏,该损坏可能是存储错误、硬盘存储介质损坏(如磁道损坏)、硬盘损坏导致,这时其对应的数据已经不具备备份功能,安全性降低,必需对其进行备份进行修复,提供其安全性。
步骤S401,系统检测到存储数据的硬盘或者某一数据损坏,该检测可以是在读取数据过程中检测到不可用,或者通过对硬盘组2的各个硬盘的运行状态的检测获得。
步骤S402选择一个可用硬盘,在硬盘组2中重新选择一个可用硬盘,并确定在硬盘上的存储地址,如果在硬盘组2中添加了新硬盘,可以选择该硬盘,也可选择硬盘组中的其他可用硬盘,如果硬盘组2中没有新硬盘添加,则从硬盘组2原有硬盘中选择。硬盘的选择通过硬盘索引表所记录来选择,确保所选择的硬盘可用并且存储空间足够,同时最好保证有较高的读写效率。
步骤S403打开数据映射表取出对应信息,通过数据映射表,取出损坏数据对应的信息,如果只是硬盘中的一个或多个数据块被损坏,根据所述损坏的数据块或者其存储地址从数据映射表中取得信息,如果是硬盘损坏则根据存储地址取得相关信息,确定需要进行备份修复的数据块并取得其相关信息。
步骤S404取出数据块的另一存储地址,根据步骤S403确定的信息,取出需要进行备份修复的数据块的另一存储地址。并根据步骤S402选定的硬盘确定的该数据块的存储地址,执行步骤S406,修改数据映射表中该数据的存储地址,把数据损坏处的存储地址删除,记录当前新确定的数据块的存储地址并保存,形成新的关联。
步骤S405读取数据,根据步骤S404确定的存储地址,指向该地址读取数据,并根据步骤S402选定的硬盘确定的该数据块的新存储地址,执行步骤S407在新选择的硬盘上存储数据,直到步骤S408数据存储完毕。并且在相应的硬盘索引表中记录空间的使用情况。
为了更好地保证数据的安全性,最好将硬盘组2中每一个硬盘21~2N存储数据的数据映射表、硬盘索引表都在每个硬盘21~2N的索引扇区上存储。同时为改善工作性能、提高工作效率,把硬盘组2中每一个硬盘21~2N的有关数据映射表、硬盘索引表都读入内存中,直接从内存中提取相应数据,以减少对硬盘的访问,提高访问效率,在所涉及的数据映射表、硬盘索引表内容被修改时,可以先把修改的数据映射表、硬盘索引表先至少在一个硬盘进行存储,然后根据其他硬盘的运行情况,在其相对空闲时再进行存储,或者在关机时、设定的一个时间间隔或时间在其他硬盘进行存储。
对于基于图2提供的实施例,本发明具体执行的步骤相同,不同点在于,同一数据存储在不同服务器的硬盘上,实现数据的安全存储。
上述发明实现了数据的安全存储,并且可以在数据损坏时在线恢复,不会影响数据读取过程,可以广泛运用于各个领域,特别是对于电视台的视频服务器的数据存储,在保证数据存储安全性的前提下,实现在节目播放过程中,出现节目数据损坏时通过转到当前数据的另一个存储地址继续读取数据,实现数据不间断读取,不影响节目的播放。
当然,本发明还可有其他多种实施例,在不背离本发明精神及其实质的情况下,只要是通过将文件分散实时存储到不同的存储设备,即使对各个步骤的执行顺序进行了改变,都属于本发明的保护范围。熟悉本领域的技术人员可根据本发明做出各种相应的改变和变形,但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (10)

1.一种数据的安全存储方法,其特征在于,包括如下步骤:
(1)连接多个独立存储设备构成存储设备组;
(2)将同一源数据分别存储到两个存储设备中,保证每一个存储设备中的每一个源数据都在其他存储设备中有存储;
(3)将不同存储设备上存储的同一源数据建立关联;
(4)当某一存储设备中存储的源数据损坏时,在所述存储设备组中再选择一个没有存储该源数据的可用存储设备,根据建立的所述关联,从另一存储设备中取出关联的所述源数据,存储到所述新选择的存储设备,并修改数据关联。
2.根据权利要求1所述的方法,其特征在于,
所述存储设备是硬盘,所构成的存储设备组是硬盘组,所述硬盘包括磁盘、电子硬盘;所述硬盘组中的硬盘采用包括IDE、SATA、SCSI、光纤通道、USB通道中的一种或多种连接方式与计算机或服务器连接;或
所述存储设备是带有硬盘的服务器,所构成的存储设备组是带有硬盘的服务器群,所述硬盘包括磁盘、电子硬盘。
3.根据权利要求1所述的方法,其特征在于,所述源数据是一个完整的文件数据。
4.根据权利要求1所述的方法,其特征在于,
所述源数据是数据块;
所述步骤(2)进一步包括:
将文件数据分割成多个数据块;
将所述同一文件数据的多个数据块分散存储在不同的存储设备中。
5.根据权利要求1所述的方法,其特征在于,
所述步骤(3)进一步包括:根据同一个源数据建立的所述关联,从所述两个存储设备中择一读取所述源数据。
6.根据权利要求5所述的方法,其特征在于,所述择一读取是根据所述两个存储设备的运行状态,从读取效率高的存储设备中读取所述源数据。
7.根据权利要求5所述的方法,其特征在于,所述择一读取所述源数据还包括,当前读取的所述源数据的存储设备或数据损坏,根据建立的所述关联,从所述源数据在另一存储设备上的存储位置,继续读取。
8.根据权利要求1所述的方法,其特征在于,所述步骤(4)进一步包括:所述某一存储设备上存储的所述源数据或所述存储设备损坏,根据建立的所述关联,从另一个存储设备读取所述源数据。
9.根据权利要求1所述的方法,其特征在于,所述步骤(4)进一步包括,在存储设备组中添加一个新存储设备,选择所述新存储设备,根据建立的所述关联,从另一存储设备中取出所述源数据,存储到所述新存储设备,修改数据关联。
10.根据权利要求1~9中的任一项所述的方法,其特征在于,所述建立关联是将所述数据存取的寻址路径同时指向所述数据在两个存储设备上的存储地址。
CNB200710120749XA 2007-08-24 2007-08-24 一种数据的安全存储方法 Active CN100530125C (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CNB200710120749XA CN100530125C (zh) 2007-08-24 2007-08-24 一种数据的安全存储方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CNB200710120749XA CN100530125C (zh) 2007-08-24 2007-08-24 一种数据的安全存储方法

Publications (2)

Publication Number Publication Date
CN101118508A true CN101118508A (zh) 2008-02-06
CN100530125C CN100530125C (zh) 2009-08-19

Family

ID=39054636

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB200710120749XA Active CN100530125C (zh) 2007-08-24 2007-08-24 一种数据的安全存储方法

Country Status (1)

Country Link
CN (1) CN100530125C (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009065318A1 (fr) * 2007-11-22 2009-05-28 China Mobile Communications Corporation Procédé de stockage de données, serveur de gestion, équipement et système de stockage
CN101986276A (zh) * 2010-10-21 2011-03-16 成都市华为赛门铁克科技有限公司 文件存储方法、文件恢复方法、系统及服务器
CN102035865A (zh) * 2009-09-30 2011-04-27 阿里巴巴集团控股有限公司 数据存储及数据寻址方法、系统和设备
CN102226892A (zh) * 2011-05-20 2011-10-26 杭州华三通信技术有限公司 一种磁盘容错处理方法及设备
CN102402468A (zh) * 2010-09-16 2012-04-04 北京中星微电子有限公司 一种嵌入式设备的数据备份加载方法和数据备份加载装置
CN102937956A (zh) * 2012-04-25 2013-02-20 广东电网公司电力科学研究院 一种智能变电站中实时报文的存储方法及其装置
CN106326034A (zh) * 2016-08-12 2017-01-11 浪潮(北京)电子信息产业有限公司 一种数据备份的存储方法及装置
CN106537054A (zh) * 2014-09-26 2017-03-22 三菱电机株式会社 空气调节系统
CN106569751A (zh) * 2016-11-10 2017-04-19 郑州云海信息技术有限公司 一种多控制器缓存镜像方法及系统
CN106708662A (zh) * 2016-12-13 2017-05-24 上海上讯信息技术股份有限公司 一种恢复数据库的方法及设备
CN106919474A (zh) * 2015-12-28 2017-07-04 中移(苏州)软件技术有限公司 一种缓存数据保护方法和装置
CN108229214A (zh) * 2016-12-22 2018-06-29 北京兆易创新科技股份有限公司 一种提高数据安全性的方法和装置
CN108287662A (zh) * 2017-12-08 2018-07-17 五八有限公司 获取设备唯一标识的方法、设备及计算机可读存储介质
CN108614746A (zh) * 2016-12-09 2018-10-02 中国移动通信有限公司研究院 一种数据处理方法及其系统、服务器
CN109213429A (zh) * 2017-06-30 2019-01-15 伊姆西Ip控股有限责任公司 存储管理方法和设备
CN109683807A (zh) * 2018-10-18 2019-04-26 张德辉 带备份的冷数据安全存储系统及其存储方法
WO2020133583A1 (en) * 2018-12-29 2020-07-02 Beijing Voyager Technology Co., Ltd. Systems and methods for data transfer and storage
CN111435286A (zh) * 2019-01-14 2020-07-21 深圳市茁壮网络股份有限公司 一种数据存储方法、装置和系统
CN112667150A (zh) * 2020-12-07 2021-04-16 沈阳飞机设计研究所扬州协同创新研究院有限公司 一种航空电子系统数据的远程存储方法
CN115994236A (zh) * 2023-03-23 2023-04-21 杭州派迩信息技术有限公司 一种航空数据的协同处理方法及系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108228090B (zh) * 2016-12-22 2021-02-26 财团法人工业技术研究院 硬盘阵列及其重建方法

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009065318A1 (fr) * 2007-11-22 2009-05-28 China Mobile Communications Corporation Procédé de stockage de données, serveur de gestion, équipement et système de stockage
CN102035865A (zh) * 2009-09-30 2011-04-27 阿里巴巴集团控股有限公司 数据存储及数据寻址方法、系统和设备
CN102402468A (zh) * 2010-09-16 2012-04-04 北京中星微电子有限公司 一种嵌入式设备的数据备份加载方法和数据备份加载装置
CN102402468B (zh) * 2010-09-16 2016-01-20 北京中星微电子有限公司 一种嵌入式设备的数据备份加载方法和数据备份加载装置
CN101986276A (zh) * 2010-10-21 2011-03-16 成都市华为赛门铁克科技有限公司 文件存储方法、文件恢复方法、系统及服务器
CN102226892A (zh) * 2011-05-20 2011-10-26 杭州华三通信技术有限公司 一种磁盘容错处理方法及设备
CN102226892B (zh) * 2011-05-20 2013-10-23 杭州华三通信技术有限公司 一种磁盘容错处理方法及设备
CN102937956A (zh) * 2012-04-25 2013-02-20 广东电网公司电力科学研究院 一种智能变电站中实时报文的存储方法及其装置
CN106537054B (zh) * 2014-09-26 2019-08-02 三菱电机株式会社 空气调节系统
CN106537054A (zh) * 2014-09-26 2017-03-22 三菱电机株式会社 空气调节系统
CN106919474A (zh) * 2015-12-28 2017-07-04 中移(苏州)软件技术有限公司 一种缓存数据保护方法和装置
CN106326034A (zh) * 2016-08-12 2017-01-11 浪潮(北京)电子信息产业有限公司 一种数据备份的存储方法及装置
CN106569751A (zh) * 2016-11-10 2017-04-19 郑州云海信息技术有限公司 一种多控制器缓存镜像方法及系统
CN108614746A (zh) * 2016-12-09 2018-10-02 中国移动通信有限公司研究院 一种数据处理方法及其系统、服务器
CN106708662A (zh) * 2016-12-13 2017-05-24 上海上讯信息技术股份有限公司 一种恢复数据库的方法及设备
CN108229214A (zh) * 2016-12-22 2018-06-29 北京兆易创新科技股份有限公司 一种提高数据安全性的方法和装置
CN109213429A (zh) * 2017-06-30 2019-01-15 伊姆西Ip控股有限责任公司 存储管理方法和设备
CN108287662A (zh) * 2017-12-08 2018-07-17 五八有限公司 获取设备唯一标识的方法、设备及计算机可读存储介质
CN109683807A (zh) * 2018-10-18 2019-04-26 张德辉 带备份的冷数据安全存储系统及其存储方法
WO2020133583A1 (en) * 2018-12-29 2020-07-02 Beijing Voyager Technology Co., Ltd. Systems and methods for data transfer and storage
US11895243B2 (en) 2018-12-29 2024-02-06 Beijing Voyager Technology Co., Ltd. Systems and methods for data transfer and storage
CN111435286A (zh) * 2019-01-14 2020-07-21 深圳市茁壮网络股份有限公司 一种数据存储方法、装置和系统
CN111435286B (zh) * 2019-01-14 2023-12-05 深圳市茁壮网络股份有限公司 一种数据存储方法、装置和系统
CN112667150A (zh) * 2020-12-07 2021-04-16 沈阳飞机设计研究所扬州协同创新研究院有限公司 一种航空电子系统数据的远程存储方法
CN115994236A (zh) * 2023-03-23 2023-04-21 杭州派迩信息技术有限公司 一种航空数据的协同处理方法及系统

Also Published As

Publication number Publication date
CN100530125C (zh) 2009-08-19

Similar Documents

Publication Publication Date Title
CN100530125C (zh) 一种数据的安全存储方法
CN101436151B (zh) 基于文件系统的数据实时备份方法及其系统
US7587631B2 (en) RAID controller, RAID system and control method for RAID controller
CN104484251B (zh) 一种硬盘故障的处理方法及装置
US7640452B2 (en) Method for reconstructing data in case of two disk drives of RAID failure and system therefor
CN102708019B (zh) 一种硬盘数据恢复方法、装置及系统
US7774643B2 (en) Method and apparatus for preventing permanent data loss due to single failure of a fault tolerant array
US10025666B2 (en) RAID surveyor
CN102508733B (zh) 一种基于磁盘阵列的数据处理方法及磁盘阵列管理器
US20030014584A1 (en) Storage device with I/O counter for partial data reallocation
US20130024723A1 (en) Disk storage system with two disks per slot and method of operation thereof
CN103246478B (zh) 一种基于软raid支持无分组式全局热备盘的磁盘阵列系统
US7487400B2 (en) Method for data protection in disk array systems
US7958432B2 (en) Verification of non volatile storage storing preserved unneeded data
CN101887351A (zh) 一种磁盘阵列容错方法及其系统
CN104407821A (zh) 一种实现raid重构的方法及装置
US20060215456A1 (en) Disk array data protective system and method
CN101751231A (zh) 数据写入、读出方法及装置、虚拟磁带库设备
US7529776B2 (en) Multiple copy track stage recovery in a data storage system
CN108170375B (zh) 一种分布式存储系统中的超限保护方法和装置
JP4905510B2 (ja) ストレージ制御装置及びストレージ装置のデータ回復方法
US9087019B2 (en) Disk storage system with rebuild sequence and method of operation thereof
CN102147714B (zh) 一种网络存储系统的管理方法及装置
JP6957845B2 (ja) ストレージ制御装置及びストレージ装置
CN101359299A (zh) 一种映像廉价磁盘冗余阵列设备的写操作的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant