CN102681790A - 一种数据转储设备和通过其进行数据转储的方法及系统 - Google Patents

一种数据转储设备和通过其进行数据转储的方法及系统 Download PDF

Info

Publication number
CN102681790A
CN102681790A CN2012100541395A CN201210054139A CN102681790A CN 102681790 A CN102681790 A CN 102681790A CN 2012100541395 A CN2012100541395 A CN 2012100541395A CN 201210054139 A CN201210054139 A CN 201210054139A CN 102681790 A CN102681790 A CN 102681790A
Authority
CN
China
Prior art keywords
data
dump
stamper
data block
transmission
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012100541395A
Other languages
English (en)
Other versions
CN102681790B (zh
Inventor
王翡
谢波
丁兆锟
赵勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NANJING TUOJIE INFORMATION TECHNOLOGY Co Ltd
Original Assignee
NANJING TUOJIE INFORMATION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NANJING TUOJIE INFORMATION TECHNOLOGY Co Ltd filed Critical NANJING TUOJIE INFORMATION TECHNOLOGY Co Ltd
Priority to CN201210054139.5A priority Critical patent/CN102681790B/zh
Publication of CN102681790A publication Critical patent/CN102681790A/zh
Application granted granted Critical
Publication of CN102681790B publication Critical patent/CN102681790B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

本发明公开了一种数据转储设备和通过其进行数据转储的方法及系统,其中,所述数据转储设备包括多个数据传输接口,以及,与所述多个数据传输接口一一对应的多块硬盘;其中,所述多个数据传输接口,用于在第一转储过程中,与母盘所属的主机上的至少两个数据传输接口连接,在第二转储过程中,与子盘所属的主机上的至少两个数据传输接口连接;所述多块硬盘,包括一块主盘及至少一块普通盘,用于存储通过对应的数据传输接口接收到的数据。通过本发明,即使在硬盘无法从主机上拆卸的情况下,也能避免数据转储的速度受到数据传输速度的限制。

Description

一种数据转储设备和通过其进行数据转储的方法及系统
技术领域
本发明涉及计算机技术领域,特别是涉及一种数据转储设备和通过其进行数据转储的方法及系统。
背景技术
近年来,音频、视频、图像、文字、数据等信息存储需求量愈加庞大,处于海量存储需要呈摩尔定律发展状态下的计算机行业、广播电视行业、全球通信行业等,各类数据信息的存储、转储、复制的频度、广度、量级越来越大,速度要求越来越高。
例如,当公安机关需要从某嫌疑人的电脑中进行取证时,就需要将该嫌疑人的硬盘中的数据转储到另一块新的硬盘上,然后公安机关人员再在自己的电脑上对这个新的硬盘中的数据进行分析,从中提取有效的证据。
从技术角度而言,数据转储的过程包括从母盘上读数据,然后传输到子盘上,因此,数据转储的速度取决于数据读取及数据传输这两者之间的较低者。一般来说,数据读取的速度是比较快的,例如,对于7200转的硬盘而言,读的速度一般在5.7G/分钟,但是数据传输速度却因不同的传输接口而异,例如,USB2.0接口的数据传输速度一般在1.2G/分钟左右,因此,如果通过电脑的USB接口来进行数据转存,则转存的速度不会超过1.2G。
为了提高转储的速度,现有技术中存在称为硬盘拷贝机的设备,硬盘拷贝机一般将待转储的硬盘称为母盘,新的硬盘称为子盘。在使用硬盘拷贝机进行转储时,需要将母盘从原来的电脑主机中拆卸下来,安装在硬盘拷贝机上,同时,将子盘也安装在硬盘拷贝机上,对硬盘拷贝机加电之后,就可以将母盘中的数据拷贝到子盘上。硬盘拷贝机在对硬盘中的数据进行转储时,在从母盘中读取出数据之后,可以通过硬盘总线将母盘中的数据传输到子盘中,而通过硬盘总线进行传输的速度,一般是大于数据读取的速度,因此使得转储的速度很快,不会受到数据传输速度的限制。
但是,由于在使用硬盘拷贝机需要将母盘从主机中拆卸下来,因此,使得硬盘拷贝机的应用受到限制,在一些情况下,无法通过其达到快速转存硬盘数据的目的。例如,现在越来越普及的便携式电脑(例如笔记本电脑等等),其硬盘无法或者不便于拆卸,因此,也就无法使用硬盘拷贝机对笔记本电脑中的数据进行转储。又如,一些电脑需要对其硬盘上的数据进行备份,但却24小时不能关机(如网站的服务器等),此时,也无法将其硬盘拆卸下来,通过硬盘拷贝机进行转储,等等。
为了在上述情况下也能实现硬盘数据的转储,现有技术中只能通过电脑的数据传输接口对数据进行转储,例如,通过电脑的USB接口等等。但是,如前文所述,这会使得数据转储的速度受到数据传输速度的限制。
发明内容
本发明提供了一种数据转储设备和通过其进行数据转储的方法及系统,即使在硬盘无法从主机上拆卸的情况下,也能避免数据转储的速度受到数据传输速度的限制。
本发明提供了如下方案:
一种数据转储设备,包括多个数据传输接口,以及,与所述多个数据传输接口一一对应的多块硬盘;其中,
所述多个数据传输接口,用于在第一转储过程中,与母盘所属的主机上的至少两个数据传输接口连接,在第二转储过程中,与子盘所属的主机上的至少两个数据传输接口连接;
所述多块硬盘,包括一块主盘及至少一块普通盘,用于存储通过对应的数据传输接口接收到的数据。
其中,所述数据传输接口包括USB接口、1394接口、外部串行高级技术附件eSATA接口、网卡接口NIC中的一种或多种的组合;所述多块硬盘为一种或多种类型。
一种通过前述的数据转储设备进行数据转储的方法,其中,
在所述第一转储过程中包括:
获取母盘的分区信息,将所述分区信息通过所述数据转储设备的主盘对应的数据传输接口传输到所述主盘进行存储;
以数据块为单位从所述母盘中读取数据,并获取各个数据块在所述母盘中的位置信息;
分别为各个数据块及对应的位置信息确定传输时使用的数据传输接口,以便通过连接到主盘所在主机的所述多个数据传输接口,将各个数据块及对应的位置信息并行传输到所述数据转储设备进行存储;
在所述第二转储过程中包括:
从所述数据转储设备的主盘中获取所述母盘的分区信息,并根据所述分区信息对子盘进行分区;
通过连接到子盘所在主机的所述多个数据传输接口读取存储在所述数据转储设备中的数据块,以及各个数据块对应的位置信息;
根据各个数据块对应的位置信息,将各个数据块存储在所述子盘相应的位置上。
其中,所述分别为各个数据块及对应的位置信息确定传输时使用的数据传输接口,以便通过连接到主盘所在主机的所述多个数据传输接口,将各个数据块及对应的位置信息并行传输到所述数据转储设备进行存储包括:
为每个数据块分别添加数据头,在所述数据头中记录对应的位置信息;
分别为各个带有数据头的数据块确定传输时使用的数据传输接口,以便通过连接到主盘所在主机的所述多个数据传输接口,将各个带有数据头的数据块并行传输到所述数据转储设备进行存储;
所述通过连接到子盘所在主机的所述多个数据传输接口读取存储在所述数据转储设备中的数据块,以及各个数据块对应的位置信息包括:
通过连接到子盘所在主机的所述多个数据传输接口读取存储在所述数据转储设备中的带有数据头的数据块;
从所述数据头中获取到所述数据块对应的位置信息,并去掉所述数据头。
其中,还包括:
根据母盘的软硬件环境以及母盘所属主机各接口的数据传输参数,调整数据块的传输时序,其中,所述软硬件环境包括母盘的性能参数以及文件系统格式。
其中,还包括:
对所述母盘以及数据转储设备中的各个硬盘的数据存储分区逻辑结构、接口、机械参数、分区数据存储进行解析,根据解析结果,对母盘中的数据进行传输。
一种通过前述的数据转储设备进行数据转储的系统,其特征在于:
在所述第一转储过程中包括:
第一分区信息获取单元,用于获取母盘的分区信息,将所述分区信息通过所述数据转储设备的主盘对应的数据传输接口传输到所述主盘进行存储;
第一数据块读取单元,用于以数据块为单位从所述母盘中读取数据,并获取各个数据块在所述母盘中的位置信息;
第一数据传输单元,用于分别为各个数据块及对应的位置信息确定传输时使用的数据传输接口,以便通过连接到主盘所在主机的所述多个数据传输接口,将各个数据块及对应的位置信息传输到所述数据转储设备进行存储;
在所述第二转储过程中包括:
第二分区信息获取单元,用于从所述数据转储设备的主盘中获取所述母盘的分区信息,并根据所述分区信息对子盘进行分区;
第二数据块读取单元,用于通过连接到子盘所在主机的所述多个数据传输接口读取存储在所述数据转储设备中的数据块,以及各个数据块对应的位置信息;
第二数据传输单元,用于根据各个数据块对应的位置信息,将各个数据块存储在所述子盘相应的位置上。
其中,所述第一数据传输单元包括:
数据头添加子单元,用于为每个数据块分别添加数据头,在所述数据头中记录对应的位置信息;
传输子单元,用于分别为各个带有数据头的数据块确定传输时使用的数据传输接口,以便通过连接到主盘所在主机的所述多个数据传输接口,将各个带有数据头的数据块传输到所述数据转储设备进行存储;
所述第二数据块读取单元包括:
读取子单元,用于通过连接到子盘所在主机的所述多个数据传输接口读取存储在所述数据转储设备中的带有数据头的数据块;
数据头分析处理单元,用于从所述数据头中获取到所述数据块对应的位置信息,并去掉所述数据头。
其中,还包括:
时序调整单元,用于根据母盘的软硬件环境以及母盘所属主机各接口的数据传输参数,调整数据块的传输时序,其中,所述软硬件环境包括母盘的性能参数以及文件系统格式。
其中,还包括:
读取及传输控制单元,用于对所述母盘以及数据转储设备中的各个硬盘的数据存储分区逻辑结构、接口、机械参数、分区数据存储进行解析,根据解析结果,对母盘中的数据块进行读取及传输。
根据本发明提供的具体实施例,本发明公开了以下技术效果:
通过本发明提供的数据转储设备,可以实现通过多个数据传输接口同时与主盘所在的主机相连,这样,在将主盘上的数据存储的数据转储设备上时,以及在将数据转储设备上的数据存储到子盘上时,数据传输的速度都可以达到连接到主机上各个数据传输接口的传输速度总和,从而有效提升数据转储的速度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的数据转储设备的示意图;
图2是本发明实施例提供的方法的流程图;
图3是本发明实施例提供的系统的结构示意图;
图4是本发明实施例提供的另一系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员所获得的所有其他实施例,都属于本发明保护的范围。
本发明人在实现本发明的过程中发现,一般的电脑主机上都会有多个数据传输接口,虽然通过单个数据传输接口进行数据传输的时的速度有限,但是如果能够将多个数据传输接口都利用起来,使得各个接口能够并行进行数据传输,就可以使得数据转储的速度达到各个传输接口的传输速度之和。为了达到这种效果,在本发明实施例中,首先提供了一种数据转储设备,参见图1,该数据转储设备包括:多个数据传输接口101(图中仅示出三个),以及,与所述多个数据传输接口一一对应的多块硬盘102(图中仅示出与三个数据传输接口101对应的三块硬盘102)。
具体实现时,上述数据转储设备相当于起到中转的作用,因此,本发明实施例将数据转储过程分为第一转储过程以及第二数据转储过程,在第一数据转储过程中,将母盘中的数据存储到该数据转储设备中,第二数据转储过程再将数据从数据转储设备存储到子盘中。因此,数据转储设备的多个数据传输接口101,用于在第一转储过程中,与母盘所属的主机上的至少两个数据传输接口连接,在第二转储过程中,与子盘所属的主机上的至少两个数据传输接口连接,多块硬盘102中包括一块主盘及至少一块普通盘,用于存储通过对应的数据传输接口接收到的数据。一般而言,需要将母盘上的分区信息存储在主盘上,具体将哪块硬盘作为主盘可以不做限定。
其中,在同一数据转储设备中可采用相同类型或者不同类型的硬盘,包括:HDD(Hard Disk Drive,硬盘驱动器)磁盘,SSD(solid state disk,固态硬盘)硬盘等等,并且同一数据转储设备中还可以分别使用不同容量、不同速率的硬盘。另外,具体的数据传输接口101可以包括USB接口、1394接口、eSATA(External Serial Advanced Technology Attachment,外部串行高级技术附件)接口与NIC(Network Interface Card,网络接口卡,又称RJ45)接口等等。其中USB接口包括USB1.1、USB2.0、USB3.0接口;1394接口包括1394A与1394B接口;eSATA接口包括eSATA1与eSATA2接口,NIC(RJ45)网络接口包括10Mbps网卡、100Mbps以太网卡、10Mbps/100Mbps自适应网卡、1000Mbps千兆以太网卡以及最新出现的10000Mbps万兆网卡接口,以及不同的通信传输协议,如:TCP/IP等通信协议,等等。
需要说明的是,由于本发明实施例中的数据转储设备上带有多个数据传输接口101,当通过多个数据传输接口101同时连接到主机上时,对于主机而言,相当于同时发现多个存储设备。在实际应用中,在与主机进行连接时,不必将数据转储设备的所有数据传输接口都连接到主机上。例如,数据转储设备上带有四个接口,分别为两个USB接口、一个1394接口以及一个eSATA接口,可以仅将两个USB接口和eSATA接口连接到主机上,对于没有与主机相连的1394接口,在从主盘向数据转储设备存储数据的过程中,自然也不会将数据存储到与该1394接口对应的硬盘上。
在提供了上述数据转储设备之后,就可以实现通过多个数据传输接口同时与主盘所在的主机相连,这样,在将主盘上的数据存储的数据转储设备上时,以及在将数据转储设备上的数据存储到子盘上时,数据传输的速度都可以达到连接到主机上各个数据传输接口的传输速度总和,从而有效提升数据转储的速度。
另外,在提供了上述数据转储设备的基础上,本发明实施例还提供了通过这个数据转储设备进行数据转储的方法,参见图2,该方法包括第一转储过程以及第二转储过程,其中,在该第一转储过程中,该方法包括:
S201:获取母盘的分区信息,将所述分区信息通过所述数据转储设备的主盘对应的数据传输接口传输到所述主盘进行存储;
在具体实现时,为了使得子盘上存储的信息与母盘上一致,首先需要子盘具有与母盘相同的分区情况,因此,在第一转储过程中,首先需要获取母盘的分区信息,包括母盘中有多少个分区,每个分区占用了多少空间,等等。然后,可以将分区信息通过数据转储设备的主盘对应的数据传输接口传输到所述主盘进行存储。也就是说,数据转储设备的主盘可以用于存储母盘上的分区信息,当然也可以用于存储母盘中的具体数据。
S202:以数据块为单位从所述母盘中读取数据,并获取各个数据块在所述母盘中的位置信息;
需要说明的是,在本发明实施例中,对硬盘中的数据进行转储的过程中,进行的是硬盘级别的数据读取、传输以及写入,而在硬盘级别,数据就是在磁盘的某磁道某扇区等处写入的二进制数据,并无文件、文件夹等概念。因此,为了使得子盘与母盘上的数据完全一致,就需要使得子盘的磁盘物理位置上的二进制信息与母盘上完全相同。因此,不仅要读取出母盘上的数据,还需要获取到数据在磁盘上的物理位置信息。
在本发明实施例中,可以以数据块为单位,对母盘中的数据进行读取,例如,每512字节为一个数据块,在读取出一个数据块的同时,获取到该数据块在母盘的磁盘上的物理位置信息。
S203:分别为各个数据块及对应的位置信息确定传输时使用的数据传输接口,以便通过连接到主盘所在主机的所述多个数据传输接口,将各个数据块及对应的位置信息并行传输到所述数据转储设备进行存储。
在读取出数据块,并获取到位置信息之后,就可以为该数据块及对应的位置信息选择数据传输接口,从该选择的数据传输接口将该数据块及位置信息传输到数据转储设备中对应的硬盘上。其他数据块也分别做同样的处理。
其中,在为各个数据块及位置信息选择数据传输接口时,可以是随机选择的,使得数据块可以通过不同的数据传输接口传输到数据转储设备上。当然,为了使得传输效率最大化,在为数据块选择数据传输接口时,还可以采用一定的调度策略。例如,可以预先设计数据并发传输极限速率算法,当需要为某数据库选择数据传输接口时,可以首先获取到实际的参数,然后带入到算法出计算出当前可以选择的数据传输接口,实现最佳的调度。在此过程中,考虑到母盘主机物理数据输入输出接口的特性,将不同类型数据输出接口的不同规格参数进行智能化识别,构建能够适应当前所有可能存在的主机数据输出接口,并自适应各接口数据输出速率,以达到多接口、多方式组合数据存储与拷贝传输的目的。具体的,可以包括:
(1)解析母盘数据存储的机械模式、数据存储结构;
(2)解析母盘主机系统各数据输出设备接口数据输出技术参数;
(3)对母盘主机系统数据通道实施智能识别与分卷拆分标识;
(4)统筹母盘主机数据总线与各数据传输接口通道数据流无闲置数据传输;
(5)协调母盘分块快速读取与分布式多通道扇区级极速写入。
通过以上处理,能够根据母盘的性能参数与文件系统格式等软硬件环境,以及主机系统各接口的数据传输参数,实时协调数据传输时序,并发转储数据,从而达到高效率数据传输。
另外,在本发明实施例中,还可以对整个系统数据拷贝实施动态实时调节,对各分布式数据输出通道与传输进程进行全面综合控制,以通道配对中的瓶颈传输速率进行极限式数据传输,发挥转储的最大时间效益。为此,具体可以进行以下操作:
对所涉硬盘(包括母盘以及数据转储设备中的各个硬盘)的数据存储分区逻辑结构、接口、机械参数等特征数据、分区数据存储进行解析,生成智能化极速数据集中读取与分布式写入策略,基于极速数据集中读取与分散写入策略,对母盘实施分区分场分通道传输。
需要说明的是,具体实现时,在将母盘中读取出的数据块及对应的位置信息传输到数据转储设备之前,可以为每个数据块分别添加数据头,在所述数据头中记录对应的位置信息,然后直接将带有数据头的数据块通过为其分配的数据传输接口传输到数据转储设备即可。
在将母盘中的数据转储到数据转储设备之后,就可以进入第二转储过程,第二转储过程可以包括:
S204:从所述数据转储设备的主盘中获取所述母盘的分区信息,并根据所述分区信息对子盘进行分区;
S205:通过连接到子盘所在主机的所述多个数据传输接口读取存储在所述数据转储设备中的数据块,以及各个数据块对应的位置信息;
其中,如果是将位置信息保存在数据块的数据头中,则可以在读取到带有数据头的数据块之后,从数据头中获取到该数据块的位置信息,然后再将数据头去掉。
S206:根据各个数据块对应的位置信息,将各个数据块存储在所述子盘相应的位置上。
与本发明实施例提供的进行数据转储的方法相对应,本发明实施例还提供了一种通过前述数据转储设备进行数据转储的系统,参见图3,该系统在第一转储过程中可以包括:
第一分区信息获取单元301,用于获取母盘的分区信息,将所述分区信息通过所述数据转储设备的主盘对应的数据传输接口传输到所述主盘进行存储;
第一数据块读取单元302,用于以数据块为单位从所述母盘中读取数据,并获取各个数据块在所述母盘中的位置信息;
第一数据传输单元303,用于分别为各个数据块及对应的位置信息确定传输时使用的数据传输接口,以便通过连接到主盘所在主机的所述多个数据传输接口,将各个数据块及对应的位置信息传输到所述数据转储设备进行存储;
在所述第二转储过程中包括:
第二分区信息获取单元304,用于从所述数据转储设备的主盘中获取所述母盘的分区信息,并根据所述分区信息对子盘进行分区;
第二数据块读取单元305,用于通过连接到子盘所在主机的所述多个数据传输接口读取存储在所述数据转储设备中的数据块,以及各个数据块对应的位置信息;
第二数据传输单元306,用于根据各个数据块对应的位置信息,将各个数据块存储在所述子盘相应的位置上。
其中,第一数据传输单元303可以包括:
数据头添加子单元,用于为每个数据块分别添加数据头,在所述数据头中记录对应的位置信息;
传输子单元,用于分别为各个带有数据头的数据块确定传输时使用的数据传输接口,以便通过连接到主盘所在主机的所述多个数据传输接口,将各个带有数据头的数据块传输到所述数据转储设备进行存储;
相应的,第二数据块读取单元305可以包括:
读取子单元,用于通过连接到子盘所在主机的所述多个数据传输接口读取存储在所述数据转储设备中的带有数据头的数据块;
数据头分析处理单元,用于从所述数据头中获取到所述数据块对应的位置信息,并去掉所述数据头。
构建能够适应当前所有可能存在的主机数据输出接口,并自适应各接口数据输出速率,以达到多接口、多方式组合数据存储与拷贝传输的目的,该系统还可以包括:
时序调整单元,用于根据母盘的软硬件环境以及母盘所属主机各接口的数据传输参数,调整数据块的传输时序,其中,所述软硬件环境包括母盘的性能参数以及文件系统格式。
为了对各分布式数据输出通道与传输进程进行全面综合控制,以通道配对中的瓶颈传输速率进行极限式数据传输,发挥转储的最大时间效益,该系统还可以包括:
读取及传输控制单元,用于对所述母盘以及数据转储设备中的各个硬盘的数据存储分区逻辑结构、接口、机械参数、分区数据存储进行解析,根据解析结果,对母盘中的数据块进行读取及传输。
综上,在实际应用中,一种优选的系统架构的可以如图4所示,图中的箭标流程显示出系统整体架构与系统的基本工作流程,系统的前端子系统主要由主机系统数据输出接口性能分析模块、主机系统数据输出数据传输启动模块、硬盘数据存储分析模块、硬盘数据读写分析模块、硬盘分区数据并发传输模块、硬盘数据传输速率与数据输出接口数据输出速率自适应配置模块和硬盘数据多通道输出与离散存储模块组成;数据重组子模块由离散数据集中重组单元与硬盘映像仿真单元组成。
系统架构中的前端子系统主机系统数据输出接口性能分析模块和硬盘数据存储分析模块为基础,驱动主机系统数据输出数据传输启动模块与硬盘数据读写分析模块和硬盘分区数据并发传输模块,以硬盘数据传输速率与数据输出接口数据输出速率自适应配置模块为中心协调,在数据并发传输极限速率算法的支撑下,系统各数据输出与输入接口高度智能化自适应配对,灵活高效地将被拷贝硬盘中的数据,根据配置要求,在时间差上实施零损耗并发读取,并采取分布式并发传输与离散写入存储。数据重组子系统为整个系统的后续保障系统,与前端子系统相辅相成,其在物理空间高效率对位还原,即将离散存在各硬盘上的数据实施聚合,并仿真出源盘的数据存储的逻辑结构。
系统在应用过程中,可分别采用灵活的分散式组合结构或精巧的集中式组合结构,便于根据不同的现场工作实际需求和工作环境条件匹配系统架构。整个系统中的各子系统,以及各子系统内的各功能模块结构采取无缝对接,数据处理、读出与写入准确高效。
总之,在上述优选的实施方式中,本发明实施例涉及到的关键技术包括:主机系统数据输出自适应技术;硬盘文件系统构建解析技术;主机系统数据输出动态通道管理技术;主机系统数据输出接口并发传输技术;硬盘特征数据智能识别解析技术;硬盘数据分布式存储技术;离散硬盘数据重组技术;硬盘映像仿真技术;系统分散组合结构及系统集中组合结构等。通过上述系统及其系统结构能够在不同的现场进行多通道多接口并行实时大数据量的匹配写入,适用于移动、固定等各种场景下使用不同容量、不同速率的硬盘进行大规模数据快速转储。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置或系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上对本发明所提供的数据转储设备和通过其进行数据转储的方法及系统,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种数据转储设备,其特征在于,包括多个数据传输接口,以及,与所述多个数据传输接口一一对应的多块硬盘;其中,
所述多个数据传输接口,用于在第一转储过程中,与母盘所属的主机上的至少两个数据传输接口连接,在第二转储过程中,与子盘所属的主机上的至少两个数据传输接口连接;
所述多块硬盘,包括一块主盘及至少一块普通盘,用于存储通过对应的数据传输接口接收到的数据。
2.根据权利要求1所述的数据转储设备,其特征在于,所述数据传输接口包括USB接口、1394接口、外部串行高级技术附件eSATA接口、网卡接口NIC中的一种或多种的组合;所述多块硬盘为一种或多种类型。
3.一种通过权利要求1或2所述的数据转储设备进行数据转储的方法,其特征在于:
在所述第一转储过程中包括:
获取母盘的分区信息,将所述分区信息通过所述数据转储设备的主盘对应的数据传输接口传输到所述主盘进行存储;
以数据块为单位从所述母盘中读取数据,并获取各个数据块在所述母盘中的位置信息;
分别为各个数据块及对应的位置信息确定传输时使用的数据传输接口,以便通过连接到主盘所在主机的所述多个数据传输接口,将各个数据块及对应的位置信息并行传输到所述数据转储设备进行存储;
在所述第二转储过程中包括:
从所述数据转储设备的主盘中获取所述母盘的分区信息,并根据所述分区信息对子盘进行分区;
通过连接到子盘所在主机的所述多个数据传输接口读取存储在所述数据转储设备中的数据块,以及各个数据块对应的位置信息;
根据各个数据块对应的位置信息,将各个数据块存储在所述子盘相应的位置上。
4.根据权利要求3所述的方法,其特征在于,所述分别为各个数据块及对应的位置信息确定传输时使用的数据传输接口,以便通过连接到主盘所在主机的所述多个数据传输接口,将各个数据块及对应的位置信息并行传输到所述数据转储设备进行存储包括:
为每个数据块分别添加数据头,在所述数据头中记录对应的位置信息;
分别为各个带有数据头的数据块确定传输时使用的数据传输接口,以便通过连接到主盘所在主机的所述多个数据传输接口,将各个带有数据头的数据块并行传输到所述数据转储设备进行存储;
所述通过连接到子盘所在主机的所述多个数据传输接口读取存储在所述数据转储设备中的数据块,以及各个数据块对应的位置信息包括:
通过连接到子盘所在主机的所述多个数据传输接口读取存储在所述数据转储设备中的带有数据头的数据块;
从所述数据头中获取到所述数据块对应的位置信息,并去掉所述数据头。
5.根据权利要求3或4所述的方法,其特征在于,还包括:
根据母盘的软硬件环境以及母盘所属主机各接口的数据传输参数,调整数据块的传输时序,其中,所述软硬件环境包括母盘的性能参数以及文件系统格式。
6.根据权利要求3或4所述的方法,其特征在于,还包括:
对所述母盘以及数据转储设备中的各个硬盘的数据存储分区逻辑结构、接口、机械参数、分区数据存储进行解析,根据解析结果,对母盘中的数据进行传输。
7.一种通过权利要求1或2所述的数据转储设备进行数据转储的系统,其特征在于:
在所述第一转储过程中包括:
第一分区信息获取单元,用于获取母盘的分区信息,将所述分区信息通过所述数据转储设备的主盘对应的数据传输接口传输到所述主盘进行存储;
第一数据块读取单元,用于以数据块为单位从所述母盘中读取数据,并获取各个数据块在所述母盘中的位置信息;
第一数据传输单元,用于分别为各个数据块及对应的位置信息确定传输时使用的数据传输接口,以便通过连接到主盘所在主机的所述多个数据传输接口,将各个数据块及对应的位置信息传输到所述数据转储设备进行存储;
在所述第二转储过程中包括:
第二分区信息获取单元,用于从所述数据转储设备的主盘中获取所述母盘的分区信息,并根据所述分区信息对子盘进行分区;
第二数据块读取单元,用于通过连接到子盘所在主机的所述多个数据传输接口读取存储在所述数据转储设备中的数据块,以及各个数据块对应的位置信息;
第二数据传输单元,用于根据各个数据块对应的位置信息,将各个数据块存储在所述子盘相应的位置上。
8.根据权利要求7所述的系统,其特征在于,所述第一数据传输单元包括:
数据头添加子单元,用于为每个数据块分别添加数据头,在所述数据头中记录对应的位置信息;
传输子单元,用于分别为各个带有数据头的数据块确定传输时使用的数据传输接口,以便通过连接到主盘所在主机的所述多个数据传输接口,将各个带有数据头的数据块传输到所述数据转储设备进行存储;
所述第二数据块读取单元包括:
读取子单元,用于通过连接到子盘所在主机的所述多个数据传输接口读取存储在所述数据转储设备中的带有数据头的数据块;
数据头分析处理单元,用于从所述数据头中获取到所述数据块对应的位置信息,并去掉所述数据头。
9.根据权利要求7或8所述的系统,其特征在于,还包括:
时序调整单元,用于根据母盘的软硬件环境以及母盘所属主机各接口的数据传输参数,调整数据块的传输时序,其中,所述软硬件环境包括母盘的性能参数以及文件系统格式。
10.根据权利要求7或8所述的系统,其特征在于,还包括:
读取及传输控制单元,用于对所述母盘以及数据转储设备中的各个硬盘的数据存储分区逻辑结构、接口、机械参数、分区数据存储进行解析,根据解析结果,对母盘中的数据块进行读取及传输。
CN201210054139.5A 2012-03-02 2012-03-02 一种数据转储设备和通过其进行数据转储的方法及系统 Active CN102681790B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210054139.5A CN102681790B (zh) 2012-03-02 2012-03-02 一种数据转储设备和通过其进行数据转储的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210054139.5A CN102681790B (zh) 2012-03-02 2012-03-02 一种数据转储设备和通过其进行数据转储的方法及系统

Publications (2)

Publication Number Publication Date
CN102681790A true CN102681790A (zh) 2012-09-19
CN102681790B CN102681790B (zh) 2015-11-25

Family

ID=46813790

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210054139.5A Active CN102681790B (zh) 2012-03-02 2012-03-02 一种数据转储设备和通过其进行数据转储的方法及系统

Country Status (1)

Country Link
CN (1) CN102681790B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103019987A (zh) * 2013-01-10 2013-04-03 厦门市美亚柏科信息股份有限公司 一种基于usb接口的数据传输方法和系统
CN107967118A (zh) * 2016-10-19 2018-04-27 南京拓界信息技术有限公司 一种实现硬盘数据快速转储和查看的方法及设备
WO2020006715A1 (zh) * 2018-07-04 2020-01-09 华为技术有限公司 一种数据存储方法、装置及相关设备
CN111104648A (zh) * 2018-10-29 2020-05-05 鸿合科技股份有限公司 一种软件处理方法及装置、应用程序、电子设备
CN111615349A (zh) * 2017-12-26 2020-09-01 日本烟草产业株式会社 气溶胶吸取器的品牌指定系统
CN114063927A (zh) * 2021-11-23 2022-02-18 厦门市美亚柏科信息股份有限公司 一种用于电子数据的取证方法和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002304257A (ja) * 1989-11-01 2002-10-18 Raytheon Co 大容量データライブラリシステム、大容量記憶ライブラリに記憶されたデータに対するアクセスを提供するシステム及び方法
CN201698415U (zh) * 2010-05-07 2011-01-05 北京中科腾越科技发展有限公司 一种usb to dom sata转接模块
CN102331912A (zh) * 2011-09-09 2012-01-25 百度在线网络技术(北京)有限公司 一种用于在主机上连接多个硬盘的方法和设备
CN202615373U (zh) * 2012-03-02 2012-12-19 南京拓界信息技术有限公司 一种数据转储设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002304257A (ja) * 1989-11-01 2002-10-18 Raytheon Co 大容量データライブラリシステム、大容量記憶ライブラリに記憶されたデータに対するアクセスを提供するシステム及び方法
CN201698415U (zh) * 2010-05-07 2011-01-05 北京中科腾越科技发展有限公司 一种usb to dom sata转接模块
CN102331912A (zh) * 2011-09-09 2012-01-25 百度在线网络技术(北京)有限公司 一种用于在主机上连接多个硬盘的方法和设备
CN202615373U (zh) * 2012-03-02 2012-12-19 南京拓界信息技术有限公司 一种数据转储设备

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103019987A (zh) * 2013-01-10 2013-04-03 厦门市美亚柏科信息股份有限公司 一种基于usb接口的数据传输方法和系统
CN107967118A (zh) * 2016-10-19 2018-04-27 南京拓界信息技术有限公司 一种实现硬盘数据快速转储和查看的方法及设备
CN111615349A (zh) * 2017-12-26 2020-09-01 日本烟草产业株式会社 气溶胶吸取器的品牌指定系统
WO2020006715A1 (zh) * 2018-07-04 2020-01-09 华为技术有限公司 一种数据存储方法、装置及相关设备
CN111104648A (zh) * 2018-10-29 2020-05-05 鸿合科技股份有限公司 一种软件处理方法及装置、应用程序、电子设备
CN111104648B (zh) * 2018-10-29 2024-06-18 鸿合科技股份有限公司 一种软件处理方法及装置、存储介质、电子设备
CN114063927A (zh) * 2021-11-23 2022-02-18 厦门市美亚柏科信息股份有限公司 一种用于电子数据的取证方法和系统
CN114063927B (zh) * 2021-11-23 2024-03-26 厦门市美亚柏科信息股份有限公司 一种用于电子数据的取证方法和系统

Also Published As

Publication number Publication date
CN102681790B (zh) 2015-11-25

Similar Documents

Publication Publication Date Title
CN102681790A (zh) 一种数据转储设备和通过其进行数据转储的方法及系统
CN101615106B (zh) 用于虚拟化sas存储适配器的方法和系统
US8145840B2 (en) Method and system for storing excess data in a redundant array of independent disk level 6
CN103377285A (zh) 用于增强对存储云去重技术的可靠性的方法与系统
CN102282544A (zh) 存储系统
CN101630270A (zh) 数据处理系统和方法
CN105247489B (zh) 用于保护信息使能的存储卷的后台初始化
CN103139259A (zh) 一种实现低流量同步消息记录的方法和服务器
CN101477444A (zh) 一种虚拟存储方法和设备
CN102385549A (zh) 日志处理系统、日志处理方法和日志存储子系统
CN103647850A (zh) 一种分布式版本控制系统的数据处理方法、设备及系统
CN103955433A (zh) 盖瓦磁记录硬盘、盖瓦磁记录硬盘写数据的方法及装置
CN103678143A (zh) 文件存储方法、装置及电子设备
CN102388357A (zh) 访问存储设备的方法及系统
CN102843284B (zh) iSCSI存储节点、架构以及读取、写入方法
CN103577115A (zh) 数据的排布处理方法和装置
CN109164884A (zh) 一种硬盘背板的设计方法、硬盘背板及服务器
CN101630332B (zh) 数据存储管理方法、数据存储管理装置和系统
CN103164172B (zh) 数据流存储方法及装置
CN102792281B (zh) 存储设备
CN106341448A (zh) 分布式存储方法、装置及系统
US20130086317A1 (en) Passing hint of page allocation of thin provisioning with multiple virtual volumes fit to parallel data access
CN101729580A (zh) 一种存储方法与系统、终端业务板、控制板及存储通道板
CN105868121B (zh) 一种信息处理方法及电子设备
CN102523221A (zh) 数据报文的检测方法及网络安全检测设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant