CN107450859B - 一种读取文件数据的方法和装置 - Google Patents
一种读取文件数据的方法和装置 Download PDFInfo
- Publication number
- CN107450859B CN107450859B CN201710693345.3A CN201710693345A CN107450859B CN 107450859 B CN107450859 B CN 107450859B CN 201710693345 A CN201710693345 A CN 201710693345A CN 107450859 B CN107450859 B CN 107450859B
- Authority
- CN
- China
- Prior art keywords
- file
- data
- target
- storage medium
- reading
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000013500 data storage Methods 0.000 abstract description 3
- 230000003287 optical effect Effects 0.000 description 83
- 238000007726 management method Methods 0.000 description 56
- 230000008569 process Effects 0.000 description 16
- 230000004927 fusion Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 8
- 238000012217 deletion Methods 0.000 description 5
- 230000037430 deletion Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 239000007787 solid Substances 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/061—Improving I/O performance
- G06F3/0611—Improving I/O performance in relation to response time
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0629—Configuration or reconfiguration of storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/0643—Management of files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0683—Plurality of storage devices
- G06F3/0686—Libraries, e.g. tape libraries, jukebox
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种读取文件数据的方法和装置,属于数据存储技术领域。所述方法包括:接收目标文件的读取指令,反馈预先存储在本地磁盘中的所述目标文件的初始部分数据,从冷数据库中调取存储所述目标文件的文件数据的目标存储介质,读取并反馈所述目标存储介质中存储的文件数据。采用本发明,可以提高读取文件数据的效率。
Description
技术领域
本发明涉及数据存储技术领域,特别涉及一种读取文件数据的方法和装置。
背景技术
光盘库融合存储系统是一种以光盘库存储设备为主的,多种介质共存的混合存储系统,其中,除光介质之外,通常还可以包括磁存储、电存储等其他存储介质。
在光盘库融合存储系统(可简称为系统)中存储文件时,系统的管理设备可以先将文件数据写入设备磁盘,然后再将文件数据刻录到光盘上,并将光盘编号和文件标识对应记录。之后,管理设备可以清除掉磁盘中存储的文件数据,释放磁盘空间。后续针对该文件进行读取时,首先根据光盘编号确定存储该文件的光盘,然后调入光盘,并从光盘上读取文件数据。
在实现本发明的过程中,发明人发现现有技术至少存在以下问题:
在接收到某个文件的数据读取指令后,管理设备需要先查找到存储文件数据的光盘,然后驱动机械臂将这张光盘从光盘库中抓到光驱中,再对光盘中的数据进行读取,这样需要花费较长时间才能读取到文件数据,故而读取文件数据的效率较低。
发明内容
为了解决现有技术的问题,本发明实施例提供了一种读取文件数据的方法和装置。所述技术方案如下:
第一方面,提供了一种读取文件数据的方法,所述方法包括:
接收目标文件的读取指令;
反馈预先存储在本地磁盘中的所述目标文件的初始部分数据;
从冷数据库中调取存储所述目标文件的文件数据的目标存储介质;
读取并反馈所述目标存储介质中存储的文件数据。
可选的,所述读取并反馈所述目标存储介质中存储的文件数据,包括:
如果所述目标文件的数据量大于预设阈值,则缓存所述目标存储介质中存储的文件数据至所述本地磁盘,并反馈所述本地磁盘中缓存的文件数据;
如果所述目标文件的数据量小于或等于预设阈值,则直接读取并反馈所述目标存储介质中存储的文件数据。
可选的,所述接收目标文件的读取指令之前,还包括:
接收目标文件的存储指令;
将所述目标文件的文件数据存储至所述本地磁盘;
在所述冷数据库中选取所述目标存储介质;
将所述本地磁盘中存储的所述目标文件的文件数据写入所述目标存储介质;
确定所述目标文件的初始部分数据;
删除所述本地磁盘中所述目标文件的文件数据中,除所述初始部分数据之外的其它部分数据。
可选的,所述确定所述目标文件的初始部分数据,包括:
根据所述目标存储介质的读取延迟和所述目标文件的数据反馈速度,确定所述目标文件的初始部分数据。
可选的,所述确定所述目标文件的初始部分数据之后,还包括:
在所述目标存储介质存储的所述目标文件的文件数据中,添加分段缓存标记,所述分段缓存标记用于区分所述初始部分数据和所述其它部分数据;
所述读取并反馈所述目标存储介质中存储的文件数据,包括:
读取并反馈所述目标存储介质中存储的所述其它部分数据。
可选的,所述冷数据库包括光盘、磁带、机械硬盘和固态硬盘中的一种或多种。
可选的,所述冷数据库是光盘库,所述目标存储介质是目标光盘。
第二方面,提供了一种读取文件数据的装置,所述装置包括:
第一接收模块,用于接收目标文件的读取指令;
第一反馈模块,用于反馈预先存储在本地磁盘中的所述目标文件的初始部分数据;
调取模块,用于从冷数据库中调取存储所述目标文件的文件数据的目标存储介质;
第二反馈模块,用于读取并反馈所述目标存储介质中存储的文件数据。
可选的,所述第二反馈模块,具体用于:
如果所述目标文件的数据量大于预设阈值,则缓存所述目标存储介质中存储的文件数据至所述本地磁盘,并反馈所述本地磁盘中缓存的文件数据;
如果所述目标文件的数据量小于或等于预设阈值,则直接读取并反馈所述目标存储介质中存储的文件数据。
可选的,所述装置还包括:
第二接收模块,用于接收目标文件的存储指令;
存储模块,用于将所述目标文件的文件数据存储至所述本地磁盘;
选取模块,用于在所述冷数据库中选取所述目标存储介质;
写入模块,用于将所述本地磁盘中存储的所述目标文件的文件数据写入所述目标存储介质;
确定模块,用于确定所述目标文件的初始部分数据;
删除模块,用于删除所述本地磁盘中所述目标文件的文件数据中,除所述初始部分数据之外的其它部分数据。
可选的,所述确定模块,具体用于:
根据所述目标存储介质的读取延迟和所述目标文件的数据反馈速度,确定所述目标文件的初始部分数据。
可选的,所述装置还包括:
添加模块,用于在所述目标存储介质存储的所述目标文件的文件数据中,添加分段缓存标记,所述分段缓存标记用于区分所述初始部分数据和所述其它部分数据;
所述第二反馈模块,具体用于:
读取并反馈所述目标存储介质中存储的所述其它部分数据。
可选的,所述冷数据库包括光盘、磁带、机械硬盘和固态硬盘中的一种或多种。
可选的,所述冷数据库是光盘库,所述目标存储介质是目标光盘。
第三方面,提供了一种管理设备,所述管理设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如第一方面所述的读取文件数据的方法。
第四方面,提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如第一方面所述的读取文件数据的方法。
本发明实施例提供的技术方案带来的有益效果是:
本发明实施例中,管理设备接收目标文件的读取指令,反馈预先存储在本地磁盘中的目标文件的初始部分数据,从冷数据库中调取存储目标文件的文件数据的目标存储介质,读取并反馈目标存储介质中存储的文件数据。这样,外界需要读取融合存储系统中的目标文件的文件数据时,管理设备可以在调取冷数据库中的存储介质的同时,直接将本地磁盘中存储的目标文件的初始部分数据快速反馈给外界,从而只需极短的等待时间就能开始文件数据的读取,故而可以提高读取文件数据的效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种读取文件数据的方法流程图;
图2是本发明实施例提供的一种存储文件数据的方法流程图;
图3是本发明实施例提供的一种读取文件数据的装置结构示意图;
图4是本发明实施例提供的一种读取文件数据的装置结构示意图;
图5是本发明实施例提供的一种读取文件数据的装置结构示意图;
图6是本发明实施例提供的一种管理设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
本发明实施例提供了一种读取文件数据的方法,该方法的执行主体为融合存储系统的管理设备。其中,融合存储系统可以是以光盘为主要存储介质的光盘库融合存储系统,也可以是以其他存储介质为主要存储介质的融合存储系统,管理设备可以是系统对外提供的交互设备,外界可以通过管理设备实现文件数据的读取、存储、修改等操作。上述管理设备中可以包括处理器、存储器、收发器,处理器可以用于进行下述流程中的读取文件数据的处理,存储器可以用于存储下述处理过程中需要的数据以及产生的数据,收发器可以用于接收和发送下述处理过程中的相关数据。上述设备中还可以包括显示部件和输入部件,显示部件可以用于显示输入内容、显示样式等,可以是屏幕,输入部件可以用于用户向管理设备输入指令,可以是键盘或控制按键等。当然,在某种场景下,本方法的执行主体可以为多个管理设备组成的设备组,上述功能可以由多个管理设备共同实现,本方案以执行主体为单独的管理设备进行说明,设备组的处理情况与之类似。
下面将结合具体实施方式,对图1所示的处理流程进行详细的说明,内容可以如下:
步骤101,接收目标文件的读取指令。
在实施中,融合存储系统(以下可简称为系统)包含光存储、磁存储、电存储、以及未来可能出现的其他存储介质等多种介质对应的存储区域,该存储区域可称为冷数据库,冷数据库中的存储介质可以包括光盘、机械硬盘、磁带、固态硬盘等中的一项或多项。由于单张光盘的存储容量较大,且光盘库相较于常见的存储设备(如磁盘阵列、磁带库等)具有一定的价格和性能优势,融合存储系统则主要是以光存储介质为主的光盘库融合存储系统,本实施例中以光盘库融合存储系统,冷数据库为光盘库,冷数据库中的存储介质为光盘为例进行说明,其他情况与之类似。系统的管理设备可以将文件数据存储在光盘中,再将光盘放置在光盘库内。光盘库是一种带有自动换盘机构(可以理解为机械手)的光盘数据存储设备,光盘库可以由放置光盘的光盘架、自动换盘机构(机械手)和驱动器三部分组成。当外界需要读取系统中某个文件(即目标文件)的文件数据时,可以通过系统的管理设备进行相关操作,相应的,管理设备则可以接收到目标文件的读取指令。此处,外界可以是与管理设备通过网络建立通信连接的其它设备,或者是直接在管理设备上进行操作的用户。
步骤102,反馈预先存储在本地磁盘中的目标文件的初始部分数据。
其中,初始部分数据是目标文件读取或者写入时,起始部分的文件数据。
在实施中,管理设备接收到目标文件的读取指令后,可以先获取读取指令中携带的目标文件的文件标识,然后基于该文件标识在本地磁盘中查找对应的文件数据,即目标文件的初始部分数据。这样,管理设备则可以将查找到的初始部分数据反馈给外界。需要指出的是,在存储目标文件时,管理设备可以将目标文件的初始部分数据保留在本地磁盘中,并将其和目标文件的文件标识对应存储。这样,在本步骤中,管理设备可以直接基于目标文件的读取指令中携带的文件标识查找到上述初始部分数据。当然,如果在本步骤中未在本次磁盘中查找到上述文件标识对应的文件数据,则可以直接进行步骤103的处理。
可以理解,本实施例方案中,对目标文件的读取和写入处理,均是从目标文件的初始部分至结束部分循序进行,故而目标文件可以是流式文件或者是具有相同特性的文件等。进一步的,在进行步骤102的处理时,可以先通过目标文件的识别特征来判断目标文件是否是流式文件,该识别特征可以是文件的扩展名、文件所属的用户名、文件的存储目录等等。如果目标文件是流式文件,则可以根据文件标识查找初始部分数据;如果目标文件不是流式文件,则可以直接进行步骤103的处理。
步骤103,从冷数据库中调取存储目标文件的文件数据的目标存储介质。
在实施中,管理设备在接收到目标文件的读取指令后,可以在本地磁盘中查找目标文件的初始部分数据的同时,在冷数据库(即光盘库)中调取存储目标文件的文件数据的目标存储介质(即目标光盘)。具体的,管理设备中可以存储有文件标识和光盘标识的对应关系,用于记录每个文件的文件数据存储在哪个光盘上,如:文件1对应光盘X。这样,管理设备可以根据读取指令中携带的目标文件的文件标识,确定出目标文件的文件数据所存储的目标光盘,然后则可以驱动光盘库的机械臂,去目标光盘所在的位置,调取出目标光盘。
步骤104,读取并反馈目标存储介质中存储的文件数据。
在实施中,管理设备从光盘库调取目标光盘(即目标存储介质)后,可以将目标光盘放入光驱中,对目标光盘上存储的文件数据进行读取。之后,管理设备则可以将读取到的文件数据反馈给外界。此处,在读取文件数据的过程中,可以先将目标光盘中的文件数据全部读取完成后,再对读取到的文件数据进行反馈,也可以在读取光盘中的文件数据的同时,反馈已读取完的文件数据。
可选的,可以先将光盘中的文件数据缓存至磁盘,然后由磁盘中提取数据进行反馈,相应的,步骤104的处理可以如下:如果所述目标文件的数据量大于预设阈值,则缓存所述目标存储介质中存储的文件数据至所述本地磁盘,并反馈所述本地磁盘中缓存的文件数据;如果所述目标文件的数据量小于或等于预设阈值,则直接读取并反馈所述目标存储介质中存储的文件数据。
在实施中,管理设备可以先确定目标文件的数据量大小,并跟预设阈值进行对比。一方面,如果目标文件的数据量大于预设阈值,则可以先通过光驱对目标光盘中的文件数据进行读取,然后将读取到的文件数据缓存至本地磁盘中。之后,管理设备则可以从本地磁盘中提取已缓存的文件数据反馈给外界。这样,可以有效避免长时间占用光驱的情况,并且可以实现文件数据的反复读取操作。当然,可以设定在对本地磁盘中缓存的文件数据进行反馈后的预设时长内,保留文件数据,并在预设时长后,删除本地磁盘中本次缓存的文件数据。而对于反复读取操作,本实施例中可以细分为对于本地磁盘的反复读取,和对于目标光盘的反复读取,其中,从本地磁盘中的反复读取需在上述预设时长内进行,而对目标光盘的反复读取则可以在任意时刻进行。另一方面,如果目标文件的数据量小于预设阈值,则可以直接读取目标存储介质中存储的文件数据,并将读取到的文件数据反馈给用户,而无需经过本地磁盘的缓存。这样,因为文件数据的数据量较小,本次数据读取不会长时间占用光驱,跳过本地磁盘的缓存处理,可以有效节省本地磁盘的存储资源和处理资源。
本实施例还提供了一种存储文件数据的方法,处理流程如图2所示,内容可以如下:
步骤201,接收目标文件的存储指令。
在实施中,当外界想要将目标文件存储至冷数据库融合存储系统时,系统的管理设备可以接收到目标文件的存储指令,该存储指令可以携带有目标文件的属性信息和文件数据。
步骤202,将目标文件的文件数据存储至本地磁盘。
在实施中,管理设备可以先根据目标文件的文件大小,在本次磁盘中分配一定的缓存空间,然后将目标文件的文件数据存储至相应的缓存空间中。
步骤203,在冷数据库中选取目标存储介质。
在实施中,管理设备在接收到目标文件的存储指令时,可以按照预设规则选取存储目标文件的目标光盘,本发明实施例不对目标光盘的选取规则进行限定,可以是随机选取,也可以是依次选取,也可以是在一定范围内按序选取等等。不难想到,管理设备在选取完成后,可以将目标光盘的光盘标识和目标文件的文件标识对应存储。需要说明的是,步骤203和步骤202可以同时发生,即管理设备可以在本次磁盘中存储文件数据的同时,在光盘库中选取目标光盘。
步骤204,将本地磁盘中存储的目标文件的文件数据写入目标存储介质。
在实施中,管理设备在选取完目标光盘后,可以将目标光盘放置刻录光驱中,然后将本地磁盘中存储的目标文件的文件数据写入目标光盘中。需要说明的是,可以在将目标文件的文件数据全部缓存至本地磁盘后,再进行文件数据的刻录,也可以在文件数据缓存的过程中,将已缓存完成的部分文件数据写入目标光盘。
步骤205,确定目标文件的初始部分数据。
本步骤可以发生在步骤201后,步骤206前的任意时刻。
可选的,对于步骤205的处理,管理设备可以根据目标存储介质的读取延迟和目标文件的数据反馈速度,确定目标文件的初始部分数据。
在实施中,管理设备在确定目标文件的初始部分数据时,可以先确定光盘的读取延迟和目标文件的数据反馈速度。对于读取延迟,则可以计算管理设备从接收到某个文件的文件数据的存储指令开始,经过确定所在光盘,驱动机械臂调取光盘,放入光驱进行读取等处理,最终到开始反馈文件数据所需的耗时。而对于数据反馈速度,则可以确定每秒反馈多少数据量的文件数据。之后,则可以基于上述读取延迟和数据反馈速度,确定出目标文件的初始部分数据。具体的,读取延迟为5s,数据反馈速度为100M/s,故而可以确定目标文件的初始部分数据为从文件首字节之后的至少500M的数据。更进一步的,对于放置在光盘库中不同位置的光盘,其读取延迟可能会各有不同,同样,对于不同类型的文件,其数据反馈速度也可能会不同,故而在确定目标文件的初始部分数据时,可以更精确地选取目标光盘的读取延迟和目标文件的数据反馈速度进行计算。当然,本实施例中并不对初始部分数据的确定方式进行具体限定,还可以采用其它可行的确定方式进行上述处理。
步骤206,删除本地磁盘中目标文件的文件数据中,除初始部分数据之外的其它部分数据。
在实施中,管理设备确定了目标文件的初始部分数据,并已将本地磁盘中存储的目标文件的文件数据全部写入目标光盘后,可以对本地磁盘中目标文件的文件数据中,除初始部分数据之外的其它部分数据全部删除,以释放本地磁盘的存储空间,同时保留目标文件的初始部分数据,以使后续在对目标文件的文件数据进行读取时,可以先快速反馈本地磁盘中存储的初始部分数据。
可选的,在存储目标文件时,还可以在文件数据中标记初始部分数据,相应的,在步骤205之后,可以由如下处理:在目标光盘存储的目标文件的文件数据中,添加分段缓存标记,分段缓存标记用于区分初始部分数据和其它部分数据。
在实施中,管理设备在确定了目标文件的初始部分数据后,可以在目标光盘存储的目标文件的文件数据中,添加用于区分初始部分数据和其它部分数据的分段缓存标记。这样,在上述对目标文件的读取流程中,管理设备在执行步骤104的处理时,可以先在目标文件的文件数据中查找该分段缓存标记,确定出目标文件初始部分数据和其它部分数据,进而可以只对其它部分数据进行读取和反馈。
不难想到,基于上述添加分段缓存标记的处理,步骤206中对其它部分数据的删除处理,可以发生在添加分段缓存标记后的任意预设时刻,即无需在步骤205实施完毕后立刻进行步骤206的处理,这样,可以设定当满足预定删除条件时,管理设备对本地磁盘中存储的目标文件的其它部分数据进行删除。此处,预定删除条件可以是步骤205实施完成、或者是目标文件写入目标存储介质后的预设时长后、或者是到达预设的定期删除时刻等等。
可选的,当本地磁盘的可用存储空间过小时,可以对本地磁盘中已存储的文件数据选择性地进行删除,相应的处理可以如下:当检测到本地磁盘的空闲存储空间占比小于预设比例时,删除所述本地磁盘中满足预定条件的文件数据。
在实施中,由于系统中需要存储大量的文件,而本地磁盘的存储空间有限,则无法将所有文件的初始部分数据均持续保留在本地磁盘内。进而,管理设备可以周期性检测本地磁盘的存储状态,当发现本地磁盘的空闲存储空间占比小于预设比例时,如小于总存储空间的50%,则可以触发对文件数据的删除处理。具体的,可以先按照预定条件确定出待删除的文件数据,此处,预定条件可以是已存储时长大于预定时长,或者是数据量大于预设值,或者是对应的用户的等级为最低等级,或者是文件类型为预设类型等等,当然,预设条件还可以是多个条件的任意组合。之后,管理设备可以将上述确定出的文件数据从本地磁盘内进行删除。
本发明实施例中,管理设备接收目标文件的读取指令,反馈预先存储在本地磁盘中的目标文件的初始部分数据,从冷数据库中调取存储目标文件的文件数据的目标存储介质,读取并反馈目标存储介质中存储的文件数据。这样,外界需要读取融合存储系统中的目标文件的文件数据时,管理设备可以在调取冷数据库中的存储介质的同时,直接将本地磁盘中存储的目标文件的初始部分数据快速反馈给外界,从而只需极短的等待时间就能开始文件数据的读取,故而可以提高读取文件数据的效率。
基于相同的技术构思,本发明实施例还提供了一种读取文件数据的装置,如图3所示,该装置包括:
第一接收模块301,用于接收目标文件的读取指令;
第一反馈模块302,用于反馈预先存储在本地磁盘中的所述目标文件的初始部分数据;
调取模块303,用于从冷数据库中调取存储所述目标文件的文件数据的目标存储介质;
第二反馈模块304,用于读取并反馈所述目标存储介质中存储的文件数据。
可选的,所述第二反馈模块304,具体用于:
如果所述目标文件的数据量大于预设阈值,则缓存所述目标存储介质中存储的文件数据至所述本地磁盘,并反馈所述本地磁盘中缓存的文件数据;
如果所述目标文件的数据量小于或等于预设阈值,则直接读取并反馈所述目标存储介质中存储的文件数据。
可选的,如图4所示,所述装置还包括:
第二接收模块305,用于接收目标文件的存储指令;
存储模块306,用于将所述目标文件的文件数据存储至所述本地磁盘;
选取模块307,用于在所述冷数据库中选取所述目标存储介质;
写入模块308,用于将所述本地磁盘中存储的所述目标文件的文件数据写入所述目标存储介质;
确定模块309,用于确定所述目标文件的初始部分数据;
删除模块310,用于删除所述本地磁盘中所述目标文件的文件数据中,除所述初始部分数据之外的其它部分数据。
可选的,所述确定模块309,具体用于:
根据所述目标存储介质的读取延迟和所述目标文件的数据反馈速度,确定所述目标文件的初始部分数据。
可选的,如图5所示,所述装置还包括:
添加模块311,用于在所述目标存储介质存储的所述目标文件的文件数据中,添加分段缓存标记,所述分段缓存标记用于区分所述初始部分数据和所述其它部分数据;
所述第二反馈模块304,具体用于:
读取并反馈所述目标存储介质中存储的所述其它部分数据。
本发明实施例中,管理设备接收目标文件的读取指令,反馈预先存储在本地磁盘中的目标文件的初始部分数据,从冷数据库中调取存储目标文件的文件数据的目标存储介质,读取并反馈目标存储介质中存储的文件数据。这样,外界需要读取融合存储系统中的目标文件的文件数据时,管理设备可以在调取冷数据库中的存储介质的同时,直接将本地磁盘中存储的目标文件的初始部分数据快速反馈给外界,从而只需极短的等待时间就能开始文件数据的读取,故而可以提高读取文件数据的效率。
需要说明的是:上述实施例提供的读取文件数据的装置在读取文件数据时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的读取文件数据的装置与读取文件数据的方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图6是本发明实施例提供的管理设备的结构示意图。该管理设备600可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器622(例如,一个或一个以上处理器)和存储器632,一个或一个以上存储应用程序642或数据644的存储介质630(例如一个或一个以上海量存储设备)。其中,存储器632和存储介质630可以是短暂存储或持久存储。存储在存储介质630的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对管理设备中的一系列指令操作。更进一步地,中央处理器622可以设置为与存储介质630通信,在管理设备600上执行存储介质630中的一系列指令操作。
管理设备600还可以包括一个或一个以上电源626,一个或一个以上有线或无线网络接口650,一个或一个以上输入输出接口658,一个或一个以上键盘656,和/或,一个或一个以上操作系统641,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
管理设备600可以包括有存储器,以及一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行上述读取文件数据的指令。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (6)
1.一种读取文件数据的方法,其特征在于,所述方法包括:
接收目标文件的存储指令;
将所述目标文件的文件数据存储至本地磁盘;
在冷数据库中选取目标存储介质;
将所述本地磁盘中存储的所述目标文件的文件数据写入所述目标存储介质;
根据所述目标存储介质的读取延迟和所述目标文件的数据反馈速度,确定所述目标文件的初始部分数据;
删除所述本地磁盘中所述目标文件的文件数据中,除所述初始部分数据之外的其它部分数据;
接收所述目标文件的读取指令;
反馈预先存储在所述本地磁盘中的所述目标文件的初始部分数据;
从所述冷数据库中调取存储所述目标文件的文件数据的所述目标存储介质;
读取并反馈所述目标存储介质中存储的文件数据。
2.根据权利要求1所述的方法,其特征在于,所述确定所述目标文件的初始部分数据之后,还包括:
在所述目标存储介质存储的所述目标文件的文件数据中,添加分段缓存标记,所述分段缓存标记用于区分所述初始部分数据和所述其它部分数据;
所述读取并反馈所述目标存储介质中存储的文件数据,包括:
读取并反馈所述目标存储介质中存储的所述其它部分数据。
3.一种读取文件数据的装置,其特征在于,所述装置包括:
第二接收模块,用于接收目标文件的存储指令;
存储模块,用于将所述目标文件的文件数据存储至本地磁盘;
选取模块,用于在冷数据库中选取目标存储介质;
写入模块,用于将所述本地磁盘中存储的所述目标文件的文件数据写入所述目标存储介质;
确定模块,用于根据所述目标存储介质的读取延迟和所述目标文件的数据反馈速度,确定所述目标文件的初始部分数据;
删除模块,用于删除所述本地磁盘中所述目标文件的文件数据中,除所述初始部分数据之外的其它部分数据
第一接收模块,用于接收所述目标文件的读取指令;
第一反馈模块,用于反馈预先存储在所述本地磁盘中的所述目标文件的初始部分数据;
调取模块,用于从所述冷数据库中调取存储所述目标文件的文件数据的所述目标存储介质;
第二反馈模块,用于读取并反馈所述目标存储介质中存储的文件数据。
4.根据权利要求3所述的装置,其特征在于,所述装置还包括:
添加模块,用于在所述目标存储介质存储的所述目标文件的文件数据中,添加分段缓存标记,所述分段缓存标记用于区分所述初始部分数据和所述其它部分数据;
所述第二反馈模块,具体用于:
读取并反馈所述目标存储介质中存储的所述其它部分数据。
5.一种管理设备,其特征在于,所述管理设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1或2任一所述的读取文件数据的方法。
6.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1或2任一所述的读取文件数据的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710693345.3A CN107450859B (zh) | 2017-08-14 | 2017-08-14 | 一种读取文件数据的方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710693345.3A CN107450859B (zh) | 2017-08-14 | 2017-08-14 | 一种读取文件数据的方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107450859A CN107450859A (zh) | 2017-12-08 |
CN107450859B true CN107450859B (zh) | 2024-01-16 |
Family
ID=60491977
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710693345.3A Active CN107450859B (zh) | 2017-08-14 | 2017-08-14 | 一种读取文件数据的方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107450859B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108628550B (zh) * | 2018-04-28 | 2022-02-22 | 深信服科技股份有限公司 | 一种读取磁盘映射文件的方法、装置及系统 |
CN114237513B (zh) * | 2021-12-17 | 2024-07-02 | 四川九洲空管科技有限责任公司 | 文件数据存储器、写入方法、读取方法及存储系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0588975A (ja) * | 1991-09-25 | 1993-04-09 | Nippon Telegr & Teleph Corp <Ntt> | 階層記憶システムの記憶制御方式 |
CN101714063A (zh) * | 2009-12-02 | 2010-05-26 | 苏州互盟信息存储技术有限公司 | 数据存储装置和方法 |
CN104850358A (zh) * | 2015-05-26 | 2015-08-19 | 华中科技大学 | 一种磁光电混合存储系统及其数据获取和存储方法 |
CN105224891A (zh) * | 2015-09-22 | 2016-01-06 | 苏州互盟信息存储技术有限公司 | 磁盘光盘融合数据安全存储方法、系统及装置 |
CN106202414A (zh) * | 2016-07-12 | 2016-12-07 | 武汉光忆科技有限公司 | 一种基于大容量光盘库的文件系统及文件存储方法和系统 |
-
2017
- 2017-08-14 CN CN201710693345.3A patent/CN107450859B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0588975A (ja) * | 1991-09-25 | 1993-04-09 | Nippon Telegr & Teleph Corp <Ntt> | 階層記憶システムの記憶制御方式 |
CN101714063A (zh) * | 2009-12-02 | 2010-05-26 | 苏州互盟信息存储技术有限公司 | 数据存储装置和方法 |
CN104850358A (zh) * | 2015-05-26 | 2015-08-19 | 华中科技大学 | 一种磁光电混合存储系统及其数据获取和存储方法 |
CN105224891A (zh) * | 2015-09-22 | 2016-01-06 | 苏州互盟信息存储技术有限公司 | 磁盘光盘融合数据安全存储方法、系统及装置 |
CN106202414A (zh) * | 2016-07-12 | 2016-12-07 | 武汉光忆科技有限公司 | 一种基于大容量光盘库的文件系统及文件存储方法和系统 |
Also Published As
Publication number | Publication date |
---|---|
CN107450859A (zh) | 2017-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108319654B (zh) | 计算系统、冷热数据分离方法及装置、计算机可读存储介质 | |
KR100881225B1 (ko) | 파일 및 폴더 관리 기능을 구비한 이동 통신 단말기 | |
JP2009539168A (ja) | 予測型データローダ | |
CN111176549B (zh) | 基于云存储的数据存储方法、装置和存储介质 | |
CN109284252B (zh) | 一种通信设备中轻量级文件系统管理方法 | |
CN109240607B (zh) | 一种文件读取方法和装置 | |
CN101416188A (zh) | 用来在本地计算机中执行程序的系统和方法 | |
CN110874358B (zh) | 多属性列的存储、检索方法和装置以及电子设备 | |
CN107450859B (zh) | 一种读取文件数据的方法和装置 | |
CN114416677A (zh) | 一种冷存储数据的更新方法、装置、设备及存储介质 | |
CN111159130A (zh) | 一种小文件合并方法及电子设备 | |
CN109597707A (zh) | 克隆卷数据拷贝方法、装置及计算机可读存储介质 | |
CN111831691B (zh) | 一种数据读写方法及装置、电子设备、存储介质 | |
CN111026331A (zh) | 请求响应方法、装置、设备及计算机可读存储介质 | |
CN114153394A (zh) | 一种数据存储管理方法、装置及设备 | |
CN106156038B (zh) | 数据存储方法和装置 | |
KR20080098104A (ko) | 메타 데이터 저장 방법 및 메타 데이터 저장 시스템 | |
CN118120212A (zh) | 一种文件去重方法、装置和设备 | |
KR20150045073A (ko) | 데이터 운용 방법 및 이를 지원하는 시스템 | |
CN113485642A (zh) | 数据缓存方法及装置 | |
CN118152434A (zh) | 数据管理方法及计算设备 | |
CN112596949A (zh) | 一种高效率的ssd删除数据恢复方法及系统 | |
CN116610636A (zh) | 一种文件系统的数据处理方法、装置、电子设备及存储介质 | |
CN103020186A (zh) | 一种基于嵌入式设备的文件检索方法、装置以及设备 | |
JP2009157441A (ja) | 情報処理装置、ファイル再配置方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |