CN107436826B - 一种冷数据处理方法及终端 - Google Patents
一种冷数据处理方法及终端 Download PDFInfo
- Publication number
- CN107436826B CN107436826B CN201710695573.4A CN201710695573A CN107436826B CN 107436826 B CN107436826 B CN 107436826B CN 201710695573 A CN201710695573 A CN 201710695573A CN 107436826 B CN107436826 B CN 107436826B
- Authority
- CN
- China
- Prior art keywords
- file
- end disk
- disk group
- disk
- key message
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
- G06F11/1464—Management of the backup or restore process for networked environments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/061—Improving I/O performance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0614—Improving the reliability of storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0629—Configuration or reconfiguration of storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
- G06F3/065—Replication mechanisms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Quality & Reliability (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Storage Device Security (AREA)
- Power Sources (AREA)
Abstract
本发明提供一种冷数据处理方法及终端,将磁盘分成前端磁盘组和后端磁盘组,前端磁盘组设置为上电状态,后端磁盘组设置为去电状态;接收文件写入请求,提取所述文件的关键信息;根据所述关键信息,获取所述文件的文件特征,分析所述文件特征,选择匹配的前端磁盘;将所述文件写入所述前端磁盘,并将所述文件的文件名、存储路径及其对应的关键信息存储至关键信息服务器,实现冷存储节能省电的同时保证数据的可靠性访问。
Description
技术领域
本发明涉及冷数据领域,尤其涉及一种冷数据处理方法及终端。
背景技术
大数据时代下,众多IDC数据中心、企业和服务提供商CPS正面临着数据量飞速增长,不断产生海量数据的时代。比如随着宽带普及,带来了巨量日志和通讯记录,社交网络每天不断更新的个人信息,视频通讯、医疗影像、地理信息、监控录像等视频记录,传感器、导航设备等非传统IT设备产生的数据信息,以及持续增加的各种智能终端产生的图片及信息,使得数据总量达ZB级数量,并且每18个月将会增长一倍。但这些不断增长的数据中很多信息量均属于不常访问的、较低访问频率、较旧的数据,即所谓的“冷”数据。如果将这些“冷”数据迁移到低成本的冷存储中,访问时磁盘通电,空闲时磁盘断电,即所谓的“冷存储使用模型”,则可以最大程度地降低每GB数据的存储用电量,实现用户数据中心机房的总体营运成本显著降低。目前,“冷存储使用模型”在备份、存档、灾难恢复和社交媒体等大量应用中得到使用,“冷存储使用模型”已经占领市场存储的50%的存储量。
但是,通常在“冷存储使用模型”中,为了节能省电,冷存储硬盘时常断电或通电,但硬盘频繁的去电、上电,会导致上层文件系统报错或者数据丢失,出现文件丢失、文件系统报错、磁盘损坏等问题,导致冷数据的访问不可靠。
发明内容
本发明所要解决的技术问题是:提供一种冷数据处理方法及终端,实现冷存储节能省电的同时保证数据的可靠性访问。
为了解决上述技术问题,本发明采用的一种技术方案为:
一种冷数据处理方法,包括步骤:
将磁盘分成前端磁盘组和后端磁盘组,前端磁盘组设置为上电状态,后端磁盘组设置为去电状态;
接收文件写入请求,提取所述文件的关键信息;
根据所述关键信息,获取所述文件的文件特征,分析所述文件特征,选择匹配的前端磁盘;
将所述文件写入所述前端磁盘,并将所述文件的文件名、存储路径及其对应的关键信息存储至关键信息服务器。
为了解决上述技术问题,本发明采用的另一种技术方案为:
一种冷数据处理终端1,包括存储器2、处理器3及存储在存储器2上并可在处理器3上运行的计算机程序,所述处理器3执行所述程序时实现以下步骤:
将磁盘分成前端磁盘组和后端磁盘组,前端磁盘组设置为上电状态,后端磁盘组设置为去电状态;
接收文件写入请求,提取所述文件的关键信息;
根据所述关键信息,获取所述文件的文件特征,分析所述文件特征,选择匹配的前端磁盘;
将所述文件写入所述前端磁盘,并将所述文件的文件名、存储路径及其对应的关键信息存储至关键信息服务器。
本发明的有益效果在于:将磁盘分为前后磁盘组,分别设置前、后磁盘组为上电状态和去电状态,根据文件特征选择匹配的前端磁盘,并将文件的关键信息存储至关键信息服务器,实现磁盘高效利用、节能的同时,对具有相同文件特征的文件进行聚合读写,在执行写入操作时,聚合写入同一组磁盘,这样当数据读取时,相同文件特征的数据往往集中访问,这样就可以减少开启的磁盘数量,有效降低磁盘的损坏率,并且由于关键信息服务器中存储有文件的关键信息,当冷存储服务器磁盘关闭无法访问时,可以从关键信息服务器查询到文件的基本信息,解决了对于冷存储服务器因磁盘关闭导致的文件丢失或文件系统报错问题,从而保证了冷数据的访问可靠性。
附图说明
图1为本发明实施例的一种冷数据处理方法的流程图;
图2为本发明实施例的一种冷数据处理终端的结构示意图;
标号说明:
1、冷数据处理终端;2、存储器;3、处理器。
具体实施方式
为详细说明本发明的技术内容、所实现目的及效果,以下结合实施方式并配合附图予以说明。
本发明最关键的构思在于:将磁盘分为前后磁盘组,分别设置前、后磁盘组为上电状态和去电状态,根据文件特征选择匹配的前端磁盘,并将文件的关键信息存储至关键信息服务器。
请参照图1,一种冷数据处理方法,包括步骤:
将磁盘分成前端磁盘组和后端磁盘组,前端磁盘组设置为上电状态,后端磁盘组设置为去电状态;
接收文件写入请求,提取所述文件的关键信息;
根据所述关键信息,获取所述文件的文件特征,分析所述文件特征,选择匹配的前端磁盘;
将所述文件写入所述前端磁盘,并将所述文件的文件名、存储路径及其对应的关键信息存储至关键信息服务器。
从上述描述可知,本发明的有益效果在于:将磁盘分为前后磁盘组,分别设置前、后磁盘组为上电状态和去电状态,根据文件特征选择匹配的前端磁盘,并将文件的关键信息存储至关键信息服务器,实现磁盘高效利用、节能的同时,对具有相同文件特征的文件进行聚合读写,在执行写入操作时,聚合写入同一组磁盘,这样当数据读取时,相同文件特征的数据往往集中访问,这样就可以减少开启的磁盘数量,有效降低磁盘的损坏率,并且由于关键信息服务器中存储有文件的关键信息,当冷存储服务器磁盘关闭无法访问时,可以从关键信息服务器查询到文件的基本信息,解决了对于冷存储服务器因磁盘关闭导致的文件丢失或文件系统报错问题,从而保证了冷数据的访问可靠性。
进一步的,所述分析所述文件特征,选择匹配的前端磁盘具体包括:
在关键信息服务器中存储路径为前端磁盘的关键信息中查找是否存在与所述文件特征相同的第二文件特征,如果存在,则选择与所述第二文件特征对应的文件所在的前端磁盘作为匹配的前端磁盘;否则,从前端磁盘组中随机选择一前端磁盘作为匹配的前端磁盘。
由上述描述可知,优先选取与待写入文件具有相同文件特征的已存储文件所在磁盘作为待写入文件的匹配磁盘,实现对文件的聚合写入,这样当数据读取时,相同特征的数据往往集中访问,可以减少开启的磁盘数量,有效降低磁盘的损坏率。
进一步的,还包括步骤:
实时监控前端磁盘组的磁盘空间使用情况以及磁盘读写状态,如果前端磁盘组的磁盘空间达到额定阈值或在一预设时间段内无读取请求,则将后端磁盘组上电,前端磁盘组去电,前端磁盘组和后端磁盘组相互转换。
由上述描述可知,通过设定一定条件实现前后磁盘组自动转换,实现了磁盘的高效利用与节能的目的。
进一步的,还包括步骤:
接收文件读取请求,根据文件名在关键信息服务器查询所述文件的关键信息;
发送所述关键信息。
由上述描述可知,由于关键信息服务器中存储有文件的关键信息,当冷存储服务器磁盘关闭无法访问时,可以从关键信息服务器查询到文件的基本信息,解决了对于冷存储服务器因磁盘关闭导致的文件丢失或文件系统报错问题。
进一步的,还包括步骤:
接收文件读取请求,根据文件名在关键信息服务器查询所述文件的存储路径;
根据所述存储路径判断所述文件存储在前端磁盘组还是后端磁盘组,如果存储在前端磁盘组,则根据所述存储路径读取所述文件,如果存储在后端磁盘组,则将后端磁盘组上电,前端磁盘组去电,前端磁盘组和后端磁盘组相互转换,根据所述存储路径读取所述文件。
由上述描述可知,当冷存储服务器磁盘正常工作时,当接收到文件读取请求,如果读取的文件存储在后端磁盘组,则自动进行前后端磁盘组转换,实现了磁盘的高效利用与节能的目的。
请参照图2,一种冷数据处理终端1,包括存储器2、处理器3及存储在存储器2上并可在处理器3上运行的计算机程序,所述处理器3执行所述程序时实现以下步骤:
将磁盘分成前端磁盘组和后端磁盘组,前端磁盘组设置为上电状态,后端磁盘组设置为去电状态;
接收文件写入请求,提取所述文件的关键信息;
根据所述关键信息,获取所述文件的文件特征,分析所述文件特征,选择匹配的前端磁盘;
将所述文件写入所述前端磁盘,并将所述文件的文件名、存储路径及其对应的关键信息存储至关键信息服务器。
从上述描述可知,本发明的有益效果在于:将磁盘分为前后磁盘组,分别设置前、后磁盘组为上电状态和去电状态,根据文件特征选择匹配的前端磁盘,并将文件的关键信息存储至关键信息服务器,实现磁盘高效利用、节能的同时,对具有相同文件特征的文件进行聚合读写,在执行写入操作时,聚合写入同一组磁盘,这样当数据读取时,相同文件特征的数据往往集中访问,这样就可以减少开启的磁盘数量,有效降低磁盘的损坏率,并且由于关键信息服务器中存储有文件的关键信息,当冷存储服务器磁盘关闭无法访问时,可以从关键信息服务器查询到文件的基本信息,解决了对于冷存储服务器因磁盘关闭导致的文件丢失或文件系统报错问题,从而保证了冷数据的访问可靠性。
进一步的,所述分析所述文件特征,选择匹配的前端磁盘具体包括:
在关键信息服务器中存储路径为前端磁盘的关键信息中查找是否存在与所述文件特征相同的第二文件特征,如果存在,则选择与所述第二文件特征对应的文件所在的前端磁盘作为匹配的前端磁盘;否则,从前端磁盘组中随机选择一前端磁盘作为匹配的前端磁盘。
由上述描述可知,优先选取与待写入文件具有相同文件特征的已存储文件所在磁盘作为待写入文件的匹配磁盘,实现对文件的聚合写入,这样当数据读取时,相同特征的数据往往集中访问,可以减少开启的磁盘数量,有效降低磁盘的损坏率。
进一步的,还包括步骤:
实时监控前端磁盘组的磁盘空间使用情况以及磁盘读写状态,如果前端磁盘组的磁盘空间达到额定阈值或在一预设时间段内无读取请求,则将后端磁盘组上电,前端磁盘组去电,前端磁盘组和后端磁盘组相互转换。
由上述描述可知,通过设定一定条件实现前后磁盘组自动转换,实现了磁盘的高效利用与节能的目的。
进一步的,还包括步骤:
接收文件读取请求,根据文件名在关键信息服务器查询所述文件的关键信息;
发送所述关键信息。
由上述描述可知,由于关键信息服务器中存储有文件的关键信息,当冷存储服务器磁盘关闭无法访问时,可以从关键信息服务器查询到文件的基本信息,解决了对于冷存储服务器因磁盘关闭导致的文件丢失或文件系统报错问题。
进一步的,还包括步骤:
接收文件读取请求,根据文件名在关键信息服务器查询所述文件的存储路径;
根据所述存储路径判断所述文件存储在前端磁盘组还是后端磁盘组,如果存储在前端磁盘组,则根据所述存储路径读取所述文件,如果存储在后端磁盘组,则将后端磁盘组上电,前端磁盘组去电,前端磁盘组和后端磁盘组相互转换,根据所述存储路径读取所述文件。
由上述描述可知,当冷存储服务器磁盘正常工作时,当接收到文件读取请求,如果读取的文件存储在后端磁盘组,则自动进行前后端磁盘组转换,实现了磁盘的高效利用与节能的目的。
实施例一
请参照图1,一种冷数据处理方法,包括步骤:
将磁盘分成前端磁盘组和后端磁盘组,前端磁盘组设置为上电状态,后端磁盘组设置为去电状态;
系统运行时,事先配置好前后端磁盘组,当系统启动后,前端磁盘组默认启动,而后端磁盘组暂时不启动,待前端磁盘写满后,再按需启动后端磁盘;
其中,前端磁盘组用于与用户业务直接交互,处于上电状态,后端磁盘组用于存放用户数据,处于去电状态;当前端磁盘组达到写满状态时或者数据无人访问时,自动变为后端磁盘组,处于去电状态,相应地,后端磁盘组自动变为前端磁盘组,处于上电状态;当后端磁盘组有读取数据需求时,自动变为前端磁盘组,处于上电状态,相应地,前端磁盘组自动变为后端磁盘组,处于去电状态;
特别地,可以设置后台监控进程实时监控前端磁盘组的磁盘空间使用情况以及磁盘读写状态,如果前端磁盘组的磁盘空间达到额定阈值或在一预设时间段内无读取请求,则将后端磁盘组上电,前端磁盘组去电,前端磁盘组和后端磁盘组相互转换;
接收文件写入请求,提取所述文件的关键信息;
所述关键信息包括文件特征、文件大小、生成时间等信息;
根据所述关键信息,获取所述文件的文件特征,分析所述文件特征,选择匹配的前端磁盘;
所述文件特征包括文件的业务类型、文件的数据类型、文件的生成时段等;
所述分析所述文件特征,选择匹配的前端磁盘具体包括:
在关键信息服务器中存储路径为前端磁盘的关键信息中查找是否存在与所述文件特征相同的第二文件特征,如果存在,则选择与所述第二文件特征对应的文件所在的前端磁盘作为匹配的前端磁盘;否则,从前端磁盘组中随机选择一前端磁盘作为匹配的前端磁盘;
将所述文件写入所述前端磁盘,并将所述文件的文件名、存储路径及其对应的关键信息存储至关键信息服务器。
其中,关键信息服务器是与存储冷数据的冷存储服务器不同的服务器,这样,当所述冷存储服务器中磁盘关闭无法访问时,可以从关键信息服务器查询到文件的基本信息。
实施例二
一种冷数据处理方法,对应的是当要从冷存储服务器读取数据时,而冷存储服务器中磁盘关闭无法访问时的情况,包括步骤:
接收文件读取请求,根据文件名在关键信息服务器查询所述文件的关键信息;
发送所述关键信息;
由于此时冷存储服务器中磁盘关闭无法访问,此时可以将存储在关键信息服务器中对应所述待读取文件的关键信息发送给用户,使用户可以从关键信息服务器查询到文件的基本信息。
实施例三
一种冷数据处理方法,对应的是当要从冷存储服务器读取数据时,冷存储服务器中磁盘正常可用的情况,包括步骤:
接收文件读取请求,根据文件名在关键信息服务器查询所述文件的存储路径;
根据所述存储路径判断所述文件存储在前端磁盘组还是后端磁盘组,如果存储在前端磁盘组,则根据所述存储路径读取所述文件,如果存储在后端磁盘组,则将后端磁盘组上电,前端磁盘组去电,前端磁盘组和后端磁盘组相互转换,根据所述存储路径读取所述文件。
实施例四
一种冷数据处理终端1,包括存储器2、处理器3及存储在存储器2上并可在处理器3上运行的计算机程序,所述处理器3执行所述程序时实现实施例一所述的步骤。
实施例五
一种冷数据处理终端1,包括存储器2、处理器3及存储在存储器3上并可在处理器2上运行的计算机程序,所述处理器3执行所述程序时实现实施例二所述的步骤。
实施例六
一种冷数据处理终端1,包括存储器2、处理器3及存储在存储器2上并可在处理器3上运行的计算机程序,所述处理器3执行所述程序时实现实施例三所述的步骤。
综上所述,本发明提供的一种冷数据处理方法及终端,将磁盘分为前后磁盘组,分别设置前、后磁盘组为上电状态和去电状态,根据文件特征选择匹配的前端磁盘,并将文件的关键信息存储至关键信息服务器,实现磁盘高效利用、节能的同时,对具有相同文件特征的文件进行聚合读写,在执行写入操作时,聚合写入同一组磁盘,这样当数据读取时,相同文件特征的数据往往集中访问,这样就可以减少开启的磁盘数量以及磁盘的频繁开启,有效降低磁盘的损坏率,并且由于关键信息服务器中存储有文件的关键信息,当冷存储服务器磁盘关闭无法访问时,可以从关键信息服务器查询到文件的基本信息,解决了对于冷存储服务器因磁盘关闭导致的文件丢失或文件系统报错问题,从而保证了冷数据的访问可靠性。
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等同变换,或直接或间接运用在相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (8)
1.一种冷数据处理方法,其特征在于,包括步骤:
将磁盘分成前端磁盘组和后端磁盘组,前端磁盘组设置为上电状态,后端磁盘组设置为去电状态;
接收文件写入请求,提取所述文件的关键信息;
根据所述关键信息,获取所述文件的文件特征,分析所述文件特征,选择匹配的前端磁盘;
将所述文件写入所述前端磁盘,并将所述文件的文件名、存储路径及其对应的关键信息存储至关键信息服务器;
所述磁盘组中的磁盘是固定的,并且磁盘组中的各个磁盘的状态是同步的,或者都处于上电状态,或者都处于去电状态;
所述分析所述文件特征,选择匹配的前端磁盘具体包括:
在关键信息服务器中存储路径为前端磁盘的关键信息中查找是否存在与所述文件特征相同的第二文件特征,如果存在,则选择与所述第二文件特征对应的文件所在的前端磁盘作为匹配的前端磁盘;否则,从前端磁盘组中随机选择一前端磁盘作为匹配的前端磁盘。
2.根据权利要求1所述的冷数据处理方法,其特征在于,还包括步骤:
实时监控前端磁盘组的磁盘空间使用情况以及磁盘读写状态,如果前端磁盘组的磁盘空间达到额定阈值或在一预设时间段内无读取请求,则将后端磁盘组上电,前端磁盘组去电,前端磁盘组和后端磁盘组相互转换。
3.根据权利要求1所述的冷数据处理方法,其特征在于,还包括步骤:
接收文件读取请求,根据文件名在关键信息服务器查询所述文件的关键信息;
发送所述关键信息。
4.根据权利要求1所述的冷数据处理方法,其特征在于,还包括步骤:
接收文件读取请求,根据文件名在关键信息服务器查询所述文件的存储路径;
根据所述存储路径判断所述文件存储在前端磁盘组还是后端磁盘组,如果存储在前端磁盘组,则根据所述存储路径读取所述文件,如果存储在后端磁盘组,则将后端磁盘组上电,前端磁盘组去电,前端磁盘组和后端磁盘组相互转换,根据所述存储路径读取所述文件。
5.一种冷数据处理终端,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现以下步骤:
将磁盘分成前端磁盘组和后端磁盘组,前端磁盘组设置为上电状态,后端磁盘组设置为去电状态;
接收文件写入请求,提取所述文件的关键信息;
根据所述关键信息,获取所述文件的文件特征,分析所述文件特征,选择匹配的前端磁盘;
将所述文件写入所述前端磁盘,并将所述文件的文件名、存储路径及其对应的关键信息存储至关键信息服务器;
所述磁盘组中的磁盘是固定的,并且磁盘组中的各个磁盘的状态是同步的,或者都处于上电状态,或者都处于去电状态;
所述分析所述文件特征,选择匹配的前端磁盘具体包括:
在关键信息服务器中存储路径为前端磁盘的关键信息中查找是否存在与所述文件特征相同的第二文件特征,如果存在,则选择与所述第二文件特征对应的文件所在的前端磁盘作为匹配的前端磁盘;否则,从前端磁盘组中随机选择一前端磁盘作为匹配的前端磁盘。
6.根据权利要求5所述的冷数据处理终端,其特征在于,还包括步骤:
实时监控前端磁盘组的磁盘空间使用情况以及磁盘读写状态,如果前端磁盘组的磁盘空间达到额定阈值或在一预设时间段内无读取请求,则将后端磁盘组上电,前端磁盘组去电,前端磁盘组和后端磁盘组相互转换。
7.根据权利要求5所述的冷数据处理终端,其特征在于,还包括步骤:
接收文件读取请求,根据文件名在关键信息服务器查询所述文件的关键信息;
发送所述关键信息。
8.根据权利要求5所述的冷数据处理终端,其特征在于,还包括步骤:
接收文件读取请求,根据文件名在关键信息服务器查询所述文件的存储路径;
根据所述存储路径判断所述文件存储在前端磁盘组还是后端磁盘组,如果存储在前端磁盘组,则根据所述存储路径读取所述文件,如果存储在后端磁盘组,则将后端磁盘组上电,前端磁盘组去电,前端磁盘组和后端磁盘组相互转换,根据所述存储路径读取所述文件。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811382360.7A CN109669811B (zh) | 2017-08-15 | 2017-08-15 | 一种能够可靠性访问的数据处理方法及终端 |
CN201710695573.4A CN107436826B (zh) | 2017-08-15 | 2017-08-15 | 一种冷数据处理方法及终端 |
CN201811382082.5A CN109739340B (zh) | 2017-08-15 | 2017-08-15 | 一种节能省电的数据处理方法及终端 |
CN201811382357.5A CN109683810B (zh) | 2017-08-15 | 2017-08-15 | 一种读写方法及终端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710695573.4A CN107436826B (zh) | 2017-08-15 | 2017-08-15 | 一种冷数据处理方法及终端 |
Related Child Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811382357.5A Division CN109683810B (zh) | 2017-08-15 | 2017-08-15 | 一种读写方法及终端 |
CN201811382360.7A Division CN109669811B (zh) | 2017-08-15 | 2017-08-15 | 一种能够可靠性访问的数据处理方法及终端 |
CN201811382082.5A Division CN109739340B (zh) | 2017-08-15 | 2017-08-15 | 一种节能省电的数据处理方法及终端 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107436826A CN107436826A (zh) | 2017-12-05 |
CN107436826B true CN107436826B (zh) | 2018-12-18 |
Family
ID=60461031
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710695573.4A Active CN107436826B (zh) | 2017-08-15 | 2017-08-15 | 一种冷数据处理方法及终端 |
CN201811382360.7A Active CN109669811B (zh) | 2017-08-15 | 2017-08-15 | 一种能够可靠性访问的数据处理方法及终端 |
CN201811382082.5A Active CN109739340B (zh) | 2017-08-15 | 2017-08-15 | 一种节能省电的数据处理方法及终端 |
CN201811382357.5A Active CN109683810B (zh) | 2017-08-15 | 2017-08-15 | 一种读写方法及终端 |
Family Applications After (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811382360.7A Active CN109669811B (zh) | 2017-08-15 | 2017-08-15 | 一种能够可靠性访问的数据处理方法及终端 |
CN201811382082.5A Active CN109739340B (zh) | 2017-08-15 | 2017-08-15 | 一种节能省电的数据处理方法及终端 |
CN201811382357.5A Active CN109683810B (zh) | 2017-08-15 | 2017-08-15 | 一种读写方法及终端 |
Country Status (1)
Country | Link |
---|---|
CN (4) | CN107436826B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112015342B (zh) * | 2020-08-27 | 2023-08-18 | 优刻得科技股份有限公司 | 一种io调度系统和调度方法以及相应的电子设备 |
CN117234435B (zh) * | 2023-11-14 | 2024-02-20 | 苏州元脑智能科技有限公司 | 文件存储方法及装置 |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6446199B1 (en) * | 1995-06-06 | 2002-09-03 | International Business Machines Corporation | Disk drive incompatible firmware recovery |
JP2001519563A (ja) * | 1997-10-08 | 2001-10-23 | シーゲイト テクノロジー エルエルシー | ディスクドライブアレイおよびデータ格納方法 |
CN1582420A (zh) * | 2001-10-29 | 2005-02-16 | 西加特技术有限责任公司 | 保护外围设备以防热插拔攻击的系统和方法 |
US7330931B2 (en) * | 2003-06-26 | 2008-02-12 | Copan Systems, Inc. | Method and system for accessing auxiliary data in power-efficient high-capacity scalable storage system |
CN100419767C (zh) * | 2004-09-20 | 2008-09-17 | 刘守奎 | 一种建筑物的工程建模方法 |
CN100571281C (zh) * | 2007-06-29 | 2009-12-16 | 清华大学 | 海量数据分级存储方法 |
CN101551804A (zh) * | 2008-03-31 | 2009-10-07 | 联想(北京)有限公司 | 计算机及用在计算机中的文件处理方法 |
EP2164007A1 (en) * | 2008-09-11 | 2010-03-17 | Neutrino Concepts Ltd. | Data storage and fusion layer |
KR101465099B1 (ko) * | 2008-09-11 | 2014-11-25 | 시게이트 테크놀로지 엘엘씨 | 특정 조건을 갖는 파일을 신속하게 판독할 수 있는 하이브리드 하드디스크 드라이브, 이에 적합한 제어 방법 및 이에 적합한 기록 매체 |
EP2196895A1 (en) * | 2008-12-09 | 2010-06-16 | Thomson Licensing | System for storing and/or retrieving a data-set and method thereof |
CN101441668B (zh) * | 2008-12-31 | 2011-09-21 | 中兴通讯股份有限公司 | 分布式文件系统中多磁盘分组热备的方法与装置 |
CN101854378B (zh) * | 2010-02-26 | 2013-02-13 | 深圳市龙视传媒有限公司 | 一种数据操作方法和数据操作设备 |
CN102014150B (zh) * | 2010-09-29 | 2013-12-11 | 厦门市美亚柏科信息股份有限公司 | 一种基于udp分布式小文件存储系统及其数据处理方法 |
JP5846006B2 (ja) * | 2012-03-29 | 2016-01-20 | 富士通株式会社 | プログラム、コード生成方法および情報処理装置 |
CN103488578B (zh) * | 2012-12-28 | 2016-05-25 | 晶天电子(深圳)有限公司 | 虚拟存储设备(vmd)应用/驱动器 |
CN103399806A (zh) * | 2013-07-26 | 2013-11-20 | 安徽省徽商集团有限公司 | 网络备份更新管理方法及其系统 |
KR101569428B1 (ko) * | 2013-08-09 | 2015-11-16 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 파일 처리 방법 및 저장 디바이스 |
CN103442070A (zh) * | 2013-08-30 | 2013-12-11 | 华南理工大学 | 基于统计预测的私有云存储资源调配方法 |
US9703505B2 (en) * | 2013-12-30 | 2017-07-11 | Teradata Us, Inc. | Management of data in multi-storage systems that can include non-volatile and volatile storages |
CN104598568A (zh) * | 2015-01-12 | 2015-05-06 | 浪潮电子信息产业股份有限公司 | 一种高效、低功耗的离线存储系统及方法 |
CN106293492B (zh) * | 2015-05-14 | 2021-08-20 | 中兴通讯股份有限公司 | 一种存储管理方法及分布式文件系统 |
CN104991747A (zh) * | 2015-07-30 | 2015-10-21 | 湖南亿谷科技发展股份有限公司 | 数据管理方法及系统 |
CN105389129A (zh) * | 2015-11-11 | 2016-03-09 | 北京汉柏科技有限公司 | 一种云计算系统中虚拟云盘实现方法 |
CN106959826A (zh) * | 2017-03-28 | 2017-07-18 | 联想(北京)有限公司 | 一种数据存储系统及方法 |
-
2017
- 2017-08-15 CN CN201710695573.4A patent/CN107436826B/zh active Active
- 2017-08-15 CN CN201811382360.7A patent/CN109669811B/zh active Active
- 2017-08-15 CN CN201811382082.5A patent/CN109739340B/zh active Active
- 2017-08-15 CN CN201811382357.5A patent/CN109683810B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN109739340B (zh) | 2021-04-13 |
CN107436826A (zh) | 2017-12-05 |
CN109669811A (zh) | 2019-04-23 |
CN109683810B (zh) | 2022-02-18 |
CN109683810A (zh) | 2019-04-26 |
CN109669811B (zh) | 2021-04-13 |
CN109739340A (zh) | 2019-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103019890B (zh) | 一种块级别的磁盘数据保护系统及其方法 | |
CN102340530B (zh) | 一种存储空间接管和数据迁移的方法和系统 | |
CN101325610B (zh) | 虚拟磁带库备份系统以及磁盘电源控制方法 | |
JP2010079526A5 (zh) | ||
CN107436826B (zh) | 一种冷数据处理方法及终端 | |
CN110704287B (zh) | Linux系统下RAID卡异常日志收集方法、系统及存储介质 | |
CN105045531A (zh) | 一种存储双控制器间缓存同步机制 | |
CN106502822A (zh) | 数据读写方法及装置 | |
CN107608828A (zh) | 数据中心掉电自动恢复的方法、系统、装置及存储介质 | |
US20140115112A1 (en) | Server system and message processing method thereof | |
CN108205482B (zh) | 文件挂载恢复方法 | |
CN110851318A (zh) | 一种服务器管理系统下的串口日志收集方法、系统及设备 | |
CN102170494A (zh) | 一种记录移动终端操作过程的方法、系统及移动终端 | |
CN101087237B (zh) | 一种磁阵共享文件系统及其实现方法 | |
CN103207916A (zh) | 元数据处理的方法和装置 | |
CN101751283B (zh) | 虚拟机监视器,虚拟机系统及客户操作系统状态获取方法 | |
CN103761156A (zh) | 一种针对文件系统的在线修复方法 | |
CN106909477A (zh) | 一种存储服务器io栈内存数据保护方法及装置 | |
CN110532133B (zh) | 一种低功耗大容量可扩充数据存储方法 | |
CN107391186A (zh) | 一种刷新电源供给单元固件的方法、装置及系统 | |
CN111104373B (zh) | 一种数据库性能优化方法 | |
CN110825314B (zh) | 一种数据调度方法及装置 | |
CN206224446U (zh) | 一种电商平台网站数据保护系统 | |
CN106021348A (zh) | 一种日志文件滚动存储系统 | |
CN111858168A (zh) | 一种检测快照的方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |