CN109669811B - 一种能够可靠性访问的数据处理方法及终端 - Google Patents

Abstract

本发明提供一种能够可靠性访问的数据处理方法及终端，将冷数据磁盘分成前端磁盘组和后端磁盘组，前端磁盘组设置为上电状态，后端磁盘组设置为去电状态；接收文件写入请求，提取所述文件的关键信息；根据所述关键信息，获取所述文件的文件特征，分析所述文件特征，选择匹配的前端磁盘；将所述文件写入所述前端磁盘，并将所述文件的文件名、存储路径及其对应的关键信息存储至关键信息服务器，实现冷存储节能省电的同时保证数据的可靠性访问。

Description

一种能够可靠性访问的数据处理方法及终端

本案是以申请号为201710695573.4，申请日为2017年08月15日，名称为《一种冷数据处理方法及终端》的专利申请为母案的分案申请。

技术领域

本发明涉及冷数据领域，尤其涉及一种能够可靠性访问的数据处理方法及终端。

背景技术

大数据时代下，众多IDC数据中心、企业和服务提供商CPS正面临着数据量飞速增长，不断产生海量数据的时代。比如随着宽带普及，带来了巨量日志和通讯记录，社交网络每天不断更新的个人信息，视频通讯、医疗影像、地理信息、监控录像等视频记录，传感器、导航设备等非传统IT设备产生的数据信息，以及持续增加的各种智能终端产生的图片及信息，使得数据总量达ZB级数量，并且每18个月将会增长一倍。但这些不断增长的数据中很多信息量均属于不常访问的、较低访问频率、较旧的数据，即所谓的“冷”数据。如果将这些“冷”数据迁移到低成本的冷存储中，访问时磁盘通电，空闲时磁盘断电，即所谓的“冷存储使用模型”，则可以最大程度地降低每GB数据的存储用电量，实现用户数据中心机房的总体营运成本显著降低。目前，“冷存储使用模型”在备份、存档、灾难恢复和社交媒体等大量应用中得到使用，“冷存储使用模型”已经占领市场存储的50％的存储量。

但是，通常在“冷存储使用模型”中，为了节能省电，冷存储硬盘时常断电或通电，但硬盘频繁的去电、上电，会导致上层文件系统报错或者数据丢失，出现文件丢失、文件系统报错、磁盘损坏等问题，导致冷数据的访问不可靠。

发明内容

本发明所要解决的技术问题是：提供一种能够可靠性访问的数据处理方法及终端，保证冷数据的可靠性访问。

为了解决上述技术问题，本发明采用的一种技术方案为：

一种能够可靠性访问的数据处理方法，包括步骤：

将冷数据磁盘分成前端磁盘组和后端磁盘组，前端磁盘组设置为上电状态，后端磁盘组设置为去电状态；

接收文件写入请求，提取所述文件的关键信息；

根据所述关键信息，获取所述文件的文件特征，分析所述文件特征，选择匹配的前端磁盘；

将所述文件写入所述前端磁盘，并将所述文件的文件名、存储路径及其对应的关键信息存储至关键信息服务器。

为了解决上述技术问题，本发明采用的另一种技术方案为：

一种能够可靠性访问的数据处理终端1，包括存储器2、处理器3及存储在存储器2上并可在处理器3上运行的计算机程序，所述处理器3执行所述程序时实现以下步骤：

将冷数据磁盘分成前端磁盘组和后端磁盘组，前端磁盘组设置为上电状态，后端磁盘组设置为去电状态；

接收文件写入请求，提取所述文件的关键信息；

根据所述关键信息，获取所述文件的文件特征，分析所述文件特征，选择匹配的前端磁盘；

将所述文件写入所述前端磁盘，并将所述文件的文件名、存储路径及其对应的关键信息存储至关键信息服务器。

本发明的有益效果在于：将冷数据磁盘分为前后磁盘组，分别设置前、后磁盘组为上电状态和去电状态，根据文件特征选择匹配的前端磁盘，并将文件的关键信息存储至关键信息服务器，由于关键信息服务器中存储有文件的关键信息，当冷存储服务器磁盘关闭无法访问时，可以从关键信息服务器查询到文件的基本信息，解决了对于冷存储服务器因磁盘关闭导致的文件丢失或文件系统报错问题，从而保证了冷数据的访问可靠性。

附图说明

图1为本发明实施例的一种能够可靠性访问的数据处理方法的流程图；

图2为本发明实施例的一种能够可靠性访问的数据处理终端的结构示意图；

标号说明：

1、能够可靠性访问的数据处理终端；2、存储器；3、处理器。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。

本发明最关键的构思在于：将磁盘分为前后磁盘组，分别设置前、后磁盘组为上电状态和去电状态，根据文件特征选择匹配的前端磁盘，并将文件的关键信息存储至关键信息服务器。

请参照图1，一种能够可靠性访问的数据处理方法，包括步骤：

将冷数据磁盘分成前端磁盘组和后端磁盘组，前端磁盘组设置为上电状态，后端磁盘组设置为去电状态；

接收文件写入请求，提取所述文件的关键信息；

根据所述关键信息，获取所述文件的文件特征，分析所述文件特征，选择匹配的前端磁盘；

将所述文件写入所述前端磁盘，并将所述文件的文件名、存储路径及其对应的关键信息存储至关键信息服务器。

从上述描述可知，本发明的有益效果在于：将冷数据磁盘分为前后磁盘组，分别设置前、后磁盘组为上电状态和去电状态，根据文件特征选择匹配的前端磁盘，并将文件的关键信息存储至关键信息服务器，由于关键信息服务器中存储有文件的关键信息，当冷存储服务器磁盘关闭无法访问时，可以从关键信息服务器查询到文件的基本信息，解决了对于冷存储服务器因磁盘关闭导致的文件丢失或文件系统报错问题，从而保证了冷数据的访问可靠性。

进一步的，所述分析所述文件特征，选择匹配的前端磁盘具体包括：

在关键信息服务器中存储路径为前端磁盘的关键信息中查找是否存在与所述文件特征相同的第二文件特征，如果存在，则选择与所述第二文件特征对应的文件所在的前端磁盘作为匹配的前端磁盘；否则，从前端磁盘组中随机选择一前端磁盘作为匹配的前端磁盘。

由上述描述可知，优先选取与待写入文件具有相同文件特征的已存储文件所在磁盘作为待写入文件的匹配磁盘，实现对文件的聚合写入，这样当数据读取时，相同特征的数据往往集中访问，可以减少开启的磁盘数量，有效降低磁盘的损坏率。

进一步的，还包括步骤：

实时监控前端磁盘组的磁盘空间使用情况以及磁盘读写状态，如果前端磁盘组的磁盘空间达到额定阈值或在一预设时间段内无读取请求，则将后端磁盘组上电，前端磁盘组去电，前端磁盘组和后端磁盘组相互转换。

由上述描述可知，通过设定一定条件实现前后磁盘组自动转换，实现了磁盘的高效利用与节能的目的。

进一步的，还包括步骤：

接收文件读取请求，根据文件名在关键信息服务器查询所述文件的关键信息；

发送所述关键信息。

由上述描述可知，由于关键信息服务器中存储有文件的关键信息，当冷存储服务器磁盘关闭无法访问时，可以从关键信息服务器查询到文件的基本信息，解决了对于冷存储服务器因磁盘关闭导致的文件丢失或文件系统报错问题。

进一步的，还包括步骤：

接收文件读取请求，根据文件名在关键信息服务器查询所述文件的存储路径；

根据所述存储路径判断所述文件存储在前端磁盘组还是后端磁盘组，如果存储在前端磁盘组，则根据所述存储路径读取所述文件，如果存储在后端磁盘组，则将后端磁盘组上电，前端磁盘组去电，前端磁盘组和后端磁盘组相互转换，根据所述存储路径读取所述文件。

由上述描述可知，当冷存储服务器磁盘正常工作时，当接收到文件读取请求，如果读取的文件存储在后端磁盘组，则自动进行前后端磁盘组转换，实现了磁盘的高效利用与节能的目的。

请参照图2，一种能够可靠性访问的数据处理终端1，包括存储器2、处理器3及存储在存储器2上并可在处理器3上运行的计算机程序，所述处理器3执行所述程序时实现以下步骤：

将冷数据磁盘分成前端磁盘组和后端磁盘组，前端磁盘组设置为上电状态，后端磁盘组设置为去电状态；

接收文件写入请求，提取所述文件的关键信息；

根据所述关键信息，获取所述文件的文件特征，分析所述文件特征，选择匹配的前端磁盘；

将所述文件写入所述前端磁盘，并将所述文件的文件名、存储路径及其对应的关键信息存储至关键信息服务器。

从上述描述可知，本发明的有益效果在于：将冷数据磁盘分为前后磁盘组，分别设置前、后磁盘组为上电状态和去电状态，根据文件特征选择匹配的前端磁盘，并将文件的关键信息存储至关键信息服务器，由于关键信息服务器中存储有文件的关键信息，当冷存储服务器磁盘关闭无法访问时，可以从关键信息服务器查询到文件的基本信息，解决了对于冷存储服务器因磁盘关闭导致的文件丢失或文件系统报错问题，从而保证了冷数据的访问可靠性。

进一步的，所述分析所述文件特征，选择匹配的前端磁盘具体包括：

在关键信息服务器中存储路径为前端磁盘的关键信息中查找是否存在与所述文件特征相同的第二文件特征，如果存在，则选择与所述第二文件特征对应的文件所在的前端磁盘作为匹配的前端磁盘；否则，从前端磁盘组中随机选择一前端磁盘作为匹配的前端磁盘。

由上述描述可知，优先选取与待写入文件具有相同文件特征的已存储文件所在磁盘作为待写入文件的匹配磁盘，实现对文件的聚合写入，这样当数据读取时，相同特征的数据往往集中访问，可以减少开启的磁盘数量，有效降低磁盘的损坏率。

进一步的，还包括步骤：

实时监控前端磁盘组的磁盘空间使用情况以及磁盘读写状态，如果前端磁盘组的磁盘空间达到额定阈值或在一预设时间段内无读取请求，则将后端磁盘组上电，前端磁盘组去电，前端磁盘组和后端磁盘组相互转换。

由上述描述可知，通过设定一定条件实现前后磁盘组自动转换，实现了磁盘的高效利用与节能的目的。

进一步的，还包括步骤：

接收文件读取请求，根据文件名在关键信息服务器查询所述文件的关键信息；

发送所述关键信息。

由上述描述可知，由于关键信息服务器中存储有文件的关键信息，当冷存储服务器磁盘关闭无法访问时，可以从关键信息服务器查询到文件的基本信息，解决了对于冷存储服务器因磁盘关闭导致的文件丢失或文件系统报错问题。

进一步的，还包括步骤：

接收文件读取请求，根据文件名在关键信息服务器查询所述文件的存储路径；

根据所述存储路径判断所述文件存储在前端磁盘组还是后端磁盘组，如果存储在前端磁盘组，则根据所述存储路径读取所述文件，如果存储在后端磁盘组，则将后端磁盘组上电，前端磁盘组去电，前端磁盘组和后端磁盘组相互转换，根据所述存储路径读取所述文件。

由上述描述可知，当冷存储服务器磁盘正常工作时，当接收到文件读取请求，如果读取的文件存储在后端磁盘组，则自动进行前后端磁盘组转换，实现了磁盘的高效利用与节能的目的。

实施例一

请参照图1，一种能够可靠性访问的数据处理方法，包括步骤：

将冷数据磁盘分成前端磁盘组和后端磁盘组，前端磁盘组设置为上电状态，后端磁盘组设置为去电状态；

系统运行时，事先配置好前后端磁盘组，当系统启动后，前端磁盘组默认启动，而后端磁盘组暂时不启动，待前端磁盘写满后，再按需启动后端磁盘；

其中，前端磁盘组用于与用户业务直接交互，处于上电状态，后端磁盘组用于存放用户数据，处于去电状态；当前端磁盘组达到写满状态时或者数据无人访问时，自动变为后端磁盘组，处于去电状态，相应地，后端磁盘组自动变为前端磁盘组，处于上电状态；当后端磁盘组有读取数据需求时，自动变为前端磁盘组，处于上电状态，相应地，前端磁盘组自动变为后端磁盘组，处于去电状态；

特别地，可以设置后台监控进程实时监控前端磁盘组的磁盘空间使用情况以及磁盘读写状态，如果前端磁盘组的磁盘空间达到额定阈值或在一预设时间段内无读取请求，则将后端磁盘组上电，前端磁盘组去电，前端磁盘组和后端磁盘组相互转换；

接收文件写入请求，提取所述文件的关键信息；

所述关键信息包括文件特征、文件大小、生成时间等信息；

根据所述关键信息，获取所述文件的文件特征，分析所述文件特征，选择匹配的前端磁盘；

所述文件特征包括文件的业务类型、文件的数据类型、文件的生成时段等；

所述分析所述文件特征，选择匹配的前端磁盘具体包括：

在关键信息服务器中存储路径为前端磁盘的关键信息中查找是否存在与所述文件特征相同的第二文件特征，如果存在，则选择与所述第二文件特征对应的文件所在的前端磁盘作为匹配的前端磁盘；否则，从前端磁盘组中随机选择一前端磁盘作为匹配的前端磁盘；

将所述文件写入所述前端磁盘，并将所述文件的文件名、存储路径及其对应的关键信息存储至关键信息服务器。

其中，关键信息服务器是与存储冷数据的冷存储服务器不同的服务器，这样，当所述冷存储服务器中磁盘关闭无法访问时，可以从关键信息服务器查询到文件的基本信息。

实施例二

一种能够可靠性访问的数据处理方法，对应的是当要从冷存储服务器读取数据时，而冷存储服务器中磁盘关闭无法访问时的情况，包括步骤：

接收文件读取请求，根据文件名在关键信息服务器查询所述文件的关键信息；

发送所述关键信息；

由于此时冷存储服务器中磁盘关闭无法访问，此时可以将存储在关键信息服务器中对应所述待读取文件的关键信息发送给用户，使用户可以从关键信息服务器查询到文件的基本信息。

实施例三

一种能够可靠性访问的数据处理方法，对应的是当要从冷存储服务器读取数据时，冷存储服务器中磁盘正常可用的情况，包括步骤：

接收文件读取请求，根据文件名在关键信息服务器查询所述文件的存储路径；

根据所述存储路径判断所述文件存储在前端磁盘组还是后端磁盘组，如果存储在前端磁盘组，则根据所述存储路径读取所述文件，如果存储在后端磁盘组，则将后端磁盘组上电，前端磁盘组去电，前端磁盘组和后端磁盘组相互转换，根据所述存储路径读取所述文件。

实施例四

一种能够可靠性访问的数据处理终端1，包括存储器2、处理器3及存储在存储器2上并可在处理器3上运行的计算机程序，所述处理器3执行所述程序时实现实施例一所述的步骤。

实施例五

一种能够可靠性访问的数据处理终端1，包括存储器2、处理器3及存储在存储器3上并可在处理器2上运行的计算机程序，所述处理器3执行所述程序时实现实施例二所述的步骤。

实施例六

一种能够可靠性访问的数据处理终端1，包括存储器2、处理器3及存储在存储器2上并可在处理器3上运行的计算机程序，所述处理器3执行所述程序时实现实施例三所述的步骤。

综上所述，本发明提供的一种能够可靠性访问的数据处理方法及终端，将冷数据磁盘分为前后磁盘组，分别设置前、后磁盘组为上电状态和去电状态，根据文件特征选择匹配的前端磁盘，并将文件的关键信息存储至关键信息服务器，实现磁盘高效利用、节能的同时，对具有相同文件特征的文件进行聚合读写，在执行写入操作时，聚合写入同一组磁盘，这样当数据读取时，相同文件特征的数据往往集中访问，这样就可以减少开启的磁盘数量以及磁盘的频繁开启，有效降低磁盘的损坏率，并且由于关键信息服务器中存储有文件的关键信息，当冷存储服务器磁盘关闭无法访问时，可以从关键信息服务器查询到文件的基本信息，解决了对于冷存储服务器因磁盘关闭导致的文件丢失或文件系统报错问题，从而保证了冷数据的访问可靠性。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种能够可靠性访问的数据处理方法，其特征在于，包括步骤：

将冷数据磁盘分成前端磁盘组和后端磁盘组，所述磁盘组中的磁盘是固定的，前端磁盘组设置为上电状态，后端磁盘组设置为去电状态；

接收文件写入请求，提取所述文件的关键信息；

根据所述关键信息，获取所述文件的文件特征，分析所述文件特征，选择匹配的前端磁盘；

将所述文件写入所述前端磁盘，并将所述文件的文件名、存储路径及其对应的关键信息存储至关键信息服务器；

所述关键信息服务器与所述冷数据磁盘所在的冷数据存储服务器是不同的服务器；

所述分析所述文件特征，选择匹配的前端磁盘具体包括：

在关键信息服务器中存储路径为前端磁盘的关键信息中查找是否存在与所述文件特征相同的第二文件特征，如果存在，则选择与所述第二文件特征对应的文件所在的前端磁盘作为匹配的前端磁盘；否则，从前端磁盘组中随机选择一前端磁盘作为匹配的前端磁盘。

2.根据权利要求1所述的能够可靠性访问的数据处理方法，其特征在于，还包括步骤：

实时监控前端磁盘组的磁盘空间使用情况以及磁盘读写状态，如果前端磁盘组的磁盘空间达到额定阈值或在一预设时间段内无读取请求，则将后端磁盘组上电，前端磁盘组去电，前端磁盘组和后端磁盘组相互转换。

3.根据权利要求1所述的能够可靠性访问的数据处理方法，其特征在于，还包括步骤：

接收文件读取请求，根据文件名在关键信息服务器查询所述文件的关键信

息；

发送所述关键信息。

4.根据权利要求1所述的能够可靠性访问的数据处理方法，其特征在于，还包括步骤：

接收文件读取请求，根据文件名在关键信息服务器查询所述文件的存储路径；

根据所述存储路径判断所述文件存储在前端磁盘组还是后端磁盘组，如果存储在前端磁盘组，则根据所述存储路径读取所述文件，如果存储在后端磁盘组，则将后端磁盘组上电，前端磁盘组去电，前端磁盘组和后端磁盘组相互转换，根据所述存储路径读取所述文件。

5.一种能够可靠性访问的数据处理终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现以下步骤：

将冷数据磁盘分成前端磁盘组和后端磁盘组，所述磁盘组中的磁盘是固定的，前端磁盘组设置为上电状态，后端磁盘组设置为去电状态；

接收文件写入请求，提取所述文件的关键信息；

根据所述关键信息，获取所述文件的文件特征，分析所述文件特征，选择匹配的前端磁盘；

将所述文件写入所述前端磁盘，并将所述文件的文件名、存储路径及其对应的关键信息存储至关键信息服务器；

所述关键信息服务器与所述冷数据磁盘所在的冷数据存储服务器是不同的服务器；

所述分析所述文件特征，选择匹配的前端磁盘具体包括：

在关键信息服务器中存储路径为前端磁盘的关键信息中查找是否存在与所述文件特征相同的第二文件特征，如果存在，则选择与所述第二文件特征对应的文件所在的前端磁盘作为匹配的前端磁盘；否则，从前端磁盘组中随机选择一前端磁盘作为匹配的前端磁盘。

6.根据权利要求5所述的能够可靠性访问的数据处理终端，其特征在于，所述处理器执行所述计算机程序时还实现以下步骤：

实时监控前端磁盘组的磁盘空间使用情况以及磁盘读写状态，如果前端磁盘组的磁盘空间达到额定阈值或在一预设时间段内无读取请求，则将后端磁盘组上电，前端磁盘组去电，前端磁盘组和后端磁盘组相互转换。

7.根据权利要求5所述的能够可靠性访问的数据处理终端，其特征在于，所述处理器执行所述计算机程序时还实现以下步骤：

接收文件读取请求，根据文件名在关键信息服务器查询所述文件的关键信息；

发送所述关键信息。

8.根据权利要求5所述的能够可靠性访问的数据处理终端，其特征在于，所述处理器执行所述计算机程序时还实现以下步骤：

接收文件读取请求，根据文件名在关键信息服务器查询所述文件的存储路径；

根据所述存储路径判断所述文件存储在前端磁盘组还是后端磁盘组，如果存储在前端磁盘组，则根据所述存储路径读取所述文件，如果存储在后端磁盘组，则将后端磁盘组上电，前端磁盘组去电，前端磁盘组和后端磁盘组相互转换，根据所述存储路径读取所述文件。

Images