CN110019233B - 数据存储方法及系统 - Google Patents

数据存储方法及系统 Download PDF

Info

Publication number
CN110019233B
CN110019233B CN201711450257.7A CN201711450257A CN110019233B CN 110019233 B CN110019233 B CN 110019233B CN 201711450257 A CN201711450257 A CN 201711450257A CN 110019233 B CN110019233 B CN 110019233B
Authority
CN
China
Prior art keywords
data
tape library
management system
backup server
stored
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711450257.7A
Other languages
English (en)
Other versions
CN110019233A (zh
Inventor
丁军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Uniview Technologies Co Ltd
Original Assignee
Zhejiang Uniview Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Uniview Technologies Co Ltd filed Critical Zhejiang Uniview Technologies Co Ltd
Priority to CN201711450257.7A priority Critical patent/CN110019233B/zh
Publication of CN110019233A publication Critical patent/CN110019233A/zh
Application granted granted Critical
Publication of CN110019233B publication Critical patent/CN110019233B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1448Management of the data involved in backup or backup restore
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1456Hardware arrangements for backup
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2219Large Object storage; Management thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/26Visual data mining; Browsing structured data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71Indexing; Data structures therefor; Storage structures

Abstract

本发明实施例提供了一种数据存储方法及系统。其中,所述方法应用于数据存储系统,数据存储系统中的备份服务器与磁带库管理系统通信连接,磁带库管理系统与磁带库通信连接,近线存储装置和备份服务器分别与数据采集设备通信连接,方法通过近线存储装置将从数据采集设备获取的待存储数据进行存储。备份服务器从数据采集设备获取待存储数据,备份服务器通过磁带库管理系统将待存储数据备份于磁带库。从而近线存储和离线存储共存的存储方式提高了近期数据读取时效性,并且在此过程中,上述备份服务器无需实时从近线存储装置中获取待存储数据,避免对近线存储装置的损害,有效的降低存储系统的TCO成本。

Description

数据存储方法及系统
技术领域
本发明涉及存储技术领域,具体而言,涉及一种数据存储方法及系统。
背景技术
通信技术的发展,使人们的生活逐步进入信息化时代。信息化时代给人们的生活带了便利离不开对数据的获取、处理及存储。其中,存储是最重要的一个环节,特别是对于视频监控行业。近年来,随着视频监控建设规模逐年增加,且对监控数据的存储时长具有更高的要求(特别是一些特殊行业的监控数据),从而导致视频存储数据呈指数级增长,为了有效降低总拥有成本(Total Cost of Ownership,TCO),磁带库逐渐成为存储的首选。但采用磁带库进行存储的数据便于进行查询,以致影响用户体验。
发明内容
本发明的目的在于提供一种数据存储方法及系统,用以改善上述问题。
为了实现上述目的,本发明实施例采用的技术方案如下:
第一方面,本发明实施例提供了一种数据存储方法,应用于数据存储系统,所述数据存储系统包括近线存储装置、备份服务器、磁带库管理系统及磁带库,所述备份服务器与所述磁带库管理系统通信连接,所述磁带库管理系统与磁带库通信连接,所述近线存储装置和所述备份服务器分别与数据采集设备通信连接,所述方法包括:所述近线存储装置将从所述数据采集设备获取的待存储数据进行存储;所述备份服务器从所述数据采集设备获取所述待存储数据;所述备份服务器通过所述磁带库管理系统将所述待存储数据备份于所述磁带库。
第二方面,本发明实施例提供了一种数据存储系统,所述数据存储系统包括近线存储装置、备份服务器、磁带库管理系统及磁带库,所述备份服务器与所述磁带库管理系统通信连接,所述磁带库管理系统与磁带库通信连接,所述近线存储装置和所述备份服务器分别与数据采集设备通信连接;所述近线存储装置,用于将从所述数据采集设备获取的待存储数据进行存储;所述备份服务器,用于从所述数据采集设备获取所述待存储数据;所述备份服务器,用于通过所述磁带库管理系统将所述待存储数据备份于所述磁带库。
进一步地,所述备份服务器还与所述近线存储装置通信连接,所述磁带库管理系统,还用于按照预设时间周期对所述磁带库内的数据进行检测,以获得检测结果;当所述检测结果为所述磁带库内的数据存在缺失时,所述磁带库管理系统还用于通过所述备份服务器从所述近线存储装置获取对应数据,并存储于所述磁带库。
进一步地,所述数据存储系统还包括管理平台,所述管理平台与所述近线存储装置通信连接;在所述近线存储装置,还用于对接收到的所述待存储数据进行存储后,将与所述待存储数据对应的存储地址,反馈至所述管理平台,以方便查询及管理。
进一步地,所述管理平台还与所述备份服务器及磁带库管理系统通信连接;所述磁带库管理系统,还用于根据所述检测结果,确定待补录数据对应信息;所述磁带库管理系统,还用于根据所述待补录数据对应信息生成补录请求并发送至所述管理平台;所述管理平台,还用于根据所述补录请求查询是否存在与所述待补录数据对应的所述存储地址;当存在时,所述管理平台还用于将对应的所述存储地址发送至所述备份服务器;所述备份服务器,还用于根据对应的所述存储地址从所述近线存储装置中获取对应的所述待补录数据;所述备份服务器,还用于通过所述磁带库管理系统将所述待补录数据备份于所述磁带库。
与现有技术相比,本发明实施例提供了一种数据存储方法,通过所述近线存储装置与备份服务器同时从数据采集设备获取待存储数据。近线存储装置对该待存储数据进行存储,所述备份服务器通过所述磁带库管理系统将所述待存储数据备份于所述磁带库。待存储数据存入近线存储装置中作为热数据方便查询提取,待存储数据存入磁带库作为冷数据方便保存。使近线存储和离线存储共存,提高近期数据读取时效性。并且在此过程中,上述备份服务器无需实时从近线存储装置中获取待存储数据,避免对近线存储装置的损害,有效的降低存储系统的TCO成本。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的一种数据存储系统的结构示意图。
图2为本发明实施例提供的一种数据存储系统的另一部分示意图。
图3为本发明实施例提供的一种管理平台的示意图。
图4为本发明实施例提供的一种数据存储方法的步骤流程图。
图5为本发明实施例提供的一种终端链式升级方法的时序图。
图6为本发明实施例提供的一种数据存储方法的步骤流程图的另一部分。
图标:100-近线存储装置;200-备份服务器;300-磁带库管理系统;310-元数服务器;320-缓冲存储阵列;400-管理平台;500-磁带库;600-数据采集设备;700-数据存储系统;111-存储器;112-处理器;113-通信单元。
具体实施方式
下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
相关技术中,为了解决实现存储时间长、查询效率高等问题,提出了一种存储系统,该存储系统通过将采集到的待存储数据发送至近线存储中进行存储,等近线存储中存储的数据由热数据变为冷数据后再转移至磁带库500中进行更长时间的保存。此方案存在对近线存储的磁盘阵列读数据、写数据的同步进行,进而导致系统性能下降、磁盘损坏率提高、系统稳定性下降等诸多问题。同时,一旦磁带库500出现损坏,丢失数据难以找回。因此,本发明提供了一种数据存储方法及系统,以解决上述问题。
请参考图1及图2,本发明实施例提供的一种数据存储系统700。所述数据存储系统700包括近线存储装置100、备份服务器200、磁带库管理系统300、管理平台400及磁带库500。所述备份服务器200分别与磁带库管理系统300、近线存储装置100通信连接。所述磁带库管理系统300与磁带库500通信连接。管理平台400分别与所述近线存储装置100、备份服务器200及磁带库管理系统300通信连接。所述近线存储装置100和所述备份服务器200分别与数据采集设备600通信连接。
上述备份服务器200用于将接收到的待存储数据转换为满足预设条件的数据。例如,将视频流转换为视频文件。
上述磁带库管理系统300包括元数服务器310及缓冲存储阵列320。上述缓冲存储阵列320挂载于元数服务器310。元数服务器310分别与备份服务器200及磁带库500电性连接。上述磁带库管理系统300对应的软件模块存储于元数服务器310中。元数服务器310通过运行相关软件可以实现对磁带库500的写入、读出、检查等。
上述数据采集设备600可以是但不限于是摄像头、天网、感知数据采集设备600等图像采集设备。为了方便描述,在本发明实施例中,以数据采集设备600为摄像头、待存储数据为视频流数据为例对本发明进行描述。
上述磁带库500是一个位于单机中的磁带驱动器和自动磁带更换装置组成,它可以从装有多盘磁带的磁带匣中拾取磁带并放入驱动器中,或执行相反的过程。磁带库500系统能够支持例行备份过程,自动将每日备份数据装载到新的磁带中。
请参照图3,是上述管理平台400的方框示意图。管理平台400包括存储器111、处理器112及通信单元113。
所述存储器111、处理器112以及通信单元113各元件相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述实现数据存储方法的软件包括至少一个可以软件或固件(Firmware)的形式存储于所述存储器111中或固化在所述管理平台400的操作系统(Operating System,OS)中的软件功能模块。所述处理器112用于执行所述存储器111中存储的可执行模块。
其中,所述存储器111可以是,但不限于,随机存取存储器(Random AccessMemory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(ProgrammableRead-Only Memory,PROM),可擦除只读存储器(Erasable Programmable Read-OnlyMemory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-OnlyMemory,EEPROM)等。其中,存储器111用于存储程序或者数据。所述通信单元113用于通过所述网络建立所述管理平台400与其它通信终端之间的通信连接,并用于通过所述网络收发数据。
应当理解的是,图3所示的结构仅为管理平台400的结构示意图,所述管理平台400还可包括比图3中所示更多或者更少的组件,或者具有与图3所示不同的配置。图3中所示的各组件可以采用硬件、软件或其组合实现。
请参考图4,图4为本发明较佳实施例提供的一种数据存储方法的流程图。该数据存储方法应用于数据存储系统700。上述数据存储方法包括以下步骤:
步骤S101,所述近线存储装置100将从所述数据采集设备600获取的待存储数据进行存储。
上述近线存储装置100可以是IPSAN。上述IPSAN可以是在IP网络下构建的存储网络。在近线存储装置100内存储数据方便及时查询、提取。存储于近线存储装置100内的数据为热数据。需要说明的是,热数据可以是指在当前时段内会经常被用户常访问的数据。在本发明实施例中,近线存储装置100实时地从数据采集设备600获取待存储数据,并进行存储。例如,从摄像头实时地获取视频流数据。
步骤S102,备份服务器200从数据采集设备600获取所述待存储数据。
在本发明实施例中,步骤S101与步骤S102为并行关系,可以同步进行。备份服务器200实时地从数据采集设备600获取待存储数据,且该待存储数据与近线存储装置100获取到的待存储数据相同。
步骤S103,所述备份服务器200通过所述磁带库管理系统300将所述待存储数据备份于所述磁带库500。
在本发明实施例中,上述备份服务器200将所述待存储数据转化为满足预设条件的数据,以方便进行存储。例如,待存储数据为视频流数据,则备份服务器200将其转化为视频文件。
备份服务器200将转化为满足预设条件的数据发送至磁带库管理系统300。具体地,通过元数服务器310获取缓冲存储阵列320提供的存储地址。上述缓冲存储阵列320构建虚拟的NAS空间。备份服务器200将转化为满足预设条件的数据通过元数服务器310向获取的虚拟的NAS空间的存储地址发送。
所述磁带库管理系统300获取所述满足预设条件的数据对应的检验参数,并存储,以方便后续检验数据是否有效。上述检验参数可以是满足预设条件的数据对应的哈希值。
所述磁带库管理系统300将所述满足预设条件的数据写入所述磁带库500。上述写入方式可以是元数服务器310将满足预设条件的数据依次存储所述缓冲存储阵列320中。元数服务器310依据所述磁带库500的工作状态依次将满足预设条件的数据从缓冲存储阵列320中取出写入所述磁带库500。上述磁带库500的工作状态可以是磁带库500可以接收数据写入的频率。上述依次将满足预设条件的数据从缓冲存储阵列320中取出写入所述磁带库500可以是按照缓冲存储阵列320中数据存储的先后顺序,按照磁带库500对应的写入的频率,将缓冲存储阵列320内的数据依次写入磁带库500中。从而实现对待存储数据的长时间的存储。
为了方便对近线存储装置100内存储的数据进行查询,在其他实施例中,所述数据存储方法可以包括:在所述近线存储装置100对接收到的所述待存储数据进行存储后,将与所述待存储数据对应的存储地址反馈至所述管理平台400。
在本发明实施例中,近线存储装置100每存储一待存储数据,均将其对应的存储地址发送给管理平台400。管理平台400根据接收到的存储地址、与其对应的待存储数据、该待存储数据的采集时刻生成查询列表。以方便对近线存储装置100内的数据查询或获取。请参考图5,以应用于摄像机、管理平台400、IPSAN、备份服务器200、磁带库管理系统300及磁带库500构成的数据存储系统700为例,上述存储数据的过程可以是:
S1:IPSAN和备份服务器200同时从摄像机获取视频流数据。
S2:IPSAN将视频流数据进行存储,并将存储地址反馈至管理平台400。
S3:备份服务器200将已转化为视频文件的视频流数据发送至磁带库管理系统300中的元数服务器310。
S4:元数服务器310将视频文件先存放入缓冲存储阵列320。
S5:元数服务器310将缓冲存储阵列320内存储的视频文件依次取出,并写入磁带库500。
在本发明实施例中,为了有效的避免磁带库500出现问题导致数据丢失而无法恢复的问题,如图6所示,本发明实施例提供的数据存储方法还可以包括以下步骤:
步骤S104,所述磁带库管理系统300按照预设时间周期对所述磁带库500内的数据进行检测,以获得检测结果。
作为一种实施方式,可以由磁带库管理系统300利用存储的所述检验参数依次对所述磁带库500内存储的对应的数据进行检验。作为另一种实施方式,还可以利用磁带库管理系统300内的检查驱动检查磁带库500中是否存在故障点。
步骤S105,当所述检测结果为所述磁带库500内的数据存在缺失时,所述磁带库管理系统300通过所述备份服务器200从所述近线存储装置100获取对应数据,并存储于所述磁带库500。
在本发明实施例中,所述磁带库管理系统300根据所述检测结果,确定待补录数据对应信息。例如,当检测到磁带库500存在故障点,则根据故障点的位置确定待补录数据对应信息。上述对应信息可以是待补录数据对应的采集时刻。需要说明的是,在磁带库管理系统300将缓冲存储阵列320中存储的、满足预设条件的数据写入磁带库500的同时,将该数据写入的位置、检验参数及该数据对应的待存储数据的采集时刻之间的对应关系进行存储。
根据所述待补录数据对应信息生成补录请求并发送至所述管理平台400。
所述管理平台400根据所述补录请求查询是否存在与所述待补录数据对应的所述存储地址。具体地,根据待补录数据对应的采集时刻,从查询列表中查询是否存在一存储地址对应的数据的采集时刻与补录数据对应的采集时刻相同。当存在时,所述管理平台400将对应的所述存储地址发送至所述备份服务器200。所述备份服务器200根据对应的所述存储地址从所述近线存储装置100中获取对应的所述待补录数据。所述备份服务器200通过所述磁带库管理系统300将所述待补录数据备份于所述磁带库500。
需要说明的是,步骤S101与步骤S105之间不存在先后顺序。执行过程互不干扰。本实施例中,仅当磁带库500出现损坏导致数据丢失时,才会从近线存储装置100中请求对应的数据,避免了对近线存储装置100进行1:1读写,从而减轻系统负担、降低近线存储装置100的损坏率、提高系统稳定性。
本发明实施例还提供与上述方法相对应的一种数据存储系统700,该系统中的细节方案可以参照上述方法来实现,具体如下:
所述近线存储装置100,用于将从所述数据采集设备600获取的待存储数据进行存储。
所述备份服务器200,用于从所述数据采集设备600获取所述待存储数据。
所述备份服务器200,用于通过所述磁带库管理系统300将所述待存储数据备份于所述磁带库500。
所述磁带库管理系统300,还用于按照预设时间周期对所述磁带库500内的数据进行检测,以获得检测结果。
当所述检测结果为所述磁带库500内的数据存在缺失时,所述磁带库管理系统300还用于通过所述备份服务器200从所述近线存储装置100获取对应数据,并存储于所述磁带库500。
所述近线存储装置100,还用于对接收到的所述待存储数据进行存储后,将与所述待存储数据对应的存储地址,反馈至所述管理平台400,以方便查询及管理。
所述磁带库管理系统300,还用于根据所述检测结果,确定待补录数据对应信息。
所述磁带库管理系统300,还用于根据所述待补录数据对应信息生成补录请求并发送至所述管理平台400。
所述管理平台400,还用于根据所述补录请求查询是否存在与所述待补录数据对应的所述存储地址。
当存在时,所述管理平台400还用于将对应的所述存储地址发送至所述备份服务器200。
所述备份服务器200,还用于根据对应的所述存储地址从所述近线存储装置100中获取对应的所述待补录数据。
所述备份服务器200,还用于通过所述磁带库管理系统300将所述待补录数据备份于所述磁带库500。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
综上所述,本发明提供的一种数据存储方法及系统。所述数据存储方法应用于所述系统。所述方法通过所述近线存储装置与备份服务器同时从数据采集设备获取待存储数据。近线存储装置对该待存储数据进行存储,所述备份服务器通过所述磁带库管理系统将所述待存储数据备份于所述磁带库。待存储数据存入近线存储装置中作为热数据方便查询提取,待存储数据存入磁带库作为冷数据方便保存。在此过程中,上述备份服务器无需时时从近线存储装置中获取待存储数据,避免对近线存储装置的损害,有效的降低存储系统的TCO成本。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。

Claims (8)

1.一种数据存储方法,其特征在于,应用于数据存储系统,所述数据存储系统包括近线存储装置、备份服务器、磁带库管理系统及磁带库,所述备份服务器与所述磁带库管理系统通信连接,所述磁带库管理系统与磁带库通信连接,所述近线存储装置和所述备份服务器分别与数据采集设备通信连接,所述备份服务器还与所述近线存储装置通信连接,所述方法包括:
所述近线存储装置将从所述数据采集设备获取的待存储数据进行存储;
所述备份服务器从所述数据采集设备获取所述待存储数据;
所述备份服务器通过所述磁带库管理系统将所述待存储数据备份于所述磁带库;
所述磁带库管理系统按照预设时间周期对所述磁带库内的数据进行检测,以获得检测结果;
当所述检测结果为所述磁带库内的数据存在缺失时,所述磁带库管理系统通过所述备份服务器从所述近线存储装置获取对应数据,并存储于所述磁带库。
2.如权利要求1所述的方法,其特征在于,
所述备份服务器通过所述磁带库管理系统将所述待存储数据备份于所述磁带库的步骤包括:
所述备份服务器将所述待存储数据转化为满足预设条件的数据并发送至所述磁带库管理系统;
所述磁带库管理系统获取所述满足预设条件的数据对应的检验参数,并存储;
所述磁带库管理系统将所述满足预设条件的数据写入所述磁带库;
所述磁带库管理系统按照预设时间周期对所述磁带库内的数据进行检测的步骤包括:所述磁带库管理系统利用存储的所述检验参数依次对所述磁带库内存储的对应的数据进行检验。
3.如权利要求2所述的方法,其特征在于,所述磁带库管理系统包括元数服务器及缓冲存储阵列,所述磁带库管理系统将所述满足预设条件的数据写入所述磁带库的步骤包括:
所述元数服务器将所述备份服务器发送的所述满足预设条件的数据依次存储所述缓冲存储阵列中;
所述元数服务器依据所述磁带库的工作状态依次将满足预设条件的数据取出写入所述磁带库。
4.如权利要求1所述的方法,其特征在于,所述数据存储系统还包括管理平台,所述管理平台与所述近线存储装置通信连接,所述方法还包括:
在所述近线存储装置对接收到的所述待存储数据进行存储后,将与所述待存储数据对应的存储地址,反馈至所述管理平台,以方便查询及管理。
5.如权利要求4所述的方法,其特征在于,所述管理平台还与所述备份服务器及磁带库管理系统通信连接,所述磁带库管理系统通过所述备份服务器从所述近线存储装置获取对应数据的步骤包括:
所述磁带库管理系统根据所述检测结果,确定待补录数据对应信息;
根据所述待补录数据对应信息生成补录请求并发送至所述管理平台;
所述管理平台根据所述补录请求查询是否存在与所述待补录数据对应的所述存储地址;
当存在时,所述管理平台将对应的所述存储地址发送至所述备份服务器;
所述备份服务器根据对应的所述存储地址从所述近线存储装置中获取对应的所述待补录数据;
所述备份服务器通过所述磁带库管理系统将所述待补录数据备份于所述磁带库。
6.一种数据存储系统,其特征在于,所述数据存储系统包括近线存储装置、备份服务器、磁带库管理系统及磁带库,所述备份服务器与所述磁带库管理系统通信连接,所述磁带库管理系统与磁带库通信连接,所述近线存储装置和所述备份服务器分别与数据采集设备通信连接,所述备份服务器还与所述近线存储装置通信连接;
所述近线存储装置,用于将从所述数据采集设备获取的待存储数据进行存储;
所述备份服务器,用于从所述数据采集设备获取所述待存储数据;
所述备份服务器,用于通过所述磁带库管理系统将所述待存储数据备份于所述磁带库;
所述磁带库管理系统,还用于按照预设时间周期对所述磁带库内的数据进行检测,以获得检测结果;
所述磁带库管理系统,还用于当所述检测结果为所述磁带库内的数据存在缺失时,通过所述备份服务器从所述近线存储装置获取对应数据,并存储于所述磁带库。
7.如权利要求6所述的系统,其特征在于,所述数据存储系统还包括管理平台,所述管理平台与所述近线存储装置通信连接;
所述近线存储装置,还用于对接收到的所述待存储数据进行存储后,将与所述待存储数据对应的存储地址,反馈至所述管理平台,以方便查询及管理。
8.如权利要求7所述的系统,其特征在于,所述管理平台还与所述备份服务器及磁带库管理系统通信连接;
所述磁带库管理系统,还用于根据所述检测结果,确定待补录数据对应信息;
所述磁带库管理系统,还用于根据所述待补录数据对应信息生成补录请求并发送至所述管理平台;
所述管理平台,还用于根据所述补录请求查询是否存在与所述待补录数据对应的所述存储地址;
所述管理平台,还用于当存在对应的所述存储地址时,将对应的所述存储地址发送至所述备份服务器;
所述备份服务器,还用于根据对应的所述存储地址从所述近线存储装置中获取对应的所述待补录数据;
所述备份服务器,还用于通过所述磁带库管理系统将所述待补录数据备份于所述磁带库。
CN201711450257.7A 2017-12-27 2017-12-27 数据存储方法及系统 Active CN110019233B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711450257.7A CN110019233B (zh) 2017-12-27 2017-12-27 数据存储方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711450257.7A CN110019233B (zh) 2017-12-27 2017-12-27 数据存储方法及系统

Publications (2)

Publication Number Publication Date
CN110019233A CN110019233A (zh) 2019-07-16
CN110019233B true CN110019233B (zh) 2021-07-20

Family

ID=67187048

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711450257.7A Active CN110019233B (zh) 2017-12-27 2017-12-27 数据存储方法及系统

Country Status (1)

Country Link
CN (1) CN110019233B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112764971A (zh) * 2021-01-25 2021-05-07 中水三立数据技术股份有限公司 一种基于光纤通道fc与磁带库的数据存储备份系统及备份方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101694635A (zh) * 2009-10-22 2010-04-14 中兴通讯股份有限公司 基于虚拟磁带库备份的控制方法、系统及近线存储节点
CN102298547A (zh) * 2011-09-20 2011-12-28 杭州华三通信技术有限公司 一种数据备份方法及其装置
CN103092952A (zh) * 2013-01-15 2013-05-08 深圳市连用科技有限公司 一种海量非结构化数据的存储系统和管理方法
CN103365972A (zh) * 2013-06-27 2013-10-23 北京中科金财科技股份有限公司 一种海量数据智能处理系统
CN107015884A (zh) * 2016-01-28 2017-08-04 杭州海康威视数字技术股份有限公司 一种数据存储方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5434705B2 (ja) * 2010-03-12 2014-03-05 富士通株式会社 ストレージ装置、ストレージ装置制御プログラムおよびストレージ装置制御方法
CN106484330A (zh) * 2016-09-27 2017-03-08 郑州云海信息技术有限公司 一种混合磁盘分层数据优化方法和装置
CN206741467U (zh) * 2017-04-10 2017-12-12 四川慧存大数据存储科技有限公司 智能化数字档案存储系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101694635A (zh) * 2009-10-22 2010-04-14 中兴通讯股份有限公司 基于虚拟磁带库备份的控制方法、系统及近线存储节点
CN102298547A (zh) * 2011-09-20 2011-12-28 杭州华三通信技术有限公司 一种数据备份方法及其装置
CN103092952A (zh) * 2013-01-15 2013-05-08 深圳市连用科技有限公司 一种海量非结构化数据的存储系统和管理方法
CN103365972A (zh) * 2013-06-27 2013-10-23 北京中科金财科技股份有限公司 一种海量数据智能处理系统
CN107015884A (zh) * 2016-01-28 2017-08-04 杭州海康威视数字技术股份有限公司 一种数据存储方法及装置

Also Published As

Publication number Publication date
CN110019233A (zh) 2019-07-16

Similar Documents

Publication Publication Date Title
CN103167026B (zh) 一种云存储环境数据处理方法、系统及设备
US8418003B2 (en) Log collecting apparatus, program, method, and system
US20220327026A1 (en) Partial database restoration
JP6521462B2 (ja) バックアップシステムの性能の改善
CN104281533B (zh) 一种存储数据的方法及装置
US7987153B2 (en) Apparatus and method for automatically migrating user's working data
US20140244583A1 (en) Method of Processing File changes and Electronic Device Thereof
CN109669622B (zh) 一种文件管理方法、文件管理装置、电子设备及存储介质
US6397247B1 (en) Failure prediction system and method for a client-server network
CN102821111A (zh) 文件云存储实时同步方法
CN105376277A (zh) 一种数据同步方法及装置
CN109522316A (zh) 日志处理方法、装置、设备和存储介质
CN109614054B (zh) 数据的读取方法和系统
CN103986779A (zh) 一种应用数据传输方法、装置及终端设备
CN110019233B (zh) 数据存储方法及系统
CN109614273B (zh) 增量数据的读取方法和系统
CN106487852B (zh) 实现客户端文件同步的方法、装置、终端设备及系统
US9916220B2 (en) Smart logging of trace data for storage systems
CN112925672B (zh) 数据恢复方法、装置、设备及存储介质
CN107133334B (zh) 基于高带宽存储系统的数据同步方法
CN114281769A (zh) 磁盘上文件管理方法、装置、计算机设备及存储介质
CN110018986B (zh) 异常快照识别方法及装置
CN110515757A (zh) 分布式存储系统的信息处理方法、装置、服务器、介质
US20150143192A1 (en) Application server and method of error recovery when downloading data files
CN114238018A (zh) 日志采集文件完整性检测方法、系统、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant