CN110389855A - 磁带库数据校验方法、装置、电子设备和可读存储介质 - Google Patents
磁带库数据校验方法、装置、电子设备和可读存储介质 Download PDFInfo
- Publication number
- CN110389855A CN110389855A CN201810356796.2A CN201810356796A CN110389855A CN 110389855 A CN110389855 A CN 110389855A CN 201810356796 A CN201810356796 A CN 201810356796A CN 110389855 A CN110389855 A CN 110389855A
- Authority
- CN
- China
- Prior art keywords
- tape
- file
- data
- verification
- abnormal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
- G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
- G06F11/1008—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's in individual solid state devices
- G06F11/1012—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's in individual solid state devices using codes or arrangements adapted for a specific type of error
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
Abstract
本发明提供了磁带库数据校验方法、装置、电子设备和可读存储介质,涉及磁带库技术领域,包括获取多路视频流,对应缓存生成多个数据文件,根据纠删码算法和多个数据文件生成多个校验文件;将多个数据文件和多个校验文件写入磁带组的磁带中,其中,根据纠删配比和驱动器数量将磁带库中的磁带分成多个磁带组;当检测到磁带出现异常时,根据磁带组中磁带的数据文件和校验文件对异常磁带进行替换修复,通过纠删码校验,提高磁带库数据的可靠性。
Description
技术领域
本发明涉及磁带库技术领域,尤其是涉及磁带库数据校验方法、装置、电子设备和可读存储介质。
背景技术
磁带因为其超长(超15年)的保存周期、成本低、功耗低、离线保存、备份生态完整等的特质,在企事业单位中用于冷数据(非频繁访问)的长期归档,一般情况下来说,企事业的数据备份归档策略会是定时全备份+增量备份的组合,比如一个月进行一次完整备份,一周进行一次增量备份,此时,即使一个磁带出现异常,影响也不会很大,结合周期性的全备份和在线的业务系统,基本都能完成数据的恢复工作,但对只有一份数据的永久归档场景,可能数据都不会有多份,利用其他方式如光盘刻录、多份归档等带来的成本压力会非常的大。
一般带库厂家会推出类似EDLM(Extended Data Lifecycle Management,磁带库扩展生命周期管理的服务),会按如手动、定时、读写异常触发、磁带加载时触发等策略进行磁带介质扫描,及时感知磁带的介质异常,进行额外的数据恢复操作(如磁带坏、挂起时直接触发数据转移到新磁带)。这种方案基本都是被动的,也就是磁带已经发生了异常,那么会有极大的概率无法正常完成所有的数据的转移。
发明内容
有鉴于此,本发明的目的在于提供磁带库数据校验方法、装置、电子设备和可读存储介质,通过纠删码校验,没有发生静默修改,进而提高磁带库数据的可靠性。
第一方面,本发明实施例提供了磁带库数据校验方法,包括:
获取多路视频流,对应缓存生成多个数据文件,根据纠删码算法和多个所述数据文件生成多个校验文件;
将多个所述数据文件和多个所述校验文件写入磁带组的磁带中,其中,根据纠删配比和驱动器数量将磁带库中的磁带分成多个所述磁带组;
当检测到磁带出现异常时,根据所述磁带组中磁带的所述数据文件和所述校验文件对异常磁带进行替换修复。
结合第一方面,本发明实施例提供了第一方面的第一种可能的实施方式,其中,所述将多个所述数据文件和多个所述校验文件写入磁带组的磁带中包括:
通过a个驱动器将m个所述数据文件和n个校验文件都写入当前磁带组的a个磁带中,并生成与a个所述磁带相对应的a个元数据文件,其中,在所述当前磁带组被写满的情况下,所述驱动器驱动下一磁带组进行写入操作,所述元数据文件包括磁带组ID、磁带个数、各磁带ID、文件名称、文件ID。
结合第一方面,本发明实施例提供了第一方面的第二种可能的实施方式,其中,所述当检测到磁带出现异常时,根据所述磁带组中磁带的所述数据文件和所述校验文件对异常磁带进行替换修复包括:
将所述异常磁带内容拷贝到新磁带;
在拷贝未成功的情况下,判断所述元数据文件是否正常加载,并根据所述元数据文件的加载情况,恢复所述异常磁带。
结合第一方面,本发明实施例提供了第一方面的第三种可能的实施方式,其中,所述判断所述元数据文件是否正常加载,并根据所述元数据文件的加载情况,恢复所述异常磁带包括:
当所述元数据文件正常加载时,按照所述元数据文件中的记录信息,读取其他磁带的文件,并进行纠删反解;
当所述元数据文件异常加载时,分别向所述异常磁带的前向磁带和后向磁带进行扫描,并加载所述前向磁带和所述后向磁带对应的元数据文件,在所述对应的元数据文件中查找所述异常磁带的磁带ID,若查找成功,通过成功查找所述磁带ID的元数据文件恢复所述异常磁带;若查找失败,通过业务服务器数据库中存储文件进行恢复所述异常磁带。
结合第一方面,本发明实施例提供了第一方面的第四种可能的实施方式,其中,所述方法还包括:
当所述驱动器出现异常时,所述数据文件和所述校验文件写入余下正常的驱动器访问的磁带中。
结合第一方面,本发明实施例提供了第一方面的第五种可能的实施方式,其中,所述方法还包括:
当所述数据文件或所述校验文件写入磁带时,生成与写入文件相对应的文件位置记录信息,存储于业务服务器数据库中,其中,所述文件位置记录信息包括相机名称、开始时间、结束时间、案例名称、文件名称、磁带ID、文件ID,所述文件ID包括当前文件名称和同属文件组的文件的名称和写入位置;
当所述业务服务器数据库发生破坏时,扫描各个所述磁带,并加载所述磁带对应的所述元数据文件,将所述文件位置记录信息补充回所述业务服务器数据库中。
结合第一方面,本发明实施例提供了第一方面的第六种可能的实施方式,其中,所述方法还包括:
若所述磁带写入异常,则加载新磁带进行写入操作,并对所述新磁带进行数据恢复;
若所述磁带读取异常,在所述磁带对应的所述驱动器空闲的情况下,从异常文件的所述文件ID中反解出所述异常文件所在文件组中的其他文件的位置信息,并根据所述位置信息寻找所述其他文件,通过读取所述其他文件和所述其他文件与所述异常文件间的纠删关系反解出所述异常文件。
第二方面,本发明实施例还提供磁带库数据校验装置,包括:
文件生成单元,用于获取多路视频流,对应缓存生成多个数据文件,根据纠删码算法和多个所述数据文件生成多个校验文件;
文件写入单元,用于将多个所述数据文件和多个所述校验文件写入磁带组的磁带中,其中,根据纠删配比和驱动器数量将磁带库中的磁带分成多个所述磁带组;
校验修复单元,用于当检测到磁带出现异常时,根据所述磁带组中磁带的所述数据文件和所述校验文件对异常磁带进行替换修复。
第三方面,本发明实施例还提供电子设备,所述电子设备包括:
存储介质;
处理器;以及
磁带库数据校验装置,所述装置存储于所述存储介质中并包括由所述处理器执行的软件功能模块,所述装置包括:
文件生成单元,用于获取多路视频流,对应缓存生成多个数据文件,根据纠删码算法和多个所述数据文件生成多个校验文件;
文件写入单元,用于将多个所述数据文件和多个所述校验文件写入磁带组的磁带中,其中,根据纠删配比和驱动器数量将磁带库中的磁带分成多个所述磁带组;
校验修复单元,用于当检测到磁带出现异常时,根据所述磁带组中磁带的所述数据文件和所述校验文件对异常磁带进行替换修复。
第四方面,本发明实施例还提供可读存储介质,所述可读存储介质中存储有计算机程序,所述计算机程序被执行时实现如上所述的磁带库数据校验方法。
本发明实施例提供了磁带库数据校验方法、装置、电子设备和可读存储介质,涉及磁带库技术领域,包括获取多路视频流,对应缓存生成多个数据文件,根据纠删码算法和多个数据文件生成多个校验文件;将多个数据文件和多个校验文件写入磁带组的磁带中,其中,根据纠删配比和驱动器数量将磁带库中的磁带分成多个磁带组;当检测到磁带出现异常时,根据所述磁带组中磁带的所述数据文件和所述校验文件对异常磁带进行替换修复,通过纠删码校验,没有发生静默修改,进而提高磁带库数据的可靠性。
本发明的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的磁带库数据校验方法流程示意图;
图2为本发明实施例提供的磁带库数据校验方法中文件写入示意图;
图3为本发明实施例提供的磁带库数据校验方法应用场景示意图;
图4为本发明实施例提供的用于实现上述磁带库数据校验方法的电子设备的方框示意图。
图标:100-电子设备;110-存储介质;120-处理器;200-磁带库数据校验装置;210-文件生成单元;220-文件写入单元;230-校验修复单元。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
目前,一般带库厂家会推出类似EDLM(Extended Data Lifecycle Management,磁带库扩展生命周期管理的服务),会按如手动、定时、读写异常触发、磁带加载时触发等策略进行磁带介质扫描,及时感知磁带的介质异常,进行额外的数据恢复操作(如磁带坏、挂起时直接触发数据转移到新磁带)。这种方案基本都是被动的,也就是磁带已经发生了异常,那么会有极大的概率无法正常完成所有的数据的转移。
基于此,本发明实施例提供的磁带库数据校验方法、装置、电子设备和可读存储介质,通过纠删码校验,提高磁带库数据的可靠性。
为便于对本实施例进行理解,首先对本发明实施例所公开的磁带库数据校验方法进行详细介绍;
图1为本发明实施例提供的磁带库数据校验方法流程示意图。
参照图1,磁带库数据校验方法包括以下步骤:
步骤S110,获取多路视频流,对应缓存生成多个数据文件,根据纠删码算法和多个数据文件生成多个校验文件;
步骤S120,将多个数据文件和多个校验文件写入磁带组的磁带中,其中,根据纠删配比和驱动器数量将磁带库中的磁带分成多个磁带组;
步骤S130,当检测到磁带出现异常时,根据磁带组中磁带的数据文件和校验文件对异常磁带进行替换修复,其中,按照操作工单对各个磁带进行扫描校验,根据扫描校验情况,对异常磁带进行替换修复。
具体地,通过将多个磁带上的数据文件建立起纠删(EC,Erasure Coding)关系,这样即使一个磁带上的数据无法读取了,也能从其他磁带上恢复需要的数据,通过纠删码校验,能确认数据是否真正可靠保存,而没有发生静默修改,即介质异常导致读出数据不正确,本发明实施例提供一种能够确保磁带等保存文件切实可用的有效方式;
其中,由于LTFS(Linear Tape File System,线性磁带文件系统)的线性写入需求,因此,一般需要在归档服务器上将视频流进行本地缓存,形成一个独立的数据文件,然后再将该文件线性拷贝到磁带目录中,然后,在一个磁带写满之后,再切换新磁带到驱动器中,进而加载使用。
进一步的,上述实施例提供的步骤S120还可用以下步骤进行实现,包括:
步骤S210,通过a个驱动器将m个数据文件和n个校验文件都写入当前磁带组的a个磁带中,并生成与a个磁带相对应的a个元数据文件,其中,在当前磁带组被写满的情况下,驱动器驱动下一磁带组进行写入操作,元数据文件包括磁带组ID、磁带个数、各磁带ID、文件名称、文件ID。
这里,如图2所示,在逻辑上将磁带进行分组,且分组是选择ID连续的,考虑到磁带读写驱动器相对昂贵,并考虑到性能和冗余属性,假设这里配置4个驱动器,也就是说能并发读写4盘磁带,此时可以配置文件级的6+2的纠删配比,P0、P1是根据F1—F6按照通用的RS纠删编码方式算出的校验文件,即[F1、F2、F3、F4、F5、F6、P0、P2],形成一组有关联的文件组,利用纠删码原理,能在任意两个文件丢失的情况下,将磁带恢复出来,而且按照上述写入方法,每盘磁带最多放置一个文件组中的2个文件,即不超过+n的纠删配比,则相当于任意一盘磁带损坏,也能从其他三盘磁带中恢复出数据;
这里,元数据文件内容包括两部分:
【磁带组ID、磁带个数、各磁带ID】
【文件名称、文件ID】
其中,文件ID编码设计为如下格式,假设当前文件为文件组中F6:
F6@P0@TapID1_F1@TapID2_F2@TapID3_F3@TapID1_F4@TapID2_F5@TapID3_P2
不带TapID的即在当前磁带上,即相当于,本文件ID对应的是F6,与F6同样存储在当前磁带上的是校验文件P0,与本文件同文件组的文件分别是F1-F6,其中,F1、F4都被写入号码为1的磁带中,F2、F5被写入号码为2的磁带中,F3、P2号码为3的磁带中;
其中,本发明通过内建的元数据文件建立磁带内各文件的纠删关系,当写入磁带的个数发生变化、有新磁带替换或是磁带写满切换时,则切换关联磁带组(即同一文件组各个文件所写入的磁带组)中每个磁带的元数据文件,使得磁带进行更新的情况下,与更新磁带对应的元数据文件也进行相应更新;
需要说明的是,若此时需要更新替换的磁带的元数据文件受损,在新建元数据文件的同时,还需将之前的受损元数据文件写入当前可写的磁带中,而且是一个磁带组中的所有元数据文件在每个磁带中均保存,也即每盘磁带上都保存了其他磁带的元数据文件,新元数据文件缓存在归档服务器,名称变更为TapID.meta.n+1。
元数据文件可以使用类似sqlite(轻量级别数据库)的本地数据库文件来保存,每个磁带对应,一般情况为1个,异常情况下可能为多个,命名为TapID.meta.n,n默认从0开始,在磁带写满卸载前写入对应磁带即可,目前一盘磁带6TB,每个文件64MB,则有近10w条记录,每个记录按1K算,则该文件不超过100MB,4盘磁带则400MB,对服务器本地缓存没有压力,这块完全可以缓存在本地硬盘上,而不必在内存中。
这里,文件在写入磁带的过程中,元数据文件同时缓存在本地归档服务器和被写入磁带中,且磁带中的元数据文件按照本地归档服务器中的元数据文件进行更新;
本发明实施例采用同磁带组的模式,结合数据纠删,建立基于磁带文件的纠删系统,该方案不影响磁带的正常的文件保存,且通过额外建立的磁带间文件的关系完成数据的校验和恢复;
进一步的,上述实施例提供的步骤S130还可用以下步骤进行实现,包括:
步骤S310,将异常磁带内容拷贝到新磁带;
步骤S320,在拷贝未成功的情况下,判断元数据文件是否正常加载,并根据元数据文件的加载情况,恢复异常磁带。
这里,充分考虑的磁带运行过程中各种异常的模式,并给出了相应的处理策略,能正常保证磁带业务的可用性;
进一步的,步骤S320还包括:
步骤S410,当元数据文件正常加载时,按照元数据文件中的记录信息,读取其他磁带的文件,并进行纠删反解;
步骤S420,当元数据文件异常加载时,分别向异常磁带的前向磁带和后向磁带进行扫描,并加载前向磁带和后向磁带对应的元数据文件,在对应的元数据文件中查找异常磁带的磁带ID,若查找成功,通过成功查找磁带ID的元数据文件恢复异常磁带;若查找失败,通过业务服务器数据库中存储文件进行恢复异常磁带。
具体地,当EDLM接受到指定磁带的修复工单或是例行化扫描过程中检测到磁带异常时:
先尝试磁带的隔离修复,如尝试将其内容拷贝到新磁带;
尝试拷贝未成功时,则触发文件级的纠删自恢复,此时细分为两种情况:元数据文件能全部正常加载,此时,直接按照元数据文件记录的内容,读取其他磁带的文件进行纠删重算即可;元数据文件无法正常加载(即此时元数据文件受损),由于磁带逻辑分组时,按照ID顺序进行,各扫描前向和后向n个ID(1个或是2个即可)的磁带,加载其元数据文件,看是否异常磁带ID落在该逻辑分组中,再则从该元数据文件进行异常恢复,如果异常磁带ID未能在临近磁带找到,则查询业务服务器数据库找到存储文件,从文件ID中找到逻辑磁带分组;
本发明实施例与当前磁带的EDLM充分结合,丰富了EDLM的数据扫描和恢复措施;
进一步的,磁带库数据校验方法还包括:
步骤S140,当驱动器出现异常时,数据文件和校验文件写入余下正常的驱动器访问的磁带中。
这里,当驱动器异常,则数据降级为非驱动器级的校验模式进行写入,如剩余2个驱动器,则8份文件直接均分写入到2盘磁带即可,损坏驱动器内的磁带触发EDLM的操作工单,尝试驱动器修复后对其磁带进行扫描校验,未损坏则继续恢复到损坏前进行读写,此时就不进行数据的搬移,仅仅维持继续写入状态即可,并在切换磁带时将归档服务器本地元数据文件同步写入,损坏了则走新磁带替换流程,进行数据重建。
进一步的,磁带库数据校验方法还包括:
步骤S150,当数据文件或校验文件写入磁带时,生成与写入文件相对应的文件位置记录信息,存储于业务服务器数据库中,其中,文件位置记录信息包括相机名称、开始时间、结束时间、案例名称、文件名称、磁带ID、文件ID,文件ID包括当前文件名称和同属文件组的文件的名称和写入位置;
其中,每写入一个有效数据文件,则在业务系统数据库中增加该文件位置记录;
步骤S160,当业务服务器数据库发生破坏时,扫描各个磁带,并加载磁带对应的元数据文件,将文件位置记录信息补充回业务服务器数据库中。
进一步的,磁带库数据校验方法还包括:
步骤S170,若磁带写入异常,则加载新磁带进行写入操作,并对新磁带进行数据恢复;
这里,当磁带写入异常了,则直接加载新的磁带,并给该磁带触发一个EDLM的操作工单,待空闲时触发该磁带的数据恢复操作。
步骤S180,若磁带读取异常,在磁带对应的驱动器空闲的情况下,从异常文件的文件ID中反解出异常文件所在文件组中的其他文件的位置信息,并根据位置信息寻找其他文件,通过读取其他文件和其他文件与异常文件间的纠删关系反解出异常文件。
一般的摄像机录像的调阅过程是按时间或是案例名称来进行检索的,上述信息直接从业务服务器数据库中进行查询即可,获取出关联的元数据文件,之后从文件中获取相关的磁带ID进行加载读取即可。
当对应磁带损坏时,且磁带还未完成修复,如此时磁带驱动器均是空闲的,则从文件ID中反解出其他关联文件组中的文件所在磁带,进行磁带加载后,读取关联文件组文件,利用纠删反解出所需文件即可;如果此时驱动器不是空闲,则提示文件待恢复,暂时不可读取。
如果业务系统数据库发生破坏,则需要补录加载,也即暂时不清楚每个磁带中的文件,此时需要扫描每盘磁带,加载磁带中的元数据文件,补充到业务系统数据库中。
需要说明的是,应用本发明提供的磁带库数据校验方法使得磁带库的数据完整性扫描增强,除了磁带库EDLM的扫描后的恢复策略(磁带损坏则启动数据拷贝、磁带挂起则启动数据拷贝、磁带损坏或是挂起则启动数据拷贝),还新增了一种策略,磁带损坏或挂起后,则启动数据拷贝或外部修复,触发归档服务器进行数据文件的恢复操作。
这里,本发明实施例提供的磁带库数据校验方法的应用场景如图3所示,采用组网方式,相机视频流一般会发送两股流,一股流为存储流,直接写入在线IPSAN(存储产品),用于在线30天左右的数据存储,应对实时录像的检索和查看功能,而另一股流到归档服务器,用于实时流的二次长期留存(如90天),或者从在线存储中提取需要时间段的视频流在归档服务器中生成相应时间段的数据文件,再写入到磁带库进行长期归档;
归档服务器能并发利用多个驱动器访问多个磁带,每个磁带都通过唯一编码在带库系统中维护,且编码固化在磁带中。磁带通过LTFS文件系统挂载到归档服务器中使用,此时每盘磁带都是类似一个目录的形式进行读写。
具体地,归档服务器先对需要备份的数据进行文件缓存,每个文件的最大大小限制为64MB,这里假设每台归档服务器能应对500路的相机数据的存储,每路相机并发生成各自的媒体文件,极端情况下需要配置64GB的内存,32GB内存能够满足500路相机数据的写入需求,每一个文件生成后,切换写入一个新文件,此时,触发归档,磁带加载后,每盘磁带都自动生成一个元数据文件信息;
考虑到每个相机的均衡性,这里每次以6个相机一组进行文件归档,选取六个相机的视频文件,先进行纠删码计算,因异常不足64MB的按64MB补0对齐算,得到P0和P2文件,然后按固定的排列顺序如上图2中顺序进行磁带的对应关系写入,由于驱动器有限,写完这6个相机,则轮换处理另外6个相机的文件,直到所有相机这个时刻的文件完全归档,这样带来的好处是一路相机这个时间段都会在一个磁带中,数据读取时只需要加载一盘磁带即可,不会带来频繁的磁带切换,加重机械臂的操作,而且这个时间段也都会在这四个磁带上,天然将磁带按时间顺序进行了排列。
此外,磁带的EDLM扫描的策略一般采用快速扫描,仅扫描磁带缓存、正常扫描,扫描磁带缓存及关键区域或全盘扫描三种方式;
本发明实施例提供的磁带数据校验方法新增一种磁带扫描模式,通过数据校验模式,对磁带中写入文件进行纠删校验重新计算,看数据是否正常,数据如果不正常,则可以于在线IPSAN保存时间内及时利用在线存储视频流数据拷贝到归档服务器中重新生成数据文件,进行替换修复,或者直接根据纠删码进行数据恢复。
进一步地,如图4所示,是本发明实施例提供的用于实现所述磁带库数据校验方法的电子设备100的示意图。本实施例中,所述电子设备100可以是,但不限于,个人电脑(Personal Computer,PC)、笔记本电脑、监控设备、服务器等具备磁带库数据校验及处理能力的计算机设备。
所述电子设备100还包括磁带库数据校验装置200、存储介质110以及处理器120。本发明较佳实施例中,磁带库数据校验装置200包括至少一个可以软件或固件(Firmware)的形式存储于所述存储介质110中或固化在所述电子设备100的操作系统(OperatingSystem,OS)中的软件功能模块。所述处理器120用于执行所述存储介质110中存储的可执行软件模块,例如,所述磁带库数据校验装置200所包括的软件功能模块及计算机程序等。本实施例中,所述磁带库数据校验装置200也可以集成于所述操作系统中,作为所述操作系统的一部分。具体地,所述磁带库数据校验装置200包括:
文件生成单元210,用于获取多路视频流,对应缓存生成多个数据文件,根据纠删码算法和多个所述数据文件生成多个校验文件;
文件写入单元220,用于将多个所述数据文件和多个所述校验文件写入磁带组的磁带中,其中,根据纠删配比和驱动器数量将磁带库中的磁带分成多个所述磁带组;
校验修复单元230,用于当检测到磁带出现异常时,根据磁带组中磁带的数据文件和校验文件对异常磁带进行替换修复。
可以理解的是,本实施例中的各功能模块的具体操作方法可参照上述方法实施例中相应步骤的详细描述,在此不再重复赘述。
综上所述,本发明实施例提供了磁带库数据校验方法、装置、电子设备和可读存储介质,涉及磁带库技术领域,包括获取多路视频流,对应缓存生成多个数据文件,根据纠删码算法和多个数据文件生成多个校验文件;将多个数据文件和多个校验文件写入磁带组的磁带中,其中,根据纠删配比和驱动器数量将磁带库中的磁带分成多个磁带组;当检测到磁带出现异常时,根据所述磁带组中磁带的所述数据文件和所述校验文件对异常磁带进行替换修复,通过纠删码校验,没有发生静默修改,进而提高磁带库数据的可靠性。
在本发明所提供的实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
需要说明的是,在本文中,术语"包括"、"包含"或者其任何其它变体意在涵盖非排它性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其它要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句"包括一个……"限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其它的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
Claims (10)
1.一种磁带库数据校验方法,其特征在于,包括:
获取多路视频流,对应缓存生成多个数据文件,根据纠删码算法和多个所述数据文件生成多个校验文件;
将多个所述数据文件和多个所述校验文件写入磁带组的磁带中,其中,根据纠删配比和驱动器数量将磁带库中的磁带分成多个所述磁带组;
当检测到磁带出现异常时,根据所述磁带组中磁带的所述数据文件和所述校验文件对异常磁带进行替换修复。
2.根据权利要求1所述的磁带库数据校验方法,其特征在于,所述将多个所述数据文件和多个所述校验文件写入磁带组的磁带中包括:
通过a个驱动器将m个所述数据文件和n个校验文件都写入当前磁带组的a个磁带中,并生成与a个所述磁带相对应的a个元数据文件,其中,在所述当前磁带组被写满的情况下,所述驱动器驱动下一磁带组进行写入操作,所述元数据文件包括磁带组ID、磁带个数、各磁带ID、文件名称、文件ID。
3.根据权利要求2所述的磁带库数据校验方法,其特征在于,所述当检测到磁带出现异常时,根据所述磁带组中磁带的所述数据文件和所述校验文件对异常磁带进行替换修复包括:
将所述异常磁带内容拷贝到新磁带;
在拷贝未成功的情况下,判断所述元数据文件是否正常加载,并根据所述元数据文件的加载情况,恢复所述异常磁带。
4.根据权利要求3所述的磁带库数据校验方法,其特征在于,所述判断所述元数据文件是否正常加载,并根据所述元数据文件的加载情况,恢复所述异常磁带包括:
当所述元数据文件正常加载时,按照所述元数据文件中的记录信息,读取其他磁带的文件,并进行纠删反解;
当所述元数据文件异常加载时,分别向所述异常磁带的前向磁带和后向磁带进行扫描,并加载所述前向磁带和所述后向磁带对应的元数据文件,在所述对应的元数据文件中查找所述异常磁带的磁带ID,若查找成功,通过成功查找所述磁带ID的元数据文件恢复所述异常磁带;若查找失败,通过业务服务器数据库中存储文件进行恢复所述异常磁带。
5.根据权利要求1所述的磁带库数据校验方法,其特征在于,所述方法还包括:
当所述驱动器出现异常时,所述数据文件和所述校验文件写入余下正常的驱动器访问的磁带中。
6.根据权利要求2所述的磁带库数据校验方法,其特征在于,所述方法还包括:
当所述数据文件或所述校验文件写入磁带时,生成与写入文件相对应的文件位置记录信息,存储于业务服务器数据库中,其中,所述文件位置记录信息包括相机名称、开始时间、结束时间、案例名称、文件名称、磁带ID、文件ID,所述文件ID包括当前文件名称和同属文件组的文件的名称和写入位置;
当所述业务服务器数据库发生破坏时,扫描各个所述磁带,并加载所述磁带对应的所述元数据文件,将所述文件位置记录信息补充回所述业务服务器数据库中。
7.根据权利要求6所述的磁带库数据校验方法,其特征在于,所述方法还包括:
若所述磁带写入异常,则加载新磁带进行写入操作,并对所述新磁带进行数据恢复;
若所述磁带读取异常,在所述磁带对应的所述驱动器空闲的情况下,从异常文件的所述文件ID中反解出所述异常文件所在文件组中的其他文件的位置信息,并根据所述位置信息寻找所述其他文件,通过读取所述其他文件和所述其他文件与所述异常文件间的纠删关系反解出所述异常文件。
8.一种磁带库数据校验装置,其特征在于,包括:
文件生成单元,用于获取多路视频流,对应缓存生成多个数据文件,根据纠删码算法和多个所述数据文件生成多个校验文件;
文件写入单元,用于将多个所述数据文件和多个所述校验文件写入磁带组的磁带中,其中,根据纠删配比和驱动器数量将磁带库中的磁带分成多个所述磁带组;
校验修复单元,用于当检测到磁带出现异常时,根据所述磁带组中磁带的所述数据文件和所述校验文件对异常磁带进行替换修复。
9.一种电子设备,其特征在于,所述电子设备包括:
存储介质;
处理器;以及
磁带库数据校验装置,所述装置存储于所述存储介质中并包括由所述处理器执行的软件功能模块,所述装置包括:
文件生成单元,用于获取多路视频流,对应缓存生成多个数据文件,根据纠删码算法和多个所述数据文件生成多个校验文件;
文件写入单元,用于将多个所述数据文件和多个所述校验文件写入磁带组的磁带中,其中,根据纠删配比和驱动器数量将磁带库中的磁带分成多个所述磁带组;
校验修复单元,用于当检测到磁带出现异常时,根据所述磁带组中磁带的所述数据文件和所述校验文件对异常磁带进行替换修复。
10.一种可读存储介质,其特征在于,所述可读存储介质中存储有计算机程序,所述计算机程序被执行时实现权利要求1-7中任意一项所述的磁带库数据校验方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810356796.2A CN110389855B (zh) | 2018-04-19 | 2018-04-19 | 磁带库数据校验方法、装置、电子设备和可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810356796.2A CN110389855B (zh) | 2018-04-19 | 2018-04-19 | 磁带库数据校验方法、装置、电子设备和可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110389855A true CN110389855A (zh) | 2019-10-29 |
CN110389855B CN110389855B (zh) | 2021-12-28 |
Family
ID=68283454
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810356796.2A Active CN110389855B (zh) | 2018-04-19 | 2018-04-19 | 磁带库数据校验方法、装置、电子设备和可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110389855B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024179417A1 (zh) * | 2023-03-02 | 2024-09-06 | 杭州阿里云飞天信息技术有限公司 | 数据存储方法、设备、存储介质和系统 |
Citations (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6222693B1 (en) * | 1995-01-26 | 2001-04-24 | Sony Corporation | Re-recording/re-producing device for magnetic tape and head cleaning |
CN1467636A (zh) * | 2003-05-10 | 2004-01-14 | 北京亚细亚智业科技有限公司 | 可移动存储介质冗余数据保护方法 |
US20050144501A1 (en) * | 2003-12-02 | 2005-06-30 | Kim Jae G. | Method for recovering data in EXT2 file system, and computer-readable storage medium recorded with data-recovery program |
CN101477486A (zh) * | 2009-01-22 | 2009-07-08 | 中国人民解放军国防科学技术大学 | 一种基于扇区重组的文件备份恢复方法 |
US7617358B1 (en) * | 2005-05-05 | 2009-11-10 | Seagate Technology, Llc | Methods and structure for writing lead-in sequences for head stability in a dynamically mapped mass storage device |
US7752491B1 (en) * | 2005-05-05 | 2010-07-06 | Seagate Technology Llc | Methods and structure for on-the-fly head depopulation in a dynamically mapped mass storage device |
US20110055178A1 (en) * | 2009-08-27 | 2011-03-03 | Cleversafe, Inc. | Dispersed storage unit and methods with metadata separation for use in a dispersed storage system |
US7984324B2 (en) * | 2008-03-27 | 2011-07-19 | Emc Corporation | Systems and methods for managing stalled storage devices |
CN103425937A (zh) * | 2012-05-14 | 2013-12-04 | 国际商业机器公司 | 在计算环境中通过处理器设备用于选定加密数据的密码清除的方法和系统 |
CN103678026A (zh) * | 2012-09-18 | 2014-03-26 | 杭州海康威视系统技术有限公司 | 可修复的视频监控数据存储和修复方法及其装置 |
CN103955415A (zh) * | 2014-05-07 | 2014-07-30 | 国家电网公司 | 一种具备n-3容故障性的智能电网大数据储存系统 |
CN104239438A (zh) * | 2014-08-29 | 2014-12-24 | 北京大学深圳研究生院 | 基于分离存储的文件信息存储方法和文件信息读写方法 |
CN104978241A (zh) * | 2015-05-29 | 2015-10-14 | 上海爱数软件有限公司 | 一种cow类型文件系统的数据恢复方法及装置 |
CN105159790A (zh) * | 2015-09-30 | 2015-12-16 | 成都华为技术有限公司 | 一种数据抢救方法及文件服务器 |
US20150378820A1 (en) * | 2014-06-25 | 2015-12-31 | Quantum Corporation | High Reliability Erasure Code Distribution |
CN105404561A (zh) * | 2015-11-19 | 2016-03-16 | 浙江宇视科技有限公司 | 一种分布式存储的纠删码实现方法及装置 |
US9372870B1 (en) * | 2003-01-21 | 2016-06-21 | Peer Fusion, Inc. | Peer to peer code generator and decoder for digital systems and cluster storage system |
CN105760116A (zh) * | 2016-03-10 | 2016-07-13 | 天津科技大学 | 一种多网盘下的增量纠删码存储方法及系统 |
CN105791353A (zh) * | 2014-12-23 | 2016-07-20 | 深圳市腾讯计算机系统有限公司 | 基于纠删码的分布式数据存储方法及系统 |
CN105893169A (zh) * | 2016-03-31 | 2016-08-24 | 乐视控股(北京)有限公司 | 一种基于纠删码的文件存储方法和系统 |
US9431054B1 (en) * | 2015-06-02 | 2016-08-30 | Quantum Corporation | Doubly distributed erasure codes |
US9483197B1 (en) * | 2004-05-13 | 2016-11-01 | Primos Storage Technology Llc | Transaction-based storage system and method that uses variable sized objects to store data |
US9502052B1 (en) * | 2015-12-17 | 2016-11-22 | International Business Machines Corporation | Writing redundant data on tape media |
CN106662983A (zh) * | 2015-12-31 | 2017-05-10 | 华为技术有限公司 | 分布式存储系统中的数据重建的方法、装置和系统 |
CN107340971A (zh) * | 2016-04-28 | 2017-11-10 | 上海优刻得信息科技有限公司 | 一种数据存储与恢复架构与方法 |
-
2018
- 2018-04-19 CN CN201810356796.2A patent/CN110389855B/zh active Active
Patent Citations (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6222693B1 (en) * | 1995-01-26 | 2001-04-24 | Sony Corporation | Re-recording/re-producing device for magnetic tape and head cleaning |
US9372870B1 (en) * | 2003-01-21 | 2016-06-21 | Peer Fusion, Inc. | Peer to peer code generator and decoder for digital systems and cluster storage system |
CN1467636A (zh) * | 2003-05-10 | 2004-01-14 | 北京亚细亚智业科技有限公司 | 可移动存储介质冗余数据保护方法 |
US20050144501A1 (en) * | 2003-12-02 | 2005-06-30 | Kim Jae G. | Method for recovering data in EXT2 file system, and computer-readable storage medium recorded with data-recovery program |
US9483197B1 (en) * | 2004-05-13 | 2016-11-01 | Primos Storage Technology Llc | Transaction-based storage system and method that uses variable sized objects to store data |
US7617358B1 (en) * | 2005-05-05 | 2009-11-10 | Seagate Technology, Llc | Methods and structure for writing lead-in sequences for head stability in a dynamically mapped mass storage device |
US7752491B1 (en) * | 2005-05-05 | 2010-07-06 | Seagate Technology Llc | Methods and structure for on-the-fly head depopulation in a dynamically mapped mass storage device |
US7984324B2 (en) * | 2008-03-27 | 2011-07-19 | Emc Corporation | Systems and methods for managing stalled storage devices |
CN101477486A (zh) * | 2009-01-22 | 2009-07-08 | 中国人民解放军国防科学技术大学 | 一种基于扇区重组的文件备份恢复方法 |
US20110055178A1 (en) * | 2009-08-27 | 2011-03-03 | Cleversafe, Inc. | Dispersed storage unit and methods with metadata separation for use in a dispersed storage system |
CN103425937A (zh) * | 2012-05-14 | 2013-12-04 | 国际商业机器公司 | 在计算环境中通过处理器设备用于选定加密数据的密码清除的方法和系统 |
CN103678026A (zh) * | 2012-09-18 | 2014-03-26 | 杭州海康威视系统技术有限公司 | 可修复的视频监控数据存储和修复方法及其装置 |
CN103955415A (zh) * | 2014-05-07 | 2014-07-30 | 国家电网公司 | 一种具备n-3容故障性的智能电网大数据储存系统 |
US20150378820A1 (en) * | 2014-06-25 | 2015-12-31 | Quantum Corporation | High Reliability Erasure Code Distribution |
CN104239438A (zh) * | 2014-08-29 | 2014-12-24 | 北京大学深圳研究生院 | 基于分离存储的文件信息存储方法和文件信息读写方法 |
CN105791353A (zh) * | 2014-12-23 | 2016-07-20 | 深圳市腾讯计算机系统有限公司 | 基于纠删码的分布式数据存储方法及系统 |
CN104978241A (zh) * | 2015-05-29 | 2015-10-14 | 上海爱数软件有限公司 | 一种cow类型文件系统的数据恢复方法及装置 |
US9431054B1 (en) * | 2015-06-02 | 2016-08-30 | Quantum Corporation | Doubly distributed erasure codes |
CN105159790A (zh) * | 2015-09-30 | 2015-12-16 | 成都华为技术有限公司 | 一种数据抢救方法及文件服务器 |
CN105404561A (zh) * | 2015-11-19 | 2016-03-16 | 浙江宇视科技有限公司 | 一种分布式存储的纠删码实现方法及装置 |
US9502052B1 (en) * | 2015-12-17 | 2016-11-22 | International Business Machines Corporation | Writing redundant data on tape media |
CN106662983A (zh) * | 2015-12-31 | 2017-05-10 | 华为技术有限公司 | 分布式存储系统中的数据重建的方法、装置和系统 |
CN105760116A (zh) * | 2016-03-10 | 2016-07-13 | 天津科技大学 | 一种多网盘下的增量纠删码存储方法及系统 |
CN105893169A (zh) * | 2016-03-31 | 2016-08-24 | 乐视控股(北京)有限公司 | 一种基于纠删码的文件存储方法和系统 |
CN107340971A (zh) * | 2016-04-28 | 2017-11-10 | 上海优刻得信息科技有限公司 | 一种数据存储与恢复架构与方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024179417A1 (zh) * | 2023-03-02 | 2024-09-06 | 杭州阿里云飞天信息技术有限公司 | 数据存储方法、设备、存储介质和系统 |
Also Published As
Publication number | Publication date |
---|---|
CN110389855B (zh) | 2021-12-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6529995B1 (en) | Method and apparatus for maintaining and restoring mapping table entries and data in a raid system | |
US8250033B1 (en) | Replication of a data set using differential snapshots | |
US7720817B2 (en) | Method and system for browsing objects on a protected volume in a continuous data protection system | |
US8868507B2 (en) | Method and apparatus for data recovery using storage based journaling | |
US7107486B2 (en) | Restore method for backup | |
US20170060701A1 (en) | File-based cluster-to-cluster replication recovery | |
AU700681B2 (en) | A method of operating a computer system | |
US5794242A (en) | Temporally and spatially organized database | |
JP6178859B2 (ja) | 光ディスクに基づくデータベース記憶システム及びその利用方法 | |
US7802134B1 (en) | Restoration of backed up data by restoring incremental backup(s) in reverse chronological order | |
CN102063348B (zh) | 分区表信息备份方法和装置以及存储系统 | |
KR950006577A (ko) | 고장허용 디스크 저장 서브 시스템 및 그 서브 시스템의 컴퓨터 시스템으로부터 수신된 디지탈 정보의 데이타 블럭 저장 방법 | |
KR19990072945A (ko) | 실시간데이타기록방법 | |
US8762347B1 (en) | Method and apparatus for processing transactional file system operations to enable point in time consistent file data recreation | |
CN104615381B (zh) | 一种视频监控系统的磁盘冗余阵列 | |
CN103339615B (zh) | 存储系统和信息处理方法 | |
JP2014142852A (ja) | ストレージシステムおよび制御装置 | |
CN103902434A (zh) | 一种报警日志管理方法及系统 | |
US7567993B2 (en) | Method and system for creating and using removable disk based copies of backup data | |
CN102096613A (zh) | 一种生成快照的方法及装置 | |
CN110389855A (zh) | 磁带库数据校验方法、装置、电子设备和可读存储介质 | |
US7600151B2 (en) | RAID capacity expansion interruption recovery handling method and system | |
JP5299933B2 (ja) | ミラード・ディスク記憶システムを操作する装置、方法、及びコンピュータ・プログラム | |
JP2012509533A5 (zh) | ||
KR100501414B1 (ko) | 파일 시스템의 메타 데이터 회복을 위한 로깅과 회복 방법및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |