CN114780298B - 文件数据处理方法、装置、计算机终端及存储介质 - Google Patents

文件数据处理方法、装置、计算机终端及存储介质 Download PDF

Info

Publication number
CN114780298B
CN114780298B CN202210677365.2A CN202210677365A CN114780298B CN 114780298 B CN114780298 B CN 114780298B CN 202210677365 A CN202210677365 A CN 202210677365A CN 114780298 B CN114780298 B CN 114780298B
Authority
CN
China
Prior art keywords
index
data
file
target file
fragment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210677365.2A
Other languages
English (en)
Other versions
CN114780298A (zh
Inventor
黄松军
李晓辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Huiwei Intelligent Technology Inc
Original Assignee
Shenzhen Huiwei Intelligent Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Huiwei Intelligent Technology Inc filed Critical Shenzhen Huiwei Intelligent Technology Inc
Priority to CN202210677365.2A priority Critical patent/CN114780298B/zh
Publication of CN114780298A publication Critical patent/CN114780298A/zh
Application granted granted Critical
Publication of CN114780298B publication Critical patent/CN114780298B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1448Management of the data involved in backup or backup restore
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1415Saving, restoring, recovering or retrying at system level
    • G06F11/1435Saving, restoring, recovering or retrying at system level using file system or storage system metadata
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1458Management of the backup or restore process
    • G06F11/1469Backup restoration techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/16File or folder operations, e.g. details of user interfaces specifically adapted to file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了一种文件数据处理方法、装置、计算机终端及存储介质,所述文件数据处理方法包括:将目标文件按照预设方法切片处理,并计算得到切片后的各个片段数据的索引数据;从预先备份好的多个索引文件中获取索引集合,根据索引集合和目标文件各个片段的索引数据,校验目标文件的片段数据是否正确;每个索引文件中包括预先存储有目标文件根据预设方法切片处理后,各个片段数据的索引数据;若目标文件的片段数据不正确,则根据索引集合校验预先备份好的备份文件对应片段数据是否正确;若备份文件对应片段数据正确,通过备份文件对应的片段数据还原目标文件。通过多个索引文件里的索引数据,极大程度避免了备份损坏导致的数据修复失败。

Description

文件数据处理方法、装置、计算机终端及存储介质
技术领域
本发明涉及存储技术领域,尤其涉及一种文件数据处理方法、装置、计算机终端及存储介质。
背景技术
闪存非易失性存储在电子行业用来存储数据使用比较普遍,但是闪存技术需要ECC(错误检查和纠正)校验来保证数据的正确性,后来在闪存的基础上发展EMMC(内嵌式存储器标准规格),将ECC校验等集成在一个控制芯片里面,用户使用只要关注接口就行,这样使得EMMC的使用更加方便。EMMC封装了ECC校验,坏块管理,动态擦写平衡等,具有很多的好处,但是厂家的实现方法不尽相同,各有优劣,而且EMMC存在擦写寿命问题,尤其是TLC(三级存储),这样仍然会面临数据的丢失问题,数据损坏程度有可能超出了EMMC芯片的处理能力,造成数据的错误。
发明内容
有鉴于此,本申请提供了一种文件数据处理方法,包括:将目标文件按照预设方法切片处理,并计算得到切片后的各个片段数据的索引数据;
从预先备份好的多个索引文件中获取索引集合,根据所述索引集合和所述目标文件各个片段的索引数据,校验所述目标文件的片段数据是否正确;其中每个所述索引文件包括有所述目标文件根据所述预设方法切片处理后,各个片段数据的索引数据;
若所述目标文件的片段数据不正确,则根据所述索引集合校验预先备份好的备份文件对应片段数据是否正确;
若所述备份文件对应的片段数据正确,通过所述备份文件对应的片段数据还原所述目标文件。
进一步的,所述从预先备份好的多个索引文件中获取索引集合包括:
将各个索引文件中对应于同一个片段的索引数据之间进行比较,将占比最大的索引数据作为正确的索引数据;
将所有的正确的索引数据组成所述索引集合。
进一步的,根据所述索引集合和所述目标文件各个片段的索引数据,校验所述目标文件的片段数据是否正确包括:
将所述索引集合的各个索引数据与所述目标文件的对应片段的索引数据进行比较;
若所述目标文件的对应片段的索引数据与对应的所述索引集合的索引数据不同,则确认所述目标文件的片段数据不正确;
若所述目标文件的对应片段的索引数据与对应的所述索引集合的索引数据相同,则确认所述目标文件的片段数据正确。
进一步的,还包括:
若所述目标文件的片段数据正确,而所述备份文件对应的片段数据不正确,则将所述目标文件的所述片段数据覆盖所述备份文件对应的片段数据。
进一步的,若所述目标文件的片段数据不正确,则根据所述索引集合校验预先备份好的备份文件对应片段数据是否正确包括:
将所述备份文件按照所述预设方法进行切片处理,并获取和所述目标文件的片段数据相同位置的备份片段数据,并计算所述备份片段数据的索引数据;
若所述备份片段数据的索引数据与对应的所述索引集合的索引数据不同,则确认所述备份文件的片段数据不正确;
若所述备份片段数据的索引数据与对应的所述索引集合的索引数据相同,则确认所述备份文件的片段数据正确。
进一步的,所述预设方法包括:等分切片或者不等分切片;
对所述多个索引文件的生成方法包括:
将目标文件按照预设方法切片处理,并将切片后的各个片段的索引数据保存起来生成所述索引文件,并备份多个所述索引文件,得到所述多个索引文件。
进一步的,计算得到切片后的各个片段的索引数据中包括:
计算切片后的各个片段的哈希值,将所述各个片段的哈希值作为所述索引数据。
进一步的,本申请还提供一种文件数据保存装置,包括:
切片模块,用于将目标文件按照预设方法切片处理,并计算得到切片后的各个片段数据的索引数据;
校验模块,用于从预先备份好的多个索引文件中获取索引集合,根据所述索引集合和所述目标文件各个片段的索引数据,校验所述目标文件的片段数据是否正确;每个所述索引文件中包括预先存储有所述目标文件根据所述预设方法切片处理后,各个片段数据的索引数据;
备份校验模块,用于若所述目标文件的片段数据不正确,则根据所述索引集合校验预先备份好的备份文件对应片段数据是否正确;
还原模块,用于若所述备份文件对应片段数据正确,通过所述备份文件对应片段数据还原所述目标文件。
进一步的,本申请还提供一种计算机终端,包括处理器和存储器,所述存储器存储有计算机程序,所述计算机程序在所述处理器上运行时执行所述的文件数据处理方法。
进一步的,本申请还提供一种可读存储介质,其存储有计算机程序,所述计算机程序在处理器上运行时执行所述的文件数据处理方法。
本发明实施例公开了一种文件数据处理方法、装置、计算机终端及存储介质,包括:对目标文件进行备份得到对应的备份文件;对所述目标文件进行切片,并将切片后的各个片段的索引数据保存在索引文件中,并备份多个所述索引文件;定时校验多个索引文件各个片段索引数据的正确性,并建立正确的索引集合;当需要校验时,根据所述索引集合校验所述目标文件是否正确;若所述目标文件不正确,则根据所述索引集合校验所述备份文件是否正确,若所述备份文件正确,通过所述备份文件还原所述目标文件。通过统合多个索引文件里的索引数据,得到一个认为是正确的索引集合,极大程度避免了备份损坏和索引损坏导致的数据修复失败。
附图说明
为了更清楚地说明本发明的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对本发明保护范围的限定。在各个附图中,类似的构成部分采用类似的编号。
图1示出了本申请实施例一种文件数据处理方法流程示意图;
图2示出了本申请实施例文件切片示意图;
图3示出了本申请实施例正确索引集合示意图;
图4示出了本申请实施例一种文件数据保存装置结构示意图。
具体实施方式
下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。
通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
在下文中,可在本发明的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合,并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。
此外,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
除非另有限定,否则在这里使用的所有术语(包括技术术语和科学术语)具有与本发明的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义,除非在本发明的各种实施例中被清楚地限定。
本发明针对EMMC等存储装置存在的数据损坏提出软件方面的解决方法,而且根据需要控制数据恢复的粒度,保证数据的完整性和正确性。本发明从软件层面弥补硬件带来的数据错误。尤其是现在的操作系统越来越大,软件镜像越来越大,当镜像里面的某些数据发生变化的时候,会导致整个系统崩溃或者不开机。接下来以具体实施例来说明本申请的技术方案。
实施例1
如图1所示,本实施例的文件数据处理方法包括以下步骤:
步骤S100,将目标文件按照预设方法切片处理,并计算得到切片后的各个片段数据的索引数据。
本申请的技术方案主要应用在数据校验和修复的时候,因此本实施例以对目标文件进行校验的场景进行说明。
为了能更好的恢复和保存文件数据,在进行校验时,会先对目标文件进行切片处理,以得到该目标文件切片后的片段数据。
如图2所示,为具体切片处理的示意图。首先对目标文件10进行切片处理,使得目标文件10划分成n个切片数据,需要说明的是,虽然对目标文件10进行切片了,但是不代表目标文件10就真的被分割成n个切片文件分散保存,该切片处理并不会破坏目标文件10的整体性,相当于是给目标文件10进行了一次分段标记操作。
具体的切片方法可以是等分切片,例如目标文件10的大小是10MB,需要将其等分为5份,则会按照每个切片2MB的大小对目标文件10进行切片处理。
切片方法也可以是不等分方法,可以根据目标文件中,每一段数据的完整性进行切片,从而得到各个大小不同的切片,在切片结束后,会记录下切片的点位,以用于后续的校验步骤之中。
但是不管按照怎样的切片逻辑,在得到切片1至切片n这n份切片数据后,会针对各个切片数据,去计算属于各个切片的索引数据。得到这些索引数据后,便可以根据这些索引数据检验目标文件各个片段数据的正确与否,是否发生损坏。
步骤S200,从预先备份好的多个索引文件中获取索引集合,根据所述索引集合和所述目标文件各个片段的索引数据,校验所述目标文件的片段数据是否正确。
为了进行本申请的数据校验,对于目标文件刚生成时,以及每次更新时,都会生成一个备份文件和多个索引文件,为了保证文件数据在损坏时,有进行修复的依据,需要对目标文件进行备份,得到一个用于修复的备份文件,两个文件的内容完全相同,为了保证备份文件不会损坏,一般会存储在和目标文件不同的存储空间中,平时使用时只使用目标文件中的内容,当目标文件中的数据有更新,则备份文件会同步更新,以保持两个文件的一致性。同样的,索引文件也会进行类似的同步过程。
需要说明的是,上述目标文件保存的存储介质可以是机械硬盘、固态硬盘、U盘等非易失存储介质。
而上述的多个索引文件中,都包括预先存储有所述目标文件根据所述预设方法切片处理后,各个片段数据的索引数据。
如图2所示,在将目标文件10按照步骤S100中的预设方法进行切片处理后,会获得多个切片(也就是片段数据),分别计算这些,将切片后的各个片段的索引数据保存起来生成所述索引文件,并根据这个索引文件,备份多个所述索引文件,得到所述多个索引文件。
如图3所示,为本申请得到所述多个索引文件的情况具体,这些索引文件20的内容理论上是完全相同的,在索引文件20中所保存的内容便是各段的索引数据,而不是完整的目标文件的索引。通过保存了多个相同的索引文件,即便某些索引文件损坏,也会有其他的索引文件是正常的,同时因为保存的是目标文件各个切片的索引数据,数据本身就是分段的,而文件的损坏也不会是所有数据损坏,往往是损坏丢失某一部分,所以会存在某些索引数据损坏,但是大部分索引数据完好的情况,进一步的保证了索引数据的安全性和正确性。
需要说明的是,上述所计算出来的索引应当和切片数据应该是唯一对应的,这样才能避免不同的内容会生成相同的索引,以免引起校对失误。具体的,可以采用MD5等算法去计算各个数据切片的哈希值,将哈希值作为该片段数据的索引,从而得到一个索引文件20,这样索引文件20中就存储了n个和按照上述切片方式切片了目标文件10的索引数据,即索引1至索引n。
可以理解的是,索引文件20中保存的不是目标文件的数据,而是代表了各个切片数据的索引数据,索引数据的大小是远远小于所代表的数据本身的,所以不易损坏,容易储存不占用空间。同时将该索引文件备份多份,还可以防止索引数据损坏无法使用。其中,通过备份多份索引文件,以保证即便索引文件有所损坏,在后续步骤也可以找到正确的索引集合。
在预先生成了这样的索引文件后,便可以在需要对目标文件进行校验时,生成可以校验目标文件的索引集合。
将各个索引文件中,对应同一个片段的索引数据之间进行比较,将占比最大的索引数据作为正确的索引数据。
如图3所示,备份了多个索引文件,理论上,这些索引文件的内容应该完全相同,但是索引文件也是储存在存储介质中的,因此也有损坏的可能,所以这多个索引文件中的内容可能也会有偏差,因此需要从中找到正确的索引集合。
因为备份了多个索引文件,如10个,则针对每个片段,都会有10个索引文件,因此会将各个索引文件中,相同的片段的索引数据进行比较。
例如,索引文件1的索引1和其他9个索引文件的索引1比较,其中索引文件1至索引文件6的索引1是相同的,其他索引文件的索引1都不相同,也就是说其中有6个索引1相同,其余4个索引1各不相同。由此可以判定那6个相同的索引1是没有损坏的,即索引文件1至索引文件6的索引1没有损坏,而索引文件7至索引文件10的索引1是损坏的。由此得出索引文件1至索引文件6的索引1是正确的结论,并将该对应的索引1作为正确片段。
同理,剩下的索引2到索引n都是如此比较,以找到各个索引的正确片段,最终得到一个正确的索引集合,该索引集合中包括了所有切片的正确索引数据,这样可以通过这些正确的索引数据来快速校验目标文件是否是完整正确的。
接下来就是将所有的正确片段组成所述索引集合。
经过上述的比较,可以得到索引1到索引n中,每个索引的正确片段,这些片段可以组合成一个正确的索引集合。如果索引文件都没有损坏,则该索引集合和每个索引文件的内容都是一样的。若索引文件都有不同程度的损坏,则最终的索引集合就像是通过这些索引文件拼接而成的一样。这样通过对整体数据的片段化,冗余化,增强了索引文件的真实性。
即本步骤通过冗余的方式,保证了索引文件内容的真实性,通过备份多个索引文件的方式,减少因为数据损坏而无法得到真实的索引数据的可能性,使得整个校验过程时数据准确性提高。
接下来,使用这个索引集合对目标文件进行校验。
具体的,将所述索引集合的各个索引数据与所述目标文件的对应片段的索引数据进行比较。此处的索引集合可以视为目标文件完好时,进行切片然后索引数据生成后,生成的索引文件,所以可以以该索引集合为标杆,对目标文件的正确性进行校验。
即若所述目标文件的对应片段的索引数据与对应的所述索引集合的索引数据不同,则所述目标文件的片段数据不正确。
若所述目标文件的对应片段的索引数据与对应的所述索引集合的索引数据相同,则所述目标文件的片段数据正确。
步骤S300,若所述目标文件的片段数据不正确,则根据所述索引集合校验预先备份好的备份文件对应片段数据是否正确。
当发现计算出来的索引数据和索引集合中对应的索引数据不同,则表示该片段损坏,需要备份,而备份前,还需要确认备份文件是不是正确的,备份文件是否正确的确认方法和目标文件的确认方法一致,都是相同的方法切片并计算每个切片的索引值,并和索引集合中记录的索引数据进行对比。
例如,当目标文件的切片1所计算出来的索引数据和索引集合中的索引1不同,则需要找备份文件,判断备份文件的切片1所计算出来的索引数据是否和索引集合中的索引1相同。以此来决定是否能进行修复。
因此将所述备份文件按照和步骤S100中的预设方法进行切片处理,并获取和所述目标文件的片段数据相同位置的备份片段数据,并计算所述备份片段数据的索引数据。
若所述备份片段数据的索引数据与对应的所述索引集合的索引数据不同,则所述备份文件的片段数据不正确。
若所述备份片段数据的索引数据与对应的所述索引集合的索引数据相同,则所述备份文件的片段数据正确。
当备份文件的切片1计算出来的索引数据,和索引集合中的索引1相同,则代表备份文件的切片1的数据是正确的,因此可以通过将备份文件的切片1的数据覆盖目标文件切片1的数据,以实现对目标文件的数据恢复。
同理,其余的切片数据也用上述方式进行检验和恢复,以实现对目标文件的校验。
步骤S400,若所述备份文件对应片段数据正确,通过所述备份文件对应的片段数据还原所述目标文件。
此外,也会存在目标文件的片段的索引数据与对应的所述索引集合的片段相同,而备份文件对应片段的索引数据与所述索引集合的片段索引数据不同的情况,则此时可将目标文件对应的片段数据覆盖所述备份文件的片段数据,以完成对备份文件的恢复。以此来实现目标文件和备份文件的相互校验和恢复,保证了目标文件和备份文件的双向完整。
若所述目标文件的片段的索引数据与对应的所述索引集合的片段不同,且所述备份文件对应片段的索引数据与所述索引集合的片段索引数据不同,则对于目标文件来讲,没有恢复数据的依据,因此提示用户恢复失败,并不再尝试恢复。
本发明实施例公开了一种文件数据处理方法通过对目标文件进行备份得到对应的备份文件;对所述目标文件进行切片,并将切片后的各个片段的索引数据保存在索引文件中,并备份多个所述索引文件;定时校验多个索引文件各个片段索引数据的正确性,并建立正确的索引集合;当需要校验时,根据所述索引集合校验所述目标文件是否正确;若所述目标文件不正确,则根据所述索引集合校验所述备份文件是否正确,若所述备份文件正确,通过所述备份文件还原所述目标文件。通过多个索引文件里的索引数据,得到一个认为是正确的索引集合,极大程度避免了备份损坏和索引损坏导致的数据修复失败。并且通过切片的方式,以最小单元(即切片后的数据段)去对数据进行回复,尽可能的避开因为目标文件和备份文件都损坏而导致的修复不能,使得即便备份文件可能部分损坏,也不会影响其他部分数据的恢复,增强了数据保存的安全性,使得数据和程序更加的稳定。
实施例2
进一步的,如图4所示,本申请还提供一种文件数据保存装置,包括:
切片模块30,用于将目标文件按照预设方法切片处理,并计算得到切片后的各个片段数据的索引数据;
校验模块40,用于从预先备份好的多个索引文件中获取索引集合,根据所述索引集合和所述目标文件各个片段的索引数据,校验所述目标文件的片段数据是否正确;每个所述索引文件中包括预先存储有所述目标文件根据所述预设方法切片处理后,各个片段数据的索引数据;
备份校验模块50,用于若所述目标文件的片段数据不正确,则根据所述索引集合校验预先备份好的备份文件对应片段数据是否正确;
还原模块60,用于若所述备份文件对应片段数据正确,通过所述备份文件对应片段数据还原所述目标文件。进一步的,本申请还提供一种计算机终端,包括处理器和存储器,所述存储器存储有计算机程序,所述计算机程序在所述处理器上运行时执行所述的文件数据处理方法。
进一步的,本申请还提供一种可读存储介质,其存储有计算机程序,所述计算机程序在处理器上运行时执行所述的文件数据处理方法。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和结构图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本发明各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或更多个模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是智能手机、个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。

Claims (9)

1.一种文件数据处理方法,其特征在于,包括:
将目标文件按照预设方法切片处理,并计算得到切片后的各个片段数据的索引数据;
从预先备份好的多个索引文件中获取索引集合,根据所述索引集合和所述目标文件各个片段的索引数据,校验所述目标文件的片段数据是否正确;其中,每个所述索引文件包括有所述目标文件根据所述预设方法切片处理后,各个片段数据的索引数据;
若所述目标文件的片段数据不正确,则根据所述索引集合校验预先备份好的备份文件对应片段数据是否正确;
若所述备份文件对应的片段数据正确,通过所述备份文件对应的片段数据还原所述目标文件;
所述从预先备份好的多个索引文件中获取索引集合包括:
将各个索引文件中对应于同一个片段的索引数据之间进行比较,将占比最大的索引数据作为正确的索引数据;将所有的正确的索引数据组成所述索引集合。
2.根据权利要求1所述的文件数据处理方法,其特征在于,所述根据所述索引集合和所述目标文件各个片段的索引数据,校验所述目标文件的片段数据是否正确,包括:
将所述索引集合的各个索引数据与所述目标文件的对应片段的索引数据进行比较;
若所述目标文件的对应片段的索引数据与对应的所述索引集合的索引数据不同,则确认所述目标文件的片段数据不正确;
若所述目标文件的对应片段的索引数据与对应的所述索引集合的索引数据相同,则确认所述目标文件的片段数据正确。
3.根据权利要求1或2所述的文件数据处理方法,其特征在于,还包括:
若所述目标文件的片段数据正确,而所述备份文件对应的片段数据不正确,则将所述目标文件的所述片段数据覆盖所述备份文件对应的片段数据。
4.根据权利要求1所述的文件数据处理方法,其特征在于,若所述目标文件的片段数据不正确,则根据所述索引集合校验预先备份好的备份文件对应片段数据是否正确,包括:
将所述备份文件按照所述预设方法进行切片处理,并获取和所述目标文件的片段数据相同位置的备份片段数据,并计算所述备份片段数据的索引数据;
若所述备份片段数据的索引数据与对应的所述索引集合的索引数据不同,则确认所述备份文件的片段数据不正确;
若所述备份片段数据的索引数据与对应的所述索引集合的索引数据相同,则确认所述备份文件的片段数据正确。
5.根据权利要求1所述的文件数据处理方法,其特征在于,所述预设方法包括:等分切片或者不等分切片;
所述方法还包括:
在将目标文件按照预设方法切片处理后,将切片后的各个片段的索引数据保存起来生成所述索引文件,并备份多个所述索引文件,得到所述多个索引文件。
6.根据权利要求1所述的文件数据处理方法,其特征在于,所述计算得到切片后的各个片段的索引数据,包括:
计算切片后的各个片段的哈希值,将所述各个片段的哈希值作为所述索引数据。
7.一种文件数据处理装置,其特征在于,包括:
切片模块,用于将目标文件按照预设方法切片处理,并计算得到切片后的各个片段数据的索引数据;
校验模块,用于从预先备份好的多个索引文件中获取索引集合,根据所述索引集合和所述目标文件各个片段的索引数据,校验所述目标文件的片段数据是否正确;每个所述索引文件中包括预先存储有所述目标文件根据所述预设方法切片处理后,各个片段数据的索引数据;所述从预先备份好的多个索引文件中获取索引集合包括:将各个索引文件中对应于同一个片段的索引数据之间进行比较,将占比最大的索引数据作为正确的索引数据;将所有的正确的索引数据组成所述索引集合;
备份校验模块,用于若所述目标文件的片段数据不正确,则根据所述索引集合校验预先备份好的备份文件对应片段数据是否正确;
还原模块,用于若所述备份文件对应的片段数据正确,通过所述备份文件对应的片段数据还原所述目标文件。
8.一种计算机终端,其特征在于,包括处理器和存储器,所述存储器存储有计算机程序,所述计算机程序在所述处理器上运行时执行权利要求1至6中任一项所述的文件数据处理方法。
9.一种可读存储介质,其特征在于,其存储有计算机程序,所述计算机程序在处理器上运行时执行权利要求1至6中任一项所述的文件数据处理方法。
CN202210677365.2A 2022-06-16 2022-06-16 文件数据处理方法、装置、计算机终端及存储介质 Active CN114780298B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210677365.2A CN114780298B (zh) 2022-06-16 2022-06-16 文件数据处理方法、装置、计算机终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210677365.2A CN114780298B (zh) 2022-06-16 2022-06-16 文件数据处理方法、装置、计算机终端及存储介质

Publications (2)

Publication Number Publication Date
CN114780298A CN114780298A (zh) 2022-07-22
CN114780298B true CN114780298B (zh) 2022-09-06

Family

ID=82420879

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210677365.2A Active CN114780298B (zh) 2022-06-16 2022-06-16 文件数据处理方法、装置、计算机终端及存储介质

Country Status (1)

Country Link
CN (1) CN114780298B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117435403B (zh) * 2023-12-21 2024-03-12 成都云祺科技有限公司 永久增备中处理索引合并方法、系统及无效数据处理方法
CN117591344B (zh) * 2024-01-18 2024-05-07 杭州计算机外部设备研究所(中国电子科技集团公司第五十二研究所) 一种针对ECC型NorFlash的文件备份方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103761167A (zh) * 2014-01-23 2014-04-30 浪潮(北京)电子信息产业有限公司 一种实现数据中心备份的方法和装置
CN109325198A (zh) * 2018-08-17 2019-02-12 腾讯科技(深圳)有限公司 一种资源展示方法、装置和存储介质
CN109508254A (zh) * 2017-09-14 2019-03-22 华为技术有限公司 一种数据恢复方法及装置
CN109960612A (zh) * 2019-03-07 2019-07-02 腾讯科技(深圳)有限公司 一种确定数据存储占比的方法、装置及服务器
CN110413652A (zh) * 2019-07-05 2019-11-05 华侨大学 一种基于边缘计算的大数据隐私化检索方法
CN112084066A (zh) * 2020-09-07 2020-12-15 腾讯科技(深圳)有限公司 一种数据处理方法、设备及存储介质
CN112269818A (zh) * 2020-11-25 2021-01-26 成都数之联科技有限公司 一种设备参数根因定位方法及系统、装置、介质
CN112380057A (zh) * 2020-11-12 2021-02-19 平安科技(深圳)有限公司 数据恢复方法、装置、设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9003143B1 (en) * 2014-04-30 2015-04-07 Storagecraft Technology Corporation Hash value comparison during crash-tolerant incremental change tracking between backups of a source storage
US10789207B2 (en) * 2015-07-27 2020-09-29 Sas Institute Inc. Distributed data storage grouping

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103761167A (zh) * 2014-01-23 2014-04-30 浪潮(北京)电子信息产业有限公司 一种实现数据中心备份的方法和装置
CN109508254A (zh) * 2017-09-14 2019-03-22 华为技术有限公司 一种数据恢复方法及装置
CN109325198A (zh) * 2018-08-17 2019-02-12 腾讯科技(深圳)有限公司 一种资源展示方法、装置和存储介质
CN109960612A (zh) * 2019-03-07 2019-07-02 腾讯科技(深圳)有限公司 一种确定数据存储占比的方法、装置及服务器
CN110413652A (zh) * 2019-07-05 2019-11-05 华侨大学 一种基于边缘计算的大数据隐私化检索方法
CN112084066A (zh) * 2020-09-07 2020-12-15 腾讯科技(深圳)有限公司 一种数据处理方法、设备及存储介质
CN112380057A (zh) * 2020-11-12 2021-02-19 平安科技(深圳)有限公司 数据恢复方法、装置、设备及存储介质
CN112269818A (zh) * 2020-11-25 2021-01-26 成都数之联科技有限公司 一种设备参数根因定位方法及系统、装置、介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"ELK索引备份,迁移及恢复";技术小阿哥;《https://developer.aliyun.com/article/504332》;20171127;第1-5项 *
"Self-Adapting Reliability in Distributed Software Systems";Yuriy Brun;《IEEE Transactions on Software Engineering》;20150831;第41卷(第8期);第764-780页 *
"分布式MongoDB集群高可用性的研究和性能优化";赵立斌;《中国优秀硕士学位论文全文数据库 信息科技辑》;20170215(第02期);第I138-2246页 *

Also Published As

Publication number Publication date
CN114780298A (zh) 2022-07-22

Similar Documents

Publication Publication Date Title
CN114780298B (zh) 文件数据处理方法、装置、计算机终端及存储介质
CN107748702B (zh) 一种数据恢复方法和装置
CN109690493B (zh) 用于修复去重存储装置中的映像的系统和方法
CN107315616B (zh) 一种固件的加载方法、装置及电子设备
US9727411B2 (en) Method and processor for writing and error tracking in a log subsystem of a file system
EP3474143B1 (en) Method and apparatus for incremental recovery of data
CN108932249B (zh) 一种管理文件系统的方法及装置
CN110795269B (zh) 一种数据恢复验证方法、装置及设备
US8762336B2 (en) Geo-verification and repair
CN111813753A (zh) 保存文件的方法、恢复文件的方法、装置及终端设备
CN107992268B (zh) 一种坏块标记的方法及相关装置
CN109683980B (zh) 实现轨旁安全平台u盘配置文件可靠装载的方法
CN105550071A (zh) 系统文件升级及检测方法、通信设备
US20120158652A1 (en) System and method for ensuring consistency in raid storage array metadata
CN108255644B (zh) 文件系统恢复方法及装置
CN117234791B (zh) 存储芯片的数据丢失检测方法及装置
CN108572882B (zh) 一种数据存储的方法及存储设备
CN114020527A (zh) 快照恢复方法、装置、计算机设备及存储介质
US11500848B2 (en) Method for determining the integrity of navigation data of a control unit of an automotive vehicle
CN114138566B (zh) 虚拟机的数据存储方法、装置、虚拟机及存储介质
EP3916558A1 (en) Data protection
CN111857740A (zh) 一种软件升级方法及装置
CN110795155B (zh) 系统启动方法及装置、电子设备、存储介质
CN111427718A (zh) 文件备份方法、恢复方法及装置
CN117271225B (zh) 一种fru信息备份方法、装置和服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant