CN112380057A - 数据恢复方法、装置、设备及存储介质 - Google Patents

数据恢复方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112380057A
CN112380057A CN202011262603.0A CN202011262603A CN112380057A CN 112380057 A CN112380057 A CN 112380057A CN 202011262603 A CN202011262603 A CN 202011262603A CN 112380057 A CN112380057 A CN 112380057A
Authority
CN
China
Prior art keywords
target
data
file
directory
recovery
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011262603.0A
Other languages
English (en)
Inventor
白益仲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202011262603.0A priority Critical patent/CN112380057A/zh
Publication of CN112380057A publication Critical patent/CN112380057A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1448Management of the data involved in backup or backup restore
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/13File access structures, e.g. distributed indices
    • G06F16/137Hash-based
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/16File or folder operations, e.g. details of user interfaces specifically adapted to file systems

Abstract

本申请实施例公开了一种数据恢复方法、装置、设备及存储介质,涉及数据处理技术领域。该方法包括:基于主键对数据文件进行索引命名,生成文件名;对文件名进行哈希处理以获取目标哈希值,根据目标哈希值和预设层级生成目标目录;在目标目录中对历史记录文件进行存储;接收数据回退指令;从目标目录中匹配出目标记录文件;基于目标记录文件对数据文件执行数据恢复。所述方法通过对文件名进行哈希处理,并根据其哈希值生成对应层级的目录对文件进行保存,使文件均匀、有序地分布在存储上,其数据恢复的操作简单,无需专业的数据库管理人员操作,确定回退时间点后便能方便实施恢复步骤,且在部分数据的恢复期间,不影响对其它数据的操作。

Description

数据恢复方法、装置、设备及存储介质
技术领域
本申请涉及数据处理技术领域,特别是一种数据恢复方法、装置、设备及存储介质。
背景技术
当计算机存储介质损坏,导致部分或全部数据不能访问读出,或者发现当前使用的数据文件内容出现异常或与预计版本不符时,需要通过一定的方法和手段将数据重新找回或恢复至所需的版本,使信息得以再生。
目前的业务系统中,对数据采用数据库全库回退方案进行恢复时,不方便对不同的数据文件同时进行恢复操作,操作较慢,且需要专业数据库管理员操作,不仅存在一定风险,可靠性也不足,且有诸多如时间、存储、日志保存的范围等因素的限制。
发明内容
本申请实施例所要解决的技术问题是,提供一种数据恢复方法、装置、设备及存储介质,无需专业数据库管理人员操作,能方便对不同数据文件同时进行数据恢复。
为了解决上述技术问题,本申请实施例提供一种数据恢复方法,采用了如下所述的技术方案:
一种数据恢复方法,包括:
获取数据文件的主键,基于所述主键对所述数据文件进行索引命名,生成对应的文件名;
对所述文件名进行哈希处理以获取目标哈希值,并读取目录的预设层级,根据所述目标哈希值和所述预设层级生成目标目录;
在所述目标目录中对所述数据文件的各历史版本的历史记录文件进行存储;
接收数据回退指令,获取目标恢复节点;
响应于所述数据回退指令,根据所述目标恢复节点从所述目标目录的所述历史记录文件中匹配出目标记录文件;
基于所述目标记录文件对数据文件执行数据恢复。
为了解决上述技术问题,本申请实施例还提供一种数据恢复装置,采用了如下所述的技术方案:
一种数据恢复装置,包括:
文件名生成模块,用于获取数据文件的主键,基于所述主键对所述数据文件进行索引命名,生成对应的文件名;
目录生成模块,用于对所述文件名进行哈希处理以获取目标哈希值,并读取目录的预设层级,根据所述目标哈希值和所述预设层级生成目标目录;
文件存储模块,用于在所述目标目录中对所述数据文件的各历史版本的历史记录文件进行存储;
指令接收模块,用于接收数据回退指令,获取目标恢复节点;
文件匹配模块,用于响应于所述数据回退指令,根据所述目标恢复节点从所述目标目录的所述历史记录文件中匹配出目标记录文件;
数据恢复模块,用于基于所述目标记录文件对数据文件执行数据恢复。
为了解决上述技术问题,本申请实施例还提供一种计算机设备,采用了如下所述的技术方案:
一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器执行所述计算机程序时实现如上述任意一项技术方案所述的数据恢复方法的步骤。
为了解决上述技术问题,本申请实施例还提供一种计算机可读存储介质,采用了如下所述的技术方案:
一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上述任意一项技术方案所述的数据恢复方法的步骤。
与现有技术相比,本申请实施例主要有以下有益效果:
本申请实施例公开了一种数据恢复方法、装置、设备及存储介质,本申请实施例所述的数据恢复方法,获取数据文件的主键后,基于主键对数据文件进行索引命名,生成对应的文件名;再对文件名进行哈希处理以获取目标哈希值,并读取目录的预设层级,根据目标哈希值和预设层级生成目标目录;在目标目录中对所述数据文件的各历史版本的历史记录文件进行存储;接收数据回退指令,获取目标恢复节点后;便响应于数据回退指令,根据目标恢复节点从目标目录的历史记录文件中匹配出目标记录文件;最终基于目标记录文件对数据文件执行数据恢复。所述方法通过对文件名进行哈希处理,并根据其哈希值生成对应层级的目录对文件进行保存,使文件均匀、有序地分布在存储上,其数据恢复的操作简单,无需专业的数据库管理人员操作,确定回退时间点后便能方便实施恢复步骤,且在部分数据的恢复期间,不影响对其它数据的操作。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例可以应用于其中的示例性系统架构图;
图2为本申请实施例中所述数据恢复方法的一个实施例的流程图;
图3为本申请实施例中所述数据恢复装置的一个实施例的结构示意图;
图4为本申请实施例中计算机设备的一个实施例的结构示意图。
具体实施方式
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本申请。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“包括”、“包含”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。在本申请的权利要求书、说明书以及说明书附图中的术语,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体/操作/对象与另一个实体/操作/对象区分开来,而不一定要求或者暗示这些实体/操作/对象之间存在任何这种实际的关系或者顺序。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其他实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其他实施例相结合。
为了使本技术领域的人员更好地理解本申请的方案,下面将结合本申请实施例中的相关附图,对本申请实施例中的技术方案进行清楚、完整地描述。
如图1所示,系统架构100可以包括第一终端设备101、第二终端设备102、第三终端设备103、网络104和服务器105。网络104用以在第一终端设备101、第二终端设备102、第三终端设备103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用第一终端设备101、第二终端设备102和第三终端设备103通过网络104与服务器105交互,以接收或发送消息等。第一终端设备101、第二终端设备102和第三终端设备103上可以安装有各种通讯客户端应用,例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
第一终端设备101、第二终端设备102和第三终端设备103可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture Experts Group Audio Layer III,动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器,例如对第一终端设备101、第一终端设备102和第三终端设备103上显示的页面提供支持的后台服务器。
需要说明的是,本申请实施例所提供的数据恢复方法一般由服务器/终端设备执行,相应地,数据恢复装置一般设置于服务器/终端设备中。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
继续参考图2,示出了本申请实施例中所述数据恢复方法的一个实施例的流程图。所述数据恢复方法,包括以下步骤:
步骤201:获取数据文件的主键,基于所述主键对所述数据文件进行索引命名,生成对应的文件名。
主键指主关键字,它的值用于唯一标识数据库表中的某条记录,主键可以在数据文件生成时由数据库中预设的规则函数自动为其生成,主键可以由一个字段,也可以由多个字段组成。本申请中根据数据文件的主键进行索引命名时,先获取主键以根据主键创建出对应的主键索引,主键索引是唯一索引的特定类型,在主键值唯一的前提下,便能唯一标记该数据文件,由此再生成与主键索引匹配的文件名,将其作为数据文件对应的用于恢复其历史版本的历史记录文件的文件名。文件名生成时,可以直接以主键索引的名称作为文件名,也可以将主键索引全部或部分内容与其他字符进行组合后作为文件名。
步骤202:对所述文件名进行哈希处理以获取目标哈希值,并读取目录的预设层级,根据所述目标哈希值和所述预设层级生成目标目录。
本申请中,通过对步骤201中生成的文件名进行哈希处理,获取到相应的哈希值后,再根据该哈希值建立具有一定层级的目标目录。该层级一般在系统中进行了预先设定,通过读取预先设定的层级参数,再根据预设层级对获取到的哈希值进行处理,生成具有该预设层级的目录,以将不同的文件分布到不同的文件夹中进行均匀、有序地存储。
在一种优选实施方式中,目录的层级设定为三层。以下通过举例进行说明,如文件名为zhangsan001的数据文件,假设对其进行哈希处理得到的哈希值是123456,则可以生成“12/34/56”结构的目录,对应的文件就存放在该目录下,如:12/34/46/zhangsan001.txt。
在本申请的一些实施例中,所述数据恢复方法还包括:
确认目标网络附属存储;
通过网络与所述目标网络附属存储建立通信连接;
步骤202中所述根据所述目标哈希值和所述预设层级生成目标目录的步骤包括:
根据所述目标哈希值,在所述目标网络附属存储中建立具有所述预设层级的所述目标目录。
网络附属存储(NAS,Network Attached Storage)是连接在网络上,具备资料存储功能的装置,其是一种特殊的专用数据存储服务器,成本远远低于服务器存储,而效率却远远高于后者。
本申请中,通过在NAS中建立相应层级的目录存储相关数据文件的备份数据,承担管理备份数据的操作,既能减轻当前服务器的负担,同时在存储设备更新或出现故障的情况下,使当前服务器还可以继续运行。同时NAS还能提供抽点快照和为异构平台之间的数据共享等服务。
在一种优选实施方式中,目标网络附属存储的个数设定为两个,且选择不同结构类型的两个NAS。如此,能使备份文件的安全性进一步得到保障。因为单一机房出问题的概率一般会高于多机房同时出问题的概率,比如同样的两个类型为华为的NAS,那么同时出问题的概率会高于类型一个华为、一个艾默生的两个NAS。
步骤203:在所述目标目录中对所述数据文件的各历史版本的历史记录文件进行存储。
历史记录文件指用于恢复数据文件历史版本的文件,每个数据文件对应的各历史版本的历史记录文件,均存放于基于其文件名和哈希值所建立的目录中。如此,能使历史记录文件在存储设备中进行较均匀地分布。
其中,历史记录文件包括:快照文件和备份文件。快照是数据存储的某一时刻的状态记录,备份是数据存储的某一时刻的副本。
备份的数据安全性更好,而快照的生成速度比备份速度快的多;备份会占用双倍的存储空间,快照所占用的存储空间则取决于快照的数量以及数据变动情况,但如果同时做相同数量的快照和增量备份,备份所占用的存储空间相比快照会多得多。
本申请的实施例中主要利用快照对数据文件的各历史版本进行记录,以通过快速生成的历史记录文件保障数据变动过程中数据的安全性和稳定性,以及进行数据恢复时的及时性。
在本申请的一些实施例中,所述数据恢复方法还包括:
设置目标存储周期和目标存储数量;
以所述目标存储周期为上限,或以所述目标存储数量为下限,对所述目标目录中存储文件的最大时间跨度或最小数量进行限制。
为了保证数据文件恢复的可选择性,同时减少服务器的压力,需要对每个目录中历史记录文件的存放限制进行设定。可以通过设置目标存储周期,用于限制每个生成的目录中历史记录文件的最大存放数量,避免存放的历史记录文件数量过多,造成资源冗余;以及通过设置目标存储数量,用于限制每个生成的目录中历史记录文件的最小存放数量,以保证每个目录中记录的关于数据文件的历史版本数量大于一定范围,即使得数据文件恢复历史版本时的选择范围得到一定保障。
且通过目标存储周期进行限制是基于数据恢复的特性设置的,因为如果在目标存储周期内数据文件未出现问题需要执行回退操作,则一般能说明数据文件本身是正常的,之后对其进行数据回退的需求会相对较低。
在进一步的具体实施方式中,若根据设定,下一个将在目标目录中存储的历史记录文件,会导致存储于该目标目录中的历史记录文件的时间跨度超过目标存储周期。则停止继续将历史记录文件存入该目标目录,向管理用户发出信息提示的同时,还可以基于时间轴,按从时间轴的上游往下的顺序自动删除较早的历史记录文件,以保持新的历史记录文件加入后时间跨度在目标存储周期的范围之内,而后自动加入新的历史记录文件。但若删除历史记录文件会导致历史文件的存储数量地狱目标存储数量,则冻结该目标目录,将其标记后生成相应的告警消息发送至管理用户进行维护。
在本申请的一些实施例中,所述步骤203还包括:
读取快照生成周期,基于所述快照生成周期配置快照生成任务;
执行所述快照生成任务,以所述快照生成周期为时间间隔对数据文件的文件状态进行检测;
若所述数据文件的文件状态发生变化,读取所述数据文件在所述快照生成周期内的数据操作信息;
基于所述数据操作信息生成快照,将所述快照作为历史记录文件存储至所述目标目录。
预计通过快照进行数据恢复时,便需通过抽点快照记录下数据文件在若干个时刻的数据信息进行保存。
在该部分实施例中,通过预设一个快照的生成周期,配置出相应的快照生成任务。在执行快照生成任务时,每经过一个快照生成周期便对数据文件的文件状态进行检测。若文件发生变化,便基于发生的变化信息生成快照保存至建立好的文件目录中。快照的生成速度非常快,因此快照生成周期可以设置为很短,使文件进行恢复时的容错率较高,加强了数据的稳定性和安全性。
步骤204:接收数据回退指令,获取目标恢复节点。
对数据文件进行回退时,用户根据其需求选取需要回退的时间节点,然后通过数据回退指令发送至当前服务器,通过当前服务器执行数据回退操作,将数据文件恢复至目标恢复节点对应的历史版本。
在本申请实施例中,所述数据恢复方法运行于其上的电子设备(例如图1所示的服务器/终端设备)可以通过有线连接方式或者无线连接方式接收发送至服务器的数据回退指令。需要指出的是,上述无线连接方式可以包括但不限于3G/4G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。
步骤205:响应于所述数据回退指令,根据所述目标恢复节点从所述目标目录的所述历史记录文件中匹配出目标记录文件。
响应于数据回退指令执行回退操作时,当前服务器首先需要从存储该数据文件的历史文件记录的目录中选取出所需的文件,具体地,当前服务器根据数据回退指令中的目标恢复节点进行匹配选取。
在本申请的一些具体实施方式中,用户选取目标恢复节点发送数据回退指令时,其选取的选项是从已存储的历史记录文件对应的各历史时间节点中直接选取的。目标目录中各历史记录文件对应的历史时间节点会在存储各历史记录文件时,同步记录在服务器的数据库中,用户编辑数据回退指令时,便从本地服务器中读取相关的节点记录从中选取。
在本申请的一些实施例中,所述步骤205包括:
读取各历史记录文件对应的历史时间节点;
确认所述目标恢复节点在所述历史时间节点中所处的区间段,记为目标时间区间,所述目标时间区间仅包括起点和终点两个历史时间节点;
根据所述目标时间区间的起点和终点对应的历史时间节点,生成节点选取消息发送至目标用户;
接收由所述目标用户反馈回的确认信息,基于所述确认信息确定目标记录文件。
其中,用户预先根据其用户需求指明其所需要回退的历史时间节点,作为目标恢复节点写入数据回退指令后发送给服务器。服务器接收到数据回退指令后,从中获取到目标恢复节点的信息,然后从已存储的历史记录文件中进行匹配,确认目标恢复节点在历史记录文件对应的历史时间节点中所处最短的时间区间段,作为目标时间区间,该时间区间段仅包括起点和终点两个历史时间节点,如此便能确定最接近用户需求的历史时间节点的两个历史记录文件,将上述两个历史记录文件分别对应的历史时间节点发送至目标用户进行进一步确认,由目标用户从中选取确定后,服务器便能根据从二者中最终选取的历史时间节点确定出对应的历史记录文件,作为目标记录文件。
步骤206:基于所述目标记录文件对数据文件执行数据恢复。
对数据文件进行数据恢复时,可以基于快照记录的数据状态变化进行数据回滚,将数据文件恢复至快照所记录的历史时间状态,也可以基于备份文件,即副本进行数据还原,以副本直接作为数据恢复后的数据文件。
本申请实施例所述的数据恢复方法,通过对文件名进行哈希处理,并根据其哈希值生成对应层级的目录对文件进行保存,使文件均匀、有序地分布在存储上,其数据恢复的操作简单,无需专业的数据库管理人员操作,确定回退时间点后便能方便实施恢复步骤,且在部分数据的恢复期间,不影响对其它数据的操作。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该计算机程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)等非易失性存储介质,或随机存储记忆体(Random Access Memory,RAM)等。
应该理解的是,虽然附图的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
进一步参考图3,图3示出了为本申请实施例中所述数据恢复装置的一个实施例的结构示意图。作为对上述图2所示方法的实现,本申请提供了一种数据恢复装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图3所示,本实施例所述的数据恢复装置包括:
文件名生成模块301;用于获取数据文件的主键,基于所述主键对所述数据文件进行索引命名,生成对应的文件名。
目录生成模块302;用于对所述文件名进行哈希处理以获取目标哈希值,并读取目录的预设层级,根据所述目标哈希值和所述预设层级生成目标目录。
文件存储模块303;用于在所述目标目录中对所述数据文件的各历史版本的历史记录文件进行存储。
指令接收模块304;用于接收数据回退指令,获取目标恢复节点。
文件匹配模块305;用于响应于所述数据回退指令,根据所述目标恢复节点从所述目标目录的所述历史记录文件中匹配出目标记录文件。
数据恢复模块306;用于基于所述目标记录文件对数据文件执行数据恢复。
在本申请的一些实施例中,所述数据恢复装置还包括:附属存储模块。所述附属存储模块用于确认目标网络附属存储;通过网络与所述目标网络附属存储建立通信连接。所述目录生成模块302用于根据所述目标哈希值,在所述目标网络附属存储中建立具有所述预设层级的所述目标目录。
在本申请的一些实施例中,所述数据恢复装置还包括:目录存储限制模块。所述目录存储限制模块用于:设置目标存储周期和目标存储数量;以所述目标存储周期为上限,或以所述目标存储数量为下限,对所述目标目录中存储文件的最大时间跨度或最小数量进行限制。
在本申请的一些实施例中,所述文件存储模块303还包括:快照生成子模块。所述快照生成子模块用于读取快照生成周期,基于所述快照生成周期配置快照生成任务;执行所述快照生成任务,以所述快照生成周期为时间间隔对数据文件的文件状态进行检测;若所述数据文件的文件状态发生变化,读取所述数据文件在所述快照生成周期内的数据操作信息;基于所述数据操作信息生成快照,将所述快照作为历史记录文件存储至所述目标目录。
在本申请的一些实施例,所述文件匹配模块305还用于:读取各历史记录文件对应的历史时间节点;确认所述目标恢复节点在所述历史时间节点中所处的区间段,记为目标时间区间,所述目标时间区间仅包括起点和终点两个历史时间节点;根据所述目标时间区间的起点和终点对应的历史时间节点,生成节点选取消息发送至目标用户;接收由所述目标用户反馈回的确认信息,基于所述确认信息确定目标记录文件。
本申请实施例所述的数据恢复装置,通过对文件名进行哈希处理,并根据其哈希值生成对应层级的目录对文件进行保存,使文件均匀、有序地分布在存储上,其数据恢复的操作简单,无需专业的数据库管理人员操作,确定回退时间点后便能方便实施恢复步骤,且在部分数据的恢复期间,不影响对其它数据的操作。
为解决上述技术问题,本申请实施例还提供计算机设备。具体请参阅图4,图4为本实施例计算机设备基本结构框图。
所述计算机设备6包括通过系统总线相互通信连接存储器61、处理器62、网络接口63。需要指出的是,图中仅示出了具有组件61-63的计算机设备6,但是应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。其中,本技术领域技术人员可以理解,这里的计算机设备是一种能够按照事先设定或存储的指令,自动进行数值计算和/或信息处理的设备,其硬件包括但不限于微处理器、专用集成电路(ApplicationSpecific Integrated Circuit,ASIC)、可编程门阵列(Field-Programmable GateArray,FPGA)、数字处理器(Digital Signal Processor,DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器61至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中,所述存储器61可以是所述计算机设备6的内部存储单元,例如该计算机设备6的硬盘或内存。在另一些实施例中,所述存储器61也可以是所述计算机设备6的外部存储设备,例如该计算机设备6上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(FlashCard)等。当然,所述存储器61还可以既包括所述计算机设备6的内部存储单元也包括其外部存储设备。本实施例中,所述存储器61通常用于存储安装于所述计算机设备6的操作系统和各类应用软件,例如数据恢复方法的程序代码等。此外,所述存储器61还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器62在一些实施例中可以是中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器62通常用于控制所述计算机设备6的总体操作。本实施例中,所述处理器62用于运行所述存储器61中存储的程序代码或者处理数据,例如运行所述数据恢复方法的程序代码。
所述网络接口63可包括无线网络接口或有线网络接口,该网络接口63通常用于在所述计算机设备6与其他电子设备之间建立通信连接。
本申请实施例所述的计算机设备,通过处理器执行存储器中存储的计算机程序进行数据推送的功能测试时,无需通过前端操作创建任务,能够实现对大批量数据恢复要求,并减少测试时间的消耗,提升功能测试的效率,在进行数据推送测试的过程中还能方便地进行压力测试,在通过日志判断数据的推送结果时还能方便分析测试时出现的问题,以及对测试过程中出现的问题进行定位。
本申请还提供了另一种实施方式,即提供一种计算机可读存储介质,所述计算机可读存储介质存储有数据恢复程序,所述数据恢复程序可被至少一个处理器执行,以使所述至少一个处理器执行如上述的数据恢复方法的步骤。
需要强调的是,为进一步保证上述图片数据的私密和安全性,上述图片数据还可以存储于一区块链的节点中。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例所述的方法。
在本申请所提供的上述实施例中,应该理解到,所揭露的装置和方法,可以通过其他的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如,多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。
所述模块或组件可以是或者也可以不是物理上分开的,作为模块或组件显示的部件可以是或者也可以不是物理模块,既可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块或组件来实现本实施例方案的目的。
本申请不限于上述实施方式,以上所述是本申请的优选实施方式,该实施例仅用于说明本申请而不用于限制本申请的范围,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,其依然可以对前述各具体实施方式所记载的技术方案进行若干改进和修饰,或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构,直接或间接运用在其他相关的技术领域,均同理应视为包括在本申请的保护范围之内。
显然,以上所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例,附图中给出了本申请的较佳实施例,但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现,相反地,提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明,对于本领域的技术人员来而言,其依然可以对前述各具体实施方式所记载的技术方案进行修改,或者对其中部分技术特征进行等效替换。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,以及凡是利用本申请说明书及附图内容所做的等效结构,直接或间接运用在其他相关的技术领域,均同理在本申请专利保护范围之内。
本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

Claims (10)

1.一种数据恢复方法,其特征在于,包括:
获取数据文件的主键,基于所述主键对所述数据文件进行索引命名,生成对应的文件名;
对所述文件名进行哈希处理以获取目标哈希值,并读取目录的预设层级,根据所述目标哈希值和所述预设层级生成目标目录;
在所述目标目录中对所述数据文件的各历史版本的历史记录文件进行存储;
接收数据回退指令,获取目标恢复节点;
响应于所述数据回退指令,根据所述目标恢复节点从所述目标目录的所述历史记录文件中匹配出目标记录文件;
基于所述目标记录文件对数据文件执行数据恢复。
2.根据权利要求1所述的数据恢复方法,其特征在于,所述方法还包括:
确认目标网络附属存储;
通过网络与所述目标网络附属存储建立通信连接;
所述根据所述目标哈希值和所述预设层级生成目标目录的步骤包括:
根据所述目标哈希值,在所述目标网络附属存储中建立具有所述预设层级的所述目标目录。
3.根据权利要求1所述的数据恢复方法,其特征在于,所述方法还包括:
设置目标存储周期和目标存储数量;
以所述目标存储周期为上限,或以所述目标存储数量为下限,对所述目标目录中存储文件的最大时间跨度或最小数量进行限制。
4.根据权利要求1所述的数据恢复方法,其特征在于,所述在所述目标目录中对所述数据文件的各历史版本的历史记录文件进行存储的步骤还包括:
读取快照生成周期,基于所述快照生成周期配置快照生成任务;
执行所述快照生成任务,以所述快照生成周期为时间间隔对数据文件的文件状态进行检测;
若所述数据文件的文件状态发生变化,读取所述数据文件在所述快照生成周期内的数据操作信息;
基于所述数据操作信息生成快照,将所述快照作为历史记录文件存储至所述目标目录。
5.根据权利要求1所述的数据恢复方法,其特征在于,所述根据所述目标恢复节点从所述目标目录的所述历史记录文件中匹配出目标记录文件的步骤包括:
读取各历史记录文件对应的历史时间节点;
确认所述目标恢复节点在所述历史时间节点中所处的区间段,记为目标时间区间,所述目标时间区间仅包括起点和终点两个历史时间节点;
根据所述目标时间区间的起点和终点对应的历史时间节点,生成节点选取消息发送至目标用户;
接收由所述目标用户反馈回的确认信息,基于所述确认信息确定目标记录文件。
6.根据权利要求1所述的数据恢复方法,其特征在于,在所述生成对应的文件名的步骤之后,所述方法还包括:
将所述文件名存储至区块链中。
7.一种数据恢复装置,其特征在于,包括:
文件名生成模块,用于获取数据文件的主键,基于所述主键对所述数据文件进行索引命名,生成对应的文件名;
目录生成模块,用于对所述文件名进行哈希处理以获取目标哈希值,并读取目录的预设层级,根据所述目标哈希值和所述预设层级生成目标目录;
文件存储模块,用于在所述目标目录中对所述数据文件的各历史版本的历史记录文件进行存储;
指令接收模块,用于接收数据回退指令,获取目标恢复节点;
文件匹配模块,用于响应于所述数据回退指令,根据所述目标恢复节点从所述目标目录的所述历史记录文件中匹配出目标记录文件;
数据恢复模块,用于基于所述目标记录文件对数据文件执行数据恢复。
8.根据权利要求7所述的数据恢复装置,其特征在于,所述装置还包括:附属存储模块;所述附属存储模块用于:
确认目标网络附属存储;
通过网络与所述目标网络附属存储建立通信连接;
所述目录生成模块用于:
根据所述目标哈希值,在所述目标网络附属存储中建立具有所述预设层级的所述目标目录。
9.一种计算机设备,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器执行所述计算机程序时实现如权利要求1-6中任意一项所述的数据恢复方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1-6中任意一项所述的数据恢复方法的步骤。
CN202011262603.0A 2020-11-12 2020-11-12 数据恢复方法、装置、设备及存储介质 Pending CN112380057A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011262603.0A CN112380057A (zh) 2020-11-12 2020-11-12 数据恢复方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011262603.0A CN112380057A (zh) 2020-11-12 2020-11-12 数据恢复方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN112380057A true CN112380057A (zh) 2021-02-19

Family

ID=74583405

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011262603.0A Pending CN112380057A (zh) 2020-11-12 2020-11-12 数据恢复方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112380057A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113094208A (zh) * 2021-04-02 2021-07-09 上海中通吉网络技术有限公司 基于绑定接口和Binlog日志实现数据恢复的方法及系统
CN114218013A (zh) * 2021-12-13 2022-03-22 北京字节跳动网络技术有限公司 搜索方法、装置、电子设备存储介质
CN114780298A (zh) * 2022-06-16 2022-07-22 深圳市慧为智能科技股份有限公司 文件数据处理方法、装置、计算机终端及存储介质
WO2023207280A1 (zh) * 2022-04-28 2023-11-02 华为技术有限公司 一种数据恢复方法以及相关装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113094208A (zh) * 2021-04-02 2021-07-09 上海中通吉网络技术有限公司 基于绑定接口和Binlog日志实现数据恢复的方法及系统
CN113094208B (zh) * 2021-04-02 2024-04-09 上海中通吉网络技术有限公司 基于绑定接口和Binlog日志实现数据恢复的方法及系统
CN114218013A (zh) * 2021-12-13 2022-03-22 北京字节跳动网络技术有限公司 搜索方法、装置、电子设备存储介质
WO2023207280A1 (zh) * 2022-04-28 2023-11-02 华为技术有限公司 一种数据恢复方法以及相关装置
CN114780298A (zh) * 2022-06-16 2022-07-22 深圳市慧为智能科技股份有限公司 文件数据处理方法、装置、计算机终端及存储介质
CN114780298B (zh) * 2022-06-16 2022-09-06 深圳市慧为智能科技股份有限公司 文件数据处理方法、装置、计算机终端及存储介质

Similar Documents

Publication Publication Date Title
CN112380057A (zh) 数据恢复方法、装置、设备及存储介质
WO2022126974A1 (zh) 基于Kafka的增量数据同步方法、装置、设备及介质
CN103197990B (zh) 自动优先恢复及相关的装置和方法
CN111414334A (zh) 基于云技术的文件分片上传方法、装置、设备及存储介质
AU2012238127B2 (en) Recovery of tenant data across tenant moves
CN110795499B (zh) 基于大数据的集群数据同步方法、装置、设备及存储介质
CN109815746B (zh) 一种基于区块链技术的数据防篡改方法及系统
CN112035472B (zh) 数据处理方法、装置、计算机设备和存储介质
CN112380227B (zh) 基于消息队列的数据同步方法、装置、设备及存储介质
CN111475515A (zh) 失败任务的补偿管理方法、装置、计算机设备及存储介质
GB2500085A (en) Determining whether a standby database is synchronized with a primary database
US20150012494A1 (en) System and method of performing continuous backup of a data file on a computing device
CN112380067B (zh) 一种Hadoop环境下基于元数据的大数据备份系统及方法
CN112596951A (zh) 一种nas数据容灾方法、装置、设备及存储介质
CN113254445A (zh) 实时数据存储方法、装置、计算机设备及存储介质
CN111338834B (zh) 数据存储方法和装置
CN114003439B (zh) 数据备份方法、装置、设备及存储介质
CN112131049A (zh) 基于云存储的数据存储方法、装置、计算机设备及存储介质
CN104965835A (zh) 一种分布式文件系统的文件读写方法及装置
CN111475334A (zh) TiDB数据库的维护方法、装置、计算机设备及存储介质
JPWO2014170983A1 (ja) 計算機システム及び非同期レプリケーション管理方法
US8595271B1 (en) Systems and methods for performing file system checks
CN111209138A (zh) 数据存储系统的运维方法及装置
CN115543918A (zh) 一种文件快照方法、系统、电子设备及存储介质
CN112800006B (zh) 用于网络设备的日志存储方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination