CN107528872B - 一种数据恢复方法、装置及云存储系统 - Google Patents

一种数据恢复方法、装置及云存储系统 Download PDF

Info

Publication number
CN107528872B
CN107528872B CN201610464595.5A CN201610464595A CN107528872B CN 107528872 B CN107528872 B CN 107528872B CN 201610464595 A CN201610464595 A CN 201610464595A CN 107528872 B CN107528872 B CN 107528872B
Authority
CN
China
Prior art keywords
data
metadata database
index
storage node
index data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610464595.5A
Other languages
English (en)
Other versions
CN107528872A (zh
Inventor
张克涛
许爱秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201610464595.5A priority Critical patent/CN107528872B/zh
Priority to US16/312,587 priority patent/US10824372B2/en
Priority to EP17814417.6A priority patent/EP3477914B1/en
Priority to PCT/CN2017/073343 priority patent/WO2017219678A1/zh
Publication of CN107528872A publication Critical patent/CN107528872A/zh
Application granted granted Critical
Publication of CN107528872B publication Critical patent/CN107528872B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0659—Command handling arrangements, e.g. command buffers, queues, command scheduling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/59—Providing operational support to end devices by off-loading in the network or by emulation, e.g. when they are unavailable
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1469—Backup restoration techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G06F3/0641—De-duplication techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/065—Replication mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Abstract

本发明实施例公开了一种数据恢复方法、装置及云存储系统，管理节点构建空白元数据数据库，将所述元数据数据库设置为不可接入的状态；读取配置数据的备份数据，将所述备份数据添加到所述元数据数据库中；获取所述存储节点中已存储数据的索引数据，将所述索引数据添加到所述元数据数据库中；将所述元数据数据库设置为可接入的状态，以使所述元数据数据库恢复服务。由此可见，应用本方案，当元数据数据库受到损坏后，重新构建元数据数据库，并获得配置数据及索引数据，将获得的配置数据及索引数据添加到构建的新数据库中，实现了对元数据的恢复。

Description

一种数据恢复方法、装置及云存储系统
技术领域
本发明涉及云存储技术领域，特别涉及一种数据恢复方法、装置及云存储系统。
背景技术
随着科技的不断发展，云存储系统已被广泛应用。云存储系统是指通过集群应用、网络技术或分布式文件系统等功能，将网络中各种不同类型的存储设备通过应用软件集合起来协同工作，能够向用户提供数据存储和业务访问功能的一个系统。应用云存储系统，可以满足用户在任何时间、任何地点方便地存取数据。
现有的云存储系统可以包括管理节点(CVM，Cloud Video Management)、视频接入节点(CVA，Cloud Video Access)和存储节点(CVS，Cloud Video Storage)。其中，管理节点主要为云存储系统提供管理服务，并对元数据进行存储。视频接入节点主要负责视频采集，并将采集到的视频存储到存储节点上。存储节点主要负责管理存储设备，提供数据的写入，读取服务。
上述管理节点可以以元数据数据库的方式对元数据进行存储，元数据数据库中可以包括配置数据以及索引数据。其中，配置数据是指云存储系统的一些基本配置信息，比如集群中的视频接入节点的信息，集群中的存储管理节点的信息等。索引数据是指云存储系统中存储的用户写入的视频、文件、图片或其他资源的地址信息，比如存储上述资源的存储节点的设备信息、块信息、段信息等等。当用户向管理节点提交查询请求时，管理节点通过存储的索引数据将该查询请求对应的资源的地址信息返回给用户，以使用户获得该资源。
上述元数据数据库可以为分布式数据库，比如Hbase数据库。Hbase数据库是广泛应用于分布式环境中的基于Hadoop集群的数据库。Hadoop集群可以保证集群中各个节点的Hbase数据库中数据的一致性。但是，如果出现断电、断网等情况使Hadoop集群受到损坏，则Hbase数据库中的元数据将无法进行恢复。
发明内容
本发明实施例的目的在于提供一种数据恢复方法、装置及云存储系统，以解决云存储系统中的元数据无法恢复的问题。
为达到上述目的，本发明实施例公开了一种数据恢复方法，应用于云存储系统中的管理节点，所述云存储系统还包括存储节点，方法包括：
构建空白元数据数据库，将所述元数据数据库设置为不可接入的状态；
读取配置数据的备份数据，将所述备份数据添加到所述元数据数据库中；
获取所述存储节点中已存储数据的索引数据，将所述索引数据添加到所述元数据数据库中；
将所述元数据数据库设置为可接入的状态，以使所述元数据数据库恢复服务。
可选的，所述读取配置数据的备份数据，将所述备份数据添加到所述元数据数据库中，可以包括：
从第一文件中获取配置数据的备份数据；其中，所述备份数据是按照预设的存储格式存储在所述第一文件中的；
根据所述预设的存储格式，解析所述备份数据，并将解析后的数据添加到所述元数据数据库中。
可选的，所述方法还可以包括：
对添加到所述元数据数据库中的所述备份数据进行完整性检查。
可选的，所述获取所述存储节点中已存储数据的索引数据，将所述索引数据添加到所述元数据数据库中，可以包括：
读取并解析所述存储节点中的索引导出文件，其中，所述索引导出文件中存储有所述存储节点中已存储数据的索引数据的信息；
对所述索引导出文件进行解析；
根据解析结果生成所述存储节点中已存储数据的索引数据；
将所述索引数据添加到所述元数据数据库中。
可选的，所述根据解析结果生成所述存储节点中已存储数据的索引数据，可以包括：
按照预设的过滤规则对解析结果进行过滤处理；
根据过滤处理后的解析结果，生成所述存储节点中已存储数据的索引数据。
可选的，所述按照预设的过滤规则对解析结果进行过滤处理，可以包括：
对解析结果中相同的信息进行去重处理；和/或
删除解析结果中与所述备份数据不匹配的信息。
可选的，所述将所述索引数据添加到所述元数据数据库中，可以包括：
将所述索引数据存储至预设的文件中；
根据所述元数据数据库，确定导入工具；
利用所述导入工具，将所述预设文件中的数据添加到所述元数据数据库中。
为达到上述目的，本发明实施例还公开了一种数据恢复装置，应用于云存储系统中的管理节点，所述云存储系统还包括存储节点，包括：
构建模块，用于构建空白元数据数据库，将所述元数据数据库设置为不可接入的状态；
第一添加模块，用于读取配置数据的备份数据，将所述备份数据添加到所述元数据数据库中；
第二添加模块，用于获取所述存储节点中已存储数据的索引数据，将所述索引数据添加到所述元数据数据库中；
设置模块，用于将所述元数据数据库设置为可接入的状态，以使所述元数据数据库恢复服务。
可选的，所述第一添加模块，可以包括：
第一获取子模块，用于从第一文件中获取配置数据的备份数据；其中，所述备份数据是按照预设的存储格式存储在所述第一文件中的；
第一添加子模块，用于根据所述预设的存储格式，解析所述备份数据，并将解析后的数据添加到所述元数据数据库中。
可选的，所述装置还可以包括：
检查模块，用于对添加到所述元数据数据库中的所述备份数据进行完整性检查。
可选的，所述第二添加模块，可以包括：
读取解析子模块，用于读取并解析所述存储节点中的索引导出文件，其中，所述索引导出文件中存储有所述存储节点中已存储数据的索引数据的信息；
生成子模块，用于根据解析结果生成所述存储节点中已存储数据的索引数据；
第二添加子模块，用于将所述索引数据添加到所述元数据数据库中。
可选的，所述生成子模块，具体可以用于：
按照预设的过滤规则对解析结果进行过滤处理；
根据过滤处理后的解析结果，生成所述存储节点中已存储数据的索引数据。
可选的，所述生成子模块，具体可以用于：
对解析结果中相同的信息进行去重处理；和/或
删除解析结果中与所述备份数据不匹配的信息；
根据过滤处理后的解析结果，生成所述存储节点中已存储数据的索引数据。
可选的，所述第二添加子模块，具体可以用于：
将所述索引数据存储至预设的文件中；
根据所述元数据数据库，确定导入工具；
利用所述导入工具，将所述预设文件中的数据添加到所述元数据数据库中。
为达到上述目的，本发明实施例还公开了一种云存储系统，包括：管理节点和存储节点，其中，
所述管理节点，用于构建空白元数据数据库，将所述元数据数据库设置为不可接入的状态；读取配置数据的备份数据，将所述备份数据添加到所述元数据数据库中；从所述存储节点中获取所述存储节点中已存储数据的索引数据，将所述索引数据添加到所述元数据数据库中；将所述元数据数据库设置为可接入的状态，以使所述元数据数据库恢复服务；
所述存储节点，用于获得已存储数据的索引数据，将所述索引数据发送给所述管理节点。
应用本发明实施例，管理节点构建空白元数据数据库，将所述元数据数据库设置为不可接入的状态；读取配置数据的备份数据，将所述备份数据添加到所述元数据数据库中；获取所述存储节点中已存储数据的索引数据，将所述索引数据添加到所述元数据数据库中；将所述元数据数据库设置为可接入的状态，以使所述元数据数据库恢复服务。由此可见，应用本方案，当元数据数据库受到损坏后，重新构建元数据数据库，并获得配置数据及索引数据，将获得的配置数据及索引数据添加到构建的新数据库中，实现了对元数据的恢复。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种数据恢复方法的流程示意图；
图2为本发明实施例提供的一种数据恢复装置的结构示意图；
图3为本发明实施例提供的一种云存储系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了解决上述技术问题，本发明实施例提供了一种数据恢复方法、装置及云存储系统。其中，数据恢复方法及装置应用于云存储系统中的管理节点，所述云存储系统可以如图3所示，包括管理节点301和存储节点302，当然还可以包括视频接入节点等，在此不做限制。管理节点以元数据数据库的方式对元数据进行存储。
下面首先对本发明实施例提供的数据恢复方法进行详细说明。
图1为本发明实施例提供的一种数据恢复方法的流程示意图，包括：
S101：构建空白元数据数据库，将所述元数据数据库设置为不可接入的状态。
当出现断电、断网等情况时，元数据数据库受到损坏，需要重新构建元数据数据库。作为本发明的一种实施方式，当恢复供电或者网络重新连接时，可以自动触发管理节点执行本发明实施例提供的数据恢复方法。当然，也可以人工触发本发明实施例提供的数据恢复方法，在此不做限制。
另外，重新构建的元数据数据库是空白元数据数据库，由于空白元数据数据库中不包含任何信息，且重构元数据数据库的过程中，元数据数据库中所包含的数据不全，为防止元数据数据库提供错误的数据，在重构元数据数据完成前不能与视频接入节点或存储节点等相连接，也就是不能对外提供服务，因此，需要修改该空白元数据数据库对外提供服务的IP地址，将该元数据数据库设置为不可接入的状态，避免视频接入节点，存储节点连接过来对外提供服务。
S102：读取配置数据的备份数据，将所述备份数据添加到所述元数据数据库中。
配置数据的特点是数据量少，修改频率较低。因此，管理节点可以每隔预设时间段或者当配置数据发生改变时，对上述配置数据进行备份，将上述配置数据的备份数据存储至预设的文件中，例如，/home/backup.txt。
具体的，在本发明所示实施例中，本步骤可以包括：
从第一文件中获取配置数据的备份数据；其中，所述备份数据是按照预设的存储格式存储在所述第一文件中的；
根据所述预设的存储格式，解析所述备份数据，并将解析后的数据添加到所述元数据数据库中。
上述第一文件可以理解为预设的文件。作为本发明的一种实施方式，存储格式可以根据第一文件的属性信息确定，上述预设的存储格式可以如下所示：
Figure BDA0001025187130000071
管理节点构建空白元数据数据库后，从上述/home/backup.txt中获取配置数据的备份数据。由于上述备份数据是按照预设的存储格式进行存储的，因而，需要根据该预设的存储格式对获取的备份数据进行解析。将解析后得到的配置数据添加到构建的元数据数据库中。
由于配置数据数据量少，修改频率较低，对配置数据进行备份存储，并不占用太多资源，而且在重建元数据数据库时，可以直接将配置数据的备份数据添加到元数据数据库中，简化了配置数据的恢复操作。
作为本发明的一种实施方式，可以对添加到该元数据数据库中的备份数据进行完整性检查，当检查不通过时，可以发送提示信息，以提示相关人员进行处理。
S103：获取所述存储节点中已存储数据的索引数据，将所述索引数据添加到所述元数据数据库中。
索引数据是指云存储系统中存储的用户写入的视频、文件、图片或其他资源的地址信息。索引数据的数据量很大，而且只要有用户在云存储系统中写入新的数据，索引数据就会发生变更。如果对索引数据也进行备份存储，会占用非常大的资源，而且频繁地对备份数据进行更新很可能导致系统崩溃。因此，对索引数据采取另一种存储方式。
具体的，在本发明所示实施例中，本步骤可以包括：
读取并解析所述存储节点中的索引导出文件，其中，所述索引导出文件中存储有所述存储节点中已存储数据的索引数据的信息；
根据解析结果生成所述存储节点中已存储数据的索引数据；
将所述索引数据添加到所述元数据数据库中。
在本发明所示实施例中，可以在存储节点中运行索引导出功能单元，该索引导出功能单元通过与存储节点的信令交互获取到该存储节点中已存储数据的索引数据。具体的，该索引导出功能单元可以连接存储节点的通信端口8527，通过该通信端口获取该存储节点中的索引数据。然后将获取到的索引数据以固定的格式存储到索引导出文件中，该索引导出文件可以为/home/index_vsid.txt。
可以理解的是，存储节点中可以运行有文件管理系统，文件管理系统中可以存储有该存储节点中已存储的所有数据的索引数据，索引导出功能单元可以通过文件管理系统获取索引数据。
管理节点到存储节点中读取上述索引导出文件。由于索引数据是以固定的格式存储在索引导出文件中，因此可以利用该格式对索引导出文件进行解析，然后依照该格式，将该解析结果中包含的索引数据，顺序输入元数据数据库，或者，根据解析结果重新构建(即重构)该存储节点中已存储数据的索引数据，将重新构建后的索引数据存入元数据数据库中。重新构建的过程可以理解为，依照预设的映射关系或者预设规则，将解析出的索引数据的存储格式或存储顺序进行调整，以使得调整后的索引数据能够与元数据数据库匹配。具体的，可以将解析后的索引数据重新构建为tsv_data.txt，将tsv_data.txt添加到该元数据数据库中。
由于索引数据数据量大，修改频率高，因此不对索引数据进行备份存储，而是由存储节点将自身设备中已存储数据的索引数据存储到索引导出文件中。这样，无需备份索引数据，只需在重建元数据数据库时，管理节点根据索引导出文件，重构索引数据，将重构的索引数据添加到元数据数据库中，降低了数据备份的数据量和频率。
在本发明所示实施例中，根据解析结果生成所述存储节点中已存储数据的索引数据，可以包括：
按照预设的过滤规则对解析结果进行过滤处理；
根据过滤处理后的解析结果，生成所述存储节点中已存储数据的索引数据。
解析结果即为解析后得到的索引数据，解析后得到的索引数据中可能存在冗余或者失效的索引数据。因此，可以先将索引数据进行过滤，然后根据过滤后的索引数据重构该存储节点中已存储数据的索引数据。
具体的，按照预设的过滤规则对解析结果进行过滤处理，可以包括：
对解析结果中相同的信息进行去重处理；和/或
删除解析结果中与所述备份数据不匹配的信息。
如果解析后得到的索引数据中存在冗余信息，则对相同的信息进行去重处理。另外，可以根据添加到元数据数据库中的配置数据的备份数据，验证索引数据是否有效，如果索引数据与该备份数据不匹配，则表示索引数据已失效。比如，配置数据的备份数据中显示某视频接入节点已经不存在，而索引数据中仍包括该视频接入节点对应的索引数据，则表示该视频接入节点对应的索引数据已失效。删除失效的索引数据。
在本发明所示实施例中，将索引数据添加到元数据数据库中，可以包括：
将所述索引数据存储至预设的文件中；
根据所述元数据数据库，确定导入工具；
利用所述导入工具，将所述预设文件中的数据添加到所述元数据数据库中。
预设的文件可以为上述tsv_data.txt。通常情况下，元数据数据库会自带导入工具。利用自带导入工具将数据导入到元数据数据库比批量导入数据速度更快，效率更高。因此，可以根据元数据数据库，确定导入工具。比如，hbase数据库自带的导入工具为importtsv。利用importtsv，将tsv_data.txt添加到hbase数据库中。当然也可以利用第三方导入工具，将数据导入到元数据数据库，在此不做限制。
S104：将所述元数据数据库设置为可接入的状态，以使所述元数据数据库恢复服务。
经过上述步骤，将配置数据及索引数据添加到构建的元数据数据库中，该元数据数据库已经可以与视频接入节点或存储节点等相连接以提供对外服务，因此，需要将该元数据数据库对外提供服务的IP地址重新修改为可接入的状态。这样，就完成了元数据数据库的恢复。
应用本发明图1所示实施例，管理节点构建空白元数据数据库，将所述元数据数据库设置为不可接入的状态；读取配置数据的备份数据，将所述备份数据添加到所述元数据数据库中；获取所述存储节点中已存储数据的索引数据，将所述索引数据添加到所述元数据数据库中；将所述元数据数据库设置为可接入的状态，以使所述元数据数据库恢复服务。由此可见，应用本方案，当元数据数据库受到损坏后，重新构建元数据数据库，并获得配置数据及索引数据，将获得的配置数据及索引数据添加到构建的新数据库中，实现了对元数据的恢复。
与上述的方法实施例相对应，本发明实施例还提供一种数据恢复装置。
图2为本发明实施例提供的一种数据恢复装置的结构示意图，包括：
构建模块201，用于构建空白元数据数据库，将所述元数据数据库设置为不可接入的状态；
第一添加模块202，用于读取配置数据的备份数据，将所述备份数据添加到所述元数据数据库中；
第二添加模块203，用于获取所述存储节点中已存储数据的索引数据，将所述索引数据添加到所述元数据数据库中；
设置模块204，用于将所述元数据数据库设置为可接入的状态，以使所述元数据数据库恢复服务。
在本发明所示实施例中，第一添加模块，可以包括：第一获取子模块和第一添加子模块(图中未示出)，其中，
第一获取子模块，用于从第一文件中获取配置数据的备份数据；其中，所述备份数据是按照预设的存储格式存储在所述第一文件中的；
第一添加子模块，用于根据所述预设的存储格式，解析所述备份数据，并将解析后的数据添加到所述元数据数据库中。
在本发明所示实施例中，所述装置还可以包括：
检查模块(图中未示出)，用于对添加到所述元数据数据库中的所述备份数据进行完整性检查。
在本发明所示实施例中，第二添加模块203，可以包括：读取解析子模块、生成子模块和第二添加子模块(图中未示出)，其中，
读取解析子模块，用于读取并解析所述存储节点中的索引导出文件，其中，所述索引导出文件中存储有所述存储节点中已存储数据的索引数据的信息；
生成子模块，用于根据解析结果生成所述存储节点中已存储数据的索引数据；
第二添加子模块，用于将所述索引数据添加到所述元数据数据库中。
在本发明所示实施例中，所述生成子模块，具体可以用于：
按照预设的过滤规则对解析结果进行过滤处理；
根据过滤处理后的解析结果，生成所述存储节点中已存储数据的索引数据。
在本发明所示实施例中，所述生成子模块，具体可以用于：
对解析结果中相同的信息进行去重处理；和/或
删除解析结果中与所述备份数据不匹配的信息；
根据过滤处理后的解析结果，生成所述存储节点中已存储数据的索引数据。
在本发明所示实施例中，所述第二添加子模块，具体可以用于：
将所述索引数据存储至预设的文件中；
根据所述元数据数据库，确定导入工具；
利用所述导入工具，将所述预设文件中的数据添加到所述元数据数据库中。
应用本发明图2所示实施例，管理节点构建空白元数据数据库，将所述元数据数据库设置为不可接入的状态；读取配置数据的备份数据，将所述备份数据添加到所述元数据数据库中；获取所述存储节点中已存储数据的索引数据，将所述索引数据添加到所述元数据数据库中；将所述元数据数据库设置为可接入的状态，以使所述元数据数据库恢复服务。由此可见，应用本方案，当元数据数据库受到损坏后，重新构建元数据数据库，并获得配置数据及索引数据，将获得的配置数据及索引数据添加到构建的新数据库中，实现了对元数据的恢复。
图3为本发明实施例提供的一种云存储系统的结构示意图，包括：
管理节点301，用于构建空白元数据数据库，将所述元数据数据库设置为不可接入的状态；读取配置数据的备份数据，将所述备份数据添加到所述元数据数据库中；从所述存储节点中获取所述存储节点中已存储数据的索引数据，将所述索引数据添加到所述元数据数据库中；将所述元数据数据库设置为可接入的状态，以使所述元数据数据库恢复服务。
存储节点302，用于获得已存储数据的索引数据，将所述索引数据发送给所述管理节点。
在本发明所示实施例中，管理节点301还可以用于：
从第一文件中获取配置数据的备份数据；其中，所述备份数据是按照预设的存储格式存储在所述第一文件中的；
根据所述预设的存储格式，解析所述备份数据，并将解析后的数据添加到所述元数据数据库中。
在本发明所示实施例中，管理节点301还可以用于：
对添加到所述元数据数据库中的所述备份数据进行完整性检查。
在本发明所示实施例中，管理节点301还可以用于：
读取并解析所述存储节点中的索引导出文件，其中，所述索引导出文件中存储有所述存储节点中已存储数据的索引数据的信息；
根据解析结果生成所述存储节点中已存储数据的索引数据；
将所述索引数据添加到所述元数据数据库中。
在本发明所示实施例中，管理节点301还可以用于：
按照预设的过滤规则对解析结果进行过滤处理；
根据过滤处理后的解析结果，生成所述存储节点中已存储数据的索引数据。
在本发明所示实施例中，管理节点301还可以用于：
对解析结果中相同的信息进行去重处理；和/或
删除解析结果中与所述备份数据不匹配的信息。
在本发明所示实施例中，管理节点301还可以用于：
将所述索引数据存储至预设的文件中；
根据所述元数据数据库，确定导入工具；
利用所述导入工具，将所述预设文件中的数据添加到所述元数据数据库中。
应用本发明图3所示实施例，管理节点构建空白元数据数据库，将所述元数据数据库设置为不可接入的状态；读取配置数据的备份数据，将所述备份数据添加到所述元数据数据库中；获取所述存储节点中已存储数据的索引数据，将所述索引数据添加到所述元数据数据库中；将所述元数据数据库设置为可接入的状态，以使所述元数据数据库恢复服务。由此可见，应用本方案，当元数据数据库受到损坏后，重新构建元数据数据库，并获得配置数据及索引数据，将获得的配置数据及索引数据添加到构建的新数据库中，实现了对元数据的恢复。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述方法实施方式中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机可读取存储介质中，这里所称得的存储介质，如：ROM/RAM、磁碟、光盘等。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (13)

1.一种数据恢复方法，应用于云存储系统中的管理节点，所述云存储系统还包括存储节点，其特征在于，包括：
构建空白元数据数据库，将所述元数据数据库设置为不可接入的状态；
读取配置数据的备份数据，将所述备份数据添加到所述元数据数据库中；
读取并解析所述存储节点中的索引导出文件，其中，所述索引导出文件中存储有所述存储节点中已存储数据的索引数据的信息；
根据解析结果生成所述存储节点中已存储数据的索引数据；
将所述索引数据添加到所述元数据数据库中；
将所述元数据数据库设置为可接入的状态，以使所述元数据数据库恢复服务。
2.根据权利要求1所述的方法，其特征在于，所述读取配置数据的备份数据，将所述备份数据添加到所述元数据数据库中，包括：
从第一文件中获取配置数据的备份数据；其中，所述备份数据是按照预设的存储格式存储在所述第一文件中的；
根据所述预设的存储格式，解析所述备份数据，并将解析后的数据添加到所述元数据数据库中。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对添加到所述元数据数据库中的所述备份数据进行完整性检查。
4.根据权利要求1所述的方法，其特征在于，所述根据解析结果生成所述存储节点中已存储数据的索引数据，包括：
按照预设的过滤规则对解析结果进行过滤处理；
根据过滤处理后的解析结果，生成所述存储节点中已存储数据的索引数据。
5.根据权利要求4所述的方法，其特征在于，所述按照预设的过滤规则对解析结果进行过滤处理，包括：
对解析结果中相同的信息进行去重处理；和/或
删除解析结果中与所述备份数据不匹配的信息。
6.根据权利要求1所述的方法，其特征在于，所述将所述索引数据添加到所述元数据数据库中，包括：
将所述索引数据存储至预设的文件中；
根据所述元数据数据库，确定导入工具；
利用所述导入工具，将所述预设文件中的数据添加到所述元数据数据库中。
7.一种数据恢复装置，应用于云存储系统中的管理节点，所述云存储系统还包括存储节点，其特征在于，包括：
构建模块，用于构建空白元数据数据库，将所述元数据数据库设置为不可接入的状态；
第一添加模块，用于读取配置数据的备份数据，将所述备份数据添加到所述元数据数据库中；
第二添加模块，所述第二添加模块，包括：
读取解析子模块，用于读取并解析所述存储节点中的索引导出文件，其中，所述索引导出文件中存储有所述存储节点中已存储数据的索引数据的信息；
生成子模块，用于根据解析结果生成所述存储节点中已存储数据的索引数据；
第二添加子模块，用于将所述索引数据添加到所述元数据数据库中；
设置模块，用于将所述元数据数据库设置为可接入的状态，以使所述元数据数据库恢复服务。
8.根据权利要求7所述的装置，其特征在于，所述第一添加模块，包括：
第一获取子模块，用于从第一文件中获取配置数据的备份数据；其中，所述备份数据是按照预设的存储格式存储在所述第一文件中的；
第一添加子模块，用于根据所述预设的存储格式，解析所述备份数据，并将解析后的数据添加到所述元数据数据库中。
9.根据权利要求7所述的装置，其特征在于，所述装置还包括：
检查模块，用于对添加到所述元数据数据库中的所述备份数据进行完整性检查。
10.根据权利要求7所述的装置，其特征在于，所述生成子模块，具体用于：
按照预设的过滤规则对解析结果进行过滤处理；
根据过滤处理后的解析结果，生成所述存储节点中已存储数据的索引数据。
11.根据权利要求7所述的装置，其特征在于，所述生成子模块，具体用于：
对解析结果中相同的信息进行去重处理；和/或
删除解析结果中与所述备份数据不匹配的信息；
根据过滤处理后的解析结果，生成所述存储节点中已存储数据的索引数据。
12.根据权利要求7所述的装置，其特征在于，所述第二添加子模块，具体用于：
将所述索引数据存储至预设的文件中；
根据所述元数据数据库，确定导入工具；
利用所述导入工具，将所述预设文件中的数据添加到所述元数据数据库中。
13.一种云存储系统，其特征在于，包括：管理节点和存储节点，其中，
所述管理节点，用于构建空白元数据数据库，将所述元数据数据库设置为不可接入的状态；读取配置数据的备份数据，将所述备份数据添加到所述元数据数据库中；读取并解析所述存储节点中的索引导出文件，其中，所述索引导出文件中存储有所述存储节点中已存储数据的索引数据的信息；根据解析结果生成所述存储节点中已存储数据的索引数据；将所述索引数据添加到所述元数据数据库中；将所述元数据数据库设置为可接入的状态，以使所述元数据数据库恢复服务；
所述存储节点，用于获得已存储数据的索引数据，将所述索引数据发送给所述管理节点。
CN201610464595.5A 2016-06-22 2016-06-22 一种数据恢复方法、装置及云存储系统 Active CN107528872B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201610464595.5A CN107528872B (zh) 2016-06-22 2016-06-22 一种数据恢复方法、装置及云存储系统
US16/312,587 US10824372B2 (en) 2016-06-22 2017-02-13 Data recovery method and device, and cloud storage system
EP17814417.6A EP3477914B1 (en) 2016-06-22 2017-02-13 Data recovery method and device, and cloud storage system
PCT/CN2017/073343 WO2017219678A1 (zh) 2016-06-22 2017-02-13 一种数据恢复方法、装置及云存储系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610464595.5A CN107528872B (zh) 2016-06-22 2016-06-22 一种数据恢复方法、装置及云存储系统

Publications (2)

Publication Number Publication Date
CN107528872A CN107528872A (zh) 2017-12-29
CN107528872B true CN107528872B (zh) 2020-07-24

Family

ID=60735198

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610464595.5A Active CN107528872B (zh) 2016-06-22 2016-06-22 一种数据恢复方法、装置及云存储系统

Country Status (4)

Country Link
US (1) US10824372B2 (zh)
EP (1) EP3477914B1 (zh)
CN (1) CN107528872B (zh)
WO (1) WO2017219678A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11061713B2 (en) * 2017-08-07 2021-07-13 Datto, Inc. Prioritization and source-nonspecific based virtual machine recovery apparatuses, methods and systems
US11061776B2 (en) * 2017-08-07 2021-07-13 Datto, Inc. Prioritization and source-nonspecific based virtual machine recovery apparatuses, methods and systems
CN108183966A (zh) * 2018-01-15 2018-06-19 江苏冠达通电子科技有限公司 一种云储存系统
CN108681558B (zh) * 2018-04-10 2021-08-06 创新先进技术有限公司 一种数据回滚方法、装置、及终端
CN111143158B (zh) * 2019-12-04 2023-05-16 武汉光谷信息技术股份有限公司 一种监控数据实时存储方法、系统、电子设备及存储介质
CN110990664B (zh) * 2019-12-16 2023-05-23 云赛智联股份有限公司 一种大数据运营管理系统
CN111104259B (zh) * 2019-12-23 2022-08-12 厦门市美亚柏科信息股份有限公司 一种数据库恢复方法、装置及存储介质
CN111638995A (zh) * 2020-05-08 2020-09-08 杭州海康威视系统技术有限公司 元数据备份方法、装置及设备、存储介质
CN112131281A (zh) * 2020-09-29 2020-12-25 华中科技大学 一种高校教师的教学科研数据采集管理系统
CN112328583A (zh) * 2020-10-29 2021-02-05 北京东方耀阳信息技术有限公司 一种时空数据管理方法
US11113915B1 (en) * 2020-11-13 2021-09-07 Mark Ellery Ogram Vote counting station
US20230004462A1 (en) * 2021-06-30 2023-01-05 Microsoft Technology Licensing, Llc Persistently storing metadata associated with a backup of data in a source database
CN113556252B (zh) * 2021-07-23 2023-06-06 中信银行股份有限公司 一种网络设备基线配置检查与修复的方法和系统
US11675812B1 (en) 2022-09-29 2023-06-13 Fmr Llc Synchronization of metadata between databases in a cloud computing environment

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7725428B1 (en) * 2002-03-14 2010-05-25 Novell, Inc. System and method for restoring a database in a distributed database system
CN103729436A (zh) * 2013-12-27 2014-04-16 中国科学院信息工程研究所 一种分布式元数据管理方法及系统
CN103761161A (zh) * 2013-12-31 2014-04-30 华为技术有限公司 恢复数据的方法、服务器及系统
CN105515823A (zh) * 2015-11-24 2016-04-20 上海斐讯数据通信技术有限公司 网元数据恢复方法、装置及系统
CN105608155A (zh) * 2015-12-17 2016-05-25 北京华油信通科技有限公司 海量数据分布式存储系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101577735B (zh) 2009-06-24 2012-04-25 成都市华为赛门铁克科技有限公司 一种接管故障元数据服务器的方法、装置及系统
US20100333116A1 (en) * 2009-06-30 2010-12-30 Anand Prahlad Cloud gateway system for managing data storage to cloud storage sites
GB2531295A (en) * 2014-10-15 2016-04-20 Ibm A data block based backup method
CN105095439A (zh) 2015-07-23 2015-11-25 浙江立元通信技术股份有限公司 一种图片专属安全存储云系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7725428B1 (en) * 2002-03-14 2010-05-25 Novell, Inc. System and method for restoring a database in a distributed database system
CN103729436A (zh) * 2013-12-27 2014-04-16 中国科学院信息工程研究所 一种分布式元数据管理方法及系统
CN103761161A (zh) * 2013-12-31 2014-04-30 华为技术有限公司 恢复数据的方法、服务器及系统
CN105515823A (zh) * 2015-11-24 2016-04-20 上海斐讯数据通信技术有限公司 网元数据恢复方法、装置及系统
CN105608155A (zh) * 2015-12-17 2016-05-25 北京华油信通科技有限公司 海量数据分布式存储系统

Also Published As

Publication number Publication date
EP3477914A1 (en) 2019-05-01
US20190324691A1 (en) 2019-10-24
CN107528872A (zh) 2017-12-29
WO2017219678A1 (zh) 2017-12-28
US10824372B2 (en) 2020-11-03
EP3477914A4 (en) 2019-05-08
EP3477914B1 (en) 2020-10-14

Similar Documents

Publication Publication Date Title
CN107528872B (zh) 一种数据恢复方法、装置及云存储系统
US10621050B2 (en) Method and apparatus for restoring data from snapshots
CN107256182B (zh) 一种数据库还原的方法及设备
CN107977396B (zh) 一种KeyValue数据库的数据表的更新方法与表数据更新装置
US11093387B1 (en) Garbage collection based on transmission object models
US8321487B1 (en) Recovery of directory information
WO2016029744A1 (zh) 一种元数据恢复方法及相关装置
US20200364239A1 (en) Asynchronous replication of in-scope table data
CN103716384A (zh) 跨数据中心实现云存储数据同步的方法和装置
CN109165112B (zh) 一种元数据集群的故障恢复方法、系统及相关组件
US20220214814A1 (en) Cross-platform replication of logical units
CN113779092B (zh) 基于数据仓库的实时数据展示方法、装置、设备及介质
CN113157487A (zh) 数据恢复方法及其设备
CN102594874B (zh) 一种同步处理方法和装置
CN109947730A (zh) 元数据恢复方法、装置、分布式文件系统及可读存储介质
CN107168642B (zh) 一种数据存储方法及系统
CN112115206A (zh) 一种处理对象存储元数据的方法和装置
CN111966650B (zh) 一种运维大数据共享数据表的处理方法、装置及存储介质
CN111753141A (zh) 一种数据管理方法及相关设备
CN104281503A (zh) 一种数据备份方法以及相关系统
CN114780525A (zh) 一种面向教育领域全生命周期的数据治理平台
CN109525649B (zh) 一种zookeeper客户端的数据处理方法及装置
US11645333B1 (en) Garbage collection integrated with physical file verification
CN110888847A (zh) 一种回收站系统及文件回收方法
CN111770158A (zh) 云平台恢复方法、装置、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant