CN107391303B - 数据处理方法、装置、系统、服务器及计算机存储介质 - Google Patents

数据处理方法、装置、系统、服务器及计算机存储介质 Download PDF

Info

Publication number
CN107391303B
CN107391303B CN201710555162.5A CN201710555162A CN107391303B CN 107391303 B CN107391303 B CN 107391303B CN 201710555162 A CN201710555162 A CN 201710555162A CN 107391303 B CN107391303 B CN 107391303B
Authority
CN
China
Prior art keywords
data
storage system
intermediate storage
child node
backup
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710555162.5A
Other languages
English (en)
Other versions
CN107391303A (zh
Inventor
张恒
杨挺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qihoo Technology Co Ltd
Original Assignee
Beijing Qihoo Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qihoo Technology Co Ltd filed Critical Beijing Qihoo Technology Co Ltd
Priority to CN201710555162.5A priority Critical patent/CN107391303B/zh
Publication of CN107391303A publication Critical patent/CN107391303A/zh
Priority to PCT/CN2018/079242 priority patent/WO2019001021A1/zh
Application granted granted Critical
Publication of CN107391303B publication Critical patent/CN107391303B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1464—Management of the backup or restore process for networked environments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G06F16/184—Distributed file systems implemented as replicated file system
    • G06F16/1844—Management specifically adapted to replicated file systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Retry When Errors Occur (AREA)

Abstract

本发明公开了一种数据处理方法、装置、系统、服务器及计算机存储介质，应用于包括一个主节点和多个子节点的数据存储系统。其中，方法由各个子节点并行执行，包括：根据数据备份请求，启动用于连接子节点与中间存储系统的数据备份服务，其中，数据备份服务预先配置有用于将数据备份至中间存储系统中的指定路径；读取以数据表形式分布式存储于子节点中的数据，根据指定路径，通过数据备份服务将数据以数据文件的形式备份至中间存储系统中，由于采用了并行方式将存储于子节点的数据备份至中间存储系统中，因此，提高了数据备份效率，节省时间；数据备份至中间存储系统中，而不是离散地备份至子节点本地，方便集中管理，且提高了安全性。

Description

数据处理方法、装置、系统、服务器及计算机存储介质
技术领域
本发明涉及计算机技术领域，具体涉及一种数据处理方法、装置、系统、服务器及计算机存储介质。
背景技术
随着信息技术的不断发展，分布式数据存储系统随之出现，分布式存储系统满足了大规模数据存储的需求。分布式存储系统通常包含不同节点，其中，节点可以为同一机房不同机柜中的节点，机房可以为不同地点的机房。在实际应用中，当节点的磁盘失效或者损坏时，存储在节点中的数据会丢失。为了保证数据的安全性，在分布式存储系统中，需要对数据进行备份。
对于包含一个主节点和多个子节点的分布式数据存储系统，例如， Greenplum数据存储系统，一般只支持将数据备份到节点本地，由各个子节点将数据备份至子节点本地，或者通过主节点进行数据备份。
由各个子节点将数据备份至子节点本地会出现以下问题：数据是离散存储在各个子节点本地的，如果有一个子节点宕机，数据就不完整了；如果将离散的数据拷出，集中存储，一旦需要恢复全部数据时，要将数据按照相对应的路径拷到本地的目录下面，流程复杂。
而通过主节点进行数据备份时会出现数据备份速度慢，性能差等问题。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的数据处理方法、数据处理装置、数据处理系统、服务器及计算机存储介质。
根据本发明的一个方面，提供了一种数据处理方法，应用于包括一个主节点和多个子节点的数据存储系统，方法由各个子节点并行执行，包括：
根据数据备份请求，启动用于连接子节点与中间存储系统的数据备份服务，其中，数据备份服务预先配置有用于将数据备份至中间存储系统中的指定路径；
读取以数据表形式分布式存储于子节点中的数据，根据指定路径，通过数据备份服务将数据以数据文件的形式备份至中间存储系统中。
根据本发明的另一方面，提供了一种数据处理装置，应用于包括一个主节点和多个子节点的数据存储系统，各个子节点中的数据处理装置并行运行，装置包括：
数据备份服务启动模块，适于根据数据备份请求，启动用于连接子节点与中间存储系统的数据备份服务，其中，数据备份服务预先配置有用于将数据备份至中间存储系统中的指定路径；
第一读取模块，适于读取以数据表形式分布式存储于子节点中的数据；
备份模块，适于根据指定路径，通过数据备份服务将数据以数据文件的形式备份至中间存储系统中。
根据本发明的另一方面，提供了一种数据处理系统，包括上述数据处理装置和中间存储系统；
中间存储系统，适于以数据文件的形式存储数据处理装置通过所述数据备份服务进行备份的数据。
根据本发明的又一方面，提供了一种服务器，包括：处理器、存储器、通信接口和通信总线，处理器、存储器和通信接口通过通信总线完成相互间的通信；
存储器用于存放至少一可执行指令，可执行指令使处理器执行上述数据处理方法对应的操作。
根据本发明的再一方面，提供了一种计算机存储介质，存储介质中存储有至少一可执行指令，可执行指令使处理器执行如上述数据处理方法对应的操作。
根据本发明提供的方案，根据数据备份请求，启动用于连接子节点与中间存储系统的数据备份服务，其中，数据备份服务预先配置有用于将数据备份至中间存储系统中的指定路径；读取以数据表形式分布式存储于子节点中的数据，根据指定路径，通过数据备份服务将数据以数据文件的形式备份至中间存储系统中。基于本发明实施例的方案，由于采用了并行方式将存储于子节点的数据备份至中间存储系统中，因此，提高了数据备份效率，节省时间；另外，数据备份至中间存储系统中，而不是离散地备份至子节点本地，方便集中管理，且提高了安全性，同时还避免了子节点宕机而导致的数据不完整的缺陷。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了根据本发明实施例一的一种数据处理方法的流程示意图；
图2示出了根据本发明实施例二的一种数据处理方法的流程示意图；
图3示出了根据本发明实施例三的一种数据处理装置的结构示意图；
图4示出了根据本发明实施例四的一种数据处理装置的结构示意图；
图5示出了根据本发明实施例五的一种数据处理系统的结构示意图；
图6示出了根据本发明实施例七的一种服务器的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
实施例一
图1示出了根据本发明实施例一的一种数据处理方法的流程示意图。该方法应用于包括一个主节点和多个子节点的数据存储系统，且该方法由各个子节点并行执行，如图1所示，该方法包括以下步骤：
步骤S100，根据数据备份请求，启动用于连接子节点与中间存储系统的数据备份服务。
其中，数据备份服务预先配置有用于将数据备份至中间存储系统中的指定路径。
其中，中间存储系统用于存储各个子节点备份的数据，是独立于数据存储系统的存储系统，中间存储系统是一种分布式文件系统，具有带宽大，容量大，I/O吞吐量大等优点，因此，能够支持数据存储系统的各个子节点并行地将数据备份至中间存储系统中。
在接收到数据备份请求后，每个子节点根据数据备份请求，启动用于连接该子节点与中间存储系统的数据备份服务，其中，启动的数据备份服务的数量与子节点的数量相同，且每个子节点对应一个数据备份服务，例如，数据存储系统有10个子节点，则需要启动10个数据备份服务，每个子节点通过启动的数据备份服务将数据备份至中间存储系统。
针对该数据备份服务预先设置有配置文件，数据备份服务通过读取该配置文件，可以获取到用于将数据备份至中间存储系统中的指定路径，其中，该指定路径指明了数据在中间存储系统中的存储路径。
步骤S101，读取以数据表形式分布式存储于子节点中的数据，根据指定路径，通过数据备份服务将数据以数据文件的形式备份至中间存储系统中。
在本发明实施例中，针对一个数据表，每个子节点仅存储该数据表的部分数据，一个数据表的数据分布式存储于各个子节点中，举例说明，数据存储系统包括一个主节点和10个子节点，数据表A的数据分布式存储于10个子节点中，表示为A1、A2......A10，每个子节点可以存储有大量的数据表的数据，例如，节点1可以存储有数据表A、B、C、D的部分数据，例如，A1、 B1、C1、D1，子节点可以读取一个数据表或多个数据表的数据，例如，读取数据A1、B1、C1，然后，根据指定路径，通过启动的数据备份服务将数据以数据文件的形式备份至中间存储系统中。
根据本发明上述实施例提供的方法，根据数据备份请求，启动用于连接子节点与中间存储系统的数据备份服务，其中，数据备份服务预先配置有用于将数据备份至中间存储系统中的指定路径；读取以数据表形式分布式存储于子节点中的数据，根据指定路径，通过数据备份服务将数据以数据文件的形式备份至中间存储系统中。基于本发明实施例的方案，由于采用了并行方式将存储于子节点的数据备份至中间存储系统中，因此，提高了数据备份效率，节省时间；另外，数据备份至中间存储系统中，而不是离散地备份至子节点本地，方便集中管理，且提高了安全性，同时还避免了子节点宕机而导致的数据不完整的缺陷。
实施例二
图2示出了根据本发明实施例二的一种数据处理方法的流程示意图。该方法应用于包括一个主节点和多个子节点的数据存储系统，方法由各个子节点并行执行，如图2所示，该方法包括以下步骤：
步骤S200，根据数据备份请求，启动用于连接子节点与中间存储系统的数据备份服务。
其中，中间存储系统包括：HDFS系统，HDFS系统具有带宽大，容量大， I/O吞吐量大等优点，因此，能够支持数据存储系统的各个子节点并行地将数据备份至HDFS系统中。
下面将以HDFS系统为例进行详细介绍。
在接收到数据备份请求后，每个子节点根据数据备份请求，启动用于连接该子节点与HDFS系统的数据备份服务，其中，启动的数据备份服务的数量与子节点的数量相同，且每个子节点对应一个数据备份服务，例如，数据存储系统有10个子节点，则需要启动10个数据备份服务，每个子节点通过启动的数据备份服务将数据备份至HDFS系统。
针对该数据备份服务预先设置有配置文件，数据备份服务通过读取该配置文件，可以获取到用于将数据备份至HDFS系统中的指定路径，其中，该指定路径指明了数据在HDFS系统中的存储路径。
步骤S201，读取以数据表形式分布式存储于子节点中的数据。
在本发明实施例中，针对一个数据表，每个子节点仅存储该数据表的部分数据，一个数据表的数据分布式存储于各个子节点中，举例说明，数据存储系统包括一个主节点和10个子节点，数据表A的数据分布式存储于10个子节点中，表示为A1、A2......A10，每个子节点可以存储有大量的数据表的数据，例如，节点1可以存储有数据表A、B、C、D的部分数据，例如，A1、 B1、C1、D1，子节点可以读取一个数据表或多个数据表的数据，例如，读取数据A1、B1、C1。
步骤S202，针对不同的数据表，在指定路径下自动创建数据表存储目录，数据表存储目录的目录名至少包含数据表标识。
一般情况下，每个子节点都会存储大量数据表的数据，为了能够有效地区分不同数据表的数据，且有序地存储数据，在将数据备份至HDFS系统中前，还需要针对不同的数据表，在指定路径下自动创建数从而可据表存储目录，其中，该数据表存储目录的目录名至少包含数据表标识，例如，数据表名称，以根据数据表标识快速识别出各个数据表的数据，举例说明，针对数据表A、B、C、D，在指定路径下自动创建目录名为A、B、C、D的数据表存储目录。
步骤S203，根据数据表存储目录，通过数据备份服务将数据以数据文件的形式备份至HDFS系统中。
在步骤S201中介绍了针对一个数据表，每个子节点仅存储该数据表的部分数据，因此，针对每一个数据表，根据该数据表存储目录，通过数据备份服务将子节点存储的该数据表的部分数据以一个单独的数据文件的形式备份至HDFS系统中，举例说明，数据表A的数据分布式存储于10个子节点中，表示为A1、A2......A10，因此，可以将部分数据A1、A2......A10分别以一个单独的数据文件的形式存储于目录名为A的数据存储目录下，即在目录名为A的数据存储目录下，存储有10个数据文件，为了能够准确地获知数据的备份情况，这里将以数据表标识、子节点标识对HDFS系统中的数据文件进行命名，并携带有备份时间信息，例如时间戳，本次数据备份的时间信息，例如，本次备份时间为2017-6-29。
另外，HDFS系统中存储的数据文件的数量与数据表数量和子节点数量相关，例如，数据表数量为10个，子节点数量为10个，那么HDFS系统中存储的数据文件的数量为10*10，即100个，这里仅是举例说明，不具有任何限定作用。
步骤S204，多个子节点中的至少一个子节点根据指定路径，通过数据备份服务将数据表的数据表结构以表文件形式备份至HDFS系统中。
其中，数据表的数据表结构定义了数据表的字段、类型、主键、外键、索引等信息，在进行数据恢复时，需要依据数据表结构将备份的数据存储至各个子节点。
在进行数据存储时，数据存储系统中的各个子节点均会存储各个数据表的数据表结构，因此，多个子节点中的至少一个子节点可以根据指定路径，通过数据备份服务将数据表的数据表结构以表文件形式备份至HDFS系统中，表文件以数据表标识命名，将数据表结构与数据均备份至HDFS系统中，不仅方便集中管理，而且待进行数据恢复时，也能够快速获取到在HDFS系统中存储的相应的表文件和数据文件，节省时间，另外，将数据备份至HDFS系统中，提升了备份安全性。
步骤S205，在数据备份完成后，注销用于连接子节点与HDFS系统的数据备份服务。
数据备份服务是服务于数据备份的，在数据备份完成后，该数据备份服务所起的作用已完成，为了节省资源，可以注销用于连接子节点与HDFS系统的数据备份服务。
步骤S206，HDFS系统对指定路径下的各数据文件进行压缩处理，得到压缩处理后的数据文件。
为了节省用于存储数据所需的存储空间，HDFS系统可以对指定路径下的各数据文件进行压缩处理，存储压缩处理后的数据文件。
步骤S207，根据数据恢复请求，启动用于连接子节点与HDFS系统的数据恢复服务。
在接收到数据恢复请求后，每个子节点根据数据恢复请求，启动用于连接该子节点与HDFS系统的数据恢复服务，其中，启动的数据恢复服务的数量与子节点的数量相同，且每个子节点对应一个数据恢复服务，例如，数据存储系统有10个子节点，则需要启动10个数据恢复服务，每个子节点通过启动的数据恢复服务将数据恢复至子节点。
针对该数据恢复服务预先设置有配置文件，数据恢复服务通过读取该配置文件，可以获取到用于读取HDFS系统中数据的指定路径，其中，该指定路径指明了数据在HDFS系统中的存储路径。
数据可以恢复到任意一个集群系统，集群系统所包含的子节点的数量不受限制，可以与备份前用于存储数据的数据存储系统所包含的子节点数量相同，也可以不同，例如，大于或者小于数据存储系统所包含的子节点数量。当然，如果备份前用于存储数据的数据存储系统中的数据出现丢失等问题时，也可以根据HDFS系统中的数据进行恢复。
步骤S208，根据指定路径，通过数据恢复服务读取HDFS系统中的表文件以及数据文件。
其中，数据恢复服务预先配置有用于读取HDFS系统中数据的指定路径，因此，各个子节点可以根据指定路径，通过数据恢复服务读取HDFS系统中的表文件以及数据文件。这里，各个子节点可以并行的读取数据文件，而且还可以并行读取多个数据表的数据文件，从而提高了数据恢复的效率，节省数据恢复所需时间。
步骤S209，对读取的数据文件进行解压缩处理。
各个子节点读取的数据文件是经过压缩处理的，因此需要先进行解压缩处理，得到解压缩后的数据文件。
步骤S210，按照数据重分发策略依次判断数据文件中的各个数据分片是否属于该子节点待存储的数据，若是，则执行步骤S211；若否，则执行步骤 S212。
具体地，在进行数据备份时，每个数据文件存储了若干个数据分片，因此，各个子节点读取到数据文件之后，还需要判断该数据文件中的数据是否属于该子节点需要存储的数据，具体地，可以按照数据重分发策略依次判断数据文件中的各个数据分片是否属于该子节点待存储的数据，若判断出数据分片不属于该子节点待存储的数据，则需要将数据分片分发给相应的节点进行存储；若判断出数据分片数据该子节点待存储的数据，则该子节点将存储对应的数据分片。
在本发明的优选实施例中，可以采用以下方法具体判断数据文件中的各个数据分片是否属于该子节点待存储的数据：确定数据分片中属于预设分布列的数据；对属于预设分布列的数据进行哈希处理，得到哈希值；依据哈希值判断数据文件中的各个数据分片是否属于该子节点待存储的数据。
在确定出数据分片中数据预设分布列的数据后，对属于预设分布列的数据进行哈希处理，得到哈希值，例如，可以采用MD5算法或SHA-1算法对属于预设分布列的数据进行哈希处理，这里仅是举例说明，不具有任何限定作用；然后，依据哈希值判断数据文件中的各个数据分片是否属于该子节点待存储的数据。
步骤S211，由该子节点存储对应的数据分片。
步骤S212，将数据分片分发给对应的子节点进行存储。
具体地，若依据哈希值判断数据文件中的各个数据分片不属于该子节点待存储的数据的情况下，还可以根据哈希值将数据重分发至对应的子节点进行存储。
步骤S213，在数据恢复完成后，注销用于连接子节点与HDFS系统的数据恢复服务。
数据恢复服务是服务于数据恢复的，在数据恢复完成后，该数据恢复服务所起的作用已完成，为了节省资源，可以注销用于连接子节点与HDFS系统的数据恢复服务。
根据本发明上述实施例提供的方法，根据数据备份请求，通过用于连接子节点与中间存储系统的数据备份服务，实现将数据以数据文件的形式备份至中间存储系统中，根据数据恢复请求，通过用于连接各个子节点与中间存储系统的数据恢复服务读取中间存储系统中的表文件以及数据文件，实现数据恢复。基于本发明实施例的方案，由于采用了并行方式将存储于子节点的数据备份至中间存储系统中，因此，提高了数据备份效率，节省时间；另外，数据备份至中间存储系统中，而不是离散地备份至子节点本地，方便集中管理，且提高了安全性，同时还避免了子节点宕机而导致的数据不完整的缺陷，各个子节点可以并行的读取数据文件，而且还可以并行读取多个数据表的数据文件，从而提高了数据恢复的效率，节省数据恢复所需时间，另外，数据可以恢复到任意的集群，应用范围广。
实施例三
图3示出了根据本发明实施例三的一种数据处理装置的结构示意图。该装置应用于包括一个主节点和多个子节点的数据存储系统，各个子节点中的数据处理装置并行运行，如图3所示，该装置包括：数据备份服务启动模块 300、第一读取模块301和备份模块302。
数据备份服务启动模块300，适于根据数据备份请求，启动用于连接子节点与中间存储系统的数据备份服务，其中，数据备份服务预先配置有用于将数据备份至中间存储系统中的指定路径。
第一读取模块301，适于读取以数据表形式分布式存储于子节点中的数据。
备份模块302，适于根据指定路径，通过数据备份服务将数据以数据文件的形式备份至中间存储系统中。
根据本发明上述实施例提供的装置，根据数据备份请求，启动用于连接子节点与中间存储系统的数据备份服务，其中，数据备份服务预先配置有用于将数据备份至中间存储系统中的指定路径；读取以数据表形式分布式存储于子节点中的数据，根据指定路径，通过数据备份服务将数据以数据文件的形式备份至中间存储系统中。基于本发明实施例的方案，由于采用了并行方式将存储于子节点的数据备份至中间存储系统中，因此，提高了数据备份效率，节省时间；另外，数据备份至中间存储系统中，而不是离散地备份至子节点本地，方便集中管理，且提高了安全性，同时还避免了子节点宕机而导致的数据不完整的缺陷。
实施例四
图4示出了根据本发明实施例四的一种数据处理装置的结构示意图。该装置应用于包括一个主节点和多个子节点的数据存储系统，各个子节点中的数据处理装置并行运行，如图4所示，该装置包括：数据备份服务启动模块 400、第一读取模块401、备份模块402、数据备份服务注销模块403、数据恢复服务启动模块404、第二读取模块405、解压缩处理模块406、判断模块407、存储模块408、分发模块409和数据恢复服务注销模块410。
数据备份服务启动模块400，适于根据数据备份请求，启动用于连接子节点与中间存储系统的数据备份服务，其中，数据备份服务预先配置有用于将数据备份至中间存储系统中的指定路径。
第一读取模块401，适于读取以数据表形式分布式存储于子节点中的数据。
备份模块402进一步包括：创建单元4021，适于针对不同的数据表，在指定路径下自动创建数据表存储目录，数据表存储目录的目录名至少包含数据表标识；
备份单元4202，适于根据数据表存储目录，通过数据备份服务将数据以数据文件的形式备份至中间存储系统中。
其中，针对一个数据表，每个子节点存储该数据表的部分数据；因此，备份模块进一步适于：针对每一个数据表，通过数据备份服务将子节点存储的该数据表的部分数据以一个单独的数据文件的形式备份至中间存储系统中。
多个子节点中的至少一个子节点中的备份模块402还适于：根据指定路径，通过数据备份服务将数据表的数据表结构以表文件形式备份至中间存储系统中。
数据备份服务注销模块403，适于在数据备份完成后，注销用于连接子节点与中间存储系统的数据备份服务。
数据恢复服务启动模块404，适于根据数据恢复请求，启动用于连接子节点与中间存储系统的数据恢复服务，其中，数据恢复服务预先配置有用于读取中间存储系统中数据的指定路径。
第二读取模块405，适于根据指定路径，通过数据恢复服务读取中间存储系统中的数据文件。
解压缩处理模块406，适于对读取的数据文件进行解压缩处理。
判断模块407，适于按照数据重分发策略依次判断数据文件中的各个数据分片是否属于该子节点待存储的数据。
存储模块408，适于若数据文件中的各个数据分片属于该子节点待存储的数据，则由该子节点存储对应的数据分片；
分发模块409，适于若数据文件中的各个数据分片不属于该子节点待存储的数据，则将数据分片分发给对应的子节点进行存储。
在本发明优选实施例中，判断模块407进一步适于：确定数据分片中属于预设分布列的数据；对属于预设分布列的数据进行哈希处理，得到哈希值；依据哈希值判断数据文件中的各个数据分片是否属于该子节点待存储的数据。
分发模块409进一步适于：若数据文件中的各个数据分片不属于该子节点待存储的数据，则根据哈希值将数据分发至对应的子节点进行存储。
数据恢复服务注销模块410，适于在数据恢复完成后，注销用于连接子节点与中间存储系统的数据恢复服务。
根据本发明上述实施例提供的装置，根据数据备份请求，通过用于连接子节点与中间存储系统的数据备份服务，实现将数据以数据文件的形式备份至中间存储系统中，根据数据恢复请求，通过用于连接各个子节点与中间存储系统的数据恢复服务读取中间存储系统中的表文件以及数据文件，实现数据恢复。基于本发明实施例的方案，由于采用了并行方式将存储于子节点的数据备份至中间存储系统中，因此，提高了数据备份效率，节省时间；另外，数据备份至中间存储系统中，而不是离散地备份至子节点本地，方便集中管理，且提高了安全性，同时还避免了子节点宕机而导致的数据不完整的缺陷，各个子节点可以并行的读取数据文件，而且还可以并行读取多个数据表的数据文件，从而提高了数据恢复的效率，节省数据恢复所需时间，另外，数据可以恢复到任意的集群，应用范围广。
实施例五
图5示出了根据本发明实施例五的一种数据处理系统的结构示意图。如图5所示，该系统包括：数据处理装置510和中间存储系统520；其中，数据处理装置510为图4所示的数据处理装置；中间存储系统520，适于以数据文件的形式存储数据处理装置通过数据备份服务进行备份的数据。
其中，中间存储系统包括：HDFS系统，中间存储系统中数据文件以数据表标识、子节点标识命名，并携带有备份时间信息；中间存储系统中存储的数据文件的数量与数据表数量和子节点数量相关。
进一步地，中间存储系统，适于对指定路径下的各数据文件进行压缩处理，得到压缩处理后的数据文件。
根据本发明上述实施例提供的系统，根据数据备份请求，启动用于连接子节点与中间存储系统的数据备份服务，其中，数据备份服务预先配置有用于将数据备份至中间存储系统中的指定路径；读取以数据表形式分布式存储于子节点中的数据，根据指定路径，通过数据备份服务将数据以数据文件的形式备份至中间存储系统中。基于本发明实施例的方案，由于采用了并行方式将存储于子节点的数据备份至中间存储系统中，因此，提高了数据备份效率，节省时间；另外，数据备份至中间存储系统中，而不是离散地备份至子节点本地，方便集中管理，且提高了安全性，同时还避免了子节点宕机而导致的数据不完整的缺陷。
实施例六
本申请实施例六提供了一种非易失性计算机存储介质，所述计算机存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的数据处理方法。
实施例七
图6示出了根据本发明实施例七的一种服务器的结构示意图，本发明具体实施例并不对服务器的具体实现做限定。
如图6所示，该服务器可以包括：处理器(processor)602、通信接口(Communications Interface)604、存储器(memory)606、以及通信总线608。
其中：
处理器602、通信接口604、以及存储器606通过通信总线608完成相互间的通信。
通信接口604，用于与其它设备比如客户端或其它服务器等的网元通信。
处理器602，用于执行程序610，具体可以执行上述数据处理方法实施例中的相关步骤。
具体地，程序610可以包括程序代码，该程序代码包括计算机操作指令。
处理器602可能是中央处理器CPU，或者是特定集成电路ASIC (ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。服务器包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个 CPU以及一个或多个ASIC。
存储器606，用于存放程序610。存储器606可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序610具体可以用于使得处理器602执行以下操作：根据数据备份请求，启动用于连接子节点与中间存储系统的数据备份服务，其中，数据备份服务预先配置有用于将数据备份至中间存储系统中的指定路径；
读取以数据表形式分布式存储于子节点中的数据，根据指定路径，通过数据备份服务将数据以数据文件的形式备份至中间存储系统中。
在一种可选的实施方式中，程序610还用于使得处理器602执行以下操作：在数据备份完成后，注销用于连接子节点与中间存储系统的数据备份服务。
在一种可选的实施方式中，程序610还用于使得处理器602在根据指定路径，通过数据备份服务将数据以数据文件的形式备份至中间存储系统中时：
针对不同的数据表，在指定路径下自动创建数据表存储目录，数据表存储目录的目录名至少包含数据表标识；
根据数据表存储目录，通过数据备份服务将数据以数据文件的形式备份至中间存储系统中。
在一种可选的实施方式中，针对一个数据表，每个子节点存储该数据表的部分数据；
程序610还用于使得处理器602在通过数据备份服务将数据以数据文件的形式备份至中间存储系统中时：
针对每一个数据表，通过数据备份服务将子节点存储的该数据表的部分数据以一个单独的数据文件的形式备份至中间存储系统中。
在一种可选的实施方式中，程序610还用于使得处理器602执行以下操作：对指定路径下的各数据文件进行压缩处理，得到压缩处理后的数据文件。
在一种可选的实施方式中，程序610还用于使得处理器602执行以下操作：根据指定路径，通过数据备份服务将数据表的数据表结构以表文件形式备份至中间存储系统中。
在一种可选的实施方式中，程序610还用于使得处理器602执行以下操作：
根据数据恢复请求，启动用于连接各个子节点与中间存储系统的数据恢复服务，其中，数据恢复服务预先配置有用于读取中间存储系统中数据的指定路径；
根据指定路径，通过数据恢复服务读取中间存储系统中的表文件以及数据文件；
按照数据重分发策略依次判断数据文件中的各个数据分片是否属于该子节点待存储的数据；
若是，则由该子节点存储对应的数据分片；
若否，则将数据分片分发给对应的子节点进行存储。
在一种可选的实施方式中，程序610还用于使得处理器602在按照数据重分发策略依次判断数据文件中的各个数据分片是否属于该子节点待存储的数据时：
确定数据分片中属于预设分布列的数据；
对属于预设分布列的数据进行哈希处理，得到哈希值；
依据哈希值判断数据文件中的各个数据分片是否属于该子节点待存储的数据；
将数据分片分发给对应的子节点进行存储进一步包括：
根据哈希值将数据分发至对应的子节点进行存储。
在一种可选的实施方式中，程序610还用于使得处理器602执行以下操作：对读取的数据文件进行解压缩处理。
在一种可选的实施方式中，程序610还用于使得处理器602执行以下操作：在数据恢复完成后，注销用于连接子节点与中间存储系统的数据恢复服务。
在一种可选的实施方式中，中间存储系统中数据文件以数据表标识、子节点标识命名，并携带有备份时间信息。
在一种可选的实施方式中，中间存储系统中存储的数据文件的数量与数据表数量和子节点数量相关。
在一种可选的实施方式中，中间存储系统包括：HDFS系统。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的数据处理设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (29)

1.一种数据处理方法，应用于包括一个主节点和多个子节点的数据存储系统，所述方法由各个子节点并行执行，包括：
根据数据备份请求，启动用于连接子节点与中间存储系统的数据备份服务，其中，所述数据备份服务预先配置有用于将数据备份至中间存储系统中的指定路径，所述中间存储系统独立于所述数据存储系统；
读取以数据表形式分布式存储于所述子节点中的数据，根据所述指定路径，通过所述数据备份服务将数据以数据文件的形式备份至中间存储系统中。
2.根据权利要求1所述的方法，其中，所述方法还包括：在数据备份完成后，注销用于连接子节点与中间存储系统的数据备份服务。
3.根据权利要求1或2所述的方法，其中，所述根据指定路径，通过所述数据备份服务将数据以数据文件的形式备份至中间存储系统中进一步包括：
针对不同的数据表，在所述指定路径下自动创建数据表存储目录，所述数据表存储目录的目录名至少包含数据表标识；
根据所述数据表存储目录，通过所述数据备份服务将数据以数据文件的形式备份至中间存储系统中。
4.根据权利要求3所述的方法，其中，针对一个数据表，每个子节点存储该数据表的部分数据；
所述通过数据备份服务将数据以数据文件的形式备份至中间存储系统中进一步包括：
针对每一个数据表，通过数据备份服务将子节点存储的该数据表的部分数据以一个单独的数据文件的形式备份至中间存储系统中。
5.根据权利要求4所述的方法，其中，所述方法还包括：
所述中间存储系统对指定路径下的各数据文件进行压缩处理，得到压缩处理后的数据文件。
6.根据权利要求5所述的方法，其中，所述多个子节点中的至少一个子节点根据所述指定路径，通过所述数据备份服务将数据表的数据表结构以表文件形式备份至中间存储系统中。
7.根据权利要求6所述的方法，其中，所述方法还包括：
根据数据恢复请求，启动用于连接各个子节点与中间存储系统的数据恢复服务，其中，所述数据恢复服务预先配置有用于读取中间存储系统中数据的指定路径；
根据所述指定路径，通过所述数据恢复服务读取所述中间存储系统中的表文件以及数据文件；
按照数据重分发策略依次判断数据文件中的各个数据分片是否属于该子节点待存储的数据；
若是，则由该子节点存储对应的数据分片；
若否，则将数据分片分发给对应的子节点进行存储。
8.根据权利要求7所述的方法，其中，所述按照数据重分发策略依次判断数据文件中的各个数据分片是否属于该子节点待存储的数据进一步包括：
确定数据分片中属于预设分布列的数据；
对属于预设分布列的数据进行哈希处理，得到哈希值；
依据所述哈希值判断数据文件中的各个数据分片是否属于该子节点待存储的数据；
所述将数据分片分发给对应的子节点进行存储进一步包括：
根据所述哈希值将数据分发至对应的子节点进行存储。
9.根据权利要求7或8所述的方法，其中，在所述按照数据重分发策略依次判断数据文件中的各个数据分片是否属于该子节点待存储的数据之前，所述方法还包括：
对读取的数据文件进行解压缩处理。
10.根据权利要求9所述的方法，其中，所述方法还包括：在数据恢复完成后，注销用于连接子节点与中间存储系统的数据恢复服务。
11.根据权利要求10所述的方法，其中，所述中间存储系统中数据文件以数据表标识、子节点标识命名，并携带有备份时间信息。
12.根据权利要求11所述的方法，其中，所述中间存储系统中存储的数据文件的数量与数据表数量和子节点数量相关。
13.根据权利要求12所述的方法，其中，所述中间存储系统包括：HDFS系统。
14.一种数据处理装置，应用于包括一个主节点和多个子节点的数据存储系统，所述各个子节点中的数据处理装置并行运行，所述装置包括：
数据备份服务启动模块，适于根据数据备份请求，启动用于连接子节点与中间存储系统的数据备份服务，其中，所述数据备份服务预先配置有用于将数据备份至中间存储系统中的指定路径，所述中间存储系统独立于所述数据存储系统；
第一读取模块，适于读取以数据表形式分布式存储于所述子节点中的数据；
备份模块，适于根据所述指定路径，通过所述数据备份服务将数据以数据文件的形式备份至中间存储系统中。
15.根据权利要求14所述的装置，其中，所述装置还包括：数据备份服务注销模块，适于在数据备份完成后，注销用于连接子节点与中间存储系统的数据备份服务。
16.根据权利要求14或15所述的装置，其中，所述备份模块进一步包括：
创建单元，适于针对不同的数据表，在所述指定路径下自动创建数据表存储目录，所述数据表存储目录的目录名至少包含数据表标识；
备份单元，适于根据所述数据表存储目录，通过所述数据备份服务将数据以数据文件的形式备份至中间存储系统中。
17.根据权利要求16所述的装置，其中，针对一个数据表，每个子节点存储该数据表的部分数据；
所述备份模块进一步适于：针对每一个数据表，通过数据备份服务将子节点存储的该数据表的部分数据以一个单独的数据文件的形式备份至中间存储系统中。
18.根据权利要求17所述的装置，其中，所述多个子节点中的至少一个子节点中的备份模块还适于：根据所述指定路径，通过所述数据备份服务将数据表的数据表结构以表文件形式备份至中间存储系统中。
19.根据权利要求18所述的装置，其中，所述装置还包括：
数据恢复服务启动模块，适于根据数据恢复请求，启动用于连接子节点与中间存储系统的数据恢复服务，其中，所述数据恢复服务预先配置有用于读取中间存储系统中数据的指定路径；
第二读取模块，适于根据所述指定路径，通过所述数据恢复服务读取中间存储系统中的数据文件；
判断模块，适于按照数据重分发策略依次判断数据文件中的各个数据分片是否属于该子节点待存储的数据；
存储模块，适于若数据文件中的各个数据分片属于该子节点待存储的数据，则由该子节点存储对应的数据分片；
分发模块，适于若数据文件中的各个数据分片不属于该子节点待存储的数据，则将数据分片分发给对应的子节点进行存储。
20.根据权利要求19所述的装置，其中，所述判断模块进一步适于：确定数据分片中属于预设分布列的数据；
对属于预设分布列的数据进行哈希处理，得到哈希值；
依据所述哈希值判断数据文件中的各个数据分片是否属于该子节点待存储的数据；
所述分发模块进一步适于：若数据文件中的各个数据分片不属于该子节点待存储的数据，则根据所述哈希值将数据分发至对应的子节点进行存储。
21.根据权利要求19或20所述的装置，其中，所述装置还包括：
解压缩处理模块，适于对读取的数据文件进行解压缩处理。
22.根据权利要求21所述的装置，其中，所述装置还包括：数据恢复服务注销模块，适于在数据恢复完成后，注销用于连接子节点与中间存储系统的数据恢复服务。
23.一种数据处理系统，包括权利要求14-22任一项所述的数据处理装置和中间存储系统；
中间存储系统，适于以数据文件的形式存储数据处理装置通过所述数据备份服务进行备份的数据。
24.根据权利要求23所述的系统，其中，所述中间存储系统，适于对指定路径下的各数据文件进行压缩处理，得到压缩处理后的数据文件。
25.根据权利要求23或24所述的系统，其中，所述中间存储系统中数据文件以数据表标识、子节点标识命名，并携带有备份时间信息。
26.根据权利要求25所述的系统，其中，所述中间存储系统中存储的数据文件的数量与数据表数量和子节点数量相关。
27.根据权利要求26所述的系统，其中，所述中间存储系统包括：HDFS系统。
28.一种服务器，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-13中任一项所述的数据处理方法对应的操作。
29.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求1-13中任一项所述的数据处理方法对应的操作。
CN201710555162.5A 2017-06-30 2017-06-30 数据处理方法、装置、系统、服务器及计算机存储介质 Active CN107391303B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710555162.5A CN107391303B (zh) 2017-06-30 2017-06-30 数据处理方法、装置、系统、服务器及计算机存储介质
PCT/CN2018/079242 WO2019001021A1 (zh) 2017-06-30 2018-03-16 数据处理方法、装置、系统、服务器及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710555162.5A CN107391303B (zh) 2017-06-30 2017-06-30 数据处理方法、装置、系统、服务器及计算机存储介质

Publications (2)

Publication Number Publication Date
CN107391303A CN107391303A (zh) 2017-11-24
CN107391303B true CN107391303B (zh) 2021-02-23

Family

ID=60335603

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710555162.5A Active CN107391303B (zh) 2017-06-30 2017-06-30 数据处理方法、装置、系统、服务器及计算机存储介质

Country Status (2)

Country Link
CN (1) CN107391303B (zh)
WO (1) WO2019001021A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107391303B (zh) * 2017-06-30 2021-02-23 北京奇虎科技有限公司 数据处理方法、装置、系统、服务器及计算机存储介质
CN108401026B (zh) * 2018-02-26 2020-06-19 深圳智乾区块链科技有限公司 基于区块链的数据存储方法、系统及计算机可读存储介质
CN108845892A (zh) * 2018-04-19 2018-11-20 北京百度网讯科技有限公司 分布式数据库的数据处理方法、装置、设备和计算机存储介质
CN110958211B (zh) * 2018-09-27 2022-05-27 安徽华峪文化科技有限公司 一种基于区块链的数据处理系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101957863A (zh) * 2010-10-14 2011-01-26 广州从兴电子开发有限公司 数据并行处理方法、装置及系统
CN102737130A (zh) * 2012-06-21 2012-10-17 广州从兴电子开发有限公司 处理hdfs元数据的方法及系统
CN103365740A (zh) * 2012-04-06 2013-10-23 腾讯科技（深圳）有限公司 一种数据冷备方法及装置
CN104714858A (zh) * 2013-12-13 2015-06-17 中国移动通信集团公司 数据备份方法及装置、数据恢复方法及装置
CN105721582A (zh) * 2016-02-22 2016-06-29 中国农业银行股份有限公司 多节点文件备份系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6499058B1 (en) * 1999-09-09 2002-12-24 Motokazu Hozumi File shared apparatus and its method file processing apparatus and its method recording medium in which file shared program is recorded and recording medium in which file processing program is recorded
CN101888405B (zh) * 2010-06-07 2013-03-06 北京高森明晨信息科技有限公司 一种云计算的文件系统和数据处理方法
US9471436B2 (en) * 2013-04-23 2016-10-18 Facebook, Inc. Use of incremental checkpoints to restore user data stream processes
CN107391303B (zh) * 2017-06-30 2021-02-23 北京奇虎科技有限公司 数据处理方法、装置、系统、服务器及计算机存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101957863A (zh) * 2010-10-14 2011-01-26 广州从兴电子开发有限公司 数据并行处理方法、装置及系统
CN103365740A (zh) * 2012-04-06 2013-10-23 腾讯科技（深圳）有限公司 一种数据冷备方法及装置
CN102737130A (zh) * 2012-06-21 2012-10-17 广州从兴电子开发有限公司 处理hdfs元数据的方法及系统
CN104714858A (zh) * 2013-12-13 2015-06-17 中国移动通信集团公司 数据备份方法及装置、数据恢复方法及装置
CN105721582A (zh) * 2016-02-22 2016-06-29 中国农业银行股份有限公司 多节点文件备份系统

Also Published As

Publication number Publication date
WO2019001021A1 (zh) 2019-01-03
CN107391303A (zh) 2017-11-24

Similar Documents

Publication Publication Date Title
CN107391629B (zh) 集群间数据迁移方法、系统、服务器及计算机存储介质
CN107391303B (zh) 数据处理方法、装置、系统、服务器及计算机存储介质
TWI751402B (zh) 一種資料同步方法、分散式系統、電腦可讀取儲取媒體、電腦設備及分散式設備
US9665445B1 (en) Virtual proxy based backup
CN103810058B (zh) 虚拟机备份方法、设备及系统
CN106878363B (zh) 一种信息处理方法、装置及系统
CN107153643B (zh) 数据表连接方法及装置
CN105610903B (zh) 分布式系统的数据节点升级方法及装置
JP4141875B2 (ja) リカバリ処理方法及びその実施システム並びにその処理プログラム
CN107423942B (zh) 一种业务流转的方法及装置
CN110532123A (zh) HBase系统的故障转移方法及装置
CN111190823A (zh) Ui自动化测试方法、电子装置及计算机可读存储介质
CN107391033B (zh) 数据迁移方法及装置、计算设备、计算机存储介质
CN111880967A (zh) 云场景下的文件备份方法、装置、介质和电子设备
CN105320577B (zh) 一种数据备份和恢复方法、系统及装置
CN112383610A (zh) 区块链状态数据的同步处理方法及系统
CN110995871A (zh) 一种实现kv存储服务高可用的方法
CN114443295A (zh) 一种异构云资源管理调度方法、装置及系统
CN112631727A (zh) 一种容器组pod的监控方法及装置
CN107623705B (zh) 基于视频云存储系统的存储模式升级方法、装置和系统
CN106682199B (zh) 一种实现Mongos集群自动化扩容的方法和装置
CN106570023B (zh) 一种爬虫系统自定义去重的方法及装置
CN111431951B (zh) 一种数据处理方法、节点设备、系统及存储介质
CN108121514B (zh) 元信息更新方法、装置、计算设备及计算机存储介质
CN110941658A (zh) 一种数据导出方法、装置、服务器及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant