CN113742135B - 数据备份方法、装置及计算机可读存储介质 - Google Patents

数据备份方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN113742135B
CN113742135B CN202110972597.6A CN202110972597A CN113742135B CN 113742135 B CN113742135 B CN 113742135B CN 202110972597 A CN202110972597 A CN 202110972597A CN 113742135 B CN113742135 B CN 113742135B
Authority
CN
China
Prior art keywords
backup
data
node
target
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110972597.6A
Other languages
English (en)
Other versions
CN113742135A (zh
Inventor
魏彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Migu Cultural Technology Co Ltd
China Mobile Communications Group Co Ltd
MIGU Music Co Ltd
Original Assignee
Migu Cultural Technology Co Ltd
China Mobile Communications Group Co Ltd
MIGU Music Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Migu Cultural Technology Co Ltd, China Mobile Communications Group Co Ltd, MIGU Music Co Ltd filed Critical Migu Cultural Technology Co Ltd
Priority to CN202110972597.6A priority Critical patent/CN113742135B/zh
Publication of CN113742135A publication Critical patent/CN113742135A/zh
Application granted granted Critical
Publication of CN113742135B publication Critical patent/CN113742135B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G06F3/0641—De-duplication techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据备份方法、装置及计算机可读存储介质，所述数据备份方法包括：获取存储服务器的数据分布信息，存储服务器包括分布式架构服务器和/或集中式架构服务器；根据数据分布信息，确定存储服务器对应的目标数据数量；根据目标数据数量，向备份服务器中的每个备份节点分配并建立对应的目标备份链路，目标备份链路为备份节点与存储服务器中的数据分布节点之间的通信链路；通过每个备份节点对应的目标备份链路，获取每个数据分布节点中存储的目标数据；分别将每个数据分布节点中的目标数据存储在备份节点对应的存储区域中，并保存备份服务器中目标数据的存储位置信息。本发明能够提升数据备份的效率。

Description

数据备份方法、装置及计算机可读存储介质
技术领域
本发明涉及数据处理技术领域，尤其涉及一种数据备份方法、装置及计算机可读存储介质。
背景技术
为了提升数据安全，需要对数据进行备份，在进行数据备份时，可以采用如下方式：对于分布式架构系统，通过多个分布式节点分别获取数据块，并将各个数据块发送至某一中心分布式节点，该中心分布式节点再将数据块存储至中转存储设备，其中，中心分布式节点需要汇总所有其他分布式节点的数据块之后，生成完整的备份文件，再将完整的备份文件通过某一链路发送至备份服务器，使得备份服务器存储完整的备份文件，而对于集中式架构，则需要每个客户端将文件上传到统一的服务器，再由该服务器将各文件发送至备份服务器进行备份，无论是采用分布式架构还是集中式架构，备份时都是先将数据块或者文件汇总到某一个服务器中，该服务器再传输所需要备份的文件。
发明人发现，采用上述方式备份数据时，均是先通过某服务器汇总数据，再集中对汇总的数据进行传输和备份，备份时间较长，从而使得备份的效率较低，基于此，本发明至少解决下述技术问题：如何提升数据备份的效率。
发明内容
本发明的主要目的在于提供一种数据备份方法、装置及计算机可读存储介质，旨在解决如何提升数据备份的效率的技术问题。
为实现上述目的，本发明提供一种数据备份方法，所述数据备份方法应用于备份服务器，所述数据备份方法包括：
获取存储服务器的数据分布信息，所述存储服务器包括分布式架构服务器和/或集中式架构服务器；
根据所述数据分布信息，确定所述存储服务器对应的目标数据数量；
根据所述目标数据数量，向所述备份服务器中的每个备份节点分配并建立对应的目标备份链路，所述目标备份链路为所述备份节点与所述存储服务器中的数据分布节点之间的通信链路；
通过每个备份节点对应的所述目标备份链路，获取每个所述数据分布节点中存储的目标数据；
分别将每个所述数据分布节点中的所述目标数据存储在所述备份节点对应的存储区域中，并保存所述备份服务器中所述目标数据的存储位置信息。
可选地，所述根据所述目标数据数量，向所述备份服务器中的每个备份节点分配并建立对应的目标备份链路的步骤包括：
在所述目标数据数量小于或者等于所述备份节点的数量时，按照所述备份节点的分配顺序，依次向每个所述备份节点分配一个所述目标备份链路，直至所述目标备份链路的数量等于所述目标数据数量时停止分配；
在所述目标数据数量大于所述备份节点的数量时，根据所述目标数据数量以及每个所述备份节点对应的剩余内存，向每个所述备份节点分配至少一个所述目标备份链路；
在每个所述备份节点与对应的所述数据分布节点之间建立所述目标备份链路，所述数据分布节点为数据块的分布节点或者原始文件的分布节点。
可选地，所述根据所述目标数据数量以及每个所述备份节点对应的剩余内存，向每个所述备份节点分配至少一个所述目标备份链路的步骤包括：
确定所述目标数据数量与所述备份节点的数量的第一比值；
确定每个所述备份节点的剩余内存与预设内存的第二比值；
根据每个所述备份节点的第一比值与所述第二比值的乘积，确定每个所述备份节点对应的目标数据数量；
根据每个备份节点对应的目标数据数量，依次向每个所述备份节点分配所述目标备份链路。
可选地，所述根据每个所述备份节点的第一比值与所述第二比值的乘积，确定每个所述备份节点对应的目标数据数量的步骤包括：
对每个所述备份节点对应的所述乘积取整，得到每个所述备份节点对应的取整值；
根据所述每个备份节点对应的取整值，确定每个所述备份节点的所述备份数量，其中，每个所述备份节点的所述备份数量小于或者等于对应的所述取整值。
可选地，所述数据备份方法还包括：
在检测到所述备份节点的更新指令时，根据所述更新指令更新所述备份节点的数量。
可选地，所述在每个所述备份节点与对应的所述数据分布节点之间建立所述目标备份链路的步骤之前，还包括：
根据所述数据分布信息以及所述备份节点的数量，确定每个所述目标数据所在的分布节点；
根据每个所述目标数据所在的分布节点，确定每个所述备份节点对应的所述数据分布节点。
可选地，所述通过每个备份节点对应的所述目标备份链路，获取每个所述数据分布节点中存储的目标数据的步骤之后，还包括：
检测所述备份服务器中的已存储数据中与所述目标数据重复的数据；
删除所述备份服务器中所述重复的数据，并执行所述分别将每个所述数据分布节点中的所述目标数据存储在所述备份节点对应的存储区域中，并保存所述备份服务器中所述目标数据的存储位置信息的步骤。
此外，为实现上述目的，本发明还提供一种数据备份装置，所述数据备份装置包括获取模块、确定模块、分配模块以及存储模块，其中：
所述获取模块，用于获取存储服务器的数据分布信息，所述存储服务器包括分布式架构服务器和/或集中式架构服务器；
所述确定模块，用于根据所述数据分布信息，确定所述存储服务器对应的目标数据数量；
所述分配模块，用于根据所述目标数据数量，向所述备份服务器中的每个备份节点分配并建立对应的目标备份链路，所述目标备份链路为所述备份节点与所述存储服务器中的数据分布节点之间的通信链路；
所述获取模块，还用于通过每个备份节点对应的所述目标备份链路，获取每个所述数据分布节点中存储的目标数据；
所述存储模块，用于分别将每个所述数据分布节点中的所述目标数据存储在所述备份节点对应的存储区域中，并保存所述备份服务器中所述目标数据的存储位置信息。
此外，为实现上述目的，本发明还提供一种数据备份装置，所述数据备份装置包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据备份程序，所述数据备份程序被所述处理器执行时实现上述任一项所述的数据备份方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有数据备份程序，所述数据备份程序被处理器执行时实现上述任一项所述的数据备份方法的步骤。
本发明实施例提出的一种数据备份方法、装置及计算机可读存储介质，通过获取存储服务器的数据分布信息，存储服务器包括分布式架构服务器和/或集中式架构服务器，根据数据分布信息，确定存储服务器对应的目标数据数量，根据目标数据数量，向备份服务器中每个备份节点分配并建立对应的目标备份链路，目标备份链路为备份节点与存储服务器中的数据分布节点之间的通信链路，通过每个备份节点对应的目标备份链路，获取每个数据分布节点中存储的目标数据，从而能够减少将所有数据汇总后通过单节点单链路传输时的网络资源的压力，缩短备份时间窗口，并且在数据传输至备份服务器后也没有将所有数据汇总成一个完整的文件而是分别保存在备份节点对应的存储区域中，并保存备份服务器中目标数据的存储位置信息，从而使得目标数据实际上是以分布式保存的方式进行保存，并且正是由于目标数据实际上是以分布式的方式保存，也使得不需要将数据进行汇总后在传输，避免了数据汇总后通过单节点传输导致的备份时间长、效率低的问题，从而提升数据备份效率。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的装置结构示意图；
图2为本发明数据备份方法第一实施例的流程示意图；
图3为本发明数据备份方法第二实施例的流程示意图；
图4为本发明数据备份装置的模块示意图；
图5为本发明实施例涉及的示例性技术的数据备份系统的架构示意图；
图6为本发明实施例涉及的多个备份节点备份数据的通信交互示意图；
图7为本发明实施例涉及的目标数据所在存储区域的示意图；
图8为本发明实施例涉及的备份服务器与存储服务器的架构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，图1是本发明实施例方案涉及的硬件运行环境的装置结构示意图。
如图1所示，该装置可以包括：处理器1001，例如CPU，通信接口1002，存储器1003，通信总线1004。其中，通信总线1004用于实现这些组件之间的连接通信。通信接口1002可选的可以包括标准的有线接口、无线接口（如WI-FI接口）。存储器1003可以是高速RAM存储器，也可以是稳定的存储器（non-volatile memory），例如磁盘存储器。存储器1003可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的装置结构并不构成对装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1003中可以包括操作系统以及数据备份程序。
在图1所示的装置中，通信接口1002主要用于连接备份服务器，与备份服务器进行数据通信；而处理器1001可以用于调用存储器1003中存储的数据备份程序，并执行以下操作：
获取存储服务器的数据分布信息，所述存储服务器包括分布式架构服务器和/或集中式架构服务器；
根据所述数据分布信息，确定所述存储服务器对应的目标数据数量；
根据所述目标数据数量，向所述备份服务器中的每个备份节点分配并建立对应的目标备份链路，所述目标备份链路为所述备份节点与所述存储服务器中的数据分布节点之间的通信链路；
通过每个备份节点对应的所述目标备份链路，获取每个所述数据分布节点中存储的目标数据；
分别将每个所述数据分布节点中的所述目标数据存储在所述备份节点对应的存储区域中，并保存所述备份服务器中所述目标数据的存储位置信息。
进一步地，处理器1001可以调用存储器1003中存储的数据备份程序，还执行以下操作：
在所述目标数据数量小于或者等于所述备份节点的数量时，按照所述备份节点的分配顺序，依次向每个所述备份节点分配一个所述目标备份链路，直至所述目标备份链路的数量等于所述目标数据数量时停止分配；
在所述目标数据数量大于所述备份节点的数量时，根据所述目标数据数量以及每个所述备份节点对应的剩余内存，向每个所述备份节点分配至少一个所述目标备份链路；
在每个所述备份节点与对应的所述数据分布节点之间建立所述目标备份链路，所述数据分布节点为数据块的分布节点或者原始文件的分布节点。
进一步地，处理器1001可以调用存储器1003中存储的数据备份程序，还执行以下操作：
确定所述目标数据数量与所述备份节点的数量的第一比值；
确定每个所述备份节点的剩余内存与预设内存的第二比值；
根据每个所述备份节点的第一比值与所述第二比值的乘积，确定每个所述备份节点对应的目标数据数量；
根据每个备份节点对应的目标数据数量，依次向每个所述备份节点分配所述目标备份链路。
进一步地，处理器1001可以调用存储器1003中存储的数据备份程序，还执行以下操作：
对每个所述备份节点对应的所述乘积取整，得到每个所述备份节点对应的取整值；
根据所述每个备份节点对应的取整值，确定每个所述备份节点的所述备份数量，其中，每个所述备份节点的所述备份数量小于或者等于对应的所述取整值。
进一步地，处理器1001可以调用存储器1003中存储的数据备份程序，还执行以下操作：
在检测到所述备份节点的更新指令时，根据所述更新指令更新所述备份节点的数量。
进一步地，处理器1001可以调用存储器1003中存储的数据备份程序，还执行以下操作：
根据所述数据分布信息以及所述备份节点的数量，确定每个所述目标数据所在的分布节点；
根据每个所述目标数据所在的分布节点，确定每个所述备份节点对应的所述数据分布节点。
进一步地，处理器1001可以调用存储器1003中存储的数据备份程序，还执行以下操作：
检测所述备份服务器中的已存储数据中与所述目标数据重复的数据；
删除所述备份服务器中所述重复的数据，并执行所述分别将每个所述数据分布节点中的所述目标数据存储在所述备份节点对应的存储区域中，并保存所述备份服务器中所述目标数据的存储位置信息的步骤。
参照图2，本发明第一实施例提供一种数据备份方法，所述数据备份方法应用于备份服务器，所述数据备份方法包括：
步骤S10，获取存储服务器的数据分布信息，所述存储服务器包括分布式架构服务器和/或集中式架构服务器；
备份服务器是用于获取并保存需要备份的数据的服务器，存储服务器包括分布式架构服务器和/或集中式架构服务器，无论是分布式架构服务器或者是集中式架构服务器，其与备份服务器之间的备份通道是集中式的，参照图5，图5为示例性技术在进行数据备份时的架构，其中，生产系统为集中式服务器，生产系统中的所有数据直接通过单一的备份通道传输至备份服务器，备份服务器本身作为单一的备份节点，接收生产系统发送的所有数据，无论生产系统的数量为多少，备份服务器均作为与一个单一的备份节点接收生产系统的数据，生产系统的数据在备份时最终仅指向一个备份服务器，备份服务器汇聚所有的数据流后再通过单一通道向后端存储介质进行写入，随着生产系统的不断覆盖，数据量的不断增加，单一的备份通道会变成瓶颈，导致备份的时长较长，备份效率较低，而对于分布式架构服务器，其包括图5所示的分布式控制节点以及分布式节点1、分布式节点2、分布式节点N，其中，分布式节点N与中转服务器通信连接，原本的数据以数据块的形式分别保存在分布式节点1和分布式节点2上，每个分布式节点上存放的都是一个原始文件的部分数据块，而非原始文件本身，相对地，集中式架构服务器中存放的是原始文件，由于分布式架构服务器具有分散存储原始文件的数据块的特点，在进行备份时，需要分布式控制节点首先将所有分布式节点中数据块形式存储的数据导出至一个单独的分布式节点N上，该分布式节点N继而将所有数据块发送至中转服务器中以将所有数据块还原为原始文件，并将所有原始文件发送至备份服务器，由此，分布式架构服务器在实现数据备份时也需要先将数据汇聚后通过单一通道传输作为一个备份节点的备份服务器，并且需要中转空间，限制了备份服务器的备份效率。
相对地，本发明则是通过多个备份节点，直接从各个存储服务器中，直接获取各个数据分布节点中存储的目标数据，其中，对于存储服务器为分布式架构服务器的情况，以直接读取数据块的方式获取目标数据，对于存储服务器为集中式架构服务器的情况，以直接读取原始文件的方式获取目标数据，由于备份节点存在多个，在通过每个备份节点获取对应的数据分布节点中的目标数据时，所采用的备份链路也存在多个，每个备份节点至少对应一个备份链路，对于分布式架构服务器，可以将分布式节点作为数据分布节点，对于集中式架构服务器，可以将每个原始文件作为数据分布节点；在划分多个备份节点的基础上，还可以进一步将多个备份通道均衡的分配给多个备份节点，以进一步提升备份效率。
步骤S20，根据所述数据分布信息，确定所述存储服务器对应的目标数据数量；
数据分布信息为存储服务器中数据分布位置的信息，比如，对于原始文件1，表示为/distribute1，其中，数据块1、数据块2、数据块3、数据块4’、数据块5存储于分布式节点1上；数据块1’、数据块2’、数据块3’、数据块4”存储于分布式节点2上；数据块3、数据块2”、数据块3”、数据块5”存储于分布式节点3上，数据块4、数据块1’’、数据块5’存储于分布式节点4上，其中每个数据块均存在三个副本，比如数据块1在分布式节点1、分布式节点2以及分布式节点4中分别存储副本，数据块2在分布式节点1、分布式节点2以及分布式节点3上分别存储有副本，备份服务器预先获取存储服务器发送的数据分布信息，其中，备份服务器可以向存储服务器发送指令以获取数据分布信息，集中式架构服务器的文件保存在不同的数据库或者服务器可以获取文件保存的数据库或者服务器作为集中式架构服务器的数据分布信息；目标数据为需要备份的数据块或者需要备份的文件。
其中，每台存储服务器对应的目标数据数量与所对应的备份链路数量相等。
步骤S30，根据所述目标数据数量，向所述备份服务器中的每个备份节点分配并建立对应的目标备份链路，所述目标备份链路为所述备份节点与所述存储服务器中的数据分布节点之间的通信链路；
数据分布节点为数据块的分布节点，或者原始文件的分布节点，分布节点也可以视作存储节点，对于分布式架构服务器而言，数据分布节点为分布式节点，其中，分布式架构类型的服务器可以划分为多个分布式节点，对于集中式架构服务器而言，数据分布节点可以视作原始文件在存储介质中的存储空间。
步骤S40，通过每个备份节点对应的所述目标备份链路，获取每个所述数据分布节点中存储的目标数据；
目标数据是需要备份的数据，对于分布式架构服务器而言，目标数据的存储形式为数据块，而对于集中式架构服务器而言，目标数据的存储形式为原始文件。
可以通过备份节点对应的目标备份链路，直接读取数据块或者原始文件，目标备份链路相当于备份节点与目标数据之间的逻辑连接。
备份节点的数量为两个以上，并且至少有两个备份节点用于获取存储服务器中的目标数据，每个备份节点与存储存储服务器之间建立至少一个目标备份链路。
步骤S50，分别将每个所述数据分布节点中的所述目标数据存储在所述备份节点对应的存储区域中，并保存所述备份服务器中所述目标数据的存储位置信息。
参照图6所示，图6为本发明通过多个备份节点备份数据的示意图，其中，对于集中式架构服务器，备份服务器按照文件目标或者数据库文件的方式，将不同的文件目录中的文件或者数据库文件形成多个数据流，再将形成的多个数据流通过多个备份节点分别进行接收，避免数据的汇聚，进而缩短备份时间窗口，对于分布式架构服务器，通过多个备份节点获取多个分布式节点中的数据块，减少单节点传输的计算、存储、网络资源的压力，缩短备份时间窗口，降低本分对资源的影响、资产占用，进而提升数据备份的效率；每个备份节点可以视作通过至少一个备份链路获取数据的节点，可以在备份服务器中预设特定的计算机程序并划分特定的硬件资源以组成备份节点，从图6可以看出，备份节点1获取文件1，备份节点2获取文件2，从而不需要先将文件1以及文件2汇总后再传输，并且，备份节点1从分布式节点1获取数据块1以及数据块2，备份节点2从分布式节点2获取数据块3，在获取文件1以及文件2后，不进行汇总，备份节点1将文件1保存在对应的存储区域中，备份节点2将文件2保存在对应的存储区域中，并且，在获取数据块1、数据块2以及数据块3之后，不将各个数据块汇总成原始文件，而是直接分散保存在对应的存储区域中，从而使得不需要中转服务器汇总数据，避免了采用中转服务器汇总数据并通过单一备份节点进行备份导致的备份效率低的问题。
在检测到备份服务器中的已存储数据中与目标数据重复的数据之后，删除备份服务器中的重复的数据，并分别将每个数据分布节点中的目标数据存储在备份节点对应的存储区域中，并保存备份服务器中目标数据的存储位置信息，避免存储多余的副本，极大地节省备份服务器的存储空间。
每个备份节点均存在对应的存储区域，在获取目标数据之后，将目标数据分别存储，即分散存储，而并不进行汇聚，比如，参照图7所示，备份节点1在获取到数据块1、数据块2以及文件1之后，分别将数据块1、数据块2以及文件1分散的存储的对应的存储区域中，备份节点2在获取到数据块3以及文件2之后，分别将数据块3以及文件2存储在对应的区域中，可以看出，备份服务器通过多个备份节点获取各个目标数据之后，没有对目标数据进行汇总，而是依然分散的进行存储，在此基础上，还保存各个目标数据的存储位置信息，其中，保存各个目标数据的存储位置信息之后，还可以将同一组相互关联的目标数据的存储位置信息进行关联保存，比如，对于数据块1、数据块2以及数据块3，其组成了一个原始文件，则可以确定数据块1、数据块2以及数据块3之间存在相互关联，并且可以将对应的存储位置信息关联保存，从而可以在逻辑上将各个数据块形成一个完整文件，需要注意的是，此处仅仅是通过将存储位置信息进行关联的方式在逻辑上形成一个完整文件，不会产生底层数据的移动，使得资源占用少，不需要再采用中转服务器，而非示例性技术中直接将所有相互关联的数据块直接在物理存储空间上汇聚成一个完整文件，从而能够提升数据备份效率。
比如，对于一个原始文件/distribute1，其数据块被拆分为/distribute1-1、/distribute1-2以及/distribute1-3，则依次分别记录对应的存储位置信息为b-xxx1、b-xxx2以及b-xxx3，并将/distribute1开头的数据块与对应的存储位置信息均保存在一个表格中，从而通过该表格即可查询/distribute1的所有数据块，从而实现了对/distribute1的备份。
在本实施例中，通过获取存储服务器的数据分布信息，存储服务器包括分布式架构服务器和/或集中式架构服务器，根据数据分布信息，确定存储服务器对应的目标数据数量，根据目标数据数量，向备份服务器中每个备份节点分配并建立对应的目标备份链路，目标备份链路为备份节点与存储服务器中的数据分布节点之间的通信链路，通过每个备份节点对应的目标备份链路，获取每个数据分布节点中存储的目标数据，从而能够减少将所有数据汇总后通过单节点单链路传输时的网络资源的压力，缩短备份时间窗口，并且在数据传输至备份服务器后也没有将所有数据汇总成一个完整的文件而是分别保存在备份节点对应的存储区域中，并保存备份服务器中目标数据的存储位置信息，从而使得目标数据实际上是以分布式保存的方式进行保存，并且正是由于目标数据实际上是以分布式的方式保存，也使得不需要将数据进行汇总后在传输，避免了数据汇总后通过单节点传输导致的备份时间长、效率低的问题，从而提升数据备份效率。
参照图3，本发明第二实施例提供一种数据备份方法，基于上述图2所示的第一实施例，所述步骤S30包括：
步骤S31，在所述目标数据数量小于或者等于所述备份节点的数量时，按照所述备份节点的分配顺序，依次向每个所述备份节点分配一个所述目标备份链路，直至所述目标备份链路的数量等于所述目标数据数量时停止分配；
步骤S32，在所述目标数据数量大于所述备份节点的数量时，根据所述目标数据数量以及每个所述备份节点对应的剩余内存，向每个所述备份节点分配至少一个所述目标备份链路；
为了使得各个备份节点所承担的压力是均衡的，以提升备份效率，备份服务器在通过备份节点获取目标数据时，还对每个备份节点的备份链路进行负载均衡计算，备份节点的数量可以扩展，可以在检测到备份节点的更新指令时，根据更新指令更新备份节点的数量，从而通过扩展备份节点使得备份服务器的能力满足备份数据量的增长，以提升备份效率。
备份服务器可以是单个服务器，也可以是多个服务器，备份服务器无需采用分布式架构，各个备份节点还相当于数据的写入链路，此外，备份服务器中重复数据删除，以节省存放的空间。
备份服务器按照预设备份策略向存储服务器发送备份指令，预设备份策略比如预设备份时间以及预设的需要备份的数据。
存储服务器在接收到备份指令后，根据备份指令将目标数据的详细信息，即目标数据在存储服务器中的分布信息，发送至备份服务器，其中，分布式架构服务器中可以包括分布式控制节点，并通过分布式控制节点获取目标数据在存储服务器中的分布信息。
在目标数据数量小于或者等于备份节点的数量时，按照备份节点的分配顺序，依次向每个备份节点分配一个目标备份链路，直至目标备份链路的数量等于目标数据数量时停止；在目标数据数量大于备份节点的数量时，根据目标数据数量以及每个备份节点对应的剩余内存，向每个备份节点分配至少一个目标备份链路，从而使得对每个备份节点进行均衡分配，避免所有备份链路都集中到一个备份节点所导致的备份效率低的问题，从而能够提升备份的效率。
在目标数据较多的情况下，所需要的目标备份链路也较多，而由于备份节点的数量提前配置好的，为了达到均衡分配的目的，以使每个备份节点均衡的分配目标备份链路，本实施例还确定目标数据数量与备份节点的数量的第一比值，确定每个备份节点的剩余内存与预设内存的第二比值，根据每个备份节点的第一比值与第二比值的乘积，确定每个备份节点对应的目标数据数量，根据每个备份节点对应的目标数据数量，依次向每个备份节点分配目标备份链路；其中，在确定每个备份节点对应的目标数据数量的过程中，对每个备份节点对应的乘积取整，得到每个备份节点对应的取整值，根据每个备份节点对应的取整值，确定每个备份节点的备份数量，其中，每个备份节点的备份数量小于或者等于对应的取整值。
比如，N为目标数据的数量，n为备份节点的数量，INT表示取整函数，x为备份链路的数量，其中，在N小于或者等于n时，每个备份节点对应的备份链路的数量x最多为一个，其中，备份服务器按照每个备份节点的标识以及预设顺序，依次根据标识选取备份节点建立一个备份链路，直至备份链路的数量等于目标数据的数量时备份链路足以传输所有目标数据，从而停止建立新的备份链路；
在N大于n时，每个备份节点上的分配数x满足x≤INT（N*∆/n）,其中，∆为基准值，基准值为备份节点的剩余内存与预设内存的第二比值，N/n为目标数据的数量与备份节点的数量的第一比值，在确定第一比值以及第二比值的乘积之后，对乘积进行取整，比如，预设内存为128GB，备份节点1的剩余内存为64GB，则第二比值为0.5，备份服务器备份节点有3个，且根据数据分布信息/distribute1.table确定/distribute1有5个数据块，及目标数据的数量为5，从而得到备份节点1对应的备份链路的数量x满足x≤INT(5*0.5/3)，即x≤1，由于每个备份节点至少建立一个备份链路，则备份节点1建立的备份链路的数量为一个，按照类似的方式分别计算出备份节点2以及备份节点3需要建立的备份链路的数量均为2，从而进一步基于每个备份节点的备份链路的数量与各个分布式节点建立备份链路。
由于分布式架构服务器一般包括至少两个分布式节点，并且所有分布式节点中包含的数据块存在多个副本，而备份服务器在备份只需要获取其中一组副本即可，所以需要确定每个备份节点从哪个分布式节点上获取对应的数据块的副本，比如，分布式节点有4个，包括3组相同的数据块副本，例如数据块1、数据块2、数据块3、数据块4以及数据块5被重复保存后得到3个副本，并且3个副本的各个数据块分散于不同的分布式节点中，备份服务器只需要获取一组数据块1至数据块5即可，不需要获取所有的3组副本，为此，在向每个备份节点分配目标备份链路的过程中，还可以向每个分布式节点分配目标备份链路，比如，分布式节点1分配2个目标备份链路，用于获取数据块1以及数据块2，分布式节点2分配1个目标备份链路，用于获取数据块3，分布式节点3分配1个目标备份链路，用于获取数据块4，分布式节点4分配1个目标备份链路，用于获取数据块5，共计5个目标备份链路，分布用于获取数据块1至数据块5，即可以根据数据分布信息以及备份节点的数量，确定每个目标数据所在的分布节点，根据每个目标数据所在的分布节点，确定每个备份节点对应的数据分布节点。
步骤S33，在每个所述备份节点与对应的所述数据分布节点之间建立所述目标备份链路，所述数据分布节点为数据块的分布节点或者原始文件的分布节点。
在建立备份节点与数据分布节点之间的目标备份链路之后，通过各个目标备份链路获取目标数据，比如，备份节点1与分布式节点1建立目标备份链路并获取数据块1，备份节点2与分布式节点2建立两个目标备份链路以分别通过每个获取数据块2以及数据块3，备份节点3与分布式节点3建立目标备份链路以获取数据块4，同时备份节点3还与分布式节点4建立目标备份链路以获取数据块5，从而得到5个数据块，在得到各个数据块之后，分别将各个数据块存储在备份节点对应的存储空间中。
在本实施例中，通过在目标数据数量小于或者等于备份节点的数量时，按照备份节点的分配顺序，依次向每个备份节点分配一个目标备份链路，直至目标备份链路的数量等于目标数据数量时停止分配，在目标数据数量大于备份节点的数量时，根据目标数据数量以及每个备份节点对应的剩余内存，向每个备份节点分配至少一个目标备份链路，在每个备份节点与对应的数据分布节点之间的建立目标备份链路，数据分布节点为数据块的分布节点或者原始文件的分布节点，使得每个备份节点上的备份链路更加均衡，避免了备份数据汇聚至单一的链路的瓶颈或者在各个备份节点负载不均衡的情况。
参照图8所示，图8为备份服务器与存储服务器的架构的一实施例的示意图，其中，备份服务器包括备份控制节点、备份节点以及备份介质，其中，存储服务器包括分布式架构服务器以及集中式架构服务器，分布式架构服务器包括分布式架构控制节点与以及分布式节点，集中式架构服务器包括传统备份客户端以及存储文件的各个节点，在备份服务器需要进行备份时，向分布式控制节点以及传统备份客户端发送备份指令，并接收分布式控制节点以及传统备份服务器根据备份指令返回的数据分布信息，根据数据分布信息向三个备份节点分配备份链路，其中，分配的备份链路共计9个，具体分配方式参照图示，在分配并建立9个备份链路之后，每个备份节点通过备份链路获取对应的目标数据，其中，备份节点1通过备份链路1和备份链路从分布式节点1数据块1以及数据块2，并通过备份链路6获取文件1，备份节点2通过备份链路3从分布式节点2获取数据块3’，通过备份链路4从分布式节点3获取数据块5’’，并通过备份链路7获取文件2，备份节点3通过备份链路5从分布式节点4获取数据块4，并通过备份链路8获取文件3，通过备份链路9获取文件4，每个备份链路均是一个逻辑通信连接，在获取所有的目标数据之后，各个备份节点将目标数据保存在备份介质中，其中，从图示可以看出，各个数据块以及各个文件均是分散保存，没有进一步汇聚成某个新的文件，从而实现了多备份节点多备份链路的备份，并且将备份的数据分散存储，避免了采用中转空间基于单一节点单一链路进行备份所导致的备份效率低，有效的提升了数据备份效率。
参照图4，图4为本发明数据备份装置一实施例的模块示意图，所述数据备份装置包括获取模块10、确定模块20、分配模块30以及存储模块40，其中：
所述获取模块10，用于获取存储服务器的数据分布信息，所述存储服务器包括分布式架构服务器和/或集中式架构服务器；
所述确定模块20，用于根据所述数据分布信息，确定所述存储服务器对应的目标数据数量；
所述分配模块30，用于根据所述目标数据数量，向所述备份服务器中的每个备份节点分配并建立对应的目标备份链路，所述目标备份链路为所述备份节点与所述存储服务器中的数据分布节点之间的通信链路；
所述获取模块10，还用于通过每个备份节点对应的所述目标备份链路，获取每个所述数据分布节点中存储的目标数据；
所述存储模块40，用于分别将每个所述数据分布节点中的所述目标数据存储在所述备份节点对应的存储区域中，并保存所述备份服务器中所述目标数据的存储位置信息。
在一实施例中，所述数据备份装置还包括建立链路模块，其中：
所述分配模块30，还用于在所述目标数据数量小于或者等于所述备份节点的数量时，按照所述备份节点的分配顺序，依次向每个所述备份节点分配一个所述目标备份链路，直至所述目标备份链路的数量等于所述目标数据数量时停止分配；在所述目标数据数量大于所述备份节点的数量时，根据所述目标数据数量以及每个所述备份节点对应的剩余内存，向每个所述备份节点分配至少一个所述目标备份链路；
所述建立链路模块，用于在每个所述备份节点与对应的所述数据分布节点之间建立所述目标备份链路，所述数据分布节点为数据块的分布节点或者原始文件的分布节点。
在一实施例中，所述确定模块20还用于确定所述目标数据数量与所述备份节点的数量的第一比值；确定每个所述备份节点的剩余内存与预设内存的第二比值；根据每个所述备份节点的第一比值与所述第二比值的乘积，确定每个所述备份节点对应的目标数据数量；
所述分配模块30，还用于根据每个备份节点对应的目标数据数量，依次向每个所述备份节点分配所述目标备份链路。
在一实施例中，所述确定模块20还用于对每个所述备份节点对应的所述乘积取整，得到每个所述备份节点对应的取整值；根据所述每个备份节点对应的取整值，确定每个所述备份节点的所述备份数量，其中，每个所述备份节点的所述备份数量小于或者等于对应的所述取整值。
在一实施例中，所述数据备份装置还包括更新模块，所述更新模块用于在检测到所述备份节点的更新指令时，根据所述更新指令更新所述备份节点的数量。
在一实施例中，所述确定模块20还用于根据所述数据分布信息以及所述备份节点的数量，确定每个所述目标数据所在的分布节点；
根据每个所述目标数据所在的分布节点，确定每个所述备份节点对应的所述数据分布节点。
在一实施例中，所述数据备份装置还包括检测模块以及删除模块，其中：
所述检测模块，用于检测所述备份服务器中的已存储数据中与所述目标数据重复的数据；
所述删除模块，用于删除所述备份服务器中所述重复的数据，并执行所述分别将每个所述数据分布节点中的所述目标数据存储在所述备份节点对应的存储区域中，并保存所述备份服务器中所述目标数据的存储位置信息的步骤。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台数据备份装置执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种数据备份方法，其特征在于，所述数据备份方法应用于备份服务器，所述数据备份方法包括：
获取存储服务器的数据分布信息，所述存储服务器包括分布式架构服务器和/或集中式架构服务器；
根据所述数据分布信息，确定所述存储服务器对应的目标数据数量，所述目标数据数量为目标数据块的数量或者目标文件的数量；
在所述目标数据数量小于或者等于所述备份服务器中的备份节点的数量时，按照所述备份节点的分配顺序，依次向每个所述备份节点分配一个目标备份链路，直至所述目标备份链路的数量等于所述目标数据数量时停止分配，所述目标备份链路为所述备份节点与所述存储服务器中的数据分布节点之间的通信链路；
在所述目标数据数量大于所述备份节点的数量时，根据所述目标数据数量以及每个所述备份节点对应的剩余内存，向每个所述备份节点分配至少一个所述目标备份链路；
在每个所述备份节点与对应的所述数据分布节点之间建立所述目标备份链路，所述数据分布节点为数据块的分布节点或者原始文件的分布节点；
通过每个备份节点对应的所述目标备份链路，获取每个所述数据分布节点中存储的目标数据；
分别将每个所述数据分布节点中的所述目标数据存储在所述备份节点对应的存储区域中，并保存所述备份服务器中所述目标数据的存储位置信息。
2.如权利要求1所述的数据备份方法，其特征在于，所述根据所述目标数据数量以及每个所述备份节点对应的剩余内存，向每个所述备份节点分配至少一个所述目标备份链路的步骤包括：
确定所述目标数据数量与所述备份节点的数量的第一比值；
确定每个所述备份节点的剩余内存与预设内存的第二比值；
根据每个所述备份节点的第一比值与所述第二比值的乘积，确定每个所述备份节点对应的目标数据数量；
根据每个备份节点对应的目标数据数量，依次向每个所述备份节点分配所述目标备份链路。
3.如权利要求2所述的数据备份方法，其特征在于，所述根据每个所述备份节点的第一比值与所述第二比值的乘积，确定每个所述备份节点对应的目标数据数量的步骤包括：
对每个所述备份节点对应的所述乘积取整，得到每个所述备份节点对应的取整值；
根据所述每个备份节点对应的取整值，确定每个所述备份节点的备份数量，其中，每个所述备份节点的所述备份数量小于或者等于对应的所述取整值。
4.如权利要求1所述的数据备份方法，其特征在于，所述数据备份方法还包括：
在检测到所述备份节点的更新指令时，根据所述更新指令更新所述备份节点的数量。
5.如权利要求1所述的数据备份方法，其特征在于，所述在每个所述备份节点与对应的所述数据分布节点之间建立所述目标备份链路的步骤之前，还包括：
根据所述数据分布信息以及所述备份节点的数量，确定每个所述目标数据所在的分布节点；
根据每个所述目标数据所在的分布节点，确定每个所述备份节点对应的所述数据分布节点。
6.如权利要求1所述的数据备份方法，其特征在于，所述通过每个备份节点对应的所述目标备份链路，获取每个所述数据分布节点中存储的目标数据的步骤之后，还包括：
检测所述备份服务器中的已存储数据中与所述目标数据重复的数据；
删除所述备份服务器中所述重复的数据，并执行所述分别将每个所述数据分布节点中的所述目标数据存储在所述备份节点对应的存储区域中，并保存所述备份服务器中所述目标数据的存储位置信息的步骤。
7.一种数据备份装置，其特征在于，所述数据备份装置包括获取模块、确定模块、分配模块以及存储模块，其中：
所述获取模块，用于获取存储服务器的数据分布信息，所述存储服务器包括分布式架构服务器和/或集中式架构服务器；
所述确定模块，用于根据所述数据分布信息，确定所述存储服务器对应的目标数据数量；
所述分配模块，用于在所述目标数据数量小于或者等于备份服务器中的备份节点的数量时，按照所述备份节点的分配顺序，依次向每个所述备份节点分配一个目标备份链路，直至所述目标备份链路的数量等于所述目标数据数量时停止分配，所述目标备份链路为所述备份节点与所述存储服务器中的数据分布节点之间的通信链路；在所述目标数据数量大于所述备份节点的数量时，根据所述目标数据数量以及每个所述备份节点对应的剩余内存，向每个所述备份节点分配至少一个所述目标备份链路；在每个所述备份节点与对应的所述数据分布节点之间建立所述目标备份链路，所述数据分布节点为数据块的分布节点或者原始文件的分布节点；
所述获取模块，还用于通过每个备份节点对应的所述目标备份链路，获取每个所述数据分布节点中存储的目标数据；
所述存储模块，用于分别将每个所述数据分布节点中的所述目标数据存储在所述备份节点对应的存储区域中，并保存所述备份服务器中所述目标数据的存储位置信息。
8.一种数据备份装置，其特征在于，所述数据备份装置包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据备份程序，所述数据备份程序被所述处理器执行时实现如权利要求1至6中任一项所述的数据备份方法的步骤。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有数据备份程序，所述数据备份程序被处理器执行时实现如权利要求1至6中任一项所述的数据备份方法的步骤。
CN202110972597.6A 2021-08-24 2021-08-24 数据备份方法、装置及计算机可读存储介质 Active CN113742135B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110972597.6A CN113742135B (zh) 2021-08-24 2021-08-24 数据备份方法、装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110972597.6A CN113742135B (zh) 2021-08-24 2021-08-24 数据备份方法、装置及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN113742135A CN113742135A (zh) 2021-12-03
CN113742135B true CN113742135B (zh) 2023-11-10

Family

ID=78732448

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110972597.6A Active CN113742135B (zh) 2021-08-24 2021-08-24 数据备份方法、装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113742135B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114116774B (zh) * 2022-01-28 2022-06-28 北京安帝科技有限公司 日志数据的查询方法及装置
CN115529332B (zh) * 2022-09-28 2023-06-16 润芯微科技(江苏)有限公司 一种用于车机中控的云车机系统及远程访问方法
CN116126596B (zh) * 2023-02-13 2023-08-18 北京易华录信息技术股份有限公司 一种基于区块链的信息处理系统及方法
CN116881052B (zh) * 2023-09-07 2023-11-24 上海凯翔信息科技有限公司 一种分布式存储的数据修复系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102457567A (zh) * 2010-11-08 2012-05-16 中标软件有限公司 一种web管理方式的镜像备份/恢复方法及工具
CN108595119A (zh) * 2018-03-30 2018-09-28 浙江大华技术股份有限公司 一种数据同步方法及分布式系统
CN113051102A (zh) * 2019-12-26 2021-06-29 中国移动通信集团云南有限公司 文件备份方法、装置、系统、存储介质和计算机设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10771524B1 (en) * 2019-07-31 2020-09-08 Theta Labs, Inc. Methods and systems for a decentralized data streaming and delivery network

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102457567A (zh) * 2010-11-08 2012-05-16 中标软件有限公司 一种web管理方式的镜像备份/恢复方法及工具
CN108595119A (zh) * 2018-03-30 2018-09-28 浙江大华技术股份有限公司 一种数据同步方法及分布式系统
CN113051102A (zh) * 2019-12-26 2021-06-29 中国移动通信集团云南有限公司 文件备份方法、装置、系统、存储介质和计算机设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Comparative study of various backup and monitoring techniques;Rumaisa Akbar等;《2015 International Conference on Green Computing and Internet of Things (ICGCIoT)》;第1530-1537页 *
面向大数据的并行数据分布式备份存储仿真;姚迎乐等;《计算机仿真》;第401-404页 *

Also Published As

Publication number Publication date
CN113742135A (zh) 2021-12-03

Similar Documents

Publication Publication Date Title
CN113742135B (zh) 数据备份方法、装置及计算机可读存储介质
CN111666159B (zh) 负载均衡控制方法和装置、存储介质及电子设备
CN105516367A (zh) 分布式数据存储系统、方法和装置
CN106843745A (zh) 容量扩展方法及装置
CN106959820B (zh) 一种数据提取方法和系统
CN102523290B (zh) 数据的处理方法、设备和系统
CN104539681A (zh) 分布式gis加速系统和gis服务的处理方法
CN110321225B (zh) 负载均衡方法、元数据服务器及计算机可读存储介质
US20160234129A1 (en) Communication system, queue management server, and communication method
CN109783564A (zh) 支持多节点的分布式缓存方法及设备
CN108459926B (zh) 数据异地备份方法、装置及计算机可读介质
CN111083204A (zh) 文件传输方法、装置及存储介质
US9544371B1 (en) Method to discover multiple paths to disk devices cluster wide
CN105471955A (zh) 分布式文件系统的写方法、客户端设备及分布式文件系统
CN111400241B (zh) 数据重构方法和装置
CN113347238A (zh) 基于区块链的消息分区方法及系统、设备、存储介质
CN105450733A (zh) 一种业务数据分发处理方法及系统
CN112631994A (zh) 数据迁移方法及系统
CN114020218B (zh) 混合重复数据删除调度方法及系统
CN114089924B (zh) 区块链账本数据存储系统及方法
CN112799849B (zh) 一种数据处理方法、装置、设备及存储介质
CN107846429B (zh) 一种文件备份方法、装置和系统
CN111857548B (zh) 数据读取方法、装置及系统
CN113886097A (zh) 一种数据处理方法及装置
CN113438274A (zh) 数据传输方法、装置、计算机设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant