CN113467996A - 数据库备份方法、装置、计算机设备及存储介质 - Google Patents

数据库备份方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN113467996A
CN113467996A CN202110776247.2A CN202110776247A CN113467996A CN 113467996 A CN113467996 A CN 113467996A CN 202110776247 A CN202110776247 A CN 202110776247A CN 113467996 A CN113467996 A CN 113467996A
Authority
CN
China
Prior art keywords
data
backup
database
configuration information
computer equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110776247.2A
Other languages
English (en)
Other versions
CN113467996B (zh
Inventor
张开威
刘泊君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
MIGU Music Co Ltd
MIGU Culture Technology Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
MIGU Music Co Ltd
MIGU Culture Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, MIGU Music Co Ltd, MIGU Culture Technology Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202110776247.2A priority Critical patent/CN113467996B/zh
Publication of CN113467996A publication Critical patent/CN113467996A/zh
Application granted granted Critical
Publication of CN113467996B publication Critical patent/CN113467996B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据库备份方法、装置、计算机设备及存储介质，涉及数据备份技术领域，方法包括：接收用于对计算机设备的目标数据库进行备份的备份指令；获取计算机设备的配置信息，配置信息包括计算机设备的中央处理器的配置信息和计算机设备的输入输出的配置信息；根据配置信息和目标数据库中数据分布情况，确定计算机设备的每个备份进程对应的待备份数据，计算机设备包括至少一个备份进程；启动各备份进程，以对待备份数据进行备份。本发明解决了现有的数据库备份方法存在备份效率较低的技术问题，实现了充分利用计算机设备的硬件资源，提高数据库备份效率的技术效果。

Description

数据库备份方法、装置、计算机设备及存储介质
技术领域
本发明涉及数据备份技术领域，尤其涉及一种数据库备份方法、装置、计算机设备及存储介质。
背景技术
MongoDB数据库(Mongo Data Base，基于分布式文件存储的数据库)是一款开源的NoSQL数据库(Not Only SQL，非关系型数据库)，在对这种数据库进行数据备份时，一般通过自带的逻辑备份功能进行备份，或者通过导出工具将该数据库中的数据导出生成JSON(JavaScript Object Notation，JS对象简谱)文件，再进行备份。这两种方法在实际应用中，均存在备份效率较低的问题。
发明内容
本发明的主要目的在于：提供一种数据库备份方法、装置、计算机设备及存储介质，旨在解决现有的数据库备份方法存在备份效率较低的技术问题。
为实现上述目的，本发明采用如下技术方案：
第一方面，本发明提供了一种数据库备份方法，所述方法包括：
接收备份指令，所述备份指令用于对计算机设备的目标数据库进行备份；
获取所述计算机设备的配置信息，所述配置信息包括所述计算机设备的中央处理器的配置信息和所述计算机设备的输入输出的配置信息；
根据所述配置信息和所述目标数据库中数据分布情况，确定所述计算机设备的每个备份进程对应的待备份数据；
启动各备份进程，以对所述待备份数据进行备份。
可选地，上述数据库备份方法中，所述根据所述配置信息和所述目标数据库中数据分布情况，确定所述计算机设备的每个备份进程对应的待备份数据的步骤之前，所述方法还包括：
根据所述配置信息确定备份进程数，所述备份进程数为第一进程数、第二进程数和第三进程数中的最小值，其中，所述第一进程数根据所述计算机设备的中央处理器的配置信息获得；所述第二进程数根据所述计算机设备的输入输出的配置信息获得；所述第三进程数根据所述目标数据库的数据量和预设进程拆分规则获得，所述预设进程拆分规则为基于所述数据库的数据总量分阶段设定对应的进程数。
可选地，上述数据库备份方法中，所述目标数据库中包括多个数据集；
所述根据所述配置信息和所述目标数据库中数据分布情况，确定所述计算机设备的每个备份进程对应的待备份数据的步骤，具体包括：
根据所述目标数据库中数据集的数量和每个数据集对应的数据量，判断所述目标数据库的数据分布是否均匀，其中，所述目标数据库的数据分布均匀包括所述目标数据库中每个数据集与所述目标数据库的平均数据量的差值小于预设差值，所述平均数据量是根据所述数据集的数量和每个数据集对应的数据量确定的；
当所述目标数据库的数据分布均匀，将各数据集按照所述备份进程数均匀分配，以确定所述计算机设备的每个备份进程对应的待备份数据。
可选地，上述数据库备份方法中，所述根据所述目标数据库中数据集的数量和每个数据集对应的数据量，判断所述目标数据库的数据分布是否均匀的步骤之后，所述方法还包括：
当所述目标数据库的数据分布不均匀，获取待拆分数据集和待分配数据集，其中，所述待拆分数据集包括所述目标数据库中数据量大于预设门限值的数据集，所述待分配数据集包括所述目标数据库中数据量小于或等于预设门限值的数据集；
对所述待拆分数据集进行数据拆分，获得待分配数据子集；
将各待分配数据集和待分配数据子集按照所述备份进程数均匀分配，以确定每个备份进程对应的待备份数据。
可选地，上述数据库备份方法中，所述对所述待拆分数据集进行数据拆分，获得待分配数据子集的步骤，具体包括：
获取所述待拆分数据集对应的第一标识；
对所述第一标识进行时间值转换，获得所述第一标识对应的第一时间值；
根据拆分数对所述第一时间值进行拆分，以获得对应数量的第二时间值，其中，所述拆分数小于或等于所述备份进程数；
对每个第二时间值进行字符串转换，获得与所述每个第二时间值对应的第二标识；
根据所述第二标识，获得待分配数据子集。
可选地，上述数据库备份方法中，所述获取所述计算机设备的配置信息的步骤，具体包括：
根据所述备份指令，判断所述计算机设备的输入输出利用率是否大于预设利用率；
若所述计算机设备的输入输出利用率小于或等于所述预设利用率，获取所述计算机设备的中央处理器的配置信息和所述计算机设备的输入输出的配置信息。
第二方面，本发明提供了一种数据库备份装置，所述装置包括：
指令获取模块，用于接收备份指令，所述备份指令用于对计算机设备的目标数据库进行备份；
配置获取模块，用于获取所述计算机设备的配置信息，所述配置信息包括所述计算机设备的中央处理器的配置信息和所述计算机设备的输入输出的配置信息；
待备份数据获取模块，用于根据所述配置信息和所述目标数据库中数据分布情况，确定所述计算机设备的每个备份进程对应的待备份数据，所述计算机设备包括至少一个备份进程；
备份模块，用于启动各备份进程，以对所述待备份数据进行备份。
第三方面，本发明提供了一种计算机设备，包括处理器和存储器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，实现如上述的数据库备份方法。
第四方面，本发明提供了一种存储介质，其上存储有计算机程序，所述计算机程序可被一个或多个处理器执行，以实现如上述的数据库备份方法。
本发明提供的上述一个或多个技术方案，可以具有如下优点或至少实现了如下技术效果：
本发明提出的一种数据库备份方法、装置、计算机设备及存储介质，通过在接收备份指令后获取计算机设备的中央处理器的配置信息和计算机设备的输入输出的配置信息，并根据计算机设备的配置信息和目标数据库中数据分布情况确定每个备份进程对应的待备份数据，再启动备份进程进行备份；对备份任务进行多进程拆分，充分考虑到计算机设备自身配置情况，可以避免进程过多导致计算机设备利用率超负荷，影响备份效率；还通过确定每个备份进程对应的待备份数据，可以避免因数据库中数据集的数量或对应的数据量的差异，导致各个进程的运行时长差异较大，防止增大备份任务的时间，实现了提高数据库备份效率的技术效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的这些附图获得其他的附图。
图1为本发明数据库备份方法第一实施例的流程示意图；
图2为本发明涉及的计算机设备的硬件结构示意图；
图3为图1中步骤S30的详细流程示意图；
图4为本发明数据库备份装置的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例只是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明，在本发明中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
若本发明实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。
在后续描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。另外，各个实施例的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时，应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
对现有技术的分析发现，MongoDB数据库是一款开源的NoSQL数据库，提供了企业版和社区版供用户使用。在其社区版中，可以利用MongoDB导出工具或MongoDB备份指令将数据库或者集合导出，进行逻辑备份，但是其自带的逻辑备份效率较差。在其企业版中，除了支持社区版的所有功能外，提供了OPS(Open Pluggable Specification，开放式可插拔规范)备份功能，但是企业版对于普通用户来说，成本较大。
在利用MongoDB导出工具对MongoDB数据库进行数据备份时，通过自带的逻辑备份功能进行备份，需要先将该数据库中的数据导出生成JSON文件，再进行备份，并且，MongoDB导出工具不支持增量备份，因此备份效率较低；而利用MongoDB备份指令对MongoDB数据库进行数据备份时，虽然可以利用Oplog实现增量备份，但MongoDB备份指令的并行度能自动并行，在备份单个表的时候，无法并行处理，比如备份100GB的数据，需要花费2小时以上，如果是超过1TB的数据，可能还存在无法备份的情况，因此，这种方式也存在备份效率较低的问题。
鉴于现有技术中的数据库备份方法存在备份效率较低的技术问题，本发明提供一种数据库备份方法，总体思路如下：
接收备份指令，所述备份指令用于对计算机设备的目标数据库进行备份；获取所述计算机设备的配置信息，所述配置信息包括所述计算机设备的中央处理器的配置信息和所述计算机设备的输入输出的配置信息；根据所述配置信息和所述目标数据库中数据分布情况，确定所述计算机设备的每个备份进程对应的待备份数据，所述计算机设备包括至少一个备份进程；启动各备份进程，以对所述待备份数据进行备份。
通过上述技术方案，在接收备份指令后获取计算机设备的中央处理器的配置信息和计算机设备的输入输出的配置信息，并根据计算机设备的配置信息和目标数据库中数据分布情况确定每个备份进程对应的待备份数据，再启动备份进程进行备份；对备份任务进行多进程拆分，充分考虑到计算机设备自身配置情况，可以避免进程过多导致计算机设备利用率超负荷，影响备份效率；还通过确定每个备份进程对应的待备份数据，可以避免因数据库中数据集的数量或对应的数据量的差异，导致各个进程的运行时长差异较大，防止增大备份任务的时间，实现了提高数据库备份效率的技术效果。
实施例一
参照图1，为本发明数据库备份方法第一实施例的流程示意图。本实施例提供了一种可以应用于计算机设备的数据库备份方法，所述计算机设备包括目标数据库。
具体的，所述计算机设备是指能够实现网络连接的终端设备或网络连接设备，所述计算机设备可以是手机、电脑、平板电脑、嵌入式工控机等终端设备，也可以是服务器、云平台等网络设备。
如图2所示，为本发明涉及的计算机设备的硬件结构示意图。所述设备可以包括：处理器1001，例如CPU(Central Processing Unit，中央处理器)，通信总线1002，用户接口1003，网络接口1004，存储器1005。
本领域技术人员可以理解，图2中示出的硬件结构并不构成对本发明计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
具体的，通信总线1002用于实现这些组件之间的连接通信；
用户接口1003用于连接客户端，与客户端进行数据通信，用户接口1003可以包括输出单元，比如显示屏、输入单元比如键盘，可选的，用户接口1003还可以包括其他输入/输出接口，比如标准的有线接口、无线接口；
网络接口1004用于连接后台服务器，与后台服务器进行数据通信，网络接口1004可以包括输入/输出接口，比如标准的有线接口、无线接口，如Wi-Fi接口；
存储器1005用于存储各种类型的数据，这些数据例如可以包括该设备中任何应用程序或方法的指令，以及应用程序相关的数据，存储器1005可以是高速RAM存储器，也可以是稳定的存储器，例如磁盘存储器，可选的，存储器1005还可以是独立于所述处理器1001的存储装置；
具体的，继续参照图2，存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及计算机程序，其中，网络通信模块主要用于连接服务器，与服务器进行数据通信；
处理器1001用于调用存储器1005中存储的计算机程序，并执行以下操作：
接收备份指令，所述备份指令用于对计算机设备的目标数据库进行备份；
获取所述计算机设备的配置信息，所述配置信息包括所述计算机设备的中央处理器的配置信息和所述计算机设备的输入输出的配置信息；
根据所述配置信息和所述目标数据库中数据分布情况，确定所述计算机设备的每个备份进程对应的待备份数据，所述计算机设备包括至少一个备份进程；
启动各备份进程，以对所述待备份数据进行备份。
基于上述的计算机设备，下面结合图1所示的流程图，提出本发明数据库备份方法的第一实施例，所述方法可以包括以下步骤：
步骤S10：接收备份指令，所述备份指令用于对计算机设备的目标数据库进行备份。
具体的，计算机设备包括目标数据库，目标数据库可以是MongoDB数据库，也可以是其他数据库，备份指令可以是基于目标数据库的专用备份指令，也可以是常规的备份指令。本实施例以MongoDB数据库为例进行说明，MongoDB数据库中多个文档组成集合，多个集合组成数据库。一个计算机设备可以承载多个数据库，它们之间可以看作相互独立，每个数据库都有独立的权限控制。其中，目标数据库可以是一个包含多个集合的数据库，也可以是包含多个文档的集合。
步骤S20：获取所述计算机设备的配置信息，所述配置信息包括所述计算机设备的中央处理器的配置信息和所述计算机设备的输入输出的配置信息。
具体的，计算机设备的中央处理器的配置信息为计算机设备的CPU配置信息，计算机设备的输入输出的配置信息为计算机设备的IO配置信息，也可以针对实际情况选择其他的计算机设备的配置信息。
本实施例中，先确定好要备份的目标数据库，即MongoDB数据库，在接收到MongoDB备份指令后，可以直接获取计算机设备的CPU配置信息和IO配置信息，也可以先对计算机设备的IO利用率进行判断，设置备份启动条件，在满足备份启动条件后再获取计算机设备的CPU配置信息和IO配置信息，充分考虑到了计算机设备的硬件资源情况。
步骤S30：根据所述配置信息和所述目标数据库中数据分布情况，确定所述计算机设备的每个备份进程对应的待备份数据，所述计算机设备包括至少一个备份进程。
具体的，根据计算机设备的配置信息确定备份进程数后，即根据CPU配置信息和IO配置信息确定备份进程数后，对目标数据库或者目标集合中的数据分布进行分析，数据分布情况根据数据库的大小或集合的数量来进行分析，比如，对目标数据库中数据集的数量，以及各个数据集对应的数据量进行分析，对每个备份进程确定对应的待备份数据。可以通过对数据集进行直接分配的方式确定待备份数据，也可以通过对数据量较大的数据集进行拆分，拆分为数据量较小的数据子集后，再对所有数据集和数据子集统一进行分配，来确定待备份数据。
步骤S40：启动各备份进程，以对所述待备份数据进行备份。
具体的，在对每个备份进程确定好对应的待备份数据后，可同时启动所有备份进程，也可以根据计算机设备实际情况部分启动备份进程，以对步骤S30确定的待备份数据进行备份，从而实现对目标数据库的数据进行备份的目的。
本实施例使用MongoDB备份指令对MongoDB数据库进行备份，对数据库所在主机的硬件资源比如CPU配置和IO配置，以及所要备份的MongoDB数据库的数据分布情况进行分析后，在MongoDB数据库自动并行度的基础上，启动多个备份进程进行备份，每个进程负责备份指定的数据或指定的数据集，这样充分利用主机资源，大大提升了MongoDB数据库的备份效率。
本实施例提供的数据库备份方法，通过在接收备份指令后获取计算机设备的中央处理器的配置信息和计算机设备的输入输出的配置信息，并根据计算机设备的配置信息和目标数据库中数据分布情况确定每个备份进程对应的待备份数据，再启动备份进程进行备份；对备份任务进行多进程拆分，充分考虑到计算机设备自身配置情况，可以避免进程过多导致计算机设备利用率超负荷，影响备份效率；还通过确定每个备份进程对应的待备份数据，可以避免因数据库中数据集的数量或对应的数据量的差异，导致各个进程的运行时长差异较大，防止增大备份任务的时间，实现了提高数据库备份效率的技术效果。
在一种实施方式中，所述步骤S20，可以包括：
步骤S21：根据所述备份指令，判断所述计算机设备的输入输出利用率是否大于预设利用率。
由于数据库备份是IO密集型业务，备份进程的数量受CPU核心数和IO性能限制。所以不建议开启过多的并行进程，以免资源耗尽导致业务受到影响。如果计算机设备自身正在进行其他IO密集型业务，再进行数据库备份，可能会导致占用过大，热度过高，影响计算机设备的使用，因此，设置一个合理的备份启动条件，可以防止此类情况发生。
具体的，基于接收到的备份指令，判断计算机设备的IO利用率是否大于预设利用率。本实施例中，基于接收到的MongoDB备份指令，判断计算机设备的IO利用率是否超过50％，当超过50％时，不进行本实施例的备份任务。
步骤S22：若所述计算机设备的输入输出利用率小于或等于所述预设利用率，获取所述计算机设备的中央处理器的配置信息和所述计算机设备的输入输出的配置信息。
具体的，若计算机设备的IO利用率小于或等于预设利用率，则可以正常启动本实施例的备份任务，即获取计算机设备的CPU配置信息和IO配置信息，CPU配置信息包括CPU核心数，IO配置信息包括IO写入速度、IO写出速度。
本实施例先对计算机设备的IO利用率进行判断，设置备份启动条件，在满足备份启动条件后再获取计算机设备的CPU配置信息和IO配置信息，防止计算机设备自身运行空间不能满足备份任务需要，避免IO干扰，也充分考虑到了计算机设备的硬件资源情况。
在另一种实施方式中，步骤S30之前，所述方法还可以包括：
步骤A：根据所述配置信息，确定备份进程数。
具体的，根据CPU配置信息和IO配置信息确定备份进程数，可以直接根据CPU配置信息来确定备份进程数，也可以直接根据IO配置信息来确定备份进程数，还可以综合考虑CPU配置信息和IO配置信息来确定备份进程数，即分别确定一个进程数后，选择其中的最小值作为备份进程数。
在具体实施方式中，所述备份进程数为第一进程数、第二进程数和第三进程数中的最小值，其中，所述第一进程数根据所述计算机设备的中央处理器的配置信息获得；所述第二进程数根据所述计算机设备的输入输出的配置信息获得；所述第三进程数根据所述目标数据库的数据量和预设进程拆分规则获得，所述预设进程拆分规则为基于所述数据库的数据总量分阶段设定对应的进程数。
具体的，所述步骤A，可以包括：
步骤A1：根据所述计算机设备的中央处理器的配置信息，获得第一进程数。
具体的，根据CPU配置信息确定第一进程数，获取计算机设备的CPU配置信息后，根据CPU的核心数来确定第一进程数。本实施例中，响应MongoDB备份指令进行数据备份时，会自动开启最大线程，比如4个，此时，根据获取的计算机设备的CPU的核心数CPUcore，利用预设条件来确定第一进程数PCPU，比如，根据第一计算式来确定第一进程数PCPU，该第一计算式为：
Figure BDA0003154883580000111
其中，-1的目的是为了减少一个并行进程，避免主机资源耗尽。
步骤A2：根据所述计算机设备的输入输出的配置信息，获得第二进程数。
具体的，根据IO配置信息确定第二进程数，获取计算机设备的IO配置信息后，根据IO写入速度来确定第一进程数。本实施例中，数据库备份会产生大量的IO读写操作，因此将目标数据库当前所在磁盘与要将其备份到的目标磁盘进行磁盘物理隔离，避免IO干扰。本实施例中，可以根据计算机设备的IO最大写入速度IOmax，利用预设条件来确定第二进程数PIO，比如，根据第二计算式来确定第二进程数PIO，该第二计算式为：
Figure BDA0003154883580000112
其中，trunc表示将数字的小数部分截去，保留整数；IOmax可以基于一个4KB的内存页，获得计算机设备的最大写入速度；IOS表示单个进程的最大写入速度；-1的目的是为了减少一个并行进程，避免主机资源耗尽。
步骤A3：根据所述目标数据库的数据量和预设进程拆分规则，获得第三进程数，所述预设进程拆分规则为基于所述数据库的数据总量分阶段设定对应的进程数。
具体的，在计算机设备中根据数据库的数据量对应设置预设进程拆分规则，比如，当数据库的数据总量小于或等于20G时，对应的进程数设定为1，即不需要拆分备份进程；当数据总量大于20G且小于或等于50G时，对应的进程数设定为2；当数据总量大于50G且小于或等于100G时，对应的进程数设定为4。根据类似进程拆分规则，可以直接根据目标数据库的数据量从中获取一个第三进程数PS。
步骤A4：将所述第一进程数、所述第二进程数和所述第三进程数中的最小数值确定为备份进程数。
具体的，比较步骤A1获得的第一进程数PCPU、步骤A2获得的第二进程数PIO和步骤A3获得的第三进程数PS，选择其中的最小数值，作为最终的备份进程数P。
选择一个最小的数值，可以在满足CPU和IO配置的情况下，尽最大可能地确定备份进程数，不会因为备份进程数太小而不能更好地利用计算机设备的硬件资源，也不会存在因为超过CPU配置、IO配置或预设规则而导致计算机设备使用过度，造成计算机设备超负荷运行的情况。
在又一种实施方式中，所述目标数据库中包括多个数据集；结合图3所示的详细流程示意图，所述步骤S30，可以包括：
步骤S31：根据所述目标数据库中数据集的数量和每个数据集对应的数据量，判断所述目标数据库的数据分布是否均匀，其中，所述目标数据库的数据分布均匀包括所述目标数据库中每个数据集与所述目标数据库的平均数据量的差值小于预设差值，所述平均数据量是根据所述数据集的数量和每个数据集对应的数据量确定的。
具体的，数据集根据目标数据库对应确定，当目标数据库为包含多个集合的数据库时，数据集可以是数据库中的一个集合或文档，当目标数据库为包含多个文档的集合时，数据集可以是集合中的一个文档，实际应用时根据实际情况而定。
具体的，所述步骤S31，可以包括：
步骤S311：根据所述数据集的数量和每个数据集对应的数据量，获得所述目标数据库的平均数据量；
步骤S312：获取所述目标数据库中每个数据集与所述平均数据量的差值；
步骤S313：判断每个所述差值是否小于预设差值，其中，所述预设差值基于所述平均数据量的预设百分比获得；
步骤S314：若每个所述差值均小于所述预设差值，判定所述目标数据库的数据分布均匀；
步骤S315：若有一个所述差值大于或等于所述预设差值，判定所述目标数据库的数据分布不均匀。
具体的，对要备份的目标数据库中的对象进行分析，目标数据库中包括有多个数据集，根据数据集对目标数据库进行数据分布情况的分析。根据数据集的数量n，每个数据集对应的数据量x1,x2,…,xn，获得平均数据量xAVG：
Figure BDA0003154883580000121
再计算每个数据集与该平均数据量xAVG的差值xD1,xD2,…,xDn，其中，差值取绝对值，根据预先设定的基准百分比I，比如50％，根据平均数据量xAVG获得一个预设差值XD：
XD＝I×xAVG，
判断差值xD1,xD2,…,xDn是否均小于预设差值XD；
当每个数据集对应的数据量x1,x2,…,xn与平均数据量xAVG的差值xD1,xD2,…,xDn都小于预设差值XD时，说明目标数据库的数据分布均匀，当所有数据集中有一个数据集的数据量与平均数据量xAVG的差值大于或等于预设差值XD时，说明目标数据库中有差异较大的数据集，即数据分布不均匀。
步骤S32：当所述目标数据库的数据分布均匀，将各数据集按照所述备份进程数均匀分配，以确定所述计算机设备的每个备份进程对应的待备份数据。
具体的，当目标数据库的数据分布均匀时，根据步骤A确定的备份进程数，将所有数据集按照该备份进程数进行均匀分配，将数据集的数量n除以备份进程数P，获得一个中间值，该中间值为向上舍入取整数的数值；比如，当有8个数据集且分布均匀时，若备份进程数为4，中间值为2，可以确定每个备份进程备份2个数据集，将所有数据集按数据量大小排列后，以最大和最小的两个数据集作为第一个备份进程的待备份数据，再以第二大和第二小的两个数据集作为第二个备份进程的待备份数据，依次从排列的两端选择一个作为一个备份进程的待备份数据；又比如，当有5个数据集且分布均匀时，若备份进程数为4，数据集的数量除以备份进程数无法整除，获得的数值为1.25，根据中间值的设定规则，可以获得中间值为2，按均匀分配的规则，将所有数据集按数据量大小排列后，可以确定第一个备份进程的待备份数据为最大和最小的两个数据集，此时，剩余3个数据集等待被分配，并且剩余3个备份进程需要确定待备份数据，则可以直接将剩余3个数据集对应分配给3个备份进程，即可实现将各数据集按照备份进程数均匀分配。在实际应用中，还可以根据实际情况设定均匀分配的标准，以尽量满足每个备份进程的待备份数据总体数据量差异不要太大，实现不需要拆分单个数据集的数据，就可以确定每个备份进程对应的待备份数据。
步骤S33：当所述目标数据库的数据分布不均匀，获取待拆分数据集和待分配数据集，其中，所述待拆分数据集包括所述目标数据库中数据量大于预设门限值的数据集，所述待分配数据集包括所述目标数据库中数据量小于或等于预设门限值的数据集。
具体的，当目标数据库的数据分布不均匀时，对目标数据库中数据量大于预设门限值的数据集确定为待拆分数据集，以对该数据集进行拆分后分配给多个备份进程，同时，将目标数据库中数据量小于或等于预设门限值的数据集确定为待分配数据集，即不需要对这部分数据集进行拆分，后续可以直接将这些数据集分配给备份进程。
步骤S34：对所述待拆分数据集进行数据拆分，获得待分配数据子集。
具体的，所述步骤S34，可以包括：
步骤S341：获取所述待拆分数据集对应的第一标识；
步骤S342：对所述第一标识进行时间值转换，获得所述第一标识对应的第一时间值；
步骤S343：根据拆分数对所述第一时间值进行拆分，以获得对应数量的第二时间值，其中，所述拆分数小于或等于所述备份进程数；
步骤S344：对每个第二时间值进行字符串转换，获得与所述每个第二时间值对应的第二标识；
步骤S345：根据所述第二标识，获得待分配数据子集。
具体的，标识可以是字符串，对确定的待拆分数据集，即大数据量的数据集，按照_id字段转换为时间等分导出。在MongoDB数据库中，每一个集合会默认创建一个名为_id的字段，该字段上默认创建了主键索引，该字段类型为ObjectId(对象标识符)，是一个12字节的BSON(Binary Serialized Document Format，二进制序列化的文档格式)类型的字符串，按字节顺序，依次代表的是，4字节表示Unix操作系统的时间戳，3字节表示运行MongoDB的计算机设备标识，2字节表示生成此_id字段的进程，3字节表示由一个随机数开始的计数器生成的值。因此，目标数据库中每个数据集对应具备一个12字节的第一字符串。根据该第一字符串进行时间值转换，具体为取出数据集的_id字段的最大值和最小值，根据获取时间戳的指令，转换得到对应的第一时间值，比如，根据一个数据集的第一字符串获得其对应的第一时间值为一年半。然后，根据拆分数对一年半进行时间范围内的等分拆分，比如，备份进程数为4的情况下，设定的拆分数为3，则可以获得3个第二时间值，即第二时间值为半年。根据半年的时间值，将其转换为_id字段的形式，获取对应的字符串，即获得3个第二字符串。最后根据这3个第二字符串对应数据集内的数据信息，将数据信息按半年时间戳拆分为3部分，每个部分为一个子集合，即获得待分配数据子集。
步骤S35：将各待分配数据集和待分配数据子集按照所述备份进程数均匀分配，以确定每个备份进程对应的待备份数据。
具体的，将步骤S33确定的待分配数据集和步骤S35获得待分配数据子集按照备份进程数进行均匀分配，从而确定每个备份进程对应的待备份数据。此处将待分配数据集和拆分一个大数据集获得的多个待分配数据子集可以看作分布均匀的情况，可以参考步骤S32的方式进行均匀分配，此处不再赘述。在确定好每个备份进程需要备份的待备份数据后，随机启动备份进程，即可实现对目标数据库内的数据进行备份的目的。
本实施例根据上述具体设定对一个MongoDB数据库进行备份，该MongoDB数据库的总数据量为106G，其中一个大集合的数据量为80G，且分布不均匀，分别采用传统方法和本方法进行试验，采用传统方法耗时3小时，而采用本方法，拆分为4个备份进程，并将大集合拆分后分配给3个备份进程，最终耗时1小时，备份效率提升了66％，由此可以证明，本方法的备份效率得到了较大提升。
本实施例中提供的数据库备份方法，在接收到数据库备份指令，且数据库所在的计算机设备的IO利用率不超过预设利用率的情况下，启动多进程备份。首先，根据获取的CPU配置和IO配置信息分别确定第一进程数和第二进程数，再根据预设进程拆分规则确定第三进程数，并选择其中的最小数值确定备份进程数，综合多方面考虑，结合计算机设备的硬件资源情况，确定最合适的备份进程数，防止进程数过小会增加备份时间或进程数过大计算机设备无法满足需求的情况发生；然后，对要备份的目标数据库进行分析，分两种情况确定备份进程对应的待备份数据，当目标数据库中数据集分布均匀时，不需要拆分任何数据集，直接按照备份进程数对数据集进行均匀分配，当目标数据库中数据集分布不均匀时，需要对数据量较大的数据集进行拆分，再对拆分后的数据子集和未拆分的数据集按照备份进程数进行均匀分配，从而获得每个备份进程对应的待备份数据；结合数据集的数量和大小进行数据分析，减小单个备份进程的时间或减小单个备份进程的数据量，防止因数据库中数据集的数量或对应的数据量的差异，导致各个备份进程的时长差异较大，从而防止增大整个备份任务的时间，以尽可能减小整个备份任务的时间和提高整个备份任务的速度，提高备份速率；最后启动备份进程，对待备份数据进行备份，从而实现对目标数据库的备份。
实施例二
基于同一发明构思，参照图4，为本发明数据库备份装置的模块示意图，本实施例提供了一种数据库备份装置，所述数据库备份装置可以为虚拟装置，应用于计算机设备。
下面结合图4所示的模块示意图，对本实施例提供的数据库备份装置进行详细描述，所述装置可以包括：
指令获取模块，用于接收备份指令，所述备份指令用于对计算机设备的目标数据库进行备份；
配置获取模块，用于获取所述计算机设备的配置信息，所述配置信息包括所述计算机设备的中央处理器的配置信息和所述计算机设备的输入输出的配置信息；
待备份数据获取模块，用于根据所述配置信息和所述目标数据库中数据分布情况，确定所述计算机设备的每个备份进程对应的待备份数据，所述计算机设备包括至少一个备份进程；
备份模块，用于启动各备份进程，以对所述待备份数据进行备份。
进一步地，所述装置还可以包括：
进程数获取模块，用于根据所述配置信息确定备份进程数，所述备份进程数为第一进程数、第二进程数和第三进程数中的最小值，其中，所述第一进程数根据所述计算机设备的中央处理器的配置信息获得；所述第二进程数根据所述计算机设备的输入输出的配置信息获得；所述第三进程数根据所述目标数据库的数据量和预设进程拆分规则获得，所述预设进程拆分规则为基于所述数据库的数据总量分阶段设定对应的进程数。
进一步地，所述目标数据库中包括多个数据集；
所述待备份数据获取模块，可以包括：
数据分析单元，用于根据所述目标数据库中数据集的数量和每个数据集对应的数据量，判断所述目标数据库的数据分布是否均匀，其中，所述目标数据库的数据分布均匀包括所述目标数据库中每个数据集与所述目标数据库的平均数据量的差值小于预设差值，所述平均数据量是根据所述数据集的数量和每个数据集对应的数据量确定的；
第一数据分配单元，用于当所述目标数据库的数据分布均匀，将各数据集按照所述备份进程数均匀分配，以确定所述计算机设备的每个备份进程对应的待备份数据。
进一步地，所述待备份数据获取模块，还可以包括：
数据处理单元，用于当所述目标数据库的数据分布不均匀，获取待拆分数据集和待分配数据集，其中，所述待拆分数据集包括所述目标数据库中数据量大于预设门限值的数据集，所述待分配数据集包括所述目标数据库中数据量小于或等于预设门限值的数据集；
数据拆分单元，用于对所述待拆分数据集进行数据拆分，获得待分配数据子集；
第二数据分配单元，用于将各待分配数据集和待分配数据子集按照所述备份进程数均匀分配，以确定每个备份进程对应的待备份数据。
进一步地，所述数据分析单元，可以包括：
平均数据量获取子单元，用于根据所述数据集的数量和每个数据集对应的数据量，获得所述目标数据库的平均数据量；
数据量差值获取子单元，用于获取所述目标数据库中每个数据集与所述平均数据量的差值；
数据量判断子单元，用于判断每个所述差值是否小于预设差值，其中，所述预设差值基于所述平均数据量的预设百分比获得；
第一分析结果获取子单元，用于若每个所述差值均小于所述预设差值，判定所述目标数据库的数据分布均匀；
第二分析结果获取子单元，用于若有一个所述差值大于或等于所述预设差值，判定所述目标数据库的数据分布不均匀。
进一步地，所述数据拆分单元，可以包括：
第一标识获取子单元，用于获取所述待拆分数据集对应的第一标识；
第一时间值获取子单元，用于对所述第一标识进行时间值转换，获得所述第一标识对应的第一时间值；
第二时间值获取子单元，用于根据拆分数对所述第一时间值进行拆分，以获得对应数量的第二时间值，其中，所述拆分数小于或等于所述备份进程数；
第二标识获取子单元，用于对每个第二时间值进行字符串转换，获得与所述每个第二时间值对应的第二标识；
数据子集获取子单元，用于根据所述第二标识，获得待分配数据子集。
进一步地，所述配置获取模块，可以包括：
启动条件判定单元，用于根据所述备份指令，判断所述计算机设备的输入输出利用率是否大于预设利用率；
启动备份单元，用于若所述计算机设备的输入输出利用率小于或等于所述预设利用率，获取所述计算机设备的中央处理器的配置信息和所述计算机设备的输入输出的配置信息。
需要说明，本实施例提供的数据库备份装置中各个模块可实现的功能和对应达到的技术效果可以参照本发明数据库备份方法实施例中具体实施方式的描述，为了说明书的简洁，此处不再赘述。
实施例三
基于同一发明构思，参照图2，为本发明各实施例涉及的计算机设备的硬件结构示意图。本实施例提供了一种计算机设备，所述设备可以包括处理器和存储器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，实现本发明数据库备份方法各个实施例的全部或部分步骤。
具体的，所述计算机设备是指能够实现网络连接的终端设备或网络连接设备，可以是手机、电脑、平板电脑、便携计算机等终端设备，也可以是服务器、云平台等网络设备。
可以理解，所述设备还可以包括通信总线，用户接口和网络接口。
其中，通信总线用于实现这些组件之间的连接通信；
用户接口用于连接客户端，与客户端进行数据通信，用户接口可以包括输出单元，比如显示屏、输入单元比如键盘，可选的，用户接口还可以包括其他输入/输出接口，比如标准的有线接口、无线接口；
网络接口用于连接后台服务器，与后台服务器进行数据通信，网络接口可以包括输入/输出接口，比如标准的有线接口、无线接口，如Wi-Fi接口；
存储器用于存储各种类型的数据，这些数据例如可以包括该设备中任何应用程序或方法的指令，以及应用程序相关的数据，存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘，可选的，存储器还可以是独立于所述处理器的存储装置；
处理器用于调用存储器中存储的计算机程序，并执行如上述的数据库备份方法各个实施例的全部或部分步骤，处理器可以是专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、数字信号处理器(Digital Signal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field ProgrammableGate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件。
实施例四
基于同一发明构思，本实施例提供了一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行本发明数据库备份方法各个实施例的全部或部分步骤。
实施例五
基于同一发明构思，本实施例提供了一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，所述存储介质上存储有计算机程序，所述计算机程序可被一个或多个处理器执行，所述计算机程序被处理器执行时可以实现本发明数据库备份方法各个实施例的全部或部分步骤。
通过以上具体实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM、RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机、计算机、服务器或者网络设备等)执行本发明实施例所述的方法。
需要说明，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上所述仅为本发明的可选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均包括在本发明的专利保护范围内。

Claims (10)

1.一种数据库备份方法，其特征在于，所述方法包括：
接收备份指令，所述备份指令用于对计算机设备的目标数据库进行备份；
获取所述计算机设备的配置信息，所述配置信息包括所述计算机设备的中央处理器的配置信息和所述计算机设备的输入输出的配置信息；
根据所述配置信息和所述目标数据库中数据分布情况，确定所述计算机设备的每个备份进程对应的待备份数据，所述计算机设备包括至少一个备份进程；
启动各备份进程，以对所述待备份数据进行备份。
2.如权利要求1所述的数据库备份方法，其特征在于，所述根据所述配置信息和所述目标数据库中数据分布情况，确定所述计算机设备的每个备份进程对应的待备份数据的步骤之前，所述方法还包括：
根据所述配置信息确定备份进程数，所述备份进程数为第一进程数、第二进程数和第三进程数中的最小值，其中，所述第一进程数根据所述计算机设备的中央处理器的配置信息获得；所述第二进程数根据所述计算机设备的输入输出的配置信息获得；所述第三进程数根据所述目标数据库的数据量和预设进程拆分规则获得，所述预设进程拆分规则为基于所述数据库的数据总量分阶段设定对应的进程数。
3.如权利要求2所述的数据库备份方法，其特征在于，所述目标数据库中包括多个数据集；
所述根据所述配置信息和所述目标数据库中数据分布情况，确定所述计算机设备的每个备份进程对应的待备份数据的步骤，具体包括：
根据所述目标数据库中数据集的数量和每个数据集对应的数据量，判断所述目标数据库的数据分布是否均匀，其中，所述目标数据库的数据分布均匀包括所述目标数据库中每个数据集与所述目标数据库的平均数据量的差值小于预设差值，所述平均数据量是根据所述数据集的数量和每个数据集对应的数据量确定的；
当所述目标数据库的数据分布均匀，将各数据集按照所述备份进程数均匀分配，以确定所述计算机设备的每个备份进程对应的待备份数据。
4.如权利要求3所述的数据库备份方法，其特征在于，所述根据所述目标数据库中数据集的数量和每个数据集对应的数据量，判断所述目标数据库的数据分布是否均匀的步骤之后，所述方法还包括：
当所述目标数据库的数据分布不均匀，获取待拆分数据集和待分配数据集，其中，所述待拆分数据集包括所述目标数据库中数据量大于预设门限值的数据集，所述待分配数据集包括所述目标数据库中数据量小于或等于预设门限值的数据集；
对所述待拆分数据集进行数据拆分，获得待分配数据子集；
将各待分配数据集和待分配数据子集按照所述备份进程数均匀分配，以确定每个备份进程对应的待备份数据。
5.如权利要求4所述的数据库备份方法，其特征在于，所述对所述待拆分数据集进行数据拆分，获得待分配数据子集的步骤，具体包括：
获取所述待拆分数据集对应的第一标识；
对所述第一标识进行时间值转换，获得所述第一标识对应的第一时间值；
根据拆分数对所述第一时间值进行拆分，以获得对应数量的第二时间值，其中，所述拆分数小于或等于所述备份进程数；
对每个第二时间值进行字符串转换，获得与所述每个第二时间值对应的第二标识；
根据所述第二标识，获得待分配数据子集。
6.如权利要求1至5中任一项所述的数据库备份方法，其特征在于，所述获取所述计算机设备的配置信息的步骤，具体包括：
根据所述备份指令，判断所述计算机设备的输入输出利用率是否大于预设利用率；
若所述计算机设备的输入输出利用率小于或等于所述预设利用率，获取所述计算机设备的中央处理器的配置信息和所述计算机设备的输入输出的配置信息。
7.一种数据库备份装置，其特征在于，所述装置包括：
指令获取模块，用于接收备份指令，所述备份指令用于对计算机设备的目标数据库进行备份；
配置获取模块，用于获取所述计算机设备的配置信息，所述配置信息包括所述计算机设备的中央处理器的配置信息和所述计算机设备的输入输出的配置信息；
待备份数据获取模块，用于根据所述配置信息和所述目标数据库中数据分布情况，确定所述计算机设备的每个备份进程对应的待备份数据，所述计算机设备包括至少一个备份进程；
备份模块，用于启动各备份进程，以对所述待备份数据进行备份。
8.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，实现如权利要求1至6中任一项所述的数据库备份方法。
9.一种计算机程序产品，其特征在于，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行如权利要求1至6中任一项所述的数据库备份方法。
10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序可被一个或多个处理器执行，以实现如权利要求1至6中任一项所述的数据库备份方法。
CN202110776247.2A 2021-07-08 2021-07-08 数据库备份方法、装置、计算机设备及存储介质 Active CN113467996B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110776247.2A CN113467996B (zh) 2021-07-08 2021-07-08 数据库备份方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110776247.2A CN113467996B (zh) 2021-07-08 2021-07-08 数据库备份方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN113467996A true CN113467996A (zh) 2021-10-01
CN113467996B CN113467996B (zh) 2024-04-19

Family

ID=77879365

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110776247.2A Active CN113467996B (zh) 2021-07-08 2021-07-08 数据库备份方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN113467996B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114064359A (zh) * 2021-11-12 2022-02-18 广州泳泳信息科技有限公司 一种跨平台多机房分布式数据库备份系统
CN115470043A (zh) * 2022-09-14 2022-12-13 广州鼎甲计算机科技有限公司 数据库备份方法、装置、计算机设备和存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012001788A1 (ja) * 2010-06-30 2012-01-05 富士通株式会社 マルチコアプロセッサシステム、復元プログラム、および復元方法
CN105183585A (zh) * 2015-08-27 2015-12-23 北京金山安全软件有限公司 一种数据备份方法及装置
CN106933703A (zh) * 2015-12-30 2017-07-07 阿里巴巴集团控股有限公司 一种数据库数据备份的方法、装置及电子设备
CN108920260A (zh) * 2018-05-16 2018-11-30 成都淞幸科技有限责任公司 一种异构系统的交互方法及其装置
CN110109778A (zh) * 2019-07-02 2019-08-09 南京云信达科技有限公司 一种大量小数据文件备份方法及恢复方法
US20190294505A1 (en) * 2018-03-20 2019-09-26 Sap Se Object store for database backups
CN110647579A (zh) * 2019-08-16 2020-01-03 北京百度网讯科技有限公司 数据同步方法及装置、计算机设备与可读介质
CN111611104A (zh) * 2020-05-14 2020-09-01 华云数据有限公司 一种InfluxDB数据备份方法、系统及终端设备
CN112286728A (zh) * 2020-10-30 2021-01-29 深圳前海微众银行股份有限公司 数据备份方法、装置、设备及计算机存储介质
CN112765119A (zh) * 2019-10-21 2021-05-07 深圳市茁壮网络股份有限公司 Hdfs api的调用方法、装置、设备及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012001788A1 (ja) * 2010-06-30 2012-01-05 富士通株式会社 マルチコアプロセッサシステム、復元プログラム、および復元方法
CN105183585A (zh) * 2015-08-27 2015-12-23 北京金山安全软件有限公司 一种数据备份方法及装置
CN106933703A (zh) * 2015-12-30 2017-07-07 阿里巴巴集团控股有限公司 一种数据库数据备份的方法、装置及电子设备
US20190294505A1 (en) * 2018-03-20 2019-09-26 Sap Se Object store for database backups
CN108920260A (zh) * 2018-05-16 2018-11-30 成都淞幸科技有限责任公司 一种异构系统的交互方法及其装置
CN110109778A (zh) * 2019-07-02 2019-08-09 南京云信达科技有限公司 一种大量小数据文件备份方法及恢复方法
CN110647579A (zh) * 2019-08-16 2020-01-03 北京百度网讯科技有限公司 数据同步方法及装置、计算机设备与可读介质
CN112765119A (zh) * 2019-10-21 2021-05-07 深圳市茁壮网络股份有限公司 Hdfs api的调用方法、装置、设备及存储介质
CN111611104A (zh) * 2020-05-14 2020-09-01 华云数据有限公司 一种InfluxDB数据备份方法、系统及终端设备
CN112286728A (zh) * 2020-10-30 2021-01-29 深圳前海微众银行股份有限公司 数据备份方法、装置、设备及计算机存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YAODONG YANG: ""SnapMig: Accelerating VM Live Storage Migration by Leveraging the Exiting VM Snapshots in the Cloud"", 《IEEE TRANSACTIONS ON PARALLEL AND DISTRIBUTED SYSTEMS》, vol. 29, no. 6, pages 1416 - 1427 *
姜昊昃: ""基于CDP双引擎的备份系统关键技术研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 2015, pages 138 - 39 *
秦羽的思考: ""数据库性能与容量评估"", pages 1 - 12, Retrieved from the Internet <URL:《https://www.cnblogs.com/xuwc/p/14077238.html》> *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114064359A (zh) * 2021-11-12 2022-02-18 广州泳泳信息科技有限公司 一种跨平台多机房分布式数据库备份系统
CN115470043A (zh) * 2022-09-14 2022-12-13 广州鼎甲计算机科技有限公司 数据库备份方法、装置、计算机设备和存储介质
CN115470043B (zh) * 2022-09-14 2023-04-25 广州鼎甲计算机科技有限公司 数据库备份方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN113467996B (zh) 2024-04-19

Similar Documents

Publication Publication Date Title
CN111176976B (zh) 测试数据的生成方法和装置、存储介质及电子装置
WO2019144553A1 (zh) 数据存储方法、装置及存储介质
CN113467996A (zh) 数据库备份方法、装置、计算机设备及存储介质
CN109343801B (zh) 数据存储方法、设备及计算机可读存储介质
CN110147157B (zh) 一种存储服务器的启动方法、系统及相关组件
US9973564B2 (en) Determining variable chunk size for transfer of a file
CN103942292A (zh) 虚拟机镜像文件处理方法、装置及系统
US20150195375A1 (en) Dynamically sizing chunks in a partially loaded spreadsheet model
CN108829510B (zh) 线程绑定处理方法和装置
CN110633130B (zh) 一种基于内存热插拔技术的虚拟内存管理方法和装置
CN111988419A (zh) 文件上传方法、下载方法、装置、计算机设备和存储介质
CN112615945A (zh) 域名解析记录管理方法、装置、计算机设备及存储介质
CN114826749A (zh) 一种接口访问控制方法、装置、介质
CN112416907A (zh) 一种数据库表数据导入导出方法、终端设备及存储介质
CN111694505B (zh) 数据存储管理方法、装置和计算机可读存储介质
CN111447265A (zh) 文件存储方法、文件下载方法和文件处理方法及相关组件
CN113608842B (zh) 一种容器集群和组件的管理方法、装置、系统及存储介质
CN115964002B (zh) 一种电能表终端档案管理方法、装置、设备及介质
CN112486664A (zh) 一种节点扩容方法、系统、终端及存储介质
CN111107120B (zh) 一种Redis集群的构建方法及系统
CN116089527A (zh) 一种数据校验方法、存储介质与设备
CN113312669B (zh) 密码同步方法、设备及存储介质
CN113076086B (zh) 元数据管理系统和使用其对模型对象进行建模的方法
US20160232166A1 (en) Method and Apparatus for Accessing File
CN109492376B (zh) 设备访问权限的控制方法、装置及堡垒机

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant