CN114661523A - 数据备份方法、装置、程序产品、介质及电子设备 - Google Patents

数据备份方法、装置、程序产品、介质及电子设备 Download PDF

Info

Publication number
CN114661523A
CN114661523A CN202210270029.6A CN202210270029A CN114661523A CN 114661523 A CN114661523 A CN 114661523A CN 202210270029 A CN202210270029 A CN 202210270029A CN 114661523 A CN114661523 A CN 114661523A
Authority
CN
China
Prior art keywords
data
database
thread
backup
source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210270029.6A
Other languages
English (en)
Inventor
闫保林
范富强
李世杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Energy Chain Holding Co ltd
Original Assignee
Chezhubang Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chezhubang Beijing Technology Co Ltd filed Critical Chezhubang Beijing Technology Co Ltd
Priority to CN202210270029.6A priority Critical patent/CN114661523A/zh
Publication of CN114661523A publication Critical patent/CN114661523A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1458Management of the backup or restore process
    • G06F11/1464Management of the backup or restore process for networked environments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • G06F16/2379Updates performed during online database operations; commit processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请的实施例提供了一种数据备份方法、装置、程序产品、介质及电子设备,涉及计算机及数据备份技术领域。该方法包括:创建第一线程和第二线程;通过所述第一线程将原始数据库中的存量数据备份至备份数据库;通过所述第二线程从源数据库中读取源数据,并将所述源数据作为增量数据写入原始数据库。本申请实施例的技术方案可以提高数据的备份效率。

Description

数据备份方法、装置、程序产品、介质及电子设备
技术领域
本申请涉及计算机及数据备份技术领域,具体而言,涉及一种数据备份方法、装置、程序产品、介质及电子设备。
背景技术
在数据备份场景,比如,在将一个云服务器中的云数据备份到另一个云服务器中的场景中,一般会存在备份数据的同时,可能会有新的数据存入云服务器中,在这种情况下,可能会出现数据备份混乱的情况,从而导致数据阻塞和数据丢失的问题,数据备份效率低。基于此,如何提高数据的备份效率是本领域技术人员亟待解决的技术问题。
发明内容
本申请的实施例提供了一种数据备份方法、装置、程序产品、介质及电子设备,进而至少在一定程度上可以提高数据的备份效率。
本申请的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本申请的实践而习得。
根据本申请实施例的一个方面,提供了一种数据备份方法,包括:创建第一线程和第二线程;通过所述第一线程将原始数据库中的存量数据备份至备份数据库;通过所述第二线程从源数据库中读取源数据,并将所述源数据作为增量数据写入原始数据库。
根据本申请实施例的一个方面,提供了一种数据备份装置,包括:第一创建单元,被用于创建第一线程和第二线程;第一备份单元,被用于通过所述第一线程将原始数据库中的存量数据备份至备份数据库;写入单元,被用于通过所述第二线程从源数据库中读取源数据,并将所述源数据作为增量数据写入原始数据库。
在本申请的一些实施例中,基于前述方案,所述装置还包括:第二创建单元,被用于在通过所述第二线程从源数据库中读取源数据,并将所述源数据作为增量数据写入原始数据库之后,创建第三线程;第二备份单元,被用于通过所述第三线程将原始数据库中的增量数据备份至备份数据库。
在本申请的一些实施例中,基于前述方案,所述第二备份单元配置为:获取所述第二线程将所述源数据作为增量数据写入原始数据库的写入速度;获取所述第三线程将原始数据库中的增量数据备份至备份数据库的备份速度;如果所述备份速度大于所述写入速度,则通过所述第三线程从源数据库中读取源数据,将所述源数据作为增量数据写入原始数据库,并通过所述第二线程将原始数据库中的增量数据备份至备份数据库。
在本申请的一些实施例中,基于前述方案,所述第一备份单元配置为:在所述原始数据库中的存量数据被全部备份至所述备份数据库时,通过所述第一线程将原始数据库中的增量数据备份至备份数据库。
在本申请的一些实施例中,基于前述方案,所述备份数据库包括至少两个子数据库,所述存量数据和所述增量数据中均携带有与对应子数据库相匹配的归属标识;所述第一备份单元还配置为:按照各条存量数据携带的归属标识,通过所述第一线程将所述存量数据对应备份至与所述归属标识相匹配的子数据库中;所述第二备份单元配置为:按照各条增量数据携带的归属标识,通过所述第二线程将所述增量数据对应备份至与所述归属标识相匹配的子数据库中。
在本申请的一些实施例中,基于前述方案,所述存量数据对应有数据编号,所述第一备份单元还配置为:按照各条存量数据的数据编号顺序,分批导出所述存量数据;通过所述第一线程将各批存量数据依次备份至所述备份数据库。
在本申请的一些实施例中,基于前述方案,所述第一备份单元还配置为:由所述第一线程向所述第二线程发送数据备份的第一通知信息;在所述第二线程接收到所述第一通知信息时,由所述第二线程向所述第一线程发送数据备份的第一确认信息;在所述第一线程接收到所述第一确认信息时,在所述原始数据库中确定待备份的存量数据,并通过所述第一线程将原始数据库中的存量数据备份至备份数据库。
在本申请的一些实施例中,基于前述方案,所述第一备份单元还配置为:将所述第二线程接收到所述第一通知信息的时刻确定为第一时刻;将在所述第一时刻之前写入所述原始数据库的数据确定为待备份的存量数据。
在本申请的一些实施例中,基于前述方案,所述写入单元配置为:在所述第一时刻之后,通过所述第二线程从源数据库中读取源数据,并将所述源数据作为增量数据写入原始数据库。
根据本申请实施例的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行如上述实施例中所述的数据备份方法。
根据本申请实施例的一个方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条程序代码,所述至少一条程序代码由处理器加载并执行以实现如上述实施例中所述的数据备份方法所执行的操作。
根据本申请实施例的一个方面,还提供了一种电子设备,其特征在于,包括有存储器,以及一个以上程序,其中一个以上程序存储于存储器中,且经配置以由一个以上处理器执行所述一个以上程序,所述一个以上程序包含用于进行如上述实施例中所述的数据备份方法的指令。
在本申请的一些实施例所提供的技术方案中,通过创建两个线程,其中,一个线程用于向备份数据库备份存量数据,另一个线程用于向原始数据库写入新的增量数据,可以保证存量数据的备份进程和增量数据的写入进程互不干扰,换句话说,即增量数据在不断写入原始数据库的同时,将原始数据库中的存量数据备份至备份数据库中的进程也不会受到任何影响,可见,本申请提出的技术方案可以增强数据备份进程的稳定性,能在一定程度上避免出现数据阻塞和数据丢失的问题,进而可以提高数据的备份效率。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1示出了可以应用本申请实施例的技术方案的示例性系统架构的示意图;
图2示出了根据本申请一个实施例的数据备份方法的流程图;
图3示出了根据本申请一个实施例的在通过所述第二线程从源数据库中读取源数据,并将所述源数据作为增量数据写入原始数据库之后的方法流程图;
图4示出了根据本申请一个实施例的数据备份过程的演示图;
图5示出了根据本申请一个实施例的数据备份过程的细节流程图;
图6示出了根据本申请一个实施例的通过所述第一线程将原始数据库中的存量数据备份至备份数据库的细节流程图;
图7示出了根据本申请一个实施例的通过所述第一线程将原始数据库中的存量数据备份至备份数据库的细节流程图;
图8示出了根据本申请一个实施例的在所述原始数据库中确定待备份的存量数据的细节流程图;
图9示出了根据本申请一个实施例的数据备份装置的框图;
图10示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本申请将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。
此外,所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中,提供许多具体细节从而给出对本申请的实施例的充分理解。然而,本领域技术人员将意识到,可以实践本申请的技术方案而没有特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。
附图中所示的方框图仅仅是功能实体,不一定必须与物理上独立的实体相对应。即,可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解,而有的操作/步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。
需要说明的是:在本文中提及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
需要注意的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的对象在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在图示或描述的那些以外的顺序实施。
图1示出了可以应用本申请实施例的技术方案的示例性系统架构的示意图。
如图1所示,系统架构可以包括终端设备(如图1中所示智能手机101、平板电脑102和便携式计算机103中的一种或多种,当然也可以是台式计算机等等,但并不局限于此,本申请在此不做限制)、网络104和服务器105。网络104用以在终端设备和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线通信链路、无线通信链路等等。
在本申请的一个实施例中,在需要将原始数据库(比如服务器105)中的数据备份至备份数据库(比如终端设备)的场景下,可能会有新的数据需要写入原始数据库中,比如,源数据库中的数据在不断写入原始数据库,在此情况下,可以由服务器105首先创建第一线程和第二线程,其中,一方面可以通过所述第一线程将原始数据库中的存量数据备份至备份数据库,另一方面可以通过所述第二线程从源数据库中读取源数据,并将所述源数据作为增量数据写入原始数据库。
在本实施例中,通过创建两个线程,其中,一个线程用于向备份数据库备份存量数据,另一个线程用于向原始数据库写入新的增量数据,可以保证存量数据的备份进程和增量数据的写入进程互不干扰,换句话说,即增量数据在不断写入原始数据库的同时,将原始数据库中的存量数据备份至备份数据库中的进程也不会受到任何影响,可见,本申请提出的技术方案可以增强数据备份进程的稳定性,能在一定程度上避免出现数据阻塞和数据丢失的问题,进而可以提高数据的备份效率。
需要说明的是,本申请实施例所提供的数据备份方法可以由服务器105执行,相应地,数据备份装置一般设置于服务器105中。但是,在本申请的其它实施例中,终端设备也可以与服务器具有相似的功能,从而执行本申请实施例所提供的数据备份方案。
还需要说明的是,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。
需要解释的是,如上所述的云计算(cloud computing)是一种计算模式,它将计算任务分布在大量计算机构成的资源池上,使各种应用系统能够根据需要获取计算力、存储空间和信息服务。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的,并且可以随时获取,按需使用,随时扩展。通过建立云计算资源池(简称云平台,一般称为IaaS(Infrastructure as aService,基础设施即服务)平台,在资源池中部署多种类型的虚拟资源,供外部客户选择使用。云计算资源池中主要包括:计算设备(为虚拟化机器,包含操作系统)、存储设备、网络设备。
以下对本申请实施例的技术方案的实现细节进行详细阐述:
图2示出了根据本申请一个实施例的数据备份方法的流程图,该数据备份方法可以由具有计算处理功能的设备来执行,比如可以由图1中所示的服务器105来执行,或者可以由图1中所示的终端设备来执行。参照图2所示,该数据备份方法至少包括步骤210至步骤250,详细介绍如下:
步骤210,创建第一线程和第二线程。
步骤230,通过所述第一线程将原始数据库中的存量数据备份至备份数据库。
步骤250,通过所述第二线程从源数据库中读取源数据,并将所述源数据作为增量数据写入原始数据库。
首先需要说明的是,本申请提出的数据备份方案可以应用于云服务中云数据的整体备份场景。在一个具体场景下,A云服务器(即原始数据库)中存储有云数据,在一些应用需求下,比如需要备份A云服务器中的云数据,可以将云数据从A云服务器备份至B云服务器(即备份数据库)中,然而,在将云数据从A云服务器备份至B云服务器的过程中,可能会有新的数据存入A云服务器中,在这种情况下,可能会出现数据备份混乱的情况,从而导致数据备份失败。
基于上述情况,可以创建两个线程,即第一线程和第二线程,其中,第一线程可以用于将A云服务器中的存量数据备份至B云服务器中,第二线程可以用于从源数据库中读取源数据,并将所述源数据作为增量数据写入A云服务器。
在本申请中,原始数据库中的数据可以是以数据表的形式存在,也可以是以数据包的形式存在,本申请对此不作具体限定。
在本申请的一个实施例中,即在如图2所示步骤250之后,还可以执行如图3所示的步骤。
参见图3,示出了根据本申请一个实施例的在通过所述第二线程从源数据库中读取源数据,并将所述源数据作为增量数据写入原始数据库之后的方法流程图。具体包括步骤261至步骤262:
步骤261,创建第三线程。
步骤262,通过所述第三线程将原始数据库中的增量数据备份至备份数据库。
为了使本领域技术人员更好的理解本申请中的数据备份方案,下面将结合4进行说明。
参照图4,示出了根据本申请一个实施例的数据备份过程的演示图。
具体的,如图4所示,在创建第一线程、第二线程,以及第三线程之后,通过第二线程从源数据库401中读取源数据,并将源数据作为增量数据写入原始数据库402,通过第一线程将原始数据库402中的存量数据备份至备份数据库403,通过第三线程将原始数据库402中的增量数据备份至备份数据库403。
在本申请中,在通过所述第二线程将源数据库中读取的源数据作为增量数据写入原始数据库之后,通过创建第三线程将原始数据库中的增量数据备份至备份数据库,其好处在于,一方面可以将数据备份进程中各个细化任务分担在不同的线程中,进一步使得各个细化任务互不干扰,可以增强数据备份进程的稳定性,防止出现数据阻塞和数据丢失的问题,另一方面,通过多个线程同时处理数据备份进程中的各个细化任务,可以加快数据备份的速率。因此,本实施例可以进一步提高数据的备份效率。
在本申请的一个实施例中,还可以执行如图5所示的方案。
参见图5,示出了根据本申请一个实施例的数据备份过程的细节流程图。具体包括步骤271至步骤273:
步骤271,获取所述第二线程将所述源数据作为增量数据写入原始数据库的写入速度。
步骤272,获取所述第三线程将原始数据库中的增量数据备份至备份数据库的备份速度。
步骤273,如果所述备份速度大于所述写入速度,则通过所述第三线程从源数据库中读取源数据,将所述源数据作为增量数据写入原始数据库,并通过所述第二线程将原始数据库中的增量数据备份至备份数据库。
在本申请中,如果所述备份速度大于所述写入速度,则说明第三线程会出现等待增量数据进行备份的情况,在这种情况下,会拖延数据备份的时间,进一步影响到数据的备份效率。基于此,可以切换第一线程和第二线程的任务,即通过第三线程从源数据库中读取源数据并将所述源数据作为增量数据写入原始数据库,通过第二线程将原始数据库中的增量数据备份至备份数据库,通过切换第一线程和第二线程的任务,可以在很大程度上提高数据的备份效率。
在本申请的一个实施例中,在所述原始数据库中的存量数据被全部备份至所述备份数据库时,通过所述第一线程将原始数据库中的增量数据备份至备份数据库。
在本实施例中,如果所述原始数据库中的存量数据被第一线程全部备份至所述备份数据库,则说明第一线程已经处于闲置状态,通过第一线程将原始数据库中的增量数据备份至备份数据库,可以充分利用线程资源,加快对增量数据的备份时间,从而提高数据的备份效率。
在本申请中,所述备份数据库可以包括至少两个子数据库,所述存量数据可以携带有与对应子数据库相匹配的归属标识,所述增量数据也可以携带有与对应子数据库相匹配的归属标识。
比如,至少两个子数据库可以包括数据库A和数据库B,每一条存量数据或者增量数据都可以携带有与数据库A相匹配的归属标识a,或者与数据库B相匹配的归属标识b。
在如图2所示步骤230的一个实施例中,通过所述第一线程将原始数据库中的存量数据备份至备份数据库,可以是按照各条存量数据携带的归属标识,通过所述第一线程将所述存量数据对应备份至与所述归属标识相匹配的子数据库中
比如,在存量数据为数据表的情况下,若数据表携带有归属标识a,那么该数据表将会被第一线程备份至数据库A中,若数据表携带有归属标识b,那么该数据表将会被第一线程备份至数据库B中。
在如图3所示步骤262的一个实施例中,通过所述第三线程将原始数据库中的增量数据备份至备份数据库,可以是按照各条增量数据携带的归属标识,通过所述第三线程将所述增量数据对应备份至与所述归属标识相匹配的子数据库中。
比如,在增量数据为数据表的情况下,若数据表携带有归属标识a,那么该数据表将会被第三线程备份至数据库A中,若数据表携带有归属标识b,那么该数据表将会被第三线程备份至数据库B中。
在本申请中,所述存量数据可以对应有数据编号。
具体的,比如,所述存量数据可以是指1000张数据表,其中,每一张数据表都可以对一个数据编号,比如,“0001”表示存量数据中的第1张数据表,“0500”表示存量数据中的第500张数据表,“1000”表示存量数据中的第1000张数据表。
在如图2所示步骤230的一个实施例中,通过所述第一线程将原始数据库中的存量数据备份至备份数据库,可以按照如图6所示的步骤执行。
参见图6,示出了根据本申请一个实施例的通过所述第一线程将原始数据库中的存量数据备份至备份数据库的细节流程图,具体包括步骤231至步骤232:
步骤231,按照各条存量数据的数据编号顺序,分批导出所述存量数据。
步骤232,通过所述第一线程将各批存量数据依次备份至所述备份数据库。
在本实施例中,比如,所述存量数据包括1000张数据表,可以按照数据编号从小到大的顺序,分批导出所述存量数据,比如,依次导出数据编号为“1-100”、“101-200”、……、“901-1000”的数据表,然后,通过所述第一线程将数据编号为“1-100”、“101-200”、……、“901-1000”的数据表依次备份至所述备份数据库。
在本实施例中,一方面,通过按照各条存量数据的数据编号顺序分批导出所述存量数据,可以实时掌握数据备份的进度和位置,在数据备份发生中断时,仍然可以在中断的位置继续进行数据备份,从而可以增强数据备份的稳定性,提高数据备份的效率。另一方面,将各批存量数据依次备份至所述备份数据库,可以保证数据备份有条不紊的进行,从而也能在一定程度上提高数据备份的效率。
在如图2所示步骤230的一个实施例中,通过所述第一线程将原始数据库中的存量数据备份至备份数据库,还可以按照如图7所示的步骤执行。
参见图7,示出了根据本申请一个实施例的通过所述第一线程将原始数据库中的存量数据备份至备份数据库的细节流程图,具体包括步骤233至步骤235:
步骤233,由所述第一线程向所述第二线程发送数据备份的第一通知信息。
步骤234,在所述第二线程接收到所述第一通知信息时,由所述第二线程向所述第一线程发送数据备份的第一确认信息。
步骤235,在所述第一线程接收到所述第一确认信息时,在所述原始数据库中确定待备份的存量数据,并通过所述第一线程将原始数据库中的存量数据备份至备份数据库。
在本申请中,在通过第一线程对原始数据库中的存量数据进行备份之前,可以由第一线程向第二线程发送一个通知信息,即第一通知信息,第二线程在接收到该第一通知信息之后,可以向第一线程反馈一个确认信息,即第一确认信息,进一步的,第一线程在接收到该第一确认信息之后,可以在原始数据库中确定待备份的存量数据,并将这些待备份的存量数据备份至备份数据库。
在如图7所示步骤235的一个实施例中,在所述原始数据库中确定待备份的存量数据,可以按照如图8所示的步骤执行。
参见图8,示出了根据本申请一个实施例的在所述原始数据库中确定待备份的存量数据的细节流程图,具体包括步骤2351至步骤2352:
步骤2351,将所述第二线程接收到所述第一通知信息的时刻确定为第一时刻。
步骤2352,将在所述第一时刻之前写入所述原始数据库的数据确定为待备份的存量数据。
在本申请中,所述第二线程在接收到所述第一通知信息时,即第一时刻,则说明第一线程已经准备开始向备份数据库中备份存量数据,此时,第一线程不再记录新增的数据,即不再将新增的数据作为存量数据写入原始数据库中,进而可以将在所述第一时刻之前写入所述原始数据。
在本如图2所示步骤250的一个实施例中,通过所述第二线程从源数据库中读取源数据,并将所述源数据作为增量数据写入原始数据库,可以是在所述第一时刻之后,即在所述第二线程接收到所述第一通知信息之后,通过所述第二线程从源数据库中读取源数据,并将所述源数据作为增量数据写入原始数据库。
本申请中,通过创建两个线程,其中,一个线程用于向备份数据库备份存量数据,另一个线程用于向原始数据库写入新的增量数据,可以保证存量数据的备份进程和增量数据的写入进程互不干扰,换句话说,即增量数据在不断写入原始数据库的同时,将原始数据库中的存量数据备份至备份数据库中的进程也不会受到任何影响,可见,本申请提出的技术方案可以增强数据备份进程的稳定性,能在一定程度上避免出现数据阻塞和数据丢失的问题,进而可以提高数据的备份效率。
以下介绍本申请的装置实施例,可以用于执行本申请上述实施例中的数据备份方法。对于本申请装置实施例中未披露的细节,请参照本申请上述的数据备份方法的实施例。
图9示出了根据本申请一个实施例的数据备份装置的框图。
参照图9所示,根据本申请的一个实施例的数据备份装置900,包括:第一创建单元901、第一备份单元902和写入单元903。
其中,第一创建单元901,被用于创建第一线程和第二线程;第一备份单元902,被用于通过所述第一线程将原始数据库中的存量数据备份至备份数据库;写入单元,被用于通过所述第二线程从源数据库中读取源数据,并将所述源数据作为增量数据写入原始数据库。
在本申请的一些实施例中,基于前述方案,所述装置还包括:第二创建单元,被用于在通过所述第二线程从源数据库中读取源数据,并将所述源数据作为增量数据写入原始数据库之后,创建第三线程;第二备份单元,被用于通过所述第三线程将原始数据库中的增量数据备份至备份数据库。
在本申请的一些实施例中,基于前述方案,所述第二备份单元配置为:获取所述第二线程将所述源数据作为增量数据写入原始数据库的写入速度;获取所述第三线程将原始数据库中的增量数据备份至备份数据库的备份速度;如果所述备份速度大于所述写入速度,则通过所述第三线程从源数据库中读取源数据,将所述源数据作为增量数据写入原始数据库,并通过所述第二线程将原始数据库中的增量数据备份至备份数据库。
在本申请的一些实施例中,基于前述方案,所述第一备份单元902配置为:在所述原始数据库中的存量数据被全部备份至所述备份数据库时,通过所述第一线程将原始数据库中的增量数据备份至备份数据库。
在本申请的一些实施例中,基于前述方案,所述备份数据库包括至少两个子数据库,所述存量数据和所述增量数据中均携带有与对应子数据库相匹配的归属标识;所述第一备份单元902还配置为:按照各条存量数据携带的归属标识,通过所述第一线程将所述存量数据对应备份至与所述归属标识相匹配的子数据库中;所述第二备份单元配置为:按照各条增量数据携带的归属标识,通过所述第二线程将所述增量数据对应备份至与所述归属标识相匹配的子数据库中。
在本申请的一些实施例中,基于前述方案,所述存量数据对应有数据编号,所述第一备份单元902还配置为:按照各条存量数据的数据编号顺序,分批导出所述存量数据;通过所述第一线程将各批存量数据依次备份至所述备份数据库。
在本申请的一些实施例中,基于前述方案,所述第一备份单元902还配置为:由所述第一线程向所述第二线程发送数据备份的第一通知信息;在所述第二线程接收到所述第一通知信息时,由所述第二线程向所述第一线程发送数据备份的第一确认信息;在所述第一线程接收到所述第一确认信息时,在所述原始数据库中确定待备份的存量数据,并通过所述第一线程将原始数据库中的存量数据备份至备份数据库。
在本申请的一些实施例中,基于前述方案,所述第一备份单元902还配置为:将所述第二线程接收到所述第一通知信息的时刻确定为第一时刻;将在所述第一时刻之前写入所述原始数据库的数据确定为待备份的存量数据。
在本申请的一些实施例中,基于前述方案,所述写入单元903配置为:在所述第一时刻之后,通过所述第二线程从源数据库中读取源数据,并将所述源数据作为增量数据写入原始数据库。
图10示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
需要说明的是,图10示出的电子设备的计算机系统1000仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图10所示,计算机系统1000包括中央处理单元(Central Processing Unit,CPU)1001,其可以根据存储在只读存储器(Read-Only Memory,ROM)1002中的程序或者从储存部分1008加载到随机访问存储器(Random Access Memory,RAM)1003中的程序而执行各种适当的动作和处理,例如执行上述实施例中所述的方法。在RAM 1003中,还存储有系统操作所需的各种程序和数据。CPU 1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(Input/Output,I/O)接口1005也连接至总线1004。
以下部件连接至I/O接口1005:包括键盘、鼠标等的输入部分1006;包括诸如阴极射线管(Cathode Ray Tube,CRT)、液晶显示器(Liquid Crystal Display,LCD)等以及扬声器等的输出部分1007;包括硬盘等的储存部分1008;以及包括诸如LAN(Local AreaNetwork,局域网)卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至I/O接口1005。可拆卸介质1011,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器1010上,以便于从其上读出的计算机程序根据需要被安装入储存部分1008。
特别地,根据本申请的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本申请的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分1009从网络上被下载和安装,和/或从可拆卸介质1011被安装。在该计算机程序被中央处理单元(CPU)1001执行时,执行本申请的系统中限定的各种功能。
需要说明的是,本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory,CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、有线等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现,所描述的单元也可以设置在处理器中。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面,本申请还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述实施例中所述的数据备份方法。
作为另一方面,本申请还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该电子设备执行时,使得该电子设备实现上述实施例中所述的数据备份方法。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本申请的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本申请实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本申请实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的实施方式后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (13)

1.一种数据备份方法,其特征在于,所述方法包括:
创建第一线程和第二线程;
通过所述第一线程将原始数据库中的存量数据备份至备份数据库;
通过所述第二线程从源数据库中读取源数据,并将所述源数据作为增量数据写入原始数据库。
2.根据权利要求1所述的方法,其特征在于,在通过所述第二线程从源数据库中读取源数据,并将所述源数据作为增量数据写入原始数据库之后,所述方法还包括:
创建第三线程;
通过所述第三线程将原始数据库中的增量数据备份至备份数据库。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
获取所述第二线程将所述源数据作为增量数据写入原始数据库的写入速度;
获取所述第三线程将原始数据库中的增量数据备份至备份数据库的备份速度;
如果所述备份速度大于所述写入速度,则通过所述第三线程从源数据库中读取源数据,将所述源数据作为增量数据写入原始数据库,并通过所述第二线程将原始数据库中的增量数据备份至备份数据库。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
在所述原始数据库中的存量数据被全部备份至所述备份数据库时,通过所述第一线程将原始数据库中的增量数据备份至备份数据库。
5.根据权利要求3所述的方法,其特征在于,所述备份数据库包括至少两个子数据库,所述存量数据和所述增量数据中均携带有与对应子数据库相匹配的归属标识;
所述通过所述第一线程将原始数据库中的存量数据备份至备份数据库,包括:按照各条存量数据携带的归属标识,通过所述第一线程将所述存量数据对应备份至与所述归属标识相匹配的子数据库中;
所述通过所述第二线程将原始数据库中的增量数据备份至备份数据库,包括:按照各条增量数据携带的归属标识,通过所述第二线程将所述增量数据对应备份至与所述归属标识相匹配的子数据库中。
6.根据权利要求1所述的方法,其特征在于,所述存量数据对应有数据编号,所述通过所述第一线程将原始数据库中的存量数据备份至备份数据库,包括:
按照各条存量数据的数据编号顺序,分批导出所述存量数据;
通过所述第一线程将各批存量数据依次备份至所述备份数据库。
7.根据权利要求1所述的方法,其特征在于,所述通过所述第一线程将原始数据库中的存量数据备份至备份数据库,包括:
由所述第一线程向所述第二线程发送数据备份的第一通知信息;
在所述第二线程接收到所述第一通知信息时,由所述第二线程向所述第一线程发送数据备份的第一确认信息;
在所述第一线程接收到所述第一确认信息时,在所述原始数据库中确定待备份的存量数据,并通过所述第一线程将原始数据库中的存量数据备份至备份数据库。
8.根据权利要求7所述的方法,其特征在于,所述在所述原始数据库中确定待备份的存量数据,包括:
将所述第二线程接收到所述第一通知信息的时刻确定为第一时刻;
将在所述第一时刻之前写入所述原始数据库的数据确定为待备份的存量数据。
9.根据权利要求8所述的方法,其特征在于,所述通过所述第二线程从源数据库中读取源数据,并将所述源数据作为增量数据写入原始数据库,包括:
在所述第一时刻之后,通过所述第二线程从源数据库中读取源数据,并将所述源数据作为增量数据写入原始数据库。
10.一种数据备份装置,其特征在于,所述装置包括:
第一创建单元,被用于创建第一线程和第二线程;
第一备份单元,被用于通过所述第一线程将原始数据库中的存量数据备份至备份数据库;
写入单元,被用于通过所述第二线程从源数据库中读取源数据,并将所述源数据作为增量数据写入原始数据库。
11.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机指令,该计算机指令存储在计算机可读存储介质中,且适于由处理器读取并执行,以使得具有所述处理器的计算机设备执行权利要求1至9任一项所述的数据备份方法。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有至少一条程序代码,所述至少一条程序代码由处理器加载并执行以实现如权利要求1至9任一项所述的数据备份方法所执行的操作。
13.一种电子设备,其特征在于,所述电子设备包括一个或多个处理器和一个或多个存储器,所述一个或多个存储器中存储有至少一条程序代码,所述至少一条程序代码由所述一个或多个处理器加载并执行以实现如权利要求1至9任一项所述的数据备份方法所执行的操作。
CN202210270029.6A 2022-03-18 2022-03-18 数据备份方法、装置、程序产品、介质及电子设备 Pending CN114661523A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210270029.6A CN114661523A (zh) 2022-03-18 2022-03-18 数据备份方法、装置、程序产品、介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210270029.6A CN114661523A (zh) 2022-03-18 2022-03-18 数据备份方法、装置、程序产品、介质及电子设备

Publications (1)

Publication Number Publication Date
CN114661523A true CN114661523A (zh) 2022-06-24

Family

ID=82030190

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210270029.6A Pending CN114661523A (zh) 2022-03-18 2022-03-18 数据备份方法、装置、程序产品、介质及电子设备

Country Status (1)

Country Link
CN (1) CN114661523A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116501789A (zh) * 2023-06-28 2023-07-28 本原数据(北京)信息技术有限公司 数据库数据写入方法和装置、电子设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116501789A (zh) * 2023-06-28 2023-07-28 本原数据(北京)信息技术有限公司 数据库数据写入方法和装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US11762697B2 (en) Method and apparatus for scheduling resource for deep learning framework
US10678597B2 (en) Event-driven blockchain workflow processing
CN108287708B (zh) 一种数据处理方法、装置、服务器及计算机可读存储介质
CN110851253B (zh) 一种远程运维的方法、系统、存储介质及电子设备
CN107016029B (zh) 一种业务数据的处理方法、装置及系统
US20200167713A1 (en) Business processing method, apparatus, device and system using the same, and readable storage medium of the same
CN109597810B (zh) 一种任务切分方法、装置、介质及电子设备
CN115220876A (zh) 虚拟资源创建方法、装置、程序产品、介质及电子设备
US10318343B2 (en) Migration methods and apparatuses for migrating virtual machine including locally stored and shared data
CN114661523A (zh) 数据备份方法、装置、程序产品、介质及电子设备
WO2022156087A1 (zh) 数据血缘关系建立方法、装置、计算机设备及存储介质
CN113094125A (zh) 业务流程处理方法、装置、服务器及存储介质
CN111176641B (zh) 流程节点执行方法、装置、介质及电子设备
CN112825525A (zh) 用于处理事务的方法和装置
CN108322542B (zh) 数据更新方法、系统、装置以及计算机可读存储介质
CN115277398A (zh) 一种集群的网络配置方法和装置
CN111680215B (zh) 一种信息推送的方法、装置和电子设备
CN114676272A (zh) 多媒体资源的信息处理方法、装置、设备及存储介质
CN114661696A (zh) 数据迁移方法、装置、程序产品、介质及电子设备
CN111970338A (zh) 基于云函数的请求处理方法、装置及计算机可读介质
CN111176718A (zh) 脚本上线方法、装置、存储介质及电子设备
CN113448960A (zh) 一种导入表格文件的方法和装置
CN109561146A (zh) 文件下载方法、装置、终端设备
CN114860390A (zh) 容器数据管理方法、装置、程序产品、介质及电子设备
CN115914362A (zh) 消息推送方法、装置、计算机可读介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240424

Address after: Room 2101, Block B, Platinum Plaza, 5-15 Wenling Road, Laoshan District, Qingdao City, Shandong Province, 266100

Applicant after: Shandong Energy Chain Holding Co.,Ltd.

Country or region after: China

Address before: Energy Chain Center, Building 7, Huitong Times Square, No.1 Yaojiayuan South Road, Chaoyang District, Beijing, 100123

Applicant before: CHEZHUBANG (BEIJING) TECHNOLOGY Co.,Ltd.

Country or region before: China