CN116881051A - 一种数据备份与恢复方法、装置、电子设备和存储介质 - Google Patents
一种数据备份与恢复方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN116881051A CN116881051A CN202311142122.XA CN202311142122A CN116881051A CN 116881051 A CN116881051 A CN 116881051A CN 202311142122 A CN202311142122 A CN 202311142122A CN 116881051 A CN116881051 A CN 116881051A
- Authority
- CN
- China
- Prior art keywords
- data
- backup
- table object
- processing
- slices
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000011084 recovery Methods 0.000 title claims abstract description 81
- 238000000034 method Methods 0.000 title claims abstract description 75
- 238000005192 partition Methods 0.000 claims description 40
- 238000004891 communication Methods 0.000 claims description 12
- 239000012634 fragment Substances 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种数据备份与恢复方法、装置、电子设备和存储介质。该方法包括：在接收到备份指令的情况下，采集目标数据的表对象；根据表对象的表格信息，对表对象进行分片处理，获得N个数据片；调用N个备份线程并行对N个数据片进行数据备份处理，以将N个数据片备份至预设的数据库；在接收到恢复指令的情况下，并行调用N个恢复线程对数据库存储的备份文件进行数据恢复处理，获得N个数据片；对N个数据片进行合片处理，获得目标数据。本发明实施例中，通过并行调用大量线程的方式实现对海量数据的数据备份和数据恢复，这降低了数据备份和数据恢复的时间，进而提高了数据备份和数据恢复的效率。
Description
技术领域
本发明涉及数据库技术领域，尤其涉及一种数据备份与恢复方法、装置、电子设备和存储介质。
背景技术
随着信息技术的发展，信息安全的重要性日趋明显，数据库作为信息安全的一个重要内容也逐渐被重视。为了保障终端设备在运行中遇到系统崩溃或者其他不可修复的故障时能够恢复业务，现有的方式是对终端设备存储的数据进行备份，并利用备份数据进行数据恢复。
然而，在存在海量数据的情况下，采用串行的工作方式进行数据备份以及数据恢复，这消耗了大量的时间，进而降低了数据备份和数据恢复的效率。
发明内容
本发明的主要目的在于提供了一种数据备份与恢复方法、装置、电子设备和存储介质，旨在解决现有技术中进行数据备份和数据恢复的效率较低的技术问题。
第一方面，本发明实施例提供了一种数据备份与恢复方法，该方法包括：
在接收到备份指令的情况下，采集目标数据的表对象；所述备份指令用于表征对所述目标数据进行数据备份，所述表对象用于以数据表的形式表征所述目标数据；
根据所述表对象的表格信息，对所述表对象进行分片处理，获得N个数据片，N为大于或等于1的正整数；
调用N个备份线程并行对所述N个数据片进行数据备份处理，以将所述N个数据片备份至预设的数据库；
在接收到恢复指令的情况下，并行调用N个恢复线程对所述数据库存储的备份文件进行数据恢复处理，获得所述N个数据片；所述恢复指令用于表征对所述目标数据进行数据恢复；
对所述N个数据片进行合片处理，获得所述目标数据。
进一步的，其中，所述根据所述表对象的表格信息，对所述表对象进行分片处理，获得N个数据片，包括：
在所述表格信息表征所述表对象的表类型为分区表的情况下，按照所述表对象对应的分区，对所述表对象进行分片处理，获得N个数据片；
在所述表格信息表征所述表对象的表类型不为分区表的情况下，根据所述表格信息表征的表对象的表总行数，对所述表对象进行分片处理，获得N个数据片。
进一步的，其中，所述根据所述表格信息表征的表对象的表总行数，对所述表对象进行分片处理，获得N个数据片，包括：
在所述表对象的表总行数小于或等于预设总行数的情况下，将所述表对象确定为1个数据片；
在所述表对象的表总行数大于预设总行数的情况下，将所述表对象划分为预设的N个数据片。
进一步的，其中，所述调用N个备份线程并行对所述N个数据片进行数据备份处理之前，所述方法还包括：
在所述表格信息表征所述表对象的表类型不为分区表，且所述表对象的表总行数大于预设总行数的情况下，基于所述N和每个数据片对应的分片序号，确定所述每个数据片对应的查询语句；
为所述N个备份线程分配对应的查询语句，以使得备份线程通过对应的查询语句对数据片进行数据备份处理。
进一步的，其中，所述N个数据片按照划分时间的先后顺序排序，所述调用N个备份线程并行对所述N个数据片进行数据备份处理之前，所述方法还包括：
在所述表格信息表征所述表对象的表类型不为分区表，且所述表对象的表总行数大于预设总行数的情况下，对所述表总行数与所述N进行整除运算获得第一数值K，对所述表总行数与所述N进行取模运算获得第二数值M；
将所述N个数据片中的第一数据片对应的边界值确定为K和预设数值的和值，以及将所述N个数据片中的第二数据片对应的边界值确定为K；以及，
将所述N个数据片中排序最先的数据片对应的偏移值确定为0，以及对于所述N个数据片中的任一第三数据片，将第四数据片对应的偏移值和边界值之间的和值，确定为所述第三数据片对应的偏移值；
基于所述每个数据片对应的偏移值和边界值，确定所述每个数据片对应的查询语句；
为所述N个备份线程分配对应的查询语句，以使得备份线程通过对应的查询语句对数据片进行数据备份处理；
其中，所述第一数据片为所述N个数据片中的前M个数据片，所述第二数据片为所述N个数据片中除所述前M个数据片之外的数据片，所述第三数据片为所述N个数据片排序不是最先的数据片，所述第四数据片为与所述第三数据片相邻，且位于所述第三数据片之前的数据片。
进一步的，其中，所述备份指令还包括配置信息，所述调用N个备份线程并行对所述N个数据片进行数据备份处理之后，所述方法还包括：
在所述配置信息表征合并备份文件的情况下，合并N个备份文件生成目标备份文件，并在所述目标备份文件的文件信息中写入所述目标备份文件对应的偏移值；
其中，所述N个备份文件基于对所述N个数据片进行数据备份处理生成。
进一步的，其中，所述并行调用N个恢复线程对所述数据库存储的N个数据片进行数据恢复处理之前，所述方法还包括：
在所述配置信息表征合并备份文件的情况下，读取所述目标备份文件的文件信息中写入的偏移值；
根据所述偏移值在所述数据库中确定所述目标备份文件；
在所述目标备份文件中，根据每个数据片对应的偏移值，确定N个数据片。
第二方面，本发明实施例提供了一种数据备份与恢复装置，该装置包括：
采集模块，用于在接收到备份指令的情况下，采集目标数据的表对象；所述备份指令用于表征对所述目标数据进行数据备份，所述表对象用于以数据表的形式表征所述目标数据；
第一处理模块，用于根据所述表对象的表格信息，对所述表对象进行分片处理，获得N个数据片，N为大于或等于1的正整数；
第二处理模块，用于调用N个备份线程并行对所述N个数据片进行数据备份处理，以将所述N个数据片备份至预设的数据库；
第三处理模块，用于在接收到恢复指令的情况下，并行调用N个恢复线程对所述数据库存储的备份文件进行数据恢复处理，获得所述N个数据片；所述恢复指令用于表征对所述目标数据进行数据恢复；
第四处理模块，用于对所述N个数据片进行合片处理，获得所述目标数据。
第三方面，本发明实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第四方面，本发明实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
第五方面，本发明实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。
第六方面，本发明实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所述的方法。
本发明实施例中，对目标对象对应的表对象进行分片处理，获得N个数据片；在数据备份的过程中，调用N个备份线程并行的对上述N个数据片进行数据备份；在数据恢复的过程中，调用N个恢复线程并行的对数据库存储的备份文件进行数据恢复。以此通过并行调用大量线程的方式实现对海量数据的数据备份和数据恢复，这降低了数据备份和数据恢复的时间，进而提高了数据备份和数据恢复的效率。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的装置结构示意图；
图2是本发明实施例提供的数据备份与恢复方法的流程图；
图3是本发明实施例提供的数据备份与恢复方法的应用场景图；
图4是本发明实施例涉及的数据备份的应用流程图；
图5是本发明实施例涉及的数据恢复的应用流程图；
图6是本发明实施例提供的数据备份与恢复装置的结构示意图；
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图。
本发明终端可以是一种可移动设备，该终端还可以是其他具有存储功能的终端设备。
如图1所示，该终端可以包括：处理器1001，例如CPU，通信总线1002，用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选地用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选地可以包括标准的有线接口、无线接口（如WI-FI接口）。存储器1005可以是高速RAM存储器，也可以是稳定的存储器（non-volatile memory），例如磁盘存储器。存储器1005可选地还可以是独立于前述处理器1001的存储装置。
可选地，终端还可以包括摄像头、Wi-Fi模块等等，在此不再赘述。
本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要包括输入单元比如键盘，键盘包括无线键盘和有线键盘，用于连接客户端，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的数据备份与恢复程序，并执行以下操作：
在接收到备份指令的情况下，采集目标数据的表对象；
根据所述表对象的表格信息，对所述表对象进行分片处理，获得N个数据片；
调用N个备份线程并行对所述N个数据片进行数据备份处理，以将所述N个数据片备份至预设的数据库；
在接收到恢复指令的情况下，并行调用N个恢复线程对所述数据库存储的备份文件进行数据恢复处理，获得所述N个数据片；
对所述N个数据片进行合片处理，获得所述目标数据。
进一步的，处理器1001可以调用存储器1005中存储的数据备份与恢复程序，还执行以下操作：
在所述表格信息表征所述表对象的表类型为分区表的情况下，按照所述表对象对应的分区，对所述表对象进行分片处理，获得N个数据片；
在所述表格信息表征所述表对象的表类型不为分区表的情况下，根据所述表格信息表征的表对象的表总行数，对所述表对象进行分片处理，获得N个数据片。
进一步的，处理器1001可以调用存储器1005中存储的数据备份与恢复程序，还执行以下操作：
在所述表对象的表总行数小于或等于预设总行数的情况下，将所述表对象确定为1个数据片；
在所述表对象的表总行数大于预设总行数的情况下，将所述表对象划分为预设的N个数据片。
进一步的，处理器1001可以调用存储器1005中存储的数据备份与恢复程序，还执行以下操作：
在所述表格信息表征所述表对象的表类型不为分区表，且所述表对象的表总行数大于预设总行数的情况下，基于所述N和每个数据片对应的分片序号，确定所述每个数据片对应的查询语句；
为所述N个备份线程分配对应的查询语句，以使得备份线程通过对应的查询语句对数据片进行数据备份处理。
进一步的，处理器1001可以调用存储器1005中存储的数据备份与恢复程序，还执行以下操作：
在所述表格信息表征所述表对象的表类型不为分区表，且所述表对象的表总行数大于预设总行数的情况下，对所述表总行数与所述N进行整除运算获得第一数值K，对所述表总行数与所述N进行取模运算获得第二数值M；
将所述N个数据片中的第一数据片对应的边界值确定为K和预设数值的和值，以及将所述N个数据片中的第二数据片对应的边界值确定为K；以及，
将所述N个数据片中排序最先的数据片对应的偏移值确定为0，以及对于所述N个数据片中的任一第三数据片，将第四数据片对应的偏移值和边界值之间的和值，确定为所述第三数据片对应的偏移值；
基于所述每个数据片对应的偏移值和边界值，确定所述每个数据片对应的查询语句；
为所述N个备份线程分配对应的查询语句，以使得备份线程通过对应的查询语句对数据片进行数据备份处理。
进一步的，处理器1001可以调用存储器1005中存储的数据备份与恢复程序，还执行以下操作：
在所述配置信息表征合并备份文件的情况下，合并N个备份文件生成目标备份文件，并在所述目标备份文件的文件信息中写入所述目标备份文件对应的偏移值。
进一步的，处理器1001可以调用存储器1005中存储的数据备份与恢复程序，还执行以下操作：
在所述配置信息表征合并备份文件的情况下，读取所述目标备份文件的文件信息中写入的偏移值；
根据所述偏移值在所述数据库中确定所述目标备份文件；
在所述目标备份文件中，根据每个数据片对应的偏移值，确定N个数据片。
本终端的具体实施例与下述数据备份与恢复方法各实施例基本相同，在此不作赘述。
请参阅图2，图2是本发明实施例提供的数据备份与恢复方法的流程示意图。本发明实施例提供的数据备份与恢复方法包括以下步骤：
S210，在接收到备份指令的情况下，采集目标数据的表对象。
应理解，上述备份指令用于表征对目标数据进行数据备份，上述目标数据可以理解为待备份的数据。上述表对象用于以数据表的形式表征目标数据。
一种可选地实施方式为，应用本发明实施例提供的数据备份与恢复方法的装置与其他设备通信连接，其他设备向该装置发生备份指令。另一种可选地实施方式为，开发人员在该装置上执行相应的操作，以生成备份指令。
可选地，在接收到备份指令的情况下，创建数据连接池和2个线程池，即线程池A和线程池B，其中线程池A中的线程用于在后续的操作中对表对象进行分片处理，线程池B中的线程为备份线程。
S220，根据所述表对象的表格信息，对所述表对象进行分片处理，获得N个数据片。
上述表格信息包括但不限于表对象的表类型和表总行数。
本实施例中，根据表对象的表格信息，对表对象进行分片处理，获得N个数据片，N为大于或等于1的正整数，可选地，N为自定义设置的预设数值。具体如何对表对象进行分片处理的实施方式，请参阅后续实施例。
可选地，可以创建一个缓存队列QA，将表对象存储至该缓存队列QA中，调用线程池A中的线程对缓存队列QA中的表对象进行分片处理。
S230，调用N个备份线程并行对所述N个数据片进行数据备份处理，以将所述N个数据片备份至预设的数据库。
本步骤中，可以创建缓存队列QB，将上述N个数据片存储至缓存队列QB中，并调用线程池B中的N个备份线程并行对该N个数据片进行数据备份处理，也就是说，每个备份线程用于对一个数据片进行数据备份。
可选地，可以为每个数据片创建备份文件，即创建N个备份文件，调用备份线程将对应的数据片包括的数据写入备份文件中，进而将备份文件存储至数据库，以实现对于目标数据的备份。可选地，上述数据库为神通数据库。
需要说明的是，备份线程可以将数据片包括的数据以任一数据格式的方式写入备份文件中，在此不做具体限定。在后续的数据恢复过程中，恢复线程使用写入格式相同的数据格式读取数据库存储的备份文件。
可选地，在对N个数据片进行数据备份之后，记录各个数据片对应的期望备份行数和实际备份行数，上述期望备份行数为该数据片预设的备份至数据库中的总行数，上述实际备份行数为该数据片实际备份至数据库中的总行数。在期望备份行数和实际备份行数不一致的情况下，发送告警信息，以提示技术人员对被备份数据进行核实。
S240，在接收到恢复指令的情况下，并行调用N个恢复线程对所述数据库存储的备份文件进行数据恢复处理，获得所述N个数据片。
可选地，可以创建数据连接池、线程池C和队列QC，上述线程池C包括N个恢复线程，上述队列QC包括包括每个数据片对应的恢复任务。
本步骤中，在接收到恢复指令的情况下，并行调用线程池C中的各个恢复线程获取队列QC中对应的恢复任务，在数据库中查询得到每个数据片的位置，进而读取数据片的数据，执行数据恢复操作；在每个恢复任务均完成的情况下，获得N个数据片。
其中，上述恢复指令用于表征对目标数据进行数据恢复。
可选地，可以记录每个数据片对应的期望导入行数和实际导入行数，上述期望导入行数为预设的恢复该数据片包括的总行数，上述实际导入行数为恢复该数据片实际包括的总行数。在期望导入行数和实际导入行数不一致的情况下，发送告警信息，以提示技术人员对被备份数据进行核实。
S250，对所述N个数据片进行合片处理，获得所述目标数据。
本步骤中，在获得N个数据片之后，可以对上述N个数据片进行合片处理，获得目标数据。其中，上述合片处理可以理解为是上述对表对象进行分片处理方式的逆过程，在此不做具体阐述。
请参阅图3，如图3所示，本实施例中，采集目标数据的表对象之后，对表对象进行分片处理，获得N个数据片，进而调用N个备份线程对每个数据片进行数据备份处理，以实现对于目标数据的数据备份。本实施例通过对表对象进行分片处理，使得各个数据片的数据分布更加平衡，以此充分使用每个备份线程的性能对数据片进行数据备份，进而提高数据备份的效率。
本发明实施例中，对目标对象对应的表对象进行分片处理，获得N个数据片；在数据备份的过程中，调用N个备份线程并行的对上述N个数据片进行数据备份；在数据恢复的过程中，调用N个恢复线程并行的对数据库存储的备份文件进行数据恢复。以此通过并行调用大量线程的方式实现对海量数据的数据备份和数据恢复，这降低了数据备份和数据恢复的时间，进而提高了数据备份和数据恢复的效率。
可选地，所述根据所述表对象的表格信息，对所述表对象进行分片处理，获得N个数据片，包括：
在所述表格信息表征所述表对象的表类型为分区表的情况下，按照所述表对象对应的分区，对所述表对象进行分片处理，获得N个数据片；
在所述表格信息表征所述表对象的表类型不为分区表的情况下，根据所述表格信息表征的表对象的表总行数，对所述表对象进行分片处理，获得N个数据片。
上述表格信息可以表征表对象的表类型。
本实施例中，在表格信息表征表对象的表类型为分区表的情况下，表示表对象自身包括分区，则按照表对象对应的分区，对表对象进行分片处理，获得N个数据片。
在表格信息表征表对象的表类型不为分区表的情况下，则获取表格信息表征的表对象的表总行数，进而基于上述表总行数对表对象进行分片处理，获得N个数据片。
本实施例中，基于表格信息表征的表类型对表对象进行分片处理，以此获得数据分布更加平衡，且符合表类型特征的N个数据片。
可选地，所述根据所述表格信息表征的表对象的表总行数，对所述表对象进行分片处理，获得N个数据片，包括：
在所述表对象的表总行数小于或等于预设总行数的情况下，将所述表对象确定为1个数据片；
在所述表对象的表总行数大于预设总行数的情况下，将所述表对象划分为预设的N个数据片。
本实施例中，预先设置有总行数，上述预设总行数为大于1的正整数。
本实施例中，若表对象的表总行数小于或等于预设总行数，表示表对象包括的数据较少，则可以直接将该表对象确定为1个数据片。若表对象的表总行数大于预设总行数，表示表对象包括较多的数据，则对该表对象进行分片处理，获得数据分布较为平衡的N个数据片。
本实施例中，根据表对象的表总行数与预设总行数的大小关系，判断是否对表对象进行分片处理，只有在表总行数大于预设总行数的情况下，才对表对象进行分片处理，确保每个数据片包括的数据量不超过预设阈值，避免得到数据量过大的数据片，进而降低数据备份和数据恢复的效率。
可选地，所述调用N个备份线程并行对所述N个数据片进行数据备份处理之前，所述方法还包括：
在所述表格信息表征所述表对象的表类型不为分区表，且所述表对象的表总行数大于预设总行数的情况下，基于所述N和每个数据片对应的分片序号，确定所述每个数据片对应的查询语句；
为所述N个备份线程分配对应的查询语句，以使得备份线程通过对应的查询语句对数据片进行数据备份处理。
本实施例中，在表格信息表征表对象的表类型不为分区表，且表对象的表总行数大于预设总行数的情况下，即根据表总行数对表对象进行分片处理的情况下，可以基于N和每个数据片对应的分片序号，确定所述每个数据片对应的查询语句。应理解，上述查询语句包括结构化查询语言（Structured Query Language，SQL）语句。
可选地，可以通过以下伪代码确定每个数据片对应的查询语句：
Sql(n) =DIRECT EXTENT * FROM t GROUP S By n-1
其中，DIRECT EXTENT表示基于EXTENT返回的数据；GROUP S表示共分S片；By 表示片的序号。
进一步的，将上述N个查询语句分配给N个备份线程，即为1个备份线程分配1个查询语句，备份线程可以在数据库中查询对应的查询语句，以将数据片包括的数据写入数据库中，实现数据备份。
应理解，在应用神通数据库进行数据备份与恢复的情况下，可以使用本实施例提供的方案为备份线程分配查询语句。
本实施例中，通过为每个备份线程分配对应的查询语句，使得备份线程通过对应的查询语句对数据片进行数据备份处理，进而在数据备份的过程中，并行的调用N个备份线程进行数据备份，以此提高数据备份的效率。
可选地，所述N个数据片按照划分时间的先后顺序排序，所述调用N个备份线程并行对所述N个数据片进行数据备份处理之前，所述方法还包括：
在所述表格信息表征所述表对象的表类型不为分区表，且所述表对象的表总行数大于预设总行数的情况下，对所述表总行数与所述N进行整除运算获得第一数值K，对所述表总行数与所述N进行取模运算获得第二数值M；
将所述N个数据片中的第一数据片对应的边界值确定为K和预设数值的和值，以及将所述N个数据片中的第二数据片对应的边界值确定为K；以及，
将所述N个数据片中排序最先的数据片对应的偏移值确定为0，以及对于所述N个数据片中的任一第三数据片，将第四数据片对应的偏移值和边界值之间的和值，确定为所述第三数据片对应的偏移值；
基于所述每个数据片对应的偏移值和边界值，确定所述每个数据片对应的查询语句；
为所述N个备份线程分配对应的查询语句，以使得备份线程通过对应的查询语句对数据片进行数据备份处理；
其中，所述第一数据片为所述N个数据片中的前M个数据片，所述第二数据片为所述N个数据片中除所述前M个数据片之外的数据片，所述第三数据片为所述N个数据片排序不是最先的数据片，所述第四数据片为与所述第三数据片相邻，且位于所述第三数据片之前的数据片。
本实施例中，在表格信息表征表对象的表类型不为分区表，且表对象的表总行数大于预设总行数的情况下，即根据表总行数对表对象进行分片处理的情况下，根据每个数据片表总行数和N，确定每个数据片对应的偏移（offset）值和边界（limit）值。其中，上述偏移值表示数据片在数据库中的偏移，上述边界值表示数据片的数据量边界。
需要说明的是，N个数据片按照划分时间的先后顺序排序。本实施例中，计算表总行数整除N得到的第一数值K，以及表总行数对N进行取模运算得到的第二数值M。
将N个数据片中前M个数据片对应的边界值确定为K和预设数值的和值，可选地，上述预设数值为1。将N个数据片中除前M个数据片之外的数据片对应的边界值确定为K。
将排序最先的数据片对应的偏移值确定为0。通过以下公式确定任一第三数据片对应的偏移值，其中，第三数据片为N个数据片排序不是最先的数据片：
Off(N)=Off(N-1)+Lim(N-1)
其中，Off(N)表示第三数据片对应的偏移值，Off(N-1)表示第四数据片对应的偏移值，Lim(N-1)表示第四数据片对应的边界值。
其中，第四数据片为与第三数据片相邻，且位于第三数据片之前的数据片。
在确定每个数据片对应的偏移值和边界值之后，可以基于每个数据片对应的偏移值和边界值，确定每个数据片对应的查询语句。应理解，上述查询语句包括结构化查询语言（Structured Query Language，SQL）语句。
示例性的，数据片的数量为5，则可以通过以下伪代码表示各个数据片对应的查询语句：
Sql1: SELECT /*+ full("SYSDBA"."TAB")*/ * FROM TAB limit 101
Sql2: SELECT /*+ full("SYSDBA"."TAB")*/ * FROM TAB offset 101 limit101
Sql3: SELECT /*+ full("SYSDBA"."TAB")*/ * FROM TAB offset 202 limit101
Sql4: SELECT /*+ full("SYSDBA"."TAB")*/ * FROM TAB offset 303 limit100
Sql5: SELECT /*+ full("SYSDBA"."TAB")*/ * FROM TAB offset 403
其中，Sql1表示第一个数据片对应的查询语句，Sql2表示第二个数据片对应的查询语句，Sql3表示第三个数据片对应的查询语句，Sql4表示第四个数据片对应的查询语句，Sql5表示第五个数据片对应的查询语句。
进一步的，将上述N个查询语句分配给N个备份线程，即为1个备份线程分配1个查询语句，备份线程可以在数据库中查询对应的查询语句，以将数据片包括的数据写入数据库中，实现数据备份。
本实施例中，通过为每个备份线程分配对应的查询语句，使得备份线程通过对应的查询语句对数据片进行数据备份处理，进而在数据备份的过程中，并行的调用N个备份线程进行数据备份，以此提高数据备份的效率。
在其他实施例中，对于表类型为分区表的表对象，可以通过以下伪代码表示该表对象的各个数据片对应的查询语句：
Sql1: SELECT * FROM TAB PARTITION(p1)
Sql2: SELECT * FROM TAB PARTITION(p2)
在其他实施例中，对于表类型不为分区表，且表总行数小于或等于预设总行数的表对象，可以通过以下伪代码表示该表对象的个数据片对应的查询语句：
Sql: SELECT * FROM TAB
可选地，所述备份指令还包括配置信息，所述调用N个备份线程并行对所述N个数据片进行数据备份处理之后，所述方法还包括：
在所述配置信息表征合并备份文件的情况下，合并N个备份文件生成目标备份文件，并在所述目标备份文件的文件信息中写入所述目标备份文件对应的偏移值；
其中，所述N个备份文件基于对所述N个数据片进行数据备份处理生成。
如上所述，在数据备份的过程中，为每个数据片创建备份文件，调用备份线程将对应的数据片包括的数据写入备份文件中。应理解，备份指令还包括配置信息，上述配置信息可以表征是否合并数据库中的备份文件。
本实施例中，在配置信息表征合并备份文件的情况下，合并N个备份文件生成目标备份文件，并在目标备份文件的文件信息中写入目标备份文件对应的偏移值，以在数据恢复过程中基于该偏移值在数据库中查询得到该目标备份文件。
本实施例中，通过将N个备份文件合并为1个目标备份文件，即1个目标备份文件包括在一次数据备份过程中备份的所有数据，以此方便技术人员在数据库中根据数据备份的备份序号查询备份数据。
在其他实施例中，在配置信息表征不合并备份文件的情况下，不对N个备份文件进行合并，而是在数据库中存储N个备份文件。
为便于理解本实施例提供的数据备份的技术方案，请参阅图4，如图4所示，本实施例提供的数据备份的技术方案为：在接收到备份指令的情况下，创建线程池和数据库连接池，其中，线程池包括线程池A和线程池B；采集目标数据的表对象；创建队列QA，并将表对象存储至队列QA中。调用线程A判断表对象的表类型是否为分区表，若表对象是分区表，则按照表对象的分区对表对象进行分片处理，并将得到的N个数据片存储至队列QB；若表对象不是分区表，则对表对象进行分片，并确定每个数据片对应的查询语句，进而将N个数据片存储至队列QB。调用线程B读取队列QB中的数据片任务，并通过数据库连接池连接数据库，查询每个数据片对应的查询语句，进而确定每个数据片在数据库中的存储位置，将数据片包括的数据写入数据库中，实现对于每个数据片包括的数据的备份。
可选地，所述并行调用N个恢复线程对所述数据库存储的N个数据片进行数据恢复处理之前，所述方法还包括：
在所述配置信息表征合并备份文件的情况下，读取所述目标备份文件的文件信息中写入的偏移值；
根据所述偏移值在所述数据库中确定所述目标备份文件；
在所述目标备份文件中，根据每个数据片对应的偏移值，确定N个数据片。
如上所述，备份指令还包括配置信息，上述配置信息可以表征是否合并数据库中的备份文件。
本实施例中，若配置信息表征合并备份文件，则获取数据库中目标备份文件的文件信息中写入的偏移值，基于该偏移值确定目标备份文件在数据库中的存储位置，进而读取该目标备份文件。进一步的，根据每个数据片对应的偏移值，在该目标备份文件中确定N个数据片。
在其他实施例中，若配置信息表征不合并备份文件，则获取数据库中的偏移文件，进而根据该偏移文件对应的数据片的偏移值，在偏移文件中确定该数据片。
为便于理解本实施例提供的数据恢复的技术方案，请参阅图5，如图5所示，本实施例提供的数据恢复的技术方案为：读取备份文件元信息，上述备份文件元信息包括但不限于各个表对象的表总行数、备份文件是否合并和各个数据片分布信息。创建线程池和数据库连接池；通过备份文件元信息读取数据片的位置信息，并将该数据片的位置信息存储至队列中。调用线程A通过数据库连接池连接数据库，从队列中读取各个数据片的位置信息，根据位置信息在数据库中确定数据片，并读取数据片包括的数据，将上述数据写入另一数据库（即图5示出的DB）中，以此完成数据的恢复。
此外，本发明实施例还提出一种数据备份与恢复装置，请参阅图6，图6是本发明实施例提供的数据备份与恢复装置的结构示意图。
如图6所示，数据备份与恢复装置600包括：
采集模块610，用于在接收到备份指令的情况下，采集目标数据的表对象；所述备份指令用于表征对所述目标数据进行数据备份，所述表对象用于以数据表的形式表征所述目标数据；
第一处理模块620，用于根据所述表对象的表格信息，对所述表对象进行分片处理，获得N个数据片，N为大于或等于1的正整数；
第二处理模块630，用于调用N个备份线程并行对所述N个数据片进行数据备份处理，以将所述N个数据片备份至预设的数据库；
第三处理模块640，用于在接收到恢复指令的情况下，并行调用N个恢复线程对所述数据库存储的备份文件进行数据恢复处理，获得所述N个数据片；所述恢复指令用于表征对所述目标数据进行数据恢复；
第四处理模块650，用于对所述N个数据片进行合片处理，获得所述目标数据。
可选地，所述第一处理模块620，具体用于：
在所述表格信息表征所述表对象的表类型为分区表的情况下，按照所述表对象对应的分区，对所述表对象进行分片处理，获得N个数据片；
在所述表格信息表征所述表对象的表类型不为分区表的情况下，根据所述表格信息表征的表对象的表总行数，对所述表对象进行分片处理，获得N个数据片。
可选地，所述第一处理模块620，还具体用于：
在所述表对象的表总行数小于或等于预设总行数的情况下，将所述表对象确定为1个数据片；
在所述表对象的表总行数大于预设总行数的情况下，将所述表对象划分为预设的N个数据片。
可选地，所述数据备份与恢复装置600，还包括：
第一确定模块，用于在所述表格信息表征所述表对象的表类型不为分区表，且所述表对象的表总行数大于预设总行数的情况下，基于所述N和每个数据片对应的分片序号，确定所述每个数据片对应的查询语句；
第一分配模块，用于为所述N个备份线程分配对应的查询语句，以使得备份线程通过对应的查询语句对数据片进行数据备份处理。
可选地，所述N个数据片按照划分时间的先后顺序排序，所述数据备份与恢复装置600，还包括：
第二确定模块，用于在所述表格信息表征所述表对象的表类型不为分区表，且每个数据片的表对象的表总行数大于预设总行数的情况下，对所述表总行数与所述N进行整除运算获得第一数值K，对所述表总行数与所述N进行取模运算获得第二数值M；
将所述N个数据片中的第一数据片对应的边界值确定为K和预设数值的和值，以及将所述N个数据片中的第二数据片对应的边界值确定为K；以及，
将所述N个数据片中排序最先的数据片对应的偏移值确定为0，以及对于所述N个数据片中的任一第三数据片，将第四数据片对应的偏移值和边界值之间的和值，确定为所述第三数据片对应的偏移值；
第三确定模块，用于基于所述每个数据片对应的偏移值和边界值，确定所述每个数据片对应的查询语句；
第二分配模块，用于为所述N个备份线程分配对应的查询语句，以使得备份线程通过对应的查询语句对数据片进行数据备份处理；
其中，所述第一数据片为所述N个数据片中的前M个数据片，所述第二数据片为所述N个数据片中除所述前M个数据片之外的数据片，所述第三数据片为所述N个数据片排序不是最先的数据片，所述第四数据片为与所述第三数据片相邻，且位于所述第三数据片之前的数据片。
可选地，所述数据备份与恢复装置600，还包括：
第五处理模块，用于在所述配置信息表征合并备份文件的情况下，合并N个备份文件生成目标备份文件，并在所述目标备份文件的文件信息中写入所述目标备份文件对应的偏移值；
其中，所述N个备份文件基于对所述N个数据片进行数据备份处理生成。
可选地，所述数据备份与恢复装置600，还包括：
读取模块，用于在所述配置信息表征合并备份文件的情况下，读取所述目标备份文件的文件信息中写入的偏移值；
第四确定模块，用于根据所述偏移值在所述数据库中确定所述目标备份文件；
第五确定模块，用于在所述目标备份文件中，根据每个数据片对应的偏移值，确定N个数据片。
本发明实施例中，对目标对象对应的表对象进行分片处理，获得N个数据片；在数据备份的过程中，调用N个备份线程并行的对上述N个数据片进行数据备份；在数据恢复的过程中，调用N个恢复线程并行的对数据库存储的备份文件进行数据恢复。以此通过并行调用大量线程的方式实现对海量数据的数据备份和数据恢复，这降低了数据备份和数据恢复的时间，进而提高了数据备份和数据恢复的效率。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有数据备份与恢复程序，所述数据备份与恢复程序被处理器执行时实现上述数据备份与恢复方法中的各个步骤，在此不作重复阐述。
本发明计算机可读存储介质的具体实施例与上述数据备份与恢复方法各实施例基本相同，在此不作赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述 实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通 过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体 现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光 盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种数据备份与恢复方法，其特征在于，包括：
在接收到备份指令的情况下，采集目标数据的表对象；所述备份指令用于表征对所述目标数据进行数据备份，所述表对象用于以数据表的形式表征所述目标数据；
根据所述表对象的表格信息，对所述表对象进行分片处理，获得N个数据片，N为大于或等于1的正整数；
调用N个备份线程并行对所述N个数据片进行数据备份处理，以将所述N个数据片备份至预设的数据库；
在接收到恢复指令的情况下，并行调用N个恢复线程对所述数据库存储的备份文件进行数据恢复处理，获得所述N个数据片；所述恢复指令用于表征对所述目标数据进行数据恢复；
对所述N个数据片进行合片处理，获得所述目标数据。
2.根据权利要求1所述的方法，其特征在于，所述根据所述表对象的表格信息，对所述表对象进行分片处理，获得N个数据片，包括：
在所述表格信息表征所述表对象的表类型为分区表的情况下，按照所述表对象对应的分区，对所述表对象进行分片处理，获得N个数据片；
在所述表格信息表征所述表对象的表类型不为分区表的情况下，根据所述表格信息表征的表对象的表总行数，对所述表对象进行分片处理，获得N个数据片。
3.根据权利要求2所述的方法，其特征在于，所述根据所述表格信息表征的表对象的表总行数，对所述表对象进行分片处理，获得N个数据片，包括：
在所述表对象的表总行数小于或等于预设总行数的情况下，将所述表对象确定为1个数据片；
在所述表对象的表总行数大于预设总行数的情况下，将所述表对象划分为预设的N个数据片。
4.根据权利要求1所述的方法，其特征在于，所述调用N个备份线程并行对所述N个数据片进行数据备份处理之前，所述方法还包括：
在所述表格信息表征所述表对象的表类型不为分区表，且所述表对象的表总行数大于预设总行数的情况下，基于所述N和每个数据片对应的分片序号，确定所述每个数据片对应的查询语句；
为所述N个备份线程分配对应的查询语句，以使得备份线程通过对应的查询语句对数据片进行数据备份处理。
5.根据权利要求1所述的方法，其特征在于，所述N个数据片按照划分时间的先后顺序排序，所述调用N个备份线程并行对所述N个数据片进行数据备份处理之前，所述方法还包括：
在所述表格信息表征所述表对象的表类型不为分区表，且所述表对象的表总行数大于预设总行数的情况下，对所述表总行数与所述N进行整除运算获得第一数值K，对所述表总行数与所述N进行取模运算获得第二数值M；
将所述N个数据片中的第一数据片对应的边界值确定为K和预设数值的和值，以及将所述N个数据片中的第二数据片对应的边界值确定为K；以及，
将所述N个数据片中排序最先的数据片对应的偏移值确定为0，以及对于所述N个数据片中的任一第三数据片，将第四数据片对应的偏移值和边界值之间的和值，确定为所述第三数据片对应的偏移值；
基于所述每个数据片对应的偏移值和边界值，确定所述每个数据片对应的查询语句；
为所述N个备份线程分配对应的查询语句，以使得备份线程通过对应的查询语句对数据片进行数据备份处理；
其中，所述第一数据片为所述N个数据片中的前M个数据片，所述第二数据片为所述N个数据片中除所述前M个数据片之外的数据片，所述第三数据片为所述N个数据片排序不是最先的数据片，所述第四数据片为与所述第三数据片相邻，且位于所述第三数据片之前的数据片。
6.根据权利要求1所述的方法，其特征在于，所述备份指令还包括配置信息，所述调用N个备份线程并行对所述N个数据片进行数据备份处理之后，所述方法还包括：
在所述配置信息表征合并备份文件的情况下，合并N个备份文件生成目标备份文件，并在所述目标备份文件的文件信息中写入所述目标备份文件对应的偏移值；
其中，所述N个备份文件基于对所述N个数据片进行数据备份处理生成。
7.根据权利要求6所述的方法，其特征在于，所述并行调用N个恢复线程对所述数据库存储的N个数据片进行数据恢复处理之前，所述方法还包括：
在所述配置信息表征合并备份文件的情况下，读取所述目标备份文件的文件信息中写入的偏移值；
根据所述偏移值在所述数据库中确定所述目标备份文件；
在所述目标备份文件中，根据每个数据片对应的偏移值，确定N个数据片。
8.一种数据备份与恢复装置，其特征在于，所述装置包括：
采集模块，用于在接收到备份指令的情况下，采集目标数据的表对象；所述备份指令用于表征对所述目标数据进行数据备份，所述表对象用于以数据表的形式表征所述目标数据；
第一处理模块，用于根据所述表对象的表格信息，对所述表对象进行分片处理，获得N个数据片，N为大于或等于1的正整数；
第二处理模块，用于调用N个备份线程并行对所述N个数据片进行数据备份处理，以将所述N个数据片备份至预设的数据库；
第三处理模块，用于在接收到恢复指令的情况下，并行调用N个恢复线程对所述数据库存储的备份文件进行数据恢复处理，获得所述N个数据片；所述恢复指令用于表征对所述目标数据进行数据恢复；
第四处理模块，用于对所述N个数据片进行合片处理，获得所述目标数据。
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-7中任一项所述的数据备份与恢复方法。
10.一种存储介质，其特征在于，所述存储介质上存储有函件管理程序，所述函件管理程序被处理器执行时实现如权利要求1-7任一项所述的数据备份与恢复方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311142122.XA CN116881051B (zh) | 2023-09-06 | 2023-09-06 | 一种数据备份与恢复方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311142122.XA CN116881051B (zh) | 2023-09-06 | 2023-09-06 | 一种数据备份与恢复方法、装置、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116881051A true CN116881051A (zh) | 2023-10-13 |
| CN116881051B CN116881051B (zh) | 2023-12-08 |
Family
ID=88271995
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311142122.XA Active CN116881051B (zh) | 2023-09-06 | 2023-09-06 | 一种数据备份与恢复方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116881051B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117131058A (zh) * | 2023-10-23 | 2023-11-28 | 天津神舟通用数据技术有限公司 | 一种基于数据分片的并行对比数据库表数据的方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103870600A (zh) * | 2014-04-02 | 2014-06-18 | 中国银行股份有限公司 | 一种基于Oracle数据库的数据表备份方法及装置 |
| CN104166600A (zh) * | 2014-08-01 | 2014-11-26 | 腾讯科技（深圳）有限公司 | 数据备份与恢复方法及装置 |
| US10795588B1 (en) * | 2016-06-24 | 2020-10-06 | EMC IP Holding Company LLC | Check point recovery based on identifying used blocks for block-based backup files |
| CN114924908A (zh) * | 2022-03-17 | 2022-08-19 | 青岛海尔科技有限公司 | 数据的备份方法和装置、存储介质及电子装置 |
| CN114996057A (zh) * | 2022-06-28 | 2022-09-02 | 中国工商银行股份有限公司 | 数据备份方法及装置、电子设备和计算机可读存储介质 |
| CN115904802A (zh) * | 2022-10-24 | 2023-04-04 | 超聚变数字技术有限公司 | 一种数据处理的方法及计算设备 |
| CN116049142A (zh) * | 2023-01-03 | 2023-05-02 | 中国工商银行股份有限公司 | 数据处理方法、装置、电子设备及存储介质 |
| CN116149902A (zh) * | 2022-10-18 | 2023-05-23 | 马上消费金融股份有限公司 | 数据恢复方法及装置、电子设备、计算机可读存储介质 |
-
2023
- 2023-09-06 CN CN202311142122.XA patent/CN116881051B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103870600A (zh) * | 2014-04-02 | 2014-06-18 | 中国银行股份有限公司 | 一种基于Oracle数据库的数据表备份方法及装置 |
| CN104166600A (zh) * | 2014-08-01 | 2014-11-26 | 腾讯科技（深圳）有限公司 | 数据备份与恢复方法及装置 |
| US10795588B1 (en) * | 2016-06-24 | 2020-10-06 | EMC IP Holding Company LLC | Check point recovery based on identifying used blocks for block-based backup files |
| CN114924908A (zh) * | 2022-03-17 | 2022-08-19 | 青岛海尔科技有限公司 | 数据的备份方法和装置、存储介质及电子装置 |
| CN114996057A (zh) * | 2022-06-28 | 2022-09-02 | 中国工商银行股份有限公司 | 数据备份方法及装置、电子设备和计算机可读存储介质 |
| CN116149902A (zh) * | 2022-10-18 | 2023-05-23 | 马上消费金融股份有限公司 | 数据恢复方法及装置、电子设备、计算机可读存储介质 |
| CN115904802A (zh) * | 2022-10-24 | 2023-04-04 | 超聚变数字技术有限公司 | 一种数据处理的方法及计算设备 |
| CN116049142A (zh) * | 2023-01-03 | 2023-05-02 | 中国工商银行股份有限公司 | 数据处理方法、装置、电子设备及存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117131058A (zh) * | 2023-10-23 | 2023-11-28 | 天津神舟通用数据技术有限公司 | 一种基于数据分片的并行对比数据库表数据的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116881051B (zh) | 2023-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9183268B2 (en) | Partition level backup and restore of a massively parallel processing database | |
| CN110795287B (zh) | 数据恢复方法、系统、电子设备及计算机存储介质 | |
| US10866866B2 (en) | Query fault processing method and processing apparatus | |
| CN116881051B (zh) | 一种数据备份与恢复方法、装置、电子设备和存储介质 | |
| CN111414362B (zh) | 数据读取方法、装置、设备及存储介质 | |
| CN115617571A (zh) | 一种数据备份方法、装置、系统、设备及存储介质 | |
| US11704216B2 (en) | Dynamically adjusting statistics collection time in a database management system | |
| CN109992476B (zh) | 一种日志的分析方法、服务器及存储介质 | |
| EP3945420A1 (en) | Method and apparatus for data processing, server and storage medium | |
| US20230401215A1 (en) | Event Sequences Search | |
| CN110888909B (zh) | 一种评估内容的数据统计处理方法及装置 | |
| CN110851437A (zh) | 一种存储方法、装置及设备 | |
| CN114090673A (zh) | 一种多数据源的数据处理方法、设备及存储介质 | |
| CN109885551B (zh) | 电子装置、元数据处理方法和计算机可读存储介质 | |
| US8296336B2 (en) | Techniques for efficient dataloads into partitioned tables using swap tables | |
| CN110188069A (zh) | 一种csv文件存储方法、装置及计算机设备 | |
| CN116263722A (zh) | 一种分布式系统的修复方法及装置 | |
| CN115840539B (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| CN115599838B (zh) | 基于人工智能的数据处理方法、装置、设备及存储介质 | |
| CN117216011B (zh) | 文件传输方法、装置及电子设备 | |
| CN112596948B (zh) | 一种数据库集群数据备份方法、装置、设备及存储介质 | |
| CN115952172B (zh) | 一种基于数据库临时表的数据匹配方法及装置 | |
| CN109992701B (zh) | 一种链表实现方法、装置、设备及可读存储介质 | |
| US20240202197A1 (en) | Distributed data storage using materialized intermediate partitions | |
| CN118113687A (zh) | 一种基于数据质量评估的数据补偿方法、装置及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |