CN114048070A - 数据批量备份方法、装置、设备及存储介质 - Google Patents

数据批量备份方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114048070A
CN114048070A CN202111304154.6A CN202111304154A CN114048070A CN 114048070 A CN114048070 A CN 114048070A CN 202111304154 A CN202111304154 A CN 202111304154A CN 114048070 A CN114048070 A CN 114048070A
Authority
CN
China
Prior art keywords
data
backup
rule
source
configuration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111304154.6A
Other languages
English (en)
Inventor
万光平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Life Insurance Company of China Ltd
Original Assignee
Ping An Life Insurance Company of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Life Insurance Company of China Ltd filed Critical Ping An Life Insurance Company of China Ltd
Priority to CN202111304154.6A priority Critical patent/CN114048070A/zh
Publication of CN114048070A publication Critical patent/CN114048070A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24564—Applying rules; Deductive queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及人工智能技术领域，公开了一种数据批量备份方法、装置、设备及存储介质。该方法包括：获取多个源端数据库对应的备份配置信息，并采用备份配置信息配置结构配置表和规则配置表；基于结构配置表，筛选出待备份的数据源表，并根据数据源表的表结构构建数据备份表样；基于规则配置表，从数据源表中选取出与数据备份表样相对应的源数据，并采用各源数据配置多个备份数据分片；将各备份数据分片存储至对应的数据备份表样并在预置的目标数据库节点上进行部署，得到数据源表对应的数据备份表。本发明实现了对大批量数量的快速精准的备份。

Description

数据批量备份方法、装置、设备及存储介质
技术领域
本发明涉及人工智能技术领域，尤其涉及一种数据批量备份方法、装置、设备及存储介质。
背景技术
当前社会是人工智能和大数据的时代，大数据这个名词对我们每个人都不再陌生，各行各业都有着自己的大数据。数据记录着各行业的宝贵信息，对于我们分析用户消费习惯、挖掘市场有这不可替代的作用，但是我们在对数据的操作过程中难免会出现误删等问题。这个时候对数据的灵活备份就显得十分重要。
工作的过程中，有许多都是要对数据进行处理的，比如在Oracle或MySQL里面会对数据进行增删查改等操作，对于一般普通的信息可以修改或删除，但是对于重要的信息就需要慎重。这个时候为了稳定或者安全对数据的备份就显得尤为重要，很多时候需要一张表一张表的去备份，无法一次性对同类型的批量数据进行准确度的备份，这样子备份起来比较比较消耗时间，也存在效率低下的问题。那么如何对大批量的数据具有针对性的进行快速精准备份就成为一个急需解答的问题。
发明内容
本发明的主要目的在于解决如何对大批量的数据具有针对性的进行快速精准的备份的技术问题。
本发明第一方面提供了一种数据批量备份方法，包括：获取多个源端数据库对应的备份配置信息，并采用所述备份配置信息配置结构配置表和规则配置表；基于所述结构配置表，筛选出待备份的数据源表，并根据所述数据源表的表结构构建数据备份表样；基于所述规则配置表，从所述数据源表中选取出与所述数据备份表样相对应的源数据，并采用各所述源数据配置多个备份数据分片；将各所述备份数据分片存储至对应的数据备份表样并在预置的目标数据库节点上进行部署，得到所述数据源表对应的数据备份表。
可选的，在本发明第一方面的第一种实现方式中，所述采用所述备份配置信息配置结构配置表和规则配置表包括：提取所述备份配置信息中的源表标识信息，并采用所述源表标识信息创建结构配置表；提取所述备份配置信息中的多个规则配置字段，并采用各所述规则配置创建规则配置表。
可选的，在本发明第一方面的第二种实现方式中，所述基于所述规则配置表，从所述数据源表中选取出与所述数据备份表样相对应的源数据包括：基于所述规则配置表，选取与各所述规则配置字段相匹配的查询指令；根据所述查询指令，调用预置接口，获取所述数据备份表样对应的多个类属性信息；根据各所述类属性信息，选取与所述数据备份表样相对应的源数据。
可选的，在本发明第一方面的第三种实现方式中，所述基于所述规则配置表，选取与各所述规则配置字段相匹配的查询指令包括：提取所述规则配置表中各个规则配置字段对应的备份规则字段，并识别各所述备份规则字段的规则状态；分别判别各所述备份规则字段的规则状态是否有效；若有效，则选取规则状态为有效的备份规则字段对应的查询指令。
可选的，在本发明第一方面的第四种实现方式中，在所述将各所述备份数据分片存储至对应的数据备份表样并在预置的目标数据库节点上进行部署，得到所述数据源表对应的数据备份表之后，还包括：获取数据修改规则和数据修改参数，并对所述数据修改参数进行安全校验；若校验成功，则将校验成功的数据修改参数作为变量并与所述数据修改规则结合，生成SQL语句；根据所述SQL语句，利用预置数据修改工具对所述数据备份表执行数据修改操作，得到新的数据备份表。
可选的，在本发明第一方面的第五种实现方式中，所述根据所述SQL语句，利用预置数据修改工具对所述数据备份表执行数据修改操作，得到新的数据备份表包括：确定所述SQL的语句类型，并根据所述SQL语句的语句类型，提取所述SQL语句中待处理的表名、字段名和修改条件；根据所述表名、所述字段名和所述修改条件，生成所述SQL语句对应的查询影响语句、新旧值变化语句和备份语句；基于所述查询影响语句、所述新旧值变化语句和所述备份语句，执行所述SQL语句；根据所述SQL语句的执行结果，对所述数据备份表中的目标数据进行修改，得到新后的数据备份表。
本发明第二方面提供了一种数据批量备份装置，包括：配置模块，用于获取多个源端数据库对应的备份配置信息，并采用所述备份配置信息配置结构配置表和规则配置表；构建模块，用于基于所述结构配置表，筛选出待备份的数据源表，并根据所述数据源表的表结构构建数据备份表样；选取模块，用于基于所述规则配置表，从所述数据源表中选取出与所述数据备份表样相对应的源数据，并采用各所述源数据配置多个备份数据分片；备份模块，用于将各所述备份数据分片存储至对应的数据备份表样并在预置的目标数据库节点上进行部署，得到所述数据源表对应的数据备份表。
可选的，在本发明第二方面的第一种实现方式中，所述配置模块包括：结构配置单元，用于提取所述备份配置信息中的源表标识信息，并采用所述源表标识信息创建结构配置表；规则配置单元，用于提取所述备份配置信息中的多个规则配置字段，并采用各所述规则配置创建规则配置表。
可选的，在本发明第二方面的第二种实现方式中，所述选取模块包括：指令选取单元，用于基于所述规则配置表，选取与各所述规则配置字段相匹配的查询指令；获取单元，用于根据所述查询指令，调用预置接口，获取所述数据备份表样对应的多个类属性信息；数据选取单元，用于根据各所述类属性信息，选取与所述数据备份表样相对应的源数据。
可选的，在本发明第二方面的第三种实现方式中，所述指令选取单元还用于：提取所述规则配置表中各个规则配置字段对应的备份规则字段，并识别各所述备份规则字段的规则状态；分别判别各所述备份规则字段的规则状态是否有效；若有效，则选取规则状态为有效的备份规则字段对应的查询指令。
可选的，在本发明第二方面的第四种实现方式中，所述数据批量备份装置还包括修改模块，用于：获取数据修改规则和数据修改参数，并对所述数据修改参数进行安全校验；若校验成功，则将校验成功的数据修改参数作为变量并与所述数据修改规则结合，生成SQL语句；根据所述SQL语句，利用预置数据修改工具对所述数据备份表执行数据修改操作，得到新的数据备份表。
可选的，在本发明第二方面的第五种实现方式中，所述修改模块还用于：确定所述SQL的语句类型，并根据所述SQL语句的语句类型，提取所述SQL语句中待处理的表名、字段名和修改条件；根据所述表名、所述字段名和所述修改条件，生成所述SQL语句对应的查询影响语句、新旧值变化语句和备份语句；基于所述查询影响语句、所述新旧值变化语句和所述备份语句，执行所述SQL语句；根据所述SQL语句的执行结果，对所述数据备份表中的目标数据进行修改，得到新后的数据备份表。
本发明第三方面提供了一种数据批量备份设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述数据批量备份设备执行上述的数据批量备份方法。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的数据批量备份方法。
本发明提供的技术方案中，通过获取多个源端数据库对应的备份配置信息，来配置用于筛选要备份的数据源表的结构配置表，以及配置用于规定数据源表如何进行备份的规则配置表；然后通过规则配置表，从需要进行备份的数据源表中选取出与数据备份表样相对应的源数据并存储至对应的数据备份表样，得到数据源表对应的数据备份表，其中，一个数据源表对应一个数据备份表，以实现配置化的数据批量自动化备份，提升大批量快速备份的精准化程度。
附图说明
图1为本发明实施例中数据批量备份方法的第一个实施例示意图；
图2为本发明实施例中数据批量备份方法的第二个实施例示意图；
图3为本发明实施例中数据批量备份方法的第三个实施例示意图；
图4为本发明实施例中数据批量备份装置的一个实施例示意图；
图5为本发明实施例中数据批量备份装置的另一个实施例示意图；
图6为本发明实施例中数据批量备份设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种数据批量备份方法、装置、设备及存储介质，获取多个源端数据库对应的备份配置信息，并采用备份配置信息配置结构配置表和规则配置表；基于结构配置表，筛选出待备份的数据源表，并根据数据源表的表结构构建数据备份表样；基于规则配置表，从数据源表中选取出与数据备份表样相对应的源数据，并采用各源数据配置多个备份数据分片；将各所述备份数据分片存储至对应的数据备份表样并在预置的目标数据库节点上进行部署，得到数据源表对应的数据备份表。本发明实现了对大批量数量的快速精准的备份。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中数据批量备份方法的第一个实施例包括：
101、获取多个源端数据库对应的备份配置信息，并采用备份配置信息配置结构配置表和规则配置表；
可以理解的是，本发明的执行主体可以为数据批量备份装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。
本实施例中，开发人员可以在JAVA端编写一个前端页面来控制录入的备份配置信息并上传到本服务器，通过触发按钮来上传备份配置信息以进行数据备份。其中，本服务端获取得到的备份配置信息中包含有结构配置信息和规则配置信息，以用于配置结构配置表和规则配置表，其中，结构配置表用于在数据备份过程中，筛选需要进行数据备份的数据源表，规则配置表用于在数据备份过程中，筛选需要进行数据备份的源数据以及各源数据的备份规则。即通过数据备份的可配置化，以针对性的对数据源表中需要进行备份的源数据进行大批量备份。
其中，备份配置信息包含有多个源端数据库组成的数据库集群对应的结构配置表和规则配置表，则此处规则配置表用于确定在该数据库集群中，每个源端数据库如何将源数据存储至其他数据库中，可以是其他的源端数据库也可以是数据库集群中的其他数据库，此处不作具体限定。另外，此处结构配置表也用于确定每个源端数据库中需要进行备份的源数据以及对应的数据结构。
102、基于结构配置表，筛选出待备份的数据源表，并根据数据源表的表结构构建数据备份表样；
本实施例中，结构配置表格中包含有需要进行备份的数据源表，即待备份的数据源表的源表标识信息，通过源表标识信息即可找到该待备份的数据源表。然后利用动态SQL自动创建待备份的数据源表的数据备份表样，使得其表结构和数据源表的表结构保持一致。具体的，可以用INSERT INTO FROM语句来实现，如：INSERT INTO数据备份表样SELECT*FROM数据源表。其中，一个数据源表对应一个数据备份表样。
103、基于规则配置表，从数据源表中选取出与数据备份表样相对应的源数据，并采用各源数据配置多个备份数据分片；
本实施例中，本实施例中，根据结构配置表中设置的规则配置字段，来确定对应数据源表中需要进行备份的源数据，然后按照规则配置字段对应的规则进行备份，比如针对数据源表M备份，则根据规则配置表中的源表表明找到该数据源表M，然后如果需要备份某个时间段的数据，那么就可以在规则配置表中的创建时间进行配置，如配置proc_date＝2021-4-30，则会自动备份日期“2021-4-30”更新的源数据。再比如，需要备份A地区的源数据，那么就可以配置region_sid＝A，则此时会自动备份A地区的源数据。
具体的，假设目标数据库节点有n个节点，每个节点上有k个主分片。第一，可以不对每个目标数据库节点进行分组，将第一个数据库节点L1的k个备份数据分片依次放在数据库节点L2-Lk+1中，或者将第一个数据库节点L1的k个数据分片的备份分片全部放在下一个数据库节点L2上。如果n是k+1的整数倍且n>k+1，则将数据库节点分组成n组，每组有k+1个主分片，k个备份数据分片依次放在本组的其他k个数据库节点中。如果n是k的整数倍且n>k。将数据库节点分成n组，每组有k个备份数据分片，k个备份数据分片依次放在下一组的k个数据库节点中。如果n是2的整数倍，将数据库节点分成n/2组，每组2个数据库节点，互存k个备份数据分片。
104、将各备份数据分片存储至对应的数据备份表样并在预置的目标数据库节点上进行部署，得到数据源表对应的数据备份表。
本实施例中，按照配置好的备份数据分片进行源数据的存储，此处数据源表中的源数据可以存储在Oracle数据库中，在Oracle数据库中利用存储过程和动态sql，读取两个配置表的信息，将大批量的源数据从Oracle数据库的数据源表中备份到数据备份表样里面，得到数据源表对应的数据备份表，其中，一个数据源表对应一个数据备份表。
本发明实施例中，通过获取多个源端数据库对应的备份配置信息，来配置用于筛选要备份的数据源表的结构配置表，以及配置用于规定数据源表如何进行备份的规则配置表；然后通过规则配置表，从需要进行备份的数据源表中选取出与数据备份表样相对应的源数据并存储至对应的数据备份表样，得到数据源表对应的数据备份表，其中，一个数据源表对应一个数据备份表，以实现配置化的数据批量自动化备份，提升大批量快速备份的精准化程度。
请参阅图2，本发明实施例中数据批量备份方法的第二个实施例包括：
201、获取多个源端数据库对应的备份配置信息，并提取备份配置信息中的源表标识信息，以及采用源表标识信息创建结构配置表；
202、提取备份配置信息中的多个规则配置字段，并采用各规则配置创建规则配置表；
本实施例中，备份配置信息中包含有需要进行备份的数据源表的源表标识信息，依次写入结构配置表的对应表格中以创建得到结构配置表，以用于构建数据源表对应的数据备份表样；备份配置信息中还包含有数据源表中需要进行备份的源数据的各个规则配置字段，以用于指示获取哪里源数据进行备份，以及如何对源数据进行备份，备份后的备份数据表表名称等。
具体的，规则配置字段可以包括：备份规则，源表表名，备份表表名，是否生效，删除规则，备份规则，创建时间，更新时间等字段。其中，对源数据的备份规则时，可以根据规则配置表中各个规则配置字段的设置，在对应的数据源表中进行源数据的筛选。
203、基于结构配置表，筛选出待备份的数据源表，并根据数据源表的表结构构建数据备份表样；
204、基于规则配置表，选取与各规则配置字段相匹配的查询指令；
205、根据查询指令，调用预置接口，获取数据备份表样对应的多个类属性信息；
206、根据各类属性信息，选取与数据备份表样相对应的源数据；
本实施例中，基于规则配置表中，可以选取用于查询需要进行备份的源数据属性信息的查询指令。其中，查询指令可以指示预置的接口，比如批量查询接口一次性获取一个或多个数据源表中需要进行备份的源数据的所有类属性信息，比如可以使用POSIX(Portable Operating System Interface，可移植操作系统接口)进行查询时，经过该接口对应的挂载点、VFS和PIM从数据备份表中查询到源数据的类属性信息。获取到所有类属性信息之后，指示需要在数据备份源表中进行备份的源数据以用于后续的备份。
207、将各备份数据分片存储至对应的数据备份表样并在预置的目标数据库节点上进行部署，得到数据源表对应的数据备份表。
本发明实施例中，通过备份配置信息中的源表标识信息来创建结构配置表，以用于后续筛选出待备份的数据源表，然后通过规则配置字段来创建规则配置表，以用于后续根据规则配置字段来确定每一个数据源表如何进行备份，以实现配置化和标准化的数据批量备份。
请参阅图3，本发明实施例中数据批量备份方法的第三个实施例包括：
301、获取多个源端数据库对应的备份配置信息，并采用备份配置信息配置结构配置表和规则配置表；
302、基于结构配置表，筛选出待备份的数据源表，并根据数据源表的表结构构建数据备份表样；
303、提取规则配置表中各个规则配置字段对应的备份规则字段，并识别各备份规则字段的规则状态；
304、分别判别各备份规则字段的规则状态是否有效；
305、若有效，则选取规则状态为有效的备份规则字段对应的查询指令；
本实施例中，规则配置表需要在JAVA端编写的前端页面中人为的去配置并上传，也可以修改，同时可以通过是否生效的规则配置字段来控制对应的备份规则是否生效，具体体控制备份规则是否生效的字段可以为规则状态字段比如当IS_VALID＝Y的时候，对应的备份规则就生效，否则不生效，以确定备案配置字段的规则状态。
306、根据查询指令，调用预置接口，获取数据备份表样对应的多个类属性信息；
307、根据各类属性信息，选取与数据备份表样相对应的源数据；
308、将各备份数据分片存储至对应的数据备份表样并在预置的目标数据库节点上进行部署，得到数据源表对应的数据备份表；
309、获取数据修改规则和数据修改参数，并对数据修改参数进行安全校验；
310、若校验成功，则将校验成功的数据修改参数作为变量并与数据修改规则结合，生成SQL语句；
311、根据SQL语句，利用预置数据修改工具对数据备份表执行数据修改操作，得到新的数据备份表。
本实施例中，开发人员预先开发多种数据修改规则并存在数据修改规则库中，应用时，在JAVA端编写的前端页面中选取对应的数据修改规则，输入对应的数据修改参数并上传，此处获取到前端页面上传的数据修改规则和数据修改参数后，先对数据修改参数进行安全校验，确定数据修改参数的格式是否正确，校验通过后，再将数据修改参数和对应的数据修改规则结合，以生成用于备份数据修改的SQL语句，在预置的数据修改工具中执行以对数据备份表中的备份数据进行修改。
其中，数据修改规则中包括含有变量的SQL语句，并记录各SQL语句与数据修改参数的依赖关系，包括名称、类型、长度、默认值和是否选填。数据修改工具可以为数据ETL(Extract-Transform-Load，抽取-转换-加载)工具，自动获取数据修改执行内容，对数据备份表进行数据修改。
具体的，根据SQL语句，利用预置数据修改工具对数据备份表执行数据修改操作，得到修改后的数据备份表包括：
(1)确定SQL的语句类型，并根据SQL语句的语句类型，提取SQL语句中待处理的表名、字段名和修改条件；
(2)根据表名、字段名和修改条件，生成SQL语句对应的查询影响语句、新旧值变化语句和备份语句；
(3)基于查询影响语句、新旧值变化语句和备份语句，执行SQL语句；
(4)根据SQL语句的执行结果，对数据备份表中的目标数据进行修改，得到新后的数据备份表。
本发明实施例中，用户可以在前端对规则配置表中每个备份规则字段的规则状态进行修改，以确定哪一个备份规则字段当前有效，以执行相对应的备份规则，实现备份规则的配置化，通过通过SQL语句来对备份后的数据备份表进行修改，实现对备份数据的灵活操作。
上面对本发明实施例中数据批量备份方法进行了描述，下面对本发明实施例中数据批量备份装置进行描述，请参阅图4，本发明实施例中数据批量备份装置一个实施例包括：
配置模块401，用于获取多个源端数据库对应的备份配置信息，并采用所述备份配置信息配置结构配置表和规则配置表；
构建模块402，用于基于所述结构配置表，筛选出待备份的数据源表，并根据所述数据源表的表结构构建数据备份表样；
选取模块403，用于基于所述规则配置表，从所述数据源表中选取出与所述数据备份表样相对应的源数据，并采用各所述源数据配置多个备份数据分片；
备份模块404，用于将各所述备份数据分片存储至对应的数据备份表样并在预置的目标数据库节点上进行部署，得到所述数据源表对应的数据备份表。
本发明实施例中，通过获取多个源端数据库对应的备份配置信息，来配置用于筛选要备份的数据源表的结构配置表，以及配置用于规定数据源表如何进行备份的规则配置表；然后通过规则配置表，从需要进行备份的数据源表中选取出与数据备份表样相对应的源数据并存储至对应的数据备份表样，得到数据源表对应的数据备份表，其中，一个数据源表对应一个数据备份表，以实现配置化的数据批量自动化备份，提升大批量快速备份的精准化程度。
请参阅图5，本发明实施例中数据批量备份装置的另一个实施例包括：
配置模块401，用于获取多个源端数据库对应的备份配置信息，并采用所述备份配置信息配置结构配置表和规则配置表；
构建模块402，用于基于所述结构配置表，筛选出待备份的数据源表，并根据所述数据源表的表结构构建数据备份表样；
选取模块403，用于基于所述规则配置表，从所述数据源表中选取出与所述数据备份表样相对应的源数据，并采用各所述源数据配置多个备份数据分片；
备份模块404，用于将各所述备份数据分片存储至对应的数据备份表样并在预置的目标数据库节点上进行部署，得到所述数据源表对应的数据备份表。
具体的，所述配置模块401包括：
结构配置单元4011，用于提取所述备份配置信息中的源表标识信息，并采用所述源表标识信息创建结构配置表；
规则配置单元4012，用于提取所述备份配置信息中的多个规则配置字段，并采用各所述规则配置创建规则配置表。
具体的，所述选取模块403包括：
指令选取单元4031，用于基于所述规则配置表，选取与各所述规则配置字段相匹配的查询指令；
获取单元4032，用于根据所述查询指令，调用预置接口，获取所述数据备份表样对应的多个类属性信息；
数据选取单元4033，用于根据各所述类属性信息，选取与所述数据备份表样相对应的源数据。
具体的，所述指令选取单元4031还用于：
提取所述规则配置表中各个规则配置字段对应的备份规则字段，并识别各所述备份规则字段的规则状态；
分别判别各所述备份规则字段的规则状态是否有效；
若有效，则选取规则状态为有效的备份规则字段对应的查询指令。
具体的，所述数据批量备份装置还包括修改模块405，用于：
获取数据修改规则和数据修改参数，并对所述数据修改参数进行安全校验；
若校验成功，则将校验成功的数据修改参数作为变量并与所述数据修改规则结合，生成SQL语句；
根据所述SQL语句，利用预置数据修改工具对所述数据备份表执行数据修改操作，得到新的数据备份表。
具体的，所述修改模块405还用于：
确定所述SQL的语句类型，并根据所述SQL语句的语句类型，提取所述SQL语句中待处理的表名、字段名和修改条件；
根据所述表名、所述字段名和所述修改条件，生成所述SQL语句对应的查询影响语句、新旧值变化语句和备份语句；
基于所述查询影响语句、所述新旧值变化语句和所述备份语句，执行所述SQL语句；
根据所述SQL语句的执行结果，对所述数据备份表中的目标数据进行修改，得到新后的数据备份表。
本发明实施例中，通过备份配置信息中的源表标识信息来创建结构配置表，以用于后续筛选出待备份的数据源表，然后通过规则配置字段来创建规则配置表，以用于后续根据规则配置字段来确定每一个数据源表如何进行备份，以实现配置化和标准化的数据批量备份；另外，用户可以在前端对规则配置表中每个备份规则字段的规则状态进行修改，以确定哪一个备份规则字段当前有效，以执行相对应的备份规则，实现备份规则的配置化，通过通过SQL语句来对备份后的数据备份表进行修改，实现对备份数据的灵活操作。
上面图4和图5从模块化功能实体的角度对本发明实施例中的数据批量备份装置进行详细描述，下面从硬件处理的角度对本发明实施例中数据批量备份设备进行详细描述。
图6是本发明实施例提供的一种数据批量备份设备的结构示意图，该数据批量备份设备600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)610(例如，一个或一个以上处理器)和存储器620，一个或一个以上存储应用程序633或数据632的存储介质630(例如一个或一个以上海量存储设备)。其中，存储器620和存储介质630可以是短暂存储或持久存储。存储在存储介质630的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对数据批量备份设备600中的一系列指令操作。更进一步地，处理器610可以设置为与存储介质630通信，在数据批量备份设备600上执行存储介质630中的一系列指令操作。
数据批量备份设备600还可以包括一个或一个以上电源640，一个或一个以上有线或无线网络接口650，一个或一个以上输入输出接口660，和/或，一个或一个以上操作系统631，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图6示出的数据批量备份设备结构并不构成对数据批量备份设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种数据批量备份设备，所述计算机设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例中的所述数据批量备份方法的步骤。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述数据批量备份方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种数据批量备份方法，其特征在于，所述数据批量备份方法包括：
获取多个源端数据库对应的备份配置信息，并采用所述备份配置信息配置结构配置表和规则配置表；
基于所述结构配置表，筛选出待备份的数据源表，并根据所述数据源表的表结构构建数据备份表样；
基于所述规则配置表，从所述数据源表中选取出与所述数据备份表样相对应的源数据，并采用各所述源数据配置多个备份数据分片；
将各所述备份数据分片存储至对应的数据备份表样并在预置的目标数据库节点上进行部署，得到所述数据源表对应的数据备份表。
2.根据权利要求1所述的数据批量备份方法，其特征在于，所述采用所述备份配置信息配置结构配置表和规则配置表包括：
提取所述备份配置信息中的源表标识信息，并采用所述源表标识信息创建结构配置表；
提取所述备份配置信息中的多个规则配置字段，并采用各所述规则配置创建规则配置表。
3.根据权利要求2所述的数据批量备份方法，其特征在于，所述基于所述规则配置表，从所述数据源表中选取出与所述数据备份表样相对应的源数据包括：
基于所述规则配置表，选取与各所述规则配置字段相匹配的查询指令；
根据所述查询指令，调用预置接口，获取所述数据备份表样对应的多个类属性信息；
根据各所述类属性信息，选取与所述数据备份表样相对应的源数据。
4.根据权利要求3所述的数据批量备份方法，其特征在于，所述基于所述规则配置表，选取与各所述规则配置字段相匹配的查询指令包括：
提取所述规则配置表中各个规则配置字段对应的备份规则字段，并识别各所述备份规则字段的规则状态；
分别判别各所述备份规则字段的规则状态是否有效；
若有效，则选取规则状态为有效的备份规则字段对应的查询指令。
5.根据权利要求1-4中任一项所述的数据批量备份方法，其特征在于，在所述将各所述备份数据分片存储至对应的数据备份表样并在预置的目标数据库节点上进行部署，得到所述数据源表对应的数据备份表之后，还包括：
获取数据修改规则和数据修改参数，并对所述数据修改参数进行安全校验；
若校验成功，则将校验成功的数据修改参数作为变量并与所述数据修改规则结合，生成SQL语句；
根据所述SQL语句，利用预置数据修改工具对所述数据备份表执行数据修改操作，得到新的数据备份表。
6.根据权利要求5所述的数据批量备份方法，其特征在于，所述根据所述SQL语句，利用预置数据修改工具对所述数据备份表执行数据修改操作，得到新的数据备份表包括：
确定所述SQL的语句类型，并根据所述SQL语句的语句类型，提取所述SQL语句中待处理的表名、字段名和修改条件；
根据所述表名、所述字段名和所述修改条件，生成所述SQL语句对应的查询影响语句、新旧值变化语句和备份语句；
基于所述查询影响语句、所述新旧值变化语句和所述备份语句，执行所述SQL语句；
根据所述SQL语句的执行结果，对所述数据备份表中的目标数据进行修改，得到新后的数据备份表。
7.一种数据批量备份装置，其特征在于，所述数据批量备份装置包括：
配置模块，用于获取多个源端数据库对应的备份配置信息，并采用所述备份配置信息配置结构配置表和规则配置表；
构建模块，用于基于所述结构配置表，筛选出待备份的数据源表，并根据所述数据源表的表结构构建数据备份表样；
选取模块，用于基于所述规则配置表，从所述数据源表中选取出与所述数据备份表样相对应的源数据，并采用各所述源数据配置多个备份数据分片；
备份模块，用于将各所述备份数据分片存储至对应的数据备份表样并在预置的目标数据库节点上进行部署，得到所述数据源表对应的数据备份表。
8.根据权利要求7所述的数据批量备份装置，其特征在于，所述数据批量备份装置还包括修改模块，用于：
获取数据修改规则和数据修改参数，并对所述数据修改参数进行安全校验；
若校验成功，则将校验成功的数据修改参数作为变量并与所述数据修改规则结合，生成SQL语句；
根据所述SQL语句，利用预置数据修改工具对所述数据备份表执行数据修改操作，得到新的数据备份表。
9.一种数据批量备份设备，其特征在于，所述数据批量备份设备包括：存储器和至少一个处理器，所述存储器中存储有指令；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述数据批量备份设备执行如权利要求1-6中任意一项所述的数据批量备份方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-6中任意一项所述数据批量备份方法的步骤。
CN202111304154.6A 2021-11-05 2021-11-05 数据批量备份方法、装置、设备及存储介质 Pending CN114048070A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111304154.6A CN114048070A (zh) 2021-11-05 2021-11-05 数据批量备份方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111304154.6A CN114048070A (zh) 2021-11-05 2021-11-05 数据批量备份方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114048070A true CN114048070A (zh) 2022-02-15

Family

ID=80207219

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111304154.6A Pending CN114048070A (zh) 2021-11-05 2021-11-05 数据批量备份方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114048070A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115114095A (zh) * 2022-07-20 2022-09-27 西北工业大学 数据备份方法、系统、装置及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109656911A (zh) * 2018-12-11 2019-04-19 江苏瑞中数据股份有限公司 分布式并行处理数据库系统及其数据处理方法
CN111831483A (zh) * 2020-07-20 2020-10-27 北京百度网讯科技有限公司 备份管理方法、系统、电子设备以及介质
CN113190381A (zh) * 2021-04-28 2021-07-30 平安消费金融有限公司 数据备份方法、系统、设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109656911A (zh) * 2018-12-11 2019-04-19 江苏瑞中数据股份有限公司 分布式并行处理数据库系统及其数据处理方法
CN111831483A (zh) * 2020-07-20 2020-10-27 北京百度网讯科技有限公司 备份管理方法、系统、电子设备以及介质
CN113190381A (zh) * 2021-04-28 2021-07-30 平安消费金融有限公司 数据备份方法、系统、设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115114095A (zh) * 2022-07-20 2022-09-27 西北工业大学 数据备份方法、系统、装置及存储介质

Similar Documents

Publication Publication Date Title
US7117294B1 (en) Method and system for archiving and compacting data in a data storage array
CN106598612B (zh) 一种数据库中数据表的操作方法及系统
US20200272559A1 (en) Enhancing efficiency in regression testing of software applications
CN103605747B (zh) 文件表单的处理方法和装置
CN111061733B (zh) 数据处理方法、装置、电子设备和计算机可读存储介质
CN107992404A (zh) 一种软件自动测试方法及装置
CN113127347A (zh) 一种接口测试方法、装置、设备及可读存储介质
CN110737594A (zh) 自动生成测试用例的数据库标准符合性测试方法及装置
CN114780641B (zh) 多库多表同步方法、装置、计算机设备和存储介质
JP2014078085A (ja) 実行制御プログラム、実行制御方法および情報処理装置
CN111124872A (zh) 基于差异代码分析的分支检测方法、装置及存储介质
CN111984659B (zh) 数据更新方法、装置、计算机设备和存储介质
EP2951680B1 (en) Acquiring identification of an application lifecycle management entity associated with similar code
CN114048070A (zh) 数据批量备份方法、装置、设备及存储介质
CN113961228A (zh) 一种变更提醒方法、装置、设备及存储介质
CN107330031B (zh) 一种数据存储的方法、装置及电子设备
CN114089962B (zh) 一种构件管理方法、设备及介质
JP7246301B2 (ja) プログラム開発支援システム及びプログラム開発支援方法
CN111309623B (zh) 一种坐标类数据分类测试方法及装置
CN113792026A (zh) 数据库脚本的部署方法、装置及计算机可读存储介质
JP2005071372A (ja) コンピュータ支援設計ツールのデータモデルの一貫性を確認するためのシステムおよび方法
KR100505111B1 (ko) 데이터베이스 연산용 프로그램 소스 생성 장치 및 그방법과 이를 이용한 컴퓨터 프로그램 제품
CN116719702B (zh) 一种采集开源信息的方法、装置、电子设备及存储介质
US11921496B2 (en) Information processing apparatus, information processing method and computer readable medium
CN117632876B (zh) 基于gpfs文件系统的文件和目录统计分析方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination