CN113032406A - 一种通过元数据库集中化管理分表的数据归档方法 - Google Patents

一种通过元数据库集中化管理分表的数据归档方法 Download PDF

Info

Publication number
CN113032406A
CN113032406A CN202110579525.5A CN202110579525A CN113032406A CN 113032406 A CN113032406 A CN 113032406A CN 202110579525 A CN202110579525 A CN 202110579525A CN 113032406 A CN113032406 A CN 113032406A
Authority
CN
China
Prior art keywords
metadata
database
data
column
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110579525.5A
Other languages
English (en)
Other versions
CN113032406B (zh
Inventor
苟李平
冯钊
朱小容
谢明阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan XW Bank Co Ltd
Original Assignee
Sichuan XW Bank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan XW Bank Co Ltd filed Critical Sichuan XW Bank Co Ltd
Priority to CN202110579525.5A priority Critical patent/CN113032406B/zh
Publication of CN113032406A publication Critical patent/CN113032406A/zh
Application granted granted Critical
Publication of CN113032406B publication Critical patent/CN113032406B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明属于数据处理技术领域，尤其涉及一种通过元数据库集中化管理分表的数据归档方法，拟解决现有技术中提到现有归档方式无法实现自动校验，且分批次并发难的问题；解决上述问题采用如下步骤：步骤1：在元数据库中插入元数据；步骤2：对操作系统添加定时任务，得到调用频率；步骤3：对元数据进行导入导出，并进行校验归档，校验归档结束后进行邮件发送，归档任务结束。实现了分批次来达到不同任务的分批以及同时并发功能，实现自动校验，无需人工进行操作。

Description

一种通过元数据库集中化管理分表的数据归档方法
技术领域
本发明属于数据处理技术领域，尤其涉及一种通过元数据库集中化管理分表的数据归档方法。
背景技术
数据库归档技术是一种数据库管理常见的管理技术，用于将历史数据进行归档，并存放到特定归档库或者介质，以到达对生产数据库的空间和性能的优化。数据库分表也是一种数据库管理的常见技术，一般是指分区表或水平拆分表，例如按照年、月、日等维度进行拆分成不同的分区表，或者是将一个大表进行水平拆分为不同库下同名的表，后端用中间件或者自定义路由的方式再进行统一查询。
目前，MySQL数据库的归档技术主要分为两种方式，一种是依赖社区开源工具，一种是手工处理查询数据导出到归档库或其他介质的操作方式，但是基本需要人工操作，并且分批次并发难，归档校验均需要人工进行处理。
发明内容
本发明提供了一种通过元数据集中化管理分表的数据归档方法，拟实现元数据集中化管理，并且解决现有技术中提到现有归档方式无法实现自动校验，且分批次并发难的问题。
为实现上述目的，本发明提供如下技术方案：
一种通过元数据集中化管理分表的数据归档方法，包括以下步骤：
步骤1：在元数据库中插入元数据；
步骤2：对操作系统添加定时任务，得到调用频率；
步骤3：对元数据进行导入导出，并进行校验归档，校验归档结束后进行邮件发送，归档任务结束。
优选的，所述步骤1还包括以下步骤：步骤1.1：对元数据库进行表结构建立，得到元数据库表；
步骤1.2：对不同归档要求向元数据库插入不同的元数据，得到元数据插入结果。
优选的，所述步骤2通过编辑crontab输入新的定时任务，匹配批次号，定义执行时间和频率。
优选的，所述步骤3包括以下步骤，步骤3.1：被步骤2的定时任务自动调用，对元数据进行查询，得到匹配下一次运行时间是今日的数据，且该数据的批次号需要对应被步骤2调用的批次号；
步骤3.2：对步骤3.1查询的元数据进行提前检测，检测结果通过后进行步骤3.2；检测结果不通过的报错退出并发送失败邮件；
步骤3.3：对步骤3.1查询的元数据进行中间结果的处理，并基于中间结果的处理导出临时文件到中转目录，中转目录为元数据库查询出来的中转目录列中的内容，临时文件导出成功的执行步骤3.4；临时文件导出失败的报错退出并发送失败邮件；
步骤3.4：将临时文件导入归档目标数据库，得到临时文件导入成功结果的执行步骤3.5；临时文件导入失败的，报错退出并发送失败邮件；
步骤3.5：响应步骤3.4的导入成功结果并对临时文件做数据校验，校验成功后根据查询的保留元数据对下一次运行时间进行不同的更新，更新成功后执行步骤3.6；校验失败或更新失败的，报错退出并发送失败邮件；
步骤3.6：根据查询的元数据中的是否清理策略运行清理策略对源端数据库中的源数据进行清理，并对源端数据库中的源数据进行清理；清理成功后根据归档后是否重命名操作列的结果来重命名归档表；再执行步骤3.7；若清理失败的或重命名失败的则报错退出发送失败邮件；
步骤3.7：所有操作检验完毕，得到最终返回结果，判定成功，发送成功邮件。
与现有技术相比本发明的有益效果是：1.通过直接利用数据库创建元数据库对源端数据库到目标端数据库的归档任务进行集中化管理，方便散乱各处的归档任务统一管理，也不需要使用额外的第三方开发平台来进行管理，降低了管理成本。
2.通过分批次来达到不同任务的分批以及同时并发功能，避免了手工处理时需要对每条记录进行编程处理导致的耗时费力的问题。
3.定制化分表规则和自定义保留策略能灵活的支持各种各样的分表规则，即使不能支持也可以通过扩展定制函数实现特别需求。
具体实施方式
下面对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的最优实施例如下所述，一种通过元数据集中化管理分表的数据归档方法，包括以下步骤：
步骤1：在元数据库中插入元数据；
步骤2：对操作系统添加定时任务，得到调用频率；
步骤3：对元数据进行导入导出，并进行校验归档，校验归档结束后进行邮件发送，归档任务结束。
所述步骤1具体包括以下步骤：
步骤1.1：对元数据库进行表结构建立，得到元数据表；
所述元数据表为普通的MySQL数据库；元数据表名为arch_dump_config，意为归档元数据配置表。
所述元数据库配置表的表结构的组成部分如下：
自增主键列，使用数字整型，用于索引和查询数据；
集群名列，使用可变长字符串类型，用于表示需要归档的数据库集群名；
主库ip列，使用可变长字符串类型，用于标识需要归档的数据库集群的主库所在ip；
主库端口列，使用数字整型，用于标识需要归档的数据库集群的主库所在的端口
读库ip列，使用可变长字符串类型，用于标识需要归档的数据库集群的读库所在的ip；
读库端口列，使用数字整型，用于标识需要归档的数据库集群的读库所在的端口；
源端数据库名列，使用可变长字符串类型，用于标识源端数据库名；
源端数据库用户名列，使用可变长字符串类型，用于标识源端数据库用户名；
源端数据库用户密码列，使用可变长字符串类型，用于标识源端数据库用户的密码；
归档where条件列，使用可变长字符串类型，用于标识归档的where条件；
目标库IP列，使用可变长字符串类型，用于标识需要导入归档的数据库集群的主库所在的IP；
目标库端口列，使用数字整型，用于标识需要导入归档的数据库集群的主库所在的端口；
目标端数据库名列，使用可变长字符串类型，用于标识目标端数据库名；
目标端用户名列，使用可变长字符串类型，用于标识目标端的数据库用户名；
目标端用户密码列，使用可变长字符串类型，用于标识目标端的数据库用户的密码；
归档表前缀列，使用可变长字符串类型，用于标识归档分表的前缀名称，如分表是table_2020，则起前缀为table；
运行状态列，使用数字整型，用于标识此条任务是否正常运行，包含失效和运行两种状态；
分区类型列，使用数字整型，用于标识归档的分区表的类型，包含年、季度、月、周、日等类型；
保留数列，使用数字整型，用于标识归档需要保留类型保留具体数的列，如分区类型是周，保留数列是4，则表示保留4周的原始数据不归档；
执行频率列，使用可变长字符串类型，用于标识此条任务的执行频率，包含1week,1 month，1 quarter, 1 year等；
下次运行时间列，使用日期类型，用于标识此条任务的下一次运行时间；
删除列，使用数字整型，用于标识归档后源端数据库归档表是否需要进行后续删除操作，包含0和1；
删除类型列，使用数字整型，用于标识归档后源端数据库归档表删除的类型，包含delete,drop,truncate,drop partition四种类型；
归档后是否重命名操作列，使用数字整型，用于标识归档后归档表是否进行重命名操作，包含0和1；
中转目录列，使用变长字符串类型，用于标识导出任务归档所用得中转目录；
联系人列，使用变长字符串类型，用于标识此条归档任务的应用负责人；
批次号列，使用数字整型，用于标识归档任务的批次，自定义数据，用于并发执行归档任务。
步骤1.2：基于不同的归档要求向元数据库插入不同的元数据，得到元数据插入结果。
所述归档要求如下举例：
例如：
A.按月不执行删除
Figure 102241DEST_PATH_IMAGE001
B.按季度执行删除，执行rename，清理用truncate方式
Figure 455862DEST_PATH_IMAGE002
所述步骤2通过编辑crontab输入新的定时任务，匹配批次号，定义执行时间和频率。
例如：49 9 * * * python3 /data/script/arch_dump/arch_dump_jobs.py 1
表示每天9点49分开始运行批次号为1的任务。
所述步骤3包括以下步骤：
步骤3.1：被步骤2的定时任务自动调用，对元数据进行查询，得到匹配下一次运行时间是今日的数据，且该数据的批次号需要对应被步骤2调用的批次号；
对所述下一次运行时间举例说明：例如执行频率是一周，则更新下一次运行时间在今日的基础上加上一周。
步骤3.2：对步骤3.1查询的元数据进行提前检测，检测结果通过后进行步骤3.2；检测结果不通过的报错退出并发送失败邮件；
步骤3.3：对步骤3.1查询的元数据进行中间结果的处理，并基于中间结果的处理导出临时文件到中转目录，中转目录为元数据库查询出来的中转目录列中的内容，临时文件导出成功的执行步骤3.4；临时文件导出失败的报错退出并发送失败邮件；
步骤3.4：将临时文件导入归档目标数据库，得到临时文件导入成功结果的执行步骤3.5；临时文件导入失败的，报错退出并发送失败邮件；
步骤3.5：响应步骤3.4的导入成功结果并对临时文件做数据校验，校验成功后根据查询的保留元数据对下一次运行时间进行不同的更新，更新成功后执行步骤3.6；校验失败或更新失败的，报错退出并发送失败邮件；
对所述下一次运行时间举例说明：例如执行频率是一周，则更新下一次运行时间在今日的基础上加上一周。
步骤3.5中所述进行不同的更新是指，基于保留数据列做出的数据更新，例如：分区类型是周，保留数据列是4，则表示保留4周的原始数据不归档。保留数据列中数据的不同，更新的数据也是不同的。
步骤3.6：根据查询的元数据中的是否清理策略运行清理策略对源端数据库中的源数据进行清理，并对源端数据库中的源数据进行清理；清理成功后根据归档后是否重命名操作列的结果来重命名归档表；再执行步骤3.7；若清理失败的或重命名失败的则报错退出发送失败邮件；
例如：重命名操作列中的内容表示为0的则不执行重命名表，若重名操作列的内容表示为1的则执行重命名表。
步骤3.7：所有操作检验完毕，得到最终返回结果，判定成功，发送成功邮件。
上述步骤3.2中所述的提前检测包括以下检测步骤，步骤3.2.1：检测源端数据库导出表是否能够被访问和是否存在，源端数据库导出表能够被访问的且存在的执行步骤3.2.2；源端数据库导出表不能被访问或不存在的则报错退出并发送失败邮件；
步骤3.2.2：检测目标端数据库是否能够被访问，目标端数据库能够被访问的则执行步骤3.2.3，目标端数据库不能够被访问的，则报错退出并发送失败邮件；
步骤3.2.3：检测目标端数据库中是否存在与步骤3.2.1中元数据库导出表相同的归档表，不存在的则执行步骤3.3，存在的则报错退出并发送失败邮件。
步骤3.3中所述的中间结果的处理包括根据保留数列和分区类型列结合产生的分表保留规则，根据归档where条件列产生处理的处理策略。
步骤3.5中所述的数据校验包括源端数据库是否能够被访问和目标端数据库是否能够被访问，以及源端数据库和目标端数据库的数据行数是否一致。
步骤3.6中所述的是否清理策略根据删除列中的内容确定；所述清理策略则根据删除类型列来执行清理方式。
例如，若删除列中的内容为0的，不进行清理，不执行清理策略；若删除列中的内容为1的，则根据删除类型列中的清理方式进行清理。
所述清理方式包括delete，drop，truncate，drop partition。
步骤3.5中所述的保留元数据为元数据表中的保留数据列和执行频率列组合得到的结果。
所述元数据库中储存的为元数据，源端数据库储存的是源数据。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (10)

1.一种通过元数据库集中化管理分表的数据归档方法，其特征在于：包括以下步骤：
步骤1：在元数据库中插入元数据；
步骤2：对操作系统添加定时任务，得到调用频率；
步骤3：对元数据进行导入导出，并进行校验归档，校验归档结束后进行邮件发送，归档任务结束。
2.根据权利要求1所述的一种通过元数据库集中化管理分表的数据归档方法，其特征在于：步骤3所述的元数据通过使用mysqldump工具导入导出。
3.根据权利要求1所述的一种通过元数据库集中化管理分表的数据归档方法，其特征在于：所述步骤1包括以下步骤，步骤1.1：对元数据库进行表结构建立，得到元数据表；
步骤1.2：基于不同的归档要求向元数据库插入不同的元数据，得到元数据插入结果。
4.根据权利要求1所述的一种通过元数据库集中化管理分表的数据归档方法，其特征在于：所述步骤2通过编辑crontab输入新的定时任务，匹配批次号，定义执行时间和调用频率。
5.根据权利要求1到4任意一项权利要求所述的一种通过元数据库集中化管理分表的数据归档方法，其特征在于：所述步骤3包括以下步骤，步骤3.1：被步骤2的定时任务自动调用，对元数据进行查询，得到匹配下一次运行时间是今日的数据，且该数据的批次号需要对应被步骤2调用的批次号；
步骤3.2：对步骤3.1查询的元数据进行提前检测，检测结果通过后进行步骤3.2；检测结果不通过的报错退出并发送失败邮件；
步骤3.3：对步骤3.1查询的元数据进行中间结果的处理，并基于中间结果的处理导出临时文件到中转目录，中转目录为元数据库查询出来的中转目录列中的内容，临时文件导出成功的执行步骤3.4；临时文件导出失败的报错退出并发送失败邮件；
步骤3.4：将临时文件导入归档目标数据库，得到临时文件导入成功结果的执行步骤3.5；临时文件导入失败的，报错退出并发送失败邮件；
步骤3.5：响应步骤3.4的导入成功结果并对临时文件做数据校验，校验成功后根据查询的保留元数据对下一次运行时间进行不同的更新，更新成功后执行步骤3.6；校验失败或更新失败的，报错退出并发送失败邮件；
步骤3.6：根据查询的元数据中的是否清理策略运行清理策略对源端数据库中的源数据进行清理，并对源端数据库中的源数据进行清理；清理成功后根据归档后是否重命名操作列的结果来重命名归档表；再执行步骤3.7；若清理失败的或重命名失败的则报错退出发送失败邮件；
步骤3.7：所有操作检验完毕，得到最终返回结果，判定成功，发送成功邮件。
6.根据权利要求5所述的一种通过元数据库集中化管理分表的数据归档方法，其特征在于：步骤3.2中所述的检测包括以下检测步骤，步骤3.2.1：检测源端数据库导出表是否能够被访问和是否存在，源端数据库导出表能够被访问的且存在的执行步骤3.2.2；源端数据库导出表不能被访问或不存在的则报错退出并发送失败邮件；
步骤3.2.2：检测目标端数据库是否能够被访问，目标端数据库能够被访问的则执行步骤3.2.3，目标端数据库不能够被访问的，则报错退出并发送失败邮件；
步骤3.2.3：检测目标端数据库中是否存在与步骤3.2.1中元数据库导出表相同的归档表，不存在的则执行步骤3.3，存在的则报错退出并发送失败邮件。
7.根据权利要求5所述的一种通过元数据库集中化管理分表的数据归档方法，其特征在于：步骤3.3中所述的中间结果的处理包括根据保留数列和分区类型列结合产生的分表保留规则，根据归档where条件列产生处理的处理策略。
8.根据权利要求5所述的一种通过元数据库集中化管理分表的数据归档方法，其特征在于：步骤3.5中所述的数据校验包括源端数据库是否能够被访问和目标端数据库是否能够被访问，以及源端数据库和目标端数据库的数据行数是否一致。
9.根据权利要求5所述的一种通过元数据库集中化管理分表的数据归档方法，其特征在于：步骤3.6中所述的是否清理策略根据元数据表中删除列中的内容确定；清理策略则根据删除类型列来执行清理方式。
10.根据权利要求5所述的一种通过元数据库集中化管理分表的数据归档方法，其特征在于：步骤3.5中所述的保留元数据为元数据表中的保留数据列和执行频率列组合得到的结果。
CN202110579525.5A 2021-05-26 2021-05-26 一种通过元数据库集中化管理分表的数据归档方法 Active CN113032406B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110579525.5A CN113032406B (zh) 2021-05-26 2021-05-26 一种通过元数据库集中化管理分表的数据归档方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110579525.5A CN113032406B (zh) 2021-05-26 2021-05-26 一种通过元数据库集中化管理分表的数据归档方法

Publications (2)

Publication Number Publication Date
CN113032406A true CN113032406A (zh) 2021-06-25
CN113032406B CN113032406B (zh) 2022-04-15

Family

ID=76455778

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110579525.5A Active CN113032406B (zh) 2021-05-26 2021-05-26 一种通过元数据库集中化管理分表的数据归档方法

Country Status (1)

Country Link
CN (1) CN113032406B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101364897A (zh) * 2008-09-17 2009-02-11 中兴通讯股份有限公司 一种历史数据归档的系统与实现方法
CN102207951A (zh) * 2010-03-29 2011-10-05 软件Ag公司 分布式数据归档系统和/或方法
US20120254134A1 (en) * 2011-03-30 2012-10-04 Google Inc. Using An Update Feed To Capture and Store Documents for Litigation Hold and Legal Discovery
CN103973486A (zh) * 2014-04-29 2014-08-06 上海上讯信息技术股份有限公司 一种基于b/s结构的日志管理系统
CN104216889A (zh) * 2013-05-30 2014-12-17 北大方正集团有限公司 基于云服务的数据传播性分析预测方法及系统
CN105159943A (zh) * 2015-08-07 2015-12-16 北京思特奇信息技术股份有限公司 一种分布式数据库自动化备份方法及系统
US20160162364A1 (en) * 2014-12-03 2016-06-09 Commvault Systems, Inc. Secondary storage pruning
CN106569920A (zh) * 2016-11-09 2017-04-19 腾讯科技（深圳）有限公司 数据库备份方法及装置
CN107590054A (zh) * 2017-09-21 2018-01-16 大连君方科技有限公司 船舶服务器日志监控系统
CN109885565A (zh) * 2019-02-14 2019-06-14 中国银行股份有限公司 一种数据表清理方法和装置
CN110543485A (zh) * 2019-08-21 2019-12-06 杭州趣链科技有限公司 一种基于快照的区块链预约归档方法
CN111475333A (zh) * 2020-03-02 2020-07-31 新浪网技术(中国)有限公司 一种基于openstack的数据库备份方法及装置

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101364897A (zh) * 2008-09-17 2009-02-11 中兴通讯股份有限公司 一种历史数据归档的系统与实现方法
CN102207951A (zh) * 2010-03-29 2011-10-05 软件Ag公司 分布式数据归档系统和/或方法
US20120254134A1 (en) * 2011-03-30 2012-10-04 Google Inc. Using An Update Feed To Capture and Store Documents for Litigation Hold and Legal Discovery
CN104216889A (zh) * 2013-05-30 2014-12-17 北大方正集团有限公司 基于云服务的数据传播性分析预测方法及系统
CN103973486A (zh) * 2014-04-29 2014-08-06 上海上讯信息技术股份有限公司 一种基于b/s结构的日志管理系统
US20160162364A1 (en) * 2014-12-03 2016-06-09 Commvault Systems, Inc. Secondary storage pruning
US20180088825A1 (en) * 2014-12-03 2018-03-29 Commvault Systems, Inc. Defensible pruning
CN105159943A (zh) * 2015-08-07 2015-12-16 北京思特奇信息技术股份有限公司 一种分布式数据库自动化备份方法及系统
CN106569920A (zh) * 2016-11-09 2017-04-19 腾讯科技（深圳）有限公司 数据库备份方法及装置
CN107590054A (zh) * 2017-09-21 2018-01-16 大连君方科技有限公司 船舶服务器日志监控系统
CN109885565A (zh) * 2019-02-14 2019-06-14 中国银行股份有限公司 一种数据表清理方法和装置
CN110543485A (zh) * 2019-08-21 2019-12-06 杭州趣链科技有限公司 一种基于快照的区块链预约归档方法
CN111475333A (zh) * 2020-03-02 2020-07-31 新浪网技术(中国)有限公司 一种基于openstack的数据库备份方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
RODRIGO CASTRO 等: "Data archiving system implementation in ITER"s CODAC CORE SYSTEM", 《2015 IEEE 26TH SYMPOSIUM ON FUSION ENGINEERING (SOFE)》 *
赵树宽等: "基于跨界融合的政府数据开放共享模型研究", 《图书情报工作》 *

Also Published As

Publication number Publication date
CN113032406B (zh) 2022-04-15

Similar Documents

Publication Publication Date Title
CN110879813B (zh) 一种基于二进制日志解析的MySQL数据库增量同步实现方法
CN106033436B (zh) 一种数据库的合并方法
CN109284293B (zh) 用于水务公司营业收费系统升级的数据迁移方法
US8108431B1 (en) Two-dimensional data storage system
US6122644A (en) System for halloween protection in a database system
CN111400354B (zh) 基于mes系统的机床制造bom存储查询及树形结构构建方法
CN109189798B (zh) 一种基于spark同步更新数据的方法
CN102890678A (zh) 一种基于格雷编码的分布式数据布局方法及查询方法
CN110928882A (zh) 一种基于改进红黑树的内存数据库索引方法及系统
EP1783647A2 (en) Database techniques for storing biochemical data items
CN113032406B (zh) 一种通过元数据库集中化管理分表的数据归档方法
CN112835918A (zh) 一种MySQL数据库增量同步实现方法
CN115374121A (zh) 数据库索引的生成方法、机器可读存储介质与计算机设备
CN114020719A (zh) 一种应用于异构数据库的证照数据迁移方法
CN113568921A (zh) 一种面向地理信息数据生产更新的多人协同作业方法
CN112463447A (zh) 一种基于分布式数据库实现物理备份的优化方法
CN114238241B (zh) 财务数据的元数据处理方法和计算机系统
CN113360461B (zh) 一种推送逾期数据到催收系统进行解析的方法及存储介质
JP4106601B2 (ja) ディレクトリ情報への更新情報生成システム、更新情報生成プログラム
CN116842009A (zh) 一种便于调整的巨量表优化方法
US20230129353A1 (en) Systems and methods for efficient consolidation of record blocks
CN114519079A (zh) 基于元数据配置的sql自动生成系统、方法、设备及介质
CN117573650A (zh) 一种支持动态扩缩容的数据库分库方法
CN116719827A (zh) 一种宽表更新方法、装置、设备及计算机可读存储介质
CN116910148A (zh) 一种基于Spark的同步Oracle历史数据数据至Hudi表的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant