CN110569232A - 一种数据库历史数据自动归档系统 - Google Patents

一种数据库历史数据自动归档系统 Download PDF

Info

Publication number
CN110569232A
CN110569232A CN201910859487.1A CN201910859487A CN110569232A CN 110569232 A CN110569232 A CN 110569232A CN 201910859487 A CN201910859487 A CN 201910859487A CN 110569232 A CN110569232 A CN 110569232A
Authority
CN
China
Prior art keywords
database
data
module
automatic
historical data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910859487.1A
Other languages
English (en)
Inventor
王文
易翔
罗淋
柳松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bao Fu Network Technology (shanghai) Co Ltd
Original Assignee
Bao Fu Network Technology (shanghai) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bao Fu Network Technology (shanghai) Co Ltd filed Critical Bao Fu Network Technology (shanghai) Co Ltd
Priority to CN201910859487.1A priority Critical patent/CN110569232A/zh
Publication of CN110569232A publication Critical patent/CN110569232A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3051—Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/219—Managing data history or versioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种数据库历史数据自动归档系统，其特征在于，包括历史数据备份模块、历史数据归档模块、表碎片整理模块、数据校验模块、数据库查询接口模块、数据库巡检模块、自动故障处理模块。AutoArchive数据库历史数据自动归档系统通过Auto Archive的封装，实现其自动化归档数据。

Description

一种数据库历史数据自动归档系统
技术领域
本发明涉及计算机技术领域，尤其涉及一种AutoArchive数据库历史数据自动归档系统。
背景技术
现有的percona-toolkit工具无法实现自动化归档数据，也无法根据业务定制归档规则。通过Auto Archive的封装，实现其自动化，并可以在AutoArchive中自定义业务规则。
发明内容
本发明所要解决percona-toolkit工具无法实现自动化归档数据，也无法根据业务定制归档规则的问题，提供一种AutoArchive数据库历史数据自动归档系统。
为解决上述技术问题，本发明采用的技术方案是：
本发明提供一种数据库历史数据自动归档系统，包括七个模块；
历史数据备份模块：对数据进行备份；
历史数据归档模块：对归档后的数据进行备份；
表碎片整理模块：对数据库表的物理空间进行释放；
数据校验模块：在数据同步完成后，需要校验数据同步后结果集进行校验；
数据库查询接口模块：提供常用数据库查询功能；
数据库巡检模块：巡检数据库服务器硬盘信息；
自动故障处理模块：在数据库故障时给出可执行性方案。
进一步地，所述数据库历史数据自动归档系统历史数据备份模块是通过调用mydumper工具组件进行数据备份。
进一步地，所述数据库历史数据自动归档系统历史数据归档模块由表结构同步、表数据归档、表数据校验、原表数据清理、邮件通知功能点组成。
进一步地，所述数据库历史数据自动归档系统表碎片整理模块是通过调用ghost工具对数据库表的物理空间进行释放；数据归档完毕后，及时释放物理空间，提升磁盘空间和提高数据库性能。
进一步地，所述数据库历史数据自动归档系统数据校验模块可以对比任意两张表数据是否一致；在数据同步完成后，需要校验数据同步后结果的一致性。
进一步地，所述数据库历史数据自动归档系统数据库查询接口包括进程、数据库状态、数据库用户、数据库空间、主从同步等信息。
进一步地，所述数据库历史数据自动归档系统数据库巡检模块主要是巡检数据库服务器硬盘信息，统计剩余空间和每日数据增量，评估磁盘可使用时长，并以报表的方式进行展示。
进一步地，所述数据库历史数据自动归档系统自动故障处理模块是通过对故障信息、binlog日志、error日志、进程收集汇总，然后与自定义解决方案进行匹配，给出解决方案。
本发明还公开了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1数据库历史数据自动归档系统所。
本发明还公开了一种装置/终端设备，其特征在于，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序所述处理器执行所述计算机程序时实现如权利要求1所述数据库历史数据自动归档系统所。
本发明通过Auto Archive的封装，实现其自动化，并可以在AutoArchive中自定义业务规则。该系统方案具特点如下：
业务数据库服务器始终保持轻量化，历史数据压缩并归档到历史数据库。减少服务器和磁盘使用。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1是本申请系统流程图。
具体实施方式
实施例1
本申请提供一种AutoArchive数据库历史数据自动归档系统，其系统流程如图1所示。
本申请提供一种AutoArchive数据库历史数据自动归档系统，包括历史数据备份模块、历史数据归档模块、表碎片整理模块、数据校验模块、数据库查询接口模块、数据库巡检模块、自动故障处理模块。
本发明提供一种AutoArchive数据库历史数据自动归档系统，包括七个模块；
历史数据备份模块：对数据进行备份；
历史数据归档模块：对归档后的数据进行备份；
表碎片整理模块：对数据库表的物理空间进行释放；
数据校验模块：在数据同步完成后，需要校验数据同步后结果集进行校验；
数据库查询接口模块：提供常用数据库查询功能；
数据库巡检模块：巡检数据库服务器硬盘信息；
自动故障处理模块：在数据库故障时给出可执行性方案。
进一步地，所述数据库历史数据自动归档系统历史数据备份模块是通过调用mydumper工具组件进行数据备份。
进一步地，所述数据库历史数据自动归档系统历史数据归档模块由表结构同步、表数据归档、表数据校验、原表数据清理、邮件通知功能点组成。如图1所示，通过获取表结构列表记录归档信息，对表结构进行同步，同步后对数据进行归档。
进一步地，所述数据库历史数据自动归档系统表碎片整理模块是通过调用ghost工具对数据库表的物理空间进行释放；数据归档完毕后，及时释放物理空间，提升磁盘空间和提高数据库性能。
进一步地，所述数据库历史数据自动归档系统数据校验模块可以对比任意两张表数据是否一致；在数据同步完成后，需要校验数据同步后结果的一致性。
进一步地，所述数据库历史数据自动归档系统数据库查询接口包括进程、数据库状态、数据库用户、数据库空间、主从同步等信息。
进一步地，所述数据库历史数据自动归档系统数据库巡检模块主要是巡检数据库服务器硬盘信息，统计剩余空间和每日数据增量，评估磁盘可使用时长，并以报表的方式进行展示。
进一步地，所述数据库历史数据自动归档系统自动故障处理模块是通过对故障信息、binlog日志、error日志、进程收集汇总，然后与自定义解决方案进行匹配，给出解决方案。
本发明还公开了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1数据库历史数据自动归档系统所。
本发明还公开了一种装置/终端设备，其特征在于，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序所述处理器执行所述计算机程序时实现如权利要求1所述数据库历史数据自动归档系统所。
以上对本发明的具体实施例进行了详细描述，但其只是作为范例，本发明并不限制于以上描述的具体实施例。对于本领域技术人员而言，任何对本发明进行的等同修改和替代也都在本发明的范畴之中。因此，在不脱离本发明的精神和范围下所作的均等变换和修改，都应涵盖在本发明的范围内。

Claims (10)

1.一种数据库历史数据自动归档系统，其特征在于，包括
历史数据备份模块：对数据进行备份；
历史数据归档模块：对归档后的数据进行备份；
表碎片整理模块：对数据库表的物理空间进行释放；
数据校验模块：在数据同步完成后，需要校验数据同步后结果集进行校验；
数据库查询接口模块：提供常用数据库查询功能；
数据库巡检模块：巡检数据库服务器硬盘信息；
自动故障处理模块：在数据库故障时给出可执行性方案。
2.根据权利要求1所述的数据库历史数据自动归档系统，其特征在于所述的历史数据备份模块是通过调用mydumper工具组件进行数据备份。
3.根据权利要求1所述的数据库历史数据自动归档系统，其特征在于所述的历史数据归档模块由表结构同步、表数据归档、表数据校验、原表数据清理、邮件通知功能点组成。
4.根据权利要求1所述的数据库历史数据自动归档系统，其特征在于所述的表碎片整理模块是通过调用ghost工具对数据库表的物理空间进行释放；数据归档完毕后，及时释放物理空间，提升磁盘空间和提高数据库性能。
5.根据权利要求1所述的数据库历史数据自动归档系统，其特征在于所述的数据校验模块可以对比任意两张表数据是否一致；在数据同步完成后，需要校验数据同步后结果的一致性。
6.根据权利要求1所述的数据库历史数据自动归档系统，其特征在于所述的数据库查询接口模块包括进程、数据库状态、数据库用户、数据库空间、主从同步等信息。
7.根据权利要求1所述的数据库历史数据自动归档系统，其特征在于所述的数据库巡检模块主要是巡检数据库服务器硬盘信息，统计剩余空间和每日数据增量，评估磁盘可使用时长，并以报表的方式进行展示。
8.根据权利要求1所述的数据库历史数据自动归档系统，其特征在于所述的自动故障处理模块是通过对故障信息、binlog日志、error日志、进程收集汇总，然后与自定义解决方案进行匹配，给出解决方案。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1所述数据库历史数据自动归档系统。
10.一种装置/终端设备，其特征在于，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序所述处理器执行所述计算机程序时实现如权利要求1所述所述数据库历史数据自动归档系统。
CN201910859487.1A 2019-09-11 2019-09-11 一种数据库历史数据自动归档系统 Pending CN110569232A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910859487.1A CN110569232A (zh) 2019-09-11 2019-09-11 一种数据库历史数据自动归档系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910859487.1A CN110569232A (zh) 2019-09-11 2019-09-11 一种数据库历史数据自动归档系统

Publications (1)

Publication Number Publication Date
CN110569232A true CN110569232A (zh) 2019-12-13

Family

ID=68779229

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910859487.1A Pending CN110569232A (zh) 2019-09-11 2019-09-11 一种数据库历史数据自动归档系统

Country Status (1)

Country Link
CN (1) CN110569232A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1904881A (zh) * 2005-07-26 2007-01-31 北京九州汇宝软件有限公司 数据库归档数据的检索方法
CN101661470A (zh) * 2008-08-25 2010-03-03 中兴通讯股份有限公司 一种历史数据管理系统与方法
CN103916459A (zh) * 2014-03-04 2014-07-09 南京邮电大学 一种大数据归档存储系统
CN105243163A (zh) * 2015-11-05 2016-01-13 国家电网公司 历史数据归档集成系统及方法
CN106294009A (zh) * 2016-08-05 2017-01-04 北京小米移动软件有限公司 数据库归档方法及系统
CN107239369A (zh) * 2017-04-19 2017-10-10 中国建设银行股份有限公司 一种数据库归档备份系统和方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1904881A (zh) * 2005-07-26 2007-01-31 北京九州汇宝软件有限公司 数据库归档数据的检索方法
CN101661470A (zh) * 2008-08-25 2010-03-03 中兴通讯股份有限公司 一种历史数据管理系统与方法
CN103916459A (zh) * 2014-03-04 2014-07-09 南京邮电大学 一种大数据归档存储系统
CN105243163A (zh) * 2015-11-05 2016-01-13 国家电网公司 历史数据归档集成系统及方法
CN106294009A (zh) * 2016-08-05 2017-01-04 北京小米移动软件有限公司 数据库归档方法及系统
CN107239369A (zh) * 2017-04-19 2017-10-10 中国建设银行股份有限公司 一种数据库归档备份系统和方法

Similar Documents

Publication Publication Date Title
CN109240886B (zh) 异常处理方法、装置、计算机设备以及存储介质
EP2976714B1 (en) Method and system for byzantine fault tolerant data replication
EP2474919A1 (en) System and method for data replication between heterogeneous databases
US11567899B2 (en) Managing dependent delete operations among data stores
CN104572781B (zh) 一种交易日志产生方法和装置
CN109298978B (zh) 一种指定位置的数据库集群的恢复方法及系统
CN110287251B (zh) MongoDB到HBase的分布式高容错数据实时同步方法
JP6633642B2 (ja) 分散データベースにおけるデータブロックを処理する方法およびデバイス
CN111680008A (zh) 日志处理方法、系统、可读存储介质及智能设备
CN110717130A (zh) 打点方法、装置、终端及存储介质
CN110569232A (zh) 一种数据库历史数据自动归档系统
CN115952227A (zh) 数据采集系统及方法、电子设备和存储介质
CN116501700A (zh) 一种app格式化文件离线存储方法、装置、设备及存储介质
CN116540942A (zh) 数据存储对象的迁移方法、系统、电子设备及存储介质
US20130290385A1 (en) Durably recording events for performing file system operations
US9240968B1 (en) Autogenerated email summarization process
CN113656210A (zh) 报错信息的处理方法、装置、服务器和可读存储介质
CN114238324A (zh) 用于主机站点的检查方法及装置、电子设备及存储介质
CN110658989B (zh) 用于备份存储垃圾收集的系统和方法
CN117421337A (zh) 数据采集方法、装置、设备及计算机可读介质
CN113791941B (zh) 自动化测试OpenStack集群稳定性的方法及应用
CN111124787B (zh) 一种mcs多节点并发转储稳定性的验证方法、系统及设备
CN110008114B (zh) 配置信息维护方法、装置、设备及可读存储介质
CN115390898A (zh) 一种git分支的归档方法、装置、设备以及存储介质
Zagieboylo et al. Cost-Efficient and Reliable Reporting of Highly Bursty Video Game Crash Data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191213