CN116107816A - 一种mysql数据库回档云平台 - Google Patents

一种mysql数据库回档云平台 Download PDF

Info

Publication number
CN116107816A
CN116107816A CN202310388665.3A CN202310388665A CN116107816A CN 116107816 A CN116107816 A CN 116107816A CN 202310388665 A CN202310388665 A CN 202310388665A CN 116107816 A CN116107816 A CN 116107816A
Authority
CN
China
Prior art keywords
data
sql
reverse
instruction set
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310388665.3A
Other languages
English (en)
Other versions
CN116107816B (zh
Inventor
牟文青
杨斌
刘超
曾繁诚
吕彦莹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Jerei Digital Technology Co Ltd
Original Assignee
Shandong Jerei Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Jerei Digital Technology Co Ltd filed Critical Shandong Jerei Digital Technology Co Ltd
Priority to CN202310388665.3A priority Critical patent/CN116107816B/zh
Publication of CN116107816A publication Critical patent/CN116107816A/zh
Application granted granted Critical
Publication of CN116107816B publication Critical patent/CN116107816B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1469—Backup restoration techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种MYSQL数据库回档云平台，涉及数据库处理领域。该装置中MySQL数据库生成并存储二进制日志文件binlog；二进制读取应用Maxwell将二进制日志文件binlog解析为json格式的数据，并发送到消息队列Kafka；消息队列Kafka将json格式的数据同步到流计算搜索引擎ElaticSearch中，并存储为原始数据；SQL回档模块将json格式的数据进行解析，得到SQL指令集，并根据SQL指令集进行SQL回档；本发明能够提高数据备份及数据恢复的效率和灵活性。

Description

一种MYSQL数据库回档云平台
技术领域
本发明涉及数据库处理领域，特别是涉及一种MYSQL数据库回档云平台。
背景技术
在如今互联网项目中，数据库占据着数据存储的主要地位，像web网站、系统、App、小程序等，只要存在数据交互的地方，大概率会用到数据库，而MySQL数据库是目前开源及使用最广泛的数据库之一。
MySQL数据库被如此频繁的使用，数据的安全理应也受到重视。所以MySQL数据库各个版本都存在数据备份的命令或指令，以满足数据错乱、误删、被攻击等情况导致数据异常时，用于数据还原的解决方案。
数据库分为关系型数据库和非关系型数据库两种。而MySQL作为关系型数据库，数据存储结构较非关系型数据库更为复杂。并且，当数据库中的数据量越大，数据备份和还原的时间也会随之递增，在效率上难以得到提升。
所以，在现有的MySQL数据库备份和还原的策略中，一般会选择在系统流量低峰的时间段，自动触发并执行备份命令，完成数据的保留。一旦出现异常情况，可以通过还原最新版本的数据来降低损失，但是却避免不了当数据量庞大时，对数据库在备份或还原命令的执行期间的操作效率造成的影响。
另外，由于数据备份的执行命令，会将当前备份指向的数据库中的全部数据进行备份，还原命令也是还原当前备份中的全部数据，操作起来十分不灵活，一旦备份中的数据本身存在错误数据或异常数据，难免会被再次还原。
MySQL数据库在运行期间会产生各种各样的日志文件，其中存在一个binlog的二进制日志，记录了数据库所有的DDL、DML操作，并且支持通过内置命令的方式将一定偏移量范围或日期范围内执行的操作导出为SQL，用于数据的还原。该方法也是目前使用最广泛的临时数据恢复方式，但是执行期间仍然需要大量的手动分析和执行。如果要通过这种方式还原的数据达到一定量级，并且在恢复时间内一条数据存在insert、update、delete等混合的events，还需要将binlog二进制日志转换为可阅读文件，再进行人工识别和修改后转换为可执行SQL进行数据恢复。这种恢复手段，不管是在二进制数据的转换，还是对数据的分析，对技术人员都有着一定的技术要求和耐心。进而，降低了数据备份及数据恢复的效率和灵活性。
发明内容
本发明的目的是提供一种MYSQL数据库回档云平台，能够提高数据备份及数据恢复的效率和灵活性。
为实现上述目的，本发明提供了如下方案。
一种MYSQL数据库回档云平台，包括：MySQL数据库、二进制读取应用Maxwell、消息队列Kafka、流计算搜索引擎ElaticSearch以及SQL回档模块。
所述MySQL数据库生成并存储二进制日志文件binlog。
所述二进制读取应用Maxwell将二进制日志文件binlog解析为json格式的数据，并将json格式的数据发送到所述消息队列Kafka。
所述消息队列Kafka将json格式的数据同步到流计算搜索引擎ElaticSearch中，并存储为原始数据。
所述SQL回档模块将流计算搜索引擎ElaticSearch中json格式的数据进行解析，得到SQL指令集，并根据SQL指令集进行SQL回档；所述SQL指令集包括：DataBase、Table、type、timestamp、pos、执行时间、还原时间、偏移量、执行数据以及旧数据。
可选地，所述SQL回档模块包括：数据解析单元、数据查找单元、数据回档单元以及数据计算单元。
所述数据解析单元用于对json格式的数据进行解析，确定执行SQL对应的SQL指令集，并将SQL指令集中的数据按type进行反向推导，得到执行SQL，并再次对执行SQL逆向推导得到回档SQL；所述数据解析单元还用于将回档SQL按DataBase、Table、Timestamp进行有序存储。
所述数据查找单元用于查找执行SQL的执行时间或pos，并根据执行SQL的执行时间或pos定位数据还原的位置。
所述数据回档单元用于根据执行SQL的可填信息以及必填信息，完成数据逆向回档；所述可填信息包括：DataBase和Table；所述必填信息包括：执行时间或偏移量。
所述数据计算单元与所述数据回档单元相配合；所述数据计算单元用于通过倒序提取回档SQL，计算回档SQL是否符合逆向还原规则；若符合，则执行，反之，则跳过执行。
可选地，所述数据查找单元包括：SQL语句列表查找子单元和数据还原的位置定位子单元。
所述SQL语句列表查找子单元用于根据执行SQL，采用数据指纹比对方式确定相似匹配度最高的SQL语句列表。
所述数据还原的位置定位子单元用于根据SQL语句列表对应的执行时间或pos对误操作SQL进行定位，进而根据误操作SQL的位置确定数据还原的位置。
可选地，所述数据回档单元执行时会自动执行所述数据计算单元，进行回档SQL的清洗与过滤。
可选地，所述type包括：create、alter、drop、insert、update、delete、drop或truncate。
根据本发明提供的具体实施例，本发明公开了以下技术效果。
本发明所提供的一种MYSQL数据库回档云平台，通过MySQL生成的logbin二进制日志文件，并利用SQL回档模块将流计算搜索引擎ElaticSearch中json格式的数据进行解析，得到SQL指令集，并根据SQL指令集进行SQL回档。本发明实现MySQL数据库数据的快速备份与灵活还原，降低技术门槛、减少频繁备份对数据库效率造成的影响。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所提供的一种MYSQL数据库回档云平台结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种MYSQL数据库回档云平台，能够提高数据备份及数据恢复的效率和灵活性。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明所提供的一种MYSQL数据库回档云平台结构示意图，如图1所示，本发明所提供的一种MYSQL数据库回档云平台，包括：MySQL数据库101、二进制读取应用Maxwell102、消息队列Kafka103、流计算搜索引擎ElaticSearch104以及SQL回档模块105。
所述MySQL数据库101根据DDL、DML操作生成并存储二进制日志文件binlog。
所述二进制读取应用Maxwell102将二进制日志文件binlog解析为json格式的数据，并将json格式的数据发送到所述消息队列Kafka103。
所述消息队列Kafka103将json格式的数据同步到流计算搜索引擎ElaticSearch104中，并存储为原始数据。
所述SQL回档模块105将流计算搜索引擎ElaticSearch104中json格式的数据进行解析，得到SQL指令集，并根据SQL指令集进行SQL回档；所述SQL指令集包括：DataBase、Table、type、timestamp、pos、执行时间、还原时间、偏移量、执行数据以及旧数据。
所述SQL回档模块105包括：数据解析单元、数据查找单元、数据回档单元以及数据计算单元。
所述数据解析单元用于对json格式的数据进行解析，确定执行SQL对应的SQL指令集，并将SQL指令集中的数据按type进行反向推导，得到执行SQL，并再次对执行SQL逆向推导得到回档SQL；所述数据解析单元还用于将回档SQL按DataBase、Table、Timestamp进行有序存储。
进而将上述数据按“数据库名称-年月日”名称格式在流计算搜索引擎ElaticSearch104进行存储。
所述数据解析单元还用于将timestamp换为可读的年月日时分秒。
作为一个具体的实施例，json字符串为：{"database":"demo","table":"sys_user","type":"update","ts":1648783302,"xid":1432,"commit":true,"data":{"id":403092,"sex":1,"name":"zs"},"old":{"id":403092,"sex":0,"name":"zs"}}。
其中“data”对象表示为执行时修改后的数据，“old”对象表示为修改前的数据。
type是当前SQL的执行类型，在示例中表示为update，代表修改数据。如果是insert或delete这种类型的命令，则不存在“old”对象。
推导的过程是将已知的database、table、以及data对象和可能存在的old对象的组合拼装。
组合结果如下：update demo.sys_user set id = 403092, sex = 1, name = 'zs' where id = 403092 and sex = 0 and name = 'zs'。
所属逆向推导得到回档SQL，本质是将SQL所作操作进行置换，例如之前是修改sex属性从0为1，那么置换后，修改sex属性则是从1为0，结果如下：update demo.sys_user setid = 403092, sex = 0, name = 'zs' where id = 403092 and sex = 1 and name = 'zs'。
所述数据查找单元用于查找执行SQL的执行时间或pos，并根据执行SQL的执行时间或pos定位数据还原的位置。
所述数据回档单元用于根据执行SQL的可填信息以及必填信息，完成数据逆向回档；所述可填信息包括：DataBase和Table；所述必填信息包括：执行时间或偏移量。
作为一个具体的实施例，通过提供MySQL对应的可填信息：DataBase、Table，以及二选一的必填信息：执行时间或偏移量，对指定时间段或偏移量之后的操作进行SQL回档，将数据恢复到执行之前，执行期间，如果上述操作给予了DataBese和Table两组参数，则连接MySQL数据库101，并发送所述Table仅允许只读的命令，禁止全部除查询外的数据库操作。如果上述操作仅给予了DataBase，将发送所述Database仅允许只读的命令。否则当前连接MySQL全局设置为只读。
为了便于对信息进行快速查阅和便携操作，数据查找单元和数据回档单元搭载可视化操作界面。
所述数据计算单元与所述数据回档单元相配合；所述数据计算单元用于通过倒序提取回档SQL，计算回档SQL是否符合逆向还原规则；若符合，则执行，反之，则跳过执行。
所述数据查找单元包括：SQL语句列表查找子单元和数据还原的位置定位子单元。
所述SQL语句列表查找子单元用于根据执行SQL，采用数据指纹比对方式确定相似匹配度最高的SQL语句列表。
所述数据还原的位置定位子单元用于根据SQL语句列表对应的执行时间或pos对误操作SQL进行定位，进而根据误操作SQL的位置确定数据还原的位置。
所述数据回档单元执行时会自动执行所述数据计算单元，进行回档SQL的清洗与过滤。
根据提供的DataBase、Table以及执行时间、偏移量等信息，从流计算搜索引擎ElaticSearch104中找到“数据库名称-年月日”所对应的索引库，查询并提取所述执行时间之后到数据还原执行时间之间的SQL指令集文档列表数据。如果上述参数中提供了Table参数，再以Table为查询条件，查询所述Table参数中执行过的SQL指令集文档列表。
所述type包括：create、alter、drop、insert、update、delete、drop或truncate。
不同的type执行类型对应不同的逆向还原规则，所以本发明示例仅以insert、update、delete三项作为示例表述。
数据库的一条数据在偏移量前、中、后可能存在多种状态。假设数据操作错误（偏移量后）的三天前insert插入一条id为1的正常数据，在偏移量中，也就是三天前到今天数据操作错误的间隔时间，所述id为1的数据进行了多次update。
进一步的，假设数据库数据要还原为三天前的状态，该条id会存在多次执行SQL指令才能够还原到insert未插入之前，存在冗余SQL指令的问题。
所述数据计算单元会在SQL指令集执行之前进行清洗和过滤，通过对文档中database、table、以及“data”、“old”对象的交叉比对，验证是否从属于同一数据，若为同一数据，则按照正序执行的方式进行过滤排列。
从过滤后的排列结果的数据结构中可以看到如果直接运行回档SQL，会经过update、update、delete三次执行，并且最终这条数据的状态是不存在，所以前两次update对于这条数据而言是没有意义的。
数据计算单元对databse、table、执行类型以及SQL进行的综合交叉比对，判断是否为同一数据。并将过滤出来的从属于同一条数据的SQL指令集，清洗并保留最接近最终状态的一组或单个SQL指令集。
将清洗后的SQL指令集，连接数据库进行批量执行回档到所述时间或偏移量位置。
数据回档成功后，还原所述MySQL数据库101的只读状态，最终完成数据库的回档。
与现有技术相比，本发明的有益效果在于：1、本发明减少了使用MySQL全量、增量备份导致数据库数据备份、还原效率低、不灵活的问题。2、本发明降低了对MySQL产生的binlog二进制日志操作的复杂性，以及技术人员的使用门槛，在短时间内能够快速定位及恢复数据。3、本发明能够有效计算及清理冗余SQL指令，使数据恢复更加灵活和快速。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (5)

1.一种MYSQL数据库回档云平台，其特征在于，包括：MySQL数据库、二进制读取应用Maxwell、消息队列Kafka、流计算搜索引擎ElaticSearch以及SQL回档模块；
所述MySQL数据库生成并存储二进制日志文件binlog；
所述二进制读取应用Maxwell将二进制日志文件binlog解析为json格式的数据，并将json格式的数据发送到所述消息队列Kafka；
所述消息队列Kafka将json格式的数据同步到流计算搜索引擎ElaticSearch中，并存储为原始数据；
所述SQL回档模块将流计算搜索引擎ElaticSearch中json格式的数据进行解析，得到SQL指令集，并根据SQL指令集进行SQL回档；所述SQL指令集包括：DataBase、Table、type、timestamp、pos、执行时间、还原时间、偏移量、执行数据以及旧数据。
2.根据权利要求1所述的一种MYSQL数据库回档云平台，其特征在于，所述SQL回档模块包括：数据解析单元、数据查找单元、数据回档单元以及数据计算单元；
所述数据解析单元用于对json格式的数据进行解析，确定执行SQL对应的SQL指令集，并将SQL指令集中的数据按type进行反向推导，得到执行SQL，并再次对执行SQL逆向推导得到回档SQL；所述数据解析单元还用于将回档SQL按DataBase、Table、Timestamp进行有序存储；
所述数据查找单元用于查找执行SQL的执行时间或pos，并根据执行SQL的执行时间或pos定位数据还原的位置；
所述数据回档单元用于根据执行SQL的可填信息以及必填信息，完成数据逆向回档；所述可填信息包括：DataBase和Table；所述必填信息包括：执行时间或偏移量；
所述数据计算单元与所述数据回档单元相配合；所述数据计算单元用于通过倒序提取回档SQL，计算回档SQL是否符合逆向还原规则；若符合，则执行，反之，则跳过执行。
3.根据权利要求2所述的一种MYSQL数据库回档云平台，其特征在于，所述数据查找单元包括：SQL语句列表查找子单元和数据还原的位置定位子单元；
所述SQL语句列表查找子单元用于根据执行SQL，采用数据指纹比对方式确定相似匹配度最高的SQL语句列表；
所述数据还原的位置定位子单元用于根据SQL语句列表对应的执行时间或pos对误操作SQL进行定位，进而根据误操作SQL的位置确定数据还原的位置。
4.根据权利要求2所述的一种MYSQL数据库回档云平台，其特征在于，所述数据回档单元执行时会自动执行所述数据计算单元，进行回档SQL的清洗与过滤。
5.根据权利要求1所述的一种MYSQL数据库回档云平台，其特征在于，所述type包括：create、alter、drop、insert、update、delete、drop或truncate。
CN202310388665.3A 2023-04-13 2023-04-13 一种mysql数据库回档云平台 Active CN116107816B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310388665.3A CN116107816B (zh) 2023-04-13 2023-04-13 一种mysql数据库回档云平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310388665.3A CN116107816B (zh) 2023-04-13 2023-04-13 一种mysql数据库回档云平台

Publications (2)

Publication Number Publication Date
CN116107816A true CN116107816A (zh) 2023-05-12
CN116107816B CN116107816B (zh) 2023-08-01

Family

ID=86260096

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310388665.3A Active CN116107816B (zh) 2023-04-13 2023-04-13 一种mysql数据库回档云平台

Country Status (1)

Country Link
CN (1) CN116107816B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104765659A (zh) * 2015-04-30 2015-07-08 北京奇虎科技有限公司 应用于数据库的数据恢复方法及装置
CN107657174A (zh) * 2016-07-26 2018-02-02 北京计算机技术及应用研究所 一种基于协议指纹的数据库入侵检测方法
CN108052681A (zh) * 2018-01-12 2018-05-18 毛彬 一种关系型数据库间结构化数据的同步方法及系统
CN111176887A (zh) * 2018-11-09 2020-05-19 上海擎感智能科技有限公司 MySQL误操作回滚方法、设备及系统
CN111291070A (zh) * 2020-01-20 2020-06-16 南京星环智能科技有限公司 一种异常sql检测方法、设备及介质
US20210312125A1 (en) * 2020-04-03 2021-10-07 Beijing Baidu Netcom Science And Technology Co., Ltd. Method, device, and storage medium for parsing document
CN113535777A (zh) * 2021-06-24 2021-10-22 上海浦东发展银行股份有限公司 数据库查询方法、装置和系统
CN115730008A (zh) * 2022-11-10 2023-03-03 阿里云计算有限公司 一种日志解析方法、数据同步系统、电子设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104765659A (zh) * 2015-04-30 2015-07-08 北京奇虎科技有限公司 应用于数据库的数据恢复方法及装置
CN107657174A (zh) * 2016-07-26 2018-02-02 北京计算机技术及应用研究所 一种基于协议指纹的数据库入侵检测方法
CN108052681A (zh) * 2018-01-12 2018-05-18 毛彬 一种关系型数据库间结构化数据的同步方法及系统
CN111176887A (zh) * 2018-11-09 2020-05-19 上海擎感智能科技有限公司 MySQL误操作回滚方法、设备及系统
CN111291070A (zh) * 2020-01-20 2020-06-16 南京星环智能科技有限公司 一种异常sql检测方法、设备及介质
US20210312125A1 (en) * 2020-04-03 2021-10-07 Beijing Baidu Netcom Science And Technology Co., Ltd. Method, device, and storage medium for parsing document
CN113535777A (zh) * 2021-06-24 2021-10-22 上海浦东发展银行股份有限公司 数据库查询方法、装置和系统
CN115730008A (zh) * 2022-11-10 2023-03-03 阿里云计算有限公司 一种日志解析方法、数据同步系统、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
罗文华;王志铭;: "基于存储形态及特征的HBase数据库灾难恢复机制研究", 信息网络安全, no. 09, pages 48 - 53 *

Also Published As

Publication number Publication date
CN116107816B (zh) 2023-08-01

Similar Documents

Publication Publication Date Title
CN108959400B (zh) 银行系统历史数据清理方法及装置
US10210187B2 (en) Removal of garbage data from a database
US8683262B1 (en) Systems and/or methods for rapid recovery from write-ahead logs
CN109871373B (zh) 一种数据存储方法和装置、计算机可读存储介质
CN109376196B (zh) 一种redo日志批量同步方法及装置
WO2003012685A2 (en) A data quality system
CN104679841A (zh) 一种消费端数据流复制方法及系统
CN111241059B (zh) 一种基于数据库的数据库优化方法及装置
CN113420026A (zh) 数据库表结构变更方法、装置、设备及存储介质
CN106155838A (zh) 一种数据库备份数据恢复方法及装置
CN115543402A (zh) 一种基于代码提交的软件知识图谱增量更新方法
CN114925073A (zh) 支持灵活动态分片的分布式数据库架构及其实现方法
CN116107816B (zh) 一种mysql数据库回档云平台
CN109446262B (zh) 一种数据汇聚方法及装置
CN111694853B (zh) 基于世系的数据增量采集方法、装置、存储介质和电子设备
CN111930828A (zh) 一种基于日志解析的数据同步方法和数据同步系统
CN112130882A (zh) 版本更新的方法及装置
CN111737203A (zh) 数据库历史日志回溯方法、装置、系统、设备及存储介质
WO2015084409A1 (en) Nosql database data validation
CN111414382A (zh) 一种基于MongoDB的慢SQL聚合展示方法和系统
Jiang et al. META: M ulti-r e solu t ion Fr a mework for Event Summarization
CN115658815A (zh) 基于cdc实现的数据同步的方法
CN110705297A (zh) 一种企业曾用名识别方法、系统、介质及设备
CN107329852B (zh) 基于Hive的数据处理的方法、系统及终端设备
CN112463447B (zh) 一种基于分布式数据库实现物理备份的优化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant