CN112307007A - 数据库清理方法及装置 - Google Patents

数据库清理方法及装置 Download PDF

Info

Publication number
CN112307007A
CN112307007A CN202011388634.0A CN202011388634A CN112307007A CN 112307007 A CN112307007 A CN 112307007A CN 202011388634 A CN202011388634 A CN 202011388634A CN 112307007 A CN112307007 A CN 112307007A
Authority
CN
China
Prior art keywords
file
cleaned
time
time node
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011388634.0A
Other languages
English (en)
Other versions
CN112307007B (zh
Inventor
伍军
张晖
陈静
韩晔
辛祥利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China United Network Communications Group Co Ltd
Original Assignee
China United Network Communications Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China United Network Communications Group Co Ltd filed Critical China United Network Communications Group Co Ltd
Priority to CN202011388634.0A priority Critical patent/CN112307007B/zh
Publication of CN112307007A publication Critical patent/CN112307007A/zh
Application granted granted Critical
Publication of CN112307007B publication Critical patent/CN112307007B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1415—Saving, restoring, recovering or retrying at system level
    • G06F11/1435—Saving, restoring, recovering or retrying at system level using file system or storage system metadata
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种数据库清理方法及装置，本实施例提供的数据库清理方法，包括：在第一时间节点，将第一时间节点之前待清理数据库中的待清理文件中的数据备份至备份文件；根据第一索引建立备份文件的第二索引；根据待清理文件的实时日志文件、第一时间节点以及第二时间节点，对第一时间节点后的待清理文件中的数据进行同步，以确定在第二时间节点更新得到的备份文件；在第二时间节点之后的预设时长内，将待清理文件和更新得到的备份文件的名称进行互换，以及将第一索引和第二索引的名称进行互换。通过本发明实施例提供的数据库清理方法，实现在清理数据库表的同时最大限度降低中断业务的时长，以减少对业务产生的干扰影响。

Description

数据库清理方法及装置
技术领域
本发明涉及通信技术领域，尤其涉及一种数据库清理方法及装置。
背景技术
随着通信网络的高速发展，各种数据的产生、变更日益增多，以电信行业为例，客户在办理变更业务时会在数据库表中留存变更前后的信息，面对数以亿计的客户，每天都会产生大量的变更信息，与之对应的，数据库中变更信息的数量也会日益增多，当数量超过数据库的承载能力时，数据库表的读写性能就会大幅下降，进而影响数据库的整体性能，为此需要对数据库中的数据进行定期的清理。
现有技术中的清理方法有两种，直接删除法和表、索引重命名法。直接删除法通过预设的程序或手动执行数据库指令(比如delete)将满足条件的数据从表中在线删除，由于删除不会释放空间，表和对应的索引产生的大量碎片需要进一步处理，处理时需要中断相关业务进行；表、索引重命名法是指停止相关业务后，将原表A重命名为表B，并重命名表B上的相关索引，然后将需要保留的数据从表B备份到表A，最后在表A上重建索引以完成数据清理，上述两种方法的中断业务的时长均与表的记录数有关，以电信行业为例，通常是小时级。
因此，如何在清理数据库表的同时最大限度降低中断业务的时长，以减少对业务产生的干扰影响是一个亟待解决的问题。
发明内容
本发明提供一种数据库清理方法，以实现在清理数据库表的同时最大限度降低中断业务的时长，以减少对业务产生的干扰影响。
第一方面，本发明提供一种数据库清理方法，包括：
在第一时间节点，将第一时间节点之前待清理数据库中的待清理文件中的数据备份至备份文件，其中，待清理文件配置有第一索引，备份文件为新建文件；
根据第一索引建立备份文件的第二索引；
根据待清理文件的实时日志文件、第一时间节点以及第二时间节点，对第一时间节点后的待清理文件中的数据进行同步，以确定在第二时间节点更新得到的备份文件；其中，第二时间节点在第一时间节点之后；
在第二时间节点之后的预设时长内，将待清理文件和更新得到的备份文件的名称进行互换，以及将第一索引和第二索引的名称进行互换，以对待清理文件中的数据进行清理。
在一种可能的设计中，根据待清理文件的实时日志文件、第一时间节点以及第二时间节点，对第一时间节点后的待清理文件中的数据进行同步，以确定在第二时间节点更新得到的备份文件，包括：
预先在数据库所在的主机上部署日志捕捉服务，日志捕捉服务用于从实时日志文件中抽取对待清理文件中数据的增加、删除以及修改的操作；
根据日志捕捉服务，应用数据库同步技术，对第一时间节点后的待清理文件中的数据进行同步，以确定在第二时间节点更新得到的备份文件。
在一种可能的设计中，在第二时间节点之后的预设时长内，将待清理文件和更新得到的备份文件的名称进行互换，以及将第一索引和第二索引的名称进行互换之前，还包括：
在当前时间为第二时间时，停止待清理文件中的数据对应业务的运行以确保待清理文件中的数据相对静止；并应用预设的检查机制，对备份文件进行处理，以确保备份文件的数据与待清理文件的数据同步一致。
在一种可能的设计中，在第一时间节点，将第一时间节点之前待清理数据库中的待清理文件中的数据备份至备份文件，包括：
根据预设的第一时间，获取待清理数据库的系统改变号；
根据系统改变号，将系统改变号之前的待清理数据库中的待清理文件中的数据备份至备份文件，系统改变号表示待清理数据库的逻辑时钟，与第一时间对应。
第二方面，本发明还提供一种数据库清理装置，包括：
第一处理模块，用于在第一时间节点，将第一时间节点之前待清理数据库中的待清理文件中的数据备份至备份文件，其中，待清理文件配置有第一索引，备份文件为新建文件；
第二处理模块，用于根据第一索引建立备份文件的第二索引；
确定模块，用于根据待清理文件的实时日志文件、第一时间节点以及第二时间节点，对第一时间节点后的待清理文件中的数据进行同步，以确定在第二时间节点更新得到的备份文件；其中，第二时间节点在第一时间节点之后；
第三处理模块，用于在第二时间节点之后的预设时长内，将待清理文件和更新得到的备份文件的名称进行互换，以及将第一索引和第二索引的名称进行互换，以对待清理文件中的数据进行清理。
在一种可能的设计中，确定模块，具体用于：
预先在数据库所在的主机上部署日志捕捉服务，日志捕捉服务用于从实时日志文件中抽取对待清理文件中数据的增加、删除以及修改的操作；
根据日志捕捉服务，应用数据库同步技术，对第一时间节点后的待清理文件中的数据进行同步，以确定在第二时间节点更新得到的备份文件。
在一种可能的设计中，第三处理模块之前，还用于：
在当前时间为第二时间时，停止待清理文件中的数据对应业务的运行以确保待清理文件中的数据相对静止；并应用预设的检查机制，对备份文件进行处理，以确保备份文件的数据与待清理文件的数据同步一致。
在一种可能的设计中，第一处理模块，具体用于：
根据预设的第一时间，获取待清理数据库的系统改变号；
根据系统改变号，将系统改变号之前的待清理数据库中的待清理文件中的数据备份至备份文件，系统改变号表示待清理数据库的逻辑时钟，与第一时间对应。
第三方面，本发明还提供一种数据库，包括：
处理器；以及，
存储器，用于存储处理器的可执行指令；
其中，处理器配置为经由执行可执行指令来执行第一方面中任意一种数据库清理方法。
第四方面，本发明实施例还提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面中任意一种数据库清理方法。
本发明提供一种数据库清理方法及装置，通过在第一时间节点，将第一时间节点之前待清理数据库中的待清理文件中的数据备份至备份文件，其中，待清理文件配置有第一索引，备份文件为新建文件；根据第一索引建立备份文件的第二索引；根据待清理文件的实时日志文件、第一时间节点以及第二时间节点，对第一时间节点后的待清理文件中的数据进行同步，以确定在第二时间节点更新得到的备份文件；其中，第二时间节点在第一时间节点之后；在第二时间节点之后的预设时长内，将待清理文件和更新得到的备份文件的名称进行互换，以及将第一索引和第二索引的名称进行互换，以对待清理文件中的数据进行清理，实现在清理数据库表的同时最大限度降低中断业务的时长，以减少对业务产生的干扰影响。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明根据一示例实施例示出的数据库清理方法的应用场景图；
图2为本发明根据一示例实施例示出的数据库清理方法的流程示意图；
图3为本发明根据一示例实施例示出的数据库清理装置的结构示意图；
图4为本发明根据一示例实施例示出的数据库的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面以具体地实施例对本发明的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面将结合附图，对本发明的实施例进行描述。
图1为本发明根据一示例实施例示出的数据库清理方法的应用场景图，如图1所示，在待清理数据库101的主机上部署日志捕捉服务，日志捕捉服务用于从待清理数据库101的实时日志文件中抽取对待清理文件中数据的增加、删除以及修改的操作，以形成这些操作的队列文件存储在预设的轨迹文件102中；预设第一时间节点，将第一时间节点之前待清理数据库中的待清理文件中的数据备份至备份文件103，其中，待清理文件配置有第一索引，备份文件103为新建文件；根据第一索引建立备份文件103的第二索引；根据待清理文件的实时日志文件、第一时间节点以及第二时间节点，对第一时间节点后的待清理文件中的数据进行同步，以确定在第二时间节点更新得到的备份文件103；其中，第二时间节点在第一时间节点之后；并在第二时间节点之后的预设时长内，将待清理文件和更新得到的备份文件103的名称进行互换，以及将第一索引和第二索引的名称进行互换，以对待清理文件中的数据进行清理。
图2为本发明根据一示例实施例示出的数据库清理方法的流程示意图，如图2所示，本实施例提供的数据库清理方法，包括：
步骤201、在第一时间节点，将第一时间节点之前待清理数据库中的待清理文件中的数据备份至备份文件，其中，待清理文件配置有第一索引，备份文件为新建文件。
具体的，预设有第一时间节点，以该时刻为基准，获取对应该时刻的待清理数据库的系统改变号(System Change Number，SCN)；根据系统改变号，将系统改变号之前的待清理数据库中的待清理文件中的数据备份至备份文件，其中，SCN是一个非常重要的标记，是记录数据库事件的逻辑时钟，Oracle数据库使用它来标记数据库在过去时间内的状态和轨迹。举例来说，预设的第一时间节点为2020/06/08 12:37:12，它对应的SCN号为16658745845617，根据该SCN号，将第一时间节点之前待清理数据库中的待清理文件中的数据备份至备份文件。
步骤202、根据第一索引建立备份文件的第二索引。
具体的，由于待清理文件配置有第一索引，当将待清理文件的数据备份至备份文件时，相应的对照第一索引建立备份文件的第二索引。
步骤203、根据待清理文件的实时日志文件、第一时间节点以及第二时间节点，对第一时间节点后的待清理文件中的数据进行同步，以确定在第二时间节点更新得到的备份文件；其中，第二时间节点在第一时间节点之后。
具体的，预先在数据库所在的主机上部署日志捕捉服务，日志捕捉服务用于从实时日志文件中抽取对待清理文件中数据的增加、删除以及修改的操作，以形成这些操作的队列文件存储在预设的轨迹文件中；根据轨迹文件中存储的队列文件，应用数据库同步技术，对第一时间节点后的待清理文件中的数据进行同步，以确定在第二时间节点更新得到的备份文件。
步骤204、在第二时间节点之后的预设时长内，将待清理文件和更新得到的备份文件的名称进行互换，以及将第一索引和第二索引的名称进行互换，以对待清理文件中的数据进行清理。
具体的，当前时间为第二时间节点时，对待清理文件中的数据已全部同步更新至备份文件中，之后的预设时长内，如2分钟，将待清理文件和备份文件的名称以及各自对应的索引名称进行互换，从而完成对待清理文件中的数据清理工作。
在一种可能的设计中，在当前时间为第二时间时，停止待清理文件中的数据对应业务的运行以确保待清理文件中的数据相对静止；并应用预设的检查机制，对备份文件进行处理，以确保备份文件的数据与待清理文件的数据同步一致。
由上述方法可知，由于对待清理文件在第一时间节点前的备份和第一时间节点后至第二时间节点的日志操作的同步处理都是在业务正常运营的情况下进行；只有将待清理文件和备份文件的名称以及各自对应的索引名称进行互换时，才停止相关业务的运营，因此，在第二时间节点时，停止待清理文件中的数据对应的业务运行以保持数据相对静止，并检查确保投递进程已经处理完轨迹文件中存储的队列文件，其中，第二时间节点一般选取在晚间的业务低谷期，比如凌晨0:00-7:00，检查确保投递进程处理完队列文件的时间控制在5分钟内，对单个的待清理文件和备份文件的名称以及各自对应的索引名称进行互换的时间为1分钟。在实际场景中，对于运营商企业来说，每次停业务的窗口时间是有限的，比如停业务窗口为凌晨0:00-7:00，除去启停业务和测试的1个小时，实际操作时间一般控制在6小时内，照此计算，在停业务的6小时窗口时间内共可以清理6*60-5＝355张表。举例来说，当所需清理的数据是业务台账主表时，业务台账主表的表结构如表一所示。
表一
Figure BDA0002811619710000071
按照传统的处理方法在业务低谷期只能清理2张这种体量的表，照此计算清理体量相当的N张表，需要停N/2次业务，分N/2天完成；而如果按照本申请的处理方法，并假设355张表中与业务台账主表体量相当的表占比为5％，即约为18张，则至少需要分9次进行，剩余的327表假设1次能完成的情况下，本发明相关技术至少提高效率在10倍以上。
上述步骤201-204的方法，通过在第一时间节点，将第一时间节点之前待清理数据库中的待清理文件中的数据备份至备份文件，其中，待清理文件配置有第一索引，备份文件为新建文件；根据第一索引建立备份文件的第二索引；根据待清理文件的实时日志文件、第一时间节点以及第二时间节点，对第一时间节点后的待清理文件中的数据进行同步，以确定在第二时间节点更新得到的备份文件；其中，第二时间节点在第一时间节点之后；在第二时间节点之后的预设时长内，将待清理文件和更新得到的备份文件的名称进行互换，以及将第一索引和第二索引的名称进行互换，以对待清理文件中的数据进行清理，实现在清理数据库表的同时最大限度降低中断业务的时长，以减少对业务产生的干扰影响。
图3为本发明根据一示例实施例示出的数据库清理装置的结构示意图。如图3所示，本实施例提供的数据库清理装置30，包括：
第一处理模块301，用于在第一时间节点，将第一时间节点之前待清理数据库中的待清理文件中的数据备份至备份文件，其中，待清理文件配置有第一索引，备份文件为新建文件；
第二处理模块302，用于根据第一索引建立备份文件的第二索引；
确定模块303，用于根据待清理文件的实时日志文件、第一时间节点以及第二时间节点，对第一时间节点后的待清理文件中的数据进行同步，以确定在第二时间节点更新得到的备份文件；其中，第二时间节点在第一时间节点之后；
第三处理模块304，用于在第二时间节点之后的预设时长内，将待清理文件和更新得到的备份文件的名称进行互换，以及将第一索引和第二索引的名称进行互换，以对待清理文件中的数据进行清理。
在一种可能的设计中，确定模块303，具体用于：
预先在数据库所在的主机上部署日志捕捉服务，日志捕捉服务用于从实时日志文件中抽取对待清理文件中数据的增加、删除以及修改的操作；
根据日志捕捉服务，应用数据库同步技术，对第一时间节点后的待清理文件中的数据进行同步，以确定在第二时间节点更新得到的备份文件。
在一种可能的设计中，第三处理模块304之前，还用于：
在当前时间为第二时间时，停止待清理文件中的数据对应业务的运行以确保待清理文件中的数据相对静止；并应用预设的检查机制，对备份文件进行处理，以确保备份文件的数据与待清理文件的数据同步一致。
在一种可能的设计中，第一处理模块301，具体用于：
根据预设的第一时间，获取待清理数据库的系统改变号；
根据系统改变号，将系统改变号之前的待清理数据库中的待清理文件中的数据备份至备份文件，系统改变号表示待清理数据库的逻辑时钟，与第一时间对应。
图4为本发明根据一示例实施例示出的数据库的结构示意图。如图4所示，本实施例提供的一种数据库40，包括：
处理器401；以及，
存储器402，用于存储处理器的可执行指令，该存储器还可以是flash(闪存)；
其中，处理器401配置为经由执行可执行指令来执行上述方法中的各个步骤。具体可以参见前面方法实施例中的相关描述。
可选地，存储器402既可以是独立的，也可以跟处理器401集成在一起。
当存储器402是独立于处理器401之外的器件时，数据库40，还可以包括：
总线403，用于连接处理器401以及存储器402。
此外，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当用户设备的至少一个处理器执行该计算机执行指令时，用户设备执行上述各种可能的方法。
其中，计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外，该ASIC可以位于用户设备中。当然，处理器和存储介质也可以作为分立组件存在于通信设备中。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种数据库清理方法，其特征在于，包括：
在第一时间节点，将所述第一时间节点之前待清理数据库中的待清理文件中的数据备份至备份文件，其中，所述待清理文件配置有第一索引，所述备份文件为新建文件；
根据所述第一索引建立所述备份文件的第二索引；
根据所述待清理文件的实时日志文件、所述第一时间节点以及第二时间节点，对所述第一时间节点后的所述待清理文件中的数据进行同步，以确定在所述第二时间节点更新得到的所述备份文件；其中，所述第二时间节点在所述第一时间节点之后；
在所述第二时间节点之后的预设时长内，将所述待清理文件和更新得到的所述备份文件的名称进行互换，以及将所述第一索引和所述第二索引的名称进行互换，以对所述待清理文件中的数据进行清理。
2.根据权利要求1所述的方法，其特征在于，所述根据所述待清理文件的实时日志文件、所述第一时间节点以及第二时间节点，对所述第一时间节点后的所述待清理文件中的数据进行同步，以确定在所述第二时间节点更新得到的所述备份文件，包括：
预先在所述数据库所在的主机上部署日志捕捉服务，所述日志捕捉服务用于从所述实时日志文件中抽取对所述待清理文件中数据的增加、删除以及修改的操作；
根据所述日志捕捉服务，应用数据库同步技术，对所述第一时间节点后的所述待清理文件中的数据进行同步，以确定在所述第二时间节点更新得到的所述备份文件。
3.根据权利要求1所述的方法，其特征在于，所述在所述第二时间节点之后的预设时长内，将所述待清理文件和更新得到的所述备份文件的名称进行互换，以及将所述第一索引和所述第二索引的名称进行互换之前，还包括：
在当前时间为所述第二时间时，停止所述待清理文件中的数据对应业务的运行以确保所述待清理文件中的数据相对静止；并应用预设的检查机制，对所述备份文件进行处理，以确保所述备份文件的数据与所述待清理文件的数据同步一致。
4.根据权利要求1-3中任意一项所述的方法，其特征在于，所述在第一时间节点，将所述第一时间节点之前待清理数据库中的待清理文件中的数据备份至备份文件，包括：
根据预设的第一时间，获取所述待清理数据库的系统改变号；
根据所述系统改变号，将所述系统改变号之前的所述待清理数据库中的待清理文件中的数据备份至备份文件，所述系统改变号表示所述待清理数据库的逻辑时钟，与所述第一时间对应。
5.一种数据库清理装置，其特征在于，包括：
第一处理模块，用于在第一时间节点，将所述第一时间节点之前待清理数据库中的待清理文件中的数据备份至备份文件，其中，所述待清理文件配置有第一索引，所述备份文件为新建文件；
第二处理模块，用于根据所述第一索引建立所述备份文件的第二索引；
确定模块，用于根据所述待清理文件的实时日志文件、所述第一时间节点以及第二时间节点，对所述第一时间节点后的所述待清理文件中的数据进行同步，以确定在所述第二时间节点更新得到的所述备份文件；其中，所述第二时间节点在所述第一时间节点之后；
第三处理模块，用于在所述第二时间节点之后的预设时长内，将所述待清理文件和更新得到的所述备份文件的名称进行互换，以及将所述第一索引和所述第二索引的名称进行互换，以对所述待清理文件中的数据进行清理。
6.根据权利要求5所述的装置，其特征在于，所述确定模块，具体用于：
预先在所述数据库所在的主机上部署日志捕捉服务，所述日志捕捉服务用于从所述实时日志文件中抽取对所述待清理文件中数据的增加、删除以及修改的操作；
根据所述日志捕捉服务，应用数据库同步技术，对所述第一时间节点后的所述待清理文件中的数据进行同步，以确定在所述第二时间节点更新得到的所述备份文件。
7.根据权利要求5所述的装置，其特征在于，所述第三处理模块之前，还用于：
在当前时间为所述第二时间时，停止所述待清理文件中的数据对应业务的运行以确保所述待清理文件中的数据相对静止；并应用预设的检查机制，对所述备份文件进行处理，以确保所述备份文件的数据与所述待清理文件的数据同步一致。
8.根据权利要求5-7中任意一项所述的装置，其特征在于，所述第一处理模块，具体用于：
根据预设的第一时间，获取所述待清理数据库的系统改变号；
根据所述系统改变号，将所述系统改变号之前的所述待清理数据库中的待清理文件中的数据备份至备份文件，所述系统改变号表示所述待清理数据库的逻辑时钟，与所述第一时间对应。
9.一种数据库，其特征在于，包括：
处理器；以及，
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至4中任一项所述数据库清理方法。
10.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至4中任一项所述数据库清理方法。
CN202011388634.0A 2020-12-02 2020-12-02 数据库清理方法及装置 Active CN112307007B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011388634.0A CN112307007B (zh) 2020-12-02 2020-12-02 数据库清理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011388634.0A CN112307007B (zh) 2020-12-02 2020-12-02 数据库清理方法及装置

Publications (2)

Publication Number Publication Date
CN112307007A true CN112307007A (zh) 2021-02-02
CN112307007B CN112307007B (zh) 2023-10-31

Family

ID=74487426

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011388634.0A Active CN112307007B (zh) 2020-12-02 2020-12-02 数据库清理方法及装置

Country Status (1)

Country Link
CN (1) CN112307007B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090251818A1 (en) * 2008-04-07 2009-10-08 Dahiwadkar Sanjeevkumar V Secure data scrubbing utility
CN104036001A (zh) * 2014-06-13 2014-09-10 上海新炬网络技术有限公司 基于热表动态优先调度的数据快速清理方法
CA2901619A1 (en) * 2015-08-26 2015-10-21 Ultralight Technologies Inc. Monitoring alignment of computer file states across a group of users
CN107103092A (zh) * 2017-05-15 2017-08-29 努比亚技术有限公司 数据垃圾的快速清理方法、终端及计算机可读存储介质
CN108287835A (zh) * 2017-01-09 2018-07-17 腾讯科技（深圳）有限公司 一种数据清理方法及装置
CN109960686A (zh) * 2019-03-26 2019-07-02 北京百度网讯科技有限公司 数据库的日志处理方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090251818A1 (en) * 2008-04-07 2009-10-08 Dahiwadkar Sanjeevkumar V Secure data scrubbing utility
CN104036001A (zh) * 2014-06-13 2014-09-10 上海新炬网络技术有限公司 基于热表动态优先调度的数据快速清理方法
CA2901619A1 (en) * 2015-08-26 2015-10-21 Ultralight Technologies Inc. Monitoring alignment of computer file states across a group of users
CN108287835A (zh) * 2017-01-09 2018-07-17 腾讯科技（深圳）有限公司 一种数据清理方法及装置
CN107103092A (zh) * 2017-05-15 2017-08-29 努比亚技术有限公司 数据垃圾的快速清理方法、终端及计算机可读存储介质
CN109960686A (zh) * 2019-03-26 2019-07-02 北京百度网讯科技有限公司 数据库的日志处理方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SOCKUT, GH等: "Online Reorganization of Databases", ACM COMPUTING SURVEYS, vol. 41, no. 3, pages 307 - 308 *
王敏: "广东电信IT数据清理备份方案的设计与实现", 中国优秀硕士学位论文全文数据库 (信息科技辑), no. 5, pages 138 - 720 *

Also Published As

Publication number Publication date
CN112307007B (zh) 2023-10-31

Similar Documents

Publication Publication Date Title
CN105373448B (zh) 数据库中故障数据的恢复方法和系统
CN102959518B (zh) 把文件系统恢复到目标存储器的计算机执行的方法和系统
CN107145403A (zh) 面向Web开发环境的关系型数据库数据回溯方法
JPS62206645A (ja) データ・ベース・システムの動作を回復する方法
CN110795287B (zh) 数据恢复方法、系统、电子设备及计算机存储介质
CN107256182A (zh) 一种数据库还原的方法及设备
KR101922044B1 (ko) 데이터베이스 이중화 무중단 정합성 복구 기법
US10705920B1 (en) Method and system for implementing current, consistent, and complete backups
CN106155838B (zh) 一种数据库备份数据恢复方法及装置
CN110263095A (zh) 数据备份与恢复方法、装置、计算机设备及存储介质
WO2013075427A1 (zh) 数据更新信息获取方法、装置及数据同步方法、装置
US7155445B1 (en) System and method for self-recovering real-time data-feed compression and archiving
CN113360322A (zh) 一种基于备份系统恢复数据的方法及设备
CN114090332A (zh) 数据处理方法及装置
CN113419897B (zh) 一种文件处理方法、装置、电子设备及其存储介质
CN112307007A (zh) 数据库清理方法及装置
CN109947592A (zh) 一种数据同步方法、装置以及相关设备
CN110597669B (zh) 银行历史数据参数化备份恢复方法和装置
CN110471796B (zh) 一种面向文件目录的完全和增量的备份恢复方法
CN110673985A (zh) 一种自动备份版本库的方法、存储介质及服务器
CN110019181B (zh) 一种入库方法及装置、计算机可读存储介质
CN112612648B (zh) 一种SQL Server数据库恢复方法、终端设备及存储介质
KR20180126431A (ko) 데이터베이스 이중화 무중단 정합성 복구 기법
JPH1153239A (ja) データベースのロールバック処理方法及び前記ロールバック処理方法の手順を記録した記録媒体
CN115827172A (zh) 执行数据库事务的方法以及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant