CN118035210A - 数据库的数据字典管理方法、存储介质、设备及产品 - Google Patents

Abstract

本发明提供了一种数据库的数据字典管理方法、存储介质、设备及产品。数据库的数据字典管理方法包括：获取到对数据库位于缓存中的数据库日志进行落盘的触发事件；将缓存中的数据库日志写入磁盘；检测到本次需要落盘的数据库日志全部完成落盘；在磁盘中生成检查点日志，检查点日志的日志序列号紧挨且大于最后一个落盘的数据库日志的日志序列号；读取数据库的数据字典；将数据字典存储到检查点日志中。数据库在不同时刻的数据字典版本可以随着检查点日志的生成而存储下来，使得检查点日志中存储有在其生成时刻的数据字典，有助于为检查点日志之后的数据库日志提供准确的数据字典，保证对数据库日志的解析的准确性。

Description

数据库的数据字典管理方法、存储介质、设备及产品

技术领域

本发明涉及数据库技术领域，特别是涉及一种数据库的数据字典管理方法、存储介质、设备及产品。

背景技术

在数据库中，数据字典提供了关于数据库对象(表、列、约束等)的元数据信息，从而对数据库的日志解析工作起到支持作用，从而对数据库的管理使用起到了关键作用。

然而，在数据库的运行过程中，随着用户对数据库进行各种操作，数据库的数据字典的内容可能发生变化。由于数据库的数据字典发生变化，在解析较早的数据库日志时，当前的数据字典可能并不匹配，导致数据库日志的解析工作变得困难或不准确。

发明内容

本发明的一个目的是要提供一种能够解决上述任一问题的数据库的数据字典管理方法、存储介质、设备及产品。

特别地，本发明提供了一种数据库的数据字典管理方法，包括：

获取到对所述数据库位于缓存中的数据库日志进行落盘的触发事件；

将所述缓存中的数据库日志写入磁盘；

检测到本次需要落盘的数据库日志全部完成落盘；

在所述磁盘中生成检查点日志，所述检查点日志的日志序列号紧挨且大于最后一个落盘的数据库日志的日志序列号；

读取所述数据库的数据字典；

将所述数据字典存储到所述检查点日志中。

可选地，所述数据库的数据字典管理方法包括：

获取到对所述磁盘中的数据库日志进行解析的触发事件；

获取待解析的数据库日志；

读取所述待解析的数据库日志的日志序列号，记为参照序列号；

根据所述参照序列号获取对应的检查点日志；

从所述检查点日志中读取数据字典，记为解析用字典；

利用所述解析用字典对所述待解析的数据库日志进行解析。

可选地，所述根据所述参照序列号获取对应的检查点日志的步骤包括：

获取日志序列号小于所述参照序列号的首个检查点日志。

可选地，所述利用所述解析用字典对所述待解析的数据库日志进行解析的步骤包括：

根据所述数据字典将所述数据库日志解析成原始的SQL语句。

可选地，所述根据所述参照序列号获取对应的检查点日志的步骤之后包括：

判断所述对应的检查点日志是否与上一个解析的数据库日志对应的检查点日志相同，若是，执行利用所述解析用字典对所述待解析的数据库日志进行解析的步骤，若否，执行从所述检查点日志中读取所述数据字典的步骤。

可选地，所述利用所述解析用字典对所述待解析的数据库日志进行解析的步骤之后包括：

获取所述数据库日志解析出的操作对应的操作类型；

若所述数据库日志对应的操作类型为DDL操作，更新所述解析用字典。

可选地，所述获取所述数据库日志解析出的操作对应的操作类型的步骤之后包括：

若所述数据库日志对应的操作类型为DML操作，维持所述解析用字典。

在本发明的另一个方面，提供了一种机器可读存储介质，其上存储有计算机可执行程序，所述计算机可执行程序被处理器执行时实现根据上述任一项所述的数据库的数据字典管理方法。

在本发明的又一个方面，提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的计算机可执行程序，并且所述处理器执行所述计算机可执行程序时实现根据上述任一项所述的数据库的数据字典管理方法。

在本发明的又一个方面，提供了一种计算机程序产品，包括计算机可执行程序，所述计算机可执行程序被处理器执行时实现根据上述任一项所述的数据库的数据字典管理方法。

本发明的数据库的数据字典管理方法、存储介质、设备及产品通过在一次落盘工作中将需要落盘的数据库日志全部完成落盘后，在磁盘中生成检查点日志，然后读取数据库的数据字典，将数据字典存储到检查点日志中。也就是说，数据库的每个检查点日志中都存储有检查点日志生成时刻的数据字典，换句话说，数据库在不同时刻的数据字典版本可以随着检查点日志的生成而存储下来，从而使得检查点日志中存储有在其生成时刻的数据字典，有助于为检查点日志之后的数据库日志提供准确的数据字典，从而保证对检查点日志之后的数据库日志的解析的准确性，有效地避免数据字典不断变化所导致的解析不准确的情况发生。

进一步地，本发明的数据库的数据字典管理方法、存储介质、设备及产品通过在根据参照序列号获取对应的检查点日志后判断对应的检查点日志是否与上一个解析的数据库日志对应的检查点日志相同，在检查点日志相同的情况下，执行利用解析用字典对待解析的数据库日志进行解析的步骤，在检查点日志不相同的情况下，执行从检查点日志中读取数据字典的步骤。也就是说，在当前待解析的数据库日志对应的检查点日志与上一个解析的数据库日志对应的检查点日志相同的情况下，不需要再读取一次数据字典，从而提高解析效率。

根据下文结合附图对本发明具体实施例的详细描述，本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。

附图说明

后文将参照附图以示例性而非限制性的方式详细描述本发明的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：

图1是根据本发明一个实施例的数据库的数据字典管理方法的一个示意性流程图；

图2是根据本发明一个实施例的数据库的数据字典管理方法的又一个示意性流程图；

图3是根据本发明另一个实施例的数据库的数据字典管理方法的一个示意性流程图；

图4是根据本发明又一个实施例的数据库的数据字典管理方法的一个示意性流程图；

图5是根据本发明一个实施例的机器可读存储介质的示意图；

图6是根据本发明一个实施例的计算机设备的示意图；

图7是根据本发明一个实施例的计算机程序产品的示意图。

具体实施方式

本领域技术人员应当理解的是，下文所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，该一部分实施例旨在用于解释本发明的技术原理，并非用于限制本发明的保护范围。基于本发明提供的实施例，本领域普通技术人员在没有付出创造性劳动的情况下所获得的其它所有实施例，仍应落入到本发明的保护范围之内。

需要说明的是，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。

本发明提供的流程图并不旨在指示方法的操作将以任何特定的顺序执行，或者方法的所有操作都包括在所有的每种情况下。此外，方法可以包括附加操作。在本实施例方法提供的技术思路的范围内，可以对上述方法进行附加的变化。

如图1所示，在一个实施例中，数据库的数据字典管理方法一般性地包括：

步骤S101，获取到对数据库位于缓存中的数据库日志进行落盘的触发事件。具体地，在对数据库数据进行修改的过程中，并不是直接对存储在磁盘中的表进行修改，而是先将表中的数据提取到缓存中，在缓存中进行修改，后续再进行落盘。同时，在对缓存中数据库的数据进行修改时，会产生数据库日志，数据库日志也是先存储在缓存中，后续再进行落盘，并且数据库日志落盘必须在数据落盘之前。

示例性地，数据库可以以定时对数据库日志进行落盘，或者在缓存中的数据库日志量达到预设的存储量后进行落盘。因此，获取到对数据库位于缓存中的数据库日志进行落盘的触发事件可以是获取到定时触发的日志落盘事件，或者是获取到缓存中的数据库日志的存储量达到预设的存储量。

步骤S102，将缓存中的数据库日志写入磁盘。具体地，开始数据库日志的落盘工作后，将缓存中的数据库日志按照生成顺序写入磁盘中。

步骤S103，检测到本次需要落盘的数据库日志全部完成落盘。具体地，也就是一次落盘工作缓存中需要落盘的数据库日志全部完成落盘。

步骤S104，在磁盘中生成检查点日志。检查点日志的日志序列号紧挨且大于最后一个落盘的数据库日志的日志序列号。具体地，在本次落盘工作需要落盘的数据库日志全部完成落盘后，在最后一个落盘的数据库日志之后生成一个检查点日志。

步骤S105，读取数据库的数据字典。具体地，也就是读取当前时刻数据库在使用的数据字典版本，也就是检查点日志生成时刻数据库在使用的数据字典版本。

步骤S106，将数据字典存储到检查点日志中。在读取到数据字典后，将数据字典的内容存储到检查点日志中。因此，在磁盘中存储的日志文件，每隔一定量的数据库日志会存在一个检查点日志，且每个检查点日志中都存储有一个自身生成时刻对应的数据库的数据字典。

在本实施的方案中，通过在一次落盘工作中将需要落盘的数据库日志全部完成落盘后，在磁盘中生成检查点日志，然后读取数据库的数据字典，将数据字典存储到检查点日志中。也就是说，数据库的每个检查点日志中都存储有检查点日志生成时刻的数据字典，换句话说，数据库在不同时刻的数据字典版本可以随着检查点日志的生成而存储下来，从而使得检查点日志中存储有在其生成时刻的数据字典，有助于为检查点日志之后的数据库日志提供准确的数据字典，从而保证对检查点日志之后的数据库日志的解析的准确性，有效地避免数据字典不断变化所导致的解析不准确的情况发生。

参照图2所示，在一个实施例中，数据库的数据字典管理方法一般性地包括：

步骤S201，获取到对磁盘中的数据库日志进行解析的触发事件。示例性地，在数据库的使用过程中，在进行数据库恢复或者数据库同步的过程中会对存储在磁盘中的数据库日志进行解析，具体来说，对存储在磁盘中的事务日志进行解析，以得到对数据库的原始操作。因此，对数据库的数据库日志进行解析的触发事件可以包括对数据库进行恢复或者对数据库进行同步。

步骤S202，获取待解析的数据库日志。具体地，也就是从磁盘中按照顺序依次获取数据库日志来进行解析，每从磁盘中获取一个新的数据库日志，这个新的数据库日志就是待解析的数据库日志。

步骤S203，读取待解析的数据库日志的日志序列号，记为参照序列号。具体地，在数据库日志写入磁盘的过程中，会按照写入顺序生成各自的日志序列号，也就是说日志序列号体现了数据库日志的顺序。在获取到一个待解析的数据库日志后，读取待解析的数据库日志的日志序列号。

步骤S204，根据参照序列号获取对应的检查点日志。具体地，本步骤包括：获取日志序列号小于参照序列号的首个检查点日志。具体来说，也就是从获取到待解析的数据库日志的日志序列号向前查找，直到查找到第一个检查点日志，获取该检查点日志。

步骤S205，从检查点日志中读取数据字典，记为解析用字典。在获取到待解析的数据库日志对应的检查点日志后，读取存储在检查点日志中的数据字典的内容。

步骤S206，利用解析用字典对待解析的数据库日志进行解析。在从检查点日志中获得数据字典后，就可以利用获取的数据字典对数据库日志进行解析。具体地，也就是根据数据字典将数据库日志解析成原始的SQL(Structured Query Language，结构化查询语言，简称SQL)语句。

在本实施的方案中，通过获取待解析的数据库日志，读取待解析的数据库日志的日志序列号，记为参照序列号，根据参照序列号获取对应的检查点日志，从检查点日志中读取数据字典，记为解析用字典，利用解析用字典对待解析的数据库日志进行解析，有助于使得每个数据库日志在解析时找到相应时刻的数据字典，从而提高解析数据库日志时所使用的数据库字典的准确性，以保证数据库日志的解析的准确性。

如图3所示，在一个实施例中，根据参照序列号获取对应的检查点日志的步骤之后包括：判断对应的检查点日志是否与上一个解析的数据库日志对应的检查点日志相同，若是，执行利用解析用字典对待解析的数据库日志进行解析的步骤，若否，执行从检查点日志中读取数据字典的步骤。

具体地，在本实施例中，数据库的数据字典管理方法一般性地包括：

步骤S301，获取到对磁盘中的数据库日志进行解析的触发事件。

步骤S302，获取待解析的数据库日志。

步骤S303，读取待解析的数据库日志的日志序列号，记为参照序列号。

步骤S304，根据参照序列号获取对应的检查点日志。

步骤S305，判断对应的检查点日志是否与上一个解析的数据库日志对应的检查点日志相同，若是，执行步骤S306，若否，执行步骤S307。具体地，根据参照序列号查找到对应的检查点日志后，检测查找到的检查点日志是否与上一个解析的数据库日志对应的检查点日志相同，具体来说，可以通过检查点日志的日志序列号进行判断。

步骤S306，利用解析用字典对待解析的数据库日志进行解析。具体地，如果当前待解析的数据库日志对应的检查点日志与上一个解析的数据库日志对应的检查点日志相同，因为在上一数据库日志进行解析时已经将检查点日志中的数据字典读取出来，所以当前待解析的数据库日志无需再读取数据字典，利用之前读取出的数据字典对当前待解析的数据库日志进行解析即可。

步骤S307，从检查点日志中读取数据字典，记为解析用字典。如果当前待解析的数据库日志对应的检查点日志与上一个解析的数据库日志对应的检查点日志不相同，在获取到待解析的数据库日志对应的检查点日志后，读取存储在检查点日志中的数据字典的内容。然后，执行步骤S306。

在本实施例的方案中，通过在根据参照序列号获取对应的检查点日志后判断对应的检查点日志是否与上一个解析的数据库日志对应的检查点日志相同，在检查点日志相同的情况下，执行利用解析用字典对待解析的数据库日志进行解析的步骤，在检查点日志不相同的情况下，执行从检查点日志中读取数据字典的步骤。也就是说，在当前待解析的数据库日志对应的检查点日志与上一个解析的数据库日志对应的检查点日志相同的情况下，不需要再读取一次数据字典，从而提高解析效率。

需要说明的是，本实施例中未详细阐述的步骤参照前文所述，此处不再赘述。

如图4所示，在一个实施例中，利用数据字典对待解析的数据库日志进行解析的步骤之后包括：获取数据库日志解析出的操作对应的操作类型；若数据库日志对应的操作类型为DDL(Data Definition Language，数据定义语言，简称DDL)操作，更新解析用字典。若数据库日志对应的操作类型为DML(Data Manipulation Language，数据操纵语言，简称DML)操作，维持解析用字典。

具体地，在本实施例中，数据库的数据字典管理方法一般性地包括：

步骤S401，获取到对磁盘中的数据库日志进行解析的触发事件。

步骤S402，获取待解析的数据库日志。

步骤S403，读取待解析的数据库日志的日志序列号，记为参照序列号。

步骤S404，根据参照序列号获取对应的检查点日志。

步骤S405，从检查点日志中读取数据字典，记为解析用字典。

步骤S406，利用解析用字典对待解析的数据库日志进行解析。

步骤S407，获取数据库日志解析出的操作对应的操作类型。具体地，对数据库的操作可以分为DDL操作和DML操作，其中，DDL操作会造成数据字典内容的变化。

步骤S408，若数据库日志对应的操作类型为DDL操作，更新解析用字典。具体地，当解析出的数据库日志对应的操作类型为DDL操作，那么根据解析出的DDL操作对当前的解析用字典进行更新，以使其成为最新的数据字典。

步骤S409，若数据库日志对应的操作类型为DML操作，维持解析用字典。具体地，当解析出的数据库日志对应的操作类型为DML操作，那么继续使用当前的解析用字典。

在本实施例的方案中，通过在对待解析的数据库日志进行解析后获取数据库日志解析出的操作对应的操作类型，在数据库日志对应的操作类型为DDL操作的情况下，更新解析用字典，使得解析用字典为最新的数据字典，便于对后续的数据库日志进行准确解析。

本实施例还提供了一种机器可读存储介质和计算机设备。图5是根据本发明一个实施例的机器可读存储介质10的示意图。图6是根据本发明一个实施例的计算机设备20的示意图。

机器可读存储介质10其上存储有计算机可执行程序11，计算机可执行程序11被处理器执行时实现上述任一实施例的数据库的数据字典管理方法。

计算机设备20可以包括存储器210、处理器220及存储在存储器210上并在处理器220上运行的计算机可执行程序11，并且处理器220执行计算机可执行程序11时实现上述任一实施例的数据库的数据字典管理方法。

具体来说，用于执行本发明操作的计算机可执行程序11可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码。

就本实施例的描述而言，机器可读存储介质10可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，机器可读存储介质10甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。

计算机设备20可以是例如服务器、台式计算机、笔记本式计算机、平板计算机或智能手机。在一些示例中，计算机设备20可以是云计算节点。计算机设备20可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括执行特定的任务或者实现特定的抽象数据类型的例程、程序、目标程序、组件、逻辑、数据结构等。计算机设备20可以在通过通信网络链接的远程处理设备执行任务的分布式云计算环境中实施。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。

计算机设备20可以包括适于执行存储的指令的处理器220、在操作期间为所述指令的操作提供临时存储空间的存储器210。处理器220可以是单核处理器、多核处理器、计算集群或任何数量的其他配置。存储器210可以包括随机存取存储器(RAM)、只读存储器、闪存或任何其他合适的存储系统。

处理器220可以通过系统互连(例如PCI、PCI-Express等)连接到适于将计算机设备20连接到一个或多个I/O设备(输入/输出设备)的I/O接口(输入/输出接口)。I/O设备可以包括例如键盘和指示设备，其中指示设备可以包括触摸板或触摸屏等等。I/O设备可以是计算机设备20的内置组件，或者可以是外部连接到计算设备的设备。

处理器220也可以通过系统互连链接到适于将计算机设备20连接到显示设备的显示接口。显示设备可以包括作为计算机设备20的内置组件的显示屏。显示设备还可以包括外部连接到计算机设备20的计算机监视器、电视机或投影仪等。此外，网络接口控制器(network interface controller，NIC)可以适于通过系统互连将计算机设备20连接到网络。在一些实施例中，NIC可以使用任何合适的接口或协议(诸如因特网小型计算机系统接口等)来传输数据。网络可以是蜂窝网络、无线电网络、广域网(WAN))、局域网(LAN)或因特网等等。远程设备可以通过网络连接到计算设备。

本实施例还提供了一种计算机程序产品。图7是根据本发明一个实施例的计算机程序产品30的示意图。计算机程序产品30包括计算机可执行程序11，计算机可执行程序11被处理器220执行时实现前文所述的任一项数据库的数据字典管理方法。

至此，本领域技术人员应认识到，虽然本文已详尽示出和描述了本发明的多个示例性实施例，但是，在不脱离本发明精神和范围的情况下，仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此，本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。

Claims (10)

1.一种数据库的数据字典管理方法，包括：

获取到对所述数据库位于缓存中的数据库日志进行落盘的触发事件；

将所述缓存中的数据库日志写入磁盘；

检测到本次需要落盘的数据库日志全部完成落盘；

在所述磁盘中生成检查点日志，所述检查点日志的日志序列号紧挨且大于最后一个落盘的数据库日志的日志序列号；

读取所述数据库的数据字典；

将所述数据字典存储到所述检查点日志中。

2.根据权利要求1所述的数据库的数据字典管理方法，其中，所述数据库的数据字典管理方法包括：

获取到对所述磁盘中的数据库日志进行解析的触发事件；

获取待解析的数据库日志；

读取所述待解析的数据库日志的日志序列号，记为参照序列号；

根据所述参照序列号获取对应的检查点日志；

从所述检查点日志中读取数据字典，记为解析用字典；

利用所述解析用字典对所述待解析的数据库日志进行解析。

3.根据权利要求2所述的数据库的数据字典管理方法，其中，所述根据所述参照序列号获取对应的检查点日志的步骤包括：

获取日志序列号小于所述参照序列号的首个检查点日志。

4.根据权利要求2所述的数据库的数据字典管理方法，其中，所述利用所述解析用字典对所述待解析的数据库日志进行解析的步骤包括：

根据所述数据字典将所述数据库日志解析成原始的SQL语句。

5.根据权利要求2所述的数据库的数据字典管理方法，其中，所述根据所述参照序列号获取对应的检查点日志的步骤之后包括：

判断所述对应的检查点日志是否与上一个解析的数据库日志对应的检查点日志相同，若是，执行利用所述解析用字典对所述待解析的数据库日志进行解析的步骤，若否，执行从所述检查点日志中读取所述数据字典的步骤。

6.根据权利要求2所述的数据库的数据字典管理方法，其中，所述利用所述解析用字典对所述待解析的数据库日志进行解析的步骤之后包括：

获取所述数据库日志解析出的操作对应的操作类型；

若所述数据库日志对应的操作类型为DDL操作，更新所述解析用字典。

7.根据权利要求6所述的数据库的数据字典管理方法，其中，所述获取所述数据库日志解析出的操作对应的操作类型的步骤之后包括：

若所述数据库日志对应的操作类型为DML操作，维持所述解析用字典。

8.一种机器可读存储介质，其上存储有计算机可执行程序，所述计算机可执行程序被处理器执行时实现根据权利要求1至7任一项所述的数据库的数据字典管理方法。

9.一种计算机设备，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的计算机可执行程序，并且所述处理器执行所述计算机可执行程序时实现根据权利要求1至7任一项所述的数据库的数据字典管理方法。

10.一种计算机程序产品，包括计算机可执行程序，所述计算机可执行程序被处理器执行时实现根据权利要求1至7任一项所述的数据库的数据字典管理方法。