CN118277430A - 数据库的数据字典使用方法、设备、介质及产品 - Google Patents

Abstract

本发明提供了一种数据库的数据字典使用方法、设备、介质及产品。数据库的数据字典使用方法包括：获取到对源端数据库的日志文件进行解析的触发事件；获取源端数据库的数据字典；构建数据字典缓存器；将数据字典持久化存储在预设存储区域；从数据字典缓存器中获取所需的数据字典信息；利用获取到的数据字典信息对源端数据库的日志文件进行解析。数据字典完整地持久化存储在源端数据库之外，在日志解析过程中无需向源端数据库获取数据字典，避免了与源端数据库频繁地建立连接而造成源端数据库系统资源的占用，从而有助于有效地提高源端数据库的系统性能。而且数据字典缓存器能够缓存热点数据字典信息，有助于提高查询效率。

Description

数据库的数据字典使用方法、设备、介质及产品

技术领域

本发明涉及数据库技术领域，特别是涉及一种数据库的数据字典使用方法、设备、介质及产品。

背景技术

在利用数据同步软件进行数据实时同步时分为三个阶段，第一阶段进行存量数据的初始化装载，获得数据同步的基础点；第二阶段以初始化数据装载建立的同步基础点为基准进行增量数据同步；第三阶段定期对数据同步的源端数据和目标数据进行比对校验，以确认在数据同步过程中没有丢失数据。

其中，在进行增量数据同步的过程中，需要通过解析源端数据库的日志获取增量数据，而在解析日志时，数据同步软件需要连接源端数据库来获取源端数据库的数据字典用以解析工作，造成数据同步软件和源端数据库频繁连接，以致于占用较多的系统资源，影响系统性能。

发明内容

本发明的一个目的是要提供一种能够解决上述任一问题的数据库的数据字典使用方法、设备、介质及产品。

特别地，本发明提供了一种数据库的数据字典使用方法，包括：

获取到对源端数据库的日志文件进行解析的触发事件；

获取所述源端数据库的数据字典；

构建数据字典缓存器；

将所述数据字典持久化存储在预设存储区域；

从所述数据字典缓存器中获取所需的数据字典信息；

利用获取到的所述数据字典信息对所述源端数据库的日志文件进行解析。

可选地，所述从所述数据字典缓存器中获取所需的数据字典信息的步骤之前包括：

检查所述数据字典缓存器中是否存在所需的数据字典信息，若是，执行所述从所述数据字典缓存器中获取所需的数据字典信息的步骤，若否，从所述预设存储区域查询并获取所需的数据字典信息。

可选地，所述利用获取到的所述数据字典信息对所述源端数据库的日志文件进行解析的步骤之后包括：

若解析到导致所述数据字典变更的事务操作，根据所述事务操作对所述数据字典缓存器中的数据字典信息进行更新；

对所述预设存储区域中的所述数据字典进行更新。

可选地，所述解析到导致所述数据字典变更的事务操作的步骤之后包括：

将所述事务操作的日志序列号记录到所述预设存储区域。

可选地，所述对所述预设存储区域中的所述数据字典进行更新以及所述将所述事务操作的日志序列号记录到所述预设存储区域以一个事务为单位进行操作。

可选地，所述数据库的数据字典使用方法还包括：

获取到对所述数据字典缓存器进行清理的触发事件；

清理所述数据字典缓存器中符合预设规则的数据字典信息。

可选地，所述预设存储区域为嵌入式数据库。

根据本发明的另一个方面，还提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的计算机可执行程序，并且所述处理器执行所述计算机可执行程序时实现根据上述任一项所述的数据库的数据字典使用方法。

根据本发明的另一个方面，还提供了一种计算机可读存储介质，其上存储有计算机可执行程序，所述计算机可执行程序被处理器执行时实现根据上述任一项所述的数据库的数据字典使用方法。

根据本发明的另一个方面，还提供了一种计算机程序产品，包括计算机可执行程序，所述计算机可执行程序被处理器执行时实现根据上述任一项所述的数据库的数据字典使用方法。

本发明的数据库的数据字典使用方法通过在对源端数据库的日志文件进行解析时获取源端数据库的数据字典，构建数据字典缓存器，再将数据字典持久化存储在预设存储区域。在解析过程中，从数据字典缓存器中获取所需的数据字典信息。换句话说，数据字典缓存器可以看做数据字典持久化和数据字典应用的中间层，预设存储区域持久化存储最完整的数据字典信息，而数据字典缓存器可以按需加载数据字典信息以及缓存热点数据字典信息。因此，不仅能够将数据字典完整地持久化存储在源端数据库之外，在日志解析过程中无需向源端数据库获取数据字典，避免了与源端数据库频繁地建立连接而造成源端数据库系统资源的占用，从而有助于有效地提高源端数据库的系统性能。而且数据字典缓存器能够缓存热点数据字典信息，从数据字典缓存器中获取数据字典信息时的访问速度更快，并且查询的内容更少，查询时间更快，从而有助于提高运行效率。

根据下文结合附图对本发明具体实施例的详细描述，本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。

附图说明

后文将参照附图以示例性而非限制性的方式详细描述本发明的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：

图1是根据本发明一个实施例的数据库的数据字典使用方法的示意性流程图；

图2是根据本发明另一个实施例的数据库的数据字典使用方法的示意性流程图；

图3是根据本发明又一个实施例的数据库的数据字典使用方法的示意性流程图；

图4是根据本发明一个实施例的数据库的解析系统的简化示意图；

图5是根据本发明又一个实施例的数据库的数据字典使用方法的示意性流程图；

图6是根据本发明一个实施例的计算机设备的示意图；

图7是根据本发明一个实施例的计算机可读存储介质的示意图；

图8是根据本发明一个实施例的计算机程序产品的示意图。

具体实施方式

本领域技术人员应当理解的是，下文所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，该一部分实施例旨在用于解释本发明的技术原理，并非用于限制本发明的保护范围。基于本发明提供的实施例，本领域普通技术人员在没有付出创造性劳动的情况下所获得的其它所有实施例，仍应落入到本发明的保护范围之内。

需要说明的是，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。

本发明提供的流程图并不旨在指示方法的操作将以任何特定的顺序执行，或者方法的所有操作都包括在所有的每种情况下。此外，方法可以包括附加操作。在本实施例方法提供的技术思路的范围内，可以对上述方法进行附加的变化。

如图1所示，在一个实施例中，数据库的数据字典使用方法一般性地包括：

步骤S101，获取到对源端数据库的日志文件进行解析的触发事件。具体地，也就是检测到需要开始进行源端数据库和目标端数据库之间的增量数据同步工作。其中，触发事件可以是用户手动发出的开始指令，也可以是检测到预设的前置工作完成即判定获取到触发事件。

步骤S102，获取源端数据库的数据字典。具体地，数据同步软件与源端数据库进行连接，获取源端数据库完整的数据字典。

步骤S103，构建数据字典缓存器。创建一个数据字典缓存器，数据字典缓存器用于缓存部分或者全部的数据字典信息。也就是说，在构建数据字典缓存器后，可以将全部的数据字典信息或者部分数据字典信息缓存在数据字典缓存器中。

步骤S104，将数据字典持久化存储在预设存储区域。具体来说，将从源端数据库获取的完整的数据字典信息持久化存储在预设存储区域中。其中，预设存储区域可以是嵌入式数据库优选地，可以记录当前时刻源端数据库的最新的日志序列号。

步骤S105，从数据字典缓存器中获取所需的数据字典信息。在对源端数据库的日志进行解析的过程中，在获取到一个需要解析的日志文件后，从数据字典缓存器中获取所需的数据字典信息。

步骤S106，利用获取到的数据字典信息对源端数据库的日志文件进行解析。具体地，获取到所需的数据字典信息后，就可以对当前需要解析的源端数据库的日志文件进行解析。

在本实施例的方案中，通过在对源端数据库的日志文件进行解析时获取源端数据库的数据字典，构建数据字典缓存器，再将数据字典持久化存储在预设存储区域。在解析过程中，从数据字典缓存器中获取所需的数据字典信息。换句话说，数据字典缓存器可以看做数据字典持久化和数据字典应用的中间层，预设存储区域持久化存储最完整的数据字典信息，而数据字典缓存器可以按需加载数据字典信息以及缓存热点数据字典信息。因此，不仅能够将数据字典完整地持久化存储在源端数据库之外，在日志解析过程中无需向源端数据库获取数据字典，避免了与源端数据库频繁地建立连接而造成源端数据库系统资源的占用，从而有助于有效地提高源端数据库的系统性能。而且数据字典缓存器能够缓存热点数据字典信息，从数据字典缓存器中获取数据字典信息时的访问速度更快，并且查询的内容更少，查询时间更快，从而有助于提高运行效率。

如图2所示，在一个实施例中，数据库的数据字典使用方法一般性地包括：

步骤S201，获取到对源端数据库的日志文件进行解析的触发事件。

步骤S202，获取源端数据库的数据字典。

步骤S203，构建数据字典缓存器。

步骤S204，将数据字典持久化存储在预设存储区域。

步骤S205，检查数据字典缓存器中是否存在所需的数据字典信息，若是，执行步骤S206，若否，执行步骤S207。具体地，数据字典缓存器中存储部分热点数据字典信息，也就是频繁使用的一些数据字典信息，而非全部的数据字典信息。因此，在获取到一个需要解析的日志文件后，在获取所需的数据字典信息时，先检查数据字典缓存器中是否存在所需的数据字典信息。

步骤S206，从数据字典缓存器中获取所需的数据字典信息。在数据字典缓存器中存在所需的数据字典信息的情况下，则从数据字典缓存器中获取所需的数据字典信息。获取到所需的数据字典信息后，就可以利用获取到的数据字典信息对源端数据库的日志文件进行解析。

步骤S207，从预设存储区域查询并获取所需的数据字典信息。具体地，在数据字典缓存器中不存在所需的数据字典信息的情况下，到预设存储区域中查询所需的数据字典信息，也就是到持久化存储的完整数据字典中查找所需的数据字典信息。获取到所需的数据字典信息后，就可以利用获取到的数据字典信息对源端数据库的日志文件进行解析。

步骤S208，利用获取到的数据字典信息对源端数据库的日志文件进行解析。具体地，获取到所需的数据字典信息后，就可以对源端数据库的日志文件进行解析。

在本实施例的方案中，通过在数据字典缓存器中缓存部分数据字典信息，在获取所需的数据字典信息时，检查数据字典缓存器中是否存在所需的数据字典信息，在存在所需的数据字典信息的情况下，从数据字典缓存器中获取所需的数据字典信息，在不存在所需的数据字典信息的情况下，再到持久化存储的数据字典中获取所需的数据字典信息，也就是能够只在数据字典缓存器缓存部分常用的数据字典信息，当所需的数据字典信息存在于数据字典缓存器中的情况下，能够更快地找到所需的数据字典信息。

需要说明的是，本实施例中未详述的步骤参照前文所述。

需要说明的是，在其他一些实施例中，在数据字典缓存器中不存在所需的数据字典信息的情况下，到预设存储区域中获取到所需的数据字典信息后，方法包括：将获取到的所需的数据字典信息读取到数据字典缓存器。具体地，也就是在从持久化存储的完整数据字典中查找到所需的数据字典信息后，将查找到的数据字典信息读取到数据字典缓存器中，以便下次直接在数据字典缓存器中查找到。

进一步地，在其他一些实施例中，将获取到的所需的数据字典信息读取到数据字典缓存器步骤之前包括：判断所需的数据字典是否满足预设条件，若是，将查找到的数据字典信息读取到数据字典缓存器中，若否，直接利用获取到的数据字典信息对源端数据库的日志文件进行解析。具体地，预设条件可以是所述所需的数据字典使用的次数达到预设阈值，或者在预设时间范围内使用的次数达到预设阈值。

如图3所示，在对源端数据库的日志文件进行解析的过程中，数据库的数据字典使用方法一般性地包括：

步骤S301，解析到导致数据字典变更的事务操作。具体地，也就是从日志文件解析出的事务操作是会导致当前的数据字典信息发生变化的事务操作，例如对数据库的表名进行修改的事务操作。

步骤S302，根据业务操作对数据字典缓存器中的数据字典信息进行更新。具体地，在解析到导致数据字典变更的事务操作后，先根据业务操作对数据字典缓存器中存储的数据字典信息进行更新。

步骤S303，对预设存储区域中的数据字典进行更新。在对数据字典缓存器中存储的数据字典信息更新完成后，再对预设存储区域的数据字典进行更新，也就是将更新持久化存储。

进一步地，解析到导致数据字典变更的事务操作的步骤之后包括：

步骤S304，将事务操作的日志序列号记录到预设存储区域。解析到导致数据字典变更的事务操作后，将事务操作的日志序列号记录到预设存储区域也就是嵌入式数据库中，从而能够在同步系统停止工作时记录数据字典最后发生的更新，以在重启后再次进行数据字典全量加载时确认加载哪一时刻的数据字典，从而保证数据字典的准确性。

进一步地，对预设存储区域中的数据字典进行更新以及将事务操作的日志序列号记录到预设存储区域以一个事务为单位进行操作，具体来说，也就是将对预设存储区域中的数据字典进行更新的操作和将事务操作的日志序列号记录到预设存储区域的操作合并在一个事务中进行。

因为在数据库的规则中，一个事务中的操作要么全做要么全不做，所以将对预设存储区域中的数据字典进行更新的操作和将事务操作的日志序列号记录到预设存储区域的操作合并在一个事务中进行，能够保证对预设存储区域中的数据字典进行更新的操作和将事务操作的日志序列号记录到预设存储区域的操作的一致性，也就是保证预设存储区域中的数据字典版本和记录的事务操作的日志序列号相对应，避免出现预设存储区域中的数据字典发生更新而事务操作的日志序列号未更新的情况发生导致影响后续使用。

如图4所示，结合数据库的解析系统的简单示意图对一个实施例的数据库的数据字典使用方法进行说明，在开始对源端数据库100进行日志文件的解析工作时，经由数据字典缓存器200将源端数据库100的数据字典持久化存储到嵌入式数据库300中。数据解析线程400对源端数据库100的日志文件进行解析，在数据解析线程400对源端数据库100的日志文件进行解析时，从数据字典缓存器200获取所需的数据字典信息。当数据字典缓存器200中不存在所需的数据字典信息，通过数据字典缓存器200到嵌入式数据库300中查询所需的数据字典信息。当数据解析线程400解析到导致数据字典发生变更的事务操作，根据事务操作更新数据字典缓存器200中的数据字典信息，并且更新嵌入式数据库300中的数据字典。

如图5所示，在一个实施例中，数据库的数据字典使用方法还包括：

步骤S501，获取到对数据字典缓存器进行清理的触发事件。具体地，可以是用户手动触发的开启指令，或者是定时触发的对数据字典缓存器进行清理的指令。

步骤S502，清理数据字典缓存器中符合预设规则的数据字典信息。具体地，清理数据字典缓存器中未使用时间达到预设阈值的数据字典信息。

通过清理数据字典缓存器中符合预设规则的数据字典信息，有助于避免数据字典缓存器中缓存较多使用频率很低的数据字典信息而影响查询效率。

本实施例还提供了一种计算机设备和计算机可读存储介质。图6是根据本发明一个实施例的计算机设备10的示意图。图7是根据本发明一个实施例的计算机可读存储介质20的示意图。

计算机设备10可以包括存储器110、处理器120及存储在存储器110上并在处理器120上运行的计算机可执行程序11，并且处理器120执行计算机可执行程序11时实现上述任一实施例的数据库的数据字典使用方法。

计算机可读存储介质20其上存储有计算机可执行程序11，计算机可执行程序11被处理器执行时实现上述任一实施例的数据库的数据字典使用方法。

本实施例还提供了一种计算机程序产品。图8是根据本发明一个实施例的计算机程序产品30的示意图。计算机程序产品30包括计算机可执行程序11，计算机可执行程序11被处理器120执行时实现前文所述的任一项数据库的数据字典使用方法。

具体来说，用于执行本发明操作的计算机可执行程序11可以是汇编指令、指令集架构(ISA)指令、计算机指令、计算机相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码。

就本实施例的描述而言，计算机可读存储介质20可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读存储介质20甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。

计算机设备10可以是例如服务器、台式计算机、笔记本式计算机、平板计算机或智能手机。在一些示例中，计算机设备10可以是云计算节点。计算机设备10可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括执行特定的任务或者实现特定的抽象数据类型的例程、程序、目标程序、组件、逻辑、数据结构等。计算机设备10可以在通过通信网络链接的远程处理设备执行任务的分布式云计算环境中实施。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。

计算机设备10可以包括适于执行存储的指令的处理器120、在操作期间为所述指令的操作提供临时存储空间的存储器110。处理器120可以是单核处理器、多核处理器、计算集群或任何数量的其他配置。存储器110可以包括随机存取存储器(RAM)、只读存储器、闪存或任何其他合适的存储系统。

处理器120可以通过系统互连(例如PCI、PCI-Express等)连接到适于将计算机设备10连接到一个或多个I/O设备(输入/输出设备)的I/O接口(输入/输出接口)。I/O设备可以包括例如键盘和指示设备，其中指示设备可以包括触摸板或触摸屏等等。I/O设备可以是计算机设备10的内置组件，或者可以是外部连接到计算设备的设备。

处理器120也可以通过系统互连链接到适于将计算机设备10连接到显示设备的显示接口。显示设备可以包括作为计算机设备10的内置组件的显示屏。显示设备还可以包括外部连接到计算机设备10的计算机监视器、电视机或投影仪等。此外，网络接口控制器(network interface controller，NIC)可以适于通过系统互连将计算机设备10连接到网络。在一些实施例中，NIC可以使用任何合适的接口或协议(诸如因特网小型计算机系统接口等)来传输数据。网络可以是蜂窝网络、无线电网络、广域网(WAN))、局域网(LAN)或因特网等等。远程设备可以通过网络连接到计算设备。

至此，本领域技术人员应认识到，虽然本文已详尽示出和描述了本发明的多个示例性实施例，但是，在不脱离本发明精神和范围的情况下，仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此，本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。

Claims (10)

1.一种数据库的数据字典使用方法，包括：

获取到对源端数据库的日志文件进行解析的触发事件；

获取所述源端数据库的数据字典；

构建数据字典缓存器；

将所述数据字典持久化存储在预设存储区域；

从所述数据字典缓存器中获取所需的数据字典信息；

利用获取到的所述数据字典信息对所述源端数据库的日志文件进行解析。

2.根据权利要求1所述的数据库的数据字典使用方法，其中，所述从所述数据字典缓存器中获取所需的数据字典信息的步骤之前包括：

检查所述数据字典缓存器中是否存在所需的数据字典信息，若是，执行所述从所述数据字典缓存器中获取所需的数据字典信息的步骤，若否，从所述预设存储区域查询并获取所需的数据字典信息。

3.根据权利要求1所述的数据库的数据字典使用方法，其中，所述利用获取到的所述数据字典信息对所述源端数据库的日志文件进行解析的步骤之后包括：

若解析到导致所述数据字典变更的事务操作，根据所述事务操作对所述数据字典缓存器中的数据字典信息进行更新；

对所述预设存储区域中的所述数据字典进行更新。

4.根据权利要求3所述的数据库的数据字典使用方法，其中，所述解析到导致所述数据字典变更的事务操作的步骤之后包括：

将所述事务操作的日志序列号记录到所述预设存储区域。

5.根据权利要求4所述的数据库的数据字典使用方法，其中，所述对所述预设存储区域中的所述数据字典进行更新以及所述将所述事务操作的日志序列号记录到所述预设存储区域以一个事务为单位进行操作。

6.根据权利要求1所述的数据库的数据字典使用方法，其中，所述数据库的数据字典使用方法还包括：

获取到对所述数据字典缓存器进行清理的触发事件；

清理所述数据字典缓存器中符合预设规则的数据字典信息。

7.根据权利要求1所述的数据库的数据字典使用方法，其中，所述预设存储区域为嵌入式数据库。

8.一种计算机设备，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的计算机可执行程序，并且所述处理器执行所述计算机可执行程序时实现根据权利要求1至7任一项所述的数据库的数据字典使用方法。

9.一种计算机可读存储介质，其上存储有计算机可执行程序，所述计算机可执行程序被处理器执行时实现根据权利要求1至7任一项所述的数据库的数据字典使用方法。

10.一种计算机程序产品，包括计算机可执行程序，所述计算机可执行程序被处理器执行时实现根据权利要求1至7任一项所述的数据库的数据字典使用方法。