CN112860686A

CN112860686A - 数据处理方法、装置、计算机设备和计算机可读介质

Info

Publication number: CN112860686A
Application number: CN201911194659.4A
Authority: CN
Inventors: 林品; 丁岩
Original assignee: ZTE Corp
Current assignee: Jinzhuan Xinke Co Ltd
Priority date: 2019-11-28
Filing date: 2019-11-28
Publication date: 2021-05-28
Anticipated expiration: 2039-11-28
Also published as: CN112860686B; WO2021103864A1

Abstract

本公开提供一种数据处理方法，接收对数据库中待处理数据的数据处理请求，响应于数据处理请求为清除命令且清除命令中携带预设的标识，确定与待处理数据对应的数据文件，并将该数据文件的头部页面信息初始化。本公开实施例扩充了清除命令语法，不再删除整个数据文件，只初始化数据文件的头部页面信息，因此，不再产生磁盘输入输出，从而从根本上解决磁盘输入输出压力瞬时增大带来的业务阻塞和业务中断的问题，相应的，也能够减少清除命令的执行时间。此外，由于不再删除整个数据文件，在进行数据插入操作时就无需再动态申请空间。本公开还提供一种数据处理装置、计算机设备和计算机可读介质。

Description

数据处理方法、装置、计算机设备和计算机可读介质

技术领域

本公开涉及数据库技术领域，具体涉及一种数据处理方法、装置、计算机设备和计算机可读介质。

背景技术

数据库业务经常需要快速地清理表中的全部数据。清除全表数据可以通过TRUNCATE(清除)命令和DELETE(删除)命令两种方案实现，TRUNCATE命令的效率远远高于DELETE命令，因此清除全表数据首选TRUNCATE命令。但是，有些数据库，例如MySQL、Percona等，在执行TRUNCATE命令时会阻塞数据库上的所有在线业务，导致业务中断。

发明内容

本公开针对现有技术中存在的上述不足，提供一种数据处理方法、装置、计算机设备和计算机可读介质。

第一方面，本公开实施例提供一种数据处理方法，所述方法包括：

接收对数据库中待处理数据的数据处理请求；

响应于所述数据处理请求为清除命令且所述清除命令中携带预设的标识，确定与所述待处理数据对应的数据文件，并将所述数据文件的头部页面信息初始化。

进一步的，所述数据处理方法还包括：响应于所述数据处理请求为清除命令且所述清除命令中未携带所述标识，删除与所述待处理数据对应的数据文件。

进一步的，在接收数据处理请求之后、响应于所述数据处理请求为清除命令且所述清除命令中携带预设标识，确定与所述待处理数据对应的数据文件之前，还包括：

申请全局数据字典锁；

清除缓冲池中的所述待处理数据，并建立数据索引；

释放所述全局数据字典锁。

进一步的，在接收数据处理请求之后，所述数据处理方法还包括：

响应于所述数据处理请求为数据操纵语言命令且所述数据库的组复制功能未开启，根据所述数据处理请求处理相应的待处理数据。

进一步的，所述数据处理方法还包括：响应于所述数据处理请求为数据操纵语言命令且所述数据库的组复制功能已开启，申请全局数据字典锁后，检查外键，释放所述全局数据字典锁，并根据所述数据处理请求处理相应的待处理数据。

进一步的，所述数据处理方法还包括：在初始化阶段，关闭所述数据库的组复制功能。

优选的，所述数据库包括MySQL数据库或Percona数据库。

另一方面，本公开实施例还提供一种数据处理装置，包括接收模块和第一处理模块，所述接收模块用于，接收对数据库中待处理数据的数据处理请求；

所述第一处理模块用于，响应于所述数据处理请求为清除命令且所述清除命令中携带预设的标识，确定与所述待处理数据对应的数据文件，并将所述数据文件的头部页面信息初始化。

又一方面，本公开实施例还提供一种计算机设备，该计算机设备包括：一个或多个处理器以及存储装置；其中，存储装置上存储有一个或多个程序，当上述一个或多个程序被上述一个或多个处理器执行时，使得上述一个或多个处理器实现如前述各实施例所提供的数据处理方法。

再一方面，本公开实施例还提供了一种计算机可读介质，其上存储有计算机程序，其中，该计算机程序被执行时实现如前述各实施例所提供的数据处理方法。

本公开的实施例，接收对数据库中待处理数据的数据处理请求，响应于数据处理请求为清除命令且清除命令中携带预设的标识，确定与待处理数据对应的数据文件，并将该数据文件的头部页面信息初始化。本公开实施例扩充了清除命令语法，不再删除整个数据文件，只初始化数据文件的头部页面信息，因此，不再产生磁盘输入输出，从而从根本上解决磁盘输入输出压力瞬时增大带来的业务阻塞和业务中断的问题，相应的，也能够减少清除命令的执行时间。此外，由于不再删除整个数据文件，在进行数据插入操作时就无需再动态申请空间。

附图说明

图1为本公开实施例提供的数据处理的流程图之一；

图2为TRUNCATE命令和DML命令锁冲突的示意图；

图3为本公开实施例提供的数据处理的流程图之二；

图4为本公开实施例提供的数据处理流程的示例；

图5为本公开另一实施例提供的数据处理装置结构示意图。

具体实施方式

在下文中将参考附图更充分地描述示例实施例，但是所述示例实施例可以以不同形式来体现且不应当被解释为限于本文阐述的实施例。反之，提供这些实施例的目的在于使本公开透彻和完整，并将使本领域技术人员充分理解本公开的范围。

如本文所使用的，术语“和/或”包括一个或多个相关列举条目的任何和所有组合。

本文所使用的术语仅用于描述特定实施例，且不意欲限制本公开。如本文所使用的，单数形式“一个”和“该”也意欲包括复数形式，除非上下文另外清楚指出。还将理解的是，当本说明书中使用术语“包括”和/或“由……制成”时，指定存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其他特征、整体、步骤、操作、元件、组件和/或其群组。

本文所述实施例可借助本公开的理想示意图而参考平面图和/或截面图进行描述。因此，可根据制造技术和/或容限来修改示例图示。因此，实施例不限于附图中所示的实施例，而是包括基于制造工艺而形成的配置的修改。因此，附图中例示的区具有示意性属性，并且图中所示区的形状例示了元件的区的具体形状，但并不旨在是限制性的。

除非另外限定，否则本文所用的所有术语(包括技术和科学术语)的含义与本领域普通技术人员通常理解的含义相同。还将理解，诸如那些在常用字典中限定的那些术语应当被解释为具有与其在相关技术以及本公开的背景下的含义一致的含义，且将不解释为具有理想化或过度形式上的含义，除非本文明确如此限定。

在数据库业务中，清除命令导致业务中断的一个原因在于：清除命令会删除数据文件，导致磁盘的IO(Input Output输入输出)压力瞬间增大，影响全部的业务。因此，本公开实施例提供一种数据处理方法，通过修改清除命令的语法，以消除磁盘输入输出压力。所述数据处理方法可以应用于MySQL数据库及其衍生数据库，例如Percona数据库。

以下结合图1，对本公开实施例的数据处理方法进行详细说明。如图1所示，所述方法包括以下步骤：

步骤11，接收对数据库中待处理数据的数据处理请求。

数据处理装置实时监听数据处理请求，数据处理请求可以为清除命令，也可以为数据操纵语言(Data Manipulation Language，DML)命令。

清除命令是一个能够快速清空表内所有资料的SQL(Structured QueryLanguage，结构化查询语言)语法，能够针对具有自动递增值的字段，进行计数重置归零重新计算。清除命令(例如，TRUNCATE TABLE)用于删除表中的所有行，而不记录单个行的删除操作，该命令速度更快，使用的系统资源和事务日志资源更少。

数据操纵语言命令是SQL中负责对数据库对象运行数据访问工作的指令集，以INSERT(插入)、UPDATE(更新)、DELETE(删除)三种指令为核心，数据操纵语言命令的主要功能是访问数据，其语法是以读取与写入数据库为主。

步骤12，响应于数据处理请求为清除命令且清除命令中携带预设的标识，确定与待处理数据对应的数据文件，并将数据文件的头部页面信息初始化。

在本步骤中，数据处理装置判断数据处理请求的类型，若判断出数据处理请求为清除命令，则进一步判断该清除命令中是否携带预设的标识(例如，NO PURGE标识)，若携带该预设的标识，则确定与待处理数据对应的数据文件，并将该数据文件的头部页面信息初始化，而不删除整个数据文件。该预设的标识在数据处理请求中所占用的位数、在数据处理请求中的字段、位置、赋值的含义等，可以由用户自行定义。也就是说，用户可以根据需要决定是否在针对待处理数据的数据处理请求中添加该标识，例如，若用户想降低磁盘IO的压力，则可以利用清除命令在数据处理请求中添加该标识，当数据处理装置接收到该清除命令并解析出该标识时，仅将待处理数据对应的数据文件的头部页面信息进行初始化，而不会删除整个数据文件。

通过步骤11-12可以看出，在本公开的实施例中，接收对数据库中待处理数据的数据处理请求，响应于数据处理请求为清除命令且清除命令中携带预设的标识，确定与待处理数据对应的数据文件，并将该数据文件的头部页面信息初始化。本公开实施例扩充了清除命令语法，不再删除整个数据文件，只初始化数据文件的头部页面信息，因此，不再产生磁盘输入输出，从而从根本上解决磁盘输入输出压力瞬时增大带来的业务阻塞和业务中断的问题，相应的，也能够减少清除命令的执行时间。此外，由于不再删除整个数据文件，在进行数据插入操作时就无需再动态申请空间。

进一步的，所述数据处理方法还包括以下步骤：响应于数据处理请求为清除命令且清除命令中未携带所述标识，删除与待处理数据对应的数据文件。也就是说，数据处理装置判断数据处理请求的类型，若判断出数据处理请求为清除命令，则进一步判断该清除命令中是否携带预设的标识(例如，NO PURGE标识)，若未携带该预设的标识，则直接删除待处理数据对应的整个数据文件。在无磁盘IO压力的场景下，可以不在清除命令中添加该标识，相应的，数据处理装置就删除整个数据文件。

在一些实施例中，为了保证数据安全，在接收数据处理请求(即步骤11)之后、响应于数据处理请求为清除命令且清除命令中携带预设标识，确定与待处理数据对应的数据文件(即步骤12)之前，还可以包括以下步骤：申请全局数据字典锁；清除缓冲池中的待处理数据，并重新建立数据索引；释放全局数据字典锁。

如图2所示，清除命令导致业务中断的另一个原因在于：清除命令会申请并持有全局数据字典锁，而数据操纵语言(DML)命令也会申请并持有全局数据字典锁，这样就会导致锁冲突，从而对所有数据库操作均产生影响，造成业务中断。因此，在本公开另一实施例中，通过优化数据操纵语命令的执行流程，以避免全局数据字典锁冲突。

如图3所示，在本公开另一实施例中，在接收数据处理请求(即步骤11)之后，所述数据处理方法还可以包括以下步骤：

步骤12’，响应于数据处理请求为数据操纵语言命令且数据库的组复制功能未开启，根据数据处理请求处理相应的待处理数据。

在本步骤中，数据处理装置判断数据处理请求的类型，若判断出数据处理请求为DML命令，则进一步判断数据库的MGR(MySQL Group Replication，组复制)功能当前是否已开启，若未开启，则无需检查外键，直接执行该DML命令。

MySQL数据库及其衍生数据库只有在使用MGR功能时，DML命令才需要在入口处获取全局数据字典锁并检查外键，但是现有的数据库内核在实现的时候没有做区分。本公开实施例在DML命令进行外键检查之前做了拦截，首先判断数据库当前是否开启了MGR，如果没有开启MGR则不做外键检查，这样可以保证在不使用MGR功能时DML命令不会再与TRUNCATE命令产生全局数据字典锁冲突。

需要说明的是，所述数据处理方法还可以包括以下步骤：响应于数据处理请求为数据操纵语言命令且数据库的组复制功能已开启，申请全局数据字典锁后，检查外键，释放全局数据字典锁，并根据数据处理请求处理相应的待处理数据。也就是说，数据处理装置判断数据处理请求的类型，若判断出数据处理请求为DML命令，则进一步判断数据库的MGR功能当前是否已开启，若已开启，则在执行该DML命令之前，申请全局数据字典锁并检查外键。

在一些实施例中，所述数据处理方法还可以包括以下步骤：在初始化阶段，关闭数据库的MGR功能。也就是说，数据库的组复制功能插件默认关闭，当需要跳过外键检查时，先开启数据库的组复制功能插件。需要说明的是，在初始化阶段，数据处理装置还需初始化全局变量、配置项、内存池等全局环境，并开始监听来自客户端的数据处理请求。

本公开分别从TRUNCATE命令和DML命令着手，从两方面解决TRUNCATE命令导致数据库业务中断的问题：一、通过修改TRUNCATE命令的语法，以消除磁盘IO压力；二、通过优化DML命令的执行流程，以避免全局数据字典锁冲突。需要说明的是，将上述两种技术手段相结合，解决TRUNCATE命令带来的数据库业务中断的效果更好。

为了清楚说明本公开实施例的方案，以下结合图4，对MySQL数据库或Percona数据库的场景下，所述数据处理流程进行详细说明。

如图4所示，MySQL数据库或Percona数据库启动后开始初始化，在初始化阶段，MySQL数据库或Percona数据库初始化全局变量、配置项、内存池等全局环境，并关闭MGR功能。

MySQL数据库或Percona数据库启动成功后，数据处理装置开始监听来自客户端的连接请求，若监听到连接请求，则创建一个链路来接收该链路上的数据处理请求(即SQL请求)，并创建一个业务线程来处理该数据处理请求。

若数据处理装置判断出该数据处理请求为清除命令(TRUNCATE)，则先申请全局数据字典锁，然后清除缓冲池中的待处理数据，并重新建立数据索引，最后再释放全局数据字典锁。数据处理装置进一步判断该清除命令中是否携带NO PURGE标识，若携带NO PURGE标识，则将与待处理数据对应的数据文件的头部页面信息初始化，而不删除整个数据文件，从而避免产生磁盘IO。若数据处理装置判断出该清除命令中未携带NO PURGE标识，则直接删除待处理数据对应的整个数据文件。

若数据处理装置判断出该数据处理请求为数据操纵语言命令(DML)，则进一步判断数据库的MGR功能当前是否已开启，若MGR功能未开启，则不再检查外键，直接执行该DML命令，即根据数据处理请求处理相应的待处理数据。在这种情况下，DML命令不会申请全局数据字典锁，因此不会与TRUNCATE命令产生全局数据字典锁冲突。若数据处理装置判断出数据库的MGR功能当前已开启，则先申请全局数据字典锁，然后检查外键，释放全局数据字典锁后，再执行该DML命令。

本公开实施例提供的数据处理方案，为TRUNCATE命令新增了一种语法，在该语法下TRUNCATE命令不再删除数据文件，仅仅初始化数据文件的头部页面，表示该表数据已经被清除了。在DML语句检查外键过程中增加是否开启MGR的判断，只有在开启MGR的情况下才去检查外键。所述数据处理方案可以将TRUNCATE命令的执行时间大大降低，例如，在SAS(Serial Attached SCSI，串行小型计算机系统接口)类型的磁盘上清除(TRUNCATE)一张10G的表，其耗时可以从4秒降低到0.15秒，而且TRUNCATE命令不再产生大量磁盘IO，保证业务平稳运行。DML命令不会因为全局数据字典锁冲突而被TRUNCATE命令阻塞。因此，TRUNCATE命令不会影响在线业务，原来并行的TRUNCATE命令直接导致业务中断，而采用本公开实施例方案后，并行的TRUNCATE命令对业务几乎没有影响。

基于相同的技术构思，本公开实施例还提供一种数据处理装置，如图5所示，所述数据处理装置包括：接收模块51和第一处理模块52，接收模块51用于，接收对数据库中待处理数据的数据处理请求。

第一处理模块52用于，响应于所述数据处理请求为清除命令且所述清除命令中携带预设的标识，确定与所述待处理数据对应的数据文件，并将所述数据文件的头部页面信息初始化。

进一步的，在一些实施例中，第一处理模块52还用于，响应于所述数据处理请求为清除命令且所述清除命令中未携带所述标识，删除与所述待处理数据对应的数据文件。

进一步的，在一些实施例中，第一处理模块52还用于，在响应于所述数据处理请求为清除命令且所述清除命令中携带预设标识，确定与所述待处理数据对应的数据文件之前，申请全局数据字典锁；清除缓冲池中的所述待处理数据，并建立数据索引；释放所述全局数据字典锁。

进一步的，在一些实施例中，所述数据处理装置还可以包括第二处理模块，所述第二处理模块用于，响应于所述数据处理请求为数据操纵语言命令且所述数据库的组复制功能未开启，根据所述数据处理请求处理相应的待处理数据。

进一步的，在一些实施例中，所述第二处理模块还用于，响应于所述数据处理请求为数据操纵语言命令且所述数据库的组复制功能已开启，申请全局数据字典锁后，检查外键，释放所述全局数据字典锁，并根据所述数据处理请求处理相应的待处理数据。

进一步的，在一些实施例中，所述数据处理装置还可以包括初始化模块，所述初始化模块用于，在初始化阶段，关闭所述数据库的组复制功能。

在一些实施例中，所述数据库包括MySQL数据库或Percona数据库。

本公开实施例还提供了一种计算机设备，该计算机设备包括：一个或多个处理器以及存储装置；其中，存储装置上存储有一个或多个程序，当上述一个或多个程序被上述一个或多个处理器执行时，使得上述一个或多个处理器实现如前述各实施例所提供的数据处理方法。

本公开实施例还提供了一种计算机可读介质，其上存储有计算机程序，其中，该计算机程序被执行时实现如前述各实施例所提供的数据处理方法。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

本文已经公开了示例实施例，并且虽然采用了具体术语，但它们仅用于并仅应当被解释为一般说明性含义，并且不用于限制的目的。在一些实例中，对本领域技术人员显而易见的是，除非另外明确指出，否则可单独使用与特定实施例相结合描述的特征、特性和/或元素，或可与其他实施例相结合描述的特征、特性和/或元件组合使用。因此，本领域技术人员将理解，在不脱离由所附的权利要求阐明的本发明的范围的情况下，可进行各种形式和细节上的改变。

Claims

1.一种数据处理方法，所述方法包括：

接收对数据库中待处理数据的数据处理请求；

2.如权利要求1所述的方法，其中，还包括：响应于所述数据处理请求为清除命令且所述清除命令中未携带所述标识，删除与所述待处理数据对应的数据文件。

3.如权利要求1所述的方法，其中，在接收数据处理请求之后、响应于所述数据处理请求为清除命令且所述清除命令中携带预设标识，确定与所述待处理数据对应的数据文件之前，还包括：

申请全局数据字典锁；

清除缓冲池中的所述待处理数据，并建立数据索引；

释放所述全局数据字典锁。

4.如权利要求1所述的方法，其中，在接收数据处理请求之后，所述方法还包括：

5.如权利要求1所述的方法，其中，还包括：响应于所述数据处理请求为数据操纵语言命令且所述数据库的组复制功能已开启，申请全局数据字典锁后，检查外键，释放所述全局数据字典锁，并根据所述数据处理请求处理相应的待处理数据。

6.如权利要求1-5任一项所述的方法，其中，还包括：在初始化阶段，关闭所述数据库的组复制功能。

7.如权利要求1-5任一项所述的方法，其中，所述数据库包括MySQL数据库或Percona数据库。

8.一种数据处理装置，包括接收模块和第一处理模块，所述接收模块用于，接收对数据库中待处理数据的数据处理请求；

9.一种计算机设备，包括：

一个或多个处理器；

存储装置，其上存储有一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-7任一项所述的数据处理方法。

10.一种计算机可读介质，其上存储有计算机程序，其中，所述程序被执行时实现如权利要求1-7任一项所述的数据处理方法。