CN109558457B

CN109558457B - 一种数据写入方法、装置、设备及存储介质

Info

Publication number: CN109558457B
Application number: CN201811513268.XA
Authority: CN
Inventors: 李博
Original assignee: Inspur Beijing Electronic Information Industry Co Ltd
Current assignee: Inspur Beijing Electronic Information Industry Co Ltd
Priority date: 2018-12-11
Filing date: 2018-12-11
Publication date: 2022-04-22
Anticipated expiration: 2038-12-11
Also published as: CN109558457A

Abstract

本发明公开了一种数据写入方法，该方法包括以下步骤：在接收到用户针对目标数据的写入请求时，根据目标数据的大小，确定目标数据是否为非对齐写数据；如果是，则将目标数据的写入日志写入到预设日志区；在写入完成后，将目标数据放入到数据盘写队列中，以写入到数据盘中。应用本发明实施例所提供的技术方案，先将非对齐写数据记录到日志区，然后再将数据刷到后台，没有将非对齐写数据记录到数据库中，减少了对数据库的过度使用，在一定程度上可以缓解数据库的写入放大问题，提高了数据写入效率，提升了分布式系统整体性能。本发明还公开了一种数据写入装置、设备及存储介质，具有相应技术效果。

Description

一种数据写入方法、装置、设备及存储介质

技术领域

本发明涉及计算机应用技术领域，特别是涉及一种数据写入方法、装置、设备及存储介质。

背景技术

随着计算机技术的快速发展，分布式系统的应用越来越广泛。在分布式系统中，元数据记录在kv(key-value，键值)数据库，如rocksDB中。数据库中记录的数据分为三类：一类是对象的布局信息，一类是对象的属性信息，一类是写入的数据信息。其中，对象的布局信息和对象的属性信息标明了对象在本地节点的大小、属性、以及磁盘的分布。写入的数据信息标明了用户对此对象的操作。为了使用户的每一次对文件的操作都是完整的、可靠的，需要在本地节点上对用户要操作的对象进行保护，使得在用户操作的过程中，若发生节点故障之类的问题，系统重新恢复正常后，用户仍然能够继续操作，或得到期望的操作结果。

目前，在用户的IO请求到达时，先把IO请求记录到数据库中(元数据+数据)，然后，由后台提交到真正的地方。这种实现方式也就是传统的数据写入处理方式。使用这种方式，可以保证每一次操作的ACID特性，使用户获取到期望的数据。ACID为数据库事务正确执行的四个基本要素的缩写，包含：原子性(Atomicity)、一致性(Consistency)、隔离性(Isolation)、持久性(Durability)。

当用户的IO请求到达时，除了要记录相应的元数据外，还需要把数据记录到数据库中，若数据是对齐写(每次存储的最小一致性单元，由分布式系统设定)数据，则可以先把数据写到新的位置，然后修改元数据中的对象布局信息，若数据是非对齐写数据，则先把要写的数据记录到数据库，然后把数据从从后台刷到对应的位置。若数据既有对齐写的数据，又有非对齐写的数据，则需要把此次写分解为对齐写和非对齐写，非对齐写的数据记录到数据库，对齐写的数据写到磁盘，写完后，将两种IO合并记录到数据库，再进行后台刷新。当操作过程中发生故障重启后，会先从数据库读出需要应用的数据，将数据应用到对应的地方，应用完成后，节点开始提供业务。

在上述流程中，存在一些问题：所有的数据都是以事务ID的形式串行执行的，对齐写的数据会直接写到数据盘(HDD)上，而非对齐写的数据先写到数据库(一般部署在SSD)上，然后再应用到HDD上，需要等对齐写完成，才会记录到数据库。由于事务需要串行执行，而SSD的读写性能比HDD的读写性能要快，所以，这样的处理方式有可能会造成IO请求的阻塞，从而造成性能的降低，同时，由于kv数据库本身有着比较严重的写放大的特征，频繁的进行非对齐写的数据的写入，也会造成数据库性能的降低，延长给用户的响应时间。

发明内容

本发明的目的是提供一种数据写入方法、装置、设备及存储介质，以减少对数据库的过度使用，使得数据库固有的写入放大问题得到缓解，提高数据写入效率，提升分布式系统整体性能。

为解决上述技术问题，本发明提供如下技术方案：

一种数据写入方法，包括：

接收用户针对目标数据的写入请求；

根据所述目标数据的大小，确定所述目标数据是否为非对齐写数据；

如果是，则将所述目标数据的写入日志写入到预设日志区；

在写入完成后，将所述目标数据放入到数据盘写队列中，以写入到数据盘中。

在本发明的一种具体实施方式中，还包括：

在将所述目标数据的写入日志写入到所述日志区，并写入完成后，向所述用户返回写完成第一信息。

在本发明的一种具体实施方式中，还包括：

如果所述目标数据写入到数据盘完成，则将所述日志区中所述目标数据的写入日志加入到待清理列表；

在达到设定时间间隔时，将所述待清理列表中的写入日志进行清理操作。

在本发明的一种具体实施方式中，还包括：

在系统故障重启后，读取所述日志区中未完成写入日志；

基于所述未完成写入日志，将相应数据放入到所述数据盘写队列中。

在本发明的一种具体实施方式中，在确定所述目标数据为对齐写数据时，还包括：

直接执行所述将所述目标数据放入到所述数据盘写队列中的步骤。

在本发明的一种具体实施方式中，所述目标数据为对齐写数据，还包括：

如果所述目标数据写入到数据盘完成，则修改数据库中相应元数据中对象布局信息，并向所述用户返回写完成第二信息。

在本发明的一种具体实施方式中，还包括：

控制所述数据盘写队列中的数据并行执行。

一种数据写入装置，包括：

请求接收模块，用于接收用户针对目标数据的写入请求；

数据确定模块，用于根据所述目标数据的大小，确定所述目标数据是否为非对齐写数据，如果是，则触发日志写入模块；

所述日志写入模块，用于将所述目标数据的写入日志写入到预设日志区；

数据写入模块，用于在写入完成后，将所述目标数据放入到数据盘写队列中，以写入到数据盘中。

一种数据写入设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现上述任一项所述数据写入方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述数据写入方法的步骤。

应用本发明实施例所提供的技术方案，在接收到用户针对目标数据的写入请求时，根据目标数据的大小，如果确定目标数据是非对齐写数据，则将目标数据的写入日志写入到预设日志区，在写入完成后，将目标数据放入到数据盘写队列中，以写入到数据盘中。先将非对齐写数据记录到日志区，然后再将数据刷到后台，没有将非对齐写数据记录到数据库中，减少了对数据库的过度使用，在一定程度上可以缓解数据库的写入放大问题，提高了数据写入效率，提升了分布式系统整体性能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中一种数据写入方法的实施流程图；

图2为本发明实施例中一种数据写入装置的结构示意图；

图3为本发明实施例中一种数据写入设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1所示，为本发明实施例所提供的一种数据写入方法的实施流程图，该方法可以包括以下步骤：

S110：接收用户针对目标数据的写入请求。

本发明实施例所提供的数据写入方法可以应用在分布式系统中。用户根据实际需要可以发出针对目标数据的写入请求。

S120：根据目标数据的大小，确定目标数据是否为非对齐写数据。

在接收到用户针对目标数据的写入请求时，可以根据目标数据的大小，确定目标数据是否为非对齐写数据。具体的，可以根据分布式系统实际情况，预先设定一个阈值，当目标数据的大小小于该阈值时，确定目标数据为非对齐写数据，当目标数据的大小大于或等于该阈值时，确定目标数据为对齐写数据。

在确定目标数据为非对齐写数据时，可以继续执行步骤S120的操作。

S130：将目标数据的写入日志写入到预设日志区。

在本发明实施例中，可以预先设定一个日志区，该日志区可以是部署在SSD上的一块固定分区。

在确定目标数据为非对齐写数据时，可以将目标数据的写入日志写入到该日志区。

S140：在写入完成后，将目标数据放入到数据盘写队列中，以写入到数据盘中。

在将目标数据的写入日志写入到预设日志区，并写入完成后，可以将目标数据放入到数据盘写队列中，以写入到数据盘中。数据盘具体可以是HDD(Hard Disk Drive，硬盘驱动器)。

数据盘写队列中的数据可以由一组线程池进行处理，逐一将数据盘写队列中的数据写入到数据盘中。

应用本发明实施例所提供的方法，在接收到用户针对目标数据的写入请求时，根据目标数据的大小，如果确定目标数据是非对齐写数据，则将目标数据的写入日志写入到预设日志区，在写入完成后，将目标数据放入到数据盘写队列中，以写入到数据盘中。先将非对齐写数据记录到日志区，然后再将数据刷到后台，没有将非对齐写数据记录到数据库中，减少了对数据库的过度使用，在一定程度上可以缓解数据库的写入放大问题，提高了数据写入效率，提升了分布式系统整体性能。

另外，日志区是顺序操作的，逻辑简单，便于管理，其执行速度优于对数据库的操作，避免了数据库操作的复杂流程，减少了时间损耗。

在本发明的一个实施例中，在将目标数据的写入日志写入到日志区，并写入完成后，向用户返回写完成第一信息。使得用户能够快速得到响应，减少响应延时。

在本发明的一个实施例中，该方法还可以包括以下步骤：

步骤一：如果目标数据写入到数据盘完成，则将日志区中目标数据的写入日志加入到待清理列表；

步骤二：在达到设定的时间间隔时，将待清理列表中的写入日志进行清理操作。

为便于描述，将上述两个步骤结合起来进行说明。

在本发明实施例中，在将目标数据放入到数据盘写队列中，如果目标数据写入到数据盘完成，则将日志区中目标数据的写入日志加入到待清理列表，准备清理。

可以预先设定一个时间间隔，在达到设定的时间间隔时，将待清理列表中的写入日志进行清理操作。即定期清理日志区内已完成日志。以便及时释放日志区空间。

在本发明的一个实施例中，该方法还可以包括以下步骤：

第一个步骤：在系统故障重启后，读取日志区中未完成写入日志；

第二个步骤：基于未完成写入日志，将相应数据放入到数据盘写队列中。

为便于描述，将上述两个步骤结合起来进行说明。

在实际应用中，分布式系统在运行过程中，可能因为一些原因发生故障，在系统故障重启后，日志区中可能存在未完成的写入日志。在这种情况下，可以读取日志区中未完成写入日志，基于读取到的未完成写入日志，可以将对应的数据放入到数据盘写队列中，然后再对外提供服务。以保证对外提供服务的完整性和准确性。

在本发明的一个实施例中，在确定目标数据为对齐写数据时，该方法还可以包括以下步骤：

直接执行将目标数据放入到数据盘写队列中的步骤。

在确定目标数据为对齐写数据时，可以直接将目标数据放入到数据盘写队列中，以写入到数据盘中，如图1所示。

在这种情况下，如果目标数据写入到数据盘完成，则可以修改数据库中相应元数据中对象布局信息，使写入的目标数据生效。同时，可以向用户返回写完成第二信息，以告知用户本次IO完成。

在本发明的一个实施例中，可以控制数据盘写队列中的数据并行执行。也就是说，对所有的写到数据盘的操作不以事务ID为执行顺序，而是多线程，并发读写。

在实际应用中，对数据的IO请求并不完全等同于事务，对于不同对象(文件)的IO的操作没有顺序要求，只有对同一对象(文件)的操作，才有先后顺序的要求，而在实际流程中，当IO未完成下盘时，用户是不能对正在下盘的数据做再次操作的，所以，上层调度保证了不同的IO不会属于同一对象。控制数据盘写队列中的数据并行执行，可以提高磁盘吞吐率和数据处理效率，提升系统整体性能。

相应于上面的方法实施例，本发明实施例还提供了一种种数据写入装置，下文描述的一种数据写入装置与上文描述的一种数据写入方法可相互对应参照。

参见图2所示，该装置包括以下模块：

请求接收模块210，用于接收用户针对目标数据的写入请求；

数据确定模块220，用于根据目标数据的大小，确定目标数据是否为非对齐写数据，如果是，则触发日志写入模块230；

日志写入模块230，用于将目标数据的写入日志写入到预设日志区；

数据写入模块240，用于在写入完成后，将目标数据放入到数据盘写队列中，以写入到数据盘中。

应用本发明实施例所提供的装置，在接收到用户针对目标数据的写入请求时，根据目标数据的大小，如果确定目标数据是非对齐写数据，则将目标数据的写入日志写入到预设日志区，在写入完成后，将目标数据放入到数据盘写队列中，以写入到数据盘中。先将非对齐写数据记录到日志区，然后再将数据刷到后台，没有将非对齐写数据记录到数据库中，减少了对数据库的过度使用，在一定程度上可以缓解数据库的写入放大问题，提高了数据写入效率，提升了分布式系统整体性能。

在本发明的一种具体实施方式中，还包括信息返回模块，用于：

在将目标数据的写入日志写入到日志区，并写入完成后，向用户返回写完成第一信息。

在本发明的一种具体实施方式中，还包括日志清理模块，用于：

如果目标数据写入到数据盘完成，则将日志区中目标数据的写入日志加入到待清理列表；

在达到设定时间间隔时，将待清理列表中的写入日志进行清理操作。

在本发明的一种具体实施方式中，数据写入模块240，还用于：

在系统故障重启后，读取日志区中未完成写入日志；

基于未完成写入日志，将相应数据放入到数据盘写队列中。

在确定目标数据为对齐写数据时，直接执行将目标数据放入到数据盘写队列中的步骤。

在本发明的一种具体实施方式中，目标数据为对齐写数据，还包括元数据修改模块，用于：

如果目标数据写入到数据盘完成，则修改数据库中相应元数据中对象布局信息，并向用户返回写完成第二信息。

在本发明的一种具体实施方式中，还包括并行控制模块，用于：

控制数据盘写队列中的数据并行执行。

相应于上面的方法实施例，本发明实施例还提供了一种数据写入设备，如图3所示，包括：

存储器310，用于存储计算机程序；

处理器320，用于执行计算机程序时实现上述数据写入方法的步骤。

相应于上面的方法实施例，本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述数据写入方法的步骤。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的技术方案及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims

1.一种数据写入方法，其特征在于，包括：

接收用户针对目标数据的写入请求;

如果是，则将所述目标数据的写入日志写入到预设日志区；

在写入完成后，将所述目标数据放入到数据盘写队列中，以写入到数据盘中；

如果所述目标数据为对齐写数据，则直接执行所述将所述目标数据放入到所述数据盘写队列中的步骤；如果所述目标数据写入到数据盘完成，则修改数据库中相应元数据中对象布局信息，并向所述用户返回写完成第二信息。

2.根据权利要求1所述的方法，其特征在于，还包括：

3.根据权利要求1所述的方法，其特征在于，还包括：

4.根据权利要求3所述的方法，其特征在于，还包括：

在系统故障重启后，读取所述日志区中未完成写入日志；

5.根据权利要求1所述的方法，其特征在于，还包括：

控制所述数据盘写队列中的数据并行执行。

6.一种数据写入装置，其特征在于，包括：

请求接收模块，用于接收用户针对目标数据的写入请求；

数据写入模块，用于在写入完成后，将所述目标数据放入到数据盘写队列中，以写入到数据盘中；在确定所述目标数据为对齐写数据时，直接执行所述将所述目标数据放入到所述数据盘写队列中的步骤；

元数据修改模块，用于在所述目标数据为所述对齐写数据时，如果所述目标数据写入到数据盘完成，则修改数据库中相应元数据中对象布局信息，并向所述用户返回写完成第二信息。

7.一种数据写入设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至5任一项所述数据写入方法的步骤。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述数据写入方法的步骤。