CN114356230B - 一种提高列存储引擎读性能的方法及系统 - Google Patents

Abstract

本发明提供了一种提高列存储引擎读性能的方法，包括如下步骤：S1、将数据单元DC存储至文件对象PCFile中，并对文件对象PCFile建立文件索引，将该文件索引进行存储；S2、设置对象存储缓存模块读取模式，用以列存储引擎在不同情况下调用对象存储缓存模块；S3、设置热度值，并根据热度值对对象存储缓存模块设置淘汰方法。本发明所述的一种提高列存储引擎读性能的方法满足了计算任务运行的数据资源需求，有效的增强了列存储引擎在读取对象存储数据的速度，解决了传统方法中列存储引擎读取对象存储数据缓慢的问题，为传统数据库与对象存储的结合提供了新的方法。

Description

一种提高列存储引擎读性能的方法及系统

技术领域

本发明属于云上数据仓库技术领域，尤其是涉及一种提高列存储引擎读性能的方法及系统。

背景技术

在云数仓中，存储是一种非常关键的抽象，简单的存储接口是有用且极其通用的，所以构建云数仓首要解决的问题就是如何构建符合需求的存储系统，我们非常关注简单而且易用的存储接口，云数仓对存储的需求是需要一个快速的，大型的，并且全局有效的存储系统，这样，计算节点都是无状态的，只专注于对数据的计算与处理，而且各个用户都可以从中读取数据，从而不需要为每个用户构建单独的存储系统，每个用户都可以操作其权限内的数据，这样既能简化数据管理又能提升整体性能；

对象存储是符合上述需求的不二选择，通过操作对象存储提供的接口，云数仓可以轻松的完成对数据的读取与写入，与块存储和文件存储相比，对象存储有成本低、成熟度高、操作简便、可动态调整容量、快速读取大文件等优点，有了对象存储提供的统一的接口，计算节点在每次执行任务时只需要从对象存储中获取数据，专注于数据的计算；

虽然对象存储有上述优势，可是对象存储对小文件读取支持不友好，每次计算都从对象存储获取数据，会造成高延迟，并且会降低云数仓的计算性能，为了同时保证存储系统的通用性与性能，本技术方案提出一种提高列存储引擎读性能的方法及系统。

发明内容

有鉴于此，本发明旨在提出一种提高列存储引擎读性能的方法及系统，以解决传统方法中列存储引擎读取对象存储数据缓慢、造成高延迟，并且会降低云数仓的计算性能的问题。

为达到上述目的，本发明的技术方案是这样实现的：

一方面，本发明提供了一种提高列存储引擎读性能的方法，包括如下步骤：

S1、将数据单元DC存储至文件对象PCFile中，并对文件对象PCFile建立文件索引，将该文件索引进行存储；

S2、设置对象存储缓存模块读取模式，以使列存储引擎在不同情况下调用对象存储缓存模块；

S3、设置热度值，并根据热度值对对象存储缓存模块设置淘汰方法。

进一步的，步骤S1具体包括如下步骤:

S11、将数据单元DC存入至文件对象PCFile中，并将数据单元DC中的元数据信息BSI存入至元数据文件PFile中，建立文件对象PCFile与元数据文件PFile之间的对应关系；

S12、将文件对象PCFile和元数据文件PFile之间的对应关系存储在元数据服务中。

进一步的，步骤S11中，建立文件对象PCFile与元数据文件PFile之间的对应关系是将元数据文件PFile作为文件对象PCFile的索引，将元数据文件PFile作为对象存储缓存模块内部查找文件对象PCFile的信息。

进一步的，步骤S2具体步骤包括如下步骤：

S21、列存储引擎将索引传入至对象存储缓存模块内；

S22、对象存储缓存模块通过遍历对象存储缓存模块内的索引判断文件对象PCFile是否传入至对象存储缓存模块内；若列存储引擎请求的数据是对象存储缓存模块内的数据，则调用同步读接口，并从对象存储缓存模块内直接返回数据；若列存储引擎请求的数据不是对象存储缓存模块内的数据，则调用预读取接口，通过多线程的并发下载从对象存储缓存模块下载元数据文件PFile，并将其加入至对象存储缓存模块，然后返回数据。

进一步的，步骤S3中设置热度值的指标包括：

文件对象PCFile的容量、对象存储缓存模块的内存和固定硬盘的剩余容量、文件对象PCFile的最近使用时间、文件对象PCFile的使用次数、列存储引擎当前进行的操作、当前用户的历史操作习惯和当前的网络可用带宽。

进一步的，步骤S3具体包括如下步骤：

S31、根据存储至对象存储缓存模块中的元数据文件PFile设置文件对象PCFile的热度值；

S32、根据热度值大小确定文件对象PCFile的存储位置；热度值排名靠前的文件对象PCFile存储至内存中；当内存达到设定的上限时，将内存中热度值低的文件对象PCFile置换到固态硬盘中；当固态硬盘达到设定的上限时，将固态硬盘中热度值最低的文件对象PCFile淘汰，并将内存中热度值最低的文件对象PCFile置换到固态硬盘中。

另一方面，本发明提供了一种提高列存储引擎读性能的系统，包括元数据服务模块和对象存储缓存模块；

元数据服务模块用于将数据单元DC存储至文件对象PCFile中，并对文件对象PCFile建立文件索引，将该文件索引进行存储；

对象存储缓存模块用于设置对象存储缓存模块读取模式和热度值，并根据热度值大小对对象存储缓存模块设置淘汰方法。

进一步的，元数据服务模块包括：

文件对象PCFile单元，包括一列或多列的数据单元DC信息；

元数据文件PFile单元，包括数据单元DC存储至文件对象PCFile的地址、数据单元DC的元数据信息、数据单元DC行的删除位图信息；

K-V存储服务单元，包括K-V数据库集群，用于统一管理文件对象PCFile与元数据文件PFile的对应关系。

进一步的，对象存储缓存模块包括：同步读取接口和预读取接口；

当缓存命中时调用同步读取接口，直接在本地返回需要的数据；当缓存未命中时调用预读取接口，通过从对象存储缓存模块上并发下载返回数据。

相对于现有技术，本发明所述的一种提高列存储引擎读性能的方法及系统具有以下有益效果：

本发明所述的一种提高列存储引擎读性能的方法及系统满足了计算任务运行的数据资源需求，有效的增强了列存储引擎在读取对象存储数据的速度，解决了传统方法中列存储引擎读取对象存储数据缓慢的问题，为传统数据库与对象存储的结合提供了新的方法。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明实施例所述的对象存储缓存模块的整体架构示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面将参考附图并结合实施例来详细说明本发明。

第一实施例，本发明实施例提供了一种提高列存储引擎读性能的方法，包括如下步骤：

S1、将数据单元DC存储至文件对象PCFile中，并对文件对象PCFile建立文件索引，将该文件索引进行持久化存储；

S2、设置数据对象存储缓存模块读取模式(即调用同步读接口和调用预读取接口)，以使列存储引擎在不同情况下调用对象存储缓存模块；

当列存储引擎向对象存储缓存模块请求数据时，通过遍历索引数据和对象存储缓存模块维护的元数据信息，会有缓存命中和缓存不命中两种结果；当缓存命中时，数据会被加载进内存然后直接给列存储引擎调用；当缓存不命中时，调用预读接口，会触发模块中的多线程下载机制，通过并发机制从对象存储缓存模块中获取数据，并向列存储引擎发送部分数据直到完全下载完；

S3、设置热度值，并根据热度值对对象存储缓存模块设置淘汰方法；在缓存模块中，有一个缓存模块管理对象，缓存管理对象根据每个文件对象PCFile的热度值大小进行排序，将文件对象PCFile从大到小依次分配，优先分配在内存中，当内存达到上限时就分配在固态硬盘SSD中，如果固态硬盘SSD容量也达到上限，就彻底舍弃；

在对象存储缓存模块中，每个文件对象PCFile都会有一个热度值，其值由对象存储缓存模块维护，对象存储缓存模块会根据文件对象PCFile的元数据以及当前的系统状态、用户习惯等因素计算其热度值，每个因素的权重不同，逐渐将最近最久未被使用的文件对象PCFile淘汰出去；此时，最大化增强列引擎的读能力，同时，在本地缓存中读取数据的速度远远快于从对象存储服务器上下载数据的速度。

在列存储引擎中一张表的数据由数据单元DC组成，元数据文件PFile是将表数据按照数据单元DC行切分后形成的逻辑试图，元数据文件PFile不实际存储数据，只保存数据的描述信息，具体描述项有数据单元DC实际存储对象的元数据文件PFile地址，数据单元DC的BSI信息，数据单元DC行的删除位图Delete Bit Map信息，元数据文件PFile最终存储在元数据服务中，元数据文件PFile的Key格式为以某种规则生成的字符串，其中包括了用户信息，数据库信息，表信息等。

文件对象PCFile实际保存数据单元DC数据，元数据文件PFile与文件对象PCFile通过在元数据文件PFile中存储文件对象PCFile的key前缀实现两者的绑定，两者为多对多的关系。

如图1所示，步骤S1具体包括如下步骤:

S11、将数据单元DC存入至文件对象PCFile中，并将数据单元DC中的元数据信息BSI存入至元数据文件PFile中，通过在元数据文件PFile中存储文件对象PCFile的key前缀建立文件对象PCFile与元数据文件PFile之间的对应关系；

S12、将文件对象PCFile和元数据文件PFile之间的对应关系持久化存储在元数据服务中。

步骤S11中，建立文件对象PCFile与元数据文件PFile之间的对应关系是将元数据文件PFile作为文件对象PCFile的索引，将元数据文件PFile作为对象存储缓存模块内部查找文件对象PCFile的信息。

步骤S2具体步骤包括如下步骤：

S21、列存储引擎将索引传入至对象存储缓存模块内；

S22、对象存储缓存模块通过遍历对象存储缓存模块内的索引判断文件对象PCFile是否传入至对象存储缓存模块内；若列存储引擎请求的数据是对象存储缓存模块内的数据，则调用同步读接口，并从对象存储缓存模块内直接返回数据；若列存储引擎请求的数据不是对象存储缓存模块内的数据，则调用预读取接口，通过多线程的并发下载从对象存储缓存模块下载元数据文件PFile，并将其加入至对象存储缓存模块，然后返回数据。

步骤S3中设置热度值的指标包括：

文件对象PCFile的容量、对象存储缓存模块的内存和固定硬盘的剩余容量、文件对象PCFile的最近使用时间、文件对象PCFile的使用次数、列存储引擎当前进行的操作、当前用户的历史操作习惯和当前的网络可用带宽。

对象存储缓存模块设置内存作为一级缓存，设置固态硬盘作为二级缓存，同时，对象存储缓存模块为每个在对象缓存模块中的文件对象PCFile维护一个热度值，此热度值是一个整型数，对象存储缓存模块中的文件对象PCFile根据热度值的大小来决定其是否应该在内存中还是在固态硬盘SSD中或是被彻底淘汰；

步骤S3具体包括如下步骤：

S31、根据硬件状况和文件使用频率对存储至对象存储缓存模块中的元数据文件PFile设置文件对象PCFil的热度值；

S32、根据热度值大小确定文件对象PCFil的存储位置；热度值排名靠前的文件对象PCFil存储至内存中；当内存达到设定的上限(默认是总内存的10％，可以自行设定)时，将内存中热度值低的文件对象PCFile置换到固态硬盘中；当固态硬盘达到设定的上限(默认是总容量的60％，可以自行设定)时，将固态硬盘中热度值最低的文件对象PCFile淘汰，并将内存中热度值最低的文件对象PCFile置换到固态硬盘中，然后再接受新进入对象存储缓存模块内的文件对象PCFile。

第二实施例，本发明实施例提供了一种提高列存储引擎读性能的系统，包括元数据服务模块和对象存储缓存模块；

元数据服务模块用于将数据单元DC存储至文件对象PCFile中，并对文件对象PCFile建立文件索引，将该文件索引进行持久化存储，元数据服务模块记录元数据信息和文件对象的对应关系以及元数据信息快速定位对应的数据信息；

对象存储缓存模块用于设置对象存储缓存模块读取模式和热度值，并根据热度值大小对对象存储缓存模块设置淘汰方法；对象存储缓存模块缓存从对象存储(即供应商的云服务器)中获取的基本数据信息并根据需要将基本数据数据提供给列存储引擎，以提高列存储引擎的读取速度。

元数据服务模块包括：

文件对象PCFile单元，以默认16MB为上限，保存一列或多列的数据单元DC信息，由建表时语句指定，也可自动调整列分组；

元数据文件PFile单元，包括数据单元DC存储至文件对象PCFile的地址、数据单元DC的元数据信息、数据单元DC行的删除位图Delete Bit Map信息；

K-V存储服务单元，包括K-V数据库集群，K具体指根据当前的用户信息、数据库信息、表信息来生成一个唯一的标识符字符串，V指的是PCFile的k前缀，用于统一管理文件对象PCFile与元数据文件PFile的对应关系。

对象存储缓存模块包括：同步读取接口和预读取接口；

当缓存命中时调用同步读取接口，直接在本地返回需要的数据；当缓存未命中时调用预读取接口，通过从对象存储缓存模块上并发下载返回数据；预读接口适合需要延迟物化的数据，列存储引擎先发起延迟物化数据的预读，最后再读取延迟物化的数据投影结果，以达到把对象存储读取延迟掩盖到业务执行时间内达到提升性能的目的。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和系统，可以通过其它的方式实现。例如，以上所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。上述单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种提高列存储引擎读性能的方法，其特征在于，包括如下步骤：

S1、将数据单元DC存储至文件对象PCFile中，并对文件对象PCFile建立文件索引，将该文件索引进行存储；

步骤S1具体包括如下步骤:

S11、将数据单元DC存入至文件对象PCFile中，并将数据单元DC中的元数据信息BSI存入至元数据文件PFile中，建立文件对象PCFile与元数据文件PFile之间的对应关系，其中，建立文件对象PCFile与元数据文件PFile之间的对应关系是将元数据文件PFile作为文件对象PCFile的索引，将元数据文件PFile作为对象存储缓存模块内部查找文件对象PCFile的信息；

S12、将文件对象PCFile和元数据文件PFile之间的对应关系存储在元数据服务中；

S2、设置对象存储缓存模块读取模式，以使列存储引擎在不同情况下调用对象存储缓存模块；列存储引擎将索引传入至对象存储缓存模块内；

S3、设置热度值，并根据热度值对对象存储缓存模块设置淘汰方法；

步骤S3中设置热度值的指标包括：

文件对象PCFile的容量、对象存储缓存模块的内存和固态硬盘的剩余容量、文件对象PCFile的最近使用时间、文件对象PCFile的使用次数、列存储引擎当前进行的操作、当前用户的历史操作习惯和当前的网络可用带宽；其中，对象存储缓存模块设置内存作为一级缓存，设置固态硬盘作为二级缓存；

步骤S3具体包括如下步骤：

S31、根据存储至对象存储缓存模块中的元数据文件PFile设置文件对象PCFile的热度值；

S32、根据热度值大小确定文件对象PCFile的存储位置；热度值排名靠前的文件对象PCFile存储至内存中；当内存达到设定的上限时，将内存中热度值低的文件对象PCFile置换到固态硬盘中；当固态硬盘达到设定的上限时，将固态硬盘中热度值最低的文件对象PCFile淘汰，并将内存中热度值最低的文件对象PCFile置换到固态硬盘中。

2.一种提高列存储引擎读性能的系统，其特征在于：包括元数据服务模块和对象存储缓存模块；

元数据服务模块用于将数据单元DC存储至文件对象PCFile中，并对文件对象PCFile建立文件索引，将该文件索引进行存储；

将数据单元DC存入至文件对象PCFile中，并将数据单元DC中的元数据信息BSI存入至元数据文件PFile中，建立文件对象PCFile与元数据文件PFile之间的对应关系，其中，建立文件对象PCFile与元数据文件PFile之间的对应关系是将元数据文件PFile作为文件对象PCFile的索引，将元数据文件PFile作为对象存储缓存模块内部查找文件对象PCFile的信息；

将文件对象PCFile和元数据文件PFile之间的对应关系存储在元数据服务中；

对象存储缓存模块用于设置对象存储缓存模块读取模式，以使列存储引擎在不同情况下调用对象存储缓存模块；列存储引擎将索引传入至对象存储缓存模块内；

对象存储缓存模块用于设置热度值，并根据热度值大小对对象存储缓存模块设置淘汰方法；

设置热度值的指标包括：

文件对象PCFile的容量、对象存储缓存模块的内存和固态硬盘的剩余容量、文件对象PCFile的最近使用时间、文件对象PCFile的使用次数、列存储引擎当前进行的操作、当前用户的历史操作习惯和当前的网络可用带宽；其中，对象存储缓存模块设置内存作为一级缓存，设置固态硬盘作为二级缓存；

对象存储缓存模块用于设置热度值，并根据热度值大小对对象存储缓存模块设置淘汰方法具体包括如下步骤：

根据存储至对象存储缓存模块中的元数据文件PFile设置文件对象PCFile的热度值；

根据热度值大小确定文件对象PCFile的存储位置；热度值排名靠前的文件对象PCFile存储至内存中；当内存达到设定的上限时，将内存中热度值低的文件对象PCFile置换到固态硬盘中；当固态硬盘达到设定的上限时，将固态硬盘中热度值最低的文件对象PCFile淘汰，并将内存中热度值最低的文件对象PCFile置换到固态硬盘中。

3.根据权利要求2所述的一种提高列存储引擎读性能的系统，其特征在于，元数据服务模块包括：

文件对象PCFile单元，包括一列或多列的数据单元DC信息；

元数据文件PFile单元，包括数据单元DC存储至文件对象PCFile的地址、数据单元DC的元数据信息、数据单元DC行的删除位图信息；

K-V存储服务单元，包括K-V数据库集群，用于统一管理文件对象PCFile与元数据文件PFile的对应关系。