CN116302178B - 一种列存数据的加速处理方法和装置 - Google Patents

Abstract

本发明公开了一种列存数据的加速处理方法和装置，该方法包括：获取发送到数据库的加速配置信息，并将加速配置信息发送到硬件加速器；使硬件加速器从数据库获取与加速配置信息对应的列数据文件和与列数据文件对应的元数据信息，列数据文件包括至少一个添加了块头信息的数据块；使硬件加速器根据元数据信息和块头信息对列数据文件进行加速处理，得到结果数据；将结果数据从硬件加速器返回数据库，同一列存储格式同时支持数据库中的软件处理和硬件加速器中硬件处理，实现了数据库和硬件加速器之间的高效配合，从而更加高效的对列存数据进行加速处理。

Description

一种列存数据的加速处理方法和装置

技术领域

本申请涉及计算机技术领域，更具体地，涉及一种列存数据的加速处理方法和装置。

背景技术

随着5G、云计算、万物互联、人工智能时代的到来，数据的产生、传输、存储和分析处理的要求越来越高。数据增长对计算性能的要求与处理器性能发展间的缺口越来越大。当前通常采用硬件加速器与CPU构成异构计算平台，满足应用的性能需求。

具体到数据库应用领域，面临海量数据处理分析的性能挑战下，通常也采用异构计算解决方案来满足性能需求。OLAP(On-LineAnalytical Processing，联机实时分析)面向数据分析，海量数据查询但通常每张数据表仅少数列数据被使用，因此通常采用列存储方式，这样减少了读取的数据量和投影操作，处理更高效。但传统的列存储引擎都是基于CPU的处理方式实现的，造成采用硬件加速器对列存储引擎中的列存数据进行加速处理时，存在适配性较差的技术问题。

因此，如何更加高效的对列存数据进行加速处理，是目前有待解决的技术问题。

发明内容

本申请实施例提供一种列存数据的加速处理方法和装置，用以更加高效的对列存数据进行加速处理。

第一方面，提供列存数据的加速处理方法，应用于连接有硬件加速器的数据库中，所述方法包括：获取发送到所述数据库的加速配置信息，并将所述加速配置信息发送到所述硬件加速器；使所述硬件加速器从所述数据库获取与所述加速配置信息对应的列数据文件和与所述列数据文件对应的元数据信息，所述列数据文件包括至少一个添加了块头信息的数据块；使所述硬件加速器根据所述元数据信息和所述块头信息对所述列数据文件进行加速处理，得到结果数据；将所述结果数据从所述硬件加速器返回所述数据库。

第二方面，提供一种列存数据的加速处理装置，应用于连接有硬件加速器的数据库中，所述装置包括：发送模块，用于获取发送到所述数据库的加速配置信息，并将所述加速配置信息发送到所述硬件加速器；获取模块，用于使所述硬件加速器从所述数据库获取与所述加速配置信息对应的列数据文件和与所述列数据文件对应的元数据信息，所述列数据文件包括至少一个添加了块头信息的数据块；加速模块，用于使所述硬件加速器根据所述元数据信息和所述块头信息对所述列数据文件进行加速处理，得到结果数据；返回模块，用于将所述结果数据从所述硬件加速器返回所述数据库。

通过应用以上技术方案，获取发送到数据库的加速配置信息，并将加速配置信息发送到硬件加速器；使硬件加速器从数据库获取与加速配置信息对应的列数据文件和与列数据文件对应的元数据信息，列数据文件包括至少一个添加了块头信息的数据块；使硬件加速器根据元数据信息和块头信息对列数据文件进行加速处理，得到结果数据；将结果数据从硬件加速器返回数据库，同一列存储格式同时支持数据库中的软件处理和硬件加速器中硬件处理，实现了数据库和硬件加速器之间的高效配合，从而更加高效的对列存数据进行加速处理。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明实施例提出的一种列存数据的加速处理方法的流程示意图；

图2示出了本发明另一实施例提出的一种列存数据的加速处理方法的原理示意图；

图3示出了现有技术中PAX页模型示例；

图4示出了本发明实施例中表描述文件的示意图；

图5示出了本发明实施例中列描述文件的示意图；

图6示出了本发明实施例中列数据文件的数据块的示意图；

图7示出了本发明实施例中添加了块头信息的数据块的示意图；

图8示出了本发明实施例中集中放置块头信息的数据块的示意图；

图9示出了本发明实施例中各基本块的结构示意图；

图10示出了本发明另一实施例中各基本块的结构示意图；

图11示出了本发明另一实施例中添加了块头信息的数据块的示意图；

图12示出了本发明实施例提出的一种列存数据的加速处理装置的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供一种列存数据的加速处理方法，应用于连接有硬件加速器的数据库中，如图1所示，该方法包括以下步骤：

步骤S101，获取发送到所述数据库的加速配置信息，并将所述加速配置信息发送到所述硬件加速器。

本实施例中，数据库连接有硬件加速器，该硬件加速器是基于硬件实现对数据库操作(例如数据扫描、条件过滤、多表连接、分组汇聚、排序等)加速的设备。硬件加速器的数量可以为一个或多个，硬件加速器的种类可以为包括GPU(GraphicsProcessingUnit，图形处理器)、TPU(TensorProcessing Unit，张量处理器)、FPGA(FieldProgrammableGateArray，现场可编程门阵列)、ASIC(ApplicationSpecificIntegratedCircuit，专用集成电路)中的任一种或多种。可选的，数据库和硬件加速器之间通过PCIe(PeripheralComponentInterconnectExpress，周边设备高速连接)接口、或CCIX(CacheCoherentInterconnectforAccelerators，用于加速器的缓存一致性协议)接口，或CXL(ComputeExpressLink，计算快速链接)接口等加速接口连接，本领域技术人员可根据需要灵活设置不同的接口。

加速配置信息是对相应数据库操作进行加速的配置信息，加速配置信息可以是用户发送的，也可以是从其他服务器获取的，还可以是在满足预设条件时自动触发的。加速配置信息先到达数据库，然后通过数据库的SQL(StructuredQueryLanguage，结构化查询语言)引擎或执行引擎经加速接口发送到硬件加速器。

步骤S102，使所述硬件加速器从所述数据库获取与所述加速配置信息对应的列数据文件和与所述列数据文件对应的元数据信息，所述列数据文件包括至少一个添加了块头信息的数据块。

本实施例中，硬件加速器需要利用列数据文件对与加速配置信息对应的数据库操作进行加速，使硬件加速器从数据库获取列数据文件和相应的元数据信息。

现有技术中，数据库进行列存储时，通常按行划分一组数据，组内按照列保存数据，即按PAX(PartitionAttributesAcross)页模型(如图3所示)保存数据。本实施例中，在现有技术的基础上，采用元数据信息和列数据文件实现列式存储。其中，列数据文件包括至少一个数据块，数据块中预先添加了块头信息，该块头信息可用于描述数据块中数据字段的状态和/或长度。可选的，元数据信息包括表描述文件和列描述文件。

在本申请具体的应用场景中，如图4所示，表描述文件包括数据库ID、表ID、列数、排序列ID、标识、元组总数、各列中字段类型、各列中字段长度、各列中块空位图长度、各列中Block数目和Reserved(即保留字段)等。如图5所示，对于定长列，列描述文件包括各DataBlock(即数据块)字段长度的最大值和最小值、是否压缩或加解密、以及Reserved；对于变长列，列描述文件包括各DataBlock元组起始行号、是否压缩或加解密、以及Reserved。如图6所示，对于定长列，列数据文件的数据块包括元组起始行号、元组数目、NULLbitmap(即空比特位图)(可选)、数据和填充；对于变长列，列数据文件的数据块包括元组起始行号、元组数目、数据总长度、各数据的偏移、空闲空间和数据。如图7所示为本申请一实施例中添加了块头信息的数据块的示意图。

在本申请一些实施例中，所述数据块由数据块头和多个基本块组成，所述基本块包括所述块头信息和长度为第一预设字节数的数据字段，所述块头信息用于描述所述数据字段中各字节的状态，所述第一预设字节数是根据所述硬件加速器的处理位宽确定的。

本实施例中，以固定的第一预设字节数为粒度添加块头信息，块头信息和相应的数据字段构成基本块，各基本块和数据块头组成数据块。此时的块头信息用于描述数据字段中各字节的状态，可选的，该状态包括当前列开始、或当前列持续、或数据不为空、或数据为空。其中，根据硬件加速器的处理位宽确定第一预设字节数，提高了硬件加速器的处理效率。可选的，第一预设字节数为4的整数倍，如8、16、32等。另外，若数据字段的长度未达到第一预设字节数，可通过填充数据使数据字段的长度达到第一预设字节数。

举例来说，如图7所示，对于定长列，数据块头由元组起始行号、元组数目、NULLbitmap组成，块头信息和数据组成了基本块。

在本申请一些实施例中，各所述基本块的长度均为第二预设字节数，所述数据块头的长度为所述第二预设字节数的整数倍。

本实施例中，各基本块的长度相等，而数据块头的长度也为基本块长度的整数倍，可使硬件加速器以单个或多个基本块为粒度进行读取，从而可进一步提高硬件加速器的处理效率。

举例来说，若第一预设字节数为8，每个字节增加2bit的块头信息，则块头信息为2字节，第二预设字节数为10，块头信息和数据字段组成一个10字节的基本块，而数据块头的长度也为10字节的整数倍，例如，定长列的数据块头中的元组起始行号、元组数目、bit位图和空闲空间的总长度也为10字节的整数倍，因此，可采用处理位宽为16bit+64bit的硬件加速器，以10字节长度为粒度进行数据读取，从而更加高效的进行加速处理。

可选的，可将各块头信息集中放置在数据字节之前，在本申请具体的应用场景中，如图8所示，图中各基本块的长度均为10字节，H为块头信息，P为填充数据。

可选的，块头信息为2bit时，高1bit用于指示当前列数据，1表示当前列开始，0表示当前列持续；低1bit用于指示该列数据是否为空，1表示数据不为空，0表示数据为空。2bit一起表示的含义如表1所示：

表1

高1bit	低1bit	含义
			1	1	新数据开始
0	1	持续当前数据
			1	0	空行
0	0	无效填充

举例来说，若一个变长列的数据块有5行某列数据，第一行有5个字节，第二行有7个字节，第三行有3个字节，第四行为空，第五行有10个字节，则整个数据块的结构可如图9所示。

可选的，对于定长列，即使不添加块头信息，硬件加速器也能高效的处理，例如，若定长列中各列的长度为4字节，则硬件加速器固定按4字节长度提取即可。因此，为了减少占用存储空间，定长列中的数据块可不添加块头信息，可在加速配置信息中预先配置定长列的数据块是否带有块头信息。

在本申请一些实施例中，所述数据块由数据块头和多个基本块组成，所述基本块包括所述块头信息和当前列数据字段，所述块头信息用于描述所述当前列数据字段的长度。

本实施例中，除了可以固定的第一预设字节数为粒度添加块头信息，还可以当前列数据字段的长度为粒度添加块头信息，从而使硬件加速器可根据块头信息确定当前列数据字段的长度，同样可提高硬件加速器的处理效率。如图10所示，len1和len2为块头信息，用于描述当前列数据字段的长度。

在本申请一些实施例中，所述数据块由数据块头和多列数据字段组成，所述数据块头中包括多个数据偏移字段，所述块头信息设置在各所述数据偏移字段的头部。

值得说明的是，在一些实际应用场景中，所述块头信息既可用于描述当前列数据是否为列外存储以及是否为空，也可用于描述用户根据需求添加的其它列存储描述信息，这些都属于本发明的保护范围之内。

例如，将各块头信息分别添加在数据块头中各数据偏移字段的头部，基于该块头信息描述当前列数据是否为列外存储以及是否为空，从而使硬件加速器可根据块头信息确定当前列数据是否为列外存储以及是否为空，从而提高了硬件加速器的处理效率。在本申请具体的应用场景中，如图11所示，将各块头信息分别添加在数据块头中各数据偏移字段的头部。

可选的，设块头信息为2bit时，高1bit用于指示当前列数据是否为列外存储，1表示当前列数据是列外存储，0表示当前列数据不是列外存储；低1bit用于指示该列数据是否为空，1表示不为空，0表示为空。

步骤S103，使所述硬件加速器根据所述元数据信息和所述块头信息对所述列数据文件进行加速处理，得到结果数据。

本实施例中，硬件加速器通过读取元数据信息和块头信息可以确定列数据文件的列存储格式，使硬件加速器高效的对列数据文件进行加速处理，得到结果数据。

步骤S104，将所述结果数据从所述硬件加速器返回所述数据库。

本实施例中，将结果数据从硬件加速器返回数据库，完成对列存数据的加速处理。

可选的，可将结果数据按照与列数据文件相同的列存储格式从硬件加速器写回数据库，即结果数据中也包括至少一个添加了块头信息的数据块。由于结果数据和列数据文件的列存储格式相同，无需对结果数据做进一步处理，从而保证高效的获取结果数据。

在本申请一些实施例中，在获取发送到所述数据库的加速配置信息之前，所述方法还包括：

获取与所述列数据文件对应的待同步数据；

按照所述列存储格式对所述待同步数据添加所述块头信息，得到所述列数据文件；

基于所述列数据文件生成所述元数据信息；

将所述元数据信息和所述列数据文件保存到所述数据库。

本实施例中，待同步数据可以为新增的数据，也可以为增量或全量的同步数据，可根据用户发送的同步指令获取待同步数据，或者在满足预设同步条件时自动获取待同步数据。获取待同步数据后，按列存储格式添加块头信息，得到列数据文件，根据列数据文件生成相应的元数据信息，并将元数据信息和列数据文件保存到所述数据库。在后续需要利用硬件加速器进行加速处理时，可使硬件加速器从数据库获取元数据信息和列数据文件，从而保证硬件加速器高效的进行加速处理。

通过应用以上技术方案，获取发送到数据库的加速配置信息，并将加速配置信息发送到硬件加速器；使硬件加速器从数据库获取与加速配置信息对应的列数据文件和与列数据文件对应的元数据信息，列数据文件包括至少一个添加了块头信息的数据块；使硬件加速器根据元数据信息和块头信息对列数据文件进行加速处理，得到结果数据；将结果数据从硬件加速器返回数据库，同一列存储格式同时支持数据库中的软件处理和硬件加速器中硬件处理，实现了数据库和硬件加速器之间的高效配合，从而更加高效的对列存数据进行加速处理。

为了进一步阐述本发明的技术思想，现结合具体的应用场景，对本发明的技术方案进行说明。

本申请实施例提供一种列存数据的加速处理方法，数据库和硬件加速器之间通过加速接口连接，如图2所示，包括以下步骤：

步骤1，数据库接收到待同步数据后进行数据同步处理，具体的，按列存储格式添加块头信息后得到列数据文件，并将列数据文件送至列存储引擎，列存储引擎根据列数据文件生成表描述文件和列描述文件。

步骤2，数据库中的SQL引擎或执行引擎接收到加速处理所需的加速配置信息后，通过加速接口向硬件加速器通告该加速配置信息。硬件加速器依据该加速配置信息，通过加速接口向列存储引擎依次获取相应的表描述文件、列描述文件和列数据文件。

步骤3，硬件加速器根据表描述文件、列描述文件和列数据文件中的块头信息对列数据文件进行加速处理，得到结果数据。

步骤4，将结果数据从硬件加速器返回数据库的列存储引擎。另外，在需要持久化保存数据时，通过列存储引擎将相应的数据发送到磁盘进行持久化。

本申请实施例还提出了一种列存数据的加速处理装置，应用于连接有硬件加速器的数据库中，如图12所示，所述装置包括：

发送模块10，用于获取发送到所述数据库的加速配置信息，并将所述加速配置信息发送到所述硬件加速器；

获取模块20，用于使所述硬件加速器从所述数据库获取与所述加速配置信息对应的列数据文件和与所述列数据文件对应的元数据信息，所述列数据文件包括至少一个添加了块头信息的数据块；

加速模块30，用于使所述硬件加速器根据所述元数据信息和所述块头信息对所述列数据文件进行加速处理，得到结果数据；

返回模块40，用于将所述结果数据从所述硬件加速器返回所述数据库。

在具体的应用场景中，所述数据块由数据块头和多个基本块组成，所述基本块包括所述块头信息和长度为第一预设字节数的数据字段，所述块头信息用于描述所述数据字段中各字节的状态，所述第一预设字节数是根据所述硬件加速器的处理位宽确定的。

在具体的应用场景中，各所述基本块的长度均为第二预设字节数，所述数据块头的长度为所述第二预设字节数的整数倍。

在具体的应用场景中，所述数据块由数据块头和多个基本块组成，所述基本块包括所述块头信息和当前列数据字段，所述块头信息用于描述所述当前列数据字段的长度。

在具体的应用场景中，所述数据块由数据块头和多列数据字段组成，所述数据块头中包括多个数据偏移字段，所述块头信息设置在各所述数据偏移字段的头部。在具体的应用场景中，所述装置还包括同步模块，用于：

获取与所述列数据文件对应的待同步数据；

按照所述列存储格式对所述待同步数据添加所述块头信息，得到所述列数据文件；

基于所述列数据文件生成所述元数据信息；

将所述元数据信息和所述列数据文件保存到所述数据库。

通过应用以上数据方案，列存数据的加速处理装置应用于连接有硬件加速器的数据库中，该装置包括：发送模块，用于获取发送到数据库的加速配置信息，并将加速配置信息发送到硬件加速器；获取模块，用于使硬件加速器从数据库获取与加速配置信息对应的列数据文件和与列数据文件对应的元数据信息，列数据文件包括至少一个添加了块头信息的数据块；加速模块，用于使硬件加速器根据元数据信息和块头信息对列数据文件进行加速处理，得到结果数据；返回模块，用于将结果数据从硬件加速器返回数据库，同一列存储格式同时支持数据库中的软件处理和硬件加速器中硬件处理，实现了数据库和硬件加速器之间的高效配合，从而更加高效的对列存数据进行加速处理。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (6)

1.一种列存数据的加速处理方法，其特征在于，应用于连接有硬件加速器的数据库中，所述方法包括：

获取发送到所述数据库的加速配置信息，并将所述加速配置信息发送到所述硬件加速器；

使所述硬件加速器从所述数据库获取与所述加速配置信息对应的列数据文件和与所述列数据文件对应的元数据信息，所述列数据文件包括至少一个添加了块头信息的数据块；

使所述硬件加速器根据所述元数据信息和所述块头信息对所述列数据文件进行加速处理，得到结果数据；

将所述结果数据从所述硬件加速器返回所述数据库；

其中，所述数据块由数据块头和多个基本块组成，所述基本块包括所述块头信息和长度为第一预设字节数的数据字段，所述块头信息用于描述所述数据字段中各字节的状态，所述第一预设字节数是根据所述硬件加速器的处理位宽确定的；

或，所述数据块由数据块头和多个基本块组成，所述基本块包括所述块头信息和当前列数据字段，所述块头信息用于描述所述当前列数据字段的长度；

或，所述数据块由数据块头和多列数据字段组成，所述数据块头中包括多个数据偏移字段，所述块头信息设置在各所述数据偏移字段的头部，所述块头信息用于描述当前列数据是否为列外存储以及是否为空，或用于描述用户根据需求添加的其它列存储描述信息。

2.如权利要求1所述的方法，其特征在于，所述基本块包括所述块头信息和长度为第一预设字节数的数据字段时，各所述基本块的长度均为第二预设字节数，所述数据块头的长度为所述第二预设字节数的整数倍。

3.如权利要求1所述的方法，其特征在于，在获取发送到所述数据库的加速配置信息之前，所述方法还包括：

获取与所述列数据文件对应的待同步数据；

按照所述列存储格式对所述待同步数据添加所述块头信息，得到所述列数据文件；

基于所述列数据文件生成所述元数据信息；

将所述元数据信息和所述列数据文件保存到所述数据库。

4.一种列存数据的加速处理装置，其特征在于，应用于连接有硬件加速器的数据库中，所述装置包括：

发送模块，用于获取发送到所述数据库的加速配置信息，并将所述加速配置信息发送到所述硬件加速器；

获取模块，用于使所述硬件加速器从所述数据库获取与所述加速配置信息对应的列数据文件和与所述列数据文件对应的元数据信息，所述列数据文件包括至少一个添加了块头信息的数据块；

加速模块，用于使所述硬件加速器根据所述元数据信息和所述块头信息对所述列数据文件进行加速处理，得到结果数据；

返回模块，用于将所述结果数据从所述硬件加速器返回所述数据库；

其中，所述数据块由数据块头和多个基本块组成，所述基本块包括所述块头信息和长度为第一预设字节数的数据字段，所述块头信息用于描述所述数据字段中各字节的状态，所述第一预设字节数是根据所述硬件加速器的处理位宽确定的；

或，所述数据块由数据块头和多个基本块组成，所述基本块包括所述块头信息和当前列数据字段，所述块头信息用于描述所述当前列数据字段的长度；

或，所述数据块由数据块头和多列数据字段组成，所述数据块头中包括多个数据偏移字段，所述块头信息设置在各所述数据偏移字段的头部，所述块头信息用于描述当前列数据是否为列外存储以及是否为空，或用于描述用户根据需求添加的其它列存储描述信息。

5.如权利要求4所述的装置，其特征在于，所述基本块包括所述块头信息和长度为第一预设字节数的数据字段时，各所述基本块的长度均为第二预设字节数，所述数据块头的长度为所述第二预设字节数的整数倍。

6.如权利要求4所述的装置，其特征在于，所述装置还包括同步模块，用于：

获取与所述列数据文件对应的待同步数据；

按照所述列存储格式对所述待同步数据添加所述块头信息，得到所述列数据文件；

基于所述列数据文件生成所述元数据信息；

将所述元数据信息和所述列数据文件保存到所述数据库。