CN112347101A

CN112347101A - 标签数据存储方法、计算机装置和存储介质

Info

Publication number: CN112347101A
Application number: CN202011171236.3A
Authority: CN
Inventors: 王宏军; 郑坚财; 徐永潮; 蒙赞龙
Original assignee: Beijing Beiming Digital Technology Co ltd
Current assignee: Beijing Beiming Digital Technology Co ltd
Priority date: 2020-10-28
Filing date: 2020-10-28
Publication date: 2021-02-09

Abstract

本发明公开了一种标签数据存储方法、计算机装置和存储介质，标签数据存储方法包括获取标签数据对应的位图数据，将位图数据存储到基于roaringbitmap的数据库中等步骤。本发明使用基于roaringbitmap的数据库存储与标签数据对应的位图数据，从而实现存储标签数据。由于一个桶中只需存储位图数据中的部分数据位，即可实现对位图数据的存储，也就是实现对标签数据的存储，因此可以节约存储空间，在相同性能表现的情况下可以降低存储成本。本发明广泛应用于数据存储技术领域。

Description

标签数据存储方法、计算机装置和存储介质

技术领域

本发明涉及数据存储技术领域，尤其是一种标签数据存储方法、计算机装置和存储介质。

背景技术

在用户行为分析和人工智能学习等领域，需要使用和存储标签数据，例如用户行为分析中用于标记用户画像的性别、年龄、城市和近日活跃时长等数据属于统计类标签，用户行为分析中根据“近30天交易次数≥2”定义“消费活跃”等数据属于规则类标签，人工智能学习中通过数据挖掘产生的数据，例如根据用户的消费习惯判断其对某商品的偏好程度等数据属于机器学习挖掘类标签。在用户行为分析和人工智能学习等领域，需要使用大量的标签数据，为存储这些标签数据将需要大量的存储空间。如果使用能够节约存储空间的存储技术去存储这些标签数据，可以减少对存储空间的占用，从而在相同性能效果的情况下降低对存储空间的要求，尤其在标签数据数量巨大时能够取得非常明显的成本节约效果。

发明内容

针对上述至少一个技术问题，本发明的目的在于提供一种标签数据存储方法、计算机装置和存储介质。

一方面，本发明实施例包括一种标签数据存储方法，包括：

获取所述标签数据对应的位图数据；

将所述位图数据存储到基于roaringbitmap的数据库中。

进一步地，所述将所述位图数据存储到基于roaringbitmap的数据库中，包括：

获取基于roaringbitmap的数据库；所述数据库中包括多个桶；

若所述数据库中存在第一桶，所述第一桶的地址与所述位图数据的第一部分数据位对应，将所述位图数据的第二部分数据位存储到所述第一桶，反之，则创建所述第一桶，将所述第二部分数据位存储到所述第一桶。

进一步地，所述将所述位图数据存储到基于roaringbitmap的数据库中，还包括：

若所述数据库中存在第二桶，所述第二桶的地址与所述位图数据的第三部分数据位对应，所述第三部分数据位为所述位图数据中除了所述第一部分数据位和所述第二部分数据位之外的其他数据位，建立所述第一桶到所述第二桶的映射关系，反之，则创建所述第二桶，建立所述第一桶到所述第二桶的映射关系。

当所述标签数据被扩充，获取所述位图数据中相应被扩充出的第四部分数据位，将所述第四部分数据位存储到所述第二桶。

进一步地，所述创建所述第一桶，包括：

当所述位图数据为元素，则将所述第一桶配置为数组桶；

当所述位图数据为元素序列，则分别确定第一空间占用和第二空间占用的大小，所述第一空间占用为所述第一桶被配置为数组桶的情况下将所述位图数据存储到所述第一桶所占用的空间，所述第二空间占用为所述第一桶被配置为执行桶的情况下将所述位图数据存储到所述第一桶所占用的空间，当所述第一空间占用小于所述第二空间占用，则将所述第一桶配置为数组桶，当所述第一空间占用大于所述第二空间占用，则将所述第一桶配置为执行桶。

进一步地，所述创建所述第一桶，还包括：

当所述第一桶的容量不超过容量阈值，则将所述第一桶配置为数组桶；

当所述第一桶的容量超过容量阈值，且所述第一桶被配置为数组桶，则将所述第一桶配置为位图桶。

进一步地，所述容量阈值为4096。

进一步地，所述位图数据的第一部分数据位为所述位图数据的高16位，所述位图数据的第二部分数据位为所述位图数据的低16位。

另一方面，本发明实施例还包括一种计算机装置，包括存储器和处理器，所述存储器用于存储至少一个程序，所述处理器用于加载所述至少一个程序以执行实施例所述方法。

另一方面，本发明实施例还包括一种存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行实施例中的标签数据存储方法。

本发明的有益效果是：实施例中的标签数据存储方法，使用基于roaringbitmap的数据库存储与标签数据对应的位图数据，从而实现存储标签数据。由于一个桶中只需存储位图数据中的部分数据位，即可实现对位图数据的存储，也就是实现对标签数据的存储，因此可以节约存储空间，在相同性能表现的情况下可以降低存储成本。

附图说明

图1为实施例中标签数据存储方法的流程图；

图2为实施例中标签数据和位图数据的转换示意图；

图3为实施例中使用的roaringbitmap的结构示意图；

图4和图5为实施例中第一桶存储位图数据的原理示意图；

图6为实施例中第一桶和第二桶之间的映射关系示意图；

图7为实施例中第二桶存储位图数据的扩充数据位的原理示意图。

具体实施方式

本实施例中，参照图1，标签数据存储方法包括以下步骤：

S1.获取标签数据对应的位图数据；

S2.将位图数据存储到基于roaringbitmap的数据库中。

步骤S1中，参照图2，可以通过位图转换的方式，将标签数据转换成位图数据。

本实施例中，所使用的roaringbitmap技术简称RBM，其设计思路为32位无符号整数按照高16位分桶，即最多可能有2¹⁶＝65536个container，称为桶。参照图3，一个RBM就是很多桶的集合。

本实施例中，所使用的roaringbitmap技术中的桶分为位图桶、数组桶和执行桶，其中位图桶只涉及到位运算，其查询复杂度为O(1)，而数组桶和执行桶需要用二分法在有序数组中定位元素，其查询复杂度为O(LogN)，查询速度优良；存储方面，位图桶是恒定为8192B的，数组桶的空间占用与基数(c)有关，为(2+2c)B；执行桶的则与它存储的连续序列数(r)有关，为(2+4r)B。以图3中的RBM为例，它一共存储了33868个unsigned int，只占用了10396个字节的空间，存储空间和存储效率都非常优秀。

本实施例中，步骤S2，也就是将位图数据存储到基于roaringbitmap的数据库中这一步骤，包括：

S201.获取基于roaringbitmap的数据库；

S202.若数据库中存在第一桶，将位图数据的第二部分数据位存储到第一桶，反之，则创建第一桶，将第二部分数据位存储到第一桶。

本实施例中，将数据库中所具有的地址与位图数据的第一部分数据位对应的桶称为第一桶，其可以通过搜索数据库中本身存在的桶来找到，如果数据库中本身没有相应的桶，那么就可以创建一个地址与位图数据的第一部分数据位对应的桶作为第一桶。其中，地址与位图数据的第一部分数据位对应，具体可以是地址与位图数据的第一部分数据位相同。

步骤S202的原理可以参照图4和图5所示。图4中，位图数据的全部数据位被分成了两部分，即第一部分数据位和第二部分数据位，其中第二部分数据位被存储到了第一桶的存储空间中。具体地，当位图数据的全部数据位被分成了两部分，位图数据的第一部分数据位可以是指位图数据的高16位，位图数据的第二部分数据位可以是指位图数据的低16位。

图5中，位图数据的全部数据位被分成了至少三部分，即第一部分数据位、第二部分数据位以及其他数据位，其中第二部分数据位被存储到了第一桶的存储空间中。

通过执行步骤S201-S202，可以实现使用基于roaringbitmap的数据库存储与标签数据对应的位图数据，从而实现存储标签数据。由于一个桶中只需存储位图数据中的部分数据位，即可实现对位图数据的存储，也就是实现对标签数据的存储，因此可以节约存储空间，在相同性能表现的情况下可以降低存储成本。

本实施例中，步骤S2，也就是将位图数据存储到基于roaringbitmap的数据库中这一步骤，还包括：

S203.若数据库中存在第二桶，建立第一桶到第二桶的映射关系，反之，则创建第二桶，建立第一桶到第二桶的映射关系。

本实施例中，将数据库中所具有的地址与位图数据的第三部分数据位对应的桶称为第二桶，其可以通过搜索数据库中本身存在的桶来找到，如果数据库中本身没有相应的桶，那么就可以创建一个地址与位图数据的第三部分数据位对应的桶作为第二桶。其中，地址与位图数据的第三部分数据位对应，具体可以是地址与位图数据的第三部分数据位相同。

步骤S203的原理可以参照图6所示。图6中，位图数据的全部数据位被分成了三部分，即第一部分数据位、第二部分数据位和第三部分数据位，其中，第一部分数据位与第一桶的地址对应，第二部分数据位被存储到了第一桶的存储空间中，第三部分数据位与第二桶的地址对应。步骤S203中，可以通过使用数据表记录第一桶的地址和第二桶的地址想方式，建立第一桶到第二桶的映射关系。

通过执行步骤S203，可以将第二桶的存储空间用于存储位图数据的数据位，从而起到拓展第一桶的存储空间的效果。

S204.当标签数据被扩充，获取位图数据中相应被扩充出的第四部分数据位，将第四部分数据位存储到第二桶。

在执行步骤S203的基础上，可以执行步骤S204，参照图7，将第二桶的存储空间用于存储位图数据的第四部分数据位，其中第四部分数据位可以是标签数据被扩充后，相应的位图数据的被扩充出的数据位。

通过执行步骤S204，可以将第二桶的存储空间用于存储位图数据被扩充出的数据位，从而使得位图数据和标签数据有扩充性，扩大标签数据的应用场景，例如在人工智能网络训练过程中的数据增强环节，可以应用本实施例中的标签数据存储方法存储通过数据增强所扩充的标签数据。

本实施例中，步骤S202中的创建第一桶这一步骤，包括：

S20201.当位图数据为元素，则将第一桶配置为数组桶；

S20202.当位图数据为元素序列，则分别确定第一空间占用和第二空间占用的大小，其中，第一空间占用为第一桶被配置为数组桶的情况下将位图数据存储到第一桶所占用的空间，第二空间占用为第一桶被配置为执行桶的情况下将位图数据存储到第一桶所占用的空间，如果第一空间占用小于第二空间占用，则将第一桶配置为数组桶，如果第一空间占用大于第二空间占用，则将第一桶配置为执行桶。

通过执行步骤S20201-S20202，可以根据位图数据的情况，选择第一桶的类型，从而在存储位图数据的情况下可以减小占用的存储空间。

本实施例中，步骤S202中的创建第一桶这一步骤，还包括：

S20203.当第一桶的容量不超过容量阈值4096，则将第一桶配置为数组桶；

S20204.当第一桶的容量超过容量阈值4096，且第一桶被配置为数组桶，则将第一桶配置为位图桶。

通过执行步骤S20203-S20204，可以根据第一桶的容量选择第一桶的类型，从而在存储位图数据的情况下可以减小占用的存储空间。

本实施例中，通过将人物标签和事件标签的数据集根据位图划分为两段，第一段用于关联相关存储单元，将数据集的第二段存储到关联的存储单元中，该方式可在现有的位图存储基础上，大幅缩减了对存储空间的需求，提高了存储空间的利用率用户越多，效果越明显。并且所述用户标签下的数据集对应的位图被划分的数据段对数满足2的正整数次幂，便于计算机的处理，满足绝大多数场景的需求，兼顾了存储空间和存储/检索效率的需求。

本实施例中，在进行标签数据查询是只需根据数据的高16位就可以找到相关的桶，无需对完整的用户标签进行逐位对比，通过快速定位存储单元的方式，同时仅需对比部分位上的数据，极大地提高了检索效率。同时，多个桶单元可并行检索，大大加快了数据检索速度。

本实施例中，一种计算机装置，包括存储器和处理器，所述存储器用于存储至少一个程序，所述处理器用于加载所述至少一个程序以执行实施例中的标签数据存储方法，实现与实施例所述的相同的技术效果。

本实施例中，一种存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行实施例中的标签数据存储方法，实现与实施例所述的相同的技术效果。

需要说明的是，如无特殊说明，当某一特征被称为“固定”、“连接”在另一个特征，它可以直接固定、连接在另一个特征上，也可以间接地固定、连接在另一个特征上。此外，本公开中所使用的上、下、左、右等描述仅仅是相对于附图中本公开各组成部分的相互位置关系来说的。在本公开中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。此外，除非另有定义，本实施例所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。本实施例说明书中所使用的术语只是为了描述具体的实施例，而不是为了限制本发明。本实施例所使用的术语“和/或”包括一个或多个相关的所列项目的任意的组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种元件，但这些元件不应限于这些术语。这些术语仅用来将同一类型的元件彼此区分开。例如，在不脱离本公开范围的情况下，第一元件也可以被称为第二元件，类似地，第二元件也可以被称为第一元件。本实施例所提供的任何以及所有实例或示例性语言(“例如”、“如”等)的使用仅意图更好地说明本发明的实施例，并且除非另外要求，否则不会对本发明的范围施加限制。

应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。

此外，可按任何合适的顺序来执行本实施例描述的过程的操作，除非本实施例另外指示或以其他方式明显地与上下文矛盾。本实施例描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。

进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本实施例所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。

计算机程序能够应用于输入数据以执行本实施例所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。

以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。

Claims

1.一种标签数据存储方法，其特征在于，包括：

获取所述标签数据对应的位图数据；

将所述位图数据存储到基于roaringbitmap的数据库中。

2.根据权利要求1所述的标签数据存储方法，其特征在于，所述将所述位图数据存储到基于roaringbitmap的数据库中，包括：

获取基于roaringbitmap的数据库；所述数据库中包括多个桶；

3.根据权利要求2所述的标签数据存储方法，其特征在于，所述将所述位图数据存储到基于roaringbitmap的数据库中，还包括：

4.根据权利要求3所述的标签数据存储方法，其特征在于，所述将所述位图数据存储到基于roaringbitmap的数据库中，还包括：

5.根据权利要求2-4任一项所述的标签数据存储方法，其特征在于，所述创建所述第一桶，包括：

当所述位图数据为元素，则将所述第一桶配置为数组桶；

6.根据权利要求5所述的标签数据存储方法，其特征在于，所述创建所述第一桶，还包括：

7.根据权利要求6所述的标签数据存储方法，其特征在于，所述容量阈值为4096。

8.根据权利要求2-4任一项所述的标签数据存储方法，其特征在于，所述位图数据的第一部分数据位为所述位图数据的高16位，所述位图数据的第二部分数据位为所述位图数据的低16位。

9.一种计算机装置，其特征在于，包括存储器和处理器，所述存储器用于存储至少一个程序，所述处理器用于加载所述至少一个程序以执行权利要求1-8任一项所述方法。

10.一种存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在由处理器执行时用于执行如权利要求1-8任一项所述方法。