CN108647338A - bitmap计算方法、装置、设备及存储介质 - Google Patents

Abstract

本发明公开了一种bitmap计算方法、装置、设备及存储介质，所述方法包括：获取对多个目标bitmap进行计算操作的操作链；将所述操作链转换为可运行的树形结构的操作树；运行所述操作树，进行bitmap计算。本发明实施例所述的方案，根据对多个目标bitmap的操作链，自动化生成各个操作之间的依赖关系树，以简化复杂bitmap操作的逻辑，节省用户对中间结果的控制逻辑。

Description

bitmap计算方法、装置、设备及存储介质

技术领域

本发明涉及数据处理领域，尤其涉及一种bitmap(位图)计算方法、装置、设备及存储介质。

背景技术

bitmap计算常用于用户包提取场景中，通过对bitmap的交、并、异或等操作获得最终结果。标准的bitmap应用需要用户自行控制中间结果，在增加开发难度的同时降低了系统的效率。

发明内容

鉴于上述问题，提出了本发明实施例以便提供一种解决上述问题的bitmap计算方法、装置、设备及存储介质。

依据本发明实施例的一个方面，提供一种bitmap计算方法，包括：

获取对多个目标bitmap进行计算操作的操作链；

将所述操作链转换为可运行的树形结构的操作树；

运行所述操作树，进行bitmap计算。

可选地，所述操作树由若干操作元组组成；每个所述操作元组包括进行bitmap计算所需的参数信息。

可选地，所述参数信息包括如下信息中的一个或多个：

bitmap计算方法、计算操作所需的bitmap的别名列表、计算操作后生成的bitmap的别名。

可选地，所述运行所述操作树，进行bitmap计算，包括：

遍历运行所述操作树的各所述操作元组；

运行所述操作元组时，根据所述计算操作所需的bitmap的别名列表，查找bitmap别名存储系统，得到bitmap数据；

按照所述bitmap计算方法，对得到的bitmap数据进行bitmap计算；

将所述计算操作后生成的bitmap的别名存入所述bitmap别名存储系统。

可选地，本发明实施例所述方法还包括：当所述操作树中添加操作元组时，按照设定的计算顺序调整策略，调整所述操作树中bitmap的计算顺序。

依据本发明实施例的第二个方面，提供一种位图bitmap计算装置，包括：

信息获取模块，用于获取对多个目标bitmap进行计算操作的操作链；

转换模块，用于将所述操作链转换为可运行的树形结构的操作树；

计算处理模块，用于运行所述操作树，进行bitmap计算。

可选地，所述转换模块转换得到的所述操作树由若干操作元组组成；每个所述操作元组包括进行bitmap计算所需的参数信息。

可选地，所述参数信息包括如下信息中的一个或多个：

bitmap计算方法、计算操作所需的bitmap的别名列表、计算操作后生成的bitmap的别名。

可选地，所述计算处理模块，具体用于：

遍历运行所述操作树的各所述操作元组；

运行所述操作元组时，根据所述计算操作所需的bitmap的别名列表，查找bitmap别名存储系统，得到bitmap数据；

按照所述bitmap计算方法，对得到的bitmap数据进行bitmap计算；

将所述计算操作后生成的bitmap的别名存入所述bitmap别名存储系统。

可选地，本发明实施例所述装置还包括：

调整模块，用于当所述操作树中添加操作元组时，按照设定的计算顺序调整策略，调整所述操作树中bitmap的计算顺序。

依据本发明实施例的第三个方面，提供一种计算设备，所述计算设备包括：存储器、处理器及通信总线；所述通信总线用于实现处理器和存储器之间的连接通信；

所述处理器用于执行存储器中存储的bitmap计算程序，以实现如上述的bitmap计算方法的步骤。

依据本发明实施例的第四个方面，提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现上述的bitmap计算方法的步骤。

本发明实施例所述的方案，根据对多个目标bitmap的操作链，自动化生成各个操作之间的依赖关系树，以简化复杂bitmap操作的逻辑，节省用户对中间结果的控制逻辑。

上述说明仅是本发明实施例技术方案的概述，为了能够更清楚了解本发明实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本发明实施例的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明实施例的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明实施例的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本发明第一实施例提供的一种bitmap计算方法的流程图；

图2为本发明第二实施例提供的一种bitmap计算方法的流程图；

图3为本发明第三实施例中bitmap操作标准的结构图；

图4为本发明第三实施例中Operation tree中operation元组示意图；

图5为本发明第四实施例提供的一种bitmap计算装置的结构框图；

图6为本发明第五实施例提供的一种计算设备的结构框图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

在本发明第一实施中提供的一种位图bitmap计算方法，如图1所示，本实施例所述方法包括如下步骤：

步骤S101，获取对多个目标bitmap进行计算操作的操作链；

本发明实施例中，在获取对多个目标bitmap集合进行计算操作的操作链之前，还包括：基于bitmap的域配置，根据计算需求，确定所需计算操作的目标bitmap。

在本发明的一个可选实施例中，通过用户设置的方式，确定目标bitmap。当然，本领域技术人员也可以通过设定一套目标bitmap确定策略，根据该策略自动确定目标bitmap。本发明实施例在此不对目标bitmap的确定方式做唯一限定。

在本发明的一个可选实施例中，在确定所需计算操作的目标bitmap后，获取用户设置的对目标bitmap进行计算操作的操作链。

也就是说，本发明实施例中，可以为用户提供一个接口，通过该接口，用户可以设置所需操作的bitmap列表和需要对bitmap进行的操作链。

其中，操作链也称作operation list，是一种用户可见的数据结构，以list结构存储，用户在设置时，只需要将每个操作组装后添加进operation list。例如，存在A、B、C、D四个bitmap，若需要计算‘A和B的交集’与‘B和C异或集’的并集，则(A and B)or(C xor D)，即为本发明实施例所述的操作链。

步骤S102，将所述操作链转换为可运行的树形结构的操作树；

本发明实施例中，操作树是一种隐含结构，将操作链转换为可运行的树形结构的操作树的过程，就是操作链的程序化表示。

步骤S103，运行所述操作树，进行bitmap计算。

由于操作链是对用户设置的对目标bitmap进行的具有逻辑关系的各种计算操作的组装，而操作树仅是将其程序化，所以，在运行操作树时，就是执行用户设置的各种计算操作的过程，根据该计算操作即可完成bitmap计算。本发明实施例中，bitmap的计算操作的类型包括：交、并、差、异或。

综上所述，本发明实施例所述方法，根据对多个目标bitmap的操作链，自动化生成各个操作之间的依赖关系树，以简化复杂bitmap操作的逻辑，该过程无需在计算过程中由用户自行控制中间结果，节省用户对中间结果的控制逻辑。

另外，本发明实施例中，通过运行操作树，实现bitmap计算，相比于将操作存成链表，能方便的发现更多的可优化点，更易用于操作优化，从而通过运行操作树进行bitmap计算，还可以从一定程度上增加bitmap计算时的可优化度。

在本发明的第二实施例中，提供一种bitmap计算方法，如图2所示，本实施例所述方法包括如下步骤：

步骤S201，获取对多个目标bitmap进行计算操作的操作链；

步骤S202，将所述操作链转换为可运行的树形结构的操作树；其中，操作树由若干操作元组组成；每个所述操作元组包括进行bitmap计算所需的参数信息。

步骤S203，按照操作树规定的操作逻辑，遍历运行所述操作树的各所述操作元组，以进行bitmap计算；

在本发明的一个示例性实施例中，步骤S202中，进行bitmap计算所需的参数信息包括三个元素，分别为：action、name、fields；

其中，action为bitmap计算方法；name为计算操作所需的bitmap的别名列表；fields为计算操作后生成的bitmap的别名。

需要指出的是，本领域技术人员可以根据需求在本发明所述的三元素的基础上进行减少元素或者增加元素。但无论是减少还是增加，若其是用于bitmap计算，则均在本发明的保护思想之内。

进一步地，本发明实施例中，在运行所述操作元组时，执行如下操作：

(1)根据元素name，查找bitmap别名存储系统，得到计算操作所需的bitmap的别名对应的bitmap数据；

(2)以根据元素action确定的bitmap计算方法，对(1)中得到的bitmap数据进行bitmap计算；

(3)按照根据fields元素确定的bitmap的别名，将计算操作后生成的bitmap存入所述bitmap别名存储系统。

在本发明的一个可选实施例中，当所述操作树中添加操作元组时，按照设定的计算顺序调整策略，调整所述操作树中bitmap的计算顺序。

本实施例中，计算顺序调整策略的基本设定原则是，减少计算次数保证添加操作元组后的计算顺序最优。例如，例如:“A and B”or“B and C”会直接基于集合运算的特点转化为“(A or C)and B”。

本实施例不对该调整策略做唯一限定，本领域技术人员可以根据需求灵活设定该策略。

可见，本发明实施例提出了一种bitmap操作标准，根据该标准即可顺利、高效的完成bitmap计算，节省了用户对中间结果的控制逻辑。

在本发明的第三实施例中，提供一种bitmap计算方法，本方法通过在bitmap计算执行之上提供一个逻辑操作标准，此标准允许用户设置所需操作的bitmap列表和需要对bitmap进行的操作链,后端引擎会解析此标准并且自动化生成各个操作之间的依赖关系树，例如：存在A，B，C，D四个bitmap，需要计算‘A和B的交集’与‘B和C异或集’的并集,因此将操作转化为公式(A and B)or(C xor D)，依赖关系树即为此公式的程序化表示,以简化复杂bitmap操作的逻辑,增加bitmap计算时的可优化度,节省用户对中间结果的控制逻辑。

本发明实施例所述的bitmap操作标准的结构图如图3所示，具体的，bitmap操作标准由三个模块组成，分别为：

(1)Schema：bitmap所属的域，用来区分不同模式下(例如不同的项目、不同算法)的bitmap集合；

(2)Phisical Source Key：原始bitmap在存储系统中存储的别名，用来快速定位查询到真实bitmap数据；

(3)Operation Tree：操作树；

Operation tree为隐含结构，用户可见的数据结构是操作链(operation list),以java中list结构存储，用户只需要将每个operation组装后添加进operation list，系统会自动将list转化为有依赖关系的树形结构operation tree。

Operation tree由operation元组组成，具体如图4所示，图中对operation元组进行标注。具体的：

每个operation元组由action、name、fields三个元素组成；action代表bitmap计算的方法，包含交、并、差、异或；name代表操作后生成的bitmap别名；fields代表所需操作的bitmap别名列表。需要说明的是，fields中可以包含其他operation元组生成的bitmap的别名。

本发明实施例中，bitmap操作标准根据Schema模块，为用户提供设置所需操作的bitmap列表的功能，并在用户设置所需操作的bitmap列表后，为用户提供设置需要对bitmap进行的操作链。

bitmap操作标准将操作链转换为Operation Tree，并运行该Operation tree。在运行Operation tree时，针对每个operation元组，执行如下操作：

(1)根据元素name，查找bitmap别名存储系统，得到计算操作所需的bitmap的别名对应的bitmap数据；

(2)以根据元素action确定的bitmap计算方法，对(1)中得到的bitmap数据进行bitmap计算；

(3)按照根据fields元素确定的bitmap的别名，将计算操作后生成的bitmap存入所述bitmap别名存储系统。

可见，本发明实施例提出了一种bitmap操作标准，根据该标准即可顺利、高效的完成bitmap计算，节省了用户对中间结果的控制逻辑，进而节省了85％的bitmap计算所需开发时间。

另外，需要指出的是，本发明实施例上述的bitmap计算方法，适用于各种bitmap操作,包括不限于and、or、xor；以及适用于各种开源bitmap实现，包括不限于roaringbitmap、concise bitmap。

在本发明的第四实施例中，提供一种bitmap计算装置，如图5所示，包括：

信息获取模块510，用于获取对多个目标bitmap进行计算操作的操作链；

转换模块520，用于将所述操作链转换为可运行的树形结构的操作树；

计算处理模块530，用于运行所述操作树，进行bitmap计算。

在本发明的一个可选实施例中，信息获取模块510在确定所需计算操作的目标bitmap后，获取用户设置的对目标bitmap进行计算操作的操作链。也就是说，本发明实施例中，可以为用户提供一个接口，通过该接口，用户可以设置所需操作的bitmap列表和需要对bitmap进行的操作链。

本实施例中，操作链也称作operation list，是一种用户可见的数据结构，以list结构存储，用户在设置时，只需要将每个操作组装后添加进operation list。

在本发明的一个可选实施例中，操作树是一种隐含结构，将操作链转换为可运行的树形结构的操作树的过程，就是操作链的程序化表示。

在本发明的一个可选实施例中，操作树由若干操作元组组成；每个所述操作元组包括进行bitmap计算所需的参数信息。其中，进行bitmap计算所需的参数信息包括三个元素，分别为：action、name、fields；

其中，action为bitmap计算方法；name为计算操作所需的bitmap的别名列表；fields为计算操作后生成的bitmap的别名。

需要指出的是，本领域技术人员可以根据需求在本发明所述的三元素的基础上进行减少元素或者增加元素。但无论是减少还是增加，若其是用于bitmap计算，则均在本发明的保护思想之内。

可选地，本发明实施例中，运行所述操作树，即为按照操作树规定的操作逻辑，遍历运行所述操作树的各所述操作元组，以进行bitmap计算。

具体的，在运行所述操作元组时，执行如下操作：

(1)根据元素name，查找bitmap别名存储系统，得到计算操作所需的bitmap的别名对应的bitmap数据；

(2)以根据元素action确定的bitmap计算方法，对(1)中得到的bitmap数据进行bitmap计算；

(3)按照根据fields元素确定的bitmap的别名，将计算操作后生成的bitmap存入所述bitmap别名存储系统。

在本发明的一个可选实施例中，所述装置还包括：

调整模块，用于当所述操作树中添加操作元组时，按照设定的计算顺序调整策略，调整所述操作树中bitmap的计算顺序。

本实施例中，计算顺序调整策略的基本设定原则是，减少计算次数保证添加操作元组后的计算顺序最优。例如，例如:“A and B”or“B and C”会直接基于集合运算的特点转化为“(A or C)and B”。

本实施例不对该调整策略做唯一限定，本领域技术人员可以根据需求灵活设定该策略。

综上所述，本发明实施例所述装置，根据对多个目标bitmap的操作链，自动化生成各个操作之间的依赖关系树，以简化复杂bitmap操作的逻辑，增加bitmap计算时的可优化度，以及节省用户对中间结果的控制逻辑。

在本发明第五实施例中，提供一种计算设备，如图6所示，所述计算设备包括：存储器610、处理器620及通信总线630；所述通信总线630用于实现处理器620和存储器610之间的连接通信；

所述处理器620用于执行存储器610中存储的bitmap计算程序，以实现如第一实施例、第二实施例任一所述的bitmap计算方法的步骤。

由于在第一实施例、第二实施例中，已经对bitmap计算方法步骤的实施过程进行了详细阐述，所以本实施例不再赘述。

在本发明第六实施例中，提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现如第一实施例、第二实施例任一所述的bitmap计算方法的步骤。

由于在第一实施例、第二实施例中，已经对bitmap计算方法步骤的实施过程进行了详细阐述，所以本实施例不再赘述。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

总之，以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种位图bitmap计算方法，其特征在于，包括：

获取对多个目标bitmap进行计算操作的操作链；

将所述操作链转换为可运行的树形结构的操作树；

运行所述操作树，进行bitmap计算。

2.如权利要求1所述的方法，其特征在于，所述操作树由若干操作元组组成；每个所述操作元组包括进行bitmap计算所需的参数信息。

3.如权利要求2所述的方法，其特征在于，所述参数信息包括如下信息中的一个或多个：

bitmap计算方法、计算操作所需的bitmap的别名列表、计算操作后生成的bitmap的别名。

4.如权利要求3所述的方法，其特征在于，所述运行所述操作树，进行bitmap计算，包括：

遍历运行所述操作树的各所述操作元组；

运行所述操作元组时，根据所述计算操作所需的bitmap的别名列表，查找bitmap别名存储系统，得到bitmap数据；

按照所述bitmap计算方法，对得到的bitmap数据进行bitmap计算；

将所述计算操作后生成的bitmap的别名存入所述bitmap别名存储系统。

5.如权利要求2或3或4所述的方法，其特征在于，所述方法还包括：

当所述操作树中添加操作元组时，按照设定的计算顺序调整策略，调整所述操作树中bitmap的计算顺序。

6.一种位图bitmap计算装置，其特征在于，包括：

信息获取模块，用于获取对多个目标bitmap进行计算操作的操作链；

转换模块，用于将所述操作链转换为可运行的树形结构的操作树；

计算处理模块，用于运行所述操作树，进行bitmap计算。

7.如权利要求6所述的装置，其特征在于，所述转换模块转换得到的所述操作树由若干操作元组组成；每个所述操作元组包括进行bitmap计算所需的参数信息。

8.如权利要求7所述的装置，其特征在于，所述参数信息包括如下信息中的一个或多个：

bitmap计算方法、计算操作所需的bitmap的别名列表、计算操作后生成的bitmap的别名。

9.如权利要求8所述的装置，其特征在于，所述计算处理模块，具体用于：

遍历运行所述操作树的各所述操作元组；

运行所述操作元组时，根据所述计算操作所需的bitmap的别名列表，查找bitmap别名存储系统，得到bitmap数据；

按照所述bitmap计算方法，对得到的bitmap数据进行bitmap计算；

将所述计算操作后生成的bitmap的别名存入所述bitmap别名存储系统。

10.如权利要求7或8或9所述的装置，其特征在于，还包括：

调整模块，用于当所述操作树中添加操作元组时，按照设定的计算顺序调整策略，调整所述操作树中bitmap的计算顺序。

11.一种计算设备，其特征在于，所述计算设备包括：存储器、处理器及通信总线；所述通信总线用于实现处理器和存储器之间的连接通信；

所述处理器用于执行存储器中存储的bitmap计算程序，以实现如权利要求1至5中任一项所述的bitmap计算方法的步骤。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现如权利要求1至5中任一项所述的bitmap计算方法的步骤。