CN108681587B - bitmap生成方法、装置、设备及存储介质 - Google Patents

Abstract

本发明公开了一种bitmap生成方法、装置、设备及存储介质，所述方法包括：确定需要bit化的目标数据；调用预设的哈希算法，计算所述目标数据对应的整数类型的bit id；将所述bit id存储入bitmap。本发明实施例提供的方案，在确定需要bit化的目标数据，直接调用具有低碰撞率的哈希算法进行bit id的计算，极大的提高了bit id的计算效率，并且由于无需设置分布式int id生成引擎降低了系统的复杂度。

Description

bitmap生成方法、装置、设备及存储介质

技术领域

本发明涉及数据处理领域，尤其涉及一种bitmap(位图)生成方法、装置、设备及存储介质。

背景技术

数据分析中通常需要进行用户包提取，用户包提取时经常会借助bitmap技术。bitmap计算需要系统提供一个标准的int(整数类型)的元素id，即bitid，来进行数据组装。例如:业务系统中使用varchar(可变长)字符串类型的数据作为‘用户’的唯一标识，为将‘用户’作为bitmap中的‘元素’保存进bitmap，需要将元素的varchar值标识转化为int类型的数值标识。为满足此类需要，对于非int主键类数据而言，需要提供一个分布式的int id生成器来生成bitmap可用的bit id，这增加了系统的复杂度，同时降低了系统效率。

发明内容

鉴于上述问题，提出了本发明实施例以便提供一种解决上述问题的bitmap生成方法、装置、设备及存储介质。

依据本发明实施例的一个方面，提供一种bitmap生成方法，包括：

确定需要bit化的目标数据；

调用预设的哈希算法，计算所述目标数据对应的整数类型的bit id；

将所述bit id存储入bitmap。

可选地，在计算所述目标数据对应的整数类型的bit id后，还包括：存储所述bitid与所述目标数据的对应关系。

可选地，所述预设的哈希算法包括：murmur哈希算法。

可选地，在确定需要bit化的目标数据之后，具体包括：

判断所述目标数据是否为非整数类型主键类数据，当判断结果为是时，调用预设的哈希算法，计算所述目标数据对应的整数类型的bit id。

依据本发明实施例的第二个方面，提供一种bitmap生成装置，包括：

信息处理模块，用于确定需要bit化的目标数据；

计算引擎模块，用于调用预设的哈希算法，计算所述目标数据对应的整数类型的bit id，并将所述bit id存储入bitmap。

可选地，所述bitmap生成装置，还包括：

存储模块，用于在所述计算引擎模块计算得到所述目标数据对应的整数类型的bit id后，存储所述bit id与所述目标数据的对应关系。

可选地，所述计算引擎模块调用的哈希算法包括：murmur哈希算法。

可选地，所述bitmap生成装置，还包括：

判断模块，用于判断所述目标数据是否为非整数类型主键类数据，当判断结果为是时，触发所述计算引擎模块。

依据本发明实施例的第三个方面，提供一种计算设备，所述计算设备包括：存储器、处理器及通信总线；所述通信总线用于实现处理器和存储器之间的连接通信；

所述处理器用于执行存储器中存储的bitmap生成程序，以实现上述的bitmap生成方法的步骤。

依据本发明实施例的第四个方面，提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现上述的bitmap生成方法的步骤。

本发明实施例提供的方案，在确定需要bit化的目标数据，直接调用具有低碰撞率的哈希算法进行bit id的计算，极大的提高了bit id的计算效率，并且由于无需设置分布式int id生成引擎降低了系统的复杂度。

上述说明仅是本发明实施例技术方案的概述，为了能够更清楚了解本发明实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本发明实施例的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明实施例的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明实施例的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为现有的bitmap应用架构图；

图2为本发明第一实施例提供的一种bitmap生成方法的流程图；

图3为本发明第二实施例提供的一种bitmap生成方法的流程图；

图4为本发明第三实施例提供的一种bitmap生成方法的流程图；

图5为本发明实施例改进后的bitmap应用架构图；

图6为本发明第五实施例提供的一种bitmap生成装置的结构框图；

图7为本发明第五实施例提供的又一bitmap生成装置的结构框图；

图8为本发明第五实施例提供的再一bitmap生成装置的结构框图；

图9为本发明第六实施例提供的一种计算设备的结构框图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

如图1所示，为现有的bitmap应用架构图，bitmap应用架构具体包括：

一，基础数据；

基础数据包含需要计算bitmap的维度和所需bit化的数据；

例如：业务系统中的用户信息表记录了用户账户、年龄、性别、爱好、籍贯、注册日期等信息。若希望快速的基于各种条件，例如:年龄＝18、性别＝男、籍贯＝北京，筛选提取‘用户账户包’，则可以使用bitmap记录用户账户包，用户账户字段即为所需bit化的数据,各个筛选字段即为查询维度。

二，bitmap计算引擎；

bitmap计算引擎基于基础数据中的维度及bit id化字段进行bitmap生成。

具体的，在生成bitmap时，bitmap计算引擎调用分布式int id生成引擎，将bit id化字段的原始值作为查询参数，然后获取分布式int id生成引擎生成并返回的int类型的id。此int类型id即为bitmap中存储的元素的bit id。同时，bitmap计算引擎还将生成的bitmap存储进bitmap存储引擎。

三，分布式int id生成引擎；

分布式int id生成引擎，在接收到bitmap计算引擎发送的bit id化字段的原始值后，高效率的生成唯一int类型的bit id，并将该bit id返回给bitmap计算引擎。

分布式int id生成引擎要保证同一输入生成的int类型的bit id相同，同一个原始值永远对应同一个int类型id。

分布式int id生成引擎生成bit id后，需要同时将bit id与原始值的对应关系保存在bit id存储引擎以面对之后应用中可能的基于bit id反查其原始值的需求。

本发明实施例中，分布式int id生成引擎可以单不限于采取snowflake技术生成bit id。

四，bit id存储引擎，用于存储bit id和原始数据的对应关系，以及对外提供基于bit id反查原始数据的功能。

五，bit map存储引擎，用于存储各个维度值下的bitmap结果数据。

六，bit map应用；

bitmap计算和查询：基于基础bitmap进行并、交、差、异或操作，查询bitmap结果，需要与bitmap存储引擎交互；

bit id逆向查询：基于bit id查询数据原始值，需要与bit id存储引擎交互。

可见，在上bitmap应用架构下，bitmap生成过程中，需要提供一个分布式的int id生成器来生成bitmap可用的bit id，另外，该分布式的int id生成器需要保证两个基本需求，一个是稳定性，即同一个原始值必须生成同一个bitid；另一个是唯一性，即不同原始值对应bit id不同。这就使得现有的bitmap生成过程不能友好的适用于数据量远远超过int所能表示的最大数据范围的情况。所以，现有的bitmap生成过程，需要引入分布式的int id生成器从而增加了系统的复杂度。另外，当数据量远远超过int所能表示的最大数据范围时，bit id重复率高，从而影响了系统效率。

对此，本发明第一实施提供的一种bitmap生成方法，本实施例所述方法考虑到，在大多数情况下，用户包并不需要100％的准确度，并且考虑到hash算法具有低碰撞率的特性，本发明实施例所述方法提供了一套标准和引入一个低碰撞率、高效的hash算法用来预估int id以增加数据计算效率。

具体的，如图2所示，本实施例所述方法包括如下步骤：

步骤S201，确定需要bit化的目标数据；

本发明实施例中，根据基础数据确定需要计算bitmap的维度，在各维度下，确定需要bit化的目标数据。其中，目标数据即bit化前的原始数据。

在本发明的一个可选实施例中，在各维度下，根据用户手动指定的输入数据，确定需要bit化的目标数据。

步骤S202，调用预设的哈希算法，计算所述目标数据对应的整数类型的bit id；

在本发明的一个可选实施例中，所述预设的哈希算法为murmur哈希算法。当然，采用murmur哈希算法只是一种示例描述，本领域技术人员可以根据需求灵活调整采用何种哈希算法。采用任何低碰撞率和/或高效的哈希算法实现bit id的计算均在本发明的保护思想范围之内。

可选地，本发明实施例中，不同的域需要bit化的数据需要区分，所以，本实施例中，在进行bit id计算时，按照bitmap的域配置对需要bit化的数据进行区分。例如，用户id和设备id可能hash后一样，但是准确来说这俩是两个作用域的，所以并不会产生bit id混淆的情况，提高了bit id复用率。

本发明实施例中，在计算bit id时，直接调用具有低碰撞率的哈希算法进行bitid的计算，而现有技术中，bit id的生成需要借助分布式int id生成引擎(该引擎常用的采用snow flake算法计算bit id)，而分布式int id生成引擎是一个部署在多台服务器上的分布式服务程序,调用需要进行网络交互。可见，本发明实施例通过引入hash算法，使得程序直接可以本地调用的该算法，不需要再去做网络交互，极大的提高了bit id的计算效率。

步骤S203，将所述bit id存储入bitmap。

综上，本发明实施例所述方法，在确定需要bit化的目标数据，直接调用具有低碰撞率的哈希算法进行bit id的计算，极大的提高了bit id的计算效率，并且由于无需设置分布式int id生成引擎降低了系统的复杂度。

在本发明的第二实施例中，提供的一种bitmap生成方法，如图3所示，本实施所述方法包括如下步骤：

步骤S301，确定需要bit化的目标数据；

步骤S302，判断所述目标数据是否为非整数类型主键类数据，当判断结果为是时，执行步骤S303；

本发明实施例中，在调用哈希算法计算目标数据的bit id前，优先对目标数据的主键类进行判断，只有在主键类为非整数类型时，才启动执行步骤S303，而对于整数类型的主键类数据，可以直接采用主键作为bit id，无需后续计算操作。通过增加该判断操作，可以进一步提高bitmap生成效率。

步骤S303，调用预设的哈希算法，计算所述目标数据对应的整数类型的bit id；

步骤S304，将所述bit id存储入bitmap。

本实施例中的各步骤，与第一实施例相同的部分，其具体实施过程可参见第一实施例，本实施例在此不再重复赘述。

综上可知，本发明实施例所述方法，在确定需要bit化的目标数据，直接调用具有低碰撞率的哈希算法进行bit id的计算，极大的提高了bit id的计算效率，并且由于无需设置分布式int id生成引擎降低了系统的复杂度。另外，在调用哈希算法计算目标数据的bit id前，优先对目标数据的主键类进行判断，只有在主键类为非整数类型时，才启动执行步骤S303，从而可以进一步提高bitmap生成效率。

在本发明的第三实施例中，提供的一种bitmap生成方法，如图4所示，本实施所述方法包括如下步骤：

步骤S401，确定需要bit化的目标数据；

步骤S402，调用预设的哈希算法，计算所述目标数据对应的整数类型的bit id；

步骤S403，将所述bit id存储入bitmap；

步骤S404，存储所述bit id与所述目标数据的对应关系。

本发明实施例中，在计算得到bit id后，存储所述bit id与所述目标数据的对应关系，从而实现根据bit id逆向查询原始值。

本实施例中的各步骤，与第一实施例相同的部分，其具体实施过程可参见第一实施例，本实施例在此不再重复赘述。

综上，本发明实施例所述方法，在支持“int类型bit id逆向查询原始值”和“int类型bit id生成”的同时，在确定需要bit化的目标数据后，直接调用具有低碰撞率的哈希算法进行bit id的计算，极大的提高了bit id的计算效率，并且由于无需设置分布式int id生成引擎降低了系统的复杂度。

在本发明的第四实施例中，结合改进后的bitmap应用架构图，如图5所示，对本发明实施例提供的一种bitmap生成方法进行详细说明。本发明实施例中：

一，基础数据；

基础数据包含需要计算bitmap的维度和所需bit化的数据；

二，bitmap计算引擎；

bitmap计算引擎根据bitmap域配置，自动调用int类型的bit id计算算法生成所需bit化的数据对应的bit id，将该bit id存入bitmap，并且自动保存bitid与原始数据间的对应关系到bit id存储引擎，以应对bit id反查原始值功能。本发明实施例中，在bit id计算算法中引入了murmur hash算法,通过murmurhash计算元素的bit id值。

本发明实施例中，通过bitmap域管理，确定bitmap的域配置，具体的，bitmap的域配置包括：bitmap命名管理、及所生成的bitmap在存储引擎中存储时的别名，以进行不同项目、不同需求下的bitmap区分。

三，bit id存储引擎，用于存储bit id和原始数据的对应关系，以及对外提供基于bit id反查原始数据的功能。

四，bit map存储引擎，用于存储各个维度值下的bitmap结果数据。

五，bit map应用；

bitmap计算和查询：基于基础bitmap进行并、交、差、异或操作，查询bitmap结果，需要与bitmap存储引擎交互；

bit id逆向查询：基于bit id查询数据原始值，需要与bit id存储引擎交互。

在本发明的第五实施例中，提供一种bitmap生成装置，如图6所示，本实施例所述装置包括：

信息处理模块610，用于确定需要bit化的目标数据；

计算引擎模块620，用于调用预设的哈希算法，计算所述目标数据对应的整数类型的bit id，并将所述bit id存储入bitmap。

可选地，本发明实施例中，根据基础数据确定需要计算bitmap的维度，在各维度下，确定需要bit化的目标数据。其中，目标数据即bit化前的原始数据。

可选地，本发明实施例中，在各维度下，根据用户手动指定的输入数据，确定需要bit化的目标数据。

可选地，本发明实施例中，所述预设的哈希算法为murmur哈希算法。当然，采用murmur哈希算法只是一种示例描述，本领域技术人员可以根据需求灵活调整采用何种哈希算法。采用任何低碰撞率和/或高效的哈希算法实现bitid的计算均在本发明的保护思想范围之内。

可选地，本发明实施例中，不同的域需要bit化的数据需要区分，所以，本实施例中，在进行bit id计算时，按照bitmap的域配置对需要bit化的数据进行区分。例如，用户id和设备id可能hash后一样，但是准确来说这俩是两个作用域的，所以并不会产生bit id混淆的情况，提高了bit id复用率。

可选地，本发明实施例中，在计算bit id时，区别于现有技术中需要将目标数据发送到分布式int id生成引擎进行bit id的生成，本发明实施例直接调用具有低碰撞率的哈希算法进行bit id的计算，极大的提高了bit id的计算效率。

可选地，如图7所示，本发明实施例所述装置还包括：

存储模块630，用于在计算引擎模块620计算得到所述目标数据对应的整数类型的bit id后，存储所述bit id与所述目标数据的对应关系。本发明实施例中，在计算得到bitid后，存储所述bit id与所述目标数据的对应关系，从而实现根据bit id逆向查询原始值。

可选地，如图8所示，本发明实施例所述装置还包括：

判断模块640，用于判断所述目标数据是否为非整数类型主键类数据，当判断结果为是时，触发所述计算引擎模块620。本实施例中，在调用哈希算法计算目标数据的bit id前，优先对目标数据的主键类进行判断，只有在主键类为非整数类型时，才启动执行bit id计算操作，从而可以进一步提高bitmap生成效率。

综上所述，本发明实施例所述装置，在确定需要bit化的目标数据，直接调用具有低碰撞率的哈希算法进行bit id的计算，极大的提高了bit id的计算效率，并且由于无需设置分布式int id生成引擎降低了系统的复杂度。

在本发明的第六实施例中，提供一种计算设备，如图9所示，所述计算设备包括：存储器910、处理器920及通信总线930；所述通信总线930用于实现处理器920和存储器910之间的连接通信；

处理器920用于执行存储器910中存储的bitmap生成程序，以实现如第一实施例、第二实施例、第三实施例中任一所述的bitmap生成方法的步骤。

由于第一实施例、第二实施例、第三实施例已经对bitmap生成方法进行了详细的阐述，本发明实施例在此不再赘述。

在本发明的第七实施例中，提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现如如第一实施例、第二实施例、第三实施例中任一所述的bitmap生成方法的步骤。

由于第一实施例、第二实施例、第三实施例已经对bitmap生成方法进行了详细的阐述，本发明实施例在此不再赘述。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

总之，以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种位图bitmap生成方法，其特征在于，包括：

确定需要位bit化的目标数据，其中，所述确定需要位bit化的目标数据包括：根据基础数据确定所需计算bitmap的维度，在各维度下，根据用户指定来确定需要bit化的目标数据，所述目标数据为bit化前的原始数据；

调用预设的哈希算法，计算所述目标数据对应的整数类型的位标识bitid；

将所述bitid存储入bitmap。

2.如权利要求1所述的方法，其特征在于，在计算所述目标数据对应的整数类型的bitid后，还包括：存储所述bitid与所述目标数据的对应关系。

3.如权利要求1所述的方法，其特征在于，所述预设的哈希算法包括：murmur哈希算法。

4.如权利要求1或2或3所述的方法，其特征在于，在确定需要bit化的目标数据之后，具体包括：

判断所述目标数据是否为非整数类型主键类数据，当判断结果为是时，调用预设的哈希算法，计算所述目标数据对应的整数类型的bitid。

5.一种bitmap生成装置，其特征在于，包括：

信息处理模块，用于确定需要bit化的目标数据，其中，所述信息处理模块具体用于，根据基础数据确定所需计算bitmap的维度，在各维度下，根据用户指定来确定需要bit化的目标数据，所述目标数据为bit化前的原始数据；

计算引擎模块，用于调用预设的哈希算法，计算所述目标数据对应的整数类型的bitid，并将所述bitid存储入bitmap。

6.如权利要求5所述的装置，其特征在于，还包括：

存储模块，用于在所述计算引擎模块计算得到所述目标数据对应的整数类型的bitid后，存储所述bitid与所述目标数据的对应关系。

7.如权利要求5所述的装置，其特征在于，所述计算引擎模块调用的哈希算法包括：murmur哈希算法。

8.如权利要求5或6或7所述的装置 ，其特征在于，还包括：

判断模块，用于判断所述目标数据是否为非整数类型主键类数据，当判断结果为是时，触发所述计算引擎模块。

9.一种计算设备，其特征在于，所述计算设备包括：存储器、处理器及通信总线；所述通信总线用于实现处理器和存储器之间的连接通信；

所述处理器用于执行存储器中存储的bitmap生成程序，以实现如权利要求1至4中任一项所述的bitmap生成方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现如权利要求1至4中任一项所述的bitmap生成方法的步骤。

Images