CN111352932A

CN111352932A - 基于位图树算法提高数据处理效率的方法及装置

Info

Publication number: CN111352932A
Application number: CN201811577475.1A
Authority: CN
Inventors: 庞维翰; 吴列宏; 谭丽丽; 周劲宇
Original assignee: China Mobile Communications Group Co Ltd; China Mobile Group Guangdong Co Ltd
Current assignee: China Mobile Communications Group Co Ltd; China Mobile Group Guangdong Co Ltd
Priority date: 2018-12-20
Filing date: 2018-12-20
Publication date: 2020-06-30
Anticipated expiration: 2038-12-20
Also published as: CN111352932B

Abstract

本发明实施例提供一种基于位图树算法提高数据处理效率的方法及装置，所述方法包括：获取计费话单，确定所述计费话单对应的位图移动存储规则，并提取所述计费话单中的关键字段信息；将所述计费话单中的关键字段信息按照所述计费话单对应的位图移动存储规则进行存储，构建位图树Trie；读取所述位图树Trie，生成待处理的基础数据。本发明实施例通过将用户计费话单保存至位图树Trie中，可以极大地减少内存占用和资源消耗，同时具有搜索速度快等优点，可用于有效提高BOSS融合计费收入保障子系统的基础数据生成效率。

Description

基于位图树算法提高数据处理效率的方法及装置

技术领域

本发明实施例涉及电信业务支撑技术，更具体地，涉及一种基于位图树算法提高数据处理效率的方法及装置。

背景技术

业务运营支撑系统BOSS(Business&Operation Support System)是移动运营商企业支撑系统的核心，是实现移动运营商各分公司业务支撑、决策支持、数据集中和实时控制的平台。BOSS融合计费收入保障子系统是业务运营支撑系统BOSS的重要组成部分，而数据是实现融合计费和收入保障的最重要的元素。

由于BOSS融合计费收入保障子系统分析数据的来源涉及整个移动计费系统，数据量大，通常在百亿级以上，导致程序在处理数据时需要占用大量的内存和CPU计算能力，特别对整个生产系统的数据进行统计分析时，这个问题尤为突出。并且，目前BOSS融合计费收入保障子系统用到的程序在处理数据时都是按照传统的读取方式，即不管读取的对象数据是否重复，都将数据全部读取，然后缓存到内存中。传统的数据读取方式需要消耗大量的内存资源，在处理过程中，导致数据生成缓慢，甚至出现内存耗尽的情况，进而影响BOSS融合计费收入保障子系统的业务处理能力。

因此，亟需提供一种提高BOSS融合计费收入保障子系统中数据处理效率的方法。

发明内容

本发明实施例提供一种克服上述问题或者至少部分地解决上述问题的基于位图树算法提高数据处理效率的方法及装置。

第一方面，本发明实施例提供一种基于位图树算法提高数据处理效率的方法，包括：

获取计费话单，确定所述计费话单对应的位图移动存储规则，并提取所述计费话单中的关键字段信息；

将所述计费话单中的关键字段信息按照所述计费话单对应的位图移动存储规则进行存储，构建位图树Trie；

读取所述位图树Trie，生成待处理的基础数据。

第二方面，本发明实施例提供一种基于位图树算法提高数据处理效率的装置，包括：

获取模块，用于获取计费话单，确定所述计费话单对应的位图移动存储规则，并提取所述计费话单中的关键字段信息；

构建模块，用于将所述计费话单中的关键字段信息按照所述计费话单对应的位图移动存储规则进行存储，构建位图树Trie；

读取模块，用于读取所述位图树Trie，生成待处理的基础数据。

第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所提供的基于位图树算法提高数据处理效率的方法的步骤。

第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的基于位图树算法提高数据处理效率的方法的步骤。

本发明实施例提供的基于位图树算法提高数据处理效率的方法及装置，通过将用户计费话单保存至位图树Trie中，可以极大地减少内存占用和资源消耗，同时具有搜索速度快等优点，可以有效提高BOSS融合计费收入保障子系统的基础数据生成效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为根据本发明实施例提供的基于位图树算法提高数据处理效率的方法的流程示意图；

图2为本发明实施例提供的位图树Trie的结构示意图；

图3为本发明实施例提供的基于位图树算法提高数据处理效率的装置的结构示意图；

图4为本发明实施例提供的电子设备的实体结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为根据本发明实施例提供的基于位图树算法提高数据处理效率的方法的流程示意图，如图所示，包括：

步骤100、获取计费话单，确定所述计费话单对应的位图移动存储规则，并提取所述计费话单中的关键字段信息；

具体地，从BOSS系统、计费设备、计费网关或其他网元设备获取计费话单，所述计费话单包含了用户在用网过程中从计费会话开始到计费会话结束的过程中所生成的用户计费数据。

根据所述计费话单的文件类型或业务标识，确定所述计费话单对应的位图移动存储规则。

其中，位图移动存储规则包括：

语音业务位图移动规则：地市->批价时间->话单开始时间->交换局->品牌->产品ID->费项->漫游类型->长途类型->视频类型->计算(时长、话单、金额)；

GPRS业务位图移动规则：地市->批价时间->话单开始时间->交换局->品牌->产品ID->费项->漫游类型->网络类型->计算(流量、话单、金额)；

短彩业务位图移动规则：地市->批价时间->话单开始时间->交换局->品牌->产品ID->费项->漫游类型->企业代码->端口号->计算(话单、金额)；

WLAN业务位图移动规则：地市->批价时间->话单开始时间->交换局->品牌->产品ID->费项->计算(流量、话单、金额)；

固定费业务位图移动规则：地市->批价时间->话单开始时间->交换局->品牌->产品ID->费项->计算(话单、金额)；

然后根据所述计费话单对应的位图移动存储规则相应地提取所述计费话单中的关键字段信息。例如，若所述计费话单对应的是语音业务位图移动规则，则提取该计费话单中的关键字段信息包括：地市、批价时间、话单开始时间、交换局、品牌、产品ID、费项、漫游类型、长途类型、视频类型、计算(时长、话单、金额)。

步骤101、将所述计费话单中的关键字段信息按照所述计费话单对应的位图移动存储规则进行存储，构建位图树Trie；

具体地，确定了所述计费话单中的关键字段信息，则将所述计费话单中的关键字段信息按照对应的位图移动存储规则进行存储，即将所提取出的关键字段信息按照位图移动存储规则中的字段顺序逐一存储至位图树Trie中，每个关键字段信息对应位图树Trie的一个节点。

如图2所示，为本发明实施例提供的位图树Trie的结构示意图。位图树Trie是一种用于统计和保存大量字符的数据结构，它的优点是可以利用公共的前缀来节约存储空间。从根节点到某一个节点，路径上经过的字段连接起来，为该节点对应的字段信息。

对各位图移动存储规则进行比较可以发现，全局公共字段有：地市、批价时间、话单开始时间、交换局、品牌、产品ID、费项；局部公共字段有：漫游类型；私有字段有：长途类型、视频类型、网络类型(gprs)、企业代码、端口号(sms)；统计指标有：通话时长、流量、话单数、金额。因此，可以将所述计费话单中的关键字段信息按照所述计费话单对应的位图移动存储规则存储至位图树Trie中，从而构建了位图树Trie。采用位图树对用户的计费话单进行存储，可以极大地减少内存占用和资源消耗。

步骤102、读取所述位图树Trie，生成待处理的基础数据。

具体地，当需要利用用户计费话单进行计费时，读取所构建的位图树Trie即可获得计费话单的关键字段信息，作为待BOSS融合计费收入保障子系统处理的基础数据，从而利用这些关键字段信息进行计费汇总等操作。

本发明提供的基于位图树算法提高数据处理效率的方法，通过将用户计费话单保存至位图树Trie中，可以极大地减少内存占用和资源消耗，同时具有搜索速度快等优点，可以有效提高BOSS融合计费收入保障子系统的基础数据生成效率。

基于上述实施例的内容，所述将所述计费话单中的关键字段信息按照所述计费话单对应的位图移动存储规则进行存储，构建位图树的步骤，具体为：

将所述计费话单中的每个关键字段信息按照所述计费话单对应的位图移动存储规则逐一插入位图树Trie，并在插入时判断是否已存在与当前关键字段信息相同的节点，若存在则共享该节点，或者，若不存在，则创建新的边和节点。

具体地，将所述计费话单中的每个关键字段信息作为一个节点，按照所述计费话单对应的位图移动存储规则逐一插入位图树Trie。

在插入时判断是否已存在与当前关键字段信息相同的节点，若存在，则无需建立新的节点，只需共享该节点即可。若不存在，则在前一关键字段信息所对应节点的下方创建新的边和节点，从而完成一个节点的插入，重复上述操作，直至将所述计费话单中的所有关键字段信息存储下来。

基于上述各实施例的内容，所述确定所述计费话单对应的位图移动存储规则的步骤，具体为：

根据所述计费话单的文件类型，确定相应的位图移动存储规则。

具体地，计费话单中包含了很多分类信息，而本发明实施例中的关键字段信息是指计费需要用到的信息，根据计费话单所对应的文件类型，即可以获知所述计费话单对应的位图移动存储规则。

基于上述各实施例的内容，所述读取所述位图树Trie，生成BOSS融合计费收入保障子系统的基础数据的步骤，具体为：

从所述位图树Trie的根节点开始搜索，迭代执行以下步骤：

提取待处理的基础数据所对应的第一个关键字段；

根据所述第一个关键字段选择对应的位图子树并转至所述位图子树进行搜索；

继续搜索直至到达某一节点使得所述待处理的基础数据的所有关键字段均被取出。

具体地，读取位图树Trie的步骤是从根节点开始的，首先提取待处理的基础数据所对应的第一个关键字段，例如，若待处理的基础数据是一个语音业务计费话单，则所述待处理的基础数据所对应的第一个关键字段为地市。然后，根据所述第一个关键字段继续选择相应的位图子树，例如确定所述第一个关键字段地市对应的位图子树并转至所述位图子树继续进行搜索，直至最终到达最后一个所述位图子树的最后一个节点，使得所述待处理的基础数据的所有关键字段均为取出。

如图3所示，为本发明实施例提供的基于位图树算法提高数据处理效率的装置的结构示意图，包括：获取模块310、构建模块320和读取模块330，其中，

获取模块310，用于获取计费话单，确定所述计费话单对应的位图移动存储规则，并提取所述计费话单中的关键字段信息；

具体地，获取模块310从BOSS系统、计费设备、计费网关或其他网元设备获取计费话单，所述计费话单包含了用户在用网过程中从计费会话开始到计费会话结束的过程中所生成的用户计费数据。

获取模块310根据所述计费话单的文件类型或业务标识，确定所述计费话单对应的位图移动存储规则。

其中，位图移动存储规则包括：

然后获取模块310根据所述计费话单对应的位图移动存储规则相应地提取所述计费话单中的关键字段信息。例如，若所述计费话单对应的是语音业务位图移动规则，则提取该计费话单中的关键字段信息包括：地市->批价时间->话单开始时间->交换局->品牌->产品ID->费项->漫游类型->长途类型->视频类型->计算(时长、话单、金额)。

构建模块320，用于将所述计费话单中的关键字段信息按照所述计费话单对应的位图移动存储规则进行存储，构建位图树Trie；

具体地，确定了所述计费话单中的关键字段信息，构建模块220则将所述计费话单中的关键字段信息按照对应的位图移动存储规则进行存储，即将所提取出的关键字段信息按照位图移动存储规则中的字段顺序逐一存储至位图树Trie中，每个关键字段信息对应位图树Trie的一个节点。

位图树Trie是一种用于统计和保存大量字符的数据结构，它的优点是可以利用公共的前缀来节约存储空间。从根节点到某一个节点，路径上经过的字段连接起来，为该节点对应的字段信息。

读取模块330，用于读取所述位图树Trie，生成待处理的基础数据。

具体地，当需要利用用户计费话单进行计费时，读取模块230读取所构建的位图树Trie即可获得计费话单的关键字段信息，作为待BOSS融合计费收入保障子系统处理的基础数据，从而利用这些关键字段信息进行计费汇总等操作。

本发明提供的基于位图树算法提高数据处理效率的装置，通过将用户计费话单保存至位图树Trie中，可以极大地减少内存占用和资源消耗，同时具有搜索速度快等优点，可以有效提高BOSS融合计费收入保障子系统的基础数据生成效率。

基于上述实施例的内容，所述构建模块320具体用于：

具体地，构建模块320将所述计费话单中的每个关键字段信息作为一个节点，按照所述计费话单对应的位图移动存储规则逐一插入位图树Trie。

基于上述实施例的内容，所述获取模块310具体用于：

具体地，计费话单中包含了很多分类信息，而本发明实施了中的关键字段信息是指计费需要用到的信息，获取模块310根据计费话单所对应的文件类型，可以确定所述计费话单对应的位图移动存储规则。

基于上述实施例的内容，所述读取模块330具体用于：

从所述位图树Trie的根节点开始搜索，迭代执行以下步骤：

提取待处理的基础数据所对应的第一个关键字段；

具体地，读取模块330读取位图树Trie的步骤是从根节点开始的，首先提取待处理的基础数据所对应的第一个关键字段，例如，若待处理的基础数据是一个语音业务计费话单，则所述待处理的基础数据所对应的第一个关键字段为地市。然后，根据所述第一个关键字段继续选择相应的位图子树，例如确定所述第一个关键字段地市对应的位图子树并转至所述位图子树继续进行搜索，直至最终到达最后一个所述位图子树的最后一个节点，使得所述待处理的基础数据的所有关键字段均为取出。

图4为本发明实施例提供的电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储在存储器430上并可在处理器410上运行的计算机程序，以执行上述各实施例提供的基于位图树算法提高数据处理效率的方法，例如包括：获取计费话单，确定所述计费话单对应的位图移动存储规则，并提取所述计费话单中的关键字段信息；将所述计费话单中的关键字段信息按照所述计费话单对应的位图移动存储规则进行存储，构建位图树Trie；读取所述位图树Trie，生成待处理的基础数据。

此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各实施例提供的基于位图树算法提高数据处理效率的方法，例如包括：获取计费话单，确定所述计费话单对应的位图移动存储规则，并提取所述计费话单中的关键字段信息；将所述计费话单中的关键字段信息按照所述计费话单对应的位图移动存储规则进行存储，构建位图树Trie；读取所述位图树Trie，生成待处理的基础数据。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种基于位图树算法提高数据处理效率的方法，其特征在于，包括：

读取所述位图树Trie，生成待处理的基础数据。

2.根据权利要求1所述的方法，其特征在于，所述将所述计费话单中的关键字段信息按照所述计费话单对应的位图移动存储规则进行存储，构建位图树的步骤，具体为：

3.根据权利要求2所述的方法，其特征在于，所述确定所述计费话单对应的位图移动存储规则的步骤，具体为：

4.根据权利要求1所述的方法，其特征在于，所述读取所述位图树Trie，生成待处理的基础数据的步骤，具体为：

从所述位图树Trie的根节点开始搜索，迭代执行以下步骤：

提取待处理的基础数据所对应的第一个关键字段；

5.一种基于位图树算法提高数据处理效率的装置，其特征在于，包括：

6.根据权利要求5所述的装置，其特征在于，所述构建模块具体用于：

7.根据权利要求5所述的装置，其特征在于，所述获取模块具体用于：

8.根据权利要求5所述的装置，其特征在于，所述读取模块具体用于：

从所述位图树Trie的根节点开始搜索，迭代执行以下步骤：

提取待处理的基础数据所对应的第一个关键字段；

9.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述处理器通信连接的至少一个存储器，其中：

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至4任一所述的方法。

10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至4任一所述的方法。