CN103020131A - 一种实现通信详单的储存与查询的方法及系统 - Google Patents

Abstract

本发明涉及一种实现通信详单的存储和查询的方法及系统，所述方法包括：步骤1.将实时生成的标准话单文件在当日详单存储模块中实时处理，按号段生成当日详单存储文件；步骤2.将上一天生成的当日详单存储文件在往日详单规整模块中规整处理，生成往日详单规整文件，并建立日索引文件；步骤3.将指定月份的所有用户的所有往日详单规整文件在往月详单归档模块压缩归档，生成往月详单归档文件，并建立月索引文件；步骤4.根据手机号码和时间定位相应的详单文件完成查询。本发明的系统和发法通过划分详单，对不同的详单采用不同的数据组织形式，并进行不同方式的存储和查询，降低了成本，减少了风险，并提高了海量数据存储和查询的效率。

Description

一种实现通信详单的储存与查询的方法及系统

技术领域

本发明涉及电信系统的话单处理技术，特别是一种实现通信详单的储存与查询的方法及系统。

背景技术

目前全球企业数据的总容量大约是每三年就要翻两番。因此，如何保证企业拥有足够的存储空间可靠地存储数据，并能满足企业对低成本和高可用的数据需求，已经成为绝大多数企业面对的越来越严峻的挑战。

现有技术中，各大运营商大都采用数据库方式、文件系统方式对用户的详细话单，以下简称详单，进行存储和检索，或者整合数据库技术、文件系统技术实现混合存储和检索。其中采用数据库方式投资的成本大，系统的后期维护要求高，而采用文件系统方式又存在对于频繁变动数据的存储检索的效率低下的问题。概括地说，现有的各种技术中针对降低成本、减少风险和提高效率三个方面或多或少都有不足。

发明内容

本发明所要解决的技术问题是提供一种实现通信详单的存储与查询的方法及系统，用于解决现有技术中存在的成本高、风险高、效率低的问题。

本发明解决上述技术问题的技术方案如下：一种实现通信详单的存储和查询的方法，包括：

步骤1，将实时生成的标准话单文件在当日详单存储模块中进行实时处理，按号段生成当日详单存储文件。

步骤2，将上一天生成的当日详单存储文件在往日详单规整模块中进行规整处理，生成往日详单规整文件，同时为往日详单规整文件建立日索引文件。

步骤3，将指定月份的所有用户的所有往日详单规整文件在往月详单归档模块中进行压缩和归档，生成往月详单归档文件，同时为往月详单归档文件建立月索引文件。

这里，对于步骤1至步骤3，当日详单存储文件，往日详单规整文件及日索引文件、往月详单归档文件及月索引文件的建立过程即是一个建立详单数据库的过程。

步骤4，根据手机号码和时间定位相应的当日详单存储文件、往日详单规整文件及日索引文件或往月详单归档文件及月索引文件，采用数据库方式完成对相应详单文件的查询。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述步骤1具体包括：实时处理标准话单文件，根据话单记录中的计费号码，以手机号码前7位为一个号段把用户话单实时地在当日详单存储模块里进行处理，且每个号段对应生成一个当日详单存储文件，并按号段实时递增。这里，因为采用每个号段顺序写文件，入库速度快，不会有话单积压。

进一步，所述步骤1中当日详单存储文件按头记录格式存储用户话单，所述头记录格式包括2位空格用于删除标识符、2位业务代码、4位手机号码后4位、8位时间、8位文件名和6位记录长度。

进一步，所述步骤2中将上一天生成的当日详单存储文件在往日详单规整模块中进行规整处理包括：按用户、业务将当日详单存储文件进行分组合并，并将每个用户上一天产生的所有详单记录按业务聚合在一起，并在往日详单规整模块进行规整处理。

进一步，所述往日详单规整模块对详单记录进行规整处理时，将详单记录按手机号码后4位和业务代码分组，每组加上一个分区头记录，且生成的日索引文件中记录下每个分区中号码的后4位和业务代码对应的当日详单存储文件中规整后的首地址，将手机号码后4位作为一级索引，将业务代码对应的当日详单存储文件中规整后的首地址作为二级索引。这里的分区头记录与当日详单存储文件中采用头记录格式相同。

进一步，查找往日详单规整文件包括：通过手机号码后4位查找到一级索引；从一级索引指针再定位到二级索引首地址；进行匹配确认正常业务话单所述位置；得到所查找的往日详单文件中话单块的首地址长度；根据索引直接定位符合查询条件的详单所在位置，快速得到符合查询条件的详单。

进一步，所述步骤2中的日索引文件用于记录该用户各类业务详单记录的存储位置和存储空间。

进一步，所述步骤3中将指定月份的所有用户的所有往日详单规整文件在往月详单归档模块中进行压缩和归具体包括：将指定月份每个号段的详单记录聚合在一起，经指定压缩算法进行压缩后，形成以用户、业务为单位的归档数据块及压缩数据块，一个号段的所有用户的数据块存储在一起，形成该号段的往月详单归档文件。

进一步，所述步骤4具体包括：

步骤41，根据详单查询条件的查询时间段确定查询的话单在所在的详单文件；

步骤42，若要查询的话单在往月详单归档文件中，则先查询月索引文件，查到对应的索引记录后，打开相应的往月详单归档文件，并将指定位置的压缩块解压，直到查询到要找的话单记录；

步骤43，若要查询的话单在往日详单规整文件中，先从日索引文件中定位到要查的索引位置，打开相应的往日详单规整文件定位到指定位置，直到查询到要找的话单记录；

步骤44，若要查询的话单在当日详单存储文件中，直接打开当日详单存储文件，从第一条记录开始查找到最后一条记录，直到查询到要找的话单记录。

一种实现通信详单的存储和查询的系统，包括：

当日详单存储模块，用于实时处理实时生成的标准话单文件，按号段生成当日详单存储文件；

往日详单规整模块，用于规整和处理上一天生成的当日详单存储文件，生成往日详单规整文件，且同时为往日详单规整文件建立有日索引文件；

往月详单归档模块，用于将指定月份的所有用户的所有往日详单规整文件进行进行压缩和归档，生成往月详单归档文件，同时为往月详单归档文件建立月索引文件；

详单查询模块，用于根据手机号码和时间定位相应的当日详单存储文件、往日详单规整文件及日索引文件或往月详单归档文件及月索引文件，并采用数据库方式完成对相应详单文件的查询。

本发明的有益效果是：

一、本发明的当日详单存储文件有无序、分散、无索引文件、有头记录等特点，其查询效率较相比有索引文件的查询略低，目的是为了加快数据存储速度，解决由于系统存储慢造成没有及时存储，而在存储入口造成大量的积压的问题。

二、本发明的往日详单规整文件有有序、分散、有索引文件等特点，其加快了后续流程查询用户详单记录的速度，查询效率高。

三、本发明的往月详单归档文件的格式类似于往日详单规整文件，其方便保留大量的详单，详单数据库会对上一个月31个往日文件和索引进行压缩生成一个月存储文件和一个月索引文件，来保留上一个月的所有详单记录。另外，还由于压缩大大减少了磁盘空间占用。同时，往月详单归档文件具有有序、集中、有索引文件、查询效率高等特点，其采用数据压缩存储，占用空间小，适于长期保存。

四、综合来说，本发明的系统和发法通过划分详单，对不同的详单采用不同的数据组织形式，并进行不同方式的存储和查询，降低了成本，减少了风险，并提高了海量数据存储和查询的效率。

附图说明

图1为本发明所述一种用于实现通信详单的存储与查询的方法的流程无示意图；

图2为本发明所述一种用于实现通信详单的存储与查询的系统结构示意图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

如图1所示，实施例一是一种基于详单管理系统的实现通信详单的存储和查询的方法，包括步骤1至步骤4：

步骤1，实时处理计费批价系统实时生成的标准话单文件，根据话单记录中的计费号码，以手机号码前7位为一个号段把用户话单实时地在当日详单存储模块里进行处理，且每个号段对应生成一个当日详单存储文件，并按号段实时递增。这里，因为采用每个号段顺序写文件，入库速度快，不会有话单积压。经测试，实施例一的当日详单存储的单进程详单处理性能超过5000条/秒。将实时生成的标准话单文件在当日详单存储模块中进行实时处理，按号段生成当日详单存储文件

当日详单存储文件按头记录格式存储用户话单，所述头记录格式包括2位空格用于删除标识符、2位业务代码、4位手机号码后4位、8位时间、8位文件名和6位记录长度。

步骤2，将上一天生成的当日详单存储文件在往日详单规整模块中进行规整处理，生成往日详单规整文件，同时为往日详单规整文件建立日索引文件，日索引文件用于记录该用户各类业务详单记录的存储位置和存储空间，能加快后续流程检索用户详单记录的速度。

步骤2中，将上一天生成的当日详单存储文件在往日详单规整模块中进行规整处理包括：按用户、业务将当日详单存储文件进行分组合并，并将每个用户上一天产生的所有详单记录按业务聚合在一起，并在往日详单规整模块进行规整处理。所述往日详单规整模块对详单记录进行规整处理时，将详单记录按手机号码后4位和业务代码分组，每组加上一个分区头记录，且生成的日索引文件中记录下每个分区中号码的后4位和业务代码对应的当日详单存储文件中规整后的首地址，将手机号码后4位作为一级索引，将业务代码对应的当日详单存储文件中规整后的首地址作为二级索引。

查找往日详单规整文件时：通过手机号码后4位查找到一级索引；从一级索引指针再定位到二级索引首地址；进行匹配确认正常业务话单所述位置；得到所查找的往日详单文件中话单块的首地址长度；根据索引直接定位符合查询条件的详单所在位置，快速得到符合查询条件的详单。

步骤3，将指定月份的所有用户的所有往日详单规整文件在往月详单归档模块中进行压缩和归档，生成往月详单归档文件，同时为往月详单归档文件建立月索引文件。

将指定月份的所有用户的所有往日详单规整文件在往月详单归档模块中进行压缩和归具体包括：将指定月份每个号段的详单记录聚合在一起，经指定压缩算法进行压缩后，形成以用户、业务为单位的归档数据块及压缩数据块，一个号段的所有用户的数据块存储在一起，形成该号段的往月详单归档文件。

步骤4，根据手机号码和时间定位相应的当日详单存储文件、往日详单规整文件及日索引文件或往月详单归档文件及月索引文件，采用数据库方式完成对相应详单文件的查询。具体包括：

步骤41，根据详单查询条件的查询时间段确定查询的话单在所在的详单文件；

步骤42，若要查询的话单在往月详单归档文件中，则先查询月索引文件，查到对应的索引记录后，打开相应的往月详单归档文件，并将指定位置的压缩块解压，直到查询到要找的话单记录；

步骤4 3，若要查询的话单在往日详单规整文件中，先从日索引文件中定位到要查的索引位置，打开相应的往日详单规整文件定位到指定位置，直到查询到要找的话单记录；

步骤4 4，若要查询的话单在当日详单存储文件中，直接打开当日详单存储文件，从第一条记录开始查找到最后一条记录，直到查询到要找的话单记录。

对于步骤41至步骤44，以查询15210836199用户在2012年9月1日到当日（假设为2012年10月23日）的详单为例，所要查询的详单文件包括1521083号段9月份的往月详单归档文件，10月1日至22日的往日详单规整文件，和10月23日的当日详单存储文件。

根据实施例一所述的方法，可建立一种实现通信详单的存储和查询的系统，如图2所示，包括：

当日详单存储模块，用于实时处理实时生成的标准话单文件，按号段生成当日详单存储文件；

往日详单规整模块，用于规整和处理上一天生成的当日详单存储文件，生成往日详单规整文件，且同时为往日详单规整文件建立有日索引文件；

往月详单归档模块，用于将指定月份的所有用户的所有往日详单规整文件进行进行压缩和归档，生成往月详单归档文件，同时为往月详单归档文件建立月索引文件；这里，当日详单存储模块，往日详单规整模块、往月详单归档模块生成的相应详单文件的过程实质上建立一个包括相应详单文件的详单数据库的过程；

详单查询模块，用于根据手机号码和时间定位相应的当日详单存储文件、往日详单规整文件及日索引文件或往月详单归档文件及月索引文件，采用数据库方式完成对相应详单文件的查询。

实施例二：一个省有2000万用户，分到两台主机处理，每台主机就是1000万的用户，对每台主机建4个海量文件级数据库来存储客户端来存储详单，同时每一个主机启动一个详单查询对外统一组件，启动20个详单查询服务群。

当日详单存储实时运行，把批价后的标准话单存入详单文件中；

详单查询实时运行，对用户的详单查询命令进行响应；

往日详单规整每天执行一次，对前一天的静态详单文件进行排序规整，生成索引，提高查询效率；

往月详单归档，每月执行一次，对前一月的详单文件进行压缩归档，以节省存储空间。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种实现通信详单的存储和查询的方法，其特征在于，包括：

步骤1，将实时生成的标准话单文件在当日详单存储模块中进行实时处理，按号段生成当日详单存储文件；

步骤2，将上一天生成的当日详单存储文件在往日详单规整模块中进行规整处理，生成往日详单规整文件，同时为往日详单规整文件建立日索引文件；

步骤3，将指定月份的所有用户的所有往日详单规整文件在往月详单归档模块中进行压缩和归档，生成往月详单归档文件，同时为往月详单归档文件建立月索引文件；

步骤4，根据手机号码和时间定位相应的当日详单存储文件、往日详单规整文件及日索引文件或往月详单归档文件及月索引文件，采用数据库方式完成对相应详单文件的查询。

2.根据权利要求1所述的方法，其特征在于，所述步骤1具体包括：实时处理标准话单文件，根据话单记录中的计费号码，以手机号码前7位为一个号段把用户话单实时地在当日详单存储模块里进行处理，且每个号段对应生成一个当日详单存储文件，并按号段实时递增。

3.根据权利要求2所述的方法，其特征在于，当日详单存储文件按头记录格式存储用户话单，所述头记录格式包括2位空格用于删除标识符、2位业务代码、4位手机号码后4位、8位时间、8位文件名和6位记录长度。

4.根据权利要求1所述的方法，其特征在于，所述步骤2中将上一天生成的当日详单存储文件在往日详单规整模块中进行规整处理包括：按用户、业务将当日详单存储文件进行分组合并，并将每个用户上一天产生的所有详单记录按业务聚合在一起，并在往日详单规整模块进行规整处理。

5.根据权利要求4所述的方法，其特征在于，所述往日详单规整模块对详单记录进行规整处理时，将详单记录按手机号码后4位和业务代码分组，每组加上一个分区头记录，且生成的日索引文件中记录下每个分区中号码的后4位和业务代码对应的当日详单存储文件中规整后的首地址，将手机号码后4位进行分区作为一级索引，将业务代码用链表串接作为二级索引。

6.根据权利要求5所述的方法，其特征在于，查找往日详单规整文件包括：通过手机号码后4位查找到一级索引；从一级索引指针再定位到二级索引首地址；进行匹配确认正常业务话单所述位置；得到所查找的往日详单文件中话单块的首地址长度；根据索引直接定位符合查询条件的详单所在位置。

7.根据权利要求1所述的方法，其特征在于，所述步骤2中的日索引文件用于记录该用户各类业务详单记录的存储位置和存储空间。

8.根据权利要求1所述的方法，其特征在于，所述步骤3中将指定月份的所有用户的所有往日详单规整文件在往月详单归档模块中进行压缩和归档具体包括：将指定月份每个号段的详单记录聚合在一起，经指定压缩算法进行压缩后，形成以用户、业务为单位的归档数据块及压缩数据块，一个号段的所有用户的数据块存储在一起，形成该号段的往月详单归档文件。

9.根据权利要求1所述的方法，其特征在于，所述步骤4具体包括：

步骤41，根据详单查询条件的查询时间段确定查询的话单在所在的详单文件；

步骤42，若要查询的话单在往月详单归档文件中，则先查询月索引文件，查到对应的索引记录后，打开相应的往月详单归档文件，并将指定位置的压缩块解压，直到查询到要找的话单记录；

步骤43，若要查询的话单在往日详单规整文件中，先从日索引文件中定位到要查的索引位置，打开相应的往日详单规整文件定位到指定位置，直到查询到要找的话单记录；

步骤44，若要查询的话单在当日详单存储文件中，直接打开当日详单存储文件，从第一条记录开始查找到最后一条记录，直到查询到要找的话单记录。

10.一种实现通信详单的存储和查询的系统，其特征在于，包括：

当日详单存储模块，用于实时处理实时生成的标准话单文件，按号段生成当日详单存储文件；

往日详单规整模块，用于规整和处理上一天生成的当日详单存储文件，生成往日详单规整文件，且同时为往日详单规整文件建立有日索引文件；

往月详单归档模块，用于将指定月份的所有用户的所有往日详单规整文件进行进行压缩和归档，生成往月详单归档文件，同时为往月详单归档文件建立月索引文件；

详单查询模块，用于根据手机号码和时间定位相应的当日详单存储文件、往日详单规整文件及日索引文件或往月详单归档文件及月索引文件，并采用数据库方式完成对相应详单文件的查询。

Images