CN105827670A - 一种数据处理方法和装置 - Google Patents

Abstract

本发明实施例公开了一种数据处理方法和装置，采集话单数据，并对所采集的话单数据以话单文件的形式存储于存储设备中；对所述话单文件进行预处理，得到格式化的话单文件；对所述存储于存储设备中的格式化的话单文件进行并行方式的N次批价处理，得到处理后的N个话单文件和对应的N个批价目录；其中，N的取值为大于1的正整数；将所述处理后的N个话单文件和对应的N个批价目录存储于所述存储设备中；对所述处理后的N个话单文件进行分发处理，分发到对应数据库。

Description

一种数据处理方法和装置

技术领域

本发明涉及通信网络的数据业务技术，尤其涉及一种数据处理方法和装置。

背景技术

随着移动通信网络的快速发展，尤其是数据业务的不断开展，运营商将会为用户提供更多的数据管理服务。在传统的业务运营支撑系统(Business&OperationSupportSystem，BOSS)中，所有的话单文件全部保存在存储区域网络(StorageAreaNetwork，SAN)架构下的企业级存储系统中。

图1为相关技术中串行的话单读取处理架构图。为了实现对话单业务的批价处理，在图1所示的传统的线性话单读写(I/O)处理架构中，各个应用服务器之间的话单文件需要进行文件传输协议(FileTransferProtocol，FTP)传输。具体地，基于图1所示的线性话单读写处理架构，所述话单数据线性读写处理流程包括：

步骤1，话单数据采集；

步骤2，话单数据预处理，得到预处理后的话单数据；

步骤3，对所述预处理后的话单数据依次进行一次批价、二次批价、三次批价处理，且多次批价处理之间采用FTP方式传输批价处理后的话单数据；

步骤4，将批价处理后的话单数据进行分发处理，分发至对应数据库。

综上所述，传统的话单数据线性读写处理流程存在如下缺陷：1)对话单数据进行批价处理过程中，多次批价之间采用FTP传输，其传输效率低且会有多个副本文件产生，几次批价就会造成同等倍数的空间浪费；2)计费系统目前利用FTP方式在各功能模块间传输大量数据，存在性能瓶颈；3)传统的话单数据文件占用大量在线存储空间，严重影响处理性能。

发明内容

有鉴于此，本发明实施例提供一种数据处理方法和装置，能够在有效提高针对话单数据的读写处理效率的同时节省存储空间，从而提高数据处理性能。

为达到上述目的，本发明实施例的技术方案是这样实现的：

本发明实施例提供一种数据处理方法，该方法包括：

采集话单数据，并对所采集的话单数据以话单文件的形式存储于存储设备中；

对所述话单文件进行预处理，得到格式化的话单文件；

对所述存储于存储设备中的格式化的话单文件进行并行方式的N次批价处理，得到处理后的N个话单文件和对应的N个批价目录；其中，N的取值为大于1的正整数；

将所述处理后的N个话单文件和对应的N个批价目录存储于所述存储设备中；

对所述处理后的N个话单文件进行分发处理，分发到对应数据库。

上述方案中，所述对所述存储于存储设备中的格式化的话单文件进行并行方式的N次批价处理，得到处理后的N个话单文件和对应的N个批价目录，包括：

对所述存储于存储设备中的格式化的话单文件进行并行方式的N次批价处理，获得N个批价处理后的话单文件，并对应生成N个批价目录；

根据所述N个批价目录删除所述N个批价处理后的话单文件中的重叠部分，得到处理后的N个话单文件。

上述方案中，所述方法应用于星形的话单读取处理架构中。

上述方案中，所述对所采集的话单数据以话单文件的形式存储于存储设备，包括：

将所采集的话单数据以话单文件的形式存储于高性能的网络附属存储器。

上述方案中，所述对所述话单文件进行预处理，得到格式化的话单文件，包括：

将存储于高性能的网络附属存储器的话单文件转化为话单系统可识别的格式化的话单文件，并将所述格式化的话单文件集中存储在同一目录下。

本发明实施例还提供一种数据处理装置，所述装置包括采集模块、存储模块、预处理模块、批价处理模块和分发处理模块；

所述采集模块，用于采集话单数据；

所述存储模块，用于对所采集的话单数据以话单文件的形式存储于存储设备中；还用于将所述处理后的N个话单文件和对应的N个批价目录存储于所述存储设备中；

所述预处理模块，用于对所述话单文件进行预处理，得到格式化的话单文件；

所述批价处理模块，用于对所述存储于存储设备中的格式化的话单文件进行并行方式的N次批价处理，得到处理后的N个话单文件和对应的N个批价目录；其中，N的取值为大于1的正整数；

所述分发处理模块，用于对所述处理后的N个话单文件进行分发处理，分发到对应数据库。

上述方案中，所述批价处理模块包括批价处理单元和删除单元；

所述批价处理单元，对所述存储于存储设备中的格式化的话单文件进行并行方式的N次批价处理，获得N个批价处理后的话单文件，并对应生成N个批价目录；

所述删除单元，用于根据所述N个批价目录删除所述N个批价处理后的话单文件中的重叠部分，得到处理后的N个话单文件。

上述方案中，所述装置应用于星形的话单读取处理架构中。

上述方案中，所述存储模块，用于将所采集的话单数据以话单文件的形式存储于高性能的网络附属存储器。

上述方案中，所述预处理模块，用于将存储于高性能的网络附属存储器的话单文件转化为话单系统可识别的格式化的话单文件，并将所述格式化的话单文件集中存储在同一目录下。

本发明实施例所提供的数据处理方法和装置，采集话单数据，并对所采集的话单数据以话单文件的形式存储于存储设备中；对所述话单文件进行预处理，得到格式化的话单文件；对所述存储于存储设备中的格式化的话单文件进行并行方式的N次批价处理，得到处理后的N个话单文件和对应的N个批价目录；其中，N的取值为大于1的正整数；将所述处理后的N个话单文件和对应的N个批价目录存储于所述存储设备中；对所述处理后的N个话单文件进行分发处理，分发到对应数据库。如此，能够在有效提高针对话单数据的读写处理效率的同时节省存储空间，从而提高数据处理性能。

附图说明

图1为相关技术中串行的话单读取处理架构图；

图2为本发明实施例数据处理方法的实现流程示意图；

图3为本发明实施例星形的话单读取处理架构图；

图4为本发明实施例对所述存储于存储设备中的格式化的话单文件进行并行方式的N次批价处理的实现流程示意图；

图5为本发明实施例数据处理装置的组成结构示意图；

图6为本发明实施例批价处理模块的组成结构示意图。

具体实施方式

在本发明实施例中，采集话单数据，并对所采集的话单数据以话单文件的形式存储于存储设备中；对所述话单文件进行预处理，得到格式化的话单文件；对所述存储于存储设备中的格式化的话单文件进行并行方式的N次批价处理，得到处理后的N个话单文件和对应的N个批价目录；其中，N的取值为大于1的正整数；将所述处理后的N个话单文件和对应的N个批价目录存储于所述存储设备中；对所述处理后的N个话单文件进行分发处理，分发到对应数据库。

下面结合附图及具体实施例对本发明再作进一步详细的说明。

实施例一

图2为本发明实施例数据处理方法的实现流程示意图，如图2所示，本发明实施例数据处理方法包括：

步骤S101：采集话单数据，并对所采集的话单数据以话单文件的形式存储于存储设备中；

具体地，应用于话单系统的数据处理装置实时地或周期性地从交换机上直接采集话单数据，并对所采集的话单数据以话单文件的形式存储于存储设备中。

这里，当话单系统包括高性能的网络附属存储器(HP-NAS)时，所述数据处理装置可以将所采集的话单数据以话单文件的形式存储于所述HP-NAS。

需要说明的是，由于话单系统是业务支撑网的核心系统，因此所述HP-NAS通常为双节点配置；所述既可以提供高达193,000IOPS的话单处理能力，又可以保证数据存储空间的冗余即数据存储的可靠性。

步骤S102：对所述话单文件进行预处理，得到格式化的话单文件；

具体地，数据处理装置可以将存储于HP-NAS的话单文件转化为话单系统可识别的格式化的话单文件，并将所述格式化的话单文件集中存储在同一目录下。

步骤S103～S104：对所述存储于存储设备中的格式化的话单文件进行并行方式的N次批价处理，得到处理后的N个话单文件和对应的N个批价目录；再将所述处理后的N个话单文件和对应的N个批价目录存储于所述存储设备中；其中，N的取值为大于1的正整数。

这里，需要说明的是，本发明实施例所述数据处理方法应用于如图3所示的星形的话单读取处理架构中，使得本发明实施例对所述存储于存储设备中的格式化的话单文件进行并行方式的N次批价处理的过程与现有技术基于线性话单读取处理架构的批价处理过程存在明显区别。

下面以N＝4为例来详细说明本发明实施例基于星形的话单读取处理架构批价处理过程与现有技术中基于线性话单读取处理架构的批价处理过程所存在的本质区别。在如图3所示的星形的话单读取处理架构中，应用服务器一、应用服务器二、应用服务器三、及应用服务器四分别并行地对所述存储于诸如HP-NAS的存储设备中的格式化的话单文件进行一次批价处理、二次批价处理、三次批价处理、及四次批价处理，且每次批价处理之间相互独立；而在如图1所示的基于线性话单读取处理架构中，应用服务器一首先对存储在第一存储设备中的格式化的话单文件进行一次批价处理，得到一次批价处理后的话单文件，并存储于与第一存储设备不同的第二存储设备中；接着应用服务器二通过FTP方式从所述第二存储设备中获取一次批价处理后的话单文件，并执行二次批价处理，得到二次批价处理后的话单文件；依此类推，直到完成四次批价处理，并在第五存储设备中存储有四次批价处理后的话单文件。

因此，在本发明实施例中，数据处理装置可以对所述存储于存储设备中的格式化的话单文件进行并行方式的N次批价处理，这样恰好与现有技术的批价处理方法不同，即各次批价处理之间不再需要在不同的存储设备间通过FTP方式对各次批价处理后的话单文件进行传输，完全可以直接地采用并行的方式对所述存储于存储设备中的格式化的话单文件进行N次批价处理，得到处理后的N个话单文件和对应的N个批价目录；之后，再将所述处理后的N个话单文件和对应的N个批价目录存储于所述存储设备中。如此，大大节省了中间FTP传输时间，从而提高数据处理效率；同时，通过将所述处理后的N个话单文件和对应的N个批价目录统一存储于所述存储设备中，使得各次批价处理之间可以在逻辑上实现不同目录间的访问；另外，由于本发明实施例中各处批价处理之间相互独立，属于并行方式的多线程处理过程，因此，与现有技术的批价处理方法相比，批价处理速率得到显著提高，从而提高整个数据处理速率。

具体地，如4所示，所述对所述存储于存储设备中的格式化的话单文件进行并行方式的N次批价处理，得到处理后的N个话单文件和对应的N个批价目录，包括：

步骤S1031：对所述和对应的N个批价目录格式化的话单文件进行并行方式的N次批价处理，获得N个批价处理后的话单文件，并对应生成N个批价目录；

这里，由于在步骤S102中，数据处理装置已将存储于HP-NAS的格式化的话单文件集中存储在同一目录下，因此，在对所述格式化的话单文件进行并行方式的N次批价处理，获得N个批价处理后的话单文件的同时，还可以对应生成N个批价目录。

需要说明的是，具体的单次批价处理过程与现有技术在的单次批价处理过程相类似，这里不再赘述。

步骤S1032：根据所述N个批价目录删除所述N个批价处理后的话单文件中的重叠部分，得到处理后的N个话单文件。

具体地，数据处理装置启动HP-NAS的重复数据删除功能，根据所述N个批价目录删除所述N个批价处理后的话单文件中的重叠部分，得到处理后的N个话单文件。

这样，通过步骤S103～S104，有效保证了所述话单数据经批价处理，同时，在HP-NAS中只增加对批价处理过程中所涉及的相应数据信息的存储外，不再增加对多个副本文件，即重复文件的存储，从而避免了现有技术中因多次批价所导致的同等倍数的空间浪费问题，进而达到节省存储空间的目的。

步骤S105：对所述处理后的N个话单文件进行分发处理，分发到对应数据库。

需要说明的是，数据处理装置对所述处理后的N个话单文件进行分发处理，分发到对应数据库的过程可以按照现有技术中的分发处理操作，这里不再赘述。

如此，通过本发明实施例的数据处理方法，能够在有效提高针对话单数据的读写处理效率的同时节省存储空间，从而提高数据处理性能。

实施例二

图5为本发明实施例数据处理装置的组成结构示意图，如图5所示，所述装置包括采集模块501、存储模块502、预处理模块503、批价处理模块504和分发处理模块505；

所述采集模块501，用于采集话单数据；

所述存储模块502，用于对所采集的话单数据以话单文件的形式存储于存储设备中；还用于将所述处理后的N个话单文件和对应的N个批价目录存储于所述存储设备中；

具体地，所述存储模块502将所采集的话单数据以话单文件的形式存储于HP-NAS。

所述预处理模块503，用于对所述话单文件进行预处理，得到格式化的话单文件；

具体地，所述预处理模块503将存储于高性能的网络附属存储器的话单文件转化为话单系统可识别的格式化的话单文件，并将所述格式化的话单文件集中存储在同一目录下。

所述批价处理模块504，用于对所述存储于存储设备中的格式化的话单文件进行并行方式的N次批价处理，得到处理后的N个话单文件和对应的N个批价目录；其中，N的取值为大于1的正整数；

所述分发处理模块505，用于对所述处理后的N个话单文件进行分发处理，分发到对应数据库。

这里，需要补充说明的是，所述装置应用于如图3所示的星形的话单读取处理架构中。

在一实施例中，如图6所示，所述批价处理模块504包括批价处理单元5041和删除单元5042；

所述批价处理单元5041，对所述存储于存储设备中的格式化的话单文件进行并行方式的N次批价处理，获得N个批价处理后的话单文件，并对应生成N个批价目录；

所述删除单元5042，用于根据所述N个批价目录删除所述N个批价处理后的话单文件中的重叠部分，得到处理后的N个话单文件。

在实际应用中，本发明实施例中提供的各模块及模块所包括的各单元均可以通过数据处理装置中的中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)、或现场可编程门阵列(FPGA)实现。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (10)

1.一种数据处理方法，其特征在于，所述方法包括：

采集话单数据，并对所采集的话单数据以话单文件的形式存储于存储设备中；

对所述话单文件进行预处理，得到格式化的话单文件；

对所述存储于存储设备中的格式化的话单文件进行并行方式的N次批价处理，得到处理后的N个话单文件和对应的N个批价目录；其中，N的取值为大于1的正整数；

将所述处理后的N个话单文件和对应的N个批价目录存储于所述存储设备中；

对所述处理后的N个话单文件进行分发处理，分发到对应数据库。

2.根据权利要求1所述的方法，其特征在于，所述对所述存储于存储设备中的格式化的话单文件进行并行方式的N次批价处理，得到处理后的N个话单文件和对应的N个批价目录，包括：

对所述存储于存储设备中的格式化的话单文件进行并行方式的N次批价处理，获得N个批价处理后的话单文件，并对应生成N个批价目录；

根据所述N个批价目录删除所述N个批价处理后的话单文件中的重叠部分，得到处理后的N个话单文件。

3.根据权利要求1或2所述的方法，其特征在于，所述方法应用于星形的话单读取处理架构中。

4.根据权利要求1或2所述的方法，其特征在于，所述对所采集的话单数据以话单文件的形式存储于存储设备中，包括：

将所采集的话单数据以话单文件的形式存储于高性能的网络附属存储器。

5.根据权利要求4所述的方法，其特征在于，所述对所述话单文件进行预处理，得到格式化的话单文件，包括：

将存储于高性能的网络附属存储器的话单文件转化为话单系统可识别的格式化的话单文件，并将所述格式化的话单文件集中存储在同一目录下。

6.一种数据处理装置，其特征在于，所述装置包括采集模块、存储模块、预处理模块、批价处理模块和分发处理模块；

所述采集模块，用于采集话单数据；

所述存储模块，用于对所采集的话单数据以话单文件的形式存储于存储设备中；还用于将所述处理后的N个话单文件和对应的N个批价目录存储于所述存储设备中；

所述预处理模块，用于对所述话单文件进行预处理，得到格式化的话单文件；

所述批价处理模块，用于对所述存储于存储设备中的格式化的话单文件进行并行方式的N次批价处理，得到处理后的N个话单文件和对应的N个批价目录；其中，N的取值为大于1的正整数；

所述分发处理模块，用于对所述处理后的N个话单文件进行分发处理，分发到对应数据库。

7.根据权利要求6所述的装置，其特征在于，所述批价处理模块包括批价处理单元和删除单元；

所述批价处理单元，对所述存储于存储设备中的格式化的话单文件进行并行方式的N次批价处理，获得N个批价处理后的话单文件，并对应生成N个批价目录；

所述删除单元，用于根据所述N个批价目录删除所述N个批价处理后的话单文件中的重叠部分，得到处理后的N个话单文件。

8.根据权利要求6或7所述的装置，其特征在于，所述装置应用于星形的话单读取处理架构中。

9.根据权利要求6或7所述的装置，其特征在于，

所述存储模块，用于将所采集的话单数据以话单文件的形式存储于高性能的网络附属存储器。

10.根据权利要求9所述的装置，其特征在于，

所述预处理模块，用于将存储于高性能的网络附属存储器的话单文件转化为话单系统可识别的格式化的话单文件，并将所述格式化的话单文件集中存储在同一目录下。