CN102737061A - 分布式话单查询管理系统及方法 - Google Patents

Abstract

本发明涉及一种分布式话单查询管理系统及方法，上述系统包括内存文件数据库单元，网络文件管理单元以及2个或2个以上彼此相连的数据获取单元；上述方法预先将话单文件中的通话记录的索引存储到内存文件数据库单元中，并将上述话单文件存储到网络文件管理单元中，当数据获取单元收到用户查询请求后，转发给上述内存文件数据库单元，上述内存文件数据库单元查找符合条件的索引记录，返回查询结果，数据获取单元将查询结果作为一批次任务，分配给自身及系统中其他正常工作的数据获取单元；各数据获取单元执行任务并返回位置信息，当前数据获取单元读取其中的内容并汇总，将汇总结果返回给用户。本发明易扩充且成本低。

Description

分布式话单查询管理系统及方法

技术领域

本发明涉及通讯行业的业务产品领域，尤其涉及一种分布式话单查询管理系统及方法。

背景技术

通讯行业的业务产品中，特别是WAP(Wireless Application Protocol，无线应用协议)业务，产生的用户计费话单数据量很大，拿一个普通省份来说，每天产生的话单文件约几十G，通话记录约几亿条，当话单量随着业务增长持续增加时，对数据查询管理系统的性能考验越来越高，目前的话单查询管理系统以传统的关系数据库为基础，对话单数据进行管理和查询等，其性能会随着数据量的增加而逐渐降低，且系统扩充涉及到的修改量和扩容费用庞大。

发明内容

本发明的目的是提供一种分布式话单查询管理系统及方法，以解决现有技术数据量增长与查询效率之间的瓶颈问题。

本发明提供了一种分布式话单查询管理系统，包括内存文件数据库单元，网络文件管理单元以及2个或2个以上彼此相连的数据获取单元，

上述内存文件数据库单元，用于存储话单文件中的通话记录的索引，以及在收到查询请求时，查找符合查询条件的索引记录，并将查询结果返回给发送上述查询请求的数据获取单元；

上述网络文件管理单元，用于存储话单文件，以及为各数据获取单元分配目录文件；

上述数据获取单元，用于将收到的用户查询请求转发给上述内存文件数据库单元，并将上述内存文件数据库单元返回的查询结果作为一批次任务，分配给自身和上述系统中其他正常工作的数据获取单元，以及执行分配给自身的任务，收集自身及上述其他正常工作的数据获取单元的执行结果，并对上述执行结果进行汇总处理后返回给用户。

优选地，上述内存文件数据库单元，用于逐条读取查找到的符合查询条件的索引记录中的偏移量字段和文件名字段，生成查询结果。

优选地，上述数据获取单元包括查询模块，任务分配模块、任务执行模块以及汇总模块，

上述查询模块，用于接收用户查询请求，并将接收到的用户查询请求转发给上述内存文件数据库单元，以及将上述内存数据库模块返回的查询结果作为一批次任务发送给本地任务分配模块，或者将上述汇总模块发送来的汇总结果返回给用户；

上述任务分配模块，用于按照预设的分配规则，分配收到的任务并分发给本地任务执行模块和上述系统中其他正常工作的数据获取单元的任务执行模块；以及将收到的位置信息发送给本地汇总模块；

上述任务执行模块，用于执行收到的任务，并将执行结果所在的文件的位置信息返回给发送上述任务的任务分配模块；

上述汇总模块，用于根据收到的位置信息，读取其中的内容并进行汇总处理，以及将汇总结果发送给本地查询模块。

优选地，上述任务执行模块，用于根据收到的任务，在上述网络文件管理单元中查找相应的话单文件，以及在找到的话单文件中查找对应的通话记录，并读取找到的通话记录，将其存储到上述网络文件管理单元分配给本装置的目录文件中。

上述汇总模块，用于根据收到的位置信息，在上述网络文件管理单元查找对应的目录文件，读取上述目录文件中的通话记录，对上述通话记录进行排序处理。

优选地，上述任务分配模块，用于暂存收到的任务；

上述任务执行模块，用于判断本次收到的任务是否执行完毕。

本发明还提供了一种话单管理查询方法，预先将话单文件中的通话记录的索引存储到内存文件数据库单元中，并将上述话单文件存储到网络文件管理单元中，当收到用户查询请求后，分布式查询管理系统执行如下操作：

收到用户查询请求的当前数据获取单元将查询请求转发给上述内存文件数据库单元；

上述内存文件数据库单元在本地索引记录中查找符合查询条件的索引记录，并将查询结果返回给上述当前数据获取单元；

上述当前数据获取单元将查询结果作为一批次任务，分配给自身及分布上述系统中其他正常工作的数据获取单元；

各数据获取单元执行收到的任务，并将执行结果所在文件的位置信息返回给上述当前数据获取单元；

上述当前数据获取单元根据收到的位置信息，读取其中的内容并汇总，将汇总结果返回给用户。

优选地，上述通话记录的索引包括主被叫号码、通话起止时间、通话记录在话单文件中的偏移量以及上述话单文件在上述网络文件管理单元中的文件名。

优选地，上述内存文件数据库单元在本地索引记录中查找符合查询条件的索引记录，并将查询结果返回给上述当前数据获取单元步骤具体包括以下步骤：

在本地索引记录中查找符合查询条件的索引记录；

逐条读取符合查询条件的索引记录中的偏移量字段和文件名字段，生成查询结果；

将上述查询结果返回给上述当前数据获取单元。

优选地，上述各数据获取单元执行收到的任务，并将执行结果所在文件的位置信息返回给上述当前数据获取单元步骤具体包括：

根据当前任务，在上述网络文件管理单元中查找相应的话单文件，并在找到的话单文件中查找对应的通话记录；

读取上述通话记录，并将其存储到上述网络文件管理单元分配给自身的目录文件中；

判断本次收到的任务是否执行完毕，若是，则返回上述目录文件的位置信息给上述当前数据获取单元，否则执行下一个任务。

优选地，上述当前数据获取单元根据收到的位置信息，读取其中的内容并汇总，将汇总结果返回给用户步骤具体包括以下步骤：

根据收到的位置信息，在上述网络文件管理单元中查找相应的目录文件；

读取其中的通话记录；

对读取到的上述通话记录进行排序，汇总处理；

将得到的汇总结果返回给用户。

本发明在用户查询话单时，采用索引定位到通话记录，并通过任务分解和分布式执行，完成大批量任务的执行和汇总，运行成本低；当任务持续增加时，负荷被合理分担到整个系统中的各数据获取单元上，不存在执行效率瓶颈问题；当系统需要扩容时，只需要简单的增配数据获取单元和存储设备，即可实现无缝扩充，对原有系统几乎无影响。本发明尤其适合T级(T表示太字节，即Terabyte，1T＝1024G)或PT级(P表示Petabyte，1PT＝1000T)以上海量数据文件的存储查询管理。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明分布式话单查询管理系统的原理框图；

图2是图1中的数据获取单元的原理框图；

图3是本发明话单查询管理方法的流程图。

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚、明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，是本发明分布式话单查询管理系统的原理框图，本实施例中，分布式话单查询管理系统包括内存文件数据库单元01，网络文件管理单元02以及N个彼此相连的数据获取单元03，分别为第一数据获取单元、第二数据获取单元、......第N数据获取单元，其中，

内存文件数据库单元01，用于存储话单文件中的通话记录的索引，以及在收到查询请求时，查找符合查询条件的索引记录，并逐条读取符合查询条件的索引记录中的偏移量字段和文件名字段，生成当前索引记录的查询结果，将所有查询结果返回给发送上述查询请求的数据获取单元03；

网络文件管理单元02，用于存储话单文件，以及为各数据获取单元03分配目录文件；

数据获取单元03，用于将收到的用户查询请求转发给上述内存文件数据库单元01，并将上述内存文件数据库单元01返回的查询结果作为一批次任务，分配给自身和本系统中其他正常工作的数据获取单元03，以及执行分配给自身的任务，收集自身及本系统其他正常工作的数据获取单元03的执行结果，并对上述执行结果进行汇总处理后返回给用户。

用户可以通过客户端的WEB界面，输入查询请求，查询管理系统收到查询请求后，即对其进行处理，并返回查询结果给用户。

如图2所示，是图1中数据获取单元的原理框图，数据获取单元03包括查询模块31，任务分配模块32、任务执行模块33以及汇总模块34，其中，

查询模块31，用于接收用户查询请求，并将接收到的用户查询请求转发给内存文件数据库单元01，以及将内存数据库模块01返回的查询结果作为一批次任务发送给本地任务分配模块02，或者将本地汇总模块32发送来的汇总结果返回给用户；

任务分配模块32，用于按照预设的分配规则，分配收到的任务并分发给本地任务执行模块33和上述系统中其他正常工作的数据获取单元的任务执行模块，并暂存收到的任务；以及将收到的位置信息发送给本地汇总模块34；

任务执行模块33，用于执行收到的任务，在上述网络文件管理单元02中查找相应的话单文件，以及在找到的话单文件中查找对应的通话记录，并读取找到的通话记录，将其存储到上述网络文件管理单元02分配给本装置的目录文件中，以及判断本次收到的任务是否执行完毕，若执行完毕，则将上述目录文件的位置信息返回给发送上述任务的任务分配模块；若未执行完毕，则执行下一个任务；

汇总模块34，用于根据收到的位置信息，在上述网络文件管理单元02查找对应的目录文件，读取上述目录文件中的通话记录，对上述通话记录进行排序、汇总处理，以及将汇总结果发送给本地查询模块31。

如图3所示，是本发明话单查询管理方法的流程图，本发明以图1及图2为基础，假设第一数据获取单元03收到了用户的查询请求，且话单文件中的通话记录的索引已存储到内存文件数据库单元01中，上述话单文件也已存储到网络文件管理单元02中，本实施例包括以下步骤：

步骤S001：第一数据获取单元03的查询模块31收到用户的查询请求时，转发给内存文件数据库单元01；

查询请求包括用户号码和起止时间。

步骤S002：内存文件数据库单元01根据查询请求，在本地索引记录中查找符合查询条件的索引记录，并逐条读取符合查询条件的索引记录中的偏移量字段和文件名字段，生成该条索引记录的查询结果；

即根据用户号码和起止时间，在本地索引记录中查找符合条件的索引记录。

索引记录包括主被叫号码、通话起止时间、本条通话记录在话单文件中的偏移量以及上述话单文件在网络文件管理单元02中的文件名；

查询结果包括通话记录在话单文件中的偏移量以及上述话单文件在网络文件管理单元02中的文件名。

因话单文件中的通话记录中记录有通话的主被叫号码、起止时间信息，故本步骤返回的查询结果中只需要有通话记录在话单文件中的偏移量以及上述话单文件在网络文件管理单元02中的文件名即可，也就是说，查询结果即为符合查询条件的通话记录的地址。

步骤S003：将所有查询结果返回给第一数据获取单元03的查询模块31；

步骤S004：第一数据获取单元03的查询模块31将收到的查询结果作为一批次任务，发送给本地任务分配模块32；

每个查询结果为一个任务，比如，内存文件数据库单元01返回了100条查询结果，则本批次共有100个任务。

步骤S005：第一数据获取单元03的任务分配模块32按照预设的分配规则，分配上述任务，并分发给本地任务执行模块33和系统中其他正常工作的数据获取单元03的任务执行模块33，并暂存收到的任务；

步骤S006：任务执行模块33执行当前任务；

本步骤具体包括以下步骤：

步骤S0061：根据当前任务中的文件名，在上述网络文件管理单元02中查找对应话单文件；

步骤S0062：根据当前任务中的偏移量，在找到的话单文件中查找对应的通话记录并读取；

步骤S0063：将读取到的通话记录存储到网络文件管理单元02分配给本装置的目录文件中；

步骤S007：判断本次收到的任务是否执行完毕，若是，则执行步骤S009；否则，执行步骤S008；

步骤S008：指向下一个任务，转入步骤S007；

步骤S009：返回目录文件位置信息给第一数据获取单元的任务分配模块31；

也就是说，任务执行模块会将执行结果所在的文件的位置信息返回给本次任务的发送方，比如，若本次任务是第m数据获取单元的任务分配模块发送来的，则将执行结果所在的文件的位置信息返回给第m数据获取单元的任务分配模块，若本次任务是本地任务分配模块发送来的，则将执行结果所在的文件的位置信息返回给本地任务分配模块。

本发明中，任务执行模块可以并行处理来自不同数据获取单元的任务，系统中的每个数据获取单元都可同时接收相连的客户端的查询请求并对上述查询请求进行处理，当需要改善系统的查询性能时，只需要增加系统中的数据获取单元个数即可。

步骤S010：第一数据获取单元03的任务分配模块31收集各数据获取单元的任务执行模块33返回的位置信息，并将所有位置信息发送给本地汇总模块34；

步骤S011：第一数据获取单元03的汇总模块34根据收到的位置信息，读取其中的通话记录，并对上述通话记录进行排序和汇总处理；

步骤S012：第一数据获取单元03的汇总模块34将汇总结果返回给本地查询模块31；

步骤S013：第一数据获取单元03的查询模块31将汇总结果返回给用户。

上述说明示出并描述了本发明的一个优选实施例，但如前所述，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (10)

1.一种分布式话单查询管理系统，其特征在于，所述系统包括内存文件数据库单元，网络文件管理单元以及2个或2个以上彼此相连的数据获取单元，

所述内存文件数据库单元，用于存储话单文件中的通话记录的索引，以及在收到查询请求时，查找符合查询条件的索引记录，并将查询结果返回给发送所述查询请求的数据获取单元；

所述网络文件管理单元，用于存储话单文件，以及为各数据获取单元分配目录文件；

所述数据获取单元，用于将收到的用户查询请求转发给所述内存文件数据库单元，并将所述内存文件数据库单元返回的查询结果作为一批次任务，分配给自身和所述系统中其他正常工作的数据获取单元，以及执行分配给自身的任务，收集自身及所述其他正常工作的数据获取单元的执行结果，并对所述执行结果进行汇总处理后返回给用户。

2.根据权利要求1所述的系统，其特征在于，所述内存文件数据库单元，用于逐条读取查找到的符合查询条件的索引记录中的偏移量字段和文件名字段，生成查询结果。

3.根据权利要求1或2所述的系统，其特征在于，所述数据获取单元包括查询模块，任务分配模块、任务执行模块以及汇总模块，

所述查询模块，用于接收用户查询请求，并将接收到的用户查询请求转发给所述内存文件数据库单元，以及将所述内存数据库模块返回的查询结果作为一批次任务发送给本地任务分配模块，或者将所述汇总模块发送来的汇总结果返回给用户；

所述任务分配模块，用于按照预设的分配规则，分配收到的任务并分发给本地任务执行模块和所述系统中其他正常工作的数据获取单元的任务执行模块；以及将收到的位置信息发送给本地汇总模块；

所述任务执行模块，用于执行收到的任务，并将执行结果所在的文件的位置信息返回给发送所述任务的任务分配模块；

所述汇总模块，用于根据收到的位置信息，读取其中的内容并进行汇总处理，以及将汇总结果发送给本地查询模块。

4.根据权利要求3所述的系统，其特征在于，

所述任务执行模块，用于根据收到的任务，在所述网络文件管理单元中查找相应的话单文件，以及在找到的话单文件中查找对应的通话记录，并读取找到的通话记录，将其存储到所述网络文件管理单元分配给本装置的目录文件中。

所述汇总模块，用于根据收到的位置信息，在所述网络文件管理单元查找对应的目录文件，读取所述目录文件中的通话记录，对所述通话记录进行排序处理。

5.根据权利要求4所述的系统，其特征在于，

所述任务分配模块，用于暂存收到的任务；

所述任务执行模块，用于判断本次收到的任务是否执行完毕。

6.一种话单管理查询方法，其特征在于，预先将话单文件中的通话记录的索引存储到内存文件数据库单元中，并将所述话单文件存储到网络文件管理单元中，当收到用户查询请求后，分布式查询管理系统执行如下操作：

收到用户查询请求的当前数据获取单元将查询请求转发给所述内存文件数据库单元；

所述内存文件数据库单元在本地索引记录中查找符合查询条件的索引记录，并将查询结果返回给所述当前数据获取单元；

所述当前数据获取单元将查询结果作为一批次任务，分配给自身及分布所述系统中其他正常工作的数据获取单元；

各数据获取单元执行收到的任务，并将执行结果所在文件的位置信息返回给所述当前数据获取单元；

所述当前数据获取单元根据收到的位置信息，读取其中的内容并汇总，将汇总结果返回给用户。

7.根据权利要求6所述的方法，其特征在于，所述通话记录的索引包括主被叫号码、通话起止时间、通话记录在话单文件中的偏移量以及所述话单文件在所述网络文件管理单元中的文件名。

8.根据权利要求6所述的方法，其特征在于，所述内存文件数据库单元在本地索引记录中查找符合查询条件的索引记录，并将查询结果返回给所述当前数据获取单元步骤具体包括以下步骤：

在本地索引记录中查找符合查询条件的索引记录；

逐条读取符合查询条件的索引记录中的偏移量字段和文件名字段，生成查询结果；

将所述查询结果返回给所述当前数据获取单元。

9.根据权利要求6-8任一项所述的方法，其特征在于，所述各数据获取单元执行收到的任务，并将执行结果所在文件的位置信息返回给所述当前数据获取单元步骤具体包括：

根据当前任务，在所述网络文件管理单元中查找相应的话单文件，并在找到的话单文件中查找对应的通话记录；

读取所述通话记录，并将其存储到所述网络文件管理单元分配给自身的目录文件中；

判断本次收到的任务是否执行完毕，若是，则返回所述目录文件的位置信息给所述当前数据获取单元，否则执行下一个任务。

10.根据权利要求9所述的方法，其特征在于，所述当前数据获取单元根据收到的位置信息，读取其中的内容并汇总，将汇总结果返回给用户步骤具体包括以下步骤：

根据收到的位置信息，在所述网络文件管理单元中查找相应的目录文件；

读取其中的通话记录；

对读取到的所述通话记录进行排序，汇总处理；

将得到的汇总结果返回给用户。

Images