CN101163265A - 基于分布式数据库的彩信日志查询方法与系统 - Google Patents

Abstract

本发明公开了一种基于分布式数据库的彩信日志查询方法与系统，所述系统包括：彩信中心、日志服务器、日志查询服务器和WEB客户端；所述彩信中心包含多台业务处理机，用于并发处理业务，每台业务处理机在业务处理过程中生成日志文件；所述日志服务器包括有对应的采集器及数据库，用于采集各台业务处理机生成的日志文件和将文件批量导入到所述数据库；所述日志查询服务器用于提供日志服务器的查询接口和向所述WEB客户端的WEB服务。本发明基于分布式数据库的彩信日志查询方法与系统由于采用在数据库连接池和查询服务之间插入查询线程管理器的三层架构，实现了多台日志服务器的并发查询，在提高了查询效率的同时，提升了系统的健壮性。

Description

基于分布式数据库的彩信日志查询方法与系统

技术领域

本发明涉及一种彩信日志查询方法与系统，尤其涉及的是一种基于分布式数据库对彩信业务接口日志的生成、采集、储存与查询的方法和系统。

背景技术

现有技术中，彩信业务是电信增值业务中的重要收入组成，在未来的电信利润中，彩信业务将占越来越大的比例。目前的彩信日志多采用开始与结束日志的方式进行记录，即在彩信中心接收到发送方所发送的彩信的时候记录一次日志，彩信中心在向接收方发送日志的时候再记录一次日志，如图1所示的。而对业务处理过程不做记录，这样就增加了异常流程分析与故障定位的难度。

一般的彩信中心都是以均衡负载的多台业务处理机集群组成的，每台业务处理机都会产生相应的日志，这样的分布式结构给日志查询工作带来了难度。传统的日志以文件形式保存，如果需要查询其中的信息，只能通过文件查询的方式，获取有效信息的效率是非常低的。

现有技术的接口日志记录方式指对彩信系统各模块之间的信令交互过程进行记录，如图2所示。所述彩信系统的模块包括：发送方终端(HTTP)、本地彩信平台(MMSP)、存储设备(Storage)、用户数据库(DBServer)、对端彩信平台(MMSP^*)、接收方终端(HHTP^*)等。图中的若干“消息”表示在各设备之间的信令交互，信令交互的过程就是彩信系统业务处理的过程。如图2中所示“消息1”表示彩信中心的HTTP协议处理模块收到来自WAP网关提交的MM1Submit.REQ消息后，进行消息组包、解码，交给对端彩信平台模块进行必要的参数检查，记录“消息1”可以通过日志发现在此过程中发生的问题。所有在一个信令流程上的消息，都有唯一的流程标识，称为消息ID，可以通过消息ID来查找在一个流程上的所有日志。由于各设备之间的通讯是通过消息接口来完成的，所以其日志称为接口日志。

但是接口日志的记录也会带来以下问题：

1、存储空间变大。原来一个彩信流程只需要记录开始和结束两条日志，大约占用1k的存储空间，现在需要10-20条才能行，存储空间平均扩大5-10倍，对日志服务器的存储空间和数据处理能力都有更高的要求。

2、查询效率降低。一个彩信流程需要展现很多种日志，这必然会降低最终结果显示的效率。

3、采用多台日志服务器集群的方式存储日志，可以降低单台日志服务器的压力，但是服务器数量增加，会降低系统的健壮性，降低系统的稳定性。

因此，现有技术还有待于改进和发展。

发明内容

本发明所要解决的技术问题是：提供一种基于分布式数据库的彩信日志查询方法与系统，克服现有日志模型中故障排查困难、对接口日志查询效率低的问题。

本发明的技术方案包括：

一种基于分布式数据库的彩信日志查询系统，其包括：彩信中心、日志服务器、日志查询服务器和WEB客户端；其中：

所述彩信中心包含多台业务处理机，用于并发处理业务，每台业务处理机在业务处理过程中生成日志文件；

所述日志服务器包括有对应的采集器及数据库，用于采集各台业务处理机生成的日志文件和将文件批量导入到所述数据库，采用多台集群方式同步处理所述日志文件；

所述日志查询服务器用于提供日志服务器的查询接口和向所述WEB客户端的WEB服务；

所述WEB客户端用于显示日志。

所述的方法，其包括以下步骤：

A、日志生成：由业务处理机处理业务并产生消息的时候记录日志，并生成指定格式的文件进行保存；

B、日志获取：由采集器将各业务处理机的日志文件下载到日志服务器上；

C、日志入库：所述日志服务器将文件批量导入到数据库系统中，同时建立相应的索引，以提供给所述日志查询服务器使用；

D、日志查询：设置WEB服务器，接收WEB客户端的查询请求，并向所述WEB客户端发送查询结果；

E、日志显示：所述WEB客户端接收查询结果，并即时显示。

所述的方法，其中，所述步骤D还包括：

D1、设置日志查询池，管理和提供各日志服务器的连接，上报日志服务器异常的情况；

D2、所述WEB服务器提供查询的WEB服务，根据WEB客户端提交的查询条件，使用所述日志查询池所提供的接口对分布式数据库进行查询。

所述的方法，其中，所述步骤A中还包括：将所述业务处理机记录的日志保存在缓存中，在达到预定数量后生成指定格式文件。

所述的方法，其中，所述步骤A中还包括：将生成的日志文件保存到所述业务处理机的硬盘上，并开通FTP服务；所述采集器通过FTP方式获取日志文件。

所述的方法，其中，所述步骤B还包括：所述采集器获取日志文件的同时将对应业务处理机的对应文件删除，并在日志服务器上保存一份压缩后的备份文件。

所述的方法，其中，所述步骤A还包括多台业务处理机同时处理彩信业务，同时产生日志文件，并将所述日志文件平均分配到各日志服务器。

所述的方法，其中，所述数据库采用生产库、查询库模式，所述生产库用于将日志数据从所述日志文件导入数据库，所述查询库用于将日志数据在所述数据库中增加索引。

所述的方法，其中，在所述生产库中按天保存日志数据。

所述的方法，其中，所述日志查询池包括数据库连接池和查询线程管理器；所述查询线程管理器批量接收所述WEB客户端的查询任务，开启多个查询线程，并且每个查询线程在所述数据库连接池中申请一个数据库连接，并对数据库进行查询操作；在查询完成后将数据保存在查询线程管理器控制的缓存中，并释放数据库连接；

如果查询线程申请连接时数据库连接用完，则等待；

如果查询线程在查询过程中出现异常，则将异常提交给查询线程管理器，并释放该数据库连接。

本发明所提供的一种基于分布式数据库的彩信日志查询方法与系统，由于采用在传统数据库连接池和查询服务两层架构之间插入查询线程管理器的三层架构，实现了多台日志服务器的并发查询，错误集中控制，在提高了查询效率的同时，提升了系统的健壮性。

附图说明

图1是现有技术的开始结束日志记录方式示意图；

图2是现有技术的彩信信令流程示意图；

图3是本发明基于分布式数据库的彩信日志查询系统的整体结构图；

具体实施方式

下面结合附图，将对本发明技术方案的实施做进一步的详细描述。

本发明的基于分布式数据库的彩信日志查询方法与系统，如图3所示的，其系统从物理实体和功能实现上可以分为四个组成部分：彩信中心、日志服务器、日志查询服务器和WEB客户端。

所述彩信中心包含多台业务处理机，用于并发处理业务，每台业务处理机在业务处理过程中生成日志文件，形成分批的日志文件；所述日志服务器包括采集器和数据库，负责采集各台业务处理机生成的日志文件，并将日志文件规整后批量导入到数据库中，所述日志服务器采用多台集群的方式同步处理各分批的日志文件，所述日志服务器的数量可以根据实际情况灵活的增加或替换；所述日志查询服务器提供日志服务器的查询接口和WEB服务，包括有数据库查询池和WEB服务器，所述数据库查询池连接所述日志服务器中的数据库，所述WEB服务器用于连接所述WEB客户端；所述WEB客户端负责展现日志。

上述各组成部分之间采用了传统的应用服务架构，但有创新之处包括：

所述日志服务器中采用了集群的方式，摆脱了传统的一台日志服务器处理能力偏低的缺点。各日志服务器之间是相对独立的，如果其中一台出现故障，不会影响其它日志服务器的查询功能，查询系统仍然能够正常运行，因此提高的系统的健壮性。

本发明彩信日志查询系统在功能上可分为六个模块，如图3所示，其中包括：

模块1，日志生成模块：由业务处理机处理业务并在产生消息的时候记录日志，并将日志保存在缓存中，达到一定数量以后生成指定格式的文件，并保存到自己的硬盘上，然后开通FTP服务。

由于彩信系统支持很多种终端类型，如分为本地手机、Email、外地手机、梦网等，一个终端向另外一个终端发彩信的时候，如果终端类型不一样，流程不一样，信令的种类也不一样。彩信的信令有60多种，每种信令都会产生一种日志文件。

本发明系统中有多台业务处理机同时处理彩信业务，同时产生日志文件，而这些文件要平均分配到各台日志服务器上，所以本发明采用“日志分组的方式”，即根据日志服务器的数量X，在每台业务处理机上创建X个文件夹，命名为IMP1、IMP2......IMPX，日志文件根据产生的顺序分别放入这些文件夹，基本保持各个文件夹的大小一致。

每台业务处理机都提供FTP服务，供各日志服务器采集。日志文件中需要记录消息ID、产生时间、模块号、发送方地址、接收方地址和其他与该信令相关的属性。所述消息ID的格式可采用日期+时间+彩信中心代码+序列号，其中时间为起始信令产生的时间。

模块2，日志采集模块：所述日志服务器中的日志采集器通过FTP方式，将各业务处理机的日志文件下载到日志服务器上，同时将业务处理机的文件删除，并在日志服务器上保存一份压缩后的备份文件。

采集器根据所在日志服务器的编号通过FTP获取所有业务处理机中对应的日志目录中的文件，由于各业务处理机均分了日志文件，所以每台日志服务器获取的日志数量也是均等的，达到了负载均衡。获取之后，删除业务处理机上的日志文件，将日志文件保存到日志服务器的指定目录上，并压缩后做备份，由于日志原始文件为纯文本形式，所以压缩比率可以达到10比1，这样可以减小日志文件所占用的存储空间。

模块3，日志入库模块：其负责将文件批量导入到数据库系统中去，同时建立相应的索引，提供给后续查询使用。

本发明所述系统中的日志数据库采用生产库、查询库模式。生产库只负责将日志数据从文件导入数据库，查询库则负责将日志数据在数据库中增加索引，并进行一些利于查询的优化操作。

在生产库中每个信令日志为一类表，每一类表分为31张表，分别处理一个月内每天的日志。查询库每个信令日志为一类表，每一类表按照月份加日期的形式分为366张表，根据需求可以仅保存部分天数的表，如需要保存日志为3个月，那么可以仅保留93张表。

所述日志服务器将采集到的日志文件进行格式化，格式化主要将文件按照消息ID分组，具有相同日期信息的消息ID对应的信令日志分到同一个文件中去。然后通过Bulk Insert的方式入库，满足包含相同日期信息的消息ID对应的信令日志入到同一天的表中去。由于本发明方法和系统是按照天进行分表的，所以这种方式入库的优点在于能够根据消息ID快速定位该信令日志所在的表。在入库完成后删除原始文件和中间过渡文件，以减少日志文件所占用的存储空间。

模块4，日志查询池：管理和提供各日志服务器的连接，上报日志服务器异常的情况。

日志查询池分为两个部分，一个是数据库连接池，一个是查询线程管理器。所述查询线程管理器批量接收查询任务，然后开启多个查询线程，每个查询线程在所述数据库连接池中申请一个数据库连接，并对数据库进行查询操作。查询完成后将数据保存在查询线程管理器控制的缓存中，并释放数据库连接。

如果查询线程申请连接时连接用完，则等待。如果查询线程在查询过程中出现异常，则将异常提交给查询线程管理器，并释放数据库连接。本发明方法和系统采用并发的连接可以充分利用多台日志服务器的性能，达到查询效率的最优化。

模块5，WEB服务器：提供查询的WEB服务，可以根据WEB客户端提交的查询条件，使用数据库查询池提供的接口对分布式的数据库进行查询，将结果返回给WEB客户端。

同时可提供查询、用户管理功能。用户通过访问网页的方式提交查询条件，WEB服务器接收到提交的查询条件后将信息规整，发给所述查询线程管理器，然后开始等待结果返回，并提示WEB客户端查询请求已经提交成功。如前所述，这时查询线程管理器会启动若干独立的线程完成数据库的查询工作，而每个线程可以查询不同机器上的数据，这样实现分布式查询。

本发明方法和系统采用在传统数据库连接池和查询服务两层架构之间插入查询线程管理器的三层架构，实现了多台日志服务器的并发查询，错误集中控制，在提高查询效率的同时，提升了系统的健壮性。

模块6，WEB客户端：通过WEB浏览器访问WEB查询服务器，提交查询条件，并展现结果。

所述WEB客户端提交查询完成后，在一定时间范围内不断向WEB服务器发送获取请求，WEB服务器将查询线程管理器已经查到，并放入缓存中的数据返回给WEB客户端。

WEB客户端接收到数据后，查询线程管理器将删除取走的缓存内容，释放对应的内存空间。所述WEB客户端采用即时显示的方式，将查找到的数据显示在页面上，并继续向WEB服务器发送获取请求，直到所有查询结果获取完成为止。在整个查询过程中，多数据库之间采用多线程实现并发查询，有效地提高了查询效率，同时采用查到即显示的方式展现日志，用户不必等到所有结果都出来，就可以预先看到部分日志信息，提升了用户体验。

在数据查询出现异常时，如某台日志服务器当机，查询线程管理器会捕获，并且放在缓存中，当WEB客户端发送获取请求的时候，WEB服务器将这个异常信息作为查询结果的一种形式发送给WEB客户端，WEB客户端获取异常信息后，将信息显示在页面上，提示系统管理员进行处理。

本发明所述WEB客户端采用AJAX实现动态页面展现，当用户提交查询后，查询池并发所有的查询请求到各台日志服务器，当其中的某一个查询返回结果的时候，立即在页面上显示，直到所有结果全部显示完成为止。这样就避免了传统的展现方式，使用户等待很长的时间，需要等到所有查询全部完成才将页面展现给用户，提升了系统的界面友好度，方便系统管理员随时查看彩信日志状态。

应当理解的是，上述针对本发明较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本发明的专利保护范围应以所附权利要求为准。

Claims (10)

1.一种基于分布式数据库的彩信日志查询系统，其包括：彩信中心、日志服务器、日志查询服务器和WEB客户端；其特征在于：

所述彩信中心包含多台业务处理机，用于并发处理业务，每台业务处理机在业务处理过程中生成日志文件；

所述日志服务器包括有对应的采集器及数据库，用于采集各台业务处理机生成的日志文件和将文件批量导入到所述数据库，采用多台集群方式同步处理所述日志文件；

所述日志查询服务器用于提供日志服务器的查询接口和向所述WEB客户端的WEB服务；

所述WEB客户端用于显示日志。

2.一种如权利要求1所述的方法，其包括以下步骤：

A、日志生成：由业务处理机处理业务并产生消息的时候记录日志，并生成指定格式的文件进行保存；

B、日志获取：由采集器将各业务处理机的日志文件下载到日志服务器上；

C、日志入库：所述日志服务器将文件批量导入到数据库系统中，同时建立相应的索引，以提供给所述日志查询服务器使用；

D、日志查询：设置WEB服务器，接收WEB客户端的查询请求，并向所述WEB客户端发送查询结果；

E、日志显示：所述WEB客户端接收查询结果，并即时显示。

3.根据权利要求2所述的方法，其特征在于，所述步骤D还包括：

D1、设置日志查询池，管理和提供各日志服务器的连接，上报日志服务器异常的情况；

D2、所述WEB服务器提供查询的WEB服务，根据WEB客户端提交的查询条件，使用所述日志查询池所提供的接口对分布式数据库进行查询。

4.根据权利要求3所述的方法，其特征在于，所述步骤A中还包括：将所述业务处理机记录的日志保存在缓存中，在达到预定数量后生成指定格式文件。

5.根据权利要求4所述的方法，其特征在于，所述步骤A中还包括：将生成的日志文件保存到所述业务处理机的硬盘上，并开通FTP服务；所述采集器通过FTP方式获取日志文件。

6.根据权利要求5所述的方法，其特征在于，所述步骤B还包括：所述采集器获取日志文件的同时将对应业务处理机的对应文件删除，并在日志服务器上保存一份压缩后的备份文件。

7.根据权利要求2至6任一所述的方法，其特征在于，所述步骤A还包括多台业务处理机同时处理彩信业务，同时产生日志文件，并将所述日志文件平均分配到各日志服务器。

8.根据权利要求7所述的方法，其特征在于，所述数据库采用生产库、查询库模式，所述生产库用于将日志数据从所述日志文件导入数据库，所述查询库用于将日志数据在所述数据库中增加索引。

9.根据权利要求8所述的方法，其特征在于，在所述生产库中按天保存日志数据。

10.根据权利要求3所述的方法，其特征在于，所述日志查询池包括数据库连接池和查询线程管理器；所述查询线程管理器批量接收所述WEB客户端的查询任务，开启多个查询线程，并且每个查询线程在所述数据库连接池中申请一个数据库连接，并对数据库进行查询操作；在查询完成后将数据保存在查询线程管理器控制的缓存中，并释放数据库连接；

如果查询线程申请连接时数据库连接用完，则等待；

如果查询线程在查询过程中出现异常，则将异常提交给查询线程管理器，并释放该数据库连接。

Images