CN113360469A - 一种结构化低存储的日志输出方法及装置 - Google Patents

Abstract

本发明涉及信息技术领域，提供了一种结构化低存储的日志输出方法及装置。本发明的目的在意解决AQ日志队列不稳定和日志压缩的问题。主要方案包括，日志压缩存储阶段分为两部分,一部分是数据库日志,一部分是JAVA端日志；数据库日志采取的是通过TCP方式接出，在JAVA端监听并异步处理；Java端日志分为应用输入输出，网关往帐来账日志，核心通讯输入输出日志，分别记录；日志打印输出阶段主要分为日常日志的打印以及历史日志查询输出；日常日志打印主要通过定时触发的方式打印日常交易的日志,可以按照配置的打印格式打印；历史日志查询主要是为监控等外围系统提供接口,用于通过输入查询条件输出符合查询条件日志的输出。

Description

一种结构化低存储的日志输出方法及装置

技术领域

本发明涉及信息技术领域，提供了一种结构化低存储的日志输出方法。

背景技术

随着银行业务的不断发展，银行软件系统越来越多，业务数据量也越来越大，系统安全遭遇越来越多的威胁。针对这些安全威胁我们正在采用各种办法来防御不安全事件的发生。而日志信息正是我们分析系统状况的重要文件之一。

软件系统的日志文件是软件系统所指定对象的某些操作和其操作结果按时间有序的集合，每个日志文件由日志记录组成，每条日志记录描述了一次单独的系统事件，日志文件为软件的资源相关活动记录必要的、有价值的信息，这对系统监控，查询、报表和安全审计起到十分重要的作用。

现有支付系统日志分为两部分,一部分是数据库日志,一部分是JAVA端日志；

数据库日志采取的是AQ的方式,即在数据库存储过程执行过程中将日志放入AQ队列中,JAVA端监听AQ队列,通过log4j方式打印,处理流程如图1所示，Java端日志直接采用log4j的方式打印,分为应用日志和网关日志,分不同文件打印；

现有日志打印缺点

不易读懂

现在日志文件是按照数据库,应用,网关等分别存储,一个完整的交易需要看不同的日志文件,且数据库日志是按照异步方式存放和获取,导致数据库日志可能存在不同交易之间的交叉现象。正是由于交易日志的不完整和不连续，导致维护人员很难读懂交易日志。

数据量大

通常交易产生的日志文件如数据库日志以及各类服务器日志等都很大，日志文件一天产生的容量少则几十兆、几百兆，多则有几个G，这使得获取和分析日志信息变得很困难。

AQ方式会造成系统日志无法打印或者瘫痪

目前系统数据库日志采用的是AQ方式，当数据库日志量比较大的时候，会造成AQ堵塞，解决的方式是需要重新建立AQ队列，重建后以前AQ中存在的日志丢失，而且需要重新启动服务器，另外AQ虽然是异步方式，但是数据库也有IO操作，当业务量比较大的时候造成数据库服务器IO操作瓶颈，影响系统的业务吞吐量(即TPS),造成交易响应时间长,以及单位时间交易处理能力的的降低，还有当业务并发的时候数据库日志会形成交叉打印的情况,不易查找问题；JAVA端日志采用的是log4j的方式，log4j虽然没有性能的问题，但是没有和数据库日志打印在一起需要技术人员通过复杂的查找才能确定。

发明内容

本发明的目的在意解决AQ日志队列不稳定和日志压缩的问题。

为了解决上述技术问题，本发明采用以下技术手段：

本发明提供了一种结构化低存储的日志输出方法，包括第一阶段为日志压缩存储阶段，第二阶段为日志打印输出阶段，

其中日志压缩存储阶段分为两部分,一部分是数据库日志,一部分是JAVA端日志；

所述数据库日志采取的是通过TCP方式接出，在JAVA端监听并异步处理；

所述Java端日志分为应用输入输出，网关往帐来账日志，核心通讯输入输出日志，分别记录；

日志打印输出阶段主要分为日常日志的打印以及历史日志查询输出；

日常日志打印主要通过定时触发的方式打印日常交易的日志,可以按照打印格式,如:日期,机构,柜员,交易码以及设置的级别进行打印；

历史日志查询主要是为监控等外围系统提供接口,用于通过输入查询条件输出符合查询条件日志的输出。

上述技术方案中，数据库日志采取的是通过TCP方式接出，在JAVA端监听并异步处理,处理流程如下:

将数据库日志(业务日志和索引日志)通过数据库数组对象存储，每一次日志存储都会添加相关日志的关键索引信息。

当日志数组达到一定数量后，通过tcp方式发出到应用端。

应用端将业务日志内容通过压缩存储的方式写到本地文件，索引日志内容也通过压缩存储的方式写到本地文件。

上述技术方案中，Java端日志分为应用输入输出，网关往帐来账日志，核心通讯输入输出日志，分别记录,处理流程如下:

将应用的输入输出日志做上特有标记并加上索引信息，压缩存储到本地文件，相关索引信息也压缩存储到本地文件。

将网关往来账日志做上特有标记并加上索引信息，压缩存储到本地文件，相关索引信息也压缩存储到本地文件。

将核心通讯输出日志做上特有标记并加上索引信息，压缩存储到本地文件，相关索引信息也压缩存储到本地文件。

上述技术方案中，日常日志打印主要通过定时触发的方式打印日常交易的日志,具体包括以下步骤：

根据配置的日志输出格式日期,机构,柜员,交易码自动查找的日志索引信息；

根据日志索引信息查找日志信息；

对日志信息按照应用的输入输出、数据库日志、核心的输入输出、网关的输入输出进行组装汇总；

最后把汇总日志根据配置的日志输出格式输出日志信息。

上述技术方案中，历史日志查询主要是为监控等外围系统提供接口,用于通过输入查询条件输出符合查询条件日志的输出,处理流程如下:

日志索引信息存储了日期，机构，柜员，交易码等关键信息，历史日志查询支持按照上述条件查询，通过输入上述日志查询条件字段，查询日志索引信息，获取相关日志文件信息；

通过获取的日志文件信息，查找到所有符合条件的日志文件，按照交易流程及交易时间顺序，将相关日志内容返回到查询端。

本发明还提供了一种结构化低存储的日志输出装置，包括：

日志压缩存储模块和日志打印输出模块，

其中日志压缩存储模块分为数据库日志压缩存储模块和JAVA端日志压缩存储模块；

所述数据库日志采取的是通过TCP方式接出，在JAVA端监听并异步处理；

所述Java端日志分为应用输入输出，网关往帐来账日志，核心通讯输入输出日志，分别记录；

日志打印输出模块主要分为日常日志的打印模块以及历史日志查询输出模块；

日常日志的打印模块主要通过定时触发的方式打印日常交易的日志,可以按照打印格式,如:日期,机构,柜员,交易码以及设置的级别进行打印；

历史日志查询模块主要是为监控等外围系统提供接口,用于通过输入查询条件输出符合查询条件日志的输出。

上述技术方案中，数据库日志压缩存储模块：

数据库日志采取的是通过TCP方式接出，在JAVA端监听并异步处理,处理流程如下:

将数据库日志(业务日志和索引日志)通过数据库数组对象存储，每一次日志存储都会添加相关日志的关键索引信息。

当日志数组达到一定数量后，通过tcp方式发出到应用端。

应用端将业务日志内容通过压缩存储的方式写到本地文件，索引日志内容也通过压缩存储的方式写到本地文件。

上述技术方案中，JAVA端日志压缩存储模块：

Java端日志分为应用输入输出，网关往帐来账日志，核心通讯输入输出日志，分别记录,处理流程如下:

将应用的输入输出日志做上特有标记并加上索引信息，压缩存储到本地文件，相关索引信息也压缩存储到本地文件。

将网关往来账日志做上特有标记并加上索引信息，压缩存储到本地文件，相关索引信息也压缩存储到本地文件。

将核心通讯输出日志做上特有标记并加上索引信息，压缩存储到本地文件，相关索引信息也压缩存储到本地文件。

上述技术方案中，日常日志的打印模块：

日常日志打印主要通过定时触发的方式打印日常交易的日志,具体包括：

根据配置的日志输出格式日期,机构,柜员,交易码自动查找的日志索引信息；

根据日志索引信息查找日志信息；

对日志信息按照应用的输入输出、数据库日志、核心的输入输出、网关的输入输出进行组装汇总；

最后把汇总日志根据配置的日志输出格式输出日志信息。

上述技术方案中，历史日志查询模块：

历史日志查询主要是为监控等外围系统提供接口,用于通过输入查询条件输出符合查询条件日志的输出,处理流程如下:

日志索引信息存储了日期，机构，柜员，交易码等关键信息，历史日志查询支持按照上述条件查询，通过输入上述日志查询条件字段，查询日志索引信息，获取相关日志文件信息；

通过获取的日志文件信息，查找到所有符合条件的日志文件，按照交易流程及交易时间顺序，将相关日志内容返回到查询端。

因为本发明采用上述技术方案，因此具备以下有益效果：

采用TCP的方式传输日志，解决AQ日志队列不稳定问题；

去掉AQ队列，减小数据库IO大量操作问题；

采用日志压缩存储，降低存储空间的占用；

新的日志方案采取了日志索引的方式，存储了日志的日期，机构，柜员，交易码等信息，所以可以按照日期，机构，柜员，交易码等方式采取定制化的打印。

附图说明

图1为现有技术流程图；

图2为本申请流程简图；

图3为数据库日志打印流程简图；

图4为Java端日志打印流程简图；

图5为日常日志打印流程简图；

图6历史日志查询流程简图；

图7为日志处理流程图；

图8为日志登记时序图；

图9为日志打印时序图；

图10为日志查询时序图。

具体实施方式

为方便本领域技术人员能够更好的理解本发明的技术方案，进一步的作出如下说明，本发明涉及的关键技术如下：

异步模式

主要体现在数据库和JAVA端日志登记采用TCP连接的方式,TCP采用同步方式,但是当JAVA端接收到日志信息后直接启动线程处理,然后立刻返回结果,不需要登记完成后返回结果,所以登记日志的方式采用了异步模式。

压缩存储

支付平台的日志如果完全打印日志量非常大,100W笔业务量的日志就有300多G,所以为了节约存储空间,采取了apache的压缩技术,对日志进行压缩存储,大大降低了IO操作和系统空间的使用。

索引定位

由于支付业务日志据有异步性,所以如果需要将相关业务的日志打印在一起必须使用日志索引的方式,对于日志能够准确定位,并且可以将相关日志打印在一起.。

AQ：日志消息队列。在日志消息的传输过程中保存日志消息的容器。其主要目的是提供路由并保证日志消息的传递；如果发送日志消息时接收者不可用，日志消息队列会保留日志消息，直到可以成功地传递它。

采用本发明的技术方案具有以下特性：

易读懂

新日志方案采取的是日志索引关联日志文件的方式,可以通过日志索引标识出所有记录日志文件和日志在文件中的位置,所以可以将日志完全按照交易打出,具有日志的连续性和完整性,所以易于开发,业务,技术人员定位问题。

日志量大幅降低

新日志方案采用了apache压缩存储的方式存储日志,所以对于日志量具有大幅的降低,经测试如下:

从上表可以看出,现日志量为原日志量的3.653％,即减少96％的存储空间,意味着应用服务器可以存放更多的历史日志,便于历史问题定位。

数据库服务器的处理能力大幅提高

新日志方案去掉了原来AQ的日志打印方式,采取了一个事物一次性将数据库日志数据精简后通过TCP输出的方式,减少了数据库服务器的CPU压力,数据库IO操作大大降低,另外避免了AQ日志队列堵塞给系统带来的风险。

数据库日志数据精简方式为，把日志当中的一些共有重复的关键信息，放到了日志头及索引信息中存储，去掉重复的开头部分，不会造成信息缺失。

当日志量达到一定数量后，才会发起一次tcp传输。

历史日志的可追溯性

新日志方案由于采取了压缩存储日志的方式，因此系统可以存放更多的日志文件，所以可以查看更多的历史日志。

日志打印格式的定制化

由于新的日志方案采取了日志索引的方式，存储了日志的日期，机构，柜员，交易码等信息，所以可以按照日期，机构，柜员，交易码等方式采取定制化的打印，比如：按照机构设置打印，则每个机构可以打印一个日志文件，便于开发人员，技术人员等快速查询日志。

另外也可以定制化日志的打印级别，便于系统稳定后关闭日志减少磁盘空间的使用量。

通过配置文件中配置项来实现定制：

例如:YYYYMMDD/BRANCH/TELLER/MSGTYPE_MEGCODE这种日志输出格式，那么我们会先查找当前日期的日志索引信息，再按照机构、柜员分组查询出相关日志文件信息，最后按照服务码将日志内容输出到文件。整个过程类似于一个分类查询，逐级分类查询，获取对应的日志文件输出，然后输出到对应分类路径下。

支持日志分布式

新日志方案由于数据库端使用TCP方式结出日志,Java端接受,所以如果分布式部署有一台机器为日志服务器,其他机器可以将Java端日志通过TCP发出到日志服务器,从而实现了日志的统一管理。

Claims (10)

1.一种结构化低存储的日志输出方法，其特征在于包括第一阶段为日志压缩存储阶段，第二阶段为日志打印输出阶段，

其中日志压缩存储阶段分为两部分,一部分是数据库日志,一部分是JAVA端日志；

所述数据库日志采取的是通过TCP方式接出，在JAVA端监听并异步处理；

所述Java端日志分为应用输入输出，网关往帐来账日志，核心通讯输入输出日志，分别记录；

日志打印输出阶段主要分为日常日志的打印以及历史日志查询输出；

日常日志打印主要通过定时触发的方式打印日常交易的日志,可以按照打印格式,如:日期,机构,柜员,交易码以及设置的级别进行打印；

历史日志查询主要是为监控等外围系统提供接口,用于通过输入查询条件输出符合查询条件日志的输出。

2.根据权利要求1所述的一种结构化低存储的日志输出方法，其特征在于，数据库日志采取的是通过TCP方式接出，在JAVA端监听并异步处理,处理流程如下:

将数据库日志(业务日志和索引日志)通过数据库数组对象存储，每一次日志存储都会添加相关日志的关键索引信息。

当日志数组达到一定数量后，通过tcp方式发出到应用端。

应用端将业务日志内容通过压缩存储的方式写到本地文件，索引日志内容也通过压缩存储的方式写到本地文件。

3.根据权利要求1所述的一种结构化低存储的日志输出方法，其特征在于，Java端日志分为应用输入输出，网关往帐来账日志，核心通讯输入输出日志，分别记录,处理流程如下:

将应用的输入输出日志做上特有标记并加上索引信息，压缩存储到本地文件，相关索引信息也压缩存储到本地文件。

将网关往来账日志做上特有标记并加上索引信息，压缩存储到本地文件，相关索引信息也压缩存储到本地文件。

将核心通讯输出日志做上特有标记并加上索引信息，压缩存储到本地文件，相关索引信息也压缩存储到本地文件。

4.根据权利要求1所述的一种结构化低存储的日志输出方法，其特征在于，日常日志打印主要通过定时触发的方式打印日常交易的日志,具体包括以下步骤：

根据配置的日志输出格式日期,机构,柜员,交易码自动查找的日志索引信息；

根据日志索引信息查找日志信息；

对日志信息按照应用的输入输出、数据库日志、核心的输入输出、网关的输入输出进行组装汇总；

最后把汇总日志根据配置的日志输出格式输出日志信息。

5.根据权利要求1所述的一种结构化低存储的日志输出方法，其特征在于，历史日志查询主要是为监控等外围系统提供接口,用于通过输入查询条件输出符合查询条件日志的输出,处理流程如下:

日志索引信息存储了日期，机构，柜员，交易码等关键信息，历史日志查询支持按照上述条件查询，通过输入上述日志查询条件字段，查询日志索引信息，获取相关日志文件信息；

通过获取的日志文件信息，查找到所有符合条件的日志文件，按照交易流程及交易时间顺序，将相关日志内容返回到查询端。

6.一种结构化低存储的日志输出装置，其特征在于包括：

日志压缩存储模块和日志打印输出模块，

其中日志压缩存储模块分为数据库日志压缩存储模块和JAVA端日志压缩存储模块；

所述数据库日志采取的是通过TCP方式接出，在JAVA端监听并异步处理；

所述Java端日志分为应用输入输出，网关往帐来账日志，核心通讯输入输出日志，分别记录；

日志打印输出模块主要分为日常日志的打印模块以及历史日志查询输出模块；

日常日志的打印模块主要通过定时触发的方式打印日常交易的日志,可以按照打印格式,如:日期,机构,柜员,交易码以及设置的级别进行打印；

历史日志查询模块主要是为监控等外围系统提供接口,用于通过输入查询条件输出符合查询条件日志的输出。

7.根据权利要求6所述的一种结构化低存储的日志输出装置，其特征在于，数据库日志压缩存储模块：

数据库日志采取的是通过TCP方式接出，在JAVA端监听并异步处理,处理流程如下:

将数据库日志(业务日志和索引日志)通过数据库数组对象存储，每一次日志存储都会添加相关日志的关键索引信息。

当日志数组达到一定数量后，通过tcp方式发出到应用端。

应用端将业务日志内容通过压缩存储的方式写到本地文件，索引日志内容也通过压缩存储的方式写到本地文件。

8.根据权利要求6所述的一种结构化低存储的日志输出装置，其特征在于，JAVA端日志压缩存储模块：

Java端日志分为应用输入输出，网关往帐来账日志，核心通讯输入输出日志，分别记录,处理流程如下:

将应用的输入输出日志做上特有标记并加上索引信息，压缩存储到本地文件，相关索引信息也压缩存储到本地文件。

将网关往来账日志做上特有标记并加上索引信息，压缩存储到本地文件，相关索引信息也压缩存储到本地文件。

将核心通讯输出日志做上特有标记并加上索引信息，压缩存储到本地文件，相关索引信息也压缩存储到本地文件。

9.根据权利要求1所述的一种结构化低存储的日志输出装置，其特征在于，日常日志的打印模块：

日常日志打印主要通过定时触发的方式打印日常交易的日志,具体包括：

根据配置的日志输出格式日期,机构,柜员,交易码自动查找的日志索引信息；

根据日志索引信息查找日志信息；

对日志信息按照应用的输入输出、数据库日志、核心的输入输出、网关的输入输出进行组装汇总；

最后把汇总日志根据配置的日志输出格式输出日志信息。

10.根据权利要求1所述的一种结构化低存储的日志输出装置，其特征在于，历史日志查询模块：

历史日志查询主要是为监控等外围系统提供接口,用于通过输入查询条件输出符合查询条件日志的输出,处理流程如下:

日志索引信息存储了日期，机构，柜员，交易码等关键信息，历史日志查询支持按照上述条件查询，通过输入上述日志查询条件字段，查询日志索引信息，获取相关日志文件信息；

通过获取的日志文件信息，查找到所有符合条件的日志文件，按照交易流程及交易时间顺序，将相关日志内容返回到查询端。

Images