CN102724279B - 一种实现日志保存和管理的系统 - Google Patents

Abstract

一种实现日志保存和管理的系统，属于日志采集技术领域。包括1580热连轧过程控制系统服务器、1580热连轧过程控制系统客户端、日志采集模块、日志导出模块和日志查看工具；日志采集模块嵌入到1580热连轧过程控制系统服务器中，通过在1580热连轧过程控制系统服务器内存中开辟专用的日志缓冲区域，保证大量的日志信息实时的写入到日志缓冲区，从而实现日志信息的实时写入，确保日志的时序正确，实现对大量日志的实时保存。优点在于，解决了冶金过程控制系统中对日志分散的采集、保存、查看的传统方法带来的巨大代码编写量和巨大的维护工作的问题。

Description

一种实现日志保存和管理的系统

技术领域

本发明属于日志采集技术领域，特别提是供了一种实现日志保存和管理的系统，在过程控制系统服务器中实现的对日志统一的采集、导出、存储和管理的同时，还可以实现在客户端对服务器上的日志进行查看和显示。 

背景技术

在开发1580热连轧过程控制系统的过程中，发现1580热连轧过程控制系统的日志信息来源复杂，而且信息量极大。这些日志信息通常都是在1580热连轧过程控制系统服务器上的模型控制系统分散的进行处理和保存，给1580过程控制系统服务器带来巨大的负载。而且结合开发经验，如果采用传统的日志信息处理方式，则需要通过编程语言，不断的用输出语句和文件读写语句将日志信息写入到数据库或者日志文本文件，大量频繁的写入势必造成任务的阻塞，不仅会影响到日志信息的实时写入，也会给1580热连轧过程控制系统的服务器带来巨大的隐患。再次，日志文件作为一种特殊的文件，是实时增加的，无限增加的日志文件如果不及时维护，就会导致1580热连轧过程控制系统所在服务器的崩溃。因为处理日志而给1580热连轧过程控制系统服务器带来的安全与稳定问题，都是需要考虑的。同时，由于1580热连轧过程控制系统复杂特性，采用了客户-服务器结构，如何在1580热连轧过程控制系统的客户端和1580热连轧过程控制系统服务器之间共享日志也是一个亟需处理的问题。 

发明内容

本发明的目的在于提供一种实现日志保存和管理的系统，对1580热连轧过程控制系统服务器中的日志信息进行保存和管理，不仅使用简单方便，不仅解决在1580热连轧过程控制系统中对日志分散的采集、保存、查看的传统方法带来的巨大代码编写量和给服务器造成的严重的负载和安全问题，有效提高1580热连轧过程控制系统服务器的性能。同时，提供了对日志文件夹的维护方法，确保1580热连轧过程控制系统服务器不会因为日志文件夹内日志文件的无限量增加而导致系统的崩溃。 

本发明日志保存和管理的系统包括1580热连轧过程控制系统服务器、1580热连轧过程控制系统客户端、日志采集模块、日志导出模块和日志查看工具。日志采集模块嵌入到1580热连轧过程控制系统服务器中，通过在1580热连轧过程控制系统服务器 内存中开辟专用的日志缓冲区域，保证大量的日志信息实时的写入到日志缓冲区，从而实现日志信息的实时写入，确保日志的时序正确，这样可以实现对大量日志的实时保存。 

日志导出模块安装在1580热连轧过程控制系统服务器的指定位置，用于将1580热连轧过程控制系统服务器日志缓冲区域中的日志信息写入到txt文件中，并实现日志文件所在文件夹的自动维护和日志文件的永久保存。 

日志查看工具安装在1580热连轧过程控制系统客户端，日志保存和管理的系统可以通过对1580热连轧过程控制系统服务器上的特定参数表进行配置，将1580热连轧过程控制系统客户端与1580热连轧过程控制系统服务器通过网络进行连接，然后将日志查看工具安装在1580热连轧过程控制系统客户端指定位置，运行客户端日志查看工具，就可以实现在1580热连轧过程控制系统客户端对1580热连轧过程控制系统服务器上日志的查看，可以查看到1580热连轧过程控制系统服务器中日志信息。日志保存和管理的系统内部工作流程如下： 

1、日志采集模块运行在1580热连轧过程控制系统服务器。日志采集模块首先在1580热连轧过程控制系统服务器内开辟一块专用的共享内存区域做为日志缓冲区。共享内存的读写比对硬盘的读写速度快10倍，这样来解决在大量日志并发的过程中，因为日志信息短时间大量的产生而造成的日志写入滞后的问题。采用共享内存的办法提供多线程和多进程系统中对日志输出的快速响应要求，线程可以再输出日志到缓冲区后，不必等待写入文件就往下执行。 

2、日志采集模块也要运行在1580热连轧过程控制系统服务器上。日志采集模块首先在1580热连轧过程控制系统服务器上的1580热连轧过程控制系统中创建一个写日志实例，1580热连轧过程控制系统需要记录的日志通过该实例提供的写日志接口函数将日志写入日志缓存中。 

日志采集模块嵌入到1580热连轧过程控制系统服务器中与之进行交互，通过在1580热连轧过程控制系统服务器内存中开辟专用的日志缓冲区域，保证大量的日志信息实时的写入到日志缓冲区，实现日志信息的实时写入，确保日志的时序正确，这样可以实现对大量日志的实时保存。 

3、日志导出模块对1580热连轧过程控制系统服务器内开辟的专属内存空间进行扫描，当日志保存和管理的系统发现日志导出模块缓存被写入新的日志信息后，日志导出模块则通过步骤2中创建的日志实例提供的读接口对未进行过读取的日志进行批量的导出。 

4、日志导出模块导出的日志信息被批量的写入到日志文件中。日志导出模块根据日志采集模块提供的日志读写接口，根据在1580热连轧过程控制系统服务器内指定的参数表设定的导出周期和每次导出日志的条数循环的将日志采集模块从1580热连轧过程控制系统服务器中获取的日志读出、保存，保证1580热连轧过程控制系统服务器上日志缓存中的日志不被新的日志覆盖。 

日志导出模块在对日志进行保存的时候，不需要在1580热连轧过程控制系统服务器上安装数据库，所有的日志信息都存储为txt文件，用于永久保存，但是在1580热连轧过程控制系统内部并不需要用大量的代码来实现。所述日志导出模块，采用参数表配置管理的方法，不仅可以控制整个日志文件夹的最大容量，还能根据日志的类别存储、控制单个日志文件的大小等。 

日志导出模块在运行时，首先读取1580热连轧过程控制系统服务器上指定参数文件中对应的参数，然后根据参数值将开辟的专用的共享内存的日志信息不断的写入到日志文件夹下的日志文件中，并且该日志文件夹的最大占用空间也已经在参数文件中定义好，同样不会因为缺少对日志文件夹的维护造成1580热连轧过程控制系统服务器的崩溃。 

5、基于客户-服务器结构的1580热连轧过程控制系统，通过在1580热连轧过程控制系统服务器上对特定的参数表进行配置，然后将日志查看工具安装在1580热连轧过程控制系统客户端指定位置，运行客户端日志查看工具，就可以实现在1580热连轧过程控制系统客户端对1580热连轧过程控制系统服务器上日志的查看。 

上述1580热连轧过程控制系统服务器的参数表包括通讯表和分布表。通讯表中需要定义如下数据：服务器的名称、日志保存和管理的系统的名称、1580热连轧过程控制系统服务器和1580热连轧过程控制系统客户端之间传递数据的大小和描述；在分布式表内需要定义的参数包括：1580热连轧过程控制系统服务器或者客户端的名称、日志保存和管理的系统是否在本机上、日志保存和管理的系统的名称、1580热连轧过程控制系统服务器ip、1580热连轧过程控制系统服务器监听端口、需要访问的远程服务名称、远程ip地址和端口号等信息。当系统运行时，首先查找1580热连轧过程控制系统服务器运行的日志保存和管理的系统，然后通过参数配置表的参数，运行1580热连轧过程控制系统客户端上的客户端日志查看工具，即可实现在1580热连轧过程控制系统客户端对1580热连轧过程控制系统服务器上日志信息的及时读取和显示。此处所说的远程，是指在客户-服务器模式下的客户端，可以理解为，如果1580热连轧过程控制系统服务器为本地机器，则1580热连轧过程控制系统客户端则为远程机器。 

本发明的优点和积极效果如下： 

1、在客户端-服务器模式的分布式系统中，由1580热连轧过程控制系统服务器对日志进行整体的处理，而在1580热连轧过程控制系统客户端实现轻松查看。 

2、通过高实现速缓存最终输出到日志文件中，并且用户根据日志文件文件夹所在的硬盘空间的实际情况确定日志文件夹的上限，不会因为日志文件夹缺少维护而导致1580热连轧过程控制系统服务器系统的崩溃。 

3、日志保存和管理的系统的使用，大大减少了模型系统开发人员对日志系统维护的代码编写量，而且使用简单。 

4、日志保存和管理的系统对缓冲的使用大大降低了过程控制系统服务器的负载，大大提高了1580热连轧控制系统服务器的效率、稳定性和安全问题。 

附图说明

图1为日志保存和管理的系统内部工作流程图。 

图2为日志保存和管理的系统在1580热连轧控制系统中组合结构示意图。 

具体实施方式

本发明日志保存和管理的系统包括1580热连轧过程控制系统服务器、1580热连轧过程控制系统客户端、日志采集模块、日志导出模块和日志查看工具。日志采集模块嵌入到1580热连轧过程控制系统服务器中，通过在1580热连轧过程控制系统服务器内存中开辟专用的日志缓冲区域，保证大量的日志信息实时的写入到日志缓冲区，从而实现日志信息的实时写入，确保日志的时序正确，这样可以实现对大量日志的实时保存。 

一、下面结合附图对该日志保存和管理的系统内主要模块的工作流程进行说明。 

如图一所示，1580热连轧控制系统的工作模式是客户端-服务器结构，即1580热连轧控制系统既可以单独在1580热连轧控制系统服务器上运行，实现日志的查看，同时在客户-服务器结构中，实现1580热连轧控制系统客户端对1580热连轧控制系统服务器日志查看的需求。 

1，首先日志保存和管理的系统根据设定的日志缓冲区内存放日志的条数和每条日志的最大长度，在1580热连轧控制系统服务器上进行缓冲区空间的开辟，并将内存文件映射到该内存空间中。 

2，日志缓存模块调用日志信息的插入接口，将日志信息缓存在1580热连轧控制系统服务器上内存缓冲区内。 

3，日志导出模块扫描日志缓冲区。当有日志信息写入到日志缓存区以后，日志导 出模块对日志缓冲区进行检索，根据配置参数，导出模块确定日志信息的归档参数，实现永久性存储。 

4，在日志保存和管理的系统所在的1580热连轧控制系统服务器内对应的参数表进行配置，在1580热连轧控制系统客户端运行客户端日志查看工具，1580热连轧控制系统服务器上的日志保存和管理的系统通过对参数进行加载，并与客户端连接成功后，即可实现在1580热连轧控制系统客户端对1580热连轧控制系统服务器上日志的显示和查看。 

二、下面对日志导出模块对应的参数表的参数进行说明。 

日志导出模块，定时从日志采集模块的日志缓冲区中导出日志。日志导出模块可控制的参数包括： 

Max_Log_Size	Max_Log_Num	Icount_Message	Max_Path	Sleep_Time	LogFile_No	Log_Old_Num	BackUp
								1000000	100	500	260	5000	32	1	1

如上表所示，参数含义为，日志文件的大小上限为1M，日志文件夹下日志文件的最多个数为10000个，每次从日志缓冲区内批量读取日志的条数为500条，日志导出模块每5s从日志缓冲区内导出一次日志信息，当日志导出模块第一次从日志缓冲区内读取日志信息时，从当前日志信息的前十条日志开始读取，每次对该参数文件进行修改后，不对参数文件进行备份保存。 

通过上述的操作和配置后，运行日志导出模块对应的服务程序，日志系统即可工作，将过程控制服务器中过程控制系统的日志写入到日志缓冲池内，然后通过日志导出模块再定时读取并保存到日志文件夹下，当日志文件夹的日志达到最大的个数时，日志导出模块就自动就会根据日志文件的生成时间和日志文件的名称，从最旧的日志文件开始再次写入日志信息，从而实现了日志文件夹的自动维护。 

三、下面结合附图以日志保存和管理的系统在1580热轧过程控制系统服务器中的使用场景为例对该日志保存和管理的系统的运行过程进行说明。 

图2是1580热连轧过程控制系统使用日志系统的示意图。如图所示，1580热连轧控制系统客户端这里只画一个，其实可以有多个1580热连轧控制系统客户端。其过程可以描述如下：1580热连轧过程控制系统与一级PLC系统进行数据的交互，包括一级PLC设备产生的过程数据和模型计算需要下发的计算结果。在此过程中，不论是采集到的一级设备数据，还是模型的计算结果，都可能存在数据超限之类的问题，同时，也可能存在信号的顺序逻辑问题。因此，对关键的数据和信号整理成日志进行输出十分 必要。下面介绍该日志保存和管理的系统在1580热连轧过程控制系统中的工作过程。 

1、用户将该日志保存和管理的系统对应文件导入到1580热连轧过程控制开发系统服务器上对应的开发环境内，日志保存和管理的系统在服务器上开辟日志缓冲区用于保存1580热连轧过程控制系统即将产生的日志信息。 

2、一级PLC产生的过程数据，经过读写接口，传递到服务器上的1580热连轧过程控制系统对应的模块内，1580热连轧过程控制系统接收对应的过程数据，并将该数据用于模型计算，得到计算结果。 

3、1580热连轧过程控制系统在将结果下发至PLC的同时，将重要的数据信息用日志系统的写日志接口将日志信息写入到服务器上日志系统开辟的内部日志缓冲区中。 

4、1580热连轧过程控制系统服务器上日志导出模块对该块缓冲区域进行定时扫描，根据上面提到的参数的设定，将日志信息批量写入到日志文件中。 

5、基于1580热连轧过程控制系统具有客户端-服务器结构的工作模式的特点，在日志保存和管理的系统所在的1580热连轧过程控制系统服务器上对如下的参数表进行配置，在1580热连轧控制系统客户端运行客户端日志查看工具，即可实现1580热连轧过程控制系统客户端对1580热连轧过程控制系统服务器上的日志进行查看。 

在1580热连轧过程控制系统服务器上需要配置的参数表如下： 

xs St ationName	xs Servic eName	1Size	xs Des cription
				L2-APP00	xLoggerWriter Service00	1000000	日志保存和管理的系统

上面的表我们称为xCommService表，定义在1580热连轧过程控制系统服务器指定位置，第2行的含义就是该日志保存和管理的系统(xLoggerWriter Service00)在1580热连轧过程控制系统服务器上运行。 

上表称为xCommDeploy表，为在1580热连轧系统中定义的为让1580热连轧过程控制系统客户端对1580热连轧过程控制系统服务器上的日志保存和管理的系统进行访问的部署表。首先日志保存和管理的系统需要运行在1580过程控制系统服务器上，参数如xCommService表所示，该表第2行是对1580过程控制系统服务器上的日志保存和管理的系统的描述，而第3行则是对需要访问1580过程控制系统服务器1580过程控 制系统客户端的一个描述，表示1580过程控制系统客户端L2-APP01需要访问ip地址为10.5.30.59的1580过程控制系统服务器上的名为xLoggerWriter Service00的日志保存和管理的系统。至此1580过程控制系统服务器和1580过程控制系统服务器客户端之间进行日志访问的配置完成，当服务器端产生日志信息后，只需要在1580热连轧过程控制系统客户端运行客户端日志查看工具，即可实现对在1580热连轧控制系统服务器日志的查看。 

上述日志保存和管理的系统是基于在1580热连轧过程控制系统开发过程中发明的，而且也在1580热连轧过程控制系统获得了成功的使用。其实，抛开1580热连轧过程控制系统，日志保存和管理的系统也可以应用在冶金流程工厂中其它的过程控制系统的开发过程中，具有很多种应用形式和场景，通过日志保存和管理的系统的使用，过程控制系统开发人员不需要编写大量的代码实现输入输出流的控制，也不需要频繁的打开和关闭的代码就可以实现对日志写入、导出和日志文件的维护，大大降低因为日志的读、写、保存和维护等给过程控制系统服务器带来的巨大的负载，提高过程控制系统服务器的工作效率和稳定性。 

Claims (1)

1.一种实现日志保存和管理的系统，其特征在于，包括1580热连轧过程控制系统服务器、1580热连轧过程控制系统客户端、日志采集模块、日志导出模块和日志查看工具；日志采集模块嵌入到1580热连轧过程控制系统服务器中，通过在1580热连轧过程控制系统服务器内存中开辟专用的日志缓冲区域，保证大量的日志信息实时的写入到日志缓冲区，从而实现日志信息的实时写入，确保日志的时序正确，实现对大量日志的实时保存；

日志导出模块安装在1580热连轧过程控制系统服务器的指定位置，用于将1580热连轧过程控制系统服务器日志缓冲区域中的日志信息写入到txt文件中，并实现日志文件所在文件夹的自动维护和日志文件的永久保存；

日志查看工具安装在1580热连轧过程控制系统客户端，日志保存和管理的系统通过对1580热连轧过程控制系统服务器上的特定参数表进行配置，将1580热连轧过程控制系统客户端与1580热连轧过程控制系统服务器通过网络进行连接,然后将日志查看工具安装在1580热连轧过程控制系统客户端指定位置，运行客户端日志查看工具，实现在1580热连轧过程控制系统客户端对1580热连轧过程控制系统服务器上日志的查看，查看到1580热连轧过程控制系统服务器中日志信息；

所述的1580热连轧过程控制系统服务器的参数表包括通讯表和分布表；通讯表中定义如下数据：服务器的名称、日志保存和管理的系统的名称、1580热连轧过程控制系统服务器和1580热连轧过程控制系统客户端之间传递数据的大小和描述；在分布表内定义的参数包括：1580热连轧过程控制系统服务器或者客户端的名称、日志保存和管理的系统是否在本机上、日志保存和管理的系统的名称、1580热连轧过程控制系统服务器ip、1580热连轧过程控制系统服务器监听端口、需要访问的远程服务名称、远程ip地址和端口号信息；当系统运行时，首先查找1580热连轧过程控制系统服务器运行的日志保存和管理的系统，然后通过参数配置表的参数，运行1580热连轧过程控制系统客户端上的客户端日志查看工具，实现在1580热连轧过程控制系统客户端对1580热连轧过程控制系统服务器上日志信息的及时读取和显示。