CN107590054B - 船舶服务器日志监控系统 - Google Patents

Abstract

本发明提供一种船舶服务器日志监控系统，包括：多个船舶服务器、日志中转存储模块以及控制中心；船舶服务器的采集模块读取预设时间内的日志文件，并产生增量文件；上传模块将增量文件压缩，并根据网络指标将增量文件压缩包进行数据分组为N个文件颗粒，并发送至日志中转存储模块；日志中转存储模块存储N个文件和装箱单文件；控制中心的下载模块下载装箱单文件，并依次下载N个文件，将还原后的日志文件发送至集中日志数据库；集中日志数据库存储还原日志文件；解析模块将集中日志数据库中的还原日志文件解压。本发明实现了弱网状况的船舶服务器日志采集和分析，在陆岸端可以监控和分析海上航行船只运行的信息系统所产生的日志。

Description

船舶服务器日志监控系统

技术领域

本发明涉及船舶监控领域，尤其涉及一种船舶服务器日志监控系统。

背景技术

由于船舶需要长期在海上航行，船舶服务器缺少专业IT人员的现场支持，一旦发生信息化故障则很难判定其故障原因，无法制定有效的故障排除方案。因此，船舶服务器系统的运行日志监控工作十分重要。

目前计算机日志采集一般是基于Syslog协议的采集方式或SNMP Trap(SimpleNetworkManagement Protocol，简单网络管理协议)机制采集方式。这些采集方式一般对网速、网络稳定性要求高，传输日志数据对网络流量消耗大，在海上网络状况差，网费高昂的限制条件下，不能很好的实现船舶服务器日志监控。

发明内容

本发明提供一种船舶服务器日志监控系统，以克服上述问题。

本发明船舶服务器日志监控系统，包括：

多个船舶服务器、日志中转存储模块以及控制中心；

船舶服务器包括：采集模块、上传模块；

控制中心包括：下载模块、集中日志数据库、解析模块以及日志查询数据库；

所述采集模块用于读取预设时间内的日志文件，并产生增量文件包，标记当前时刻日志结尾位置；

所述上传模块用于将所述增量文件进行压缩，并根据网络指标将所述增量文件压缩包进行数据分组为N个文件颗粒，同时生成一个装箱单文件，所述装箱单文件包括N个文件颗粒的数字指纹信息、将所述N个文件颗粒反向分组还原的配置信息，并将所述N个文件颗粒和所述装箱单文件发送至所述日志中转存储模块；

所述下载模块用于下载所述装箱单文件，并根据所述装箱单文件依次下载所述N个文件，并核对所述N个文件下载是否完整，若是，则将所述N个文件合并还原，并将还原后的日志文件发送至所述集中日志数据库；

所述集中日志数据库用于接收所述下载模块发送的还原日志文件，并存储所述还原日志文件；

所述解析模块用于将所述集中日志数据库中的还原日志文件解压，并根据类型或者内容分类写入所述日志查询数据库；

所述日志查询数据库用于接收所述解析模块发送的日志文件，并存储所述日志文件。

进一步地，所述解析模块还具体用于；

将所述日志查询数据库中的日志内容与日志正则匹配数据库进行逐行正则匹配，若存在匹配结果，则将所述结果发送至报警模块，若匹配失败，则将所述日志内容放入未匹配列表，用于更新所述日志正则匹配数据库。

进一步地，所述控制中心还包括：

修复模块，用于根据修复方案对未匹配的日志内容进行修复。

进一步地，所述控制中心还包括：

反馈模块，用于将修复模块的修复结果反馈至船舶服务器。

本发明解决了船舶上运行的信息系统日志由于海上运行网络差的环境下，无法对船舶监控的问题。实现了对船舶信息系统运行日志的有效采集传输和分析预警的特殊需求。对于海运行业的电子信息化的推进和实施提供了保障。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明船舶服务器日志监控系统结构示意图；

图2为本发明船舶服务器日志监控系统另一结构示意图；

图3为本发明船舶服务器日志监控系统另一结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明船舶服务器日志监控系统结构示意图，如图1所示，本实施例的系统，可以包括：

多个船舶服务器101、日志中转存储模块102以及控制中心103；

船舶服务器包括：采集模块104、上传模块105；

控制中心包括：下载模块106、集中日志数据库107、解析模块108以及日志查询数据库109；

所述采集模块用于读取预设时间内的日志文件，并产生增量文件包，标记当前时刻日志结尾位置；

所述上传模块用于将所述增量文件进行压缩，并根据网络指标将所述增量文件压缩包进行数据分组为N个文件颗粒，同时生成一个装箱单文件，所述装箱单文件包括N个文件颗粒的数字指纹信息、将所述N个文件颗粒反向分组还原的配置信息，并将所述N个文件颗粒和所述装箱单文件发送至所述日志中转存储模块；

所述日志中转存储模块用于接收所述上传模块发送的N个文件和所述装箱单文件，并存储所述N个文件和所述装箱单文件；

所述下载模块用于下载所述装箱单文件，并根据所述装箱单文件依次下载所述N个文件，并核对所述N个文件下载是否完整，若是，则将所述N个文件合并还原，并将还原后的日志文件发送至所述集中日志数据库；

所述集中日志数据库用于接收所述下载模块发送的还原日志文件，并存储所述还原日志文件；

所述解析模块用于将所述集中日志数据库中的还原日志文件解压，并根据类型或者内容分类写入所述日志查询数据库；

所述日志查询数据库用于接收所述解析模块发送的日志文件，并存储所述日志文件。

具体而言，上传模块在每次上传任务完成后，会将上传过程记录到一个本地Sqlite数据表中，表名为T_切片算法依据_DATA，该表的字段包括“上传时的网速”、“切片前文件大小”、“切片文件颗粒数量”、“上传完所有切片所耗的时间”。当上传模块对一个文件进行切片之前，会利用之前记录的这些数据，根据当前的网速和待切片文件大小，从T_切片算法依据_DATA表中查询出最接近当前网速和文件大小的上传过程记录，取“上传完所有切片所耗用的时间”值最小的数据的“切片文件颗粒数量”作为本次切片的基础量，为了让T_切片算法依据_DATA表记录样本具有自我成长性，算法会将这个基础量加上一个正负15％随机值，作为本次切片颗粒数量。

日志采集模块按照预设的频率定时采集船舶的日志文件，捕获一个或多个船舶运行软件的日志文件数量的变化和内容变化。获得增量文件或内容压缩归档为特定命名规则的日志文件包。按照该命名规则上传模块将该日志文件包以切片方式通过上传插件传至日志中转存储模块，该日志中转存储模块可以为阿里云、百度云等云存储，该上传插件可以为FTP上传支持插件，OSS阿里云支持插件，局域网文件传输插件，更多插件可以任意扩展。下载模块按照预设的频度定时通过下载插件下载日志切片包，并将该切片重新合成为完整文件写入到日志整合数据库中。解析模块按照预设的频度定时运行，将日志整合数据库中的未处理状态的日志文件包进行解析，解析器遵循插件接口方式，且该算法可扩展。

举例说明，采集模块服务可以被设置为计划任务每隔1分钟或1小时执行一次。任务开启时会判断是否有正在进行的采集模块，如果存在会自动退出，防止出现采集冲突。依靠采集日志插件。采集插件针对某种已知应用系统编写，支持C#语言进行编写，由于可以直接调用系统底层API，所以对Windows系统的掌控权限很高。本实施例为采集Windows系统编写了WindowsEventLog_Plugin采集插件，为船舶管理系统运行Tomcat日志编写了PmsWebSrvLog_Plugin采集插件，为系统性能计数器编写了SysProfiling_Plugin采集插件。这些插件放入采集模块的插件目录就会自动被加载并被执行插件内部的采集程式。以Tomcat日志采集插件(PmsWebSrvLog_Plugin)为例，插件使用Sqlite3本地文件数据库记录日志文件已处理行号记录，插件会遍历Tomcat日志目录，查找所有.Log扩展名的文件，针对每个文件在Sqlite3数据库中查询是否存在行号记录。如果没有记录，则读取所有文件内容，写入最后行号记录。如果存在记录，则读取行号之后的内容，并更新最后行号记录。读取完成后，如果文件可以被读/写模式访问，则将log文件重命名改名为原文件名+当前时间戳.txt扩展名的文件，以避免同一个文件被重复操作。反之，如不能以读/写模式访问，说明日志文件正在被Tomcat服务使用，不做删除操作，只是读取增量内容后并更新最后行号。这种方式确保不会重复采集的日志内容。增量文件内容读取后会按照系统ID/插件类型/日志文件名+时间戳.LOG的文件目录命名规则写入到本地一个待上传文件夹Folder_ToUp中。

传模块遍历本地待上传文件夹Folder_ToUp，将待上传文件夹下现有的日志文件包移动到一个随机产生的临时目录(不会重复)，并逐一文件包进行7ZIP格式(一种开源的高度压缩格式)压缩形成待切片文件(7ZLOG)。在临时目录中，将压缩后的文件包按照设定的大小切片成N分小文件，命名后缀添加part_n，同时生成一个装箱单文件用于还原。该装箱单文件中包含有如下信息：原切片文件7ZLOG的文件名和哈希值、切片后的文件总数量以及切片后的切片文件名以及其对应的切片哈希值。通过以上信息，可以获得一个装箱单所包含的所有切片的文件信息。并可以通过哈希值校验下载和合并是否成功。将处理好的装箱单文件和切片文件一并从临时目录移动特定的文件夹(Folder_QP)。处理完成后，临时目录被删除清理，避免系统产生垃圾文件。调用上传插件将Folder_QP中未上传成功的文件传输到文件中转存储(LOG_MID_STG)中。上传成功的文件，Folder_QP中删除；上传失败的文件，保留在Folder_QP中下次任务继续上传。需要说明的是，上传插件是可以针对不同的文件中转存储介质的，可以根据不同的LOG_MID_STG类型来选择不同的支持插件。OSSUploader插件可以将文件上传到阿里云；FtpUploader插件可以将文件上传到FTP。

下载模块调用下载引擎从文件中转存储(LOG_MID_STG)下载装箱单文件到本地目录(Folder_LOC)。如果下载成功，将LOG_MID_STG中的装箱单文件删除，否则保留下次任务继续下载。与上述提到的下载插件类似，下载插件也是针对不同的文件中转存储介质的而开发的。OSSDownloader插件可以从阿里云下载文件；FtpDownloader插件可以从FTP下载文件；可以根据不同的LOG_MID_STG类型来选择相应的下载支持插件。遍历Folder_LOG目录，依次读取下载完成的装箱单文件，解析装箱单文件中的切片信息，找到切片位于LOG_MID_STG中的存放信息，下载切片到本地目录(Foder_LOC)中，如果之前已经下载过，改文件存在且哈希值校验无误，不会重复下载。在Foder_LOC中检查装箱单文件对应的切片文件是否完整下载，如果下载完成，将切片合并还原为文件包(7ZLOG)。如果合成成功，则删除装箱单文件。判断下载成功和合成成功的标志是哈希值与装箱单内信息一致。遍历Foder_LOC中的7ZLOG文件包，将7ZLOG按照文件名规则分门别类的写入到集中日志数据库(DB_LOGFILES)，记录初始状态为待处理。

集中日志数据库采用的是开源的PostgreSql数据库，可以存储千T级别的数据而不会导致性能瓶颈。当然，这里也可以选择Oracle或者DB2等商业数据库。

解析模块从集中日志数据库(DB_LOGFILES)中查询出待处理状态的记录集合(RLOG_TO_PS)。加载解析器插件列表，将RLOG_TO_PS集合中的记录根据日志类型不同依次送入相应的解析插件。解析插件对日志记录中的日志包(7ZLOG)内容进行7Z解压，解压后的记录状态被设置为已处理。对解压后的文件进行逐行扫描。对每一行日志内容进行正则匹配，满足设定好的类型关键字或内容关键字的日志行会被写入日志查询数据库(DB_LOG_QUERY)。满足预警关键字的日志会被发送给报警模块。

进一步地，所述解析模块还具体用于；

将所述日志查询数据库中的日志内容与日志正则匹配数据库进行逐行正则匹配，若存在匹配结果，则将所述结果发送至报警模块，若匹配失败，则将所述日志内容放入未匹配列表，用于更新所述日志正则匹配数据库。

具体而言，本实施例解析模块按照正则匹配规则将目标日志内容整理写入到查询数据库。按照预设频度定时允许将符合正则匹配规则的日志内容发送至查询人员的移动终端或邮箱。从而可以及时发现故障和定位发生该故障的原因，保障船舶系统的正常运行。

进一步地，如图2所示，在图1所示的船舶服务器日志监控系统基础之上，所述控制中心还包括：

修复模块110，用于根据修复方案对已匹配的日志内容进行修复。

具体而言，修复模块是一个对已知日志匹配串进行修复的程序代码集合，每个匹配日志内容，都会对应一个特殊的修复编号，每个修复编号都关联一个可执行的修复程序和一个可执行的校验程序，日志的正则匹配过程中，会将所需要的匹配子串分组匹配到参数列表中，调用并传递给可执行程序进行修复。例如，当正则匹配发现异常日志是由于Java虚拟机的某种类型的内存堆栈不足导致时，则会调用VM垃圾回收代码去释放特定内存堆栈，从而达到自动修复的目的。当匹配到数据写入数据库过程中产生字段长度不足而导致的数据库SQL执行异常时，修复代码会检测字段参数是否用户自定义的数据库字段，如果是，则根据其数据库类型自动产生扩充数据库表字段长度的SQL语句并应用到数据库中，用户下次再执行同样的数据保存操作，就不会再出现此异常。

修复模块在执行修复可执行程序代码时，会记录代码执行过程。在可执行程序代码执行完毕后，会接着执行校验程序，校验程序用于检验得出修复结果，将执行过程和修复结果以数据行记录的形式记入到修复结果数据库(DB_REPAIR_STAT)，该行记录的状态为“未反馈”。

进一步地，如图3所示，在图2所示的船舶服务器日志监控系统基础之上，所述控制中心还包括：

反馈模块111，用于将修复模块的修复结果进行报告反馈。

具体的，反馈模块从修复结果数据库(DB_REPAIR_STAT)查询状态为“未反馈”的记录集合，然后记录形成HTML5报告页面邮件的形式发送给特定的技术人员。发送形式包含但不限于邮件、微信、短信形式等。如果发送成功，则将记录状态变更为“已反馈”，如果发送失败则保留“未反馈”状态，等待反馈模块启动时继续进行发送。

本发明中日志数据包切片传输技术让船上网络状况不佳时断时续的低网速的条件下，可以尽可能及时的将完成日志数据的传输。传输过程中传输的只是增量归档的压缩日志包，不会因为冗余传输而造成流量的浪费。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (4)

1.一种船舶服务器日志监控系统，其特征在于，包括：

多个船舶服务器、日志中转存储模块以及控制中心；

船舶服务器包括：采集模块、上传模块；

控制中心包括：下载模块、集中日志数据库、解析模块以及日志查询数据库；

所述采集模块用于读取预设时间内的日志文件，并产生增量文件包，标记当前时刻日志结尾位置；

所述上传模块用于将所述增量文件进行压缩，并根据网络指标将所述增量文件压缩包进行数据分组为N个文件颗粒，同时生成一个装箱单文件，所述装箱单文件包括N个文件颗粒的数字指纹信息、将所述N个文件颗粒反向分组还原的配置信息，并将所述N个文件颗粒和所述装箱单文件发送至所述日志中转存储模块；

所述日志中转存储模块用于接收所述上传模块发送的N个文件和所述装箱单文件，并存储所述N个文件和所述装箱单文件；

所述下载模块用于下载所述装箱单文件，并根据所述装箱单文件依次下载所述N个文件，并核对所述N个文件下载是否完整，若是，则将所述N个文件合并还原，并将还原后的日志文件发送至所述集中日志数据库；

根据当前的网速和待切片文件大小，依据_DATA表中查询出最接近当前网速和文件大小的上传过程记录，取上传完所有切片所耗用的时间值最小的数据的切片文件颗粒数量作为本次切片的基础量，并将所述基础量加上一个正负15％随机值，作为本次切片颗粒数量；

所述集中日志数据库用于接收所述下载模块发送的还原日志文件，并存储所述还原日志文件；

所述解析模块用于将所述集中日志数据库中的还原日志文件解压，并根据类型或者内容分类写入所述日志查询数据库；

所述日志查询数据库用于接收所述解析模块发送的日志文件，并存储所述日志文件。

2.根据权利要求1所述的系统，其特征在于，所述解析模块还具体用于；

将所述日志查询数据库中的日志内容与日志正则匹配数据库进行逐行正则匹配，若存在匹配结果，则将所述结果发送至报警模块，若匹配失败，则将所述日志内容放入未匹配列表，用于更新所述日志正则匹配数据库。

3.根据权利要求2所 述的系统，其特征在于，所述控制中心还包括：

修复模块，用于根据修复方案对未匹配的日志内容进行修复。

4.根据权利要求3所述的系统，其特征在于，所述控制中心还包括：

反馈模块，用于将修复模块的修复结果反馈至船舶服务器。

Images