CN109039749B - 一种远程日志采集和加密传输系统及方法 - Google Patents

Abstract

本发明公开了一种远程日志采集和加密传输系统及方法，包括至少一个日志采集器和至少一个云服务平台，日志采集器被预先配置为与各基础设施相关联，并根据各基础设施的需求而采集运行日志文件，以及初步存储采集的日志文件，日志采集器通过TCP/IP协议接收各基础设施的运行日志文件，日志采集器向云服务平台请求链接并与云服务平台建立加密传输通道；云服务平台通过加密通道接收经过压缩后的日志文件，云服务平台将接收的日志文件进行智能关联分析和统一存储。本发明保证了日志采集和管理系统的高可用性、可扩展性和高安全性，云服务平台通过虚拟化技术部署提高的系统的计算能力和稳定性，有效的降低的平台建设得成本投入。

Description

一种远程日志采集和加密传输系统及方法

技术领域

本发明涉及计算机互联网技术领域，尤其涉及一种远程日志采集和加密传输系统及方法。

背景技术

现在的互联网+时代，各类新型互联网业务不断诞生，网络安全已成为企业或者单位发展的命脉，对网络安全态势的分析越来越重要，而网络安全态势分析的基础是单位关键基础设施的运行日志、系统日志。对于互联网来说，获取用户在网站上的访问记录，进行行为分析至关重要。日志的获取有好多种，例如：服务器日志数据、客户端装一些监视软件发送日志、页面标记法等。这些数据遍布公司成百上千的服务器上，如何将这些数据收集到一起，供后续分析使用，是一大技术难题。

Syslog已成为工业标准协议的系统日志，目前，可用它记录设备的日志。在路由器、交换机、服务器等网络设备中，syslog记录着系统中的任何事件，管理者可以通过查看系统记录，随时掌握系统状况。它能够接收远程系统的日志记录，在一个日志中按时间顺序处理包含多个系统的记录，并以文件形式存盘。同时不需要连接多个系统，就可以在一个位置查看所有的记录。syslog使用UDP作为传输协议，通过目的端口514(也可以是其他定义的端口号)，将所有安全设备的日志管理配置发送到安装了syslog软件系统的日志服务器，syslog日志服务器自动接收日志数据并写到日志文件中。

Syslog日志服务器可以同时接收几台到几十台规模的并发服务。日志文件通常都是通过日期方式保存的，但是因为管理员不重视日志，经常会看到有的系统单个日志文件上百M，有的甚至是几G，而实际大家处理问题关注的都是最近的日志，所以控制单个日志文件的大小，对日志的性能以及后期的运维都是非常便利的。

现有的日志采集和管理方法中主要存在以下缺点：

1、日志文件本地存储，需占用大量的磁盘空间，个别网络安全设备不带存储空间或配额很少，无法长时间保存。

2、日志的分析能力和时效差，普遍设备的日志需管理员通过手动的方式去查询去分析，设备与设备间的关联分析需靠人工去完成。

3、可扩展性和实用性较差，对于越多设备所产生的系统日志也就越多，那么设备的日志收集和分析也就越困难。

4、日志文件太大不便游览，由于目前普遍使用文本文件的方式记录文件，日志文件没有很好的压缩，而且访问日志文件需经过一波三折登录服务器才能进行分析。

5、日志安全保障性差，由于设备本身没有限制日志文件的权限，易发生误操作和被恶意删除。

6、可维护性差，现有设备的老化或更新，日志的格式和方式也在变化，系统升级也面临很多部确定因素，面临大量的日志，管理员也无从下手。

因此，需要提供一种新的日志收集管理方式，将实现日志文件的实时收集、统一存储及分析，通过大数据智能关联实现快速存储、智能分析和安全呈现。提升安全运维手段和时效，降低安全风险和运维成本。

发明内容

为了解决上述技术问题，本发明的目的之一是提供一种远程日志采集和加密传输系统，克服现有技术中的不足，实现日志的分布式实时远程收集和及时分析，提高了数据传输的安全性、数据快速检索，实现日志的远程分布式采集及加密传输。

为实现上述发明目的，本发明采取的技术方案如下：

一种远程日志采集和加密传输系统，包括：

至少一个日志采集器和至少一个云服务平台；

所述日志采集器被预先配置为与各基础设施相关联，并根据所述各基础设施的需求而采集运行日志文件，以及初步存储采集的所述日志文件，所述日志采集器通过TCP/IP协议接收各基础设施的运行日志文件，所述日志采集器向所述云服务平台请求链接并与所述云服务平台建立加密传输通道；

所述云服务平台通过加密通道接收经过压缩后的所述日志文件，所述云服务平台将接收的所述日志文件进行智能关联分析和统一存储。

优选的，本发明设置一个日志采集器和一个云服务平台。

优选的，所述运行日志文件为syslog日志文件，通过UDP传输方式获取所述各基础设施的日志数据，按预设写入频率将所述日志数据写入日志文件形成所述syslog日志文件。

优选的，所述日志采集器包括日志采集模块、日志加密传输及发送模块和日志存储模块，所述日志采集模块采集所述各基础设施的所述日志文件，将采集到的所述日志文件通过写入磁盘操作存储至所述日志存储模块中，所述日志加密传输及发送模块将采集到的所述日志文件进行自动分割、分类后加密传输至所述云服务平台，确保数据的准备性和完整性。

优选的，所述日志加密传输及发送模块包括日志压缩模块，所述日志压缩模块将所述日志文件进行压缩处理。

优选的，所述日志存储模块采用异步写入的方式将采集到的所述日志文件进行初步存储。异步写入可以保证大批量的数据处理的稳定性和可靠性。

优选的，所述日志加密传输及发送模块包括日志读取模块和日志发送模块，所述日志读取模块将接收到的所述日志文件进行分割、分类处理，所述日志发送模块与所述云服务平台建立VPN远程连接，并将分割及分类处理后的所述日志文件通过加密传输的方式发送给所述云服务平台。

优选的，所述云服务平台包括日志接收解密模块、云服务平台智能关联分析引擎和大屏展示模块，所述日志接收解密模块与所述日志采集器建立VPN链接请求和加密传输通道，解密接收到的所述日志文件，所述云服务平台智能关联分析引擎接收解密后的所述日志文件并进行关联分析，所述大屏展示模块展示关联分析的结果。

优选的，所述云服务平台智能关联分析引擎包括日志智能分析模块和日志写入数据库模块，所述日志写入数据库模块将接收到所述日志接收解密模块分发的所述日志文件进行分类、归档及统一存储；所述日志智能分析模块将分类、归档后的所述日志文件进行大数据分析、智能关联及快速检索，并将分析结果通过所述大屏展示模块进行安全展示，达到溯源追溯和安全可视化。

本发明的目的之二是提供一种远程日志采集和加密传输方法，包括如下步骤：

(1)、通过UDP传输方式获取各基础设施的日志数据，按预设写入频率将所述日志数据写入日志文件形成syslog日志文件；

(2)、通过日志采集器接收所述syslog日志文件并初步存储日志文件，所述日志采集器通过TCP/IP协议接收日志文件，由日志采集器将日志文件进行分割、分类处理后写入到日志采集器的磁盘文件中进行存储；

(3)、所述日志采集器判断是否接收完成所有所述各基础设施的所述日志文件；当所述日志采集器接收完成所有的所述各基础设施的所述日志文件后，所述日志采集器向云服务平台请求链接，建立传输通道；

(4)、所述云服务平台在接收到所述日志采集器的链接请求时，启用VPN链接服务，与所述日志采集器建立VPN通道；

(5)、所述日志采集器通过VPN加密通过将所收集的日志文件，统一压缩加密并上传至所述云服务平台；

(6)、所述云服务平台将接收的所述日志文件进行解密后，将解密后的所述日志文件分别发送给日志智能分析模块进行智能关联分析和日志写入数据库模块进行分类、归档及统一存储，并将分析结果通过大屏展示模块进行安全展示。

优选的，所述云服务平台将解密后的所述日志文件通过智分引擎VT引导不同的数据，根据设定的场景将所述日志文件分流至智能分析服务群IAG和日志存储服务群LSG，智能分析服务群IAG对接收的所述日志文件通过大数据分析技术和智能关联分析后将结果上报给大屏展示模块呈现。

优选的，所述日志采集器将接收的日志信息通过加密传输及脱敏后将数据推送给云服务平台进行关联分析及存储，脱敏处理可以将某些敏感信息通过脱敏规则进行数据变形，保证数据的安全性。

优选的，通过日志采集器接收所述syslog日志文件的步骤还包括：使用探针收集所述基础设施的日志文件，并通过数据交换将探针收集的所述日志文件发送至所述日志采集器，再由所述日志采集器进行分割、分类处理后写入到日志采集器的磁盘文件中，进行所述日志文件的初步存储。这是基于目前网络中存在内外网安全隔离装置，关键基础设施设备无法将日志文件通过TCP协议传送至日志采集器，因此由探针先收集设备日志文件后通过数据交换技术实现将日志文件发送至日志采集器。

优选的，所述云服务平台还包括安全处置流程，所述云服务平台将接收到的所述日志文件通过大数据进行关联分析后，将分析结果反馈至所述日志采集器并下发安全处置流程，完成安全事件结果处置。

相对于现有技术，本发明取得了有益的技术效果：

本发明提供的远程日志采集和加密传输系统及方法可以实时将设备的日志文件通过远程实时信息传送，根据日志采集器预设日志采集频率，采集设备日志后进行统一存储，再通过安全加密通道上传至云服务平台，云服务平台收到链接请求后，与日志采集器建立VPN远程网络连接并接收日志信息；云服务平台将接收的日志信息分别发送给日志智能分析模块进行智能关联分析和日志写入数据库模块进行统一存储，通过大数据关联技术提供数据快速检索、溯源追溯和安全可视化。通过本技术方案，可以保证日志采集和管理系统的高可用性、可扩展性和高安全性，云服务平台通过虚拟化技术部署提高的系统的计算能力和稳定性，有效的降低的平台建设得成本投入。同时，日志传输过程采用加密传输和数据脱敏，实现对用户的信息保密要求，采用云服务方式，单位用户无需在本地建立服务平台和运维队伍，从而降低用户对应系统的软硬件投入成本。

附图说明

图1为本发明公开的一种远程日志采集和加密传输系统的结构图；

图2为本发明公开的一种远程日志采集和加密传输方法第一实施例的流程图；

图3为本发明公开的一种远程日志采集和加密传输方法第二实施例的流程图。

附图标记

1.日志采集器；2.日志采集模块；3.日志加密传输及发送模块；31.日志读取模块；32.日志发送模块；4.日志存储模块；5.云服务平台；6.日志接收解密模块；7.云服务平台智能关联分析引擎；8.日志智能分析模块；9.日志写入数据库模块；10.大屏展示模块。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例对本发明进行进一步详细说明，但本发明要求保护的范围并不局限于下述具体实施例。

如图1所示，一种远程日志采集和加密传输系统，包括：

至少一个日志采集器1和至少一个云服务平台5，优选的，本实施例设置一个日志采集器1和一个云服务平台5。所述日志采集器1被预先配置为与各基础设施相关联，基础设施为各种基础网络设备，并根据所述各基础设施的需求而采集运行日志文件，以及初步存储采集的所述日志文件，所述日志采集器1通过TCP/IP协议接收各基础设施的运行日志文件，所述日志采集器1向所述云服务平台5请求链接并与所述云服务平台5建立加密传输通道；所述云服务平台5通过加密通道接收经过压缩后的所述日志文件，所述云服务平台5将接收的所述日志文件进行智能关联分析和统一存储。

本实施例中的日志数据采用二进制格式保存，日志文件的大小只有文本文件的20％左右；日志的收集是实时的，日志格式采用基于syslog格式，通过UDP传输方式获取所述各基础设施的日志数据，按预设写入频率将所述日志数据写入日志文件形成所述syslog日志文件。具有良好的维护性，不会因为系统日志的升级而需要修改日志的解析模块。

所述日志采集器1包括日志采集模块2、日志加密传输及发送模块3和日志存储模块4，所述日志采集模块2采集所述各基础设施的所述日志文件，将采集到的所述日志文件通过写入磁盘操作存储至所述日志存储模块4中，所述日志存储模块4采用异步写入的方式将采集到的所述日志文件进行初步存储。

所述日志加密传输及发送模块3将采集到的所述日志文件进行自动分割、分类后加密传输至所述云服务平台5，确保数据的准备性和完整性。所述日志加密传输及发送模块3包括日志压缩模块，所述日志压缩模块将所述日志文件进行压缩处理。

所述日志加密传输及发送模块3还包括日志读取模块31和日志发送模块32，所述日志读取模块31将接收到的所述日志文件按类型、时间等单位信息进行分割、分类处理，所述日志发送模块32与所述云服务平台5建立VPN远程连接，并将分割及分类处理后的所述日志文件通过加密传输的方式发送给所述云服务平台5，使数据形成加密处理，确保数据的准备性和完整性。

所述云服务平台5包括日志接收解密模块6、云服务平台智能关联分析引擎7和大屏展示模块10，所述日志接收解密模块6与所述日志采集器1建立VPN链接请求和加密传输通道，然后解密接收到的所述日志文件，所述云服务平台智能关联分析引擎7接收解密后的所述日志文件并进行关联分析，所述大屏展示模块10展示和呈现关联分析的结果。

所述云服务平台智能关联分析引擎7包括日志智能分析模块8和日志写入数据库模块9，所述日志写入数据库模块9将接收到所述日志接收解密模块6分发的所述日志文件进行分类、归档及统一存储；所述日志智能分析模块8将分类、归档后的所述日志文件进行大数据分析、智能关联及快速检索，并将分析结果通过所述大屏展示模块10进行安全展示，达到溯源追溯和安全可视化。云服务平台5采用虚拟化技术部署，可实现快速部署、分发及统一管理，可保证不会因为系统的自身资源不足导致限制业务的发展，日志采集器1与云服务平台5直接采用加密传输及数据脱敏，达到用户的保密要求。

本实施例通过日志采集器1预设日志采集频率，采集设备日志后进行统一存储，再通过安全加密通道上传至云服务平台5，云服务平台5收到链接请求后，与日志采集器1建立VPN远程网络连接并接收日志信息；云服务平台5将接收的日志信息分别发送给日志智能分析模块8进行智能关联分析和日志写入数据库模块9进行统一存储，此时存储的信息是经过分类处理后的信息，日志智能分析模块8通过大数据关联技术提供数据快速检索、溯源追溯，将检索分析结果进行安全可视化展示。

方法实施例1：

如图1和2所示：本实施例公开了一种远程日志采集和加密传输方法，包括如下步骤：

(1)、通过UDP传输方式获取各基础设施的日志数据，按预设写入频率将所述日志数据写入日志文件形成syslog日志文件；

(2)、通过日志采集器1接收所述syslog日志文件并初步存储日志文件，所述日志采集器1通过TCP/IP协议接收日志文件，由日志采集器1将日志文件进行分割、分类处理后写入到日志采集器1的磁盘文件中进行存储；

(3)、所述日志采集器1判断是否接收完成所有所述各基础设施的所述日志文件；当所述日志采集器1接收完成所有的所述各基础设施的所述日志文件后，所述日志采集器1向云服务平台5请求链接，建立传输通道；

(4)、所述云服务平台5在接收到所述日志采集器1的链接请求时，启用VPN链接服务，与所述日志采集器1建立VPN通道；

(5)、所述日志采集器1通过VPN加密通过将所收集的日志文件，统一压缩加密并上传至所述云服务平台5，所述日志采集器1将接收的日志信息通过加密传输及脱敏后，将数据推送给云服务平台5进行关联分析及存储；

(6)、所述云服务平台5将接收的所述日志文件进行解密后，将解密后的所述日志文件分别发送给日志智能分析模块8进行智能关联分析和日志写入数据库模块9进行分类、归档及统一存储，并将分析结果通过大屏展示模块10进行安全展示。具体的，所述云服务平台5将解密后的所述日志文件通过智分引擎VT引导不同的数据，根据设定的场景将所述日志文件分流至智能分析服务群IAG和日志存储服务群LSG，智能分析服务群IAG对接收的所述日志文件通过大数据分析技术和智能关联分析后将结果上报给大屏展示模块10呈现。

安全展示包括全网安全可视化和各分支安全可视化，全网安全可视化是将分析结果统一进行展示。通过日志智能分析模块8进行智能关联分析后将分析结果通过日志采集器1的采集平台进行各分支安全可视化，根据分析结果和各个分支设施进行匹配，实现各分支安全可视化。

所述云服务平台5还包括安全处置流程，所述云服务平台5将接收到的所述日志文件通过大数据进行关联分析后，将分析结果反馈至所述日志采集器1和工作平台，并下发安全处置流程，完成安全事件结果处置。

方法实施例2：

如图3所示，该实施例仅描述与上述实施例的不同之处，其余技术特征与上述实施例相同。本实施例通过日志采集器1接收所述syslog日志文件的步骤还包括：使用探针收集所述基础设施的日志文件，并通过数据交换将探针收集的所述日志文件发送至所述日志采集器1，再由所述日志采集器1进行分割、分类处理后写入到日志采集器1的磁盘文件中，进行所述日志文件的初步存储。这是基于目前网络中存在内外网安全隔离装置，关键基础设施设备无法将日志文件通过TCP协议传送至日志采集器1，因此由探针先收集设备日志文件后通过数据交换技术实现将日志文件发送至日志采集器1。

本发明提供的远程日志采集和加密传输方法包含日志采集器1、VPN应用、云服务分析平台与现有的技术相比，本发明具有以下优势：适用范围广：采用云服务方式，避免本地搭建应急平台和日志服务器，适用于大中小企业用户环境；实现成本降低：通过云服务方式，企业用户无需购买分析软件、日志服务器和专员验证等，达到适用成本降低；加密传输：通过采集器自身的VPN功能与服务平台建立加密传输，同时传输过程中的数据进行脱敏处理，达到保密要求。

通过本发明提供的系统和方法，可以实现实时的日志信息的分布式采集，装置的扩展性强，日志文件小，并且具有良好的维护性，不会因为系统升级而对日志解析进行修改。另外，日志采集方式采用TCP/IP协议，由基础设施和日志采集器1形成的客户端通过VPN服务向云服务平台5形成的服务器发送链接请求，连接成功后再次向服务器发送日志信息，从而保证日志采集的准确性，同时扩展性高，客户端可依据要求扩展终端数和存储空间，服务端采用云平台方式，无需改变架构，直接增加运行环境硬件即可。解决了关键基础设施的日志传输方式所存在的问题。

根据上述说明书的揭示和教导，本发明所属领域的技术人员还可以对上述实施方式进行变更和修改。因此，本发明并不局限于上面揭示和描述的具体实施方式，对发明的一些修改和变更也应当落入本发明的权利要求的保护范围内。此外，尽管本说明书中使用了一些特定的术语，但这些术语只是为了方便说明，并不对发明构成任何限制。

Claims (6)

1.一种远程日志采集和加密传输系统，其特征在于，包括：

至少一个日志采集器和至少一个云服务平台；

所述日志采集器被预先配置为与各基础设施相关联，并根据所述各基础设施的需求而采集运行日志文件，以及初步存储采集的所述日志文件，所述日志采集器通过TCP/IP协议接收各基础设施的运行日志文件，所述日志采集器向所述云服务平台请求链接并与所述云服务平台建立加密传输通道；使用探针收集所述基础设施的日志文件，并通过数据交换将探针收集的所述日志文件发送至所述日志采集器，再由所述日志采集器进行分割、分类处理后写入到日志采集器的磁盘文件中，进行所述日志文件的初步存储；

所述云服务平台通过加密通道接收经过压缩后的所述日志文件，所述云服务平台将接收的所述日志文件进行智能关联分析和统一存储；所述云服务平台包括日志接收解密模块、云服务平台智能关联分析引擎和大屏展示模块，所述日志接收解密模块与所述日志采集器建立VPN链接请求和加密传输通道，解密接收到的所述日志文件，所述云服务平台智能关联分析引擎接收解密后的所述日志文件并进行关联分析，所述大屏展示模块展示关联分析的结果；

所述日志采集器包括日志采集模块、日志加密传输及发送模块和日志存储模块，所述日志采集模块采集所述各基础设施的所述日志文件，将采集到的所述日志文件通过写入磁盘操作存储至所述日志存储模块中，所述日志加密传输及发送模块将采集到的所述日志文件进行自动分割、分类后加密传输至所述云服务平台；

所述日志加密传输及发送模块包括日志压缩模块，所述日志压缩模块将所述日志文件进行压缩处理；

所述日志存储模块采用异步写入的方式将采集到的所述日志文件进行初步存储。

2.根据权利要求1所述的一种远程日志采集和加密传输系统，其特征在于，所述运行日志文件为syslog日志文件，通过UDP传输方式获取所述各基础设施的日志数据，按预设写入频率将所述日志数据写入日志文件形成所述syslog日志文件。

3.根据权利要求1所述的一种远程日志采集和加密传输系统，其特征在于，所述日志加密传输及发送模块还包括日志读取模块和日志发送模块，所述日志读取模块将接收到的所述日志文件进行分割、分类处理，所述日志发送模块与所述云服务平台建立VPN远程连接，并将分割及分类处理后的所述日志文件通过加密传输的方式发送给所述云服务平台。

4.根据权利要求1所述的一种远程日志采集和加密传输系统，其特征在于，所述云服务平台智能关联分析引擎包括日志智能分析模块和日志写入数据库模块，所述日志写入数据库模块将接收到所述日志接收解密模块分发的所述日志文件进行分类、归档及统一存储；所述日志智能分析模块将分类、归档后的所述日志文件进行大数据分析、智能关联及快速检索，并将分析结果通过所述大屏展示模块进行安全展示。

5.一种远程日志采集和加密传输方法，其特征在于，包括如下步骤：

(1)、通过UDP传输方式获取各基础设施的日志数据，按预设写入频率将所述日志数据写入日志文件形成syslog日志文件；

(2)、通过日志采集器接收所述syslog日志文件并初步存储日志文件；

(3)、所述日志采集器判断是否接收完成所有所述各基础设施的所述日志文件；当所述日志采集器接收完成所有的所述各基础设施的所述日志文件后，所述日志采集器向云服务平台请求链接，建立传输通道；

(4)、所述云服务平台在接收到所述日志采集器的链接请求时，启用VPN链接服务，与所述日志采集器建立VPN通道；

(5)、所述日志采集器通过VPN加密通过将所收集的日志文件，统一压缩加密并上传至所述云服务平台；

(6)、所述云服务平台将接收的所述日志文件进行解密后，将解密后的所述日志文件分别发送给日志智能分析模块进行智能关联分析和日志写入数据库模块进行分类、归档及统一存储，并将分析结果通过大屏展示模块进行安全展示；

通过日志采集器接收所述syslog日志文件的步骤还包括：使用探针收集所述基础设施的日志文件，并通过数据交换将探针收集的所述日志文件发送至所述日志采集器，再由所述日志采集器进行分割、分类处理后写入到日志采集器的磁盘文件中，进行所述日志文件的初步存储。

6.根据权利要求5所述的一种远程日志采集和加密传输方法，其特征在于，所述云服务平台还包括安全处置流程，所述云服务平台将接收到的所述日志文件通过大数据进行关联分析后，将分析结果反馈至所述日志采集器并下发安全处置流程，完成安全事件结果处置。

Images