CN106534146B - 一种安全监测系统及方法 - Google Patents

Abstract

本发明公开了一种安全监测系统，包括：适于采集日志数据的日志采集组件；适于采集流量数据的流量采集组件；安全监测设备，包括：汇集模块，适于接收日志采集组件和流量采集组件采集的日志数据和流量数据；解析模块，适于根据至少一个预先建立的模型从接收的流量数据和日志数据获取基础数据；实时计算模块，适于根据至少一个预先建立的模型对获得的基础数据进行实时计算，以检测安全事件；以及可视化模块，适于对实时计算结果和检测到的安全事件进行可视化展示。本发明还公开了一种相应的安全监测方法。

Description

一种安全监测系统及方法

技术领域

本发明涉及网络安全领域，尤其涉及一种安全监测系统及方法。

背景技术

随着网络通信技术的迅速发展、互联网应用的持续深化、所承载信息的日益丰富，互联网已成为人类社会重要的基础设施，与此同时，网络安全问题也日益严重，DDos攻击、木马僵尸网络、移动恶意程序、APT以及用户敏感信息窃取等各类网络攻击事件频频发生，严重威胁了公民信息隐私安全，甚至国家安全。

传统的网络安全技术已建设了诸如网络管理、SOC、流量审计、日志审计等一系列平台或系统，但随着网络架构日趋复杂，规模日趋庞大，其数据量呈指数级增长，传统的网络安全技术已无法满足现今网络安全的要求。

因此需要一种更先进更有效更全面的安全监测方案。

发明内容

鉴于此，本发明提供了一种新的方案，以力图解决或至少缓解上面存在的问题。

根据本发明的一个方面，提供了一种安全监测系统，包括：适于采集日志数据的日志采集组件；适于采集流量数据的流量采集组件；以及安全监测设备，包括：汇集模块，适于接收日志采集组件和流量采集组件采集的日志数据和流量数据；解析模块，适于根据至少一个预先建立的模型从接收的流量数据和日志数据获取基础数据；实时计算模块，适于根据至少一个预先建立的模型对获得的基础数据进行实时计算，以检测安全事件；以及可视化模块，适于对实时计算结果和检测到的安全事件进行可视化展示。

可选地，在根据本发明的系统中，日志采集组件适于监听指定目录下的文件，日志数据以文件的形式存储于该指定目录下。

可选地，在根据本发明的系统中，日志采集组件还适于接收通过Syslog和SNMP方式发送的日志数据。

可选地，在根据本发明的系统中，日志采集组件还适于主动扫描探测日志数据。

可选地，在根据本发明的系统中，流量采集组件适于通过网络交换设备的镜像端口来采集流量数据。

可选地，在根据本发明的系统中，日志数据包括设备日志、应用日志、系统日志、第三方系统日志，流量数据包括网络流量。

可选地，在根据本发明的系统中，解析模块适于对接收的日志数据进行清洗和归一化处理。

可选地，在根据本发明的系统中，解析模块还适于对接收的流量数据进行去噪、脱敏处理。

可选地，在根据本发明的系统中，解析模块还适于对接收的流量数据进行应用识别。

可选地，在根据本发明的系统中，解析模块还适于通过对流量数据进行协议识别，确定流量数据所采用的网络协议，还适于抽取流量数据中采用同一网络协议的、同一IP地址、端口号和域名的请求以及对该请求的响应的数据内容，并根据抽取的数据内容，生成其对应的应用的原始页面，还适于根据生成的原始页面获取该应用的至少一个候选名称，并根据获取的至少一个候选名称确定应用的名称。

可选地，在根据本发明的系统中，解析模块还适于若根据抽取的数据内容生成多个原始页面，则利用分词算法分析每个原始页面的内容，基于该分析构建样本集合，其中样本集合包括每个原始页面内容中的预定数目个词语，还适于通过聚类算法对构建的样本集合进行聚类分组，其中每个分组对应一个应用。

可选地，在根据本发明的系统中，网络协议包括HTTP协议，生成的原始页面为HTML格式。

可选地，在根据本发明的系统中，安全监测设备还包括搜索模块，适于为基础数据创建索引，还适于根据输入的搜索条件查找索引，返回符合搜索条件的基础数据。

可选地，在根据本发明的系统中，安全监测设备还包括存储模块，适于分布式存储获得的基础数据。

可选地，在根据本发明的系统中，每个模型均包括计算参数和告警条件，实时计算模块适于通过搜索模块获取与各模型的计算参数关联的基础数据，还适于根据该模型对获取的基础数据进行实时计算，并判断实时计算结果是否满足告警条件，若是，确定检测到安全事件。

可选地，在根据本发明的系统中，模型包括以下类型：攻击检测模型和数据窃取行为检测模型，攻击检测模型包括服务器入侵检测、僵尸网络检测、DOS攻击检测；数据窃取行为检测模型包括WEB数据窃取检测。

可选地，在根据本发明的系统中，安全监测设备还包括关联分析模块，适于通过搜索模块获取与安全事件关联的基础数据，以便进行进一步挖掘分析。

根据本发明的另一方面，提供了一种安全监测方法，包括步骤：接收采集的流量数据和日志数据；根据至少一个预先建立的模型从接收的流量数据和日志数据获取基础数据；根据至少一个预先建立的模型对获得的基础数据进行实时计算，以检测安全事件；以及对实时计算结果和检测到的安全事件进行可视化展示。

可选地，在根据本发明的方法中，日志数据包括设备日志、应用日志、系统日志、第三方系统日志，流量数据包括网络流量。

可选地，在根据本发明的方法中，获取基础数据的步骤还包括：对接收的日志数据进行清洗和归一化处理。

可选地，在根据本发明的方法中，获取基础数据的步骤还包括：对接收的流量数据进行去噪、脱敏处理。

可选地，在根据本发明的方法中，获取基础数据的步骤还包括：对接收的流量数据进行应用识别。

可选地，在根据本发明的方法中，对接收的流量数据进行应用识别的步骤包括：通过对流量数据进行协议识别，确定所述流量数据所采用的网络协议；抽取流量数据中采用同一网络协议的、同一IP地址、端口号和域名的请求以及对该请求的响应的数据内容；根据抽取的数据内容，生成其对应的应用的原始页面；根据生成的原始页面获取该应用的至少一个候选名称；以及根据获取的至少一个候选名称确定应用的名称。

可选地，在根据本发明的方法中，对接收的流量数据进行应用识别的步骤还包括：若根据抽取的数据内容生成多个原始页面，则利用分词算法分析每个原始页面的内容，基于该分析构建样本集合，其中样本集合包括每个原始页面内容中的预定数目个词语；通过聚类算法对构建的样本集合进行聚类分组，其中每个分组对应一个应用。

可选地，在根据本发明的方法中，网络协议包括HTTP协议，生成的原始页面为HTML格式。

可选地，在根据本发明的方法中，还包括步骤：在获得基础数据之后，为基础数据创建索引；根据输入的搜索条件查找索引，返回符合搜索条件的基础数据。

可选地，在根据本发明的方法中，还包括步骤：分布式存储获得的基础数据。

可选地，在根据本发明的方法中，每个模型均包括计算参数和告警条件，检测安全事件的步骤包括：通过搜索获取与各模型的计算参数关联的基础数据；根据该模型对获取的基础数据进行实时计算；判断实时计算结果是否满足告警条件，若是，确定检测到安全事件。

可选地，在根据本发明的方法中，模型包括以下类型：攻击检测模型和数据窃取行为检测模型，攻击检测模型包括服务器入侵检测、僵尸网络检测、DOS攻击检测；数据窃取行为检测模型包括WEB数据窃取检测。

可选地，在根据本发明的方法中，还包括步骤：在检测到安全事件之后，通过搜索获取与安全事件关联的基础数据，以便进行进一步挖掘分析。

根据本发明的安全监测方案通过根据采集的日志数据和流量数据获取基础数据，并通过对基础数据进行实时计算来检测安全事件，既缩减了数据量同时也不丢失能够反映安全事件的重要数据，实现了大数据下的安全事件监测与分析。其中，通过对流量数据进行分析和还原，实现了对应用的准确有效识别。

附图说明

为了实现上述以及相关目的，本文结合下面的描述和附图来描述某些说明性方面，这些方面指示了可以实践本文所公开的原理的各种方式，并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述，本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开，相同的附图标记通常指代相同的部件或元素。

图1示出了根据本发明一个示例性实施例的安全监测系统100的结构示意图；

图2示出了根据本发明一个示例性实施例的安全监测设备200的结构示意图；

图3示出了根据本发明一个示例性实施例的服务器入侵检测模型的检测方法流程图；

图4示出了根据本发明的一个示例性实施例的僵尸网络检测模型的检测方法流程图；

图5示出了根据本发明的一个示例性实施例的DOS攻击检测模型的检测方法流程图；

图6示出了根据本发明的一个示例性实施例的WEB数据窃取检测模型的检测方法流程图；以及

图7示出了根据本发明一个示例性实施例的安全监测方法300的流程图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

图1示出了根据本发明一个示例性实施例的安全监测系统100的结构示意图。安全监测系统100适于对业务系统网络进行安全监测，如图1所示，安全监测系统100可以包括日志采集组件110、流量采集组件120以及安全监测设备200。日志采集组件110适于采集日志数据，可选地，日志采集组件110可以布置在业务系统网络中的多个网络节点上，监听指定目录下的文件，并按照可配置的时间间隔，对该目录下发生更新的文件进行增量读取，这里日志数据以文件的形式存储于该指定目录下，网络节点指业务系统网络中的主机、网络设备等等，日志采集组件110可以利用Chukwa、Flume、Scribe、Logstash等工具实现。

日志采集组件110还可以接收通过Syslog和SNMP方式发送的日志数据。这里，业务系统网络中的网络节点被配置为根据Syslog和SNMP方式主动向日志采集组件110发送日志，其中，Syslog协议是TCP/IP系统实施中开发的工业标准协议，可以运行在UNIX/Linux操作系统，记录设备日志。SNMP协议是一种应用层协议，是TCP/IP协议族的一部分，它使网络设备之间能够方便地交换管理信息，SNMP Trap机制是SNMP协议的一部分，即被监听设备出现特定事件时主动给管理站发送消息。日志采集组件110可以接收被监听设备通过SNMPTrap机制或是Syslog协议发送的日志。

日志采集组件110还可以布置在业务系统网络中多个网络节点上，主动扫描探测其日志数据。

上述日志采集组件110采集到的日志数据可以包括设备日志、应用日志、系统日志以及第三方系统日志，第三方系统日志可以是业务系统网络接入的第三方系统(单向导出系统、边界保护系统等等)的日志，例如事件报警日志、边界接入日志、蜜网蜜罐日志以及单向导出日志等等。

流量采集组件120可以与业务系统网络中网络交换设备的镜像端口连接、或是与虚拟网络设备TUN/TAP连接，获取其传输的流量数据，其中流量数据可以包括网络流量。

安全监测设备200与日志采集组件110和流量采集组件120分别连接，适于接收日志采集组件110采集的日志数据和流量采集组件120采集的流量数据，并对其进行分析并展示。

图2示出了根据本发明一个示例性实施例的安全监测设备200的结构示意图。如图2所示，安全监测设备200可以包括汇集模块210、解析模块220、实时计算模块230以及可视化模块240。汇集模块210适于接收日志采集组件110和流量采集组件120采集的日志数据和流量数据。

解析模块220与汇集模块210连接，可以根据至少一个预先建立的模型从接收的流量数据和日志数据获取基础数据。每个模型均可以包括计算参数和告警条件，解析模块220可以根据各模型的计算参数对流量数据和日志数据进行处理，从而获取基础数据。

具体地，解析模块220对于接收的日志数据，首先可以进行日志清洗，去除掉与业务系统网络的业务不相关的日志，使日志数据更为准确，例如去除Tomcat服务器中无意义的请求静态资源的日志。而后，从清洗后的日志数据中根据各模型的计算参数进行分析，获取与各模型计算参数相关的日志数据，例如若某个模型的计算参数包括业务系统网络中的更新、删除等敏感操作，解析模块220可以获取包括这些敏感操作的日志数据。最后解析模块220还可以将获取的日志进行归一化处理，形成统一格式进行存储。

解析模块220对于接收的日志数据，首先对该流量数据进行协议识别，通过对流量数据进行协议识别，可以确定其所采用的网络协议。解析模块220还可以根据流量数据所采用的网络协议确定流量数据所属的应用类别。

具体地，解析模块220可以对流量数据进行网络层协议识别和应用层协议识别，其中，网络层协议可以包括TCP协议和UDP协议，应用层协议可以包括HTTP协议、Oracle协议、Mysql协议、SqlServer协议、DB2协议、FTP协议、Samba协议、SMTP协议和POP3协议等。其中解析模块220可以通过流量数据的端口号来确定其所采用的网络协议。例如，FTP协议通常对应的端口号为20或21，SMTP协议通常对应的端口号为25，POP3协议通常对应的端口号为110，HTTP协议通常对应的端口号为80，Mysql协议通常对应的端口号为3306。

其中，根据本发明的一个实施例，识别为FTP协议和Samba协议的流量数据所属的应用类别为文件服务器，识别为SMTP协议和POP3协议的流量数据所属的应用类别为邮件服务器，识别为Oracle协议、Mysql协议、SqlServer协议和DB2协议的流量数据所属的应用类别为数据库，识别为HTTP协议的流量数据所属的应用类别为应用系统或网站。

解析模块220还可以对流量数据进行脱敏和去噪处理，去除干扰的流量数据，保证流量数据的准确性。

而后解析模块220还可以对流量数据进行协议剥离，根据各模型的计算参数获取与该计算参数相关的特征值，例如TS值、TTL值、IP地址、端口号、域名等。根据本发明的一个实施例，解析模块220可以首先剥离流量数据中的以太网首部，而后继续剥离流量数据中的IP首部，继续剥离流量数据中的TCP首部或者UDP首部，最后获取到流量数据中的数据内容。其中，数据抽取模块230在剥离流量数据中的以太网首部之后，还可以判断该流量数据是否存在虚拟局域网(VLAN)字段，若存在，则剥离该虚拟局域网(VLAN)首部。

最后解析模块220还可以从剥离协议后的流量数据中抽取采用同一网络协议的同一IP地址、端口号和域名的请求、以及对该请求的响应的数据内容，并根据抽取的数据内容生成其对应的应用的原始页面。例如，抽取采用HTTP协议的请求、以及对该请求的响应的数据内容后，可以生成HTML格式的原始页面。其中IP地址、端口号和域名可以在对流量数据进行协议剥离的过程中获取。

可以理解地，流量数据是通过具有序号的数据包传输，因此解析模块220可以将抽取的数据内容按照其序号进行重组，根据重组后的数据内容生成原始页面。这里，由于同一IP地址、端口号和域名下通常运行有一个应用，因此根据重组后的数据内容生成的原始页面通常为一个原始页面。

解析模块220还可以根据生成的原始页面获取对应应用的至少一个候选名称。根据本发明的一个实施例，可以获取原始页面的内容中具有特定标记的字段处的字符串，作为应用的候选名称，这里的特定标记可以是title标记、meta标记和copyright标记中的至少一个。根据本发明的另一个实施例，还可以对原始页面按照基于字典的匹配算法进行匹配，该字典包括应用的名称可能包含的关键词，例如“设备”、“网”、“网站”和“平台”中的至少一个关键词。若匹配成功，则解析模块220可以获取匹配的字段处的字符串，作为应用的候选名称。最后解析模块220可以根据获取的至少一个候选名称确定应用的名称。

具体地，根据本发明的一个实施例，解析模块220可以对每个候选名称，获取将该候选名称经过分词后得到的至少一个词语，计算每个词语在常见语料库中的词频统计值(即TF-IDF值，term frequency–inverse document frequency，词频--反转文件频率)，并相加得到该候选名称的词频统计值之和。最后选取其中词频统计值之和最大的候选名称作为应用的名称。这样，完成了对应用的实时有效识别，并且准确率高。

进一步地，若同一IP地址、同一端口号以及同一域名下运行有多个应用，即若解析模块220根据抽取的数据内容生成多个原始页面，解析模块220则可以利用分词算法分析每个原始页面的内容，基于该分析构建样本集合，其中样本集合包括每个原始页面内容中的预定数目个(例如20个)词语，最后通过聚类算法对构建的样本集合进行聚类分组，其中每个分组对应一个应用。

在分组之后，解析模块220还可以对每个分组，根据该分组中的词语所属的至少一个原始页面获取该分组对应的应用的至少一个候选名称，其中具体过程与上述根据一个原始页面获取候选名称相同，解析模块220可以对每个原始页面，都获取该原始页面中具有特定标记的字段处的字符串，作为应用的候选名称。解析模块220还可以对每个原始页面，都对该原始页面内容按照基于字典的匹配算法进行匹配，该字典包括应用名称可能包含的关键词，若匹配成功，则获取匹配的字段处的字符串，作为应用的候选名称。

解析模块220获取分组对应的应用的至少一个候选名称后，可以根据至少一个候选名称确定该分组对应的应用的名称，其中具体过程与上述根据候选名称确定一个应用的名称相同，解析模块220可以对每个候选名称，都获取将该候选名称经过分词后得到的至少一个词语，而后计算每个词语在常见语料库中的词频统计值，并相加得到该候选名称的词频统计值之和。最后解析模块220可以选取其中词频统计值之和最大的候选名称作为该分组对应的应用的名称。这样，实现了对同一IP地址、端口号和域名下运行的多个应用的实时有效识别。

上述获取的各模型计算参数相关的日志数据、流量数据的特征值、识别出的应用类别以及原始页面、应用名称等形成了基础数据。

安全监测设备200还可以包括与解析模块230连接的存储模块250，存储模块250适于分布式存储获得的基础数据。存储模块250可以利用HDFS这样高容错性和高吞吐量数据访问的分布式文件系统实现。

安全监测设备200还可以包括与存储模块250连接的搜索模块260，搜索模块260适于为基础数据创建索引，还适于根据输入的搜索条件查找索引，返回符合搜索条件的基础数据。搜索模块260可以利用类似ElasticSearch这样的搜索工具实现。

获取并存储上述基础数据后，实时计算模块230可以根据至少一个预先建立的模型对获得的基础数据进行实时计算，以检测安全事件。实时计算模块230可以利用Storm、spark-stream这样的计算平台实现。

具体地，每个模型均包括计算参数和告警条件，实时计算模块230可以通过搜索模块260获取与各模型的计算参数关联的基础数据，还适于根据该模型对获取的基础数据进行实时计算，并判断实时计算结果是否满足告警条件，若是，确定检测到安全事件。其中，模型至少可以包括以下类型：攻击检测模型和数据窃取行为检测模型，攻击检测模型包括服务器入侵检测、僵尸网络检测、DOS攻击检测，数据窃取行为检测模型包括WEB数据窃取检测。

图3示出了根据本发明的一个示例性实施例的服务器入侵检测模型的检测方法流程图。当检测到业务系统网络某一服务器主动对外发起陌生连接，连接类型为数据库访问或远程访问时，实时计算模块230可以认为此服务器遭到入侵，被安装了病毒或木马。具体地，如图3所示，实时计算模块230可以通过搜索模块260获取基础数据中与服务器入侵检测模型相关的数据，计算出相同WeekDay的访问关系基线和当前时间片的服务器访问关系，判断其是否均超出了基线白名单，若是，继续判断其是否为远程访问或数据库访问，若是，则确定检测到服务器入侵检测事件，发出报警。

图4示出了根据本发明的一个示例性实施例的僵尸网络检测模型的检测方法流程图。僵尸网络检测模型可以用于检测客户端是否感染病毒及木马，被C&C控制，形成僵尸网络。具体地，如图4所示，实时计算模块230可以通过搜索模块260获取基础数据中DNS记录，判断其是否位于DNS黑名单，若是，则确定检测到僵尸网络事件，发出报警。

图5示出了根据本发明的一个示例性实施例的DOS攻击检测模型的检测方法流程图。DOS攻击检测模型可以用于检测网络中的DOS攻击。具体地，如图4所示，实时计算模块230可以通过搜索模块260获取基础数据中TCP数据，并计算SYN＝1，SYN_ACK＝1，ACK＝0的连接数与总连接数的比例，根据其计算得到的比例是否大于预定阈值判断是否确定检测到DOS攻击事件，并发出报警。

图6示出了根据本发明的一个示例性实施例的WEB数据窃取检测模型的检测方法流程图。当WEB服务器单一URL被访问次数不符合基线排名，可以认定此URL存在数据盗取行为。具体地，如图6所示，实时计算模块230可以通过搜索模块260获取基础数据中相同WeekDay的URL排名数据，计算当前时间片的各个URL比例，并计算当前时间片与历史基线各个URL占比的差值，根据计算结果是否大于预定阈值来判断是否确定检测到WEB数据窃取事件，并发出报警。

实时计算模块230还可以包括关联分析模块270，适于通过搜索模块260获取与检测到的安全事件关联的基础数据，以便进行进一步挖掘分析。具体地，可以根据该安全事件涉及到的特征值(例如ip地址、域名、时间等等)，去通过搜索模块260查找具有这些特征值的基础数据，这样实现了从安全事件回溯到基础数据，便于根据基础数据挖掘潜在的安全隐患，同时还可以将安全事件的来龙去脉做进一步分析。

最后，可视化模块240适于对实时计算结果和检测到的安全事件进行可视化展示，便于用户观察。

图7示出了根据本发明一个示例性实施例的安全监测方法300的流程图。该方法300始于步骤S310，在步骤S310中，接收采集的日志数据和流量数据。其中，日志数据包括设备日志、应用日志、系统日志、第三方系统日志，流量数据包括网络流量。

而后在步骤S320中，根据至少一个预先建立的模型从接收的流量数据和日志数据获取基础数据。其中，可以对接收的日志数据进行清洗和归一化处理，还可以对接收的流量数据进行去噪、脱敏处理，而后进行应用识别。

具体地，首先通过对流量数据进行协议识别，确定流量数据所采用的网络协议，而后抽取流量数据中采用同一网络协议的同一IP地址、端口号和域名的请求以及对该请求的响应的数据内容，并根据抽取的数据内容生成其对应的应用的原始页面，最后根据生成的原始页面获取该应用的至少一个候选名称，以及根据获取的至少一个候选名称确定应用的名称。这里的网络协议可以为HTTP协议，对应生成的原始页面为HTML格式。

其中，可以通过协议剥离来获取上述数据内容。具体地，可以剥离流量数据中的以太网首部，继续剥离流量数据中的IP首部，以及再继续剥离流量数据中的TCP首部或者UDP首部得到上述数据内容。在剥离流量数据中的以太网首部的步骤之后，还可以判断流量数据是否存在虚拟局域网(VLAN)字段，若存在，则也剥离该虚拟局域网(VLAN)首部。

获取数据内容后，可以根据抽取的数据内容生成其对应的应用的原始页面，通常对应一个应用，生成一个原始页面。具体地，可以将抽取的数据内容按照其序号进行重组，根据重组后的数据内容生成原始页面。

而后根据原始页面获取应用的至少一个候选名称的步骤可以包括：可以获取原始页面中具有特定标记的字段处的字符串，作为应用的候选名称。其中，特定标记包括title标记、meta标记和copyright标记中的至少一个。进一步地，还可以对原始页面内容按照基于字典的匹配算法进行匹配，该字典包括应用名称可能包含的关键词。若匹配成功，则获取匹配的字段处的字符串，作为应用的候选名称。其中，关键词包括“设备”、“网”、“网站”和“平台”中的至少一个。

最后根据获取的至少一个候选名称确定应用的名称的步骤可以包括：可以对每个候选名称，获取将该候选名称经过分词后得到的至少一个词语，再计算每个词语在常见语料库中的词频统计值(TF-IDF值)，相加得到该候选名称的词频统计值之和。最后选取其中词频统计值之和最大的候选名称作为应用的名称。这样实现了对应用的准确、有效和实时识别。进一步地，对接收的流量数据进行应用识别的步骤还可以包括：若根据抽取的数据内容生成多个原始页面，则可以利用分词算法分析每个原始页面的内容，基于该分析构建样本集合，其中样本集合包括每个原始页面内容中的预定数目个词语，通过聚类算法对构建的样本集合进行聚类分组，其中每个分组对应一个应用。

而后，可以对每个分组，都根据该分组中的词语所属的至少一个原始页面获取该分组对应的应用的至少一个候选名称，其中对每个原始页面，可以获取该原始页面中具有特定标记的字段处的字符串，作为应用的候选名称，还可以对该原始页面内容按照基于字典的匹配算法进行匹配，该字典包括应用名称可能包含的关键词，若匹配成功，则获取匹配的字段处的字符串，作为应用的候选名称。

最后，可以根据获取的至少一个候选名称确定该分组对应的应用的名称，其中对每个候选名称，可以获取将该候选名称经过分词后得到的至少一个词语，计算每个词语在常见语料库中的词频统计值，并相加得到该候选名称的词频统计值之和。最后选取其中词频统计值之和最大的候选名称作为该分组对应的应用的名称。这样实现了对同一IP地址、端口号和域名下的多个域名的有效、准确、实时识别。

根据本发明的另一个实施例，方法300还可以包括步骤：在获得基础数据之后，为基础数据创建索引，根据输入的搜索条件查找索引，返回符合搜索条件的基础数据。

根据本发明的另一个实施例，方法300还可以包括步骤：分布式存储获得的基础数据。

存储获取的基础数据之后，在步骤S330中，可以根据至少一个预先建立的模型对获得的基础数据进行实时计算，以检测安全事件。具体地，每个模型均包括计算参数和告警条件，可以通过搜索获取与各模型的计算参数关联的基础数据，根据该模型对获取的基础数据进行实时计算，最后判断实时计算结果是否满足告警条件，若是，确定检测到安全事件。其中，模型至少可以包括以下类型：攻击检测模型和数据窃取行为检测模型，攻击检测模型包括服务器入侵检测、僵尸网络检测、DOS攻击检测；数据窃取行为检测模型包括WEB数据窃取检测。

最后在步骤S340中，可以对实时计算结果和检测到的安全事件进行可视化展示。

此外，根据本发明的还有一个实施例，方法300还可以包括步骤：在检测到安全事件之后，通过搜索获取与安全事件关联的基础数据，以便进行进一步挖掘分析。

以上在结合图1～图6描述安全监测系统100的具体描述中已经对方法中各步骤的相应处理进行了详细说明，这里不再对重复内容进行赘述。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下被实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中，或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

本发明还可以包括：A6、如A1所述的系统，其中所述日志数据包括设备日志、应用日志、系统日志、第三方系统日志，流量数据包括网络流量。A7、如A1-6中任一项所述的系统，所述解析模块适于对接收的日志数据进行清洗和归一化处理。A8、如A1-7中任一项所述的系统，所述解析模块还适于对接收的流量数据进行去噪、脱敏处理。A9、如A1-8中任一项所述的系统，所述解析模块还适于对接收的流量数据进行应用识别。A10、如A9所述的系统，所述解析模块还适于通过对所述流量数据进行协议识别，确定所述流量数据所采用的网络协议，还适于抽取所述流量数据中采用同一网络协议的、同一IP地址、端口号和域名的请求以及对该请求的响应的数据内容，并根据抽取的数据内容，生成其对应的应用的原始页面，还适于根据生成的原始页面获取所述应用的至少一个候选名称，并根据获取的至少一个候选名称确定应用的名称。A11、如A9或10所述的系统，所述解析模块还适于若根据抽取的数据内容生成多个原始页面，则利用分词算法分析每个原始页面的内容，基于该分析构建样本集合，其中样本集合包括每个原始页面内容中的预定数目个词语，还适于通过聚类算法对构建的样本集合进行聚类分组，其中每个分组对应一个应用。A12、如A10或11所述的系统，所述网络协议包括HTTP协议，生成的所述原始页面为HTML格式。A13、如A1-12中任一项所述的系统，所述安全监测设备还包括搜索模块，适于为所述基础数据创建索引，还适于根据输入的搜索条件查找所述索引，返回符合所述搜索条件的基础数据。A14、如A13所述的系统，所述安全监测设备还包括存储模块，适于分布式存储获得的基础数据。A15、如A1-14中任一项所述的系统，每个模型均包括计算参数和告警条件，所述实时计算模块适于通过所述搜索模块获取与各模型的计算参数关联的基础数据，还适于根据该模型对获取的基础数据进行实时计算，并判断实时计算结果是否满足告警条件，若是，确定检测到安全事件。A16、如A15所述的系统，所述模型包括以下类型：攻击检测模型和数据窃取行为检测模型，所述攻击检测模型包括服务器入侵检测、僵尸网络检测、DOS攻击检测；所述数据窃取行为检测模型包括WEB数据窃取检测。A17、如A13-16中任一项所述的系统，所述安全监测设备还包括关联分析模块，适于通过搜索模块获取与安全事件关联的基础数据，以便进行进一步挖掘分析。

B23、如B22所述的方法，所述对接收的流量数据进行应用识别的步骤包括：通过对所述流量数据进行协议识别，确定所述流量数据所采用的网络协议；抽取所述流量数据中采用同一网络协议的、同一IP地址、端口号和域名的请求以及对该请求的响应的数据内容；根据抽取的数据内容，生成其对应的应用的原始页面；根据生成的原始页面获取所述应用的至少一个候选名称；以及根据获取的至少一个候选名称确定应用的名称。B24、如B22或23所述的方法，所述对接收的流量数据进行应用识别的步骤还包括：若根据抽取的数据内容生成多个原始页面，则利用分词算法分析每个原始页面的内容，基于该分析构建样本集合，其中样本集合包括每个原始页面内容中的预定数目个词语；通过聚类算法对构建的样本集合进行聚类分组，其中每个分组对应一个应用。B25、如B23或24所述的系统，所述网络协议包括HTTP协议，生成的所述原始页面为HTML格式。B26、如B18-25中任一项所述的方法，还包括步骤：在获得基础数据之后，为所述基础数据创建索引；根据输入的搜索条件查找所述索引，返回符合所述搜索条件的基础数据。B27、如B26所述的方法，还包括步骤：分布式存储获得的基础数据。B28、如B18-27中任一项所述的方法，每个模型均包括计算参数和告警条件，检测安全事件的步骤包括：通过搜索获取与各模型的计算参数关联的基础数据；根据该模型对获取的基础数据进行实时计算；判断实时计算结果是否满足告警条件，若是，确定检测到安全事件。B29、如B28所述的方法，所述模型包括以下类型：攻击检测模型和数据窃取行为检测模型，所述攻击检测模型包括服务器入侵检测、僵尸网络检测、DOS攻击检测；所述数据窃取行为检测模型包括WEB数据窃取检测。B30、如B26-29中任一项所述的方法，还包括步骤：在检测到安全事件之后，通过搜索获取与安全事件关联的基础数据，以便进行进一步挖掘分析。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

此外，所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此，具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外，装置实施例的在此所述的元素是如下装置的例子：该装置用于实施由为了实施该发明的目的的元素所执行的功能。

如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。

尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不

偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。

Claims (26)

1.一种安全监测系统，包括：

适于采集日志数据的日志采集组件；

适于采集流量数据的流量采集组件；以及

安全监测设备，包括：

汇集模块，适于接收日志采集组件和流量采集组件采集的日志数据和流量数据；

解析模块，适于根据至少一个预先建立的模型从接收的流量数据和日志数据获取基础数据，其中适于根据各模型的计算参数对流量数据和日志数据进行处理，获取与各模型计算参数相关的日志数据；还适于对流量数据进行协议剥离，根据各模型的计算参数获取与该计算参数相关的特征值；还适于对接收的流量数据进行应用识别，确定应用的名称；

实时计算模块，适于根据至少一个预先建立的模型对获得的基础数据进行实时计算，以检测安全事件，其中适于获取与各模型的计算参数关联的基础数据，还适于根据该模型对获取的基础数据进行实时计算，并判断实时计算结果是否满足该模型的告警条件，若是，确定检测到安全事件；以及

可视化模块，适于对实时计算结果和检测到的安全事件进行可视化展示。

2.如权利要求1所述的系统，其中所述日志采集组件适于监听指定目录下的文件，日志数据以文件的形式存储于该指定目录下。

3.如权利要求1所述的系统，所述日志采集组件还适于接收通过Syslog和SNMP方式发送的日志数据。

4.如权利要求1所述的系统，所述日志采集组件还适于主动扫描探测日志数据。

5.如权利要求1所述的系统，所述流量采集组件适于通过网络交换设备的镜像端口来采集流量数据。

6.如权利要求1所述的系统，其中所述日志数据包括设备日志、应用日志、系统日志、第三方系统日志，流量数据包括网络流量。

7.如权利要求1所述的系统，所述解析模块适于对接收的日志数据进行清洗和归一化处理。

8.如权利要求1所述的系统，所述解析模块还适于对接收的流量数据进行去噪、脱敏处理。

9.如权利要求1所述的系统，所述解析模块还适于通过对所述流量数据进行协议识别，确定所述流量数据所采用的网络协议，还适于抽取所述流量数据中采用同一网络协议的、同一IP地址、端口号和域名的请求以及对该请求的响应的数据内容，并根据抽取的数据内容，生成其对应的应用的原始页面，还适于根据生成的原始页面获取所述应用的至少一个候选名称，并根据获取的至少一个候选名称确定应用的名称。

10.如权利要求1所述的系统，所述解析模块还适于若根据抽取的数据内容生成多个原始页面，则利用分词算法分析每个原始页面的内容，基于该分析构建样本集合，其中样本集合包括每个原始页面内容中的预定数目个词语，还适于通过聚类算法对构建的样本集合进行聚类分组，其中每个分组对应一个应用。

11.如权利要求9所述的系统，所述网络协议包括HTTP协议，生成的所述原始页面为HTML格式。

12.如权利要求1-11中任一项所述的系统，所述安全监测设备还包括搜索模块，适于为所述基础数据创建索引，还适于根据输入的搜索条件查找所述索引，返回符合所述搜索条件的基础数据。

13.如权利要求12所述的系统，所述安全监测设备还包括存储模块，适于分布式存储获得的基础数据。

14.如权利要求1所述的系统，所述模型包括以下类型：攻击检测模型和数据窃取行为检测模型，所述攻击检测模型包括服务器入侵检测、僵尸网络检测、DOS攻击检测；所述数据窃取行为检测模型包括WEB数据窃取检测。

15.如权利要求12所述的系统，所述安全监测设备还包括关联分析模块，适于通过搜索模块获取与安全事件关联的基础数据，以便进行进一步挖掘分析。

16.一种安全监测方法，包括步骤：

接收采集的流量数据和日志数据；

根据至少一个预先建立的模型从接收的流量数据和日志数据获取基础数据，包括：根据各模型的计算参数对流量数据和日志数据进行处理，获取与各模型计算参数相关的日志数据；对流量数据进行协议剥离，根据各模型的计算参数获取与该计算参数相关的特征值；对接收的流量数据进行应用识别，确定应用的名称；

根据至少一个预先建立的模型对获得的基础数据进行实时计算，以检测安全事件，包括：获取与各模型的计算参数关联的基础数据，根据该模型对获取的基础数据进行实时计算，并判断实时计算结果是否满足该模型的告警条件，若是，确定检测到安全事件；以及

对实时计算结果和检测到的安全事件进行可视化展示。

17.如权利要求16所述的方法，其中所述日志数据包括设备日志、应用日志、系统日志、第三方系统日志，流量数据包括网络流量。

18.如权利要求16所述的方法，所述获取基础数据的步骤还包括：对接收的日志数据进行清洗和归一化处理。

19.如权利要求16所述的方法，所述获取基础数据的步骤还包括：对接收的流量数据进行去噪、脱敏处理。

20.如权利要求16所述的方法，所述对接收的流量数据进行应用识别的步骤包括：

通过对所述流量数据进行协议识别，确定所述流量数据所采用的网络协议；

抽取所述流量数据中采用同一网络协议的、同一IP地址、端口号和域名的请求以及对该请求的响应的数据内容；

根据抽取的数据内容，生成其对应的应用的原始页面；

根据生成的原始页面获取所述应用的至少一个候选名称；以及根据获取的至少一个候选名称确定应用的名称。

21.如权利要求16所述的方法，所述对接收的流量数据进行应用识别的步骤还包括：

若根据抽取的数据内容生成多个原始页面，则利用分词算法分析每个原始页面的内容，基于该分析构建样本集合，其中样本集合包括每个原始页面内容中的预定数目个词语；

通过聚类算法对构建的样本集合进行聚类分组，其中每个分组对应一个应用。

22.如权利要求20所述的方法，所述网络协议包括HTTP协议，生成的所述原始页面为HTML格式。

23.如权利要求16-22中任一项所述的方法，还包括步骤：

在获得基础数据之后，为所述基础数据创建索引；

根据输入的搜索条件查找所述索引，返回符合所述搜索条件的基础数据。

24.如权利要求23所述的方法，还包括步骤：

分布式存储获得的基础数据。

25.如权利要求16所述的方法，所述模型包括以下类型：攻击检测模型和数据窃取行为检测模型，所述攻击检测模型包括服务器入侵检测、僵尸网络检测、DOS攻击检测；所述数据窃取行为检测模型包括WEB数据窃取检测。

26.如权利要求23所述的方法，还包括步骤：

在检测到安全事件之后，通过搜索获取与安全事件关联的基础数据，以便进行进一步挖掘分析。