CN101465738B

CN101465738B - 一种文件传输中实时监测的方法及系统

Info

Publication number: CN101465738B
Application number: CN2007101796935A
Authority: CN
Inventors: 孙海波; 骆拥政; 王雷章
Original assignee: Beijing Venus Information Technology Co Ltd
Current assignee: Beijing Venus Information Technology Co Ltd
Priority date: 2007-12-17
Filing date: 2007-12-17
Publication date: 2011-05-11
Anticipated expiration: 2027-12-17
Also published as: CN101465738A

Abstract

本发明涉及一种用于文件传输中实时监测的方法及系统。本发明包括文件传输识别器、文件重组器、会话信息记录器、检测规则库、检测引擎及报警报文构造器。运行包括以下步骤：文件传输行为识别步骤、文件重组步骤、会话信息记录步骤、深入检测步骤及报警报文构造步骤。本发明解决了传统产品中对于需要等待文件传输结束再进行全文件检测及报警缺乏实时性的问题，实现了在文件传输过程当中实时进行检测及报警功能，具有速度快和准确率高等优点。

Description

一种文件传输中实时监测的方法及系统

技术领域

本发明涉及一种用于文件传输中实时监测的方法及系统，是一种可用于入侵检测防御(IDS/IPS)及审计产品中的方法及系统，属于网络技术领域。

背景技术

入侵检测/防御系统(Intrusion Detection/Protection System，IDS/IPS)作为网络安全防护的重要手段，通常部署在关键网络内部/网络边界入口处，实时捕获网络内或进出网络的报文数据流并进行智能综合分析，发现可能的入侵行为并进行实时阻断。

目前的网络环境当中IM类软件越来越多的得到了用户的使用，并且随着软件的发展，IM类软件除了提供网上聊天功能之外，大都提供文件传输功能。如MSN、qq、雅虎通等等。现在又很多的病毒传播或攻击行为都隐藏在这些IM软件传输的文件当中。而目前的入侵检测产品对于这些通过IM软件传输的文件的检测功能都实现在文件传输结束之后，对文件进行完整的重组然后再进行相应的检测。但是这种检测方式往往比较滞后。当文件传输结束，相应的文件内容已经保存至客户机器上，有可能造成各种直接或间接的损失。并且在文件传输结束后再进行检测及报警显然不具备实时预警的功能。尤其在传输文件内容较多，数据量大的时候等到全部传输完毕再进行检测及报警显然已经损失了大量的时间和系统资源。这是当前的检测方式普遍存在的一大缺陷。所以有必要发展一种对IM软件文件传输中进行实时检测及报警的方法，在文件传输的过程当中即可进行实时的检测工作，从而在发现病毒或其它攻击行为的时候能够及时的发现并且能够实时的对用户进行报警。以便用户可以及时采取应对措施，既可以在第一时间防范病毒或攻击的入侵，也可以极大的节省时间及系统资源，以提高整个入侵检测系统的性能。在报警的时候利用已经建立的文件传输的会话构造报警数据报文无需建立新的会话连接，进一步提高了效率和资源利用率。根据研究发现在常用的IM软件当中如MSN、雅虎通都是采用明文进行文件传输并且数据报文当中都包含关于传输文件的相关信息，因此实现这种IM软件文件传输中实时检测及报警是可行的。

发明内容

本发明提出一种文件传输中实时监测的方法及系统，所述的文件传输中实时监测技术可以满足：在IM类软件文件传输过程当中可以实时对文件数据内容进行深入检测，准确的发现文件当中携带的病毒或攻击行为。能够实时对用户进行报警进而在第一时间对发现的病毒或攻击行为进行处理。彻底避免在文件下载结束后可能对系统造成的危害。同时尽早的进行处理可以大大提高系统性能，缩短等待文件传输完成的时间从而进一步提高了处理效率，提高整体入侵检测的性能。

本发明的目的是这样实现的，一种文件传输中实时监测的系统，包括：文件传输识别器、文件重组器、会话信息记录器、检测规则库和检测引擎及报警报文构造器。

其中：

负责依据数据报文进行文件传输行为识别的文件传输识别器，所述文件传输识别器以层次化的数据包协议分析方法依据实际捕获的数据报文及文件传输行为特征进行实际文件传输行为识别，依赖协议分析方法在已识别的文件传输协商数据包中提取关于此次文件传输相关信息；

依据所述文件传输识别器提供的此次文件传输的相关信息对实际传输的文件数据进行重组还原的文件重组器；

依据文件传输行为识别阶段相关数据报文进行会话信息提取及记录的会话信息记录器，其依据所述文件传输识别器得到的相应协议解析信息提取关于此次文件传输使用的相关会话信息，所述会话信息包括：源IP、目的IP、源端口、目的端口、当前会话ID；

存储深入检测阶段需要检测的具体规则的检测规则库；

依据所述文件重组器得到的还原文件数据和所述检测规则库中存储的实际检测规则，采用多模式匹配算法进行相应的深入检测，并在发现病毒或入侵行为时提供相应检测信息供报警报文构造使用的深入检测器；及

在收到深入检测器提供的病毒或入侵行为检测信息后，依据会话信息记录器提供的此次文件传输会话信息进行报警报文构造的报警报文构造器。

所述文件传输识别器与文件重组器及会话信息记录器连接；所述文件重组器及检测规则库与深入检测器连接；所述深入检测器及会话信息记录器与报警报文构造器连接。

一种文件传输中实时监测的方法，包含以下步骤：

文件传输行为识别步骤，包括以下两个子步骤：以层次化的数据包协议分析方法依据实际捕获的数据报文及文件传输行为特征进行实际文件传输行为识别的子步骤；依赖协议分析方法在已识别的文件传输协商数据包中提取关于此次文件传输相关信息的子步骤；

文件重组步骤，依据文件传输行为识别步骤中提供的此次文件传输的相关信息对实际传输的文件数据进行重组还原；

会话信息记录步骤，依据文件传输行为识别步骤中得到的相应协议解析信息提取关于此次文件传输使用的相关会话信息，所述会话信息包括：源IP、目的IP、源端口、目的端口、当前会话ID；

深入检测步骤，依据文件重组步骤中得到的还原文件数据和检测规则库中存储的实际检测规则，采用多模式匹配算法进行相应的深入检测；并在发现病毒或入侵行为的时候提供相应检测信息供报警报文构造使用；

报警报文构造步骤，在深入检测步骤发现病毒或入侵行为的时候依据会话信息记录步骤提供的此次文件传输会话信息进行报警报文的构造并在相应会话中进行实时报警。

本发明的产生的有益效果是：解决了传统IDS/IPS产品中对于IM软件进行文件传输过程当中必须等到文件传输结束对文件进行完整还原再进行深入检测的实时性问题。而当文件传输结束之后，其携带的病毒或攻击已经写入到系统当中，有可能对系统造成各种各样无法预期的损失。同时如果传输文件过大，等待文件传输结束所消耗的时间过长，势必影响整个入侵检测系统的性能问题。本发明针对这些问题提出了一种实时性的处理方法。可以在文件传输过程当中就进行检测并且在第一时间构造符合会话格式的数据报文对用户进行报警而无需建立新的会话。大大提高了入侵检测的性能，同时具有检测速度快和准确率高等优点，可广泛应用于IDS/IPS、审计等网络安全产品中。

附图说明

图1是文件传输中实时监测的系统架构图；

图2是文件传输中实时监测的系统的工作流程图。

下面结合附图和实施例对本发明作进一步说明。

具体实施方式

实施例一：

本实施例为一种用于文件传输中实时监测的方法及系统的基本模式，其基本架构如图1所示。包括文件传输识别器、文件重组器、会话信息记录器、检测规则库、检测引擎及报警报文构造器，系统工作流程如图2所示：

一种用于文件传输中实时监测的方法，包含以下步骤：

文件传输行为识别步骤；

文件重组步骤；

会话信息记录步骤；

深入检测步骤；

报警报文构造步骤。

其中：

①文件传输行为识别步骤。文件传输行为识别根据实际捕获的数据报文采用协议解析技术进行层次化解析，确定当前使用的IM软件类型，依据相应IM软件的静态报文特征、文件传输动作标识等对当前IM软件的文件传输行为进行准确识别。并且在识别文件传输行为的相关数据报文当中提取相应的当前传输的文件的相关信息以供文件重组使用，同时输出当前会话的相关信息作为会话信息记录器的输入。

②文件重组步骤。文件重组的步骤依赖文件传输行为识别步骤输出的当前传输的文件信息对文件进行重组。主要负责在当前会话当中的后续报文当中依据特定的标识对文件进行拼接。在每拼接上一个分组数据报文之后都将实际传输的文件数据内容输出给深入检测步骤作为输入。

③会话信息记录步骤。会话信息记录步骤依赖文件传输行为识别步骤当中输出的实际文件传输相应数据报文使用的会话信息进行记录并且在实际深入检测步骤当中发现病毒或攻击行为的时候将当前记录的会话信息输出给报警报文构造器构造对当前病毒或攻击行为的报警信息报文。

④深入检测的步骤。深入检测的步骤以文件重组阶段输出的阶段性的拼接报文为输入，以检测规则库中存储的具体检测规则作为模式采用多模式匹配算法进行深入检测。并且在发现病毒或攻击行为的时候将该病毒或攻击行为的信息提供给报警报文构造器以供构造相应的报警信息报文。

⑤报警报文构造步骤。报警报文构造步骤在收到深入检测步骤提供的病毒或攻击行为相关信息之后，由会话信息记录器当中获取当前文件传输的会话信息，并根据当前所使用的IM软件协议格式构造相应的报警信息报文并通过当前会话利用IM软件客户端向用户进行报警。

实施例二：

本实施例为实施例一中的文件传输行为识别步骤的优选方案：

以层次化的数据包协议分析方法依据实际捕获的数据报文及文件传输行为特征进行实际文件传输行为识别的子步骤。

依赖协议分析方法在已识别的文件传输协商数据包中提取关于此次文件传输相关信息的子步骤。

本实施例的基本思路是：首先确定当前使用的IM软件类型，然后根据该IM软件类型依据相应的协议格式对数据报文进行解析并且依赖该软件的文件传输行为具有的报文特征或特定标识进行实际文件传输行为的识别。例如MSN软件在使用过程当中传输的数据报文以特征关键字“MSG”开头，以下为实际MSN协议报文内容。又如在雅虎通软件在使用当中传输的数据报文以特征关键字“YMSG”开头，以下为雅虎通协议报文内容。依赖于相应的报文特征我们首先唯一的确定当前使用的IM软件类型。之后在相应的数据报文当中以文件传输行为的特定标识为模式进行匹配，识别当前数据报文识别标识该IM软件即将执行文件传输动作。例如在MSN协议进行文件传输的过程当中具有标识关键字“Content-Type:application/x-msnmsgrp2p\r\n”。又如在雅虎通软件进行文件传输是，相应数据报文的服务标识字段为“00dc”。

接下来为了后续的文件重组需要记录当前进行传输的文件的相关信息，如文件名、文件大小、目的ID等等。这里同样利用协议解析技术在数据报文当中的相应数据字段里面提取这些文件相关信息。例如在MSN实际文件传输过程当中，匹配特征关键字“P2P-Dest”之后直到首个回车换行符之前为此次文件传输的目的ID。匹配特征关键字”Content-Length”之后直到首个换行回车符之前为此次文件传输的文件大小。匹配特征关键字“Context”之后直到首个回车换行符之前的内容进行Base-64解码可以得到此次文件传输的文件名。在得到这些具体文件信息之后提供给文件重组器进行实际文件重组。

实施例三：

本实施例为实施例一中的文件重组步骤的优选方案：

本实施例的基本思路是：根据文件传输行为识别步骤提供的文件信息对后续报文进行筛选，将符合当前文件传输文件信息的报文依据协议格式将实际传输的文件内容进行提取并进行顺序拼接。例如在MSN的文件传输过程当中，首先验证所有MSN数据报文Content-Type字段数据为：application/x-msnmsgrp2p。此字段之后为该数据传输的目的地址，即P2P-Dest字段的内容应该与文件传输行为识别步骤提供的文件相关信息相符。此后由该字段向后匹配直到后续四字节不全为零的连续两个0d0a。之后为传输内容报文。确定第一个文件传输报文之后跳过48字节为文件开始，一直提取到00000002标识本段数据结束。此后在所有后续MSN文件传输报文当中都按照以上步骤逐段提取文件内容之后按顺序进行文件拼接。整个文件结束标识为00000002之后为BYE关键字。

实施例四：

本实施例为实施例一中的会话信息记录步骤的优选方案。

本实施例的基本思路是：在文件传输行为识别步骤对文件传输行为识别之后，对当前文件传输使用的会话信息进行保存。如源IP、目的IP、源端口、目的端口、当前会话ID等等。例如在MSN文件传输过程当中需要在TCP层的数据当中记录当前会话的源IP、目的IP、源端口和目的端口。这样做的目的是为了在发现病毒或攻击行为的时候能够在目前文件传输的会话当中构造一个报警报文对用户进行报警而无需建立新的连接。

实施例五：

本实施例为实施例一中的深入检测步骤的优选方案。

本实施例的基本思路是：当收到由文件重组器陆续提供的正在传输的文件内容。深入检测步骤以收到的阶段性重组的文件为输入，以检测规则库中存储的实际检测规则为模式，采用多模式匹配技术进行深入检测，并且在发现病毒或攻击行为的时候将相应的病毒或攻击行为信息提供给报警报文构造器进行实际报警报文的构造。

本实施例中采用的算法：在进行深入检测阶段本步骤采用多模式匹配算法根据已经建立的检测规则库当中存储的实际检测规则作为匹配模式，以文件重组阶段提供的陆续拼接的报文片段作为匹配的样本进行多模式匹配，准确的检测当前文件当中携带的各种病毒或攻击行为。

实施例六：

本实施例为实施例一中的报警报文构造步骤的优选方案。

本实施例的基本思路是：在收到深入检测阶段提供的病毒或攻击行为信息之后，由会话信息记录器当中获取当前文件传输所使用的会话的相关信息并依据当前所使用的IM软件协议的格式构造新的报警数据报文并利用当前文件传输所使用的会话进行报警。例如在MSN文件传输工程当中，发现文件XXX.doc包含病毒，则按照会话信息记录器当中记录的当前会话信息首先构造IP层及TCP层的数据报文。在构造应用层MSN报文的时候本实施例采用了方式：MSN+空格+任意数字(因为此数字只是标识发送消息的序号，并无实际意义，因此可以随机产生)+空格+N+空格+字段长度+MIME。。。(此处为固定格式)。。。0d0a0d0a+实际输入内容(如：XXX.doc文件包含病毒)见表1：

表1

0000 00 17 df ba 4c 00 00 e0 4d a6 cc 1a 08 00 45 00 ....L...M.....E.

0010 00 b8 f4 0a 40 00 80 06 3f a7 c0 a8 1c 5a cf 2e ....@...？....Z..

0020 1a 5d 0b a5 07 47 f4 a4 03 f3 15 84 47 00 50 18 .]...G......G.P.

0030 ff 46 66 51 00 00 4d 53 47 20 31 20 4e 20 31 33 .FfQ..MSG 1 N 13

0040 31 0d 0a 4d 49 4d 45 2d 56 65 72 73 69 6f 6e 3a 1..MIME-Version:

0050 20 31 2e 30 0d 0a 43 6f 6e 74 65 6e 74 2d 54 79 1.0..Content-Ty

0060 70 65 3a 20 74 65 78 74 2f 70 6c 61 69 6e 3b 20 pe:text/plain；

0070 63 68 61 72 73 65 74 3d 55 54 46 2d 38 0d 0a 58 charset＝UTF-8..X

0080 2d 4d 4d 53 2d 49 4d 2d 46 6f 72 6d 61 74 3a 20 -MMS-IM-Format:

0090 46 4e 3d 25 45 35 25 41 45 25 38 42 25 45 34 25 FN＝％E5％AE％8B％E4％

00a0 42 44 25 39 33 3b 20 45 46 3d 3b 20 43 4f 3d 30 BD％93；EF＝；CO＝0

00b0 3b 20 43 53 3d 38 36 3b 20 50 46 3d 30 0d 0a 0d；CS＝86；PF＝0...

00c0 0a 12345

如本例中由MIME至PF＝0 0d 0a 0d 0a部分可以完全一样。这部分是说明传输的文字编码方式、字体、显示大小等。可沿用。之后的12345为实际输入内容。我们所要做的就是把我们想要发送的内容替换掉这里的12345(如：XXX.doc文件包含病毒)。之后将标识数据包长度字段根据实际长度进行填充然后按照原来的会话信息插入到该会话当中即可。

实施例七：

本实施例是实现实施例一、二、三、四、五、六所述的方法的虚拟装置或者说系统，系统如图1所示，本实施例包括：负责依据数据报文进行文件传输行为识别的文件传输识别器、依据此次传输的文件相关信息进行文件重组还原的文件重组器、依据文件传输行为识别阶段相关数据报文进行会话信息提取及记录的会话信息记录器、存储深入检测阶段需要检测的具体规则的检测规则库、依据重组的文件数据及实际检测规则进行深入检测的深入检测器及在发现病毒或入侵行为是进行报警报文构造的报警报文构造器。

其中，文件传输识别器实现了如实施例二中所述的依据数据报文进行文件传输行为识别的功能；文件重组器实现了如实施例三中所述的依据此次传输的文件相关信息进行文件重组还原的功能；会话信息记录器实现了如实施例四中所述依据文件传输行为识别阶段相关数据报文进行会话信息提取及记录的功能；检测规则库存储了深入检测所需的实际检测规则；深入检测器实现了实施例五所述的对重组文件进行深入检测的功能；报警报文构造器实现了如实施例六所述的在发现病毒或入侵行为是进行报警报文构造的功能。

用于入侵检测的服务识别系统，包括：文件传输识别器、文件重组器、会话信息记录器、检测规则库、检测引擎及报警报文构造器；所述的文件传输识别器与文件重组器及会话信息记录器连接；所述的文件重组器及检测规则库与深入检测器连接；所述的深入检测器和会话信息记录器与报警报文构造器连接。

Claims

1.一种文件传输中实时监测的方法，其特征在于包含以下步骤：

2.一种文件传输中实时监测的系统，其特征在于包括：

存储深入检测阶段需要检测的具体规则的检测规则库；

在收到深入检测器提供的病毒或入侵行为检测信息后，依据会话信息记录器提供的此次文件传输会话信息进行报警报文构造的报警报文构造器；

其中，所述文件传输识别器与文件重组器及会话信息记录器连接；所述文件重组器及检测规则库与深入检测器连接；所述深入检测器及会话信息记录器与报警报文构造器连接。