CN103095529A

CN103095529A - 检测引擎装置、防火墙、检测网络传输文件的方法及装置

Info

Publication number: CN103095529A
Application number: CN2013100075732A
Authority: CN
Inventors: 蒋武; 张日华; 于博
Original assignee: Huawei Technologies Co Ltd
Current assignee: Huawei Technologies Co Ltd
Priority date: 2013-01-09
Filing date: 2013-01-09
Publication date: 2013-05-08
Anticipated expiration: 2033-01-09
Also published as: CN103095529B

Abstract

本发明提供一种检测引擎装置、防火墙、检测网络传输文件的方法及装置，方法包括根据下载客户端与网络侧之间的交互消息获取种子文件以及下载地址；所述种子文件中包括下载数据包的分段信息，所述下载地址为所述下载数据包的各分段数据所在的服务器地址；根据所述下载地址，从至少两个数据通道中获取所述下载数据包的各分段数据及所述各分段数据的索引；根据所述各分段数据的索引及所述分段信息，将获取的所述各分段数据还原为完整的数据包；对所述完整的数据包进行安全检测。

Description

检测引擎装置、防火墙、检测网络传输文件的方法及装置

技术领域

本发明涉及网络技术，尤其涉及一种检测引擎装置、防火墙、检测网络传输文件的方法及装置。

背景技术

为了计算机系统的安全起见，通常需要对网络传输文件进行安全检测。

网络中文件的传输需要承载在一种应用协议之上。目前，常用的应用协议为HTTP、FTP、IMAP、STMP等，当采用这些协议传输一个文件时，该文件的所有数据包将按照文件的起始顺序在同一数据通道上进行传输，并按照文件的起始顺序进入文件安全检测模块，进行安全检测。

文件安全检测模块进行安全检测时，对该文件的所有数据包按照文件的先后顺序，查找威胁特征。当找到该文件上的全部威胁特征时，认定该文件为病毒威胁文件，执行阻断动作，并产生日志。

但是，现有的文件安全检测方法无法对基于点到点（Peer to Peer，P2P）协议传输的文件进行安全检测。

发明内容

本发明实施例提供一种检测引擎装置、防火墙、检测网络传输文件的方法及装置，用于实现对基于点到点协议传输的文件进行安全检测。

第一个方面，本发明实施例提供一种检测网络传输文件的方法，包括：

根据下载客户端与网络侧之间的交互消息获取种子文件以及下载地址；所述种子文件中包括下载数据包的分段信息，所述下载地址为所述下载数据包的各分段数据所在的服务器地址；

根据所述下载地址，从至少两个数据通道中获取所述下载数据包的各分段数据及所述各分段数据的索引；

根据所述各分段数据的索引及所述分段信息，将获取的所述各分段数据还原为完整的数据包；

对所述完整的数据包进行安全检测。

第二个方面，本发明实施例提供一种检测网络传输文件的装置，包括：

种子获取模块，用于根据下载客户端与网络侧之间的交互消息获取种子文件以及下载地址；所述种子文件中包括下载数据包的分段信息，所述下载地址为所述下载数据包的各分段数据所在的服务器地址；

分段数据获取模块，用于根据所述下载地址，从至少两个数据通道中获取所述下载数据包的各分段数据及所述各分段数据的索引；

数据还原模块，用于根据所述各分段数据的索引及所述分段信息，将获取的所述各分段数据还原为完整的数据包；

文件威胁检测模块，用于对所述完整的数据包进行安全检测。

第三个方面，本发明实施例提供一种检测引擎装置，包括协议识别模块、通道关联模块、存储模块及上述检测网络传输文件的装置；

所述协议识别模块用于识别应用层协议，所述通道关联模块用于当所述协议识别模块识别出来的应用层协议为点到点协议时，将下载客户端与网络侧之间的控制通道及数据通道相关联，以使所述检测网络传输文件的装置从至少两个数据通道中获取下载数据包的各分段数据及所述各分段数据的索引；所述存储模块用于存储所述检测网络传输文件的装置获取的下载数据包的各分段数据及所述各分段数据的索引。

第四个方面，本发明实施例提供一种防火墙设备，包括上述检测网络传输文件的装置。

第五个方面，本发明实施例提供一种防火墙设备，包括上述检测引擎装置。

通过上述技术方案，检测引擎装置、防火墙、检测网络传输文件的方法及装置，将多个数据通道传输的数据进行还原，然后对还原的文件进行安全检测，实现了对基于点到点协议传输的文件进行安全检测。

附图说明

图1为本发明实施例提供的一种检测网络传输文件的方法的流程图；

图2为本发明实施例提供的检测网络传输文件的方法的应用示意图；

图3为本发明实施例提供的检测网络传输文件的方法中防火墙在下载客户端与Tracker站点交互过程中的操作示意图；

图4为本发明实施例提供的检测网络传输文件的方法中数据通道中的文件传输示意图；

图5为本发明实施例提供的检测网络传输文件的方法中对最后一个分段数据的处理示意图；

图6为本发明实施例提供的检测网络传输文件的方法中断点续传的示意图；

图7为本发明实施例提供的一种检测网络传输文件的装置的结构示意图；

图8为本发明实施例提供的一种检测引擎装置的结构示意图；

图9为本发明实施例提供的另一种检测引擎装置的结构示意图；

图10为本发明实施例提供的一种防火墙设备的结构示意图；

图11为本发明实施例提供的一种防火墙设备的结构示意图。

具体实施方式

图1为本发明实施例提供的一种检测网络传输文件的方法的流程图。如图1所示，该方法包括：

步骤11、根据下载客户端与网络侧之间的交互消息获取种子文件以及下载地址；该种子文件中包括下载数据包的分段信息，该下载地址为该下载数据包的各分段数据所在的服务器地址。

例如，防火墙、检测引擎或者是单独设置的一个检测装置根据下载客户端与网络侧之间的交互消息获取种子文件以及下载地址。其中，防火墙为下载客户端安装的安全软件。下面均以防火墙为例对检测网络传输文件的方法进行说明，当然，检测引擎或单独设置的检测装置的操作与防火墙相同，因此，不再重复说明。种子文件是记载下载数据包的存放位置、大小、下载服务器的地址、发布者的地址等数据的一个索引文件。该种子文件中还包括下载数包包含的文件数量、文件名称、文件顺序及该下载数据包的分段信息等。一个下载数据包中可能包含多个文件。

下载数据包的各分段数据所在的服务器与下载客户端对等，因此可以称为对等服务器或对等客户端。

例如，防火墙从下载客户端与下载服务器的交互消息中获取种子文件的标识；该防火墙根据该标识获取种子文件。

防火墙还可从下载客户端与下载服务器的交互消息中获取对等客户端的IP地址和端口等数据通道信息。该对等客户端一般至少有两个，每个对等客户端上均有上述下载数据包的部分分段数据。下载客户端与每个对等客户端之间均通过一个数据通道进行交互，从各个对等客户端下载上述下载数据包的各分段数据，因此，下载客户端下载数据包的数据通道相应地也至少有两个。

假设某个种子文件记载的下载数据包有5个分段数据：A、B、C、D和E，对等客户端有3个：a、b和c，对等客户端a上保存了该下载数据包的分段数据C，对等客户端b上保存了该下载数据包的分段数据A和E，对等客户端c上保存了该下载数据包的分段数据B和D。那么下载客户端通过与下载服务器交互获得能够获得对等客户端a、b和c的IP地址和端口，即获得3个数据通道的信息。并且，交互过程中，下载客户端需要给下载服务器提供种子文件的标识，下载服务器才能根据种子文件的标识将相应的下载地址发送给下载客户端。因此，在下载客户端与下载服务器的交互过程中，防火墙不仅能获取到种子文件的标识，还能得到相应的下载地址。

之后，下载客户端根据获得的数据通道信息从对等客户端a下载该下载数据包的分段数据C，从对等客户端b下载该下载数据包的分段数据A和E，从对等客户端c下载该下载数据包的分段数据B和D。

步骤12、根据上述下载地址，从至少两个数据通道中获取上述下载数据包的各分段数据及该各分段数据的索引。例如，上述防火墙根据上述下载地址，从至少两个数据通道中获取上述下载数据包的各分段数据及该各分段数据的索引。

例如，由于上述步骤11中，防火墙已获得数据通道信息，因此，当上述下载客户端从上述对等客户端下载数据包的各分段数据时，防火墙就能从相应的数据通道获取传输的分段数据，并复制缓存，以能够还原为完整的数据包。

并且，为了起到安全控制作用，防火墙可根据种子文件中的分段信息对下载数据包的最后一个分段数据进行截获，不让该最后一个分段数据传输到下载客户端，除非该下载数据包为安全数据，才将最后一个分段数据发送给下载客户端。

步骤13、根据上述各分段数据的索引及上述分段信息，将获取的各分段数据还原为完整的数据包。例如，上述防火墙根据上述各分段数据的索引及上述分段信息，将获取的各分段数据还原为完整的数据包。

其中，分段信息中包含有下载数据包的分段数据的数量、每个分段数据的大小、各分段数据在下载数据包中的位置。各分段数据在下载数据包中的位置可通过索引的排序来表示。防火墙根据分段信息及索引便可将各分段数据进行还原，得到下载数据包。

可选地，防火墙可根据上述种子文件建立文件检测信息表，该文件检测信息表包括上述下载数据包的下载位图表。例如，防火墙可建立一个文件检测信息表用来记录所有的种子文件记载的下载数据包的信息，该信息可以是每个下载数据包的下载位图表。该下载位图表中用索引来表示各分段数据，用索引的位置表示各分段数据在下载数据包中的位置。这样，防火墙可以根据各分段数据的索引、分段信息及下载位图表，将获取的各分段数据还原为完整的数据包。例如，防火墙可以根据该下载位图表存储获得的分段数据，从而直接得到完整的数据包。

步骤14、对上述完整的数据包进行安全检测。例如，上述防火墙对上述完整的数据包进行安全检测。

本步骤中的安全检测可采用传统的检测方法进行检测，找出下载数据包中的威胁特征，根据找的结果以判断下载客户端下载的数据包是否安全。

当防火墙通过安全检测，认定该数据包包含病毒威胁文件时，断开上述至少两个数据通道也即下载客户端下载该数据包的数据通道；若防火墙通过安全检测，认定该数据包安全时，将上述最后一个分段数据发送给该下载客户端。当防火墙通过安全检测，认定该数据包包含病毒威胁文件时，也可不再将该最后一个分段数据发送给下载客户端，以保证下载客户端不能得到完整的数据包，从而制止病毒威胁文件的形成和运行。

上述实施例可以应用到通过BT协议传输的文件，也可应用于通过“电驴”、“迅雷”等下载软件传输的文件。

下面以检测BT协议下传输的文件为例，对检测网络传输文件的方法进行说明。

参见图2，下载客户端安装有防火墙，该防火墙能够还原BT协议下载的文件，并检测文件的安全性。种子收集服务器收集当前网络中的种子文件，为防火墙提供种子信息。

下载客户端通过BT协议下载文件的过程中，首先下载客户端和跟踪的（Tracker）站点即下载服务器进行通信，通过给Tracker站点提供种子文件的Info_hash值即标识，从Tracker站点获取与种子文件对应的对等的（peer）客户端地址。即获取的Peer客户端地址为种子文件中记载的下载数据包的各分段数据所在的服务器地址。

其次，下载客户端和peer客户端进行通信，以进行文件的下载。

防火墙中的检测引擎会在上述两个过程中提取结构还原文件，在下载客户端下载文件的过程中获取下载数据包的各个分段数据，并根据提取的结构还原文件将获得的各个分段数据还原为数据包，对还原得到的数据包进行文件安全的检测。

参见图3，下载客户端与Tracker站点交互的过程中，防火墙获取种子文件的Info_Hash值以及Peer客户端的IP地址和端口。其中，Info_Hash值为种子文件的唯一标识。

防火墙获取到Info_Hash值后与种子收集服务器进行通信，根据Info_Hash值从种子收集服务器上获取种子文件。种子文件包括：文件的个数，文件大小，文件名称，分段（pieces）大小，分段（pieces）的索引（hash）值，以用于获取数据通道后续通信时传输的数据。

防火墙获取到种子文件后，创建文件检测信息表，并进行BT文件的配置。如，该BT文件如果长度过大，是否进行安全检测，该BT文件的类型如果为某一特定类型，是否进行安全检测，是否支持该BT文件断点续传，如果支持BT文件断点续传，那么断点续传时对缓存的分段数据的保留时间是多长等等。可以对各个BT文件分别进行配置，也可统一配置，即防火墙对所有的BT文件都执行同一配置。其中，文件检测信息表中为每一个BT文件建立了下载位图表，以为各个分段数据分配硬盘存储空间。BT文件可以理解为种子文件记载的下载数据包。

参见图4，下载客户端与Peer客户端进行通信时，防火墙的检测引擎通过提取Pieces消息获得分段数据（Block）和位图索引（Index）信息，进而可以确定获得的分段数据是哪一个BT文件的数据。防火墙利用在图3的流程中得到的Pieces hash值，对获得的分段数据进行校验，当确定为正确的数据后，将获得的分段数据保存到磁盘中，以还原为BT文件。

当防火墙的检测引擎获取到完整的BT文件后，对该BT文件进行安全检测，并根据检测结果进行相应的响应处理，如断开数据通道或保持数据通道的连接。

由于防火墙是先还原文件再进行文件的安全检测，同时防火墙不做应用层协议代理功能，所以当防火墙截获到最后的一个分段数据后，不能将数据文件直接发送到下载客户端，而是先将最后一个分段数据缓存，待还原后的BT文件的安全检测后，再根据检测结果确定是否发送最后一个分段数据给下载客户端。参见图5，当防火墙通过下载位图表获知最后一个分段数据的索引后，对数据通道中携带该索引的所有分段数据进行截获，并对完整的BT文件进行检测。实际在传输过程中，每一个Index对应多个报文。例如一个Index表示的数据块为512K，那个就可能有大约500个报文来实现传输这一个Index表示的数据块，需要扣住所有的这些报文，以截获最后一个Index表示的数据块。

当BT文件的分段数据只有部分下载，而下载客户端停止下载，经过一段时间后下载客户端再次进行下载时，如果下载的BT文件能够在上次已经下载的分段数据的基础上继续，即为断点续传。参见图6，上述实施例中的防火墙由于保存了未完全下载的BT文件的已下载的分段数据、BT文件的位图信息及种子文件的Info_Hash，因此，能够将续传的分段数据与已下载的分段数据还原为BT文件，并对该BT文件进行安全检测，从而实现对断点续传文件的安全检测。文件句柄就是管理这次下载文件的一个标识，如果存在断点续传的情况，就需要保存文件句柄，因为每一次新的传输都需要查找是不是断点续传的文件。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

图7为本发明实施例提供的一种检测网络传输文件的装置的结构示意图。本实施例提供的检测网络传输文件的装置用于实现图1所示的方法，可设置于防火墙的检测引擎中。如图7所示，该装置包括：种子获取模块71、分段数据获取模块72、数据还原模块73及文件威胁检测模块74。

种子获取模块71用于根据下载客户端与网络侧之间的交互消息获取种子文件以及下载地址；所述种子文件中包括下载数据包的分段信息，所述下载地址为所述下载数据包的各分段数据所在的服务器地址。

分段数据获取模块72用于根据所述下载地址，从至少两个数据通道中获取所述下载数据包的各分段数据及所述各分段数据的索引。

数据还原模块73用于根据所述各分段数据的索引及所述分段信息，将获取的所述各分段数据还原为完整的数据包。

文件威胁检测模块74用于对所述完整的数据包进行安全检测。

可选地，所述种子获取模块71包括：标识获取子模块711和文件获取子模块712。

标识获取子模块711用于从下载客户端与下载服务器的交互消息中获取种子文件的标识。

文件获取子模块712用于根据所述标识获取种子文件。

可选地，本发明实施例提供的检测网络传输文件的装置还包括：检测表建立模块75，用于在所述分段数据获取模块72根据所述下载地址，从至少两个数据通道中获取所述下载数据包的各分段数据及所述各分段数据的索引之前，根据所述种子文件建立文件检测信息表，所述文件检测信息表包括所述下载数据包的下载位图表。

可选地，所述数据还原模块73具体用于根据所述各分段数据的索引、所述分段信息及所述下载位图表，将获取的所述各分段数据还原为完整的数据包。

可选地，所述分段数据获取模块72具体用于从所述至少两个数据通道中截获所述下载数据包的最后一个分段数据。

可选地，本发明实施例提供的检测网络传输文件的装置还包括：响应处理模块76，用于在所述文件威胁检测模块对所述完整的数据包进行安全检测之后，断开所述至少两个数据通道，或者将所述最后一个分段数据发送给所述下载客户端。

图8为本发明实施例提供的一种检测引擎装置的结构示意图。如图8所示，该检测引擎装置包括协议识别模块81、通道关联模块82、存储模块83及检测装置84。

检测装置84可为图7所示的任意一种检测网络传输文件的装置，用于对下载客户端下载的数据进行安全检测。协议识别模块81用于识别应用层协议，通道关联模块82用于当协议识别模81块识别出来的应用层协议为点到点（P2P）协议时，将下载客户端与网络侧之间的控制通道及数据通道相关联，以使检测装置84从至少两个数据通道中获取下载数据包的各分段数据及各分段数据的索引。存储模块83用于存储检测装置84获取的下载数据包的各分段数据及该各分段数据的索引。其中，控制通道为下载客户端与下载服务器之间的通道，数据通道为下载客户端下载数据包的通道，即与各对等的客户端之间的通道。数据通道至少有两个。

图9为本发明实施例提供的另一种检测引擎装置的结构示意图。如图9所示，该检测引擎装置包括：协议识别模块91、通道关联模块92、BT文件缓存磁盘93、BT协议分析模块94、文件威胁检测模块95和响应处理模块96。

其中，BT协议分析模块94用来实现上述种子获取模块、分段数据获取及数据还原模块的功能，文件威胁检测模块95与图7所示的文件威胁检测模块相同。响应处理模块与图7所示的响应处理模块相同。本实施例中，检测网络传输文件的装置包括BT协议分析模块94、文件威胁检测模块95和响应处理模块96。

协议识别模块91识别出应用层协议为P2P协议后，通道关联模块92将上述控制通道与各数据通道之间关联起来，以便于接收同一个下载数据包的各分段数据。

由于BT协议在传输文件时是多通道的，所以需要有Peers通道关联模块92。在BT协议分析模块94从控制通道获取种子文件及下载地址（包括IP及端口）后，BT协议分析模块94将数据通道的IP及端口信息发送到Peers通道关联模块92，当有数据通道传输后，Peers关联模块就会将各个数据通道与控制通道关联起来。

BT文件缓存磁盘93即存储模块，用于存储从各数据通道获取的分段数据。BT协议分析模块94将BT文件缓存磁盘93中存储的分段数据还原为完整的BT文件，并将完整的BT文件发送给文件威胁检测模块95。

文件威胁检测模块95对BT文件进行安全检测。当确定结果后交给响应处理模块96进行响应处理。如文件威胁检测模块95检测出BT文件为威胁文件时，响应处理模块96便不再将截获的最后一个数据分段发送下载客户端，从而避免了下载客户端得到最后一个数据分段后，产生威胁文件。

图10为本发明实施例提供的一种防火墙设备的结构示意图。如图10所示，该防火墙设备包括检测装置101，检测装置101可为上述图7所示的任一种检测网络传输文件的装置。

图11为本发明实施例提供的一种防火墙设备的结构示意图。如图11所示，该防火墙设备包括检测引擎装置111。检测引擎装置111可为上述装置实施例提供的任意一种检测引擎装置。

需要说明的是，P2P协议不限于上述方法及装置、设备实施例给出的BT协议，也可以是其他通过多数据通道传输文件的P2P协议。

本发明实施例还给出一种计算机程序产品，该计算机程序产品包括计算机可读介质，该可读介质包括第一组程序代码，用于执行上述图1所示方法中的步骤：

对所述完整的数据包进行安全检测。

可选地，根据下载客户端与网络侧之间的交互消息获取种子文件，包括：

从下载客户端与下载服务器的交互消息中获取种子文件的标识；

根据所述标识获取种子文件。

可选地，根据所述下载地址，从至少两个数据通道中获取所述下载数据包的各分段数据及所述各分段数据的索引之前，还包括：

根据所述种子文件建立文件检测信息表，所述文件检测信息表包括所述下载数据包的下载位图表。

可选地，根据所述各分段数据的索引及所述分段信息，将获取的所述各分段数据还原为完整的数据包，包括：

根据所述各分段数据的索引、所述分段信息及所述下载位图表，将获取的所述各分段数据还原为完整的数据包。

可选地，从至少两个数据通道中获取所述下载数据包的各分段数据，包括：

从所述至少两个数据通道中截获所述下载数据包的最后一个分段数据。

可选地，对所述完整的数据包进行安全检测之后，还包括：

断开所述至少两个数据通道，或者将所述最后一个分段数据发送给所述下载客户端。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims

1.一种检测网络传输文件的方法，其特征在于，包括：

对所述完整的数据包进行安全检测。

2.根据权利要求1所述方法，其特征在于，根据下载客户端与网络侧之间的交互消息获取种子文件，包括：

根据所述标识获取种子文件。

3.根据权利要求1或2所述方法，其特征在于，根据所述下载地址，从至少两个数据通道中获取所述下载数据包的各分段数据及所述各分段数据的索引之前，还包括：

4.根据权利要求3所述方法，其特征在于，根据所述各分段数据的索引及所述分段信息，将获取的所述各分段数据还原为完整的数据包，包括：

5.根据权利要求1或2所述方法，其特征在于，从至少两个数据通道中获取所述下载数据包的各分段数据，包括：

6.根据权利要求5所述方法，其特征在于，对所述完整的数据包进行安全检测之后，还包括：

7.一种检测网络传输文件的装置，其特征在于，包括：

8.根据权利要求7所述装置，其特征在于，所述种子获取模块包括：

标识获取子模块，用于从下载客户端与下载服务器的交互消息中获取种子文件的标识；

文件获取子模块，用于根据所述标识获取种子文件。

9.根据权利要求7或8所述装置，其特征在于，还包括：检测表建立模块，用于在所述分段数据获取模块根据所述下载地址，从至少两个数据通道中获取所述下载数据包的各分段数据及所述各分段数据的索引之前，根据所述种子文件建立文件检测信息表，所述文件检测信息表包括所述下载数据包的下载位图表。

10.根据权利要求9所述装置，其特征在于，所述数据还原模块具体用于根据所述各分段数据的索引、所述分段信息及所述下载位图表，将获取的所述各分段数据还原为完整的数据包。

11.根据权利要求7或8所述装置，其特征在于，所述分段数据获取模块具体用于从所述至少两个数据通道中截获所述下载数据包的最后一个分段数据。

12.根据权利要求11所述装置，其特征在于，还包括：响应处理模块，用于在所述文件威胁检测模块对所述完整的数据包进行安全检测之后，断开所述至少两个数据通道，或者将所述最后一个分段数据发送给所述下载客户端。

13.一种检测引擎装置，其特征在于，包括协议识别模块、通道关联模块、存储模块及上述权利要求7~12任一项所述的检测网络传输文件的装置；

14.一种防火墙设备，其特征在于，包括上述权利要求7~12任一项所述的检测网络传输文件的装置。

15.一种防火墙设备，其特征在于，包括上述权利要求13所述的检测引擎装置。