CN104123501A - 一种基于多鉴定器集合的病毒在线检测方法 - Google Patents

Abstract

一种基于多鉴定器集合的病毒在线检测方法，涉及计算机病毒检测。1)样本准备阶段；2)Map阶段；3)Reduce阶段；4)后台定时处理阶段。基于Hadoop分布式计算框架，提出了一种着眼于整个互联网防御的安全体系：在线病毒检测模型。其中Map与Reduce阶段借助Hadoop的分布式计算框架实现。在线病毒检测模型融合了并行处理、网格计算、未知病毒行为判断等新兴技术和概念，通过网状的大量客户端对网络中软件行为的异常监测，获取互联网中病毒、木马等恶意软件的最新信息，传送到服务端进行自动分析和处理，再把病毒和木马的解决方案分发到每一个客户端。

Description

一种基于多鉴定器集合的病毒在线检测方法

技术领域

本发明涉及计算机病毒检测，尤其是涉及一种基于多鉴定器集合的病毒在线检测方法。

背景技术

Internet改变了人们生活方式和工作方式，但是，在互联网高速发展的同时，网络安全问题也日益严重。计算机病毒数量不断增多，传播日益广泛，给世界各国带来了巨大的经济损失。

近年来，攻击者一直在努力研究攻击能力和生存能力更强的病毒代码。目前病毒代码日趋复杂和完善；病毒编制方法及发布速度更加的迅速。传统的杀毒模式已不适应新的网络安全形势。

发明内容

本发明的目的在于针对现有技术的不足，提供一种基于多鉴定器集合的病毒在线检测方法。

本发明包括如下步骤：

1)样本准备阶段；

2)Map阶段；

3)Reduce阶段；

4)后台定时处理阶段。

在步骤1)中，所述样本准备阶段的具体步骤如下：

1.1上传样本；

1.2文件类型检测器；

1.3解压缩模块。

在步骤1)第1.1部分中，所述上传样本的具体步骤如下：

(1)计算文件的sha1值；

(2)与服务端Sha1匹配；

(3)客户端样本文件上传；

(4)服务端样本接收。

在步骤1)第1.2部分中，所述文件类型检测器用于检测上传的样本文件是否符合后续检测流程处理的样本类型。

在步骤1)第1.3部分中，所述解压缩模块用于对压缩文件进行解压，并将解压后的所有文件放到文件类型检测器的输入队列。

在步骤2)中，所述Map阶段，是根据鉴定的方式，鉴定器包括以下类型：

2.1特征扫描鉴定器集合,该部分类型的鉴定器利用传统的病毒检测方法，对特定位置或标记进行扫描，快速对样本进行鉴定；

2.2静态鉴定器集合,该部分类型的鉴定器通过对样本文件进行静态特征提取、特征选择，而后构成特征向量，在输入分类器后，由分类器给出鉴定结果；

2.3动态鉴定器集合,该部分类型的鉴定器首先通过特征提取，获取动态特征，然后进行特征选择，最后输入到分类器，由分类器给出鉴定结果；

2.4企业杀毒软件鉴定器集合,该部分类型的鉴定器把杀毒软件作为整个检测模型的一部分，并获得相应杀毒软件对输入样本的鉴定结果。

在步骤3)中，所述Reduce阶段,具体步骤如下:

3.1鉴定结果跟踪存储区；

3.2鉴定结果综合集成。

在步骤3)的第3.1部分中，所述鉴定结果跟踪存储区，具体步骤是：根据跟踪位的变化，取出相应位的结果进行综合集成，并将当前动态结果反映到客户端，直至所有跟踪位都变化，客户端得到最终结果。

在步骤3)的第3.2部分中，所述鉴定结果综合集成，具体步骤如下：

对于计算机病毒检测数据类型仅有两类，即正常程序与病毒程序，基于D-S证据理论，构造如下识别框架：

式中，N表示正常程序，A表示病毒程序，其中基本信度函数定义为：

对于一给定的上传样本x，其关于某个鉴定器e⁽ⁱ⁾的基本信度函数值计算方法如下：

$\left\{\begin{array}{c}{m}_i\left(N\right)={\mathrm{TP}}^i\mathrm{rate}/2\\ m_i(\⫬N)={\mathrm{FP}}^i\mathrm{rate}/2\\ m_i\left(A\right)={\mathrm{TN}}^i\mathrm{rate}/2\\ m_i(\⫬A)={\mathrm{FN}}^i\mathrm{rate}/2\end{array}\right.$

式中TPⁱ，FPⁱ，TNⁱ，FNⁱ分别是某个鉴定器的True Positive,False Positive,True Negative和False Negative，具体如表1所示：

表1、鉴定器性能评价参数

TP rate＝True Positives/P；FP rate＝False Positives/N

FN rate＝False Negatives/P；TN rate＝True Negatives/N

然后，根据Dempster规则将各个成员鉴定器的基本信度分配函数进行组合：

$m=m_{e^{\left(1\right)}}\⊕m_{e^{\left(2\right)}}\⊕...\⊕m_{e^{\left(n\right)}}$

其中,对于特定输出结果A,

$m\left(A\right)=m_1\⊕m_2\⊕...{\⊕m}_n\left(A\right)=K^{-1}\×\underset{\∩A_i=A}{\mathrm{\Σ}}\underset{1\≤i\≤n}{\mathrm{\Π}}{m}_i\left(A_i\right)$

最后鉴定结果综合输出为：

$E\left(x\right)={\mathrm{\θ}}_j,\mathrm{if}(\mathrm{Bel}\left({\mathrm{\θ}}_j\right)=\arg \underset{i\∈n}{\max }\mathrm{Bel}\left({\mathrm{\θ}}_i\right)$

其中，Bel为信任函数，对应于本发明中单输出结果的情况，Bel(A)＝m(A)。

在步骤4)中，所述后台定时处理阶段，具体分为如下四个模块：

4.1快速特征提取模块，该模块对应于特征扫描鉴定器集合的优化，可用的快速特征提取方法包括对病毒文件提取其特征代码，或者提取病毒的签名等；

4.2黑/白样本训练模块,该模块对应于静态鉴定器集合和动态鉴定器集合的优化。通过为分类器提供大量的已知黑/白样本作为训练数据，不断优化分类器的参数，提高分类器的样本鉴定水平；

4.3鉴定器性能评估模块，该模块通过定时的对鉴定器的性能进行评估，并将其性能参数作为其综合集成的基本信度函数值；

4.4分析员人工鉴定模块，该模块需要分析员人工处理一些特殊情况的样本，例如，一些似是而非的病毒样本，一些模型不能准备判断的样本等等。

本发明基于Hadoop分布式计算框架，提出了一种着眼于整个互联网防御的安全体系：在线病毒检测模型。本发明的在线病毒检测模型包括四个阶段：样本准备阶段、Map阶段、Reduce阶段及后台定时处理阶段。其中Map与Reduce阶段借助Hadoop的分布式计算框架实现。

在线病毒检测模型融合了并行处理、网格计算、未知病毒行为判断等新兴技术和概念，通过网状的大量客户端对网络中软件行为的异常监测，获取互联网中病毒、木马等恶意软件的最新信息，传送到服务端进行自动分析和处理，再把病毒和木马的解决方案分发到每一个客户端。

附图说明

图1为本发明提供的在线病毒检测模型流程图。

图2为本发明提供的样本上传步骤图。

图3为本发明中鉴定结果的跟踪和存储图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。应理解的是本发明提供的检测方法能够在不同的实例上具有各种变化，基于本发明思想的各种变化的实例皆不脱离本发明的范围；且本发明中的附图在本质上作为说明之用，例如绘图元件并不一定是按比例绘制也不限定特定的设备，描述特定顺序或行为也不要求相对次序这样的特定性。即本发明中的附图只为解释说明本发明的方法及系统，而非用以限制本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的在于针对现有技术的不足，提供一种基于多鉴定器集合的病毒在线检测方法。

主要包括如下四个步骤：

(1)样本准备阶段；

(2)Map阶段；

(3)Reduce阶段；

(4)后台定时处理阶段。

其中步骤(1)中所述样本准备阶段，样本准备阶段主要通过对样本的预处理为后续检测流程提供正常的样本。这里的正常样本指PE(Portable Execute)文件，包括EXE、DLL、OCX、SYS、COM等。具体步骤如下：

1)上传样本

2)文件类型检测器

3)解压缩模块

其中步骤1)所述上传样本，如图2所示，具体步骤如下：

1.1)计算文件的sha1值。安全哈希算法(Secure Hash Algorithm)用于产生消息的摘要，消息摘要可以用来验证数据的完整性，这里我们把它用于文件的唯一标识。在客户端利用javascript技术对待上传的文件计算其Sha1值。Sha1值是一个40位的字符串。

1.2)与服务端Sha1匹配。对由客户端传过来的40位sha1值与服务端后台数据库进行比较，如匹配成功，则直接获取相应样本鉴定结果反馈给客户端；否则进入下面的文件上传步骤。

1.3)客户端样本文件上传。判断待上传文件的大小，如果太大，则直接在客户端拒绝上传；否则与服务端建立连接，向服务端发送字节码。

1.4)服务端样本接收。服务端分步接收客户端发送过来的字节码，并最后组合成完整的文件，放置到Hadoop分布式文件系统(HDFS)。

其中步骤2)所述文件类型检测器用于检测上传的样本文件是否符合后续检测流程处理的样本类型。具体步骤如下：

首先检测是否是压缩文件，如是则进入解压流程；否则进行PE文件类型检测。对于非PE文件，则丢弃该样本，并提示信息；而对于PE文件则进入鉴定流程。

其中步骤3)所述解压缩模块，该模块用于对压缩文件进行解压，并将解压后的所有文件放到文件类型检测器的输入队列。对压缩文件与其解压后的文件建立对应关系，这样在最终结果标识上，若解压后的文件其中有一个为病毒，则该压缩文件也标为病毒。

其中步骤(2)中所述Map阶段，主要用于任务的分解，在本发明的具体实施中我们将输入样本的检测任务分解到多台服务器并行执行。在每台服务器上部署一个或多个鉴定器，鉴定器对输入样本进行鉴定，鉴定结果包括黑(病毒文件)、白(正常文件)、未知。

根据鉴定的方式的不同鉴定器包括如下几种类型,具体分类如下：

2.1)特征扫描鉴定器集合

该部分鉴定器主要是利用一些传统的病毒检测方法，对特定位置或标记进行扫描，快速对样本进行鉴定。比如：特征代码检测法、病毒签名检测法、校验和法、长度检测法等。

2.2)静态鉴定器集合

该部分类型的鉴定器主要是通过对样本文件进行静态特征提取、特征选择，而后构成特征向量，在输入分类器后，由分类器给出鉴定结果。

在本发明的具体实施例中，首先，通过将可执行程序的连续二进制数据比特流，以固定长度N的滑动窗口，在比特流上线性滑动，并记录相应窗口中的子串及出现次数作为特征。

接着，如果提取的特征维度较高，则进行特征选择。在本发明的具体实施例中特征选择方法有基于信息增益的、基于粗糙集的属性约简方法。

然后，对于约简后的特征属性，将其输入到分类器进行鉴定。常用的分类器有K-近邻分类器、支持向量机(SVM)分类器、神经网络分类器等。

2.3)动态鉴定器集合

对于有些病毒需要动态的进行鉴定，特别是一些未知病毒。常用的动态鉴定方法有行为检测法、软件模拟法等。由于要对病毒代码的行为进行监控跟踪进而获取其特征，而染毒程序对真实机器的破坏不可预料，故动态鉴定过程在虚拟机中进行。虚拟机主要通过Vmware实现。其过程也是首先通过特征提取，获取动态特征；而后进行特征选择，最后输入到分类器，由分类器给出鉴定结果。

常用的动态特征提取方法，如利用待检测程序对系统调用的API函数作为其分类特征。计算机病毒程序通过API函数与操作系统进行交互，通过对API函数调用跟踪处理后，可以得到大量的系统调用。

在动态特征选择方法上，如果API函数调用在病毒文件中出现的频率非常高，而在正常程序文件中出现频率较低时，则API函数调用对识别病毒所作的贡献就比较大。因此可以使用类间频率均方差方法、Relief方法等进行特征选择。

对于动态特征，可以使用支持向量机(SVM)分类器，或者基于朴素贝叶斯算法的分类器进行样本鉴定。

2.4)企业杀毒软件鉴定器集合

该部分的鉴定器主要是借鉴现有的一些企业杀毒软件，如卡巴斯基KAV、ESET NOD32、诺顿、360等。把这些杀毒软件作为整个检测模型的一部分，并获得相应杀毒软件对输入样本的鉴定结果。

其中步骤(3)所述Reduce阶段,具体步骤如下:

3.1)鉴定结果跟踪存储区

该部分为每个鉴定器设置相应的跟踪位和结果存储区。如图3所示，其中跟踪位用于跟踪鉴定器是否鉴定完成，S_i∈{0，1}，0代表尚未得到鉴定结果，1代表鉴定器已经输出结果。结果位用于存储输出结果，A_i∈{-1，0，1}，-1代表病毒文件，0代表未知文件，1代表正常文件。根据跟踪位的变化(0→1)，即可立即取出相应位的结果进行综合集成，并将当前动态结果反映到客户端，直至所有跟踪位都变化，客户端得到最终结果。

3.2)鉴定结果综合集成

步骤(3)所述Reduce阶段主要用于多任务结果的合成，在本发明的具体实施例中将多服务器上鉴定器的鉴定结果进行综合集成。

对于计算机病毒检测数据类型仅有两类，即正常程序与病毒程序，基于D-S证据理论，本发明构造如下识别框架：

式中N表示正常程序，A表示病毒程序，其基本信度函数定义为：

对于一给定的上传样本x，其关于某个鉴定器e⁽ⁱ⁾的基本信度函数值计算方法如下：

$\left\{\begin{array}{c}{m}_i\left(N\right)={\mathrm{TP}}^i\mathrm{rate}/2\\ m_i(\⫬N)={\mathrm{FP}}^i\mathrm{rate}/2\\ m_i\left(A\right)={\mathrm{TN}}^i\mathrm{rate}/2\\ m_i(\⫬A)={\mathrm{FN}}^i\mathrm{rate}/2\end{array}\right.$

式中TPⁱ，FPⁱ，TNⁱ，FNⁱ分别是某个鉴定器的True Positive,False Positive,True Negative和False Negative，具体如表1所示：

表1、鉴定器性能评价参数

TP rate＝True Positives/P；FP rate＝False Positives/N

FN rate＝False Negatives/P；TN rate＝True Negatives/N

然后，根据Dempster规则将各个成员鉴定器的基本信度分配函数进行组合：

$m=m_{e^{\left(1\right)}}\⊕m_{e^{\left(2\right)}}\⊕...\⊕m_{e^{\left(n\right)}}$

其中,对于特定输出结果A,

$m\left(A\right)=m_1\⊕m_2\⊕...{\⊕m}_n\left(A\right)=K^{-1}\×\underset{\∩A_i=A}{\mathrm{\Σ}}\underset{1\≤i\≤n}{\mathrm{\Π}}{m}_i\left(A_i\right)$

最后鉴定结果综合输出为：

$E\left(x\right)={\mathrm{\θ}}_j,\mathrm{if}(\mathrm{Bel}\left({\mathrm{\θ}}_j\right)=\arg \underset{i\∈n}{\max }\mathrm{Bel}\left({\mathrm{\θ}}_i\right)$

其中，Bel为信任函数，对应于本发明中单输出结果的情况，Bel(A)＝m(A)。

步骤(4)所述后台定时处理阶段，该阶段的处理功能目的在于优化提高鉴定器的性能，相应的优化过程在后台定时执行，与前几阶段的实时处理功能不同。

4.1)快速特征提取模块

快速特征提取模块对应于特征扫描鉴定器集合的优化。或者通过对病毒文件提取其特征代码，特征代码一方面要作为检查病毒的依据，另一方面要求不太可能与普通正常程序代码吻合。或者提取病毒的签名，病毒签名是宿主程序已被感染的标记。

4.2)黑/白样本训练模块

黑/白样本训练模块对应于静态鉴定器集合和动态鉴定器集合的优化。通过为分类器提供大量的已知黑/白样本作为训练数据，不断优化分类器的参数，提高分类器的样本鉴定水平。

4.3)鉴定器性能评估模块

鉴定器性能评估模块对应于鉴定结果综合集成方法的优化。通过定时的对鉴定器的性能进行评估，并将其性能参数作为其综合集成的基本信度函数值，这样对于准确度比较高的鉴定器其鉴定结果将在综合结果中有更高的体现。

4.4)分析员人工鉴定模块

分析员人工鉴定模块主要用于对一些特殊情况的处理。如一些似是而非的病毒样本，一些模型不能准备判断的样本等的处理。一般需要人工处理的样本非常有限。

虽然本发明已以优选实例公开如上，然而所公开实例并非用以限制本发明的范围。对于本发明的这些示例性实施方式所附属的领域中的普通技术人员来说，在得益于先前描述和相关附图中给出的教导的情况下，众多修改以及本发明的其他实施方式都是可以想到的。由此应该理解，本发明的实施方式并不局限于所公开的具体实施方式，并且这些修改和其他实施方式同样是包含在附加权力要求的范围中的。虽然在这里使用了专门的术语，但是这些术语仅仅是以普通和描述性的意义来使用的，他们并不具有限制目的。

Claims (10)

1.一种基于多鉴定器集合的病毒在线检测方法，其特征在于包括如下步骤：

1)样本准备阶段；

2)Map阶段；

3)Reduce阶段；

4)后台定时处理阶段。

2.如权利要求1所述一种基于多鉴定器集合的病毒在线检测方法，其特征在于在步骤1)中，所述样本准备阶段的具体步骤如下：

1.1上传样本；

1.2文件类型检测器；

1.3解压缩模块。

3.如权利要求2所述一种基于多鉴定器集合的病毒在线检测方法，其特征在于在步骤1)第1.1部分中，所述上传样本的具体步骤如下：

(1)计算文件的sha1值；

(2)与服务端Sha1匹配；

(3)客户端样本文件上传；

(4)服务端样本接收。

4.如权利要求2所述一种基于多鉴定器集合的病毒在线检测方法，其特征在于在步骤1)第1.2部分中，所述文件类型检测器用于检测上传的样本文件是否符合后续检测流程处理的样本类型。

5.如权利要求2所述一种基于多鉴定器集合的病毒在线检测方法，其特征在于在步骤1)第1.3部分中，所述解压缩模块用于对压缩文件进行解压，并将解压后的所有文件放到文件类型检测器的输入队列。

6.如权利要求1所述一种基于多鉴定器集合的病毒在线检测方法，其特征在于在步骤2)中，所述Map阶段，是根据鉴定的方式，鉴定器包括以下类型：

2.1特征扫描鉴定器集合,该部分类型的鉴定器利用传统的病毒检测方法，对特定位置或标记进行扫描，快速对样本进行鉴定；

2.2静态鉴定器集合,该部分类型的鉴定器通过对样本文件进行静态特征提取、特征选择，而后构成特征向量，在输入分类器后，由分类器给出鉴定结果；

2.3动态鉴定器集合,该部分类型的鉴定器首先通过特征提取，获取动态特征，然后进行特征选择，最后输入到分类器，由分类器给出鉴定结果；

2.4企业杀毒软件鉴定器集合,该部分类型的鉴定器把杀毒软件作为整个检测模型的一部分，并获得相应杀毒软件对输入样本的鉴定结果。

7.如权利要求1所述一种基于多鉴定器集合的病毒在线检测方法，其特征在于在步骤3)中，所述Reduce阶段,具体步骤如下：

3.1鉴定结果跟踪存储区；

3.2鉴定结果综合集成。

8.如权利要求7所述一种基于多鉴定器集合的病毒在线检测方法，其特征在于在步骤3)的第3.1部分中，所述鉴定结果跟踪存储区，具体步骤是：根据跟踪位的变化，取出相应位的结果进行综合集成，并将当前动态结果反映到客户端，直至所有跟踪位都变化，客户端得到最终结果。

9.如权利要求7所述一种基于多鉴定器集合的病毒在线检测方法，其特征在于在步骤3)的第3.2部分中，所述鉴定结果综合集成，具体步骤如下：

对于计算机病毒检测数据类型仅有两类，即正常程序与病毒程序，基于D-S证据理论，构造如下识别框架：

式中，N表示正常程序，A表示病毒程序，其中基本信度函数定义为：

对于一给定的上传样本x，其关于某个鉴定器e⁽ⁱ⁾的基本信度函数值计算方法如下：

$\left\{\begin{array}{c}{m}_i\left(N\right)={\mathrm{TP}}^i\mathrm{rate}/2\\ m_i(\⫬N)={\mathrm{FP}}^i\mathrm{rate}/2\\ m_i\left(A\right)={\mathrm{TN}}^i\mathrm{rate}/2\\ m_i(\⫬A)={\mathrm{FN}}^i\mathrm{rate}/2\end{array}\right.$

式中TPⁱ，FPⁱ，TNⁱ，FNⁱ分别是某个鉴定器的True Positive,False Positive,True Negative和False Negative，具体如表1所示：

表1、鉴定器性能评价参数

TP rate＝True Positives/P；FP rate＝False Positives/N

FN rate＝False Negatives/P；TN rate＝True Negatives/N

然后，根据Dempster规则将各个成员鉴定器的基本信度分配函数进行组合：

$m=m_{e^{\left(1\right)}}\⊕m_{e^{\left(2\right)}}\⊕...\⊕m_{e^{\left(n\right)}}$

其中,对于特定输出结果A,

$m\left(A\right)=m_1\⊕m_2\⊕...{\⊕m}_n\left(A\right)=K^{-1}\×\underset{\∩A_i=A}{\mathrm{\Σ}}\underset{1\≤i\≤n}{\mathrm{\Π}}{m}_i\left(A_i\right)$

最后鉴定结果综合输出为：

$E\left(x\right)={\mathrm{\θ}}_j,\mathrm{if}(\mathrm{Bel}\left({\mathrm{\θ}}_j\right)=\arg \underset{i\∈n}{\max }\mathrm{Bel}\left({\mathrm{\θ}}_i\right)$

其中，Bel为信任函数，对应于本发明中单输出结果的情况，Bel(A)＝m(A)。

10.如权利要求1所述一种基于多鉴定器集合的病毒在线检测方法，其特征在于在步骤4)中，所述后台定时处理阶段，具体分为如下四个模块：

4.1快速特征提取模块，该模块对应于特征扫描鉴定器集合的优化，可用的快速特征提取方法包括对病毒文件提取其特征代码，或者提取病毒的签名；

4.2黑/白样本训练模块,该模块对应于静态鉴定器集合和动态鉴定器集合的优化，通过为分类器提供大量的已知黑/白样本作为训练数据，不断优化分类器的参数，提高分类器的样本鉴定水平；

4.3鉴定器性能评估模块，该模块通过定时的对鉴定器的性能进行评估，并将其性能参数作为其综合集成的基本信度函数值；

4.4分析员人工鉴定模块，该模块需要分析员人工处理一些特殊情况的样本，例如，一些似是而非的病毒样本，一些模型不能准备判断的样本。