CN107766729A

CN107766729A - 一种病毒特征匹配方法、终端及计算机可读存储介质

Info

Publication number: CN107766729A
Application number: CN201710813679.XA
Authority: CN
Inventors: 孟磊
Original assignee: Beijing Topsec Technology Co Ltd; Beijing Topsec Network Security Technology Co Ltd; Beijing Topsec Software Co Ltd
Current assignee: Beijing Topsec Technology Co Ltd; Beijing Topsec Network Security Technology Co Ltd; Beijing Topsec Software Co Ltd
Priority date: 2017-09-11
Filing date: 2017-09-11
Publication date: 2018-03-06
Anticipated expiration: 2037-09-11
Also published as: CN107766729B

Abstract

本发明提供了一种病毒特征匹配方法，包括：将病毒库映射到包含若干个连续比特位的位图上；将从数据包中提取的文件内容复制到缓冲区；利用预设窗口在缓冲区中选取出匹配区域，计算匹配区域在位图上的映射位置，根据映射位置判断是否匹配，滑动预设窗口，直到文件内容匹配结束。基于上述病毒特征匹配方法，本发明还提供了一种终端及计算机可读存储介质，采用本发明的技术方案，能将海量病毒库装入尺寸有限的缓存中，同时采用计算算法代替现有技术中的比较算法，能进一步发挥X86 CPU计算性能好的特点，提升病毒检测的效率。

Description

一种病毒特征匹配方法、终端及计算机可读存储介质

技术领域

本发明涉及病毒检测领域，特别涉及一种病毒特征匹配方法、终端及计算机可读存储介质。

背景技术

随着近几年恶意软件的泛滥，病毒样本的数量出现了爆炸式的增长，各个主流厂商的病毒样本库都达到了上百万。病毒库加载到内存中占用几百兆主内存。而主流的X86CPU的缓存有限，相对于过度肥胖的病毒库，缓存的体积太小了，这导致传统的病毒扫描引擎频繁的访问主内存，导致低下的扫描性能。

由于网关产品对于性能非常敏感，快速下降的病毒特征匹配性能，严重的限制了网关防病毒的应用场景，给基于X86 CPU的网关防病毒产品带来极大的挑战。

在解决海量病毒特征匹配这个问题时，由于X86 CPU的缓存有限，病毒扫描引擎不得不频繁访问系统内存，这导致随着病毒特征库数量的增长AC算法匹配性能快速下降。

发明内容

为了解决由于X86 CPU的缓存有限导致的AC算法匹配性能快速下降的问题，提升病毒检测的效率，本发明提供了一种病毒特征匹配方法、终端及计算机可读存储介质。

本发明提供的病毒特征匹配方法，包括以下步骤：

将病毒库映射到包含若干个连续比特位的位图上；

将从数据包中提取的文件内容复制到缓冲区；

利用预设窗口在所述缓冲区中选取出匹配区域，计算所述匹配区域在所述位图上的映射位置，根据映射位置判断是否匹配，滑动所述预设窗口，直到所述文件内容匹配结束。

可选的，在本发明所述的病毒特征匹配方法中，将病毒库映射到包含若干个连续比特位的位图上，包括：

读取所述病毒库中当前病毒特征码的头部；

对所述当前病毒特征码的头部采用不同的哈希函数进行若干次哈希计算，得到若干个散列值，对所述若干个散列值取模，得到所述当前病毒特征码在所述位图上的若干个映射位置；

遍历所述病毒库中所有的病毒特征码，得到所述病毒库在所述位图上的映射位置。

可选的，在本发明所述的病毒特征匹配方法中，所述预设窗口的长度与所述病毒特征码头部的读取长度相同。

可选的，在本发明所述的病毒特征匹配方法中，计算所述匹配区域在所述位图上的映射位置，根据映射位置判断是否匹配，包括：

采用哈希函数对所述匹配区域进行哈希计算，得到散列值，并对所述散列值取模，得到所述匹配区域在所述位图上的映射位置，其中，所述哈希函数为将病毒库映射到位图的过程中采用的不同的哈希函数中的一个；

判断所述映射位置在病毒库映射到位图的过程中是否被置位；

如果所述映射位置在病毒库映射到位图的过程中没有被置位，则滑动所述预设窗口，以在所述缓冲区中选取出下一个匹配区域；

如果所述映射位置在病毒库映射到位图的过程中被置位，则继续采用将病毒库映射到位图的过程中采用的不同的哈希函数中的下一个哈希函数对所述匹配区域进行哈希计算，直到将病毒库映射到位图的过程中采用的不同的哈希函数使用完毕。

可选的，在本发明所述的病毒特征匹配方法中，还包括：

当在将病毒库映射到位图的过程中采用的不同的哈希函数使用完毕之后，得到的所有映射位置均被置位时，对所述匹配区域进行精确匹配；

如果所述精确匹配成功，则所述文件内容匹配结束；

如果所述精确匹配未成功，则滑动所述预设窗口，在所述缓冲区中选取出下一个匹配区域。

可选的，在本发明所述的病毒特征匹配方法中，将从数据包中提取的文件内容复制到缓冲区，包括：

如果从数据包中提取的文件内容是待匹配文件的首部，直接将所述文件内容复制到缓冲区；

如果从数据包中提取的文件内容不是待匹配文件的首部，在将上一次提取的文件内容移动到缓冲区的开始后，将所述文件内容复制到缓冲区，并拼接在上一次提取的文件内容的后面。

可选的，在本发明所述的病毒特征匹配方法中，在采用哈希函数对所述匹配区域进行哈希计算时，采用的第一个哈希函数为将病毒库映射到位图的过程中采用的不同的哈希函数中计算开销最小的一个。

可选的，在本发明所述的病毒特征匹配方法中，所述位图位于物理内存上。

本发明还提供了一种终端，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的病毒特征匹配方法的步骤。

本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有病毒特征匹配程序，所述病毒特征匹配程序被处理器执行时实现如上所述的病毒特征匹配方法的步骤。

本发明实施例提供的病毒特征匹配方法、终端及计算机可读存储介质，能将海量病毒库装入尺寸有限的缓存中，同时采用计算算法代替现有技术中的比较算法(AC算法为比较算法)，能进一步发挥X86 CPU计算性能好的特点，提升病毒检测的效率。

附图说明

图1为本发明实施例中病毒特征匹配方法的流程图；

图2为本发明实施例实例1中所有比特位置0后的位图示意图；

图3为本发明实施例实例1中加载第一条特征后的位图示意图；

图4为本发明实施例实例1中加载完所有病毒特征后的位图示意图；

图5为本发明实施例实例1中第一预设窗口示意图；

图6为本发明实施例实例1中将第一预设窗口滑动后的示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

为了解决由于X86 CPU的缓存有限导致的AC算法匹配性能快速下降的问题，提升病毒检测的效率，本发明提供了一种病毒特征匹配方法、终端及计算机可读存储介质，以下结合附图对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不限定本发明。

CPU：中央处理器(CPU，Central Processing Unit)是一块超大规模的集成电路，是一台计算机的运算核心(Core)和控制核心(Control Unit)。它的功能主要是解释计算机指令以及处理计算机软件中的数据。X86是由Intel推出的一种复杂指令集，用于控制芯片的运行的程序，现在X86已经广泛运用到了家用PC领域。AC：Aho-Corasick automaton，该算法在1975年产生于贝尔实验室，是著名的多模匹配算法。HASH：一般翻译做“散列”，也有直接音译为“哈希”的，就是把任意长度的输入通过散列算法，变换成固定长度的输出，该输出就是散列值。

图1为本发明实施例中病毒特征匹配方法的流程图，如图1所示，本发明实施例的病毒特征匹配方法包括以下步骤：

S101：将病毒库映射到包含若干个连续比特位的位图上。

可选的，在本发明所述的病毒特征匹配方法中，将病毒库映射到包含若干个连续比特位的位图上，包括以下步骤：

读取所述病毒库中当前病毒特征码的头部；

具体的，病毒特征码的头部可以为病毒特征码的前5个Byte～前50个Byte，示例的，病毒特征码的头部可以为病毒特征码的前32个Byte。

对散列值取模即为对散列值取余数，得到散列值在所述位图上的映射位置。

具体的，所述位图位于物理内存上，在将病毒库映射到包含若干个连续比特位的位图上之前，还包括分配一块连续的物理内存，并把物理内存的所有bit位清零。

bit：二进制数字中的位，信息量的度量单位，为信息量的最小单位。Byte：字节，是计算机信息技术用于计量存储容量的一种计量单位。

S102：将从数据包中提取的文件内容复制到缓冲区。

具体的，如果从数据包中提取的文件内容是待匹配文件的首部，直接将所述文件内容复制到缓冲区；如果从数据包中提取的文件内容不是待匹配文件的首部，在将上一次提取的文件内容移动到缓冲区的开始后，将所述文件内容复制到缓冲区，并拼接在上一次提取的文件内容的后面。

S103：利用预设窗口在所述缓冲区中选取出匹配区域，计算所述匹配区域在所述位图上的映射位置，根据映射位置判断是否匹配，滑动所述预设窗口，直到所述文件内容匹配结束。

可选的，所述预设窗口的长度与所述病毒特征码头部的读取长度相同。

可选的，计算所述匹配区域在所述位图上的映射位置，根据映射位置判断是否匹配，包括：

在本发明实施例所述的病毒特征匹配方法中，进一步包括以下步骤：

如果所述精确匹配成功，则所述文件内容匹配结束；

优选的，在采用哈希函数对所述匹配区域进行哈希计算时，采用的第一个哈希函数为将病毒库映射到位图的过程中采用的不同的哈希函数中计算开销最小的一个；采用的最后一个哈希函数为将病毒库映射到位图的过程中采用的不同的哈希函数中计算开销最大的一个。

为了进一步说明本发明实施例的病毒特征匹配方法，给出实例1。实例1包括以下步骤：

一、海量的病毒特征库加载

1、加载过程

第一步，分配一块连续的物理内存，长度为Length1。然后把物理内存的所有bit位清零。假设Length1等于32M，那么就分配了32*1024*1024*8＝268435456个BIT位的巨大的位图。图2为本发明实施例实例1中所有比特位置0后的位图示意图。

第二步，读取一个病毒特征码的前32个Byte，使用不同的HASH函数计算三次HASH(HASH1、HASH2、HASH3)，计算结果对Length1*8取模(取余数)，就得到了该病毒特征码通过HASH函数映射到位图上的三个位置。把位图上将这三个位置置为1。图3为本发明实施例实例1中加载第一条特征后的位图示意图。

第三步，重复执行第二步直到读取完所有的病毒特征码。比如病毒库中有100万条特征，读取完成后，位图上有(1,000,000*3)/(32*1024*1024*8)＝1.12％的位被置1。也就是说病毒特征码读取完成后，将得到一个稀疏的BIT位置1的位图。图4为本发明实施例实例1中加载完所有病毒特征后的位图示意图。

其中，需要指出的是：

1.病毒特征码的读取长度并不限于32个Byte，一个比较优选的范围是5至50个Byte，在这个范围中均可保证一定的有益效果。

2.HASH函数的计算次数并不限于3次，只要大于等于2次即可保证一定的有益效果。

3.第三步中，位图BIT位置位为1的比例最高不可超过10％，超过10％在后续匹配中误判的概率较大。

2、连续的物理内存装入缓存

CPU有一个特性叫做空间局部性。在最近的将来将用到的信息很可能与现在正在使用的信息在空间地址上是临近的。正在使用的这个数据地址旁边的数据，当然也是很可能被用到的。整个位图是一块连续的物理内存，可以充分的利用空间局部性。当执行病毒特征匹配(匹配过程下文详述)时，当查询位图中某个位置是否置位时，位图的相邻的数据会被同时装入缓存，经过N次随机查询后，整个位图区域都会被装入缓存。

3、文件匹配的过程

首先分配一段全局缓冲区(比如32K)，用于缓冲从网络数据包中提取的待匹配的文件内容。如果从网络数据包中提取的内容是待匹配的文件的首部，那么直接拷贝到全局缓冲区执行匹配过程。如果不是，那么需要先拷贝上一次提取的文件内容的尾部到缓冲区的开始，然后把当前提取的文件内容拼接到缓冲区中，以保证上一次提取的文件内容尾部与当前提取的文件内容的拼接处的匹配。然后再执行匹配过程。

具体的匹配过程如下：

第一步，设置预设窗口的长度为32，从左侧开始取第一个预设窗口，即缓冲区头部的0-31字节，作为HASH计算的输入。图5为本发明实施例实例1中第一预设窗口示意图。需要指出的是，这里的预设窗口长度需要与上文中病毒特征码的读取长度相同。

第二步，依次使用三个HASH函数(HASH1、HASH2、HASH3)执行如下匹配过程：

1)计算HASH。

2)HASH结果对Length1*8取模，得到在位图上映射的位置1。

3)检查位图上的位置1是否在病毒库载入的过程中被置位。如果被置位，则继续。没有置位则跳转到第(四)步。

第三步，如果执行到第三步，说明三次HASH计算得到的位置在病毒库载入的过程中都被置位，但这仅仅表示缓冲区的内容可能和某一条病毒特征匹配，但并不确认。需要执行一次完全匹配，来最终确认匹配与否。因为病毒库加载后生成一个稀疏的位图，所以三次HASH都查询到置1的位是一个小概率的事件。这时可以使用“慢”匹配算法(比如AC算法)做一次精确匹配。如果匹配成功，就可以确定匹配了哪条病毒特征，这时跳转到第(六)步。如果匹配失败，确认该缓冲区不与任何一条病毒特征匹配，执行第(四)步。

第四步，窗口向右移动一个字节，图6为本发明实施例实例1中将第一预设窗口滑动后的示意图，如果没有超出缓冲区的尾部，跳转到第(二)步继续执行匹配过程。如果超出缓冲区的尾部，执行第(五)步。

第五步，没有发现病毒，匹配过程结束。

第六步，发现病毒，匹配过程结束。

从上述文件匹配的过程可以看出，在本发明实施例的病毒特征匹配的整个过程的开销可以分为两部分：第一部分HASH函数的计算，第二部分查询HASH计算结果在位图上是否置位。X86 CPU相对与比较而言(AC算法需要很多次的比较)是擅长计算的，也就是说计算非常快速。

以Intel Xeon E5-2640测试该算法的HTTP协议吞吐率，单块CPU的性能达到3Gbps。配备四块CPU的硬件平台可以达到超过10Gbps的处理性能。整机的吞吐率达到现有匹配算法的5-10倍。

本发明实施例提供的病毒特征匹配方法，能将海量病毒库装入尺寸有限的缓存中，同时采用计算算法代替现有技术中的比较算法(AC算法为比较算法)，能进一步发挥X86CPU计算性能好的特点，提升病毒检测的效率。

本发明还提供了一种终端，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如本发明实施例所述的病毒特征匹配方法的步骤。

本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有病毒特征匹配程序，所述病毒特征匹配程序被处理器执行时实现如本发明实施例所述的病毒特征匹配方法的步骤。

本发明实施例提供的终端及计算机可读存储介质，同样能将海量病毒库装入尺寸有限的缓存中，同时采用计算算法代替现有技术中的比较算法(AC算法为比较算法)，能进一步发挥X86 CPU计算性能好的特点，提升病毒检测的效率。

以上所述仅为本发明的实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims

1.一种病毒特征匹配方法，其特征在于，包括：

将病毒库映射到包含若干个连续比特位的位图上；

将从数据包中提取的文件内容复制到缓冲区；

2.如权利要求1所述的病毒特征匹配方法，其特征在于，将病毒库映射到包含若干个连续比特位的位图上，包括：

读取所述病毒库中当前病毒特征码的头部；

3.如权利要求2所述的病毒特征匹配方法，其特征在于，所述预设窗口的长度与所述病毒特征码头部的读取长度相同。

4.如权利要求1所述的病毒特征匹配方法，其特征在于，计算所述匹配区域在所述位图上的映射位置，根据映射位置判断是否匹配，包括：

5.如权利要求4所述的病毒特征匹配方法，其特征在于，还包括：

如果所述精确匹配成功，则所述文件内容匹配结束；

6.如权利要求1所述的病毒特征匹配方法，其特征在于，将从数据包中提取的文件内容复制到缓冲区，包括：

7.如权利要求4所述的病毒特征匹配方法，其特征在于，在采用哈希函数对所述匹配区域进行哈希计算时，采用的第一个哈希函数为将病毒库映射到位图的过程中采用的不同的哈希函数中计算开销最小的一个。

8.如权利要求1所述的病毒特征匹配方法，其特征在于，所述位图位于物理内存上。

9.一种终端，其特征在于，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至8中任一项所述的病毒特征匹配方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有病毒特征匹配程序，所述病毒特征匹配程序被处理器执行时实现如权利要求1至8中任一项所述的病毒特征匹配方法的步骤。