CN102546628A - 一种样本鉴定方法及系统 - Google Patents

Abstract

本发明公开了一种样本鉴定方法及系统，其中，所述方法包括：当客户端发现待上传样本时，将所述待上传样本的标识信息发送到查询服务器；所述查询服务器中保存有已鉴定过的样本对应的标识信息；如果所述查询服务器返回的查询结果为该样本尚未被鉴定过，则提取所述待上传样本的微特征，并所述微特征上传到同步鉴定服务器进行同步鉴定；如果所述同步鉴定服务器的同步鉴定结果为不确定，则将所述待上传样本上传到多鉴定单元服务器，以便由所述多鉴定单元服务器通过多种鉴定策略对所述待上传样本进行鉴定，并返回鉴定结果。通过本发明，能够提高海量样本鉴定系统的准确性、时效性、可扩展性以及灵活性。

Description

一种样本鉴定方法及系统

技术领域

本发明涉及计算机安全技术领域，特别是涉及一种样本鉴定方法及系统。

背景技术

在互联网时代，信息爆炸性增长，木马、病毒也随之爆发性的泛滥，如何快速反应，及时发现新的木马和病毒，及早控制木马、病毒的传播是安全行业面临的新的挑战。

海量样本实时鉴定技术，是基于服务器端强大的处理能力对海量的样本进行收集并实时给出精准的鉴定结果的一种云鉴定技术。海量样本实时鉴定系统主要包含四大部分：样本收集，样本鉴定，样本存储，鉴定结果发布。样本收集指的是利用各种探测工具收集互联网上最新出现的未被鉴定系统识别过的可执行文件；样本存储指的是妥善的存储海量的样本，并能做到数据的高可靠性、高可用性；样本鉴定指的是灵活的组织调度各种各样的鉴定服务快速的给出样本的各种鉴定结果，并综合这些鉴定结果最终确定该样本的安全等级；鉴定结果发布指的是样本鉴定结果快速发布到云引擎服务器，为客户端提供鉴定结果查询。这一实现方式，大大缩短了互联网中新增样本的识别时间，远优于传统杀软利用病毒库升级来识别新样本的传统模式，并且，其目标是做到实时鉴定，实时查杀。

但是在现有的海量样本实时鉴定系统中还存在许多待改善提高的地方，例如，在对样本进行鉴定时，在准确性、时效性、可扩展性以及灵活性等方面，都还存在上升的空间。

发明内容

本发明提供了一种样本鉴定方法及系统，能够提高海量样本鉴定系统的准确性、时效性、可扩展性以及灵活性。

本发明提供了如下方案：

一种样本鉴定方法，包括：

当客户端发现待上传样本时，将所述待上传样本的标识信息发送到查询服务器；所述查询服务器中保存有已鉴定过的样本对应的标识信息；

如果所述查询服务器返回的查询结果为该样本尚未被鉴定过，则提取所述待上传样本的微特征，并所述微特征上传到同步鉴定服务器进行同步鉴定；

如果所述同步鉴定服务器的同步鉴定结果为不确定，则将所述待上传样本上传到多鉴定单元服务器，以便由所述多鉴定单元服务器通过多种鉴定策略对所述待上传样本进行鉴定，并返回鉴定结果。

其中，所述标识信息为所述待上传样本的MD5值。

其中，所述微特征包括类行为特征和/或结构特征。

其中，所述多鉴定单元服务器采用虚拟化技术，在多鉴定单元服务器的每台机器上运行多个虚拟机，每个虚拟机中运行多个鉴定单元，以鉴定单元作为最小的调度单位。

其中，还包括：

监控每台机器的资源占用情况，调用最空闲的机器启动指定数量的鉴定单元对样本进行鉴定。

其中，还包括：

监控各个鉴定单元的状态、鉴定器的类型、鉴定器的版本号、鉴定器病毒库大小以及升级时间，以便根据监控到的内容进行对鉴定器进行版本升级，或者对病毒库进行及时更新。

一种样本鉴定系统，包括：

查询单元，用于当客户端发现待上传样本时，将所述待上传样本的标识信息发送到查询服务器；所述查询服务器中保存有已鉴定过的样本对应的标识信息；

同步鉴定单元，用于如果所述查询服务器返回的查询结果为该样本尚未被鉴定过，则提取所述待上传样本的微特征，并所述微特征上传到同步鉴定服务器进行同步鉴定；

综合鉴定单元，用于如果所述同步鉴定服务器的同步鉴定结果为不确定，则将所述待上传样本上传到多鉴定单元服务器，以便由所述多鉴定单元服务器通过多种鉴定策略对所述待上传样本进行鉴定，并返回鉴定结果。

其中，所述标识信息为所述待上传样本的MD5值。

其中，所述微特征包括类行为特征和/或结构特征。

其中，所述多鉴定单元服务器采用虚拟化技术，在多鉴定单元服务器的每台机器上运行多个虚拟机，每个虚拟机中运行多个鉴定单元，以鉴定单元作为最小的调度单位。

其中，还包括：

第一监控单元，用于监控每台机器的资源占用情况，调用最空闲的机器启动指定数量的鉴定单元对样本进行鉴定。

其中，还包括：

第二监控单元，用于监控各个鉴定单元的状态、鉴定器的类型、鉴定器的版本号、鉴定器病毒库大小以及升级时间，以便根据监控到的内容进行对鉴定器进行版本升级，或者对病毒库进行及时更新。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

通过本发明，首先通过查询服务器查询样本是否已经鉴定，如果尚未鉴定，再进行同步鉴定，大部分查询只查询到查询服务器就知道样本的鉴定结果了，未知的样本会先请求进行同步鉴定，当同步鉴定服务器也无法给出肯定的结果时候，样本才会上传到服务端的多种鉴定服务进行鉴定。在此过程中，首先，由于并不是将客户端发现的所有样本无论是否已经鉴定都上传到服务器，因此，可以减小网络开销，并且从整体上讲，由于大部分样本都能直接通过查询服务器就得到鉴定结果，因此时效性也得到提升；其次，由于在同步鉴定服务器无法确定鉴定结果的情况下，还可以通过多种鉴定服务器进行综合鉴定，因此，鉴定的准确性也得到提升；此外，在进行多种鉴定服务时，以鉴定单元为调度单位，因此，使得系统的可扩展性及灵活性也得到提高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的方法的流程图；

图2是本发明实施例提供的平台架构示意图；

图3是本发明实施例提供的平台调度组织结构示意图；

图4是本发明实施例提供的系统的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

参见图1，本发明实施例提供的样本鉴定方法包括以下步骤：

S101：当客户端发现待上传样本时，将所述待上传样本的标识信息发送到查询服务器；所述查询服务器中保存有已鉴定过的样本对应的标识信息；

在客户端发现一可疑样本之后，由于该可疑样本可能已经被鉴定过，因此，在本发明实施例中，并不是直接将该样本上传到服务器进行鉴定，而是首先由客户端将样本的标识信息发送到查询服务器，查询该样本是否已经被鉴定过。其中，查询服务器中保存了已经被鉴定过的样本的标识信息，因此，当接收到客户端发送过来的标识信息之后，与保存的标识信息进行匹配，如果匹配成功，则证明该样本已经被鉴定过了，同时，可以向客户端返回“已鉴定过”的响应消息；如果没有匹配成功，则证明当前样本尚未被鉴定过，此时，就可以向客户端返回“未鉴定过”的响应消息。

在实际应用中，客户端上传的标识信息以及查询服务器中保存的样本的标识信息，可以是样本的文件名等描述信息，当然，为了避免由于文件名等描述信息发生变化，造成匹配错误，在本发明实施例中，可以采用样本的MD5(Message Digest Algorithm，消息摘要算法)值，作为客户端上传的标识信息，以及查询服务器中保存的标识信息。这是因为，MD5可以将一个文件当作一个大文本信息，通过其不可逆的字符串变换算法，产生一个唯一的MD5信息摘要，在以后传播这个文件的过程中，只要文件的内容没有发生改变，使用MD5算法生成的MD5值就一定是相同的。因此，即使客户端发现的可疑样本与查询服务器中收录的已鉴定样本相比，其描述信息发生变化，但是只要确实是相同的文件，就可以通过MD5值匹配成功，这样，可以提高匹配的准确度及可靠性。

这里需要说明的是，客户端发现可疑样本的方法可以参照现有技术中的实现方式，例如，当客户端的各个产品无论是扫描还是主动触发的时候，都发现某个样本在服务端的样本库中没有收集，则会将该其作为一个可疑样本。

S102：如果所述查询服务器返回的查询结果为该样本尚未被鉴定过，则提取所述待上传样本的微特征，并所述微特征上传到同步鉴定服务器进行同步鉴定；

客户端在接收到查询服务器返回的响应消息之后，如果发现查询结果是样本已经被鉴定过，则可以不必再对该样本进行鉴定操作；否则，如果查询结果是该样本尚未被鉴定过，则需要进入对该样本进行鉴定的流程。

在本发明实施例中，为了减少网络开销及客户端开销，在需要对样本进行鉴定时，由客户端提取样本的微特征，然后将微特征上传到同步鉴定服务器，由同步鉴定服务器依据这些微特征对样本进行同步鉴定。

其中，微特征可以包括样本的类行为特征和/或结构特征，其中，类行为特征可以包括导入表库特征和导入表应用程序编程接口API特征，导入表库特征可以包括网络类特征、高级WIN32应用程序接口类特征、系统内核类特征、操作系统用户界面相关应用程序接口类特征、操作系统应用程序共用图像用户界面模块类特征、操作系统硬件提取层模块类特征、虚拟机相关模块类特征、标准C运行库程序类特征、对象链接和嵌入相关模块类特征、操作系统进程状态支持模块类特征、操作系统32位外壳动态链接库文件类特征、地址动态链接库文件类特征；导入表API特征为从所述导入表库中选取的函数特征；结构特征包括至少一种下述特征：文件头特征、标准头特征、可选头特征、数据目录特征、常用节表特征，等等。

同步鉴定服务器采用的同步鉴定策略可以使用现有技术中基于样本微特征进行鉴定的任意一种鉴定策略。例如，将一个样本的微特征放入一个相应的特征向量之内，根据已经抽取到的微特征，进行特征分类，例如，可以依据加壳的类别将特征分成UPX、NSPack、ASPack、UPack、PECompact等，根据分类的结果，将不同类别的样本的特征向量和黑白属性使用决策机进行训练，得到相应的训练模型。进行分类时，根据已知编译器的入口指令序列判定编译生成相应程序的编译器类型。该分类方法速度较快，经过统计只需要反汇编16步，即可达到良好区分度，并且准确度较高，通用性好，大多数情况下不易被混淆；并且可以实现扩展。当然也可以采用其他的鉴定机制，可参照已有技术中的实现，这里不再一一详述。

S103：如果所述同步鉴定服务器的同步鉴定结果为不确定，则将所述待上传样本上传到多鉴定单元服务器，以便由所述多鉴定单元服务器通过多种鉴定算法对所述待上传样本进行鉴定，并返回鉴定结果。

如果同步鉴定服务器的同步鉴定结果是确定的，例如确定一个样本是安全还是不安全，或者能确定一个样本的安全等级，则可以结束此次鉴定过程。否则，再将整个样本上传到服务器，在本发明实施例中，该服务器是一个多鉴定单元服务器，也即具有多个鉴定单元，不同的鉴定单元可以采用不同的鉴定策略，这样，相当于可以使用多种鉴定策略同时对样本进行鉴定，集众家之所长，得到最终的鉴定结果。各个鉴定单元所使用的鉴定策略可以通过统计现有技术中常用的一些鉴定策略来得到，这里不再一一介绍。

在具体实现时，为了实现高时效性、扩展性及灵活性，本发明实施例还针对多鉴定单元服务器使用了虚拟化技术，也即利用虚拟机来做集群管理，比如一台linux可以虚拟十几个windows，这样可以节省成本，集中管理，并且可以有效地管理和灵活的配置鉴定单元，尤其是对于跨平台的鉴定器，可以更有效的利用机器资源。具体实现时，参见图2，为了实现上述虚拟化技术，可以提供一种多鉴定单元服务平台，该平台由以下各部分组成：接入中间件、鉴定单元管理调度平台、鉴定单元虚拟化技术以及数据传输平台。

其中，接入中间件为一个鉴定平台的统一调用入口，调用者可以灵活搭配需要的鉴定单元，中间件的调用接口如下例所示：

Scanner*scanner＝new Scanner()；

scanner-＞Connect()；

scanner-＞Scan(const char*Sample，char*methods，int timeout，intflags)。

鉴定单元管理调度平台：根据请求鉴定需求，如何合理调度有限的鉴定资源，是一件很有挑战性的事情。本发明实施例把鉴定资源划为鉴定单元的集合，鉴定单元为调度的最小单位，某一鉴定单元可以跑某种鉴定器的一个实例，一台实际的物理机器可以跑多款鉴定器的多个鉴定单元。并且还设计了一个机器信息采集系统，实时采集集群中每一个机器的资源占用状况，并根据鉴定请求来实时调用最空闲的机器启动相应的一定数量的鉴定单元，这样就可以最大化的利用集群的鉴定资源。调度平台的组织结构图如图3所示。

鉴定单元虚拟化以及管理技术：采用虚拟化技术可以有效地管理和灵活的配置鉴定单元，尤其是对于跨平台的鉴定器，可以更有效的利用机器资源。具体实现时，可以采用XEN(是一个开放源代码虚拟机监视器)作为虚拟机管理系统，并且还可以基于其之上开发一套可视化的鉴定单元管理监控平台，通过该可视化的管理平台，可以看到目前有多少个实际机器在工作，每个实际机器跑了多少个虚拟机，每个虚拟机跑了多少种鉴定器，每种鉴定器跑了多少个鉴定实例，等等。具体的监控点包括以下一些点：鉴定单元状态，鉴定单元的鉴定器类型，鉴定器的版本号，鉴定器库大小以及升级时间等，通过这些监控点，可以得知鉴定器是否是最新的版本，病毒库是否能及时的更新。

数据传输平台：海量的样本在鉴定平台的数据传递中需要简单、高效、可扩展的数据传输平台。具体实现时，本发明实施例可以采用GEARMAN(一种分布式队列的实现，可以提供可靠高效的数据传输，并具备平行扩展能力，和比较好的负载均衡控制)作为数据传输平台，GEARMAN可以很好的解决大规模数据传输的问题。

通过以上平台，可以实现多鉴定单元的综合鉴定，并最终得到鉴定结果。当然，在实际应用中，为了进一步提高鉴定的准确性，还可以最后辅以人工鉴定。人工鉴定可以作为实时鉴定体系的最后一个环节，可以根据样本的各种信息综合挑选出比较重要的可疑的样本交给人工来鉴定。

总之，通过本发明实施例，首先通过查询服务器查询样本是否已经鉴定，如果尚未鉴定，再进行同步鉴定，大部分查询只查询到查询服务器就知道样本的鉴定结果了，未知的样本会先请求进行同步鉴定，当同步鉴定服务器也无法给出肯定的结果时候，样本才会上传到服务端的多种鉴定服务进行鉴定。在此过程中，首先，由于并不是将客户端发现的所有样本无论是否已经鉴定都上传到服务器，因此，可以减小网络开销，并且从整体上讲，由于大部分样本都能直接通过查询服务器就得到鉴定结果，因此时效性也得到提升；其次，由于在同步鉴定服务器无法确定鉴定结果的情况下，还可以通过多种鉴定服务器进行综合鉴定，因此，鉴定的准确性也得到提升；此外，在进行多种鉴定服务时，以鉴定单元为调度单位，因此，使得系统的可扩展性及灵活性也得到提高。

与本发明实施例提供的样本鉴定方法相对应，本发明实施例还提供了一种样本鉴定系统，参见图4，该系统包括：

查询单元401，用于当客户端发现待上传样本时，将所述待上传样本的标识信息发送到查询服务器；所述查询服务器中保存有已鉴定过的样本对应的标识信息；

同步鉴定单元402，用于如果所述查询服务器返回的查询结果为该样本尚未被鉴定过，则提取所述待上传样本的微特征，并所述微特征上传到同步鉴定服务器进行同步鉴定；

综合鉴定单元403，用于如果所述同步鉴定服务器的同步鉴定结果为不确定，则将所述待上传样本上传到多鉴定单元服务器，以便由所述多鉴定单元服务器通过多种鉴定策略对所述待上传样本进行鉴定，并返回鉴定结果。

其中，所述标识信息为所述待上传样本的MD5值。

所述微特征可以包括类行为特征和/或结构特征。

具体实现时，为了提高时效性及可扩展性，所述多鉴定单元服务器可以采用虚拟化技术，在多鉴定单元服务器的每台机器上运行多个虚拟机，每个虚拟机中运行多个鉴定单元，以鉴定单元作为最小的调度单位。

为了最大化地利用集群的鉴定资源，该系统还可以包括：

第一监控单元，用于监控每台机器的资源占用情况，调用最空闲的机器启动指定数量的鉴定单元对样本进行鉴定。

此外，该系统还可以包括：

第二监控单元，用于监控各个鉴定单元的状态、鉴定器的类型、鉴定器的版本号、鉴定器病毒库大小以及升级时间，以便根据监控到的内容进行对鉴定器进行版本升级，或者对病毒库进行及时更新。

通过本发明实施例提供的样本鉴定系统，首先通过查询服务器查询样本是否已经鉴定，如果尚未鉴定，再进行同步鉴定，大部分查询只查询到查询服务器就知道样本的鉴定结果了，未知的样本会先请求进行同步鉴定，当同步鉴定服务器也无法给出肯定的结果时候，样本才会上传到服务端的多种鉴定服务进行鉴定。在此过程中，首先，由于并不是将客户端发现的所有样本无论是否已经鉴定都上传到服务器，因此，可以减小网络开销，并且从整体上讲，由于大部分样本都能直接通过查询服务器就得到鉴定结果，因此时效性也得到提升；其次，由于在同步鉴定服务器无法确定鉴定结果的情况下，还可以通过多种鉴定服务器进行综合鉴定，因此，鉴定的准确性也得到提升；此外，在进行多种鉴定服务时，以鉴定单元为调度单位，因此，使得系统的可扩展性及灵活性也得到有效的提高。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上对本发明所提供的样本鉴定方法及系统，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (12)

1.一种样本鉴定方法，其特征在于，包括：

当客户端发现待上传样本时，将所述待上传样本的标识信息发送到查询服务器；所述查询服务器中保存有已鉴定过的样本对应的标识信息；

如果所述查询服务器返回的查询结果为该样本尚未被鉴定过，则提取所述待上传样本的微特征，并所述微特征上传到同步鉴定服务器进行同步鉴定；

如果所述同步鉴定服务器的同步鉴定结果为不确定，则将所述待上传样本上传到多鉴定单元服务器，以便由所述多鉴定单元服务器通过多种鉴定策略对所述待上传样本进行鉴定，并返回鉴定结果。

2.根据权利要求1所述的方法，其特征在于，所述标识信息为所述待上传样本的MD5值。

3.根据权利要求1所述的方法，其特征在于，所述微特征包括类行为特征和/或结构特征。

4.根据权利要求1所述的方法，其特征在于，所述多鉴定单元服务器采用虚拟化技术，在多鉴定单元服务器的每台机器上运行多个虚拟机，每个虚拟机中运行多个鉴定单元，以鉴定单元作为最小的调度单位。

5.根据权利要求4所述的方法，其特征在于，还包括：

监控每台机器的资源占用情况，调用最空闲的机器启动指定数量的鉴定单元对样本进行鉴定。

6.根据权利要求4所述的方法，其特征在于，还包括：

监控各个鉴定单元的状态、鉴定器的类型、鉴定器的版本号、鉴定器病毒库大小以及升级时间，以便根据监控到的内容进行对鉴定器进行版本升级，或者对病毒库进行及时更新。

7.一种样本鉴定系统，其特征在于，包括：

查询单元，用于当客户端发现待上传样本时，将所述待上传样本的标识信息发送到查询服务器；所述查询服务器中保存有已鉴定过的样本对应的标识信息；

同步鉴定单元，用于如果所述查询服务器返回的查询结果为该样本尚未被鉴定过，则提取所述待上传样本的微特征，并所述微特征上传到同步鉴定服务器进行同步鉴定；

综合鉴定单元，用于如果所述同步鉴定服务器的同步鉴定结果为不确定，则将所述待上传样本上传到多鉴定单元服务器，以便由所述多鉴定单元服务器通过多种鉴定策略对所述待上传样本进行鉴定，并返回鉴定结果。

8.根据权利要求7所述的方法，其特征在于，所述标识信息为所述待上传样本的MD5值。

9.根据权利要求7所述的系统，其特征在于，所述微特征包括类行为特征和/或结构特征。

10.根据权利要求7所述的系统，其特征在于，所述多鉴定单元服务器采用虚拟化技术，在多鉴定单元服务器的每台机器上运行多个虚拟机，每个虚拟机中运行多个鉴定单元，以鉴定单元作为最小的调度单位。

11.根据权利要求10所述的系统，其特征在于，还包括：

第一监控单元，用于监控每台机器的资源占用情况，调用最空闲的机器启动指定数量的鉴定单元对样本进行鉴定。

12.根据权利要求10所述的系统，其特征在于，还包括：

第二监控单元，用于监控各个鉴定单元的状态、鉴定器的类型、鉴定器的版本号、鉴定器病毒库大小以及升级时间，以便根据监控到的内容进行对鉴定器进行版本升级，或者对病毒库进行及时更新。

Images