CN105007282B - 面向网络服务提供商的恶意软件网络行为检测方法及系统 - Google Patents

Abstract

本发明公开了一种面向网络服务提供商的恶意软件网络行为检测方法及系统，该方法包括：用户移动终端通过网络服务提供商的基站与网络服务提供商的骨干网连接，网络服务提供商的骨干网与互联网相连；当用户移动终端接入互联网时，用户移动终端向检测服务器申请认证；认证处理后，通过动态分配流量镜像端口进行采集且缓存用户移动终端网络流量至流量数据处理服务器，然后对获取的用户移动终端网络流量进行识别和隐私处理，然后提取并聚合网络流量数据特征，形成特征集，并传送至检测服务器；读取特征集，检测服务器中的检测模型对特征集中特征进行检测；检测结果经流量数据处理服务器返回到网络服务提供商的骨干网，并最终返回给用户移动终端。

Description

面向网络服务提供商的恶意软件网络行为检测方法及系统

技术领域

本发明涉及一种移动终端恶意软件检测方法，尤其涉及一种面向网络服务提供商的恶意软件网络行为检测方法及系统。

背景技术

随着移动终端的广泛使用，尤其是智能手机的迅速普及，移动智能终端给现代社会巨大的变革，进入21世纪以来，我们已经迅速步入了移动时代。而手机已不再局限于传统意义上的通信业务，已经成为集电子商务、个人支付、社交娱乐等功能于一体的强大终端。然而随着移动应用的普及和用户数量爆发式增长，移动智能终端的安全也面临着巨大挑战。据国家互联网应急中心发布的2013年中国互联网网络安全报告的一项统计，恶意扣费类的恶意程序数量居首位，达到了502481个，显示了黑客制作恶意程序带有明显的趋利性，而针对Android平台的恶意联网程序达到了699514个，占总数99％以上。

传统的移动终端恶意软件检测方法根据检测方式的不同大致可以分为两类，即静态检测和动态检测。(1)对于静态检测技术，是利用反编译工具和逆向工程技术对移动终端的恶意软件进行反编译和反汇编，再从源代码中找出恶意代码。这种静态检测技术最大的优点是实施简单，用户只需在终端上安装检测程序即可，而各大安全公司的移动终端的安全产品也大都采用这种模式。但是随着代码混淆、加壳等技术的出现，反编译和对恶意代码的特征匹配已经变成了一件非常困难的事情，同时，这种静态检测技术非常依赖于已有恶意代码的特征，对未知恶意软件的发现能力极其不足。(2)对于动态检测技术，则是利用“沙盒”机制，通过在沙盒内运行应用软件，监控应用软件对系统敏感资源的调用来达到识别的目的。这种动态的方法对未知的恶意应用具有一定的发现能力，但是对用户终端的资源消耗巨大，并且难以大规模部署实施，所以相关研究仅停留在学术研究阶段。

通过网络流量来发现移动终端的恶意软件网络行为是近年新兴的一种恶意软件检测技术，并取得了一些初步的研究成果。通过网络流量来检测恶意软件不需要用户在终端设备上安装检测程序，极大地降低了用户终端设备的计算资源。这种基于网络流量检测方法的数据来自于用户的移动终端，而网络服务提供商网络作为所有用户移动终端接入汇聚的关口，是所有数据流必须经过的承载网络，所以，网络服务提供商是移动终端恶意软件网络行为检测中至关重要的监测点和控制点。但是，目前网络服务提供商很少针对移动终端恶意软件的网络行为进行主动的检测和预警，对移动终端恶意软件的防治都是被动的从投诉事件入手，这种方式显然是滞后的，往往已经对用户造成了不可挽回的损失。

发明内容

为了解决现有技术的缺点，本发明提供一种面向网络服务提供商的恶意软件网络行为检测方法及系统。这种方法将检测服务系统部署在网络服务提供商的骨干网络中，利用移动终端产生的网络流量来检测移动终端是否安装了恶意软件，若检测到恶意软件，则以短信或信息反馈App推送消息的形式通知用户。通过在网络服务提供商的骨干网中部署检测服务系统，网络服务提供商实现了对移动终端恶意软件的主动检测，同时，作为一项增值业务，用户可以自主选择和定制网络服务提供商的这项业务。

为实现上述目的，本发明采用以下技术方案：

一种面向网络服务提供商的恶意软件网络行为检测方法，包括：

用户移动终端通过网络服务提供商的基站与网络服务提供商的骨干网连接，网络服务提供商的骨干网与互联网相连；

当用户移动终端接入互联网时，用户移动终端向检测服务器申请认证；

认证处理后，通过动态分配流量镜像端口进行采集且缓存用户移动终端网络流量至流量数据处理服务器，然后对获取的用户移动终端网络流量进行识别和隐私处理，然后提取并聚合网络流量数据特征，形成特征集，并传送至检测服务器；

读取特征集，检测服务器中的检测模型对特征集中特征进行检测，检测结果经流量数据处理服务器返回到网络服务提供商的骨干网，并最终返回给用户移动终端。

所述面向网络服务提供商的恶意软件网络行为检测方法还包括：

检测模型服务器通过获取的用户移动终端网络流量进行训练检测服务器中的检测模型，得到检测模型的最优参数，进行更新检测服务器的检测模型。

当用户移动终端接入互联网时，用户移动终端向检测服务器申请认证的过程，包括：

当用户移动终端接入互联网时，向检测服务器发出认证请求；

响应用户的认证请求，开始认证用户身份信息及用户移动终端设备信息；

用户移动终端设备通过认证后，触发流量镜像端口采集用户移动终端网络流量。

所述用户身份信息包括用户UID(User Identification用户身份证明)，用户移动终端设备信息包括终端设备的MAC地址以及设备识别码IMEI(International MobileEquipment Identity，移动设备国际识别码，又称为国际移动设备标识)。

所述流量数据处理服务器对用户移动终端网络流量进行识别的过程，包括：

解析流量镜像端口所采集的用户移动终端网络流量，得到移动终端恶意目标列表；根据移动终端恶意目标列表，分离移动终端恶意软件产生的恶意行为流量，最终识别出恶意行为流量。

对识别出的用户移动终端网络流量中的恶意行为流量数据包进行设置应用名称标签。

一种基于面向网络服务提供商的恶意软件网络行为检测方法的检测系统，包括：

流量数据处理服务器，所述流量数据处理服务器，包括用户交互单元，其用于当用户移动终端接入互联网时，用户移动终端向检测服务器申请认证；

流量镜像单元，其用于当认证处理后，通过动态分配的流量镜像端口进行采集用户移动终端网络流量；

流量缓存单元，其用于缓存用户移动终端网络流量；

流量识别单元，其用于识别用户移动终端网络流量；

隐私处理单元，其用于对用户移动终端网络流量进行隐私处理；

流量存储单元，其用于存储处理后的用户移动终端网络流量；

特征提取单元，其用于提取用户移动终端网络流量中的数据特征；

聚合单元，其用于对提取的用户移动终端网络流量中的数据特征进行聚合，形成表征用户移动终端网络流量的新数据特征，形成特征集；

检测服务器，所述检测服务器包括检测模型单元，其用于读取特征集，并对特征集中特征进行检测，检测结果经流量数据处理服务器返回到网络服务提供商的骨干网，并最终返回给用户移动终端。

所述检测服务器与检测模型服务器相连，所述检测模型服务器用于训练检测服务器中的检测模型，得到检测模型的最优参数，并更新检测服务器中的检测模型。

所述用户交互单元，包括：

认证请求发送模块，其用于当用户移动终端通过网络服务提供商的基站与网络服务提供商的骨干网连接之后接入与互联网时，向检测服务器发出认证请求；

认证模块，其用于响应用户的认证请求，开始认证用户身份信息及用户移动终端设备信息；

触发模块，其用于当用户移动终端设备通过认证后，触发流量镜像端口采集用户移动终端网络流量。

所述流量识别单元，包括：

流量解析模块，其用于解析流量镜像端口所采集的用户移动终端网络流量，得到移动终端恶意目标列表；

流量分离模块，其用于根据移动终端恶意目标列表，分离移动终端恶意软件产生的恶意行为流量，最终识别出恶意行为流量。

本发明的有益效果为：

(1)这种检测方法利用移动终端产生的网络流量进行恶意软件的检测，完全由网络服务提供商在网络节点处部署检测服务系统，由检测服务系统自动完成，不需要依赖用户，对用户的移动终端的资源消耗小；

(2)若检测到恶意软件，网络服务提供商可以及时地通知用户，避免了检测的滞后性，给用户的损失最小；

(3)从网络服务提供商的角度来看，网络服务提供商实现了主动检测的同时，可以将这种检测服务作为一项可定制的增值服务，用以保证用户移动终端的安全。

附图说明

图1为在网络服务提供商的骨干网络中部署恶意软件网络行为检测系统体系结构图；

图2为面向网络服务提供商的恶意软件网络行为检测系统结构图；

图3为检测服务器中的检测模型单元建立的流程图；

图4为实施例建立规则匹配模型流程图；

图5为实施例用户使用规则匹配模型检测流程图；

图6为实施例建立图相似匹配模型流程图；

图7为实施例用户使用图相似匹配模型检测流程图；

图8为利用机器学习的无监督学习算法和有监督学习算法建立具有发现未知恶意软件检测模型的过程图；

图9为利用机器学习的无监督学习算法和有监督学习算法建立具有发现未知恶意软件检测模型的流程图；

图10为实施例以机器学习无监督学习算法的K均值方法对原始特征集进行聚类的流程图；

图11为实施例建立机器学习的SVM模型流程图；

图12为实施例用户使用SVM模型检测流程图；

图13为用户管理模块处理流程图；

图14为流量管理模块处理流程图；

图15为特征管理模块处理流程图。

具体实施方式

下面结合附图与实施例对本发明做进一步说明：

本发明的面向网络服务提供商的恶意软件网络行为检测方法，包括：

用户移动终端通过网络服务提供商的基站与网络服务提供商的骨干网连接，网络服务提供商的骨干网与互联网相连；

当用户移动终端接入互联网时，用户移动终端向检测服务器申请认证；

认证处理后，通过动态分配流量镜像端口进行采集且缓存用户移动终端网络流量至流量数据处理服务器，然后对获取的用户移动终端网络流量进行识别和隐私处理，然后提取并聚合网络流量数据特征，形成特征集，并传送至检测服务器；

读取特征集，检测服务器中的检测模型对特征集中特征进行检测，检测结果经流量数据处理服务器返回到网络服务提供商的骨干网，并最终返回给用户移动终端。

面向网络服务提供商的恶意软件网络行为检测方法还包括：

检测模型服务器通过获取的用户移动终端网络流量进行训练检测服务器中的检测模型，得到检测模型的最优参数，进行更新检测服务器的检测模型。

当用户移动终端接入互联网时，用户移动终端向检测服务器申请认证的过程，包括：

当用户移动终端接入互联网时，向检测服务器发出认证请求；

响应用户的认证请求，开始认证用户身份信息及用户移动终端设备信息；

用户移动终端设备通过认证后，触发流量镜像端口采集用户移动终端网络流量。

用户身份信息包括用户UID，用户移动终端设备信息包括终端设备的MAC地址以及设备识别码IMEI。

流量识别，其用于从采集到的用户移动终端产生的网络流量数据中识别出具体的应用软件名称，即对于每一个采集到的应用层网络流量数据包，对应的识别出是用户移动终端上的哪一个应用软件产生的。对采集到的用户移动终端上的每一个应用软件产生的应用层网络流量数据包，都会有对应的识别标签，该标签用于识别出具体的应用软件。

面向网络服务提供商的恶意软件网络行为检测方法的具体过程，如图1所示：

步骤100，移动终端通过空中接口与网络服务提供商的基站连接；例如，在GSM/GPRS网络中，基站收发台在基站控制器的控制下，接收移动终端发来的数据传输信号；

步骤101，基站与网络服务提供商的骨干网连接；这里的网络服务提供商骨干网可以是GRPS骨干网络、3G骨干网络或4G骨干网络；

步骤102，网络服务提供商的骨干网与互联网相连，从而移动终端可以通过网络服务提供商与互联网进行通讯，移动终端可以访问网络资源，使用互联网中的各种业务和应用；

步骤103，镜像用户移动终端产生的网络流量；

该步骤的具体过程为：首先，当通过网络服务提供商接入网络后，会自动向检测服务系统提出检测申请。检测服务系统接收到用户的检测服务请求后，认证用户的信息；然后，若通过认证，则在网络服务提供商骨干网中，通过流量镜像技术将移动终端产生的网络流量镜像到检测服务系统中的流量数据处理服务器中；

步骤104，检测服务器读取流量数据处理服务器中提取到的网络流量特征集；

该步骤的具体过程为：首先，流量处理服务器对流量数据做识别和隐私处理；然后，提取并聚合网络流量数据特征，形成特征集，检测服务器读取特征集；最后，检测模型根据输入的特征做检测；

步骤105，检测服务器将检测结果返回至流量数据处理服务器；

步骤106，流量数据处理服务器将检测结果返回到网络服务提供商的骨干网并最终返回给用户；

检测结果返回给用户的方式有两种：

(1)流量数据处理服务器将检测结果返回到网络服务提供商骨干网中，进而通过信息反馈App的接收消息模块接收检测结果。

(2)流量数据处理服务器将检测结果返回到网络服务提供商骨干网的短信中心；然后，短信中心通过网络服务提供商的移动交换中心、移动交换中心网关、基站等网络节点将检测结果以短信形式发送到用户的手机上；

步骤107，检测模型服务器更新检测服务器中的检测模型；

检测模型服务器对模型不断训练，不断优化模型参数，从而能够实现对检测服务器中检测模型的更新，使得检测服务器的检测效果更优。

如图2所示，基于面向网络服务提供商的恶意软件网络行为检测方法的检测系统，包括：

流量数据处理服务器，所述流量数据处理服务器，包括用户交互单元，其用于当用户移动终端接入互联网时，用户移动终端向检测服务器申请认证；

流量镜像单元，其用于当认证处理后，通过动态分配的流量镜像端口进行采集用户移动终端网络流量；

流量缓存单元，其用于缓存用户移动终端网络流量；

流量识别单元，其用于识别用户移动终端网络流量；

隐私处理单元，其用于对用户移动终端网络流量进行隐私处理；

流量存储单元，其用于存储处理后的用户移动终端网络流量；

特征提取单元，其用于提取用户移动终端网络流量中的数据特征；

聚合单元，其用于对提取的用户移动终端网络流量中的数据特征进行聚合，形成表征用户移动终端网络流量的新数据特征，形成特征集；

检测服务器，所述检测服务器包括检测模型单元，其用于读取特征集，并对特征集中特征进行检测，检测结果经流量数据处理服务器返回到网络服务提供商的骨干网，并最终返回给用户移动终端。

检测服务器与检测模型服务器相连，所述检测模型服务器用于训练检测服务器中的检测模型，得到检测模型的最优参数，并更新检测服务器中的检测模型。

用户交互单元，包括：

认证请求发送模块，其用于当用户移动终端通过网络服务提供商的基站与网络服务提供商的骨干网连接之后接入与互联网时，向检测服务器发出认证请求；

认证模块，其用于响应用户的认证请求，开始认证用户身份信息及用户移动终端设备信息；

触发模块，其用于当用户移动终端设备通过认证后，触发流量镜像端口采集用户移动终端网络流量。

流量识别单元，其用于从采集到的用户移动终端产生的网络流量数据中识别出具体的应用软件名称，即对于每一个采集到的应用层网络流量数据包，对应的识别出是用户移动终端上的哪一个应用软件产生的。对采集到的用户移动终端上的每一个应用软件产生的应用层网络流量数据包，都会有对应的识别标签，该标签用于识别出具体的应用软件。

其中，检测服务器中的检测模型由检测模型服务器部署、更新，检测模型服务器根据流量特征的类型，检测模型可以分为规则匹配检测模型、图相似匹配模型以及机器学习模型。检测服务器中的检测模型可以由其中的一种或者多种模型组合，负责对输入的流量特征集进行恶意软件的检测。

检测服务器中的检测模型建立的过程为：

1、特征提取并对特征进行分类。首先，根据能够有效表征移动终端恶意软件的网络行为的特征，设计相应的特征提取程序，完成从原始的网络流量数据中提取特征；其次，按照不同的特征类型，对特征进行分类。例如，对于DNS请求的域名查询，流量上传和下载比值，连接持续时间，端口号，行为序列图等能够有效表征移动终端恶意软件行为的特征，分别设计相应的特征提取程序；然后，对这些特征按照不同的类型进行分类，DNS请求的域名查询作为规则类的特征，流量上传和下载比值、连接持续时间作为数值型类特征，端口号作为标称型类特征，行为序列图作为图类特征。

2、建立检测模型。首先，按照不同的特征类型，选择适合于该特征类型的检测模型；其次，基于采集到的网络流量数据集，通过训练得到适合于不同特征类型的检测模型。

以规则类的DNS请求的域名特征为例，第一步，需要选择与规则类特征相适合的规则匹配模型；第二步，基于采集的网络流量数据集，从中提取出所有的DNS请求的域名；第三步，将提取到的DNS请求的域名在第三方域名检测服务VirusTotal上做域名检测，建立恶意URL列表；第四步，把这个列表上的恶意URL作为规则加入到规则匹配模型；第五步，用户终端接入网络后，通过对用户移动终端网络流量的采集，从采集到的网络流量中提取DNS请求的域名，与规则匹配模型中规则进行匹配，若发现有恶意DNS请求的域名存在，规则匹配模型输出发现恶意软件的检测结果。

以图类的网络行为重构图特征为例，第一步，选择相应的图相似匹配模型；第二步，在采集到的网络流量数据集中，按照五元组特征(具有相同的源IP，目的IP，源端口，目的端口和协议类型)提取出恶意的网络行为数据流；第三步，基于恶意的网络行为数据流，构建恶意网络行为重构图；第四步，基于正常的网络行为数据流，构建正常网络行为重构图；第五步，获取用户移动终端应用软件所产生的网络流量，构建用户移动终端应用软件的网络行为重构图，分别计算其与恶意网络行为重构图的相似性和与正常网络行为重构图的相似度，若与前者的相似度大于后者的相似度，则说明该应用软件是恶意软件。

以机器学习模型为例，本发明所采用的检测模型具有发现未知恶意软件的能力，其原理是基于机器学习的无监督和有监督学习。其中，无监督学习主要以聚类算法为主，有监督学习主要以分类算法为主。第一步，在采集到的网络流量数据集中，提取出数值型类特征和标称型类特征，建立原始特征集；第二步，我们在原始特征集上使用聚类算法，将具有相似特征的软件样本聚为一类，这种聚类的好处是能够发现未知的恶意软件；第三步，对先发现的未知恶意软件，重新提取特征，加入到原始特征集中形成新的特征集；第四步，在新的特征集上使用分类算法，建立分类检测模型，使用分类算法的好处是分类具有比聚类更高的准确度。

3、用户自主选择所需要的模型。通过上述步骤，完成了每种类型特征所对应的检测模型的构建，用户此时可以根据自己的需要，通过模型控制器的模型选择功能同时选择一种或是几种检测模型，并选择对应的特征类型，确定完毕后，检测模型开始对输入的流量数据进行处理和计算，并输出检测结果。例如，首先，用户选定机器学习模型和图类匹配模型；其次，会提示机器学习模型可选的特征类型-数值型和标称型，用户选择数值型特征；再次，输入移动终端应用软件产生的流量数据；然后，特征处理程序根据选定的特征类型-数值型类特征和图类特征，分别提取出数值型的特征，例如流量上传和下载比值、流的连接持续时间、流中包的平均到达时等输入到机器学习模型，同时，将图类特征，例如网络行为重构图输入到图相似匹配模型，分别计算与恶意网络行为重构图和正常网络行为重构图之间的相似度，依据相似度来识别出恶意软件；最后，模型检测的结果经过模型控制器的获取输出功能显示给用户。

其中，检测模型中的数据获取及图类的网络行为重构图方法包括：

1)移动终端恶意软件反编译。对大规模Android恶意软件的原文件，通过自动化脚本程序来控制执行反编译工具APKTool，可以得到所有恶意软件反编译后的文件。同时，在每个恶意软件样本反编译后的文件中，都有一个Android系统的配置文件AndroidManifest.xml。

2)提取移动终端恶意软件自动安装和运行所需要的参数。对于每一个Android恶意软件，若反编译成功，都可以从它的AndroidManifest.xml文件中提取出该恶意软件的包名和主activity名，作为移动终端恶意软件自动安装和运行程序所需要的参数。对于反编译失败的恶意软件，则重复步骤1)，重新选择新的反编译工具，直到反编译成功。

3)移动终端恶意软件自动安装。通过Android平台提供的ADB调试命令，可以实现Android应用软件的安装。其中，Android应用软件的安装需要包名作为参数传入ADB。对于大规模移动终端恶意软件，将步骤2)得到的所有恶意软件的包名写入文本文件，每一行的内容为一个app的包名。ADB每次调用文本文件中一行，完成对一个恶意软件的自动化安装。ADB循环调用文本文件的每一行，依次实现对所有恶意软件的安装。

4)移动终端恶意软件激活与运行。不同的Android恶意软件所依赖于的激活方式不尽相同，目前已知的激活方式主要包括移动终端操作系统重启、收发短信、接打电话、系统事件、电池电量状态、网络状态改变、USB接入。不同的激活方式所能激活的恶意软件的数量不等，据统计超过80％的Android恶意软件依赖手机操作系统的重启来实现激活。本发明依据各种激活方式所能激活的恶意软件数量排序设计了一种激活优先机制，即移动终端操作系统重启>系统事件>电池电量状态>收发短信>网络状态改变>USB接入>接打电话。若重启终端操作系统能够产生有效流量，则表明该恶意软件已被激活并运行，反之，则继续使用下一级别“系统事件”激活方式对恶意软件进行激活，以此类推，直到能够采集到有效网络流量为止。若使用所有的激活方式仍然没有采集到有效流量，则对该恶意软件的流量采集失败。

5)移动终端恶意软件网络流量获取。在移动终端接入网络的路由器节点部署镜像端口，通过镜像端口可以把所有上、下行的移动终端网络流量镜像到数据存储服务器上。

6)移动终端恶意目标列表建立。在数据存储服务器上，保存了移动终端恶意软件产生的所有网络交互流量。通过解析流量数据的DNS信息，可以得到关于恶意软件所有的DNS请求的目标域名，再将这些目标域名依次在VirusTotal上作恶意域名检测，若是恶意目标，则将该域名加入黑名单列表。

7)移动终端恶意软件恶意行为流量分离。基于6)建立好的黑名单，根据流的五元组(即具有相同的源IP地址、目的IP地址、源端口号、目的端口号、协议号)构建网络数据流，然后在数据流中的HTTP数据包中提取相应的HOST字段(HOST字段是一段域名字符串)，若该字段存在于6)建立的黑名单中，则认为该数据流为恶意软件网络行为流量，提取并保存，反之则忽略掉该数据流。依据该原则依次完成所采集到的所有数据流。这样分离出移动终端恶意软件与远程控制服务器之间或恶意服务器之间所产生的恶意交互流量。

8)移动终端恶意软件网络行为交互时序图建立。在7)分离出恶意的网络数据流后，提取出相应的DNS数据包和HTTP数据包。首先，依次读取恶意的网络数据流中的每一个流，提取出流中的HTTP数据包，记录下HTTP数据包的发送时间和HTTP数据包中的HOST字段(这个字段记载着HTTP数据包传输的服务器域名)；然后，根据HTTP数据包中HOST字段的域名，从原始网络流量数据包中提取出与HOST字段具有相同域名的DNS协议数据包，并记录下数据包的发送时间，以及DNS应答数据包中的CNAME内容和解析到的IP地址；最后，按照数据包的发送时间，构建从源IP地址到DNS以及向目标域名服务器发送HTTP数据包的网络交互时序图。

9)移动终端恶意软件网络行为重构。在8)建立的网络交互时序图的基础上构建网络行为的重构图。首先，将源IP地址、目标服务器域名以及HTTP数据包定义为图的节点，将DNS应答数据包的内容定义为目标服务器域名节点的属性节点；其次，在图中用实线连接目标服务器域名节点与各个属性节点，用以表示目标服务器所相关的CNAME信息和解析到的IP地址信息；再次，用虚线连接HTTP数据包节点与目标服务器域名节点，用以表示向该目标服务器发送HTTP数据包的对应关系；然后，用实线连接源IP地址节点与目标服务器域名节点，表示从源IP地址向目标服务器发出的请求，并以目标服务器域名的请求次数作为该段实线的权重；最后，用实线连接源IP地址节点与HTTP数据包节点，表示从源IP地址向目标服务器发出的HTTP数据包，并以向目标服务器发出的HTTP数据包数量作为该段实线的权重。正常网络行为重构图及用户移动终端应用软件的网络行为重构图的做法与恶意网络行为重构图相同。

图3为检测服务器中的检测模型单元建立的流程图，该方法包括：

特征提取程序从网络流量数据中提取出能够有效表征恶意软件网络行为的特征；

对于规则类的特征划分为一类，例如DNS请求的域名特征；

对于图类的特征划分为另一类，例如行为序列图特征；

对于数值型和标称型特征划分为第三类，例如流的持续时间，目的端口号等特征；

对于规则类的特征建立规则匹配模型；

对于图类特征建立图相似匹配模型；

对于数值类特征和标称型特征，训练得到机器学习模型；

模型选择功能完成用户对模型的选择，同时，对具有多种特征类型的模型，用户还可以继续完成对指定特征类型的选择；

获取输出功能完成从模型获取输出的检测结果。

图4为实施例建立规则匹配模型流程图，建立规则匹配模型的方法包括：

DNS特征提取程序从恶意的网络流量数据集中提取出所有的DNS请求的域名；

提取出所有的移动终端恶意软件产生的DNS请求的域名后，建立DNS请求的域名集合；

依次将DNS请求的域名集合中的每一个域名放在第三方域名检测服务VirusTotal上做域名检测；

若VirusTotal的检测结果是恶意URL，则将该域名加入到恶意列表中；

若VirusTotal检测结果是正常URL，则不做处理；

对DNS请求的域名集合中的所有域名检测完毕后，将得到的恶意列表加入到规则匹配模型，获得规则匹配模型。

由于移动终端的网络流量具有多类特征，规则类特征作为一种重要特征之一，在一定程度上能够帮助识别出恶意软件，例如DNS请求的域名信息，恶意软件请求的DNS域名通常是恶意的远程控制服务器域名，所以，可以依据DNS域名来建立规则匹配模型，每一条规则对应于一条恶意的DNS域名。首先，我们依据已有的恶意软件样本，通过主动式的方法采集恶意软件样本的网络流量；然后，从采集到的网络流量中提取出所有的DNS请求域名；最后，使用第三方的域名检测服务例如VirusTotal来验证恶意的DNS请求域名，依据恶意的DNS请求域名来建立规则匹配模型。

图5为实施例用户使用规则匹配模型检测流程图，该方法包括：

获取用户移动终端的应用软件所产生的网络流量；

DNS提取程序从流量数据中提取出DNS请求的域名；

将提取出的所有的DNS请求的域名输入到建立的规则匹配模型中；

规则匹配模型对所提取出来的DNS请求的域名做规则匹配；

若存在任意一个DNS请求的域名，在规则匹配模型中有与之相匹配的域名，则该应用是恶意应用；

若所有的DNS请求的域名均不存在于规则匹配模型中，则该应用是正常应用；

当用户需要使用该规则匹配模型时，只需要采集用户流量，若发现用户流量中的某一条DNS请求的域名与规则匹配模型中的某一条规则相匹配，证明用户安装了恶意软件。

图6为实施例建立图相似匹配模型流程图：

分别采集到恶意应用软件和正常应用软件的网络流量数据集；

在采集到的网络流量数据集上，按照五元组特征(源IP，目的IP，源端口，目的端口，协议)，设计网络数据流提取程序；

根据设计的网络数据流提取程序，分别在采集到的恶意应用软件的网络流量数据集和正常应用软件的网络流量数据集中，提取出恶意应用软件的网络行为数据流和正常应用软件的网络行为数据流；

根据提取出的恶意应用软件的网络行为数据流和正常应用软件的网络行为数据流，分别重构出恶意应用软件的网络行为重构图和正常应用软件的网络行为重构图；

根据正常应用的网络行为序列图和恶意应用的网络行为序列图获得图相似匹配模型，该模型主要基于图之间的相似度来识别恶意软件。

图类特征主要是指移动终端应用软件的网络行为重构图，网络行为重构图在一定程度上反映了应用软件与外部网络之间的完整的交互过程，因为正常应用软件的网络交互行为与恶意应用软件的网络交互行为存在很大的不同，所以，正常应用软件的网络行为重构图与恶意应用软件的网络行为重构图也有很大的不同。首先，分别采集正常应用软件和恶意应用软件的网络流量数据；然后，分别构建正常应用软件的网络行为重构图和恶意应用软件的网络行为重构图；最后，建立图相似匹配模型。

图7为实施例用户使用图相似匹配模型检测流程图，如图7所示，该方法包括：

获取用户移动终端应用软件所产生的网络流量；

在采集到的用户移动终端应用软件所产生的网络流量中，利用网络数据流提取程序提取出该应用软件的网络数据流；

依次提取出采集到的网络流量数据中的所有的网络数据流；

根据提取出的所有的网络数据流，构建该应用软件的网络行为重构图；

分别计算该应用软件的网络行为重构图与恶意应用软件网络行为重构图和正常应用软件网络行为重构图之间的相似度；

若计算得到的与恶意应用软件网络行为重构图的相似度大于正常应用软件网络行为重构图的相似度，则该应用是恶意应用；

若计算得到的与恶意应用软件网络行为重构图的相似度小于正常应用软件网络行为重构图的相似度，则该应用是正常应用。

当用户需要使用该模型时，只需要输入用户移动终端应用软件所产生的网络流量，构建出网络行为重构图，然后分别计算其与该图相似匹配模型中的正常应用软件的网络行为重构图的相似度，以及与恶意应用软件的网络行为重构图的相似度。若计算得到的与恶意应用软件网络行为重构图的相似度大于正常应用软件网络行为重构图的相似度，则说明用户安装了恶意软件。

图8为利用机器学习的无监督学习算法和有监督学习算法构建具有发现未知恶意软件检测模型的过程图。首先，在原始特征集的基础上，采用无监督学习算法发现未知的恶意软件；其次，提取未知恶意软件的特征，建立新的特征集；最后，在新的特征集的基础上采用有监督的学习算法获得检测模型。

图9为利用机器学习的无监督学习算法和有监督学习算法建立具有发现未知恶意软件检测模型的流程图，如图9所示。该方法包括：

提取采集到的网络流量数据中的基本特征。这些特征类型主要是数值类型特征和标称类型特征，包括流量上传和下载比值、流的连接持续时间、流中包的平均到达时间、源端口号、目的端口号等；

以无监督学习算法中的聚类算法为主，对提取到的网络行为的基本特征进行聚类，来发现未知的恶意软件；

利用聚类算法发现了新的未知的移动终端恶意软件；

从新发现的未知恶意软件中提取出新的特征，加入到原始特征集中，形成新的特征集；

以有监督学习算法中的分类算法为主，利用新的特征集训练模型，得到模型的最优参数；

得到模型的最优参数后，获得分类模型。

图10为实施例以机器学习无监督学习算法的K均值方法对原始特征集进行聚类的流程图，该方法包括：

步骤161，输入要聚类的簇的个数为K；

步骤162，在原始特征集上随机初始化K个聚类中心；

步骤163，计算每个样本与K个聚类中心之间的距离，并将其分配到最近距离的类中；

步骤164，分配完毕后，计算新的类的中心；

步骤165，新的类的中心是否收敛，收敛条件设置为迭代次数；

步骤166，若迭代次数达到了设定的次数，则输出聚类结果；

步骤167，若迭代次数没有达到设定的次数则返回步骤163，直到达到设定的迭代次数。

图11为实施例建立机器学习的SVM模型流程图，该方法包括：

步骤171，在发现的新的未知恶意软件样本的基础上，加上类别标签形成新的特征集；

步骤172，在新的特征集中选取其中的一部分数据作为训练集；

步骤173，在新的特征集中选取剩余部分数据作为测试集；

步骤174，对SVM模型的参数进行编码；

步骤175，初始化工作，完成对数据的预处理，包括特征的归一化，模型参数的初始化；

步骤176，在训练集提取的网络流量特征集上训练SVM模型；

步骤177，用测试集评估模型的分类效果；

步骤178，评估分类效果是否满足结束条件，结束条件可以设置为误差精度或者模型的训练次数；

步骤179，若已经达到结束条件，则获得了SVM模型的各个参数；

步骤180，由获取的参数得到SVM模型；

步骤181，若没有达到结束条件，则继续返回到步骤176，继续训练模型，直到满足结束条件为止。

图12为实施例用户使用SVM模型检测流程图，如图12所示，该方法包括：

步骤190，获取用户移动终端应用软件所产生的网络流量；

步骤191，在采集到的用户移动终端应用软件所产生的网络流量中；提取出数值型特征和标称型特征；

步骤192，对提取到的数值型特征和标称型特征进行归一化等预处理；

步骤193，对归一化后的特征，使用训练好的SVM模型进行检测。

因此，检测模型服务器主要负责对模型的训练以及模型参数的优化。检测模型服务器针对多种类型的流量特征，分别设计了对应的不同类型的检测模型，用户可以根据实际需要自主选择所需要的模型。同时，检测模型服务器通过不断的训练，对检测服务器中的检测模型进行扩充，并使检测模型参数达到最优，保证检测结果更加准确。

如图2所示，为了实现本发明的面向网络服务提供商的恶意软件网络行为检测系统，该检测系统中各个单元之间的协调管理需采用逻辑管理模块进行对各个处理单元的合理调度、信息流的传递、异常处理。逻辑管理模块由下面4个模块构成：

用户管理模块：由于只有注册并通过认证的用户才可以接入检测服务系统，所以需要对用户移动终端进行认证。用户管理模块主要实现与用户之间的交互功能，基本功能包括用户的注册和认证。

流量管理模块：本发明通过分析移动终端产生的网络流量来检测移动终端中是否安装了恶意软件，所以需要获取到移动终端产生的网络流量。流量管理模块主要负责实现对移动终端流量的采集、处理和存储。

特征管理模块：此模块主要负责从采集到的原始网络流量中提取出特征。在采集到移动终端产生的网络流量数据后，采用特征提取和特征聚合的方法，从网络流量数据中提取出有效特征并建立特征集。

模型管理模块：主要负责读取从特征管理模块提取出的特征集，此外，该模块还负责连接检测模型服务器，实现对检测模型的更新。

为了实现这套系统的基本功能，还设有底层管理模块，它主要包括3个模块：

通信服务模块：主要负责各个模块之间，各个单元之间的通信，实现信息流的传递；

日志记录模块：主要负责记录系统的运行，包括运行日志和异常日志；

系统监测模块：主要负责监控系统的运行和处理系统异常。

如图2所示，本发明的基于面向网络服务提供商的恶意软件网络行为检测方法的检测系统的检测原理为：

步骤110，用户管理模块接收到用户的检测服务请求；

步骤111，用户交互单元认证用户及移动终端设备信息；

认证的内容主要包括国际移动设备识别码IMEI，终端设备的MAC地址，国际移动设备标识码IMEI具有唯一性，相当于移动设备的身份证；

步骤112，流量管理模块为用户移动终端分配流量镜像端口；

认证通过后，交由流量管理模块处理。流量管理模块为用户移动终端分配流量镜像端口；该端口是检测服务系统动态分配给每个用户的，按照一定的调度机制，检测服务系统对端口进行分配管理；

步骤113，流量镜像单元开始采集用户移动终端产生的网络流量数据；

步骤114，流量缓存单元将采集到的用户移动终端产生的网络流量数据暂时存储起来。

步骤115，流量识别单元对采集到的流量数据进行识别；经过识别后的流量数据带有具体软件名称的标签，通过此标签可以识别出具体的软件；

步骤116，隐私处理单元对识别后的流量数据的隐私内容做加密处理；例如：用户的银行账号密码、支付宝账号密码、私人信息等内容都属于隐私内容。针对隐私内容的主要的处理方法是使用加密算法对流量数据进行加密处理，来达到保护数据不被非法窃取、阅读的目的；

步骤117，流量存储单元将存储流量数据。此时的流量数据都是经过识别、隐私加密处理以后的流量数据；

步骤118，特征管理模块读取流量存储单元里的网络流量数据；

步骤119，特征提取单元中的特征提取程序从流量数据中提取出网络流量基本特征；

步骤120，特征聚合单元对基本网络流量特征进行聚合；特征聚合单元主要完成多个特征之间的相互聚合，使其成为一个或几个新的有效的特征；

步骤121，在步骤118和步骤119的基础上建立网络流量数据的特征集；

步骤122，模型管理模块读取网络流量的特征集，并将其输入到检测服务器中；

步骤123，检测服务器中的检测模型对特征集计算处理，并输出检测结果；

步骤124，系统底层的通信服务单元，日志记录单元和系统监测单元分别负责上述工作流程中模块之间、处理单元之间的通信，记录系统日志以及监控系统的运行功能；

步骤125，用户在移动终端上安装信息反馈App与检测服务系统通信；

步骤126，用户通过信息反馈App与检测服务系统连接并上传用户的身份信息到检测服务系统；

步骤127，当检测服务系统发现恶意软件时，用户通过信息反馈App接收来自检测服务系统的通知消息；

步骤128，检测模型服务器通过不断的训练检测模型，获取模型的最优参数，得到优化的检测模型；

步骤129，检测模型服务器将优化的检测模型更新到检测服务器的检测模型中。

其中，用户管理模块的工作原理，如图13所示：

步骤130，用户的移动终端通过网络服务提供商连接到互联网，向用户交互模块发起检测服务请求；

步骤131，用户管理模块接收到用户请求，并交由用户交互单元处理；

步骤132，用户交互单元认证用户及用户的移动终端设备信息。认证的内容主要包括用户UID，终端设备的MAC地址，国际移动设备识别码IMEI等能够唯一确认用户身份及设备的信息；

步骤133，若认证通过，将用户移动终端信息上传到检测服务系统的用户交互单元。并转向流量管理模块；

步骤134，若认证失败，则通知用户进行下一步的注册。因为只有认证通过的用户移动终端才能接入检测服务系统。

流量管理模块的工作原理，如图14所示：

步骤141，流量管理模块调度可用的镜像端口，并将端口分配给用户的移动终端；

步骤142，若移动终端成功地分配到了可用的镜像端口，则开始流量的采集。将此端口的上、下行的移动终端网络流量采集到检测服务系统中的流量数据处理服务器中；

步骤143，若没有可用的镜像端口，则移动终端必须等待系统调度，直到有可用的镜像端口；

步骤144，将采集到的网络流量数据暂时存储在流量缓存单元；

步骤145，由流量识别单元对采集到的网络流量数据进行移动终端网络流量的识别；

步骤146，若识别成功，则把流量数据交给隐私处理单元处理。对流量数据进行隐私的加密处理；

步骤147，若识别失败，则把这部分流量数据交由人工识别；

步骤148，存储流量数据到流量存储单元上；

特征管理模块的工作原理，如图15所示：

步骤150，特征管理模块从流量存储单元上读取流量数据，由特征提取单元完成对网络流量的特征提取；

步骤151，若特征提取成功，则进行特征的聚合；

步骤152，若特征提取失败，则进行失败处理，即人工提取所需特征；

步骤153，由特征提取单元和特征聚合单元建立能够有效表征移动终端恶意软件的特征集。

特征管理模块主要负责控制特征提取单元从网络流量数据中提取出特征，由于基本的网络流量特征不能完全表征移动终端恶意软件的网络行为，所以需要在基本特征的基础上，对基本特征进行聚合，聚合后的特征是一些能够有效表征移动终端恶意软件网络行为的特征。

本发明所采用的信息反馈App是单独为用户的移动终端开发设计的一款App，安装在用户的移动终端上，主要完成2大功能：

1)接入检测服务系统。主要负责保持移动终端与检测服务系统之间的连接。

2)接收通知消息。若发现恶意软件，实现接收来自检测服务系统的通知消息的功能。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (4)

1.一种面向网络服务提供商的恶意软件网络行为检测方法，其特征在于，包括：

用户移动终端通过网络服务提供商的基站与网络服务提供商的骨干网连接，网络服务提供商的骨干网与互联网相连；

当用户移动终端接入互联网时，用户移动终端向检测服务器申请认证；

认证处理后，通过动态分配流量镜像端口进行采集且缓存用户移动终端网络流量至流量数据处理服务器，然后对获取的用户移动终端网络流量进行识别和隐私处理，然后提取并聚合网络流量数据特征，形成特征集，并传送至检测服务器；

读取特征集，检测服务器中的检测模型对特征集中特征进行检测，检测结果经流量数据处理服务器返回到网络服务提供商的骨干网，并最终返回给用户移动终端；

所述面向网络服务提供商的恶意软件网络行为检测方法还包括：

检测模型服务器通过获取的用户移动终端网络流量进行训练检测服务器中的检测模型，得到检测模型的最优参数，进行更新检测服务器的检测模型；

所述流量数据处理服务器对用户移动终端网络流量进行识别的过程，包括：

解析流量镜像端口所采集的用户移动终端网络流量，得到移动终端恶意目标列表；根据移动终端恶意目标列表，分离移动终端恶意软件产生的恶意行为流量，最终识别出恶意行为流量。

2.如权利要求1所述的一种面向网络服务提供商的恶意软件网络行为检测方法，其特征在于，当用户移动终端接入互联网时，用户移动终端向检测服务器申请认证的过程，包括：

当用户移动终端接入互联网时，向检测服务器发出认证请求；

响应用户的认证请求，开始认证用户身份信息及用户移动终端设备信息；

用户移动终端设备通过认证后，触发流量镜像端口采集用户移动终端网络流量。

3.如权利要求2所述的一种面向网络服务提供商的恶意软件网络行为检测方法，其特征在于，所述用户身份信息包括用户UID，用户移动终端设备信息包括终端设备的MAC地址以及设备识别码IMEI。

4.如权利要求1所述的一种面向网络服务提供商的恶意软件网络行为检测方法，其特征在于，对识别出的用户移动终端网络流量中的恶意行为流量数据包进行设置应用名称标签。