CN102664771A - 基于svm的网络代理行为检测系统及检测方法 - Google Patents

Abstract

本发明公开了基于SVM的网络代理行为检测系统及检测方法，将SVM主动学习算法应用于网络代理行为的检测，通过SVM的有效学习，将普通数据和网络代理行为数据正确地区分。然后建立以SVM为主动学习机的智能检测机制，对网络访问行为进行有效地检测，从中识别网络代理行为，通过有效地识别网络代理行为，准确及时地定位网络代理行为源，完成对其网络通信量的监控。

Description

基于SVM的网络代理行为检测系统及检测方法

技术领域

本发明涉及是一种应用于对网络代理行为的检测，尤其涉及基于SVM的网络代理行为检测系统及检测方法。

背景技术

随着科学技术和Internet的发展，网络代理技术作为目前广泛使用的一种有效地缓解IPv4地址资源匮乏、提高网络接入性能的网络接入技术已经得到越来越多的应用。但网络代理的应用，应建立在规范化的网络管理的基础之上，否则网络代理的行为也会对网络安全构成了威胁。从网络管理上来讲，网络代理的使用，屏蔽了上网用户的真实信息，给网络管理增加了很大难度和负担，不仅严重妨碍网络故障的追踪、定位，干扰对网络安全问题的分析、处理，同时使得计费系统也受到很大的挑战。因此，必须在网络代理服务器处设立必要的网管系统，授权进行网络代理服务，否则难以保障网络安全，在某种程度上讲还难以保证网络资源的合理分配和使用。

同时，从网络安全管理的角度讲，网络代理是必须经授权后按规范进行工作的，但实际上网络中存在着大量的未经授权或者不按规范进行工作的网络代理，这些非法的网络代理行为不仅大大消耗了网络资源，而且影响了网络安全，因此必须对网络中的代理服务行为进行有效的监控。

目前检测网络代理行为主要有两种手段：一是通过端口扫描、流量分析、SESSION分析，二是通过改进的802.1x客户端程序检测。但每种方法各有弊端，都不是一个全局的解决方案。例如，通过端口扫描仅仅对于查找使用了标准服务端口的代理服务器较为有效。如果把代理服务的端口设置为一个特殊的数值(端口取值范围可设在1～65536之间)，通过端口扫描将是一个漫长且无效的过程，同时这种方法以严重影响网络正常运行为代价。而802.1x客户端方式需要解决对旧设备的支持、对不同厂家网络设备混用的统一支持、对新兴的代理服务程序的监控等技术问题。

发明内容

针对上述技术缺陷，本发明提出基于SVM的网络代理行为检测系统及检测方法。

为了解决上述技术问题，本发明的技术方案如下；

基于SVM的网络代理行为检测系统，包括网络数据采集模块、数据预处理模块、SVM学习机、网络行为决策系统；

所述网络数据采集模块从所监控的目标网络段中收集原始的网络数据，并获取少量可以准确标记的样本，该少量可以准确标记的样本在网络代理行为检测前期，进行行为分析实验得到；

所述数据预处理模块从所述网络数据采集模块采集的网络数据进行标记、提取特征信息并将特征信息进行聚类处理，并把特征信息转化为SVM分类器能够处理的维数相同的数字向量，所述特征信息包括网络访问的方式、类型、访问的对象标识、获取结果的类型、数据包附加的特征字；

所述网络行为决策系统包含SVM分类器，所述SVM分类器将所述数据预处理模块处理后的样本进行检测，并将所述少量可以准确标记的样本和未标记样本组成训练样本集，传输给所述SVM学习机进行训练；根据SVM分类器分类的结果作出是否属于网络代理行为的判断；

所述SVM学习机接受所述SVM分类器传输的训练样本集，将训练后的数据再次传输至所述SVM分类器进行检测，反复检测、训练，直到达到未标记样本的最小分类误差。

基于SVM的网络代理行为检测方法，包括如下步骤：

21)在网络代理行为检测前期进行行为分析实验，得到少量可以准确标记的网络数据样本，所述网络数据采集模块从所监控的目标网络段中收集原始的网络数据及少量可以准确标记的网络数据样本；

22)所述数据预处理模块在给定的一个时间段内，按照网络代理行为的特征，从原始采集的网络访问数据中针对数据包，分别提取特征信息，该特征信息包括网络访问的方式、类型、访问的对象标识、获取结果的类型、数据包附加的特征字；将该特征信息进行聚类处理，并把特征信息转化为SVM分类器能够处理的维数相同的数字向量；

23)对行为分析实验采集到的网络数据样本处理时，将网络代理行为的网络数据样本规定为负样本，标记为“-1”，正常的网络数据样本规定为正样本，标记为“+1”；而对非行为分析实验采集到的网络数据样本，规定为未标记样本，标记为“0”；经过数据预处理模块处理后的样本就送往SVM分类器进行检测，将少量正样本和负样本，以及一些未标记样本组成训练样本集，对SVM学习机进行训练；

24)SVM学习机根据指定的惩罚因子C和C^*，利用训练数据中包含的正负标记的网络数据进行归纳式学习，得到一个比较原始的样本分类器；随后，SVM学习机假定训练集中无标记网络数据样本中正负样本的比例为1∶1，并指定一个训练集中无标记样本的临时惩罚因子C^* _temp；SVM学习机用得到的比较原始的样本分类器对训练集中的无标记样本进行重新分类，根据该样本分类器对无标记网络数据记录的判别结果，对无标记网络数据作出正负分类判决，并将判决值较大的一半样本标记为正标记，另外一半样本标记为负标记；

25)用步骤24)得到的经过重新标记的训练集网络数据对SVM学习机进行重新训练，得到新的样本分类器；然后，按一定的规则交换一对标记值不同的训练样本的标记符号，即把起初标记为正样本的未标记样本标记为重新负样本，起初标记为负样本的未标记样本标记为重新正样本，计算目标函数的值，使得目标函数的值获得最大下降；反复执行训练样本标记的变换，直到找不出满足交换条件的样本为止；

26)当SVM终止学习后，用学习得到的最终样本分类器对测试样本进行分类判别，网络代理行为检测决策系统根据最终样本分类器分类的结果作出是否属于网络代理行为的判断。

进一步的，所述步骤22)具体包括如下步骤：

31)用长度为Δt的时间戳窗口在采集得到的网络数据集上滑动得到它的各数据包的特征信息序列，得到的时间戳长度为Δt的数据包的特征信息序列为：

M^Δt＝P₁F₁₁F₁₂…F_1m，P₂F₂₁F₂₂…F_2m，P₃F₃₁F₃₂…F_3m，…，P_nF_n1F_n2…F_nm

通过聚类操作将M^Δt划分成K大类，记为：

其中，

j＝1，2，…，k，P_i，i＝1，2，…，n为数据包序列，F_ij，i＝1，2，…，n，j＝1，2，…，m为对应的特征值信息；采用一个文本转换方法，将M^Δt转换为数字结果，该文本转换方法包括如下步骤：对于聚类后M^Δt中符号类型的特征量采用数字编号后线性归一化处理，对于聚类后M^Δt中数值类型的数据，在处理时采用了将特征值右移10位再

开平方的方法，对于聚类后M^Δt进行数值化以后，聚类结果的方差为：

$S^2\left(M^{\mathrm{ht}}\right)=\frac{1}{k}[{(x_1-\stackrel{\‾}{x})}^2+{(x_2-\stackrel{\‾}{x})}^2+...+{(x_k-\stackrel{\‾}{x})}^2]$

其中，x₁是

数值数后的值，

是M^Δt划分成K大类距离的均值，对上述方差，计算第一个拐点，作为Δt的极值。

进一步的，所述SVM学习机的训练过程包括如下步骤：

41)SVM学习机根据指定的惩罚因子C和C^*，利用训练数据中包含的正负标记的网络数据进行归纳式学习，得到一个比较原始的样本分类器，随后，SVM学习机假定训练集中无标记网络数据样本中正负样本的比例为1∶1，并指定一个训练集中无标记样本的临时惩罚因子C^* _temp；

42)SVM学习机用得到的比较原始的样本分类器对训练集中的无标记样本进行重新分类，根据样本分类器对无标记网络数据记录的判别结果，对无标记数据作出正负分类判决，并将判决值较大的一半样本标记为正标记，另外一半标记为负样本；

43)用得到的经过重新标记的训练集数据对SVM学习机进行重新训练，得到新的样本分类器，然后，按一定的规则交换一对标记值不同的训练样本的标记符号，即把起初标记为正样本的未标记样本中标记为重新负样本，起初标记为负样本的标记为重新正样本，计算目标函数的值，使得目标函数的值获得最大下降，反复执行训练样本标记的变换，直到找不出满足交换条件的样本为止，所述规则为：对线性可分的样本集(x_i，y_i)，i＝1，2，…，n，x_i∈R^d，y_i∈{1，-1}，满足条件：

y_i[(w·x_i)+b]-1≥0                             (a)

且使分类间隔2/||w||²最大的分类面即为最优分类面，利用Lagrange优化方法把最优分类面问题转化为对偶问题，可得最优分类函数为：

f(x)＝sgn[(w·x)+b]＝sgn[∑α^* _iy_i(x_i·x)+b^*]   (b)

其中α^* _i，b^*为最优分类超平面的参数，式(b)中的解只有一部分α^* _i不为0，其对应的样本就是支持向量，在线性不可分的情况下，可在式(a)中增加一个松弛项ξ_i，ξ_i≥0，即：

y_i[(w·x_i)+b]-1+ξ_i≥0                  (c)

将目标改为使

最小，其中C为惩罚因子，折中考虑最少错分样本和最大分类间隔，即得到广义最优分类面；对非线性问题，可以通过非线性变换，转换为某个高维空间中的线性问题，在变换空间求最优分类面。为此，采用径向基函数(RBF)作为核函数，来实现非线性变换后的线性分类，且不增加计算复杂度，此时相应的分类函数为：

f(x)＝sgn[∑α^* _iy_iK(x_i，x)+b^*]          (d)

44)均匀地增加未标记样本的惩罚因子C^* _temp的值，并重新执行步骤(43)，直到C^* _temp≥C时，SVM的学习结束。

本发明的有益效果在于：检测性能方面：由于SVM算法本身对于输入数据的维数的不敏感性，SVM的处理速度不会受到位数的影响，其训练速度以及决策速度是非常快的；同时，使用SVM还可以使得系统具有自学习功能，这是因为随着用于训练的数据的增加，可以不断修正各个参数的值。移植性和稳定性方面：基于SVM的网络代理行为检测系统配置在网络的出口旁路端，容易安装和配置，成本很低，也相对较为容易实现。因为不需要配置在用户的主机系统上，因而对用户主机和网络系统的性能没有影响，并且无需对原来的系统和结构进行改动。并且，网络监听引擎无论对普通网络用户还是对网络代理系统都是透明的，因此，可以避免检测系统对用户系统或授权的网络代理系统造成的干扰。误报率和漏报率方面：网络代理行为的误报率降到3％以下，漏报率降到5％以下。

附图说明

图1为基于SVM的网络代理行为智能检测模型；

图2为网络代理行为智能检测系统在实际中的应用网络结构图。

1、Internet；2、防火墙；3、网络代理智能检测系统；4、出口路由；5、核心交换机；6、汇聚交换机；7、数据库服务器；8、邮件服务器；9、一般交换机；10、代理服务器；11、PC机。

具体实施方式

下面将结合附图和具体实施例对本发明做进一步的说明。

如图2所示，为本发明的在实际中的应用网络结构图，该系统处于防火墙和出口路由之间。

如图1所示，本发明基于SVM的网络代理行为检测系统，主要由数据采集、网络数据预处理、网络代理行为检测决策系统以及决策响应四个模块部分组成，其中网络代理行为检测决策系统中包含了SVM分类器。

1)数据采集

网络数据采集模块主要负责从所监控的目标网络段中收集原始的网络数据。在网络代理行为检测前期，还需要进行行为分析实验以获取少量可以准确标记的样本。这些标记的样本作为SVM学习机的训练集的一部分。

2)数据预处理

通过对网络代理行为的性质分析，可以发现，网络代理行为通常具有以下特征：在相对集中的一个时间段内，具有一定数量的无关联的网络访问通信量。因此，在给定的一个时间段内，按照网络代理行为的特征，对网络访问行为提取特征信息，然后对特征信息进行聚类分析处理，再从相同类的数据中提取特征值，完成检测的预处理工作。

这样，数据预处理模块的任务便包括：(1)从原始采集的网络访问数据中针对数据包，分别提取网络访问的方式、类型、访问的对象标识、获取结果的类型、数据包附加的特征字等特征信息；(2)将特征信息进行聚类处理，并把特征信息转化为SVM分类器能够处理的维数相同的数字向量。

对于第1个问题，具体做法是用长度为Δt的时间戳窗口在访问数据集上滑动来得到它的各数据包的特征信息序列，长度Δt的选取非常关键，如果Δt太小，就丢掉了访问数据包的顺序信息，而长度太大，则不利于处理而且易于混淆正常访问行为和代理访问行为。所以将综合考虑窗口的长度和检测效果，通过对Δt的取值进行实验分析比较，寻找检测效率最好Δt。为此，在本方法首次启动运行时，可以先按照预设时间内(如1分钟)获取的访问数据包数量来作为Δt的初始值；以后则可视对特征信息的聚类结果对Δt作出调整。调整算法详见第2个问题的描述。记窗口长度Δt为n时的数据包的特征信息序列为：

M＝P₁F₁₁F₁₂…F_1m，P₂F₂₁F₂₂…F_2m，P₃F₃₁F₃₂…F_3m，…，P_nF_n1F_n2…F_nm

其中P_i，i＝1，2，…，n为数据包序列。F_ij，i＝1，2，…，n，j＝1，2，…，m为对应的特征值信息。M一共包含n个数据包及其特征信息对。

对于第2个问题，需要通过确定数据之间在预先制定的属性来完成聚类任务，从而将最相似的数据聚类成簇。针对网络代理行为的特点，采用基于密度的网络访问数据聚类方法。基于密度的聚类方法可以发现任意形状的聚类结果。其主要思想是：只要临近区域的密度超过某个阈值，就继续聚类。这样的方法可以用来过滤“噪声”和孤立点数据，发现任意形状的簇。

因此设得到的时间戳长度为Δt的数据包的特征信息序列为：

M^Δt＝P₁F₁₁F₁₂…F_1m，P₂F₂₁F₂₂…F_2m，P₃F₃₁F₃₂…F_3m，…，P_nF_n1F_n2…F_nm

通过聚类操作将M^Δt划分成K大类，记为：

其中，

j＝1，2，…，k。向数字向量的转换需考虑到SVM分类器只能对维数相同的数字向量进行分类。因此，采用了一个文本转换方法，将M^Δt转换为数字结果。这个文本转换方法的核心是：聚类后M^Δt中，包含了2种数据类型：符号类型的数据和数值类型的数据。对于符号类型的特征量采用数字编号后线性归一化处理。而数值类型的数据，由于其特征值的大小之间的跨度比较大，在处理时采用了将特征值右移10位再开平方的方法。这种方法的优点就是既保正了特征值之间的数值差异又降低了主机的计算量，减少了系统资源的消耗。这些数据预处理的方法可以提高系统网络代理行为检测的实时性。数值化以后，聚类结果的方差为： $S^2\left(M^{\mathrm{ht}}\right)=\frac{1}{k}[{(x_1-\stackrel{\‾}{x})}^2+{(x_2-\stackrel{\‾}{x})}^2+...+{(x_k-\stackrel{\‾}{x})}^2].$ 其中，x₁是

数值数后的值，

是M^Δt划分成K大类距离的均值。对上述方差，计算第一个拐点，作为Δt的极值。

在对行为分析实验采集到的样本处理时，将网络代理行为的样本规定为负样本，标记为“-1”，正常的网络数据规定为正样本，标记为“+1”。而对非行为分析实验采集到的网络数据样本规定为未标记样本，标记为“0”。经过数据预处理模块处理后的样本就可以送往SVM分类器进行检测，将少量正样本和负样本，以及一些未标记的网络数据样本组成训练样本集，对SVM学习机进行训练。

3)SVM学习机学习过程和检测决策

在标准的SVM学习机中，需要大量经过标记的数据来训练SVM学习机。但在现实中，要从复杂的网络环境中获得大量正确标记的数据是很困难的，而获取大量未标记的数据却很容易。因此，可以对SVM学习机做些修改，让SVM学习机结合测试样本数据，将大量未标记的数据作用于SVM学习机的学习中。其具体的学习过程如下：

(1)SVM学习机根据指定的惩罚因子C和C^*，利用训练数据中包含的正负标记的网络数据进行归纳式学习，将SVM学习机学习得到数据返回至所述网络代理行为检测决策系统中得到一个比较原始的样本分类器。随后，SVM学习机假定训练集中无标记网络数据样本中正负样本的比例为1∶1，并指定一个训练集中无标记样本的临时惩罚因子C^* _temp。

(2)SVM学习机用得到的比较原始的样本分类器对训练集中的无标记样本进行重新分类，根据样本分类器对无标记网络数据记录的判别结果，对无标记数据作出正负分类判决，并将判决值较大的一半样本标记为正标记，另外一半标记为负样本。

(3)用得到的经过重新标记的训练集数据对SVM学习机进行重新训练，得到新的样本分类器。然后，按一定的规则交换一对标记值不同的训练样本的标记符号，即在未标记样本中把起初标记为正样本的，重新标记为负样本；在未标记样本中把起初标记为负样本的，重新标记为正样本，计算目标函数的值，使得目标函数的值获得最大下降。反复执行上述训练样本标记的变换，直到找不出满足交换条件的样本为止。

该规则的具体步骤如下：对线性可分的样本集(x_i，y_i)，i＝1，2，…，n，x_i∈R^d，y_i∈{1，-1}，分类超平面可描述为：w·x_i+b＝0，式中，向量w为分类超平面的权系数，b是分类阈值。则，满足条件：

y_i[(w·x_i)+b]-1≥0           (1)

且使分类间隔2/||w||²最大的分类面即为最优分类面。求解该问题，得到最优分类函数为：

f(x)＝sgn[(w·x)+b]＝sgn[∑α^* _iy_i(x_i·x)+b^*]  (2)

其中α^* _i，b^*为最优分类超平面的参数，α^* _i为拉氏乘子，式(2)中的解只有一部分α^* _i不为0，拉氏乘子不为零的解向量即为支持向量。在线性不可分的情况下，可在式(1)中增加一个松弛项ξ_i，ξ_i≥0，即：

y_i[(w·x_i)+b]-1+ξ_i≥0          (3)

将目标改为使

最小，其中C为惩罚因子。折中考虑最少错分样本和最大分类间隔，即得到广义最优分类面。

对非线性问题，可以通过非线性变换，转换为某个高维空间中的线性问题，在变换空间求最优分类面。为此，采用径向基函数(RBF)作为核函数来实现非线性变换后的线性分类，这样并不增加计算复杂度，此时相应的分类函数为：

f(x)＝sgn[∑α^* _iy_iK(x_i，x)+b^*]，(4)

其中K(x_i，x)为径向基函数，即高斯核函数：

(4)均匀地增加未标记样本的惩罚因子C^* _temp的值，并重新执行步骤(3)，直到C^* _temp≥C时，SVM的学习结束。

SVM在学习的过程中，结合了大量的未标记网络数据的信息，并反复调整未标记数据对SVM学习机的影响，以追求对无标记样本的最小分类误差。因此，比标准SVM学习机需要更长的学习时间，但是由于结合了测试样本的影响，在对测试样本分类的准确度上也会得到一定程度的提高。当SVM终止学习后，就可以用学习得到的样本分类器对测试样本进行分类判别。网络代理行为检测决策系统根据样本分类器分类的结果作出是否属于网络代理行为的判断。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明构思的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明保护范围内。

Claims (4)

1.基于SVM的网络代理行为检测系统，其特征在于，包括网络数据采集模块、数据预处理模块、SVM学习机、网络行为决策系统；

所述网络数据采集模块从所监控的目标网络段中收集原始的网络数据，并获取少量可以准确标记的样本，该少量可以准确标记的样本在网络代理行为检测前期，进行行为分析实验得到；

所述数据预处理模块从所述网络数据采集模块采集的网络数据进行标记、提取特征信息并将特征信息进行聚类处理，并把特征信息转化为SVM分类器能够处理的维数相同的数字向量，所述特征信息包括网络访问的方式、类型、访问的对象标识、获取结果的类型、数据包附加的特征字；

所述网络行为决策系统包含SVM分类器，所述SVM分类器将所述数据预处理模块处理后的样本进行检测，并将所述少量可以准确标记的样本和未标记样本组成训练样本集，传输给所述SVM学习机进行训练；根据SVM分类器分类的结果作出是否属于网络代理行为的判断；

所述SVM学习机接受所述SVM分类器传输的训练样本集，将训练后的数据再次传输至所述SVM分类器进行检测，反复检测、训练，直到达到未标记样本的最小分类误差。

2.一种利用权利要求1所述系统的检测方法，其特征在于，包括如下步骤：

21)在网络代理行为检测前期进行行为分析实验，得到少量可以准确标记的网络数据样本，所述网络数据采集模块从所监控的目标网络段中收集原始的网络数据及少量可以准确标记的网络数据样本；

22)所述数据预处理模块在给定的一个时间段内，按照网络代理行为的特征，从原始采集的网络访问数据中针对数据包，分别提取特征信息，该特征信息包括网络访问的方式、类型、访问的对象标识、获取结果的类型、数据包附加的特征字；将该特征信息进行聚类处理，并把特征信息转化为SVM分类器能够处理的维数相同的数字向量；

23)对行为分析实验采集到的网络数据样本处理时，将网络代理行为的网络数据样本规定为负样本，标记为“-1”，正常的网络数据样本规定为正样本，标记为“+1”；而对非行为分析实验采集到的网络数据样本，规定为未标记样本，标记为“0”；经过数据预处理模块处理后的样本就送往SVM分类器进行检测，将少量正样本和负样本，以及一些未标记样本组成训练样本集，对SVM学习机进行训练；

24)SVM学习机根据指定的惩罚因子C和C^*，利用训练数据中包含的正负标记的网络数据进行归纳式学习，得到一个比较原始的样本分类器；随后，SVM学习机假定训练集中无标记网络数据样本中正负样本的比例为1∶1，并指定一个训练集中无标记样本的临时惩罚因子C^* _temp；SVM学习机用得到的比较原始的样本分类器对训练集中的无标记样本进行重新分类，根据该样本分类器对无标记网络数据记录的判别结果，对无标记网络数据作出正负分类判决，并将判决值较大的一半样本标记为正标记，另外一半样本标记为负标记；

25)用步骤24)得到的经过重新标记的训练集网络数据对SVM学习机进行重新训练，得到新的样本分类器；然后，按一定的规则交换一对标记值不同的训练样本的标记符号，即把起初标记为正样本的未标记样本标记为重新负样本，起初标记为负样本的未标记样本标记为重新正样本，计算目标函数的值，使得目标函数的值获得最大下降；反复执行训练样本标记的变换，直到找不出满足交换条件的样本为止；

26)当SVM终止学习后，用学习得到的最终样本分类器对测试样本进行分类判别，网络代理行为检测决策系统根据最终样本分类器分类的结果作出是否属于网络代理行为的判断。

3.根据权利要求2所述的方法，其特征在于，所述步骤22)具体包括如下步骤：

31)用长度为Δt的时间戳窗口在采集得到的网络数据集上滑动得到它的各数据包的特征信息序列，得到的时间戳长度为Δt的数据包的特征信息序列为：

M^Δt＝P₁F₁₁F₁₂…F_1m，P₂F₂₁F₂₂…F_2m，P₃F₃₁F₃₂…F_3m，…，P_nF_n1F_n2…F_nm

通过聚类操作将M^Δt划分成K大类，记为：

其中，

j＝1，2，…，k，P_i，i＝1，2，…，n为数据包序列，F_ij，i＝1，2，…，n，j＝1，2，…，m为对应的特征值信息；采用一个文本转换方法，将M^Δt转换为数字结果，该文本转换方法包括如下步骤：对于聚类后M^Δt中符号类型的特征量采用数字编号后线性归一化处理，对于聚类后M^Δt中数值类型的数据，在处理时采用了将特征值右移10位再

开平方的方法，对于聚类后M^Δt进行数值化以后，聚类结果的方差为：

$S^2\left(M^{\mathrm{ht}}\right)=\frac{1}{k}[{(x_1-\stackrel{\‾}{x})}^2+{(x_2-\stackrel{\‾}{x})}^2+...+{(x_k-\stackrel{\‾}{x})}^2]$

其中，x₁是

数值数后的值，

是M^Δt划分成K大类距离的均值，对上述方差，计算第一个拐点，作为Δt的极值。

4.根据权利要求2所述的方法，其特征在于，所述SVM学习机的训练过程包括如下步骤：

41)SVM学习机根据指定的惩罚因子C和C^*，利用训练数据中包含的正负标记的网络数据进行归纳式学习，得到一个比较原始的样本分类器，随后，SVM学习机假定训练集中无标记网络数据样本中正负样本的比例为1∶1，并指定一个训练集中无标记样本的临时惩罚因子C^* _temp；

42)SVM学习机用得到的比较原始的样本分类器对训练集中的无标记样本进行重新分类，根据样本分类器对无标记网络数据记录的判别结果，对无标记数据作出正负分类判决，并将判决值较大的一半样本标记为正标记，另外一半标记为负样本；

43)用得到的经过重新标记的训练集数据对SVM学习机进行重新训练，得到新的样本分类器，然后，按一定的规则交换一对标记值不同的训练样本的标记符号，即把起初标记为正样本的未标记样本中标记为重新负样本，起初标记为负样本的标记为重新正样本，计算目标函数的值，使得目标函数的值获得最大下降，反复执行训练样本标记的变换，直到找不出满足交换条件的样本为止，所述规则为：对线性可分的样本集(x_i，y_i)，i＝1，2，…，n，x_i∈R^d，y_i∈{1，-1}，满足条件：

y_i[(w·x_i)+b]-1≥0                             (a)

且使分类间隔2/||w||²最大的分类面即为最优分类面，利用Lagrange优化方法把最优分类面问题转化为对偶问题，可得最优分类函数为：

f(x)＝sgn[(w·x)+b]＝sgn[∑α^* _iy_i(x_i·x)+b^*]   (b)

其中α^* _i，b^*为最优分类超平面的参数，式(b)中的解只有一部分α^* _i不为0，其对应的样本就是支持向量，在线性不可分的情况下，可在式(a)中增加一个松弛项ξ_i，ξ_i≥0，即：

y_i[(w·x_i)+b]-1+ξ_i≥0                         (c)

将目标改为使

最小，其中C为惩罚因子，折中考虑最少错分样本和最大分类间隔，即得到广义最优分类面；对非线性问题，可以通过非线性变换，转换为某个高维空间中的线性问题，在变换空间求最优分类面，采用径向基函数(RBF)作为核函数来实现非线性变换后的线性分类，且不增加计算复杂度，此时相应的分类函数为：

f(x)＝sgn[∑α^* _iy_iK(x_i，x)+b^*]                 (d)

其中K(x_i，x)为径向基函数，即高斯核函数：

44)均匀地增加未标记样本的惩罚因子C^* _temp的值，并重新执行步骤(43)，直到C^* _temp≥C时，SVM的学习结束。

Images