CN105184220B - 基于gpu的交替霍夫森林实时目标跟踪方法 - Google Patents

Abstract

基于GPU的交替霍夫森林实时目标跟踪方法。1)依据待测试的视频序列，提取训练样本集；2)设定交替霍夫森林中随机树数量和森林最大深度；3)对训练样本赋予不同权值；4)初始化每棵随机树的根节点；5)构建交替霍夫森林；6)在节点分裂时采用分裂策略；7)将交替霍夫森林拷入GPU的纹理内存中；8)手工确定视频中第一帧图像的目标区域和中心，并设定搜索半径；9)在GPU中利用构建好的交替霍夫森林对后续帧进行检测，得到关于目标中心位置的置信图；10)将置信图拷入CPU内存中；11)利用置信图并结合上一帧图像的目标区域和中心确定当前帧中目标的位置；12)重复步骤9和10，直到完成对视频序列中所有帧的目标跟踪。

Description

基于GPU的交替霍夫森林实时目标跟踪方法

技术领域

本发明涉及图像处理，尤其是涉及可用于智能监控、目标跟踪和人机交互等领域的基于GPU的交替霍夫森林实时目标跟踪方法。

背景技术

视觉目标跟踪是计算机视觉领域中的一项重要并且复杂的研究内容，经过多年的研究已成为计算机视觉领域中的研究热点之一。视觉目标跟踪是指对视频序列中的特定目标进行定位并获取其运动参数，然后对其姿态进行估计。目标跟踪在许多领域都具有非常广泛的应用，这些领域包括目标自动检测、目标监控、目标活动分析和人机交互领域等，广泛应用于工厂、学校、交通、医院、银行等场所。智能视频监控系统是以目标跟踪为基础，在获取目标的位置和运动参数之后的根据实际应用需要进行更进一步的事件检测的智能系统。虽然目标跟踪的研究工作在近年来取得了较大的进展，但由于被跟踪目标的运动轨迹的突变、形状变化、尺寸变化、外观变化、背景干扰和光照变化等因素的影响，目标跟踪的研究工作仍然具有相当大的挑战性。大量有关目标跟踪的论文被发表在国际重要期刊和国际重要会议上，这些国际重要期刊包括IEEE Transactions on Pattern Analysis andMachine Intelligence、IEEE Transactions on Image Processing、IEEE Transactionson Medical Imaging、Computer Vision and Image Understanding和PatternRecognition等，国际重要会议包括ICCV、CVPR、ICIP和ECCV等。迄今为止，目标跟踪算法多种多样，已经有许多文献对目标跟踪算法进行了分类。由于分类标准不同，目标跟踪算法的分类结果也不尽相同。现如今比较全面的分类方法是将目标跟踪分为四类：基于区域的目标跟踪、基于特征的目标跟踪、基于模型的目标跟踪和基于变形模板的目标跟踪。

在机器学习算法诸多算法中，随机森林是其中一种性能优越的分类算法。随机森林算法虽然是一个相对简单的学习算法，但是该算法却表现出许多令人满意的优越特性。首先，随机森林具有较快的训练速度和检测速度，算法对噪声有较好的鲁棒性；其次，该算法是天生的多分类算法；第三，随机森林算法还具有并行处理的特性，同时该算法能够很好地处理高维数据。在大量的分类和回归任务中，和其它的机器学习算法相比，比如SVM算法和Boosting算法，随机森林算法都表现出非常优越的特性。随机森林算法广泛应用于计算机视觉领域，应用领域包括目标识别、语义分割、和数据聚类等。因此，对随机森林算法进行深入地研究具有重要的科研意义。

GPU(Graphics Process Unit)在计算机硬件中被称作图形处理器，人们把在GPU上的通用处理称为GPGPU(General-purpuse processing on the GPU)。由于GPU的广泛普及和其计算速度远远优于CPU，GPGPU逐渐成为一个热门的研究领域。在过去几年里，GPU有了突飞猛进的发展，其在浮点计算方面具有非常优越的特性，与当今性能最优越的CPU相比，GPU依然具有计算速度快的优势。GPU具有成千上万个核，这些核的组织结构特别适合并行计算。Grauer-Gray S等指出有许多算法在GPU上的运行速度都优越于其在CPU上的运行速度。现如今许多计算密集型任务已经使CPU不堪重负，如果能将一个巨大的计算任务分解为并行处理的子任务并交给GPU来处理，将在很大程度上提高运算速度，同时也会减轻CPU的计算压力。由于直接在GPU上进行编程需要程序员有一定的硬件基础，程序员必须了解GPU的结构和运行原理，因此给程序员带来了极大的困难。近几年，NVIDIA公司推出了CUDA，程序员可以方便地使用CUDA C语言在GPU上进行编程，这使得大量的并行任务可以在GPU设备端运行，极大地提高了运行速度。在计算机视觉领域还有许多算法无法实现实时处理，因此，采用CUDA编程，将适合并行计算的计算机视觉算法在GPU中快速实现，从而能够满足任务的实时性需要。

中国专利CN104680558A公开一种使用GPU硬件加速的Struck目标跟踪方法，解决了现有技术跟踪性能不高和不具有实时处理能力的问题。步骤：(1)获取灰度图像；(2)判断加载的图像是否为第1帧图像；(3)初始化跟踪目标的位置矩形框；(4)提取灰度图像的所有测试样本的特征；(5)确定跟踪目标的位置矩形框；(6)提取灰度图像的所有训练样本的特征；(7)初始化训练样本的权值和梯度；(8)获得和更新支持样本的权值、梯度；(9)判断是否加载完所有图像；(10)结束目标跟踪。可用在通用计算机上实现对视频中的目标进行实时跟踪。

发明内容

本发明的目的在于针对目标跟踪中存在的光照变化、背景干扰、遮挡和实时性低等问题，提供可实现稳定、鲁棒的实时目标跟踪的一种基于GPU的交替霍夫森林实时目标跟踪方法。

本发明包括如下步骤：

(1)从标准视频库中选取一个待测试的视频序列M(m₁,…,m_N)；

(2)以视频序列M(m₁,…,m_N)为依据，提取训练样本集其中N为样本总数，每个训练样本均包含32个特征通道；

(3)对每个训练样本P_i赋予权值并初始化为

(4)设定交替霍夫森林中随机树的数量为T，森林的最大深度为D；并初始化根节点；

(5)采用广度优先的构建策略构建交替霍夫森林，在构建过程中引入全局损失函数；在每层节点训练完成之后，对训练样本的权值进行更新并最小化全局损失函数；

(6)在节点分裂过程中采用基于Haar-like弱分类器响应的分裂策略；在每次分裂时，均随机从搜索区域中选取两个Haar响应值进行比较；

(7)依据交替霍夫森林的大小在GPU中分配纹理内存，然后分别将交替霍夫森林的分裂节点和叶子节点拷入GPU的纹理内存中；

(8)在目标跟踪的初始阶段，手工确定第一帧图像m₁的目标区域r₁和目标中心o₁，并确定搜索半径r；

(9)对于每一帧待测试的图像m_i(i≥2)，对其进行特征提取，包含K个特征通道，然后计算每个特征通道的积分图，得到测试样本I_i＝(f_i,c_i)；其中c_i为测试样本的未知类别，f_i＝(f_i ¹,f_i ²,...,f_i ^K)为测试样本的积分图特征；

(10)依据特征通道积分图的大小，在GPU中分配纹理内存，并将测试样本I_i拷入GPU纹理内存中；

(11)在I_i中确定搜索区域q_i，q_i为以o_i-1为中心，以2r为边长的正方形区域；

(12)依据搜索区域q_i的大小设置block和grid的宽和高，设置kernel函数的线程配置参数，最大程度的利用GPU的多核多线程特性，并行地对搜索区域中的目标进行检测；

(13)从交替霍夫森林中每棵树的根结点开始，在GPU中对样本I_i进行并行测试；若每个线程负责的分类窗口为P_x(x＝1…G),其中G为测试样本中滑动窗口的总数；T棵树对分类窗口P_x的测试结果为：

其中，p_t(h(c,x,s)|P_x)为第t棵树对分类窗口P_x的预测信息；所有线程依据测试结果F(P_x)并行地在置信图进行霍夫投票，最终得到关于目标中心位置的置信图，其大小同搜索区域q_i相同；

(14)将GPU中关于目标中心位置的置信图拷入CPU中；

(15)在置信图中进行搜索，找到像素值最大的点o_i，作为图像m_i中目标的中心；

(16)依据中心o_i和图像m_i-1中的目标区域r_i-1，确定m_i中的目标区域r_i，即完成对图像m_i中目标的跟踪；

(17)重复步骤(9)～(16)，直到完成对整个视频序列的目标跟踪；

在步骤(2)中，所述提取训练样本集的具体方法可为：

(2a)从给定的包含类别标签的图像中提取只包含目标的区域，即图像的目标区域；

(2b)对图像目标区域进行特征提取，包括Lab特征、HOG特征和LBP特征；

(2c)计算从每个目标区域提取的特征图像的积分图；

(2d)利用随机采样的方式，在积分图像中随机提取M×M的图像块集合{P_i＝(I_i,c_i,d_i)}，P_i为图像块，I_i为积分图的特征，c_i为该图像块的类别，d_i为从目标区域中心到图像块中心的偏移向量。其中I_i＝(I_i ¹,I_i ²,...,I_i ^F)，包含F个不同的特征通道；由于负样本不包含目标，其偏移向量d_i＝0。

在步骤(5)中，所述采用广度优先的策略构建交替霍夫森林的具体方法可为：

(3a)检查第d层的节点是否满足停止分裂准则，若是,停止当前节点的分分裂，并创建叶子节点；否则，执行步骤(3b)；

(3b)依据基于Haar-like弱分类器响应的分裂策略，选择一个最佳分裂；

(3c)采用当前的交替霍夫森林模型对样本进行检测；

(3d)采用当前的预测模型，对训练样本进行分类检测并更新每个样本P_i在第d+1层的权值如下式所示：

依据式(1)更新样本P_i(i＝1…N)权值

在步骤(5)第(3b)部分中，所述基于Haar-like弱分类器响应的分裂策略可采用如下方法进行：

交替霍夫森林的每一个分裂节点上都存储了一个基于Haar-like特征的弱分类器，如下：

其中I为积分图的特征，包含多个特征通道；f为随机选取的通道，r₁和r₂分别为随机在图像块中选取的两个矩形Haar-like响应区域，φ为Haar-like特征计算函数，τ为随机从阈值集合空间中选取的一个阈值，假定训练样本集S＝{P_i＝(I_i,c_i,d_i)},则所采用的第一个目标函数定义为：

其中，O₁(S)为样本集S熵，|S|为样本集S中的样本数；p(c|S)为c类样本的先验概率分布；C为样本集S中样本类别的集合；第二个目标函数为关于偏移向量的函数定义为：

其中，d和d'为训练样本的偏移向量；为第c类样本集，为第c类样本集中的样本数；最小化目标函数O₁和O₂的过程，就是降低分裂结果不确定性的过程；

对训练样本赋予权值后，为了在选择最佳弱分类器时引入样本权值，将式中的先验概率计算方式重新定义如下：

若当前节点上的正样本数大于5，依据式(2)、(3)、(5)或者依据式(2)、(4)选取最佳弱分类器，并将当前节点分裂为两个子节点；否则依据式(2)、(3)、(5)选取最佳弱分类器，并将当前节点分裂为两个子节。

与现有的技术相比，本发明有如下优点：

1、本发明采用基于Haar-like弱分类器响应的交替霍夫森林算法来进行目标跟踪，采用广度优先的构建策略构建交替霍夫森林，引入全局损失函数并对训练样本赋予权值，随着森林地生长不断更新样本权值并最小化全局损失函数，提高了目标跟踪的精确性。传统霍夫森林在节点分裂时，分裂函数随机选取两个像素点作为图像的特征；本发明则采用图像的Haar-l ike特征，能够获得像素点的邻域信息，从而有效地排除了噪声点的干扰，提高了算法的鲁棒性。

2、本发明在目标跟踪阶段，利用CUDA的双层并行模型，在GPU端对搜索区域图像进行并行处理，使得目标跟踪的速度得到了很大地提高，最终实现了实时目标跟踪。

附图说明

图1是Animal视频序列的目标跟踪误差曲线图；

图2是CPU和GPU处理单帧图像的时间及GPU/CPU加速比图。

具体实施方式

本发明的具体实施步骤如下：

步骤1，获取训练样本集。

(1a)从标准视频库中选取一个待测试的视频序列M(m₁,…,m_N)。

(1b)以视频序列M为依据，提取训练样本集其中N为样本总数，每个训练样本均包含32个特征通道。

(1b1)从给定的包含类别标签的图像中提取只包含目标的区域，即图像的目标区域；

(1b2)对图像目标区域进行特征提取，包括Lab特征、HOG特征和LBP特征，共包含32个特征通道；

(1b3)计算从每个目标区域提取的特征图像的积分图；

(1b4)利用随机采样的方式，在积分图像中随机提取16×16的图像块集合{P_i＝(I_i,c_i,d_i)}，P_i为图像块，I_i为积分图的特征，c_i为该图像块的类别，d_i为从目标区域中心到图像块中心的偏移向量。其中I_i＝(I_i ¹,I_i ²,...,I_i ^F)，包含F个不同的特征通道；由于负样本不包含目标，其偏移向量d_i＝0。

(1b5)对每个训练样本P_i赋予权值并初始化为

步骤2，设定交替霍夫森林中随机树的数量为T＝50，森林的最大深度为D＝20；并初始化根节点。

步骤3，采用广度优先的构建策略构建交替霍夫森林，在构建过程中引入全局损失函数；在每层节点训练完成之后，对训练样本的权值进行更新并最小化全局损失函数。

(3a)检查第d层的节点是否满足停止分裂准则，若是,停止当前节点的分分裂，并创建叶子节点；否则，执行步骤(3b)；

(3b)依据基于Haar-like弱分类器响应的分裂策略，随机在训练样本中选取两个Haar响应值，并在2000次循环中选择一个最佳分裂，确定最佳的分裂函数的参数；

(3b1)随机在选取的Haar-like响应区域中选取m(2≤m≤4)个矩形区域,；

(3b2)以m的值为依据并采用指数函数，随机为每个矩形区域分配一个权值λ_i(i＝1…m)；

(3b3)利用积分图，采用快速计算矩形区域像素和的方法计算每个矩形区域中的像素和s_i(i＝1…m)；

(3b4)采用加权求和方式计算Haar-like特征，

(3b5)将两个Haar响应值的差与随机选取的阈值进行比较，以决定当前样本走向左子节点或者右子节点，直到所有满足分裂条件的节点分裂完毕；

(3c)采用当前的交替霍夫森林模型对样本进行检测；

(3d)采用当前的预测模型，对训练样本进行分类检测并更新每个样本P_i在第d+1层的权值依据公式

更新样本P_i(i＝1…N)权值对样本权值的更新过程就是最小化全局损失函数的过程。

(3e)直到所有节点满足分裂终止准则，包括：森林的最大深度、节点包含的最小样本数，至此交替霍夫森林训练完毕；

步骤4，将构建好的交替霍夫森林拷入GPU的纹理内存中。

(4a)在GPU中分配三维的纹理内存空间，采用cudaMemcpy()函数将交替霍夫森林的分裂节点拷入纹理内存中

(4b)在GPU中再次分配三维的纹理内存空间，将叶子节点拷入纹理内存中。

步骤5，在目标跟踪的初始阶段，手工确定第一帧图像m₁的目标区域r₁和目标中心o₁，并确定搜索半径r。

步骤6，对于每一帧待测试的图像m_i(i≥2)，对其进行特征提取，包含K个特征通道，然后计算每个特征通道的积分图，得到测试样本I_i＝(f_i,c_i)；其中c_i为测试样本的未知类别，f_i＝(f_i ¹,f_i ²,...,f_i ^K)为测试样本的积分图特征；

步骤7，依据特征通道积分图的大小，在GPU中分配纹理内存，并将测试样本I_i拷入GPU纹理内存中。

步骤8，在I_i中确定搜索区域q_i，q_i为以o_i-1为中心，以2r为边长的正方形区域；

步骤9，依据搜索区域q_i的大小设置block和grid的宽和高，设置kernel函数的线程配置参数，最大程度的利用GPU的多核多线程特性，并行地对搜索区域中的目标进行检测。

(9a)block设置为bw×bh，其中bw＝16为block的宽，bh＝8为block的高，则每个block包含128个线程，gird的大小依据搜索区域的大小来确定，若搜索区域的大小为w×h，grid的大小为gw×gh，其中w，h分别为搜索区域的宽和高，gw，gh分别为gird的宽和高；则gw和gh的计算公式分别为：

(9b)从交替霍夫森林中每棵树的根结点开始，在GPU中对样本I_i进行并行测试。若每个线程负责的分类窗口为P_x(x＝1…G),其中G为测试样本中滑动窗口的总数。T棵树对分类窗口P_x的测试结果为：

其中，p_t(h(c,x,s)|P_x)为第t棵树对分类窗口P_x的预测信息。所有线程依据测试结果F(P_x)并行地在置信图进行霍夫投票,最终得到关于目标中心位置的置信图，其大小同搜索区域q_i相同。

步骤10，将GPU中关于目标中心位置的置信图拷入CPU中。

步骤11，在置信图中进行搜索，找到像素值最大的点o_i，作为图像m_i中目标的中心。

步骤12，依据中心o_i和图像m_i-1中的目标区域r_i-1，确定m_i中的目标区域r_i，即完成对图像m_i中目标的跟踪。

步骤13，重复步骤(6)～(12)，直到完成对整个视频序列的目标跟踪。

以下给出结果与分析：

1、实验条件

本发明实验实验在一台具有64位Win7操作系统的Amax工作站上进行，该工作站内存为48G，具有两个处理器，均为Interl Xeon E5645，每个处理器主频为2.4GHz，包含24个核心。此Amax工作站使用的GPU显卡为Tesla C2075，计算能力为2.x。

2、实验结果

图1为Animal视频序列目标跟踪的误差曲线图。其中跟踪结果分别与当前主流的目标跟踪算法做对比，这些主流跟踪算法包括Frag、L1、PCA和HF算法。在该序列中，每帧图像大小为704×400。该视频序列中存在运动模糊、相似目标干扰和快速运动问题。在第6帧中Frag、L1、HF算法出现了目标丢失，PCA算法出现了目标漂移；第14帧中L1算法出现目标丢失，其它主流算法均存在不同程度的目标漂移；在第29帧中，PCA算法和L1算法出现严重的目标丢失。由于运动模糊和相似目标干扰，在第41帧中，除了本发明，其它算法均发生目标丢失；第53帧中，只有本发明和HF算法能够跟踪目标；在第60帧中，除了本发明、HF算法和PN算法，其它算法均丢失目标。由该误差曲线图可知，除了本发明能够稳定跟踪到目标外，其他算法均存在较大的目标漂移，有的甚至出现目标丢失。因此可得出如下结论：本发明算法能够很好的处理运动模糊、外观变化和目标快速运动等问题。

图2表示CPU和GPU处理单帧图像所需的平均时间及加速比，其中浅绿色直方图和紫红色直方图分别表示CPU和GPU处理视频序列中的单帧图像花费的平均时间；橙色折线表示在不同搜索半径下，所获得的CPU/GPU时间加速比。由图2可知：CPU/GPU运行时间加速比随着搜索半径的增加而降低。加速比下降的原因为：在GPU上进行目标跟踪需要将搜索区域图像拷入GPU显存中，GPU处理完之后再将置信图拷入CPU内存中；搜索区域越大，在CPU内存和GPU显存之间进行交换时所花费的时间就越多，导致加速比下降。通过图2可以得出，本发明能够提高目标跟踪的速度，获得较高的时间加速比，最终本发明实现了实时目标跟踪。

本发明主要解决了目标跟踪过程中遇到的遮挡、光照变化、运动模糊和背景干扰等问题，并利用GPU的多核特性实现了实时目标跟踪。

Claims (4)

1.基于GPU的交替霍夫森林实时目标跟踪方法，其特征在于包括如下步骤：

(1)从标准视频库中选取一个待测试的视频序列M(m₁,…,m_N)；

(2)以视频序列M(m₁,…,m_N)为依据，提取训练样本集其中N为样本总数，每个训练样本均包含32个特征通道；

(3)对每个训练样本P_i赋予权值并初始化为

(4)设定交替霍夫森林中随机树的数量为T，森林的最大深度为D；并初始化根节点；

(5)采用广度优先的构建策略构建交替霍夫森林，在构建过程中引入全局损失函数；在每层节点训练完成之后，对训练样本的权值进行更新并最小化全局损失函数；

(6)在节点分裂过程中采用基于Haar-like弱分类器响应的分裂策略；在每次分裂时，均随机从搜索区域中选取两个Haar响应值进行比较；

(7)依据交替霍夫森林的大小在GPU中分配纹理内存，然后分别将交替霍夫森林的分裂节点和叶子节点拷入GPU的纹理内存中；

(8)在目标跟踪的初始阶段，手工确定第一帧图像m₁的目标区域r₁和目标中心o₁，并确定搜索半径r；

(9)对于每一帧待测试的图像m_i，其中，i≥2，对其进行特征提取，包含K个特征通道，然后计算每个特征通道的积分图，得到测试样本I_i＝(f_i,c_i)；其中c_i为测试样本的未知类别，f_i＝(f_i ¹,f_i ²,...,f_i ^K)为测试样本的积分图特征；

(10)依据特征通道积分图的大小，在GPU中分配纹理内存，并将测试样本I_i拷入GPU纹理内存中；

(11)在I_i中确定搜索区域q_i，q_i为以o_i-1为中心，以2r为边长的正方形区域；

(12)依据搜索区域q_i的大小设置block和grid的宽和高，设置kernel函数的线程配置参数，最大程度的利用GPU的多核多线程特性，并行地对搜索区域中的目标进行检测；

(13)从交替霍夫森林中每棵树的根结点开始，在GPU中对样本I_i进行并行测试；若每个线程负责的分类窗口为P_X，其中，x＝1,…,G,其中G为测试样本中滑动窗口的总数；T棵树对分类窗口P_x的测试结果为：

其中，p_t(h(c,x,s)|P_x)为第t棵树对分类窗口P_x的预测信息；所有线程依据测试结果F(P_x)并行地在置信图进行霍夫投票，最终得到关于目标中心位置的置信图，其大小同搜索区域q_i相同；

(14)将GPU中关于目标中心位置的置信图拷入CPU中；

(15)在置信图中进行搜索，找到像素值最大的点o_i，作为图像m_i中目标的中心；

(16)依据中心o_i和图像m_i-1中的目标区域r_i-1，确定m_i中的目标区域r_i，即完成对图像m_i中目标的跟踪；

(17)重复步骤(9)～(16)，直到完成对整个视频序列的目标跟踪。

2.如权利要求1所述基于GPU的交替霍夫森林实时目标跟踪方法，其特征在于在步骤(2)中，所述提取训练样本集的具体方法为：

(2a)从给定的包含类别标签的图像中提取只包含目标的区域，即图像的目标区域；

(2b)对图像目标区域进行特征提取，包括Lab特征、HOG特征和LBP特征；

(2c)计算从每个目标区域提取的特征图像的积分图；

(2d)利用随机采样的方式，在积分图像中随机提取M×M的图像块集合{P_i＝(I_i,c_i,d_i)}，P_i为图像块，I_i为积分图的特征，c_i为该图像块的类别，d_i为从目标区域中心到图像块中心的偏移向量，其中I_i＝(I_i ¹,I_i ²,...,I_i ^F)，包含F个不同的特征通道；由于负样本不包含目标，其偏移向量d_i＝0。

3.如权利要求1所述基于GPU的交替霍夫森林实时目标跟踪方法，其特征在于在步骤(5)中，所述采用广度优先的策略构建交替霍夫森林的具体方法为：

(3a)检查第d层的节点是否满足停止分裂准则，若是,停止当前节点的分分裂，并创建叶子节点；否则，执行步骤(3b)；

(3b)依据基于Haar-like弱分类器响应的分裂策略，选择一个最佳分裂；

(3c)采用当前的交替霍夫森林模型对样本进行检测；

(3d)采用当前的预测模型，对训练样本进行分类检测并更新每个样本P_i在第d+1层的权值如下式所示：

依据式(1)更新样本P_i的权值其中，i＝1,…,N。

4.如权利要求3所述基于GPU的交替霍夫森林实时目标跟踪方法，其特征在于在步骤(5)第(3b)部分中，所述基于Haar-like弱分类器响应的分裂策略采用如下方法进行：

交替霍夫森林的每一个分裂节点上都存储了一个基于Haar-like特征的弱分类器，如下：

其中I为积分图的特征，包含多个特征通道；f为随机选取的通道，r₁和r₂分别为随机在图像块中选取的两个矩形Haar-like响应区域，φ为Haar-like特征计算函数，τ为随机从阈值集合空间中选取的一个阈值，假定训练样本集S＝{P_i＝(I_i,c_i,d_i)},则所采用的第一个目标函数定义为：

其中，O₁(S)为样本集S熵，|S|为样本集S中的样本数；p(c|S)为c类样本的先验概率分布；C为样本集S中样本类别的集合；第二个目标函数为关于偏移向量的函数定义为：

其中，d和d'为训练样本的偏移向量；为第c类样本集，为第c类样本集中的样本数；最小化目标函数O₁和O₂的过程，就是降低分裂结果不确定性的过程；

对训练样本赋予权值后，为了在选择最佳弱分类器时引入样本权值，将式中的先验概率计算方式重新定义如下：

若当前节点上的正样本数大于5，依据式(2)、(3)、(5)或者依据式(2)、(4)选取最佳弱分类器，并将当前节点分裂为两个子节点；否则依据式(2)、(3)、(5)选取最佳弱分类器，并将当前节点分裂为两个子节。