CN103246897A - 一种基于AdaBoost的弱分类器内部结构调整方法 - Google Patents

Abstract

本发明公开了一种基于AdaBoost的弱分类器内部结构调整方法，首先是训练弱分类器，通过加权训练样本决定训练的弱分类器的融合权重，每个弱分类器对输入样本输出一个弱假设，所有弱分类器组成一个强分类器并输出最终结果；其次是内部结构调整、最佳弱分类器参数选择和调整验证，然后利用遗传算法来解决最优化问题，最后是训练样本重新加权，根据训练样本的错误率高低来重新确定样本的权重。本发明在场景分类问题上有非常好的表现，分辨率高，误判率低。

Description

一种基于AdaBoost的弱分类器内部结构调整方法

技术领域

本发明属于目标检测技术领域，特别是一种基于AdaBoost的弱分类器内部结构调整方法。

背景技术

目标的检测识别方法很多，大致可分为基于区域的模板匹配检测方法和基于特征的匹配检测方法。基于区域的图像模板匹配能利用目标图像中的所有信息，对目标对象的识别能力强、精度高，但对旋转和缩放(非本质变化)目标图像的识别能力较差。图像特征匹配具有稳定性好、易于实现、匹配效率高、对图像的旋转和缩放小敏感、抗噪性能好等特点，但是计算量大，检测效果与选取的特征直接相关。

Boosting方法是由Freund和Schapire在1990年提出的(1. SchapireR E. The Strength of Weak Learnability[J]. Machine Leaming,1990,5(2): 197-227.)，是提高预测学习系统的预测能力的有效工具之一，它试图提供一种提升学习算法精度的普遍方法。随后，Freund 提出了一种效率更高的Boosting 算法(2. Freund Y.Boosting a weak Learning Algorithm by Majority[J]. Information and Computation 1995，121(2): 256-285.)。1995年，Freund和Schapire提出了AdaBoost算法(3. Freund Y., Schapire R. E.. A Decision-Theoretic Generalization of On-Line Learning and an Application to Boosting[J]. Journal of Computer and System Sciences,1995, 55(1): 119-139 .),AdaBoost算法是Boosting家族的代表算法，它本身是通过改变数据分布来实现的。它根据每轮训练中每个样本的分类是否正确，以及上轮的总体分类准确率，来确定每个样本的权值。将每次训练得到的弱分类器融合起来，作为最后的决策分类器。AdaBoost算法提出后在机器学习领域受到了极大的关注，实验结果显示无论是应用于人造数据还是真实数据，AdaBoost都能显著提高学习精度。该类方法虽然实时性较好, 识别率高且误识别率低, 但是该类方法训练样本时,一旦选择好弱分类器，弱分类器内部结构就不再变化，无法减小性能差（正确率低、误检率高）的弱分类器对最终检测的影响，且训练样本非常大时，训练弱分类器所需时间过长。

发明内容

本发明的目的在于提供一种基于AdaBoost的弱分类器内部结构调整方法，从而减小性能差的弱分类器对最终检测的影响，提高场景分类的正确率和降低误检率。

实现本发明目的的技术解决方案为：一种基于AdaBoost的弱分类器内部结构调整方法，包括以下步骤：

步骤一：训练弱分类器，通过加权训练样本决定训练的弱分类器的融合权重，每个弱分类器对输入样本输出一个弱假设，所有弱分类器组成一个强分类器并输出最终结果；

步骤二：对弱分类器进行内部结构调整，每个弱分类器的调整是由一个调整向量β和一个偏移向量η决定的，它们的维数都是1×N维，N为多级弱分类器的数目，按 $h_t(x,y)={\mathrm{\β}}_t^y(R_t^y\left(x\right)-{\mathrm{\η}}_t^y),y\∈Y=\{1,...,N\}$ 进行调整；

步骤三：对内部结构调整后的弱分类器进行最佳参数选择，利用遗传算法来选取最佳参数；

步骤四：调整过的弱分类器进行验证，即满足一个设定的阈值，具体为对于m个样本，调整验证计算方式如下：

，q=1,…,M

其中

是弱分类器对于m个样本的分类表现，

${\mathrm{\θ}}_q=\{{\mathrm{\θ}}_q^0,{\mathrm{\θ}}_q^1,...,{\mathrm{\θ}}_q^K\}$ ，

 代表未经内部结构调， ${\mathrm{\&theta;}}_q^0=<{\mathrm{\&eta;}}_q^0,{\mathrm{\&beta;}}_q^0>;{\mathrm{\&eta;}}_q^0=0,{\mathrm{\&beta;}}_q^0=1$ ；

代表调整过的弱分类器对m个样本的分类表现，其中：

${\mathrm{\&theta;}}_q^{*}=<{\mathrm{\&eta;}}_q^{*},{\mathrm{\&beta;}}_q^{*}>=\arg \underset{{\mathrm{\&theta;}}_q}{\max }f\left({\mathrm{\&theta;}}_q\right)$

其中f(θ_q) 是加权向量样本正确分辨率，

$f\left({\mathrm{\&theta;}}_q\right)=\frac{1}{m}\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}\left[h_q(x_i,y_i)\right]$

其中i=1,…,m，M为强分类器个数，m为训练样本集中样本数量；

如果

不成立，那么使用步骤一训练后的弱分类器；

步骤五：训练样本重新加权，使用训练样本测试调整过的弱分类器，根据步骤一再次确定样本的权值，并计算每个强分类器的输出，最后将M个强分类器串联得到最终的级联分类器。

本发明与现有技术相比，其显著优点：（1）调整弱分类器内部结构，可以减少Adaboost算法中性能差的弱分类器对最终结果的影响。（2）选择内部结构调整的最佳参数时使用了遗传算法，遗传算法适用于处理传统搜索方法难于解决的复杂的非线性问题，更加强调了群体中个体之间的信息交互性。（3）调整验证确保了调整过的弱分类器对最终的场景分类做出贡献。（4）不受弱分类器类型影响，在相同的测试条件下，本发明的分辨正确率高于AdaBoost。下表给出了AdaBoost算法（传统方法）和本发明方法对场景分类的分辨率，从表中可以看出，在相同的测试条件下，本算法的分辨正确率高于AdaBoost。

表一 AdaBoost算法和本发明的方法对场景的分辨率

样本个数	训练所用弱分类器个数	AdaBoost算法(%)	本发明(%)
				300	20	65.72	75.06
500	40	75.29	81.29
				800	50	76.01	83.56
1000	50	75.44	84.14

下面结合附图对本发明作进一步详细描述。

附图说明

图1是本发明基于AdaBoost的弱分类器内部结构调整方法的流程示意图。

图2是弱分类器训练流程图。

图3是基于AdaBoost的弱分类器内部结构调整方法展开图。

图4是本发明采用的遗传算法流程图。

具体实施方式

结合图1，本发明基于AdaBoost的弱分类器内部结构调整方法，步骤如下：

步骤一：训练弱分类器，通过加权训练样本决定训练的弱分类器的融合权重，每个弱分类器对输入样本输出一个弱假设，所有弱分类器组成一个强分类器并输出最终结果。 弱分类器训练的步骤为：首先，给定训练数据集D={(x₁,y₁),(x₂,y₂),…,(x_m,y_m)} x_i∈X,y_i∈={1,…,k}，其中X代表样本空间，Y代表类别标签，m为样本数量，k 为类别数量。

其次，给所有的训练样本赋予相同的权值，第t轮(t为当前迭代轮数)迭代过程中的权值分布为D_t，在训练数据集和初始权值分布D_t下训练，可得到一个弱假设h_t:X→Y，X 代表样本空间，Y 代表类别标签。

然后使用训练数据测试h_t，计算h_t的错误率ε_t=ΣD_t(i)[h_t(x_i)≠y_i]  (1)，如果ε_t＞1/2 ，则T=t-1 ，退出循环；令α_t=ε_t/(1-ε_t) (2)为h_t的权重，根据公式 $D_{t+1}\left(i\right)=\frac{D_t\left(i\right)}{Z_t}\&CenterDot;\left\{\begin{array}{c}{\mathrm{\&alpha;}}_t,h_t\left(x_i\right)=y_i\\ 1,h_t\left(x_i\right)\&NotEqual;y_i\end{array}\right.$  (3)更新样本权值，其中

 (4)为归一化因子，由此得到更新过的权值分布D_t+1。由训练数据和D_t+1继续进行分类，直到迭代达到设定的次数T，得到训练好的弱分类器，所有弱分类器组成一个强分类器，其输出结果为：

$H\left(X\right)=\arg \underset{y\&Element;Y}{\max }\underset{t:h_t\left(x\right)=y}{\mathrm{\&Sigma;}}{\log }_2\frac{1}{{\mathrm{\&alpha;}}_t}$ 。

结合图2，弱分类器训练的具体步骤：

输入：训练集D={(x₁,y₁),(x₂,y₂),…,(x_m,y_m)} x_i∈X,y_i∈={1,…,k}；

X代表样本空间，t代表类别标签，m为样本数量，k为类别数量。

基础学习器L;训练循环轮数T；

初始化D₁(i)=1/m ，第一次迭代时每个样本的权值都为1/m ；

for t = 1 to T(训练次数从第一轮到设定的第T轮)

在D_t 下训练，得到弱假设h_t ；

计算h_t的错误率：

${\mathrm{\&epsiv;}}_t=\mathrm{\&Sigma;}{D}_t\left(i\right)[h_t\left(x_i\right)\&NotEqual;y_i]---\left(1\right)$

如果ε_t＞1/2 ，则T=t-1 ，退出循环；

设h_t的权重：

${\mathrm{\&alpha;}}_t={\mathrm{\&epsiv;}}_t/(1-{\mathrm{\&epsiv;}}_t)---\left(2\right)$

更新样本权值：

$D_{t+1}\left(i\right)=\frac{D_t\left(i\right)}{Z_t}\&CenterDot;\left\{\begin{array}{c}{\mathrm{\&alpha;}}_t,h_t\left(x_i\right)=y_i\\ 1,h_t\left(x_i\right)\&NotEqual;y_i\end{array}\right.---\left(3\right)$

其中

$Z_t=\underset{t}{\mathrm{\&Sigma;}}{D}_t\left(i\right)\exp (-{\mathrm{\&alpha;}}_t{y}_i{h}_t\left(x_i\right))---\left(4\right)$

为归一化因子；

循环结束

输出最终假设：

$H\left(X\right)=\arg \underset{y\&Element;Y}{\max }\underset{t:h_t\left(x\right)=y}{\mathrm{\&Sigma;}}{\log }_2\frac{1}{{\mathrm{\&alpha;}}_t}---\left(5\right)$

结合图3，步骤二：对弱分类器进行内部结构调整，每个弱分类器的调整是由一个调整向量β和一个偏移向量η决定的，它们的维数都是1×N维，N为多级弱分类器的数目，按 $h_t(x,y)={\mathrm{\&beta;}}_t^y(R_t^y\left(x\right)-{\mathrm{\&eta;}}_t^y),y\&Element;Y=\{1,...,N\}$ 进行调整。

最终的分类器由M个强分类器级联组成，每个强分类器由N个弱分类器组成。

代表第q级强分类器对输入样本的响应向量，代表第q级强分类器(q=1,…,M)中相对应的第k级弱分类器(k=1,…,N)对输入样本的响应，C_k((k=1,…,N))代表每个强分类器中的第k级弱分类器，内部结构调整向量

，最佳偏移向量

，假设h_t(x,y)是第t级(t=1,…,M)内部结构调整过的弱分类器的分类，则

$h_t(x,y)={\mathrm{\&beta;}}_t^y(R_t^y\left(x\right)-{\mathrm{\&eta;}}_t^y),y\&Element;Y=\{1,...,N\}---\left(6\right)$

由N个弱分类器组成的强分类器的输出为

$H\left(x\right)=\arg \underset{y\&Element;Y}{\max }\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_t\&times;h_t(x,y)=\arg \underset{y\&Element;Y}{\max }\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_t\&times;\left[{\mathrm{\&beta;}}_t^y(R_t^y\left(x\right)-{\mathrm{\&eta;}}_t^y)\right]---\left(7\right)$

其中Y={1,…,N} 。

步骤三：对内部结构调整后的弱分类器进行最佳参数选择，利用遗传算法来选取最佳参数。设定调整向量β的范围为[0.8,1.2]，偏移向量η的范围为[-0.2,0.2]。

结合图4，遗传算法具体实现步骤如下：

(1)  初始化遗传算法参数。交叉概率P_c=0.8，变异概率P_m=0.05，群体大小P_s=400，最大迭代次数I_m=50000，最小误差变化E_m=10^-6，初始进化种群代数t=1。

(2) 生成P_s个体，并编码成染色体。

(3) 根据方程 $\mathrm{fit}\left(k\right)=\frac{1}{m}\underset{k=1}{\overset{m}{\mathrm{\&Sigma;}}}\left[h_q(x_k,y_k)\right],q=1,...,M,k=1,...,m$  (8)计算每个染色体的适应度，其中θ_q=<η_q,β_q>为内部结构调整参数，M为强分类器个数，m为训练样本集中样本数量，fit(k)为第k个染色体的适应度，适应度最大的个体对应内部结构调整的最佳参数。

(4) 更新gen=gen+1 ；根据适应度选择P_s染色体到下一代。每个染色体被选择的概率计算如下：

  (9)，其中P(k)和fit(k)分别代表第k个染色体被选择的概率和适应度。

(5) 通过遗传选择(交叉概率P_c和变异概率P_m )生成新的P_s个体。

(6) 如果gen 小于I_m 且相邻两代之间的变化大于E_m ，重复步骤(3)到(5)。

(7) 选择拥有最高适应度的染色体作为最终的输出

 。

步骤四：对调整过的弱分类器进行验证，即满足一个设定的阈值，具体是对于m个样本，调整验证计算方式如下：  

      (10)，

其中

是弱分类器对于m个样本的分类表现，

${\mathrm{\&theta;}}_q=\{{\mathrm{\&theta;}}_q^0,{\mathrm{\&theta;}}_q^1,...,{\mathrm{\&theta;}}_q^K\}$ ，

 代表未经内部结构调， ${\mathrm{\&theta;}}_q^0=<{\mathrm{\&eta;}}_q^0,{\mathrm{\&beta;}}_q^0>;{\mathrm{\&eta;}}_q^0=0,{\mathrm{\&beta;}}_q^0=1$ 。

代表调整过的弱分类器对m个样本的分类表现，其中：

${\mathrm{\&theta;}}_q^{*}=<{\mathrm{\&eta;}}_q^{*},{\mathrm{\&beta;}}_q^{*}>=\arg \underset{{\mathrm{\&theta;}}_q}{\max }f\left({\mathrm{\&theta;}}_q\right)---\left(12\right),$

其中f(θ_q) 是加权向量样本正确分辨率，

$f\left({\mathrm{\&theta;}}_q\right)=\frac{1}{m}\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}\left[h_q(x_i,y_i)\right]---\left(13\right),$

其中q=1,…,M,i=1,…,m，M为强分类器个数，m为训练样本集中样本数量。

如果不成立，那么使用步骤一训练后的弱分类器。

步骤五：训练样本重新加权。使用训练样本测试调整过的弱分类器，根据步骤一（公式(1)~(4) ）再次确定样本的权值，并根据公式(5)计算每个强分类器的输出，最后将M个强分类器串联得到最终的级联分类器。

Claims (4)

1.一种基于AdaBoost的弱分类器内部结构调整方法，其特征在于包括以下步骤：

步骤一：训练弱分类器，通过加权训练样本决定训练的弱分类器的融合权重，每个弱分类器对输入样本输出一个弱假设，所有弱分类器组成一个强分类器并输出最终结果；

步骤二：对弱分类器进行内部结构调整，每个弱分类器的调整是由一个调整向量β和一个偏移向量η决定的，它们的维数都是1×N维，N为多级弱分类器的数目，按 $h_t(x,y)={\mathrm{\&beta;}}_t^y(R_t^y\left(x\right)-{\mathrm{\&eta;}}_t^y),y\&Element;Y=\{1,...,N\}$ 进行调整；

步骤三：对内部结构调整后的弱分类器进行最佳参数选择，利用遗传算法来选取最佳参数；

步骤四：调整过的弱分类器进行验证，即满足一个设定的阈值，具体为对于m个样本，调整验证计算方式如下：

，q=1,…,M

其中是弱分类器对于m个样本的分类表现，

${\mathrm{\&theta;}}_q=\{{\mathrm{\&theta;}}_q^0,{\mathrm{\&theta;}}_q^1,...,{\mathrm{\&theta;}}_q^K\}$ ， 代表未经内部结构调， ${\mathrm{\&theta;}}_q^0=<{\mathrm{\&eta;}}_q^0,{\mathrm{\&beta;}}_q^0>;{\mathrm{\&eta;}}_q^0=0,{\mathrm{\&beta;}}_q^0=1$ ；

代表调整过的弱分类器对m个样本的分类表现，其中：

${\mathrm{\&theta;}}_q^{*}=<{\mathrm{\&eta;}}_q^{*},{\mathrm{\&beta;}}_q^{*}>=\arg \underset{{\mathrm{\&theta;}}_q}{\max }f\left({\mathrm{\&theta;}}_q\right)$

其中f(θ_q) 是加权向量样本正确分辨率，

$f\left({\mathrm{\&theta;}}_q\right)=\frac{1}{m}\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}\left[h_q(x_i,y_i)\right]$

其中i=1,…,m，M为强分类器个数，m为训练样本集中样本数量；

如果

不成立，那么使用步骤一训练后的弱分类器；

步骤五：训练样本重新加权，使用训练样本测试调整过的弱分类器，根据步骤一再次确定样本的权值，并计算每个强分类器的输出，最后将M个强分类器串联得到最终的级联分类器。

2.根据权利要求1所述的基于AdaBoost的弱分类器内部结构调整方法，特征在于步骤一中，弱分类器训练的步骤为：

首先，给定训练数据集D={(x₁,y₁),(x₂,y₂),…,(x_m,y_m)} x_i∈X,y_i∈={1,…,k}，X代表样本空间，Y代表类别标签，m为样本数量，k 为类别数量；

其次，给所有的训练样本赋予相同的权值，第t轮迭代过程中的权值分布为D_t，初始化权值D₁(i)=1/m ，第一次迭代时每个样本的权值都为1/m ；在训练数据集和初始权值D₁(i)下训练，得到一个弱假设h_t:X→Y，X 代表样本空间，Y 代表类别标签，t为当前迭代轮数；

然后使用训练数据测试h_t，计算h_t的错误率ε_t=ΣD_t(i)[h_t(x_i)≠y_i]  ，如果ε_t＞1/2 ，则T=t-1 ，退出循环；设h_t的权重为：α_t=ε_t/(1-ε_t)，根据公式 $D_{t+1}\left(i\right)=\frac{D_t\left(i\right)}{Z_t}\&CenterDot;\left\{\begin{array}{c}{\mathrm{\&alpha;}}_t,h_t\left(x_i\right)=y_i\\ 1,h_t\left(x_i\right)\&NotEqual;y_i\end{array}\right.$ 更新样本权值，其中

为归一化因子，由此得到更新过的权值分布D_t+1，由训练数据和D_t+1继续进行分类，直到迭代达到设定的次数T，得到训练好的弱分类器，所有弱分类器组成一个强分类器，其输出结果为：

$H\left(X\right)=\arg \underset{y\&Element;Y}{\max }\underset{t:h_t\left(x\right)=y}{\mathrm{\&Sigma;}}{\log }_2\frac{1}{{\mathrm{\&alpha;}}_t}$

3.根据权利要求1所述的基于AdaBoost的弱分类器内部结构调整方法，特征在于步骤二中的内部结构调整方法为：

最终的分类器由M个强分类器级联组成，每个强分类器由N个弱分类器组成，

代表第q级强分类器对输入样本的响应向量，

代表第q级强分类器中相对应的第k级弱分类器对输入样本的响应，其中，q=1,…,M，k=1,…,N，C_k代表每个强分类器中的第k级弱分类器，内部结构调整向量

，最佳偏移向量

，假设h_t(x,y)是第t 级内部结构调整过的弱分类器的分类，t=1,…,M，则

$h_t(x,y)={\mathrm{\&beta;}}_t^y(R_t^y\left(x\right)-{\mathrm{\&eta;}}_t^y),y\&Element;Y=\{1,...,N\}$

由N个弱分类器组成的强分类器的输出为

$H\left(x\right)=\arg \underset{y\&Element;Y}{\max }\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_t\&times;h_t(x,y)=\arg \underset{y\&Element;Y}{\max }\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_t\&times;\left[{\mathrm{\&beta;}}_t^y(R_t^y\left(x\right)-{\mathrm{\&eta;}}_t^y)\right]$

其中Y={1,…,N} 。

4.根据权利要求1所述的基于AdaBoost的弱分类器内部结构调整方法，特征在于步骤三中利用遗传算法来选取最佳参数，设定调整向量β的范围为[0.8,1.2]，偏移向量η的范围为[-0.2,0.2]，具体实现步骤如下：

(1)  初始化遗传算法参数，交叉概率P_c=0.8，变异概率P_m=0.05，群体大小P_s=400，最大迭代次数I_m=50000，最小误差变化E_m=10^-6，初始进化种群代数t=1；

(2) 生成P_s个体，并编码成染色体；

(3) 根据方程 $\mathrm{fit}\left(k\right)=\frac{1}{m}\underset{k=1}{\overset{m}{\mathrm{\&Sigma;}}}\left[h_q(x_k,y_k)\right],q=1,...,M,k=1,...,m$ 计算每个染色体的适应度，其中θ_q=<η_q,β_q>为内部结构调整参数，M为强分类器个数，m为训练样本集中样本数量，fit(k)为第k个染色体的适应度，适应度最大的个体对应内部结构调整的最佳参数；

(4) 更新gen=gen+1 ；根据适应度选择P_s染色体到下一代；每个染色体被选择的概率计算如下：

，其中P(k)和fit(k)分别代表第k个染色体被选择的概率和适应度；

(5) 通过遗传选择交叉概率P_c和变异概率P_m ，生成新的P_s个体；

(6) 如果gen 小于I_m 且相邻两代之间的变化大于E_m ，重复步骤(3)到(5)；

(7) 选择拥有最高适应度的染色体作为最终的输出

 。

Images