CN111191702A - 基于模糊型弱分类器的AdaBoost分类方法 - Google Patents

Abstract

本发明公开了一种基于模糊型弱分类器的AdaBoost分类方法，其通过提取多幅图像中的所有LBP特征构建一个训练样本，并给定训练样本对应的样本分类标签矩阵；利用模糊推理对弱分类器进行寻优以获取最佳模糊型弱分类器；通过计算最佳模糊型弱分类器的权重，加权到最佳模糊型弱分类器构成强分类器；当构成的强分类器中的每个分类标记与样本分类标签矩阵中的每个分类标签对应相同时，确定构成的强分类器为最佳强分类器，反之通过计算寻找下一个最佳模糊型弱分类器时的权值向量，再迭代寻优；优点是其在面对复杂的数据集的情况下仍具有很好的分类效果，在有噪声干扰的条件下具有更好的抗噪能力。

Description

基于模糊型弱分类器的AdaBoost分类方法

技术领域

本发明涉及一种AdaBoost分类技术，尤其是涉及一种基于模糊型弱分类器的AdaBoost分类方法。

背景技术

近年来，人工智能技术发展日益成熟，人脸检测问题是其中的一个研究热点，在几十年的研究过程中，许多研究者提出了有效的人脸检测方法。在众多的人脸检测方法中，AdaBoost以其较高的检测速度已成为应用最广泛的方法。

AdaBoost由Freund率先提出，是众多Boosting变形中最流行的一种，其核心思想是训练大量分类能力较弱的弱分类器，其中每个弱分类器的输出值限定在{-1,+1}，通过加权组合的方式构造出分类能力较强的强分类器。然而，AdaBoost分类算法存在面对复杂样本集时训练复杂度高、分类精度不够，面对具有噪声的训练集时抗噪能力差等问题。针对上述问题对经典的AdaBoost分类算法进行改进，提出了Real AdaBoost、Gentle AdaBoost和LogitBoost。

Real AdaBoost由Schapire提出，将经典的AdaBoost处理离散二值判定规则推广到处理具有连续置信度输出的弱分类器，即值域为实数域，从而能够更精确地刻画分类边界。Gentle AdaBoost则改动了迭代过程中错误样本权重的调整方法，较少的强调难以分类的样本，提高了分类器的泛化能力。LogitBoost由Frieman等提出，采用负对数似然损失函数，由于LogitBoost非常关注错判样本，因此使其能够发现离群值或是错误信息的样本，但在数据集缺失较多或是数据误差较大的情况下，预测效果并不好。上述这些改进算法相较于经典的AdaBoost分类算法在分类精度上面有所提升，但是在抗噪性能方面还存在一定问题。

发明内容

本发明所要解决的技术问题是提供一种基于模糊型弱分类器的AdaBoost分类方法，其在面对复杂的数据集的情况下仍具有很好的分类效果，在有噪声干扰的条件下具有更好的抗噪能力。

本发明解决上述技术问题所采用的技术方案为：一种基于模糊型弱分类器的AdaBoost分类方法，其特征在于包括以下步骤：

步骤1：选取一个包含N幅图像的图像集；然后提取图像集中的每幅图像中的所有LBP特征，每幅图像有M个LBP特征，图像集中的所有图像中相同位置的LBP特征为同一类LBP特征；接着以同一类LBP特征作为训练样本中的一个特征，以同一类LBP特征中的N个LBP特征作为训练样本中的一个特征中的N个特征值构建一个训练样本，以矩阵形式记为Y，

其中，Y的维数为N×M，Y中的每列为一个特征，Y中的每列中的每个元素的值为一个特征值，M为正整数，M表示图像集中的每幅图像中的LBP特征的总个数，也即表示Y中包含的特征的总个数，M＞1，m为正整数，m的初始值为1，1≤m≤M，N为正整数，N表示图像集中包含的图像的总幅数，也即表示Y中的每个特征中包含的特征值的总个数，N＞1，n为正整数，n的初始值为1，1≤n≤N，y_1,1、y_n,1、y_N,1对应表示Y中的第1个特征中的第1个特征值、第n个特征值、第N个特征值，y_1,m、y_n,m、y_N,m对应表示Y中的第m个特征中的第1个特征值、第n个特征值、第N个特征值，y_1,M、y_n,M、y_N,M对应表示Y中的第M个特征中的第1个特征值、第n个特征值、第N个特征值；

并给定Y对应的样本分类标签矩阵，记为G，G＝(g₁ … g_n … g_N)^T；其中，G的维数为N×1，()^T表示向量或矩阵的转置，g₁表示Y中的第1行特征值(y_1,1 … y_1,m … y_1,M)对应的分类标签，g_n表示Y中的第n行特征值(y_n,1 … y_n,m … y_n,M)对应的分类标签，g_N表示Y中的第N行特征值(y_N,1 … y_N,m … y_N,M)对应的分类标签，g₁、g_n和g_N的取值为1或-1；

令k表示该AdaBoost分类方法中构成最佳强分类器的最佳模糊型弱分类器的个数，k为正整数，k的初始值为1；

步骤2：利用模糊推理对弱分类器进行寻优以获取第k个最佳模糊型弱分类器，其中，获取第k个最佳模糊型弱分类器的具体过程为：

步骤2_1：选取Y中的第j个特征，即(y_1,j … y_n,j … y_N,j)^T；然后提取出Y中的第j个特征中的最小特征值和最大特征值，对应记为Z_min,j和Z_max,j；其中，j为正整数，j的初始值为1，j∈[1,M]，y_1,j、y_n,j、y_N,j对应表示Y中的第j个特征中的第1个特征值、第n个特征值、第N个特征值；

步骤2_2：制定模糊规则：将区间[Z_min,j,Z_max,j]平均分成num个子区间，共有num-1个子区间划分点，所有子区间的宽度即相邻两个子区间划分点之间的间距均为W_j，

然后将每个子区间划分点作为中心，生成每个子区间划分点对应的5个具有不同带宽的高斯函数，将第q个子区间划分点对应的第b个高斯函数记为

共得到5×(num-1)个高斯函数；再将每个高斯函数定义为一条模糊规则，共有5×(num-1)条模糊规则；其中，num为正整数，num∈[2,50]，q为正整数，q的初始值为1，1≤q≤num-1，b为正整数，b的初始值为1，b＝1,2,3,4,5，e为自然基数，x为高斯函数中的自变量，取值为全体实数，c_q表示第q个子区间划分点对应的5个具有不同带宽的高斯函数的中心，即为第q个子区间划分点，c_q＝Z_min,j+q×W_j，u_b表示

的带宽，u₁＝0.2，u₂＝0.4，u₃＝0.6，u₄＝0.8，u₅＝1；

步骤2_3：从5×(num-1)条模糊规则中选取第r条模糊规则，记为

然后对Y中的第j个特征中的每个特征值进行高斯模糊化处理，得到Y中的第j个特征中的每个特征值对应的高斯函数，将Y中的第j个特征中的第t个特征值y_t,j对应的高斯函数记为Φ_t,j，

再计算

与Y中的第j个特征中的每个特征值的适配度，将

与y_t,j的适配度记为ω_r,t,j，ω_r,t,j的获取过程为：确定

与Φ_t,j之间有无相交点，若两者之间无相交点，则令ω_r,t,j＝0；若两者之间有一个相交点，则通过计算

得到自变量的值，从几何角度看，自变量的值即为相交点的横坐标，把自变量的值代入到

或Φ_t,j中得到函数值，将函数值赋值给ω_r,t,j；若两者之间有两个相交点，则通过计算

得到自变量的两个值，从几何角度看，自变量的两个值即为两个相交点的横坐标，把自变量的两个值代入到

或Φ_t,j中得到对应的函数值，将两个函数值中的最大值赋值给ω_r,t,j；之后将

与Y中的第j个特征中的所有特征值的适配度构成

模糊规则下Y中的第j个特征的适配度向量，记为ω_r,j，ω_r,j＝(ω_r,1,j…ω_r,t,j…ω_r,N,j)^T；其中，r为正整数，r的初始值为1，1≤r≤5×(num-1)，t为正整数，t的初始值为1，1≤t≤N，U表示对Y中的第j个特征中的每个特征值进行高斯模糊化处理的带宽，U＝1，ω_r,1,j表示

与Y中的第j个特征中的第1个特征值y_1,j的适配度，ω_r,N,j表示

与Y中的第j个特征中的第N个特征值y_N,j的适配度；

步骤2_4：令r＝r+1，然后返回步骤2_3继续执行，直至5×(num-1)条模糊规则均处理完毕，得到每条模糊规则下Y中的第j个特征的适配度向量；其中，r＝r+1中的“＝”为赋值符号；

步骤2_5：令P表示分类方向，P的取值为1或-1；然后在不同分类方向下计算每条模糊规则下Y中的第j个特征的分类标记向量，将P＝1时

模糊规则下Y中的第j个特征的分类标记向量记为H1_r,j，将P＝-1时

模糊规则下Y中的第j个特征的分类标记向量记为H2_r,j，H1_r,j＝(h1_r,1,j…h1_r,t,j…h1_r,N,j)^T，H2_r,j＝(h2_r,1,j…h2_r,t,j…h2_r,N,j)^T；其中，h1_r,1,j、h1_r,t,j、h1_r,N,j对应表示P＝1时

模糊规则下Y中的第j个特征中的第1个特征值的分类标记、第t个特征值的分类标记、第N个特征值的分类标记，

h2_r,1,j、h2_r,t,j、h2_r,N,j对应表示P＝-1时

模糊规则下Y中的第j个特征中的第1个特征值的分类标记、第t个特征值的分类标记、第N个特征值的分类标记，

th1为设定的阈值，th1∈[0.2,0.45]；

步骤2_6：令Weight^(k)表示寻找第k个最佳模糊型弱分类器时在不同分类方向下每条模糊规则下Y中的第j个特征的分类标记向量对应的权值向量，

然后计算每条模糊规则下Y中的第j个特征的错误率，将

模糊规则下Y中的第j个特征的错误率记为E_r,j，E_r,j的获取过程为：按序对H1_r,j中的每个分类标记与G中的每个分类标签进行一一对应比较，然后根据Weight^(k)计算H1_r,j中与G中值不相同的所有分类标记对应的权值之和；并按序对H2_r,j中的每个分类标记与G中的每个分类标签进行一一对应比较，然后根据Weight^(k)计算H2_r,j中与G中值不相同的所有分类标记对应的权值之和；将两个权值之和中的最小值作为E_r,j；再从所有模糊规则下Y中的第j个特征的错误率中找出最小值，记为E_min,j；其中，k为正整数，k的初始值为1，

表示h1_r,1,j和h2_r,1,j对应的权值，

表示h1_r,t,j和h2_r,t,j对应的权值，

表示h1_r,N,j和h2_r,N,j对应的权值，当k＝1时

步骤2_7：令j＝j+1，然后返回步骤2_1继续执行，直至Y中的所有特征处理完毕，得到{E_min,j|1≤j≤M}；其中，j＝j+1中的“＝”为赋值符号；

步骤2_8：从{E_min,j|1≤j≤M}中找出最小值，记为

将

作为第k个最佳模糊型弱分类器的最小错误率；然后将

对应的特征的编号作为最佳特征编号，记为

并将

对应的模糊规则作为最佳模糊规则，记为

将

对应的分类标记向量作为最佳分类标记向量，记为

将

对应的分类方向作为最佳分类方向，记为

步骤3：计算第k个最佳模糊型弱分类器的权重，记为α^(k)，

然后计算第k个最佳模糊型弱分类器构成的强分类器，记为

其中，

的维数为N×1，sign()为符号函数，k'为正整数，k'的初始值为1，1≤k'≤k，α^(k')表示第k'个最佳模糊型弱分类器的权重，

表示第k'个最佳模糊型弱分类器对应的分类标记向量，

步骤4：按序对

中的每个分类标记与G中的每个分类标签进行一一对应比较，若全部相同，则将

确定为最佳强分类器，并结束迭代过程；若存在不相同，则执行步骤5；

步骤5：计算寻找第k+1个最佳模糊型弱分类器时的权值向量，记为Weight^(k+1)，

然后令k＝k+1，再返回步骤2继续执行；其中，

表示寻找第k+1个最佳模糊型弱分类器时h1_r,1,j和h2_r,1,j对应的权值，

表示寻找第k+1个最佳模糊型弱分类器时h1_r,t,j和h2_r,t,j对应的权值，

表示寻找第k+1个最佳模糊型弱分类器时h1_r,N,j和h2_r,N,j对应的权值，

g_t表示G中的第t个分类标签，

对应表示

中的第1个分类标记、第t个分类标记、第N个分类标记，k＝k+1中的“＝”为赋值符号。

与现有技术相比，本发明的优点在于：

1)本发明方法针对经典的AdaBoost分类方法中的弱分类器分类能力过弱，面对复杂的特征值分布时，弱分类器的性能不能满足强分类器的收敛要求的问题，采用模糊推理寻找最佳模糊型弱分类器，将模糊型弱分类器来代替经典弱分类器，通过适配度来表示属于1和属于-1的程度代替了原始的属于1或不属于1和属于-1或不属于-1，使弱分类器更加灵活，最佳模糊型弱分类器具备良好的分类能力，面对复杂的特征值分布也能很好地进行分类，具有更强的鲁棒性。

2)在模糊推理中，特征值是否属于正样本还是负样本是没有严格的界限的，需要根据该特征值与模糊规则的关系来确定，本发明方法将离散特征值进行高斯模糊化后与模糊规则进行运算，计算得到两个高斯函数的相交点的自变量的值，将自变量的值代入到某个高斯函数中得到函数值，将较大的那个函数值作为适配度，设置一个阈值，通过适配度与阈值的比较来辨别这个特征值属于正样本还是负样本，使得本发明方法在有噪声干扰的情况下具有更好的抗噪能力。

附图说明

图1为本发明方法采用模糊推理寻找最佳模糊型弱分类器的流程框图；

图2为本发明方法构成最佳强分类器的流程框图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本发明提出的一种基于模糊型弱分类器的AdaBoost分类方法，其包括以下步骤：

步骤1：选取一个包含N幅图像的图像集；然后提取图像集中的每幅图像中的所有LBP特征，每幅图像有M个LBP特征，图像集中的所有图像中相同位置的LBP特征为同一类LBP特征；接着以同一类LBP特征作为训练样本中的一个特征，以同一类LBP特征中的N个LBP特征作为训练样本中的一个特征中的N个特征值构建一个训练样本，以矩阵形式记为Y，

其中，Y的维数为N×M，Y中的每列为一个特征，Y中的每列中的每个元素的值为一个特征值，M为正整数，M表示图像集中的每幅图像中的LBP特征的总个数，也即表示Y中包含的特征的总个数，M＞1，m为正整数，m的初始值为1，1≤m≤M，N为正整数，N表示图像集中包含的图像的总幅数，也即表示Y中的每个特征中包含的特征值的总个数，N＞1，n为正整数，n的初始值为1，1≤n≤N，y_1,1、y_n,1、y_N,1对应表示Y中的第1个特征中的第1个特征值、第n个特征值、第N个特征值，y_1,m、y_n,m、y_N,m对应表示Y中的第m个特征中的第1个特征值、第n个特征值、第N个特征值，y_1,M、y_n,M、y_N,M对应表示Y中的第M个特征中的第1个特征值、第n个特征值、第N个特征值。

并给定Y对应的样本分类标签矩阵，记为G，G＝(g₁ … g_n … g_N)^T；其中，G的维数为N×1，()^T表示向量或矩阵的转置，g₁表示Y中的第1行特征值(y_1,1 … y_1,m … y_1,M)对应的分类标签，g_n表示Y中的第n行特征值(y_n,1 … y_n,m … y_n,M)对应的分类标签，g_N表示Y中的第N行特征值(y_N,1 … y_N,m … y_N,M)对应的分类标签，g₁、g_n和g_N的取值为1或-1。

令k表示该AdaBoost分类方法中构成最佳强分类器的最佳模糊型弱分类器的个数，k为正整数，k的初始值为1。

在此，选取比较权威且常用的MIT-CBCL面部数据库的训练集作为图像集，该数据库中的图像是尺寸为19×19的灰度格式的图像，包括2429幅面孔图像和4548幅非面孔图像，共6977幅图像。提取每幅图像中的所有LBP特征，LBP是以像素点为基础，在像素值为3×3的窗口大小内部，将窗口中心像素点的像素值作为判定界限，窗口内其他剩余位置大于判定界限的像素值的位置标记为1，反之标记为0，通过比较大小可以得到一个8位0与1组合成的二进制数，这个值即为中心位置的LBP值。通过该窗口对图像遍历，就可以得到完整图像的LBP值。根据3×3的窗口对每幅图像遍历，每幅图像提取17×17＝289个LBP特征，所有图像上相同位置的LBP特征代表同一类LBP特征。故一共有289个不同的LBP特征，每个不相同的LBP特征下包含了6977个特征数，即N＝6977，M＝289。

步骤2：如图1所示，利用模糊推理对弱分类器进行寻优以获取第k个最佳模糊型弱分类器，其中，获取第k个最佳模糊型弱分类器的具体过程为：

步骤2_1：选取Y中的第j个特征，即(y_1,j … y_n,j … y_N,j)^T；然后提取出Y中的第j个特征中的最小特征值和最大特征值，对应记为Z_min,j和Z_max,j；其中，j为正整数，j的初始值为1，j∈[1,M]，y_1,j、y_n,j、y_N,j对应表示Y中的第j个特征中的第1个特征值、第n个特征值、第N个特征值。

步骤2_2：制定模糊规则：将区间[Z_min,j,Z_max,j]平均分成num个子区间，共有num-1个子区间划分点，所有子区间的宽度即相邻两个子区间划分点之间的间距均为W_j，

然后将每个子区间划分点作为中心，生成每个子区间划分点对应的5个具有不同带宽的高斯函数，将第q个子区间划分点对应的第b个高斯函数记为

共得到5×(num-1)个高斯函数；再将每个高斯函数定义为一条模糊规则，共有5×(num-1)条模糊规则；其中，num为正整数，num∈[2,50]，在本实施例中取num＝16，q为正整数，q的初始值为1，1≤q≤num-1，b为正整数，b的初始值为1，b＝1,2,3,4,5，e为自然基数，x为高斯函数中的自变量，取值为全体实数，c_q表示第q个子区间划分点对应的5个具有不同带宽的高斯函数的中心，即为第q个子区间划分点，c_q＝Z_min,j+q×W_j，u_b表示

的带宽，u₁＝0.2，u₂＝0.4，u₃＝0.6，u₄＝0.8，u₅＝1。

步骤2_3：从5×(num-1)条模糊规则中选取第r条模糊规则，记为

然后对Y中的第j个特征中的每个特征值进行高斯模糊化处理，得到Y中的第j个特征中的每个特征值对应的高斯函数，将Y中的第j个特征中的第t个特征值y_t,j对应的高斯函数记为Φ_t,j，

再计算

与Y中的第j个特征中的每个特征值的适配度，将

与y_t,j的适配度记为ω_r,t,j，ω_r,t,j的获取过程为：确定

与Φ_t,j之间有无相交点，若两者之间无相交点，则令ω_r,t,j＝0；若两者之间有一个相交点，则通过计算

得到自变量的值，从几何角度看，自变量的值即为相交点的横坐标，把自变量的值代入到

或Φ_t,j中得到函数值，将函数值赋值给ω_r,t,j；若两者之间有两个相交点，则通过计算

得到自变量的两个值，从几何角度看，自变量的两个值即为两个相交点的横坐标，把自变量的两个值代入到

或Φ_t,j中得到对应的函数值，将两个函数值中的最大值赋值给ω_r,t,j；之后将

与Y中的第j个特征中的所有特征值的适配度构成

模糊规则下Y中的第j个特征的适配度向量，记为ω_r,j，ω_r,j＝(ω_r,1,j…ω_r,t,j…ω_r,N,j)^T；其中，r为正整数，r的初始值为1，1≤r≤5×(num-1)，t为正整数，t的初始值为1，1≤t≤N，U表示对Y中的第j个特征中的每个特征值进行高斯模糊化处理的带宽，U＝1，ω_r,1,j表示

与Y中的第j个特征中的第1个特征值y_1,j的适配度，ω_r,N,j表示

与Y中的第j个特征中的第N个特征值y_N,j的适配度。

步骤2_4：令r＝r+1，然后返回步骤2_3继续执行，直至5×(num-1)条模糊规则均处理完毕，得到每条模糊规则下Y中的第j个特征的适配度向量；其中，r＝r+1中的“＝”为赋值符号。

步骤2_5：令P表示分类方向，P的取值为1或-1；然后在不同分类方向下计算每条模糊规则下Y中的第j个特征的分类标记向量，将P＝1时

模糊规则下Y中的第j个特征的分类标记向量记为H1_r,j，将P＝-1时

模糊规则下Y中的第j个特征的分类标记向量记为H2_r,j，H1_r,j＝(h1_r,1,j…h1_r,t,j…h1_r,N,j)^T，H2_r,j＝(h2_r,1,j…h2_r,t,j…h2_r,N,j)^T；其中，h1_r,1,j、h1_r,t,j、h1_r,N,j对应表示P＝1时

模糊规则下Y中的第j个特征中的第1个特征值的分类标记、第t个特征值的分类标记、第N个特征值的分类标记，

h2_r,1,j、h2_r,t,j、h2_r,N,j对应表示P＝-1时

模糊规则下Y中的第j个特征中的第1个特征值的分类标记、第t个特征值的分类标记、第N个特征值的分类标记，

th1为设定的阈值，th1∈[0.2,0.45]，在本实施例中取th1＝0.38。

步骤2_6：令Weight^(k)表示寻找第k个最佳模糊型弱分类器时在不同分类方向下每条模糊规则下Y中的第j个特征的分类标记向量对应的权值向量，

然后计算每条模糊规则下Y中的第j个特征的错误率，将

模糊规则下Y中的第j个特征的错误率记为E_r,j，E_r,j的获取过程为：按序对H1_r,j中的每个分类标记与G中的每个分类标签进行一一对应比较，然后根据Weight^(k)计算H1_r,j中与G中值不相同的所有分类标记对应的权值之和；并按序对H2_r,j中的每个分类标记与G中的每个分类标签进行一一对应比较，然后根据Weight^(k)计算H2_r,j中与G中值不相同的所有分类标记对应的权值之和；将两个权值之和中的最小值作为E_r,j；再从所有模糊规则下Y中的第j个特征的错误率即{E_r,j|1≤r≤5×(num-1)}中找出最小值，记为E_min,j；其中，k为正整数，k的初始值为1，

表示h1_r,1,j和h2_r,1,j对应的权值，

表示h1_r,t,j和h2_r,t,j对应的权值，

表示h1_r,N,j和h2_r,N,j对应的权值，当k＝1时

步骤2_7：令j＝j+1，然后返回步骤2_1继续执行，直至Y中的所有特征处理完毕，得到{E_min,j|1≤j≤M}；其中，j＝j+1中的“＝”为赋值符号。

步骤2_8：从{E_min,j|1≤j≤M}中找出最小值，记为

将

作为第k个最佳模糊型弱分类器的最小错误率；然后将

对应的特征的编号作为最佳特征编号，记为

并将

对应的模糊规则作为最佳模糊规则，记为

将

对应的分类标记向量作为最佳分类标记向量，记为

将

对应的分类方向作为最佳分类方向，记为

步骤3：如图2所示，计算第k个最佳模糊型弱分类器的权重，记为α^(k)，

然后计算第k个最佳模糊型弱分类器构成的强分类器，记为

其中，

的维数为N×1，sign()为符号函数，k'为正整数，k'的初始值为1，1≤k'≤k，α^(k')表示第k'个最佳模糊型弱分类器的权重，

表示第k'个最佳模糊型弱分类器对应的分类标记向量，

步骤4：按序对

中的每个分类标记与G中的每个分类标签进行一一对应比较，若全部相同，则将

确定为最佳强分类器，并结束迭代过程；若存在不相同，则执行步骤5。

步骤5：计算寻找第k+1个最佳模糊型弱分类器时的权值向量，记为Weight^(k+1)，

然后令k＝k+1，再返回步骤2继续执行；其中，

表示寻找第k+1个最佳模糊型弱分类器时h1_r,1,j和h2_r,1,j对应的权值，

表示寻找第k+1个最佳模糊型弱分类器时h1_r,t,j和h2_r,t,j对应的权值，

表示寻找第k+1个最佳模糊型弱分类器时h1_r,N,j和h2_r,N,j对应的权值，

g_t表示G中的第t个分类标签，

对应表示

中的第1个分类标记、第t个分类标记、第N个分类标记，k＝k+1中的“＝”为赋值符号。

为验证本发明方法的性能，以具体的数据进行验证。

步骤1：令

即N＝5，M＝3；令G＝(1 1 -1 -1 -1)^T。

步骤2：利用模糊推理对弱分类器进行寻优以获取第k个最佳模糊型弱分类器，其中，获取第k个最佳模糊型弱分类器的具体过程为：

步骤2_1：选取Y中的第1个特征，即(1 2 6 4 2)^T；然后提取出Y中的第1个特征中的最小特征值和最大特征值，即Z_min,1＝1，Z_max,1＝6。

步骤2_2：制定模糊规则：将区间[1,6]平均分成3(取num＝3)个子区间，共有2个子区间划分点，所有子区间的宽度即相邻两个子区间划分点之间的间距均为W₁，

然后将每个子区间划分点作为中心，生成每个子区间划分点对应的5个具有不同带宽的高斯函数，将第q个子区间划分点对应的第b个高斯函数记为

共得到5×(num-1)＝5×2＝10个高斯函数；再将每个高斯函数定义为一条模糊规则，共有10条模糊规则；其中，1≤q≤2，b＝1,2,3,4,5，

所以

u₁＝0.2，u₂＝0.4，u₃＝0.6，u₄＝0.8，u₅＝1，得到的10条模糊规则分别为

步骤2_3：从10条模糊规则中选取第1条模糊规则，记为

然后对Y中的第1个特征中的每个特征值进行高斯模糊化处理，得到Y中的第1个特征中的每个特征值对应的高斯函数，将Y中的第1个特征中的第t个特征值y_t,1对应的高斯函数记为Φ_t,1，

其中，第1个特征中的5个特征值按序对应为y_1,1＝1、y_2,1＝2、y_3,1＝6、y_4,1＝4、y_5,1＝2，5个特征值对应的高斯函数分别为

再计算

与Y中的第1个特征中的每个特征值的适配度，将

与y_t,j的适配度记为ω_1,t,1，以第1条模糊规则与第1个特征值为例求适配度ω_1,1,1的过程为：确定

与Φ_1,1之间有两个交点，则计算当

时，即

时求得自变量x的值为

和

把自变量x的值代入

或Φ_1,1其中一个高斯函数中得到两个对应的函数值为0.381和0.114，将两个函数值中的最大值赋值给适配度ω_1,1,1，得到ω_1,1,1＝0.381，根据上述过程求得第1条模糊规则下与Y中的第1个特征中的所有特征值的适配度为ω_1,1,1＝0.381、ω_1,2,1＝0.857、ω_1,3,1＝0.021、ω_1,4,1＝0.539、ω_1,5,1＝0.857；之后将

与Y中的第1个特征中的所有特征值的适配度构成

模糊规则下Y中的第1个特征的适配度向量，记为ω_1,1，ω_1,1＝(0.381 0.857 0.021 0.539 0.857)^T，其中，U＝1。

步骤2_4：令r＝r+1，然后返回步骤2_3继续执行，直至10条模糊规则均处理完毕，得到每条模糊规则下Y中的第1个特征的适配度向量，即ω_1,1＝(0.381 0.857 0.021 0.5390.857)^T、ω_2,1＝(0.492 0.893 0.059 0.635 0.893)^T、ω_3,1＝(0.581 0.917 0.114 0.7070.917)^T、ω_4,1＝(0.651 0.934 0.180 0.760 0.934)^T、ω_5,1＝(0 0 0 0 0)^T、ω_6,1＝(0.0210.151 0.381 0.962 0.151)^T、ω_7,1＝(0.059 0.249 0.492 0.972 0.249)^T、ω_8,1＝(0.1140.345 0.581 0.979 0.345)^T、ω_9,1＝(0.180 0.432 0.651 0.983 0.432)^T、ω_10,1＝(0 0 00 0)^T。

步骤2_5：令P表示分类方向，P的取值为1或-1；然后在不同分类方向下计算每条模糊规则下Y中的第1个特征的分类标记向量，将P＝1时

模糊规则下Y中的第1个特征的分类标记向量记为H1_r,1，将P＝-1时

模糊规则下Y中的第1个特征的分类标记向量记为H2_r,1。以模糊规则

与Y中第1个特征为例，已知模糊规则

下Y中的第1个特征的适配度向量为ω_1,1，ω_1,1＝(0.381 0.857 0.021 0.539 0.857)^T，th1为设定的阈值，th1＝0.38，当分类方向P＝1时，将小于阈值的适配度记为1，反之，将大于阈值的适配度记为-1，得到

模糊规则下Y中的第1个特征的分类标记向量记为H1_1,1，H1_1,1＝(-1 -1 1 -1 -1)^T；当分类方向P＝-1时，将小于阈值的适配度记为-1，反之，将大于阈值的适配度记为1，得到

模糊规则下Y中的第1个特征的分类标记向量记为H2_1,1，H2_1,1＝(1 1 -1 1 1)^T；以此类推，得到不同分类方向下每条模糊规则下Y中的第1个特征的分类标记向量。

步骤2_6：令Weight⁽¹⁾表示寻找第k＝1个最佳模糊型弱分类器时在不同分类方向下每条模糊规则下Y中的第1个特征的分类标记向量对应的权值向量，

然后计算每条模糊规则下Y中的第1个特征中错误率，将

模糊规则下Y中的第1个特征的错误率记为E_1,1，E_1,1的获取过程为：按序对H1_1,1中的每个分类标记H1_1,1＝(-1 -1 1 -1 -1)^T与G中的每个分类标签G＝(1 1 -1 -1 -1)^T进行一一对应比较，然后根据Weight⁽¹⁾计算H1_1,1中与G中值不相同的所有分类标记对应的权值之和为0.6；并按序对H2_1,1中的每个分类标记H2_1,1＝(1 1 -1 1 1)^T与G中的每个分类标签G＝(11 -1 -1 -1)^T进行一一对应比较，然后根据Weight⁽¹⁾计算H2_1,1中与G中值不相同的所有分类标记对应的权值之和0.4；将两个权值之和中的最小值作为E_1,1＝0.4；依次类推，得到所有模糊规则下Y中的第1个特征对应的所有错误率为E_1,1＝0.4、E_2,1＝0.4、E_3,1＝0.4、E_4,1＝0.4、E_5,1＝0.4、E_6,1＝0.2、E_7,1＝0.2、E_8,1＝0.2、E_9,1＝0.2、E_10,1＝0.4；再从所有模糊规则下Y中的第1个特征的错误率即{E_r,j|1≤r≤10}中找出最小值，记为E_min,j，E_min,1＝0.2。

步骤2_7：令j＝j+1，然后返回步骤2_1继续执行，直至Y中的所有特征处理完毕，得到{E_min,j|1≤j≤3}，其中E_min,1＝0.2、E_min,2＝0.2、E_min,3＝0.2。

步骤2_8：从{E_min,j|1≤j≤3}中找出最小值，记为

将

作为第k＝1个最佳模糊型弱分类器的最小错误率；然后将

对应的特征的编号j＝1作为最佳特征编号，记为

并将

对应的模糊规则

作为最佳模糊规则，记为

将

对应的分类标记向量H1_6,1＝(1 1 -1 -1 1)^T作为最佳分类标记向量，记为

将

对应的分类方向P＝1作为最佳分类方向，记为

步骤3：计算第k＝1个最佳模糊型弱分类器的权重，记为α⁽¹⁾，

然后计算第k＝1个最佳模糊型弱分类器构成的强分类器，记为

步骤4：按序对

中的每个分类标记与G＝(1 1 -1 -1 -1)^T中的每个分类标签进行一一对应比较，若全部相同，则将

确定为最佳强分类器，并结束迭代过程；若存在不相同，则执行步骤5；此时，由于

与G＝(11 -1 -1 -1)^T存在不相同，因此继续执行步骤5。

步骤5：计算寻找第k+1个最佳模糊型弱分类器时的权值向量，记为Weight^(k+1)，

然后令k＝k+1，再返回步骤2继续执行；其中，寻找第2个最佳模糊型弱分类器时的权值向量为

再返回步骤2继续执行，得到第2个最佳模糊型弱分类器的最小错误率为

然后将

对应的特征的编号作为最佳特征编号

并将

对应的模糊规则作为最佳模糊规则

将

对应的分类标记向量作为最佳分类标记向量

将

对应的分类方向作为最佳分类方向

根据

计算第2个最佳模糊型弱分类器的权重α⁽²⁾＝0.973；然后计算第2个最佳模糊型弱分类器构成的强分类器为

按序对

中的每个分类标记与G＝(1 1 -1 -1 -1)^T中的每个分类标签进行一一对应比较，

与G＝(1 1 -1 -1 -1)^T存在不相同，因此继续执行步骤5。计算寻找第3个最佳模糊型弱分类器时的权值向量Weight⁽³⁾＝(0.071 0.500 0.071 0.071 0.286)^T；再返回步骤2继续执行，得到第3个最佳模糊型弱分类器的最小错误率为

然后将

对应的特征的编号作为最佳特征编号

并将

对应的模糊规则作为最佳模糊规则

将

对应的分类标记向量作为最佳分类标记向量

将

对应的分类方向作为最佳分类方向

根据

计算第3个最佳模糊型弱分类器的权重α⁽³⁾＝1.282；然后计算第3个最佳模糊型弱分类器构成的强分类器为

按序对

中的每个分类标记与G＝(1 1 -1 -1 -1)^T中的每个分类标签进行一一对应比较，

与G＝(1 1 -1 -1 -1)^T全部相同，则将

确定为最佳强分类器，并结束迭代过程。

利用上述得到的最佳强分类器进行测试。

利用上述得到的最佳强分类器

进行，该最佳强分类器具有3个最佳模糊型弱分类器，第1个最佳模糊型弱分类器的权重为α⁽¹⁾＝0.693，对应的最佳特征编号为

最佳模糊规则为

最佳分类方向为

第2个最佳模糊型弱分类器的权重为α⁽²⁾＝0.973，对应的最佳特征编号为

最佳模糊规则为

最佳分类方向为

第3个最佳模糊型弱分类器的权重为α⁽³⁾＝1.282，对应的最佳特征编号为

最佳模糊规则为

最佳分类方向为

给定第1个测试样本

并给定第1个测试样本对应的样本标记矩阵

利用上述得到的最佳强分类器对第1个测试样本进行分类测试。将第1个测试样本输入最佳模糊型弱分类器中，根据第1个最佳模糊型弱分类器的最佳特征编号、最佳模糊规则和最佳分类方向得到最佳分类标记向量

根据第2个最佳模糊型弱分类器的最佳特征编号、最佳模糊规则和最佳分类方向得到最佳分类标记向量

根据第3个最佳模糊型弱分类器的最佳特征编号、最佳模糊规则和最佳分类方向得到最佳分类标记向量

将最佳分类标记向量乘上对应权重α⁽¹⁾＝0.693、α⁽²⁾＝0.973、α⁽³⁾＝1.282，通过sign函数预测出

将

与样本标记矩阵

进行比较，发现分类完全准确。

给定第2个测试样本

并给定第2个测试样本对应的样本标记矩阵

利用上述得到的最佳强分类器对第2个测试样本进行分类测试。将第2个测试样本输入到最佳模糊型弱分类器中，根据第1个最佳模糊型弱分类器的最佳特征编号、最佳模糊规则和最佳分类方向得到最佳分类标记向量

根据第2个最佳模糊型弱分类器的最佳特征编号、最佳模糊规则和最佳分类方向得到最佳分类器标记向量

根据第3个最佳模糊型弱分类器的最佳特征编号、最佳模糊规则和最佳分类方向得到最佳分类标记向量

将最佳分类标记向量乘上对应权重α⁽¹⁾＝0.693、α⁽²⁾＝0.973、α⁽³⁾＝1.282，通过sign函数预测出

将

与样本标记矩阵

进行比较，发现分类完全准确。

给定第3个测试样本

并给定第3个测试样本对应的样本标记矩阵

利用上述得到的最佳强分类器对第3个测试样本进行分类测试。将第3个测试样本输入到最佳模糊型弱分类器中，根据第1个最佳模糊型弱分类器的最佳特征编号、最佳模糊规则和最佳分类方向得到最佳分类标记向量

根据第2个最佳模糊型弱分类器的最佳特征编号、最佳模糊规则和最佳分类方向得到最佳分类标记向量

根据第3个最佳模糊型弱分类器的最佳特征编号、最佳模糊规则和最佳分类方向得到最佳分类标记向量

将最佳分类标记向量乘上对应权重α⁽¹⁾＝0.693、α⁽²⁾＝0.973、α⁽³⁾＝1.282，通过sign函数预测出

将

与样本标记矩阵

进行比较，发现分类完全准确。

通过对上述3个测试样本进行测试，分类结果均完全准确，充分说明了本发明方法的可行性和有效性。

Claims (1)

1.一种基于模糊型弱分类器的AdaBoost分类方法，其特征在于包括以下步骤：

步骤1：选取一个包含N幅图像的图像集；然后提取图像集中的每幅图像中的所有LBP特征，每幅图像有M个LBP特征，图像集中的所有图像中相同位置的LBP特征为同一类LBP特征；接着以同一类LBP特征作为训练样本中的一个特征，以同一类LBP特征中的N个LBP特征作为训练样本中的一个特征中的N个特征值构建一个训练样本，以矩阵形式记为Y，

其中，Y的维数为N×M，Y中的每列为一个特征，Y中的每列中的每个元素的值为一个特征值，M为正整数，M表示图像集中的每幅图像中的LBP特征的总个数，也即表示Y中包含的特征的总个数，M＞1，m为正整数，m的初始值为1，1≤m≤M，N为正整数，N表示图像集中包含的图像的总幅数，也即表示Y中的每个特征中包含的特征值的总个数，N＞1，n为正整数，n的初始值为1，1≤n≤N，y_1,1、y_n,1、y_N,1对应表示Y中的第1个特征中的第1个特征值、第n个特征值、第N个特征值，y_1,m、y_n,m、y_N,m对应表示Y中的第m个特征中的第1个特征值、第n个特征值、第N个特征值，y_1,M、y_n,M、y_N,M对应表示Y中的第M个特征中的第1个特征值、第n个特征值、第N个特征值；

并给定Y对应的样本分类标签矩阵，记为G，G＝(g₁…g_n…g_N)^T；其中，G的维数为N×1，()^T表示向量或矩阵的转置，g₁表示Y中的第1行特征值(y_1,1…y_1,m…y_1,M)对应的分类标签，g_n表示Y中的第n行特征值(y_n,1…y_n,m…y_n,M)对应的分类标签，g_N表示Y中的第N行特征值(y_N,1…y_N,m…y_N,M)对应的分类标签，g₁、g_n和g_N的取值为1或-1；

令k表示该AdaBoost分类方法中构成最佳强分类器的最佳模糊型弱分类器的个数，k为正整数，k的初始值为1；

步骤2：利用模糊推理对弱分类器进行寻优以获取第k个最佳模糊型弱分类器，其中，获取第k个最佳模糊型弱分类器的具体过程为：

步骤2_1：选取Y中的第j个特征，即(y_1,j…y_n,j…y_N,j)^T；然后提取出Y中的第j个特征中的最小特征值和最大特征值，对应记为Z_min,j和Z_max,j；其中，j为正整数，j的初始值为1，j∈[1,M]，y_1,j、y_n,j、y_N,j对应表示Y中的第j个特征中的第1个特征值、第n个特征值、第N个特征值；

步骤2_2：制定模糊规则：将区间[Z_min,j,Z_max,j]平均分成num个子区间，共有num-1个子区间划分点，所有子区间的宽度即相邻两个子区间划分点之间的间距均为W_j，

然后将每个子区间划分点作为中心，生成每个子区间划分点对应的5个具有不同带宽的高斯函数，将第q个子区间划分点对应的第b个高斯函数记为

共得到5×(num-1)个高斯函数；再将每个高斯函数定义为一条模糊规则，共有5×(num-1)条模糊规则；其中，num为正整数，num∈[2,50]，q为正整数，q的初始值为1，1≤q≤num-1，b为正整数，b的初始值为1，b＝1,2,3,4,5，e为自然基数，x为高斯函数中的自变量，取值为全体实数，c_q表示第q个子区间划分点对应的5个具有不同带宽的高斯函数的中心，即为第q个子区间划分点，c_q＝Z_min,j+q×W_j，u_b表示

的带宽，u₁＝0.2，u₂＝0.4，u₃＝0.6，u₄＝0.8，u₅＝1；

步骤2_3：从5×(num-1)条模糊规则中选取第r条模糊规则，记为

然后对Y中的第j个特征中的每个特征值进行高斯模糊化处理，得到Y中的第j个特征中的每个特征值对应的高斯函数，将Y中的第j个特征中的第t个特征值y_t,j对应的高斯函数记为Φ_t,j，

再计算

与Y中的第j个特征中的每个特征值的适配度，将

与y_t,j的适配度记为ω_r,t,j，ω_r,t,j的获取过程为：确定

与Φ_t,j之间有无相交点，若两者之间无相交点，则令ω_r,t,j＝0；若两者之间有一个相交点，则通过计算

得到自变量的值，从几何角度看，自变量的值即为相交点的横坐标，把自变量的值代入到

或Φ_t,j中得到函数值，将函数值赋值给ω_r,t,j；若两者之间有两个相交点，则通过计算

得到自变量的两个值，从几何角度看，自变量的两个值即为两个相交点的横坐标，把自变量的两个值代入到

或Φ_t,j中得到对应的函数值，将两个函数值中的最大值赋值给ω_r,t,j；之后将

与Y中的第j个特征中的所有特征值的适配度构成

模糊规则下Y中的第j个特征的适配度向量，记为ω_r,j，ω_r,j＝(ω_r,1,j…ω_r,t,j…ω_r,N,j)^T；其中，r为正整数，r的初始值为1，1≤r≤5×(num-1)，t为正整数，t的初始值为1，1≤t≤N，U表示对Y中的第j个特征中的每个特征值进行高斯模糊化处理的带宽，U＝1，ω_r,1,j表示

与Y中的第j个特征中的第1个特征值y_1,j的适配度，ω_r,N,j表示

与Y中的第j个特征中的第N个特征值y_N,j的适配度；

步骤2_4：令r＝r+1，然后返回步骤2_3继续执行，直至5×(num-1)条模糊规则均处理完毕，得到每条模糊规则下Y中的第j个特征的适配度向量；其中，r＝r+1中的“＝”为赋值符号；

步骤2_5：令P表示分类方向，P的取值为1或-1；然后在不同分类方向下计算每条模糊规则下Y中的第j个特征的分类标记向量，将P＝1时

模糊规则下Y中的第j个特征的分类标记向量记为H1_r,j，将P＝-1时

模糊规则下Y中的第j个特征的分类标记向量记为H2_r,j，H1_r,j＝(h1_r,1,j…h1_r,t,j…h1_r,N,j)^T，H2_r,j＝(h2_r,1,j…h2_r,t,j…h2_r,N,j)^T；其中，h1_r,1,j、h1_r,t,j、h1_r,N,j对应表示P＝1时

模糊规则下Y中的第j个特征中的第1个特征值的分类标记、第t个特征值的分类标记、第N个特征值的分类标记，

h2_r,1,j、h2_r,t,j、h2_r,N,j对应表示P＝-1时

模糊规则下Y中的第j个特征中的第1个特征值的分类标记、第t个特征值的分类标记、第N个特征值的分类标记，

th1为设定的阈值，th1∈[0.2,0.45]；

步骤2_6：令Weight^(k)表示寻找第k个最佳模糊型弱分类器时在不同分类方向下每条模糊规则下Y中的第j个特征的分类标记向量对应的权值向量，

然后计算每条模糊规则下Y中的第j个特征的错误率，将

模糊规则下Y中的第j个特征的错误率记为E_r,j，E_r,j的获取过程为：按序对H1_r,j中的每个分类标记与G中的每个分类标签进行一一对应比较，然后根据Weight^(k)计算H1_r,j中与G中值不相同的所有分类标记对应的权值之和；并按序对H2_r,j中的每个分类标记与G中的每个分类标签进行一一对应比较，然后根据Weight^(k)计算H2_r,j中与G中值不相同的所有分类标记对应的权值之和；将两个权值之和中的最小值作为E_r,j；再从所有模糊规则下Y中的第j个特征的错误率中找出最小值，记为E_min,j；其中，k为正整数，k的初始值为1，

表示h1_r,1,j和h2_r,1,j对应的权值，

表示h1_r,t,j和h2_r,t,j对应的权值，

表示h1_r,N,j和h2_r,N,j对应的权值，当k＝1时

步骤2_7：令j＝j+1，然后返回步骤2_1继续执行，直至Y中的所有特征处理完毕，得到{E_min,j|1≤j≤M}；其中，j＝j+1中的“＝”为赋值符号；

步骤2_8：从{E_min,j|1≤j≤M}中找出最小值，记为

将

作为第k个最佳模糊型弱分类器的最小错误率；然后将

对应的特征的编号作为最佳特征编号，记为

并将

对应的模糊规则作为最佳模糊规则，记为

将

对应的分类标记向量作为最佳分类标记向量，记为

将

对应的分类方向作为最佳分类方向，记为

步骤3：计算第k个最佳模糊型弱分类器的权重，记为α^(k)，

然后计算第k个最佳模糊型弱分类器构成的强分类器，记为

其中，

的维数为N×1，sign()为符号函数，k'为正整数，k'的初始值为1，1≤k'≤k，α^(k')表示第k'个最佳模糊型弱分类器的权重，

表示第k'个最佳模糊型弱分类器对应的分类标记向量，

步骤4：按序对

中的每个分类标记与G中的每个分类标签进行一一对应比较，若全部相同，则将

确定为最佳强分类器，并结束迭代过程；若存在不相同，则执行步骤5；

步骤5：计算寻找第k+1个最佳模糊型弱分类器时的权值向量，记为Weight^(k+1)，

然后令k＝k+1，再返回步骤2继续执行；其中，

表示寻找第k+1个最佳模糊型弱分类器时h1_r,1,j和h2_r,1,j对应的权值，

表示寻找第k+1个最佳模糊型弱分类器时h1_r,t,j和h2_r,t,j对应的权值，

表示寻找第k+1个最佳模糊型弱分类器时h1_r,N,j和h2_r,N,j对应的权值，

g_t表示G中的第t个分类标签，

对应表示

中的第1个分类标记、第t个分类标记、第N个分类标记，k＝k+1中的“＝”为赋值符号。

Images