CN114037860B - 基于鲁棒最小二乘回归框架的图像分类和特征选择方法 - Google Patents

Abstract

本发明涉及一种基于鲁棒最小二回归框架的图像分类和特征选择方法，是一种损失函数为凹函数的鲁棒最小二乘回归框架的图像分类和特征选择方法，通过在调节参数p，在应用过程中既能用于图像分类，又能用于特征选择，同时提高了算法鲁棒性和精度。在该算法中，目标函数由任意的凹损失函数和基于l_2,p范数的正则化项构成，通过迭代算法求解，首先对原凹函数求导，将优化问题转化为可求解的目标函数，相当于为每个样本点添加自适应权重，增强了算法的鲁棒性。通过优化目标函数可得到最优的转换矩阵，进而可用于图像分类和特征选择。

Description

基于鲁棒最小二乘回归框架的图像分类和特征选择方法

技术领域

本发明属于模式识别与机器学习领域，涉及一种基于鲁棒最小二乘回归框架的图像分类和特征选择方法，尤其涉及一种损失函数为凹函数的鲁棒最小二乘回归框架的图像分类和特征选择方法。

背景技术

回归分析，也称为曲线拟合，是数据统计与分析领域中常见的任务之一。回归模型通过估计一个或多个自变量与因变量之间的关系来预测给定输入的连续输出值，最小化拟合误差的总和，已广泛应用于金融、经济、电力能源、医疗卫生等领域。最小二乘回归(LeastSquares Regression,LSR)是多类别图像分类领域中的方法，通过学习投影，使数据点的总平方和最小化的同时，增加权重矩阵的F范数作为正则化以防止过拟合。由于LSR有清晰的物理意义和简单、封闭形式的解决方案，LSR及许多变体如加权LSR、局部LSR等，都已经在许多实际场景中得到了应用，受到越来越多研究人员的重视。

赵淑平等人(《用于特征表示的基于判别和稀疏性的l₁正则化最小二乘回归》，国际声学、语音与信号处理会议,2020:1504-1508.)在最小二乘回归的基础上，提出了一种基于判别和稀疏性的l₁正则化最小二乘回归，将经l₁正则化后训练数据的稀疏系数矩阵与转换矩阵联合学习，使转换矩阵具有区分性。此外，在松弛标签矩阵的同时，引入正交松弛项来保持回归目标的结构。然而，如果存在大量噪声和冗余的数据，该模型容易出现过度拟合，泛化能力和解释能力较差；松弛项的引入导致参数过多，参数选取和调整较困难。本专利在最小二乘回归的基础上，提出了一种损失函数为凹函数，正则项为l_2,p(0＜p≤2)范数的鲁棒最小二乘回归框架，该框架可提高算法对数据中噪声点的鲁棒性，应用于图像分类和特征选择问题。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种基于鲁棒最小二乘回归框架的图像分类和特征选择方法，针对l₂正则化形式的LSR相关算法应用于l₂范数时出现对噪声和异常点敏感，以及有效性和分类精度较差的问题。

技术方案

一种基于鲁棒最小二乘回归框架的图像分类和特征选择方法，其特征在于步骤如下：

步骤1：建立损失函数为凹函数的鲁棒最小二乘回归框架。

框架由损失函数和正则化项构成，损失函数为凹函数g(z)，g(z)是关于z的任意凹函数

其中，是第i个样本的误差平方；数据矩阵为/>其中，n为样本点的数量，d为样本点的维度，共有c个类别；标签矩阵为/>其中元素为0或1，若y_ij＝1，则表示第i个样本点属于第j类；/>和/>分别是转换矩阵和偏差向量，/>为W的第i行；γ是用于平衡损失函数和正则化项R(W)的正则化参数；正则项采用W的l_2,p范数，计算公式为/>p的取值范围为0＜p≤2；

步骤2、等价转化目标函数：

由于上述问题为凹函数问题，较难求解，先求解将其等价转化为以下问题求解：

其中，

上式写成目标函数的矩阵形式：

其中，D＝diag(d₁,d₂,...,d_n)，K＝diag(k₁,k₂,...,k_d)；

步骤3、交替迭代优化目标函数：

采用交替迭代优化的方法求解目标函数中的D，K，W，b四个变量，首先初始化W和b，根据公式计算得到D和K；然后优化W和b，依次循环直至收敛；

求解步骤如下：

步骤3.1：随机赋值W和b使得初始化，并以该数值作为W₀和b₀；

步骤3.2：计算得到D和K

D的表达式为D＝diag(d₁,d₂,...,d_n)，

K的表达式为K＝diag(k₁,k₂,...,k_d)，

步骤3.3：求解W和b，过程如下：

将目标函数对b求偏导并令等式为0得下式：

其中为元素均为1的矩阵，由上式得到b的表达式为：

令将b的表达式代入目标函数式得：

此外，计算出W为：

W＝(XHX^T+γK)^-1XHY^T

至此，W和b更新完毕，接下来重新进行下一次迭代运算，直到算法收敛；

求解结束后，得到转换矩阵

步骤4：p的取值范围为0＜p≤2，改变p的值将该框架用于不同的问题；

若将损失函数为凹函数的鲁棒最小二乘回归框架应用于图像分类问题时，设置参数p＝2，求得预测的标签矩阵Y_pre＝W^TX+b1^T并对其进行离散化，与真实标签Y作比较，判断数据点的类别，得到分类精度；

对于特征选择问题，参数p的值不大于1，设从d维特征中选取m个特征，计算W的行和范数并按降序排序，取前m个特征作为选择的特征。

所述凹函数g(z_i)采用四种类型的鲁棒最小二乘回归通用框架使用的凹函数及其对应的d_i表达式：

有益效果

本发明提出的一种基于鲁棒最小二乘回归框架的图像分类和特征选择方法，是一种损失函数为凹函数的鲁棒最小二乘回归框架的图像分类和特征选择方法，通过在调节参数p，在应用过程中既能用于图像分类，又能用于特征选择，同时提高了算法鲁棒性和精度。在该算法中，目标函数由任意的凹损失函数和基于l_2,p范数的正则化项构成，通过迭代算法求解，首先对原凹函数求导，将优化问题转化为可求解的目标函数，相当于为每个样本点添加自适应权重，增强了算法的鲁棒性。通过优化目标函数可得到最优的转换矩阵，进而可用于图像分类和特征选择。

采用本发明的方法有益效果主要包括：

(1)通过发明步骤(1)提出了一种同时适用于图像分类和特征选择的鲁棒最小二乘回归框。

(2)通过发明步骤(2)对原凹函数求导作为数据点的自适应附加权重，将较小的权重分配给误差较大的样本，消除了噪声和异常点对结果的影响，增强了算法的鲁棒性。在框架中更新迭代转换矩阵至收敛，解决了凹函数的求解问题。

附图说明

图1是算法流程图。

图2显示了算法的高抗噪性能。图2(a)显示了线性回归数据点，其中另外添加了五个用黑色六边形标记的异常值。回归结果如图2(b)所示，可以看出LSR的回归方向明显偏离，而噪声对我们提出的方法没有任何影响。

图3是Coil20数据集上不同噪声情况下，LSR和我们提出方法的分类结果对比图。可以看出，我们的方法在分类精度上明显优于LSR方法。

具体实施方式

现结合实施例、附图对本发明作进一步描述：

本发明提出了一种用于图像分类和特征选择的鲁棒最小二乘回归框架，假设原始数据矩阵为其中，n为样本点的数量，d为样本点的维度，共有c个类别。标签矩阵为/>其中元素为0或1，若y_ij＝1，则表示第i个样本点属于第j类。转换矩阵和偏差向量分别是/>和/>目标函数由损失函数和正则化项组成：

其中，是第i个样本的误差平方；g(z)是关于z的任意凹函数；γ是用于平衡损失函数和正则化项R(W)的正则化参数，R(W)是正则化项，其形式有R₁(W)＝||W||₁，R₂(W)＝||W||_F，R₃(W)＝||W||_2,0，R₄(W)＝||W||_2,1等，为了保证问题的一般性，本专利中的正则化项采用/>其中wⁱ为W的第i行，当p＝2时，R(W)近似相当于R₂(W)，该模型可应用于图像分类问题；当p接近0时，R(W)近似相当于R₃(W)，此时得到的解为稀疏解，该模型可应用于特征选择问题。将正则项表达式代入，上述优化问题(1)转化为：

问题(2)的求解步骤如下：

步骤一：等价转化目标函数。由于问题2为凹函数问题，较难求解，将问题(2)等价转化为以下问题求解：

其中，上式可写成矩阵的形式：

其中，D＝diag(d₁,d₂,...,d_n)，K＝diag(k₁,k₂,...,k_d)。

步骤二：交替迭代优化目标函数。

目标函数(4)中，共有D，K，W，b四个变量，采用交替迭代优化的方法，首先初始化W和b，根据公式计算得到D和K；然后优化W和b，依次循环直至收敛。求解步骤如下所示：

步骤2.1：初始化W和b，得到W₀和b₀。

步骤2.2：计算得到D和K。D的表达式为D＝diag(d₁,d₂,...,d_n)，K的表达式为K＝diag(k₁,k₂,...,k_d)，/>本专利以以下四种凹函数为例，给出算法的介绍。其中/>为回归误差，通过d_i的表达式可以看出，当回归误差大时，d_i的值变小，反之，当回归误差小时，d_i的数值变大，d_i是第i个数据点的附加权重。数据点的误差越大，权重越小，这表明这些数据点越可能是噪声点，所以本专利提出的模型能降低噪声点的影响。表1列举了四种类型的鲁棒最小二乘回归通用框架(Generalized Frameworkof Robust Least Squares Regression,GRLSR)使用的凹函数及其对应的d_i表达式：

表1四种类型的凹函数及其对应的d_i表达式

步骤2.3：求解W和b，过程如下：

对b求偏导并令等式为0可得下式。

其中为元素均为1的矩阵。由上式得到

令将b代入目标函数式(4)可得

此外，可计算出W为：

W＝(XHX^T+γK)^-1XHY^T (8)

至此，W和b更新完毕，接下来重新进行下一次迭代运算，直到算法收敛。求解结束后，得到转换矩阵对于分类问题，设置参数p＝2，求得预测的标签矩阵Y_pre＝W^TX+b1^T与真实标签Y作比较，判断数据点的类别，得到分类精度。对于特征选择问题，参数p的值小于2，设从d维中选取m个特征，计算W的行和范数/>并按降序排序，取前m个特征作为选择的特征。

具体实施方式

本发明基于一种用于图像分类和特征选择的鲁棒最小二乘回归框架，其基本流程图如图1所示。下面以Coil20物体数据集应用至分类问题为例介绍具体实施方式。该数据集的维数d为1020，总个数N为1440，类别c为20，从中抽取一半作为训练样本，剩下一半作为测试样本，即此时数据矩阵为/>其中/>标签矩阵为/>其中/>元素为0或1。转换矩阵和偏差向量分别是和/>

步骤一：建立损失函数为凹函数的鲁棒最小二乘框架。

框架如下：

其中，是第i个样本的误差平方；g(z)是关于z的任意凹函数；γ是用于平衡损失函数和正则化项R(W)的正则化参数，R(W)是正则化项，其形式其中wⁱ为W的第i行。

步骤二：等价转化目标函数。将问题(14)等价转化为以下问题求解：

其中，上式可写成矩阵的形式：

其中，D＝diag(d₁,d₂,...,d_n)，K＝diag(k₁,k₂,...,k_d)。

步骤二：交替迭代优化目标函数。

步骤2.1：初始化W和b，得到W₀和b₀。

步骤2.2：计算得到D和K。D的表达式为D＝diag(d₁,d₂,...,d_n)，采用的四种凹函数如下，其中/>

的表达式为：

步骤2.3：求解W和b，过程如下：

b的表达式为

W的表达式

至此，W和b更新完毕，接下来重新进行下一次迭代运算，直至收敛。求解结束后，得到转换矩阵对于分类问题，设置参数p＝2，求得预测的标签矩阵Y_pre＝W^TX+b1^T与真实标签Y作比较，判断数据点的类别，得到分类精度。对于特征选择问题，参数p的值小于2，设从d维中选取m个特征，计算W的行和范数/>并按降序排序，取前m个特征作为选择的特征。

Claims (2)

1.一种基于鲁棒最小二乘回归框架的图像分类和特征选择方法，其特征在于步骤如下：

步骤1：建立损失函数为凹函数的鲁棒最小二乘回归框架：

框架由损失函数和正则化项构成，损失函数为凹函数g(z)，g(z)是关于z的任意凹函数

其中，是第i个样本的误差平方；数据矩阵为/>其中，n为样本点的数量，d为样本点的维度，共有c个类别；标签矩阵为其中元素为0或1，若y_ij＝1，则表示第i个样本点属于第j类；和/>分别是转换矩阵和偏差向量，/>为W的第i行；γ是用于平衡损失函数和正则化项R(W)的正则化参数；正则项采用W的l_2,p范数，计算公式为/>p的取值范围为0＜p≤2；

步骤2、等价转化目标函数：

由于上述问题为凹函数问题，较难求解，先求解将其等价转化为以下问题求解：

其中，

上式写成目标函数的矩阵形式：

其中，D＝diag(d₁,d₂,...,d_n)，K＝diag(k₁,k₂,...,k_d)；

步骤3、交替迭代优化目标函数：

采用交替迭代优化的方法求解目标函数中的D，K，W，b四个变量，首先初始化W和b，根据公式计算得到D和K；然后优化W和b，依次循环直至收敛；

求解步骤如下：

步骤3.1：随机赋值W和b使得初始化，并以该数值作为W₀和b₀；

步骤3.2：计算得到D和K

D的表达式为D＝diag(d₁,d₂,...,d_n)，

K的表达式为K＝diag(k₁,k₂,...,k_d)，

步骤3.3：求解W和b，过程如下：

将目标函数对b求偏导并令等式为0得下式：

其中为元素均为1的矩阵，由上式得到b的表达式为：

令将b的表达式代入目标函数式得：

此外，计算出W为：

W＝(XHX^T+γK)^-1XHY^T

至此，W和b更新完毕，接下来重新进行下一次迭代运算，直到算法收敛；

求解结束后，得到转换矩阵

步骤4：p的取值范围为0＜p≤2，改变p的值将该框架用于不同的问题；

若将损失函数为凹函数的鲁棒最小二乘回归框架应用于图像分类问题时，设置参数p＝2，求得预测的标签矩阵Y_pre＝W^TX+b1^T并对其进行离散化，与真实标签Y作比较，判断数据点的类别，得到分类精度；

对于特征选择问题，参数p的值不大于1，设从d维特征中选取m个特征，计算W的行和范数并按降序排序，取前m个特征作为选择的特征。

2.根据权利要求1所述基于鲁棒最小二乘回归框架的图像分类和特征选择方法，其特征在于：所述凹函数g(z_i)采用四种类型的鲁棒最小二乘回归通用框架使用的凹函数及其对应的d_i表达式：

GRLSR1：损失函数表达式为损失函数一阶导数为/>d_i表达式为/>

GRLSR2：损失函数表达式为损失函数一阶导数为/>d_i表达式为/>

GRLSR3：损失函数表达式为g3(z)＝ln(z+1)损失函数一阶导数为,d_i表达式为/>

GRLSR4：损失函数表达式为损失函数一阶导数为/>d_i表达式为/>