CN109596543B - 粒子群优化多核支持向量回归的光谱反射率重建方法 - Google Patents

Abstract

本发明涉及粒子群优化多核支持向量回归的光谱反射率重建方法，首先，采集多光谱图像获取通道响应G数据，利用分光光度计获取光谱反射率数据，建立数据集；然后，通过样本选取方法确定训练样本个数；接着，通过多项式函数和柯西核函数非线性结合，构造出具有泛化能力和学习能力的多核核函数，建立支持向量机模型；同时，利用粒子群优化方法对多项阶数d、柯西核函数宽度σ和惩罚因子c进行优化，利用最终的回归决策函数对反射率进行重建。两个核函数相乘作为新的核函数，避免了高维分布可能存在不平坦的数据的情况，改善模型预测能力；通过PSO算法对参数寻优，动态获取每一个回归方程的最优参数，有效地提高算法的重建精度和模型预测能力。

Description

粒子群优化多核支持向量回归的光谱反射率重建方法

技术领域

本发明属于数字图像处理技术领域，特别涉及粒子群优化多核支持向量回归的光谱反射率重建方法。

背景技术

人能够感受物体的颜色信息，主要来源于光源在物体表面的光谱反射。物体的反射率反映了物体对入射光的光谱选择性吸收、光散射以及物体表面镜面反射的综合特性，利用光谱的“唯一性”能够准确地描述物体的颜色。目前，获取光谱反射率可通过分光光度计获取，但该方法为单点测量，对于测量物体的面积、平整度有一定的限制，另外一种方法则通过高光谱成像获得对应点的反射率，其工作量较大、耗时较长且价格昂贵，因此，多光谱成像技术的光谱反射率重建方法应运而生。通过多光谱相机获取多个通道下物体表面的光谱颜色信息，再利用算法快速地重建物体连续的光谱。

目前常用的光谱反射率重建算法主要包括伪逆法、多项式法和单核支持向量回归法等，利用这些算法能够获得连续的光谱反射率信息，但是由于光谱数据维数较多、数据较大，导致重建模型精度较差、泛化和学习能力较弱。如何增强重建精度、提高模型学习能力和泛化能力是相关学者研究的重点。

发明内容

本发明将多项式核函数与柯西核函数的乘积作为新的核函数，引入到支持向量回归模型当中，利用粒子群算法对核参数、惩罚因子等进行优化选取，最后重建光谱反射率。利用分光光度计获取真实反射率数据，分别采用伪逆法、单核支持向量回归法、多核支持向量回归法和粒子群优化多核支持向量回归法进行反射率重建对比，通过光谱误差、适应度、决策系数等对重建结果进行评价，实验结果表明本文提出的粒子群优化多核支持向量回归方法对重建精度与色度精度有一定的改善提高。

为达到上述目的，本发明所述的粒子群优化多核支持向量回归的光谱反射率重建方法，包括以下步骤：

步骤1，采集多光谱图像获取通道响应G数据，利用分光光度计获取光谱反射率数据，建立数据集；

步骤2，通过样本选取方法确定训练样本个数；

步骤3，构造多核核函数；

所述多核核函数的构造过程是：

3.1)，根据光谱数据本身具有高维度、小样本、数据不规则的特点，分别利用全局核函数和局部核函数对RAL色卡的反射率进行重建；

3.2)，根据所述步骤3.1)的重建结果，分析每个核函数的重建精度；

3.3)，根据所述步骤3.2)每个核函数的重建精度分析结果，结合全局核函数和局部核函数的特点，选择出：

多项式核函数：

K(x,y)＝(x^ty+1)^d (1)

式中，x,y为n维输入值，x^t为输入向量x的转置，d用来设置多项式函数的最高次项次数，即函数的阶数；

柯西核函数：

式中，x,y为n维输入值，σ为带宽；

将式(1)和式(2)的函数进行非线性组合，构造出具有泛化能力和学习能力的多核核函数：

式中，d为多项式核函数的阶数，柯西核函数的宽度为σ，其中σ主要控制各个支持向量之间的关联关系，K_cp为本发明多核核函数的表示；

步骤4，建立支持向量回归模型，根据回归决策函数

结合经过粒子群优化方法优化参数后的多核核函数，得到最终的回归决策函数：

步骤5，利用粒子群优化方法优化参数，对多项式核函数的阶数d、柯西核函数宽度σ和惩罚因子C进行优化；

步骤6，利用最终的回归决策函数对反射率进行重建，并与所述步骤一中的反射率数据进行对比分析。

与现有技术相比，本发明具有以下有益效果：

局部核函数主要包括线性核函数、高斯核函数、柯西核函数等，其中高斯核函数应用比较广泛，但核函数性能对参数比较敏感，并且指数运算也较为复杂。柯西核函数来源于柯西分布，其定义域很广，适用于原始维度很高的数据，属于转移性的核函数，而且运算比较简单，参数对于核函数的影响较小。多项式核函数是经典的全局核函数，通常比较适合处理正交归一化后的数据，具有很强的泛化能力。多核学习过程中考虑了各个核函数自身的性质，综合了全局核函数和局部核函数的性能，使核函数同时具有泛化能力和学习能力；两个核函数相乘作为新的核函数，考虑了光谱数据本身具有多维度非线性、分布不均匀、规模较大的特点，避免了高维分布可能存在不平坦的数据的情况，改善了模型的预测能力；考虑参数选取通常根据实验或经验来取值，容易造成局部最小值现象；为避免参数的影响，通过PSO算法进行参数寻优，动态地获取每一个回归方程的最优参数，从而有效地提高算法的重建精度和模型的预测能力。

附图说明

图1是本发明粒子群优化多核支持向量回归的光谱反射率重建方法流程图；

图2是本发明实验所用部分劳尔色卡图；

图3是6029色卡的通道图像示意图；

图4是样本选取的平均光谱误差分布图；

图5a是多个核函数平均光谱误差对比图；

图5b是多个核函数适应度系数对比图；

图5c是多个核函数决策系数对比图；

图6a是测试样本4001颜色的重建反射率曲线；

图6b是测试样本2012颜色的重建反射率曲线；

图7是多光谱CCD相机及实验环境示意图。

具体实施方式

下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。

实施例1：

本发明所述的粒子群优化多核支持向量回归的光谱反射率重建方法，包括以下步骤：

步骤1，采集多光谱图像获取通道响应G数据，利用分光光度计获取光谱反射率数据，建立数据集；

步骤2，通过样本选取方法确定训练样本个数；

建立数据集和确定训练样本个数的具体过程为：

通过多光谱成像技术获取样本的多通道图像，采用标准白板校正去除暗电流：

其中，G_data表示为系统的实际响应，G_dark表示为镜头盖挡后系统响应，G_white表示为标准白板的响应，根据通道响应G建立数据集；通过分光光度计测得样本表面反射率值，建立反射率数据集。在挑选样本时，针对不同的光谱反射率重建方法，挑选训练样本数目也存在一定的差异，一般获取所需样本的数目，可以通过最小平均光谱误差实现，为了确保本发明重建方法的适用性和普遍性，采用经典的Mohammadi方法、MAXSUM方法和Hardeberg方法获取所有样本中最具有代表性的训练样本数目。

参见图4，从图4可知，通过上述三种方法对所有样本进行了最小光谱误差分析计算；可知，样本数在0-50之间，平均光谱误差逐渐减小；样本数在50之后，趋于稳定；所以选择样本数为50。

步骤3，构造多核核函数，建立支持向量机模型；

步骤3中，多核支持向量回归模型建立过程为：

本发明，首先要熟悉多核学习(Multi-kernel Learning,MKL)，是一种对已有核函数进行组合，创造出新的核函数。其中多项式核函数、柯西核函数如式(1)(2)所示：

多项式核函数：

K(x,y)＝(x^ty+1)^d (1)

式中，x,y为n维输入值，x^t为输入向量x的转置，d用来设置多项式函数的最高次项次数，即函数的阶数。该核函数为全局核函数，适合正交归一化后的数据，具有全局性。

柯西核函数：

式中，x,y为n维输入值，σ为带宽，控制核函数的局部作用范围。该核函数为局部核函数，定义域很广泛，在处理原始维度很高的数据上具有强烈的优势。

将式(1)的Poly多项式核函数与式(2)的Cauchy柯西核函数进行非线性组合，本发明具体的多核核函数构造为：

式中，d为多项式核函数的阶数，柯西核函数的宽度为σ，其中σ主要控制各个支持向量之间的关联关系，K_cp为本发明多核核函数的表示。

两个核函数的乘积K(x,y)＝K₁(x,y)·K₂(x,y)，表示相应特征空间的张量积，与形如

核函数线性组合形式相比，张量积是对数据更高维的特征表征。光谱数据本身具有多维度非线性、分布不均匀、规模较大的特点，高维分布可能存在不平坦的数据情况，若采用线性组合形式存在丢失原始矩阵信息的风险。乘积式核函数综合了多项式核函数和柯西核函数的特点，有助于提高模型的预测能力。

支持向量回归(Support Vector Regression，SVR)，SVR的主要目的是能够拟合出最佳的线性回归函数，使更多样本点落在可接受范围内，从而获得较好的预测效果。对于给定的训练样本集S＝{(x₁,y₁),...,(x_i,y_i)}其中x_i∈Rⁿ为输入向量，y_i∈R为对应的输出值，在引入损失函数ε的基础上，寻找一个回归超平面函数f(x)＝ω·x+b。其中，ω·x表示为内积运算，ω为权值系数向量，b为偏移量。为了确定ω、b值，通过最小化正则风险函数原则，转化为求目标函数最优化问题:

式中，C是惩罚因子，它决定了函数光滑程度与函数值误差超过ε管道的样本点数目之间的平衡，从而使所建立的模型达到最好的推广性。ξ_i,

为松弛因子，即允许存在不满足约束条件的训练样本存在。引入拉格朗日乘子a_i、

将凸二次规划问题转换为如下对偶问题：

求解式(9)得到最优的拉格朗日乘子a_i、

和偏移量b。当乘子a_i，

时所对应的样本成为支持向量(Support Vector，SV)。因此，可得到的回归决策函数为：

根据式(4)可知，核函数是影响回归决策函数的因素之一，根据不同的问题环境，核函数的针对性、选择性及适应性也不同，从而导致决策函数回归预测的效果有所差异。本发明采用的多核核函数为式(3)，最终回归决策函数表示为：

步骤4，利用粒子群优化方法优化多项式核函数的阶数d、柯西核函数宽度σ和惩罚因子C；

步骤4中，粒子群优化方法优化的具体过程是：

首先，熟悉粒子群算法(Particle Swarm Optimization，PSO)，是一种启发式优化算法，具有较强的全局搜索能力和快速收敛能力。由于原理较简单、参数项较少而被广泛地应用。该算法的主要思想来源于鸟群捕食的行为。每个待优化问题解都是搜索空间中的一只鸟，即为“粒子”。每个粒子都有自身适应度和记忆功能，可判断当前位置的好坏程度并记录所搜索到的最佳位置，通过与其它粒子之间的协作与信息传递，从而使整体粒子达到最佳适应的位置，使问题收敛。而且，粒子还具有速度属性和位置属性，用数学模型可表示为：

v_i(k+1)＝w*v_i(k)+c_i*rand()*(P_ibest-x_i(k))+c₂*rand()*(g_best-x_i(k))

x_i(k+1)＝x_i(k)+v_i(k+1) (6)

其中v(k)、v(k+1)、x(k)、x(k+1)分别是粒子当前时刻、下一时刻的速度和位置：rand()是[0,1]之间的随机数，c1、c2是学习因子，分别表示粒子的自我认知和社会认知能力，通常值取为2，ω为惯性权值。当前时刻的个体极值记为P_ibest，全局极值记为g_best。多核K_cp当中有多项式核函数的阶数d、柯西核函数宽度σ，SVR模型中惩罚因子C等参数，均对决策回归函数的泛化能力和预测能力有较大的影响。将多核K_cp与参数(d,σ,c)作为搜索空间中的一个粒子，采用PSO优化算法对以上参数进行优化。

4.1)初始化粒子群。多核K_cp与SVR中的待优化参数(d,σ,c)作为搜索空间的一个粒子，随机粒子的速度和位置。设定粒子群规模、最大迭代次数以及学习因子、惯性权重。

4.2)计算适应度。适应度函数表示为

每个粒子的当前适应值与其个体历史最优位置(P_ibest)对应的适应值进行对比，若当前MSE值较高，则用当前位置更新历史最佳位置P_ibest，否则保留原值。同理，将每个粒子当前适应值与全局最佳位置(g_best)对应的适应值进行对比，若当前MSE值较高，则用当前位置更新全局最佳位置g_best，否则保留原值。

4.3)更新。根据式(5)更新每个粒子的速度与位置。

4.4)判断是否满足终止条件。通常算法达到最大迭代次数或者所得解不再发生变化就终止迭代，否则返回步骤4.3)。

4.5)根据步骤4.4)获得最优参数值，作为支持向量回归模型的参数。

实施例2：

本实施例是在实施例1基础上进行实施并得出了一些数据及相关分析。

下面结合附图对本实施例做进一步详细描述：

首先采用海洋薄膜公司的SpectroSuite型号的分光光度计测量213个德国劳尔色块的反射率光谱，测量范围是380～780nm可见光波段，部分色卡见图2；然后用多光谱成像系统(见图7)获得11个特定波长的多通道图像(见图3)。多光谱成像系统包括有OceanOptics公司的SpectroCam VIS CCD相机、两个D65光源、滤光片等组成，滤光片的带宽为20nm；采集多光谱图像时，计算机与CCD相机通过双绞线连接，操作人员在计算机上面操作软件获取多光谱图像。

在挑选训练样本方面，针对不同的光谱反射率重建方法，获取所需样本数目不同，可通过平均光谱误差最小实现(见图4)。参见图4，为了确保本发明重建方法的适用性和普遍性，采用经典Mohammadi方法、MAXSUM方法和Hardeberg方法获取所有样本中最具有代表性的训练样本数目。随着训练样本数目L的增加光谱误差有所减小，尤其在样本个数L＝50处变化比较剧烈，之后较于平稳，因此本发明的训练样本个数选为50个。

不同核函数具有不同的性质，局部核函数具有局部性，对于测试点较近的数据函数影响比较大，具有很强的学习能力，如高斯核函数、线性核核函数、柯西核函数等；全局核函数具有全局性，允许距测试点较远的数据对函数值有影响，具有较强的泛化能力，如多项式核函数；利用重建精度较好的多项式核函数和柯西核函数进行组合，能够增强模型的泛化能力和学习能力，单核核函数重建性能见图5。

依据光谱响应值与光谱反射率建立粒子群优化多核支持向量回归模型，重建的本质就是建立通道响应g与光谱反射率r之间的回归函数，获取回归函数重建反射率的步骤如下：

1)多项式核与柯西核的乘积作为新核函数，核参数d、σ为待优化参数。

2)惩罚因子C、核参数d、σ、组成待优化的粒子。利用PSO算法进行参数寻优，PSO的优化参数范围为d∈(0,5)，c∈(0,100)，σ(0,1000)。所采用的粒子群数量n＝20个，学习因子c1＝1.5，c2＝1.7，样本的最大迭代次数为200次。

3)确定每个波段的最优参数，通过

获得每个波段回归函数从而重建反射率。

几种重建方法的比较，如表1所示，表1是伪逆、单核、多核、粒子优化多核重建方法对比分析表：

表1

误差均方根

是评价真实值与预测值之间的误差水平，其中y_i为分光光度计测得的真实反射率值，

为PCP-SVR重建模型重建的反射率值；RMSE值越小，表明重建模型重建反射率的精度越高；决策系数

也称为拟合度，r²越接近于1，表示相关的决策函数参考价值越高，自变量响应值G对因变量反射率r值的解释程度越高，模型的拟合度较好；适应度

被定义为重建光谱

与原始光谱R(λ)之间的余弦角；当GFC≥99.0％时，那么重建结构可以接受；色差

可以表示颜色的差异；L₁a₁b₁为真实反射率由光谱空间转换到色度空间中的值，L₂a₂b₂为重建反射率由光谱空间转换到色度空间的值，色差越小表明颜色复制效果越好，模型预测能力越理想。

从表1与图6a和图6b的实验结果可以看出，伪逆法属于线性重建方法，但多光谱成像技术往往为非线性，因此在处理具有高维、非线性特点的光谱数据时其重建精度较差；利用非线性的支持向量回归方法，重建精度明显提高，综合了柯西核函数与多项式核函数的特点的同时，采用粒子群算法进行优化，从而使光谱误差降低了了0.6％～0.9％，决策系数提高了5％～7％。因此，本发明能够明显提高重建精度，改善重建模型的学习能力和泛化能力，满足颜色复制的要求。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (4)

1.粒子群优化多核支持向量回归的光谱反射率重建方法，其特征在于，包括以下步骤：

步骤1，采集多光谱图像获取通道响应G数据，利用分光光度计获取光谱反射率数据，建立数据集；

步骤2，通过样本选取方法确定训练样本个数；

步骤3，构造多核核函数；

所述多核核函数的构造过程是：

3.1)，根据光谱数据本身具有高维度、小样本、数据不规则的特点，分别利用全局核函数和局部核函数对RAL色卡的反射率进行重建；

3.2)，根据步骤3.1)的重建结果，分析每个核函数的重建精度；

3.3)，根据步骤3.2)每个核函数的重建精度分析结果，结合全局核函数和局部核函数的特点，选择出：

多项式核函数：

K(x,y)＝(x^ty+1)^d (1)

式中，x,y为n维输入值，x^t为输入向量x的转置，d为多项式核函数的阶数；

柯西核函数：

式中，x,y为n维输入值，σ为柯西核函数的宽度；

将式(1)和式(2)的函数进行非线性组合，构造出具有泛化能力和学习能力的多核核函数：

式中，d为多项式核函数的阶数，柯西核函数的宽度为σ，其中σ主要控制各个支持向量之间的关联关系，K_cp为本发明多核核函数的表示；

建立支持向量回归模型，根据回归决策函数

公式中，

和

是拉格朗日乘子，b为偏移量，SV为支持向量；

利用粒子群优化方法优化参数，对多项式核函数的阶数d、柯西核函数的宽度σ进行优化，同时对支持向量回归模型中的惩罚因子C进行优化；

结合经过粒子群优化方法优化参数后的多核核函数，得到最终的回归决策函数：

步骤3，利用最终的回归决策函数对反射率进行重建，并与所述步骤1中的反射率数据进行对比分析。

2.根据权利要求1所述的粒子群优化多核支持向量回归的光谱反射率重建方法，其特征在于，所述步骤1中建立数据集的具体过程是：

将分光光度计对准RAL色卡每个色块，测取光谱反射率数据；利用多光谱成像设备，获取每个色块的多光谱图像，从而获取每个通道下图像的响应值G数据。

3.根据权利要求1所述的粒子群优化多核支持向量回归的光谱反射率重建方法，其特征在于，所述利用粒子群优化方法优化参数的具体过程是：

每个待优化问题解都是搜索空间中的“粒子”，每个粒子都有自身适应度和记忆功能，可判断当前位置的好坏程度并记录所搜索到的最佳位置，通过与其它粒子之间的协作与信息传递，使整体粒子达到最佳适应的位置，用数学模型表示为：

v_i(k+1)＝w*v_i(k)+c₁*rand()*(P_ibest-x_i(k))+c₂*rand()*(g_best-x_i(k))

x_i(k+1)＝x_i(k)+v_i(k+1) (6)

其中v_i(k)、v_i(k+1)、x_i(k)、x_i(k+1)分别是第i个粒子当前时刻、下一时刻的速度和位置；rand()是[0,1]之间的随机数，c₁、c₂是学习因子，分别表示粒子的自我认知和社会认知能力，通常值取为2；w为惯性权值；当前时刻的个体极值记为P_ibest，全局极值记为g_best；

4.1)初始化粒子群，多核函数K_cp与支持向量回归函数SVR中的待优化参数(d,σ,C)作为搜索空间的一个粒子，随机化粒子的速度和位置，设定粒子群规模、最大迭代次数以及学习因子、惯性权重；采用粒子群优化算法对以上待优化参数进行优化；

4.2)计算适应度，适应度函数表示为

每个粒子的当前适应值与其个体极值P_ibest进行对比；若当前MSE值较高，则用当前位置更新其个体极值P_ibest所在位置，否则保留原值；同理，确定全局极值g_best最佳位置；

4.3)更新，根据式(6)更新每个粒子的速度与位置；

4.4)判断是否满足终止条件，算法达到最大迭代次数或者所得解不再发生变化就终止迭代，否则返回步骤4.3)；

4.5)根据步骤4.4)获得最优参数值，作为最终回归决策函数的参数。

4.根据权利要求1所述的粒子群优化多核支持向量回归的光谱反射率重建方法，其特征在于，建立支持向量回归模型的具体过程是：

训练样本集为S＝{(x₁,y₁),...,(x_i,y_i)}，

其中x_i∈Rⁿ为输入向量，y_i∈R为对应的输出值，在引入损失函数ε的基础上，寻找一个回归超平面函数f(x)＝ω·x+b；其中，ω·x表示为内积运算，ω为权值系数向量，b为偏移量；为了确定ω、b值，通过最小化正则风险函数原则，转化为求目标函数最优化问题:

式中，C是支持向量回归模型中的惩罚因子，它决定了函数光滑程度与函数值误差超过ε管道的样本点数目之间的平衡，从而使所建立的模型达到最好的推广性；ξ_i，

为松弛因子，即允许存在不满足约束条件的训练样本存在；上式(7)为一个凸二次规划问题，为了求解引入拉格朗日函数：

式中，

、

γ_i、

为拉格朗日乘子，由上式可得到如下对偶问题：

求解式(9)得到最优的拉格朗日乘子

、

当乘子

，

时，所对应的样本称为支持向量Support Vector，即SV；由支持向量计算出偏移量b，即，

为了计算的可靠性，对支持向量分别求b值，然后求他们的平均值，即有，

式中，N_NSV为标准支持向量的个数，得到的回归决策函数为：

根据式(4)可知，核函数是影响回归决策函数的因素之一，根据不同的问题环境，核函数的针对性、选择性及适应性也不同，从而导致决策函数回归预测的效果有所差异；为使决策函数既具有全局性又具有局部性，在支持向量回归机中引入多核核函数；因此，式(4)引入粒子群优化方法优化参数后的多核核函数，得到最终的回归决策函数为：

Images