CN111795742A - 一种用于单幅rgb图像重建光谱的降维方法 - Google Patents

Abstract

本发明公开了一种用于单幅RGB图像重建光谱的降维方法，包括以下步骤：步骤(1)、选取样本集，设置训练集和测试集；步骤(2)、设置正则化参数集合和隐藏层数量集合；步骤(3)、设定提取特征向量数量m，针对训练集，分别任意选择正则化参数值和隐藏层数值，利用改进的非线性主成份分析方法进行训练，获得n组提取特征向量的模型；步骤(4)、根据最小平均误差值，选定正则化参数值p和隐藏层数值o；步骤(5)、获取目标特征向量。本发明方法得到的少数维特征向量，用于重建光谱中可以降低重建方程的病态问题，改善了重建的精度和稳定性。

Description

一种用于单幅RGB图像重建光谱的降维方法

技术领域

本发明属于光谱成像技术领域，具体涉及一种用于单幅RGB图像重建光谱的降维方法。

背景技术

由反射率构成的光谱图像，现已被广泛地用于文化遗产保护中颜色和物质分析、医学科学中病症分析与判断、地球科学和遥感中地质地貌的识别等领域。目前，光谱图像的获取设备主要为光谱相机、以及宽波段滤波片或窄波段光源与普通相机构成的装备。此类光谱成像装备或价格昂贵(如光谱相机)、或工艺复杂且不易携带，不易推广使用于需价格低廉且携带方便的领域。为避免前述问题，现有技术中，采用数码相机(价格低廉且方便携带)获取图像RGB值，然后利用光谱重建算法获得反射率光谱，进而获得光谱图像。

具体的，数码相机获取的图像，其像素RGB值为三维数据，即由光源光谱能量分布曲线、传感器的光谱响应曲线、以及被摄反射率光谱曲线对应相乘且积分所得。而反射率光谱是多维数据，且其维数远大于三。由此，低维RGB值与高维的重建反射率光谱之间的映射矩阵是典型的欠秩矩阵，映射矩阵欠秩会使得重建方程的病态系数趋于正无穷，即此时重建方程病态状况较为严重、光谱重建的稳定性差(如RGB值微小变化时，重建光谱差异却较大)。

已有的研究提出采用降低重建方程中求解的维数，再利用正则化方法就能更好地平衡重建光谱的精度和稳定。基于此思想，将任意反射率光谱由少数特征向量与其权重系数组合而成，低维RGB值重建高维反射率光谱问题即转化为低维RGB值求解反射率光谱的少数维特征向量的权重系数问题。因此，通过降维方法预先获取少数低维光谱特征则成为此光谱重建的关键问题。现有技术中的降维方法，容易导致过拟合的现象，从而影响对未知样本反射率光谱的重建精度，与实际应用相悖。

发明内容

本发明的目的是提供一种用于单幅RGB图像重建光谱的降维方法，以解决上述问题。

本发明提供的技术方案如下：一种用于单幅RGB图像重建光谱的降维方法，包括以下步骤：

步骤(1)、选取样本集，测量样本集中各样本的反射率光谱，获得反射率光谱库；将相邻颜色块的光谱数据分别分为训练集和测试集；

步骤(2)、设置正则化参数集合和隐藏层数量集合；

步骤(3)、设定提取特征向量数量m，针对训练集，从步骤(2)的集合中分别任意选择正则化参数值和隐藏层数值，利用改进的非线性主成份分析方法进行训练，获得n组提取特征向量的模型，每组包含特征向量{u_i(i＝1，2，…，m)}_j(j＝1，2，…，n)和参数组合

步骤(4)、利用步骤(3)所得各组征向量{u_i(i＝1，2，…，m)}_j(j＝1，2，…，n)与参数组合

分别重建训练集中的光谱，并计算各组重建光谱与原光谱的平均误差值，依据平均误差值最小的一组，选定其对应的正则化参数值p和隐藏层数值o；

步骤(5)、利用步骤(4)得到的正则化参数值p和隐藏层数值o，通过利用步骤(3)中改进的非线性主成份分析方法对训练集进行k交叉验证，依据最小平均重建误差值选取最优训练模型，并获得对应的参数组合和特征向量，获得的特征向量即为用于光谱重建的目标特征向量。

作为上述方案进一步的优选：

所述步骤(3)中的改进的非线性主成份分析方法提取特征值的算法公式如下：

其中，J(u)表示改进的代价函数，p表示正则化参数，<·>表示向量的平均操作，

表示提取的特征值构成的矩阵，W^(r)表示m×l权重矩阵，下标k＝1，2，…，m，i＝1，2，…，l。r＝[r₁r₂…r_l]^T表示可见光范围内各波长下反射率比构成的反射率光谱，下标l表示反射率光谱的维数。

表示由获得的光谱特征向量利用前馈神经网络方法重构的反射率光谱，其重建公式如下：

f₄表示在神经网络框架下将h^(u)映射成

的过程；h^(u)表示神经网络框架下隐含层神经元，h^(u)的公式为：

h^(u)＝f₃(w^(u)u+b^(u)) 式(4)

其中，f₃表示在神经网络框架下将光谱的特征向量u映射成

的过程；光谱的特征向量u的公式为：

其中，f₂表示在神经网络框架下将隐含层神经元h^(r)映射成光谱特征向量u的过程；隐含层神经元h^(r)的公式为：

h^(r)＝f₁(W^(r)r+b^(r)) 式(6)

其中，f₁表示在神经网络框架下将反射率光谱r映射成h^(r)的过程，

为m维向量。

作为上述方案的进一步优选：

所述步骤(4)中的平均误差值

计算如下：

作为上述方案进一步的优选：

所述步骤(5)获取目标特征向量后再验证提取准确度。

作为上述方案进一步的优选：

所述验证提取准确度的方法为：首先，针对测试集，采用利用步骤(3)中改进的非线性主成份分析方法训练，获取最优参数组合和特征向量；然后，利用步骤(5)中获得的特征向量和测试集训练所得的参数组合,重建测试集中的各个光谱，获得重建光谱；最后，计算重建光谱与测试集中原光谱的平均误差和标准偏差，以检测训练集提取特征向量的准确程度。

本发明的有益效果具体如下：

(1)、由于任意反射率光谱能由少数特征向量与其权重系数组合而成，在单幅RGB图像的重建光谱中，低维RGB值重建高维反射率光谱问题即转化为低维RGB值求解反射率光谱的少数维特征向量的权重系数问题；本发明的降维方法可用于前述单幅RGB图像的重建光谱中，通过本发明的降维方法得到的少数维特征向量，用于重建光谱中可以降低重建方程的病态问题，改善了重建的精度和稳定性；

(2)、求解少数维特征向量会受到两方面的影响：一方面是所采用的光谱数据库，本发明实施例中采用了孟塞尔颜色的光谱，它包含了可见范围内的颜色，因此其光谱库包含了几乎所有特征向量的特征；另一方面，降维方法求得的少数维特征向量是否为固定的，即稳定性，本发明的方法可用于任何一个RGB值重建光谱中，求得的特征向量具有普遍性；

(3)、本发明的降维方法，基于含荧光颜色的非线性相关性，通过提取含荧光颜色的非线性特征，利用噪声激活函数非线性主成分分解，将求解N维r(x)的问题转化为求解n维B(x)的问题，又由于n<<<N，大大缓解了病态问题，将本发明应用至Tikhonov正规化方法光谱重建中，可以提高求解的准确率，进而提高了基于彩色数码相机的光谱重建精度；

(4)、本发明的降维方法中，改进了代价函数和验证方法，对模型的复杂度进行了限制，从而避免了过度拟合，使得提取出的少数维特征向量能够更好地用于实际应用中的光谱重建。

具体实施方式

实施例

本实施例提供一种用于单幅RGB图像重建光谱的降维方法，包括以下步骤：

步骤(1)、选取样本集

采用Munsell色卡、潘通荧光尼龙色卡FFN100组成样本集，利用爱色丽Eye-onePro分光光度计测量其样本集中各样本的反射率光谱，获得反射率光谱库。当然，本发明并不仅仅局限于前述设备和样本的应用支持，对于任意能实现前述设备功能的同等性质的设备同样适用。

获取数据时，测量条件设置为：采用0/45测量条件，在测量中通过三次测量求平均的方法减小随机噪声引起的测量误差；同时，为去除在光谱曲线两端由系统误差造成的噪声，以10nm为采样间隔，截取380-780nm范围内光谱反射率，波段数为201用于后续计算；

步骤(2)、设置训练集和测试集

将步骤(1)得到的反射率光谱库的数据分为训练集和测试集，具体为：将反射率光谱库Munsell色卡和潘通荧光尼龙色卡FFN100中奇数组样本作为反射率光谱库的训练集，偶数组样本作为反射率光谱库的测试集，其中训练集样本数量优选为646，测试集样本数量优选为644；

步骤(3)、设置正则化参数集合P和隐藏层数量集合O

本实施例中，设置正则化参数集合为：P＝{1,0.1,0.01,0.001}；

设置隐藏层数量集合为：O＝{10,11,12,13,14}；

步骤(4)、设定提取特征向量数量m，针对训练集，从步骤(3)中P和O中分别任意选择具体正则化参数值p和隐藏层数量值o，利用本发明改进非线性主成份分析方法进行训练，获得n组提取特征向量的模型，每组包含特征向量u_i＝(i＝1，2，…，m)和参数组合

本实施例中，设定提取特征向量数量m＝5,n为20；

为了进一步说明，本步骤(4)中的改进非线性主成份分析方法提取特征值具体如下：

式(10)中J(u)表示本实施例提出的改进的代价函数：

其中，p表示正则化参数，<·>表示向量的平均操作，

表示提取的特征值构成的矩阵，W^(r)表示m×l权重矩阵，下标k＝1，2，…，m，i＝1，2，…，l。r＝[r₁r₂…r_l]^T表示可见光范围内各波长下反射率比构成的反射率光谱，下标l表示反射率光谱的维数。

表示由获得的光谱特征向量利用前馈神经网络方法重构的反射率光谱，其重建公式如下：

f₄表示在神经网络框架下将h^(u)映射成

的过程。h^(u)表示神经网络框架下隐含层神经元，具体计算如下：

h^(u)＝f₃(w^(u)u+b^(u)) 式(13)

其中，f₃表示在神经网络框架下将光谱的特征向量u映射成

的过程。光谱的特征向量u计算如下：

其中，f₂表示在神经网络框架下将隐含层神经元h^(r)映射成光谱特征向量u的过程。隐含层神经元h^(r)计算如下：

h^(r)＝f₁(W^(r)r+b^(r)) 式(15)

其中，f₁表示在神经网络框架下将反射率光谱r映射成h^(r)的过程，

为m维向量。

步骤(5)、

结合步骤(4)获得的n组训练结果，计算每组结果中训练集中所有重建光谱与原光谱的平均误差值，并依据其平均误差值最小的一组，选定其对应的正则化参数值和隐藏层数值，并确定此参数下训练所得的特征向量提取模型为最优模型，以及模型下的特征向量和参数组合也为最优值。

为了进一步说明，本步骤中重建光谱平均误差值

计算如下：

其中，

下标i表示训练集或测试集中第i条光谱，

本实施例中，所得最优正则化参数p为0.001，隐藏层o为12的模型为最优参数模型。

步骤(6)、获取目标特征向量

为缓解训练出的特征向量过度拟合训练集中光谱，在利用最优的正则化参数和层数下，通过步骤(4)中方法对训练集进行k交叉验证，分别获得k组参数组合

和特征向量，并依据最小平均重建误差选取最优训练模型，并获得其模型下的参数组合和特征向量，获得的特征向量即为用于光谱重建的目标特征向量；

本实施例中，优选交叉验证值k为10。

步骤(7)、验证提取的准确度

针对测试集，采用利用步骤(4)中的式(10)～式(15)进行训练，获取测试集的提取特征向量的最优模型，及其参数组合

和特征向量

并且利用步骤(6)中获得的最优特征向量u_i＝(i＝1，2，…，m)和此步骤中的模型和参数组合

重建测试集中的各个光谱，并计算重建光谱与训练集中原光谱的平均误差和标准偏差，以检测训练集提取特征向量的准确程度。

对比例

本发明实施例的方法与现有技术中原始非线性主成分分析(NLPCA)方法对比的具体结果如下表1所示：

表1训练集与测试集RMSE结果比较

本发明的方法，在获取目标特征向量后验证了提取的准确度，基于的验证思想为：如果特征向量提取方法好，它提取的特征向量受数据影响小，即理想上对于训练集和测试集，提取的特征向量也该相同，那么利用训练集的特征向量代替测试集的特征向量时，重建的光谱与原测试光谱越相似，说明在训练集中提取的特征向量越稳定。

如表1所示,本发明实施例提供了证明，可以有效地克服当前方法的不足，提高重建样本集的整体光谱重建精度，并且有效避免模型过拟合。提出一种用于单幅RGB图像重建光谱的降维方法缓解RGB值重建反射率方程的病态问题，用于颜色科学、文物保护、病害检测等诸多领域的光谱图像获取。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种用于单幅RGB图像重建光谱的降维方法，其特征在于，包括以下步骤：包括以下步骤：

步骤(1)、选取样本集，测量样本集中各样本的反射率光谱，获得反射率光谱库；将相邻颜色块的光谱数据分别分为训练集和测试集；

步骤(2)、设置正则化参数集合和隐藏层数量集合；

步骤(3)、设定提取特征向量数量m，针对训练集，从步骤(2)的集合中分别任意选择正则化参数值和隐藏层数值，利用改进的非线性主成份分析方法进行训练，获得n组提取特征向量的模型，每组包含特征向量

{u_i(i＝1，2，…，m)}_j(j＝1，2，…，n)和参数组合

步骤(4)、利用步骤(3)所得各组征向量与参数组合，分别重建训练集中的光谱，并计算各组重建光谱与原光谱的平均误差值，依据平均误差值最小的一组，选定其对应的正则化参数值p和隐藏层数值o；

步骤(5)、利用步骤(4)得到的正则化参数值p和隐藏层数值o，通过利用步骤(3)中改进的非线性主成份分析方法对训练集进行k交叉验证，依据最小平均重建误差值选取最优训练模型，并获得对应的参数组合和特征向量，获得的特征向量即为用于光谱重建的目标特征向量。

2.根据权利要求1所述的用于单幅RGB图像重建光谱的降维方法，其特征在于：所述步骤(3)中的改进的非线性主成份分析方法提取特征值的算法公式如下：

其中，J(u)表示改进的代价函数，p表示正则化参数，<·>表示向量的平均操作，

表示提取的特征值构成的矩阵，W^(r)表示m×l权重矩阵，下标k＝1，2，…，m，i＝1，2，…，l；r＝[r₁ r₂…r_l]^T表示可见光范围内各波长下反射率比构成的反射率光谱，下标l表示反射率光谱的维数；

表示由获得的光谱特征向量利用前馈神经网络方法重构的反射率光谱，其重建公式如下：

f₄表示在神经网络框架下将h^(u)映射成

的过程；h^(u)表示神经网络框架下隐含层神经元，h^(u)的公式为：

h^(u)＝f₃(w^(u)u+b^(u))

其中，f₃表示在神经网络框架下将光谱的特征向量u映射成

的过程；光谱的特征向量u的公式为：

其中，f₂表示在神经网络框架下将隐含层神经元h^(r)映射成光谱特征向量u的过程；隐含层神经元h^(r)的公式为：

h^(r)＝f₁(W^(r)r+b^(r))

其中，f₁表示在神经网络框架下将反射率光谱r映射成h^(r)的过程；

为m维向量。

3.根据权利要求1所述的用于单幅RGB图像重建光谱的降维方法，其特征在于：所述步骤(4)中的平均误差值

计算如下：

4.根据权利要求1所述的用于单幅RGB图像重建光谱的降维方法，其特征在于：所述步骤(5)获取目标特征向量后再验证提取准确度。

5.根据权利要求4所述的用于单幅RGB图像重建光谱的降维方法，其特征在于：所述验证提取准确度的方法为：首先，针对测试集，采用利用步骤(3)中改进的非线性主成份分析方法训练，获取最优参数组合和特征向量；然后，利用步骤(5)中获得的特征向量和测试集训练所得的参数组合,重建测试集中的各个光谱，获得重建光谱；最后，计算重建光谱与测试集中原光谱的平均误差和标准偏差，以检测训练集提取特征向量的准确程度。