CN105842173B - 一种高光谱材质鉴别方法 - Google Patents

Abstract

本发明提出一种高光谱材质鉴别方法，首先搭建标准光源光谱数据库并建立光谱材质标准数据库，标准光源光谱采用差值法与控制变量法获取；然后对需要鉴定的材质拍摄光谱数据信息通过预处理与本征材质信息提取，获得其光谱特性，再与光谱材质标准数据库中数据进行匹配，实现材质的高精度鉴别。该方法能够抵抗不同光照条件、材质形状变化等复杂因素对材质光谱信息的干扰，突破传统RGB以及RGBD相机无法解决的同色异谱、同质异色问题瓶颈，鉴别准确率较高。

Description

一种高光谱材质鉴别方法

技术领域

本发明涉及计算摄像学领域，具体涉及一种利用高维度光谱信息进行近光物体材质鉴别方法。

背景技术

近年来，计算摄像学已经成为计算机视觉，数字信号处理，图形学，深度交叉等研究领域的热点，物质鉴别亦是近几年的研究工作的重点。多年以来基于RGB彩色数据进行物质鉴别的方法与体系日趋完善，其多是基于色度、亮度、轮廓等特性，但是实际上，仅仅利用RGB三个通道的信息，则失去光谱维度上的大量细节以及重要的深度信息，而丰富的光谱信息与深度信息往往能够揭示物体和场景光线的很多特质，也能在很多计算机视觉领域的工作获得长足的进展。

遥感领域早就将高光谱技术引入监测识别应用中，已经取得良好发展。在遥感遥测中，由于太阳光与地球距离很长，光照近乎平行直射，场景光线的变化因素可忽略不计，但是在实际各近光自然场景中，各类点光源、线光源、面光源等与物体距离较近，且物体本身形状变化多样，场景光线变化复杂，近光场景反射光谱信息受光源光谱影响很大，在鉴别时光源光谱干扰很大，故而将高光谱技术应用于近光自然场景物质鉴别依然有较大的研究壁垒。高光谱信息采集系统有红外、紫外、光谱仪等多类设施，但其大多是单功能、且价格昂贵，器材体积较大不便于外携。现有所熟知的光谱分析仪、扫描式光谱成像仪和单次拍摄成像光谱仪等都是通过牺牲空间或者时间分辨率的方式对于光谱分辨率进行补偿，以采集多光谱信息。但采集后数据获取与处理多冗繁复杂，拍摄结果难可视化。

2015年，PMVIS高分辨率光谱采集研究系统被提出，其在牺牲空间分辨率获得附加光谱分辨率的同时，使用双路采集的技术，对场景进行双路采集，从得到的多路数据中重构出高时空分辨率的高光谱视频，实现了一种高光谱采集技术。

近光自然场景物质鉴别现面临两大研究难点。一方面，虽然利用RGB或者RGBD信息已经可以较好鉴别出部分轮廓性、颜色特性明显的材质，但对于典型的“同色异谱”难题、同一材质不同颜色问题，RGB的处理方法完全无法妥善解决。另一方面，高光谱的拍摄数据包含更多细节，更多反映物质本身化学物理材质特性，但是数据抗干扰力差，光强、光源、角度等因素都会直观影响光谱数据，因而直接利用光谱数据进行分类鉴别往往出现边缘性差、分类离散化甚至错误判别等问题。如何减少光照、光源、形状差异等因素，从高维光谱数据中获取真正材质光谱特征？如何依此方法搭建出日常物体的光谱数据库，在数据库基础上实现多类材质鉴别，获得高泛化性的鉴别分类结果？这些都是值得深入探索的研究课题。

发明内容

本发明的目的在于突破RGBD等传统处理方法的问题瓶颈，突破肉眼限制，实现一种利用高维度光谱信息对近光自然场景下的物质进行鉴别的方法，对工业检测、环境监控、食品安全等有重要意义。

为达到上述目的，本发明采用的技术方案为：

一种高光谱材质鉴别方法，包括如下步骤：

(1)搭建标准光源光谱数据库，标准光源光谱采用差值法与控制变量法获取：利用标准色卡白板拍摄光谱数据illumination_white，利用标准色卡黑板拍摄光谱数据illumination_black；基于物理光学吸收与反射原理，标准光源光谱数据illumination_std为：

illumination_std＝illumination_white-illumination_black；

(2)建立光谱材质标准数据库，以多光源和多角度拍摄多种材质物质的光谱数据Original_std：

a)首先利用高光谱成像装置中的彩色成像装置捕获物质空间信息的彩色图像，利用高光谱成像装置同步捕获经过下采样的物质光谱数据，同时利用交叉偏振法去除场景内的冗杂高光；然后对捕获的彩色图像数据以及物质光谱数据进行重建，恢复出高空间和高光谱分辨率的原始数据Original_std；

b)建立数据模型：

Original_std＝Reflectance_std·Shading·Illumination_std+Highlight+Noise

其中，Original_std为矢量，表示原始光谱数据；Reflectance_std为矢量，表示材质数据；Shading为标量，表示光照强度；Illumination_std为矢量，表示光源数据；Highlight为矢量，表示高光数据；Noise为矢量，表示噪声；

c)从原始数据Original_std中，利用均化去燥法除去噪声Noise分量，利用交叉偏振法去除高光数据Highlight分量，并去除标准光源数据Illumination_std；鉴于物体的形状因素会对光谱数据强度造成影响，引入Shading为代表光照强度的标量，即反映光谱强度的乘量因子，将Reflectance_std·Shading进行二范数归一化之后去除向量强度差异，得到同一量度的光谱数据，即标准反映物质本征材质的材质数据Reflectance_std′：

Reflectance_std′＝Norm(Reflectance_std·Shading)

d)对高维度的材质数据Reflectance_std′进行低维投影映射，以最大方差化为条件，正交化材质数据Reflectance_std′，再依据贡献率分布前十维度信息表征材质信息；

(3)利用步骤a)的方法，获得需要鉴别的物质材质的光谱数据Original，并利用步骤c)的方法对数据进行分量剥离，经过步骤d)的处理获取只反映需要鉴别的物质材质信息的材质数据Reflectance；对材质数据Reflectance进行去冗余，以提高计算速度；

(4)将步骤(3)得到的材质数据Reflectance与步骤(2)中建立的光谱材质数据库Reflectance_std进行特征匹配，利用光谱材质数据库中典型特征构成光谱特征分类模型，实现对材质的鉴别；

(5)由步骤(4)所确定的鉴别结果，为提高可视性与边缘轮廓可读性，利用RGB空间信息对鉴别结果轮廓进行优化。对RGB三通道进行均化得到高空间分辨率灰度信息G，对G无监督过分割为n个空间块。以空间块为约束结合步骤(4)鉴别结果逐个判断每一个空间块整体的光谱特性，输出修正鉴别结果。

所述高光谱成像装置的拍摄波长范围为410nm～700nm。

所述步骤(4)中，进行特征匹配具体包括如下过程：

1)以人机交互界面显示方式，利用人工强先验信息选取拍摄的每类材质的特征样本点，每类材质为一组特征点，多类材质形成多组特征点，经过判别、筛选和参数调节训练出最优分类模型；

2)将权利要求1中步骤(3)得到的材质数据Reflectance放入最优分类模型中进行测试鉴别，得到对应材质类别的鉴别结果。

所述步骤(2)中，采用的光源为阳光、卤素灯、荧光灯、碘钨灯、白炽灯与LED灯。

所述步骤(5)中，先利用RGB空间信息进行无监督学习过分割，过分割之后以每一个分割块为单位，结合块内光谱类别分布进行块的光谱类别鉴别，统一块内光谱类别，改善纯光谱数据分割时的边缘性差等问题，输出修正鉴别结果。

本发明可以实现对近光自然场景的物质材质进行有效识别，具有以下优点：

(1)利用系列预处理方法分离物质模型的各参量，减少近光条件下光源光照强度、角度、复杂形状遮挡等因素造成的干扰。

(2)本方法特征提取较为准确，采用人工选取特征点，比以往所有方法中采用随机采样作为训练数据的方法引入的噪声更小，分类模型更准确，泛化性更强。

(3)对RGB领域所无法解决的同色异谱等问题可以得到极好的解决。

本发明能突破传统RGB以及RGBD相机无法解决的同色异谱、同质异色问题瓶颈，鉴别准确率较高，在工业检测等领域有重大意义。

附图说明

图1为本发明实施例的光谱数据采集系统PMVIS系统；

图2为本发明实施例所建立光谱材质数据库部分材质展示图；

图3为本发明实施例的同色异谱典型问题图；

图4为本发明实施例的不同材质迷彩服材质鉴别结果，(a)为RGB信息鉴别结果，(b)为高光谱信息鉴别结果。

图5为本发明方法的流程图。

具体实施方式

本发明首先搭建标准光源光谱数据库并建立光谱材质标准数据库，标准光源光谱采用差值法与控制变量法获取；然后对需要鉴定的材质拍摄光谱数据信息通过预处理与本征材质信息提取，获得其光谱特性，再与光谱材质标准数据库中数据进行匹配，实现材质的高精度鉴别

本实施例的方法利用PMVIS高光谱成像装置，同时捕获物质高光谱信息和彩色空间信息。如图1所示，PMVIS高光谱成像装置可以分为10个模块，其中由第一透镜2、掩膜3、第二透镜4构成稀疏采样成像阵列1。该装置包括两路光路，一路由稀疏采样成像阵列1、分光装置5、灰度成像装置6、光谱光路采集装置7获取低分辨率的光谱图像。一路包括彩色成像装置8和彩色光路采集转置9，用以获取高分辨率的彩色图像。由信息联合处理装置10对两路信息进行处理，重建出包括高空间分辨率、高光谱分辨率场景光谱信息。其中，灰度成像装置6采用灰度相机用于捕获物质高光谱信息，彩色成像装置8采用彩色CCD相机用于捕获物质彩色空间信息。分光装置5利用阿米西棱镜分光，可一次性采集可见光波段物质多波段光谱图像和视频，比现有多光谱物质材质识别装置更简单、低成本、精度更高。该装置同时捕获物体的彩色空间信息与稀疏采样的高光谱信息，利用采样点高光谱数据与RGB高空间分辨率数据重构出高空间、光谱分辨率数据用于材质鉴别。

本发明首先利用预处理方法去除高光谱数据的多重冗余信息，提取本征材质信息，其次搭建标准光谱数据库，建立以特征点为训练集的分类模型，利用分类模型进行材质识别，若找到一个数据库中存储的材质信息与该物质光谱特征匹配，对其进行类别鉴定。由于光谱信息的冗余性较强，为提高光谱鉴别结果边缘可视性，在光谱数据进行材质鉴别后，再利用空间彩色信息用于边缘以及轮廓的优化。

如图5所示，本实施例的高光谱材质鉴别方法，通过多类途径进行综合判定。一路分别建立标准光源数据库、标准材质光谱数据库；另一路对已经拍摄的初始数据进行多项预处理后与数据库进行特征匹配，再以空间RGB信息辅助优化边缘性，输出可视化鉴别结果。具体高光谱材质鉴别方法的流程为：

步骤(1)搭建标准光源光谱数据库，标准光源光谱采用差值法与控制变量法获取：利用标准色卡白板拍摄光谱数据illumination_white，利用标准色卡黑板拍摄光谱数据illumination_black；对以上光源光谱多次拍摄后算术平均，基于物理光学吸收与反射原理，标准光源光谱数据illumination_std为：

illumination_std＝illumination_white-illumination_black；

步骤(2)建立光谱材质标准数据库，在标准双光源对称放置的位置下，以多光源和多角度不同环境下，在PMVIS相机焦距对焦距离点处，拍摄对象的稀疏采样光谱，并通过系统重建得到拍摄对象的原始光谱数据Original_std：

a)首先利用高光谱成像装置中的彩色成像装置捕获物质空间信息的彩色图像，利用高光谱成像装置同步捕获经过下采样的物质光谱数据，同时利用交叉偏振法去除场景内的冗杂高光；然后对捕获的彩色图像数据以及物质光谱数据进行重建，恢复出高空间和高光谱分辨率的原始数据Original_std；

b)建立数据模型：

Original_std＝Reflectance_std·Shading·Illumination_std+Highlight+Noise

其中，Original_std为矢量，表示原始光谱数据；Reflectance_std为矢量，表示材质数据；Shading为标量，表示光照强度；Illumination_std为矢量，表示光源数据；Highlight为矢量，表示高光数据；Noise为矢量，表示噪声；

c)从原始数据Original_std中，利用均化去燥法除去噪声Noise分量，利用交叉偏振法去除高光数据Highlight分量，并去除标准光源数据Illumination_std。鉴于物体的形状因素会对光谱数据强度造成影响，从图4的处理数据来看，最大最小值分布在0～200之间，数据分布量度不一致。故引入Shading为代表光照强度的标量，即反映光谱强度的乘量因子，将Reflectance_std·Shading进行二范数归一化之后去除向量强度差异，得到同一量度的光谱数据，即标准反映物质本征材质的材质数据Reflectance_std′＝(R₁,R₂,......,R₅₉)：

Reflectance_std′＝Norm(Reflectance_std·Shading)

即对每一点数据D＝Reflectance_std·Shading的59维数据按照如下公式计算：

d)由于材质光谱信息Reflectance_std′的高维度性，多维度信息间相关性强，冗余度大。将高维数据进行去相关处理：Reflectance_std′(R₁,R₂,R₃,...,R₅₉)→Reflectance_std″(R₁',R₂',R₃',...,R₅₉')。

R₁'＝a₁₁R₁+a₂₁R₂+....+a₅₉₁R₅₉

R₂'＝a₁₂R₁+a₂₂R₂+....+a₅₉₂R₅₉

R₅₉'＝a₅₉₁R₁+a₅₉₂R₂+....+a₅₉₅₉R₅₉

R₁',R₂',....,R₅₉'两两独立，cov(R_i',R_j')＝0

以最大方差化为条件即var(R₁')≥var(R₂')≥......≥var(R₅₉')正交化Reflectance_std′数据。数据变换后依据其特征值对角矩阵计算贡献率：取贡献率排行分布前十维度信息表征材质信息。依此方法建立如图2所示的多类光谱材质数据库，包括真假类材料(如真假花、香蕉、苹果、橙子)、多类塑料制品(聚乙烯(PE)、聚丙烯(PP)、聚氯乙烯(PVC)、聚苯乙烯(PS)及丙烯腈─丁二烯─苯乙烯共聚合物(ABS))、陶瓷、木质(人造板、红松、柳木)、植物(梧桐树、芦荟、仙人掌、香樟、毛白杨等)、金属(金、铁、合金、铜、铝合金制品)、纸品(书纸、铜版纸、灰卡纸、白卡纸)、布料(尼龙、全棉、呢绒、亚麻、丝绸、人造皮、化纤、太空棉、冰丝等制品)、石膏。

步骤(3)利用步骤a)的方法，获得需要鉴别的物质材质的光谱数据Original，并利用步骤c)的方法对数据进行分量剥离，获取只反映需要鉴别的物质材质信息的材质数据Reflectance；对材质数据Reflectance进行去冗余，以提高计算速度；

(4)将步骤(3)得到的材质数据Reflectance与步骤(2)中建立的光谱材质数据库Reflectance_std进行特征匹配，利用光谱材质数据库中典型特征构成光谱特征分类模型，实现对材质的鉴别；

a)不同于以往机器学习训练随机采样特定百分比的方法，本方法以人机交互界面显示方式利用人工强先验选取每类材质的特征样本点，每类材质一组特征点，多类材质多组特征点，经过判别、筛选、参数调节训练出最优分类为三项式模型：t＝1，d＝3。

b)将新材质信息Reflectance放入分类模型中进行测试鉴别，不同鉴别结果予以不同颜色标注，可视化对应材质类别的鉴别结果。

(5)由步骤(4)所确定的鉴别结果，为提高可视性与边缘轮廓可读性，利用RGB空间信息对鉴别结果轮廓进行优化。对RGB三通道进行均化得到高空间分辨率灰度信息G，对G无监督过分割为p个空间块。例Custer1中，分类为1类的像素点为num1，分类为2的像素点为num2，分类为3的像素点为num3，(num1，num2，num3，……nump)对以上序列排序，取最大值所对应类别为此Cluster的最终鉴别类别。以空间块为约束结合步骤(4)鉴别结果逐个判断每一个空间块整体的光谱特性.输出优化鉴别结果。如图3所示，经典“同色异谱”现象，一个复杂场景中有相同绿色的塑料、衣服等物质。如图4(a)图为利用RGB信息进行分割处理的结果，(b)为利用本发明进行分割处理的结果。对比结果发现本方法可以实现材质的高精度鉴别，能够抵抗不同光照条件、材质形状变化等复杂因素对材质光谱信息的干扰，突破传统RGB以及RGBD相机无法解决的同色异谱、同质异色问题瓶颈，鉴别准确率较高。

上述实施例仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和等同替换，这些对本发明权利要求进行改进和等同替换后的技术方案，均落入本发明的保护范围。

Claims (5)

1.一种高光谱材质鉴别方法，其特征在于，包括如下步骤：

(1)搭建标准光源光谱数据库，标准光源光谱采用差值法与控制变量法获取：利用标准色卡白板拍摄光谱数据illumination_white，利用标准色卡黑板拍摄光谱数据illumination_black；基于物理光学吸收与反射原理，标准光源光谱数据illumination_std为：

illumination_std＝illumination_white-illumination_black；

(2)建立光谱材质标准数据库，以多光源和多角度拍摄多种材质物质的光谱数据Original_std：

a)首先利用高光谱成像装置中的彩色成像装置捕获物质空间信息的彩色图像，利用高光谱成像装置同步捕获经过下采样的物质光谱数据，同时利用交叉偏振法去除场景内的冗杂高光；然后对捕获的彩色图像数据以及物质光谱数据进行重建，恢复出高空间和高光谱分辨率的原始数据Original_std；

b)建立数据模型：

Original_std＝Reflectance_std·Shading·Illumination_std+Highlight+Noise

其中，Original_std为矢量，表示原始光谱数据；Reflectance_std为矢量，表示材质数据；Shading为标量，表示光照强度；Illumination_std为矢量，表示光源数据；Highlight为矢量，表示高光数据；Noise为矢量，表示噪声；

c)从原始数据Original_std中，利用均化去燥法除去噪声Noise分量，利用交叉偏振法去除高光数据Highlight分量，并去除标准光源数据Illumination_std；鉴于物体的形状因素会对光谱数据强度造成影响，引入Shading为代表光照强度的标量，即反映光谱强度的乘量因子，将Reflectance_std·Shading进行二范数归一化之后去除向量强度差异，得到同一量度的光谱数据，即标准反映物质本征材质的材质数据Reflectance_std′：

Reflectance_std′＝Norm(Reflectance_std·Shading)

d)对高维度的材质数据Reflectance_std′进行低维投影映射，以最大方差化为条件，正交化材质数据Reflectance_std′，再依据贡献率分布前十维度信息表征材质信息；

(3)利用步骤a)的方法，获得需要鉴别的物质材质的光谱数据Original，并利用步骤c)的方法对数据进行分量剥离，经过步骤d)的处理获取只反映需要鉴别的物质材质信息的材质数据Reflectance；对材质数据Reflectance进行去冗余，以提高计算速度；

(4)将步骤(3)得到的材质数据Reflectance与步骤(2)中建立的光谱材质数据库Reflectance_std进行特征匹配，利用光谱材质数据库中典型特征构成光谱特征分类模型，实现对材质的鉴别；

(5)由步骤(4)所确定的鉴别结果，为提高可视性与边缘轮廓可读性，利用RGB空间信息对鉴别结果轮廓进行优化；对RGB三通道进行均化得到高空间分辨率灰度信息G，对G无监督过分割为n个空间块；以空间块为约束结合步骤(4)鉴别结果逐个判断每一个空间块整体的光谱特性，输出修正鉴别结果。

2.根据权利要求1所述的一种高光谱材质鉴别方法，其特征在于，所述高光谱成像装置的拍摄波长范围为410nm～700nm。

3.根据权利要求1或2所述的一种高光谱材质鉴别方法，其特征在于，所述步骤(4)中，进行特征匹配具体包括如下过程：

1)以人机交互界面显示方式，利用人工强先验信息选取拍摄的每类材质的特征样本点，每类材质为一组特征点，多类材质形成多组特征点，经过判别、筛选和参数调节训练出最优分类模型；

2)将权利要求1中步骤(3)得到的材质数据Reflectance放入最优分类模型中进行测试鉴别，得到对应材质类别的鉴别结果。

4.根据权利要求1或2所述的一种高光谱材质鉴别方法，其特征在于，所述步骤(2)中，采用的光源为阳光、卤素灯、荧光灯、白炽灯与LED灯。

5.根据权利要求1或2所述的一种高光谱材质鉴别方法，其特征在于，所述步骤(5)中，先利用RGB空间信息进行无监督学习过分割，过分割之后以每一个分割块为单位，结合块内光谱类别分布进行块的光谱类别鉴别，统一块内光谱类别，改善纯光谱数据分割时的边缘性差的问题，输出修正鉴别结果。