CN106067171A - 一种高光谱图像本质分解和图像分割方法 - Google Patents

Abstract

本发明提出一种高光谱图像本质分解和图像分割方法，具体步骤为：S1:将人造光源下的自然物体的高光谱图像分解为四种独立本质成分：光源信息、几何信息、材料特性、高光信息，并对其进行数学关系表述；S2:获取自然场景中多种不同材质物体的高光谱图像，对图像进行如步骤S1的本质分解，并建立基于标定数据的高光谱图像本质分解数据库；S3:提取步骤S1中获得的独立本质成分中的材料特性，采用无监督学习方法进行高光谱图像分割。本发明能够有效降低非平行光源和复杂几何纹理等影响，获得更好的图像分割效果；并为其他可视化研究如物体追踪、场景光源重建等提供数据获取方法和标定数据库(Ground Truth)支持。

Description

一种高光谱图像本质分解和图像分割方法

技术领域

本发明涉及图像处理领域，特别涉及一种基于标定数据的高光谱图像本质分解和图像分割方法。

背景技术

高光谱成像技术一直广泛用于遥感成像，利用成像光谱仪以纳米级光谱分辨率，通过几十个光谱波段同时对地表物体进行成像，获取其连续光谱信息，从而实现地表物体空间信息和光谱信息的同步获取。但是不同于平行太阳光下的遥感成像，自然场景下近景物体包含几何纹理、交叉反射、复杂人造光源等复杂本质成分，因此如何有效获取自然近景物体的高光谱信息是一个很重要的科学问题。从这一问题出发，对于自然场景下的高光谱图像处理研究得到了广泛的关注并产生了很多实用的技术方法，应用于材料、环境、视觉等诸多领域。

随着高光谱成像技术的快速发展及其广泛应用，越来越多针对现实生活视觉应用的光谱成像逐渐大众化，其相对于传统基于红、绿、蓝三通道成像技术具有更丰富的多光谱通道，能够获取更多的图像本质信息，从而进一步应用于图像分割、识别和追踪等。近年来，高光谱图像分割技术也由于机器学习的兴起而日益受到关注，但是近景图像中的复杂光源影响和物体表面纹理特征使得基于无监督学习的高光谱图像分割受到较大干扰。传统研究方法依旧沿用遥感成像的一致光源假设，忽略近场光源影响，并且将几何纹理、复杂阴影、材料反射和高光统归于材料特性，这些外界干扰信息极大破坏了高光谱图像分割的精确度，其结果甚至差于依赖色彩敏感度的RGB图像分割。

发明内容

为了得到高光谱图像的本质信息，将环境干扰降到最低，本发明提出了一种高光谱图像本质分解和图像分割方法。

为达到上述目的，本发明采用的技术方案为：

一种高光谱图像本质分解和图像分割方法，包括步骤如下:

S1:分别将两种人造光源下的自然物体的高光谱图像分解为四种独立本质成分：光源信息、几何信息、材料特性、高光信息，所述四种独立本质成分满足以下数学关系：

I(x，λ)＝L(λ)*s(x)*R(x，λ)+H(x，λ)

其中I(x，λ)为自然物体的高光谱原始数据，L(λ)为人造光源的光谱强度曲线，即为光源信息；s(x)为物体的灰度阴影图像，即为几何信息；R(x，λ)为物体去除表面几何纹理后的光谱反射特性，即为材料特性；H(x，λ)为自然物体在光照环境下发生的镜面反射的光谱曲线，即为物体表面高光信息；

S2:获取自然场景中多种不同材质物体的高光谱图像，然后对每一幅图像进行如同步骤S1的本质分解，并作为标定数据，建立基于标定数据的高光谱图像本质分解数据库；

S3:提取步骤S1中获得的独立本质成分中的材料特性，采用无监督学习方法进行高光谱图像分割。

步骤S1中，采用交叉偏振法和喷漆覆盖方法进行分解，具体步骤如下：

1)将白色的油漆喷覆在白色的平坦表面上，由高光谱相机分别获取两种人造光源和平坦表面上油漆的光谱曲线，光源光谱即为表示光源信息的独立本质成分；2)使用交叉偏振法，即将偏振滤波片分别放置于光谱相机和光源处并使其相互垂直，从而分离出在两种人造光源下，所拍摄物体分别对应的朗伯散射和高光反射两种独立成分；3)采用喷漆覆盖方法，即将步骤1)中所述油漆均匀喷覆在拍摄物体的表面，去除物体本身的纹理变化影响以及步骤1)中的光源成分，从而从步骤2)的朗伯散射中进一步分解出材料特性和几何纹理两种独立本质成分；4)通过上述步骤1)至3)，最终可以分解出自然物体高光谱图像的光源信息、几何信息、材料特性和高光信息四种独立本质成分。

本发明通过采用基于标定数据的方法对高光谱图像进行本质分解以及图像分割，可以去除光照、几何、镜面反射等干扰信息，获取高光谱图像的多维本质特征，对表征材料特性的独立成分进行图像分割，从而有效降低近景高光谱图像中非平行光源和复杂几何纹理等影响，获得远高于传统高光谱图像分割方法的图像分割效果；并且为其他可视化研究如物体追踪、场景光源重建等提供数据获取方法和标定数据数据库支持。除此之外，利用本方法将高光谱图像分解出的各独立成分也都有巨大的应用前景，如场景光源重建，三维建模等。

附图说明

图1为本发明一种高光谱图像本质分解和图像分割方法的流程图。

图2为本发明实施例中所使用光源和喷漆的光谱曲线信息；图(a)(b)中的上图分别为LED光源和碘钨灯光源，下图分别为对应的光谱曲线图，图(c)中的上图为喷漆在两种光源下分别进行拍摄，下图为去除光源干扰得到的光谱特性曲线。

图3为本发明实施例的高光谱图像本质分解结果的灰度可视化表示；(a)为原图original，(b)朗伯散射diffuse，(c)几何纹理shading，(d)材料特性reflectance和(e)高光信息specularity。

图4为本发明所建立的高光谱图像本质分解数据库的灰度可视化表示；图中的7行分别对应的物体为(a)魔方、(b)多啦A梦、(c)石膏雕塑、(d)猫头鹰、(e)桃子、(f)兔子、(g)大白；图中5列从左到右分别为原图、朗伯散射、几何纹理、材料特性、高光信息。

图5为本发明实施例的高光谱图像分割与传统光谱图像分割结果比较示意图；(a)为本发明分割方法(b)为传统光谱图像分割方法；(a)和(b)图中，上幅图为LED光源，下幅图为碘钨灯光源。

具体实施方式

图1为本发明一种高光谱图像本质分解和图像分割方法的流程图。包括以下步骤：

步骤S101，提出一种高光谱图像本质分解方法思路：将自然物体的高光谱图像分解为四种独立本质分解成分，并对其进行数学关系表述。

具体地，该方法旨在对高光谱图像中的光谱成分进行分析，分解出各个独立成分：光源信息(Illumination)、几何信息(Shading)、材料特性(Reflectance)、高光信息(Specularity)。从而去除其相互干扰。首先，通过高分辨率光谱相机捕获的自然物体的高光谱图像可以分解为朗伯散射(Lambertian diffuse)和高光反射(specularity)H(x,λ)两个独立成分，高光部分表示物体表面发生镜面反射的光线束；其次，朗伯散射成分可以进一步分解为三种本质成分：光源信息(Illumination)L(λ)、表示物体几何纹理信息的灰度阴影图像(Shading)s(x)和反应物体材质信息的反射特性(Reflectance)R(x,λ)。本高光谱本质分解方法中各独立成分的数学关系表述为：

步骤S102，根据S101的思路，采用交叉偏振法和喷漆覆盖方式获取两种人造光源下高光谱图像的各本质分解成分。高光谱图像的获取包括所拍摄物体的高光谱图像、光源的高光谱图像和白色喷漆的高光谱图像。

具体而言，将传统遥感光谱成像中的平行太阳光假设扩展至任意光照条件，通过物理标记过程获取所拍摄物体的各个独立本质成分，该过程使用了交叉偏振法和喷漆覆盖方式。

在本发明的一个实施例中，选取两种典型人造光源:5500k色温的白光LED和3500k色温的暖色调碘钨灯ITL。直接将两种光源暴露于光谱相机下，获取其光谱信息L；图2(a)(b)分别为LED和碘钨灯两种光源各自的光谱曲线。选取一种白色喷漆，将其均匀喷附于白纸上，用光谱相机直接对其进行拍摄，获取其光谱信息I_oil。由于该白纸表面的平坦特性，其几何成分shading可以认为是均一的，且不含有高光成分。对于白纸上的每个像素，其材料特性光谱可以表示为：

$R_{oil}=\frac{I_{oil}}{L}---\left(2\right)$

图2(c)即为喷漆在两种光源下分别进行拍摄后去除光源干扰得到的光谱特性曲线。如图2(c)所示，喷漆的光谱特性曲线不受光照环境的影响，两种人造光源下喷漆的光谱特性完全一致。

通过使用高分辨率光谱相机，分别对上述两种人造光源下的自然物体进行光谱数据拍摄，获取其在450-700nm波段的高光谱图像I_orig。

通过使用交叉偏振法，将偏振滤波片分别放置于光谱相机和光源处并使其相互垂直，再次进行光谱图像拍摄，获取的图像即为物体的朗伯散射I_diff。从而原图像被分解为朗伯散射I_diff和高光I_spec：

I_spec＝I_orig-I_diff (3)

将拍摄物体表面进行均匀喷漆，去除物体本身的纹理变化影响，并继续使用交叉偏振法去除高光成分影响，再进行重新拍摄。喷漆后的图像即为物体的几何信息，标注为I_shad。根据上述数学关系表述，则I_shad和I_diff之间存在如下关系：

I_shad＝L*s_obj*R_oil (4)

I_diff＝L*s_obj*R_obj (5)

其中R_obj和R_oil分别表示原物体和喷漆后物体的材料特性，油漆的材料特性R_oil不可忽略，因为其光谱不是严格的平行白光光谱；s_obj表示物体的几何信息。结合式(4)和式(5)，可以得到物体的材料特性项R_obj和几何纹理项s_obj：

$R_{obj}=\frac{I_{diff}*R_{oil}}{I_{shad}}---\left(6\right)$

$s_{obj}=\frac{\left|\right|I_{shad}|{|}_2}{\left|\right|R_{oil}*L|{|}_2}---\left(7\right)$

在场景搭建过程中，为了降低不同物体间的交叉反射影响，场景周围用黑布完全覆盖，整个拍摄过程都在暗室中进行。图3为本发明实施例的高光谱图像本质分解结果的灰度可视化表示。如图3所示，将标记物体的各本质分解成分进行灰度图像可视化表示，可以很明显的看出图(d)材料特性中完全去除了物体的几何纹理信息。

步骤S103，对自然场景中多种不同材质的物体进行拍摄，建立首个基于标定数据的高光谱图像本质分解数据库。

具体地，对现实场景中常见的材料进行拍摄，包括塑料(多啦A梦、魔方和大白)、陶瓷(猫头鹰和兔子)、纤维素(桃子)以及硫酸钙化合物(石膏雕塑)，分别对以上物体进行本质图像分解过程，从而建立首个基于标定数据的高光谱图像本质分解数据库，供后续图像处理或场景光源重建等使用。

图4为根据本发明所建立的首个高光谱图像本质分解数据库的灰度可视化表示。对每一个物体，都在两种光照环境下进行：5500K的LED和3500K的碘钨灯。通过将光源放置在拍摄场景的不同位置，可以为标定数据(Ground Truth)的捕捉创造不同的光照条件，从而获得物体不同角度的各本质分解成分。

步骤S104，根据上述高光谱图像本质分解方法，提取独立成分材料特性(Reflectance)R_obj，为了去除人工标记影响，采用无监督学习中的Kmeans聚类方法进行图像分割，并与原光谱图像分割结果进行比较，确认其优势。

具体地，对表征物体材料特性的独立成分Reflectance进行Kmeans聚类分割，再直接对原光谱图像进行Kmeans聚类，将两个分割结果进行比较和分析。

在本发明的一个实施例中，通过在两种人造光源LED和碘钨灯下分别对实物桃子的独立成分材质特性进行Kmeans聚类分割，并进行灰度可视化显示；再对桃子两份未经处理的原光谱数据进行Kmeans聚类和灰度可视化显示，分别获取两种不同光源下的原光谱图像和本质分解后反映材料特性光谱数据的分割结果并进行比较。图5为根据本发明一个实施例的高光谱图像分割与传统光谱图像分割结果比较示意图。如图5(a)所示，光谱独立成分Reflectance在LED和碘钨灯两种光源下都分割极好；如图5(b)所示，原光谱数据在LED光源下分割较好，但是在碘钨灯下分割较差，物体表面存在明显的阴影，该物体因此被错分为两种不同材质。

根据本发明实施例的方法，通过采用标定数据的高光谱图像本质分解和图像分割方法，从而得到高光谱图像的各独立本质成分，进一步获得远高于传统光谱分割的图像分割效果。

Claims (3)

1.一种高光谱图像本质分解和图像分割方法，其特征在于，包括步骤如下:

S1:分别将两种人造光源下的自然物体的高光谱图像分解为四种独立本质成分：光源信息、几何信息、材料特性、高光信息，所述四种独立本质成分满足以下数学关系：

I(x，λ)＝L(λ)*s(x)*R(x，λ)+H(x，λ)

其中I(x，λ)为自然物体的高光谱原始数据，L(λ)为人造光源的光谱强度曲线，即为光源信息；s(x)为物体的灰度阴影图像，即为几何信息；R(x，λ)为物体去除表面几何纹理后的光谱反射特性，即为材料特性；H(x，λ)为自然物体在光照环境下发生的镜面反射的光谱曲线，即为物体表面高光信息；

S2:获取自然场景中多种不同材质物体的高光谱图像，然后对每一幅图像进行如同步骤S1的本质分解，并作为标定数据，建立基于标定数据的高光谱图像本质分解数据库；

S3:提取步骤S1中获得的独立本质成分中的材料特性，采用无监督学习方法进行高光谱图像分割。

2.如权利要求1所述的一种高光谱图像本质分解和图像分割方法，其特征在于，步骤S1中，采用交叉偏振法和喷漆覆盖方法进行分解，具体步骤如下：

1)将白色的油漆喷覆在白色的平坦表面上，由高光谱相机分别获取两种人造光源和平坦表面上油漆的光谱曲线，光源光谱即为表示光源信息的独立本质成分；

2)使用交叉偏振法，即将偏振滤波片分别放置于光谱相机和光源处并使其相互垂直，从而分离出在两种人造光源下，所拍摄物体分别对应的朗伯散射和高光反射两种独立成分；

3)采用喷漆覆盖方法，即将步骤1)中所述油漆均匀喷覆在拍摄物体的表面，去除物体本身的纹理变化影响以及步骤1)中的光源成分，从而从步骤2)的朗伯散射中进一步分解出材料特性和几何纹理两种独立本质成分；

4)通过上述步骤1)至3)，最终可以分解出自然物体高光谱图像的光源信息、几何信息、材料特性和高光信息四种独立本质成分。

3.如权利要求1或2所述的一种高光谱图像本质分解和图像分割方法，其特征在于，所述无监督学习方法采用Kmeans聚类方法。