CN103973980A - 一种基于数码相机的多光谱图像获取方法 - Google Patents

Abstract

本发明公开了一种基于数码相机的多光谱图像获取方法。首先搭建具有良好照明均匀性及稳定性的照明拍摄环境，并对数码相机焦距、白平衡、光圈、快门速度、ISO值等参数进行手动设置。在此基础上获取训练样本色卡及目标样本的数字化图像。然后采用基于局部训练样本的多项式模型实现RGB值到XYZLMS值的预测，最后采用伪逆法实现XYZLMS值到光谱值的预测，最终实现基于数码相机的多光谱图像获取。本发明可以广泛应用于文物古迹、文化艺术品、历史文档等的数字化典藏，机器视觉、远程医疗、光谱颜色管理、动植物病虫害检测等应用中多光谱图像的获取。

Description

一种基于数码相机的多光谱图像获取方法

技术领域

本发明属于图像处理领域，具体涉及一种基于普通商用数码相机的多光谱图像获取方法，该方法可以广泛应用于文物古迹、文化艺术品、历史文档等的数字化典藏，机器视觉、远程医疗、光谱颜色管理、动植物病虫害检测等应用中多光谱图像的获取。

背景技术

随着数字信息技术的全面、系统、纵深化发展，实际生产生活应用中对源物体颜色信息的采集精度要求越来越高。例如在文物古迹、文化艺术品、历史文档的数字典藏应用领域，随着时间的推移文物艺术品难免出现风化霉变褪色等现象，迫切需要高保真地永久数字储藏艺术瑰宝的完整原始颜色信息。在机器视觉、远程医疗、光谱颜色管理、动植物病虫害检测等应用领域，也需要尽可能准确的获取目标物体的光谱颜色信息，以方便准确地对其相关信息进一步分析和处理。传统的基于三原色的物体颜色信息采集技术只能在特定的照明观察环境下实现物体三维颜色信息获取，这限制了诸如文物古迹、文化艺术品、历史文档的数字典藏以及机器视觉、远程医疗、光谱颜色管理、动植物病虫害检测等对物体颜色信息有较高要求应用领域的快速发展。

多光谱系统能够获取目标物体的光谱颜色信息，可以有效解决基于三原色的物体颜色信息采集技术中存在的问题。多光谱系统主要包括光源、滤光片和传感器三个核心要素。目前主要有三种方式搭建多光谱系统，分别为“N个窄带光源－传感器”、“光源－N个窄带滤光片－传感器”和“光源－N个窄带传感器”(N为通道个数)。其中最典型的为“光源－N个窄带滤光片－传感器”这种通过滤光片获取多个通道光谱图像信息的系统，主要有转轮和液晶调谐两种滤光片实现方式。转轮法将各个滤光片分别放置在转轮上，只需将滤光片旋转到传感器前方拍摄即可获得该通道对应的多光谱图像，其结构简单直观，但系统较庞大，且拍摄一幅图像需通过机械方式转动转轮，效率较低，因此近年来逐渐被液晶调谐滤光片所代替，该方式可以迅速调节滤光片的峰值波长及带宽，获取多光谱图像的效率较高。“N个窄带光源－传感器”系统则通过N个窄带LED光源获取多光谱图像，主要用在固定光源照明的扫描仪系统上，该方式获取多光谱图像的速度及精度较高，但对任意照明环境下的对象不适用，且对拍摄对象的形状有特殊要求。“光源－N个窄带传感器”则通过N个传感器获得多光谱图像，该系统获取多光谱图像的效率较高，但却存在各个传感器获得图像对准困难的问题。无论采用何种方式获取多光谱图像，目前的多光谱系统均不同程度地存在结构复杂庞大、价格昂贵、效率较低等问题。

数码相机在人们日常生活和工农业生产中取得了广泛应用，具有成本低、体积小、方便实用等优点。如果能够利用数码相机获取目标物体的多光谱图像，则可以很大程度上促进文物古迹、文化艺术品、历史文档等的数字化典藏以及机器视觉、远程医疗、光谱颜色管理、动植物病虫害检测等应用领域的发展。普通商用数码相机只有3个通道，而有效表征物体的光谱颜色信息需要31维数据，如何基于3维数据重构31维数据是能否采用数码相机有效获取目标物体多光谱图像的关键核心技术。本发明首先将数码相机3维数据映射到XYZLMS空间中的6维数据，在此基础上估计出能够表示物体光谱反射比信息的31维数据，该发明能够准确获取目标物体的多光谱图像。

发明内容

本发明针对现有技术的不足，提出了一种基于数码相机的多光谱图像获取方法。具体步骤如下：

步骤一：在具体应用环境中搭建一个照明均匀及稳定的照明拍摄环境；

步骤二：手动调节数码相机焦距、白平衡、光圈、快门速度、ISO值，使得拍摄目标能够清晰成像，拍摄图像无偏色，拍摄过程及结果具有良好的重复性；

步骤三：制作用于获取模型参数的训练样本色卡，训练样本色卡介质应与待测量目标样本介质相同，训练样本色卡中的色块颜色分布范围能够包含测量目标颜色样本的颜色，训练样本色卡中色块颜色均匀分布在颜色空间中。

步骤四：根据期望优先在目标照明体或光源下准确获取目标样本的多光谱图像，挑选两个照明体或光源。

步骤五：测量训练样本色卡中各个色块的光谱反射比，并按照式(1)-(4)计算在两个选定的照明体或光源下各个色块的XYZLMS值；

$\left\{\begin{array}{c}X=k_1{\∫}_{{\mathrm{\λ}}_{\min }}^{{\mathrm{\λ}}_{\max }}{I}_1\left(\mathrm{\λ}\right)\stackrel{\‾}{x}\left(\mathrm{\λ}\right)r\left(\mathrm{\λ}\right)\mathrm{d\λ}\\ Y=k_1{\∫}_{{\mathrm{\λ}}_{\min }}^{{\mathrm{\λ}}_{\max }}{I}_1\left(\mathrm{\λ}\right)\stackrel{\‾}{y}\left(\mathrm{\λ}\right)r\left(\mathrm{\λ}\right)\mathrm{d\λ}\\ Z=k_1{\∫}_{{\mathrm{\λ}}_{\min }}^{{\mathrm{\λ}}_{\max }}{I}_1\left(\mathrm{\λ}\right)\stackrel{\‾}{z}\left(\mathrm{\λ}\right)r\left(\mathrm{\λ}\right)\mathrm{d\λ}\end{array}\right.,---\left(1\right)$

$\left\{\begin{array}{c}L=k_2{\∫}_{{\mathrm{\λ}}_{\min }}^{{\mathrm{\λ}}_{\max }}{I}_2\left(\mathrm{\λ}\right)l\left(\mathrm{\λ}\right)r\left(\mathrm{\λ}\right)\mathrm{d\λ}\\ M=k_2{\∫}_{{\mathrm{\λ}}_{\min }}^{{\mathrm{\λ}}_{\max }}{I}_2\left(\mathrm{\λ}\right)m\left(\mathrm{\λ}\right)r\left(\mathrm{\λ}\right)\mathrm{d\λ}\\ S=k_2{\∫}_{{\mathrm{\λ}}_{\min }}^{{\mathrm{\λ}}_{\max }}{I}_2\left(\mathrm{\λ}\right)s\left(\mathrm{\λ}\right)r\left(\mathrm{\λ}\right)\mathrm{d\λ}\end{array}\right.,---\left(2\right)$

$k_1=\frac{100}{{\∫}_{{\mathrm{\λ}}_{\min }}^{{\mathrm{\λ}}_{\max }}{I}_1\left(\mathrm{\λ}\right)y\left(\mathrm{\λ}\right)\mathrm{d\λ}},---\left(3\right)$

$k_2=\frac{100}{{\∫}_{{\mathrm{\λ}}_{\min }}^{{\mathrm{\λ}}_{\max }}{I}_2\left(\mathrm{\λ}\right)m\left(\mathrm{\λ}\right)\mathrm{d\λ}},---\left(4\right)$

式中，I₁(λ)和I₂(λ)分别表示所选取的两个照明体或光源的光谱辐射强度分布，r(λ)表示色块的光谱反射比，λ_min和λ_max分别表示选取波段的最小和最大波长，k₁和k₂分别表示在两个照明体或光源下对应的归一化系数，和表示CIE1931XYZ或CIE1964XYZ标准色度观察者，可以根据实际应用需求选取，l(λ)、m(λ)和s(λ)表示基于CIE1931XYZ或CIE1964XYZ标准色度观察者定义的互补三刺激值，如表1所示，可以根据CIE1931XYZ或CIE1964XYZ标准色度观察者的选取情况在表1中选取相应的l(λ)、m(λ)和s(λ)互补光谱刺激值。

步骤六：在搭建的照明拍摄环境中，对训练样本色卡拍照，读取训练样本色卡各个色块中心区域RGB的平均值，作为代表该色块的RGB值。

步骤七：在搭建的照明拍摄环境中，对目标样本拍照，并采用基于局部训练样本的11项多项式模型实现目标样本图像中各个像素RGB值到XYZLMS值的预测，具体如式(5)所示。

t_i＝a₀+a₁r+a₂g+a₃b+a₄r²+a₅g²+a₆b²+a₇rg+a₈rb+a₉gb+a₁₀rgb, (5)

式中t_i(i＝X,Y,Z,L,M,S)表示XYZLMS刺激值，r,g和b表示归一化RGB值，a_s(s＝0,1…10)表示多项式模型系数。多项式模型系数通过在RGB颜色空间中距离目标RGB值最近的m个局部训练样本确定。m个局部训练样本对应的多项式模型用矩阵形式表示为

A＝MC (6)

式中A为m*6矩阵，表示m个局部训练样本对应的XYZLMS刺激值，M为m*11矩阵，表示多项式的项，C为11*6矩阵，表示多项式模型系数。经过矩阵变换，对应该目标样本的多项式模型系数的最小二乘解为

C＝(M^TM)^-1M^TA (7)

式中“T”表示矩阵转置，“-1”表示矩阵的逆。

步骤八：采用伪逆法实现目标样本对应的XYZLMS预测值到光谱反射比的预测，具体方法如式(8)所示。

r＝Wt, (8)

式中r表示预测的光谱反射比，t表示步骤七中预测的目标样本XYZLMS值，W为转换矩阵，可以通过式(9)确定。

W＝N_t×PINV(T_t), (9)

式中N_t和T_t分别表示局部训练样本对应的光谱反射比和XYZLMS刺激值，PINV()表示Moore-Penrose伪逆。

通过以上步骤即可实现经数码相机获取的RGB图像任一像素对应的光谱反射比值，即可利用数码相机获取多光谱图像。

本发明的有益效果：

a.相对于其它多光谱图像获取系统，基于本发明的多光谱图像获取系统成本低；

b.基于本发明的多光谱图像获取系统体积小，携带方便，方便实用；

c.可以准确获取目标物体的光谱颜色信息，不受外界照明环境的影响；

d.直接实现了数码相机RGB值到XYZLMS值的预测，利于目标物体多光谱图像的压缩及跨媒体复现。

附图说明

图1基于数码相机的多光谱图像获取方法框架；

具体实施方式

如图1所示，下面以本发明内容为基础，简要说明在晴天午后北窗光照明环境下，采用Canon EOS60D普通商用单反数码相机获取多光谱图像的方法。具体步骤如下：

步骤一：在晴天午后2点钟左右的“北窗光”照明环境下，将拍摄目标与地面水平方向呈45度角度放置，使得数码相机镜头轴线与拍摄目标平面垂直。

步骤二：调整数码相机与拍摄目标的距离及焦距，使得拍摄目标充满整个拍摄视场且无形变，关闭闪光灯，选择局部测光模式，然后以GretagMacbethColor Checker白卡为拍摄对象对数码相机进行手动白平衡设置。在此基础上，综合调节光圈、快门速度和ISO值使数码相机具有适度曝光量。

步骤三：设计CMYK网点面积为0、20、40、60、80、100的四维查找表(LUT，Look Up Table)数字化色卡，共包含1296个色块，均匀分布在CMYK颜色空间中。数字化LUT色卡经HP喷墨打印机打印输出。选取打印的LUT色卡作为数字测色的训练样本色卡。另外用HP喷墨打印机打印输出ECI(European Color Initiative)色卡，该色卡共包含1485个色块。将ECI色卡作为待测样本色卡，对本发明方法进行精度检验。

步骤四：选取CIE D65和E照明体作为计算样本XYZLMS值的参考照明体。CIE D65和E照明体光谱辐射强度分布有较大不同，并在可见光不同波段范围内均有一定能量分布。

步骤五：用X-rite i1isis分光光度计分别测量LUT和ECI色卡中各个色块的光谱反射比，选取CIE D65照明体光谱辐射强度分布作为I₁(λ)，CIE E照明体光谱辐射强度分布作为I₂(λ)，按照式(1)-(4)分别计算LUT和ECI色卡中各个色块的XYZLMS值。

步骤六：在搭建的照明拍摄环境中，对LUT和ECI色卡拍照，读取训练样本色卡各个色块中心区域RGB的平均值，作为代表该色块的RGB值。

步骤七：以LUT样本对应的RGB值和光谱反射比值作为训练样本，采用如式(5)-(7)所示的基于局部训练样本的多项式模型预测ECI色卡中各个色块RGB值对应的XYZLMS值，再基于预测的XYZLMS值利用式(8)和(9)预测对应的光谱反射比值。

分别计算基于本发明方法预测的ECI色卡各个色块光谱反射比值与实测光谱反射比的RMSE(Root Mean Square Error)误差，以及预测光谱反射比与实测光谱反射比在CIE照明体A,D50,D65,D90,F2,F7,F11,E和4个LED光源(Cooper DL11,GE Par30,Osram Diachroic,Solux Diachroic)下的CIEDE2000色差，统计结果如表2所示，可以明显看出，本发明方法可以准确的获取目标物体的多光谱图像。

表2本发明方法预测光谱与实测光谱的CIEDE2000色差统计结果

％>4*表示CIEDE2000色差大于4的色块数目占总色块数目的百分比.

表1基于CIE1931XYZ和CIE1964XYZ标准色度观察者定义的两组lms互补光谱刺激值

Claims (1)

1.一种基于数码相机的多光谱图像获取方法，其特征在于，具体步骤如下：

步骤一：在具体应用环境中搭建一个照明均匀及稳定的照明拍摄环境；

步骤二：手动调节数码相机焦距、白平衡、光圈、快门速度、ISO值，使得拍摄目标能够清晰成像，拍摄图像无偏色，拍摄过程及结果具有良好的重复性；

步骤三：制作用于获取模型参数的训练样本色卡，训练样本色卡介质应与待测量目标样本介质相同，训练样本色卡中的色块颜色分布范围能够包含测量目标颜色样本的颜色，训练样本色卡中色块颜色均匀分布在颜色空间中；

步骤四：根据期望优先在目标照明体或光源下准确获取目标样本的多光谱图像，挑选两个照明体或光源；

步骤五：测量训练样本色卡中各个色块的光谱反射比，并按照式(1)-(4)计算在两个选定的照明体或光源下各个色块的XYZLMS值；

式中，I₁(λ)和I₂(λ)分别表示所选取的两个照明体或光源的光谱辐射强度分布，r(λ)表示色块的光谱反射比，λ_min和λ_max分别表示选取波段的最小和最大波长， k₁和k₂分别表示在两个照明体或光源下对应的归一化系数，和表示CIE1931XYZ或CIE1964XYZ标准色度观察者，可以根据实际应用需求选取，l(λ)、m(λ)和s(λ)表示基于CIE1931XYZ或CIE1964XYZ标准色度观察者定义的互补三刺激值，如表1所示，可以根据CIE1931XYZ或CIE1964XYZ标准色度观察者的选取情况在表1中选取相应的l(λ)、m(λ)和s(λ)互补光谱刺激值；

步骤六：在搭建的照明拍摄环境中，对训练样本色卡拍照，读取训练样本色卡各个色块中心区域RGB的平均值，作为代表该色块的RGB值；

步骤七：在搭建的照明拍摄环境中，对目标样本拍照，并采用基于局部训练样本的11项多项式模型实现目标样本图像中各个像素RGB值到XYZLMS值的预测，具体如式(5)所示；

t_i＝a₀+a₁r+a₂g+a₃b+a₄r²+a₅g²+a₆b²+a₇rg+a₈rb+a₉gb+a₁₀rgb, (5)式中t_i(i＝X,Y,Z,L,M,S)表示XYZLMS刺激值，r,g和b表示归一化RGB值，a_s(s＝0,1…10)表示多项式模型系数；多项式模型系数通过在RGB颜色空间中距离目标RGB值最近的m个局部训练样本确定；m个局部训练样本对应的多项式模型用矩阵形式表示为

A＝MC (6)

式中A为m*6矩阵，表示m个局部训练样本对应的XYZLMS刺激值，M为m*11矩阵，表示多项式的项，C为11*6矩阵，表示多项式模型系数；经过矩阵变换，对应该目标样本的多项式模型系数的最小二乘解为

C＝(M^TM)^-1M^TA (7)

式中“T”表示矩阵转置，“-1”表示矩阵的逆；

步骤八：采用伪逆法实现目标样本对应的XYZLMS预测值到光谱反射比的预测，具体方法如式(8)所示；

r＝Wt, (8)

式中r表示预测的光谱反射比，t表示步骤七中预测的目标样本XYZLMS值，W为转换矩阵，可以通过式(9)确定；

W＝N_t×PINV(T_t), (9)

式中N_t和T_t分别表示局部训练样本对应的光谱反射比和XYZLMS刺激值，PINV()表示Moore-Penrose伪逆；

通过以上步骤即可实现经数码相机获取的RGB图像任一像素对应的光谱反射比值，即可利用数码相机获取多光谱图像。

表1基于CIE1931XYZ和CIE1964XYZ标准色度观察者定义的两组lms互补光谱刺激值。