CN111896109B - 一种基于数码相机原始响应值的光谱重建方法 - Google Patents

一种基于数码相机原始响应值的光谱重建方法 Download PDF

Info

Publication number
CN111896109B
CN111896109B CN202010689519.0A CN202010689519A CN111896109B CN 111896109 B CN111896109 B CN 111896109B CN 202010689519 A CN202010689519 A CN 202010689519A CN 111896109 B CN111896109 B CN 111896109B
Authority
CN
China
Prior art keywords
sample set
target
sample
reconstruction
spectrum
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010689519.0A
Other languages
English (en)
Other versions
CN111896109A (zh
Inventor
汪丽霞
万晓霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202010689519.0A priority Critical patent/CN111896109B/zh
Publication of CN111896109A publication Critical patent/CN111896109A/zh
Application granted granted Critical
Publication of CN111896109B publication Critical patent/CN111896109B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/42—Absorption spectrometry; Double beam spectrometry; Flicker spectrometry; Reflection spectrometry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/42—Absorption spectrometry; Double beam spectrometry; Flicker spectrometry; Reflection spectrometry
    • G01J2003/425—Reflectance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Spectrometry And Color Measurement (AREA)

Abstract

本发明属于光谱成像技术领域，公开了一种基于数码相机原始响应值的光谱重建方法，采用RAW格式的图像文件，并对提取到的数码相机原始响应值进行线性化处理，采用与设备无关的CIE XYZ颜色空间进行样本间色度信息的比较，增加了验证样本集，并用于重建模型最优参数的计算，考虑训练样本与测试样本的色度相似度的同时，兼顾二者的光谱相似度，进行二次重建，提高了光谱重建的色度精度和光谱精度。本发明解决了现有技术中光谱重建精度较低的问题，能够有效提高光谱重建的色度精度和光谱精度。

Description

一种基于数码相机原始响应值的光谱重建方法
技术领域
本发明涉及光谱成像技术领域，尤其涉及一种基于数码相机原始响应值的光谱重建方法。
背景技术
由于被称为物体的“指纹”的反射光谱能够准确地表达物体的颜色，避免“同色异谱现象”，近年来，在彩漆喷绘、彩色印刷及纺织印染行业，被广泛地用来进行颜色表示和质量控制；与此同时，在艺术品修复和医疗诊断过程中，其也被用来进行物质分析和可视化。另一方面，数码相机应用技术不断成熟，可用于多种环境条件下的颜色信息采集。因此，基于普通数码相机的多光谱成像技术已经成为了颜色科学的重要研究方向。
多光谱成像技术是通过在可见光范围内采集目标对象的多个通道的颜色信息，用算法估算其光谱。目前，业界提出了许多算法，包括：伪逆法、维纳估计法、有限维模型法、R矩阵法、主成分分析法、独立成分分析法、回归模型法。其中，维纳估计法和有限维模型法需要通过仪器测量或估计相机的光谱灵敏度，仪器测量较为困难，而数学估算增加了算法的复杂度且易引起误差的二次传播。相比这两种方法，不需要先验知识的其他方法具有更好的实用性。然而，有限维模型法、R矩阵法、主成分分析法、独立成分分析法虽简单直接，但结果准确性不高。因此，多种回归模型被应用到光谱反射率重建中。如Heikkinen等提出了基于再生核Hilbert空间的正则化回归方法，Zhang等提出了正则化局部线性模型，Amiri等利用加权非线性回归模型减少重建误差，Liang等使用局部加权线性和非线性回归模型来估算光谱反射率。上述方法要么使用全局回归方法易造成过拟合问题，要么只考虑了目标样本与训练样本在色度上的差别，而忽略了他们在光谱上的差别，影响了重建精度。
发明内容
本申请实施例通过提供一种基于数码相机原始响应值的光谱重建方法，解决了现有技术中光谱重建精度较低的问题。
本申请实施例提供一种基于数码相机原始响应值的光谱重建方法，包括以下步骤：
步骤1、准备训练样本集、验证样本集、测试样本集；通过测量获取所述训练样本集的实际光谱反射率、所述验证样本集的实际光谱反射率、所述训练样本集的CIE XYZ三刺激值；
步骤2、采用数码相机进行拍摄，获得所述训练样本集、所述验证样本集、所述测试样本集的RAW图像文件；
步骤3、根据RAW图像文件，获得所述训练样本集、所述验证样本集、所述测试样本集的数码相机原始响应值；
步骤4、对所有样本集的数码相机原始响应值进行线性校正，得到所有样本集的线性原始响应值；
步骤5、根据所述训练样本集的线性原始响应值和所述训练样本集的CIE XYZ三刺激值，得到颜色转换矩阵；根据所述颜色转换矩阵，将所述验证样本集、所述测试样本集的线性原始响应值转换为CIE XYZ三刺激值；
步骤6、采用基于色度余弦相似度的重建模型对所述验证样本集进行光谱初始重建，得到重建模型的第一最优参数；
步骤7、以所述第一最优参数，采用基于色度余弦相似度的重建模型对所述测试样本集进行光谱初始重建，得到所述测试样本集的初始重建光谱反射率；
步骤8、采用基于光谱差的重建模型对所述验证样本集进行光谱二次重建，得到重建模型的第二最优参数；
步骤9、以所述第二最优参数，采用基于光谱差的重建模型对所述测试样本集进行光谱二次重建，得到所述测试样本集的二次重建光谱。
优选的，所述步骤4包括以下子步骤：
步骤4.1、针对每个通道，通过灰度梯尺对应的归一化亮度因子和该通道的数码相机原始响应值进行多项式拟合，得到多项式转换函数；
步骤4.2、根据所述多项式转换函数，将样本的数码相机原始响应值转换为线性原始响应值。
优选的，所述步骤5中，所述颜色转换矩阵采用以下计算方法得到：
Figure BDA0002588789190000031
其中，P表示颜色转换矩阵，Utrain表示所有训练样本的线性原始响应值矩阵，Htrain表示所有训练样本的CIE XYZ三刺激值矩阵。
优选的，所述步骤5中，将所述验证样本集、所述测试样本集的线性原始响应值转换为CIE XYZ三刺激值均采用以下计算方法：
xtarget＝Putarget
其中，xtarget表示目标样本的CIE XYZ三刺激值向量，utarget表示目标样本的线性原始响应值向量；目标样本为验证样本或测试样本。
优选的，所述步骤6以验证样本集为目标样本集；
所述光谱初始重建包括以下子步骤：
步骤6.1、针对任意目标样本，将训练样本按与其向量余弦相似度从大到小进行排列，选择最相似的p个训练样本作为局部训练样本集；
步骤6.2、计算所述局部训练样本集中每个训练样本的加权权重，并构造加权矩阵；
步骤6.3、对所述局部训练样本集、所述目标样本集的线性原始响应值进行二次多项式扩展，得到样本的线性原始响应值扩展向量；
步骤6.4、使用所述加权矩阵对所述局部训练样本集的线性原始响应值扩展矩阵和光谱反射率矩阵进行加权处理；
步骤6.5、根据加权后的局部训练样本集的线性原始响应值扩展矩阵、加权后的局部训练样本集的光谱反射率矩阵，构造光谱重建的转换矩阵；
步骤6.6、利用光谱重建的转换矩阵重建目标样本的光谱反射率；
步骤6.7、使用不同的p值，对目标样本集中的每个样本使用步骤6.1至步骤6.6的方法进行光谱反射率重建，并计算重建得到的光谱反射率与实际光谱反射率的均方根误差，以所有样本的平均均方根误差取最小值时对应的p值作为初始重建的最优训练样本数，记为pbest，pbest作为所述第一最优参数；利用余弦相似性最高的pbest个训练样本重建出的光谱反射率作为验证样本集的初始重建光谱反射率。
优选的，所述步骤6.1中，所述余弦相似度的计算采用如下公式：
Figure BDA0002588789190000041
式中，si表示目标样本与第i个训练样本的余弦相似度，x表示目标样本的CIE XYZ三刺激值向量，yi表示第i个训练样本的CIE XYZ三刺激值向量，N为训练样本集的总数量；
所述步骤6.2中，所述加权权重、所述加权矩阵的计算采用如下公式：
Figure BDA0002588789190000042
Figure BDA0002588789190000043
式中，sj表示目标样本与第j个训练样本的余弦相似度，μ表示为避免arccos(sj)＝0而加入的极小值，wj为第j个训练样本的加权权重，W1表示加权矩阵；
所述步骤6.3中，所述二次多项式扩展的计算采用如下公式：
uexp＝[1 r g b rg rb gb r2 g2 b2]T
式中，uexp表示样本的线性原始响应值扩展向量，r、g、b表示线性原始响应值；
所述步骤6.4中加权的计算采用如下公式：
Rw,train＝W1Rtrain
Uw,train,exp＝W1Utrain,exp
式中，Rtrain和Rw,train分别表示加权前、加权后的局部训练样本集的光谱反射率矩阵，Utrain,exp和Uw,train,exp分别表示加权前、加权后的局部训练样本集的线性原始响应值扩展矩阵；
所述步骤6.5中，所述转换矩阵的计算采用如下公式：
Figure BDA0002588789190000051
式中，Q表示转换矩阵；
所述步骤6.6中，重建光谱反射率采用如下公式：
rtarget＝Qutarget,exp
式中，rtarget表示目标样本的初始重建光谱反射率向量，utarget,exp表示目标样本的线性原始响应值扩展向量。
优选的，所述步骤7中，以测试样本集作为目标样本集；
对每个目标样本，利用余弦相似性最高的pbest个训练样本，采用步骤6.1至步骤6.6的方法进行光谱初始重建，得到所述测试样本集的初始重建光谱反射率。
优选的，所述步骤8以验证样本集作为目标样本集；
所述步骤8的具体实现方式为：
步骤8.1、在已知目标样本集的初始重建光谱反射率的情况下，对任意目标样本，计算每个训练样本与其的光谱差；利用光谱差计算每个训练样本的加权权重；将所有训练样本按加权权重从大到小进行排列，选择最相似的q个训练样本作为局部训练样本集，并构造加权矩阵；以最新的加权矩阵代替步骤6.4中的加权矩阵，然后根据步骤6.3至步骤6.6的方法进行光谱二次重建，得到每个目标样本的光谱反射率；
步骤8.2、使用不同的q值，对目标样本集中的每个样本使用步骤8.1的方法进行光谱二次重建，并计算每一个q值对应的所有目标样本重建光谱反射率与实际光谱反射率的均方根误差，以所有样本的平均均方根误差取最小值时对应的q值作为二次重建的最优训练样本数，记为qbest，qbest作为所述第二最优参数。
优选的，所述步骤9以测试样本集为目标样本集；
所述步骤9的具体实现方式为：在已知目标样本集的初始重建光谱反射率的情况下，针对每个目标样本，计算出每个训练样本与其的光谱差；利用光谱差计算出每个训练样本的加权权重；将所有训练样本按加权权重从大到小排列，取前qbest个训练样本的加权权重，构造加权矩阵；以最新的加权矩阵代替步骤6.4中的加权矩阵，然后采用步骤6.3至步骤6.6的方法对每个目标样本进行光谱二次重建，得到测试样本集的二次重建光谱。
优选的，所述步骤8或所述步骤9中，所述光谱差、所述加权权重、所述加权矩阵的计算方法采用如下公式：
Figure BDA0002588789190000061
Figure BDA0002588789190000062
Figure BDA0002588789190000063
式中，RMSEk表示目标样本与第k个训练样本的光谱差，rtarget表示目标样本初始重建光谱反射率向量，rk表示第k个训练样本的光谱反射率向量，n为光谱维度，N为训练样本总数，wk表示第k个训练样本的加权权重；ε表示为避免RMSEk＝0加入的极小值，W2表示加权矩阵。
本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：
在本申请实施例中，采用RAW格式的图像文件，并对提取到的数码相机原始响应值进行线性化处理，避免了相机内部算法对响应数据的校准与非线性压缩的同时，降低了成像环境对相机响应值的影响；采用与设备无关的CIE XYZ颜色空间而非RGB颜色空间进行样本间色度信息的比较，比较结果更为科学准确；相对于现有的光谱重建方法，本发明增加了验证样本集，用于重建模型最优参数的计算，而无需预设参数，这样使重建模型参数的选择更合理、更准确；考虑训练样本与测试样本的色度相似度的同时，兼顾二者的光谱相似度，进行二次重建，提高了光谱重建的色度精度和光谱精度。综上，本发明提供的基于数码相机原始响应值的光谱重建方法能够有效提高光谱重建的色度精度和光谱精度。
附图说明
为了更清楚地说明本实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于数码相机原始响应值的光谱重建方法的流程图。
具体实施方式
本发明的技术方案提供一种基于普通数码相机的光谱重建方法，用于根据普通商用数码相机获取的训练样本集、验证样本集和待重建的测试样本集的相机原始响应值进行光谱重建，具体包括以下步骤：
步骤1，准备训练样本集、验证样本集和测试样本集，测量获取训练样本集和验证样本集的实际光谱反射率，以及训练样本集的CIE XYZ三刺激值。
步骤2，使用数码相机(例如，普通数码相机)对三组样本集(即训练样本集、验证样本集、测试样本集)分别进行拍摄，获得三组样本集分别对应的RAW图像，提取各像素的RGB响应值并进行多项式处理以调整其线性，方法如下：
link＝f(rawk),k∈{R,G,B}
其中，rawk是数码相机原始响应值，f(rawk)表示自变量为rawk的多项式转换函数；link是线性化后的数码相机原始响应值，即线性原始响应值。
为了获得每个通道的多项式转换函数，需要使用灰度梯尺对应的归一化亮度因子(Y/Ymax)和该通道的数码相机原始响应值进行多项式拟合。
步骤3，为了将验证样本集、测试样本集与设备相关的不均匀的线性原始响应值转换到独立于设备的CIE XYZ颜色空间中，本发明首先通过训练样本集的相关数据获取颜色转换矩阵P，具体计算方法如下，
Figure BDA0002588789190000081
其中，Utrain表示所有训练样本的线性化后的相机原始响应值矩阵，即所有训练样本的线性原始响应值矩阵；Htrain表示所有训练样本的CIE XYZ三刺激值矩阵。
然后，通过颜色转换矩阵P，预测验证样本、测试样本的CIE XYZ三刺激值，方法如下：，
xtarget＝Putarget
其中，utarget、xtarget分别为目标样本的线性后的相机原始响应值向量(即目标样本的线性原始响应值向量)和CIE XYZ三刺激值向量。目标样本指验证样本或测试样本。
步骤4，以验证样本集为目标样本集，计算基于色度余弦相似度的初始重建模型的最优参数(即第一最优参数)。具体方法如下：
步骤4.1、把训练样本和目标样本的CIE XYZ三刺激值视作向量，对每个目标样本，将训练样本按与其向量余弦相似度从大到小排列，选择最相似的p个(1≤p≤N)训练样本作为局部训练样本集；
余弦相似度越大，则表示样本间的相似性越高，其计算方法如下：
Figure BDA0002588789190000082
其中，si为某个目标样本与第i个训练样本的余弦相似度，x为某个目标样本的CIEXYZ三刺激值向量，yi为第i个训练样本的CIE XYZ三刺激值向量，N为训练样本集的总数量。
步骤4.2、计算训练样本的加权权重，构造加权矩阵，加权权重的计算方法和加权矩阵的形式如下：
Figure BDA0002588789190000091
Figure BDA0002588789190000092
其中，sj表示某个目标样本与第j个训练样本的余弦相似度，μ表示以防arccos(sj)＝0加入的极小值，wj为第j个训练样本的加权权重，W1为加权矩阵。
步骤4.3、对局部训练样本集和目标样本集的线性原始响应值进行二次多项式扩展，以扩展项表示样本(训练样本、目标样本)的相机响应向量，得到样本的线性原始响应值扩展向量，结果如下，
uexp＝[1 r g b rg rb gb r2 g2 b2]T
其中，uexp表示某个样本的线性原始响应值扩展向量，r、g、b为线性原始响应值。
步骤4.4、使用加权矩阵W1对局部训练样本集的线性原始响应值扩展矩阵和光谱反射率矩阵进行加权处理，公式如下：
Rw,train＝W1Rtrain
Uw,train,exp＝W1Utrain,exp
其中，Rtrain和Rw,train分别为加权前、加权后的局部训练样本集的光谱反射率矩阵，Utrain,exp和Uw,train,exp分别为加权前、加权后的局部训练样本集的线性原始响应值扩展矩阵。
步骤4.5、构造光谱重建的转换矩阵Q，方法如下：
Figure BDA0002588789190000093
步骤4.6、利用光谱重建的转换矩阵Q重建目标样本的光谱反射率，得到目标样本的初始重建光谱反射率向量rtarget，公式如下：
rtarget＝Qutarget,exp
其中，utarget,exp为目标样本的线性原始响应值扩展向量。
步骤4.7、使用不同的p值，对目标样本集中的每个样本使用上述步骤4.1至步骤4.6的方法进行光谱反射率重建，并计算重建出的光谱反射率与实际光谱反射率的均方根误差，以所有样本的平均均方根误差取得最小值对应的p值作为训练过程中的最优训练样本数，并用pbest表示，pbest作为所述第一最优参数；然后，以余弦相似度最高的pbest个训练样本重建出的目标样本光谱反射率作为验证样本集的初始重建光谱反射率。
步骤5，以测试样本集为目标样本集，对每个测试样本，利用余弦相似性最高的pbest个训练样本，使用上述步骤4.1至步骤4.6的方法进行初始光谱反射率重建，得到其初始重建光谱。
步骤6，以验证样本集为目标样本集，计算基于光谱差的二次重建模型的最优参数(即第二最优参数)。具体方法如下：
步骤6.1、在已知目标样本集的初始重建光谱反射率的情况下，对每个目标样本，首先计算出每个训练样本与其的光谱差，接着用光谱差计算出每个训练样本的加权权重；加权权重越大，说明其与目标样本的光谱相似度越高；将所有训练样本按与目标样本的光谱相似度(加权权重)从大到小排列，选择最相似的q个(1≤q≤N)训练样本作为局部训练样本集，并构造加权矩阵；以最新的加权矩阵W2代替步骤4.4中的W1，然后根据步骤4.3至步骤4.6的方法二次重建每个目标样本的光谱反射率；其中，光谱差、加权权重以及加权矩阵的表示方法如下：
Figure BDA0002588789190000101
Figure BDA0002588789190000102
Figure BDA0002588789190000103
其中，RMSEk为某个目标样本与第k个训练样本的光谱差，rtarget为通过步骤4得到的目标样本的初始重建光谱反射率向量，rk为第k个训练样本的光谱反射率向量，n为光谱维度，N为训练样本总数，wk为某个目标样本与第k个训练样本的光谱相似度，即第k个训练样本的加权权重，ε为以防RMSEk＝0加入的极小值，W2为加权矩阵。
步骤6.2、使用不同的q值，对目标样本集中的每个样本使用步骤6.1的方法进行光谱反射率重建，并计算每一个q值对应的所有目标样本重建光谱反射率与实际光谱反射率之间的均方根误差，以所有样本的平均均方根误差取最小值时对应的q值作为二次重建的最优训练样本数，并用qbest表示，qbest作为所述第二最优参数。
步骤7，以测试样本集为目标样本集，在已知目标样本集的初始重建光谱反射率的情况下，对每个目标样本，以步骤6.1的方法分别计算出其与每个训练样本的光谱差及每个训练样本的加权权重，并将加权权重按从大到小排列，取前qbest个训练样本的加权权重以步骤6.1的方法构造加权矩阵，以最新的加权矩阵W2代替步骤4.4中的W1，然后通过步骤4.3至步骤4.6的方法对每个目标样本进行二次重建，得到测试样本集的最终重建光谱。
一种具体的方案中，步骤4.2中μ＝0.001。
步骤4.7和步骤6.2中指出的初始重建的光谱反射率、二次重建的光谱反射率与实际光谱反射率之间的均方根误差均通过以下公式计算得到：
Figure BDA0002588789190000111
其中，rtarget表示初始重建的光谱反射率或二次重建的光谱反射率向量，r表示实际光谱反射率向量，n表示向量维度。
步骤6.1中ε＝0.0001。
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
如图1所示，本发明实施例提供一种基于普通数码相机原始响应值的光谱重建方法，采用Canon EOS 80D商用数码相机、天花板D65日光灯、X-Rite CI64分光光度计分别对Agfa IT8.7-2色卡、X-Rite ColorChecker SG色卡进行图像获取和实际光谱反射率测量，其中，Agfa IT8.7-2色卡作为训练样本集，X-Rite ColorChecker SG色卡中奇数样本作为验证样本集，偶数样本作为测试样本集使用。
需要说明的是，本发明并不仅仅局限于上述设备和色卡的应用支持，对于任意能实现上述设备功能的同等性质的设备以及其他方式生成的样本集同样适用。训练样本集、验证样本集与测试样本集相似性越高，重建精度越有保证。
实施例主要包括以下步骤：
步骤1，测量Agfa IT8.7-2色卡中所有样本和X-Rite ColorChecker SG色卡中奇数样本的实际光谱反射率，以及Agfa IT8.7-2色卡中所有样本的CIE XYZ三刺激值。
选用D65光源，设置d/8照明与观察几何条件，使用4mm测量口径的X-Rite CI64分光光度计测量两张色卡中的所有样本在380-780nm波长范围内的光谱反射率信息以及AgfaIT8.7-2色卡中所有样本的CIE XYZ三刺激值，并以10nm为采样间隔，截取在380-780nm波长范围内的光谱反射率用于后续计算。
步骤2，拍摄获取两张色卡CR2格式的RAW文件。
在标准暗室中，以天花板D65日光灯为照明光源，采用0/45的拍摄与照明条件，设置Canon EOS 80D的光圈大小、感光度、曝光时间分别为5.6、200、1/10秒，使用标准板对其进行白平衡校准后，依次对两张色卡进行拍摄，得到两个CR2格式的文件。
步骤3，提取数码相机原始响应值。
使用软件Dcraw，将CR2格式文件转换成TIFF格式以使图像可视化，接着通过软件Matlab进行去马赛克处理，以获得两张色卡的数码相机原始响应值，然后提取每个色块40×40像素区域内(对应X-Rite CI64分光光度计的测量区域)的响应平均值作为该样本的数码相机原始响应值。
步骤4，对所有样本的相机原始响应值进行多项式处理以校正其线性，方法如下：
link＝f(rawk),k∈{R,G,B}
其中，rawk是某个样本某个通道的数码相机原始响应值，f(rawk)为自变量为rawk的多项式转换函数，link是线性化后的数码相机原始响应值，即线性原始响应值。每个通道的多项式转换函数可通过X-Rite ColorChecker SG的6个灰度梯尺样品对应的归一化亮度因子(Y/Ymax)和该通道的数码相机原始响应值进行多项式拟合得到。
步骤5，将线性化后的数码相机原始响应值转换到CIE XYZ颜色空间中。
由于CIE XYZ颜色空间更适合用来进行颜色比较，故需将验证样本集、测试样本集线性化后的数码相机原始响应值转换到CIE XYZ颜色空间中。
首先，通过训练样本集的相关数据获取颜色转换矩阵P，计算方法如下：
Figure BDA0002588789190000131
其中，Utrain表示训练样本的线性原始响应值矩阵，Htrain表示训练样本的CIE XYZ三刺激值矩阵。
然后，通过颜色转换矩阵P，预测验证样本和测试样本的CIE XYZ三刺激值值，方法如下：
xtarget＝Putarget
其中，utarget、xtarget分别为某个验证样本或测试样本的线性原始响应值向量和CIEXYZ三刺激值向量。
步骤6，计算基于色度余弦相似度的重建模型的最优参数。
在对测试样本集进行初始重建之前，需要使用验证样本集计算基于色度余弦相似度的重建模型的最优训练样本数。
(1)以验证样本集为重建目标样本集，把训练样本集和目标样本集的CIE XYZ三刺激值视作向量，对任意目标样本，将训练样本按与其余弦相似度从大到小排列，选择最相似的p个(1≤p≤288)训练样本作为局部训练样本集；余弦相似度越大，则表示样本间的相似性越高，其计算方法如下，
Figure BDA0002588789190000141
其中，si为某个目标样本与第i个训练样本的余弦相似度，x为某个目标样本的CIEXYZ三刺激值向量，yi为第i个训练样本的CIE XYZ三刺激值向量。
(2)计算局部训练样本集中每个训练样本的加权权重，并构造加权矩阵，加权权重的计算方法和加权矩阵的形式如下：
Figure BDA0002588789190000142
Figure BDA0002588789190000143
其中，sj表示某个目标样本与第j个训练样本的余弦相似度，μ表示以防arccos(sj)＝0加入的极小值，wj为第j个训练样本的加权权重，W1为加权矩阵。
(3)对局部训练样本集和验证样本集的线性原始响应值进行二次多项式扩展，以扩展项表示样本(训练样本、目标样本)的相机响应向量，结果如下：
uexp＝[1 r g b rg rb gb r2 g2 b2]T
其中，uexp表示某个样本的线性原始响应值扩展向量，r、g、b为线性原始响应值。
(4)使用加权矩阵W1对局部训练样本集的线性原始响应值扩展矩阵和光谱反射率矩阵进行加权处理，公式如下：
Rw,train＝W1Rtrain
Uw,train,exp＝W1Utrain,exp
其中，Rtrain和Rw,train分别为加权前、加权后的局部训练样本集的光谱反射率矩阵，Utrain,exp和Uw,train,exp分别为加权前、加权后的局部训练样本集的线性原始响应扩展矩阵。
(5)构造光谱重建的转换矩阵Q，方法如下：
Figure BDA0002588789190000151
(6)利用光谱重建的转换矩阵Q重建目标样本的光谱反射率，得到目标样本的初始重建光谱反射率向量rtarget，公式如下：
rtarget＝Qutarget,exp
其中，utarget,exp为某个目标样本的线性原始响应值扩展向量。
(7)使用不同的p值，对目标样本集中的每个样本使用上述(1)至(6)的方法进行光谱反射率重建，并计算重建出的光谱反射率与实际光谱反射率的均方根误差，以所有样本的平均均方根误差取最小值时对应的p值作为训练过程中的最优训练样本数，并用pbest表示；本实施例对应的最优训练样本数为43个。然后，以43个局部训练样本集重建出的验证样本光谱反射率作为验证样本的初始重建光谱反射率。
步骤7，使用基于色度余弦相似度的重建模型对测试样本集进行初始重建。
以Agfa IT8.7-2色卡中的288个样本为训练样本集，以包含70个偶数样本的测试样本集为重建目标样本集，对每个目标样本，选择与其余弦相似度最高的43个训练样本作为局部训练样本集，使用步骤6中(1)至(6)的方法进行光谱反射率的初始重建，得到测试样本集的初始重建光谱。
步骤8，计算基于光谱差的重建模型的最优参数。
以Agfa IT8.7-2色卡中的288个样本为训练样本集，包含70个奇数样本的验证样本集为重建目标样本集，计算二次重建的最优训练样本数。
(1)在已知目标样本集的初始重建光谱反射率的情况下，对任意目标样本，首先计算出每个训练样本与其的光谱差，接着用光谱差计算出每个训练样本的加权权重；该加权权重越大，说明其与目标样本的光谱相似度越高；将所有训练样本按与目标样本的光谱相似度(加权权重)从大到小排列，选择最相似的q个(1≤q≤288)训练样本作为局部训练样本集，并构造加权矩阵；以最新的加权矩阵W2代替步骤6中(4)的W1，然后根据步骤6中(3)至(6)的方法二次重建每个目标样本的光谱反射率；其中，光谱差、加权权重以及权重矩阵的表示方法如下：
Figure BDA0002588789190000161
Figure BDA0002588789190000162
Figure BDA0002588789190000163
其中，RMSEk为某个目标样本与第k个训练样本的光谱差，rtarget为通过步骤6得到的目标样本的初始重建光谱反射率向量，rk为第k个训练样本的光谱反射率向量，n为光谱维度，wk为某个目标样本与第k个训练样本的光谱相似度，即第k个训练样本的加权权重，ε为以防RMSEk＝0加入的极小值，W2为加权矩阵。在本实施例中，n＝31，ε＝0.0001。
(2)使用不同的q值，对目标样本集中的每个样本使用上述(1)的方法进行光谱反射率重建，并计算每一个q值对应的所有目标样本重建光谱与实际光谱的均方根误差，以所有样本的平均均方根误差取最小值时对应的q值作为二次重建的最优训练样本数，用qbest表示。本实施例对应的qbest为17。
步骤9，使用基于光谱差的重建模型对测试样本集进行二次重建。
以测试样本集为目标样本集，在已知测试样本集的初始重建光谱反射率的情况下，对每个测试样本，首先计算出每个训练样本与其的光谱差，接着用光谱差计算出每个训练样本的加权权重，然后将所有训练样本按加权权重从大到小排列，选择最相似的17个训练样本作为局部训练样本集，构造加权矩阵，其中，光谱差、权重的计算方法以及权重矩阵的构造方法同步骤8；以最新的加权矩阵W2代替步骤6中(4)的W1，然后根据步骤6中(3)至(6)的方法以获得70个测试样本的最终光谱反射率数据。
本发明实施例提供的一种基于数码相机原始响应值的光谱重建方法至少包括如下技术效果：
(1)采用RAW格式的图像文件，并对提取到的响应值进行线性化处理，避免了相机内部算法对响应数据的校准与非线性压缩的同时，降低了成像环境对相机响应值的影响；
(2)采用与设备无关的CIE XYZ颜色空间而非RGB颜色空间进行样本间色度信息的比较，比较结果更为科学准确；
(3)增加了验证样本集，用于重建模型最优参数的计算，而无需预设参数，使重建模型参数的选择更合理、更准确；
(4)考虑训练样本与待重建样本的色度相似度的同时，兼顾二者的光谱相似度，进行二次重建，提高了光谱重建的色度精度和光谱精度。
最后所应说明的是，以上具体实施方式仅用以说明本发明的技术方案而非限制，尽管参照实例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (5)

1.一种基于数码相机原始响应值的光谱重建方法，其特征在于，包括以下步骤：
步骤1、准备训练样本集、验证样本集、测试样本集；通过测量获取所述训练样本集的实际光谱反射率、所述验证样本集的实际光谱反射率、所述训练样本集的CIE XYZ三刺激值；
步骤2、采用数码相机进行拍摄，获得所述训练样本集、所述验证样本集、所述测试样本集的RAW图像文件；
步骤3、根据RAW图像文件，获得所述训练样本集、所述验证样本集、所述测试样本集的数码相机原始响应值；
步骤4、对所有样本集的数码相机原始响应值进行线性校正，得到所有样本集的线性原始响应值；
所述步骤4包括以下子步骤：
步骤4.1、针对每个通道，通过灰度梯尺对应的归一化亮度因子和该通道的数码相机原始响应值进行多项式拟合，得到多项式转换函数；
步骤4.2、根据所述多项式转换函数，将样本的数码相机原始响应值转换为线性原始响应值；
步骤5、根据所述训练样本集的线性原始响应值和所述训练样本集的CIE XYZ三刺激值，得到颜色转换矩阵；根据所述颜色转换矩阵，将所述验证样本集、所述测试样本集的线性原始响应值转换为CIE XYZ三刺激值；
步骤6、采用基于色度余弦相似度的重建模型对所述验证样本集进行光谱初始重建，得到重建模型的第一最优参数；
所述步骤6以验证样本集为目标样本集；
所述光谱初始重建包括以下子步骤：
步骤6.1、针对任意目标样本，将训练样本按与其向量余弦相似度从大到小进行排列，选择最相似的p个训练样本作为局部训练样本集；
步骤6.2、计算所述局部训练样本集中每个训练样本的加权权重，并构造加权矩阵；
步骤6.3、对所述局部训练样本集、所述目标样本集的线性原始响应值进行二次多项式扩展，得到样本的线性原始响应值扩展向量；
步骤6.4、使用所述加权矩阵对所述局部训练样本集的线性原始响应值扩展矩阵和光谱反射率矩阵进行加权处理；
步骤6.5、根据加权后的局部训练样本集的线性原始响应值扩展矩阵、加权后的局部训练样本集的光谱反射率矩阵，构造光谱重建的转换矩阵；
步骤6.6、利用光谱重建的转换矩阵重建目标样本的光谱反射率；
步骤6.7、使用不同的p值，对目标样本集中的每个样本使用步骤6.1至步骤6.6的方法进行光谱反射率重建，并计算重建得到的光谱反射率与实际光谱反射率的均方根误差，以所有样本的平均均方根误差取最小值时对应的p值作为初始重建的最优训练样本数，记为pbest，pbest作为所述第一最优参数；利用余弦相似性最高的pbest个训练样本重建出的光谱反射率作为验证样本集的初始重建光谱反射率；
步骤7、以所述第一最优参数，采用基于色度余弦相似度的重建模型对所述测试样本集进行光谱初始重建，得到所述测试样本集的初始重建光谱反射率；
所述步骤7中，以测试样本集作为目标样本集；
对每个目标样本，利用余弦相似性最高的pbest个训练样本，采用步骤6.1至步骤6.6的方法进行光谱初始重建，得到所述测试样本集的初始重建光谱反射率；
步骤8、采用基于光谱差的重建模型对所述验证样本集进行光谱二次重建，得到重建模型的第二最优参数；
所述步骤8以验证样本集作为目标样本集；
所述步骤8的具体实现方式为：
步骤8.1、在已知目标样本集的初始重建光谱反射率的情况下，对任意目标样本，计算每个训练样本与其的光谱差；利用光谱差计算每个训练样本的加权权重；将所有训练样本按加权权重从大到小进行排列，选择最相似的q个训练样本作为局部训练样本集，并构造加权矩阵；以最新的加权矩阵代替步骤6.4中的加权矩阵，然后根据步骤6.3至步骤6.6的方法进行光谱二次重建，得到每个目标样本的光谱反射率；
步骤8.2、使用不同的q值，对目标样本集中的每个样本使用步骤8.1的方法进行光谱二次重建，并计算每一个q值对应的所有目标样本重建光谱反射率与实际光谱反射率的均方根误差，以所有样本的平均均方根误差取最小值时对应的q值作为二次重建的最优训练样本数，记为qbest，qbest作为所述第二最优参数；
步骤9、以所述第二最优参数，采用基于光谱差的重建模型对所述测试样本集进行光谱二次重建，得到所述测试样本集的二次重建光谱；
所述步骤9以测试样本集为目标样本集；
所述步骤9的具体实现方式为：在已知目标样本集的初始重建光谱反射率的情况下，针对每个目标样本，计算出每个训练样本与其的光谱差；利用光谱差计算出每个训练样本的加权权重；将所有训练样本按加权权重从大到小排列，取前qbest个训练样本的加权权重，构造加权矩阵；以最新的加权矩阵代替步骤6.4中的加权矩阵，然后采用步骤6.3至步骤6.6的方法对每个目标样本进行光谱二次重建，得到测试样本集的二次重建光谱。
2.根据权利要求1所述的基于数码相机原始响应值的光谱重建方法，其特征在于，所述步骤5中，所述颜色转换矩阵采用以下计算方法得到：
Figure FDA0002961025580000031
其中，P表示颜色转换矩阵，Utrain表示所有训练样本的线性原始响应值矩阵，Htrain表示所有训练样本的CIE XYZ三刺激值矩阵。
3.根据权利要求2所述的基于数码相机原始响应值的光谱重建方法，其特征在于，所述步骤5中，将所述验证样本集、所述测试样本集的线性原始响应值转换为CIE XYZ三刺激值均采用以下计算方法：
xtarget＝Putarget
其中，xtarget表示目标样本的CIE XYZ三刺激值向量，utarget表示目标样本的线性原始响应值向量；目标样本为验证样本或测试样本。
4.根据权利要求1所述的基于数码相机原始响应值的光谱重建方法，其特征在于，所述步骤6.1中，所述余弦相似度的计算采用如下公式：
Figure FDA0002961025580000041
式中，si表示目标样本与第i个训练样本的余弦相似度，x表示目标样本的CIE XYZ三刺激值向量，yi表示第i个训练样本的CIE XYZ三刺激值向量，N为训练样本集的总数量；
所述步骤6.2中，所述加权权重、所述加权矩阵的计算采用如下公式：
Figure FDA0002961025580000042
Figure FDA0002961025580000043
式中，sj表示目标样本与第j个训练样本的余弦相似度，μ表示为避免arccos(sj)＝0而加入的极小值，wj为第j个训练样本的加权权重，W1表示加权矩阵；
所述步骤6.3中，所述二次多项式扩展的计算采用如下公式：
uexp＝[1 r g b rg rb gb r2 g2 b2]T
式中，uexp表示样本的线性原始响应值扩展向量，r、g、b表示线性原始响应值；
所述步骤6.4中加权的计算采用如下公式：
Rw,train＝W1Rtrain
Uw,train,exp＝W1Utrain,exp
式中，Rtrain和Rw,train分别表示加权前、加权后的局部训练样本集的光谱反射率矩阵，Utrain,exp和Uw,train,exp分别表示加权前、加权后的局部训练样本集的线性原始响应值扩展矩阵；
所述步骤6.5中，所述转换矩阵的计算采用如下公式：
Figure FDA0002961025580000051
式中，Q表示转换矩阵；
所述步骤6.6中，重建光谱反射率采用如下公式：
rtarget＝Qutarget,exp
式中，rtarget表示目标样本的初始重建光谱反射率向量，utarget,exp表示目标样本的线性原始响应值扩展向量。
5.根据权利要求1所述的基于数码相机原始响应值的光谱重建方法，其特征在于，所述步骤8或所述步骤9中，所述光谱差、所述加权权重、所述加权矩阵的计算方法采用如下公式：
Figure FDA0002961025580000052
Figure FDA0002961025580000053
Figure FDA0002961025580000054
式中，RMSEk表示目标样本与第k个训练样本的光谱差，rtarget表示目标样本初始重建光谱反射率向量，rk表示第k个训练样本的光谱反射率向量，n为光谱维度，N为训练样本总数，wk表示第k个训练样本的加权权重；ε表示为避免RMSEk＝0加入的极小值，W2表示加权矩阵。
CN202010689519.0A 2020-07-17 2020-07-17 一种基于数码相机原始响应值的光谱重建方法 Active CN111896109B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010689519.0A CN111896109B (zh) 2020-07-17 2020-07-17 一种基于数码相机原始响应值的光谱重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010689519.0A CN111896109B (zh) 2020-07-17 2020-07-17 一种基于数码相机原始响应值的光谱重建方法

Publications (2)

Publication Number Publication Date
CN111896109A CN111896109A (zh) 2020-11-06
CN111896109B true CN111896109B (zh) 2021-04-16

Family

ID=73190650

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010689519.0A Active CN111896109B (zh) 2020-07-17 2020-07-17 一种基于数码相机原始响应值的光谱重建方法

Country Status (1)

Country Link
CN (1) CN111896109B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112884854B (zh) * 2021-01-13 2022-06-03 齐鲁工业大学 一种基于相机响应值的光谱稀疏重建方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012040466A2 (en) * 2010-09-23 2012-03-29 Nanolambda, Inc. Spectrum reconstruction method for minature spectrometers
CN104634745B (zh) * 2015-01-29 2017-02-22 上海理工大学 光谱重构方法
US10580170B2 (en) * 2015-10-19 2020-03-03 National Ict Australia Limited Spectral reconstruction
CN106896069B (zh) * 2017-04-06 2019-05-10 武汉大学 一种基于彩色数码相机单幅rgb图像的光谱重建方法
CN110926609B (zh) * 2019-10-22 2022-03-15 齐鲁工业大学 一种基于样本特征匹配的光谱重建方法
CN110736542B (zh) * 2019-10-28 2021-07-16 南京林业大学 一种基于rgb值的光谱重建方法
CN111047539A (zh) * 2019-12-27 2020-04-21 上海工程技术大学 一种基于光谱反射率重建的织物图像颜色校准算法

Also Published As

Publication number Publication date
CN111896109A (zh) 2020-11-06

Similar Documents

Publication Publication Date Title
CN108020519B (zh) 一种基于颜色恒常性的虚拟多光源光谱重建方法
US7586642B2 (en) Color-space transformation-matrix calculating system and calculating method
Wang et al. An optimized tongue image color correction scheme
JPH1196333A (ja) カラー画像処理装置
EP3888345B1 (en) Method for generating image data for machine learning based imaging algorithms
JP6455764B2 (ja) 色補正パラメータ算出方法、色補正パラメータ算出装置および画像出力システム
Quintana et al. A novel method for color correction in epiluminescence microscopy
CN111047539A (zh) 一种基于光谱反射率重建的织物图像颜色校准算法
CN113676639B (zh) 图像处理方法、处理装置、电子设备及介质
CN112689140B (zh) 白平衡同步方法及装置、电子设备和存储介质
CN110926609A (zh) 一种基于样本特征匹配的光谱重建方法
CN113628135A (zh) 图像颜色校正方法、装置、计算机装置及存储介质
JP2001008220A (ja) 色再現システム
CN113506235A (zh) 一种对抗曝光变化的自适应加权光谱重建方法
CN109459136A (zh) 一种色度测量的方法与装置
CN111896109B (zh) 一种基于数码相机原始响应值的光谱重建方法
CN106895916B (zh) 一种单次曝光拍摄获取多光谱图像的方法
Zhang et al. Spectral shift correction and adaptive band selection for multispectral imaging
CN112488997B (zh) 基于特征插值的古代绘画印刷品颜色复现检测和评价方法
CN107170013B (zh) 一种rgb相机光谱响应曲线的标定方法
JP2005045446A (ja) 色変換マトリクス算出方法および色補正方法
CN110784709A (zh) 基于感知色差最小化优化估计数码相机光谱灵敏度的方法
CN115426487A (zh) 色彩校正矩阵调整方法、装置、电子设备及可读存储介质
JP2006090897A (ja) ２種類の光源を用いた分光反射率推定方式
CN105744267B (zh) 基于齐次多项式数码相机参数可变的获取三刺激值方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant