CN110784709A - 基于感知色差最小化优化估计数码相机光谱灵敏度的方法 - Google Patents

Abstract

本发明公开了一种基于感知色差最小化优化估计数码相机光谱灵敏度的方法。对一般的数码相机，可以通过拍摄和测量标准色卡的相机响应值和光谱辐亮度值，并导入本发明框架来获取数码相机的光谱灵敏度。相比过去的数码相机光谱灵敏度估计方法，本方法能获得更高的精确度且对实验设备要求较低。

Description

基于感知色差最小化优化估计数码相机光谱灵敏度的方法

技术领域

本发明属于图像处理领域，具体涉及利用感知色差优化法估计数码相机光谱 灵敏度函数方法。

背景技术

在图像处理和计算机视觉应用中，相比设备相关的图像RGB响应值，利用 图像的色度参数来传递颜色信息更为准确。因此，为了从源头上获取图像的色度 信息，一种方法是建立数码相机三通道原始响应值与图像色度参数的对应关系。 为此，需要获得数码相机的光谱灵敏度函数(camera spectral sensitivity functions)。

假设数码相机输出的原始数据的主要误差来源，包括系统误差、系统非均匀 性和随机噪声等都已经通过不同手段加以抑制，则数码相机系统的原始响应值D 可以表示为

其中F表示系统的光圈数，g表示系统的综合增益，T表示曝光时间，

为感光 单元灵敏度因子，A为感光单元有效感光面积，L(λ)为拍摄物体的光谱辐亮度， t(λ)为系统综合透过率函数，q(λ)为系统光电转换效率。

对单个确定的相机系统，其t(λ)和q(λ)的乘积可视为一个常量。为了简便起 见，本发明仅针对图像传感器上单个像素进行分析，结论可以推广到整个图像传 感器平面，则上式可以简化为

其中

为设备相关的常数，s(λ)＝t(λ)q(λ)

由于s_k(λ),k∈{r,g,b}反应了相机系统对光谱的响应特性，研究者可以通过 s(λ)推测数码相机的原始响应值与图像颜色参数间的关系，故s(λ)被称为数码相 机的光谱灵敏度函数。测量数码相机的光谱灵敏度函数，最简单的方法是利用单 色仪或窄带滤光片生成目标波段的准单色光，用相机对准单色光成像并记录其响 应值，目标相机对不同波长的单色光的原始响应值可以作为近似的该波段光谱灵 敏度函数。这种方法虽然简便直观，但由于测量仪器的系统误差，其精度不如人 意；此外，由于相机图像传感器内部各颜色像素间总是有一定的能量泄露，其面 对真实图像场景的响应值包含了一定的通道串扰，而图像传感器对单色光的响应 值无法表征这种效应，使这种测量方法并不能完全准确地反映相机的光谱灵敏度 函数。

发明内容

本发明的目的在于解决现有技术中存在的问题，并提供一种基于感知色差最 小化优化估计数码相机光谱灵敏度的方法。

本发明具体采用的技术方案如下：

基于感知色差最小化优化估计数码相机光谱灵敏度的方法，其步骤如下：

S1：建立数码相机三通道响应值模型，并改写为矩阵模式，获得其原始响应 值D关于相机特性的参数，包括设备相关常数κ，光谱辐亮度L，相机光谱灵敏度 S^T，通道串扰系数C，非线性调制因子α、β、γ，三通道综合增益系数g的表达式；

S2：针对M个训练样本，建立S1中相机特性参数估计的非线性优化目标函 数；

S3：建立基于CIEDE2000色度模型的色度特征化过程

获得颜色空间 变换矩阵M^rootpoly；

S4：获取S1中相机特性参数的初值，使用内点法对该非线性优化问题求解， 加入平滑约束和非负约束，获得数码相机的光谱灵敏度S^T的估计。

作为优选，所述的步骤S1的具体方法为：

考虑模拟电路中非线性因素和通道串扰对响应值构成的影响，将相机的三通 道原始响应值表示为：

其中，D_k为k通道原始响应值，g_k表示相机系统的综合增益，

为设 备相关的常数，α_k、β_k、γ_k为传感器的非线性调制系数，c_kk'为从k通道泄露到k'通道 的串扰因子，k∈{r,g,b}，k'∈{r,g,b}；F表示相机系统的光圈数，T表示曝光 时间，

为感光单元灵敏度因子，A₀为感光单元有效感光面积，L(λ)为拍摄物体 的光谱辐亮度，t(λ)为相机系统综合透过率函数，q(λ)为相机系统光电转换效率； s_k(λ)＝t_k(λ)q_k(λ)，s_k(λ)为数码相机的光谱灵敏度函数；

将相机的三通道原始响应值表达公式改写为矩阵形式：

D＝g[Tκ(Δλ)L·S^T·C+α]^γ+β

其中：

D为图像原始响应值行向量，

D＝[D_r,D_g,D_b]

对D进行归一化，以消除相机位深差异对响应值数值大小的影响，归一化公式为：

其中，h代表相机位深数；

L为1×N的光谱辐亮度行向量，N为分光辐射度计的采样通道数：

L＝[L(380),…,L(780)]

S^T为N×3的相机光谱灵敏度矩阵，每列代表相机其中一个颜色通道的光谱灵敏度函数，即：

C为3×3的通道串扰系数矩阵，其中第k行k’列的元素表示从k个颜色通道到k’ 个颜色通道的串扰因子，即：

α、β、γ分别为三通道非线性调制因子，都是1×3行向量：

α＝[α_r，α_g，α_b]

β＝[βr，β_g，β_b]

γ＝[γ_r，γ_g，γ_b]

g为三通道综合增益系数，是1×3行向量：

g＝[g_r，g_g，g_b]

Δλ为分光辐射度计的采样间隔，在可见光光谱范围380nm-780nm内，满足

作为优选，所述的步骤S2的具体方法为：

对图像响应值进行相应的逆变换来获得理想的线性原始响应值为D₀，表示 为：

将关于S、C、κ、α、β、γ参数的估计问题表示为：

其中，

分别表示S、C、κ、α、β、γ的估计值，

为损失 函数，M为训练样本数，D_i为在raw图像中直接提取的第i个训练样本原始响应 值，

为通过

计算的预测原始响应值向量，L_i为第i个训练样本的光谱辐亮度行向量。

作为优选，所述的步骤S3的具体方法为：

采用经过色度特征化后响应值间的CIEDE2000色差ΔE₀₀作为损失函数对响 应值预测模型中参数进行端到端估计，即

其中

表示色度特征化过程；采用三次齐次根式多项式作为参数估计的色度特征化模型，该模型使用一个13×3的颜色空间变换矩阵M^rootpoly将原始响应值映 射到CIE1931 XYZ颜色空间中，具体过程为：

首先将第i个训练样本原始响应值D_i扩展为1×13行向量

其中：D_ki表示第i个训练样本的k通道原始响应值D_k；

然后，通过分光辐射度计测量训练样本的光谱辐亮度L(λ)，并代入CIE1931 XYZ色度公式中，计算训练样本在该光源下的原始XYZ三刺激值X_i＝[X_i,Y_i,Z_i]

再通过非线性优化方法获得颜色空间变换矩阵M^rootpoly，该矩阵用以最小化 M个样本的CIEDE2000色差均值：

作为优选，所述的步骤S4的具体方法为：

使用内点法对式中带约束的非线性优化问题求解，求解前获取一组S1中所 述相机特性的参数初值，作为优化最小值搜索的起始点；在设置初始化参数时， 先暂时搁置非线性调制因子和通道串扰系数，令α＝β＝0，γ＝1，c＝I₃，I_N表示 N×N单位矩阵，将相机原始响应值计算式改写为：

其中D与g逐元素相除；

对M个训练样本，有

其中，D′与g′仍逐元素相除；

D′为M个训练样本的M×3原始响应值矩阵：

其中：D_ik表示第i个训练样本的k通道原始响应值D_k，i＝1,2,3，…,M；

g′为M×3的训练样本三通道综合增益系数：

其中：g_ik表示第i个训练样本的k通道增益系数，i＝1,2,3，…,M；

T为样本曝光时间构成的M×M对角矩阵：

其中：T_i表示第i个训练样本的曝光时间，i＝1,2,3，…,M；

L′为M×N的光谱辐亮度矩阵，每行对应一个训练样本的光谱辐亮度值：

进行公式变形并对三通道分别进行分析，有：

下标k∈{r,g,b}表示对三个通道其中一个通道进行计算；diag(·)表示将向量转换 为对角矩阵；1表示一个元素全为1的M×1矩阵；

在求解该式时加入正则化项，令求得的光谱灵敏度函数满足平滑约束，避免 L′中存在的噪声造成光谱灵敏度函数S^T解的值的震荡；对加入的平滑约束为：

其中

为(N-2)×N的正则化矩阵，0表示元素全为0的(N-2)×1矩阵，且：

合并平滑约束项后获得正则化项的第k通道的光谱灵敏度函数

的最小二 乘表达式：

其中

为正则化参数，调整

取值能够令

的解在拟合残差与正则化误差之间取得平衡；

另外，

还具有非负约束；

在获得光谱灵敏度函数初始值后，非线性参数α、β、γ的初始值通过非线性 拟合计算，计算时采用信赖域反射算法对曲线y＝g(x+α_k)^γk+β_k进行最小二 乘拟合，下标k∈{r,g,b}表示对三个通道其中一个通道进行计算，y为训练样本 真实的原始响应值，x为通过参数估计过程预测的原始响应值；

在得到

C、α、β、γ的初始化参数后，使用内点法对式

进行非线性优化：

其中，f(·)表示按计算的评价色差，x表示由

C、α、β、γ这几个元素连结成的(3N+18)×1的向量，其中三 通道光谱灵敏度函数具有3N个元素，通道串扰系数矩阵和非线性系数各具有9 个元素；A和b为线性不等式约束，x_lb和x_ub为允许的搜索上下限；该非线性优化 等效于在3N+18维空间中寻找初始值附近满足约束条件的局部最小值；

在所述非线性优化过程中，规定以下两个约束：

i)光谱灵敏度函数应该平滑，符合真实相机的光谱响应特性；

ii)各待优化参数应满足其上下限限制：优化后的光谱灵敏度函数在全部波长 范围上最小值应为非负数，最大值不超过初始值的200％；非线性参数α、β、γ的 优化值浮动范围为初始值±500％；通道串扰系数矩阵C的对角线上元素应满足 0.8<c_kk′<1,k＝k′，非对角线元素应满足0<c_kk′<0.1,k≠k′；

最后将优化后的κS^T中κ与S^T分离：

其中max{·}表示取矩阵最大元素；

S^T即为估计获得的数码相机的光谱灵敏度。

本发明的有益效果为：对一般的数码相机，可以通过拍摄和测量标准色卡的 相机响应值和光谱辐亮度值，并利用本发明的估计方法来获取数码相机的光谱灵 敏度。相比过去的数码相机光谱灵敏度估计方法，本方法能获得更高的精确度且 对实验设备要求较低。

附图说明

图1为相机拍摄和光谱辐射度计测量的几何条件。

图2为指导正则化参数选取的L形曲线。

图3为D3x的光谱灵敏度函数估计结果。点线为未经过非线性优化的初始 值，实线为经过非线性优化的结果。

具体实施方式

下面结合附图和具体实施例对本发明做进一步说明。

在本发明中，一种基于感知色差最小化优化估计数码相机光谱灵敏度的方法， 其基本步骤如下：

S1：建立数码相机三通道响应值模型，并改写为矩阵模式，获得其原始响应 值D关于相机特性的参数，包括设备相关常数κ，光谱辐亮度L，相机光谱灵敏度 S^T，通道串扰系数C，非线性调制因子α、β、γ，三通道综合增益系数g的表达式；

S2：针对M个训练样本，建立S1中相机特性参数估计的非线性优化目标函 数；

S3：建立基于CIEDE2000色度模型的色度特征化过程

获得颜色空间 变换矩阵M^rootpoly；

S4：获取S1中相机特性参数的初值，使用内点法对该非线性优化问题求解， 加入平滑约束和非负约束，获得数码相机的光谱灵敏度S^T的估计。

下面详细描述该方法在本实施例中的具体实现过程：

a、基于相机原始响应值的参数估计原理

考虑到模拟电路中非线性因素和通道串扰对响应值构成的影响，数码相机系 统的原始响应值表达公式可以进一步改写为：

其中，D_k为k通道原始响应值，g_k表示相机系统的综合增益，

为设 备相关的常数，α_k、β_k、γ_k为传感器的非线性调制系数，c_kk'为从k通道泄露到k'通道 的串扰因子，k∈{r,g,b}，k'∈{r,g,b}；F表示相机系统的光圈数，T表示曝光 时间，

为感光单元灵敏度因子，A₀为感光单元有效感光面积，L(λ)为拍摄物体 的光谱辐亮度，t(λ)为相机系统综合透过率函数，q(λ)为相机系统光电转换效率； s_k(λ)＝t_k(λ)q_k(λ)，s_k(λ)表征了相机系统对光谱的响应特性，被称为数码相机的 光谱灵敏度函数。

为便于运算，将相机的三通道原始响应值表达公式改写为矩阵形式，即

D＝g[Tκ(Δλ)L·S^T·C+α]^γ+β

其中：

D为图像原始响应值行向量，为了消除相机位深差异对响应值数值大小的影响，应对其进行下列归一化，其中h代表相机位深数；

D＝[D_r,D_g,D_b]

L为1×N的光谱辐亮度行向量，N为分光辐射度计的采样通道数

L＝[L(380),…,L(780)]

S^T为N×3的相机光谱灵敏度矩阵，每列代表相机其中一个颜色通道的光谱灵敏度函数，即

C为3×3的通道串扰系数矩阵，其中第k行k’列的元素表示从k个颜色通道到k’ 个颜色通道的串扰因子，即：

α、β、γ分别为三通道非线性调制因子，都是1×3行向量

α＝[α_r，α_g，α_b]

β＝[β_r，β_g，β_b]

γ＝[γ，γ_g，γ_b]

g为三通道综合增益系数，是1×3行向量

g＝[g_r，g_g，g_b]

Δλ为分光辐射度计的采样间隔。在可见光光谱范围(380nm-780nm)内，有

为了便于后续的图像信号处理，数码相机输出的原始响应值应该与实际场景 的辐亮度呈线性关系，故在获得数码相机系统的非线性参数和通道串扰系数以后， 应该对图像响应值进行相应的逆变换来获得理想的线性原始响应值，记为D₀

因此，可以将关于S、C、κ、α、β、γ等参数的估计问题表示为

其中，分别表示S、C、κ、α、β、γ的估计值，

为损失 函数，M为训练样本数，D_i为在raw图像中直接提取的第i个训练样本原始响应 值，

为通过

计算的预测原始响应值向量，L_i为第i个训练样本的光谱辐亮度行向量。

一些研究为了简化计算，直接使用原始响应值空间中D_i和

的欧氏距离作为 光谱灵敏度函数估计的损失函数。这种方法虽然简单直观，但是其结果并不能反 应模型的复现性能，这是因为原始响应值空间是设备相关空间，不同的数码相机 的原始响应值空间对应的物理参数不尽相同。此外，本发明的目的是通过借助建 立的模型指导相机图像处理算法参数的调节，以提高其颜色复现能力。因此，本 发明采用经过色度特征化后响应值间的CIEDE2000色差作为损失函数对响应值 预测模型中参数进行端到端估计，即

其中

表示色度特征化过程，其具体操作在后文b部分详述。

同样的，预测获得的原始响应值也将通过

转换到设备无关的颜色空间，来对响应值预测模型性能进行评估，并以CIEDE2000色差作为预测准确性的指标。

b、参数估计中的色度特征化过程

色度特征化过程

在对响应值预测模型进行参数估计时，其作用仅是为了 将设备相关的原始响应值转换到设备无关的颜色空间中，因此只需要保证D_i和

使用一致的色度特征化模型而无需区分训练和测试验证。本发明采用三次齐次根 式多项式作为参数估计的色度特征化模型，该模型使用一个13×3的颜色空间变 换矩阵M^rootpoly将原始响应值映射到CIE1931 XYZ颜色空间中，其变换过程如 下：

i)将训练样本原始响应值D_i扩展为1×13行向量

其中：D_ki表示第i个训练样本的k通道原始响应值D_k；

ii)通过分光辐射度计测量训练样本的光谱辐亮度L(λ)，并代入 CIE1931 XYZ色度公式中，计算训练样本在该光源下的原始XYZ三 刺激值X_i＝[X_i,Y_i,Z_i]

iii)通过非线性优化方法获得颜色空间变换矩阵M^rootpoly，该矩阵 可以最小化M个样本的CIEDE2000色差均值

由于颜色空间变换矩阵M^rootpoly具有光源依赖性，当改变测试响 应值预测模型使用的光源时，也需要重新计算对应的M^rootpoly以保证 色度特征化的准确性。

综上，关于S、C、κ、α、β、γ参数的估计问题可以改写为

c、参数估计中的初始化和非线性优化

本发明使用内点法对式中带约束的非线性优化问题求解，该算法需要预先提 供一组初始化的相机特性的参数参数作为优化最小值搜索的起始点。

为了便于计算，在设置初始化参数时，可以先暂且搁置非线性调制因子和通 道串扰系数，即令α＝β＝0，γ＝1，C＝I₃(I_N表示N×N单位矩阵，下同)，相 机原始响应值计算式可改写为：

其中D与g逐元素相除(均为1×3矩阵)；

相应地，对M个训练样本，有：

其中，D′与g′仍逐元素相除(均为M×3矩阵)，

D′为M个样本的M×3原始响应值矩阵：

其中：D_ik表示第i个训练样本的k通道原始响应值D_k，i＝1,2,3，…,M；

g′为M×3的训练样本三通道综合增益系数：

其中：g_ik表示第i个训练样本的k通道增益系数，i＝1,2,3，…,M；

T为样本曝光时间构成的M×M对角矩阵：

其中：T_i表示第i个训练样本的曝光时间，i＝1,2,3，…,M；

L′为M×N的光谱辐亮度矩阵，每行对应一个训练样本的光谱辐亮度值：

由于L′中存在一定的噪声，使用伪逆法或奇异值分解将出现严重的震荡， 无法得到可信的光谱灵敏度函数S^T的解。因此，本发明在求解该式时加入正则化 项，令求得的光谱灵敏度函数满足平滑约束。

对上式进行变形，在此基础上对三通道分别进行分析，有

k∈{r,g,b}表示对三个通道其中一个通道进行计算。diag(·)表示将向量转换为对 角矩阵；1表示一个元素全为1的M×1矩阵。

在求解该式时加入正则化项，令求得的光谱灵敏度函数满足平滑约束，避免 L′中存在的噪声造成光谱灵敏度函数S^T解的值的震荡。

对

加入平滑约束，有

其中

为(N-2)×N的正则化矩阵，0表示元素全为0的(N-2)×1矩阵，且:

合并以上两式，可获得正则化项的第k通道的光谱灵敏度函数

的最小二 乘表达式：

其中

为正则化参数，良好的取值可令

的解可以在拟合残差

与正则化误差

之间取得较好的平衡。

对于引入正则化约束的不适定问题，如果在拟合残差和正则化误差两个变量 的log-log平面上，以不同的

取值获得的两变量值为坐标描绘其轨迹，将得到一 个L形曲线，合适的

取值应位于L形曲线的拐点附近。

另外，实际相机的光谱灵敏度在光谱各波长上总是大于等于0的，因此

还 应具有非负约束。

在获得合适的光谱灵敏度函数初始值后，非线性参数α、β、γ的初始值可以 通过非线性拟合计算。本发明采用信赖域反射算法对曲线

y＝g(x+α_k)^γk+β_k

进行最小二乘拟合，下标k∈{r,g,b}表示对三个通道其中一个通道进行计算，y为训练样本真实的原始响应值，x为通过上面的参数估计过程预测的原始响应值。

在得到

C、α、β、γ的初始化参数后，可以使用内点法对式

进行非线性优化：

其中，f(·)表示按上式计算的评价色差，x表示由

C、α、β、γ,k∈{r,g,b}这几个元素连结成的(3N+18)×1的向量，其中三通道光谱灵敏度函数具有3N个元 素，通道串扰矩阵和非线性系数各具有9个元素；A和b为线性不等式约束，x_lb和 x_ub为允许的搜索上下限。该优化等效于在3N+18维空间中寻找初始值附近满足 约束条件的局部最小值。

为了防止优化过程中的过拟合，本发明对此非线性参数优化规定以下约束：

i)光谱灵敏度函数应该较平滑，符合真实相机的光谱响应特性，因此有

其中，0表示元素全为0的(N-2)×18矩阵，故A为(3N-6)×18矩阵，b为(3N-6) ×18矩阵，T_s为平衡度控制值。

ii)考虑到真实相机的实际光谱特性，对各待优化参数的上下限做出限制：优 化后的光谱灵敏度函数在全部波长范围上最小值应为非负数，最大值不超过初始 值的200％；非线性参数α、β、γ的优化值浮动范围为初始值±500％；通道串扰 矩阵C的对角线上元素应满足0.8<c_kk′<1,k＝k′，非对角线元素应满足 0<c_kk′<0.1,k≠k′。综上有

其中，矩阵O表示元素全为0的3N×1矩阵，下标0表示初始化参数

由于S_k(λ)被定义为相对光谱灵敏度，因此还要将优化后的κS^T中k与S^T分离：

其中max{·}表示取矩阵最大元素。

S^T即为估计获得的数码相机的光谱灵敏度。

为对本发明的实施过程有更直观的了解，下面介绍一个具体实施例，并配合 附图详细说明。

实施例采用X-Rite Digital SG色卡中的各色块作为相机光谱灵敏度估计的训练样本，用于预测Nikon D3x数码相机的光谱灵敏度。具体的光谱灵敏度的方法 如前所述，不再详细赘述，下面主要介绍各步骤的具体实现和效果。

1.训练样本的处理

实施例采用X-Rite Digital SG色卡的色块响应值作为参数估计的训练样本， 照明光源为X-Rite Macbeth SpectraLight III灯箱包含的D65日光光源模拟器，拍 摄参数为ISO100，F4，1/30s。排除色卡上重复的色块，共有96个色块的原始响 应值被编为训练样本集。在实际操作中，对目标色块中心50px×50px范围的方 形区域计算均值并作为对应色块的原始响应值D＝[D_r,D_g,D_b]

为了估计相机的光谱灵敏度函数，还需要测量训练样本在照明光源下光谱辐 亮度L(λ)。本发明采用Konica Minolta CS-2000光谱辐射度计对训练样本的光谱 辐亮度进行测量。为了获得色卡色块尽可能一致的光照条件，光谱辐射度计和相 机均采用45/0的测量几何条件(照明光光轴与样品法线呈45度角，测量仪器光 轴与样品法线夹角小于10度)，且呈对称放置，相机拍摄色卡色块和光谱辐射度 计测量相应的色块光谱辐亮度值的测量几何条件如图1所示。CS-2000能够在波 长380nm到780nm间以1nm为间隔测量光谱辐亮度，但为了降低计算复杂度， 本实施例将其结果下采样到5nm间隔，即响应值预测模型中的N＝81。光谱辐射 度计在测量样本的光谱辐亮度时也会一并读出其XYZ三刺激值，可以用于计算 样本原始响应值映射到CIE1931 XYZ空间的颜色空间变换矩阵M^rootpoly。

2.相机响应值预测模型的参数估计

对M个训练样本组成的原始响应值矩阵D，有

D＝g[Tκ(Δλ)L·S^T·C+α]^γ+β

估计式中各参数为一个不适定问题。在一定约束条件下可以优化获得较优解。首先应设定优化初始值。令α＝β＝0，γ＝1，C＝I₃，有

其中D与g逐元素相除(均为M×3矩阵)，

D为M个样本的M×3原始响应值矩阵

g′为M×3的训练样本三通道综合增益系数，可以由事先标定得到

T为样本曝光时间构成的M×M对角矩阵

L′为M×N的光谱辐亮度矩阵，每行对应一个CS-2000测量的对应训练样本的 光谱辐亮度值

由于L′中存在一定的噪声，需要在式中加入正则化项对

加入平滑约束， 有

其中

为(N-2)×N的正则化矩阵，0表示元素全为0的(N-2)×1矩阵

合并以上两式，可获得待遇正则化项的第k通道的光谱灵敏度函数的最 小二乘表达式

其中

为正则化参数，其取值的变化将令拟合残差

与正则化误差

的值发生对应变化，将其值对应的拟合残差和正则化误差作为横坐标和纵坐标绘制一个log-log平面，的最佳取值位于L形曲线拐点附近，如图2所示。

获得的训练初始值后，非线性参数α、β、γ的初始值可以通过非线性拟 合计算。实施例采用信赖域反射算法对曲线

y＝g(x+α_k)^γk+β_k

进行最小二乘拟合，k∈{r,g,b}表示对三个通道其中一个通道进行计算，y为训练样本真实的原始响应值，x为通过上面的参数估计过程预测的原始响应值。

在得到

C、α、β、γ的初始化参数后，可以使用内点法对式

进行非线性优化，其中涉及的基于相机原始响应值的色度特征化在后文详述，有

其中，f(·)表示按上式计算的评价色差，x表示由

C、α、β、γ,k∈{r,g,b}这几个元素连结成的(3N+18)×1的向量，其中三通道光谱灵敏度函数具有3N个元 素，通道串扰矩阵和非线性系数各具有9个元素；A和b为线性不等式约束，x_lb和 x_ub为允许的搜索上下限。该优化等效于在3N+18维空间中寻找初始值附近满足 约束条件的局部最小值。

为了防止优化过程中的过拟合，本发明对此非线性参数优化规定以下约束：

i)光谱灵敏度函数应该较平滑，符合真实相机的光谱响应特性，因此有

其中，0表示元素全为0的(N-2)×18矩阵，故A为(3N-6)×18矩阵，b为(3N-6) ×18矩阵，T_s为平衡度控制值。

ii)考虑到真实相机的实际光谱特性，对各待优化参数的上下限做出限制：优化后的光谱灵敏度函数在全部波长范围上最小值应为非负数，最大值不超过初始值的 200％；非线性参数α、β、γ的优化值浮动范围为初始值±500％；通道串扰矩阵C的 对角线上元素应满足0.8<c_kk′<1,k＝k′，非对角线元素应满足0<c_kk′< 0.1,k≠k′。综上有

其中，矩阵0表示元素全为0的3N×1矩阵，下标0表示初始化参数

S_k(λ)被定义为相对光谱灵敏度，因此还要将优化后的κS^T中κ与S^T分离：

其中max{·}表示取矩阵最大元素。

即通过原始响应值预测模型估计的相机光谱灵敏度函数，如图3所示。

相机原始响应值预测模型的其他参数具体值如下

3.参数估计中基于原始响应值的色度特征化

实施例采用三次齐次根式多项式作为参数估计的色度特征化模型，该模型使 用一个13×3的颜色空间变换矩阵M^rootpoly将原始响应值映射到CIE1931 XYZ 颜色空间中，其变换过程如下

i)将训练样本原始响应值D_i扩展为1×13行向量

ii)通过分光辐射度计测量训练样本的光谱辐亮度L(λ)，并代入CIE1931 XYZ色度公式中，计算训练样本在该光源下的原始XYZ三刺激值X_i＝[X_i,Y_i,Z_i]

iii)通过非线性优化方法获得颜色空间变换矩阵M^rootpoly，该矩阵可以最小化M 个样本的CIEDE2000色差均值

由此可见，本发明涉及的利用感知色差优化法估计数码相机光谱灵敏度函数 方法，可以较准确地估计数码相机各通道的光谱灵敏度函数。对一般的数码相机， 可以通过拍摄和测量标准色卡的相机响应值和光谱辐亮度值，并导入本发明框架 来获取数码相机的光谱灵敏度。

以上所述的实施例只是本发明的一种较佳的方案，然其并非用以限制本发明。 有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以 做出各种变化和变型。因此凡采取等同替换或等效变换的方式所获得的技术方案， 均落在本发明的保护范围内。

Claims (5)

1.一种基于感知色差最小化优化估计数码相机光谱灵敏度的方法，其特征在于，步骤如下：

S1：建立数码相机三通道响应值模型，并改写为矩阵模式，获得其原始响应值D关于相机特性的参数，包括设备相关常数κ，光谱辐亮度L，相机光谱灵敏度S^T，通道串扰系数C，非线性调制因子α、β、γ，三通道综合增益系数g的表达式；

S2：针对M个训练样本，建立S1中相机特性参数估计的非线性优化目标函数；

S3：建立基于CIEDE2000色度模型的色度特征化过程

获得颜色空间变换矩阵M^rootpoly；

S4：获取S1中相机特性参数的初值，使用内点法对该非线性优化问题求解，加入平滑约束和非负约束，获得数码相机的光谱灵敏度S^T的估计。

2.如权利要求1所述的基于感知色差最小化优化估计数码相机光谱灵敏度的方法，其特征在于，所述的步骤S1的具体方法为：

考虑模拟电路中非线性因素和通道串扰对响应值构成的影响，将相机的三通道原始响应值表示为：

其中，D_k为k通道原始响应值，g_k表示相机系统的综合增益，

为设备相关的常数，α_k、β_k、γ_k为传感器的非线性调制系数，c_kk′为从k通道泄露到k′通道的串扰因子，k∈{r，g，b}，k′∈{r，g，b}；F表示相机系统的光圈数，T表示曝光时间，为感光单元灵敏度因子，A₀为感光单元有效感光面积，L(λ)为拍摄物体的光谱辐亮度，t(λ)为相机系统综合透过率函数，q(λ)为相机系统光电转换效率；s_k(λ)＝t_k(λ)q_k(λ)，s_k(λ)为数码相机的光谱灵敏度函数；

将相机的三通道原始响应值表达公式改写为矩阵形式：

D＝g[T_κ(Δλ)L·S^T·C+α]γ+β

其中：

D为图像原始响应值行向量，

D＝[D_r，D_g，D_b]

对D进行归一化，以消除相机位深差异对响应值数值大小的影响，归一化公式为：

其中，h代表相机位深数；

L为1×N的光谱辐亮度行向量，N为分光辐射度计的采样通道数：

L＝[L(380)，…，L(780)]

S^T为N×3的相机光谱灵敏度矩阵，每列代表相机其中一个颜色通道的光谱灵敏度函数，即：

C为3×3的通道串扰系数矩阵，其中第k行k’列的元素表示从k个颜色通道到k’个颜色通道的串扰因子，即：

α、β、γ分别为三通道非线性调制因子，都是1×3仃同量：

α＝[α_r，α_g，α_b]

β＝[β_r，β_g，β_b]

γ＝[γ_r，γ_g，γ_b]

g为三通道综合增益系数，是1×3行向量：

g＝[g_r，g_g，g_b]

Δλ为分光辐射度计的采样间隔，存可见光光谱范围380nm-780nm内，满早

3.如权利要求1所述的基于感知色差最小化优化估计数码相机光谱灵敏度的方法，其特征在于，所述的步骤S2的具体方法为：

对图像响应值进行相应的逆变换来获得理想的线性原始响应值为D₀，表示为：

将关于S、C、κ、α、β、γ参数的估计问题表示为：

其中，分别表示S、C、κ、α、β、γ的估计值，为损失函数，M为训练样本数，D_i为在raw图像中直接提取的第i个训练样本原始响应值，

为通过

计算的预测原始响应值向量，L_i为第i个训练样本的光谱辐亮度行向量。

4.如权利要求1所述的基于感知色差最小化优化估计数码相机光谱灵敏度的方法，其特征在于，所述的步骤S3的具体方法为：

采用经过色度特征化后响应值间的CIEDE2000色差ΔE₀₀作为损失函数对响应值预测模型中参数进行端到端估计，即

其中表示色度特征化过程；采用三次齐次根式多项式作为参数估计的色度特征化模型，该模型使用一个13×3的颜色空间变换矩阵M^rootpoly将原始响应值映射到CIE1931 XYZ颜色空间中，具体过程为：

首先将第i个训练样本原始响应值D_i扩展为1×13行向量

其中：D_ki表示第i个训练样本的k通道原始响应值D_k；

然后，通过分光辐射度计测量训练样本的光谱辐亮度L(λ)，并代入CIE1931 XYZ色度公式中，计算训练样本在该光源下的原始XYZ三刺激值X_i＝[X_i，Y_i，Z_i]

再通过非线性优化方法获得颜色空间变换矩阵M^rootpoly，该矩阵用以最小化M个样本的CIEDE2000色差均值：

5.如权利要求1所述的基于感知色差最小化优化估计数码相机光谱灵敏度的方法，其特征在于，所述的步骤S4的具体方法为：

使用内点法对式中带约束的非线性优化问题求解，求解前获取一组S1中所述相机特性的参数初值，作为优化最小值搜索的起始点；在设置初始化参数时，先暂时搁置非线性调制因子和通道串扰系数，令α＝β＝0，γ＝1，c＝I₃，I_N表示N×N单位矩阵，将相机原始响应值计算式改写为：

其中D与g逐元素相除；

对M个训练样本，有

其中，D′与g′仍逐元素相除；

D′为M个训练样本的M×3原始响应值矩阵：

其中：D_ik表示第i个训练样本的k通道原始响应值D_k，i＝1，2，3，…，M；

g′为M×3的训练样本三通道综合增益系数：

其中：g_ik表示第i个训练样本的k通道增益系数，i＝1，2，3，…，M；

T为样本曝光时间构成的M×M对角矩阵：

其中：T_i表示第i个训练样本的曝光时间，i＝1，2，3，…，M；

L′为M×N的光谱辐亮度矩阵，每行对应一个训练样本的光谱辐亮度值：

进行公式变形并对三通道分别进行分析，有：

下标k∈{r，g，b}表示对三个通道其中一个通道进行计算；diag(·)表示将向量转换为对角矩阵；1表示一个元素全为1的M×1矩阵；

在求解该式时加入正则化项，令求得的光谱灵敏度函数满足平滑约束，避免L′中存在的噪声造成光谱灵敏度函数ST解的值的震荡；对

加入的平滑约束为：

其中为(N-2)×N的正则化矩阵，0表示元素全为0的(N-2)×1矩阵，且：

合并平滑约束项后获得正则化项的第k通道的光谱灵敏度函数

的最小二乘表达式：

其中

为正则化参数，调整

取值能够令

的解在拟合残差与正则化误差之间取得平衡；

另外，

还具有非负约束；

在获得光谱灵敏度函数初始值后，非线性参数α、β、γ的初始值通过非线性拟合计算，计算时采用信赖域反射算法对曲线

进行最小二乘拟合，下标k∈{r，g，b}表示对三个通道其中一个通道进行计算，y为训练样本真实的原始响应值，x为通过参数估计过程预测的原始响应值；

在得到C、α、β、γ的初始化参数后，使用内点法对式

进行非线性优化：

其中，f(·)表示按

计算的评价色差，x表示由

C、α、β、γ这几个元素连结成的(3N+18)×1的向量，其中三通道光谱灵敏度函数具有3N个元素，通道串扰系数矩阵和非线性系数各具有9个元素；A和b为线性不等式约束，x_lb和x_ub为允许的搜索上下限；该非线性优化等效于在3N+18维空间中寻找初始值附近满足约束条件的局部最小值；

在所述非线性优化过程中，规定以下两个约束：

i)光谱灵敏度函数应该平滑，符合真实相机的光谱响应特性；

ii)各待优化参数应满足其上下限限制：优化后的光谱灵敏度函数在全部波长范围上最小值应为非负数，最大值不超过初始值的200％；非线性参数α、β、γ的优化值浮动范围为初始值±500％；通道串扰系数矩阵C的对角线上元素应满足0.8＜C_kk′＜1，k＝k′，非对角线元素应满足0＜c_kk′＜0.1，k≠k′；

最后将优化后的κS^T中κ与S^T分离：

其中max{·}表示取矩阵最大元素；

S^T即为估计获得的数码相机的光谱灵敏度。

Images