CN105933686A - 一种光源自适应的数码相机彩色镜头阴影校正方法 - Google Patents

Abstract

本发明公开了一种光源自适应的数码相机彩色镜头阴影校正方法。该方法采用二次B‑样条曲面作为补偿因子，并对不同光源下的B‑样条曲面参数进行主成分分析(PCA)，提取出不同光源对应的主成分系数，并建立起不同光源白平衡增益(R_gain、B_gain)与主成分系数的关系，从而对任意光源选取合适的三通道二维B‑样条曲面，实现对彩色镜头阴影的补偿。本发明采用二维B‑样条曲面能够很好地对各通道的镜头阴影效应进行拟合，从而实现对相机彩色镜头阴影的准确描述，同时二维B‑样条曲面不要求彩色镜头阴影呈径向分布，也不需要准确获知相机的光学中心与图像几何中心之间的差异。

Description

一种光源自适应的数码相机彩色镜头阴影校正方法

技术领域

本发明属于数字成像设备标定领域，具体涉及一种光源自适应的数码相机彩色镜头阴影校正的方法。

背景技术

在数码相机的图像信号处理流程(ISP Pipeline)中，对彩色镜头阴影效应进行校正是必不可少的一部分。彩色镜头阴影效应主要包括了两个方面：1)各区域的图像亮度随着与光学中心的距离的增大而出现衰减；2)除亮度径向衰减之外，由于镜头色差和传感器通道串扰的存在，图像出现径向色彩偏离的现象，主要体现在图像中出现彩色的环状条纹，且这些条纹以光学中心为圆心大致呈现同心圆分布。

彩色镜头阴影效应的存在将会对数字图像处理流程产生不利的影响，主要体现在：1)给图像引入原本不存在的色彩信息，使得自动白平衡校正偏离正确的结果；2)使图像质量出现明显的下降，尤其对于包含色彩信息较少(中性色区域为主体)的图像，彩色环状条纹使图像出现明显的人工瑕疵，真实度下降，从而导致用户喜好性下降。

镜头的色差是产生彩色镜头阴影效应的最主要原因。由于色差是入射光线光谱分布的函数，因此对于具有不同光谱功率分布的光源，彩色镜头阴影效应也存在差异。目前已有的对彩色镜头阴影效应进行校正的方法，通常是事先在一些常见光源下对均匀白场进行成像，将这些标定图像储存在媒介中，当拍摄实际场景的图像时调用相应的标定图像对其进行补偿。这种方法主要存在如下缺点：第一，事先能够进行标定的均匀光源是相当有限的，实际拍摄场景中的光源情况往往要比标定时的更加复杂；第二，预先获得的多种光源下的标定图像需要耗费大量的存储空间。

发明内容

为了克服已有的彩色镜头阴影校正算法存在的不足，并提供一种光源自适应的数码相机彩色镜头阴影校正的方法。本发明采用二次B-样条曲面作为补偿因 子，并对不同光源下的B-样条曲面参数进行主成分分析(PCA)，提取出不同光源对应的主成分系数，并建立起不同光源白平衡增益(R_gain、B_gain)与主成分系数的关系，从而对任意光源选取合适的三通道二维B-样条曲面，实现对彩色镜头阴影的补偿。

本发明使用待标定设备对若干个常见光源下的亮度均匀场景(以下称为白场)进行成像，要求图像中各通道均不出现饱和，且响应值应尽量高以获取较高的信噪比。亮度均匀场景通常在较大口径的积分球中搭建。

对于得到的每种光源的原始图像数据(raw data)，选取图像中央区域作为白平衡校正的参考区域，对白场图像进行白平衡校正，并记录该光源对应的白平衡增益R_gain、B_gain。

对于白平衡校正后的白场图像，对其三通道分别进行二维B-样条曲面拟合。根据选取的样条曲面的阶数以及样条节点数(图像分块数+1)可以得到一个B-样条曲面参数矩阵，该参数矩阵能够唯一表征一B-样条曲面。

将上述过程对n种标定光源下的白场图片分别进行操作。对于每个通道，得到n个样条曲面参数矩阵。

将每个通道的n个参数矩阵均按列展开，再进行组合，构成一个新的组合参数矩阵。对该组合参数矩阵进行主成分分析，提取出各个通道的一组基函数以及n个光源各自的基函数系数

在基函数系数与白平衡增益之间建立函数关系：

完成以上标定过程后，对于任意未知光源的带有彩色镜头阴影的图像，根据其白平衡增益以及已知函数f₁,…,f_m，得到该图像对应的一组样条曲面参数矩阵的展开形式，对其进行重构，得到样条曲面参数矩阵，利用该样条曲面参数矩阵即可构造出三通道各自的B-样条曲面，对彩色镜头阴影进行补偿。

本发明具体采用的技术方案如下：

光源自适应的数码相机彩色镜头阴影校正方法，步骤如下：

S1：使用待标定设备对n个标定光源下的白场进行成像；

S2：对于得到的每种标定光源的原始图像数据，选取图像中央区域作为白平 衡校正的参考区域，对白场图像进行白平衡校正，并记录该光源对应的白平衡增益R_gain和B_gain；

S3：对各标定光源的白平衡校正后的白场图像的三通道分别进行二维B-样条曲面拟合；对于每个标定光源的每个通道，根据选取的样条曲面的阶数以及样条节点数得到一个B-样条曲面参数矩阵，用于唯一表征该B-样条曲面；

S4：将每个通道的n个参数矩阵均按列展开，再进行组合，构成一个新的组合参数矩阵；对该组合参数矩阵进行主成分分析，提取出各个通道的m个基函数以及n个标定光源各自的基函数系数其中 表示第x个标定光源(k)通道的第q个基函数系数，1≤x≤n，1≤q≤m，k＝R,G,B；

S5：在基函数系数与白平衡增益之间建立函数关系：其中为关于和的函数，其中和为第x个标定光源的白平衡增益R_gain和B_gain；

S6：完成以上标定过程后，对于任意未知光源的带有彩色镜头阴影的图像，根据其白平衡增益以及S5中建立的函数关系，得到该图像三通道对应的一组样条曲面参数矩阵的展开形式；

S7：利用S6中的样条曲面参数矩阵构造出三通道各自的B-样条曲面，对彩色镜头阴影进行补偿。

作为优选，所述的S3具体为：

将图像的长度和宽度均归一化为1，对各标定光源下白场图像的各通道进行分块，获得二维节点阵列；再对各标定光源下白场图像的各通道x轴方向进行B-样条函数最小二乘拟合，使拟合后的网格曲面F^(k)(x(j))与原图像I^(k)(:,j)之间的误差之和

达到最小，得到x方向B-样条函数的参数矩阵

对参数矩阵按照上述方法进行一次y方向拟合，可得到B-样条曲面参数矩阵

作为优选，所述的S4具体为：

将每种光源的按列展开并进行转置，得到参数行向量将各光源的参数行向量进行排列，得到用于主成分分析的组合参数矩阵C^(k)；

采用奇异值分解方法，对C^(k)进行主成分分析，得到系数矩阵以及基函数矩阵满足

其中的每一列代表一个基函数；T表示转置；的每一行代表一种光源对应的基函数系数。

作为优选，所述的S5具体为：

从m个基函数中取前l个，通过双变量多项式建立起各个系数与白平衡增益之间的关系：

其中R_g、B_g是光源白平衡增益的函数，满足R_g＝logR_gain及B_g＝logB_gain； 为五个元素长度的行向量,t∈{1,...l}，由n种标定光源的白平衡增益算出：

其中符号表示求伪逆；表示第x个标定光源的 和分别为第x个标定光源的R_g和B_g。

作为优选，所述的S6具体为：

利用自动白平衡算法得到或手动指定图像的白平衡增益R_gain与B_gain；

构造向量其中R_g＝logR_gain，B_g＝logB_gain；

计算各通道的l个基函数系数其中

利用系数与基函数构造二维B-样条曲面的标准化的参数行向量：

将P^(k)转置并按列拆分为B-样条曲面参数矩阵

作为优选，所述的S7具体为：

将作为二维B-样条曲面的参数矩阵，使用与标定过程中相同的图像分块方法及样条函数的阶数，重构该样条曲面；将原图像的三通道分别与重构出的三通道B-样条曲面按元素相除，得到彩色镜头阴影校正后的图像。

本发明相对于现有技术而言，具有以下有益效果：1)二维B-样条曲面能够有效地对各通道的镜头阴影效应进行拟合，从而实现对相机彩色镜头阴影的准确描述，同时二维B-样条曲面不要求彩色镜头阴影呈径向分布，也不需要准确获知相机的光学中心与图像几何中心之间的差异；2)对组合参数矩阵进行主成分分析实质上是对表征二维B-样条曲面的参数进行降维，使得能够用较少的系数对某种光源下的彩色镜头阴影效应进行描述，从而减少相机储存开销；3)在光源的白平衡增益与基函数系数之间构造二次双变量多项式，保证以白平衡增益为x、y轴、以各基函数系数为z轴的曲面能够有较平滑的形状，从而在具有不同白平衡增益的光源之间实现平滑插值。

附图说明

图1是三通道相对响应值示意图；具体地：(a)是D65光源照明下白场图像沿(y＝图像高度/2)剖面的三通道相对响应值示意图，其中实线代表红通道，虚线代表绿通道，点线代表蓝通道；(b)是冷白荧光灯(CWF)光源照明下白场图像沿(y＝图像高度/2)剖面的三通道相对响应值示意图，其中实线代表红通道，虚线代表绿通道，点线代表蓝通道；(c)是A光源照明下白场图像沿(y＝图像高 度/2)剖面的三通道相对响应值示意图，其中实线代表红通道，虚线代表绿通道，点线代表蓝通道。

图2是本发明中对n种已知光源进行红通道镜头阴影标定的流程图。

图3是本发明中对未知光源下捕获的带有彩色镜头阴影的图像进行校正的流程图。

图4是本发明中两种可行的对图像分块方法的示意图。

图5是D65光源照明下白场图像的红色通道，以及采用图4(a)中的分块方法拟合出的二维B-样条曲面，所使用的样条函数阶数为3。

图6是范例中使用的相机对于六种标定光源的白平衡增益分布示意图。

图7是本发明中六种标定光源下7×7二维B-样条曲面参数矩阵的可视化示意图。

图8是利用主成分分析得到的基函数以及D65光源对应的基函数系数重新构造出的D65光源下白场图像的红色通道。

具体实施方式

下面结合附图和具体实施方式对本发明做进一步阐述和说明。本发明中各个实施方式的技术特征在没有相互冲突的前提下，均可进行相应组合。

镜头的色差是产生彩色镜头阴影效应的最主要原因。由于色差是入射光线光谱分布的函数，因此对于具有不同光谱功率分布的光源，彩色镜头阴影效应也存在差异。本发明提出一种能够针对不同光源进行彩色镜头阴影效应校正的方法，根据图像的白平衡增益得到该图像的自适应彩色镜头阴影补偿曲面，从而使校正后的图像具有良好的空间均匀性。

图1(a)至(c)分别展示了D65、CWF以及A光源下白场图像过光学中心的y方向剖面各通道响应值示意图。可以看出，不同光源下，白场图像各通道的响应值随着远离光学中心而出现衰减的趋势存在区别，且通道之间的相对关系也随着光源的不同而发生变化。

图2为本发明提出的彩色镜头阴影校正方法标定阶段流程图。对于标定光源，通常选择常见的且具有代表性的光源，且为了在主成分分析中能够提取出合适的基函数，标定光源需要具有一定的数量。在本例中，一共选取了六种常见光源作为标定光源，分别为6500K日光光源(D65)、冷白荧光灯光源(CWF)、2856K 普朗克辐射体(A光源)、第11号宽带荧光灯光源(TL84)、经4100K滤光片调制的卤灯光源以及经7600K滤光片调制的卤灯光源。

1.本发明的标定过程包含以下步骤：

由于白场图像中三个通道的衰减情况分别与光源的光谱功率分布相关，因此本发明对各个光源下白场图像的三个通道分别进行标定。以下范例以D65光源为例，阐述本发明的标定方法。

对于白场图像，计算该图像中央区域三通道的平均响应值，并根据各通道响应值计算该光源下的白平衡增益R_gain及B_gain。

本发明采用两次一维B-样条曲线拟合叠加的方法得到最终的二维B-样条曲面。

一个二维B-样条曲面受(n_x+1)×(n_y+1)个二维节点阵列控制：

其中d_x与d_y是样条拟合的阶数，且必须满足1≤d_x≤n_x和1≤d_y≤n_y。

二维B-样条拟合过程中的二维节点阵列取决于图像的分块方法，本范例采取等距五等分，如图4(a)所示。也可以根据需要选取更加密集的分块方法，甚至非等距分块。由于图像边缘区域的变化相较中央区域更加剧烈，可以为边缘区域采用间距更小的分块，如图4(b)所示。

一般选取二维B-样条曲面的阶数为k＝3。对于彩色镜头阴影更加剧烈或更加不规律的成像设备，也可以采用更高次样条曲面。

以图像的红色通道为例，阐述二维B-样条曲面拟合的方法。

首先对x方向进行拟合。将图像长、宽均归一化为1，由图像分块数可得到x方向上的各节点坐标。

给定节点后，可拟合得到B-样条函数，使拟合后的网格曲面f^R(x(j))与原图像I^R(:,j)之间的误差之和

达到最小；j为图像中纵向像素编号。由于节点的选取满足Schoenberg-Whitney条件，因此得到的样条函数是唯一的。

利用最小二乘拟合，可以得到x方向B-样条函数的参数矩阵p_x。假设本范例中归一化后的白场图像红色通道如图5左侧图所示(图像高×宽＝300×400像素)，则得到的x方向参数矩阵为一300×N矩阵，其中矩阵列数N＝图像分块节点数+样条函数阶数-2，本范例中N＝7。

对参数矩阵仿照上文方法进行一次y方向拟合，可得到最终的N×N参数矩阵

给定样条曲面的网格节点(本范例中x、y方向均为等距五等分)、B-样条阶数以及参数矩阵则能够唯一确定一个二维B-样条曲面。对于图5左侧图所示的镜头阴影图像，拟合得到的二维B-样条曲面如图5右侧图所示。对于本范例，选取等距五等分以及k＝3的阶数，已经能够足够准确地描绘原图像。

同理，对于白场图像的绿色和蓝色通道，依据上文所述方法分别得到参数矩阵与这三个矩阵唯一表征了D65光源所对应的彩色镜头阴影效应。

对于其余五种光源，使用相同的方法，分别计算出各自的白平衡增益以及三通道的参数矩阵。图6展示了本范例中六种标定光源的白平衡增益分布情况。图7将五种光源各自红色通道的进行了可视化，曲面中共N²(本范例中为49)个顶点，其中每个顶点的z坐标对应了矩阵中元素的值。

利用主成分分析(PCA)对各种光源红色通道的参数矩阵进行降维。将每种光源的按列展开并进行转置，得到一个具有N²个元素的参数行向量将六种光源的参数行向量进行排列，可得到用于主成分分析的组合参数矩阵C^R，其维度为6×N²。

采用奇异值分解(SVD)方法，对C^R进行主成分分析，得到6×N²的系数矩阵以及N²×N²的基函数矩阵满足

$W_0^R\·{\left(B_0^R\right)}^T\stackrel{\·}{=}{C}^R.$

其中的每一列代表一个基函数；的每一行代表一种光源对应的基函数系数。

本范例中，取前5个基函数，已经能够很好地重构出组合参数矩阵C^R，即，取出的前5列构成W^R，取出的前5列构成B^R，依然能够满足

$W^R\·{\left(B^R\right)}^T\stackrel{\·}{=}{C}^R.$

此时W^R的维度为6×5，B^R的维度为N²×5。对于第i个光源，W^R的第i行能够唯一表征该光源红色通道的镜头阴影效应，二维B-样条的表达从维度N²(原本的参数矩阵含有49个元素)降维至维度5。

下表列出了本范例中六种光源红色通道各自的前5个系数：

通过双变量多项式建立起各个系数与白平衡增益之间的关系：

其中R_g、B_g是光源白平衡增益的函数，本范例中简单地使用R_g＝logR_gain及B_g＝logB_gain；红通道对应的为五个元素长度的行向量，可以由六种光源的白平衡增益算出：

其中符号表示求伪逆。

同理，对绿色通道和蓝色通道采用上文所述方法，分别得到和

对于本范例，本发明标定部分共确定以下参数：1)三通道各自的五个基函数；2)三通道各自的联系白平衡增益与基函数系数的多项式系数；3)三通道各自的平均值向量μ；4)三通道各自的标准差向量s。

本范例中的二次双变量多项式能够保证以白平衡增益为x、y轴，以基函数系数W₁,…W₅为z轴的曲面能够有较平滑的形状，从而在具有不同白平衡增益的光源之间实现平滑插值。对于D65光源下红色通道白场图像，利用本范例二次双变量多项式得到的二维B-样条曲面如图8所示。

2.对任一未知光源下拍摄的图像利用本发明进行彩色镜头阴影校正的过程如下：

已知数据为标定阶段确定的参数：1)三通道各自的五个基函数；2)三通道各自的联系白平衡增益与基函数系数的多项式系数；3)三通道各自的平均值向量μ；4)三通道各自的标准差向量s。

利用自动白平衡算法得到或手动指定图像的白平衡增益R_gain与B_gain；

构造向量其中R_g＝logR_gain，B_g＝logB_gain；

以红色通道为例，计算五个基函数系数 其中

利用系数与基函数构造二维B-样条曲面的标准化的参数行向量：P^R＝W^R·(B^R)^T；

将P^R转置并按列拆分为7×7的矩阵：p^R＝reshape{(P^R)^T,[77]}；

将p^R作为二维B-样条曲面的参数矩阵，使用与标定过程中相同的图像分块方法及样条函数的阶数，重构该样条曲面；

对绿色、蓝色通道依上述步骤进行类似操作，得到三通道各自的二维B-样 条曲面；

将原图像的三通道分别与三通道B-样条曲面按元素相除，得到彩色镜头阴影校正后的图像。

以上所述的实施例只是本发明的一种较佳的方案，然其并非用以限制本发明。有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型。因此，凡采取等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (6)

1.一种光源自适应的数码相机彩色镜头阴影校正方法，其特征在于，步骤如下：

S1：使用待标定设备对n个标定光源下的白场进行成像；

S2：对各个标定光源下得到的白场图像进行白平衡校正，并记录该光源对应的白平衡增益R_gain和B_gain；

S3：对各标定光源的白平衡校正后的白场图像的三通道分别进行二维B-样条曲面拟合；对于每个标定光源的每个通道，根据选取的样条曲面的阶数以及样条节点数得到一个B-样条曲面参数矩阵，用于唯一表征该B-样条曲面；

S4：将每个通道的n个参数矩阵均按列展开，再进行组合，构成一个新的组合参数矩阵；对该组合参数矩阵进行主成分分析，提取出各个通道的m个基函数以及n个标定光源各自的基函数系数其中表示第x个标定光源k通道的第q个基函数系数，1≤x≤n，1≤q≤m，k＝R,G,B；

S5：在基函数系数与白平衡增益之间建立函数关系：其中为关于和的函数，其中和为第x个标定光源的白平衡增益R_gain和B_gain；

S6：完成以上标定过程后，对于任意未知光源的带有彩色镜头阴影的图像，根据其白平衡增益以及S5中建立的函数关系，得到该图像三通道对应的一组样条曲面参数矩阵的展开形式；

S7：利用S6中的样条曲面参数矩阵构造出三通道各自的B-样条曲面，对彩色镜头阴影进行补偿。

2.如权利要求1所述的光源自适应的数码相机彩色镜头阴影校正方法，其特征在于，所述的S3具体为：

将图像的长度和宽度均归一化为1，对各标定光源下白场图像的各通道进行分块，获得二维节点阵列；再对各标定光源下白场图像的各通道x方向进行B-样条函数最小二乘拟合，使拟合后的网格曲面F^(k)(x(j))与原图像I^(k)(:,j)之间的误差之和达到最小，得到x方向B-样条函数的参数矩阵

对参数矩阵按照上述方法进行一次y方向拟合，可得到B-样条曲面参数矩阵

3.如权利要求1所述的光源自适应的数码相机彩色镜头阴影校正方法，其特征在于，所述的S4具体为：

将每种光源的按列展开并进行转置，得到参数行向量将各光源的参数行向量进行排列，得到用于主成分分析的组合参数矩阵C^(k)；

采用奇异值分解方法，对C^(k)进行主成分分析，得到系数矩阵以及基函数矩阵满足

$W_0^{\left(k\right)}\·{\left(B_0^{\left(k\right)}\right)}^T\stackrel{\·}{=}{C}^{\left(k\right)}$

其中的每一列代表一个基函数；T表示转置；的每一行代表一种光源对应的基函数系数。

4.如权利要求1所述的光源自适应的数码相机彩色镜头阴影校正方法，其特征在于，所述的S5具体为：

从m个基函数中取前l个，通过双变量多项式建立起各个系数与白平衡增益之间的关系：

$\left\{\begin{array}{c}{W}_1^{\left(k\right)}=Q_1^{\left(k\right)}\·{\[1,R_g,B_g,R_g^2,B_g^2\]}^T,\\ \begin{array}{c}.\\ .\\ .\end{array}\\ W_l^{\left(k\right)}=Q_l^{\left(k\right)}\·{\[1,R_g,B_g,R_g^2,B_g^2\]}^T.\end{array}\right.$

其中R_g、B_g是光源白平衡增益的函数，满足R_g＝logR_gain及B_g＝logB_gain；为五个元素长度的行向量,t∈{1,...l}，由n种标定光源的白平衡增益算出：

其中符号表示求伪逆；表示第x个标定光源的和分别为第x个标定光源的R_g和B_g。

5.如权利要求1所述的光源自适应的数码相机彩色镜头阴影校正方法，其特征在于，所述的S6具体为：

利用自动白平衡算法得到或手动指定图像的白平衡增益R_gain与B_gain；

构造向量其中R_g＝logR_gain，B_g＝logB_gain；

计算各通道的l个基函数系数其中

$Q^{\left(k\right)}=\left[\begin{array}{c}{Q}_1^{\left(k\right)}\\ \begin{array}{c}.\\ .\\ .\end{array}\\ Q_l^{\left(k\right)}\end{array}\right]$

利用系数与基函数构造二维B-样条曲面的标准化的参数行向量：P^(k)＝W^(k)·(B^(k))^T；

将P^(k)转置并按列拆分为B-样条曲面参数矩阵

6.如权利要求1所述的光源自适应的数码相机彩色镜头阴影校正方法，其特征在于，所述的S7具体为：

将作为二维B-样条曲面的参数矩阵，使用与标定过程中相同的图像分块方法及样条函数的阶数，重构该样条曲面；

将原图像的三通道分别与重构出的三通道B-样条曲面按元素相除，得到彩色镜头阴影校正后的图像。