CN101996407B - 一种多相机颜色标定方法 - Google Patents

Abstract

一种多相机颜色标定方法，对每个相机获取的图片进行边缘提取，沿边缘进行颜色信息提取，根据提取到的颜色信息恢复相机的响应函数；从多台相机中选取一台基准相机，利用基于24色板的颜色匹配方法或通用颜色匹配方法，搜索真实世界中同一种颜色在不同相机获取的图片中所对应的颜色值；根据得到的各个相机的响应函数及基准相机和其他相机的颜色匹配信息，利用多相机亮度层标定方法，对各个相机进行颜色标定。本发明降低相机所拍摄的图片的颜色差异，保证颜色的一致性，为后续的三维重建工作提供保证，提高重建的精度。

Description

一种多相机颜色标定方法

技术领域

本发明涉及一种多相机颜色标定方法，属于计算机视觉技术领域。

背景技术

计算机视觉技术通过计算机图形学相关技术，构造虚拟环境，或者把现实环境编制到计算机中去，产生逼真的虚拟环境，使用户能够得到一种沉浸于虚拟环境中的感觉。计算机视觉研究的目的在于使计算机能够通过二维图像，对三维空间环境信息进行认知，能够使机器感知三维环境中物体的几何信息，并能进行描述、存储、识别与理解。计算机视觉有其独立的计算理论与算法，占据统治地位的理论是Marr理论。而Marr理论的最终研究目标，在于从二维图像中恢复三维物体几何结构，也即三维重建。目前三维重建技术多采用多相机技术，对人眼的成像原理进行模拟，根据不同图像间的视差进行重建。

在三维重建过程中，往往需要对不同相机从多个角度获取的图片进行颜色匹配，根据颜色匹配的结果，进行后续的计算和建模。而由于相机本身硬件制造的差异以及参数设置的不同，会使得相同颜色在不同相机所获取的图片中呈现出不同的视觉效果。为此，需要研究和实现相关的方法，对不同相机获取的图片进行颜色校正，降低匹配误差，提高颜色的一致性。

对于多相机颜色标定，目前主要有硬件和软件两种方法。硬件标定方法通过改变硬件设置，来达到颜色校正的目的，这种方法实时性高，速度快，但受光照条件的影响大，且对相机的配置要求较高。而软件标定方法对相机的配置要求不高，受环境因素影响较小，适合于多相机的标定。在用软件标定的过程中，如果直接在像素层面，通过改变像素的颜色值来达到校正的目的，则容易受到光照、相机以及噪声等条件的影响而降低匹配准确度，为此需要通过研究相机的成像模型，从亮度层对相机的成像过程进行拟合。

发明内容

本发明所要解决的技术问题是：克服现有技术的不足，提供一种多相机颜色标定方法，该降低了相机所拍摄的图片的颜色差异，保证颜色的一致性，为后续的三维重建工作提供保证，提高了重建的精度。

本发明的技术解决方案：一种多相机颜色标定方法，实现步骤如下：

(1)对每个相机获取的图片进行边缘提取，沿边缘进行颜色信息提取，根据提取到的颜色信息恢复相机的响应函数；

(2)从多台相机中选取一台基准相机，利用基于24色板的颜色匹配方法或通用颜色匹配方法，搜索真实世界中同一种颜色在不同相机获取的图片中所对应的颜色值；

(3)根据步骤(1)得到的各个相机的响应函数及步骤(2)得到的基准相机和其他相机的颜色匹配信息，利用多相机亮度层标定方法，对各个相机进行颜色标定；

所述多相机亮度层标定方法实现如下：

(3.1)求取一个相机与基准相机在亮度层的最优转换函数：对于任一相机，根据该相机与基准相机的颜色对应关系，求取每一对匹配颜色所对应的亮度值，根据得到的亮度值的对应关系，利用最小二乘法求解亮度层面的最优转换关系，得到从该相机亮度空间到基准相机亮度空间的线性变换函数；

(3.2)对一个相机所获取的图片在亮度层进行颜色校正：对一个相机获取的图片中的每个像素，利用该相机的响应函数，求解该像素的颜色值所对应的亮度值，利用步骤(3.1)得到的线性变换函数，将图像的亮度值转化为基准相机中所对应的亮度值，利用基准相机的响应函数，求解基准相机中的该亮度值所对应的颜色值，用计算得到的新的颜色值作为标定后的像素的颜色值。

所述步骤(2)中基于24色板颜色匹配方法实现步骤为：

(a)利用包含24个常用色块的标准24色标定板作为参考，在4个角设置特征点，并使特征点到色块中心距离与色块中心之间的距离相等；

(b)利用步骤(a)中所定义的24色标定板，使用多个相机从不同角度获取标定板图片。对其中的一个相机，从获取的图片中识别特征点，重建标定板在空间中的三维平面；

(c)利用特征点到色块中心距离与色块中心之间的距离相等的特性，在步骤(a)重建得到的三维平面内，搜索各个色块对应的区域信息，根据色块对应的区域信息，以及相机的内外参数，得到色块区域在相机的图片中对应的投影区域信息，提取相机获取的图片中投影区域的颜色值，作为色块在该相机中对应的颜色值，从而建立同一种真实颜色在不同相机之间的匹配关系。

所述步骤(2)中通用亮度层颜色匹配方法实现步骤为：

(a)根据一定的过滤条件，在基准相机所获取的图片中搜索并记录得到的单色区域信息；

(b)将基准相机得到的单色区域投射回三维空间，得到三维空间内对应的单色区域信息；

(c)对基准相机外的每个相机，将步骤(b)得到的空间单色区域映射到每个相机所对应的图片坐标系，得到对应的二维区域最为取色区域，记录该区域的颜色值，得到相机与基准相机之间的颜色对应关系。

本发明与现有技术相比的优点在于：本发明利用单幅图片恢复相机的响应函数，通过三维重建，建立不同图片之间同一种颜色的对应关系，基于此进行亮度层的相机颜色校正，从而降低系统对于环境的依赖，降低系统对相机的要求，并提高多相机在三维重建过程中颜色的一致性，降低了三维重建中的匹配误差，为后续的三维重建工作提供了保证，可以提高重建的精度。

附图说明

图1是本发明中所使用的颜色标定板；

图2是本发明方法的整体流程图；

图3是本发明基于24色板的颜色匹配方法的流程；

图4是通用的颜色匹配方法的流程；

图5是颜色亮度层颜色标定的流程；

图6是针对一副图像的校正流程。

具体实施方式

如图2所示，本发明方法的具体实现过程为：

(1)基于单幅图像的相机响应函数恢复

本发明利用基于单幅图像的响应函数恢复方法，对相机响应函数进行恢复，具体步骤描述如下。

在相机成像的过程中，场景的辐照度经过相机光学系统的线性变换得到原始图像，原始图像经过传感器的非线性变换得到实际的图片。从原始图像到实际图片的非线性变换函数，即为相机的响应函数，定义为g，描述相机从亮度到颜色的转换关系。图片的边缘像素所对应的传感器可能同时对两个单色区域感光，并按线性关系进行叠加，生成理想的边缘颜色，理想的边缘颜色经过传感器的非线性变换，转化为真实图片中对应的边缘颜色值。因此，真实图片中的边缘颜色及相邻的两个单色区域的颜色值关系不满足线性关系，但转化为亮度关系后，应该满足线性关系，这就是相机的边缘成像模型。

基于该模型，对相机的图片进行边缘识别，得到边缘后，沿边缘利用15×15的窗口进行搜索。当边缘区域将窗口分成两个区域S₁和S₂时，对S₁和S₂分别求取颜色的均值和方差。当得到的方差小于某一阈值时，认为该区域为单色区域。如果S₁和S₂均为单色区域，且S₁和S₂的颜色差异大于某一阈值时，认为S₁和S₂为不同的颜色。另外，如果S₁和S₂为不同的单色区域，且边缘颜色值位于S₁和S₂多对应的颜色值之间时，边缘上的颜色M_p与S₁和S₂的颜色M₁，M₂构成一个边缘颜色三元组。

对于一个颜色三元组<M₁，M₂，M_p>，对于响应函数g，有<g(M₁)，g(M₂)，g(M_p)>满足线性关系。也即：

$\frac{\left|\right[g\left(M_1\right)-g\left(M_2\right)]\&times;[g\left(M_p\right)-g\left(M_2\right)\left]\right|}{|g\left(M_1\right)-g\left(M_2\right)|}=0$

在响应函数的恢复过程中，用如下公式定义相机的响应函数。

g＝g₀+cH

在公式中g₀＝[g_R0，g_G0，g_B0]，是相机相应空间中响应函数的均值。H为一个5×1024矩阵，包含了EMoR中的前5个特征值。c＝[c_R，c_G，c_B]^T，为一个3×5的矩阵，该矩阵的每一个行向量为RGB分量对应的系数。

通过上述处理，得到了边缘区域三元组的集合Ω。在此，定义总距离为

$D(g;\mathrm{\&Omega;})=\underset{\mathrm{\&Omega;}}{\mathrm{\&Sigma;}}\frac{\left|\right[g\left(M_1\right)-g\left(M_2\right)]\&times;[g\left(M_p\right)-g\left(M_2\right)\left]\right|}{|g\left(M_1\right)-g\left(M_2\right)|}$

通过求解该方程，在g(0)＝0，g(1)＝1，且g’(M)＞0的约束下，求得使得距离D(g；Ω)最小的函数，即为响应函数g。求解过程中，利用贝叶斯分析，根据DoRF中的包含的201个相机响应函数的数据，通过EM算法估计相机响应函数的高斯混合模型，估算一个参数组合可能为相机响应函数的概率p(g)。定义如下公式，描述在响应函数g的情况下距离为Ω的概率。

$p\left(\mathrm{\&Omega;}\right|g)=\frac{1}{Z}{e}^{-\mathrm{\&lambda;D}(g,\mathrm{\&Omega;})}$

根据贝叶斯公式，在总距离为Ω的概率下，当前函数g为响应函数的概率可以表示为在响应函数g下距离为Ω的概率，与函数g为响应函数概率的乘积，这样求解响应函数g的过程，也就表示为求解最大的g‘，g‘对在总距离为Ω的概率下，当前函数g为响应函数的概率求取最大值，也即如下公式所示。

g’＝argmaxp(g|Ω)＝argmaxp(Ω|g)p(g)

对g‘取自然对数，得到g^*，可得如下公式：

g^*＝ln g’＝arg max(-λD(g，Ω)+log p(g))＝arg min(λD(g，Ω)-logp(g))

通过LM算法求解g^*的最小值，即可得到相机响应函数。

(2)基于24色板的颜色匹配方法

本发明中使用到的标定板如图1所示。标定板中包含24个常用的色块，每个色块从左到右，从上到下，一次编号为1到24，即第一行色块从左到右为1到6，第二行色块从左到右为7到12，第三行色块从左到右为13到18，第四行色块从左到右为19到24。在标定版的四个角，增加4个特征点，利用这4个特征点在匹配过程中定位标定平面。

特征点到相邻色块中心的距离，与相邻色块的中心距离相等。在标定过程中，多个相机从不同角度同时获取标定板图像，对得到的图片进行分析，进行颜色匹配，其过程如图3所示。具体描述如下。

对于一个相机，从该相机获取的24色标定板图像中，提取4个特征点的坐标信息，利用相机的已知的内参数矩阵和外参数矩阵，对4个特征点进行三维重建，求解4个特征点对应的三维空间坐标。由于成像过程中噪声的存在，4个三维特征点不可能完全共面，选择一个平面，使得满足其中3个点共面，而另外一点到该平面的距离最小，在以下的描述中，假设1，2，3共面。在123点所确定的平面内，搜索确定每一个色块的像素位置。由于在颜色标定板中特征点中心到色块中心的距离与色块中心之间的距离相同，因此，根据色块的编号规则，要选取的色块n所对应的像素点的三维坐标(x_n，y_n，z_n)，与共面的三点1，2，3所对应的三维坐标(x₁，y₁，z₁)，(x₂，y₂，z₂)，(x₃，y₃，z₃)的关系可表示为

x_n＝x₁+col×(x₂-x₁)/7+row×(x₃-x₂)/5

y_n＝y₁+col×(y₂-y₁)/7+row×(y₃-y₂)/5

z_n＝z₁+col×(z₂-z₁)/7+row×(z₃-z₂)/5

其中，row＝1+(n-1)/6，col＝1+(n-1)％6。

得到色块像素点的位置之后，以该点为中心点，在标定板确定的平面内扩展成一个3×3的取悦，并对3×3区域对该相机进行投影变换，求取24色块在该相机中所对应的区域的位置，对投影区域中的像素求均值，过滤噪声的影响，作为标定板中该色块在相机成像图片中对应的颜色值。

基于以上步骤，得到24个色块在每个相机中对应的颜色值。选定一个相机作为基准相机，得到24色标定板中相同色块在基准相机和其他相机之间的对应关系。

(3)通用的颜色匹配方法

对于通用的颜色匹配方法，其步骤如图4所示。首先选取一个相机作为基准相机，在该相机获取的图片中，用一个n×n的窗口进行搜索，对窗口内的像素值求均值Avg以及方差D。当方差D小于某一极小值Th时，认为窗口所包含的区域为单色区域。对搜索得到的单色区域进行三维重建，求该单色区域对应的三维曲面信息，将得到的三维曲面对各个相机进行投影，将得到的该曲面在各个相机中对应的二维区域，作为取色区域。对与任意一个相机的取色区域，求取取色区域的对应的均值Avg‘与方差D’，同样当方差D’小于某一极小值H时，认为该区域对应一个单色区域。用区域颜色的均值D’作为该区域的颜色值，从而建立基准相机与其他相机的单色区域之间的对应关系。

(4)多相机亮度层标定

多相机在亮度层的标定方法分为亮度层最优转换函数求取与亮度层颜色校正两步，具体步骤如图5和图6所示，分别描述如下。

(4.1)求取相机与基准相机在亮度层最优转换函数

利用步骤(2)或步骤(3)，建立了真实世界中某一颜色在基准相机与其他相机中的对应关系，也即得到了多个颜色对(C_i，C_ji)。对每个颜色C，根据相机的响应函数，能够反解出所对应的亮度值I。这样，对于基准相机与某一个相机的每个匹配颜色对(C_i，C_ji)，可以利用基准相机与该相机的响应函数得到一个亮度对(I_i，I_ji)。将基准相机与该相机的颜色对应关系，转换为亮度对应关系，对所有的亮度对应关系，用最小二乘法进行线性拟合，也即求解函数q(I_ji)＝aI_ji+b，使误差r_j＝q(I_ji)-I_i的平方和最小。即

$\min \underset{i=0}{\overset{m}{\mathrm{\&Sigma;}}}{r}_j^2=\min \underset{i=0}{\overset{M}{\mathrm{\&Sigma;}}}{[q\left(I_{\mathrm{ji}}\right)-I_i]}^2$

公式中m为相机j与基准相机的匹配颜色对的个数。从而得到在亮度层面从该相机亮度到记住相机亮度的最优转换关系。

利用上述步骤，得到所有相机与基准相机之间的最优转换关系，具体步骤如图5所示。

(4.2)对相机获取的图片在亮度层进行颜色校正

得到从任一相机的亮度转换到基准相机亮度的最优转换关系后，可以对任一相机获取的图片在亮度层进行校正，达到相机颜色校正目的。在对图片进行校正的过程，根据以上步骤得到q(I_ji)中对应的参数a，b的值，对于相机j的一幅图片，针对其中每一个像素点p对应的颜色值C_p，求解其所对应的亮度值I_p，得到I_p后，利用最优转换关系p(I_p)进行转换，得到该点亮度值在基准相机中所对应的亮度值I_ps，根据生成的新亮度值I_ps，利用基准相机的响应函数，计算I_ps所对应的基准相机成像得到的颜色值C_ps，利用C_ps作为校正后的像素点的颜色值，生成校正后的图像，步骤描述如图6所示。

为了验证本发明，利用不同相机在相同位置获取同一场景的图片，以及同一相机在不同光圈下获取同一场景的图片，然后利用本发明进行处理。利用相同颜色在不同图片中颜色值差异的均方根误差RMSE作为评价标准，对匹配误差进行评价。结果表明，校正之前图片之间相同颜色匹配的RMSE值多在100以上，通过校正，RMSE值均降到了10以下，且集中在5到8之间。结果表明，本发明有效的解决了因光圈和参数设置带来的颜色匹配误差，提高了颜色的一致性。

本发明说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (3)

1.一种多相机颜色标定方法，其特征在于实现步骤如下：

(1)对每个相机获取的图片进行边缘提取，沿边缘进行颜色信息提取，根据提取到的颜色信息恢复相机的响应函数；

(2)从多台相机中选取一台基准相机，利用基于24色板的颜色匹配方法或通用颜色匹配方法，搜索真实世界中同一种颜色在不同相机获取的图片中所对应的颜色值；

(3)根据步骤(1)得到的各个相机的响应函数及步骤(2)得到的基准相机和同一种颜色在不同相机获取的图片中所对应的颜色值，利用多相机亮度层标定方法，对各个相机进行颜色标定；

所述多相机亮度层标定方法实现如下：

(3.1)求取一个相机与基准相机在亮度层的最优转换函数：对于任一相机，根据该相机与基准相机的颜色对应关系，求取每一对匹配颜色所对应的亮度值，根据得到的亮度值的对应关系，利用最小二乘法求解亮度层面的最优转换关系，得到从该相机亮度空间到基准相机亮度空间的线性变换函数；

(3.2)对一个相机所获取的图片在亮度层进行颜色校正：对一个相机获取的图片中的每个像素，利用该相机的响应函数，求解该像素的颜色值所对应的亮度值，利用步骤(3.1)得到的线性变换函数，将图像的亮度值转化为基准相机中所对应的亮度值，利用基准相机的响应函数，求解基准相机中的该亮度值所对应的颜色值，用计算得到的新的颜色值作为标定后的像素的颜色值。

2.根据权利要求1所述的多相机颜色标定方法，其特征在于：所述步骤(2)中基于24色板颜色匹配方法实现步骤为：

(a)利用包含24个常用色块的标准24色标定板作为参考，在4个角设置特征点，并使特征点到相邻色块中心距离与相邻色块中心之间的距离相等；

(b)利用步骤(a)中所定义的24色标定板，使用多个相机从不同角度获取标定板图片，对其中的一个相机，从获取的图片中识别特征点，重建标定板在空间中的三维平面；

(c)利用特征点到相邻色块中心距离与相邻色块中心之间的距离相等的特性，在步骤(b)重建得到的三维平面内，搜索各个色块对应的区域信息，根据色块对应的区域信息，以及相机的内外参数，得到色块区域在相机的图片中对应的投影区域信息，提取相机获取的图片中投影区域的颜色值，作为色块在该相机中对应的颜色值，从而建立同一种真实颜色在不同相机之间的匹配关系。

3.根据权利要求1所述的多相机颜色标定方法，其特征在于：所述步骤(2)中通用颜色匹配方法实现步骤为：

(a)根据一定的过滤条件，在基准相机所获取的图片中进行搜索，得到并记录单色区域信息；

(b)将基准相机得到的单色区域投射回三维空间，得到三维空间内对应的单色区域信息；

(c)对基准相机外的每个相机，将步骤(b)得到的空间单色区域映射到每个相机所对应的图片坐标系，将得到的对应的二维区域，作为取色区域，记录该区域的颜色值，得到相机与基准相机之间的颜色对应关系。

Images