CN101651844A - 一种对多台摄像机进行全局颜色校准的方法 - Google Patents

Abstract

本发明涉及一种对多台摄像机进行全局颜色校准的方法，属于计算机多媒体技术领域。将颜色校准物置中心，使N台摄像机对处于场景中心的颜色校准物采集一幅图像。颜色校准过程为：应用特征点检测方法和基于区域的相关性方法，计算所有摄像机的全局对应；基于颜色一致性和动态范围约束，建立超定线性方程组；将所求得的校准参数设置给各个摄像机。本发明方法使用的校准物简单、灵活、携带方便；颜色校准过程的算法程序简单，易于实现，全自动；颜色校准融合了特征点检测方法和基于区域的相关性方法，从而获得高精度的全局对应。本发明方法中的颜色校准物和颜色校准方法可应用到任意多摄像机阵列系统中，从而实现各摄像机颜色一致性且高对比度的校准。

Description

一种对多台摄像机进行全局颜色校准的方法

技术领域

本发明涉及一种对多台摄像机进行全局颜色校准的方法，属于计算机多媒体技术领域。

背景技术

在计算机视觉中，基于多视角图像的很多应用，如光流和三维重建，精确的颜色并不是最重要的，最重要的是各摄像机之间的颜色一致性，从而方便进行精准的匹配。保证摄像机阵列中各摄像机之间的颜色一致性的操作就称为颜色校准。

虽然国际上已经存在一些针对大规模摄像机阵列的标准几何校准方法，但是很少有注意力在大规模摄像机阵列的颜色校准。一种普遍采用的方法是借助一块标准的颜色校准板(Gretagmacbeth color management solutions，http://www.gretagmacbeth.com.)调节摄像机的增益和白平衡。这种方法对于平面光场摄像机阵列是可行的，因为所有摄像机都可以同时看到校准板(N.Joshi，B.Wilburn，V.Vaish，M.Levoy，M.Horowitz，Automatic colorcalibration for large camera arrays，Tech.rep.，CS2005-0821，CSE，UCSD.(2005).；A.Ilie，G.Welch，Ensuring color consistency across multiple cameras，in：IEEE International Conferenceon Computer Vision，Washington，DC，USA，2005，pp.1268-1275.)。但是，对于非平面摄像机阵列，只能对单个摄像机进行单独颜色校准，或者根据可见性，将摄像机分组校准。因此这种方法最多只能保证组内摄像机之间的颜色一致性，而不能保证所有摄像机的颜色一致性。

发明内容

本发明的目的是提出一种对多台摄像机进行全局颜色校准的方法，克服已有技术的不足，设计一种全新的颜色校准物，并采用局域描述子和区域相关性技术以及协同颜色校准技术，使各摄像机之间的颜色一致，并保证所拍摄图像的高对比度。

本发明提出的一种对多台摄像机进行全局颜色校准的方法，其特征在于该方法包括以下步骤：

(1)将颜色校准物放置在场景中心位置，使N台摄像机对准场景中心，其中的颜色校准物为一圆柱面，圆柱面上均布有x行、y列色块，每行色块上各色块之间的颜色相同，每列色块上的各色块之间颜色不同；

(2)同时使N台摄像机对处于场景中心的颜色校准物采集一幅图像；

(3)对上述每一幅采集的图像，采用尺度不变特征变换方法进行特征点检测，以检测得到的特征点为中心，截取大小为r₁×r₁的像素块，判断像素块内的颜色是否相同，若不相同，则将相应的特征点删除，若相同，则保留相应的特征点；

(4)采用最好最先方法，依次将上述每台摄像机图像上保留的特征点与相邻摄像机图像上保留的特征点进行匹配，分别以匹配的两个特征点为中心，截取大小为r₂×r₂的像素块，判断两个像素块之间的零均值归一化互相关相关度，若相关度低于设定相关度，则删除该匹配，若相关度大于或等于设定相关度，则保留该匹配；

(5)将上述保留的所有匹配进行串连，得到M个N台摄像机之间的全局对应关系，形成集合E＝{e_m}_1≤m≤M，其中 $e_m={\left\{({\mathrm{\γ}}_i,P_{{\mathrm{\γ}}_i}^m)\right\}}_{1\≤i\≤N_m},$ γ_i为全局对应关系中的摄像机号，

为全局对应关系在摄像机γ_i图像上的像素位置，N_m为全局对应关系中的摄像机个数；

(6)根据上述N台摄像机之间的全局对应关系，在三个颜色通道上分别建立超定线性方程组并求解，得到每个摄像机的增益参数g_n和偏移参数b_n，1≤n≤N，具体过程如下：

(6-1)对于上述全局对应关系e_m中的每一个摄像机γ_k，1≤k≤N_m，分别有：

$g_{{\mathrm{\γ}}_k}{I}_{{\mathrm{\γ}}_k}^m+b_{{\mathrm{\γ}}_k}=\frac{{\mathrm{\Σ}}_{{\mathrm{\γ}}_i\∈{\mathrm{\Γ}}_m}(g_{{\mathrm{\γ}}_i}{I}_{{\mathrm{\γ}}_i}^m+b_{{\mathrm{\γ}}_i})}{N_m}$

其中， ${\mathrm{\Γ}}_m={\left\{{\mathrm{\γ}}_i\right\}}_{1\≤i\≤N_m},$

表示摄像机γ_i图像上与匹配特征点相对应的像素位置的颜色值，根据上式，得到线性方程：

$(\frac{1}{N_m}-1)(g_{{\mathrm{\γ}}_k}{I}_{{\mathrm{\γ}}_k}^m+b_{{\mathrm{\γ}}_k})+\underset{{\mathrm{\γ}}_i\≠{\mathrm{\γ}}_k}{\underset{{\mathrm{\γ}}_i\∈{\mathrm{\Γ}}_m}{\mathrm{\Σ}}}(\frac{I_{{\mathrm{\γ}}_i}^m}{N_m}{g}_{{\mathrm{\γ}}_i}+\frac{1}{N_m}{b}_{{\mathrm{\γ}}_i})=0$

将所有全局对应关系的所有摄像机的线性方程联立，形成一个超定线性方程组Ax＝0；

(6-2)计算上述所有全局对应关系在所有相关摄像机图像上颜色的平均值；

(6-3)将由步骤(6-2)计算得到的平均值由小到大排列，并选择与前t％和后t％的平均值相对应的全局对应关系作为黑水平l_b和白水平l_w，其中t为设定值，对于选择的全局对应关系e_m的所有摄像机γ_k，有：

$g_{{\mathrm{\γ}}_k}{I}_{{\mathrm{\γ}}_k}^m+b_{{\mathrm{\γ}}_k}=l_b$ (或l_w)

将所有与被选作黑、白水平的全局对应关系的所有摄像机相对应的线性方程联立，形成一个动态范围整形约束Cx＝d；

(6-4)上述动态范围整形约束以权重ω加入到步骤(6-1)的线性方程组中，即有

$\left(\begin{array}{c}A\\ \mathrm{\ωC}\end{array}\right)x=\left(\begin{array}{c}0\\ \mathrm{\ωd}\end{array}\right)$

使用卡茨马尔茲方法求解以上线性方程组；

(7)对上述得到的每个摄像机的增益参数g_n和偏移参数b_n进行判断，若所有摄像机的参数g_n和b_n不能同时满足g_n＝1，b_n＝0，则使所有摄像机根据求解得到的颜色校准参数重新设置，并拍摄新的图像，转步骤(6)；若所有摄像机的参数g_n和b_n同时满足g_n＝1，b_n＝0，则使所有摄像机根据求解得到的颜色校准参数重新设置。

本发明提出的对多台摄像机进行全局颜色校准的方法，避免了传统的价格相对昂贵的平面校准板，针对多摄像机阵列设计了一种新的颜色校准物，而且通过将多摄像机的颜色校准问题形式化为一个超定线性方程组，实现了各摄像机颜色一致性且高对比度的颜色校准。因此本发明方法中使用的校准物简单、灵活、携带方便；颜色校准过程中的算法程序简单，易于实现，全自动；颜色校准过程融合了特征点检测方法和基于区域的相关性方法，从而获得高精度的全局对应；本方法基于颜色一致性和动态范围约束，建立一个超定线性方程组，求解校准参数并设置给各个摄像机，从而同时保证了校准后摄像机之间的颜色一致性和采集图像的高对比度。本发明方法中的颜色校准物和颜色校准方法可以应用到任意多摄像机阵列系统中，从而实现各摄像机颜色一致性且高对比度的校准。

附图说明

图1是实现本发明方法的环形摄像机系统的布置示意图。

图2是本发明方法采用的颜色校准物示意图，其中图2a是颜色校准物的展开状态，图2b是实际使用状态。

图3为本发明方法的流程框图。

图1中，1是摄像机，2是颜色校准物。

具体实施方式

本发明提出的一种对多台摄像机进行全局颜色校准的方法，包括以下步骤：

(1)将颜色校准物放置在场景中心位置，使N台摄像机对准场景中心，其中的颜色校准物为一圆柱面，圆柱面上均布有x行、y列色块，每行色块上各色块之间的颜色相同，每列色块上的各色块之间颜色不同；

(2)同时使N台摄像机对处于场景中心的颜色校准物采集一幅图像；

(3)对上述每一幅采集的图像，采用尺度不变特征变换方法进行特征点检测，以检测得到的特征点为中心，截取大小为r₁×r₁的像素块，判断像素块内的颜色是否相同，若不相同，则将相应的特征点删除，若相同，则保留相应的特征点；

(4)采用最好最先方法，依次将上述每台摄像机图像上保留的特征点与相邻摄像机图像上保留的特征点进行匹配，分别以匹配的两个特征点为中心，截取大小为r₂×r₂的像素块，判断两个像素块之间的零均值归一化互相关相关度，若相关度低于设定相关度，则删除该匹配，若相关度大于或等于设定相关度，则保留该匹配；

(5)将上述保留的所有匹配进行串连，得到M个N台摄像机之间的全局对应关系，形成集合E＝{e_m}_1≤m≤M，其中 $e_m={\left\{({\mathrm{\γ}}_i,P_{{\mathrm{\γ}}_i}^m)\right\}}_{1\≤i\≤N_m},$ γ_i为全局对应关系中的摄像机号，

为全局对应关系在摄像机γ_i图像上的像素位置，N_m为全局对应关系中的摄像机个数；

(6)根据上述N台摄像机之间的全局对应关系，在三个颜色通道上分别建立超定线性方程组并求解，得到每个摄像机的增益参数g_n和偏移参数b_n，1≤n≤N，具体过程如下：

(6-1)对于上述全局对应关系e_m中的每一个摄像机γ_k，1≤k≤N_m，分别有：

$g_{{\mathrm{\γ}}_k}{I}_{{\mathrm{\γ}}_k}^m+b_{{\mathrm{\γ}}_k}=\frac{{\mathrm{\Σ}}_{{\mathrm{\γ}}_i\∈{\mathrm{\Γ}}_m}(g_{{\mathrm{\γ}}_i}{I}_{{\mathrm{\γ}}_i}^m+b_{{\mathrm{\γ}}_i})}{N_m}$

其中， ${\mathrm{\Γ}}_m={\left\{{\mathrm{\γ}}_i\right\}}_{1\≤i\≤N_m},$

表示摄像机γ_i图像上与匹配特征点相对应的像素位置

的颜色值，根据上式，得到线性方程：

$(\frac{1}{N_m}-1)(g_{{\mathrm{\γ}}_k}{I}_{{\mathrm{\γ}}_k}^m+b_{{\mathrm{\γ}}_k})+\underset{{\mathrm{\γ}}_i\≠{\mathrm{\γ}}_k}{\underset{{\mathrm{\γ}}_i\∈{\mathrm{\Γ}}_m}{\mathrm{\Σ}}}(\frac{I_{{\mathrm{\γ}}_i}^m}{N_m}{g}_{{\mathrm{\γ}}_i}+\frac{1}{N_m}{b}_{{\mathrm{\γ}}_i})=0$

将所有全局对应关系的所有摄像机的线性方程联立，形成一个超定线性方程组Ax＝0；

(6-2)计算上述所有全局对应关系在所有相关摄像机图像上颜色的平均值；

(6-3)将由步骤(6-2)计算得到的平均值由小到大排列，并选择与前t％和后t％的平均值相对应的全局对应关系作为黑水平l_b和白水平l_w，其中t为设定值，对于选择的全局对应关系e_m的所有摄像机γ_k，有：

$g_{{\mathrm{\γ}}_k}{I}_{{\mathrm{\γ}}_k}^m+b_{{\mathrm{\γ}}_k}=l_b$ (或l_w)

将所有与被选作黑、白水平的全局对应关系的所有摄像机相对应的线性方程联立，形成一个动态范围整形约束Cx＝d；

(6-4)上述动态范围整形约束以权重ω加入到步骤(6-1)的线性方程组中，即有

$\left(\begin{array}{c}A\\ \mathrm{\ωC}\end{array}\right)x=\left(\begin{array}{c}0\\ \mathrm{\ωd}\end{array}\right)$

使用卡茨马尔茲方法求解以上线性方程组；

上述步骤(3)-(6)的颜色校准方法的流程如图3所示。

(7)对上述得到的每个摄像机的增益参数g_n和偏移参数b_n进行判断，若所有摄像机的参数g_n和b_n不能同时满足g_n＝1，b_n＝0，则使所有摄像机根据求解得到的颜色校准参数重新设置，并拍摄新的图像，转步骤(6)；若所有摄像机的参数g_n和b_n同时满足g_n＝1，b_n＝0，则使所有摄像机根据求解得到的颜色校准参数重新设置。

实现本发明方法的系统实施例结构如图1所示，20个摄像机1呈环形分布环绕待采集的场景。其中，Ci表示第i号摄像机。摄像机采集图像的分辨率为1024×768。环形中心的小圆圈为本发明所设计的颜色校准物2的摆放位置示意。

本实施例中的控制服务器的配置：

CPU：Intel PIV 2.8GHz

内存：1G

操作系统：Windows XP

本发明一个实施例的步骤如下：

(1)将颜色校准物放置在场景中心位置，使20台摄像机对准场景中心，其中的颜色校准物为一圆柱面，圆柱面上均布有8行、20列色块，每行色块上各色块之间的颜色相同，每列有7个不同的灰度色块和一个彩色色块，色块从上到下编号为1-8，具体色块颜色值如表1所示，其中0表示背景，R、G、B分别表示红、绿、蓝三个通道的值。圆柱面的展开状态如图2a所示，实际使用状态如图2b所示。颜色校准物中各色块的颜色值如表1所示：

表1颜色校准物中色块颜色值

(2)同时使20台摄像机对处于场景中心的颜色校准物采集一幅图像；

(3)对上述每一幅采集的图像，采用尺度不变特征变换SIFT(Scale-Invariant FeatureTransform)方法进行特征点检测，以检测得到的特征点为中心，截取大小为11×11的像素块，判断像素块内的颜色是否相同，若不相同，则将相应的特征点删除，若相同，则保留相应的特征点；

(4)采用最好最先BBF(Best-Bin-First)方法，依次将上述每台摄像机图像上保留的特征点与相邻摄像机图像上保留的特征点进行匹配，分别以匹配的两个特征点为中心，截取大小为17×17的像素块，判断两个像素块之间的零均值归一化互相关ZNCC(Zero-mean Normalized Cross-Correlation)相关度，若相关度低于设定相关度，则删除该匹配，若相关度大于或等于设定相关度，则保留该匹配；

(5)将上述保留的所有匹配进行串连，得到32个20台摄像机之间的全局对应关系，形成集合E＝{e_m}_1≤m≤32，其中 $e_m={\left\{({\mathrm{\γ}}_i,P_{{\mathrm{\γ}}_i}^m)\right\}}_{1\≤i\≤N_m},$ γ_i为全局对应关系中的摄像机号，为全局对应关系在摄像机γ_i图像上的像素位置，N_m为全局对应关系中的摄像机个数。比如，0号摄像机像素位置为P₀的特征点与1号摄像机像素位置为P₁的特征点相对应，又已知1号摄像机像素位置为P₁的特征点与2号摄像机像素位置为P₂的特征点相对应，则可以把这两对匹配串连为一个全局对应关系{(0，P₀)，(1，P₁)，(2，P₂)}；

(6)根据上述20台摄像机之间的全局对应关系，在三个颜色通道上分别建立超定线性方程组并求解，得到每个摄像机的增益参数g_n和偏移参数b_n，1≤n≤20，具体过程如下：

(6-1)对于上述全局对应关系e_m中的每一个摄像机γ_k，1≤k≤N_m，分别有：

$g_{{\mathrm{\γ}}_k}{I}_{{\mathrm{\γ}}_k}^m+b_{{\mathrm{\γ}}_k}=\frac{{\mathrm{\Σ}}_{{\mathrm{\γ}}_i\∈{\mathrm{\Γ}}_m}(g_{{\mathrm{\γ}}_i}{I}_{{\mathrm{\γ}}_i}^m+b_{{\mathrm{\γ}}_i})}{N_m}$

其中， ${\mathrm{\Γ}}_m={\left\{{\mathrm{\γ}}_i\right\}}_{1\≤i\≤N_m},$ 表示摄像机γ_i图像上与匹配特征点相对应的像素位置

的颜色值，根据上式，得到线性方程：

$(\frac{1}{N_m}-1)(g_{{\mathrm{\γ}}_k}{I}_{{\mathrm{\γ}}_k}^m+b_{{\mathrm{\γ}}_k})+\underset{{\mathrm{\γ}}_i\≠{\mathrm{\γ}}_k}{\underset{{\mathrm{\γ}}_i\∈{\mathrm{\Γ}}_m}{\mathrm{\Σ}}}(\frac{I_{{\mathrm{\γ}}_i}^m}{N_m}{g}_{{\mathrm{\γ}}_i}+\frac{1}{N_m}{b}_{{\mathrm{\γ}}_i})=0$

将所有全局对应关系的所有摄像机的线性方程联立，形成一个超定线性方程组Ax＝0；

(6-2)计算上述所有全局对应关系在所有相关摄像机图像上颜色的平均值；

(6-3)将由步骤(6-2)计算得到的平均值由小到大排列，并选择与前2％和后2％的平均值相对应的全局对应关系作为黑水平和白水平，对于选择的全局对应关系e_m的所有摄像机γ_k，有：

$g_{{\mathrm{\γ}}_k}{I}_{{\mathrm{\γ}}_k}^m+b_{{\mathrm{\γ}}_k}=12$ (或242)

将所有与被选作黑、白水平的全局对应关系的所有摄像机相对应的线性方程联立，形成一个动态范围整形约束Cx＝d；

(6-4)上述动态范围整形约束以权重ω加入到步骤(6-1)的线性方程组中，即有

$\left(\begin{array}{c}A\\ \mathrm{\ωC}\end{array}\right)x=\left(\begin{array}{c}0\\ \mathrm{\ωd}\end{array}\right)$

使用卡茨马尔茲方法求解以上线性方程组；

(7)对上述得到的每个摄像机的增益参数g_n和偏移参数b_n进行判断，若所有摄像机的参数g_n和b_n不能同时满足g_n＝1，b_n＝0，则使所有摄像机根据求解得到的颜色校准参数重新设置，并拍摄新的图像，转步骤(6)；若所有摄像机的参数g_n和b_n同时满足g_n＝1，b_n＝0，则使所有摄像机根据求解得到的颜色校准参数重新设置。

20台摄像机最终的颜色校准结果如表2所示，其中Pi表示第i个色块。由于灰度色块三个颜色通道颜色值相同，所以表内只给出一个通道的颜色值，而且，为了鲁棒，取块内颜色平均值作为结果显示。

表2为颜色校准结果比较

Claims (1)

1、一种对多台摄像机进行全局颜色校准的方法，其特征在于该方法包括以下步骤：

(1)将颜色校准物放置在场景中心位置，使N台摄像机对准场景中心，其中的颜色校准物为一圆柱面，圆柱面上均布有x行、y列色块，每行色块上各色块之间的颜色相同，每列色块上的各色块之间颜色不同；

(2)同时使N台摄像机对处于场景中心的颜色校准物采集一幅图像；

(3)对上述每一幅采集的图像，采用尺度不变特征变换方法进行特征点检测，以检测得到的特征点为中心，截取大小为r₁×r₁的像素块，判断像素块内的颜色是否相同，若不相同，则将相应的特征点删除，若相同，则保留相应的特征点；

(4)采用最好最先方法，依次将上述每台摄像机图像上保留的特征点与相邻摄像机图像上保留的特征点进行匹配，分别以匹配的两个特征点为中心，截取大小为r₂×r₂的像素块，判断两个像素块之间的零均值归一化互相关相关度，若相关度低于设定相关度，则删除该匹配，若相关度大于或等于设定相关度，则保留该匹配；

(5)将上述保留的所有匹配进行串连，得到M个N台摄像机之间的全局对应关系，形成集合E＝{e_m}_1≤m≤M，其中 $e_m={\left\{({\mathrm{\γ}}_i,P_{{\mathrm{\γ}}_i}^m)\right\}}_{1\≤i\≤N_m},$ γ_i为全局对应关系中的摄像机号，

为全局对应关系在摄像机γ_i图像上的像素位置，N_m为全局对应关系中的摄像机个数；

(6)根据上述N台摄像机之间的全局对应关系，在三个颜色通道上分别建立超定线性方程组并求解，得到每个摄像机的增益参数g_n和偏移参数b_n，1≤n≤N，具体过程如下：

(6-1)对于上述全局对应关系e_m中的每一个摄像机γ_k，1≤k≤N_m，分别有：

$g_{{\mathrm{\γ}}_k}{I}_{{\mathrm{\γ}}_k}^m+b_{{\mathrm{\γ}}_k}=\frac{{\mathrm{\Σ}}_{{\mathrm{\γ}}_i\∈{\mathrm{\Γ}}_m}(g_{{\mathrm{\γ}}_i}{I}_{{\mathrm{\γ}}_r}^m+b_{{\mathrm{\γ}}_i})}{N_m}$

其中， ${\mathrm{\Γ}}_m={\left\{{\mathrm{\γ}}_i\right\}}_{1\≤i\≤N_m},$

表示摄像机γ_i图像上与匹配特征点相对应的像素位置

的颜色值，根据上式，得到线性方程：

$(\frac{1}{N_m}-1)(g_{{\mathrm{\γ}}_k}{I}_{{\mathrm{\γ}}_k}^m+b_{{\mathrm{\γ}}_k})+\underset{{\mathrm{\γ}}_i\≠{\mathrm{\γ}}_k}{\underset{{\mathrm{\γ}}_i\∈{\mathrm{\Γ}}_m}{\mathrm{\Σ}}}(\frac{I_{{\mathrm{\γ}}_i}^m}{N_m}{g}_{{\mathrm{\γ}}_i}+\frac{1}{N_m}{b}_{{\mathrm{\γ}}_i})=0$

将所有全局对应关系的所有摄像机的线性方程联立，形成一个超定线性方程组Ax＝0；

(6-2)计算上述所有全局对应关系在所有相关摄像机图像上颜色的平均值；

(6-3)将由步骤(6-2)计算得到的平均值由小到大排列，并选择与前t％和后t％的平均值相对应的全局对应关系作为黑水平l_b和白水平l_w，其中t为设定值，对于选择的全局对应关系e_m的所有摄像机γ_k，有：

将所有与被选作黑、白水平的全局对应关系的所有摄像机相对应的线性方程联立，形成一个动态范围整形约束Cx＝d；

(6-4)上述动态范围整形约束以权重ω加入到步骤(6-1)的线性方程组中，即有

$\left(\begin{array}{c}A\\ \mathrm{\ωC}\end{array}\right)x=\left(\begin{array}{c}0\\ \mathrm{\ωd}\end{array}\right)$

使用卡茨马尔茲方法求解以上线性方程组；

(7)对上述得到的每个摄像机的增益参数g_n和偏移参数b_n进行判断，若所有摄像机的参数g_n和b_n不能同时满足g_n＝1，b_n＝0，则使所有摄像机根据求解得到的颜色校准参数重新设置，并拍摄新的图像，转步骤(6)；若所有摄像机的参数g_n和b_n同时满足g_n＝1，b_n＝0，则使所有摄像机根据求解得到的颜色校准参数重新设置。

Images