CN101272513A - 一种适用于球面摄像头阵列的摄像头颜色校准方法 - Google Patents

Abstract

本发明涉及一种适用于球面摄像头阵列的颜色校准方法，属于计算机多媒体领域。该方法包括：控制服务器控制各采集服务器与其相连的摄像头采集颜色校准前的一组图像；用基于Hough变换的方法进行圆的检测，得到颜色校准基准物在图像中的位置，控制服务器控制各摄像头进行独立颜色校准，使采样到的颜色和颜色基准之间的误差达到一定范围之内，控制服务器根据收集到的数据对各个摄像头进行联机校准，直到各个摄像头之间相对误差小于阈值。本发明通过设计适合于球面摄像头阵列的颜色基准物，有效减小环境光的影响，提高摄像头阵列颜色校准的速度和精度。

Description

一种适用于球面摄像头阵列的摄像头颜色校准方法

技术领域

本发明属于计算机多媒体领域，特别涉及计算机视觉和摄像头陈列的颜色校准。

背景技术

摄像头阵列用一组摄像头对场景进行采样，能为用户提供同一场景不同视角的视频/图像信息。利用这些信息，用户可以进行一些特定的研究，如3维场景重建、虚拟视角视频合成等。摄像头阵列与传统的单摄像头相比，有明显的优势，它在学术研究领域和实际应用中都有着广泛的前景。目前，摄像头阵列的相关研究已经吸引了相当一批学者。

摄像头阵列可能有各种不同的摄像头组成，也可能由相同的摄像头组成。但就是完全相同的摄像头，在相同条件下对光照强度和颜色的感应也会有很大的不同。因此，场景中的同一物体在各摄像头图像中成像的颜色可能会有所差别。这将给之后的运算，如找对应点、识别及其它一些视觉操作带来相当大的麻烦。遥感、图像检索和人脸识别都对图像的颜色准确度有比较高的要求。

摄像头阵列的摄像头颜色校准是通过调节相继参数使摄像头陈列中的摄像头采集的颜色样本与基准颜色相接近并减小摄像头之间图像亮度和颜色差别的过程。该过程是利用摄像头采集图像或视频，进行计算机视觉、图形学研究的必须步骤。

摄像头阵列用户往往比较关心摄像头的几何校正，在一定程度上忽略颜色校准或者不够重视。很多用户根本不进行颜色校准或者完全依赖于手动调节摄像头参数。有些用户则采用单摄像头颜色校准的方法，让摄像头自动调节增益和白平衡，这种方法常常因为摄像头拍摄到的场景不同，使得颜色校准之后，摄像头之间仍存在一定的误差。这样校准后的摄像头阵列获得的多视点视频数据严重影响了其后的虚拟视点视频和3维场景重建的质量。

目前比较常用的摄像头颜色校准方法是使用颜色板进行采样，根据采样到的颜色样本和实际颜色的差别调节摄像头参数。该方法采用方形板作为颜色校准基准物。在该方形板上分布着几个特征点，利用这几个特征点，校准服务器可以在摄像头所采集的图像中检测方形板的位置。在该方形板上放置一颜色板，在该颜色板上均匀分布已知灰度值的颜色块。通过方形板在图像中的位置及颜色板和方形板的相对位置，可以容易的定位颜色板在图像中的位置。得到颜色板的位置后，颜色校准服务器控制摄像头对颜色板采集颜色样本，之后根据采集到的样本调节摄像头参数，使摄像头采集到的颜色样本和标准颜色尽量接近。

上述方法操作起来比较麻烦，特别当摄像头陈列中摄像头朝向不一致时，常不能保证所有摄像头都能看到颜色校准板而要对摄像头分批校准；并且该方法中，如果场景中光照不均匀，各个摄像头采集到的颜色样本亮度会有较大差别，校准结果受环境光的影响较大；最后，这种方法没有考虑不同摄像头之间颜色校准之后，摄像头之间采样的颜色样本之间的差别，颜色校准之后，不同摄像头之间颜色样本仍可能存在较大差别，影响校准的整体效果。

发明内容

本发明的目的是为克服已有技术的不足之处，提出一种适合于球面摄像头阵列颜色校准的方法，可以有效解决大型摄像头阵列的颜色校准问题，提高了摄像头阵列颜色校准的速度和精确度。

本发明提出的适用于球面摄像头阵列的摄像头颜色校准方法，其特征在于，用于该方法的球面摄像头阵列颜色校准系统包括：球面摄像头阵列、球面颜色校准基准物、多台采集服务器和一台控制服务器，其中，摄像头陈列中4个或4个以下摄像头通过1394接口连接采集服务器，各采集服务器和控制服务器通过以太网连接；所述颜色校准方法包括以下步骤：

1)采集服务器和控制服务器建立TCP/IP连接；

2)设定颜色校准基准物位置，使所有摄像头均能采集到完整的校准基准物图像；

3)控制服务器控制各采集服务器与其相连的摄像头对校准基准物进行图像采集，得到所有摄像头所采集的颜色校准前的一组图像；

4)各采集服务器对与其连接的各摄像头采集的图像用基于Hough变换的方法进行圆的检测，得到颜色校准基准物在该图像中的位置，并将检测结果反馈给控制服务器；

5)控制服务器收到采集服务器对颜色校准基准物检测结果后，控制各采集服务器开始对所连接的摄像头进行颜色校准；

6)各摄像头用采样到的颜色和颜色基准之间的误差调节摄像头的参数进行独立颜色校准，使该误差小于等于误差阈值T1后，把校准后的颜色样本发送给控制服务器；

7)控制服务器收到所有摄像头校准后的颜色，对各个摄像头进行联机校准，直到各个摄像头之间相对误差小于等于误差阈值T2，完成所述各个摄像头的颜色校准。

上述步骤1)中采集服务器和控制服务器建立TCP/IP连接方法，包括以下步骤：

11)控制服务器监听从采集服务器发来的TCP/IP连接请求；

12)各个采集服务器向控制服务器发出TCP/IP连接请求；

13)控制服务器收到采集服务器的连接请求，和各个采集服务器建立TCP/IP连接。

上述步骤2)中所述颜色校准基准物，包括以下特征：

21)颜色基准物为一的空心球体；

22)选择标准颜色的灰度值向量，使其延球体的经度方向周期分布；

23)球体表面采用磨砂材质，内设发光装置，以此减小视角对颜色灰度值的影响及环境光对校准效果的影响。

上述步骤6中各摄像头进行独立颜色校准的方法，包括以下步骤：

61)根据步骤4)检测得到的颜色基准物的位置，确定与圆同心、边长为圆半径的正方形为颜色采样范围(以保证不同颜色基本均匀采样)；

62)对步骤61)中确定的范围进行颜色采样，得到颜色样本数量P(即颜色采样范围内的像素数量P)，对颜色样本的绿色分量进行直方图统计，结果表示为N[256]，根据N[256]统计颜色样本的绿色分量的分布M[256]，使 $M\left[n\right]=\underset{i=-2}{\overset{2}{\mathrm{\Σ}}}N[n+i],$ 2≤n≤253，如果M[n]≤P/12，则令M[n]＝0；对M[n]不为0的区域分别求N[256]的几何平均值，所有非0区域的几何平均值组成颜色样本的绿色分量向量H′_G；

63)计算颜色样本和颜色基准之间的误差 $D_G=\underset{I=0}{\overset{5}{\mathrm{\Σ}}}{(H\left[i\right]-H_G^{\′}\left[i\right])}^2,$ 当D_G＞T1时，计算颜色样本和颜色基准之间的真实误差 $R_G=\underset{I=0}{\overset{5}{\mathrm{\Σ}}}(H\left[i\right]-H_G^{\′}\left[i\right]),$ 然后根据R_G调节摄像头的增益，之后重复步骤62)，直到D_G≤T1，则增益校准结束；

64)采用62)中计算H′_G的方法计算颜色样本的红色分量H′_R和蓝色分量H′_B，然后计算相应的D_R，D_B及R_R，R_B，根据R_R和R_B调节摄像头的红平衡和蓝平衡参数；

65)重复64)，直到D_R≤T1或D_B≤T1，红平衡及蓝平衡参数校准结束；

66)采集服务器将校准后的颜色样本发送给控制服务器。

上步骤7)中对摄像头进行联机校准的方法，包括以下步骤：

71)控制服务器接收到各采集服务器的颜色样本后，设摄像头数目为Num，第i台摄像头颜色样本绿色分量为H_G ⁱ[6]，计算每个摄像头和其它摄像头的偏差 $D_G^i=\underset{n=1}{\overset{\mathrm{Num}}{\mathrm{\Σ}}}\underset{j=0}{\overset{5}{\mathrm{\Σ}}}{(H_G^i\left[j\right]-H_G^n\left[j\right])}^2/\mathrm{Num};$

72)对D_G ⁱ进行排序，最小偏差D_G ^min，对摄像头j，如果 $D_G^j>T_2,$ 则该摄像头以(H_G ⁱ+H)/2为颜色基准进行再次校准，摄像头j校准完成后更新H_G ^j；

73)所有再次校准的摄像头校准完成后，重复第71)和第72)步，直到所有 $D_G^i\≤T_2.$

本发明通过设计适合于圆形摄像头阵列的颜色基准物，通过减小环境光影响提高摄像头阵列颜色校准的速度和精度，并通过联机校准减小摄像头之间的偏差，进一步提高校准的效果。

本发明优点：

1)通过校准基准物自身提供光源减小环境光对校准的影响，提高校准精度；

2)摄像头阵列中所有摄像头同时校准，校准速度快；

3)摄像头阵列联机校准，进一步减小摄像头之间的偏差，达到更好的校准结果；

附图说明

图1为摄像头陈列颜色校准系统结构示意图。

图2为半球面摄像头陈列分布示意图，其中，图2(a)为主视图，图2(b)为俯视图。

图3为颜色校准基准物示意图，其中，图3(a)为正面视图，图3(b)为俯视图。

图4为颜色样本采样范围示意图。

具体实施方式

本发明提出了一种大规模摄像头陈列的颜色校准方法，其具体实施方式如下：

本专利实施的大型摄像头陈列的颜色校准系统，，该系统包括：由40个摄像头1组成的摄像头阵列，10台用于连接摄像头的采集服务器2，一台控制服务器3和圆形校准基准物4。该系统结构示意图如图1所示。

本实例实施中，每台采集服务器通过1394接口连接4个1394摄像头，共40个摄像头连接于10台采集服务器上，采集服务器和颜色校准服务器通过以太网进行连接。

本实例实施的具体步骤如下：

1)根据研究需要在半球面上设置摄像头分布，如图2所示，其中每个小圆圈表示一个摄像头，所有摄像头朝向半球球心，并调好焦距；每4个摄像头连接在一台采集服务器上；

2)采集服务器和控制服务器建立TCP/IP连接：控制服务器监听从采集服务器发来的TCP/IP连接请求；10台采集服务器分别向控制服务器发出TCP/IP连接请求；控制服务器收到采集服务器的连接请求，和10太采集服务器建立TCP/IP连接；

3)颜色校准基准物为一半径35cm的空心球体，其上延经度方向周期分布灰度值向量为H＝{18，34，63，107，168，250}的标准颜色，延纬度方向，每个周期向心角为60°，每个周期中的每个灰度值向心角为10°；颜色校准物表面采用磨砂材质，内设发光装置。颜色校准基准物的设计图，如图3所示，图中可见颜色呈周期变化分为6个周期。

4)将颜色基准物悬挂在半球面中间，使颜色带延垂直地面方向分布；打开颜色基准物中的光源；

5)控制服务器控制各采集服务器与其相连的摄像头对校准基准物进行图像采集，得到所有摄像头所采集的颜色校准前的一组图像；

6)各采集服务器对与其连接的各摄像头采集的图像用基于Hough变换的方法进行圆的检测，得到颜色校准基准物在该图像中的位置，并将检测结果反馈给控制服务器；

7)控制服务器收到所有摄像头基准物检测结果后，控制所有采集服务器及其连接的摄像头开始进行颜色校准；

8)采集服务器接收到颜色校准命令后，对每一个所连接的摄像头根据步骤6)检测到的圆的位置，进一步确定与圆同心，边长为圆的半径的正方形5为颜色采样范围，如图4所示；

9)对步骤8)中确定的范围进行颜色采样，得到颜色样本数量P(即颜色采样范围内的像素数量P)，对颜色样本的绿色分量进行直方图统计，结果表示为N[256]，根据N[256]统计颜色样本的绿色分量的分布M[256]，使 $M\left[n\right]=\underset{i=-2}{\overset{2}{\mathrm{\Σ}}}N[n+i],$ 2≤n≤253，如果M[n]≤P/12，则令M[n]＝0；对M[n]不为0的区域分别求N[256]的几何平均值，所有非0区域的几何平均值组成颜色样本的绿色分量向量H′_G；

10)计算颜色样本和颜色基准之间的误差 $D_G=\underset{I=0}{\overset{5}{\mathrm{\Σ}}}{(H\left[i\right]-H_G^{\′}\left[i\right])}^2,$ 当D_G＞100时，计算颜色样本和颜色基准之间的真实误差 $R_G=\underset{I=0}{\overset{5}{\mathrm{\Σ}}}(H\left[i\right]-H_G^{\′}\left[i\right]),$ 然后根据R_G调节摄像头的增益，之后重复步骤9)，直到D_G≤100，则增益校准结束；

11)采用9)中计算H′_G的方法计算颜色样本的红色分量H′_R和蓝色分量H′_B，然后计算相应的D_R，D_B及R_R，R_B，根据R_R和R_B调节摄像头的红平衡和蓝平衡参数；

12)重复11)，直到D_R≤100或D_B≤100，红平衡及蓝平衡参数校准结束；

13)采集服务器将校准后的颜色样本发送给控制服务器；

14)控制服务器收到所有摄像头颜色校准结果后，设第i台摄像头颜色样本绿色分量为H_G ⁱ[6]，计算每个摄像头和其它所有摄像头的颜色偏差 $D_G^i=\underset{n=1}{\overset{40}{\mathrm{\Σ}}}\underset{j=0}{\overset{5}{\mathrm{\Σ}}}{(H_G^i\left[j\right]-H_G^n\left[j\right])}^2/40;$

15)颜色校准服务器对D_G ⁱ进行排序，找出最小偏差D_G ^min及其对应的颜色样本绿色分向量H_G ^min；对摄像头j若 $D_G^j>100,$ 则以(H_G ^min+H)/2为颜色基准进行再次校准；

16)所有再次校准的摄像头接收到再次校准命令后，以新的颜色基准向量为基准进行再次校准，校准完成后把新的颜色样本发送给服务器；

17)控制服务器收到所有再校准摄像头新的颜色样本后，重复步骤14)和步骤15)，直到所有摄像头相对颜色偏差D_G ⁱ都小于阈值100，颜色校准结束。

Claims (5)

1、一种适用于球面摄像头阵列的摄像头颜色校准方法，其特征在于，用于该方法的球面摄像头阵列颜色校准系统包括：球面摄像头阵列、球面颜色校准基准物、多台采集服务器和一台控制服务器，其中，摄像头陈列中4个或4个以下摄像头通过1394接口连接采集服务器，各采集服务器和控制服务器通过以太网连接；所述颜色校准方法包括以下步骤：

1)采集服务器和控制服务器建立TCP/IP连接；

2)设定颜色校准基准物位置，使所有摄像头均能采集到完整的校准基准物图像；

3)控制服务器控制各采集服务器与其相连的摄像头对校准基准物进行图像采集，得到所有摄像头所采集的颜色校准前的一组图像；

4)采集服务器对与其连接的各摄像头采集的图像用基于Hough变换的方法进行圆的检测，得到颜色校准基准物在该图像中的位置，并将检测结果反馈给控制服务器；

5)控制服务器收到采集服务器对颜色校准基准物检测结果后，控制各采集服务器开始对所连接的摄像头进行颜色校准；

6)各摄像头用采样到的颜色和颜色基准之间的误差调节摄像头的参数进行独立颜色校准，使该误差小于等于误差阈值T1后，把校准后的颜色样本发送给控制服务器；

7)控制服务器收到所有摄像头校准后的颜色，对各个摄像头进行联机校准，直到各个摄像头之间相对误差小于等于误差阈值T2，完成所述各个摄像头的颜色校准。

2、如权利要求1所述方法，其特征在于，所述步骤1)中采集服务器和控制服务器建立TCP/IP连接方法，包括以下步骤：

11)控制服务器监听从采集服务器发来的TCP/IP连接请求；

12)各个采集服务器向控制服务器发出TCP/IP连接请求；

13)控制服务器收到采集服务器的连接请求，和各个采集服务器建立TCP/IP连接。

3、如权利要求1所述方法，其特征在于，所述步骤2)中颜色校准基准物，包括以下特征：

21)颜色基准物为一的空心球体；

22)选择标准颜色的灰度值向量，使其延球体的经度方向周期分布，；

23)球体表面采用磨砂材质，内设发光装置，以此减小视角对颜色灰度值的影响及环境光对校准效果的影响。

4、如权利要求1所述方法，其特征在于，所述步骤6)中各摄像头进行独立颜色校准的方法，包括以下步骤：

61)根据步骤4)检测得到的颜色基准物的位置，确定与圆同心、边长为圆半径的正方形为颜色采样范围；

62)对步骤61)中确定的范围进行颜色采样，得到颜色样本数量P，对颜色样本的绿色分量进行直方图统计，结果表示为N[256]，根据N[256]统计颜色样本的绿色分量的分布M[256]，使 $M\left[n\right]=\underset{i=-2}{\overset{2}{\mathrm{\Σ}}}N[n+i],$ 2≤n≤253，如果M[n]≤P/12，则令M[n]＝0；对M[n]不为0的区域分别求N[256]的几何平均值，所有非0区域的几何平均值组成颜色样本的绿色分量向量H′_G；

63)计算颜色样本和颜色基准之间的误差 $D_G=\underset{I=0}{\overset{5}{\mathrm{\Σ}}}{(H\left[i\right]-H_G^{\′}\left[i\right])}^2,$ 当D_G＞T1时，计算颜色样本和颜色基准之间的真实误差 $R_G=\underset{I=0}{\overset{5}{\mathrm{\Σ}}}(H\left[i\right]-H_G^{\′}\left[i\right]),$ 然后根据R_G调节摄像头的增益，之后重复步骤62)，直到D_G≤T1，则增益校准结束；

64)采用62)中计算H′_G的方法计算颜色样本的红色分量H′_R和蓝色分量H′_B，然后计算相应的D_R，D_B及R_R，R_B，根据R_R和R_B调节摄像头的红平衡和蓝平衡参数；

65)重复64)，直到D_R≤T1或D_B≤T1，红平衡及蓝平衡参数校准结束；

66)采集服务器将校准后的颜色样本发送给控制服务器。

5、如权利要求1所述方法，其特征在于，所述步骤7)中对摄像头进行联机校准的方法，包括以下步骤：

71)控制服务器接收到各采集服务器的颜色样本后，设摄像头数目为Num，第i台摄像头颜色样本绿色分量为H_G ⁱ[6]，计算每个摄像头和其它摄像头的偏差 $D_G^i=\underset{n=1}{\overset{\mathrm{Num}}{\mathrm{\Σ}}}\underset{j=0}{\overset{5}{\mathrm{\Σ}}}{(H_G^i\left[j\right]-H_G^n\left[j\right])}^2/\mathrm{Num};$

72)对D_G ⁱ进行排序，最小偏差D_G ^min，对摄像头j，如果 $D_G^j>T_2,$ 则该摄像头以(H_G ⁱ+H)/2为颜色基准进行再次校准，摄像头j校准完成后更新H_G ^j；

73)所有再次校准的摄像头校准完成后，重复第71)和第72)步，直到所有 $D_G^i\≤T_2.$

Images