CN102438153B - 多摄像机图像校正方法和设备 - Google Patents

Abstract

本发明实施例提供一种多摄像机图像校正方法和设备。多摄像机图像校正方法，包括：获取各摄像机分别采集的无重叠区域或者重叠区域小于阈值的独立图像信息；根据各独立图像信息，获取与各摄像机分别对应的、能够将相邻独立图像校正成连续图像的图像校正参数；根据所述图像校正参数，对与该图像校正参数对应的摄像机的视频数据进行校正处理。本发明实施例，对于没有重叠区域或者重叠区域很小的情况来说，节约了维护人员的劳动力，调整效率较高，并且可以远程维护。此外，通过数据处理方式对图像进行校正，有效保证了对图像进行校正的精度。

Description

多摄像机图像校正方法和设备

技术领域

本发明实施例涉及图像技术，尤其涉及一种多摄像机图像校正方法和设备。

背景技术

在远程会议系统中，例如Telepresence系统，需要多台摄像机从多角度呈现会场画面，以使与会者能够感觉处于相同的会议地点，从而确保不同会议地点的感受一致性。

图1为现有技术中会议室系统的布局示意图，如图1所示，本系统可以采用三台平板显示器1、2和3，这三台显示器用于呈现接近真人大小尺寸的高清画面。三台显示器以折面的方式放置，其中，中间的显示器2和两边的显示器1和3紧靠在一起，三台显示器的图像构成了会议室场景的一个完整呈现。在中间的显示器2的位置，设置有3台高清摄像机4、5和6。这三台摄像机以汇聚方式设置。通过对三台摄像机的位置进行调节，可以使每个摄像机的拍摄范围正好覆盖会议桌的一个区域。例如，摄像机4对应座位14，15的区域，摄像机5对应座位16，17的区域，摄像机6对应座位18，19的区域，因此，三台摄像机采集的3幅图像近似拼接成会议室场景的全景图像。由此可知，只有在每两台摄像机拍摄角相交的地方才能获得可以无缝拼接的图像，相交点之前的区域为摄像机无法拍到的缺失区域，而相交点之后的区域为重叠区域。为了使三台摄像机拍摄的图像在几何位置上和颜色亮度上具有一致，需要对三台摄像机拍摄的图像进行几何校正和颜色校正。对于有较大重叠区域的情况来说，现有技术可以在重叠区域放置模板或检测重叠区域中已有特征物的几何特征点来进行图像的几何校正和颜色校正。对于没有重叠区域或者重叠区域很小的情况来说，现有技术则只能采用手动方式调整摄像机的机械位置和摄像机的亮度/颜色参数来进行图像的几何校正和颜色校正。对于后者，维护人员必须现场调整，因此调整效率较低，且很难保证几何校正精度和颜色校正精度。

发明内容

本发明实施例提供一种多摄像机图像校正方法和设备。

本发明实施例提供一种多摄像机图像校正方法，包括：

获取各摄像机分别采集的无重叠区域或者重叠区域小于阈值的独立图像信息；

根据各独立图像信息，获取与各摄像机分别对应的、能够将相邻独立图像校正成连续图像的图像校正参数；

根据所述图像校正参数，对与该图像校正参数对应的摄像机的视频数据进行校正处理。

本发明实施例提供一种多摄像机图像校正设备，包括：

获取模块，用于获取各摄像机分别采集的无重叠区域或者重叠区域小于阈值的独立图像信息；根据各独立图像信息，获取与各摄像机分别对应的、能够将相邻独立图像校正成连续图像的图像校正参数；

处理模块，用于根据所述获取模块获取的图像校正参数，对与该图像校正参数对应的摄像机的视频数据进行校正处理。

本发明实施例中，对于没有重叠区域或者重叠区域很小的情况来说，并不需要采用手动方式调整摄像机的机械位置和调节摄像机的亮度/颜色参数来进行图像的几何校正和颜色校正，而是通过图像数据采集和校正等图像处理方法对摄像机拍摄的图像进行离线和在线处理。因此，本发明实施例节约了维护人员的劳动力，调整效率较高，并且可以远程维护。此外，通过数据处理方式对图像进行校正，有效保证了对图像进行校正的精度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为现有技术中会议室系统的布局示意图；

图2为本发明多摄像机图像校正方法实施例一的流程图；

图3为本发明多摄像机图像校正方法实施例二的流程图；

图4为应用图3所示方法实施例二进行图像校正之前的示意图；

图5为应用图3所示方法实施例二进行图像校正之后的示意图；

图6为本发明多摄像机图像校正方法实施例三的流程图；

图7为图6所示方法实施例三中多个摄像机校正时的场景示意图；

图8为图6所示方法实施例三中单个摄像机内部校正时的场景示意图；

图9为在图8所示场景下单个摄像机内部的校正图像示意图；

图10为在图7所示场景下多个摄像机之间的校正图像示意图；

图11为在图7所示场景下多个摄像机之间校正的颜色分量值的分级曲线和目标曲线的一种示意图；

图12为在图7所示场景下多个摄像机之间校正的颜色分量值的分级曲线和目标曲线的另一种示意图；

图13为本发明多摄像机图像校正设备实施例一的结构示意图；

图14为本发明多摄像机图像校正设备实施例二的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图2为本发明多摄像机图像校正方法实施例一的流程图，如图2所示，对于没有重叠区域或者重叠区域很小的情况来说，本实施例可以采用图像处理设备对各摄像机拍摄的图像进行校正处理。具体来说，本实施例中的图像处理设备可以包括在线处理设备和离线处理设备。本实施例的方法可以包括：

步骤201、获取各摄像机分别采集的无重叠区域或者重叠区域小于阈值的独立图像信息。

具体来说，离线处理设备可以向各摄像机的图像采集系统发送采集命令，并接收各摄像机的图像采集系统采集并发送的独立图像信息，从而获取各摄像机分别采集的无重叠区域或者重叠区域小于阈值的独立图像信息。因此，各摄像机采集到的图像之间没有重叠或者存在小范围重叠。本领域技术人员可以根据需要设定上述重叠区域重叠范围的阈值，例如该阈值可以取总区域的水平分辨率的5％～10％。

步骤202、根据所述独立图像信息，获取与各摄像机分别对应的、能够将相邻独立图像校正成连续图像的图像校正参数。

一般来说，图像校正处理可以包括图像的亮度颜色校正、几何校正以及后续的其它图像校正处理。因此，本实施例中的图像校正参数既可以是用于对图像进行亮度颜色校正的颜色校正参数，也可以是对图像进行几何校正的几何校正参数，还可以是其它图像校正参数，本实施例并不限定。

在本实施例中，离线处理设备可以根据各摄像机采集的独立图像信息，获取与各摄像机分别对应的几何校正参数和/或颜色校正参数，获取的几何校正参数可以将相邻独立图像校正成几何位置上连续的图像，获取的颜色校正参数可以将相邻独立图像校正成颜色亮度上连续的图像。

步骤203、根据所述图像校正参数，对与该图像校正参数对应的摄像机的视频数据进行校正处理。

在离线处理设备获取图像校正参数后，在线处理设备即可根据图像校正参数，例如几何校正参数和/或颜色校正参数，对对应的摄像机的视频数据进行逐帧实时处理。

需要说明的是，本发明各实施例中的离线处理设备和在线处理设备，都只是示例而非限定。在线处理设备的功能也可以通过离线处理设备来实现，反之亦然。本发明各实施例中对图像处理设备采用在线处理设备还是离线处理设备，是根据图像处理的实际要求的优化选择。例如，对于实时性要求较高的图像处理环节，优选的采用在线处理设备；而对于实时性要求较低而质量要求较高的图像处理环节，优选的采用离线处理设备。

由于在线处理部分算法相对简单但对实时性要求很高，因此在线处理设备可以采用数字信号处理(DigitalSignalProcessing，以下简称：DSP)，可编程逻辑器件(ProgramableLogicDevice，以下简称：PLD)、现场可编程门阵列(FieldProgramableGateArray，以下简称：FPGA)或图形处理器(GraphicProcessingUnit，以下简称：GPU)等方式实现；而离线部分对实时性没有要求，但是算法复杂，因此离线处理设备比较适合采用基于CPU的计算机进行实现。在线处理设备和离线处理设备只是逻辑上的实体，两者可以在物理上分属不同的设备，之间通过数据传输接口进行通信，例如数据传输接口可以采用以太网，USB等接口方式，传输协议可以采用文件传输协议(FileTransferProtocol，以下简称：FTP)、超文本传输协议(HyperTextTransferProtocol，以下简称：HTTP)、自定义传输控制协议/网间网协议(TransmissionControlProtocol/InternetProtocol，以下简称：TCP/UDP)或是USB协议等；两者也可以位于同一物理设备中，例如采用PC作为在线处理设备和离线处理设备，CPU作为离线设备计算参数，采用GPU作为在线处理设备进行实时的图像处理。

本实施例中，对于没有重叠区域或者重叠区域很小的情况来说，并不需要采用手动方式调整摄像机的机械位置和调节摄像机的亮度/颜色参数来进行图像的几何校正和颜色校正，而是通过图像数据采集和校正等图像处理方法对摄像机拍摄的图像进行离线和在线处理。因此，本实施例节约了维护人员的劳动力，调整效率较高，并且可以远程维护。此外，通过数据处理方式对图像进行校正，有效保证了对图像进行校正的精度。

下面分别针对几何校正和颜色校正的处理过程对本发明的技术方案进行详细说明。

图3为本发明多摄像机图像校正方法实施例二的流程图，如图3所示，本实施例可以对多摄像机拍摄的图像进行几何校正处理，本实施例的方法可以包括：

步骤301、向各摄像机发送位置调节指令，以使各摄像机之间相互对齐。

在Telepresence系统中，几何校正处理过程用于解决多个摄像机图像在几何位置上的拼接对齐问题，保证多个摄像机图像在几何位置上的连续一致性。

多摄像机的几何校正可以分为两个阶段：粗略校正阶段和精确校正阶段。步骤301即为粗略校正阶段。在步骤301中，通过向多个摄像机发送调节指令，使得多个摄像机在垂直方向、水平方向上的位置达到粗略对齐。摄像机的调节可以是对摄像机的定位螺丝或是云台等进行的全方位移动及镜头变倍、变焦控制。在调节时，可以先选择一个基准摄像机，例如中间的摄像机，调整基准摄像机使之达到理想效果，然后再调节其余的摄像机，使之与基准摄像机近似对齐。

需要说明的是，步骤301也可以省略。例如通过固定摄像机的位置确定摄像机之间的几何关系，从而不需要进行摄像机的结构位置调节。由于不能进行摄像机位置调节，因此要求固定摄像机机的位置精度在下一步精确校正的可调范围内。

步骤302、向各摄像机的图像采集系统发送采集命令，并接收各摄像机的图像采集系统采集并发送的独立图像信息。

步骤303、对各独立图像信息进行联合校正处理，获取与各独立图像信息分别对应且相邻图像连续的各校正图像信息，并根据各校正图像信息和对应的独立图像信息获取各几何校正参数。

所谓联合校正处理，即为从各独立图像信息中选择一幅图像作为基准图像信息，并对该基准图像信息进行校正处理；以该校正处理后的基准图像信息为参考图像信息，对其余各独立图像信息进行校正处理。

在步骤301进行粗略校正后，步骤302和步骤303即为精确几何校正，其通过图像变形的方法使多个摄像机的图像达到精确对齐。几何变换操作包括：平移、旋转、缩放、透视等。

举例来说，离线处理设备可以命令各摄像机分别采集一帧图像，每帧图像对应于需要校正的一台摄像机。图像采集命令可以通过网络发送，并且通过网络传输得到采集的独立图像信息。离线处理设备可以根据采集的独立图像信息进行联合校正处理。

在进行联合校正处理的具体操作时，离线处理设备可以选择一个摄像机的图像作为基准，先将基准图像校正好，然后再对其它图像进行校正，使其它图像和基准图像对齐，最后获得一个在视觉上连续一致的宽视角图像。

图4为应用图3所示方法实施例二进行图像校正之前的示意图，图5为应用图3所示方法实施例二进行图像校正之后的示意图，如图4和5所示，取中间的图像1b为基准，从中间图像的桌面边沿可以看出，中间图像1b存在一个小角度的旋转，导致整体图像倾斜，因此离线处理设备可以做一个反旋转使桌面边沿变为水平，中间图像校正后的图像如2b所示。基准图像变换完成后，离线处理设备同样可以对左右图像1a和1c进行变换，通过旋转平移等变换操作使变换后图像2a和2c中的桌面边沿与图像2b的桌面边沿对齐并且在几何上保持连续关系。

在实际校正过程中，可以通过一些辅助手段协助离线处理设备更容易地作出如何对图像进行调整的判断，从而提高校正的速度和精度。例如在拍摄图像时可以在Telepresence场景中放置一些模板，如棋盘格，使摄像机各拍摄到该模板的一部分，这样在进行图像对齐时可以将模板作为参照物。另外在实现几何校正时，也可以提供一些测量功能用于衡量校正效果，例如提供距离检测功能用于测量多个图像中桌面边沿的对齐程度，或是提供面积检测功能测量相对每个摄像机都处于相同位置的一个物体在图像中的大小是否相等，用以检测摄像机的焦距设置是否相同等。

离线处理设备可以采用不同的校正参数对各摄像机的独立图像信息进行校正，例如旋转变换等，直到达到满意程度为止，然后离线处理设备即可得到各独立图像信息的几何校正参数。该几何校正参数即为用于在线处理设备进行逐帧的图像变换所需的参数。

步骤304、根据所述几何校正参数，对与该几何校正参数对应的摄像机的视频数据进行校正处理。

在线处理设备在接收到几何校正参数后，即可与该几何校正参数对应的摄像机的视频数据进行校正处理。

为了更加清楚地说明联合校正处理的过程，本实施例提供一种图像变换的具体实现方式。

根据射影几何原理，空间中的三维点投影到摄像机成像平面上的变换关系为：

$\stackrel{\‾}{x}=K\left[R\right|t]X---\left(1\right)$

$K=\left[\begin{array}{ccc}{f}_x& s& u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right]---\left(2\right)$

其中为平面坐标的齐次表示；X为世界坐标系的齐次表示；f_x和f_y为水平和垂直方向上的等效焦距；s为图像的畸变系数；u₀，v₀为图像主点坐标。R为摄像机的旋转矩阵，t为摄像机平移向量。其中K称为摄像机的内部参数，R和t称为摄像机的外部参数。对于两个摄像机拍摄的或一个摄像机在不同位置拍摄的具有重叠区域的多个图像，空间中某个平面上的点在两个图像上的成像关系为：

$x^{\′}=\mathrm{Hx}=\left[\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& h_{33}\end{array}\right]x---\left(3\right)$

其中H为一个3×3的矩阵，自由度为8，其代表了两个成像平面之间的变换关系，称之为单应性变换矩阵。x为变换前图像坐标的齐次表示，x′为变换后图像坐标的齐次表示。对于接近纯旋转运动的摄像机系统或接近共光心摄像机系统，H可以表示为：

H≈K′R′R^-1K^-1(4)

已知变换前和变换后图像上的一个点对坐标，可以得到两个方程：

$x^{\′}=\frac{h_{11}x+h_{12}y+h_{13}}{h_{31}x+h_{32}y+h_{33}}$ $y^{\′}=\frac{h_{21}x+h_{22}y+h_{23}}{h_{31}x+h_{32}y+h_{33}}---\left(5\right)$

由于H的自由度为8，因此最少只要通过4组点对建立8个方程就可以求出单应性矩阵H。对于手动校正的方法，由用户至少选择变换前图像上的4个点的坐标，以及该4个点在变换后图像上的坐标。根据这4个点对的坐标我们可以利用公式(5)建立包括至少8个方程的方程组，求解出单应性矩阵H。在得到了单应性矩阵H后，我们可以对图像的坐标乘以H进行透视变换，使透视变换后的图像对齐。需要注意的是，透视变换只能保证图像中的一个平面获得比较好的对齐效果，如果图像中的景深范围比较大，则无法在各个景深上都进行对齐。在Telepresence系统中，由于观看者对人的位置最敏感，因此我们只要保证垂直于桌面边沿，人脸和身体所在的近似平面的拼接对齐效果最佳即可。另外，人对跨屏幕的几何结构也比较敏感，例如桌面边沿，因此在图像校正时也要保证这些几何结构精确对齐。

由于求单应性矩阵H比较复杂，对于图像变化较小的情况，也可以利用仿射变换来模拟透视变换。可以采用下面的变换公式：

x′＝S[R|T]x(6)

其中， $S=\left[\begin{array}{cc}{s}_x& 0\\ 0& s_y\end{array}\right]$ $R=\left[\begin{array}{cc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right]$ $T=\left[\begin{array}{c}{t}_x\\ t_y\end{array}\right].$

其中S为一个图像缩放矩阵，s_x为X方向上的缩放因子，s_y为Y方向上的缩放因子，R为二维旋转矩阵，θ为图像旋转角度，T为平移向量，t_x为X方向上的平移量，t_y为Y方向上的平移量。x为变换前图像坐标的齐次表示，x′为变换后图像坐标的齐次表示。

在线处理设备并不直接利用上述的变换参数进行图像变换，而是利用离线处理设备采用上述的参数计算出变换后图像每一像素点的坐标(x′，y′)在原图像上对应点的坐标，根据差分值得到图像的变换映射表。离线处理设备将图像变换映射表发送给在线处理设备，在线处理设备根据图像变换映射表执行逐像素映射，插值得到变换后的图像。插值方式可以采用多种方式，如双线性插值，立方卷积插值等。例如使用双线性插值方式，插值公式为：

$I(i+u,j+v)=\left[\begin{array}{cc}1-u& u\end{array}\right]\left[\begin{array}{cc}I(i,j)& I(i,j+1)\\ I(i+1,j)& I(i+1,j+1)\end{array}\right]\left[\begin{array}{c}1-v\\ v\end{array}\right]---\left(7\right)$

其中I为原始图像像素的RGB值，i，j为整数像素坐标，u，v为小数像素坐标。

本实施例中，对于没有重叠区域或者重叠区域很小的情况来说，并不需要采用手动方式调整摄像机的机械位置来进行图像的几何校正，而是通过图像数据采集和校正等图像处理方法对摄像机拍摄的图像进行离线和在线处理。因此，本实施例节约了维护人员的劳动力，调整效率较高，并且可以进行远程维护。此外，通过数据处理方式对图像进行几何校正，有效保证了对图像进行校正的精度。

图6为本发明多摄像机图像校正方法实施例三的流程图，如图6所示，本实施例可以对多摄像机拍摄的图像进行颜色校正处理，本实施例的方法可以包括：

步骤601、向各摄像机的图像采集系统发送拍摄模板图像的采集命令，并接收各摄像机采集并发送的多个曝光时间下的模板图像信息。

在Telepresence系统中，多摄像机的亮度颜色校正的主要目的是消除多个摄像机图像在亮度颜色上的差异，保证多个图像在亮度和颜色上的一致性。传统的多摄像机亮度颜色校正方法都是针对最终的数字图像信号进行处理，但多摄像机图像之间的亮度和颜色差异本质上是多摄像机的不同图像传感器光学特性的差异和信号处理电路差异的混合，很明显对于这种混合差异简单通过图像的处理是很难消除的。此外，目前不少使用高分辨率电荷耦合元件(Charge-coupledDevice，以下简称：CCD)传感器的摄像机。由于CCD本身的特性和制造工艺限制，工作频率无法做得很高，而又要输出高速大数据量的视频流数据，因此对单块CCD采用了分区并行输出技术，例如将一帧图像的数据分为2路或4路并行输出，每路输出采用单独的输出电路和模数转换芯片。由于CCD输出电路和模数转换芯片及电路的差异，导致了CCD并行输出的多路图像在分区间也存在微小差异，即单个摄像机内部的差异。

因此，在本实施例中，离线处理设备可以对多个摄像机之间以及每个摄像机内部的亮度颜色进行校正处理。

图7为图6所示方法实施例三中多个摄像机校正时的场景示意图，如图7所示，其中100和101分别为待校正的摄像机。200为校正模板，其各有一部分被摄像机100和101拍摄到。校正模板200可以是一个白板，也可以是具有多个灰度级别的模板。图8为图6所示方法实施例三中单个摄像机内部校正时的场景示意图，如图8所示，校正模板完全处于摄像机100的拍摄范围内。在拍摄时要求实验环境的光照均匀，该要求可以采用亮度计在模板表面进行测量来保证，或是采用特殊的光照均匀的灯箱。此外实验环境照明最好采用直流灯具，如果采用交流灯具，则应该将摄像机采集频率和灯光频率进行同步，这样可以保证拍摄时不会产生闪烁现象。实验时摄像机最好处于散焦状态，或是去掉镜头进行拍摄。另外，需要采集摄像机在全黑环境下的图像，从而得到摄像机图像传感器的RGB分量的黑电平。

步骤602、根据所述多个曝光时间下的模板图像信息，获取与各摄像机分别对应的颜色校正参数。

对于对每个摄像机内部各图像分区之间进行校正来说，步骤602可以具体为：根据所述多个曝光时间下的模板图像信息，获取每个摄像机内部多个图像分区之间相邻的图像区域在各曝光时间下的颜色分量值的分级；对每个图像区域在各曝光时间下的颜色分量值的分级进行插值处理，获取各图像分区在各曝光时间下的颜色分量值的分级曲线；根据目标曲线和颜色分量值的分级曲线，获取每个摄像机内部各图像分区的颜色校正参数。

对于对多个摄像机之间的相邻区域图像进行校正来说，步骤602可以具体为：根据所述多个曝光时间下的模板图像信息，获取各摄像机之间相邻的每个图像区域在各曝光时间下的颜色分量值的分级；对每个图像区域在各曝光时间下的颜色分量值的分级进行插值处理，获取各摄像机在各曝光时间下的颜色分量值的分级曲线；根据目标曲线和颜色分量值的分级曲线，获取各摄像机的颜色亮度校正参数。

图9为在图8所示场景下单个摄像机内部的校正图像示意图，如图9所示，以单摄像机4分区数据为例来说，假设拍摄的是白色模板，离线处理设备可以命令每个摄像机拍摄获取不同曝光时间下的一组模板图像信息。因为摄像机的曝光时间不同，因此拍摄得到的图像的亮度也随着曝光时间的变化而变化。对于很长的曝光时间，会得到一个接近纯白的过度曝光的图像，而对于很短的曝光时间，则会得到一个接近全黑的图像。

对于每个曝光时间的模板图像信息，存在4个图像分区A、B、C、D，每个图像分区的亮度颜色都会有差异。而且由于图像传感器本身以及镜头等因素的影响，每个图像分区内部也是不均匀的。为了使校正后各图像分区边界处的差异最小，离线处理设备可以命令摄像机对图像分区边界临近的区域A1、A2、B1、B2、C1、C2、D1、D2进行采样。由于每个图像分区存在垂直边界和水平边界，因此在处理时需要兼顾垂直边界和水平边界的效果。例如对于A分区，选择矩形区域作为采样区域，分别计算垂直和水平采样区域A1和A2的颜色分量值的均值，然后再将A1和A2的均值取平均得到A分区的RGB值。

${\stackrel{\‾}{C}}_A=\frac{{\stackrel{\‾}{C}}_{A1}+{\stackrel{\‾}{C}}_{A2}}{2}$ C∈{R，G，B}

其中和分别为垂直区域和水平区域的采样像素RGB值的均值，为计算得到A分区校正前的RGB值。对于B、C、D分区也可以类似得到 和。这样就可以得到不同图像分区在不同曝光时间下的一系列的RGB值。由于分区差异的存在，不同图像分区在某一曝光时间下的RGB值是不同的，亮度颜色校正的目的就是要使不同曝光时间下图像分区的校正后RGB值都趋向一致。

图10为在图7所示场景下多个摄像机之间的校正图像示意图，如图10所示，多个摄像机之间的颜色校正方法和单个摄像机内多个图像分区的颜色校正方法是类似的，不同的是在取采样数据时需要取摄像机图像的边缘数据，然后可以将每个摄像机的数据当作一个图像分区的数据处理即可。例如对于两个摄像机的图像A，B，取采样矩形区域A1和B1，然后分别计算校正前RGB值。

需要注意的是，如果离线处理设备既要进行单个摄像机内各图像分区的颜色校正处理，又要进行多个摄像机之间的颜色校正处理，则应该先进行单个摄像机内各图像分区的颜色校正处理，在校正后的图像数据的基础上再进行多个摄像机之间的颜色校正处理。

图11为在图7所示场景下多个摄像机之间校正的颜色分量值的分级曲线和目标曲线的一种示意图，如图11所示，通过上述的处理，离线处理设备可以获取不同曝光时间E_i，E_i+1，E_i+2，E_i+3...下各图像的RGB颜色分量分级(Level)，本实施例以绿色分量G为例来说，其分布曲线为G_A，G_B，其中A和B是摄像机编号。离线处理设备可以通过G_A和G_B计算得到一个目标曲线G_Base，也可以直接选择G_A或G_B作为目标曲线，校正的目的就是使其它的曲线尽量和G_Base拟合。图11中的ΔL_i即表示G_A相对于目标曲线G_Base的偏差。对于计算得到的目标曲线G_Base，G_Base中的每个点的值可以通过G_A和G_B对应点取均值得到。

图12为在图7所示场景下多个摄像机之间校正的颜色分量值的分级曲线和目标曲线的另一种示意图，如图12所示，对于单个摄像机的多图像分区校正，离线处理设备也可以选择一个颜色分量，例如G分量的分布作为像素基准分布曲线G_Base，G_Base可以为某一个摄像机的分布，也可以采用上述计算目标曲线G_Base的方法计算获取。图12中的横坐标和纵坐标均为G分量的分级，其中横坐标为G分量的基准分级Level，即L_i为0～255中的各个取值，纵坐标为其它图像分区或摄像机的G分量的分级，由此可以绘出不同分区或是不同摄像机的G分量分级的分布曲线G_A，G_B，而G_Base则表示为45度对角线。

因此对于A来说，曲线G_A在每个曝光时间点上的G分量和G_Base的差值ΔL′_i，ΔL_i+1′，ΔL_i+2′，ΔL_i+3′...即是需要校正的差异。G_A曲幽幽线中某一点校正后的值G′_Ai可以表示为G′_Ai＝k_iG_Ai，在理想条件下，G′_Ai＝G_Basei。因为G′_Ai和G_Ai是已知的，因此可以计算出颜色校正参数k_i。由于实验采集的点是有限的，无法覆盖到0～255之间的每个级别，因此离线处理设备可以在每个采样点之间通过插值来得到每个级别的校正系数k_i，插值算法可以采用线性插值或是其它的插值算法。

需要说明的是，上述内容仅针对G分量进行说明，本领域技术人员可以理解的是，对于R分量和B分量也可以采用上述相同的方法进行处理。另外，上述图11和图12仅针对多个摄像机进行校正的方案进行详细说明，本领域技术人员同样可以理解的是，针对单个摄像机内多个图像分区进行校正的处理也是类似，此处不再赘述。

步骤603、根据所述颜色校正参数确定颜色查找表，并根据所述查找表对所述视频数据进行校正处理。

离线部分的校正算法完成之后，离线处理设备可以输出一个或多个颜色查找表(LookUpTable，以下简称：LUT)给在线处理设备，该查找表分别记录了摄像机每个图像分区或每个摄像机RGB3个通道的原始的级别和校正后级别的对应关系。表1为本发明多摄像机图像校正方法中的一种颜色查找表。

表1

原始Level	校正后Level
		0	15
1	15
		2	15
...	...
		32	34
33	36
		...	...
254	255
		255	255

在表1中，开始的很暗的级别都校正到黑电平的值。离线处理设备将查找表发送给在线处理设备，在线处理设备根据查找表进行逐帧的亮度/颜色校正。在线处理设备逐帧校正处理过程只需要根据查找表进行查表操作，将每个像素原始的RGB值替换为校正后的RGB值即可。

本实施例中，对于没有重叠区域或者重叠区域很小的情况来说，并不需要采用手动方式调整摄像机的机械位置和摄像机的亮度/颜色参数来进行图像的颜色校正，而是通过图像数据采集和校正等图像处理方法对摄像机拍摄的图像进行离线和在线处理。因此，本实施例节约了维护人员的劳动力，调整效率较高，而且可以远程维护此外，通过数据处理方式对图像进行颜色校正，有效保证了对图像进行校正的精度。

可以理解的，对于图像的处理也可以先对摄像机进行几何校正，然后进行亮度颜色校正等。这样可以交替使用本发明实施例二和实施例三的方案进行校正。优选的，可以先采用实施例二的方法进行几何校正，然后采用实施例三的方法进行亮度颜色校正。这样可以先通过几何校正获得比较稳定的图像源，有利于亮度颜色校正的处理，并且能够避免在几何校正时对图像的旋转等操作而造成的对校正好的图像边缘亮度或颜色的改变。

图13为本发明多摄像机图像校正设备实施例一的结构示意图，如图13所示，本实施例的设备可以包括：获取模块11和处理模块12，获取模块11用于获取各摄像机分别采集的无重叠区域或者重叠区域小于阈值的独立图像信息；根据各独立图像信息，获取与各摄像机分别对应的、能够将相邻独立图像校正成连续图像的图像校正参数；处理模块12用于根据获取模块11获取的所述图像校正参数，对与该图像校正参数对应的摄像机的视频数据进行校正处理。

本实施例中，获取模块11可以为离线处理设备，例如基于CPU的计算机等，而处理模块12可以为在线处理设备，例如采用DSP，PLD、FPGA或GPU等方式实现。本实施例的设备可以对应地执行图2所示方法实施例一的技术方案，其实现原理和技术效果类似，此处不再赘述。

图14为本发明多摄像机图像校正设备实施例二的结构示意图，如图14所示，本实施例在图13所述设备的基础上，进一步地，获取模块11具体包括：第一获取单元111和第二获取单元112，其中，第一获取单元111用于向各摄像机的图像采集系统发送采集命令，并接收各摄像机的图像采集系统采集并发送的独立图像信息；第二获取单元112用于根据第一获取单元111接收的独立图像信息，获取与各摄像机分别对应的几何校正参数和/或颜色校正参数；处理单元12具体用于根据第二获取单元112获取的几何校正参数和/或颜色校正参数，对对应的摄像机的视频数据进行校正处理。

对于对图像进行几何校正的情况来说，第二获取单元112具体用于对各独立图像信息进行联合校正处理，获取与各独立图像信息分别对应且相邻图像连续的各校正图像信息，并根据各校正图像信息和对应的独立图像信息获取各几何校正参数。

在这种情况下，本实施例的设备可以对应地执行图3所示方法实施例二的技术方案，其实现原理和技术效果类似，此处不再赘述。

对于对图像进行颜色校正的情况来说，第一获取单元111具体用于向各摄像机的图像采集系统发送拍摄模板图像的采集命令，并接收各摄像机采集并发送的多个曝光时间下的模板图像信息；所述第二获取模块112具体用于根据所述多个曝光时间下的模板图像信息，获取各摄像机之间相邻的每个图像区域在各曝光时间下的颜色分量值的分级；对每个图像区域在各曝光时间下的像素颜色分量值的分级进行插值处理，获取各摄像机在各曝光时间下的像素颜色分量值的分级曲线；根据目标曲线和像素颜色分量值的分级曲线，获取各摄像机的颜色亮度校正参数；或者，具体用于根据所述多个曝光时间下的模板图像信息，获取每个摄像机内部多个图像分区之间相邻的图像区域在各曝光时间下的颜色分量值的分级；对每个图像区域在各曝光时间下的颜色分量值的分级进行插值处理，获取各图像分区在各曝光时间下的颜色分量值的分级曲线；根据目标曲线和颜色分量值的分级曲线，获取每个摄像机内部各图像分区的颜色校正参数。

在这种情况下，本实施例的设备可以对应地执行图6所示方法实施例三的技术方案，其实现原理和技术效果类似，此处不再赘述。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种多摄像机图像校正方法，其特征在于，包括：

获取各摄像机分别采集的无重叠区域或者重叠区域小于阈值的独立图像信息，所述阈值取总区域的水平分辨率的5％～10％；

根据各独立图像信息，获取与各摄像机分别对应的、能够将相邻独立图像校正成连续图像的图像校正参数；

根据所述图像校正参数，对与该图像校正参数对应的摄像机的视频数据进行校正处理；

其中，所述获取各摄像机分别采集的无重叠区域或者重叠区域小于阈值的独立图像信息，包括：向各摄像机的图像采集系统发送采集命令，并接收各摄像机的图像采集系统采集并发送的独立图像信息；

所述根据所述独立图像信息，获取与各摄像机分别对应的图像校正参数，包括：根据所述独立图像信息，获取与各摄像机分别对应的几何校正参数和/或颜色校正参数，所述几何校正参数用于几何校正，所述几何校正用于解决多个摄像机图像在几何位置上的拼接对齐问题，保证所述多个摄像机图像在几何位置上的连续一致性，所述颜色校正参数用于亮度颜色校正，所述亮度颜色校正用于消除所述多个摄像机图像在亮度颜色上的差异，保证多个图像在亮度和颜色上的一致性；

其中，根据所述独立图像信息，获取与各摄像机分别对应的几何校正参数，包括：对各独立图像信息进行联合校正处理，获取与各独立图像信息分别对应且相邻图像连续的各校正图像信息，并根据各校正图像信息和对应的独立图像信息获取各几何校正参数。

所述根据所述图像校正参数，对与该图像校正参数对应的摄像机的视频数据进行校正处理，包括：根据所述几何校正参数和/或颜色校正参数，对对应的摄像机的视频数据进行校正处理；

其中，对于实时性要求较高的图像处理环节，采用在线处理设备；对于实时性要求较低而质量要求较高的图像处理环节，采用离线处理设备；

向各摄像机的图像采集系统发送采集命令，并接收各摄像机的图像采集系统采集并发送的独立图像信息，包括：

向各摄像机的图像采集系统发送拍摄模板图像的采集命令，并接收各摄像机采集并发送的多个曝光时间下的模板图像信息；

根据所述独立图像信息，获取与各摄像机分别对应的颜色校正参数，包括：

根据所述多个曝光时间下的模板图像信息，获取与各摄像机分别对应的颜色校正参数。

2.根据权利要求1所述的方法，其特征在于，所述对各独立图像信息进行联合校正处理，包括：

从各独立图像信息中选择一幅图像作为基准图像信息，并对该基准图像信息进行校正处理；

以该校正处理后的基准图像信息为参考图像信息，对其余各独立图像信息进行校正处理。

3.根据权利要求2所述的方法，其特征在于，所述向各摄像机的图像采集系统发送采集命令之前，还包括：

向各摄像机发送位置调节指令，以使各摄像机之间相互对齐。

4.根据权利要求1所述的方法，其特征在于，所述根据所述多个曝光时间下的模板图像信息，获取与各摄像机分别对应的颜色校正参数，包括：

根据所述多个曝光时间下的模板图像信息，获取各摄像机之间相邻的每个图像区域在各曝光时间下的颜色分量值的分级；

对每个图像区域在各曝光时间下的像素颜色分量值的分级进行插值处理，获取各摄像机在各曝光时间下的像素颜色分量值的分级曲线；

根据目标曲线和像素颜色分量值的分级曲线，获取各摄像机的颜色亮度校正参数。

5.根据权利要求1所述的方法，其特征在于，所述根据所述多个曝光时间下的模板图像信息，获取与各摄像机分别对应的颜色校正参数，包括：

根据所述多个曝光时间下的模板图像信息，获取每个摄像机内部多个图像分区之间相邻的图像区域在各曝光时间下的颜色分量值的分级；

对每个图像区域在各曝光时间下的颜色分量值的分级进行插值处理，获取各图像分区在各曝光时间下的颜色分量值的分级曲线；

根据目标曲线和颜色分量值的分级曲线，获取每个摄像机内部各图像分区的颜色校正参数。

6.根据权利要求4或5所述的方法，其特征在于，所述目标曲线包括：

所述颜色分量值的分级曲线中的任一条曲线、所述颜色分量值的分级曲线的平均曲线或者像素基准分布曲线。

7.根据权利要求1、4或5中任一项所述的方法，其特征在于，根据所述颜色校正参数，对对应的摄像机的视频数据进行校正处理，包括：

根据所述颜色校正参数确定颜色查找表，并根据所述颜色查找表对所述视频数据进行校正处理。

8.一种多摄像机图像校正设备，其特征在于，包括：

获取模块，用于获取各摄像机分别采集的无重叠区域或者重叠区域小于阈值的独立图像信息；根据各独立图像信息，获取与各摄像机分别对应的、能够将相邻独立图像校正成连续图像的图像校正参数，所述阈值取总区域的水平分辨率的5％～10％；

处理模块，用于根据所述获取模块获取的图像校正参数，对与该图像校正参数对应的摄像机的视频数据进行校正处理；

其中，所述获取模块包括：

第一获取单元，用于向各摄像机的图像采集系统发送采集命令，并接收各摄像机的图像采集系统采集并发送的独立图像信息；

第二获取单元，用于根据所述第一获取单元接收的独立图像信息，获取与各摄像机分别对应的几何校正参数和/或颜色校正参数，所述几何校正参数用于几何校正，所述几何校正用于解决多个摄像机图像在几何位置上的拼接对齐问题，保证所述多个摄像机图像在几何位置上的连续一致性，所述颜色校正参数用于亮度颜色校正，所述亮度颜色校正用于消除所述多个摄像机图像在亮度颜色上的差异，保证多个图像在亮度和颜色上的一致性；

所述处理单元具体用于根据所述第二获取单元获取的几何校正参数和/或颜色校正参数，对对应的摄像机的视频数据进行校正处理；

其中，对于实时性要求较高的图像处理环节，所述多摄像机图像校正设备采用在线处理设备；对于实时性要求较低而质量要求较高的图像处理环节，所述多摄像机图像校正设备采用离线处理设备；

所述第一获取单元具体用于向各摄像机的图像采集系统发送拍摄模板图像的采集命令，并接收各摄像机采集并发送的多个曝光时间下的模板图像信息；

所述第二获取单元具体用于根据所述多个曝光时间下的模板图像信息，获取各摄像机之间相邻的每个图像区域在各曝光时间下的颜色分量值的分级；对每个图像区域在各曝光时间下的像素颜色分量值的分级进行插值处理，获取各摄像机在各曝光时间下的像素颜色分量值的分级曲线；根据目标曲线和像素颜色分量值的分级曲线，获取各摄像机的颜色亮度校正参数；或者，具体用于根据所述多个曝光时间下的模板图像信息，获取每个摄像机内部多个图像分区之间相邻的图像区域在各曝光时间下的颜色分量值的分级；对每个图像区域在各曝光时间下的颜色分量值的分级进行插值处理，获取各图像分区在各曝光时间下的颜色分量值的分级曲线；根据目标曲线和颜色分量值的分级曲线，获取每个摄像机内部各图像分区的颜色校正参数；

所述第二获取单元具体用于对各独立图像信息进行联合校正处理，获取与各独立图像信息分别对应且相邻图像连续的各校正图像信息，并根据各校正图像信息和对应的独立图像信息获取各几何校正参数。