CN101127128A - 一种环形摄像机阵列校准系统及其方法 - Google Patents

Abstract

本发明涉及一种环形摄像机阵列校准系统及其方法，属于计算机多媒体技术领域。该系统包括一个校准板、摄像机阵列、多个采集服务器、一个校准服务器以及网线；该方法包括：在环形场中全部摄像机对校准板每种位置姿态同时进行拍摄，采集一幅该位置姿态的图像；多个采集服务器分别对其所有采集到的图像进行角点检测，并计算每个摄像机的单应矩阵H_i ^j；校准服务器根据两两摄像机之间可以检测到的公共位置姿态数为其之间的关系权重，将摄像机阵列优化分组；对每组摄像机分别进行组内联合校准，将各组的外参统一为以同一摄像机为世界坐标原点的外参；优化校准参数；得到摄像机阵列内外参数的最大似然估计。本发明可实现精确地重构三维场景，任意视点的观看。

Description

一种环形摄像机阵列校准系统及其方法

技术领域

本发明属于计算机多媒体技术领域，特别涉及一种通过对环形摄像机阵列进行分组校准从而简单精确得到其内外参数的技术。

背景技术

摄像机校准是3D计算机视觉中不可或缺的一步。通过对摄像机进行校准，可以得到其内、外参数，从而可以从多幅图像计算出场景的三维结构。摄像机校准是各种三维重建技术的基础，精确的校准是实现精确重构的前提，有了精确的校准数据，可以精确地重构三维场景，实现任意视点的观看。

一般环形摄像机阵列的校准系统包括：采集服务器、控制服务器、校准板、摄像机阵列、网线等。

上述系统的校准方法通常是摄像机不动，拍摄校准板变换的不同姿态位置(pose)，然后通过特征点匹配计算摄像机内参矩阵和外参矩阵，具体计算如下：

摄像机平面上的点m＝[u，v]^T与三维立体空间中任何一点M＝[X，Y，Z]^T之间有如下关系：

$s\left[\begin{array}{c}m\\ 1\end{array}\right]=A\left[\begin{array}{cc}R& t\end{array}\right]\left[\begin{array}{c}M\\ 1\end{array}\right]---\left(1\right)$

其中，u、v为摄像机平面两个轴上的坐标；X、Y、Z为世界坐标系中的坐标；s为任一尺度因子；[R t]称为外参矩阵(包括旋转R和平移t)，外参矩阵将世界坐标系和摄像机坐标系(以摄像机主点为原点的坐标系)联系起来；A称为内参矩阵，且

$A=\left[\begin{array}{ccc}\mathrm{\α}& \mathrm{\γ}& u_0\\ 0& \mathrm{\β}& v_0\\ 0& 0& 1\end{array}\right]---\left(2\right)$

其中，(u₀，v₀)是摄像机主点的坐标；α和β分别是u轴和v轴的尺度因子；γ是扭曲参数。

设有J种校准板平面π的姿态位置为π^j(j＝1，...，J)，则校准板上一点的空间位置和在板上的二维坐标位置有如下关系：

$\left[\begin{array}{c}M\\ 1\end{array}\right]=\left[\begin{array}{ccc}{p}^j& q^j& d^j\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=Q^j\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]---\left(3\right)$

式中，p^j和q^j是平行于π^j平面上水平轴和垂直轴的单位三维矢量，d^j是表示该平面原点位置的三维矢量。

于是有，

$s\left[\begin{array}{c}m\\ 1\end{array}\right]=A\left[\begin{array}{cc}R& t\end{array}\right]\left[\begin{array}{ccc}{p}^j& q^j& d^j\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]={\mathrm{PQ}}^j\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=H^j\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]---\left(4\right)$

因此，只需找8对以上的特征点求解单应矩阵H^J，从而可求解摄像机投影矩阵P，进而可得摄像机内参和外参。

对于一个多摄像机阵列，如果对每个摄像机单独采用如上的方法进行校准，不仅复杂而且会有摄像机间位置关系估计不准确等问题，现有的解决方法可以对多个摄像机进行联合校准，联合单应矩阵W为：

$W=\left[\begin{array}{ccc}{H}_I^1& ...& H_I^J\\ .& & .\\ .& & .\\ .& & .\\ H_I^1& ...& H_I^J\end{array}\right]=\left[\begin{array}{c}{P}_1\\ .\\ .\\ .\\ P_I\end{array}\right]\left[\begin{array}{ccc}{Q}^1& ...& Q^J\end{array}\right]=\mathrm{PQ}---\left(5\right)$

式中，H_i ^j表示第i个摄像机第j种pose的单应矩阵；P_i为第i个摄像机的投影矩阵；Q^J为第j个pose的矢量矩阵。

如果所有单应矩阵都可以求解，则可以用奇异值分解的方法求解摄像机投影矩阵和校准板平面的矢量矩阵。但是，并不是所有摄像机都可以拍摄到校准板平面的所有pose。对于不能拍摄到posej的摄像机i，H_i ^j是空缺的。虽然可以借助其他摄像机(参考摄像机)求解， $H_i^j=H_i^{j^{\′}}{\left(H_{i^{\′}}^{j^{\′}}\right)}^{-1}{H}_{i^{\′}}^j$ (其中，参考摄像机应至少和所求摄像机有公共的一个校准板姿态位置视野)，但是并不是每个摄像机都能找到这样一个参考摄像机，而且如果相关性差，则求解的准确性会大大降低。因此，可以对环形摄像机阵列进行分组校准，然后再将各组统一起来。一般的分组方法是将临近的几个摄像机分为一组，并尽量和同一个采集服务器相连，由该服务器做校准的计算。但是这种方法很难做到最优分组，而且计算集中在了各个采集服务器上，对采集服务器的性能要求提高。

发明内容

本发明的目的是为克服当前摄像机阵列校准方法的缺陷，提出一种环形摄像机阵列校准装置及其方法。本发明通过对摄像机阵列进行合理分组，使得每组中的联合单应矩阵无空缺现象，保证校准精度。可实现精确地重构三维场景，任意视点的观看。

本发明的环形摄像机阵列校准系统，包括一个校准板、摄像机阵列、多个采集服务器、一个校准服务器以及网线；其特征在于；

该校准板，放置在环形场中心处并可进行各种位置姿态(pose)的变换(包括旋转和平移)；

该摄像机阵列以任意朝向任意间隔在环形场周边分布，用于拍摄校准板的各种位置姿态；

该多个采集服务器，用于采集所述摄像机阵列拍摄的校准板的各种位置姿态的图像并行地进行角点检测得到各图像的单应矩阵；

一个校准服务器，用于控制采集服务器、接收采集服务器发送的单应矩阵并完成摄像机阵列的校准；

各部件的连接关系为：该摄像机阵列中的数个摄像机通过USB或者1394口连接到一个采集服务器，校准服务器和各采集服务器之间用以太网相连。

本方法采用的校准板为国际上较为通用的校准板。

本发明提出的上述环形摄像机阵列校准方法包括以下步骤：

1)在环形场中设有n个摄像机，n为正整数，且使所有摄像机时间同步；

2)将设置在环形场中的校准板进行m种位置姿态(pose)的变换，m为正整数，全部摄像机对每种位置姿态，同时进行拍摄，每个摄像机采集一幅该位置姿态的图像；

3)  多个采集服务器分别对其所有采集到的图像进行角点检测，并根据检测到的角点计算每个摄像机的单应矩阵H_i ^j(若检测不到角点，则该摄像机相对该位置姿态的单应矩阵H_i ^j空缺)传输给校准服务器；其中i为摄像机号，j为校准板姿态序号；

4)校准服务器根据接收到的单应矩阵确定每个摄像机可以检测到的pose；以两两摄像机之间可以检测到的公共pose数为其之间的关系权重；

5)将摄像机阵列优化分组，使每组中联合单应矩阵无空缺现象；

具体的分组方法包括以下步骤：

51)将n个摄像机分为i组(i从1开始)，

52)首先看各组中两摄像机的关系权重是否满足进行一定精度校准的条件，即两摄像机公共检测到的pose数≥t(t为该精度下校准所需的最少公共pose数)；如果不满足则进行下一种分法转步骤55)，否则转步骤53)，

53)查看组与组之间相邻摄像机之间的权重是否至少有i-1对满足公共pose数≥t；如果不满足则进行下一种分法转步骤55)，否则转步骤54)，

54)计算并记录所有组的组内摄像机的权重和之和w_j，

55)如果所有分法没有遍历完(共有C_n ⁱ种)，则继续进行下一种分法，重复步骤52)-54)；否则转步骤56)，

56)若所有的w_j＝0则分组数i加1，重复步骤52)-55)；否则，转步骤57)，

57)比较w_j，取使w_j最大的j分法为优化分组的结果；

6)对每组摄像机分别进行组内联合校准，得到各摄像机的内参和以该组某一摄像机为世界坐标原点的外参；然后通过校准组与组之间相邻的两个摄像机，将各组的外参统一为以同一摄像机为世界坐标原点的外参；

7)用LM(Levenberg-Marquardt)非线性迭代优化算法最小化误差的平方和，优化校准参数；即通过最小化函数

$\underset{i=1}{\overset{I}{\mathrm{\Σ}}}\underset{j=1}{\overset{J}{\mathrm{\Σ}}}\underset{n=1}{\overset{N_I}{\mathrm{\Σ}}}{\left|\right|m_{\mathrm{in}}^j-\hat{m}(A_i,R_i,t_i,p^j,q^j,d^j;M_n^j)\left|\right|}^2,---\left(6\right)$

得到摄像机阵列内外参数的最大似然估计，其中，i为摄像机号，j为校准板姿态序号，n为角点号。

本发明的系统具有的特点如下：

1、简单易操作，通用性强。

2、不要求摄像机的摆放位置(可以不均匀摆放)和朝向。

3、多个采集服务器并行地进行角点检测，充分利用可用资源，速度快。

4、采集服务器和校准服务器之间的通讯简单，且由于只需传输单应矩阵，因此数据量小，传输速度快。

5、校准计算主要集中在校准服务器上，对采集服务器的性能要求并不高，因此，整个系统只需一台性能要求较高的服务器即校准服务器，而对其他多台采集服务器的性能要求较低，从而节省了成本。

本发明的方法具有如下特点：

1、程序简单，易于实现。

2、分组自动优化进行，节省了人力。

3、通过分组校准，使联合单应矩阵无空缺现象，最大限度地利用了角点信息，为后续的LM(Levenberg-Marquardt)非性优化算法提供一个较优的初始值。使用LM(Levenberg-Marquardt)非线性优化算法进一步对初始值进行局部优化，得到精确的标定参数，RMS(Root-Mean-Square)均方根误差为0.5象素左右。

本发明可以实现精确地重构三维场景，实现任意视点的观看。

本发明也基本适用于其它形状类型的摄像机阵列。

附图说明：

图1为本发明环形系统的摄像机阵列拓扑示意图举例。

图2为本发明确定分组的方法流程图。

具体实施方式

本发明提出了一种环形摄像机阵列分组校准方法，结合附图及实施例详细说明如下：

本实施例的环形摄像机阵列校准系统包括：由环形分布的24个摄像机组成的阵列，6台采集服务器，1台校准服务器，校准板采用国际上较为通用的纸板。

本实施例的校准服务器配置：

CPU：          Intel PIV dual-3.0GHz

内存：         1G

操作系统：     Windows XP

控制程序：     BBNC Control Server

本实施例中的采集服务器的配置：

CPU：          Intel PIV 2.8GHz

内存：         512M

操作系统：     Windows XP

采集程序：     BBNC Multicapture

本实施例中，每台采集服务器通过1394连接口连接4个摄像机。共24个摄像机连接于6台采集服务器上。采集服务器和校准服务器之间的网络为千兆以太网。

本实施例的环形摄像机阵列校准方法的步骤如下：

1)6台采集服务器与校准服务器建立TCP/IP连接：校准服务器监听从采集服务器发来的TCP/IP连接请求；6台采集服务器分别向校准服务器发出TCP/IP连接请求；校准服务器收到采集服务器的连接请求后和6台采集服务器建立TCP/IP连接；使24个摄像机时间同步；

2)在环形场中将校准板摆放64种位置姿态(pose)，对每种pose，全部摄像机进行同时拍摄采集；具体方法是：校准服务器向6台采集服务器发送同步时间戳(以毫秒为单位)，各台采集服务器收到时间戳后用该时间戳更新本机时间戳，完成6台采集服务器的时间戳同步；然后，采集服务器通知校准服务器同步操作完成。在环形场中摆好校准板的一个pose，校准服务器向6台采集服务器发送采集图像的时间戳(以毫秒为单位)；6台采集服务器收到该采集图像的时间戳后，且当采集服务器时间戳达到该采集图像时间戳时，每台采集服务器控制与其相连的4个摄像头进行同步采集，并将图像存入与其相应的文件夹；6台采集PC通知校准服务器采集完成，校准服务器继续控制采集下一个pose；

3)所有的64种pose采集完成后，6个采集服务器分别对其所有采集到的图像进行角点检测，计算第i个摄像机相对第j个pose的单应矩阵H_i ^j，将可以正确检测并计算的单应矩阵传输给校准服务器；

4)校准服务器根据接收到的单应矩阵确定每个摄像机可以检测到的位置姿态，以每个摄像机为顶点，两两摄像机之间以边相连(相邻摄像机之间的边为圆弧)，画出拓扑图(图1表示了以8个摄像机为例画出的拓扑图)，每条边的权重为该边所连接的两个摄像机之间可以检测到的公共位置姿态(pose)数；

5)将摄像机阵列自动优化分组，使每组中联合单应矩阵无空缺现象；具体的分组方法流程如图2所示：

51)将64个摄像机分为i组(i从1开始)，

52)首先看各组中两摄像机的关系权重是否满足进行一定精度校准的条件，即公共pose数≥t(t为该精度下校准所需的最少公共pose数)；如果不满足则进行下一种分法转步骤55)，否则转步骤53)，

53)查看组与组之间相邻摄像机之间的权重是否至少有i-1对满足公共pose数≥t；如果不满足则进行下一种分法转步骤55)，否则转步骤54)，

54)计算并记录所有组的组内摄像机的权重和之和w_j，

55)如果所有分法没有遍历完(共有C₂₄ ⁱ种)，则继续尝试进行下一种分法，重复步骤52)-54)；否则转步骤56)，

56)若所有的w_j＝0则分组数i加1，重复步骤52)-55)；否则，转步骤57)，

57)比较w_j，取使w_j最大的j分法为优化分组的结果；

6)对每组摄像机分别进行组内联合校准，得到各摄像机的内参和以该组某一摄像机为世界坐标原点的外参；然后通过校准组与组之间相邻的两个摄像机，将各组的外参统一为以同一摄像机为世界坐标原点的外参；

7)用LM(Levenberg-Marquardt)非线性迭代优化算法最小化误差的平方和，优化校准参数。即通过最小化函数

$\underset{i=1}{\overset{24}{\mathrm{\Σ}}}\underset{j=1}{\overset{64}{\mathrm{\Σ}}}\underset{n=1}{\overset{N_j}{\mathrm{\Σ}}}{\left|\right|m_{\mathrm{in}}^j-\hat{m}(A_i,R_i,t_i,p^j,q^j,d^j;M_n^j)\left|\right|}^2,---\left(7\right)$

得到摄像机阵列内外参数的最大似然估计。其中，i为摄像机号，j为校准板姿态序号，n为角点号。

Claims (3)

1.一种环形摄像机阵列校准系统，包括一个校准板、摄像机阵列、多个采集服务器、一个校准服务器以及网线；其特征在于；

该校准板，放置在环形场中心处并可进行各种位置姿态的变换；

该摄像机阵列以任意朝向任意间隔在环形场周边分布，用于拍摄校准板的各种位置姿态；

该多个采集服务器，用于采集所述摄像机阵列拍摄的校准板的各种位置姿态的图像并行地进行角点检测得到各图像的单应矩阵；

一个校准服务器，用于控制采集服务器、接收采集服务器发送的单应矩阵并完成摄像机阵列的校准；

各部件的连接关系为：该摄像机阵列中的数个摄像机通过USB或者1394口连接到一个采集服务器，校准服务器和各采集服务器之间用以太网相连。

2.一种采用如权利要求1所述系统的环形摄像机阵列校准方法，其特征在于，包括以下步骤：

1)在环形场中设有n个摄像机，n为正整数，且使所有摄像机时间同步；

2)将设置在环形场中的校准板进行m种位置姿态的变换，m为正整数，全部摄像机对每种位置姿态，同时进行拍摄，每个摄像机采集一幅该位置姿态的图像；

3)多个采集服务器分别对其所有采集到的图像进行角点检测，并根据检测到的角点计算每个摄像机的单应矩阵H_i ^j，传输给校准服务器；若检测不到角点，则该摄像机相对该位置姿态的单应矩阵H_i ^j空缺，其中i为摄像机号，j为校准板姿态序号；

4)校准服务器根据接收到的单应矩阵确定每个摄像机可以检测到的位置姿态；以两两摄像机之间可以检测到的公共位置姿态数为其之间的关系权重；

5)将摄像机阵列优化分组，使每组中联合单应矩阵无空缺现象；

6)对每组摄像机分别进行组内联合校准，得到各摄像机的内参和以该组某一摄像机为世界坐标原点的外参；然后通过校准组与组之间相邻的两个摄像机，将各组的外参统一为以同一摄像机为世界坐标原点的外参；

7)用LM(Levenberg-Marquardt)非线性迭代优化算法最小化误差的平方和，优化校准参数；即通过最小化函数：

$\underset{i=1}{\overset{I}{\mathrm{\Σ}}}\underset{j=1}{\overset{J}{\mathrm{\Σ}}}\underset{n=1}{\overset{N_j}{\mathrm{\Σ}}}{\left|\right|m_{\mathrm{in}}^j-\hat{m}(A_i,R_i,t_i,p^j,q^j,d^j;m_n^j)\left|\right|}^2,---\left(6\right)$

得到摄像机阵列内外参数的最大似然估计，其中，i为摄像机号，j为校准板姿态序号，n为角点号。

3.如权利要求2所述方法，其特征在于，所述步骤5)的分组方法具体包括以下步骤：

51)将n个摄像机分为i组；

52)首先看各组中两摄像机的关系权重是否满足进行一定精度校准的条件，即两摄像机公共检测到的p位置姿态数≥t，t为该精度下校准所需的最少公共位置姿态数；如果不满足则进行下一种分法转步骤55)，否则转步骤53)，

53)查看组与组之间相邻摄像机之间的权重是否至少有i-1对满足公共位置姿态数≥t；如果不满足则进行下一种分法转步骤55)，否则转步骤54)，

54)计算并记录所有组的组内摄像机的权重和之和w_j，

55)如果所有C_n ⁱ分法没有遍历完，则继续进行下一种分法，重复步骤52)-54)；否则转步骤56)，

56)若所有的w_j＝0则分组数i加1，重复步骤52)-55)；否则，转步骤57)，

57)比较w_j，取使w_j最大的j分法为优化分组的结果。

Images