CN103646394B - 一种基于Kinect摄像机的混合视觉系统标定方法 - Google Patents

Abstract

本发明涉及一种基于Kinect摄像机的混合视觉系统标定方法，该混合视觉系统包括Kinect摄像机和全景摄像机。所述标定方法为：分别对Kinect摄像机的RGB摄像机和全景摄像机进行标定，得到RGB摄像机和全景摄像机的内参数，并设置基于棋盘格的标定板，创建棋盘格坐标系；在空间中构建一位于全景摄像机坐标系前的虚拟摄像机投影平面，计算并得出虚拟摄像机投影平面到棋盘格坐标系的变换矩阵，进一步得到Kinect摄像机中的IR摄像机到全景摄像机的外参数。本发明能够获得Kinect摄像机内参数和混合视觉系统的外参数，对标定条件和混合视觉系统的空间配置关系要求低，使用灵活。

Description

一种基于Kinect摄像机的混合视觉系统标定方法

技术领域

本发明涉及机器视觉技术领域，特别是一种基于Kinect摄像机的混合视觉系统标定方法。

背景技术

微软发布的Kinect摄像机为实时获取深度信息提供了便利。Kinect摄像机由RGB摄像机和IR深度摄像机组成。Kinect不仅价格低廉而且还能同时采集视场的深度图和纹理图。国内外专家学者对Kinect摄像机的研究越来越关注，其中由Kinect摄像机和全景视觉构成的混合视觉系统吸引了很多学者的关注。它集合了Kinect摄像机实时获取深度信息，成像清晰，分辨率大的优点和全景摄像机视场大，获取场景信息量大的长处，同时克服了Kinect摄像机市场小和全景摄像机分辨率低的缺点，具有广泛的应用前景。在移动机器人中，通常将全景摄像机安装在机器人顶部，Kinect摄像机安装在前端，实现如物体识别、物体跟踪、3D建模和姿态识别等功能。混合视觉还在医学上用于病人康复训练，手语识别和盲人引导系统等。

现有标定方法存在如下缺点：

1、对标定条件要求过于苛刻。现有的标定方法对标定板的位置有特殊的要求，如标定板与摄像机轴线垂直，标定板必须放于已知的理想位置；

2、用于求解外参数的优化方法有一定局限性，需要合理的初值；

3、求解精度低。经试验验证，现在方法求解的摄像机之间与实际值的偏差量达到10mm，这将使重建结果产生较大误差。

发明内容

本发明的目的在于提供一种基于Kinect摄像机的混合视觉标定方法，该方法对标定条件和两摄像机的空间配置关系要求低，使用灵活，标定精度高，并且提高了标定效率。

为实现上述目的，本发明的技术方案是：一种基于Kinect摄像机的混合视觉系统标定方法，首先对全景摄像机进行标定，得到全景摄像机的内参数，并设置基于棋盘格的标定板，创建棋盘格坐标系，在空间中构建一位于全景摄像机坐标系前的虚拟摄像机投影平面，计算得出虚拟摄像机投影平面到棋盘格坐标系的变换矩阵，其特征在于：

所述对全景摄像机进行标定，得到全景摄像机的内参数的方法为：设全景摄像机的折反射镜的上焦点为O_m，下焦点为O_o，所有入射光线均指向O_m并且汇聚到O_o上，将上焦点O_m选作全景摄像机坐标系的原点，建立双曲面镜的方程，见下式：

$\frac{{(Z+c)}^2}{a^2}-\frac{X^2+Y^2}{b^2}=1,$

上式中，a、b和c为双曲面镜的参数，满足a²+b²=c²；

在全景摄像机坐标系下，设空间点P在双曲面镜的交点坐标为[X_m Y_m Z_m]^T；它在全景摄像机图像平面的成像过程可以用下式来表示：

$(Z_m+2c)\left[\begin{array}{c}{u}_o\\ v_o\\ 1\end{array}\right]=\left[\begin{array}{ccc}{k}_{\mathrm{xo}}& {\mathrm{\β}}_o& u_{0o}\\ 0& k_{\mathrm{yo}}& v_{0o}\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{Y}_m\\ X_m\\ Z_m+2c\end{array}\right],$

上式中， $\left[\begin{array}{ccc}{k}_{\mathrm{xo}}& {\mathrm{\β}}_o& u_{0o}\\ 0& k_{\mathrm{yo}}& v_{0o}\\ 0& 0& 1\end{array}\right]$ 为全景摄像机配备的摄像机的内参数矩阵，[u_o v_o]^T为点[X_m Y_m Z_m]^T的投影点坐标；

所述虚拟摄像机投影平面的投影模型为：

$\mathrm{\λ}\left[\begin{array}{c}{u}_v\\ v_v\\ 1\end{array}\right]=K_v\left[R_v\right|T_v]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right],$

上式中[X_w Y_w Z_w]^T为棋盘角点在世界坐标系中的坐标，[u_v v_v 1]^T为其投影点的像素坐标，[R_v|T_v]为虚拟摄像机坐标系与世界坐标系的外参数矩阵,投影点的归一化坐标值只与外参数有关系，与内参数无关；

所述混合视觉系统还包括Kinect摄像机，所述Kinect摄像机包括RGB摄像机和IR摄像机；

所述混合视觉系统标定方法，还包括如下步骤，

步骤S1：对RGB摄像机进行标定，得到RGB摄像机的内参数；

步骤S2：在RGB摄像机的不同方位，摆放标定板，并创建各个方位的标定板对应的棋盘格坐标系，计算出RGB摄像机坐标系到棋盘格坐标系的变换矩阵；

步骤S3：根据上述虚拟摄像机投影平面到棋盘格坐标系的变换矩阵，获得RGB摄像机坐标系到全景摄像机坐标系的变换矩阵，并计算得到RGB摄像机到全景摄像机的外参数；

步骤S4：根据RGB摄像机坐标系和IR摄像机坐标系的变换矩阵，获得IR摄像机到RGB摄像机外参数，并根据步骤S3得到的RGB摄像机到全景摄像机的外参数，计算得到IR摄像机到全景摄像机的外参数。

在本发明实施例中，所述对RGB摄像机进行标定，得到RGB摄像机内参数的方法如下：

RGB摄像机的内参数用一个3×3矩阵表示如下：

$K_R=\left[\begin{array}{ccc}{k}_x& 0& O_x\\ 0& k_y& O_y\\ 0& 0& 1\end{array}\right],$

其中k_x和k_y分别是RGB摄像机沿水平、垂直方向的像素焦距，O_x和O_y分别为RGB摄像机中心轴线在图像平面的投影点坐标；

制作一块格数为m1×n1，单位尺寸为a₁×a₁的黑白棋盘格图，作为标定板A₁，其中，m1、n1、a1均为自然数；标定时，依次拍摄不同方位摆放的标定板A₁图像，然后提取各张图像上的棋盘角点坐标，结合已知的角点世界坐标，利用奇异值分解法计算各个方位棋盘格坐标系到RGB摄像机坐标系的单应矩阵；再联立各个方位的投影方程，通过因式变换和奇异值分解计算得到RGB摄像机坐标系到各个方位棋盘格坐标系的外参数；然后利用LM优化方法，以投影点误差最小为目标，对得到的内参数和外参数进行优化，获得最终的RGB摄像机内参数和外参数。

在本发明实施例中，所述对全景摄像机进行标定，得到全景摄像机内参数的方法的具体步骤如下：

步骤S31：将标定板环绕全景摄像机置于不同方位，并采集相应的全景图像，图像的数目不少于8张；

步骤S32：选择镜面类型、加载图像，然后人工点击获取全景图像的中心点和内边界，利用RANSAC算法优化圆的参数，进而估计全景摄像机主点坐标(u_0o,v_0o)；

步骤S33：在全景图像非半径方向上提取至少3个共线的棋盘角点，利用共线点的直线约束估计焦距值；

步骤S34：提取标定图片4个最靠外的内角点，估计外参数；

步骤S35：将空间棋盘角点投影到图像上，获得棋盘角点的像素坐标；

步骤S36：估计内参数，并利用内参数及上述获得的外参数作为初始值，全局优化，获得最终的全景摄像机内参数。

在本发明实施例中，分别对Kinect摄像机中的RGB摄像机以及全景摄像机进行标定，得到RGB摄像机以及全景摄像机的内参数后，按如下步骤执行，步骤S41：制作一块格数为m2×n2，单位尺寸为b₁×b₁的黑白棋盘格图，作为标定板B1，其中m2、n2、b1均为自然数；

步骤S42：将标定板B1正对全景摄像机放置，并保证棋盘格角点在RGB摄像机中均匀分布，清晰成像，然后建立棋盘格坐标系；

步骤S43：利用获得的RGB摄像机的内参数和标定板B1对应的的棋盘格坐标系，获得RGB摄像机坐标系到棋盘格坐标系的旋转矩阵R₁和平移矩阵T₁；

步骤S44：在全景摄像机前，建立虚拟摄像机投影平面；

步骤S45：求解RGB摄像机坐标系到全景摄像机坐标系的旋转矩阵R和平移矩阵T：

$\begin{array}{c}R=R_1{R}_2^{-1}\\ T=T_1-R_1{R}_2^{-1}{T}_2\end{array};$

步骤S46：求解IR摄像机坐标系到全景摄像机坐标系的旋转矩阵R_i和平移矩阵T_i

$\begin{array}{c}{R}_i=R_1{R}_2^{-1}\\ T_i=T_{i2r}-T\end{array},$

其中，全景摄像机坐标系到棋盘格坐标系的旋转矩阵为R₂，平移矩阵为T₂，T_i2r为Kinect摄像机中RGB摄像机坐标系和IR摄像机坐标系之间的平移矩阵。

相对现有技术，本发明的有益效果是：

1、对标定板的摆放位置无严格要求了，只需保证其在两个摄像机中完整成像即可；

2、解决了传统标定方法中全景摄像机和Kinect摄像机轴向共面且相交问题，

对混合视觉系统的空间配置无特别要求；

3、利用线性求解方法克服了传统求解方法采用的优化方案带来的收敛结果不唯一的缺点，提高了标定的精度，并具有更好的通用性。

附图说明

图1是本发明实施例制作的标定板A₁的示意图。

图2是本发明实施例全景摄像机成像原理图。

图3普通摄像机标定过程的流程示意图。

图4是本发明实施例全景摄像机标定过程的流程示意图。

图5是本发明实施例虚拟摄像机图像平面示意图。

图6是利用本发明实施例的标定结果进行三维重建获得的棋盘格角点三维数据。

图7是本发明一种基于Kinect摄像机的混合视觉系统标定方法的整体示意图。

具体实施方式

下面结合附图1-7及具体实施例对本发明作进一步的详细说明。

如图7所示，本发明提供了一种基于Kinect摄像机的混合视觉系统标定方法，首先对全景摄像机进行标定，得到全景摄像机的内参数，并设置基于棋盘格的标定板，创建棋盘格坐标系，在空间中构建一位于全景摄像机坐标系前的虚拟摄像机投影平面，计算得出虚拟摄像机投影平面到棋盘格坐标系的变换矩阵，其特征在于：

所述对全景摄像机进行标定，得到全景摄像机的内参数的方法为：设全景摄像机的折反射镜的上焦点为O_m，下焦点为O_o，所有入射光线均指向O_m并且汇聚到O_o上，将上焦点O_m选作全景摄像机坐标系的原点，建立双曲面镜的方程，见下式：

$\frac{{(Z+c)}^2}{a^2}-\frac{X^2+Y^2}{b^2}=1,$

上式中，a、b和c为双曲面镜的参数，满足a²+b²=c²；

在全景摄像机坐标系下，设空间点P在双曲面镜的交点坐标为[X_m Y_m Z_m]^T；它在全景摄像机图像平面的成像过程可以用下式来表示：

$(Z_m+2c)\left[\begin{array}{c}{u}_o\\ v_o\\ 1\end{array}\right]=\left[\begin{array}{ccc}{k}_{\mathrm{xo}}& {\mathrm{\β}}_o& u_{0o}\\ 0& k_{\mathrm{yo}}& v_{0o}\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{Y}_m\\ X_m\\ Z_m+2c\end{array}\right],$

上式中， $\left[\begin{array}{ccc}{k}_{\mathrm{xo}}& {\mathrm{\β}}_o& u_{0o}\\ 0& k_{\mathrm{yo}}& v_{0o}\\ 0& 0& 1\end{array}\right]$ 为全景摄像机配备的摄像机的内参数矩阵，[u_o v_o]^T为点[X_m Y_m Z_m]^T的投影点坐标；

所述虚拟摄像机投影平面的投影模型为：

$\mathrm{\λ}\left[\begin{array}{c}{u}_v\\ v_v\\ 1\end{array}\right]=K_v\left[R_v\right|T_v]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right],$

上式中[X_w Y_w Z_w]^T为棋盘角点在世界坐标系中的坐标，[u_v v_v 1]^T为其投影点的像素坐标，[R_v|T_v]为虚拟摄像机坐标系与世界坐标系的外参数矩阵,投影点的归一化坐标值只与外参数有关系，与内参数无关；

所述混合视觉系统还包括Kinect摄像机，所述Kinect摄像机包括RGB摄像机和IR摄像机；

所述混合视觉系统标定方法，还包括如下步骤，

步骤S1：对RGB摄像机进行标定，得到RGB摄像机的内参数；

步骤S2：在RGB摄像机的不同方位，摆放标定板，并创建各个方位的标定板对应的棋盘格坐标系，计算出RGB摄像机坐标系到棋盘格坐标系的变换矩阵；

步骤S3：根据上述虚拟摄像机投影平面到棋盘格坐标系的变换矩阵，获得RGB摄像机坐标系到全景摄像机坐标系的变换矩阵，并计算得到RGB摄像机到全景摄像机的外参数；

步骤S4：根据RGB摄像机坐标系和IR摄像机坐标系的变换矩阵，获得IR摄像机到RGB摄像机外参数，并根据步骤S3得到的RGB摄像机到全景摄像机的外参数，计算得到IR摄像机到全景摄像机的外参数。

在本发明实施例中，所述对RGB摄像机进行标定，得到RGB摄像机内参数的方法如下：

RGB摄像机的内参数用一个3×3矩阵表示如下：

$K_R=\left[\begin{array}{ccc}{k}_x& 0& O_x\\ 0& k_y& O_y\\ 0& 0& 1\end{array}\right],$

其中k_x和k_y分别是RGB摄像机沿水平、垂直方向的像素焦距，O_x和O_y分别为RGB摄像机中心轴线在图像平面的投影点坐标；

制作一块格数为m1×n1，单位尺寸为a₁×a₁的黑白棋盘格图，作为标定板A₁，其中，m1、n1、a1均为自然数；标定时，依次拍摄不同方位摆放的标定板A₁图像，然后提取各张图像上的棋盘角点坐标，结合已知的角点世界坐标，利用奇异值分解法计算各个方位棋盘格坐标系到RGB摄像机坐标系的单应矩阵；再联立各个方位的投影方程，通过因式变换和奇异值分解计算得到RGB摄像机坐标系到各个方位棋盘格坐标系的外参数；然后利用LM优化方法，以投影点误差最小为目标，对得到的内参数和外参数进行优化，获得最终的RGB摄像机内参数和外参数。

在本发明实施例中，所述对全景摄像机进行标定，得到全景摄像机内参数的方法的具体步骤如下：

步骤S31：将标定板环绕全景摄像机置于不同方位，并采集相应的全景图像，图像的数目不少于8张；

步骤S32：选择镜面类型、加载图像，然后人工点击获取全景图像的中心点和内边界，利用RANSAC算法优化圆的参数，进而估计全景摄像机主点坐标(u_0o,v_0o)；

步骤S33：在全景图像非半径方向上提取至少3个共线的棋盘角点，利用共线点的直线约束估计焦距值；

步骤S34：提取标定图片4个最靠外的内角点，估计外参数；

步骤S35：将空间棋盘角点投影到图像上，获得棋盘角点的像素坐标；

步骤S36：估计内参数，并利用内参数及上述获得的外参数作为初始值，全局优化，获得最终的全景摄像机内参数。

在本发明实施例中，分别对Kinect摄像机中的RGB摄像机以及全景摄像机进行标定，得到RGB摄像机以及全景摄像机的内参数后，按如下步骤执行，

步骤S41：制作一块格数为m2×n2，单位尺寸为b₁×b₁的黑白棋盘格图，作为标定板B1，其中m2、n2、b1均为自然数；

步骤S42：将标定板B1正对全景摄像机放置，并保证棋盘格角点在RGB摄像机中均匀分布，清晰成像，然后建立棋盘格坐标系；

步骤S43：利用获得的RGB摄像机的内参数和标定板B1对应的的棋盘格坐标系，获得RGB摄像机坐标系到棋盘格坐标系的旋转矩阵R₁和平移矩阵T₁；

步骤S44：在全景摄像机前，建立虚拟摄像机投影平面；

步骤S45：求解RGB摄像机坐标系到全景摄像机坐标系的旋转矩阵R和平移矩阵T：

$\begin{array}{c}R=R_1{R}_2^{-1}\\ T=T_1-R_1{R}_2^{-1}{T}_2\end{array};$

步骤S46：求解IR摄像机坐标系到全景摄像机坐标系的旋转矩阵R_i和平移矩阵T_i

$\begin{array}{c}{R}_i=R_1{R}_2^{-1}\\ T_i=T_{i2r}-T\end{array},$

其中，全景摄像机坐标系到棋盘格坐标系的旋转矩阵为R₂，平移矩阵为T₂，T_i2r为Kinect摄像机中RGB摄像机坐标系和IR摄像机坐标系之间的平移矩阵。

为方便本领域技术人员了解本发明，以下对本发明作更具体的描述。

如图3所示，对Kinect摄像机中RGB摄像机进行标定，得到RGB摄像机内参数的方法如下：

RGB摄像机的内参数用一个3×3矩阵表示如下：

$K_R=\left[\begin{array}{ccc}{k}_x& 0& O_x\\ 0& k_y& O_y\\ 0& 0& 1\end{array}\right],---\left(1\right)$

其中k_x和k_y分别是RGB摄像机沿水平、垂直方向的像素焦距，O_x和O_y分别为RGB摄像机中心轴线在图像平面的投影点坐标；

制作一块格数为m1×n1，单位尺寸为a₁×a₁的黑白棋盘格图，在本实例中所使用的标定板A₁的尺寸为：棋盘格的格数为7×9，每小格单位尺寸为40mm×40mm（如图1所示），标定时，依次拍摄不同方位摆放的标定板A₁图像，然后提取各张图像上的棋盘角点坐标，结合已知的角点世界坐标，利用奇异值分解法计算各个方位棋盘坐标系到RGB摄像机坐标系的单应矩阵；再联立各个方位的投影方程，通过因式变换和奇异值分解计算得到RGB摄像机坐标系到各个方位棋盘坐标系的外参数，然后利用LM优化方法，以投影点误差最小为目标，对得到的内外参数进行优化，获得最后的RGB摄像机内外参数。

对全景摄像机进行标定，得到全景摄像机内部参数的方法如下：与普通摄像机相比，全景摄像机增加了折反射镜，图2为其成像原理示意图，它使用双曲面镜作为折反射镜，折反射镜的上焦点为O_m，下焦点为O_o，所有入射光线均指向O_m并且汇聚到O_o上，将上焦点O_m选作全景摄像机坐标系的原点，建立双曲面镜的方程，见式（2）：

$\frac{{(Z+c)}^2}{a^2}-\frac{X^2+Y^2}{b^2}=1,---\left(2\right)$

式（2）中，a、b和c为双曲面镜的参数，满足a²+b²=c²。

在全景摄像机坐标系下，设空间点P在双曲面镜的交点坐标为[X_m Y_m Z_m]^T；它在全景摄像机图像平面的成像过程可以用式(3)来表示：

$(Z_m+2c)\left[\begin{array}{c}{u}_o\\ v_o\\ 1\end{array}\right]=\left[\begin{array}{ccc}{k}_{\mathrm{xo}}& {\mathrm{\β}}_o& u_{0o}\\ 0& k_{\mathrm{yo}}& v_{0o}\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{Y}_m\\ X_m\\ Z_m+2c\end{array}\right],---\left(3\right)$

式（3）中， $\left[\begin{array}{ccc}{k}_{\mathrm{xo}}& {\mathrm{\β}}_o& u_{0o}\\ 0& k_{\mathrm{yo}}& v_{0o}\\ 0& 0& 1\end{array}\right]$ 为全景摄像机配备的摄像机的内参数矩阵，[u_o v_o]^T为点[X_m Y_m Z_m]^T的投影点坐标。

如图4所示，标定时将棋盘格绕全景摄像机圆周方向转动，并同时拍摄图像，图像的数目不少于8张，标定的整个过程具体如下：

步骤01：将标定板环绕全景摄像机置于不同方位，并采集相应的全景图像，图像的数目不少于8张；

步骤02：选择镜面类型、加载图像，然后人工点击获取全景图像的中心点和内边界，利用RANSAC算法优化圆的参数，进而估计全景摄像机主点坐标(u_0o,v_0o)；

步骤03：在全景图像非半径方向上提取至少3个共线的棋盘角点，利用共线点的直线约束估计焦距值；

步骤04：提取标定图片4个最靠外的内角点，估计外参数；此处使用角点自动提取算法，只需要提取棋盘格4个最靠外的内角点，系统就能自动提取其他角点；

步骤05：将空间棋盘角点投影到图像上，获得棋盘角点的像素坐标；

步骤06：利用上述获得的内外参数作为初始值，全局优化，最终得到全景摄像机的内参数。

分别对RGB摄像机和全景摄像机进行标定，得到两者的内参数后，按照下面步骤标定二者之间的外参数：

步骤一：制作一块格数为m2×n2，单位尺寸为b₁×b₁的黑白棋盘格图，为了标定方便，在本实例，外参数标定时仍然使用标定板A₁：棋盘格的格数为9×7，每小格单位尺寸为40mm×40mm，实验证明该标定板满足标定要求；

步骤二：将标定板A₁正对全景摄像机放置，并保证棋盘格角点在RGB摄像机中均匀分布，清晰成像，然后建立棋盘坐标系；

观察标定板中角点在两个摄像机中的成像，以确定标定板A₁合适的摆放位置，需确保角点在图像中均匀分布并尽量保证棋盘正对全景摄像机且角点成像清晰；

步骤三：利用获得的RGB摄像机的内部参数和根据标定板A₁创建的棋盘坐标系，获得RGB摄像机坐标系到棋盘坐标系的旋转矩阵R₁和平移矩阵T₁；具体计算方法在后面做进一步说明；

步骤四：建立虚拟摄像机投影平面，用于解决现有方法中无法直接求解全景摄像机坐标系到棋盘格坐标系的不足，如图5所示，对应坐标系为O_v-X_vY_vZ_v；设[x_o y_o z_o]^T为坐标系O_o-X_oY_oZ_o中的一点，其在坐标系O_v-X_vY_vZ_v中表达式为[x_v y_v z_v]^T则有如下变换关系：

$\left[\begin{array}{c}{x}_v\\ y_v\\ z_v\end{array}\right]=\left[\begin{array}{ccc}0& 1& 0\\ 0& 0& -1\\ -1& 0& 0\end{array}\right]\left[\begin{array}{c}{x}_o\\ y_o\\ z_o\end{array}\right],---\left(4\right)$

点[x_oy_oz_o]^T在所述虚拟投影平面的投影点公式为：

$\mathrm{\λ}=\left[\begin{array}{c}{u}_v\\ v_v\\ 1\end{array}\right]=K_V\left[\begin{array}{ccc}0& 1& 0\\ 0& 0& -1\\ -1& 0& 0\end{array}\right]\left[\begin{array}{c}{x}_o\\ y_o\\ z_o\end{array}\right],---\left(5\right)$

式中，K_V为所述虚拟投影平面的内参数，事实上，无论K_V取任何值，虚拟摄像机坐标系和世界坐标系之间的外参数都不会受到影响，证明如下：

虚拟摄像机的投影模型见公式（6）：

$\mathrm{\λ}\left[\begin{array}{c}{u}_v\\ v_v\\ 1\end{array}\right]=K_v\left[R_v\right|T_v]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right],---\left(6\right)$

式中[X_w Y_w Z_w]^T为棋盘角点在世界坐标系中的坐标，[u_v v_v 1]^T为其投影点的像素坐标，[R_v|T_v]为虚拟摄像机坐标系与世界坐标系的外参数矩阵；

将公式（6）改写为公式（7）：

$K_v^{-1}{\left[\begin{array}{ccc}{u}_v& v_v& 1\end{array}\right]}^T=\frac{\left[R_v\right|T_v]{\left[\begin{array}{cccc}{X}_w& Y_w& Z_w& 1\end{array}\right]}^T}{\mathrm{\λ}},---\left(7\right)$

公式（7）的右边部分说明，投影点的归一化坐标值只与外参数有关系，与内参数无关；

经过证明，投影点的归一化坐标只与外参数有关，与内参数无关，所以这里取 $K_V=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right];$

结合公式（2）、（3）、（4）、（5），求得棋盘角点到所述虚拟投影平面的投影点坐标，计算虚拟投影面到棋盘格坐标系的旋转矩阵R_v和平移矩阵T_v，然后反变换回全景摄像机坐标系，得到全景摄像机坐标系到棋盘格坐标系的旋转矩阵R₂和平移矩阵T₂；

步骤五：求解RGB摄像机坐标系到全景摄像机坐标系的旋转矩阵R和平移矩阵T：

$\begin{array}{c}R=R_1{R}_2^{-1}\\ T=T_1-R_1{R}_2^{-1}{T}_2\end{array};---\left(8\right)$

步骤六：求解IR摄像机坐标系到全景摄像机坐标系的旋转矩阵R_i和平移矩阵T_i：

Kinect摄像机是由RGB摄像机和IR深度摄像机组合而成，根据微软发布的报告，RGB摄像机和IR摄像机安装位置在同一水平面上，经过多次试验结果，这里可以设定两个摄像机坐标系之间的旋转矩阵R_i2r为3×3的单位阵，平移矩阵T_i2r=[b₁ b₂ b₃]^T，b₁、b₂和b₃为Kinect摄像机的两个自带相机之间平移矩阵，求解得到IR摄像机坐标系到全景摄像机坐标系的旋转矩阵R_i和平移矩阵T_i：

$\begin{array}{c}{R}_i=R_1{R}_2^{-1}\\ T_i=T_{i2r}-T\end{array}.---\left(9\right)$

下面对上述步骤三利用获得的RGB摄像机的内部参数和根据标定板A₁创建的棋盘坐标系，获得RGB摄像机坐标系到棋盘坐标系的旋转矩阵R₁和平移矩阵T₁的计算方法，作进一步说明：

a.利用摄像机内参数，将图像点反投影到焦距归一化平面上，计算空间点对应的归一化坐标值：

$\left[\begin{array}{c}{x}_n\\ y_n\\ 1\end{array}\right]={\left[\begin{array}{ccc}{k}_u& 0& u_o\\ 0& k_v& v_o\\ o& 0& 1\end{array}\right]}^{-1}\left[\begin{array}{c}u\\ v\\ 1\end{array}\right],---\left(10\right)$

式中[u v]^T表示投影点的像素坐标点，[x_n y_n 1]^T表示投影点的归一化坐标，

$\left[\begin{array}{ccc}{k}_u& 0& u_o\\ 0& k_v& v_o\\ o& 0& 1\end{array}\right]$ 为摄像机内参数；

b.计算单应矩阵H初始值，式（11）表示棋盘坐标系到摄像机坐标系的投影关系：

$s\·\left[\begin{array}{c}{x}_n\\ y_n\\ 1\end{array}\right]=\left[\begin{array}{cccc}r1& r2& r3& t\end{array}\right]\·\left[\begin{array}{c}X\\ Y\\ 0\\ 1\end{array}\right]=\left[\begin{array}{ccc}r1& r2& t\end{array}\right]\·\left[\begin{array}{c}X\\ Y\\ 1\end{array}\right]=H\·\left[\begin{array}{c}X\\ Y\\ 1\end{array}\right],---\left(11\right)$

式（11）中，[r1 r2 r3 t]是4×3的外参数矩阵，因为棋盘坐标系原点建立在棋盘上且Z轴与棋盘面垂直，所以棋盘角点Z的数值为0，外参数矩阵的第三列可以约去，式（11）中的单应矩阵H与通常理解的单应有所不同：通常情况下的单应矩阵为内参数矩阵和外参数矩阵的点乘，包含了内外参数的信息；而此处的单应矩阵是简化后的外参数矩阵，只包含视觉系统的外参数信息而不包含内参数信息；

令 $H=\left[\begin{array}{ccc}{h}_1& h_2& h_3\\ h_4& h_5& h_6\\ h_7& h_8& h_9\end{array}\right],M={\left[\begin{array}{ccc}X& Y& 1\end{array}\right]}^T,$

h=[h₁ h₂ h₃ h₄ h₅ h₆ h₇ h₈ h₉]^T，

则式（11）可以改写为式（12），

$\left[\begin{array}{ccc}{M}^T& 0^T& -x_n{M}^T\\ 0^T& M^T& {-y}_n{M}^T\end{array}\right]\·h=0,---\left(12\right)$

式（12）中， $\left[\begin{array}{ccc}{M}^T& 0^T& {-x}_n{M}^T\\ 0^T& M^T& {-y}_n{M}^T\end{array}\right]$ 为2×9的矩阵，当棋盘角点点数目为n时，我们可以获得n个与（12）同型的方程，用矩阵乘法联立表示为式L·h=0，其中L为2n×9的矩阵，该方程为过静定方程，计算L的特征值，则h是L最小特征值对应的特征向量；

c.从H中分离外参数：

$\left[\begin{array}{ccc}{h}_1& h_2& h_3\\ h_4& h_5& h_6\\ h_7& h_8& h_9\end{array}\right]=\left[\begin{array}{ccc}{h}_1& h_2& h_3\\ h_4& h_5& h_6\\ h_7& h_8& h_9\end{array}\right]/\mathrm{mean}(\mathrm{norm}\left[\begin{array}{ccc}{h}_1& h_4& h_7\end{array}\right],\mathrm{norm}\left[\begin{array}{ccc}{h}_2& h_5& h_8\end{array}\right])---\left(13\right)$

式（13）中mean表示求平均值，norm表示求模，利用旋转矩阵为单位正交阵的性质来求解外参数；

首先求解列向量第一列：

$r1=\left[\begin{array}{c}{h}_1\\ h_4\\ h_7\end{array}\right]/\mathrm{norm}\left(\left[\begin{array}{c}{h}_1\\ h_4\\ h_7\end{array}\right]\right),\text{---}\left(14\right)$

其次求解列向量第二列：

$r2=\left[\begin{array}{c}{h}_2\\ h_5\\ h_7\end{array}\right]-\mathrm{dot}(r1,\left[\begin{array}{c}{h}_2\\ h_5\\ h_7\end{array}\right])\·r1,---\left(15\right)$

r2=r2/norm(r2)

再次求解列向量第三行，第三列为前两列的叉乘，即

r3=cross(r1,r2)， （16）

则摄像机坐标系相对于棋盘坐标系的外参数：

$\left\{\begin{array}{c}R=\left[\begin{array}{ccc}r1& r2& r3\end{array}\right]\\ T=\begin{array}{}\end{array}\left[\begin{array}{c}{h}_3\\ h_6\\ h_9\end{array}\right]\end{array}\right.;---\left(17\right)$

d.优化R和T：

利用上述c步骤中求解得到的R和T和摄像机内参数将棋盘点投影到图像上，计算投影误差，若误差小于阈值，则R和T即为所求的外参数；若误差不满足要求，则利用梯度下降法进行优化，以求得满意的值。

图6即本发明实施例进行三维重建获得的棋盘格角点三维数据的标定结果。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (4)

1.一种基于Kinect摄像机的混合视觉系统标定方法，首先对全景摄像机进行标定，得到全景摄像机的内参数，并设置基于棋盘格的标定板，创建棋盘格坐标系，在空间中构建一位于全景摄像机坐标系前的虚拟摄像机投影平面，计算得出虚拟摄像机投影平面到棋盘格坐标系的变换矩阵，其特征在于：

所述对全景摄像机进行标定，得到全景摄像机的内参数的方法为：设全景摄像机的折反射镜的上焦点为O_m，下焦点为O_o，所有入射光线均指向O_m并且汇聚到O_o上，将上焦点O_m选作全景摄像机坐标系的原点，建立双曲面镜的方程，见下式：

$\frac{{(Z+c)}^2}{a^2}-\frac{X^2+Y^2}{b^2}=1,$

上式中，a、b和c为双曲面镜的参数，满足a²+b²＝c²，X、Y、Z为全景摄像机坐标系下双曲面镜上的点的坐标；

在全景摄像机坐标系下，设空间点P在双曲面镜的交点坐标为[X_m Y_m Z_m]^T；它在全景摄像机图像平面的成像过程可以用下式来表示：

$(Z_m+2c)\left[\begin{array}{c}{u}_o\\ v_o\\ 1\end{array}\right]=\left[\begin{array}{ccc}{k}_{xo}& {\mathrm{\β}}_o& u_{0o}\\ 0& k_{yo}& v_{0o}\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{Y}_m\\ X_m\\ Z_m+2c\end{array}\right],$

上式中，为全景摄像机配备的摄像机的内参数矩阵，[u_o v_o 1]^T为点[X_mY_m Z_m]^T的投影点坐标；

所述虚拟摄像机投影平面的投影模型为：

$\mathrm{\λ}\left[\begin{array}{c}{u}_v\\ v_v\\ 1\end{array}\right]=K_v\[R_v|T_v\]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right],$

上式中[X_w Y_w Z_w]^T为棋盘角点在世界坐标系中的坐标，[u_v v_v 1]^T为其投影点的像素坐标，[R_v|T_v]为虚拟摄像机坐标系与世界坐标系的外参数矩阵,投影点的归一化坐标值只与外参数有关系，与内参数无关，K_V为虚拟投影平面的内参数；

所述混合视觉系统还包括Kinect摄像机，所述Kinect摄像机包括RGB摄像机和IR摄像机；

所述混合视觉系统标定方法，还包括如下步骤，

步骤S1：对RGB摄像机进行标定，得到RGB摄像机的内参数；

步骤S2：在RGB摄像机的不同方位，摆放标定板，并创建各个方位的标定板对应的棋盘格坐标系，计算出RGB摄像机坐标系到棋盘格坐标系的变换矩阵；

步骤S3：根据上述虚拟摄像机投影平面到棋盘格坐标系的变换矩阵，获得RGB摄像机坐标系到全景摄像机坐标系的变换矩阵，并计算得到RGB摄像机到全景摄像机的外参数；

步骤S4：根据RGB摄像机坐标系和IR摄像机坐标系的变换矩阵，获得IR摄像机到RGB摄像机的外参数，并根据步骤S3得到的RGB摄像机到全景摄像机的外参数，计算得到IR摄像机到全景摄像机的外参数。

2.根据权利要求1所述一种基于Kinect摄像机的混合视觉系统标定方法，其特征在于：所述对RGB摄像机进行标定，得到RGB摄像机内参数的方法如下：

RGB摄像机的内参数用一个3×3矩阵表示如下：

$K_R=\left[\begin{array}{ccc}{k}_x& 0& O_x\\ 0& k_y& O_y\\ 0& 0& 1\end{array}\right],$

其中k_x和k_y分别是RGB摄像机沿水平、垂直方向的像素焦距，O_x和O_y分别为RGB摄像机中心轴线在图像平面的投影点坐标；

制作一块格数为m1×n1，单位尺寸为a₁×a₁的黑白棋盘格图，作为标定板A₁，其中，m1、n1、a₁均为自然数；标定时，依次拍摄不同方位摆放的标定板A₁图像，然后提取各张图像上的棋盘角点坐标，结合已知的角点世界坐标，利用奇异值分解法计算各个方位棋盘格坐标系到RGB摄像机坐标系的单应矩阵；再联立各个方位的投影方程，通过因式变换和奇异值分解计算得到RGB摄像机坐标系到各个方位棋盘格坐标系的外参数；然后利用LM优化方法，以投影点误差最小为目标，对得到的内参数和外参数进行优化，获得最终的RGB摄像机内参数和外参数。

3.根据权利要求1所述一种基于Kinect摄像机的混合视觉系统标定方法，其特征在于：所述对全景摄像机进行标定，得到全景摄像机内参数的方法的具体步骤如下：

步骤S31：将标定板环绕全景摄像机置于不同方位，并采集相应的全景图像，图像的数目不少于8张；

步骤S32：选择镜面类型、加载图像，然后人工点击获取全景图像的中心点和内边界，利用RANSAC算法优化圆的参数，进而估计全景摄像机主点坐标(u_0o,v_0o)；

步骤S33：在全景图像非半径方向上提取至少3个共线的棋盘角点，利用共线点的直线约束估计焦距值；

步骤S34：提取标定图片4个最靠外的内角点，估计外参数；

步骤S35：将空间棋盘角点投影到图像上，获得棋盘角点的像素坐标；

步骤S36：估计内参数，并利用内参数及上述获得的外参数作为初始值，全局优化，获得最终的全景摄像机内参数。

4.根据权利要求1所述一种基于Kinect摄像机的混合视觉系统标定方法，其特征在于：分别对Kinect摄像机中的RGB摄像机以及全景摄像机进行标定，得到RGB摄像机以及全景摄像机的内参数后，按如下步骤执行，

步骤S41：制作一块格数为m2×n2，单位尺寸为b₁×b₁的黑白棋盘格图，作为标定板B1，其中m2、n2、b₁均为自然数；

步骤S42：将标定板B1正对全景摄像机放置，并保证棋盘格角点在RGB摄像机中均匀分布，清晰成像，然后建立棋盘格坐标系；

步骤S43：利用获得的RGB摄像机的内参数和标定板B1对应的的棋盘格坐标系，获得RGB摄像机坐标系到棋盘格坐标系的旋转矩阵R₁和平移矩阵T₁；

步骤S44：在全景摄像机前，建立虚拟摄像机投影平面；

步骤S45：求解RGB摄像机坐标系到全景摄像机坐标系的旋转矩阵R和平移矩阵T：

$\begin{array}{c}R=R_1{R}_2^{-1}\\ T=T_1-R_1{R}_2^{-1}{T}_2\end{array};$

步骤S46：求解IR摄像机坐标系到全景摄像机坐标系的旋转矩阵R_i和平移矩阵T_i

$\begin{array}{c}{R}_i=R_1{R}_2^{-1}\\ T_i=T_{i2r}-T\end{array},$

其中，全景摄像机坐标系到棋盘格坐标系的旋转矩阵为R₂，平移矩阵为T₂，T_i2r为Kinect摄像机中RGB摄像机坐标系和IR摄像机坐标系之间的平移矩阵。