CN101582165A - 基于灰度图像与空间深度数据的摄像机阵列标定算法 - Google Patents

Abstract

本发明提供了一种能对3D摄像机进行标定并获得其与可见光摄像机之间的较为精确的外参数的摄像机阵列标定算法，该算法步骤为：首先，对可见光摄像机和3D摄像机进行内标定，得到各摄像机的内参数；其次，利用3D摄像机内参数以及其提供的深度图，恢复标定板角点的空间位置，采用最小化角点投影误差求得3D摄像机到所需可见光摄像机的最优化外参数，从而完成整个摄像机阵列的标定。

Description

基于灰度图像与空间深度数据的摄像机阵列标定算法

技术领域

本发明涉及一种摄像机标定算法，特别涉及一种基于灰度图和深度数据的包含3D摄像机之阵列的标定算法。

背景技术

近年来，获取物体到传感器的实际距离成为了计算机视觉研究领域中一个非常热门的课题，国内外学者做了大量的工作，也提出了很多相关的方法。然而到目前为止，传统算法始终存在很多无法解决的问题，例如在计算精度和实时性方面的缺陷。

随着新的传感器技术的发展，实时获取动态场景的深度信息成为可能，例如：Time-of-Flight。这种新的传感器技术采用新的红外检测技术，对传感器上的每个点都发射红外光，并通过检测其反射回来的光波的时间延时，来计算场景中每一点和传感器之间的距离。这种传感器目前已经得到了一定的应用，但它也有一些不足之处，例如分辨率过低以及物体边缘处距离计算不准确等。

由于传统的立体匹配在纹理丰富的区域可以求到准确的深度值，而3D摄像机可以在平坦的颜色单一的区域提供准确的深度数据，利用3D摄像机和可见光摄像机相结合来获得深度信息已经成为一种趋势。要结合两者的优势，首先需要对各摄像机进行标定，求取相机内部参数以及相对的外部参数。传统的标定算法，在普通摄像机上已经比较成熟，然而对于3D摄像机，由于其分辨率较低，以及成像方式的不同，传统标定算法的标定精度受到了很大影响，尤其在求取外参数这个环节上，误差比较大。

发明内容

为克服现有技术的上述缺陷，本发明的目的在于提供一种基于灰度图像与空间深度数据的摄像机阵列标定算法，它可以对3D摄像机进行标定并获得其与可见光摄像机之间的较为精确的外参数，为结合两种摄像机各自优点求取物体深度信息提供必要条件。

为此，本发明采用如下技术方案：提出一种基于灰度图像与空间深度数据的摄像机阵列标定算法，其摄像机阵列包含一个3D摄像机和若干个可见光摄像机，本算法根据可见光摄像机的灰度图和3D摄像机提供的灰度图以及相应的深度图，来得到每个摄像机各自的内参数以及3D摄像机到可见光摄像机的外参数，本算法步骤为：首先，在阵列各摄像机的共同视野中拍摄多幅标定板图片，利用张正友的平面模板法对3D摄像机和普通摄像机进行内标定，获取各摄像机的内参数，然后利用3D摄像机的内参数以及它自身所提供的深度信息恢复标定板上角点的实际三维空间坐标，利用高斯牛顿迭代法最小化角点从3D摄像机到普通摄像机的投影误差求取最优的外参数，从而完成整个摄像机阵列的标定。

其中，在求取3D摄像机内参数时，在获取所需标定板图像以后，可以先用双线性插值方法提高原始灰度图分辨率，然后利用HARRIS角点算子或者直线拟合方法确定出角点的具体位置，然后用平面模板法对3D摄像机和可见光摄像机进行内标定，求得各摄像机的内参数，在得到3D摄像机内参数之后，对拍摄的标定板的每张深度图片，做如下处理：

首先，提取深度图像中位于标定板上深度值比较可靠的点，由于噪声及TOF本身的精度影响，原本应在同一平面上的各个点会有微小的偏离，为了求得最接近真实值的深度，采用平面方程aX+bY+cZ＝d拟合同一模板的各点三维坐标数据。通过最小二乘法求得最优的方程系数a，b，c，d。

利用已知的3D摄像机传感器采样点间距以及标定所得的内参数，由开始用HARRIS或相关角点检测算法检测到的棋盘格角点位置图像坐标p(x，y)，恢复其在像平面下的实际尺寸坐标p1(x1，y1)，所求取的3D摄像机内参数，求取对应角点的实际空间三维坐标。

利用上两步获得的棋盘格角点在TOF摄像机坐标系下的三维空间坐标以及同一角点在可见光摄像机图像坐标系下检测到的图像坐标以及各摄像机的固定内参数，可以求得最优化的映射关系，即最优的两摄像机间的外参数(R，T)，优化方法采用高斯牛顿迭代方法，可获得外参数。

本发明的优点是：

1、提出了一种基于灰度图和深度数据的用于包含3D摄像机之阵列的标定算法，该算法能根据3D摄像机提供的灰度图和深度图，求得3D摄像机到可见光摄像机的外参数。

2、本发明中的算法实现简单，并且能够获得精度较高的摄像机外参数。

附图说明：

图1为本发明的一种基于灰度图像与空间深度数据的摄像机阵列标定算法总流程图。

具体实施方式：

下面，结合附图和具体实施例对本发明作进一步说明。

该实施例中用到的可见光摄像机采用CCD传感器，可以提供分辨率为768×576的彩色图或者灰度图，用到的3D摄像机为Swiss Ranger 3000(TOF摄像机)，可以提供分辨率为176×144的深度图和灰度图。

在拍摄标定板图像的时候，为了增加角点检测的鲁棒性以及图像数据的稳定性，可以对同一位置的标定板连续拍摄多帧图像，然后求取平均值作为我们在标定中使用的实际图像。

在对各摄像机进行内标定的过程中，选择的工具是由Matlab提供的标定工具包ToolBox_Calib，该工具包内部的算法是基于张正友的平面模板两步标定法，对每幅标定板图像，手工选取板四周外围的四个角点，输入棋盘格边长，工具包将自行提取图片上所有角点，并记录其坐标值。对所有输入的图像做相同的操作，当处理完全部输入图像后，运行计算参数程序，则可以得到待标定的摄像机的所有内参数。

·得到各摄像机内参数之后，可以利用3D摄像机提供的深度图，恢复标定板上所有角点的三维空间位置，由于3D摄像机本身获取的数据会有一定的噪声和不稳定性，本发明利用拟合平面和射线求交的方法可以进一步提高数据的可靠性以及标定的精度，具体做法如下：

·首先，提取标定板上所有深度值可靠的点，并利用这些点的图像位置以及深度值恢复他们的三维空间坐标，假设x_(xp，yp)是位于标定板上深度值可靠的点，(x_p，y_p)为其图像坐标，x_c(x_o，y_o)为光心在图像上的投影点，m_x，m_y为传感器的像素间距，d_x为其对应的深度值，而3D摄像机的焦距为f，则根据摄像机的小孔成像模型可得：

X＝(x_p-x₀)*m_x*d_x/f

Y＝(y_p-y_o)*m_y*d_x/f

Z＝d_x

(X，Y，Z)为点x_(xp，yp)的实际三维空间坐标。由于同一图像中标定板上所有的点都在空间的同一平面上，所以可以用所有的点数据来拟合一个平面方程aX+bY+cZ+d＝0以减少3D摄像机本身数据稳定性所引起的标定精度误差。在拟合时候，选用最小二乘法求得最优的平面方程系数，于是，对3D摄像机拍摄的标定板的每一幅图像，我们都可以获得一个平面方程，然后把它们存储在特定数据结构中。

利用上一步求取的平面方程系数以及在内参数标定过程中获得的角点图像坐标，利用射线求交的方法可以得到所有角点的具体三维位置，示例如下：

假设x_(xp，yp)为某一角点，(x_p，y_p)为其图像坐标，x_c(x_o，y_o)为光心在图像上的投影点，d_x为其对应的深度值，而3D摄像机的焦距为f，则通过光心和该角点的直线方程为：

$\frac{X}{x_p-x_o}=\frac{Y}{y_p-x_o}=\frac{Z}{f}$

利用该直线方程以及上一步所保存的平面方程aX+bY+cZ+d＝0，求出它们的交点(X，Y，Z)，则该点就是角点在三维空间中的实际位置。

求取所有角点的三维坐标后，则可以获得角点从3D摄像机到可见光摄像机的投影位置，假设外参数中旋转矩阵为R，平移矩阵为T，则角点在可见光摄像机的投影点图像坐标为：

$x_p=f_t\·\frac{r_{11}^{\mathrm{ij}}\·X+r_{12}^{\mathrm{ij}}\·Y+r_{13}^{\mathrm{ij}}\·Z+t_1^{\mathrm{ij}}}{r_{31}^{\mathrm{ij}}\·X+r_{32}^{\mathrm{ij}}\·Y+r_{33}^{\mathrm{ij}}\·Z+t_3^{\mathrm{ij}}}$

$y_p=f_t\·\frac{r_{21}^{\mathrm{ij}}\·X+r_{22}^{\mathrm{ij}}\·Y+r_{23}^{\mathrm{ij}}\·Z+t_2^{\mathrm{ij}}}{r_{31}^{\mathrm{ij}}\·X+r_{32}^{\mathrm{ij}}\·Y+r_{33}^{\mathrm{ij}}\·Z+t_3^{\mathrm{ij}}}$

其中 $R=\left[\begin{array}{ccc}{r}_{11}^{\mathrm{ij}}& r_{12}^{\mathrm{ij}}& r_{13}^{\mathrm{ij}}\\ r_{21}^{\mathrm{ij}}& r_{22}^{\mathrm{ij}}& r_{23}^{\mathrm{ij}}\\ r_{31}^{\mathrm{ij}}& r_{32}^{\mathrm{ij}}& r_{33}^{\mathrm{ij}}\end{array}\right]$ $T=\left[\begin{array}{c}{t}_1^{\mathrm{ij}}\\ t_2^{\mathrm{ij}}\\ t_3^{\mathrm{ij}}\end{array}\right]$

假设在可见光摄像机图像想检测到的该角点实际成像坐标为(x_i，y_i)，我们可以最小化(x_p-x_i)²+(y_p-y_i)²来求取最优的R和T，在这里优化的方法选择高斯牛顿迭代法，当迭代前后的变化值小于给点阈值δ时，我们停止迭代，并认为此时得到的R和T则为最优的外参数。

当求取完3D摄像机到所有可见光摄像机的各自的R，T之后，即完成了外标定，从而整个阵列完成了摄像机的标定。

Claims (6)

1、一种基于灰度图像与空间深度数据的摄像机阵列标定算法，所述摄像机阵列包含一个3D摄像机和若干个可见光摄像机，本算法根据3D摄像机提供的灰度图和深度图以及可见光摄像机的彩色图，来得到3D摄像机的内参数和所需可见光摄像机的外参数关系，其特征在于，本算法的步骤为：首先，对可见光摄像机和3D摄像机进行内标定，得到各摄像机的内参数；其次，利用3D摄像机内参数以及其提供的深度图，恢复标定板角点的空间位置，采用最小化角点投影误差求得3D摄像机到所需可见光摄像机的最优化外参数，从而完成整个摄像机阵列的标定。

2、如权利要求1所述的摄像机阵列标定算法，其特征在于，得到3D摄像机内参数的步骤为：首先，拍摄标定板不同姿态的图像多幅，并对同一姿态的标定板用3D摄像机拍摄多帧图像求取平均值作为实际使用图像；其次，将前述图像通过双线性插值提高一倍分辨率以加强角点检测的鲁棒性；然后，利用平面模板标定法求取3D摄像机的内参数。

3、如权利要求1或2所述的摄像机阵列标定算法，其特征在于，标定板角点的空间位置的恢复步骤如下：利用求取到的3D摄像机的内参数以及其提供的深度图，确定标定板在空间的平面方程；利用角点在标定板图像上的平面位置以及对应的标定板平面方程，求取所有角点的实际三维坐标。

4、如权利要求3所述的摄像机阵列标定算法，其特征在于，确定标定板在空间的平面方程方法如下：获取所拍摄的标定板深度图中位于标定板上的高可信度深度数据的所有点，利用这些点的深度值以及3D摄像机内参数恢复它们在三维空间的具体坐标位置；对每一幅位于不同姿态的标定板，利用以上所获得所有点的三维坐标拟合一个平面，获得相应标定板的平面方程。

5、如权利要求3所述的摄像机阵列标定算法，其特征在于，角点三维坐标的获取方法如下：利用角点检测算法获得各角点的成像平面的坐标，结合3D摄像机内参数，确定每条通过角点与摄像机光心的直线方程，通过求取直线方程与对应平面方程的交点获得角点的实际空间三维坐标。

6、如权利要求3所述的摄像机阵列标定算法，其特征在于，获取各角点的空间三维坐标之后，利用最小二乘法使各角点从TOF摄像机到阵列中可见光摄像机的投影误差最小，获得当前条件下最优的投影到阵列中可见光摄像机的旋转矩阵R和平移矩阵T，即获得了两摄像机机间外参数，从而完成整个阵列系统的标定。