CN102368137B - 嵌入式标定立体视觉系统 - Google Patents

Abstract

本发明涉及一种嵌入式标定立体视觉系统，包括立体摄像机(1)、单向透镜(2)、多面镜(3)、反射镜组(4)、标定物(5)、光源(6)和实时计算装置(7)，开启光源(6)，标定物(5)被照亮，其光线经过反射镜组(4)到达多面镜(3)，形成多个标定物的镜像并射向单向透镜(2)，单向透镜(2)将标定物(5)的多个镜像反射，进入到摄像机(1)；场景光线也透过单向透镜(2)进入到摄像机(1)中，从而使摄像机(1)同时获取标定物和场景的图像；实时计算装置(7)读取摄像机获取的嵌入式标定立体图像对，并实时计算场景稠密深度图。本发明在摄像机焦距、基线和会聚角等参数动态变化下，仍然可以恢复场景深度信息。

Description

嵌入式标定立体视觉系统

技术领域

本发明为一种立体视觉系统，属于机器人视觉领域。

背景技术

立体视觉系统的主要任务是通过获取场景的二维图像信息来计算场景的三维空间几何信息。其中，摄像机标定是一个非常重要的步骤。传统的摄像机标定技术是在摄像机前面一定距离的位置上放置一个标定物，该标定物上具有若干个已知精确三维空间位置的特征点。获取标定物图像，提取特征点在图像中的位置。根据特征点的三维空间位置和二维图像位置计算摄像机的内部参数和外部参数。Faugeras等人(1986)和Tsai(1986)报告的摄像机标定方法都属于这类方法。这些方法精度高，但是标定过程中需要人去放置标定物，标定结束后再移走标定物。这种方法增加了人的工作强度，为此，Thacker等人(1991)利用工业机器人实现摄像机再标定技术；Zhang(1997)将标定物固定于车辆上实现在线立体摄像机标定，并应用于星球探测机器人上。这些标定方法的共同问题如下：

(1)标定摄像机时需要放置标定物，标定结束后再将标定物移走，增加了标定的工作量；

(2)标定过程需要停止工作，无法实现在线自动标定；

(3)立体摄像机的任何参数变化，比如焦距或基线发生变化，需要再进行上述的标定过程。

为了解决上述问题，Yasuhiro Katayama(2005)报告了用透明标定物进行立体摄像机标定的方法。利用滤光材料在两块平行的、透明的标定板上做有规律排列的标记，通过不同波段的光照，采集标定物或者场景的图像。该方法无需人为的放置或移走标定物，也可以实现自动和在线的标定，但该方法仅仅将标定物变成透明物，仍然将其放置在摄像机前一定距离位置上，不仅占用场景空间，而且标定精度、标定距离和系统尺寸之间的矛盾非常突出，系统结构也不紧凑。

发明内容

本发明的目的是提供一种立体视觉系统，通过标定物对立体视觉系统进行强标定，但无需摆放和去除标定物等操作过程，也不占用场景空间，实现立体视觉系统的在线和自动高精度鲁棒标定。

本发明的另一个目的是提供一种立体视觉系统，该系统获取的每一场景立体图像对中都嵌入了标定物图像，提取图像中标定物上的标定点，就可以估计系统参数，进而计算场景深度信息，是一种在变焦过程中仍能完成场景深度恢复的立体视觉系统。

本发明的基本思想是采用单向透镜(half-mirror)将来自标定物的光线反射到立体摄像机，而场景光线则透过单向透镜进入到立体摄像机。也就是说，将标定物放在摄像机同一侧，而不是放在立体摄像机前面。通过单向透镜，立体摄像机既能看到场景，也能看到标定物。这样，立体摄像机获得图像包含了场景图像和标定物图像，形成了嵌入式标定立体图像对。从嵌入式标定立体图像对中提取标定点，就可以进行立体视觉系统的标定，基于系统的标定参数就可以计算场景深度信息。本发明在焦距、基线等各个系统参数动态变化下，仍然可以恢复变化过程中的三维场景深度信息。

为了延长标定物到立体摄像机之间的距离，同时又无需增加系统的体积，本发明采用多个反射镜来延长光路，实现一定距离以外目标深度的精确恢复。

标定物的尺寸是根据应用确定的。为了使整个系统尺寸较小，同时也为了携带方便，一般将标定物做得较小，但会影响系统标定精度；即使标定物做得较大，当标定物离摄像机较远时，或把标定物放在大视场角摄像机前面时，标定物图像也显得较小，只占整个场景图像的很小部分，会影响系统的标定精度。解决这一问题的传统方法是把标定物放在场景的多个位置上，获取各个位置上标定物的图像，然后使用所有不同位置上的标定物图像对摄像机进行标定。本发明的方法是使用多面镜，将一个标定物反射成多个镜像，等同于把标定物放置在场景的多个位置上。

本发明提供了一种嵌入式标定立体视觉系统，包括立体摄像机、单向透镜、多面镜、反射镜组、标定物、光源和实时计算装置，开启光源，标定物被照亮，其光线经过反射镜组到达多面镜，形成多个标定物的镜像并射向单向透镜，单向透镜将标定物的多个镜像反射，进入到摄像机；场景光线也透过单向透镜进入到摄像机中，从而使摄像机同时获取标定物和场景的图像；实时计算装置读取摄像机获取的嵌入式标定立体图像对，并实时计算场景稠密深度图。

本发明的特征在于：

1.标定物嵌入在立体视觉系统内，标定物和立体视觉系统不是两个分离的部件，而是一个完整一体的系统；

2.构成立体摄像机的两个摄像机可以是变焦镜头，在线自动恢复不同焦距下的场景深度信息；

3.使用多面镜将一个标定物反射成多个标定物，起到了加大标定物尺寸的作用；

4.将多个反射镜放置在标定物和摄像机之间，起到了延长光路的作用，保证系统的小巧紧凑。

5.用嵌入式芯片完成标定和深度恢复的实时计算；

6.使用单向透镜将场景和标定物同时汇聚到摄像机，形成嵌入式标定图像。

本发明具有以下优点：

(1)无需放置和移除标定物等烦琐的操作；

(2)标定物集成到系统内部，形成完全独立的系统，任何人无需培训就可以使用这样的系统；

(3)系统标定完全由系统自动在线完成，可以用于正在运行的各种车辆智能导航、避障、场景感知等；

(4)能够实现变焦立体视觉恢复，可以用于各种智能机器人多功能立体视觉系统(变焦、变汇聚角度、变基线等)；

(5)使用多面镜形成多个标定物镜像，位于图像的大部分区域，大大提高系统的标定精度；

(6)使用嵌入式芯片实时标定系统并计算稠密深度图，不仅提高系统的计算性能，而且可以使得系统更加小巧、紧凑。

附图说明

图1为本发明的组成图；

图2为多面镜成像的光路图，图中以三面镜子为例；

图3左图为常用的棋盘格标定板，右图为本发明所使用的标定物示意图，每个平面都是棋盘格；

图4为实时计算装置计算场景稠密深度图的流程图。

具体实施方式

下面结合附图，具体说明本发明的优选实施方式。

本实施例由立体摄像机1、单向透镜2、多面镜3、反射镜组4、标定物5、光源6和实时计算装置7组成，如图1所示。开启光源6，标定物5被照亮，其光线经过反射镜组4到达多面镜3，形成多个标定物5的镜像并射向单向透镜2，单向透镜2将标定物5的多个镜像反射，进入到立体摄像机1；场景光线也透过单向透镜2进入到立体摄像机1中，从而使立体摄像机1同时获取了标定物和场景的图像。

立体摄像机1是指2个或2个以上镜头构成的摄像机或者是2个或2个以上摄像机构成的系统。本实施例中，立体摄像机1由2个普通摄像机构成，配备有电动可变焦距和光圈镜头，用于不同亮度场景和不同距离目标的清晰成像。

单向透镜2是一种单向透视玻璃，单向透视玻璃是指玻璃的一面允许光线透过，而玻璃的另一面类似镜子，只反射光线。这样，单向透镜2将来自标定物5和场景的光线同时汇集到摄像机1中，形成嵌入式标定图像。

多面镜3是由多个平面镜按照一定交角拼接起来。图2所示的是3个镜构成的多面镜，产生3个标定物镜像。显然，三个镜像比一个镜像占据更大的场景图像范围。

反射镜组4包含多个反射镜，放置在标定物5和摄像机1之间，起到了延长光路的作用，保证了系统体积的小巧紧凑。

标定物5采用最简单的平面棋盘格进行标定，为了自动在线标定系统，本发明采用三块互不重叠并具有不同姿态角的棋盘格作为标定物，如图3所示。

实时计算装置7读取立体摄像机1获取的嵌入式标定立体图像对，并实时计算场景稠密深度图。图4所示的是本实施例中采用的实时计算场景稠密深度的流程图，包括四个模块：标定特征点提取、摄像机参数估计、嵌入式标定图像预处理、稠密深度图计算。

标定特征点提取：本发明标定物5的标定特征点是棋盘黑白相间角点。训练只有标定物5的图形，得到标定物的初始位置和部分标定特征点初始坐标；然后利用初始值计算单应矩阵，并通过射影变换映射出所有标定特征点；再以每个特征点为中心的小窗口里检测出新角点，并更新单应矩阵；如此迭代，最后得到标定特征点的准确像素坐标。

摄像机参数估计：输入标定特征点的准确像素坐标，根据成像模型估计摄像机1参数：

$s\tilde{m}=\left[\begin{array}{ccc}\mathrm{\α}& \mathrm{\γ}& u_0\\ 0& \mathrm{\β}& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cc}R& t\end{array}\right]\tilde{M}=A\left[\mathrm{Rt}\right]\tilde{M}$

其中，

和

分别是标定特征点的二维坐标以及对应的三维坐标。α，β，γ，u₀，v₀都是摄像机1内参数，并形成内参数矩阵A。R，t被称之为外参数，代表了世界坐标系与摄像机1坐标系之间的旋转和平移关系。

若多面镜3是m面多面镜，则会产生m个标定物镜像，标定物5上有n个标定特征点，则极大似然估计的代价函数为

$\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{\left|\right|m_{\mathrm{ij}}-\hat{m}(A_0,k_{i1},k_{i2},R_i,t_i,M_j)\left|\right|}^2$

其中，

是与三维点M_j相对应的图像坐标，k_i1，k_i2是畸变系数。

嵌入式标定图像预处理：预处理包括图像修正(correction)、图像校正(rectification)、图像增强、标定物去除等。去除嵌入在图像中的标定物5得到的稠密深度图才是场景的稠密深度图(不包含标定物5深度信息)，以方便实际应用。图像修正是对图像各种变形进行修正，本发明使用传统的方法实现图像修正；图像校正的目的是建立一个新的坐标系，使得立体图像对的外极线与扫描线平行。设定新的X轴和Y轴分别是两个摄像机1的基线和两个成像平面的交线，则新的Z轴与XY平面垂直。原始坐标系下的摄像机模型为

λ[c r 1]^T＝AR(X-T)      公式1

其中，r，c分别是摄像机坐标系下的行列像素坐标。在新的坐标系下，摄像机模型为

λ[c^*r^*1]^T＝4^*R^*(X-T)  公式2

其中，A^*和R^*是校正后的内参和外参矩阵，c^*和r^*是新的摄像机坐标系下的行列像素坐标。则公式1和公式2得到校正转换模型：

[c^*r^*1]^T＝λA^*R^*R^-1A^-1[c r 1]^T

稠密深度图计算：对预处理后的立体图像对进行对应性求解，可以使用的方法有许多，如SAD(the Sum of Absolute Difference)等。

应该理解的是，本实施方式只是本发明实施的具体实例，不应该是本发明保护范围的限制。在不脱离本发明的精神与范围的情况下，对上述内容进行等效的修改或变更均应包含在本发明所要求保护的范围之内。

Claims (7)

1.一种嵌入式标定立体视觉系统,其特征在于，包括立体摄像机（1）、单向透镜（2）、多面镜（3）、反射镜组（4）、标定物（5）、光源（6）和实时计算装置（7），开启光源（6），标定物（5）被照亮，其光线经过反射镜组（4）到达多面镜（3），形成多个标定物的镜像并射向单向透镜（2），单向透镜（2）将标定物（5）的多个镜像反射，进入到摄像机（1）；场景光线也透过单向透镜（2）进入到摄像机（1）中,从而使摄像机（1）同时获取标定物和场景的图像;实时计算装置（7）读取摄像机获取的嵌入式标定立体图像对，并实时计算场景稠密深度图。

2.如权利要求1所述的一种嵌入式标定立体视觉系统,其特征在于：所述立体摄像机（1）是指2个或2个以上镜头构成的摄像机或者是2个或2个以上摄像机构成的系统,配备有电动可变焦距和光圈镜头。

3.如权利要求1或2所述的一种嵌入式标定立体视觉系统,其特征在于，所述单向透镜（2）是一种单向透视玻璃，单向透视玻璃是指玻璃的一面允许光线透过，而玻璃的另一面类似镜子，只反射光线。

4.如权利要求1或2所述的一种嵌入式标定立体视觉系统,其特征在于，所述多面镜（3）由多个平面镜按照一定交角拼接起来。

5.如权利要求1或2所述的一种嵌入式标定立体视觉系统,其特征在于，所述反射镜组（4）包含多个反射镜。

6.如权利要求1或2所述的一种嵌入式标定立体视觉系统,其特征在于，所述标定物（5）采用三块互不重叠并具有不同姿态角的棋盘格。

7.如权利要求1或2所述的一种嵌入式标定立体视觉系统,其特征在于，所述实时计算装置（7）包括四个模块:标定特征点提取、摄像机参数估计、嵌入式标定立体图像对预处理和稠密深度图计算。

Images