CN100492170C

CN100492170C - 一种全向立体视觉成像方法及装置

Info

Publication number: CN100492170C
Application number: CNB2005100456481A
Authority: CN
Inventors: 朱枫; 苏连成; 欧锦军; 董再励; 郝颖明
Original assignee: Shenyang Institute of Automation of CAS
Current assignee: Shenyang Institute of Automation of CAS
Priority date: 2005-01-12
Filing date: 2005-01-12
Publication date: 2009-05-27
Anticipated expiration: 2025-01-12
Also published as: CN1804720A

Abstract

本发明涉及成像技术，具体地说是一种全向立体视觉成像方法及装置。它将一透视相机镜头的光轴和两反射镜面的共同对称轴重合放置，空间中的一点分别经两反射镜面反射后分别在所述透视相机的像平面成像于不同的两点，相当于两个相机成像；装置包括两个反射镜面、相机，所述相机镜头的光轴和两反射镜面的共同对称轴重合。本发明具有成像清晰、系统结构和几何计算简单、精度和实时性高、系统成像无遮挡的优点。

Description

一种全向立体视觉成像方法及装置

技术领域

本发明涉及成像技术，具体地说是一种全向立体视觉成像方法及装置。

背景技术

移动机器人的应用领域越来越广泛，应用领域的拓展要求其具有越来越高的智能，要求其能自主的巡游和避障。对此人们提出了基于超声波、红外、激光雷达、常规CCD相机等各种传感器在内的定位和导航及避障技术。超声传感器价格便宜，但其探测波束角过大，分辨力受到严重的限制，方向性差；红外的有效探测范围太近，远不能满足自然场景中机器人探测障碍的要求；激光雷达探测距离远，精度高，但容易受噪声影响且价格昂贵，相对于以上外部导航传感器，立体视觉具有本身不发出光及其他辐射源的特性，隐蔽性好，获取周围场景的信息丰富，测量快速准确。但常规镜头的视场角较小(约23°左右)，只能获取有限视野的局部信息，而且在深度对应性求解时，立体视觉的有效检测区域为二个相机视野的公共部分，由于视场角限制，系统中一个相机参考图像中的某些点未必能被其他相机拍摄，造成匹配问题的退化。且公共视野区的狭小使视觉导航系统的灵活性和鲁帮性降低，尽管可以通过增加云台等机械装置来弥补这一缺陷，但这在增加了系统的复杂性的同时还降低了实时性。

当前获取全向立体视觉大致通过三种途径：旋转成像和多摄像机成像、鱼眼镜头成像和折反射全向成像。

(1)旋转成像和多摄像机成像

旋转成像是相机绕通过其光心的轴旋转，在旋转的各个角度拍摄多幅图像，再将这些图像进行拼接或者重采样，从而得到全景图像。通过对旋转中不同位置拍摄的图像寻找对应点，进行深度恢复。这种成像方式需要精确的旋转运动控制部件或复杂的算法，且旋转一周需要较长时间，因此不适用于视觉导航等有实时性要求的工作。

多摄像机成像则是采用朝向各个方向的多个相机来实现全向成像，将多个相机同时拍摄的图像进行融合，生成全景图像。该成像系统若要满足单视点约束，各个摄像机的光学中心必须重合。实际上由于各个相机的物理特性限制，安装中不同相机的光学中心不可能重合。而且这种成像方式成本高，系统复杂。

(2)鱼眼镜头成像

鱼眼镜头具有很短的焦距(f<3mm)，这使摄像机能够观察到接近半球面内的物体，视场角接近180°。但这种成像存在较大的图像畸变；且其畸变模型不满足透视投影条件，无法从所获取的图像中映射出无畸变的透视投影图像；同时视场角越大，光学系统越复杂，造价越昂贵，同时视场角变弯，物像对应关系复杂，补偿困难。对于大视场立体视觉，这种系统和方法(1)存在的一个共同问题是都难以满足单视点约束。且该方法成像区域到所要求的全向成像仍有一定的差距，而且在用于全景成像时，其高分辨率区域往往是不重要的区域，比如天空或摄像机支架本身。

(3)折反射全向成像系统

用普通相机和曲面反射镜面制作的折反射全向成像系统能够实时获取水平方向360°和垂直方向一定角度的全向图像。若采用符合单视点约束的双曲面反射镜或抛物面反射镜，则满足透视投影成像模型条件的系统容易进行系统标定、图像分析和处理，实现对图像或图像序列的定量操作。现有的此类全向立体视觉装置主要有两种：I、通过安装在机器人上的单个双曲面反射镜用序列实现多基线立体视觉，即其立体图对通过机器人的运动来获取。此类方法需要机器人装有精确的码盘等内部导航传感器，且只适用于平整的地面等理想情况，不适用于各种环境下移动机器人的避障和导航。II、两个普通相机和两反射镜组成的系统：①水平基线的全向立体视觉系统，可对机器人前后的障碍物进行检测，立体视觉的测量精度很不均匀，而且由于系统本身的遮挡对两侧场景不能进行感知，全向图像的外极线是二次曲线，对应点计算复杂；②垂直基线的全向立体视觉系统，把两个摄像机上下共轴放置，此时外极线成为一系列放射线，全向图像(Omnidirectional image)被投影成全景图像(Panoramic image)后，外极线成为一系列垂直平行线，对应点的计算简化为在垂直的像素点中寻找。这种配置仍不能根本解决摄像机之间的相互遮挡问题。

发明内容

为了克服上述不足，本发明的提供了一种具有结构和计算简单、对应点匹配容易、精度和实时性高、系统成像无遮挡的全向立体视觉成像方法及装置。

为了实现上述目的，本发明的技术方案如下：

全向立体视觉成像方法：将一透视相机镜头的光轴和两反射镜面的共同对称轴重合放置，空间中的一点分别经两反射镜面反射后分别在所述透视相机的像平面上成像于不同的两点，等效于用两个相机成像，这样用一个相机实现双目全向立体视觉。

成像装置：包括两个反射镜面、相机，所述相机镜头的光轴和两反射镜面的共同对称轴重合，系统基线长度为10-300mm(基线长度定义：如图6所示，空间中一点P分别经两反射镜面成虚像P1、P2，两反射镜面对成像的空间点来说相当于两个虚拟相机，两虚拟相机光心之间的距离1即是由此两虚拟相机组成的双目立体视觉系统的基线长度)；

所述两反射镜面可以为两双曲反射镜面，两双曲反射镜面同轴固定，相机镜头的光心和两个双曲反射镜面的共同焦点重合，相机镜头的光轴和两个双曲反射镜面的共同对称轴共线，接近相机的双曲反射镜面中间设有孔，远离相机的双曲反射镜面通过接近相机的双曲反射镜面中间的孔使周围环境在相机像平面上成像，系统基线长度可以为30-300mm。

其中：所述相机为透视相机；所述两双曲反射镜面可以同轴固定于一个透明管内；在两双曲反射镜面的对称轴上可以安装一针状物体(黑色)。

与现有技术相比，本发明更具有如下优点：

1.系统结构和计算简单。本发明只使用一个相机，降低了相同的复杂性。系统配置相机的光心与两个双曲面镜的共同焦点重合，几何计算非常简单。

2.精度高。本发明使两镜面间隔的距离较大，系统的基线长度可达到三百毫米，极大的提高了系统的精度。

3.对应点匹配容易。此配置使系统的外极线成为一系列放射线，对应点的计算简化为在一条直线的像素点中寻找，且通过上下镜面的成像范围等其他约束可进一步把寻找的区域缩小为长度很短的一段线段内。

4.实时性高。由于系统的结构和几何计算简单，对应点匹配容易，极大的减轻了系统的计算负担，提高了系统的实时性。

5.系统成像无遮挡。现有的用两个相机实现全向立体视觉的系统中，水平基线配置由于全向相机的互相遮挡，不能获取机器人两侧区域的深度信息；垂直基线的配置由于上面相机的支架、电源和数据线对下面相机的遮挡，下面相机所获取的图像有相当大的区域是无用的信息。

6.应用范围广。采用本发明能使移动机器人在有效探测四周障碍物的同时获取周围场景的深度信息，可用于各种环境下移动机器人导航，亦可用于视频监控和三维重建等要求快速和实时计算的工作。

附图说明

图1为本发明系统原理示意图。

图2为双曲反射镜面及相机配置图。

图3为本发明一个实施例系统结构示意图。

图4为本发明实施例2系统结构示意图。

图5为本发明实施例3系统结构示意图。

图6为本发明系统基线原理示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步详细说明。

实施例1

全向立体视觉成像方法：将一透视相机镜头的光轴和两反射镜面的共同对称轴重合放置，空间中的一点P分别经两反射镜面反射后分别在所述透视相机的像平面成像于点Pa、Pb，这样空间中的一点在同一相机像平面的两个不同位置成像，用一个相机实现双目全向立体视觉(参见图1)。

成像装置：如图3所示，本发明系统硬件包括两个双曲反射面镜(图中：1为位于上面的双曲反射镜面，2为位于下面的双曲反射镜面)，和一个普通透视相机3和透明管组成，所述两双曲反射镜面直径相同，上下布置，同轴固定于一个透明玻璃管内，相机镜头的光心和两个双曲反射镜面的共同焦点重合，相机镜头的光轴和两个双曲反射镜面的共同对称轴共线(参见图2)，下面的双曲反射镜面中间设有孔4，上面的双曲反射镜面通过下面的双曲反射镜面中间的孔4使周围环境在相机3像平面上成像；本实施例系统的基线长度为204.9516mm。

本发明原理如下：

以相机的光心为坐标原点O，以光轴的方向为z轴，定义相机像平面的两个方向u，v分别为x轴和y轴，参见图1。由于系统的对称性，系统模型可简化为在二维平面上讨论，以光轴的方向为z轴，定义相机像平面上的任一直线为r轴，则r轴和z轴相垂直，两双曲反射镜面的镜面方程可以写为：

\frac{{(z - c)}^{2}}{a^{2}} - \frac{r^{2}}{b^{2}} = 1;

其中：a分别为a_a、a_b；b分别为b_a、b_b；c分别为c_a，c_b；a_a，a_b为别两双曲反射镜面的二分之一实轴；b_a，b_b为别两双曲反射镜面的二分之一虚轴；c_a，c_b为别两双曲反射镜面的二分之一焦距，a_a，a_b，b_a，b_b，c_a，c_b的值可根据移动机器人检测障碍和导航的范围确定(本实施例为：a_a＝131.2955mm，b_a＝90.4923mm，c_a＝159.4596mm；a_b＝41.1515mm，b_b＝39.4171mm，c_b＝56.9838mm，本系统置于0.75m高处，可检测障碍物半径为2.5m)。空间中的一点P(r，z)通过两双曲反射镜面的反射分别在相机像平面上成像于P_a(u_a，-f)和P_b(u_b，-f)，连接p_a、p_b和坐标原点O(0，0)的直线分别和上下设置的双曲反射镜面相交于M_a(r_a，z_a)、M_b(r_b，z_b)，由于两双曲反射镜面的方程和焦点坐标F_a(0，2c_a)、F_b(0，2c_b)已知，则直线F_aMa、F_bM_b的方程可以以两点式求出：

\{\begin{matrix} \frac{r}{r_{a}} = = \frac{(z - {2 c}_{a})}{(z_{a} - {2 c}_{a})} \\ \frac{r}{r_{b}} = = \frac{(z - {2 c}_{b})}{(z_{b} - {2 c}_{b})} \end{matrix};

解上面的方程组即可求得P点的坐标(r，z)，然后用z值和点P附近物体的纵坐标z值相比较，即可判断此点处在障碍物上还是在凹坑里，进而实现移动机器人避障和导航；r即是P点物体的深度信息，z是障碍物信息。

实施例2

与实施例1不同之处在于：

参见图4，所述系统基线长度为300mm；在两双曲反射镜面的对称轴上安装一黑色、不变形、长细状的针5，起到消除玻璃管散射的作用。

实施例3

与实施例1不同之处在于：

参见图5，所述透视相机镜头的光轴和两反射镜面的共同对称轴重合放置，两反射镜面的镜面方程为二次曲面，(如双曲面、圆锥面、球面、抛物面等，本实施例采用双曲面)，系统基线长度为10mm。

总之采用本发明通过空间中的一点被两反射镜面反射后分别成像于相机像平面，等效于两个相机实现双目视觉，用一个普通透视相机和两个反射镜面实现双目全向立体视觉，系统结构和几何计算简单；所获取的立体图像对在一系列射线上，对应点寻找和匹配容易，使系统的具有很高的实时性；两个反射镜面间隔一定距离使系统的基线增长，极大地减小了系统的误差。

Claims

1.一种全向立体视觉成像装置，包括两个反射镜面、相机，其特征在于：所述相机镜头的光轴和两反射镜面的共同对称轴重合放置，系统基线长度为10-300mm，所述两反射镜面为两双曲反射镜面，同轴固定，相机镜头的光心和两个双曲反射镜面的共同焦点重合，相机镜头的光轴和两个双曲反射镜面的共同对称轴共线，接近相机的双曲反射镜面中间设有孔，远离相机的双曲反射镜面通过接近相机的双曲反射镜面中间的孔使周围环境在相机像平面上成像。

2.根据权利要求1所述全向立体视觉装置，其特征在于：所述相机为透视相机。

3.根据权利要求1所述全向立体视觉装置，其特征在于：所述两双曲反射镜面同轴固定于一个透明管内。

4.根据权利要求1所述全向立体视觉装置，其特征在于：在两双曲反射镜面的对称轴上安装一针状物体。

5.根据权利要求4所述全向立体视觉系统，其特征在于：所述针状物体为黑色。