CN1655013A

CN1655013A - 复眼立体视觉装置

Info

Publication number: CN1655013A
Application number: CN200510008968.XA
Authority: CN
Inventors: 贾云得
Original assignee: Beijing Institute of Technology BIT
Current assignee: Beijing Institute of Technology BIT
Priority date: 2005-02-28
Filing date: 2005-02-28
Publication date: 2005-08-17
Anticipated expiration: 2025-02-28
Also published as: CN1304878C

Abstract

一种复眼立体视觉装置，由两只复眼构成。每一只复眼包含有多个微型摄像机，相同的微型摄像构成一个短基线强标定立体视觉装置，不同的摄像机构成不同性s能和功能的视觉感知装置。采用两只复眼组成复眼立体视觉装置，两只复眼之间的距离比复眼内摄像机之间的距离长，构成长基线立体视觉系统。采用两个具有三自由度旋转的轻便机械臂和一个具有俯仰和旋转的两自由度基座带动两只复眼运动。本发明能实现多种主动视觉感知，能够实现近距离、远距离、大视场、高分辨率视觉感知；能够实现汇聚立体、变基线、动态跟踪视觉感知。

Description

复眼立体视觉装置

技术领域

本发明为一种复眼立体视觉装置，属于计算机视觉领域。

背景技术

立体视觉技术已经在人形机器人视觉感知、移动机器人视觉导航、目标跟踪与定位、物体三维测量和建模等领域得到了广泛的应用。目前的立体视觉系统模拟人的双眼立体感知功能，普遍使用两个固定的摄像机，通过获取目标的立体图像对，寻找对应点的视差，来计算深度信息。比如，加拿大Point Grey Research公司的立体视觉装置。也有的系统采用两个可以上下左右运动的摄像机，实现主动视觉感知，其中摄像机之间的距离或基线长度是不变的，比如，美国麻省理工学院(MIT)的仿猩形机器人Coco的视觉系统和仿人形机器人Hismet的视觉系统。Hismet视觉系统有四个摄像机，其中两个摄像机可以上下左右运动，其视场角较小，用于模仿人的两只眼睛，实现与人的交互和眼神生成；另两个摄像机视场角较大，固定在面部中央，基线垂直与两只眼睛的连线，实现目标定位和距离感知。这是一种将主动视觉与立体视觉相复合实现仿生视觉。美国麻省理工学院设计的另一个仿人形机器人Cog的视觉系统有两只眼睛，每只眼睛是一个复眼，包含两个摄像机，一个视场角约120度，实现大视野视觉感知；另一个摄像机视场角约20度，实现高分辨率清晰视觉感知，Cog的视觉系统能够实现。为了提高立体视觉计算的鲁棒性和实时性，采用两个以上的摄像机形成多摄像机立体视觉头，并采用硬件实现视觉信息计算，比如我们申请的发明专利ZL 02100547.8。为了同时获取物体完整表面的三维数据，将多个立体视觉头均匀放置在物体周围，同时获取物体表面三维数据，然后通过拼接，实现物体完整表面的恢复，数字化。比如我们申请的发明ZL 02 116734.6。

现有的立体视觉装置存在如下主要问题：

1.立体视觉装置中的两个或多个摄像机之间的基线长度是固定的，由于立体成像盲区、立体匹配的正确率和匹配精度等因素的限制，只能实现一定距离、有限范围、有限正确率和精确度的立体匹配。

2.为了测量场景深度图，要求立体视觉系统的两个或多个摄像机是固定的，它们之间的空间位置关系(包括基线)也是固定的，这样的系统无法实现自适应汇聚立体成像、凝视目标和跟踪目标。

发明内容

本发明的目的是提供一种复眼立体视觉装置，能够实现近距离大视场稠密深度图获取、远距离稠密视差图获取、汇聚立体视觉感知、主动视觉感知等多种视觉感知功能，用于移动机器人视觉、仿生机器人视觉、智能人机交互视觉、智能监控等系统的多功能仿生视觉感知。

本发明的基本设计思想是仿照昆虫的复眼。

本发明是由两只复眼构成，每一只复眼包含有多个微型摄像机，相同的微型摄像构成一个短基线强标定立体视觉装置，不同的摄像机构成不同性能和功能的视觉感知装置近距离、远距离、大视场、高分辨率视觉感知。采用两只复眼组成复眼立体视觉装置，两只复眼之间的距离比复眼内摄像机之间的距离长，构成长基线立体视觉系统；

本发明的两只复眼安装在具有多自由度旋转的可运动机械臂上，机械臂固定在一个具有俯仰和旋转两个自由度的基座，基座和机械臂在计算机的控制下进行运动，带动两只复眼完成汇聚立体视觉感知、变基线视觉感知、动态跟踪视觉感知等；

本发明采用IEEE 1394高速串行接口实现图像的视频速度传输，用IEEE 1394高速串行总线的拓扑结构将复眼内各个摄像机以及各个复眼头连接起来，完成同步、异步和分时方式的场景图像获取。

下面详细说明本发明的内容：

(1)在本发明中，把多个相同或不同的成像芯片固定在同一块印刷电路板上，配备相同或不同的成像镜头，构成不同功能的复眼。相同的成像芯片配备相同的成像镜头，构成一个立体视觉成像系统，能够获取场景的立体图像对，实现场景的稠密视差图计算。由于成像芯片固定在一块电路板上，基线固定，基线长度设计的很短，因此，能够实现短基线强标定的立体视觉感知。相同或不同的成像芯片配备不同的成像镜头可以获取不同分辨率、不同视场大小、不同波段的图像。

(2)复眼图像同步获取。在本发明中，复眼头含有多个摄像机，各个摄像机的场同步信号和行同步信号，由图像获取与传输控制器集中控制，保证了各个摄像机图像信号的同步。复眼头还提供一个同步信号接口，该接口可以接收另一个复眼头的场同步信号和行同步信号，以便同步两个或多个复眼头上的摄像机。

(3)图像数据传输。本发明采用IEEE 1394高速串行总线来传输图像，该总线能达到400MBPS的传输率。用IEEE 1394高速串行总线的拓扑结构将各个复眼头连接起来，采用IEEE 1394的异步数据包发送命令和读取系统状态，用IEEE 1394的等时数据包来传输图像。用一条IEEE 1394线缆，可以将多只复眼头通过IEEE 1394总线控制器与计算机相连，各个复眼头就和计算机建立了联系，就可以通过计算机控制整个系统，通过IEEE 1394总线将各只复眼头的图像数据送入计算机中。

(4)两只复眼头的图像同步采集。在两只复眼头中，有一个复眼头可以作为同步信号源，向其它复眼头发送同步信号，这样就保证了两只复眼头之间图像信号的同步。本发明采用IEEE 1394总线的等时数据包传输特点来实现各个复眼头的同步图像采集。

(5)主动运动控制。本发明中的两只复眼头分别安装在两个具有多自由度旋转的可运动机械臂上，机械臂固定在一个具有俯仰和旋转两个自由度的基座，每一个自由度由一个步进电机驱动。基座和机械臂在计算机的控制下进行运动，带动两只复眼完成汇聚立体、变基线、动态跟踪视觉感知。

本发明的优点在于：

(1)具有多种摄像机的复眼头，能实现近距离大视场稠密深度图和稠密视差图的计算，实现目标的高分辨率图像的获取。

(2)两只复眼构成立体视觉装置，实现远距离高精度稠密视差图的计算。

(3)采用运动机构，实现汇聚立体视觉感知、变基线视觉感知、动态跟踪视觉感知。

(4)采用IEEE 1394高速串行接口，能以同步、异步和分时等多种方式获取场景图像，能实现视频速度图像传输。

(5)用IEEE 1394高速串行总线的拓扑结构将各个复眼头连接起来，实现不同复眼头之间的摄象机同步获取场景图像。

附图说明

图1-本发明组成框图

图2-具有8自由度复眼立体视觉装置图

图3-对应图2的两只复眼头空间位置俯视图

图4-处于最大基线状态的复眼立体视觉装置图

图5-对应图4的两只复眼头空间位置俯视图

图6-处于汇聚状态的两只复眼头空间位置俯视图

图7-处于对视状态的两只复眼头空间位置俯视图

图8-具有5自由度复眼立体视觉装置图

附图中：(1)-复眼头；(2)-图像获取与传输控制器；(3)-IEEE1394数据传输控制器；(4)-具有3自由度的机械臂；(5)-具有俯仰和绕垂直轴旋转2个自由度的云台；(6)-机械臂驱动与控制器；(7)-云台驱动与控制器；(8)-USB数据传输控制器；(9)-计算机；(10)-微型摄像机；(11)-微型摄像机；(12)-微型摄像机；(13)-由臂杆；(14)-电机/光码盘；(15)-电机/光码盘；(16)-电机/光码盘；(17)-电机/光码盘；(18)-滑轨机构；(19)-电机/码盘。

下面结合附图和实施例对本发明作进一步说明：

本发明由两只复眼头(1)、图像获取与传输控制器(2)、IEEE1394数据传输控制器(3)、两个具有3自由度的机械臂(4)、具有俯仰和绕垂直轴旋转2个自由度的云台(5)、机械臂驱动与控制器(6)、云台驱动与控制器(7)、USB数据传输控制器(8)、计算机(9)组成，如图1所示。

复眼头(1)包含有四个微型摄像机，其中两个微型摄像机(10)具有相同的型号和相同的镜头，构成短基线立体视觉成像装置，这两个摄像机的视场角较大，可以达到100多度。作为复眼头，摄像机(11)具有滤光功能，主要是在强光下感知环境。摄像机(12)的视场角较小，一般为20至30度，用于远距离场景稠密视差图获取、目标凝视和精确定位等视觉感知。如果微型摄像机(11)和微型摄像机(10)完全相同，就构成一个三目立体视觉装置，能够获取更为稠密和精确的近距离深度图和视差图。

图像获取与传输控制器(2)控制复眼头中的所有摄像机的场同步和行同步断口，保证各个摄像机图像信号的同步。图像获取与传输控制器(2)还提供一个同步信号接口，该接口能够接收另一个复眼头的场同步信号和行同步信号，以便同步两个或多个复眼头上的摄像机。

IEEE 1394图像数据传输控制器(3)采用IEEE 1394高速串行总线来传输和控制图像，该总线能达到400MBPS的传输率。采用IEEE1394高速串行总线的拓扑结构将各个复眼头连接起来，用IEEE 1394的异步数据包发送命令和读取系统状态，用IEEE 1394的等时数据包来传输图像。通过IEEE 1394总线控制器将其中一只复眼头与计算机相连，各个复眼头就和计算机建立了联系。通过IEEE 1394总线将各个复眼头的图像数据送入计算机中。

两只复眼头(1)分别安装在两个机械臂(4)上，每一个机械臂(4)有三个自由度，由臂杆(13)、电机/光码盘(14)、电机/光码盘(15)组成。两个机械臂(4)固定在具有两个自由度的云台(5)上，云台(5)的两个自由度分别由电机/码盘(16)、电机/码盘(17)实现，具有俯仰和绕垂直轴旋转的功能。计算机(9)通过USB数据传输控制器(8)可以分别给机械臂驱动与控制器(6)和云台驱动与控制器(7)发指令，实现多种功能的主动视觉感知。机械臂(4)的运动可以实现由两只复眼头(1)构成的立体视觉装置的基线改变，如图4所示。图2是处于初始或基准状态的复眼立体视觉装置，图3是对应图2的两只复眼头(1)的俯视图。图4是最大基线状态的复眼立体视觉装置，图5是对应图4的两只复眼头(1)的俯视图。机械臂(4)的运动可以实现汇聚立体视觉感知，图6所示的是处于汇聚立体视觉状态下两只复眼头(1)的俯视图，图7是复眼立体视觉装置处于对视状态下两只复眼头(1)的俯视图。

图2所示的复眼立体视觉装置中的两个机械臂共有6个自由度，可以实现多种运动，实现复杂的视觉感知。如果只需要变基线、汇聚、俯仰与旋转运动，则用简化的滑轨机构(18)，如图8所示。滑轨机构(18)的电机/码盘(19)控制改变复眼头之间的距离，实现立体视觉的基线改变；电机/码盘(15)实现复眼头的汇聚立体视觉感知。

Claims

1.一种复眼立体视觉装置，其特征在于：它由两只复眼构成，每一只复眼包含有多个微型摄像机，相同的微型摄像构成一个短基线强标定立体视觉装置，不同的摄像机构成不同性能和功能的视觉感知装置近距离、远距离、大视场、高分辨率视觉感知。采用两只复眼组成复眼立体视觉装置，两只复眼之间的距离比复眼内摄像机之间的距离长，构成长基线立体视觉系统。

2.如权利要求1所述的复眼立体视觉装置，其特征在于：两只复眼安装在具有多自由度旋转的可运动机械臂上，机械臂固定在一个具有俯仰和旋转两个自由度的基座，基座和机械臂在计算机的控制下进行运动，带动两只复眼完成汇聚立体、变基线、动态跟踪视觉感知。

3.如权利要求1所述的复眼立体视觉装置，其特征在于：采用IEEE1394高速串行接口实现图像的视频速度传输，用IEEE 1394高速串行总线的拓扑结构将复眼内各个摄像机以及各个复眼头连接起来，完成同步、异步和分时方式的场景图像获取。