CN101437171A - 一种具有视频处理速度的三目立体视觉装置 - Google Patents

Abstract

本发明涉及一种具有视频处理速度的三目立体视觉装置，属于机器视觉领域。本发明包括三目摄像机采集模块、立体视觉计算模块、数据传输模块三部分。三目摄像机采集模块包含呈直角位置关系的三个彩色图像传感器，实时同步采集场景彩色图像RGB；立体视觉计算模块主要由一片FPGA和外围SRAM芯片组成，实现图像预处理、三目外极线校正、立体匹配的实时计算，产生稠密视差图D；数据传输模块主要由IEEE 1394芯片组构成，可以将RGBD数据高速传输给微型计算机。本发明应用于机器人自主导航、人机交互、人体运动视觉分析等领域。

Description

一种具有视频处理速度的三目立体视觉装置

技术领域

本发明是一种具有视频处理速度的三目立体视觉装置，属于机器视觉领域。

背景技术

立体视觉技术在移动机器人、人机交互、视频监控、三维测量和物体建模等领域得到了广泛的应用，一般由两个或两个以上的同步摄像机和通用计算机或者定制硬件系统组成。基于通用计算机实现的立体视觉系统体积大，功耗大，计算速度慢。为解决立体视觉计算的实时性问题，研究人员相继研究出各种专用的立体视觉计算技术。1996年，卡耐基—梅隆大学的Kanade等人开发了性能达到每秒30帧的立体视觉机；1997年，Interval Research Corporation的Woodfill和VonHerzen在PARTS engine上实现了基于统计的双目立体匹配算法Census Matching；1999年，日本国防部研究中心的Kimura等人基于多基线立体视觉，采用FPGA+convolver结构，开发了九目摄像机立体视觉装置SAZAN；2003年，加拿大Toronto大学的Darabiha等人基于局部相位相关的方法，采用4片FPGA开发了双目立体匹配装置；2004年Woodfill等人基于统计的Census Matching方法，开发了DeepSea立体视觉处理器。贾云得等人基于多基线SAD方法，开发了微型立体视觉机，实现方法见发明专利ZL 02100547.8。微型立体视觉机采用呈直线型排布的立体视觉头；SAD方法便于硬件实现，能够达到实时处理性能，但视差图恢复质量和鲁棒性均较差，在物体边缘、深度不连续等极端情况容易产生失真变形。

发明内容

本发明的目的是提供一种具有视频处理速度的三目立体视觉装置，将全部的立体视觉计算集成到单一处理芯片中完成，在保证视频处理速度性能的同时，具有计算精度高、尺寸小、功耗低等特点。

本发明的技术方案如下：本发明包括三目摄像机采集模块、立体视觉计算模块、数据传输模块。其中，三目摄像机采集模块接收立体视觉计算模块的控制信号和时钟信号，通过呈直角位置关系的三个彩色图像传感器同步采集场景的彩色图像RGB，并通过数据传输接口将RGB数据传输给立体视觉计算模块；三个图像传感器中的任意两个都能构成具有视频处理速度的双目立体视觉装置。立体视觉计算模块主要由一片FPGA、帧存储器、立体匹配计算存储器、RGBD数据存储器组成；FPGA实现图像预处理、三目外极线校正、基于自适应聚合的合作算法立体匹配计算、视差提取和后处理运算，产生稠密视差图D；帧存储器用于场景彩色图像数据交替存储，立体匹配计算存储器用于立体计算中间结果存储，RGBD数据存储器用于RGBD数据的交替存储。数据传输模块实现将RGBD数据通过IEEE1394接口或USB接口或LCD接口或RS-232总线接口传送给微型计算机或液晶屏或主控制器。

所述的立体计算模块可以控制图像传感器同步采集场景的彩色图像或灰度图像。

本发明的工作过程如下：

立体视觉计算模块控制三目摄像机采集模块实时同步地采集场景彩色图像RGB，并接收RGB数据产生稠密视差图D，然后通过数据传输模块将RGBD数据高速传输给微型计算机(或液晶屏或主控制器)。

本发明具有如下优点：

1.本发明采用呈直角位置关系的三个彩色图像传感器，并采用基线重建三目摄像机坐标系方法完成三目外极线校正，能够有效的提高稠密视差图质量，加快立体匹配计算速度。

2.本发明基于自适应聚合的立体视觉合作算法，能够缓解视差膨胀失真问题，提高立体计算精确度，同时提高遮挡的检测率。

3.本发明的计算性能达到每秒30帧的视频速度，能够适应自主系统导航、目标分割与跟踪、人机交互、视频监控等具有实时计算要求的应用场合。

4.本发明实现IEEE 1394a高速串行总线协议，通过IEEE 1394接口可以将RGBD图像数据实时高速地传输到微型计算机或中央控制计算机中进行高层处理，使用方便，界面友好。

5.本发明采用模块化设计方法，具有很强的易用性和可移植性，可以方便地嵌入到其他系统中，实现紧耦合的立体视觉应用系统。

附图说明

图1是本发明的基本组成框图；

图2是本发明的三目摄像机采集模块组成框图；

图3是本发明的立体视觉计算模块组成框图；

图4是本发明的基于自适应聚合的合作算法立体匹配计算流程图；

图5是本发明的数据传输模块组成框图；

具体实施方式

下面接合附图和实施例对本发明作进一步说明。

一种具有视频处理速度的三目立体视觉装置的结构如图1所示，该装置包括三目摄像机采集模块(1)、立体视觉计算模块(2)、数据传输模块(3)三个组成部分。三目摄像机采集模块(1)主要由呈直角位置关系的三个彩色图像传感器(5)构成，实现实时、同步地采集场景彩色图像RGB；立体视觉计算模块(2)实现图像预处理、三目外极线校正、基于自适应聚合的合作算法立体匹配计算、视差提取和后处理运算，产生稠密视差图D；数据传输模块(3)实现RGBD数据的实时高速传输。

图2是本发明的三目摄像机采集模块(2)组成框图。为了减少摄像机之间的光度差，采用相同的图像传感器和镜头。三个微型摄像机呈直角位置关系以减少校正变换的扭曲变形。可以通过配备不同类型的彩色图像传感器和镜头满足不同应用领域对摄像机视角、分辨率、采集帧率等性能的要求。由于立体视觉计算使用的图像必须保持同时采集，因此三个彩色图像传感器(5)均采用从模式工作方式，芯片工作所需的外部时钟信号和控制三个摄像机同步采集的同步信号均由立体视觉计算模块(2)提供，以保证信号的同步。

图3是本发明的立体视觉计算模块(3)组成框图。采用一片FPGA(7)作为处理核心，三组SRAM(8，9，10)作为存储资源。立体视觉计算模块包括六个子功能模块：图像采集控制子模块、图像预处理子模块、三目外极线校正子模块、立体匹配计算子模块、视差提取和后处理子模块，数据同步控制子模块。

图像采集控制子模块的功能是：

1.初始化三目摄像机采集模块上彩色图像传感器寄存器，设定芯片采集图像的分辨率、扫描方式、数据输出格式等参数；

2.提供彩色图像传感器所需的时钟信号的同步采集信号；

3.将采集的场景彩色图像存储到帧存储器中。

图像预处理子模块对采集的场景彩色图像RGB进行滤波处理，并保证在去除噪声的同时，保留原始图像的纹理特征，不对后续计算产生影响。

三目外极线校正模块根据摄像机标定得到的摄像机内参数矩阵和摄像机坐标系正交旋转矩阵对三目摄像机的坐标系进行重建，实现成像匹配点之间具有相同的图像坐标分量，简化立体匹配计算。

立体匹配计算子模块采用基于自适应聚合的合作算法计算图像中每个像素点的视差值，计算流程如图4所示。基于自适应聚合的合作算法包括三个步骤：SAD相似性度量、视差空间初始化、视差空间非线性迭代。算法中采用灰度SAD作为原始的相似性评价，设三个微型摄像机的光心表示为C₁，C₂，C₃，其中C₁为参考摄像机光心，I(c，r)表示像素点(c，r)灰度值，d表示视差级数，则参考图像内点(c，r)的d级视差SAD为

$\mathrm{SAD}\left(\begin{array}{ccc}c& r& d\end{array}\right)=|I_2\left(\begin{array}{cc}c-d& r\end{array}\right)-I_1\left(\begin{array}{cc}c& r\end{array}\right)|+$

$|I_3\left(\begin{array}{cc}c& r-\left|\right|\stackrel{\→}{C_1{C}_3}\left|\right|\end{array}/\left|\right|\stackrel{\→}{C_1{C}_2}\left|\right|\·d\right)-I_1\left(\begin{array}{cc}c& r\end{array}\right)|$

归一化处理SAD度量初始视差空间，即

D′(c r d)＝1-SAD(c r d)/512

设视差搜索范围为DisparityLevels，则参考图像内点(c，r)的初始视差空间D₀表示为

$D_0\left(\begin{array}{cc}c& r\end{array}\right)=\underset{i}{\mathrm{\Σ}}D\′\left(\begin{array}{ccc}c& r& i\end{array}\right)/\mathrm{DispairityLevels}$

一次完整的非线性视差空间迭代计算由以下四步组成：

1.支持集聚合。实现中采用普通局部支持集聚合，支持集S_n(c rd)计算公式为

$S_n\left(\begin{array}{ccc}c& r& d\end{array}\right)=\underset{\left(\begin{array}{ccc}x& y& z\end{array}\right)\∈\mathrm{\φ}\left(\begin{array}{ccc}c& r& d\end{array}\right)}{\mathrm{\Σ}}{D}_n\left(\begin{array}{ccc}x& y& z\end{array}\right)$

2.抑制集计算。实现中采用由参考摄像机产生的单一抑制集，抑制集I_n(c r d)计算公式为

3.增益计算。增益G_n(crd)计算公式为

G_n(c r d)＝[S_n(c r d)/I_n(c r d)]^α

其中，α为放大系数。实现中采用α＝2。

4.迭代更新。为了减少由支持集局部聚合产生的过平滑与细节丢失，初始视差空间D₀用于迭代更新，n+1次迭代的视差空间Dn+1计算公式为

D_n+1(c r d)＝D₀(crd)×G_n(c r d)

实现中，在FPGA内部实现四个视差空间迭代运算模块级联，高次迭代通过循环完成。循环完成后的中间计算结果保存在立体匹配计算存储器(9)中，供下次迭代循环使用，并通过Switchl和Switch2模块控制循环的开始和终止，数据的读取和存储。

视差提取和后处理子模块判断视差值的有效性，并通过抛物线差值得到子像素精度的视差值。

数据同步控制子模块保证场景彩色图像RGB和视差图D同步存储在RGBD数据存储器中。

存储器的存取访问延时是限制系统性能的瓶颈之一，本发明中主要采用了两种存储访问控制方法：

1.乒乓操作。一组SRAM采用乒乓操作策略，交替存储数据，降低向SRAM存储数据和从SRAM读取数据的等待延时。

2.异步FIFO设计。使用异步FIFO将从大容量外部SRAM中读取的低速并行数据转化为FPGA内部的高速串行数据，提高数据流的时钟频率，降低后续计算的数据位宽和电路面积，保证了系统性能。

图5是本发明的数据传输模块(3)组成框图。实现IEEE1394a高速串行总线协议，最高传输速度为400Mbps。

应用举例1

图7给出了一个使用本发明，在微型计算机屏幕上显示通过IEEE1394总线实时高速传输的RGBD数据的使用效果图。微型计算机端应用程序共两个显示区域，屏幕左侧显示的是实时采集的场景RGB图像，右侧显示的是相应视差图D。视差图D中灰度级越亮代表物体距离本装置的距离越近。

Claims (4)

1.一种具有视频处理速度的三目立体视觉装置，其特征在于：该装置由三目摄像机采集模块、立体视觉计算模块、数据传输模块组成；三目摄像机采集模块接收立体视觉计算模块的控制信号和时钟信号，通过呈直角位置关系的三个彩色图像传感器同步采集场景的彩色图像RGB，并通过数据传输接口将RGB数据传输给立体视觉计算模块；立体视觉计算模块使用一片FPGA实现图像预处理、三目外极线校正、基于自适应聚合的合作算法立体匹配计算、视差提取和后处理运算，产生稠密视差图D；数据传输模块实现IEEE 1394a高速串行总线协议，高速实时地向微型计算机传输RGBD数据。

2.如权利要求1所述的具有视频处理速度的三目立体视觉装置，其特征在于：三个图像传感器中的任意两个都能构成具有视频处理速度的双目立体视觉装置。

3.如权利要求1所述的具有视频处理速度的三目立体视觉装置，其特征在于：所述的立体计算模块可以控制图像传感器同步采集场景的彩色图像或灰度图像。

4.如权利要求1所述的具有视频处理速度的三目立体视觉装置，其特征在于：RGBD数据通过IEEE 1394接口或USB接口或LCD接口或RS-232总线接口传送给微型计算机或液晶屏或主控制器。

Images