CN101916429A

CN101916429A - 双目相机的几何校正及视差提取装置

Info

Publication number: CN101916429A
Application number: CN 201010224545
Authority: CN
Inventors: 王延长; 杨镔; 李培弘; 刘济林
Original assignee: Zhejiang University ZJU
Current assignee: Zhejiang University ZJU
Priority date: 2010-07-09
Filing date: 2010-07-09
Publication date: 2010-12-15
Anticipated expiration: 2030-07-09
Also published as: CN101916429B

Abstract

本发明公开了一种双目相机的几何校正及视差提取装置，它包括两台高速摄像机、图像并行处理板卡、数据分配控制板卡、若干块DSP运算子卡、以太网交换机五个部分；高速摄像机获取的图像被传输至图像并行处理板卡进行实时几何校正，所得结果经数据分配控制板卡分配至一组DSP运算子卡进行实时处理，处理结果经由以太网交换机汇总并传送至接收设备，本发明可以通过更新DSP运算子卡上的软件实现不同方法的视差提取和双目立体视觉的高级应用；本发明的优点是：处理速度快，实时性强，体积小，功耗低，具有很强的可扩展能力和灵活性，摄像头基距可调，现场调试方便，可以通过以太网或U盘随时更改DSP运算子卡的处理流程。

Description

双目相机的几何校正及视差提取装置

技术领域

本发明涉及图像处理技术领域，特别是涉及一种双目相机的几何校正及视差提取装置。

背景技术

立体图像间特征点的匹配一直是机器视觉中最常用的技术手段之一。立体像对中匹配点的搜索是沿着像对的对应极线进行的，几何校正使对应的极线在空间上共线并且平行于图像平面的一条坐标轴，从而将匹配点的搜索从二维降为一维，使得搜索速度和搜索结果的准确度得到很大提高，因此立体视觉图像的校正对于提高匹配算法的性能有着重要的意义。

视差是基于匹配点的进一步处理，通过比较匹配点之间的变化信息，经技术处理可得到一个图像的深度信息，因此双目立体视觉与单目机器视觉相比可以获得更加丰富的信息，这也是立体视觉的优势所在。

机器视觉如果想要真正进入实际应用，就要做到图像的实时处理。计算机视觉系统处理的数字图像及视频通常具有数据量大的特点，如何满足庞大的数据量处理要求是实时立体视觉系统需要解决的关键技术问题。而近几年来，机器视觉越来越广泛的应用于智能机器人和智能交通工具领域，它们要求处理系统体积小、功耗低，这是该领域面临的技术问题。

目前，对于图像的处理有以下几种装置：

1)基于通用处理器的计算机。计算机很难达到实时或准实时的立体视觉处理，以1GHz的通用微处理器为例，完成一次中等规模的立体图对立体视觉处理需要几秒的时间，更加复杂的就需要更长的时间。尽管可以通过调整指令结构来达到优化程序性能的目的，比如利用Intel MMX/SSE/SSE2指令集能够成倍增加低层视觉处理的性能，但并没有从根本上解决问题。而且计算机的体积和功耗都非常大，对于一些空间狭小或者依靠电池供电的应用场合显得尤为不合适。

2)基于数字信号处理器(DSP)。使用数字信号处理器可以获得比通用处理器更快的速度。DSP处理器内有改进的哈佛总线结构，内部有硬件乘法器、累加器，使用流水线结构，具有良好的并行处理能力，并有适合数字信号处理的指令系统。因此，DSP处理器比通用处理器更适合于数字信号的处理。但是目前DSP的主频并不高，因此也极大的限制了单一DSP的处理能力。为了解决此问题，往往需要在一块PCB板上放置多块DSP芯片进行并行处理。这种方案面临的问题是，硬件结构不够灵活，当运行的算法简单时，DSP处理能力过剩，富余的DSP增加了额外功耗，更严重的是当运行的算法较为复杂时，板载的DSP芯片可能数量不够，也不能升级更高级的芯片，因此这种技术方案显然缺乏可精简和可扩展能力。

3)使用可编程器件，包括复杂可编程逻辑器件(Complex ProgrammableLogic Device，CPLD)和现场可编程门阵列(field programmable gate arrays，FPGA)。这类器件包含了可编程的逻辑单元，充分利用了图像处理和视频算法中的并行性，只需对部分的数据操作并行处理，就可以提高整个算法的运算效率。另一方面，这种用户自行设计的硬件有几个主要的不利之处：一是设计周期较长，通常需要几个月的时间；二是缺乏灵活性，其开发语言是硬件语言，算法中一个微小的改变也可能牵一发而动全身，导致整个系统结构要重新修改；三是实现的算法复杂度有限，一些高度复杂的算法很难用FPGA的硬件描述语言实现。

综上所述，现有的技术手段存在如下问题：

1)基于通用处理器的计算机运算速度慢，实时性差

2)基于通用处理器的计算机体积大，功耗高

3)可扩展和升级能力差，缺乏灵活性

4)基于可编程器件难以实现高复杂度的处理及应用。

发明内容

本发明的目的是针对现有技术的不足，提供一种双目相机的几何校正及视差提取装置。

本发明的目的是通过以下技术方案来实现的：一种双目相机的几何校正及视差提取装置，它包括两台高速摄像机、图像并行处理板卡、数据分配控制板卡、若干块DSP运算子卡和以太网交换机。两台高速摄像机分别通过低压差分信号总线与图像并行处理板卡相连，图像并行处理板卡通过同步并行数据总线与数据分配控制板卡相连，数据分配控制板卡通过低压差分信号总线分别与若干块DSP运算子卡相连，若干块DSP运算子卡分别通过以太网接口与以太网交换机相连。

进一步地，所述两台高速摄像机包括第一高速摄像机和第二高速摄像机，高速摄像机包括电源模块、镜头和CMOS图像传感器、图像接收及控制单元、SRAM图像存储器、全双工高速差分通信单元。镜头和CMOS图像传感器、SRAM图像存储器、全双工高速差分通信单元分别与图像接收及控制单元相连。

进一步地，所述图像并行处理板卡包括：一片FPGA、四片RAM、两个全双工高速差分通信单元、SDRAM和Flash。所述四片RAM、两个全双工高速差分通信单元、SDRAM和Flash均与FPGA相连。

进一步地，所述数据分配控制板卡包括双目图像接收单元、数据分配控制单元和若干个全双工高速差分通信单元；所述双目图像接收单元和若干个全双工高速差分通信单元均与数据分配控制单元相连。所述全双工高速差分通信单元的个数与DSP运算子卡相同。

进一步地，所述DSP运算子卡包括全双工高速差分通信单元、DSP/ARM处理器、高速片外存储器、以太网控制器、RS232串行接口和USB接口；所述全双工高速差分通信单元、高速片外存储器、以太网控制器、RS232串行接口和USB接口分别与DSP/ARM处理器相连。

本发明与现有技术相比，具有的有益效果是：

1)本发明兼具传统技术的优点，同时融合了分布计算的技术方法，对图像处理中并行度高且重复进行的部分用FPGA进行计算，对复杂度高的部分采用多DSP并行处理，充分发挥各种不同类型处理器的自身优势，运算速度快，实时性强。

2)本发明全部使用嵌入式低功耗处理器组成，体积小，重量轻，功耗低，可以内置于空间和电源功率有限的智能机器人或自主车系统中作为控制系统。

3)本发明采用模块化设计，拥有很强的灵活性，可根据运算量及复杂度随时增加或减少DSP运算板卡的数目，可扩展和升级能力强。

4)本发明较之单纯使用FGPA作为处理器的技术手段相比，可以实现高复杂度的处理及应用，且复杂度越高，加速效果越明显。

5)本发明采用独立的两个高速摄像机，因此摄像头基距可调，可以方便的实现各种参数的双目立体视觉系统。

6)作为开放性系统，本发明的调试手段非常灵活，可以通过以太网或U盘随时下载更新DSP运算子卡上的处理软件，从而极大的方便了现场调试工作，加速调试进度。

附图说明

图1是本发明的基本结构图；

图2是高速摄像机的组成框图；

图3是本发明高速摄像机的电路图；

图4是图像并行处理板卡的组成框图；

图5是数据分配控制板卡的组成框图；

图6是DSP运算子卡的组成框图；

图7是本发明的使用流程及并行处理板卡的工作流程图；

图8是实施例1的图像处理结果；

图9是实施例2的图像处理结果。

具体实施方式

低电压差分信号(LVDS：Low Voltage Differential Signaling)是一种低摆幅的差分信号技术，它使得信号能在差分PCB线对或平衡电缆上以几百甚至上千兆比特每秒的速率传输，其低压幅和低电流驱动输出实现了低噪声和低功耗。低电压差分信号是一种符合IEEE标准的高速率低误码率的传输技术，特别适合于数字信号的短距离高速传输，而这正是本发明涉及的数字图像传输的特点。

图1示出了本发明的基本结构。本发明包括两台高速摄像机、图像并行处理板卡、数据分配控制板卡、若干块DSP运算子卡、以太网交换机五个部分；高速摄像机通过低压差分信号总线与图像并行处理板卡相连，图像并行处理板卡通过同步并行数据总线与数据分配控制板卡相连，数据分配控制板卡通过低压差分信号总线与若干块DSP运算子卡相连，若干块DSP运算子卡通过以太网接口与以太网交换机相连；高速摄像机获取的图像被传输至图像并行处理板卡进行实时几何校正，所得结果经数据分配控制板卡分配至一组DSP运算子卡进行实时处理，处理结果经由以太网交换机汇总并传送至计算机等接收设备。

图2是高速摄像机的组成框图。高速摄像机实时获取高分辨率图像；它包括电源模块、镜头和CMOS图像传感器、图像接收及控制单元、SRAM图像存储器、全双工高速差分通信单元；镜头和CMOS图像传感器、SRAM图像存储器、全双工高速差分通信单元分别与图像接收及控制单元相连。镜头和CMOS图像传感器中，镜头可以使用普通镜头，也可以使用广角鱼眼镜头，CMOS图像传感器可以采用Photonfocus公司的OEM-D1024E-40型图像传感器，采用并行总线与FPGA相连；图像接收及控制单元使用一片FPGA来实现，它控制镜头和CMOS图像传感器采集图像数据并转存到SRAM图像存储器中；全双工高速差分通信单元将存储在SRAM图像存储器中的图像数据传输至图像并行处理板卡。所述FPGA可以采用Altera公司的EP2C5Q208C8N，SRAM图像存储器可以采用两片ISSI公司的IS61LV51216，两片IS61LV51216的I/O管脚通过16位并行数据总线与FPGA相连，地址线管脚通过19位并行地址总线与FPGA相连。

图3示出了本发明高速摄像机的电路。如图3(a)所示，高速摄像机的电源模块主要由电源转换芯片U1、U2组成。电源转换芯片U1采用市售的LM2576-5.0型芯片，U1的1端与插座J1的2端、电解电容C1的正极相连，电解电容C1的负极接地，U1的2端与二极管D1的N端、电感L1的一端相连，U1的4端与电感L1的另一端、电解电容C2的正极相连，U1的3端、5端接地；电源转换芯片U2采用市售的NCP1117-3.3型芯片，U2的1端接地，3端与极性钽电容C3的正极共同连接至U1的4端，极性钽电容C3的另一端接地，U2的2端与极性钽电容C4的正极相连作为电源输出，极性钽电容C4的负极接地。

如图3(b)所示，全双工高速差分通信单元主要由一片并串行与串并行转换器U3和两个插座J2、J3组成，并串行与串并行转换器U3采用的是NationalSemiconductor公司的DS92LV16型芯片。电阻R1的一端与U3的1端相连，另一端与电源VCC3.3相连，电阻R2的一端与U3的3端相连，另一端与电源VCC3.3相连，电阻R4的一端与U3的18端相连，另一端与电源VCC3.3相连，电阻R6的一端与U3的42端相连，另一端与电源VCC3.3相连，U3的DIN0到DIN15引脚通过16位并行总线与FPGA相连，U3的ROUT0到ROUT15通过16位并行总线连接到FPGA，J2的7端与电阻R3的一端连接至U3的7端，J2的8端与电阻R3的另一端连接至U3的8端，J3的1端与U3的14端相连，J3的2端与U3的13端相连，电容C5的一端与地相连，另一端与电感L2的一端共同连接至电源VCC3.3，电容C6的一端与地相连，另一端与电感L2的另一端共同连接至U3的30、31端，电容C7的一端与地相连，另一端与电感L3的一端共同连接至电源VCC3.3，电容C8的一端与地相连，另一端与电感L3的另一端共同连接至U3的75、77端。

图4示出了本发明图像并行处理板卡的组成框图。所述图像并行处理板卡对图像进行实时几何校正；它包括一片FPGA、四片RAM、两个全双工高速差分通信单元、SDRAM、Flash；所述四片RAM、两个全双工高速差分通信单元、SDRAM和Flash均与FPGA相连。两个全双工高速差分通信单元彼此相连。FPGA包括实时几何校正的各个功能单元：自动曝光控制单元实现相机自动曝光控制参数的生成，乒乓读写控制模块完成数据的无等待读写，SDRAM控制器从SDRAM中读取原始像素首地址和校正参数，分别存入原始像素首地址缓存和校正参数缓存，原始像素首地址缓存将原始像素首地址送入RAM取数据模块，RAM取数据模块经由乒乓读写控制模块从RAM中读取数据并存入原始像素缓存，原始像素缓存和校正参数缓存将各自的数据送入乘累加运算单元完成乘累加运算，最终的运算结果被存入输出缓存并按照指定的协议传送到数据分配控制板卡；RAM存储原始图像；全双工高速差分通信单元接收由高速摄像机传来的数据并发送控制信号；SDRAM临时存储原始像素首地址和校正参数；Flash固化存储原始像素首地址和校正参数。所述FPGA可以采用Altera公司的EP3C16F484C8N，四片RAM可以采用ISSI公司的IS61WV10248ALL，全双工高速差分通信单元主要包括一片并串行与串并行转换器，可以采用National Semiconductor公司的DS92LV16，SDRAM可以采用Micron公司的MT48LC4M32B2，Flash可以采用Atmel公司的AT45DB642D。四片RAM、SDRAM、Flash和全双工高速差分通信单元均与FPGA相连，每个全双工高速差分通信单元均与图3(b)所示的全双工高速差分通信单元采用完全相同的元器件和连接关系。

图5是数据分配控制板卡的组成框图。所述数据分配控制板卡包括双目图像接收单元、数据分配控制单元和N块全双工高速差分通信单元；所述双目图像接收单元和若干个全双工高速差分通信单元均与数据分配控制单元相连。双目图像接收单元和数据分配控制单元是由一片FPGA来实现的，双目图像接收单元从图像并行处理板卡接收数据，数据分配控制单元将数据分配至全双工高速差分通信单元进行传输，所述N块全双工高速差分通信单元中N的大小与可以配备的DSP运算子卡的最大值相等。所述FPGA可以采用Altera公司的EP3C16F484C8N，全双工高速差分通信单元主要包括一片并串行与串并行转换器，可以采用National Semiconductor公司的DS92LV16，N块全双工高速差分通信单元均与FPGA相连，每个全双工高速差分通信单元均与图3(b)所示的全双工高速差分通信单元采用完全相同的元器件和连接关系。

图6是DSP运算子卡的组成框图。所述DSP运算子卡可以使用市售的深圳市友坚恒天科技有限公司生产的UT-S3C6410开发板搭配其配套的LVDS转换模块。所述DSP运算子卡包括全双工高速差分通信单元、DSP/ARM处理器、高速片外存储器、以太网控制器、RS232串行接口、USB接口；所述全双工高速差分通信单元、高速片外存储器、以太网控制器、RS232串行接口和USB接口分别与DSP/ARM处理器相连。DSP/ARM处理器接收来自全双工高速差分通信单元的数据，并执行芯片中预设的程序，对图像进行进一步处理，高速片外存储器配合DSP/ARM处理器存储图像数据和运算的中间结果，最终结果由以太网控制器传输到以太网交换机，RS232串行接口、USB接口为调试接口。

图7是本发明的使用流程及并行处理板卡的工作流程图。首先，如图7所示，操作人员应判断两台高速摄像机之间的相对位置是否已发生变化，即摄像机的内外参是否已改变，如果是，则应当根据张正友提出的二维模板定标的方法(Zhang，Z.Y.[Zheng-You]，Flexible Camera Calibration by Viewing a Planefrom Unknown Orientations，IEEE ICCV，1999(666-673))对摄像机系统定标，计算两个摄像机的内、外参数，根据定标得出原始像素的位置和四个校正系数C_i(u，v)，并将原始像素的位置和四个校正系数C_i(u，v)烧写到并行处理板卡上的Flash中，如果否，则可以直接开机。开机后，FPGA从SDRAM中读取校正系数C_i(u，v)，i取1到4的整数，将C_i(u，v)分别与原始图中对应的像素值I(u_i，v_i)相乘并累加，就得到校正后的像素值I_R(u，v)，接着I_R(u，v)被传输至传输单元，一帧图像中所有的像素被校正完毕后，FPGA会判断新一帧图像是否接收完毕，如果是，则重新进行以上流程，如果否，则等待。

下面结合附图和实施例对本发明进一步说明，本发明的目的和效果将变得更加明显。

实施例1

本实施例中，所述高速摄像机采用了普通镜头，光圈与焦距手动调节；高速差分通信单元采用了National Semiconductor公司的DS92LV16，提供最大2.56Gbps的全双工传输速率；高速摄像机与图像并行处理板卡之间使用直连网线连接用以传输低电压差分信号，图像并行处理板卡进行实时几何校正，图7给出了实时几何校正的流程图，几何校正结果通过直连网线传输给DSP运算子卡，本例只使用了一块DSP运算子卡，即N为1，DSP运算子卡对图像进行以太网打包转发，通过以太网接口传输给计算机；本系统可以进行双目图像的采集、实时几何校正及传输，能方便的实现各种参数的双目立体视觉系统，可以应用于各种双目立体视觉实验系统，通过本系统获得的双目图像实际效果图见图8。

实施例2

本实施例是本发明的一种典型应用。本发明可以实现双目相机的几何校正及视差提取。高速摄像机获取的图像被传输至图像并行处理板卡进行实时几何校正，校正结果经数据分配控制板卡传输至一组DSP运算子卡，DSP运算子卡上运行用户自定义的求取视差的运算，包括但不局限于灰度差平方方法(SSD)、归一化灰度差平方方法(NSSD)、零均值灰度差平方方式(ZSSD)、零均值灰度差绝对值方式(ZSAD)、Rank和Census等，处理结果经由以太网交换机汇总并传送至计算机等接收设备进行显示。本装置可应用于智能机器人或智能交通工具的机器视觉系统，进行道路分割和景物识别。图9为视差提取结果。

上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

Claims

1.一种双目相机的几何校正及视差提取装置，其特征在于：它包括两台高速摄像机、图像并行处理板卡、数据分配控制板卡、若干块DSP运算子卡和以太网交换机。两台高速摄像机分别通过低压差分信号总线与图像并行处理板卡相连，图像并行处理板卡通过同步并行数据总线与数据分配控制板卡相连，数据分配控制板卡通过低压差分信号总线分别与若干块DSP运算子卡相连，若干块DSP运算子卡分别通过以太网接口与以太网交换机相连。

2.根据权利要求1所述双目相机的几何校正及视差提取装置，其特征在于：所述两台高速摄像机包括第一高速摄像机和第二高速摄像机，高速摄像机包括电源模块、镜头和CMOS图像传感器、图像接收及控制单元、SRAM图像存储器、全双工高速差分通信单元。镜头和CMOS图像传感器、SRAM图像存储器、全双工高速差分通信单元分别与图像接收及控制单元相连。

3.根据权利要求1所述双目相机的几何校正及视差提取装置，其特征在于：所述图像并行处理板卡包括：一片FPGA、四片RAM、两个全双工高速差分通信单元、SDRAM和Flash。所述四片RAM、两个全双工高速差分通信单元、SDRAM和Flash均与FPGA相连。

4.根据权利要求1所述双目相机的几何校正及视差提取装置，其特征在于：所述数据分配控制板卡包括双目图像接收单元、数据分配控制单元和若干个全双工高速差分通信单元；所述双目图像接收单元和若干个全双工高速差分通信单元均与数据分配控制单元相连。所述全双工高速差分通信单元的个数与DSP运算子卡相同。

5.根据权利要求1所述双目相机的几何校正及视差提取装置，其特征在于：所述DSP运算子卡包括全双工高速差分通信单元、DSP/ARM处理器、高速片外存储器、以太网控制器、RS232串行接口和USB接口；所述全双工高速差分通信单元、高速片外存储器、以太网控制器、RS232串行接口和USB接口分别与DSP/ARM处理器相连。