CN101321302B - 基于摄像机阵列的三维实时获取系统 - Google Patents

Abstract

本发明公开了一种基于摄像机阵列的三维实时获取系统，它包括视频采集系统、信号转发系统、数据处理系统和数据融合系统四部分，视频采集系统采用摄像机阵列采集场景的图像信息，并对采集的每一帧图像信息按照时间序列编码，通过信号转发系统传送到数据处理系统中计算场景的三维信息，最后通过网络传输到数据融合系统中，以将这些三维数据融合为唯一确定的全场景的三维数据。

Description

基于摄像机阵列的三维实时获取系统

技术领域

本发明涉及一种三维获取技术，尤其是指一种基于摄像机阵列的，可以实时获取三维信息的三维获取系统，其应用目标是大视角、大物体和动态场景等应用领域。

背景技术

场景的三维信息获取是当今视觉研究的热点问题，但各种方法普遍不够完善。首先，有很多基于单摄像机、双摄像机和摄像机阵列的三维图像获取技术，这些技术的缺点是鲁棒性不高，而且这些技术要求的运算量非常大，即使是非常先进的处理单元，也很难达到实时处理。

TOF技术是一种最近发展起来的获取场景三维信息的先进技术。这种技术通过发射调制红外线照射场景，在接收到场景反射回来的红外线时检测它的相位差，来确定场景的三维信息，因为不需要大量运算，这种方法是可以实现实时处理的。但它的缺点是空间分辨率较低。

发明内容

本发明的目的在于针对现有技术的不足，通过建立基于立体视觉和TOF技术的阵列立体视觉系统，并利用这两种技术的互补，克服各自技术的缺点，提出了一种基于摄像机阵列的三维实时获取系统。该系统首先通过TOF摄像机实时获取一个空间分辨率较低的场景三维信息的初始值，再通过映射和优化，最终得到实时的高分辨率场景三维信息。

为实现上述技术目的，本发明采用的技术方案如下：

本发明的基于摄像机阵列的三维实时获取系统包括以下四个部分：

视频采集系统，采用摄像机阵列来采集场景的图像信息，并对采集的每一帧图像信息按照时间序列编码，通过信号转发系统传送到数据处理系统；

数据处理系统，对采集到的信号进行实时立体视觉处理，计算出场景的三维数据信息，通过网络传送到数据融合系统；

信号转发系统，将采集到的图像信息转发到相应的数据处理系统中，并控制视频采集系统的工作状态；

数据融合系统，在已经得到的不同视角场景的三维数据信息的基础上，将这些三维数据融合为惟一确定的全场景的三维数据。其中：

视频采集系统是由多个高分辨率摄像机和一个较低空间分辨率TOF摄像机组成的阵列，可以是平面阵列，也可以是弧型阵列或任意的拓扑结构的阵列，来完成采集视频图像信息的目的。每台高分辨率摄像机有一个视频采集单元，在信号转发系统上的同步控制单元的控制下，采集阵列视频图像数据。需要发送的阵列视频图像数据和需要接收的控制信号，通过LVDS串行解串行器来传输。LVDS串行解串行器的好处是可以把并行信号转换成串行信号，简化设计，而且在信号线数目减少后，可以通过更方便的传输线与信号转发系统通信。

信号转发系统的首要功能是利用信号转发器将视频采集系统中每一台高分辨率摄像机采集到的视频图像数据发送到对应的数据处理系统的处理器中。其次，信号转发系统上有一个同步控制单元，它可以在数据处理系统上的核心处理器和TOF摄像机的控制下，产生所有高分辨率摄像机的同步信号，并通过信号转发器转发到每台高分辨率摄像机中。最后，它上面设有插槽，用来固定数据处理系统中的处理器系统。

数据处理系统的主要组成部分是对应于每一台高分辨率摄像机的处理器，其中一台核心处理器还负责控制信号转发系统中的控制单元。所有的处理器通过网络相互连接并与TOF摄像机通信，还接收通过LVDS串行解串行器传送的相关几台高分辨率摄像机的视频图像数据。这些处理器采用以下方式来计算出场景的三维信息：

首先，需要对高分辨率摄像机和TOF摄像机阵列进行标定，来确定各台摄像机之间的准确相对位置。本发明先采用单摄像机的标定方法，分别得到所有摄像机的内、外参数；再通过同一平板的坐标系到各自摄像机间的坐标变换，建立摄像机之间的位置关系矩阵。再以求得的参数为初始值，考虑畸变因素，利用全局最优化方法求得最优解。

然后，做TOF摄像机和所有高分辨率摄像机之间的配准。要求TOF摄像机与各台高分辨率摄像机在所覆盖的共同空间上达到严格的对应关系，通过这种对应关系，将TOF摄像机的深度信息映射到所有高分辨率摄像机组成的立体视觉系统，并利用立体视觉系统，进一步优化深度信息。在配准时，数据处理系统中的每台处理器对应一台高分辨率摄像机，并通过信号转发系统分别接收附近区域的多台高分辨率摄像机和TOF摄像机的数据，通过千兆网与其它处理器交换数据。利用TOF摄像机所映射的深度信息和附近区域的多台高分辨率摄像机的视频图像数据，经过相应的集束计算处理，得到每台高分辨率摄像机视角区域的高分辨率三维信息。采用多台高分辨率摄像机，可获得大视角场景的三维信息。

数据融合系统主要是后台处理器。它通过千兆网接收到数据处理系统中每台处理器发送的所对应的高分辨率摄像机视角的三维信息，并把它们整合成完整的唯一的全局场景三维几何数据。

我们采取的矩形摄像机阵列首先通过TOF摄像机获取一个空间分辨率较低的场景三维信息的初始值。根据计算机视觉的原理，将这些初始值映射到高分辨率摄像机所得到的图像上，利用阵列高分辨率摄像机所获的图像数据间的相关性进行全局优化，最后得到准确的高分辨率的场景的三维信息。

本发明立体视觉处理算法与传统的立体匹配方法也不一样，它是通过摄像机之间的位置关系矩阵和立体视觉原理，在有高可靠性初始深度图的条件下，将图像配准变换函数作为关于深度信息变量的变换函数，通过图像配准，直接求深度图，而不是视差图。由于有高可靠性初始深度图，加上立体视觉的一些有用的约束条件，因此容易获得高效和高精度的图像配准结果。这样就可克服传统立体视觉中出现的立体匹配计算量大、容易产生误匹配等问题。而且，采用多台处理器，分别处理由摄像机阵列所获得的场景图像的一部分区域，提高了运算效率，可以很好的实时采集高分辨率的场景三维信息。

附图说明

为使本发明的上述目的、特征和优点能更明显易懂，下文特举一较佳实施例，并配合附图，详细说明如下：

图1表示基于2×3+1摄像机阵列的三维实时获取系统示意图。

图2表示2×3+1摄像机阵列的拓扑结构。

图3表示本实施例的整体系统框图。

图4表示本实施例的视频采集系统中每一台高分辨率摄像机的结构框图。

图5表示本实施例的信息转发系统的结构框图。

图6表示本实施例的信号转发系统中相对于一台高分辨率摄像机的结构框图。

图7表示本实施例的信号转发系统的结构框图。

具体实施方式

图1表示本发明实施例的系统示意图。在本实施例中，采用六台CMOS摄像机和一台TOF摄像机作为视频采集系统。六台DSP处理器作为数据处理系统，采用千兆网作为数据交换和传输的媒介，使用PC平台作为数据融合系统。

图2表示本发明实施例的视频采集系统的拓扑结构。视频采集系统中的摄像机阵列采用(2*3+1)的拓扑结构。六台高分辨率摄像机分布在一个矩形的四个顶点和长边中点上，一台TOF摄像机位于这个矩形的中心。每一台高分辨率摄像机都对应数据处理系统中的一台DSP处理器。

将TOF摄像机的深度信息映射到所有高分辨率摄像机组成的立体视觉系统中，并作为初始深度图，将图像配准变换函数作为关于深度信息变量的变换函数，通过图像配准，直接求深度图。在做配准算法时，对于C2的立体匹配(在C2的DSP系统执行运算)，C1、C5和C3摄像机采集的数据都可参与处理，相当于多基线的立体匹配，最终求得使C2与C1、C5和C3达到总的最佳匹配时的深度图，其中C2要求高分辨率图像数据，其它摄像机仅需要低分辨率图像数据；同样对于C5的立体匹配，C2、C4和C6摄像机采集的数据都参与处理，最终求得使C5与C2、C4和C6达到总的最佳匹配时的深度图；对于C1的立体匹配，C2和C4摄像机采集的数据都参与处理；同样对于C3的立体匹配，C2和C6摄像机采集的数据都参与处理；对于C4的立体匹配，C1和C5摄像机采集的数据都参与处理；对于C6的立体匹配，C3和C5摄像机采集的数据都参与处理。

图3表示本发明实施例的硬件设计的整体框图。六台高分辨率摄像机采集的图像信息和同步信号分别由A1-A6传输到信号转发系统。TOF摄像机的同步信号由P传输到信号转发系统。图像信息由C1-C6从信号转发系统传输到数据处理系统的六台DSP中。其中，DSP-3为核心DSP，它还通过D1发送控制信息到信号转发系统中。在这些信息和TOF摄像机同步信号的控制下，信号转发系统产生对六台高分辨率摄像机的同步信号，通过B1-B6传输到六台高分辨率摄像机。TOF摄像机和所有的DSP处理器都可以由N0-N6通过千兆网交换数据，并由N7通过千兆网传输DSP计算得到的场景三维数据到数据融合系统。

图4为本发明实施例的视频采集系统中每台高分辨率摄像机的结构图。每台高分辨率摄像机由一片CMOS感光芯片，一片LVDS芯片和一个RJ45网口组成。CMOS感光芯片通过光学原理，在控制信号的控制下，采集场景图像信息，把相应的信号发送到LVDS串行解串行器上。LVDS负责传送CMOS芯片的控制信号和接受CMOS芯片采集的数据信息和同步信号。它可以将16根并行传输线转换成2根LVDS线传输信号，大大的简约了设计，节省了空间。RJ45网口负责传输LVDS的输入输出串行信号到信号转发系统中。

下面，介绍一下各个重要信号线的功能。

发送信号：

DO-和DO+是LVDS发送信号，RIN-和RIN+是LVDS接收信号。

DC_OUT[9:0]是十位并行的图像数据，即为CMOS芯片采集的图像数据。

LAST_LINE为帧同步信号，PIXEL_VALID为数据输出有效信号，TIME_OUT为帧曝光结束信号，将它们传给信号转发系统中的CPLD上与地分辨率三维摄像机一起，产生高分辨率摄像机的同步控制信号，最终输入到信号转发系统的CPLD和数据处理系统中的DSP中。

接收信号：

Y_START信号为帧控制信号，Y_CLOCK为场同步信号。SS_START为曝光开始信号，SS_STOP为帧曝光结束信号，即为高分辨率摄像机的同步信号。

SYS_RESET为芯片重起信号，SYS_CLK为系统时钟信号，ADC_CLK为数模转换时钟信号，是一些系统信号。

S_CLK为串行写寄存器时钟信号，S_DATA为串行写寄存器数据信号，S_EN为串行写寄存器始能信号，这三个信号一起来写CMOS芯片中的寄存器。

最后，是系统同步时钟的问题。在本发明实施例中，CMOS芯片的时钟信号实际上是由信号转发系统中的CPLD产生，通过RCLK信号恢复出来的。为了单系统调试方便，做了一个二选一的选择器，除了可以通过RCLK，也可以由晶振直接产生。另外，把SYS_CLK系统时钟传送到LVDS上的TCLK，作为CMOS发送信号到LVDS上的时钟。

图5表示本发明实施例的数据处理系统中核心处理器的结构图。每台处理器通过PCI接口接收信号转发系统的信号，每台处理器都要接收相对应的3或4台高分辨率摄像机所传输的数据，进行相应的处理。这些数据通过PCI接口传输过来后，再由LVDS串行解串行器恢复成并行信号，传输到DSP处理器的视频口。每台处理器还可以通过千兆网口与其他的处理器和数据融合系统通信。此图表示的是核心DSP处理器，除完成同样功能外，它还要负责发送一些CPLD的控制信号。这些信号通过双向I²C总线，SPI和GPIO接口来传输。其中SDAO和SCLO是I²C信号；SPICS#，SPIDO，SPIDI和SPICLK为SPI信号；GPIO[15:0]为16并行的GPIO信号。

RIN-和RIN+是接收到的LVDS信号，ADC_OUT[0:9]是恢复出来的十位并行的图像数据。

本发明实施例所采用的处理器是DSP，并配有相应的SDRAM，SPI_EEPROM和FLASH等芯片协同工作。其中SDRAM负责存储计算中大量的数据，SPI_EEPROM和FLASH负责存储算法程序。

图6为本发明实施例的信号转发系统对于一台高分辨率摄像机的结构框图。本发明的信号转发系统负责转送视频采集系统和数据处理系统之间的信号。并通过CPLD来产生同步视频采集系统的信号。一台高分辨率摄像机采集的数据首先通过一个LVDS Repeater转发给相应的三或四台处理器系统，其中一台摄像机会把信号转发给CPLD芯片，CPLD在核心DSP控制信号CON1和TOF摄像机同步信号CON2的控制下，输出六台高分辨率摄像机的同步信号。这路LVDS信号线通过LVDS串行解串行器还原成并行信号，通过RJ45_1-RJ45_6转发给六台高分辨率摄像机。其它的信号都已经在前面作过解释。

图7表示本发明实施例的信号转发系统的完整结构图。由视频采集系统传送过来的六路视频信号，分别由对应的转发器LVDS Repeater分别发送到对应的数据处理系统的三或四台DSP中。其中一路信号经LVDS串行解串行器恢复为并行信号，在低分辨率三维摄像机的同步信号和核心处理器DSP的控制下，通过CPLD产生所有高分辨率摄像机的同步信号，再经LVDS-7传回视频采集系统的六台高分辨率摄像机中。在这里，信号传输通过的是RJ45网口。

本发明实施例的数据融合系统采用PC机作为处理平台。并接收处理器和TOF摄像机所得到的数据进行运算。后台计算机接收到单个摄像机视角的3D信息，并把它们整合成完整的唯一的全局场景3D几何数据，具体思路是：

将3D空间离散化，每个采样点为Δ×Δ×Δ小立方体。

在上述离散化的3D空间，对所有摄像机对应的3D几何数据，进行整合和重采样，得到完整的、唯一的全局场景3D几何数据。

Claims (7)

1.一种基于摄像机阵列的三维实时获取系统，其特征在于包括：

视频采集系统，采用摄像机阵列来采集场景的图像信息，并对采集的每一帧图像信息按照时间序列编码，通过信号转发系统传送到数据处理系统；所述视频采集系统包括：多台高分辨率摄像机，采集得到场景的高分辨率图像；一台低分辨率三维摄像机，可以获取较低分辨率的三维数据图像；所述视频采集系统中的所有摄像机可以按需要以不同的阵列形式和姿态方式放置；

数据处理系统，对采集到的信号进行实时立体视觉处理，计算出场景的三维数据信息，通过网络传送到数据融合系统；

信号转发系统，将采集到的图像信息转发到相应的数据处理系统中，并控制视频采集系统的工作状态；

数据融合系统，在已经得到的不同视角场景的三维数据信息的基础上，将这些三维数据融合为唯一确定的全场景的三维数据。

2.如权利要求1所述基于摄像机阵列的三维实时获取系统，其特征在于，所述视频采集系统中的每一台高分辨率摄像机包括：

一个视频采集单元，用于采集场景的图像信息，它采用帧曝光模式，可控制摄像机的分辨率、图像采集速度、单(多)斜率曝光等参数；

一个帧编码控制单元，对得到的每一帧图像按照时间序列编码；

一个串行解串行器，把视频采集单元得到的数据和对视频采集单元的控制信号由并行信号转换成串行信号，与信号转发系统交换信息；

一个外接端口，发送数据到信号转发系统，并接收信号转发系统的控制信号。

3.如权利要求1所述的基于摄像机阵列三维实时获取系统，其特征在于，所述信号转发系统包括：

多个外接端口，每一个外接端口接收视频采集系统中一台高分辨率摄像机发送的数据，并发送控制信号到视频采集系统；

多个信号转发器，其中每台高分辨率摄像机各需要一个信号转发器，将图像数据转发到对应的数据处理系统的处理器中，另外还需要一个信号转发器用来转发控制单元的控制信号到所有高分辨率摄像机中；

一片串行解串行器，恢复出视频采集系统中的并行信号；

一个同步控制单元，在数据处理系统中的一台核心处理器的控制下，同步视频采集系统中的所有高分辨率摄像机；

多个插槽，固定数据处理系统的多台处理器，并接收其中一台核心处理器的控制信息。

所述信号转发系统接受数据处理系统中一台核心处理器的控制，来调整视频采集系统中的摄像机的采集模式和分辨率等信息。并将每一台高分辨率摄像机所采集到的图像信息通过转发器分发到数据处理系统中所对应的多台处理器中。

4.如权利要求1所述的基于摄像机阵列的三维实时获取系统，其特征在于，所述数据处理系统包括：

多台处理器，用于视频数据处理；

一台核心处理器，除与其它处理器一起参与计算外，还要控制信号转发系统中的控制单元；

各台处理器分别处理相关的多台高分辨率摄像机采集的图像信息，并接受较低分辨率三维摄像机所采集的三维图像数据，并通过网络交换相互之间的数据，最后通过计算机视觉原理，计算出所对应区域的场景三维信息。

5.如权利要求4所述的基于摄像机阵列的三维实时获取系统，其特征在于，所述的数据处理系统中的每一台处理器包括：

多片串行解串行器，分别恢复出视频采集系统中相应的各台高分辨率摄像机传送的并行信号；

网口，与其它的处理器交换数据，并接受低分辨率三维摄像机传送的图像信息；

一个处理单元，计算场景对应区域的三维信息。

6.如权利要求2或3或5所述的基于摄像机阵列的三维实时获取系统，其特征在于，所采用的串行解串行器为LVDS。

7.如权利要求1所述的基于摄像机阵列的三维实时获取系统，其特征在于，所述的低分辨率三维摄像机为TOF摄像机。

Images