CN201199315Y

CN201199315Y - 多目相机

Info

Publication number: CN201199315Y
Application number: CNU2008200807716U
Authority: CN
Inventors: 欧阳骏; 田臣礼; 沈华东; 汪林; 高晓平; 叶建军; 张旭
Original assignee: Weishixinjiyuan Science & Technology Co Ltd Beijing
Current assignee: Weishixinjiyuan Science & Technology Co Ltd Beijing
Priority date: 2008-05-21
Filing date: 2008-05-21
Publication date: 2009-02-25
Anticipated expiration: 2018-05-21

Abstract

本实用新型公开了一种多目相机，属于机器人周边设备领域。该多目相机包括：主成像单元、至少一个从成像单元、控制单元，其中控制单元分别与主成像单元和从成像单元互相连接，负责设置主从成像单元的参数，把主从成像单元的图像拼接成一幅大图；主成像单元发出的同步信号经过控制单元相应的延迟后发送到从成像单元。通过在本实用新型实施例多目相机系统中设置控制单元，可以实现各个成像单元的控制和同步，提高测量精度，降低系统成本。

Description

多目相机

技术领域

本实用新型涉及机器人周边设备领域，特别涉及一种多目相机。

背景技术

多目相机是指具有多个成像单元的相机。目前，很多多目相机都是采用多头独立的方式，即为了达到实时的测量，采用多个成像单元独立工作，分别同时拍摄，然后分别通过数据接口传送到PC，通过PC完成各个图像的拼接、合成等处理。如图1所示，该多目相机系统有4个互相独立的成像单元，分别同时拍摄。然后将拍摄获得的图像数据分别通过4个数据接口，这里是Cameralink接口，传送到PC去进行处理。在PC中，相应地，要安装4个Cameralink采集卡，来接收多目相机系统传送来的图像数据。

在对现有技术进行分析后，发明人发现：这种办法最大的缺点是，由于各个成像单元同步性不好引起立体测量精确度不够，同时由于每个成像单元都需要使用一个与之相配的数据接口，在PC中还要相应地安装同样数目的Cameralink采集卡，给整个多目相机系统增加了很多成本。

实用新型内容

为了提高测量精度，降低系统成本，本实用新型实施例提供了一种多目相机。所述技术方案如下：

一种多目相机，包括：主成像单元、至少一个从成像单元、控制单元，

其中控制单元分别与主成像单元和从成像单元互相连接，负责设置主从成像单元的参数，把主从成像单元的图像拼接成一幅大图；

主成像单元发出的同步信号经过控制单元相应的延迟后发送到从成像单元。

具体地，所述控制单元包括：

主成像单元连接器、主成像单元数据解码芯片、LVDS编码芯片，

各从成像单元连接器、各从成像单元数据解码芯片、各从成像单元LVDS编码芯片，

以及可编程逻辑阵列；其中，

所述主成像单元连接器与所述主成像单元相连，并分别依次通过所述主成像单元数据解码芯片、LVDS编码芯片与所述可编程逻辑阵列相连，行、场、曝光控制信号通过所述主成像单元连接器直接发送到所述可编程逻辑阵列；

所述从成像单元连接器与所述从成像单元连接器相连，并分别依次通过所述从成像单元数据解码芯片、所述从成像单元LVDS编码芯片与所述可编程逻辑阵列相连，所述可编程逻辑阵列把行、场、曝光控制信号直接发送到所述从成像单元连接器；

所述主成像单元连接器以及所述从成像单元连接器还分别通过参数设置信号与所述可编程逻辑阵列直接互连。

进一步讲，所述多目相机还包括与所述可编程逻辑阵列相连的PC数据接口。

所述PC数据接口是网络信号转换器以及与之相连的网口。

所述网口是千兆网口。

通过在本实用新型实施例多目相机系统中设置控制单元，可以实现各个成像单元的控制和同步，提高测量精度，降低系统成本。

附图说明

图1是现有技术的多目相机系统的示意图；

图2是本实用新型实施例多目相机系统的示意图；

图3是本实用新型实施例主相机的系统示意图；

图4是本实用新型实施例从相机的系统示意图；

图5是本实用新型实施例控制单元的框图；

图6是本实用新型实施例主相机图像传感器输出的同步信号的时序图；

图7是本实用新型实施例从相机图像传感器接收外同步信号的时序图；

图8是本实用新型实施例控制单元的FPGA采用4倍速传输的时序。

具体实施方式

为使本实用新型的目的、技术方案和优点更加清楚，下面将结合附图对本实用新型实施方式作进一步地详细描述。

图2示出了本实用新型实施例多目相机的系统结构，包括：主成像单元1、至少一个从成像单元2、控制单元3，其中控制单元3分别与主成像单元1和从成像单元2相连。

在本实施例中，从成像单元2有三个。这里的主成像单元1以及三个从成像单元2可以是数字相机，它们的内部结构都是相同的。唯一不同的是它们的“地位”不同，它们其中有一个是“主”，其余的是“从”。所谓的“主-从”就是从相机需要跟主相机的步调保持一致。主相机发出同步的信号给其它的三个从相机，包括行同步，帧同步和曝光同步三个信号。主相机发出的这三个信号首先回馈给控制单元，控制单元经过一定的延迟，相移等操作，再发给从相机。经过这种的同步方式后，可以保证从相机的步调与主相机一致，进而保证了4个相机的同步。还有就是它们拥有不同的编号，因为当需要给各个相机设置不同的参数的时候，需要按照编号来区分它们。

各个相机是从不同的角度对同一个物体进行拍摄的，在同步的情况下，可以保证PC得到的图像是在同一时刻对同一个物体在不同的角度拍摄的。多目相机很重要的一个方面是要实现立体成像。所谓立体成像，就是从不同的角度同时拍摄同一个物体，这个物体可能是静止的，也可能是运动的；如果是静止的物体，那么各个拍摄点的同步要就就比较低，相反，如果是运动的物体的话，对同步的要求就很高了。

主从相机在硬件构成上是一样的，如图3和图4所示，它们只有连到整个系统当中后，才会有主从之分。这么做的好处是便于使用，四个相机可以随意互换，而不影响使用。下面详细介绍主从相机的硬件结构。

图像传感器4：是成像系统的重要组成部分。图像传感器4与连接器8之间通过参数控制信号直接相连。在本实施例中，图像传感器4的所有参数控制都是通过三态形式的I²C信号来设置的。在给图像传感器提供了电源以及时钟信号后，图像传感器就会输出图像数据以及相关的同步控制信号。

数据编码芯片7：它用来把图像传感器输出的数据和行、场有效信号编码成差分形式的编码信号。本实施例采用Cameralink编码芯片，它输出5路信号X0±～X3±，XCLK±，这样第一可以加强抗干扰的性能，第二还可以减少传输过程的信号的数量。

LVDS解码芯片6：这个芯片是用来把低电压差分(LVDS)形式的信号转换成低电压TTL(LVTTL)形式的单端信号的。为了数据传输过程中具有抗干扰性能，高频的时钟信号采用了LVDS的差分形式，而图像传感器实际使用的时候一般都需要单端的LVTTL形式，本实施例里使用了DS90LV048这个芯片来完成这个工作。

逻辑控制芯片5：这是一片复杂可编程逻辑器件(CPLD，Complex Programmable LogicDevice)芯片，用来对数据信号、行场信号、行场反馈信号做逻辑处理，本实施例使用EPM3032。

连接器8：用来连接主、从成像单元与控制单元。本实施例使用MDR-26，这是一个26针的插座；相机的所有的输入、输出信号都是通过这个插座的。

虽然主从相机的硬件结构完全一致，可是在接到系统中之后，它们的部分信号流向是不一样的。以行控制信号、场控制信号和曝光控制信号为例，在主相机中这三个信号是从图像传感器输出的，而在从相机中，这三个信号是输入图像传感器的。这也是此设计的巧妙之处，充分复用了有限的连线资源。

图5示出了本实用新型实施例控制单元的框图。控制单元包括：

主相机连接器8、主相机解码器9、信号转换器10，

各从相机连接器8、各从相机解码器9、各从相机信号转换器10，

可编程逻辑阵列11；其中，

主相机连接器8与所述主相机相连，并分别依次通过主相机解码器9、信号转换器10与所述可编程逻辑阵列11相连，行、场、曝光控制信号通过所述主成像单元连接器发送到可编程逻辑阵列11；

从相机连接器8与所述从相机相连，并分别依次通过从相机解码器9、从相机信号转换器10与可编程逻辑阵列11相连，可编程逻辑阵列11把行、场、曝光控制信号发送到从成像单元连接器8；

主成像单元连接器8以及从成像单元连接器8还分别通过参数设置信号与可编程逻辑阵列11互连。

进一步讲，多目相机还包括与所述可编程逻辑阵列11相连的PC数据接口12。

下面详细介绍控制单元的硬件结构。

连接器8：用来连接主从相机。其中，连接器-A连接的是主相机；连接器-B，C，D连接的是从相机。该连接器8上面的信号与主从相机中描述的一样。本实施例使用的是26孔连接器MDR-26。

数据解码芯片8：它的作用与相机中的数据编码芯片7的作用是相反的，它把数据编码芯片7编码后的差分信号解码成单端的图像数据。本实施例使用DS90CR288。

LVDS编码芯片10：它把单端形式的LVTTL转换成LVDS的差分形式。本实施例使用的是DS90LV047。

可编程逻辑阵列(FPGA，Field—Programmable Gate Array)11：FPGA是整个控制单元的核心，所有的参数控制、同步以及图像的合并等等都是通过它来完成的。

PC数据接口12：它是多目相机系统与PC之间的数据接口。PC数据接口优选的实施方式是网络信号转换器以及与之相连的网口。网络信号转换器的作用是把图像数据转换成网络信号传送出去。本实施例中，网络信号转换器采用iPort PT1000-VB，网口是千兆网口。iPortPT1000-VB传输图像数据的时候采用的是UDP协议，该协议可以有效的利用带宽，增加有效载荷，使带宽利用率达到最大。有效图像的传输速率可以达到960Mbps。因为主从相机获得的图像数据量非常大，这样做的好处是能够提高传输速度，更好地适应多目相机的应用。

在本实施例中，控制单元3的主要作用是负责各个相机的控制和同步，同时还把来自主相机、从相机等4个相机的数据合并成一幅图像，通过PC数据接口12传输给PC。

控制单元3负责设置4个相机的各种参数，包括曝光时间，增益等等。控制单元3在接收到PC送来的控制命令之后，同时或者分时地设置各个相机。由于各个相机是从不同的角度来对同一个物体成像的，实际所处的环境可能会有很大的差别，所以各个相机的参数设置会有所不同。所以，控制单元会根据实际情况，决定是同时设置各个相机还是分时的设置。所谓的同时设置，就是各个相机在同一时刻接收主控单元的参数设置动作；分时设置，就是有先后次序的设置各个相机，参数可能会有所不同。

为了做到各个相机的同步，控制单元3在以下三方面起到了非常重要的作用：

1.时钟信号的同步：各个相机使用的时钟信号都是由控制单元发出的，也就是说各个相机使用的时钟信号是同步的，有固定的相位关系的。这样做，可以在“微观”上保证各个相机的同步。

2.触发信号的同步：相机工作在触发方式的时候，外部输入的用户触发信号经过控制单元3去抖动处理后，同时发给各个相机，保证各个相机从同一时刻开始曝光、成像。这可以视作“宏观”上的同步。

3.相机分为主从模式。主相机中的图像传感器4会输出三个同步信号：帧控制信号(FCTRL，Frame Control)、行控制信号(LCTRL，Line Control)和曝光控制信号(ECTRL，Explosure Control)三个信号，这三个信号直接发送到控制单元3，通过控制单元3依次用来同步从相机图像传感器4的帧、行和曝光，如图6所示。图7所示的是本实用新型实施例从相机图像传感器4接收外同步信号的时序图。从图7可知，从相机的图像传感器4接收到控制单元3发过来的同步信号之后，产生出自己的行场有效信号的时序。从曝光控制信号的上升沿到帧控制信号的上升沿之间是从相机的图像传感器4的曝光时间。曝光控制信号是由控制单元3产生的，而从相机接受到的行控制信号，帧控制信号也是经过控制单元3处理后的信号。

控制单元3在接收到各个相机的图像数据之后，会把它们拼接成一幅大图，通过千兆网传输给PC。拼接的方式可以多种多样，只要保证保证控制单元的拼接方式和PC的解拼方式一致即可。常用的拼接方法是，从左至右把四个图排开，这个最终的大图在水平方向上的分辨率是单独一个图的4倍。PC在接收到拼接好的图像之后，把它分解成4个独立的图像用于处理。

本实施例中，FPGA11在合并图像的时候采用了提高点频和同时传输两个像素的办法来实现4倍速的传输。假设图像传感器4输出数据的点频是X，那么FPGA11在输出合并图像的时钟频率就是2X。图像传感器4在输出数据的时候，是一个像素、一个像素的按照顺序输出的，也就是一个时钟周期只输出一个像素；FPGA11在合并之后是同时传输两个像素。通过这两个办法，就可以实现把4组图像合并成一个图像，时间与输入图像的时间一样。图8所示的是FPGA11采用4倍速传输的时序。

本实用新型实施例的成像单元也可以是工业用摄像头。PC数据接口也可以是Cameralink接口，这时PC端需要配套使用Cameralink采集卡。

通过在本实用新型实施例多目相机系统中设置控制单元，可以实现各个成像单元的控制和同步，提高测量精度，降低系统成本。同时还能把来自主成像单元、从成像单元的数据合并成一幅图像。

以上所述仅为本实用新型的较佳实施例，并不用以限制本实用新型，凡在本实用新型的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本实用新型的保护范围之内。

Claims

1.一种多目相机，其特征在于，包括：主成像单元、至少一个从成像单元、控制单元，

2.根据权利要求1所述的多目相机，其特征在于，所述控制单元包括：

以及可编程逻辑阵列；其中，

3.根据权利要求1或2所述的多目相机，其特征在于，所述多目相机还包括与所述可编程逻辑阵列相连的PC数据接口。

4.根据权利要求3所述的多目相机，其特征在于，所述PC数据接口是网络信号转换器以及与之相连的网口。

5.根据权利要求4所述的多目相机，其特征在于，所述网口是千兆网口。