CN107360413A - 一种多目立体图像信号传输方法和系统 - Google Patents

Abstract

本发明公开了一种多目立体图像信号传输方法，包括：A)使用多组、每组至少两个摄像头的立体图像传感器采集多路、每路至少双视点图像；B)将图像信号转换成光信号输出；C)接收光信号并转换成电信号并对摄像头拍摄的图像信号进一步处理。本发明通过多视点立体图像传感器采集被拍摄空间不同相位的多视点立体图像信号，然后通过光纤载体实时将多路(包括但不限于200路)立体图像信号传输，将被拍摄的多路图像信号进行两个一组或者三个一组的配对，再将相关信息转化为三维空间的纵深坐标信息，可通过API接头与不同行业的应用连接，从而可以使本发明应用到汽车自动驾驶、自主导航机器人、无人驾驶飞行器、三维空间环境检测与重建等领域。

Description

一种多目立体图像信号传输方法和系统

技术领域

本发明涉及电子图像信息处理领域，尤其涉及一种多目立体图像信号传输方法和系统。

背景技术

目前在汽车自动驾驶、自主导航机器人、无人驾驶飞行器、地理测绘、三维空间环境检测与重建等领域，使用的图像处理技术基本上以单目摄像传感器为主，即便有双目(双视点)的方法也都很难实时呈现被拍摄空间的三维影像和多目标跟踪。在这其中最大的阻碍是多路高清图像信号的传输和同步问题。且目前立体图像处理最多只能处理两路图像信号，单路图像的分辨率大多为640×480以下，不能满足实时处理多路(2路以上)2K及以上分辨率的图像信号要求。

发明内容

本发明要解决的技术问题是至少在一定程度上解决上述技术缺陷之一。

为了解决上述技术问题，本发明提供了一种多目立体图像信号传输方法，包括：A)使用多组、每组至少两个摄像头的立体图像传感器采集多路、每路至少双视点图像；B)将图像信号转换成光信号输出；C)接收光信号并转换成电信号并对摄像头拍摄的图像信号进一步处理。

进一步地，所述步骤B)中，每组至少两个摄像头采集的图像首先通过时分复用方式汇聚成一个图像信号，然后再将该图像信号转换成光信号输出。

进一步地，所述步骤B)中，每组至少两个摄像头采集的图像首先进行融合和点视差计算得到图像的深度信号，然后再将图像的深度信号转换成光信号输出。

进一步地，还包括将采样时钟、帧时钟、复位信号、视频同步触发信号同时发送给每一个摄像头用以采集同步图像信号。

进一步地，所述光信号通过光纤传输。

为了解决上述技术问题，本发明还提供了一种多目立体图像信号传输系统，包括：立体图像采集模块，包括多组、每组至少两个摄像头的立体图像传感器，多组所述立体图像传感器用以采集多路、每路至少双视点图像；电光转换模块，包括光电转换器，用以将图像信号转换成光信号输出；光电转换模块，包括光电转换器，用以接收光信号并转换成电信号；信号处理模块，用以接收光电转换模块信号以对摄像头拍摄的图像信号进一步处理。

进一步地，每组立体图像传感器连接有信号汇聚板，用以将每组至少两个摄像头采集的图像首先通过时分复用方式汇聚成一个图像信号，然后再将该图像信号转换成光信号输出。

进一步地，每组立体图像传感器连接有信号处理子模块，每组至少两个摄像头采集的图像首先进行融合和点视差计算以得到图像的深度信号，然后再将该图像的深度信号转换成光信号输出。

进一步地，所述图像信号处理模块还包括有同步触发单元，用以将采样时钟、帧时钟、复位信号、视频同步触发信号同时发送给每一个摄像头以采集同步图像信号。

进一步地，所述摄像头包括镜头、CMOS或CCD图像传感器及驱动电路板。

本发明通过多视点立体图像传感器采集被拍摄空间不同相位的多视点立体图像信号，然后通过光纤载体实时将多路(包括但不限于200路)立体图像信号传输，将被拍摄的多路图像信号进行两个一组或者三个一组的配对，再将相关信息转化为三维空间的纵深坐标信息，可通过API接头与不同行业的应用连接，从而可以使本发明应用到汽车自动驾驶、自主导航机器人、无人驾驶飞行器、地理测绘、三维空间环境检测与重建等领域。

附图说明

图1是本发明的多目立体图像信号传输方法流程图。

图2是本发明的多目立体图像信号传输系统的组件框图。

图3是本发明的一种实施方式结构示意图。

图4是本发明的另一实施方式结构示意图。

图5是本发明的又一实施方式结构示意图。

图6是本发明的图像信号处理模块的同步触发单元工作原理示意图。

图7是本发明的运行流程图。

图8是本发明的摄像头一种实施方式结构图。

图9是应用本发明的一种具体实施方式模块原理图。

图中：10、立体图像采集模块；11、摄像头；12、镜头；13、CMOS或CCD图像传感器；14、驱动电路板；20、电光转换模块；21、光电转换器；22、信号汇聚板；23、信号处理子模块；30、光电转换模块；31、光电转换模块；40、信号处理模块；41、同步触发单元。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。

如图1所示，本发明的多目立体图像信号传输方法，包括：

步骤S101，使用多组、每组至少两个摄像头的立体图像传感器采集多路、每路至少双视点图像；

步骤S102，将图像信号转换成光信号输出；

步骤S103，接收光信号并转换成电信号并对摄像头拍摄的图像信号进一步处理。

图2所示为本发明的多目立体图像信号传输系统，包括立体图像采集模块10，包括多组、每组至少两个摄像头11的立体图像传感器，多组所述立体图像传感器用以采集多路、每路至少双视点图像；电光转换模块20，包括光电转换器21，用以将图像信号转换成光信号输出；光电转换模块30，包括光电转换器31，用以接收光信号并转换成电信号；信号处理模块40，用以对摄像头拍摄的图像信号进一步处理。

本发明将两个摄像头或者三个摄像头配成一组，利用视差信息，经过计算可以得到立体图像信息，这样就构成一个多视点立体摄像传感器。可实时拍摄可见光或者红外光的双视点、多视点视差图像。该传感器每秒钟帧数率包括但不限于30-60帧。再通过电光转换模块将多组(包括但不限于1～100组)多视点立体摄像传感器图像电信号实时转换调制成光信号，并使用光纤等向控制模块进行传输；通过光电转换模块把上一节点传输过来的光信号还原成立体图像的电信号，输入到信号处理模块进行下一步处理。信号处理模块可选用FPGA(Field－Programmable Gate Array，现场可编程门阵列)或者ASIC(ApplicationSpecific Integrated Circuit特定用途集成电路)，光电转换模块包括但不限于：SFP(Small Form-factor Pluggable，小型可插拔光电信号转换接口器件)、SFP+等。

图3所示为本发明的一种优选实施方式，该实施方式中，多个摄像头11均分别通过光电转换器21、光纤50、光电转换器31与信号处理模块40相连。每个摄像头的输入输出电信号连接光电转换器，光电转换器连接光纤，光纤与光电转换器连接，光电转换器与信号处理模块连接。这样每个摄像头需要一对光电转换器，摄像头的电信号通过光电转换器与光纤进入信号处理模块，在信号处理模块中，使用PGA或者ASIC等信号处理模块将视频信号处理成带有深度信息的立体视觉信号。两个摄像头或者两个摄像头一组，构成一个立体视觉传感器。

图4所示为本发明的另一优选实施方式，该实施方式中，每两个或三个摄像头为一组通过电缆60与信号汇聚板22连接，信号汇聚板再通过光电转换器21、光纤50、光电转换器31与信号处理模块40连接。即每组立体图像传感器连接有信号汇聚板，用以将每组至少两个摄像头采集的图像首先通过时分复用方式汇聚成一个图像信号，然后再将该图像信号转换成光信号输出。该结构中，两个摄像头或者三个摄像头通过电缆与信号汇聚板相连(摄像头也可以与信号汇聚功能做在一个电路板上)，信号汇聚板将两个摄像头或者三个摄像头通过时分复用的方式汇聚成一个更高速的信号，然后将此信号输入光电转换模块、光纤与信号处理模块相连。该结构可以减少光电转换模块和光纤的数量，可以降低成本，方便安装。优选地，一个信号处理模块可以连接多个信号汇聚板。

图5所示为本发明的又一优选实施方式，该实施方式中，每两个或三个摄像头11为一组通过电缆60与信号处理子模块23连接，信号处理子模块23再通过光电转换器21、光纤50、光电转换器31与信号处理模块40连接。即每组立体图像传感器连接有信号处理子模块，每组至少两个摄像头采集的图像首先进行融合和点视差计算以得到图像的深度信号，然后再将该图像的深度信号转换成光信号输出。该结构中，两个摄像头或者三个摄像头通过电缆与信号处理子模块相连(摄像头也可以与信号处理子模块做在一个电路板上)，信号处理子模块将两个摄像头或者三个摄像头的视频信息做视差计算，得到图像的深度信息，信号处理子模块将此深度信息通过光电转换模块、光纤连接至信号处理模块相连。相对于前面两种结构，传输的数据量大幅减少，可以使用低速光电转换模块，降低成本。优选地，一个信号处理模块可以连接多个信号处理子模块。

图6所示为本发明的又一优选实施方式，该实施方式中，图像信号处理模块40还包括有同步触发单元41，用以将采样时钟、帧时钟、复位信号、视频同步触发信号同时发送给每一个摄像头11以同步采集图像信号。要实现多个摄像头的立体图像信息的计算，摄像头之间必须要实现帧同步。将采样时钟、帧时钟、复位信号、视频同步触发信号从同一个信号源同时发送给每个摄像头。需要特别指出的是，同步信号可从信号处理模块或者信号处理子模块发出。

图7所示为本发明的运行流程图。

图8所示为本发明的摄像头11的优选实施方式，包括镜头12、CMOS或CCD图像传感器13及驱动电路板14。将两个摄像头或者三个摄像头配成一组，利用视差信息，经过计算可以得到立体信息，这样就构成一个多视点立体摄像传感器。可实时拍摄可见光或者红外光的双视点、多视点视差图像。该传感器每秒钟帧数率包括但不限于30-60帧。

图9为应用本发明的一种具体实施方式模块原理图。采用了A～G七个立体摄像头采集图像信息，通过光电转换模块将图像转换成电信号，再传输至信号处理模块进一步处理，处理并还原后的三维图像信号输出至FPGA、ASIC、DSP等立体图像信号计算单元进行下一步应用处理。

本发明将光纤作为立体图像信号传输的载体，并且通过相关的算法和信号处理流程，使得立体图像的同步传输可以达到多路，最高超过200路(1280×960、1920×1080、4K分辨率)图像信号源，最高每秒信号传输与处理量达到40G比特。

本发明通过创新的方法，在多视点立体图像信号处理和工程应用上解决了以下技术问题：

A、实时传输200路以内的高分辨率(包含但不限于1280×960、1920×1080、4K分辨率)图像，并且一个系统中的所有图像传感器都满足帧同步，为后续的三维图像处理和重建提供时序保证。

B、在同步信号触发下，200路高清图像各帧的采样时间同步、帧同步。

C、各路(包括但不限于2～200路)图像信号的空间位置标识。

D、多路(包括但不限于1～200路)图像信号的实时电-光、光-电转换。

E、各路(包括但不限于1～200路)立体多视图像的两个一组或者三个一组的帧间匹配。

G、光纤模块与多组(包括但不限于1～100组)立体图像传感器的数据接口。

H、光纤模块与FPGA(可编程逻辑门阵列芯片)、ASIC(专用集成电路)的数据传输接口。

本发明在汽车自动驾驶、自主导航机器人、无人驾驶飞行器、地理测绘、遥感、三维空间环境检测与重建等领域有着广泛的应用前景。未来十年仅汽车自动驾驶领域就有数万亿美元的市场，以人工智能为产业引领的机器人、无人驾驶飞行器也是一个巨大的市场需求，另外，地理测绘、建筑、考古、勘探、通讯保障等方面的市场需求同样庞大。本发明能在这些领域中得到有效的应用，将会对上述领域的生产率提高、成本节约、降低安全风险、产业技术进步产生积极广泛的影响。

从技术角度而言，本项发明的相关技术指标和系统整体性能领先于国际同行业水平(目前欧美还没有类似的产品出现)，极大地提升了我国在多目立体图像传感器的信号同步传输效率和多路立体图像处理方面的技术水平，超越了国外现有的技术标准。

从市场角度来看，本项发明可以创造数亿元人民币的经济效益，同时可以大力出口美国、欧洲、日本等国际市场，为国家创造大量的外汇收入。如果达到批量产能每年十万台套的话，将会解决200～300人劳动就业问题，带动上下游产业链配套企业提供就业岗位1000人左右。

综上所述，本项发明在社会效益、市场前景、技术创新、未来经济效益等方面将会产生多方面的有益成果和价值，可能成为改变汽车自动驾驶、无人驾驶飞行器、地理测绘、三维空间环境检测与重建等领域工程应用的主要多目立体视觉传感器图像信号处理系统之一。

以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。

Claims (10)

1.一种多目立体图像信号传输方法，其特征在于，包括：

A)使用多组、每组至少两个摄像头的立体图像传感器采集多路、每路至少双视点图像；

B)将图像信号转换成光信号输出；

C)接收光信号并转换成电信号并对摄像头拍摄的图像信号进一步处理。

2.根据权利要求1所述的多目立体图像信号传输方法，其特征在于，所述步骤B)中，每组至少两个摄像头采集的图像首先通过时分复用方式汇聚成一个图像信号，然后再将该图像信号转换成光信号输出。

3.根据权利要求1所述的多目立体图像信号传输方法，其特征在于，所述步骤B)中，每组至少两个摄像头采集的图像首先进行融合和点视差计算得到图像的深度信号，然后再将图像的深度信号转换成光信号输出。

4.根据权利要求1～3中任一项所述的多目立体图像信号传输方法，其特征在于，还包括将采样时钟、帧时钟、复位信号、视频同步触发信号同时发送给每一个摄像头用以采集同步图像信号。

5.根据权利要求4中所述的多目立体图像信号传输方法，其特征在于，所述光信号通过光纤传输。

6.一种多目立体图像信号传输系统，其特征在于，包括：

立体图像采集模块，包括多组、每组至少两个摄像头的立体图像传感器，多组所述立体图像传感器用以采集多路、每路至少双视点图像；

电光转换模块，包括光电转换器，用以将图像信号转换成光信号输出；

光电转换模块，包括光电转换器，用以接收光信号并转换成电信号；

信号处理模块，用以接收光电转换模块信号以对摄像头拍摄的图像信号进一步处理。

7.根据权利要求6所述的多目立体图像信号传输系统，其特征在于，每组立体图像传感器连接有信号汇聚板，用以将每组至少两个摄像头采集的图像首先通过时分复用方式汇聚成一个图像信号，然后再将该图像信号转换成光信号输出。

8.根据权利要求6所述的多目立体图像信号传输系统，其特征在于，每组立体图像传感器连接有信号处理子模块，每组至少两个摄像头采集的图像首先进行融合和点视差计算以得到图像的深度信号，然后再将该图像的深度信号转换成光信号输出。

9.根据权利要求6～8中任一项所述的多目立体图像信号传输系统，其特征在于，所述图像信号处理模块还包括有同步触发单元，用以将采样时钟、帧时钟、复位信号、视频同步触发信号同时发送给每一个摄像头以采集同步图像信号。

10.根据权利要求9所述的多目立体图像信号传输系统，其特征在于，所述摄像头包括镜头、CMOS或CCD图像传感器及驱动电路板。