CN108712625A - 多通道实时高清图像传输系统及传输方法 - Google Patents

Abstract

本发明提出了一种多通道实时高清图像传输系统及传输方法。该系统包括N个相机单元和图像传输板，图像传输板包括输入接口电路、数据处理控制电路、实时时钟电路和输出接口电路，输入接口电路上设有P种M个图像信息输入端，P、N和M为正整数，且M>N；相机单元的图像信息输出端连接输入接口电路的图像信息输入端，输入接口电路输出端连接数据处理控制电路的图像信息输入端，实时时钟电路与数据处理控制电路连接，数据处理控制电路输出端连接输出接口电路，输出接口电路通过光纤通道连接至上位机。该多通道实时高清图像传输系统结构简单，可实现多个通道图像数据的串行传输，同时还可实现相机单元数量的灵活增减。

Description

多通道实时高清图像传输系统及传输方法

技术领域

本发明涉及图像传输领域，具体涉及一种多通道实时高清图像传输系统及传输方法。

背景技术

在有多个相机单元的摄像/照相系统中，需要将多台相机单元采集的数据回传至后端上位机平台再进行数据处理。在现有的系统中，采用如下一些技术解决相机采集单元与后端上位机平台的数据传输问题：

相机单元分别采用一组数据电缆与上位机链接传输数据。在某些应用环境中相机单元数量众多，回传数据的电缆也相应很多，其缺点为安装调试不方便、传输距离有限、较严重的电磁辐射电磁兼容问题、成本高；

相机单元为以太网接口，相机单元同时接入以太网交换机，再统一连接到上位机网络接口。受以太网交换机吞吐率以及以太网接口相机单元本身的限制，这种技术不能为高清摄像照相系统所采用，只能用于相机单元数量少，采集视频清晰度要求不高的应用环境；

相机单元为USB接口，相机单元同时统一连接到PCIE-USB扩展主机，再通过PCIE有源线缆与上位机PCIE接口卡连接。其缺点为相机采集单元与PCIE-USB扩展主机电缆众多，安装调试不方便，PCIE-USB扩展主机体积大、功耗高、成本高，扩展不方便。

发明内容

为了克服上述现有技术中存在的缺陷，本发明的目的是提供一种多通道实时高清图像传输系统及传输方法。

为了实现本发明的上述目的，本发明提供了一种多通道实时高清图像传输系统，，包括N个相机单元和图像传输板，所述图像传输板包括输入接口电路、数据处理控制电路、实时时钟电路和输出接口电路，所述输入接口电路上设有Q种M个图像信息输入端，所述Q、N和M为正整数，且M>N；

所述相机单元的图像信息输出端连接所述输入接口电路的图像信息输入端，所述输入接口电路输出端连接所述数据处理控制电路的图像信息输入端，所述数据处理控制电路将N个并行相机单元的数据封装为串行数据，所述实时时钟电路与数据处理控制电路连接，为数据处理控制电路提供实时时间信息，所述数据处理控制电路输出端连接所述输出接口电路，所述输出接口电路通过光纤通道连接至上位机。

该多通道实时高清图像传输系统结构简单，可实现多个通道图像数据的串行传输，同时还可实现相机单元数量的灵活增减。

进一步的,所述数据处理控制电路的控制信号输出端连接所述相机单元,这实现了相机单元的集中控制。

本发明还提出了一种基于上述多通道实时高清图像传输系统的传输方法，包括以下步骤：

S1，所述图像传输板接收N个相机单元的数据流；

S2，所述图像传输板逐帧解出每个相机的数据中的图像原始数据；

S3，将每个相机单元的图像原始数据进行重新编码；

S4，每个相机单元解码后的图像数据分别存入FIFO缓存，缓存深度为Z帧图像；

S5，依次将各FIFO缓存中的对应的各相机单元的图像数据读出一帧图像的X行数据；

S6，给读出的X行图像数据增加时间戳信息、标识信息、长度信息、TCP/IP帧头部信息和纠错码信息，形成数据包，其中，时间戳信息包括年月日时分秒毫秒，标识信息包括相机单元编号、行计数器，长度信息为X行图像数据字节数，每帧图像形成P个数据包，其中P＝每帧图像的总行数/X；

S7，将每个相机通道的如步骤S6中所述的数据包交替间插存入FIFO缓存，缓存深度为Y个数据包；

S8，用高速时钟读出FIFO缓存的数据包，并发送给上位机；

S9，上位机通过光纤网卡接收数据包并将数据包中的数据恢复重组成完整的一帧图像。

该传输方法采用光纤通道传输数据，传输距离显著增加，成本显著降低，电磁辐射发射以及电磁抗干扰能力显著增强，且本方法中每个相机单元的图像数据在被图像传输板接收后都会进行解码，得出每个相机的数据中的图像原始数据，这使得该方法不受接口类型的限制，且得到图像原始数据后又加入了特定标识并经过串行化等处理，相机单元的数量可以灵活增减而不影响传输系统结构。

进一步的，该传输方法还包括步骤S10：将重组后的完整的一帧图像传送至后端软件处理。

进一步的，所述步骤S9包括以下步骤：

S9-1，上位机接收数据包，解出相机单元编号、行计数器、时间戳信息，根据相机单元编号；

S9-2，确定数据包中的图像行数据归属的相机单元；

S9-3，根据行计算器确定数据包中的图像行数据的顺序及起始位置；

S9-4，根据时间戳确定数据包中的图像行数据的拍摄时间；

S9-5，将数据包中的图像行数据组成完整的一帧图像。

该方法能快速准确地将一帧图像进行还原，实现图像数据的完整准确的传输。

进一步的，还包括相机控制的步骤：

上位机按照指定格式通过光纤的下行通道发送控制数据包给所述图像传输板，控制数据包内容包含相机单元编号，相机寄存器地址，相机寄存器值，读写标识，方向标识之一或任意组合；

所述图像传输板根据控制数据包信息，如为写操作，则将寄存器值写入相应相机单元的相应寄存器；如为读操作，则将相应相机单元的相应寄存器的值读出；

所述图像传输板将读出的寄存器值加入相机单元编号、相机寄存器地址、寄存器值、TCP/IP帧头部信息、纠错码，然后通过光纤传回上位机。

本方法实现了集中控制相机单元，延长了相机单元的可控制距离。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1和图2是该多通道实时高清图像传输系统的结构框图；

图3是图像数据传输过程流程图；

图4是上位机接收图像数据处理流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

如图1-2所示，本发明提供了一种多通道实时高清图像传输系统，包括N个相机单元和图像传输板，所述图像传输板包括输入接口电路、数据处理控制电路、实时时钟电路和输出接口电路，所述输入接口电路上设有Q种M个图像信息输入端，所述Q、N和M为正整数，且M>N。

所述相机单元的图像信息输出端连接所述输入接口电路的图像信息输入端，所述输入接口电路输出端连接所述数据处理控制电路的图像信息输入端，所述数据处理控制电路将N个并行相机单元的数据封装为串行数据，所述实时时钟电路与数据处理控制电路连接，为数据处理控制电路提供实时时间信息，所述数据处理控制电路的控制信号输出端连接所述相机单元，所述数据处理控制电路输出端连接所述输出接口电路，所述输出接口电路通过光纤通道连接至上位机。

输入接口电路为相机单元数据输入提供接口，根据相机单元的不同，可以有USB接口，以太网接口，CAMERALINK接口、LVDS接口之一或任意组合,本实施例中输入接口电路优选但不限于使用型号为DS90LV049TMT的接口芯片。

实时时钟电路优选但不限于使用型号为DS12CR887-33+的芯片，为数据处理控制电路提供精确到毫秒的实时时间信息，该信息作为时间戳标识被添加到图像数据中。

如图2所示，数据处理控制电路包括时钟单元、驱动单元、缓存单元和数据处理控制单元。输入接口电路输出端连接数据处理控制单元图像信息输入端，数据处理控制单元输出端连接所述上位机，缓存单元和数据处理控制单元双向连接，时钟单元连接驱动单元，驱动单元与数据处理控制单元连接，驱动单元还连接其它电路，如输入接口电路、输出接口电路等。缓存单元对数据进行缓存，时钟模块为整个系统提供工作时钟，驱动单元将时钟发送到其他电路部分。

其中，时钟单元优选但不限于为CDCM6208V1RGZ时钟芯片，驱动单元优选但不限于为ICS85314BGI-01LF驱动芯片,缓存单元优选但不限于为MT41K512M16HA-125缓存芯片，数据处理控制单元可选择FPGA，优选但不限于为XC7K325T-2FFG676I的FPGA芯片，负责数据的处理以及控制整个部件的运行，同时完成上位机指令解析，控制相机单元。

输出接口电路优选但不限于使用型号为AFBR-79EEPZ的接口芯片，为高速串行数据输出提供接口，具体形式为一个或多个支持40Gbps的QSFP光模块接口。

所述相机单元采用Cameralink接口，分别接在图像传输板上，相机单元同图像传输板在结构上可为一个整体。

如图3-4所示，该发明还提出了一种基于上述多通道实时高清图像传输系统的传输方法，包括以下步骤：

S1，所述图像传输板接收N个相机单元的数据流。

S2，所述图像传输板逐帧解出每个相机的数据中的图像原始数据。

S3，将每个相机单元的图像原始数据进行重新编码，编码成RAW、YUV或者RGB格式。

S4，每个相机单元解码后的图像数据分别存入FIFO缓存，缓存深度为Z帧图像。Z为正整数。

S5，依次将各FIFO缓存中的对应的各相机单元的图像数据读出一帧图像的X行数据。X为正整数。

S6，给读出的X行图像数据增加时间戳信息、标识信息、长度信息、TCP/IP帧头部信息和纠错码信息，形成数据包，其中，时间戳信息包括年月日时分秒毫秒，标识信息包括相机单元编号、行计数器，长度信息为X行图像数据字节数，每帧图像形成P个数据包，其中P＝每帧图像的总行数/X,且P为正整数。

S7，将每个相机通道的如步骤S6中所述的数据包交替间插存入FIFO缓存，缓存深度为Y个数据包。Y为正整数，作为优选的，Y与N相等，即如果图像传输板收到8个相机单元的数据，那么这里的缓存深度则优选为8个数据包。

S8，用高速时钟读出FIFO缓存的数据包，并发送给上位机。这里可通过相机单元的配置情况，即图像数据率来选用10Gbps、40Gbps或者100Gbps以太网链路传送到上位机。

S9，上位机接收数据包并将数据包中的数据恢复重组成完整的一帧图像。

具体方法为：

S9-1，上位机光纤网卡接收数据包，解出相机单元编号、行计数器、时间戳信息，根据相机单元编号；光纤网卡接口优选为10Gbps、40Gbps或者100Gbps接口。

S9-2，确定数据包中的图像行数据归属的相机单元。

S9-3，根据行计算器确定数据包中的图像行数据的顺序及起始位置。

S9-4，根据时间戳确定数据包中的图像行数据的拍摄时间。

S9-5，将数据包中的图像行数据组成完整的一帧图像。

S10，将重组后的完整的一帧图像传送至后端软件处理。

本实施例中，缓存深度Z优选为1帧图像，X优选为2。

当X等于2时，假设图像分辨率为2560*2048，那么长度信息为2行图像数据字节数，即5120字节，P＝2048/2＝1024。

具体以单个相机单元图像分辨率为2560*2048,图像帧率为30帧每秒,总共8个相机单元为例,8个相机单元的图像数据加上标识数据以及头尾信息数据后，总的数据速率约为RAW格式12Gbps，YUV格式18Gbps，RGB格式36Gbps，可以使用一条40Gbps的光纤链路传输,即使用一个40Gbps的QSFP模块传输。

如果此时再增加8个相机单元，那么RAW格式数据速率为24Gbps，YUV格式是36Gbps，RGB格式为72Gbps，那么RAW格式数据及YUV格式数据可使用一条40Gbps的光纤链路传输,即使用一个40Gbps的QSFP模块传输，RGB格式数据则使用两条40Gbps的光纤链路传输,即使用两个40Gbps的QSFP模块传输。

作为本方法的优选方案，该传输方法还包括相机控制的步骤，通过图像传输板，上位机可以查询或设置相机相关参数：

上位机按照指定格式通过光纤的下行通道发送控制数据包给所述图像传输板，控制数据包内容包含相机单元编号，相机寄存器地址，相机寄存器值，读写标识，方向标识之一或任意组合；

所述图像传输板根据控制数据包信息，如为写操作，则将寄存器值写入相应相机单元的相应寄存器；如为读操作，则将相应相机单元的相应寄存器的值读出；

所述图像传输板将读出的寄存器值加入相机单元编号、相机寄存器地址、寄存器值、TCP/IP帧头部信息、纠错码，然后通过光纤传回上位机。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (6)

1.一种多通道实时高清图像传输系统，其特征在于，，包括N个相机单元和图像传输板，所述图像传输板包括输入接口电路、数据处理控制电路、实时时钟电路和输出接口电路，所述输入接口电路上设有Q种M个图像信息输入端，所述Q、N和M为正整数，且M>N；

所述相机单元的图像信息输出端连接所述输入接口电路的图像信息输入端，所述输入接口电路输出端连接所述数据处理控制电路的图像信息输入端，所述数据处理控制电路将N个并行相机单元的数据封装为串行数据，所述实时时钟电路与数据处理控制电路连接，为数据处理控制电路提供实时时间信息，所述数据处理控制电路输出端连接所述输出接口电路，所述输出接口电路通过光纤通道连接至上位机。

2.根据权利要求1所述的多通道实时高清图像传输系统，其特征在于，所述数据处理控制电路的控制信号输出端连接所述相机单元。

3.一种基于权利要求1或2所述多通道实时高清图像传输系统的传输方法，其特征在于，包括以下步骤：

S1，所述图像传输板接收N个相机单元的数据流；

S2，所述图像传输板逐帧解出每个相机的数据中的图像原始数据；

S3，将每个相机单元的图像原始数据进行重新编码；

S4，每个相机单元解码后的图像数据分别存入FIFO缓存，缓存深度为Z帧图像；

S5，依次将各FIFO缓存中的对应的各相机单元的图像数据读出一帧图像的X行数据；

S6，给读出的X行图像数据增加时间戳信息、标识信息、长度信息、TCP/IP帧头部信息和纠错码信息，形成数据包，其中，时间戳信息包括年月日时分秒毫秒，标识信息包括相机单元编号、行计数器，长度信息为X行图像数据字节数，每帧图像形成P个数据包，其中P＝每帧图像的总行数/X；

S7，将每个相机通道的如步骤S6中所述的数据包交替间插存入FIFO缓存，缓存深度为Y个数据包；

S8，用高速时钟读出FIFO缓存的数据包，并发送给上位机；

S9，上位机接收数据包并将数据包中的数据恢复重组成完整的一帧图像。

4.根据权利要求3所述的传输方法，其特征在于，还包括步骤S10：将重组后的完整的一帧图像传送至后端软件处理。

5.根据权利要求3所述的传输方法，其特征在于，所述步骤S9包括以下步骤：

S9-1，上位机光纤网卡接收数据包，解出相机单元编号、行计数器、时间戳信息，根据相机单元编号；

S9-2，确定数据包中的图像行数据归属的相机单元；

S9-3，根据行计算器确定数据包中的图像行数据的顺序及起始位置；

S9-4，根据时间戳确定数据包中的图像行数据的拍摄时间；

S9-5，将数据包中的图像行数据组成完整的一帧图像。

6.根据权利要求3所述的传输方法，其特征在于，还包括相机控制的步骤：

上位机按照指定格式通过光纤的下行通道发送控制数据包给所述图像传输板，控制数据包内容包含相机单元编号，相机寄存器地址，相机寄存器值，读写标识，方向标识之一或任意组合；

所述图像传输板根据控制数据包信息，如为写操作，则将寄存器值写入相应相机单元的相应寄存器；如为读操作，则将相应相机单元的相应寄存器的值读出；

所述图像传输板将读出的寄存器值加入相机单元编号、相机寄存器地址、寄存器值、TCP/IP帧头部信息、纠错码，然后通过光纤传回上位机。