CN111698386B - 一种多路图像数据同步发送装置、接收装置和传输系统 - Google Patents

Abstract

本发明涉及一种多路图像数据前端同步发送装置，包括：图像接入与合并传输模块，用于完成多路图像数据的同步接入与合并；图像帧编号添加模块，用于对合并后的图像数据依次添加图像帧编号；图像行/帧校验添加模块，用于对图像数据添加行/帧校验码；至少两条图像发送通道，用于完成多路图像的同步输出，其中，每条图像发送通道中传输的图像数据完全相同。本发明还涉及一种多路图像数据后端同步接收装置和一种多路图像数据的远距离同步传输系统。本发明对非压缩的多路图像数据能够提高同步传输可靠性。

Description

一种多路图像数据同步发送装置、接收装置和传输系统

技术领域

本发明涉及图像数据远距离同步传输技术领域，特别是涉及一种多路图像数据的远距离同步传输系统。

背景技术

基于图像传感器的被动视觉在工业检测、智能监控等领域已经得到广泛应用。基于两个图像传感器的双目立体视觉传感器和多个图像传感器的多目立体视觉传感器近几年越来越多地被研究和应用。图像传感器数据在具有丰富信息量的同时，其超大数据量的传输问题和处理问题也同时成为影响其应用推广的不利因素，而双目或多目的图像传感器使得该问题被成倍放大，更增加了应用的困难。

现有的图像传输技术方案有：(1)视频压缩传输方案，该方案降低了视频传输的带宽要求，但同时有两个弊端：一是压缩过程造成视频数据信息丢失从而影响后期计算效果，二是压缩解压缩过程增加了系统延时从而影响系统实时性指标；(2)基于千兆以太网的方案，该方案实际最大传输带宽在600Mb左右，将多路视频拼接后传输解决了同步传输的问题，但是各路视频的分辨率、帧率或颜色深度严重受限；(3)基于USB3.0的方案，该方案的实际最大传输带宽不到3000Mb，同样采用图像拼合的方法解决同步传输问题。该方案相对于千兆以太网方案有明显提升，但仍不能满足非压缩双目、多目图像传感器的带宽要求，同时USB3.0的传输距离较短，通信带宽与接收端PC的性能要求相关性较大。(4)基于万兆以太网或者USB3.1的方案，理论传输带宽为10Gb，目前还都处于推广阶段，且后者的传输距离也很有限。

在振动和电磁干扰等比较恶劣的工况环境下，基于多目图像传感器完成智能工业检测、智能监控等应用，除了需要解决多目图像传感器的同步采集技术外，还需要解决多个图像传感器数据向后端运算单元传输时面临的同步传输问题，并满足多个图像传感器数据传输对带宽、实时性和可靠性要求。

发明内容

本发明所要解决的技术问题是提供一种多路图像数据的远距离同步传输系统，对非压缩的多路图像数据能够提高同步传输可靠性。

本发明解决其技术问题所采用的技术方案是：提供一种多路图像数据前端同步发送装置，包括：图像接入与合并传输模块，用于完成多路图像数据的同步接入与合并传输；图像帧编号添加模块，用于对合并后的图像数据依次添加图像帧编号；图像行/帧校验添加模块，用于对图像数据添加行/帧校验码；至少两条图像发送通道，用于完成多路图像的同步输出，其中，每条图像发送通道中传输的图像数据完全相同。

所述图像接入与合并传输模块在完成多路图像数据的同步接入与合并传输时，接入图像的颜色通道数C_in低于输出图像的颜色通道数C_out，合并过程将接入图像数据的N_in个像素的数据合并为输出图像的N_out个像素，其中，C_in×N_in＝C_out×N_out。

所述图像接入与合并传输模块在完成多路图像数据的同步接入与合并传输时，将多路图像数据的像素数据合成为输出图像的“超像素”，所述“超像素”对应“传输相邻”的一个或多个具有多个颜色通道的像素数据，所述“传输相邻”指图像行内的水平方向相邻与行间的首末相邻。

所述图像帧编号添加模块与图像行/帧校验添加模块之间还包括SDI数据校正模块，所述SDI数据校正模块用于以字节为单位对添加图像帧编号的图像数据进行遍历，并将图像数据中的0xff的编码改为0xfe编码，将0x00编码改为0x01编码。

所述图像接入与合并传输模块在图像合并过程中的数据单元以像素为单位时，将多路接入图像的第N个像素合成为输出图像的第N个“超像素”，并最终完成合并图像数据传输。

所述图像接入与合并传输模块在图像合并过程中的数据单元以帧为单位时，将每路图像数据的“传输相邻”像素合成“超像素”，输出图像以“超像素”形式完成第一路图像数据的传输后，再传输第二路图像数据，直到多路图像数据传输完成。

所述图像接入与合并传输模块在图像合并过程中数据单元为整行时，将每路图像数据的“传输相邻”像素合成“超像素”，输出图像以“超像素”形式依次完成多路图像第一行数据的传输后，紧接着以同样的形式，依次完成多路图像数据第二行数据的传输，并直到完成多路图像整帧数据的传输。

本发明解决其技术问题所采用的技术方案是：还提供一种多路图像数据后端同步接收装置，包括：至少两条图像采集通道，用于完成多路图像数据的并行独立采集，且每条图像采集通道均具有独立的数据缓冲区；图像行/帧校验模块，用于对数据缓冲区中的图像数据进行校验；图像筛选模块，用于从通过校验的图像数据中筛选输出有效图像行和图像帧；图像拆分重组模块，用于对筛选出的图像行和图像帧作拆分与重组，从而得到多路同步图像数据。

所述图像拆分重组模块在数据单元以像素为单位时，依次以多路图像原始像素为单位拆分筛选图像，并对拆分得到的像素数据进行重组得到多路图像数据。

所述图像拆分重组模块在数据单元以帧为单位时，依次以多路图像原始帧为单位拆分筛选图像，拆分后直接得到多路图像的整帧数据。

所述图像拆分重组模块在数据单元以行为单位时，依次以多路图像原始行为单位拆分筛选图像，并对拆分得到图像行数据进行重组得到多路图像数据。

本发明解决其技术问题所采用的技术方案是：提供多路图像数据的远距离同步传输系统，包括上述的前端同步发送装置和上述的后端同步接收装置，所述前端同步发送装置的图像发送通道通过SDI线缆与所述后端同步接收装置的图像采集通道对应连接；所述前端同步发送装置通过广播式的多通道传输方式；所述后端同步接收装置对多通道并行接收到的多通道数据进行筛选。

有益效果

由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：本发明基于SDI传输协议，通过建立多目图像传感器数据的前端同步发送装置和后端同步接收装置，在多个图像传感器同步采集数据的基础上，对非压缩的多路图像数据进行发送端同步处理和接收端同步处理，达到提高同步传输可靠性的目的。本发明利用多路图像的互补传输方式降低了系统故障率，提高了传输的可靠性。同时，多路图像的合并与拆分利用输出图像的两个或多个通道，综合时延及后端图像拆分效率要求，可选择合适的应用方案，实现方式灵活多变。

附图说明

图1是多路图像数据的远距离同步传输系统的结构示意图；

图2是前端同步发送装置的结构示意图；

图3是后端同步接收装置处理流程图；

图4是以像素为单位的多路图像合并示意图；

图5是以帧为单位的两路灰度图像合并为一路相同分辨率的YUV422图像的示意图；

图6是以行为单位的两路灰度图像合并为一路相同分辨率的YUV422图像的示意图；

图7是以行为单位的四路720P灰度图像合并一路1080PYUV422图像的示意图。

具体实施方式

下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

本发明的实施方式涉及一种多路图像数据的远距离同步传输系统，如图1所示，包括前端同步发送装置和后端同步接收装置，所述前端同步发送装置的图像发送通道通过SDI线缆与所述后端同步接收装置的图像采集通道对应连接。该系统在多个图像传感器同步采集数据的基础上，对非压缩的多路图像数据进行发送端同步处理、接收端同步处理和传输环节的传输介质要求，达到提高同步传输可靠性的目的。

如图2所示，在多目图像传感器的安装位置，配置基于FPGA的前端处理与发送模块，该模块包括图像接入与合并传输模块，用于完成多路图像数据的同步接入与合并；图像帧编号添加模块，用于对合并后的图像数据依次添加图像帧编号；图像行/帧校验添加模块，用于对图像数据添加行/帧校验码；至少两条图像发送通道，用于完成多路图像的同步输出，其中，每条图像发送通道中传输的图像数据完全相同。

本实施方式中，图像接入与合并传输模块在完成多路图像数据的同步接入与合并传输时，接入图像的颜色通道数C_in低于输出图像的颜色通道数C_out，合并过程将接入图像数据的N_in个像素的数据合并为输出图像的N_out个像素，其中，C_in×N_in＝C_out×N_out。

本实施方式中，视频传输数据数据流中不允许出现0xff和0x00，为确保图像校验的有效性，所述图像帧编号添加模块与图像行/帧校验添加模块之间还包括SDI数据校正模块，所述SDI数据校正模块用于以字节为单位对添加图像帧编号的图像数据进行遍历，并将图像数据中的0xff的编码改为0xfe编码，将0x00编码改为0x01编码。同时图像帧编号添加模块和图像行/帧校验添加模块在添加的图像帧编号和图像行/帧检验码时以特定的编码方式避开0xff编码和0x00编码。

本实施方式中后端同步接收装置包括：至少两条图像采集通道，用于完成多路图像数据的并行独立采集，且每条图像采集通道均具有独立的数据缓冲区；图像行/帧校验模块，用于对数据缓冲区中的图像数据进行校验；图像筛选模块，用于从通过校验的图像数据中筛选输出有效图像行和图像帧；图像拆分重组模块，用于对筛选出的图像行和图像帧作拆分与重组，从而得到多路同步图像数据。如图3所示，后端同步接收装置读取数据缓冲区的数据，并以图像行或以图像帧为单位进行校验并通过比较筛选输出有效图像行和图像帧，并最终完成图像分拆、重组和显示。

本实施方式中，图像接入与合并传输模块在完成多路图像数据的同步接入与合并传输时，将多路图像数据的像素数据合成为输出图像的“超像素”，所述“超像素”对应“传输相邻”的一个或多个具有多个颜色通道的像素数据，所述“传输相邻”指图像行内的水平方向相邻与行间的首末相邻。图像接入与合并传输模块在对多路图像数据进行合并时，各路图像数据需要划分数据单元。具体如下：

图4为合并过程中数据单元为像素时，合并两路灰度图为一路YUV422图(仅用于传输目的，无实际意义)的示意图。合并时，将两路图像的第N个灰度像素合并在一起作为合并后图像的第N个YUV422格式的像素，得到一路合并的输出图像数据。拆分过程与合并过程相反，具体为：将一路接收和筛选过的图像数据中的N个像素以原始图像像素为单位进行拆分，并对拆分后的图像数据进行重组得到多路图像数据。

图5为合并过程中数据单元为整帧时，合并两路灰度图为一路YUV422图(仅用于传输目的，无实际意义)的示意图。合并时，一路灰度图像的所有像素依次合并为YUV422图像并作为合并后的图像数据前半帧，另一路灰度图像的所有像素依次合并为YUV422图像并作为合并后图像数据的后半帧，并最终得到一路合并图像数据。拆分过程与合并过程相反，具体为：将接收到的一路YUV422图像数据分为前半帧和后半帧，从内存的角度，地址范围的前一半对应了一路灰度数据，地址范围的后一半对应另一路灰度数据，从而得到分离的两路灰度图像数据。

图6为合并过程中数据单元为整行时，合并两路灰度图为一路YUV422图(仅用于传输目的，无实际意义)的示意图。合并时，将多路图像数据中的每一路图像数据分为M行，将每一路图像数据中的两个相邻灰度像素数据填充为一个YUV422像素数据(仅为数据填充)，则合并后每路图像的水平分辨率减半的同时，颜色通道加倍。合并后的YUV422图像在满足SDI传输协议的情况下，可通过SDI发送图像数据。拆分过程与合并过程相反，具体为：将一路接收和筛选过的YUV422图像数据按照图像数据的路数拆分成M行，每一行的前半行数据对应一路灰度数据，后半行数据对应另一路灰度数据，以行为单位进行数据进行拆分重组，得到多路图像数据。

多路图像合并时，各路图像数据需要划分数据单元，理论上，数据单元以像素为单位时合并过程的时延最小，数据单元以帧为单位时合并过程时延最大。多路图像拆分时，后端接收装置对应前端发送装置的合并过程，数据单元以像素为单位进行合并时，每一路的图像数据在DDR中间隔存储，CPU单次读DDR仅能得到一个像素数据，拆分效率较低，需要基于FPGA平台实现数据接收与拆分；数据单元以帧为单位进行合并时，每一路的图像数据在DDR中连续存储，CPU通过连续读写DDR即可实现多路图像拆分，拆分效率最高。因此，图4所示的合并方法传输时延最低，但需要后端运算单元搭载基于FPGA实现的多路图像传感器数据采集，并进行数据单元为像素的数据拆分还原；图5所示的合并方法对后端拆分效率最高，但对前端数据缓存要求要，且同步性较差；图6所示的合并方法兼顾时延和后端图像拆分效率，CPU一次读DDR可以得到一整行的图像数据，拆分效率较高。

图7为合并过程中数据单元为整行时，合并四路720P灰度图为一路1080PYUV422图(仅用于传输目的，无实际意义)的示意图，输入的四路灰度图分别记为A/B/C/D，A-L1表示A图第一行数据，A-L2表示A图第二行数据，依次类推。四路720P灰度图的三行数据量与一路1080PYUV422四行的数据量相同。1080PYUV422九行的数据格式如图7所示，其中包括一行的填充数据。整帧1080P行包括120个这样的数据包。其拆分过程与合并过程相反。此时CPU一次读DDR可以得到一整行的图像数据，拆分效率较高。

不难发现，多路图像的合并与拆分方式的选择，需要综合时延及后端图像拆分效率要求，选择合适的应用方案，实现方式灵活多变。

本实施方式采用多路图像的互补传输方法，如图2所示，FPGA将处理后的图像信号在两个独立的图像发送通道相位级同步发送。如图1所示，当SDI线缆等长时，由于信号在SDI线缆中的传输速度相同，则图像数据同步到达后端装置的多通道图像采集通道，多通道图像采集通道并行采集来自两个图像发送通道的并将图像数据缓存至各自的缓冲区。

该方法采用了备份传输机制，在两个以上的通道中传输完全相同的数据内容，互为备份，以增加物理传输通道为代价，提高传输的可靠性。该方法不同于以太网的重发机制，保障了传输通道的实时性要求。

多路视频的融合要求每路图像均完整有效。假设单通传输故障率为e，若每个图像传感器对应一路SDI传输通道，N路视频的故障率为N×e，而互补传输方法的故障率为e^N，如此可有效降低图像传输画质受损问题。假设单路视频传输故障率e＝10％，如使用四路视频传输分别传输的方案，则传统方式的传输系统总故障率为40％，而使用本发明的双路互补传输方案，则传输系统总故障率降低为1％，使用三路互补传输方案则可进一步降低为0.1％。同样地，系统传输故障率会随着单通道故障率的降低呈现指数下降。

由此可见，本发明基于SDI传输协议，通过建立多目图像传感器数据的前端同步发送装置和后端同步接收装置，在多个图像传感器同步采集数据的基础上，对非压缩的多路图像数据进行发送端同步处理和接收端同步处理，达到提高同步传输可靠性的目的。本发明利用多路图像的互补传输方式降低了系统故障率，提高了传输的可靠性。

Claims (10)

1.一种多路图像数据前端同步发送装置，其特征在于，包括：图像接入与合并传输模块，用于完成多路图像数据的同步接入与合并传输；图像帧编号添加模块，用于对合并后的图像数据依次添加图像帧编号；图像行/帧校验添加模块，用于对图像数据添加行/帧校验码；至少两条图像发送通道，用于完成多路图像的同步输出，其中，每条图像发送通道中传输的图像数据完全相同；所述图像接入与合并传输模块在完成多路图像数据的同步接入与合并传输时，将多路图像数据的像素数据合成为输出图像的“超像素”，所述“超像素”指对应“传输相邻”的一个或多个具有多个颜色通道的像素数据，所述“传输相邻”指图像行内的水平方向相邻与行间的首末相邻。

2.根据权利要求1所述的多路图像数据前端同步发送装置，其特征在于，所述图像接入与合并传输模块在完成多路图像数据的同步接入与合并传输时，接入单路图像的颜色通道数C_in低于输出图像的颜色通道数C_out，合并过程将接入的单路图像数据的N_in个像素的数据合并为输出图像的N_out个像素，其中，C_in×N_in＝C_out×N_out。

3.根据权利要求1所述的多路图像数据前端同步发送装置，其特征在于，所述图像帧编号添加模块与图像行/帧校验添加模块之间还包括SDI数据校正模块，所述SDI数据校正模块用于以字节为单位对添加图像帧编号的图像数据进行遍历，并将图像数据中的0xff的编码改为0xfe编码，将0x00编码改为0x01编码。

4.根据权利要求1所述的多路图像数据前端同步发送装置，其特征在于，所述图像接入与合并传输模块在图像合并过程中的数据单元以像素为单位时，将多路接入图像的第N个像素合成为输出图像的第N个“超像素”，并最终完成合并图像数据传输。

5.根据权利要求1所述的多路图像数据前端同步发送装置，其特征在于，所述图像接入与合并传输模块在图像合并过程中的数据单元以帧为单位时，将每路图像数据的“传输相邻”像素合成“超像素”，输出图像以“超像素”形式完成第一路图像数据的传输后，再传输第二路图像数据，直到多路图像数据传输完成。

6.根据权利要求1所述的多路图像数据前端同步发送装置，其特征在于，所述图像接入与合并传输模块在图像合并过程中数据单元为整行时，将每路图像数据的“传输相邻”像素合成“超像素”，输出图像以“超像素”形式依次完成多路图像第一行数据的传输后，紧接着以同样的形式，依次完成多路图像数据第二行数据的传输，并直到完成多路图像整帧数据的传输。

7.一种多路图像数据的远距离同步传输系统，其特征在于，包括如权利要求1-6中任一所述的前端同步发送装置、以及后端同步接收装置，所述前端同步发送装置的图像发送通道通过SDI线缆与所述后端同步接收装置的图像采集通道对应连接；所述前端同步发送装置通过广播式的多通道传输方式；所述后端同步接收装置对多通道并行接收到的多通道数据进行筛选；所述后端同步接收装置包括：至少两条图像采集通道，用于完成多路图像数据的并行独立采集，且每条图像采集通道均具有独立的数据缓冲区；图像行/帧校验模块，用于对数据缓冲区中的图像数据进行校验；图像筛选模块，用于从通过校验的图像数据中筛选输出有效图像行和图像帧；图像拆分重组模块，用于对筛选出的图像行和图像帧作拆分与重组，从而得到多路同步图像数据。

8.根据权利要求7所述的多路图像数据的远距离同步传输系统，其特征在于，所述图像拆分重组模块在数据单元以像素为单位时，依次以多路图像原始像素为单位拆分筛选图像，并对拆分得到的像素数据进行重组得到多路图像数据。

9.根据权利要求7所述的多路图像数据的远距离同步传输系统，其特征在于，所述图像拆分重组模块在数据单元以帧为单位时，依次以多路图像原始帧为单位拆分筛选图像，拆分后直接得到多路图像的整帧数据。

10.根据权利要求7所述的多路图像数据的远距离同步传输系统，其特征在于，所述图像拆分重组模块在数据单元以行为单位时，依次以多路图像原始行为单位拆分筛选图像，并对拆分得到图像行数据进行重组得到多路图像数据。

Images