CN117278761B - 车载视频传输系统及方法 - Google Patents

Abstract

本发明公开了一种车载视频传输系统及方法，包括：多个AVT解码器、现场可编程门阵列FPGA和系统级芯片SOC；AVT解码器与FPGA连接；FPGA与SOC连接；AVT解码器，用于对各AVT相机输出的压缩视频进行解码，得到解码视频；FPGA，用于对各AVT解码器得到的解码视频进行图像处理，得到至少一个视频流；SOC，用于对FPGA得到的各视频流分别进行编码，分别得到各视频流对应的编码视频。由此可以看出，本发明先基于FPGA对视频进行处理得到视频流再传输到SOC，处理效率远大于软件处理，并且基于SOC对视频流进行编码时使用的是硬件编码引擎，效率远高于核心处理单元的软件编码，进一步提高数据传输效率。

Description

车载视频传输系统及方法

技术领域

本发明涉及车辆技术领域，特别涉及一种车载视频传输系统及方法。

背景技术

图像质量、可靠性、系统成本是车载视觉系统最重要的评估指标，但三者之间不可避免存在着对立，一般而言，视频质量越高意味着数据量越大，就是视频传输带宽加大，所带来的问题便是：在同等条件下传输距离变短，或者对传输线材的质量要求变高。因此，对于车载视频系统传输方案的选择，需要对上述三个要素定量分析和综合权衡。

目前的技术，一般是视频先经过压缩，传输至车载视觉系统的核心处理单元后，再进行解码和视频处理后，最后传输到显示终端上面。这种方式下，必然带来延时加大的问题。

发明内容

鉴于上述问题，本发明提供一种克服上述问题或者至少部分地解决上述问题的一种车载视频传输系统及方法。

第一方面，一种车载视频传输系统，包括：多个AVT解码器、现场可编程门阵列FPGA和系统级芯片SOC；

所述AVT解码器与所述现场可编程门阵列FPGA连接；

所述现场可编程门阵列FPGA与所述系统级芯片SOC连接；

所述AVT解码器，用于对各AVT相机输出的压缩视频进行解码，得到解码视频；

所述现场可编程门阵列FPGA，用于对各所述AVT解码器得到的解码视频进行图像处理，得到至少一个视频流；

所述系统级芯片SOC，用于对所述现场可编程门阵列FPGA得到的各视频流分别进行编码，分别得到各视频流对应的编码视频。

可选的，在某些可选的实施方式中，针对任一所述AVT解码器，具体用于对2路所述AVT相机输出的压缩视频进行解码，得到所述解码视频，其中，所述解码视频为2路BT1120格式的视频数据，各所述AVT解码器所对应的AVT相机不重复。

可选的，在某些可选的实施方式中，针对任一所述AVT解码器，还用于将解码得到解码视频通过2路数据通道传输给所述现场可编程门阵列FPGA。

可选的，在某些可选的实施方式中，所述现场可编程门阵列FPGA，具体用于对各所述AVT解码器得到的解码视频中的第一组解码视频进行图像裁剪和码率调节，从而得到至少一个视频流。

可选的，在某些可选的实施方式中，所述现场可编程门阵列FPGA，还用于对各所述AVT解码器得到的解码视频中的第二组解码视频进行图像拼接和码率调节，从而得到至少一个视频流。

可选的，在某些可选的实施方式中，所述系统还包括：多个第一存储芯片；

所述第一存储芯片外挂于所述现场可编程门阵列FPGA；

所述第一存储芯片，用于实时缓存所述视频流。

可选的，在某些可选的实施方式中，所述系统还包括：第一非易失性存储介质SPIFlash；

所述第一非易失性存储介质SPI Flash外挂于所述现场可编程门阵列FPGA；

所述第一非易失性存储介质SPI Flash，用于存储逻辑固件，以便于所述现场可编程门阵列FPGA从所述第一非易失性存储介质SPI Flash中加载逻辑固件。

可选的，在某些可选的实施方式中，所述系统级芯片SOC，具体用于根据预先设置的编码核，对所述现场可编程门阵列FPGA得到的各视频流分别进行H.264编码或H.265编码，从而得到各视频流对应的编码视频。

可选的，在某些可选的实施方式中，所述系统还包括：多个第二存储芯片；

所述第二存储芯片外挂于所述系统级芯片SOC；

所述第二存储芯片，用于运行程序、缓存数据和发送缓存。

可选的，在某些可选的实施方式中，所述系统还包括：第二非易失性存储介质eMMCFlash；

所述第二非易失性存储介质eMMC Flash外挂于所述系统级芯片SOC；

所述第二非易失性存储介质eMMC Flash，用于存储程序和程序固件。

第二方面，一种车载视频传输方法，包括：

对各AVT相机输出的压缩视频进行解码，得到解码视频；

对各所述解码视频进行图像处理，得到至少一个视频流；

对得到的各所述视频流分别进行编码，分别得到各视频流对应的编码视频。

借由上述技术方案，本发明提供的一种车载视频传输系统及方法，包括：多个AVT解码器、现场可编程门阵列FPGA和系统级芯片SOC；所述AVT解码器与所述现场可编程门阵列FPGA连接；所述现场可编程门阵列FPGA与所述系统级芯片SOC连接；所述AVT解码器，用于对各AVT相机输出的压缩视频进行解码，得到解码视频；所述现场可编程门阵列FPGA，用于对各所述AVT解码器得到的解码视频进行图像处理，得到至少一个视频流；所述系统级芯片SOC，用于对所述现场可编程门阵列FPGA得到的各视频流分别进行编码，分别得到各视频流对应的编码视频。由此可以看出，本发明先基于FPGA对视频进行处理得到视频流再传输到SOC，处理效率远大于软件处理，并且基于SOC对视频流进行编码时使用的是硬件编码引擎，效率远高于核心处理单元的软件编码，进一步提高数据传输效率。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明提供的第一种车载视频传输系统的结构示意图；

图2示出了本发明提供的第二种车载视频传输系统的结构示意图；

图3示出了本发明提供的第三种车载视频传输系统的结构示意图；

图4示出了本发明提供的第四种车载视频传输系统的结构示意图；

图5示出了本发明提供的一种车载视频传输方法的流程图；

图6示出了本发明提供的一种电子设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

如图1所示，本发明提供了一种车载视频传输系统，包括：多个AVT解码器100、现场可编程门阵列FPGA和系统级芯片SOC；

所述AVT解码器100与所述现场可编程门阵列FPGA连接；

所述现场可编程门阵列FPGA与所述系统级芯片SOC连接；

所述AVT解码器100，用于对各AVT相机输出的压缩视频进行解码，得到解码视频；

所述现场可编程门阵列FPGA，用于对各所述AVT解码器100得到的解码视频进行图像处理，得到至少一个视频流；

所述系统级芯片SOC，用于对所述现场可编程门阵列FPGA得到的各视频流分别进行编码，分别得到各视频流对应的编码视频。

可选的，本发明所说的AVT解码器100指的是：基于先进视频传输技术（AdvancedVideo Transfer）制造的解码器，用于对AVT相机输出的压缩视频进行解码。

可选的，本发明所说的现场可编程门阵列FPGA是在PAL（可编程阵列逻辑）和GAL（通用阵列逻辑）等可编程器件的基础上进一步发展的产物，属于本领域的公知技术，本发明对此不做过多描述，具体请参见本领域的相关说明。

可选的，本发明所说的系统级芯片SOC，其英文全称为：System on Chip。本发明对于系统级芯片SOC的型号和功能等不做具体限制，任何可行的芯片均属于本发明的保护范围。

可选的，如图1所示，在某些可选的实施方式中，针对任一所述AVT解码器100，具体用于对2路所述AVT相机输出的压缩视频进行解码，得到所述解码视频，其中，所述解码视频为2路BT1120格式的视频数据，各所述AVT解码器100所对应的AVT相机不重复。

可选的，如图1所示，本发明可以包括8路AVT相机，一个AVT解码器100处理2路AVT相机的压缩视频。8路AVT相机可以基于SDI1/2标准，使用Cat5的双绞线传输压缩视频给AVT解码器100，本发明对此不做限制。

可选的，如图1所示，在某些可选的实施方式中，针对任一所述AVT解码器100，还用于将解码得到解码视频通过2路数据通道传输给所述现场可编程门阵列FPGA。

可选的，任一AVT解码器100均可以通过2路8bit（位）的数据传输通道，将BT1120格式的视频数据传输给现场可编程门阵列FPGA，本发明对此不做限制。

可选的，在某些可选的实施方式中，所述现场可编程门阵列FPGA，具体用于对各所述AVT解码器100得到的解码视频中的第一组解码视频进行图像裁剪和码率调节，从而得到至少一个视频流。

可选的，在某些可选的实施方式中，所述现场可编程门阵列FPGA，还用于对各所述AVT解码器100得到的解码视频中的第二组解码视频进行图像拼接和码率调节，从而得到至少一个视频流。

可选的，图像裁剪、图像拼接和码率调节的技术概念均属于本领域公知的技术概念，本发明对此不做过多描述，具体请参见本领域的相关说明。

可选的，以8路AVT相机为例，分别分布在车辆的前后左右。其中，1个前视AVT相机、1后视AVT相机、4个环视AVT相机、2个盲区AVT相机。对于前视AVT相机、后视AVT相机和2个盲区AVT相机的解码视频而言，分别可以理解为本发明所说的第一组解码视频。即，本发明可以对前视AVT相机、后视AVT相机和2个盲区AVT相机的解码视频分别进行图像裁剪和码率调节，从而分别得到对应的视频流。

对于4个环视AVT相机的解码视频而言，可以理解为本发明所说的第二组解码视频。即，本发明可以对4个环视AVT相机的解码视频进行图像拼接和码率调节，从而得到一个视频流，本发明对此不做限制。

如图2所示，在某些可选的实施方式中，所述系统还包括：多个第一存储芯片DDR3-SDRAM；

所述第一存储芯片DDR3-SDRAM外挂于所述现场可编程门阵列FPGA；

所述第一存储芯片DDR3-SDRAM，用于实时缓存所述视频流。

可选的，图2中的现场可编程门阵列FPGA外挂4颗存储大小为2GB的第一存储芯片DDR3-SDRAM，用于缓存视频流及图像，本发明对此不做限制。

可选的，第一存储芯片DDR3-SDRAM具体可以通过64bit（位）的数据传输通道与现场可编程门阵列FPGA连接，本发明对此不做限制。

可选的，FPGA进行图像处理时，完成图像处理后的数据先存在DDR3-SDRAM中，然后形成新的数据包后通过图2中的PCIE3.0x4接口发出去。该接口用于FPGA和SOC之间进行视频数据传输，理论带宽25Gbps，满足8路1080p 30帧的数据传输。

如图3所示，在某些可选的实施方式中，所述系统还包括：第一非易失性存储介质SPI Flash；

所述第一非易失性存储介质SPI Flash外挂于所述现场可编程门阵列FPGA；

所述第一非易失性存储介质SPI Flash，用于存储逻辑固件，以便于所述现场可编程门阵列FPGA从所述第一非易失性存储介质SPI Flash中加载逻辑固件。

可选的，FPGA的逻辑程序需要存储在外部SPI Flash中。FPGA的加载模式有主模式和从模式，本发明可以采用主模式。在主模式下，上电完成后，FPGA可以自行从SPI Flash中去读取逻辑固件，然后加载到FPGA内部的SRAM（Static Random-Access Memory，静态随机存取存储器）中以实现FPGA的功能。

需要说明的是：PCIE（peripheral component interconnect express，高速串行计算机扩展总线标准）总线上设备分为PCIE ROOT和PCIE EndPoint。本发明的FPGA作为PCIE EndPoint，PCIE EndPoint是指PCIE总线上的设备，包括SSD（Solid State Disk或Solid State Drive，固态硬盘）、网卡和显卡等终端设备。这些设备可以通过交换芯片或直接连接到根系复合体（root complex，RC）上，用于扩展链路，为挂在它上面的设备提供路由和转发服务。这些设备都支持高速数据传输，并且支持多个设备同时工作。

可选的，如图3所示，FPGA和SOC之间的在线升级并口，主要是用于升级FPGA的逻辑程序。SOC做主，SOC发起通过并口把逻辑数据写入到FPGA外挂的SPI Flash中去。

可选的，在某些可选的实施方式中，所述系统级芯片SOC，具体用于根据预先设置的编码核，对所述现场可编程门阵列FPGA得到的各视频流分别进行H.264编码或H.265编码，从而得到各视频流对应的编码视频。

可选的，SOC内部有H.254编码和H.265编码的编码核，均为硬核。H.254编码和H.265编码的编码过程是大致如下：

1.分块。一帧画面首先被切分成多个互不重叠的块状区域，这些区域被称为编码单元（H.264称为宏块），然后分别传输给编码器。

2.帧内预测。图像序列的第一个画面（以及每一个可被拖放的帧）只使用帧内预测编码（只使用同一帧中其它区域进行预测，不依赖其他帧）。

3.帧间预测、其它帧中的块大多数使用帧间预测编码。这个过程中，编码器通过旁路传输预测模式信息和运动矢量（MV）。

4.对残差进行变换，以及对变换系数进行量化、扫描。

5.对量化后的变换系数、运动信息、预测信息等进行熵编码，形成压缩的编码视频流。

可选的，如上所述，以1个前视AVT相机、1后视AVT相机、4个环视AVT相机和2个盲区AVT相机为例。其中，1个前视AVT相机对应一个视频流、1后视AVT相机对应一个视频流、4个环视AVT相机对应一个视频流，以及2个盲区AVT相机对应一个视频流。即，一共4个视频流，因此，本发明对于这4个视频流可以进行H.264编码或H.265编码，从而分别得到相应的4个编码视频，本发明对此不做限制。

可选的，本发明可以实现RTSP服务器。RTSP服务器是实时流传输协议（Real TimeStreaming Protocol，RTSP）中涉及的服务器。RTSP是一个应用层协议，位于TCP/IP协议体系结构上，用于通过IP网络有效地传送多媒体数据。RTSP服务器可以控制声音或影像的多媒体串流协议，并允许同时多个串流需求控制。传输时所用的网络通讯协定并不在其定义的范围内，服务器端可以自行选择使用TCP或UDP来传送串流内容。RTSP的语法和运作跟HTTP 1.1类似，但并不特别强调时间同步，因此比较能容忍网络延迟。

可选的，在得到编码视频之后，本发明可以通过千兆以太网口将编码视频传输至显示器进行播放，本发明对此不做限制。

如图4所示，在某些可选的实施方式中，所述系统还包括：多个第二存储芯片LPDDR4-SDRAM；

所述第二存储芯片LPDDR4-SDRAM外挂于所述系统级芯片SOC；

所述第二存储芯片LPDDR4-SDRAM，用于运行程序、缓存数据和发送缓存。

可选的，如图4所示，系统级芯片SOC可以外挂2个存储大小为4GB的第二存储芯片LPDDR4-SDRAM，本发明对此不做限制。

可选的，如图4所示，在某些可选的实施方式中，所述系统还包括：第二非易失性存储介质eMMC Flash；

所述第二非易失性存储介质eMMC Flash外挂于所述系统级芯片SOC；

所述第二非易失性存储介质eMMC Flash，用于存储程序和程序固件。

可选的，SOC外挂1颗eMMC Flash用于存储固件、系统和应用程序。SOC还可以外接2个千兆PHY芯片实现视频的传输，以及外接1个RS232收发器用于串口调试，外接1个USB接口用于调试。

如图5所示，本发明提供了一种车载视频传输方法，包括：S100、S200和S300；

S100、对各AVT相机输出的压缩视频进行解码，得到解码视频；

S200、对各所述解码视频进行图像处理，得到至少一个视频流；

S300、对得到的各所述视频流分别进行编码，分别得到各视频流对应的编码视频。

可选的，在某些可选的实施方式中，所述S200，包括：

对各所述AVT解码器得到的解码视频中的第一组解码视频进行图像裁剪和码率调节，从而得到至少一个视频流。

可选的，在某些可选的实施方式中，所述S200，包括：

对各所述AVT解码器得到的解码视频中的第二组解码视频进行图像拼接和码率调节，从而得到至少一个视频流。

本发明采用AVT技术，视频经过AVT编码后，1080p 30帧的视频带宽只有135MHz，可以在Cat5的双绞线上传输，传输距离可达100m。每路视觉视频传输只需1对双绞线。本发明不仅降低了车载视觉系统的传输成本，还提高了传输可靠性。

本发明采用FPGA技术，将4路环视视频在FPGA上进行拼接处理，得到1幅环画面然后进行传输，采用FPGA技术进行图像处理带来的时延要远小于软件处理带来的时延。

本发明采用SOC技术，在SOC上使用硬件编码引擎，能够同时处理8路1080p 30帧的视频数据，然后通过千兆网络推送到视觉系统的中央处理单元上。采用SOC方案比其他方案在成本和编码效率上更具优势。

本发明提供了一种计算机可读存储介质，其上存储有程序，所述程序被处理器执行时实现上述任一项所述的车载视频传输方法。

如图6所示，本发明提供了一种电子设备70，所述电子设备70包括至少一个处理器701、以及与所述处理器701连接的至少一个存储器702、总线703；其中，所述处理器701、所述存储器702通过所述总线703完成相互间的通信；所述处理器701用于调用所述存储器702中的程序指令，以执行上述任一项所述的车载视频传输方法。

在本发明中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本发明中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本发明所示的这些实施例，而是要符合与本发明所公开的原理和新颖特点相一致的最宽的范围。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种车载视频传输系统，其特征在于，包括：多个AVT解码器、现场可编程门阵列FPGA和系统级芯片SOC；

所述AVT解码器与所述现场可编程门阵列FPGA连接；

所述现场可编程门阵列FPGA与所述系统级芯片SOC连接；

所述AVT解码器，用于对各AVT相机输出的压缩视频进行解码，得到解码视频；其中，各AVT相机包括至少一个前视相机、至少一个后视相机、多个环视相机和多个盲区相机；

所述现场可编程门阵列FPGA，用于对各所述AVT解码器得到的解码视频进行图像处理，得到多个视频流，其中，所述图像处理至少包括码率调节；所述多个视频流包括：前视视频流、后视视频流、环视视频流和盲区视频流；其中，所述前视视频流基于各个前视相机的解码视频进行图像处理得到；所述后视视频流基于各个后视相机的解码视频进行图像处理得到；所述环视视频流基于各个环视相机的解码视频进行图像处理得到；所述盲区视频流基于各个盲区相机的解码视频进行图像处理得到；

所述系统级芯片SOC，用于对所述现场可编程门阵列FPGA得到的各视频流分别进行编码，分别得到各视频流对应的编码视频；其中，基于SOC对视频流进行编码时使用的是硬件编码引擎；

其中，针对任一所述AVT解码器，具体用于对2路所述AVT相机输出的压缩视频进行解码，得到所述解码视频，其中，所述解码视频为2路BT1120格式的视频数据，各所述AVT解码器所对应的AVT相机不重复。

2.根据权利要求1所述的系统，其特征在于，针对任一所述AVT解码器，还用于将解码得到解码视频通过2路数据通道传输给所述现场可编程门阵列FPGA。

3.根据权利要求1所述的系统，其特征在于，所述现场可编程门阵列FPGA，具体用于对各所述AVT解码器得到的解码视频中的第一组解码视频进行图像裁剪和所述码率调节，从而得到至少一个视频流。

4.根据权利要求3所述的系统，其特征在于，所述现场可编程门阵列FPGA，还用于对各所述AVT解码器得到的解码视频中的第二组解码视频进行图像拼接和所述码率调节，从而得到至少一个视频流。

5.根据权利要求1所述的系统，其特征在于，所述系统还包括：多个第一存储芯片；

所述第一存储芯片外挂于所述现场可编程门阵列FPGA；

所述第一存储芯片，用于实时缓存所述视频流。

6.根据权利要求1所述的系统，其特征在于，所述系统还包括：第一非易失性存储介质SPI Flash；

所述第一非易失性存储介质SPI Flash外挂于所述现场可编程门阵列FPGA；

所述第一非易失性存储介质SPI Flash，用于存储逻辑固件，以便于所述现场可编程门阵列FPGA从所述第一非易失性存储介质SPI Flash中加载逻辑固件。

7.根据权利要求1所述的系统，其特征在于，所述系统级芯片SOC，具体用于根据预先设置的编码核，对所述现场可编程门阵列FPGA得到的各视频流分别进行H.264编码或H.265编码，从而得到各视频流对应的编码视频。

8.根据权利要求1所述的系统，其特征在于，所述系统还包括：多个第二存储芯片；

所述第二存储芯片外挂于所述系统级芯片SOC；

所述第二存储芯片，用于运行程序、缓存数据和发送缓存。

9.根据权利要求8所述的系统，其特征在于，所述系统还包括：第二非易失性存储介质eMMC Flash；

所述第二非易失性存储介质eMMC Flash外挂于所述系统级芯片SOC；

所述第二非易失性存储介质eMMC Flash，用于存储程序和程序固件。

10.一种车载视频传输方法，其特征在于，应用于所述权利要求1-9任意一项的车载传输系统，所述方法包括：

对各AVT相机输出的压缩视频进行解码，得到解码视频；

对各所述解码视频进行图像处理，得到多个视频流；

对得到的各所述视频流分别进行编码，分别得到各视频流对应的编码视频。