CN108259834B - 一种极低延时的高清无线传输装置 - Google Patents

Abstract

一种极低延时的高清无线传输装置，其特征在于：所述高清无线传输装置的硬件处理平台包括摄像头、显示屏、HDMI收发芯片、FPGA芯片、收发射频前端芯片和天线；摄像头用于视频采集，显示屏用于视频显示，HDMI收发芯片包括HDMI接收芯片和HDMI发送芯片，HDMI接收芯片用于接收摄像头采集的视频信号，HDMI发送芯片用于将FPGA芯片处理后的视频信号送入显示器，FPGA芯片用于高清视频解编码、COFDM调制与解调、HDMI收发芯片的控制以及收发射频前端芯片的控制；收发射频前端芯片用于对图像信息进行射频处理并将图像信息自FPGA芯片到天线的双向传输，天线用于接收和发射视频信号。本发明的有益效果是：解决高清无线传输中系统延时大、集成度差、体积大、功耗高等不足。

Description

一种极低延时的高清无线传输装置

技术领域

本发明涉及宽带无线通信、应急通信等无线电通信以及人工智能领域的高清视频图像的编码与传输装置，具体为一种极低延时的高清无线传输装置。

背景技术

视频具有直观性、确切性、高效性等特点，是信息的最重要表现形式之一。高清无线传输系统是集图像采集、视频编解码、无线传输等功能于一体的产品，在信息化战场、单兵作战等军用市场和应急、消防、无人机和人工智能等民用领域均有广泛的应用。信息化战场上的一切作战活动都是建立在信息基础之上，信息的准确获取、充分控制和有效使用已成为作战的中心环节。将战场图像实时清晰地传回指挥中心，使指挥者有身临其境的感觉，将极大的提高决策的准确性与有效性，真正做到“运筹帷幄之中，决胜千里之外”。战场形势瞬息万变和信息技术飞速发展，对视频图像的分辨率、系统延时和便携性提出了更高的要求。

以无人机应用为例，受无人机本身结构尺寸、重量以及功耗的限制，对高清无线传输模块的应用要求其集成度高、功耗低、体积小。

战场态势的实时性对高清无线传输模块的系统延时提出了更高的要求，战场态势瞬息万变，几十毫秒的延时都可能遗失战机，扭转战局，另外视频传输设备的便携性对于战场单兵高效灵活作战具有很重要的意义。

目前高清无线传输设备的主流实现方案主要有基于专用ASIC芯片、基于DSP、基于DSP+FPGA和基于FPGA的单芯片解决方案等四种，其中基于专用ASIC芯片的解决方案技术成熟，易实现，但存在系统延时大(近500ms)、不易集成、可扩展性差等不足；基于DSP 的解决方案技术易实现、代码开源等优点，但同样存在系统延时大(约 800ms)不足；基于DSP+FPGA的解决方案有效结合了DSP和FPGA 的技术优势，具有结构明晰、复杂度较低、可扩展性好等优点，但同样存在系统集成度较差、功耗高、系统延时大等不足；基于FPGA的单芯片解决方案充分利用FPGA超强的并行处理能力，将高清编解码和无线传输模块均集成在FPGA内部实现，系统具有延时可控、集成度高、功耗体积小等显著优点，但存在技术实现复杂度高、硬件资源需求高等局限。

目前国内外市场上可商用的高清无线传输产品绝大多数采用基于专用ASIC芯片、基于DSP、基于DSP+FPGA这三种方式，基于 FPGA单芯片的高清无线传输产品多依赖进口，价格昂贵，自主性较差，毫秒量级延时的高端视频无线传输产品对国内禁运。因此目前国内市场上尚无基于FPGA单芯片的极低延时的高清无线传输产品。因此本发明提供一种基于FPGA单芯片的系统延时可控的高清无线传输装置。

发明内容

针对现有技术上存在的不足，本发明的目的在于提出一种极低延时的高清无线传输装置，主要解决了高清无线传输中系统延时大、集成度差、体积大、功耗高的不足。

为了实现上述目的，本发明是通过如下的技术方案来实现：

一种极低延时的高清无线传输装置，其特征在于：包括发射机和接收机，所述发射机包括视频采集设备、信源编码、信道编码和COFDM 调制、射频前端信号处理和天线发射，接收机是发射机的可逆过程；所述高清无线传输装置的硬件处理平台包括摄像头、显示屏、HDMI 收发芯片、FPGA芯片、收发射频前端芯片和天线；所述摄像头用于视频采集，所述显示屏用于视频显示，所述HDMI收发芯片包括HDMI 接收芯片和HDMI发送芯片，所述HDMI接收芯片用于接收摄像头采集的视频信号，所述HDMI发送芯片用于将FPGA芯片处理后的视频信号送入显示器，所述FPGA芯片用于高清视频解编码、COFDM调制与解调、HDMI收发芯片的控制以及收发射频前端芯片的控制；所述收发射频前端芯片包括发射射频前端信号处理和接收射频前端信号处理两个模块，所述发射射频前端信号处理模块用于FPGA芯片处理后的基带信号进行上变频、滤波和放大射频信号处理并送入天线端口，所述接收射频前端信号处理模块用于对接收到天线端口的信号进行低噪声放大滤波、下变频和模数转换射频处理并送入FPGA芯片，所述天线用于接收和发射视频信号，所述高清视频解编码包括高清视频编码器和高清视频解码器，所述高清视频编码器用于视频编码，所述高清视频解码器用于视频解码。

前述的一种极低延时的高清无线传输装置，其特征在于：所述高清视频解编码采用基于宏块结构的数据处理技术。

前述的一种极低延时的高清无线传输装置，其特征在于：所述装置的视频信号处理流程包括发射机和接收机，所述发射机首先通过所述摄像头采集高清音视频图像，再经过所述HDMI接收芯片后送入帧分割模块进行帧的宏块划分，根据实际速率将宏块划分为64×64或 32×32或16×16或8×8或4×4大小的多路并行的宏块，每一路宏块分别送入高清视频编码器进行编码，每一路高清视频编码器的输出分别送入合路器合并成一帧完整的视频编码流，最后送入COFDM调制器进行调制；接收机是发射机的可逆过程，首先接收到的射频信号经 COFDM解调器得到基带数字信号，再经分路器后将所述基带数字信号分成多路并行的数据流，跟着高清视频解码器分别对每路数据流进行视频解码，经高清视频解码器视频解码后的视频流送入帧合成中将其合成一帧完整的视频帧，最后将所述完整的视频帧经HDMI发送芯片送入显示器中显示。

前述的一种极低延时的高清无线传输装置，其特征在于：所述收发射频前端芯片采用专用集成芯片AD9371。

前述的一种极低延时的高清无线传输装置，其特征在于：所述 FPGA芯片采用Xilinx ZYNQ7000系列FPGA芯片Z7045。

前述的一种极低延时的高清无线传输装置，其特征在于：所述高清无线传输装置的无线传输信号体制采用MIMO-OFDM架构。

前述的一种极低延时的高清无线传输装置，其特征在于：所述高清视频编码器支持H.264Hi422格式配置，支持10位视频流和 YUV4:2:2视频流；所述高清视频解码器支持YUV 4:2:2视频格式，支持帧内解码。

本发明的有益效果为：本发明提供一种基于FPGA单芯片的高清无线传输装置解决方案，联合高清视频编解码H.265实现技术、编码的正交频分复用技术(COFDM)、高清晰度多媒体接口(HDMI)和一体化射频前端处理技术等关键技术，重点解决高清无线传输中系统延时大、集成度差、体积大、功耗高等不足，本发明所示的设计方案具有集成度高、系统延时可控(最低可实现毫秒量级系统延时)、图像分辨率高(最高可实现1080P)等显著优点。

附图说明

下面结合附图和具体实施方式来详细说明本发明：

图1为极低延时的高清无线传输装置结构示意图；

图2为极低延时高清无线传输装置信息处理流程图；

图3为极低延时高清无线传输装置硬件处理平台示意图；

图4为高清视频编解码实现结构示意图；

图5为高清解码器实现结构示意图；

图6为极低延时高清无线传输信号体制示意图；

图7为高清视频接口设计示意图。

具体实施方式

为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。

本发明的极低延时的高清无线传输装置与传统的视频无线传输系统结构近似，如图1所示，主要由发射机和接收机两个部分组成，其中发射机主要由视频采集、信源编码、信道编码和COFDM调制和射频前端信号处理、天线发射等部分组成；接收机是发射机的可逆过程。其中图1中a图为极低延时高清无线传输发射机，b图为极低延时高清无线传输接收机。

系统延时主要归功于高清视频编解码延时，传统的视频编解码方案均采用基于帧的压缩与解压结构，如对于1080P×1920@30fps的分辨率，压缩和解压均需缓冲一帧数据，缓冲一帧的延时为1/30 s＝33.33ms，因此对于收发系统，缓冲数据至少需要66.7ms，再加上压缩编码延时、硬件处理延时等，仅由视频编解码所引起的系统延时至少在200ms以上。

为此本发明采用基于宏块结构的数据处理技术，如图2所示，即将一帧分割成若干个很小的宏块分别进行编解码处理，然后在后端将其合成即可，结合FPGA强大的并行处理能力，最大限度降低高清编解码延时。如采用16×16的宏块结构，编解码延时可以控制在1ms 以内。

在硬件电路设计层面，专注于图像分辨率、传输延时、系统集成度、功耗、体积等方面综合性能的设计，采用模块化设计，硬件系统主要由视频采集和显示、高清视频传输、视频编解码、基带信号处理、射频前端和天线等模块组成，将高清视频编解码和基带信号处理处理，射频前端采用专用集成芯片AD9371，极大地提高了系统集成度，降低了系统的功耗和体积，提高了系统的便携性。

本发明采用如图3所示的硬件实施方案，系统主要由摄像头、显示屏、HDMI收发芯片、Xilinx ZYNQ7000系列FPGA芯片Z7045、收发射频前端芯片、天线等部分组成。摄像头主要完成图像采集，显示屏主要完成图像显示，HDMI收发芯片主要完成图像信息到FPGA 的传输，FPGA芯片主要完成高清视频编解码、COFDM调制与解调、 HDMI收发芯片的控制、射频芯片的控制等功能，利用FPGA单芯片实现了视频编解码、COFDM调制与解调、芯片控制等功能，而射频前端信号处理采用单芯片解决方案，系统具有很高的集成度，缩小了主板面积，降低系统功耗。

本发明采用如图4所示的视频编码器的设计架构，整个设计架构采用负反馈环路的模式。首先YUV或RGB格式的视频流送入FPGA，经FPGA内部PS单元处理后，一路进行变换、量化、排序和编码等操作，另一路复用送入帧内预测模块，其中量化后数据一路送入排序和编码模块进行编码处理，还和反量化、逆变换和帧内预测等模块形成反馈回路，反馈回路输出两路相同信息，一路对视频输入数据进行补偿，另一路送入帧内预测模块进行速度控制以适配视频量化和编码速度。该架构支持H.264Hi422格式配置，支持10位视频流和 YUV4:2:2视频流，使得图像更加清晰，采用宏模块流水线架构设计进一步降低延迟，流水线设计支持每个时钟处理八个像素点，实现实时的4K@60fps视频编码。

本发明所示的视频解码器的设计架构如图5所示，在FPGA内部实现解码处理，同样采用反馈环路结构，其中开环环路主要由熵编码、反量化、反变换和帧内预测等部分组成，反馈环路将PS输出送入帧内预测模块与反变换后数据一起叠加，实现视频数据解码，该架构支持YUV 4:2:2视频格式，支持帧内解码，采用流水线架构实现解码器的帧率延迟。

多输入多输出(MIMO)技术和正交频分复用(OFDM)技术将空间分集、频率分集以及时间分集有机地结合在一起，大大提高了无线通信中的信道容量和传输效率，并能有效的抵抗衰落、抑制干扰和噪声，非常适合于视频图像传输。本发明无线传输信号体制采用MIMO-OFDM架构，如图6所示，输入的数据符号流经串/并电路分成N个子符号流，采用信道编码技术对每个符号流进行无失真压缩并加入冗余信息，调制器对编码后的数据进行空时调制；调制后的信号在IFFT电路中实现OFDM调制处理，完成将频域数据变换为时域数据的过程，然后输出的每个OFDM符号前加一个循环前缀以减弱信道延迟扩展产生的影响，每个时隙前加前缀用以定时，这些处理过的OFDM数据流相互平行地传输，每一个信号流对应一个指定的发射天线，并经数模转换及射频模块处理后发射出去。

本发明中高清视频接口设计如图7所示，主要由HDMI收发器完成，HDMI收发器(GTX)模块发送和接收串行HDMI TX和RX 传输的数据，并且在串行数据流和片上并行数据流之前转换。收发器模块实现并行数据与串行数据之间的相互转换采用的是ZYNQSoC 高速GT收发器作为HDMI PHY物理层接口。TX子系统包括发送模块、AXI Video转换、视频时序控制和可选的HDCP模块。AxiVideo 数据流通道每个时钟传输两到四个像素点到HDMI TX子系统，并且支持8,10,12位数据编码，视频转换模块将输入的AXI-Stream转换为本地视频格式，视频时序控制器用于生成本地视频时序。音频AXI Stream将多通道未压缩的音频数据传输给HDMITX子系统。ZYNQ Z-7045SoC的ARM Cortex-A9处理器通过CPU接口控制HDMITX子系统的发送模块。

HDMI RX子系统包括三个AXI协议接口。视频转换桥将捕获的本地视频转换为AXIStream数据流，将这些视频数据通过AXI Video 接口输出。视频时序控制器则测量视频时序，接收的音频通过AXI Stream音频接口发送出去。CPU接口则实现与外设的控制和状态数据通信。HDCP模块是可选的，不含在标准的IP核配置中。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (6)

1.一种极低延时的高清无线传输装置，其特征在于：包括发射机和接收机，所述发射机包括视频采集设备、信源编码、信道编码和COFDM调制、射频前端信号处理和天线发射，接收机是发射机的可逆过程；所述高清无线传输装置的硬件处理平台包括摄像头、显示屏、HDMI收发芯片、FPGA芯片、收发射频前端芯片和天线；所述摄像头用于视频采集，所述显示屏用于视频显示，所述HDMI收发芯片包括HDMI接收芯片和HDMI发送芯片，所述HDMI接收芯片用于接收摄像头采集的视频信号，所述HDMI发送芯片用于将FPGA芯片处理后的视频信号送入显示器，所述FPGA芯片用于高清视频解编码、COFDM调制与解调、HDMI收发芯片的控制以及收发射频前端芯片的控制；所述收发射频前端芯片包括发射射频前端信号处理和接收射频前端信号处理两个模块，所述发射射频前端信号处理模块用于FPGA芯片处理后的基带信号进行上变频、滤波和放大射频信号处理并送入天线端口，所述接收射频前端信号处理模块用于对接收到天线端口的信号进行低噪声放大滤波、下变频和模数转换射频处理并送入FPGA芯片，所述天线用于接收和发射视频信号，所述高清视频解编码包括高清视频编码器和高清视频解码器，所述高清视频编码器用于视频编码，所述高清视频解码器用于视频解码；所述高清视频解编码采用基于宏块结构的数据处理技术。

2.根据权利要求1所述的一种极低延时的高清无线传输装置，其特征在于：所述装置的视频信号处理流程包括发射机和接收机，所述发射机首先通过所述摄像头采集高清音视频图像，再经过所述HDMI接收芯片后送入帧分割模块进行帧的宏块划分，根据实际速率将宏块划分为64×64或32×32或16×16或8×8或4×4大小的多路并行的宏块，每一路宏块分别送入高清视频编码器进行编码，每一路高清视频编码器的输出分别送入合路器合并成一帧完整的视频编码流，最后送入COFDM调制器进行调制；接收机是发射机的可逆过程，首先接收到的射频信号经COFDM解调器得到基带数字信号，再经分路器后将所述基带数字信号分成多路并行的数据流，跟着高清视频解码器分别对每路数据流进行视频解码，经高清视频解码器视频解码后的视频流送入帧合成中将其合成一帧完整的视频帧，最后将所述完整的视频帧经HDMI发送芯片送入显示器中显示。

3.根据权利要求1所述的一种极低延时的高清无线传输装置，其特征在于：所述收发射频前端芯片采用专用集成芯片AD9371。

4.根据权利要求1所述的一种极低延时的高清无线传输装置，其特征在于：所述FPGA芯片采用Xilinx ZYNQ7000系列FPGA芯片Z7045。

5.根据权利要求1所述的一种极低延时的高清无线传输装置，其特征在于：所述高清无线传输装置的无线传输信号体制采用MIMO-OFDM架构。

6.根据权利要求1所述的一种极低延时的高清无线传输装置，其特征在于：所述高清视频编码器支持H.264 Hi422格式配置，支持10位视频流和YUV4:2:2视频流；所述高清视频解码器支持YUV 4:2:2视频格式，支持帧内解码。

Images