CN111050107B - 一种无线高清低延迟视频传输装置、系统及方法 - Google Patents

一种无线高清低延迟视频传输装置、系统及方法 Download PDF

Info

Publication number
CN111050107B
CN111050107B CN201911094056.7A CN201911094056A CN111050107B CN 111050107 B CN111050107 B CN 111050107B CN 201911094056 A CN201911094056 A CN 201911094056A CN 111050107 B CN111050107 B CN 111050107B
Authority
CN
China
Prior art keywords
data
module
coding
audio
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911094056.7A
Other languages
English (en)
Other versions
CN111050107A (zh
Inventor
陈俊
焦斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Junhan Information Technology Co ltd
Original Assignee
Hunan Junhan Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Junhan Information Technology Co ltd filed Critical Hunan Junhan Information Technology Co ltd
Priority to CN201911094056.7A priority Critical patent/CN111050107B/zh
Publication of CN111050107A publication Critical patent/CN111050107A/zh
Application granted granted Critical
Publication of CN111050107B publication Critical patent/CN111050107B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H04N21/2335—Processing of audio elementary streams involving reformatting operations of audio signals, e.g. by converting from one coding standard to another
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving management of server-side video buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4392—Processing of audio elementary streams involving audio buffer management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4398—Processing of audio elementary streams involving reformatting operations of audio signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开一种无线高清低延迟视频传输装置、系统及方法，该方法包括图传发射时，采集摄像头等接口图像和音频数据，对图像去噪滤波，对去噪后图像和音频进行编码压缩，编码数据存入音视频缓冲区，COFDM调制解调模块进行载荷数据调制编码，收发器对载波信号变频经射频放大器和天线向空中发射；模块处于图传接收模式时，射频接收到无线载波信号经低噪放大后送入收发器，经变频送入FPGA中COFDM基带解调并存入无线缓冲区，编码解码模块调取缓冲数据分别解码送至相应接口显示和输出，完成音视频数据的接收。解决现有技术中控制调试困难、配置不灵活等问题，实现统一控制参数，提高配置的灵活性、减小板卡体积和故障率，降低功耗。

Description

一种无线高清低延迟视频传输装置、系统及方法
技术领域
本发明涉及数据无线传输技术领域，具体是一种无线高清低延迟音视频传输装置、系统及方法。
背景技术
目前无线高清低延迟视频传输及遥控信号传输通常采用多片独立功能芯片组成的架构，如某无线高清低延迟公司视频传输系统由TI公司提供的DM368(达芬奇视频图像编码)芯片，以及ADI公司的AD9363子板、NXP公司提供的处理器、altera公司提供的FPGA芯片(用于基带调制)及ITE公司的HDMI(高清媒体接口)接口芯片等组成。采集的数据由HDMI接口芯片采集处理后缓存入图像编码芯片的DDR存储器(一类双倍数据率存储器)中，再由图像编码处理器压缩编码后，缓存入基带调制芯片的DDR中，基带调制芯片再取出数据经收发器AD936X发射。
此方法数据流程冗余，视频传输延时大，难以压缩。多片独立功能芯片组成的构架存在参数设置麻烦，控制调试困难，重配置灵活性差等弊端。且PCB板卡体积大，功耗大，同时故障率相对更高。
发明内容
本发明提供一种无线高清低延迟视频传输装置、系统及方法，用于克服现有技术中延时高、配置灵活性较差且构件体积和功耗大、故障率高等缺陷，实现低延时、配置灵活，且体积小，低功耗和低故障率的系统架构。
为实现上述目的，本发明提供一种无线高清低延迟视频传输装置，包括叠置的FPGA核心板和射频板；
射频板上集成有：
宽带射频收发模块，与数据天线连接，通过数据天线接收载波信号并对载波信号进行功率放大和滤波去噪；与收发器单向通信；
窄带射频收发模块，与信号天线连接，通过信号天线收发控制信号以控制宽带射频收发模块与收发器之间的通信方向；
FPGA核心板上集成有：
所述收发器，用于对滤波后的载波信号进行直接变频；
存储器，划分为用于存储解调数据或调制数据的无线缓冲区、用于存储编解码图像的图像缓冲区、用于存储编解码音频的音频缓冲区及用于系统运行的缓冲区；
电源芯片，用于为FPGA核心板上各元件供电；
FPGA芯片，用于实现图像编解码和基带调制解调功能；
以太网PHY模块，用于传输装置与PC进行以太网通讯；
FPGA芯片内部集成有：
编码解码模块，用于对图像数据和音频数据分别编码和解码；
无线控制模块，用于与窄带射频收发模块之间进行指令通讯控制；
采集输入输出模块，用于采集接收和输出图像数据及音频数据；
处理器，用于控制FPGA内各功能模块的工作；
调制解调模块，用于按照接口协议规定的导频和同步码从变频数据中解调出载荷数据，并将载荷数据按照图像和音频分别对应存放在无线缓冲区中，或从无线缓冲区中取出数据调制；
串行数字接口控制模块，用于按照接口协议控制采集输入输出模块均衡输入输出图像数据；
窄带UART控制模块，用于控制窄带射频收发模块实现双向窄带通讯；
无线控制模块，用于调制解调模块和参数的管理，接收窄带UART控制模块的信号，实现参数的远端控制。
为实现上述目的，本发明还提供一种无线高清低延迟视频传输系统，包括：
视频传输装置，安装在无人机上，包括上述的无线高清低延迟视频传输装置；
PC端，需要配置时，与所述视频传输装置之间通过以太网连接进行配置；
摄像头，与所述视频传输装置之间通过采集输入输出模块电连接。
为实现上述目的，本发明还提供无线高清低延迟视频接收方法，包括：
接收无线载波信号并滤波去噪；
对去噪后的载波信号进行直接变频；
按照接口协议规定的导频和同步码从直接变频数据中解调出载荷数据，并将载荷数据按照图像和音频分别对应存放在无线缓冲区；将缓存地址写入缓冲区寄存器；并配置编码解码模块；
轮询调制解调模块并控制编码解码模块调取无线缓冲区数据解码并输送至相应接口模块。
为实现上述目的，本发明还提供一种无线高清低延迟视频发送方法，包括：
采集图像及音频数据去噪后存储在对应的缓冲区；
对缓冲区的图像及音频数据分别压缩编码并存入无线缓冲区；
轮询编码解码模块并控制调制解调模块从无线缓冲区读取数据，调制解调模块按照接口协议规定的导频和同步码对缓存数据封装编码成调制数据；
对载波信号直接变频后功率放大并发射。
为实现上述目的，本发明还提供一种无线高清低延迟视频传输方法，包括：
无无线高清低延迟视频传输装置接收服务器端无线载波信号并滤波去噪；
收发器对去噪后的载波信号进行直接变频；
调制解调模块按照接口协议规定的导频和同步码从直接变频数据中解调出载荷数据，并将载荷数据按照图像和音频分别对应存放在无线缓冲区；将缓存地址写入缓冲区寄存器；并配置编码解码模块；
处理器轮询调制解调模块并控制编码解码模块调取无线缓冲区数据解码并输送至相应接口模块实时输出；
采集输入输出模块采集图像及音频数据去噪后存储在对应的缓冲区；
编码解码模块对缓冲区的图像及音频数据分别压缩编码并存入无线缓冲区；
处理器轮询编码解码模块并控制调制解调模块从无线缓冲区读取数据，调制解调模块按照接口协议规定的导频和同步码对缓存数据封装编码成载波信息；
收发器对载波信号直接变频后经射频板功率放大并发射。
本发明提供的无线高清低延迟视频传输装置、系统及方法，采用FPGA芯片集成前端图像采集与图像压缩，外部连接收发器，搭配叠置的射频板实现；传输装置的控制采用网络接口控制，FPGA实现网络接口MAC(媒体介入控制层)及上层协议，千兆网口PHY(物理接口层)和接口采用扩展板形式；PC(个人电脑或移动终端)端通过网络接口配置FPGA核心板参数；FPGA芯片的外围元件或电路模块均可根据FPGA芯片的参数灵活配置各自的调试参数，实现低延时、配置灵活，降低功耗和故障率，且叠置板层结构缩小体积。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为现有技术图传硬件结构构架图；
图2为本发明实施例提供的无线高清低延迟视频传输装置的构架图；
图3为FPGA内部各模块之间的数据流传输示意图；
图4为FPGA DDR用户内存空间分布图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
另外，在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“连接”、“固定”等应做广义理解，例如，“固定”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接，还可以是物理连接或无线通信连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
实施例一
如附图2-4所示，本实施例提供一种无线高清低延迟视频传输装置，包括叠置的FPGA(一种现场可编程逻辑门阵列芯片)核心板和射频板；FPGA板搭载FPGA和AD936X捷变收发器；射频板搭载无线射频PA(功率放大器)和声表面滤波器、低噪放大器等；
射频板上集成有宽带射频收发模块和窄带射频收发模块，两者可以集成在同一电路板上，也可以分别集成在两块叠置的电路板上；宽带射频收发模块与数据天线连接，通过数据天线接收载波信号并对载波信号进行功率放大和滤波去噪；与收发器单向通信；窄带射频收发模块与信号天线连接，通过信号天线收发控制信号以控制宽带射频收发模块与收发器之间的通信方向；
FPGA核心板上集成有：收发器、调制解调模块、存储器、编码解码模块、无线控制模块、采集输入输出模块、处理器、电源芯片；所述收发器用于对滤波后的载波信号进行直接变频；调制解调模块用于按照接口协议规定的导频和同步码从变频数据中解调出载荷数据，并将载荷数据按照图像和音频分别对应存放在无线缓冲区中；存储器划分为用于存储解调数据或调制数据的无线缓冲区、用于存储编码图像的图像缓冲区、用于存储编码音频的音频缓冲区及用于系统运行的缓冲区；参见图4，其中音视频图像数据缓冲区相当于音频缓冲区及图像缓冲区的总称，具体可采用多个DDR3存储模块，以实现分区或缓冲不同阶段的数据；编码解码模块用于对图像数据和音频数据分别解码和编码；无线控制模块与窄带射频收发模块之间进行指令通讯；采集输入输出模块用于接收图像数据及音频数据，具体包括多个HDMI接口，通过SDI串行数字接口控制模块按照SDI接口协议控制多个HDMI接口均衡工作；处理器用于控制FPGA核心板上其他各集成元件的工作；电源芯片用于为FPGA核心板上各元件供电。
处理器搭载FPGA，FPGA控制AD936X初始化配置；AD936X单向宽带传输；FPGA实现前端采集、H.264图像的超低延时编码、无线基带调制解调等功能；处理器与收发器之间通过高可靠LORA(远距离无线电，Long Range Radio)双向指令传输通道传输数据，FPGA核心板和射频板之间通过堆叠射频板设计。
下面结合硬件装置对软件的运行进行说明：
无线控制模块在没有接收到PC端的下载通讯指令时，默认将收发器设置为接收状态，此时收发器仅可接收来自于宽带射频收发模块的数据，而不能向其发送数据；
宽带射频收发模块通过数据天线接收无线载波信号后进行滤波去噪，并功率放大后向收发器传送；收发器对接收的载波信号进行直接变频，这里为混频；调制解调模块按照接口协议规定的导频和同步码从混频后的载波信号中解调出载荷数据，并配置编码解码模块；处理器将载荷数据按照图像和音频分别对应存放在无线缓冲区，并将缓存地址写入待解码缓冲区寄存器；启动编码解码模块解码，处理器轮询调制解调模块并控制编码解码模块调取无线缓冲区数据解码并输送至相应采集输入输出模块显示或输出。
无线控制模块可采用LORA UART通讯控制技术，在接收到PC端的下载通讯指令时，将收发器设置为发送状态，此时收发器仅可向宽带射频收发模块发送数据，而不能接收数据；
在发送模式下，硬件配置如下：处理器还用于将图像和音频数据分别存储在图像缓冲区及音频缓冲区；无线控制模块还用于轮询编码解码模块编码长度寄存器，控制数据发送；所述FPGA内部集成有编码解码模块和调制解调模块；编码解码模块用于对缓冲区的图像及音频数据分别编码压缩形成编码图像和编码音频并存入无线缓冲区；调制解调模块，用于按照COFDM(coded orthogonal frequency division multiplexing，即编码正交频分复用的简称)导频和同步码将无线缓冲区数据封装编码成调制数据输出；调制解调模块与调制解调模块集成在一起，通过COFDM(码分正交频分复用调制技术调用不同的模块工作)。
PC端发送控制信号，信号天线接收该控制信号并经窄带射频收发模块传递给无线控制模块，以将收发器改为发送模式；
输出处理过程如下：采集输入输出模块用于采集摄像头的图像及音频数据，同时支持HDMI/SDI相机的数据采集，采集的图像数据及音频数据经去噪模块滤波去噪后存储在对应的缓冲区，图像数据存储在图像缓冲区，音频数据存储在音频缓冲区；编码解码模块包括图像编码解码模块和音频编码解码模块，图像编码解码模块从图像缓冲区提取图像数据进行压缩编码后存入无线缓冲区等待调制，音频编码解码模块从音频缓冲区提取音频数据进行压缩编码后存入无线缓冲区等待调制，实际上在无线缓冲区内部也对应划分为图像缓冲区及音频缓冲区，编码图像及编码音频对号入座；调制解调模块按照接口协议规定的导频和同步码对无线缓冲区的编码图像及编码音频封装编码成调制数据也就形成了载波信号，再经收发器变频、宽带射频收发模块滤波及功率放大后由数据天线对空发射，至此完成数据发送。
其中调制解调模块在提取无线缓冲区的编码图像和音频图像时是按照处理器的控制程序进行的，处理器首先配置设置当前帧视频数据地址和图像参数(包括图像数据地址和音频数据地址，其中图像数据寄存在图像编码寄存器，音频数据寄存在音频编码寄存器)，图像编码解码模块在工作时，先对地址寄存器指示的地址中图像数据进行编码，音频编码解码模块在工作时，先对地址寄存器指示的地址中音频数据进行编码；由于图像数据较大，占用空间也较大，处理器首先轮询图像编码解码模块编码长度寄存器，在满足设定的无线载荷数据长度要求时对编码数据分别进行调制、分帧后发送；在达到规定的时间时(例如3秒)，读取音频编码压缩数据长度并启动音频数据发送，并一次完成编码音频数据的发送；然后继续轮询图像编码解码模块编码长度寄存器，持续编码图像数据的发送；经过一次或多次发送直到所有编码图像数据发送完毕；处理器响应音频编码解码模块中断信号，配置下一帧视频数据图像编码解码模块和音频编码解码模块，并依次循环，完成所有压缩编码数据的发送。这种轮询机制能够有效降低延时，提高实时传输效率。
FPGA内部信号流传输和处理过程具体参见图3，其中HDMI_IN_OUT为HDMI采集输入输出接口，CODEC为图像和音频编解码，VDMA为视频专用DMA(直接内存接入)模块，ArmCortex A9为处理器，intc为中断控制模块，MODULATION为基带调制、解调模块，AXIINTERCONNECT为中央GP总线互联模块(相当于无线控制模块)用于控制各个模块，HP_AXI为高性能AXI总线接口模块，DDR SDRAM Ctl为DDR存储器控制器，DDR SDRAM为DDR存储器，tx数据流指发送时音视频图像数据流，rx数据流指接收时音视频图像数据流，tx压缩数据流指发送时压缩图像数据流，rx压缩数据流指接收时压缩图像数据流，ARM填充帧头数据指处理器的控制数据，Vsync表示视频帧同步信号、int表示中断信号，Input Unit_Registers为采集输入输出模块寄存器、codec_Registers为编码解码模块配置寄存器、Vdma_Registers为图像DMA模块寄存器、Dma_Registers为内部数据搬运DMA模块寄存器、RF_Registers为COFDM调制解调模块寄存器、GP通用目的AXI总线(用于配置各模块寄存器)。
FPGA集成实现图像前端采集、图像压缩编码、UART串口控制、无线射频基带调制解调等功能；ZYNQ FPGA实现网络接口MAC及上层协议，千兆网口PHY和接口采用扩展板形式；FPGA核心板通过IO双向板对板连接器方式连接射频板，传输射频板控制信号；PC端通过网络接口配置FPGA核心板参数；采用表贴形式的射频连接座连接射频板和核心板的射频信号；采用独立的LORA模块实现独立串口指令通讯链路。
实施例二
基于上述实施例一，本发明还提供一种无线高清低延迟视频传输系统，包括：
视频传输装置，安装在无线高清低延迟上，包括任意实施例的无线高清低延迟视频传输装置；该视频传输装置可集成在无人机的控制模块上，也可集成在摄像装置上，具体的载体可根据应用场景进行选择；
PC端，需要配置时，与所述视频传输装置之间通过以太网连接对视频传输装置进行配置；
摄像头，与所述视频传输装置之间通过采集输入输出模块电连接。
服务器，与所述视频传输装置之间无线连接或地面基站。
基于上述系统，提供一种视频传输方法，在需要向视频传输装置传输视频数据时，PC端通过以太网连接将视频传输装置的收发器的状态配置为接收状态；视频数据从地面基站经以太网向视频传输装置传输，该过程参见上述视频接收方法实施例；
在需要从视频传输装置下载视频数据时，PC端通过以太网连接将视频传输装置的收发器的状态配置为发送状态；视频数据经摄像头、视频传输装置经以太网向地面基站发送，该过程参见上述视频发送方法实施例。
优选地，所述FPGA板内部还集成有：
图像去噪滤波模块，用于对采集图像的噪点滤除；
采集输入输出模块，同时支持HDMI/SDI相机的数据采集，用于采集图像及音频数据。
AD936X接口描述：FPGA于AD936X部分分为控制接口与采集输入输出模块,其中控制接口为spi接口。FPGA缓存空间划分对DDR的用户内存空间划分为三部分，一部分为视频缓存空间，一部分为无线缓存空间，一部分为程序运行空间。视频图像数据缓冲区总大小为36MB，其中音频8MB*4,视频1MB*4；无线数据缓冲区大小72MB，收发各36MB。
图像数据从PAL、HDMI或SDI接口输入，由硬件编码解码模块进行图像编码，数据存入FPGA DDR压缩图像缓冲区(整个系统配置4片压缩图像缓冲区，每片8MB，A1-A4)，音频数据由line in输入经过音频编码后存入DDR缓冲区B(整个系统配置4片压缩音频缓冲区，每片1MB，B1-B4)，系统启动时，处理器将地址A1写入编码解码模块压缩图像缓冲区寄存器，轮询读取编码数据长度，满足无线载荷数据长度要求时，处理器启动发送。首先使用QPSK(Quadrature Phase Shift Keying，QPSK，正交相移键控，是一种数字调制方式)编码方式从A1缓冲区发送128byte帧头信息，随后使用高速率模式发送A1缓冲区剩余数据，图像数据大于无线通道一次传输的载荷长度，需要多次发送。发送完图像数据后读取音频编码模块压缩数据长度启动音频数据发送，使用高速率模式发送B1缓冲区数据。完成一次音视频数据发送后，需响应编码解码模块中断信号，配置下一帧寄存器，随后轮询编码解码模块长度标志寄存器，程序流程依次循环，如图4所示。
本设计架构的优点是：
射频模块可更换的高集成高灵活，方便更换搭载不同发射功率和频点的射频板；FPGA集成功能全面，图传具有体积小，结构紧凑。FPGA实现采集接口，支持多种视频输入接口标准，如HDMI、SDI、PAL等视频接口。所有控制参数集中于一片芯片内，调试和更新方便；独立UART串口链路，不影响图像传输，可靠不受干扰。硬件单芯片实现图像采集、图像编码、基带调制解调发射、系统延时极小。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (8)

1.一种无线高清低延迟视频传输装置，其特征在于，包括叠置的FPGA核心板和射频板；
射频板上集成有：
宽带射频收发模块，与数据天线连接，通过数据天线接收载波信号并对载波信号进行功率放大和滤波去噪；与收发器单向通信；
窄带射频收发模块，与信号天线连接，通过信号天线收发控制信号以控制宽带射频收发模块与收发器之间的通信方向；
FPGA核心板上集成有：
所述收发器，用于对滤波后的载波信号进行直接变频；
存储器，划分为用于存储解调数据或调制数据的无线缓冲区、用于存储编解码图像的图像缓冲区、用于存储编解码音频的音频缓冲区及用于系统运行的缓冲区；
电源芯片，用于为FPGA核心板上各元件供电；
FPGA芯片，用于实现图像编解码和基带调制解调功能；
以太网PHY模块，用于传输装置与PC进行以太网通讯；
FPGA芯片内部集成有：
编码解码模块，用于对图像数据和音频数据分别编码和解码；所述编码解码模块包括图像编码解码模块和音频编码解码模块；所述图像编码解码模块用于对图像数据进行编码和解码；所述音频编码解码模块用于对音频数据进行编码和解码；
无线控制模块，用于与窄带射频收发模块之间进行指令通讯控制；
采集输入输出模块，用于采集接收和输出图像数据及音频数据；
处理器，用于控制FPGA芯片内各功能模块的工作；
调制解调模块，用于按照接口协议规定的导频和同步码从变频数据中解调出载荷数据，并将载荷数据按照图像和音频分别对应存放在无线缓冲区中，或从无线缓冲区中取出数据调制；
串行数字接口控制模块，用于按照接口协议控制采集输入输出模块均衡输入输出图像数据；
窄带UART控制模块，用于控制窄带射频收发模块实现双向窄带通讯；
无线控制模块，用于调制解调模块和参数的管理，接收窄带UART控制模块的信号，实现参数的远端控制；
处理器还用于将各缓冲区地址对应写入各功能模块缓冲区寄存器；
调制解调模块，还用于配置当前帧视频数据图像编码解码模块寄存器和音频编码解码模块寄存器；
无线控制模块，还用于控制调制解调模块以及轮询图像编码解码模块编码长度寄存器，满足无线载荷数据长度要求时对编码数据分别进行调制和分帧后发送，经过一次或多次发送直到图像数据发送完毕，完成图像数据的低延时无线发送；
在上述发送图像数据的过程中，按照预定时间读取音频编码解码模块压缩数据长度并启动音频数据发送，完成一次音频数据发送后，响应音频编码解码模块中断信号，配置下一帧视频数据图像编码解码模块和音频编码解码模块，并依次循环，完成音视频数据的编码压缩及发送；
处理器还用于将图像和音频数据分别存储在图像缓冲区及音频缓冲区；
无线控制模块还用于轮询编码解码模块编码长度寄存器，控制数据发送；
编码解码模块，还用于对缓冲区的图像及音频数据分别编码压缩形成编码图像和编码音频并存入无线缓冲区；
调制解调模块，还用于按照COFDM导频和同步码将无线缓冲区数据封装编码成调制数据输出。
2.一种无线高清低延迟视频传输系统，其特征在于，包括：
视频传输装置，安装在无人机上，包括如权利要求1所述的无线高清低延迟视频传输装置；
需要配置时，PC端与所述视频传输装置之间通过以太网连接对视频传输装置进行配置；
摄像头，与所述视频传输装置之间通过采集输入输出模块电连接。
3.如权利要求2所述的无线高清低延迟视频传输系统，其特征在于，所述FPGA芯片内部还集成有：
图像去噪滤波模块，用于对采集图像的噪点滤除采集输入输出模块。
4.一种无线高清低延迟视频接收方法，其特征在于，所述方法执行在于权利要求1所述的无线高清低延迟视频传输装置的射频板和FPGA核心板上，包括：
接收无线载波信号并滤波去噪；
对去噪后的载波信号进行直接变频；
按照接口协议规定的导频和同步码从直接变频数据中解调出载荷数据，并将载荷数据按照图像和音频分别对应存放在无线缓冲区；将缓存地址写入缓冲区寄存器；并配置编码解码模块；
轮询调制解调模块并控制编码解码模块调取无线缓冲区数据解码并输送至相应采集输入输出模块。
5.一种无线高清低延迟视频发送方法，其特征在于，所述方法执行在于权利要求1所述的无线高清低延迟视频传输装置的FPGA核心板上，还包括：
采集图像及音频数据去噪后存储在对应的缓冲区；
对缓冲区的图像及音频数据分别压缩编码并存入无线缓冲区；
控制调制解调模块从无线缓冲区读取数据，调制解调模块按照接口协议规定的导频和同步码对缓存数据封装编码形成载波信号；
对载波信号直接变频后功率放大并发射。
6.如权利要求5所述的无线高清低延迟视频发送方法，其特征在于，轮询编码解码模块并控制调制解调模块从无线缓冲区读取数据，调制解调模块按照接口协议规定的导频和同步码对缓存数据调制编码形成载波信号的步骤包括：
配置当前帧视频数据图像编码解码模块寄存器和音频编码解码模块寄存器，并对图像缓冲区的图像和音频缓冲区的音频数据进行编码；
轮询图像编码解码模块编码长度寄存器，满足无线载荷数据长度要求时对编码图像数据分别进行调制和分帧后发送，经过一次或多次发送直到编码图像数据发送完毕，完成图像数据的无线发送；
在上述发送图像数据的过程中，按照预定时间读取音频编码解码模块压缩数据长度并启动音频数据发送，完成一次音频数据发送后，响应音频编码解码模块中断信号，配置下一帧视频数据图像编码解码模块和音频编码解码模块，并依次循环，完成音视频数据的编码压缩及发送。
7.一种无线高清低延迟视频传输方法，其特征在于，所述方法执行在于权利要求1所述的无线高清低延迟视频传输装置上，包括：
无线高清低延迟视频传输装置接收服务器端无线载波信号并滤波去噪；
收发器对去噪后的载波信号进行直接变频；
调制解调模块按照接口协议规定的导频和同步码从直接变频数据中解调出载荷数据，并将载荷数据按照图像和音频分别对应存放在无线缓冲区；将缓存地址写入缓冲区寄存器；并配置编码解码模块；
处理器轮询调制解调模块并控制编码解码模块调取无线缓冲区数据解码并输送至相应接口模块实时输出；
采集输入输出模块采集图像及音频数据去噪后存储在对应的缓冲区；
编码解码模块对缓冲区的图像及音频数据分别压缩编码并存入无线缓冲区；
处理器轮询编码解码模块并控制调制解调模块从无线缓冲区读取数据，调制解调模块按照接口协议规定的导频和同步码对缓存数据封装编码成载波信息；
收发器对载波信号直接变频后经射频板功率放大并发射。
8.如权利要求7所述的无线高清低延迟视频传输方法，其特征在于，所述处理器轮询编码解码模块并控制调制解调模块从无线缓冲区读取数据，调制解调模块按照接口协议规定的导频和同步码对缓存数据调制编码形成载波信号的步骤包括：
配置当前帧视频数据图像编码解码模块寄存器和音频编码解码模块寄存器，并对图像缓冲区的图像和音频缓冲区的音频数据进行编码；
轮询图像编码解码模块编码长度寄存器，满足无线载荷数据长度要求时对编码数据分别进行调制和分帧后发送，经过一次或多次发送直到图像数据发送完毕，完成图像数据的低延时无线发送；
在上述发送图像数据的过程中，按照预定时间读取音频编码解码模块寄存器压缩数据长度并启动音频数据发送，完成一次音频数据发送后，响应音频编码解码模块中断信号，配置下一帧视频数据图像编码解码模块和音频编码解码模块，并依次交替循环，完成音视频数据的编码压缩及发送。
CN201911094056.7A 2019-11-11 2019-11-11 一种无线高清低延迟视频传输装置、系统及方法 Active CN111050107B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911094056.7A CN111050107B (zh) 2019-11-11 2019-11-11 一种无线高清低延迟视频传输装置、系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911094056.7A CN111050107B (zh) 2019-11-11 2019-11-11 一种无线高清低延迟视频传输装置、系统及方法

Publications (2)

Publication Number Publication Date
CN111050107A CN111050107A (zh) 2020-04-21
CN111050107B true CN111050107B (zh) 2022-09-27

Family

ID=70232646

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911094056.7A Active CN111050107B (zh) 2019-11-11 2019-11-11 一种无线高清低延迟视频传输装置、系统及方法

Country Status (1)

Country Link
CN (1) CN111050107B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112218042B (zh) * 2020-09-04 2023-04-07 衡阳市大井医疗器械科技有限公司 一种sdi信号传输系统、传输方法、电子内窥镜和存储介质
CN113890977A (zh) * 2021-10-13 2022-01-04 中国电子科技集团公司第三研究所 机载视频处理装置及具有其的无人机

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201238362Y (zh) * 2008-06-03 2009-05-13 姚国略 多媒体无线传输系统
CN103369310A (zh) * 2012-03-26 2013-10-23 杭州竣颐科技有限公司 一种多媒体无线传输方法
CN105549497A (zh) * 2016-02-26 2016-05-04 暨南大学 支持pc控制的多旋翼无人飞行器控制系统
CN206024011U (zh) * 2016-08-23 2017-03-15 深圳市芯启源科技有限公司 信号发生装置
CN207440581U (zh) * 2017-12-01 2018-06-01 广东高云半导体科技股份有限公司 一种fpga通用开发板
CN108259834A (zh) * 2018-02-12 2018-07-06 南京六九零二科技有限公司 一种极低延时的高清无线传输装置
CN108833932A (zh) * 2018-07-19 2018-11-16 湖南君瀚信息技术有限公司 一种实现高清视频超低延迟编解码及传输的方法及系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100375063C (zh) * 2004-11-30 2008-03-12 中兴通讯股份有限公司 一种现场可编程门阵列中管理发送缓冲区的方法和装置
CN101500154A (zh) * 2009-02-20 2009-08-05 西北核技术研究所 高帧频光敏二极管阵列电子相机
CN101510819B (zh) * 2009-04-08 2011-09-14 华为技术有限公司 速率匹配方法及装置
CN102148988B (zh) * 2011-04-20 2013-04-17 上海交通大学 基于fpga的高速jpeg图像处理系统及其处理方法
CN103826072B (zh) * 2014-02-13 2018-02-16 北京科技大学 一种小型红外成像系统
CN104320716B (zh) * 2014-07-31 2017-07-07 南京邮电大学 一种基于多终端协同的视频上行链路传输方法
CN104767973B (zh) * 2015-04-08 2018-01-23 北京航空航天大学 一种多路视频实时无线传输与显示系统及构建方法
CN105635005A (zh) * 2016-03-23 2016-06-01 南京国电南自美卓控制系统有限公司 一种基于描述符的blvds总线数据传送装置及其方法
CN107395219A (zh) * 2017-07-10 2017-11-24 西安电子科技大学 一种基于fpga的高速无线通信系统及方法
CN109561426A (zh) * 2018-11-20 2019-04-02 浙江威星智能仪表股份有限公司 一种无线射频gfsk组网通讯的可靠性方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201238362Y (zh) * 2008-06-03 2009-05-13 姚国略 多媒体无线传输系统
CN103369310A (zh) * 2012-03-26 2013-10-23 杭州竣颐科技有限公司 一种多媒体无线传输方法
CN105549497A (zh) * 2016-02-26 2016-05-04 暨南大学 支持pc控制的多旋翼无人飞行器控制系统
CN206024011U (zh) * 2016-08-23 2017-03-15 深圳市芯启源科技有限公司 信号发生装置
CN207440581U (zh) * 2017-12-01 2018-06-01 广东高云半导体科技股份有限公司 一种fpga通用开发板
CN108259834A (zh) * 2018-02-12 2018-07-06 南京六九零二科技有限公司 一种极低延时的高清无线传输装置
CN108833932A (zh) * 2018-07-19 2018-11-16 湖南君瀚信息技术有限公司 一种实现高清视频超低延迟编解码及传输的方法及系统

Also Published As

Publication number Publication date
CN111050107A (zh) 2020-04-21

Similar Documents

Publication Publication Date Title
CN111050107B (zh) 一种无线高清低延迟视频传输装置、系统及方法
CN102263935B (zh) 一种基于td-scdma网络的视频监控传输装置
CN100375070C (zh) 采用照相手机作为计算机摄像头获取视频数据的方法
CN110865782B (zh) 数据传输方法、装置及设备
CN105744222A (zh) 一种无人机无线图像/视频传输、共享及存储系统
WO2018058575A1 (zh) 一种飞行图像数据的处理方法、系统及地面端设备
CN110291774A (zh) 一种图像处理方法、设备、系统及存储介质
CN103841352B (zh) 一种信息处理方法以及一种移动终端
CN109617594B (zh) 频分多址与时分多址混合体制的指令图像传输系统及方法
CN209949106U (zh) 无人机通信系统及无人机
US11716544B2 (en) Image capture module and electronic terminal
US7805069B2 (en) Imaging device, system and associated methods using multiple harmonized data streams
CN111147119B (zh) Das合路系统
CN113347383A (zh) 信号发送及接收方法、装置、存储介质、电子装置
CN110677626A (zh) 一种医疗影像设备通用的音视频远程传输系统及方法
CN202696803U (zh) 一种图像编码传输控制芯片及系统
CN201323633Y (zh) 无线视频传输系统及无线视频传输装置
CN203482329U (zh) 一种基于tdd制式的高速图传通信系统
CN101227711A (zh) 用于无线音频视频传输的收发模块
CN212936068U (zh) 一种高压缩编码技术的音视频记录及无线传输装置
CN212572753U (zh) 一种基于5g模块的无人机图传装置
CN110190895B (zh) 无人机通信系统及方法
CN218243624U (zh) 多链路聚合视频采集终端及系统
CN221042979U (zh) 摄像组件、电子设备
CN211791791U (zh) 一种小型轻量化无线图传系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant