CN111314710A - 一种无人机机载多传感器多处理器的视频压缩处理方法和装置 - Google Patents

Abstract

本发明涉及一种无人机机载多传感器多处理器视频压缩处理方法和装置，利用多个处理器，加载各类型处理器配置文件，根据机载遥控指令分别控制模拟摄像头和高清数字摄像头视频采集和压缩处理，利用多带宽H.264视频压缩参数配置，设计不同压缩处理输出缓存，达到无人机机载多传感器多处理器视频压缩处理要求，满足无人机机载多传感器、多分辨率、多信道带宽实时切换要求。

Description

一种无人机机载多传感器多处理器的视频压缩处理方法和 装置

技术领域

本发明属于机载视频图像处理技术领域，具体涉及一种多传感器无人机侦察图像压缩处理装置。

背景技术

在无人机对地观测技术中，需要利用多个机载图像传感器对多角度或多位置处感兴趣目标进行图像视频的获取。目前，对于无人机多传感器进行图像压缩处理的方法多采用相同分辨率、同类摄像头、多个图像处理板卡并行进行处理的方法，但是由于无人机机载设备载荷空间、功耗、造价和重量等条件限制，这种简单处理方法无法满足实际机载多传感器视频处理需求。为此，研究者提出了一些针对性解决方法，例如：文献“基于Hi3521A的多路视频监控系统设计，2018年第11期，单片机与嵌入式系统，51-54.”，采用多个模拟摄像头，利用Nextchip公司生产的NVP6134C单个处理芯片可将4路模拟视频信号采样转换为数字视频信号，然后对视频流通过指定的通道传入Hi3521A芯片完成相关多路视频信号进行统一处理；文献“基于FPGA的无人机多路视频监控系统设计，2012年12月，第20卷第24期，51-56”，利用FPGA将无人机不同位置的摄像机所采集的视频信息，在FPGA空间开辟存储区域时尽可能地按照所合成的视频的最大分辨率进行处理，以满足多种分辨率视频的合成，视频信号传送给地面站控制设备，并在同一台显示器上实现同步显示。上述文献可解决多视频传感器视频信号处理问题，但是文献1采用的视频图像合成方式进行传输，各个传感器画面经过统一处理，只能处理同一类视频传感器(例如，模拟摄像头)，各个传感器图像分辨率并没有得到有效保持；文献2虽然针对不同分辨率采用FPGA进行对应处理方式，但是由于FPGA复杂的时序电路设计，给设计人员带来一定困难。针对目前无人机机载模拟摄像头和数字高清摄像头这种多源视频数据并存处理问题，以及无人机机载遥测信道带宽受限的实际需求，设计一种能够满足模拟和数字的多源传感器视频信号处理需要，并能够利用遥控指令实时切换控制机载多传感器、多分辨率、多带宽等功能要求方法和装置。

因此，根据无人机机载载荷和工程实际应用条件要求，针对多传感器视频采集、多带宽视频压缩输出、多分辨率实时视频切换等机载视频压缩处理需要，本发明实现一种无人机机载多传感器多处理器视频压缩处理方法和装置。本发明利用多个处理器，加载各类型处理器配置文件，根据机载遥控指令分别控制模拟摄像头和高清数字摄像头视频采集和压缩处理，利用多带宽H.264视频压缩参数配置，设计不同压缩处理输出缓存，达到无人机机载多传感器多处理器视频压缩处理要求，满足无人机机载多传感器、多分辨率、多信道带宽实时切换要求。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种无人机多传感器的多处理器视频压缩处理方法和装置。

技术方案

一种无人机机载多传感器多处理器的视频压缩处理方法，其特征在于步骤如下：

步骤1：首先在上电时，主处理器和从处理器各自加载和读取默认处理配置文件，主处理器默认采用第一模拟传感器和第一带宽的方式，从处理器默认采用数字高清分辨率和第一带宽的方式，但是从处理器不输出数据，只有主处理器输出SPI和网络UDP压缩数据；

所述的默认传感器、默认处理带宽和默认分辨率处理方式：

步骤1a：默认系统配置文件为采用第一模拟传感器采集模拟视频信号；

步骤1b：选择压缩视频数据流输出采用第一带宽方式进行输出；所述的第一带宽方式为1.96Mbps；

步骤1c：根据第一信道带宽大小，对H.264视频压缩器进行相关参数设置，以便满足第一信道带宽所要求的压缩视频码流大小，随后H.264压缩编码器按照要求和参数配置，完成视频编码输出；

步骤1d：根据第一信道带宽大小，设置对应第一带宽的输出数据缓冲区，以便满足后续网络UDP和SPI输出恒定码流方式要求；

步骤1e：按照恒定码速率大小要求，设置SPI接口或总线控制，输出满足第一模拟视频传感器、第一信道带宽、SPI接口输出码速率的恒定码速率；按照恒定码速率大小要求，设置网络UDP接口或总线控制，输出满足第一模拟视频传感器、第一信道带宽、网络UDP输出码速的恒定码速率；

步骤2：机载遥控多传感器选择控制指令检测处理，如果有遥控指令对传感器进行切换，首先对遥控指令进行译码分析，判断选择模拟和数字高清传感器工作方式，如果机载遥控指令选择模拟视频传感器输出，则进入到模拟视频传感器输出处理方式；模拟视频处理流程分别按照不同带宽、不同分辨率进行H.264压缩数据通过网络UDP和SPI接口循环输出，同时禁止从处理器控制输出编码数据；

所述的模拟视频传感器输出处理方式：

步骤2a：系统上电后，接收到相关控制命令，按照命令进入模拟传感器处理方式；首先对模拟传感器控制命令进行译码，判断是否接收第一模拟传感器采集和输出信号，如果是则进入第一模拟传感器进行视频采集和输出，然后进入步骤2c，如果不是，则进入步骤2b，完成相关传感器判断工作；

步骤2b：对接收到控制命令进行译码，是否接收第二模拟传感器采集和输出视频信号，如果既不是第一模拟传感器也不是第二传感器进行视频采集和输出，那么系统直接进入第一模拟传感器采集方式，进入步骤2d；

步骤2c：如果是第二模拟传感器进行采集和输出，那么调用第二模拟传感器采集方式完成模拟视频采集；

步骤2d：接收到控制命令译码控制接收第一模拟传感器采集和输出视频信号，那么调用第一模拟传感器采集程序完成模拟视频采集；

步骤2e：为满足无人机机载遥测信道数据传输能力要求，系统分别设计两种信道带宽，分别为第一信道带宽和第二信道带宽两种方式；如果接收到控制命令进行译码后采用第一信道带宽方式，那么进入步骤2f，如果译码后采用第二信道带宽方式，那么进入步骤2i；如果两种带宽都不是，那么采用第一信道带宽处理方式，进入步骤2f；所述的第二信道带宽方式为3.84Mbps；

步骤2f：如果是第一信道带宽输出，则根据第一信道带宽要求，对H.264视频压缩进行相关参数设置，满足第一信道带宽所要求的压缩视频码流大小；

步骤2g：按照第一信道带宽要求数据，设置对第一应数据缓冲区；

步骤2h：利用设置的数据缓冲区大小，以恒定数率方式分别从SPI和网络UDP方式输出，完成H.264视频编码数据输出；

步骤2i：按照第二信道带宽要求数据，设置对应第二数据缓冲区；

步骤2j：利用设置的第二数据缓冲区大小，以恒定数率方式分别从SPI和网络UDP方式输出，完成H.264视频编码数据输出；

步骤3：如果没有遥控指令，则进入到系统默认状态视频编码循环处理方式；

步骤4：如果接收到机载遥控指令，控制的是高清数字传感器，则通过主处理器串口发送控制指令到从处理器，进入高清数字传感器视频编码循环处理方式；只有数字高清视频处理流程分别按照不同带宽、不同分辨率进行H.264压缩数据通过网络UDP和SPI接口循环输出，而主处理器控制不输出编码数据；如果不是高清数字传感器，则通过主处理器串口发送控制指令到从处理器，禁止从处理器输出编码数据进入系统默认状态视频编码循环处理程序；

所述的高清数字传感器视频编码循环处理方式：

步骤4a：系统上电后，接收到相关控制命令，按照命令进入高清数字视频传感器处理程序；首先对数字高清传感器控制命令进行译码，判断是否接收数字高清传感器采集和输出信号，如果是则进入数字高清视频传感器进行视频采集和输出，然后进入步骤3b，如果不是，则直接退出编码程序，关闭数据输出；

步骤4b：为满足无人机机载遥测信道数据传输能力要求，系统分别设计两种信道带宽，分别为第一信道带宽和第二信道带宽两种方式；如果接收到控制命令进行译码后采用第一信道带宽方式，那么进入步骤4c，如果译码后采用第二信道带宽方式，那么进入步骤4f，那么采用第一信道带宽处理方式，进入步骤4c；

步骤4c：如果是第一信道带宽输出，则根据第一信道带宽要求，对H.264视频压缩进行相关参数设置，满足第一信道带宽所要求的压缩视频码流大小；

步骤4d：按照第一信道带宽要求数据，设置对应第一数据缓冲区；

步骤4e：利用设置的第一数据缓冲区大小，以恒定数率方式分别从SPI和网络UDP方式输出，完成H.264视频编码数据输出；

步骤4f：如果是第二信道带宽输出，则根据第二信道带宽要求，对H.264视频压缩进行相关参数设置，满足第二信道带宽所要求的压缩视频码流大小；

步骤4g：按照第二信道带宽要求数据，设置对应第二数据缓冲区；

步骤4h：利用设置的第二数据缓冲区大小，以恒定数率方式分别从SPI和网络UDP方式输出，完成H.264视频编码数据输出。

一种无人机机载多传感器多处理器的视频压缩处理装置，其特征在于包括机载模拟视频采集8位BT.656隔行或逐行视频信号采集模块、高清数字视频采集16位BT.1120视频信号采集模块、嵌入式机载图像压缩处理处理模块、GSPI控制电路、I2C控制电路、数据SPI输出模块、数据网络UDP输出模块、机载遥控/遥测指令接收/发送处理模块；

所述机载视频8位BT.656隔行或逐行模拟视频传感器视频信号采集模块，采用

TW9912芯片进行隔行或逐行含雾视频图像采集，根据机载数据处理需要，通过主处理器的I2C配置TW9912为隔行或逐行方式，完成隔行或逐行8位BT.656视频信号采集处理的方式；

所述机载视频16位BT.1120数字高清传感器视频信号采集模块，采用GS2971芯片进行数字高清视频图像采集，根据机载数据处理需要，通过从处理器的GSPI配置GS2971为方式，完成16位BT.1120视频信号采集处理的方式；

所述I2C控制模块，采用嵌入式芯片i.MX6的I2C接口，实现对TW9912隔行/逐行输出BT.656控制功能；

所述GSPI控制模块，采用嵌入式芯片i.MX6的GSPI接口，实现对GS2971高清数字视频输出BT.1120控制功能；

所述视频图像压缩处理模块，采用嵌入式i.MX6进行H.264图像压缩处理，可以在主处理模块中对TW9912第一模拟视频传感器或者第二模拟视频传感器进行模拟视频采集输出图像数据，或者在从处理模块中对GS2971对数字高清传感器进行数字高清视频采集输出图像数据压缩，然后根据带宽受限条件进行视频压缩处理；

所述数据SPI输出模块，采用嵌入式芯片i.MX6的SPI接口，采用SPI主模式输出方式，按照第一信道带宽和第二信道带宽要求，设计相关SPI输出第一数据带宽缓冲区和第二数据带宽缓冲区，完成恒定第一信道带宽和第二恒定信道带宽输出；

所述数据网络UDP输出模块，采用Atheros公司的网络接口协议芯片AR8035，针对机载视频压缩数据网络UDP广播模式输出方式，按照第一信道带宽和第二信道带宽要求，设计相关第一带宽缓冲区和第一数据带宽缓冲区并按照网络UDP输出数据；

所述遥控指令接收和遥测指令发送模块，分别采用SP3232芯片的RS232串口电平转换模块，针对机载遥控遥测指令、和主处理器对从处理器控制要求，设计满足嵌入式i.MX6的串口接收模块，完成遥控指令接收、遥测指令和主处理器对从处理器控制功能的命令发射/接收功能，实现机载控制指令的处理功能。

有益效果

本发明提出的一种无人机机载多传感器多处理器视频压缩处理方法和装置，本发明的优点在于：

1、由于在模拟视频传感器采用逐行和隔行视频采集模块，可根据机载图像处理端口需要灵活兼容多种数据格式。

2、由于采用数字高清视频传感器采集模块，在兼容模拟视频采集方式基础上，进一步扩展到数字高清视频传感器采集，覆盖了目前机载视频所涉及到可见光图像采集方式，可根据机载图像处理端口需要灵活选择传感器。

3、H.264压缩处理方式采用网络UDP和同步SPI接口输出方式，满足现有无人机机载数据处理端口需求，提高整个系统处理通用性。

4、多模式、多分辨率、多带宽视频H.264压缩输出方式，可根据无人机机载遥测信道变化，采用灵活组合方式，系统的适应性得到进一步提高。

5、系统可根据控制信号，实时进行传感器、分辨率、输出数据带宽动态调整，通过网络信号和SPI同步串行输出的方式，进一步提高无人机机载多传感器视频压缩方法和装置的通用性和模块化。

附图说明

图1本发明示意图

图2本发明处理流程图

图3本发明默认传感器处理方法流程

图4本发明无人机多传感器的多处理器模拟传感器视频压缩处理流程

图5本发明无人机多传感器的多处理器数字高清传感器视频压缩处理流程

具体实施方式

现结合实施例、附图对本发明作进一步描述：

针对无人机机载多传感器视频压缩处理需要，本发明提出一种无人机机载多传感器的多处理器视频压缩处理方法和装置。首先，根据无人机机载多传感器、多带宽、多分辨率视频压缩处理需要，机载视频采集获取按照传感器类型分为模拟视频隔行/逐行采集主处理器模块、高清数字视频采集从处理器模块两部分，根据图像传感器类型完成对应视频采集；然后，在嵌入式系统中分别对采集的不同视频数据类型进行压缩处理，根据无人机系统遥测信道带宽、遥控信号命令和主处理器对从处理器控制指令完成传感器、分辨率、带宽等参数选择和配置工作，并按照主从处理器各自处理模拟和数字视频情况完成H.264视频压缩参数配置和编码工作；其次，按照各自压缩编码所需传输带宽情况设置数据缓存区；最后，经过压缩处理的视频图像数据分别通过网络处理模块和SPI接口处理模块按照对应信道带宽数据码流完成恒定速率的传输，并传输到机载信息处理终端对应端口。由于相对公知的FPGA多传感器视频处理方法存在实现复杂、逻辑和时序问题较多等不足，以及利用视频处理芯片对多个模拟视频传感器图像画面进行拼接方法，存在模拟和数字高清视频处理能力、多分辨率和多带宽不能同时满足等不足等问题，本发明可根据机载遥控命令需要，按照遥测信道带宽不同，对多个模拟和数字高清传感器进行多分辨率、多带宽视频压缩处理，并分别通过网络UDP和SPI两种通用接口方式进行传输，满足机载图像多传感器视频压缩处理需要。本发明的处理方式可降低系统设计复杂度，在满足多类型视频传感器基础上，提高系统应用的通用性和灵活性。

一种无人机机载多传感器多处理器视频压缩处理装置，所述装置包括：机载模拟视频采集8位BT.656隔行或逐行视频信号采集模块、高清数字视频采集16位BT.1120视频信号采集模块、嵌入式主从式机载图像压缩处理处理模块、GSPI控制电路、I2C控制电路、数据SPI输出模块、数据网络UDP输出模块、机载遥控/遥测指令接收/发送处理模块。

所述机载模拟传感器8位BT.656隔行或逐行视频视频信号采集模块，采用Techwell公司的TW9912芯片，根据机载数据处理需要，设计输出隔行或逐行8位BT.656视频信号。

所述机载数字高清传感器16位BT.1120视频信号采集模块，采用Semtech公司的GS2971芯片进行数字高清视频图像采集，通过GSPI总线配置GS2971，设计16位BT.1120视频信号采集处理的方式。

所述I2C控制模块，采用Freescale公司嵌入式i.MX6的系统I2C接口模块，利用I2C对TW9912快速通信方式，完成对总线上TW9912芯片的隔行与逐行采集和BT.656接口模块输出控制功能。

所述GSPI控制模块，采用嵌入式芯片i.MX6的GSPI接口模块，利用GSPI对GS2971快速通信方式，实现对GS2971高清数字视频采集和BT.1120接口模块输出控制功能。

所述视频图像压缩处理模块，采用嵌入式i.MX6进行H.264图像压缩处理，利用利用嵌入式多线程处理能力和DMA数据处理硬件设计，分别利用TW9912采集视频传感器1或者2获得BT.656数据、GS2971采集数字高清视频传感器获得BT.1120数据，按照分辨率、带宽要求分别进行H.264视频压缩处理。

所述数据SPI输出模块，采用嵌入式芯片i.MX6的SPI接口，采用SPI主模式输出方式，按照信道带宽1和信道带宽2要求，为适应多种数据输出方式，本发明设计多个压缩数据传输存储缓存，满足多种分辨率视频的数据SPI输出，设计相关SPI数据输出带宽缓冲区1和带宽缓冲区2，缓存区域时按照所需传输的视频最大分辨率，这样采用一种数据传输方式可以完成所有恒定信道带宽1和恒定信道带宽2输出，系统数据传输的通用性得到保证。

所述数据网络UDP输出模块，采用Atheros公司的网络接口协议芯片AR8035，针对机载视频压缩数据网络UDP广播模式输出方式，按照信道带宽1和信道带宽2要求，为适应多种数据输出方式，本发明设计多个压缩数据传输存储缓存，满足多种分辨率视频的数据网络UDP输出，设计相关UDP数据输出带宽缓冲区1和带宽缓冲区2，缓存区域时按照所需传输的视频最大分辨率，这样采用一种数据传输方式可以完成所有恒定信道带宽1和恒定信道带宽2输出，系统数据传输的通用性得到保证。

所述遥控指令接收、遥测指令和主处理器对从处理器控制的发送模块，采用Sipex公司SP3232芯片，设计i.MX6的嵌入式芯片的串口接口，实现遥控指令接收和遥测指令发射，实现机载控制指令的处理功能。

一种无人机机载多传感器多处理器视频压缩处理方法包括以下步骤：

步骤1、机载模拟视频隔行或逐行的8位BT.656视频数据采集获取

首先，根据机载模拟视频传感器以及机载视频对隔行和逐行数据处理要求，设计模拟视频采集获取模块，通过主处理器的硬件I2C总线控制模拟视频采集方式软件参数的设置，完成视频隔行或逐行数据采集。目前，常规的模拟视频采集的D1分辨率720×576的视频图像是奇偶场为720×288隔行数据，而在机载数据处理终端设备中，需要接收处理隔行和逐行数据两种数据。由于在视频图像的采集过程中，不同端口大小，不同阶段，视频数据的字节顺序是非常重要的。在隔行或逐行处理中方法中，常规方法处理方式如下：利用上下两场交错生成一帧逐行图像，或者用隔行视频数据其中的一场代替一帧图像。但是，这种插值算法会损害静态图像的清晰度。为了消除差值运算清晰度问题，需要加入图像运动补偿算法，算法资源占用和处理时间较大，实时性较差。为此，在视频采集模块中，本发明利用视频采集硬件资源，设计内部反交错引擎和相应的数据交换空间，通过对视频采集模块相关寄存器设计，对机载隔行或逐行的8位BT.656视频数据利用数据缓存进行硬件隔行或逐行处理。这种通过硬件设计实现BT.656逐行视频数据和运动补偿的图像处理方法，视频采集实时性好，逐行转换效果也得到保证，可降低系统设计复杂性和难度，满足系统整体实时处理需要。在本方法中，系统默认采用模拟传感器1方式进行视频数据BT.656输出。

步骤2、机载高清数字的16位BT.1120视频数据采集获取

首先，根据机载数字高清视频传感器处理要求，设计高清数字视频采集获取模块，通过从处理器硬件GSPI总线控制高清数字视频采集软件参数的设置，完成数字高清视频数据采集。目前，常规的数字高清视频采集的分辨率分别有：1920×1080、1280×720、720×576等多种分辨率，在机载视频数据处理过程中，为提高系统通用性和灵活性，可根据机载数字高清视频处理需要，采用软件设置方式对数字高清传感器进行不同分辨率配置。为此，在高清数字视频采集模块中，本发明利用数字高清采集模块内部硬件寄存器设置，在串口收到遥控指令后，根据指令译码选择对应高清视频信号分辨率，对机载高清视频传感器进行16位BT.1120视频数据采集输出。这种通过硬件设计实现BT.1120不同分辨率图像采集处理方法，视频采集实时性好，可降低系统设计复杂性和难度，满足系统整体实时处理需要。

步骤3、机载视频图像压缩处理

由于机载数据传输系统带宽受限，需要进行视频图像压缩处理。视频压缩处理模块采用嵌入式系统平台，按照机载遥控指令选择对应视频压缩参数配置，分别在主处理器和从处理器模块完成指定传感器、指定分辨率、指定信道带宽下对机载多传感器视频图像按照H.264图像压缩。根据机载遥控控制指令，选择指定传感器和指定视频分辨率采集数据，再按照指定带宽要求，选择H.264编码软件编码方法和参数设置(例如，量化参数QP、视频编码图像组GOP、视频码率受控等)，完成相应信道带宽条件下恒定码速率输出。在实现过程中，机载视频图像压缩处理中，为了对步骤1和步骤2中采集获取不同分辨率的传输数据进行统一视频编码，设计采集输出数据缓存模块，利用外部DDR的读操作将8位BT.656/16位BT.1120的两种不同分辨率和不同格式的视频切割成统一的大小，按照最大分辨率的数据设置乒乓缓存机制，低分辨率数据采用后续数据递增方式，按照最大分辨率数据长度进行写入缓存，而数据区分采用帧头标识字方式。同时，还通过重复读取DDR中的缓存数据方式，解决DDR所存视频数据前后帧率不匹配的问题。具体方式如下，对于需要处理的8位BT.656/16位BT.1120的两种不同分辨率和不同格式的视频数据，采用并行帧头同步搜索方式，只有当检测到有效帧头数据就输入到后续模块进行处理，对于未搜索到帧头的采取数据丢弃方式，这种方式可以降低后续处理模块的设计复杂度。针对所述缓存数据的在亮度与色度数据统一处理方式，设计的亮度和色度块预测并行处理方式，可保证多种预测模式的并行处理。对于宏块的压缩编码，利用宏块行缓冲之后即可实现码率控制，为第一帧编码图像分配量化参数以及对相关参数进行初始化。此外，机载视频图像压缩处理中，为了减少数据处理过多占用CPU资源的压力情况，本发明采用直接存储器访问(DMA)方法，设计专有DMA硬件通道实现视频数据和存储器之间直接高速存储。这种利用DMA方式实现图像数据处理方法，传输过程无需CPU执行指令干预，不仅提升算法的执行效率，节约预处理时间，而且能有效降低嵌入式系统的运算量，减小系统资源占用，并使得系统有更多的时钟周期用于处理更为复杂的逻辑操作。此外，在进行编码过程中，为减少重建像素过程，通过对局部重建4×4子块像素的方式分析，传统方式采用全部4×4子块像素参与重建。为了减少Intra4×4重建的处理周期，本发明采用头尾局部重建像素参考方式可以减小重建参考像素数量。在实现Intra16×16预测模式中，采用将16×16预测块划分为4×4子块循环预测值方式，同时对这些16个像素4×4进行并行循环处理的方式以加速简化软硬件实现的复杂度。

步骤4、机载遥控指令接收和遥测回报发送

以上步骤1～步骤3，除了系统上电初始化时采用默认传感器处理方法外，系统上电后工作状态都需要根据主处理器接收到的机载遥控指令完成对应工作，遥控指令分别针对模拟传感器或者高清数字传感器的控制命令执行，在执行完毕后还需要通过主处理器的串口模块，将多传感器视频压缩状态以机载遥测回报方式发送给机载数据处理终端，同时，系统还需要将执行状态情况通过无线遥测信道发送到无人机地面站。因此，根据机载遥控接收和遥测发送处理需要，相同在主处理器和从处理器中都采用嵌入式的串口中断方式完成遥控指令接收和处理。通过接收到的遥控指令，分别进行指令解析，执行整个装置相关控制处理功能。同时，通过主处理器的串口发送遥测回报指令，回报机载多传感器视频压缩处理状态等信息。

步骤5、机载多传感器视频图像压缩数据网络UDP输出

在步骤3中，虽然机载视频压缩处理方面采用恒定码速率等编码方法和参数配置方法，能够恒定输出一定带宽数据。但是，由于机载多传感器视频图像压缩数据网络UDP输出方式，需要按照机载视频网络UDP输出协议要求，最终分别按照模拟传感器和数字高清传感器的视频数据压缩和机载遥测信道带宽，分别对多传感器的多分辨率、多带宽视频压缩数据按照机载视频网络UDP输出，完成机载多传感器视频图像压缩数据网络UDP输出，满足机载图像多传感器视频压缩处理需要。此外，为适应多种数据输出方式，本发明设计多个压缩数据传输存储缓存，满足多种分辨率视频的数据网络UDP输出，设计缓存区域时按照所需传输的视频最大分辨率，这样采用一种数据传输方式可以完成所有分辨率的视频，系统数据传输通用性得到保证。

步骤6、机载多传感器视频图像压缩数据SPI输出

在步骤3中，虽然机载模拟传感器和数字高清传感器视频压缩处理方面可以分别采用恒定码速率等编码方法和参数配置方法，能够恒定输出一定带宽数据。但是，由于机载多传感器视频图像压缩数据需要通过SPI同步串行输出，对于接收到的压缩数据中特别是I帧数据进行缓存处理，并结合P帧数据大小，需要按照机载视频SPI同步输出协议要求，设置相应的压缩编码数据缓存区，以便可以按照视频压缩数据遥测信道带宽要求，完成主处理器和从处理器的各自对应SPI端口输出指定分辨率、带宽的视频压缩数据，满足机载图像多传感器视频压缩处理需要。为此，本发明此外，为适应多种数据输出方式，本发明设计多个压缩数据传输存储缓存，满足多种分辨率视频的数据SPI输出，设计缓存区域时按照所需传输的视频最大分辨率，这样采用一种数据传输方式可以完成所有分辨率的视频，系统数据传输通用性得到保证。

本发明方法的基本示意和处理流程如图1和图2所示，其中本发明默认传感器处理方法流程如图3所示，多传感器中模拟视频处理流程如图4所示，多传感器中数字高清视频处理流程如图5所示，具体实施如下：

本发明解决其技术问题所采用的方案是：机载模拟视频采集8位BT.656隔行或逐行视频信号采集模块、高清数字视频采集16位BT.1120视频信号采集模块、嵌入式机载图像压缩处理处理模块、GSPI控制电路、I2C控制电路、数据SPI输出模块、数据网络UDP输出模块、机载遥控/遥测指令接收/发送和主处理器对从处理器控制指令处理模块。

所述机载模拟传感器8位BT.656隔行或逐行视频视频信号采集模块，采用Techwell公司的TW9912芯片，根据机载数据处理需要，设计输出隔行或逐行8位BT.656视频信号。

所述I2C控制模块，采用Freescale公司嵌入式i.MX6的系统I2C接口模块，利用I2C对TW9912快速通信方式，完成对总线上TW9912芯片的隔行与逐行采集和BT.656接口模块输出控制功能。

所述机载数字高清传感器16位BT.1120视频信号采集模块，采用Semtech公司的GS2971芯片进行数字高清视频图像采集，通过从处理器的GSPI总线配置GS2971，设计16位BT.1120视频信号采集处理的方式。

所述GSPI控制模块，采用从处理器i.MX6的GSPI接口模块，利用GSPI对GS2971快速通信方式，实现对GS2971高清数字视频采集和BT.1120接口模块输出控制功能。

所述视频图像压缩处理模块，采用嵌入式i.MX6进行H.264图像压缩处理，利用嵌入式多线程处理能力和DMA数据处理硬件设计，按照主处理器对TW9912采集视频传感器1或者2获得BT.656数据、从处理器对GS2971采集数字高清视频传感器获得BT.1120数据，按照分辨率、带宽要求分别进行H.264视频压缩处理。其中，设计采集输出数据缓存模块，利用外部DDR的读操作将8位BT.656/16位BT.1120的两种不同分辨率和不同格式的视频切割成统一的大小，按照最大分辨率的数据设置乒乓缓存机制，低分辨率数据采用后续数据递增方式，按照最大分辨率数据长度进行写入缓存，而数据区分采用帧头标识字方式。同时，还通过重复读取DDR中的缓存数据方式，解决DDR所存视频数据前后帧率不匹配的问题。具体方式如下，对于需要处理的8位BT.656/16位BT.1120的两种不同分辨率和不同格式的视频数据，采用并行帧头同步搜索方式，只有当检测到有效帧头数据就输入到后续模块进行处理，对于未搜索到帧头的采取数据丢弃方式，这种方式可以降低后续处理模块的设计复杂度。针对所述缓存数据的在亮度与色度数据统一处理方式，设计的亮度和色度块预测并行处理方式，可保证多种预测模式的并行处理。对于宏块的压缩编码，利用宏块行缓冲之后即可实现码率控制，为第一帧编码图像分配量化参数以及对相关参数进行初始化。

所述数据SPI输出模块，采用嵌入式芯片i.MX6的SPI接口，采用SPI主模式输出方式，按照信道带宽1和信道带宽2要求，为适应多种数据输出方式，本发明设计多个压缩数据传输存储缓存，满足多种分辨率视频的数据SPI输出，设计相关SPI数据输出带宽缓冲区1和带宽缓冲区2，缓存区域时按照所需传输的视频最大分辨率，这样采用一种数据传输方式可以完成所有恒定信道带宽1和恒定信道带宽2输出，系统数据传输的通用性得到保证。

所述数据网络UDP输出模块，采用Atheros公司的网络接口协议芯片AR8035，针对机载视频压缩数据网络UDP广播模式输出方式，按照信道带宽1和信道带宽2要求，为适应多种数据输出方式，本发明设计多个压缩数据传输存储缓存，满足多种分辨率视频的数据网络UDP输出，设计相关UDP数据输出带宽缓冲区1和带宽缓冲区2，缓存区域时按照所需传输的视频最大分辨率，这样采用一种数据传输方式可以完成所有恒定信道带宽1和恒定信道带宽2输出，系统数据传输的通用性得到保证。

机载遥控/遥测指令接收/发送和主处理器对从处理器控制指令处理模块，采用Sipex公司SP3232芯片，设计i.MX6的嵌入式芯片的串口接口，实现遥控指令接收和遥测指令发射，实现机载控制指令的处理功能。

所述隔行或逐行视频信号采集模块为TW9912，通过设计TW9912的I2C控制接口模块，完成主处理器i.MX6与TW9912通信、隔行与逐行配置。模拟摄像头连接YIN0～YIN2，输入视频信号进行采集处理，通过嵌入式系统的I2C接口配置TW9912寄存器0X05、0X0A和0X32设定为隔行或逐行。

所述高清数字视频信号采集模块为GS2971，通过设计GS2971芯片管脚默认配置，其输入必须重新配置接入视频数据转换YCBCR数据后再经GS2971芯片输出BT.1120，再接入i.MX6视频处理芯片。为提高数字视频通用性，默认采用标清输入，配置输入寄存器0x024为0x0001，当检测到标清视频信息，寄存器0x022的STD_LOCK标志位的状态信息是1，并读取视频标准寄存器0x006的VD_STD_DS1值，将标清视频标准信息发送给编码程序；当输入高清信号，配置输入寄存器0x024为0x0000，寄存器STD_LOCK标志位马上置1，并读取视频标准寄存器0x006的VD_STD_DS1值，输出高清视频给；如果输入3G速率SDI视频，配置输入寄存器0x024为0x0003，如果STD_LOCK标志位的状态是1，读取视频标准寄存器0x006的VD_STD_DS1值，并把SDI视频信号标志位置1，同时输出3G速率SDI视频标准信息发送给i.MX6的编码器；如果获取STD_LOCK标志位的状态都是0，那么没有视频信号输入并把SDI视频信号标志位置0。

所述H.264视频压缩处理模块，采用具有H.264压缩处理的嵌入式系统i.MX6芯片。采用主从两块芯片分别完成BT.656和BT.1120数字视频视频信号压缩处理，满足机载信道带宽受限要求。在进行H.264压缩算法完成数字视频信号的处理中，包括量化参数QP调整、I帧之间的距离图像组GOP、恒定码速率和数据组帧等处理，完成机载视频图像H.264压缩处理。同时，设计采集输出数据缓存模块，完成两种不同分辨率和不同格式的视频切割的最大分辨率乒乓缓存机制，采用帧头标识字方式解决数据并行同步处理。还通过重复读取DDR中的缓存数据方式，解决DDR所存视频数据前后帧率不匹配的问题。针对所述缓存数据的在亮度与色度数据统一处理方式，设计的亮度和色度块预测并行处理方式。对于宏块的压缩编码，利用宏块行缓冲之后即可实现码率控制，为第一帧编码图像分配量化参数以及对相关参数进行初始化。

机载遥控/遥测指令接收/发送和主处理器对从处理器控制指令处理模块，采用SP3232芯片的RS232串口电平转换模块，对接收到的遥控指令进行解析，根据解析的遥控命令，分别通过主处理器的I2C接口完成TW9912配置以及从处理器的GSPI接口完成GS2971配置，并执行相应的视频视频采集操作。同时，通过主处理器串口完成遥测回报发射功能。

所述数据网络UDP输出模块，采用Atheros公司的网络接口协议芯片AR8035，针对机载视频压缩数据网络UDP广播模式输出方式，按照信道带宽1和信道带宽2要求，为适应多种数据输出方式，本发明设计多个压缩数据传输存储缓存，满足多种分辨率视频的数据网络UDP输出，设计相关UDP数据输出带宽缓冲区1和带宽缓冲区2，缓存区域时按照所需传输的视频最大分辨率，这样采用一种数据传输方式可以完成所有恒定信道带宽1和恒定信道带宽2输出，系统数据传输的通用性得到保证。

装置实施实例：参照图1，本发明的装置包括模拟逐行、隔行采集和8位BT.656视频信号转换模块，数字高清视频采集和16位BT.1120视频信号转换模块，i.MX6嵌入式系统H.264视频压缩模块，i.MX6嵌入式压缩数据网络UDP输出模块，i.MX6嵌入式压缩数据SPI输出模块，机载遥控信号接收/遥测回报模块。

机载遥控/遥测指令接收/发送和主处理器对从处理器控制指令处理模块接收模拟视频传感器和数字高清传感器控制指令，通过主处理器的RS232串口接收和解析遥控指令，根据遥控指令分别控制主处理器的I2C模块配置TW9912相关寄存器，或者从处理器的GSPI模块配置GS2971相关寄存器。TW9912根据配置寄存器对输入的模拟视频信号进行逐行和隔行视频转换，配置Pin25-Pin34为8位BT.656接口，配置Pin16和Pin17为I2C的数据和时钟，完成隔行或逐行的视频数据输出。GS2971根据配置寄存器对输入数字高清传感器信号进行采集，配置输入寄存器0x024为0x0001，当检测到标清视频信息，寄存器0x022的STD_LOCK标志位的状态信息是1，并读取视频标准寄存器0x006的VD_STD_DS1值，将标清视频标准信息发送给编码程序；当输入高清信号，配置输入寄存器0x024为0x0000，寄存器STD_LOCK标志位马上置1，并读取视频标准寄存器0x006的VD_STD_DS1值，输出高清视频给；如果输入3G速率SDI视频，配置输入寄存器0x024为0x0003，如果STD_LOCK标志位的状态是1，读取视频标准寄存器0x006的VD_STD_DS1值，并把SDI视频信号标志位置1，同时输出3G速率SDI视频标准信息发送给i.MX6的编码器；如果获取STD_LOCK标志位的状态都是0，那么没有视频信号输入并把SDI视频信号标志位置0。串口协议转换芯片SP2323管脚Pin11和Pin12配置为串口发射和接收的输入端，与主处理器的PinW5和PinV6完成UART协议转换，最后通过SP3232管脚Pin14和Pin13输出串口RS232电平。网络协议芯片AR8035管脚RXD0-3(Pin25-26，Pin28-29)和分别TXD0-3(Pin34-37)为网络数据接收和发射管脚，与i.MX6嵌入式系统的管脚RGMII_RD0-3(PinC24、PinB23、PinB24、PinD23)和RGMII_TD0-3(PinC22、PinF20、PinF21、PinA24)相连接，i.MX6嵌入式系统的管脚RGMII_TX_CTL和RGMII_RXC分别与AR8035管脚TX_EN(Pin32)和RX_CLK(Pin31)相连接。主处理器i.MX6管脚PinU5和PinU7配置的I2C管脚，完成模拟视频传感器参数配置。当数字视频采集数据输出到主处理器i.MX6的BT.656接口，通过H.264视频压缩处理算法，完成相关视频压缩处理；当BT.1120数据输出到从处理器i.MX6的BT.1120接口，通过H.264视频压缩处理算法，完成相关视频压缩处理。本发明中，嵌入式系统i.MX6需要完成多传感器视频图像恒定码速率压缩处理，I2C接口模块设计，GSPI接口模块设计，RS232串口模块设计，网络UDP输出模块设计，通过I2C模块完成对TW9912芯片功能配置，通过GSPI模块完成对GS2971芯片功能配置，通过网络UDP接口和SPI同步串行数据输出接口输出指定分辨率、指定带宽、指定传感器的视频采集数据输出，以及机载遥控指令的响应工作。在发明设计中，通用主处理器的I2C总线需要对所述的TW9912的Pin6和Pin7配置并外接接2.2K上拉电阻，以便提高嵌入式系统I2C模块的驱动能力和保持I2C信号有稳定电平；设计TW9912和GS2971的数字信号BT.656和BT.1120的接口设计，协议芯片SP3232和AR8035完成串口和网络协议电平转换。

Claims (2)

1.一种无人机机载多传感器多处理器的视频压缩处理方法，其特征在于步骤如下：

步骤1：首先在上电时，主处理器和从处理器各自加载和读取默认处理配置文件，主处理器默认采用第一模拟传感器和第一带宽的方式，从处理器默认采用数字高清分辨率和第一带宽的方式，但是从处理器不输出数据，只有主处理器输出SPI和网络UDP压缩数据；

所述的默认传感器、默认处理带宽和默认分辨率处理方式：

步骤1a：默认系统配置文件为采用第一模拟传感器采集模拟视频信号；

步骤1b：选择压缩视频数据流输出采用第一带宽方式进行输出；所述的第一带宽方式为1.96Mbps；

步骤1c：根据第一信道带宽大小，对H.264视频压缩器进行相关参数设置，以便满足第一信道带宽所要求的压缩视频码流大小，随后H.264压缩编码器按照要求和参数配置，完成视频编码输出；

步骤1d：根据第一信道带宽大小，设置对应第一带宽的输出数据缓冲区，以便满足后续网络UDP和SPI输出恒定码流方式要求；

步骤1e：按照恒定码速率大小要求，设置SPI接口或总线控制，输出满足第一模拟视频传感器、第一信道带宽、SPI接口输出码速率的恒定码速率；按照恒定码速率大小要求，设置网络UDP接口或总线控制，输出满足第一模拟视频传感器、第一信道带宽、网络UDP输出码速的恒定码速率；

步骤2：机载遥控多传感器选择控制指令检测处理，如果有遥控指令对传感器进行切换，首先对遥控指令进行译码分析，判断选择模拟和数字高清传感器工作方式，如果机载遥控指令选择模拟视频传感器输出，则进入到模拟视频传感器输出处理方式；模拟视频处理流程分别按照不同带宽、不同分辨率进行H.264压缩数据通过网络UDP和SPI接口循环输出，同时禁止从处理器控制输出编码数据；

所述的模拟视频传感器输出处理方式：

步骤2a：系统上电后，接收到相关控制命令，按照命令进入模拟传感器处理方式；首先对模拟传感器控制命令进行译码，判断是否接收第一模拟传感器采集和输出信号，如果是则进入第一模拟传感器进行视频采集和输出，然后进入步骤2c，如果不是，则进入步骤2b，完成相关传感器判断工作；

步骤2b：对接收到控制命令进行译码，是否接收第二模拟传感器采集和输出视频信号，如果既不是第一模拟传感器也不是第二传感器进行视频采集和输出，那么系统直接进入第一模拟传感器采集方式，进入步骤2d；

步骤2c：如果是第二模拟传感器进行采集和输出，那么调用第二模拟传感器采集方式完成模拟视频采集；

步骤2d：接收到控制命令译码控制接收第一模拟传感器采集和输出视频信号，那么调用第一模拟传感器采集程序完成模拟视频采集；

步骤2e：为满足无人机机载遥测信道数据传输能力要求，系统分别设计两种信道带宽，分别为第一信道带宽和第二信道带宽两种方式；如果接收到控制命令进行译码后采用第一信道带宽方式，那么进入步骤2f，如果译码后采用第二信道带宽方式，那么进入步骤2i；如果两种带宽都不是，那么采用第一信道带宽处理方式，进入步骤2f；所述的第二信道带宽方式为3.84Mbps；

步骤2f：如果是第一信道带宽输出，则根据第一信道带宽要求，对H.264视频压缩进行相关参数设置，满足第一信道带宽所要求的压缩视频码流大小；

步骤2g：按照第一信道带宽要求数据，设置对第一应数据缓冲区；

步骤2h：利用设置的数据缓冲区大小，以恒定数率方式分别从SPI和网络UDP方式输出，完成H.264视频编码数据输出；

步骤2i：按照第二信道带宽要求数据，设置对应第二数据缓冲区；

步骤2j：利用设置的第二数据缓冲区大小，以恒定数率方式分别从SPI和网络UDP方式输出，完成H.264视频编码数据输出；

步骤3：如果没有遥控指令，则进入到系统默认状态视频编码循环处理方式；

步骤4：如果接收到机载遥控指令，控制的是高清数字传感器，则通过主处理器串口发送控制指令到从处理器，进入高清数字传感器视频编码循环处理方式；只有数字高清视频处理流程分别按照不同带宽、不同分辨率进行H.264压缩数据通过网络UDP和SPI接口循环输出，而主处理器控制不输出编码数据；如果不是高清数字传感器，则通过主处理器串口发送控制指令到从处理器，禁止从处理器输出编码数据进入系统默认状态视频编码循环处理程序；

所述的高清数字传感器视频编码循环处理方式：

步骤4a：系统上电后，接收到相关控制命令，按照命令进入高清数字视频传感器处理程序；首先对数字高清传感器控制命令进行译码，判断是否接收数字高清传感器采集和输出信号，如果是则进入数字高清视频传感器进行视频采集和输出，然后进入步骤3b，如果不是，则直接退出编码程序，关闭数据输出；

步骤4b：为满足无人机机载遥测信道数据传输能力要求，系统分别设计两种信道带宽，分别为第一信道带宽和第二信道带宽两种方式；如果接收到控制命令进行译码后采用第一信道带宽方式，那么进入步骤4c，如果译码后采用第二信道带宽方式，那么进入步骤4f，那么采用第一信道带宽处理方式，进入步骤4c；

步骤4c：如果是第一信道带宽输出，则根据第一信道带宽要求，对H.264视频压缩进行相关参数设置，满足第一信道带宽所要求的压缩视频码流大小；

步骤4d：按照第一信道带宽要求数据，设置对应第一数据缓冲区；

步骤4e：利用设置的第一数据缓冲区大小，以恒定数率方式分别从SPI和网络UDP方式输出，完成H.264视频编码数据输出；

步骤4f：如果是第二信道带宽输出，则根据第二信道带宽要求，对H.264视频压缩进行相关参数设置，满足第二信道带宽所要求的压缩视频码流大小；

步骤4g：按照第二信道带宽要求数据，设置对应第二数据缓冲区；

步骤4h：利用设置的第二数据缓冲区大小，以恒定数率方式分别从SPI和网络UDP方式输出，完成H.264视频编码数据输出。

2.一种实现权利要求1所述的方法的无人机机载多传感器多处理器的视频压缩处理装置，其特征在于包括机载模拟视频采集8位BT.656隔行或逐行视频信号采集模块、高清数字视频采集16位BT.1120视频信号采集模块、嵌入式机载图像压缩处理处理模块、GSPI控制电路、I2C控制电路、数据SPI输出模块、数据网络UDP输出模块、机载遥控/遥测指令接收/发送处理模块；

所述机载视频8位BT.656隔行或逐行模拟视频传感器视频信号采集模块，采用TW9912芯片进行隔行或逐行含雾视频图像采集，根据机载数据处理需要，通过主处理器的I2C配置TW9912为隔行或逐行方式，完成隔行或逐行8位BT.656视频信号采集处理的方式；

所述机载视频16位BT.1120数字高清传感器视频信号采集模块，采用GS2971芯片进行数字高清视频图像采集，根据机载数据处理需要，通过从处理器的GSPI配置GS2971为方式，完成16位BT.1120视频信号采集处理的方式；

所述I2C控制模块，采用嵌入式芯片i.MX6的I2C接口，实现对TW9912隔行/逐行输出BT.656控制功能；

所述GSPI控制模块，采用嵌入式芯片i.MX6的GSPI接口，实现对GS2971高清数字视频输出BT.1120控制功能；

所述视频图像压缩处理模块，采用嵌入式i.MX6进行H.264图像压缩处理，可以在主处理模块中对TW9912第一模拟视频传感器或者第二模拟视频传感器进行模拟视频采集输出图像数据，或者在从处理模块中对GS2971对数字高清传感器进行数字高清视频采集输出图像数据压缩，然后根据带宽受限条件进行视频压缩处理；所述数据SPI输出模块，采用嵌入式芯片i.MX6的SPI接口，采用SPI主模式输出方式，按照第一信道带宽和第二信道带宽要求，设计相关SPI输出第一数据带宽缓冲区和第二数据带宽缓冲区，完成恒定第一信道带宽和第二恒定信道带宽输出；所述数据网络UDP输出模块，采用Atheros公司的网络接口协议芯片AR8035，针对机载视频压缩数据网络UDP广播模式输出方式，按照第一信道带宽和第二信道带宽要求，设计相关第一带宽缓冲区和第一数据带宽缓冲区并按照网络UDP输出数据；

所述遥控指令接收和遥测指令发送模块，分别采用SP3232芯片的RS232串口电平转换模块，针对机载遥控遥测指令、和主处理器对从处理器控制要求，设计满足嵌入式i.MX6的串口接收模块，完成遥控指令接收、遥测指令和主处理器对从处理器控制功能的命令发射/接收功能，实现机载控制指令的处理功能。

Images