CN207869285U - 一种机载光电吊舱超高清视频图像处理系统 - Google Patents

Abstract

本实用新型公开了一种机载光电吊舱超高清视频图像处理系统，包括图像处理模块NVIDIA Jetson TX2、视频采集模块、通信模块、视频压缩码流输出模块，视频采集模块接收机载吊舱摄像系统的视频输入并将视频输入至图像处理模块NVIDIA Jetson TX2，通信端口用于连接机载吊舱私服系统和图像处理模块NVIDIA Jetson TX2，所述压缩码流输出端口用于将图像处理模块NVIDIA Jetson TX2的压缩视频流输出至机载链路；其中，视频采集模块包括可见光输入桥接芯片和红外视频解码器，图像处理模块NVIDIA Jetson TX2的GPU用于实现目标识别跟踪、动目标检测、深度学习、图像增强和图像透雾。本实用性能显著提高了机载光电吊舱的侦察能力，4K超高清视频和红外视频的H.265编码显著降低了码流带宽。

Description

一种机载光电吊舱超高清视频图像处理系统

技术领域

本实用新型属于机载光电吊舱技术领域，尤其涉及机载光电吊舱的视频系统。

背景技术

目前，在现有机载光电吊舱领域，1080P全高清视频还未达到普及应用，尤其在军用领域，还多采用标清模拟视频或低于全高清视频分辨率的数字视频，原因是机载无线链路的带宽有限，以及图像处理平台的处理能力受限。机载光电吊舱要想使用全高清视频，就需要利用更好的视频编码方法，在保证图像质量的同时，尽量压低编码后的视频码流带宽。

实用新型内容

本实用新型针对现有技术存在的问题，提供一种机载光电吊舱超高清视频图像处理系统。

本实用新型采取如下技术方案：

一种机载光电吊舱超高清视频图像处理系统，其特征在于，所述视频图像处理系统包括图像处理模块NVIDIA Jetson TX2、视频采集模块、通信模块、视频压缩码流输出模块，所述视频采集模块接收机载吊舱摄像系统的视频输入并将视频输入至所述图像处理模块NVIDIA Jetson TX2，所述通信端口用于连接机载吊舱私服系统和所述图像处理模块NVIDIA Jetson TX2，所述压缩码流输出端口用于将所述图像处理模块NVIDIA Jetson TX2的压缩视频流输出至机载链路；其中，所述视频采集模块包括可见光输入桥接芯片和红外视频解码器，所述图像处理模块NVIDIA Jetson TX2的GPU用于实现目标识别跟踪、动目标检测、深度学习、图像增强和图像透雾。

根据上述的机载光电吊舱超高清视频图像处理系统，其特征在于，所述通信端口为RS422，所述压缩码流通过差分SPI或网口或USB接口输出至机载链路。

根据上述的机载光电吊舱超高清视频图像处理系统，其特征在于，可见光摄像机通过HDMI将可见光图像输入给所述桥接芯片，所述桥接芯片通过MIPI与所述图像处理模块NVIDIA Jetson TX2通信。

本实用新型的有益效果：本实用性将4K超高清视频应用于机载光电吊舱图像处理系统，系统强大的图像处理能力显著提高了机载光电吊舱的侦察能力，4K超高清视频和红外视频的H.265编码显著降低了码流带宽，使其可以使用于现在的机载无线链路系统。

附图说明

图1是本实用新型的结构示意图；

图2是本实用新型图像处理模块的结构示意图；

图3是本实用新型所使用接口的示意图；

图4是本实用新型的视频图像处理流程图。

具体实施方式

参见图1和图2，本发明的机载光电吊舱超高清视频图像处理系统包括图像处理模块NVIDIA Jetson TX2、视频采集模块、通信模块、视频压缩码流输出模块，视频采集模块接收机载吊舱摄像系统的视频输入并将视频输入至图像处理模块NVIDIA Jetson TX2，通信端口用于连接机载吊舱私服系统和图像处理模块NVIDIA Jetson TX2，压缩码流输出端口用于将所述图像处理模块NVIDIA Jetson TX2的压缩视频流输出至机载链路；其中，视频采集模块包括可见光输入桥接芯片和红外视频解码器，图像处理模块NVIDIA Jetson TX2的GPU用于实现目标识别跟踪、动目标检测、深度学习、图像增强和图像透雾。

参见图3，通信端口优选为RS422，压缩码流通过差分SPI(Serial PeripheralInterface)或网口或USB接口输出至机载链路。可见光摄像机通过HDMI(High DefinitionMultimedia Interface)将可见光图像输入给所述桥接芯片，桥接芯片通过MIPI(MobileIndustry Processor Interface)与图像处理模块NVIDIA Jetson TX2通信。

图像处理模块NVIDIA Jetson TX2利用其GPU核完成目标识别、跟踪、动目标检测等复杂算法运算，并在视频图像上叠加机载平台及光电吊舱等状态信息，然后将处理后的视频图像送给TX2的高清音视频子系统进行H.265视频编码，所有任务均由TX2的ARM核上运行的Linux系统来管理。

该系统选用的4K可见光摄像机视频输出接口为HDMI，视频采集系统通过桥接芯片TC358840XBG将HDMI接口视频转换为MIPI接口视频，4K视频转换为MIPI接口需要2个4-lane的CSI-2接口。红外热像仪输出PAL模拟视频，通过视频解码器ADV7281-M转换为MIPI接口数字视频，需要1个1-lane的CSI-2接口。TX2的MIPI接口可配置成3个4-lane的CSI-2，因此可以满足系统视频采集需求。TX2的图像信号处理器采集两路视频后缓存到TX2的LPDDR4，供GPU读取进行算法运算。

本发明系统选用的图像处理模块TX2是NVIDIA公司的高性能、低功耗单模块超级计算机，其内部集成了256核NVIDIA Pascal GPU和一个6核64位的ARMv8处理器集群，具有强大的图像处理能力，并具有丰富的外围接口。

图像信号处理器(ISP)通过MIPI接口采集到可见光视频和红外视频后，缓存到LPDDR4，ARM接收伺服控制指令判断是对可见光视频还是红外视频图像进行处理，然后采集相应的视频图像进行目标识别跟踪，或动目标检测，并可根据指令同时实现图像透雾、图像增强等功能。

该系统可以实现以下功能：

(1)目标识别跟踪

本实用新型超高清视频图像处理系统目标识别跟踪有两种方式：一是手动锁定目标进行跟踪，二是根据模板匹配自动锁定目标进行跟踪。

第一种目标识别跟踪方式与传统图像跟踪系统相同，不过本发明图像处理系统中的图像处理模块TX2相比于现今普遍应用的机载图像处理系统的单核、双核，甚至八核处理器，其256核GPU性能具有质的飞跃，可以执行更复杂的目标识别跟踪算法，提升目标识别准确率，降低跟踪误差。由于本发明的图像处理系统采用的是4K超高清视频源，所以同等视场角下其可以跟踪更小的目标，其性能相比于传统图像跟踪系统有很大的提高。

第二种目标识别跟踪方式是传统图像跟踪系统无法实现的，本发明的图像处理系统可以进行特定目标的深度学习，对特定目标的不同角度、不同比例、不同特征进行深度学习，生成目标模板库。当光电吊舱执行侦察任务时，通过采集目标特征与模板库匹配，可以自动锁定目标进行跟踪，并依靠TX2强大的图像处理能力可以识别跟踪视场中多个目标，通过人工智能自动决策机制或人工参与决策以确定跟踪最佳匹配目标，实现机载侦察系统的智能化。

(2)动目标检测

动目标检测在安防领域应用非常广泛，在机载光电吊舱对特定区域侦察也非常实用，其算法已经非常成熟。本发明的超高清视频图像处理系统依靠256核GPU的超高处理能力可以检测更微弱运动的目标，并可以同时检测多个目标；而利用4K超高清视频源的处理优势，其可以自动检测跟踪更弱小目标，显著提高机载侦察系统的侦察能力。

TX2的高清音视频子系统接收经过GPU处理后的4K可见光视频和红外视频，进行H.265标准视频编码，压缩码流可在4Mbps～10Mbps之间动态调节。并且压缩码流可通过三种接口输出：差分SPI、网口或USB，图像处理系统将三种接口接插件设计成同型号，通过连接不同的接插件，可使图像处理系统的编码数据接口兼容不同的机载链路。

超高清视频图像处理系统软件处理流程图如图4所示。

本实用性将4K超高清视频应用于机载光电吊舱图像处理系统，系统强大的图像处理能力显著提高了机载光电吊舱的侦察能力，4K超高清视频和红外视频的H.265编码显著降低了码流带宽，使其可以使用于现在的机载无线链路系统。

Claims (3)

1.一种机载光电吊舱超高清视频图像处理系统，其特征在于，所述视频图像处理系统包括图像处理模块NVIDIA Jetson TX2、视频采集模块、通信模块、视频压缩码流输出模块，所述视频采集模块接收机载吊舱摄像系统的视频输入并将视频输入至所述图像处理模块NVIDIA Jetson TX2，所述通信模块用于连接机载吊舱私服系统和所述图像处理模块NVIDIA Jetson TX2，所述压缩码流输出模块用于将所述图像处理模块NVIDIA Jetson TX2的压缩视频流输出至机载链路；其中，所述视频采集模块包括可见光输入桥接芯片和红外视频解码器，所述图像处理模块NVIDIA Jetson TX2的GPU用于实现目标识别跟踪、动目标检测、深度学习、图像增强和图像透雾。

2.根据权利要求1所述的机载光电吊舱超高清视频图像处理系统，其特征在于，所述通信模块为RS422，所述压缩码流通过差分SPI或网口或USB接口输出至机载链路。

3.根据权利要求1所述的机载光电吊舱超高清视频图像处理系统，其特征在于，可见光摄像机通过HDMI将可见光图像输入给所述桥接芯片，所述桥接芯片通过MIPI与所述图像处理模块NVIDIA Jetson TX2通信。