CN116109955B - 一种无人机平台火源定位装置及方法 - Google Patents

Abstract

本发明提供一种无人机平台火源定位装置及方法，包括小型旋翼的无人机平台，无人机平台上设置有依次连接的图像数据采集模块、图像数据处理模块和地面显控模块，图像数据采集模块包括光学分系统和成像分系统，成像分系统通过视频模拟信号接口与图像数据处理模块连接；图像数据处理模块包括主处理芯片、嵌入式硬件平台，嵌入式硬件平台通过数传链路与地面显控模块连接；地面显控模块包括地面显控软件、PC机平台。本发明提供的一种无人机平台火源定位装置及方法，使得可见光和红外相机在较远距离下，能够准确自动识别与定位微小火源。

Description

一种无人机平台火源定位装置及方法

技术领域

本发明涉及火源定位技术领域，具体涉及一种无人机平台火源定位装置及方法。

背景技术

采用可见光相机和红外相机的传统火源识别手段，有较大的局限性，无法准确自动识别及定位微小火源。例如，红外相机在远距离时，主要通过热源识别，在远距离时，热源目标小于单像素成像面积时，红外相机不能识别微小目标；另外，在针对多个非火源的热源时，红外相机会出现误报警。而紫外相机可以实现对微弱火焰发射的紫外线进行高灵敏度探测，并且具有特定波段的抗干扰能力，是探测微弱火源的最佳手段。

因此，如何实现微弱火源的高灵敏度探测和准确识别定位，本方案针对这一技术问题进行解决。

发明内容

本发明的目的在于提供一种无人机平台火源定位装置及方法，解决了可见光和红外相机在较远距离下，无法准确自动识别与定位微小火源的问题，提出基于高灵敏紫外相机进行火源识别和定位的技术方案，基于紫外相机的火源识别与定位方案，使用高灵敏度紫外相机进行数据采集，通过嵌入式硬件平台进行图像数据处理、编码和网络传输，设计出地面软件接收网络图像数据、设置紫外相机工作参数、显示图像数据和火源识别结果。

一种无人机平台火源定位装置，包括小型旋翼的无人机平台，所述无人机平台上设置有依次连接的图像数据采集模块、图像数据处理模块和地面显控模块，所述图像数据采集模块包括光学分系统和成像分系统，所述成像分系统通过视频模拟信号接口与图像数据处理模块连接；

所述图像数据处理模块包括主处理芯片、嵌入式硬件平台，所述嵌入式硬件平台通过数传链路与地面显控模块连接；

所述地面显控模块包括地面显控软件、PC机平台。

所述光学分系统通过紫外镜头和“日盲”紫外滤光片，将输入的紫外信号传输给所述成像分系统；

所述“日盲”紫外滤光片的镜片为七片，且放在两组透镜中间。

所述成像分系统通过“日盲”紫外成像探测器对输入的紫外信号进行光电转换，并根据外部指令对输入的紫外图像信号进行相应的处理，同时将处理结果输出给外部控制端。

所述“日盲”紫外成像探测器为紫外ICCD类别，所述紫外ICCD类别通过像增强器和普通可见光CCD经过光纤光锥耦合而成。

所述主处理芯片采用“核心板+接口板”的设计架构，所述核心板由Hi3519AV100嵌入式处理器及基础核心部件构成；

所述接口板实现通过接口扩展及电源DC/DC转换，所述核心板与所述接口板之间通过两个80pins的B2B接口连接。

所述核心板上设置有嵌入式软件，所述嵌入式软件由软件支持环境模块、PAL视频流获取模块、紫外图像滤波降噪处理模块、火源目标提取模块、视频流编码模块、RTSP视频流传输模块、设备控制模块组成；

所述PAL视频流获取模块中，视频输入通过Hi3519的视频输入模块获取，所述视频输入模块与外部使用的AD输出模式相对应，AD的输出传输到Hi3519。

一种无人机平台火源定位方法，具体操作步骤如下：

步骤S1:图像数据采集，由高灵敏的紫外镜头和“日盲”紫外成像探测器实现紫外图像数据采集，生成标准的数字化PAL制式视频流，分辨率720×576, 24bits色彩位深，长宽比为4：3，通过视频模拟信号接口为图像数据处理模块提供视频信号源；

步骤S2：图像数据处理模块，以海思高性能图像处理芯片Hi3519为主处理芯片，并设计嵌入式硬件平台，接收PAL制式视频流输入；

基于海思视频处理SDK，结合紫外成像特点，实现紫外图像的降噪滤波处理，多目标提取识别，目标位置解算和视频编码功能；

通过数传链路，与地面显控软件实现数据交互，接收地面显控软件的数据请求和控制，向地面显控软件发送编码视频和解算结果，解码控制信息生成紫外相机的增益控制量，作为紫外相机的输入；

步骤S3：将地面显控软件运行在PC机平台上，通过数传链路与图像数据处理模块通讯；

用户可以通过地面显控软件的UI界面，实时监控紫外图像和火源识别情况，可以通过地面显控软件设置紫外相机的工作参数，调整增益控制量和火源识别算法参数。

所述步骤S2中，所述主处理芯片包括核心板和接口板，所述核心板中设置有嵌入式软件，所述嵌入式软件的具体流程图如下：

步骤S21：PAL视频流获取，视频输入通过Hi3519的视频输入模块获取，所述视频输入模块与外部使用的AD输出模式相对应，AD的输出传输到Hi3519；

Hi3519获取PAL制式视频的设计流程如下：

（1）获取默认配置参数；

（2）判断ADC芯片的个数；

（3）获取摄像头的分辨率信息；

（4）计算缓存池的大小；

（5）初始化mpp系统；

（6）启动ADC设备；

（7）启动VI功能；

（8）设置VI通道绑定关系；

（9）建立VI与VPSS的绑定；

步骤S22：图像滤波降噪处理，包括时域递归滤波和图像门限处理两个过程；

步骤S23：火源目标提取，采用图像形态学操作和连通组件标记算法实现目标火源的提取，具体步骤如下：

（1）二值化输入图像；

（2）准备形态学算子及处理；

（3）连接组件标记；

（4）输出连通组件统计结果；

（5）生成输出图像；

步骤S24：视频流编码，紫外图像经处理后，得到添加火源目标标识的目标图像，目标图像组成的视频流需要经过编码压缩，减低码流，从嵌入式图像处理模块的网络接口输出，提供给地面显控软件显示；

步骤S25：RTSP视频流传输，将编码后的H.264视频流通过标准的RTSP推流协议，将视频流推送到网络上，供客户端浏览查看；

步骤S26：紫外相机设备控制，通过嵌入式图像处理模块的网络接口与地面显控软件通信，接收地面显控软件发送的紫外相机设置参数，如增益控制参数、最小目标面积参数和门限阈值参数，并将作为紫外相机数据采集和图像处理算法的输入参数。

所述步骤S3中，地面显控软件的具体工作步骤如下：

步骤S31：连接紫外视频RTSP服务器，获取RTSP视频流并播放；

步骤S32：获取紫外相机工作状态和嵌入式图像处理模块解算的火源参数，并在界面上显示；

步骤S33：提供UI参数设置控件，并通过网络向嵌入式图像处理模块发送设置参数；

步骤S34：云台控制辅助功能，通过UI界面提供云台控制按钮，控制云台运动。

本发明达成以下显著效果：

（1）本方案中设计的微弱火源探测识别系统，能够对微弱火源进行探测识别；

（2）本方案能够对识别的目标进行方位信息计算；

（3）本方案中提出的微弱火源探测识别系统原型样机，适合于挂载在小型旋翼无人机平台进行库区巡查。

附图说明

图1为本发明实施例中微弱火源探测识别系统框图。

图2为本发明实施例中Hi3519获取PAL制式视频的软件设计流程。

图3为本发明实施例中紫外图像滤波降噪处理流程。

图4为本发明实施例中火源目标提取流程图。

图5为本发明实施例中相机设备控制模块流程图。

具体实施方式

为了能更加清楚说明本方案的技术特点，下面通过具体实施方式，对本方案进行阐述。

参见图1-图5，一种无人机平台火源定位装置，包括小型旋翼的无人机平台，无人机平台上设置有依次连接的图像数据采集模块、图像数据处理模块和地面显控模块，图像数据采集模块包括光学分系统和成像分系统，成像分系统通过视频模拟信号接口与图像数据处理模块连接；

图像数据处理模块包括主处理芯片、嵌入式硬件平台，嵌入式硬件平台通过数传链路与地面显控模块连接；

地面显控模块包括地面显控软件、PC机平台。

图像数据采集时，通过高灵敏的紫外镜头和图像传感器，实现紫外图像数据采集，生成标准的数字化PAL制式视频流，分辨率720×576, 24bits色彩位深，长宽比为4：3，通过视频模拟信号接口为图像数据处理模块提供视频信号源。

以海思高性能图像处理芯片Hi3519为主处理芯片，设计嵌入式图像数据处理硬件平台，接收PAL制式视频流输入；基于海思视频处理SDK，结合紫外成像特点，实现紫外图像的降噪滤波处理，多目标提取识别，目标位置解算和视频编码等功能；通过数传链路，与地面显控软件实现数据交互，接收地面显控软件的数据请求和控制，向地面软件发送编码视频和解算结果，解码控制信息生成紫外相机的增益控制量，作为紫外相机的输入。

地面显控软件运行在PC机平台上，通过数传链路与图像数据处理模块通讯。用户可以通过地面显控软件的UI界面，实时监控紫外图像和火源识别情况；可以通过地面显控软件设置紫外相机的工作参数，调整增益控制量和火源识别算法参数。

光学分系统通过紫外镜头和“日盲”紫外滤光片，将输入的紫外信号传输给成像分系统；

“日盲”紫外滤光片的镜片为七片，且放在两组透镜中间。

镜片最大口径为26mm，从透镜第一面至探测器感光面总长65mm。

成像分系统通过“日盲”紫外成像探测器对输入的紫外信号进行光电转换，并根据外部指令对输入的紫外图像信号进行相应的处理，同时将处理结果输出给外部控制端。

“日盲”紫外成像探测器为紫外ICCD类别，紫外ICCD类别通过像增强器和普通可见光CCD经过光纤光锥耦合而成。

由于被探测的紫外信号极其微弱，必须对其增强后才能进行探测。本设计选用国产日盲型的紫外ICCD，其体积小，无需制冷且价格较便宜，以彻底去除杂光的影响。

主处理芯片采用“核心板+接口板”的设计架构，核心板由Hi3519AV100嵌入式处理器及基础核心部件构成；

接口板实现通过接口扩展及电源DC/DC转换，核心板与接口板之间通过两个80pins的B2B接口连接。

其中，基础核心部件可以为DDR、FLASH等；接口板为核心板提供主工作电源，并使用在核心板引出的接口信号上扩展驱动芯片，将核心板的TTL接口电平信号转换成对应的接口驱动信号；

核心板与接口板之间通过两个80Pins的B2B信号连接器连接，引出核心板的主要信号，接口板使用这些信号，设计接口驱动信号，实现接口扩展。

核心板上设置有嵌入式软件，嵌入式软件由软件支持环境模块、PAL视频流获取模块、紫外图像滤波降噪处理模块、火源目标提取模块、视频流编码模块、RTSP视频流传输模块、设备控制模块组成；

PAL视频流获取模块中，视频输入通过Hi3519的视频输入模块获取，视频输入模块与外部使用的AD输出模式相对应，AD的输出传输到Hi3519。

一种无人机平台火源定位方法，具体操作步骤如下：

步骤S1:图像数据采集，由高灵敏的紫外镜头和“日盲”紫外成像探测器实现紫外图像数据采集，生成标准的数字化PAL制式视频流，分辨率720×576, 24bits色彩位深，长宽比为4：3，通过视频模拟信号接口为图像数据处理模块提供视频信号源；

步骤S2：图像数据处理模块，以海思高性能图像处理芯片Hi3519为主处理芯片，并设计嵌入式硬件平台，接收PAL制式视频流输入；

基于海思视频处理SDK，结合紫外成像特点，实现紫外图像的降噪滤波处理，多目标提取识别，目标位置解算和视频编码等功能；

通过数传链路，与地面显控软件实现数据交互，接收地面显控软件的数据请求和控制，向地面显控软件发送编码视频和解算结果，解码控制信息生成紫外相机的增益控制量，作为紫外相机的输入；

步骤S3：将地面显控软件运行在PC机平台上，通过数传链路与图像数据处理模块通讯；

用户可以通过地面显控软件的UI界面，实时监控紫外图像和火源识别情况，可以通过地面显控软件设置紫外相机的工作参数，调整增益控制量和火源识别算法参数。

步骤S2中，主处理芯片包括核心板和接口板，核心板中设置有嵌入式软件，嵌入式软件的具体流程图如下：

步骤S21：PAL视频流获取，视频输入通过Hi3519的视频输入模块获取，视频输入模块与外部使用的AD输出模式相对应，AD的输出传输到Hi3519；

Hi3519获取PAL制式视频的设计流程如下：

（1）获取默认配置参数；

（2）判断ADC芯片的个数；

（3）获取摄像头的分辨率信息；

（4）计算缓存池的大小；

（5）初始化mpp系统；

（6）启动ADC设备；

（7）启动VI功能；

（8）设置VI通道绑定关系；

（9）建立VI与VPSS的绑定；

步骤S22：图像滤波降噪处理，包括时域递归滤波和图像门限处理两个过程，时域递归滤波过程为本领域技术人员容易实现的现有技术，在此不再详述。

紫外图像的主要噪声源来自：（1）信号内在噪声，也成为输入噪声或光子噪声，是光信号辐射过程中出现的光量子随机起伏；（2）暗电子发射噪声，由于温度和材料本身的性质影响，即使在无光照的情况下，光电阴极也会有暗电子逸出；（3）读出噪声，CCD的AD转化引入的噪声，如复合噪声、复位噪声等；（4）光锥与CCD的配合工艺等因素也会引入不同程度的噪声。在“日盲”型成像探测的ICCD系统中，由于采用两级V型结构，增益高达106。在高的增益作用下，进入到MCP之前引入的噪声对信号的影响是主要噪声因素，在噪声处理过程中，可以忽略其他噪声的影响。

针对紫外成像存在噪声干扰的问题,为获取高品质的紫外图像及对目标准确检测,对典型紫外成像系统进行了研究，分析了紫外成像噪声干扰原因,建立了紫外目标场景模型，紫外目标场景模型为本领域技术人员容易实现的技术，在此不再详述，并以此研究紫外图像复原方法,对单幅图像进行门限处理,去掉背景噪声，然后对连续多帧图像进行时域递归滤波,阈值分割后得到较好的图像输出，从图像输出结果可以看出,时域递归滤波都能有效地去除紫外图像中的随机噪声。

具体来说，背景图像通常都有较长的相关长度，像素点灰度值很低，是场景图像空间频率的低频信息。同时，由于场景分布和传感器固有响应的不均匀性，背景图像是一个平稳过程，图像中局部灰度值可能会有较大的变化。噪声图像是场景及电路产生的各类噪声的总和，像素间不相关，在空间频域表现有和点目标类似的高频特征，但空间分布是随机的，帧间的空间分布没有相关性。

从上述分析可以得出，背景图像在单帧图像中的特点是表现为相关长度长，灰度值低等特点，方案中使用背景抑制算法，如门限算法，抑制在图像灰度分布统计中占主要成分的背景图像作用，提高目标与背景的信噪比。目标点像素和噪声图像在单帧图像目标检测阶段无法区分开，但在多帧相关检测阶段可利用其帧间的不同特征区分，方案中采用时域递归滤波等方法来抑制随机噪声，提高图像的信噪比，增强目标。

步骤S23：火源目标提取，采用图像形态学操作和连通组件标记算法实现目标火源的提取，具体步骤如下：

（1）二值化输入图像；

（2）准备形态学算子及处理；

（3）连接组件标记；

（4）输出连通组件统计结果；

（5）生成输出图像；

步骤S24：视频流编码，紫外图像经处理后，得到添加火源目标标识的目标图像，目标图像组成的视频流需要经过编码压缩，减低码流，从嵌入式图像处理模块的网络接口输出，提供给地面显控软件显示；

本设计方案中采用H.264编码方法，对处理后紫外视频进行编码处理。H.264编码具有高的视频压缩比和良好的网络适应性，可适用于各种传输网络。H.264分成视频编码层（VCL）和网络提取层（NAL）两个功能层。VCL数据，即编码处理的输出，表示被压缩编码后的视频数据系列，在VCL数据传输或存储前，这些经过编码的VCL数据，需要先被映射或封装到NAL单元中。

（1）VCL（Video Coding Layer），视频编码层，H.264编码/压缩的核心，主要负责将视频数据编码/压缩，再切分。

（2）NAL（Network Abstraction Layer），网络抽象层，负责将VCL的数据组织打包。

步骤S25：RTSP视频流传输，将编码后的H.264视频流通过标准的RTSP推流协议，将视频流推送到网络上，供客户端浏览查看；

RTSP（Real Time Streaming Protocol），实时流传输协议，是TCP/IP协议体系中的一个应用层协议，该协议定义了一对多应用程序如何有效地通过IP网络传送多媒体数据，具有可扩展性，易解析，安全，独立与传输和多服务器支持等优点，是常用的多媒体数据传送协议。

步骤S26：紫外相机设备控制，通过嵌入式图像处理模块的网络接口与地面显控软件通信，接收地面显控软件发送的紫外相机设置参数，如增益控制参数、最小目标面积参数和门限阈值参数，并将作为紫外相机数据采集和图像处理算法的输入参数。

步骤S3中，地面显控软件的具体工作步骤如下：

步骤S31：连接紫外视频RTSP服务器，获取RTSP视频流并播放；

步骤S32：获取紫外相机工作状态和嵌入式图像处理模块解算的火源参数，并在界面上显示；

步骤S33：提供UI参数设置控件，并通过网络向嵌入式图像处理模块发送设置参数；

步骤S34：云台控制辅助功能，通过UI界面提供云台控制按钮，控制云台运动。

本发明未经描述的技术特征可以通过或采用现有技术实现，在此不再赘述，当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的普通技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。

Claims (4)

1.一种无人机平台火源定位装置，包括小型旋翼的无人机平台，其特征在于，所述无人机平台上设置有依次连接的图像数据采集模块、图像数据处理模块和地面显控模块，所述图像数据采集模块包括光学分系统和成像分系统，所述成像分系统通过视频模拟信号接口与图像数据处理模块连接；

所述图像数据处理模块包括主处理芯片、嵌入式硬件平台，所述嵌入式硬件平台通过数传链路与地面显控模块连接；

所述地面显控模块包括地面显控软件、PC机平台；

所述光学分系统通过紫外镜头和“日盲”紫外滤光片，将输入的紫外信号传输给所述成像分系统；

所述“日盲”紫外滤光片的镜片为七片，且放在两组透镜中间；

所述成像分系统通过“日盲”紫外成像探测器对输入的紫外信号进行光电转换，并根据外部指令对输入的紫外图像信号进行相应的处理，同时将处理结果输出给外部控制端；

所述“日盲”紫外成像探测器为紫外ICCD类别，所述紫外ICCD类别通过像增强器和普通可见光CCD经过光纤光锥耦合而成；

所述主处理芯片采用“核心板+接口板”的设计架构，所述核心板由Hi3519AV100嵌入式处理器及基础核心部件构成；

所述接口板实现通过接口扩展及电源DC/DC转换，所述核心板与所述接口板之间通过两个80pins的B2B接口连接；

所述核心板上设置有嵌入式软件，所述嵌入式软件由软件支持环境模块、PAL视频流获取模块、紫外图像滤波降噪处理模块、火源目标提取模块、视频流编码模块、RTSP视频流传输模块、设备控制模块组成；

所述PAL视频流获取模块中，视频输入通过Hi3519的视频输入模块获取，所述视频输入模块与外部使用的AD输出模式相对应，AD的输出传输到Hi3519。

2.一种无人机平台火源定位方法，基于如权利要求1所述的无人机平台火源定位装置，其特征在于，具体操作步骤如下：

步骤S1:图像数据采集，由高灵敏的紫外镜头和“日盲”紫外成像探测器实现紫外图像数据采集，生成标准的数字化PAL制式视频流，分辨率720×576, 24bits色彩位深，长宽比为4：3，通过视频模拟信号接口为图像数据处理模块提供视频信号源；

步骤S2：图像数据处理模块，以海思高性能图像处理芯片Hi3519为主处理芯片，并设计嵌入式硬件平台，接收PAL制式视频流输入；

基于海思视频处理SDK，结合紫外成像特点，实现紫外图像的降噪滤波处理，多目标提取识别，目标位置解算和视频编码功能；

通过数传链路，与地面显控软件实现数据交互，接收地面显控软件的数据请求和控制，向地面显控软件发送编码视频和解算结果，解码控制信息生成紫外相机的增益控制量，作为紫外相机的输入；

所述主处理芯片包括核心板和接口板，所述核心板中设置有嵌入式软件，所述嵌入式软件的具体流程图如下：

步骤S21：PAL视频流获取，视频输入通过Hi3519的视频输入模块获取，所述视频输入模块与外部使用的AD输出模式相对应，AD的输出传输到Hi3519；

步骤S22：图像滤波降噪处理，包括时域递归滤波和图像门限处理两个过程；

步骤S23：火源目标提取，采用图像形态学操作和连通组件标记算法实现目标火源的提取；

步骤S24：视频流编码，紫外图像经处理后，得到添加火源目标标识的目标图像，目标图像组成的视频流需要经过编码压缩，减低码流，从嵌入式图像处理模块的网络接口输出，提供给地面显控软件显示；

步骤S25：RTSP视频流传输，将编码后的H.264视频流通过标准的RTSP推流协议，将视频流推送到网络上，供客户端浏览查看；

步骤S26：紫外相机设备控制，通过嵌入式图像处理模块的网络接口与地面显控软件通信，接收地面显控软件发送的紫外相机设置参数，如增益控制参数、最小目标面积参数和门限阈值参数，并将作为紫外相机数据采集和图像处理算法的输入参数；

步骤S3：将地面显控软件运行在PC机平台上，通过数传链路与图像数据处理模块通讯；

用户可以通过地面显控软件的UI界面，实时监控紫外图像和火源识别情况，可以通过地面显控软件设置紫外相机的工作参数，调整增益控制量和火源识别算法参数。

3.根据权利要求2所述的无人机平台火源定位方法，其特征在于，所述步骤S21中，Hi3519获取PAL制式视频的设计流程如下：

（1）获取默认配置参数；

（2）判断ADC芯片的个数；

（3）获取摄像头的分辨率信息；

（4）计算缓存池的大小；

（5）初始化mpp系统；

（6）启动ADC设备；

（7）启动VI功能；

（8）设置VI通道绑定关系；

（9）建立VI与VPSS的绑定；

所述步骤S23中，目标火源提取的具体步骤如下：

（1）二值化输入图像；

（2）准备形态学算子及处理；

（3）连接组件标记；

（4）输出连通组件统计结果；

（5）生成输出图像。

4.根据权利要求2所述的无人机平台火源定位方法，其特征在于，所述步骤S3中，地面显控软件的具体工作步骤如下：

步骤S31：连接紫外视频RTSP服务器，获取RTSP视频流并播放；

步骤S32：获取紫外相机工作状态和嵌入式图像处理模块解算的火源参数，并在界面上显示；

步骤S33：提供UI参数设置控件，并通过网络向嵌入式图像处理模块发送设置参数；

步骤S34：云台控制辅助功能，通过UI界面提供云台控制按钮，控制云台运动。

Images