CN206696995U - 小型无人直升机的火灾检测与跟踪装置 - Google Patents

Abstract

本实用新型公开了一种小型无人直升机的火灾检测与跟踪装置，该装置包括：处理器、红外摄像头、彩色高清摄像头、图像采集卡、云台，其中，红外摄像头用于采集红外图像，彩色高清摄像头用于采集彩色图像，云台用于在直升机飞行姿态位置变化时保证对火点的实时跟踪；处理器通过红外摄像头拍摄得到的红外图像经过图像处理提取温度，圆形度，面积变化率以及纹理特征来识别火灾并搭建流媒体服务器来实时传输彩色图像。该装置实现多个采集任务的并发执行，嵌入实时Linux操作系统的处理器使用了Linux多线程技术，具有较强的实时性和同步性。同时，该装置方便安装在无人机上，通过图像自动识别火灾并自动跟踪火灾，减少人力成本，降低误判率。

Description

小型无人直升机的火灾检测与跟踪装置

技术领域

本实用新型涉及无人机火灾检测预警技术领域，具体涉及一种小型无人直升机的火灾检测与跟踪装置。

背景技术

火灾作为一种频发性灾害,对人类生命财产安全和社会安全构成了严重威胁,世界各国都非常重视火灾监测工作。传统的火灾监测方法主要是靠人力观察,例如在森林火灾探测方面采用隙望台、护林塔等人工形式进行火灾监测工作,其监测范围有限、监测时次有限、监测费用高昂。并且由于有些地区地理环境复杂,不仅大大增加了人力监测成本,还极有可能造成不必要的人员伤亡。

现代的火灾监控装置主要有以下三种形式地面监控、卫星监控、直升机监控。地面监控主要是在检测区域安装闭路电视的方式进行火灾监控,但是其监测效果受到烟雾、地形以及植被的影响,并且只能监测到局部区域,不能提供一个完整的区域画面,不利于火灾信息的提取卫星监测装置主要是利用地球同步卫星或者太阳同步卫星进行火灾监控工作,它能够监测到大空间的火灾区域,但是由于卫星高度的原因,较小的火灾信息不易被观测到,并且地面信息容易受到云层的遮挡。并且对太阳同步卫星来说,由于卫星轨道周期的影响,导致它并不能提供实时的监测信息。直升机火灾监控装置,主要包括有人驾驶直升机和无人直升机两种。有人驾驶直升机,花费成本高,并且转向时间较长,不适合作为信息处理平台用来进行火灾监测,更适合用于执行灭火任务。而无人直升机,则非常灵活,可以及时监测到各个区域的火灾信息,并且可以通过携带非可见光谱的相机避开烟雾的干扰。三种方法比较看来,无人直升机火灾监测装置具有明显的优势。

总的来说,利用无人机进行火灾监测工作可以克服人工监测工作存在的不足,适时准确的提供火灾发生位置信息,帮助消防人员及时扑灭大火,减少财产损失及人身伤害。同时,无人机监测装置具有机动快速、使用成本低、维护操作简单等技术特点,具有对地快速实时巡察监测能力。在对车、人无法到达地带的资源环境监测、森林火灾监测及救援指挥等方面具有其独特的优势。因此无人机平台的火灾监测技术具有十分重要的研究意义。由于这一工作具有多学科交叉的性质,并且无人机的研究工作非常具有挑战性,因此国内外很多政府机构和个人组织越来越重视无人机火灾探测方面的研究工作。

实用新型内容

本实用新型的目的是为了解决现有技术中的上述缺陷，提供一种小型无人直升机的火灾检测与跟踪装置，该装置通过在无人机上搭载云台并在云台上搭载红外摄像头与彩色高清摄像头，实现图像采集，图像传输，图像处理及火灾识别，火灾目标跟踪等功能。

本实用新型的目的可以通过采取如下技术方案达到：

一种小型无人直升机的火灾检测与跟踪装置，所述装置包括：处理器、红外摄像头、图像采集卡、彩色高清摄像头、云台，

其中，所述处理器包括ARM Cortex-A8内核和TMS320C64x+DSP内核，所述红外摄像头，用于采集红外图像，与所述图像采集卡相连；

所述图像采集卡，用于将所述红外摄像头采集到的模拟信号转换为数字信号，与所述处理器相连；所述彩色高清摄像头，用于采集彩色图像，与所述处理器相连；所述云台，用于在直升机飞行姿态位置变化时保证对火点的实时跟踪，与所述处理器相连。

进一步地，所述处理器还包括：DDR内存、SD卡存储单元、第一高速USB接口模块、第二高速USB接口模块、UART串口模块，以太网口模块，

其中，所述DDR内存用于Linux内核的数据和代码空间、DSP端的数据和代码空间、以及Linux和DSP端数据交互的共享内存区域，

所述DDR内存、所述SD卡存储单元、所述第一高速USB接口模块、所述第二高速USB接口模块、所述UART串口模块、所述以太网口模块分别与所述ARM Cortex-A8内核连接并进行数据交互；所述TMS320C64x+DSP内核与所述DDR内存连接并进行数据交互。

进一步地，所述处理器通过所述第一高速USB接口模块与所述图像采集卡连接，通过所述第二高速USB接口模块与所述彩色高清摄像头连接，通过所述UART串口模块与所述云台连接。

进一步地，所述装置还包括无线传输电台，所述无线传输电台通过所述以太网口模块与所述处理器连接，所述处理器通过所述无线传输电台实时传输彩色高清图像并与地面站通信。

进一步地，所述无线传输电台采用远距离无线传输IPNDDL网络数据电台传输数据。

进一步地，所述红外摄像头采用Vue Pro红外摄像头，分辨率为640x512，焦距为19mm，帧频为8.3Hz；

所述图像采集卡采用EasyCap模拟采集卡，分辨率为720x512，采集帧率为25Hz；

所述彩色高清摄像头采用USB高清摄像头，分辨率为640x480，帧率为30Hz。

进一步地，所述处理器嵌入实时Linux操作系统。

进一步地，所述云台可根据电机进行角度旋转，并结合小型无人直升机的GPS定位信息确定火点的经纬度。

本实用新型相对于现有技术具有如下的优点及效果：

1、本实用新型公开的小型无人直升机的火灾检测与跟踪装置为了实现多个采集任务的并发执行，嵌入实时Linux操作装置的处理器使用了Linux多线程技术，具有较强的实时性和同步性。

2、本实用新型公开的小型无人直升机的火灾检测与跟踪装置外形简单，结构轻巧，方便安装在无人机上，通过图像自动识别火灾并自动跟踪火灾，减少人力成本，降低误判率。

3、本实用新型公开的小型无人直升机的火灾检测与跟踪装置根据小型无人直升机的GPS定位信息和云台电机的旋转角度最终可以确定火点的经纬度，便于消防人员精准定位，快速找到火点位置。

附图说明

图1是本实用新型公开的小型无人直升机的火灾检测与跟踪装置的组成框图；

图2是本实用新型公开的小型无人直升机的火灾检测与跟踪装置的工作采集流程图。

具体实施方式

为使本实用新型实施例的目的、技术方案和优点更加清楚，下面将结合本实用新型实施例中的附图，对本实用新型实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本实用新型一部分实施例，而不是全部的实施例。基于本实用新型中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本实用新型保护的范围。

实施例

如图1所示，本实用新型公开的小型无人直升机的火灾检测与跟踪装置组成包括：处理器、红外摄像头、图像采集卡、彩色高清摄像头、云台。本装置中处理器包括ARMCortex-A8和TMS320C64x+DSP两个内核，该处理器采用256M DDR内存，板上可搭载8Gmicro-SD卡作为SD卡存储单元，具有第一、第二高速USB接口模块(480Mbps)，UART串口模块，以太网口模块(100Mbps)。其中256M DDR内存分为三部份，分别为Linux内核的数据和代码空间，用于Linux和DSP端数据交互的共享内存区域，以及DSP端的数据和代码空间。SD卡存储单元、第一、第二高速USB接口模块(480Mbps)，UART串口模块，以太网口模块(100Mbps)等外部设备都与ARM Cortex-A8内核进行交互，TMS320C64x+DSP内核先从共享内存中提取出所需数据，再通过其强大的运算处理能力提高数据处理速度。

其中，所述红外摄像头，用于采集红外图像，与所述图像采集卡相连；所述图像采集卡，用于将所述红外摄像头采集到的模拟信号转换为数字信号，与所述处理器相连；所述彩色高清摄像头，用于采集彩色图像，与所述处理器相连；所述云台，用于在直升机飞行姿态位置变化时保证对火点的实时跟踪，与所述处理器相连。

所述处理器，主要通过所述红外摄像头拍摄得到的红外图像经过图像处理提取温度，圆形度，面积变化率以及纹理特征来识别火灾并搭建流媒体服务器来实时传输彩色图像。

如附图1所示，所述处理器包括：第一高速USB接口模块、第二高速USB接口模块、UART串口模块、以太网接口模块。

所述处理器通过所述第一高速USB接口模块与所述图像采集卡连接，获取所述图像采集卡采集的图像；通过所述第二高速USB接口模块与所述彩色高清摄像头连接，获取所述彩色高清摄像头采集的图像；通过所述UART串口模块与所述云台连接，采集所述云台获取的火灾位置坐标。

小型无人直升机的火灾检测与跟踪装置还包括无线传输电台，所述无线传输电台通过所述100Mbps以太网口模块与所述处理器连接，所述处理器通过所述无线传输电台来实时传输彩色高清图像并与地面站通信。

该实施例中，所述无线传输电台采用远距离无线传输IPNDDL网络数据电台传输数据。

所述红外摄像头采用Flir公司的Vue Pro红外摄像头，分辨率为640x512，焦距为19mm，帧频为8.3Hz。

所述图像采集卡采用EasyCap模拟采集卡，分辨率为720x512，采集帧率为25Hz。

所述彩色高清摄像头采用USB高清摄像头，分辨率为640x480，帧率为30Hz。

所述处理器采用基于TI DM3730内核的CM-T3730工业控制板，嵌入实时Linux操作系统。

如图2所示，为了协调装置的采集图像，图像传输，图像处理，数据传输给云台实时跟踪等功能，本装置采用了多线程的技术，一共包括五个线程，分别为彩色高清摄像头采集线程，红外摄像头采集线程，彩色高清图像传输线程，红外图像火灾检测处理线程，还有主线程发送检测到的火灾坐标给云台进行跟踪的数据传输。

首先是彩色高清摄像头采集线程，红外摄像头采集线程，Linux操作装置提供了专门供影音图像开发的应用编程接口Video for Linux Two，简称V4L2,它为装置中的视频设备提供了内核驱动。因为彩色高清图像需要用来实时传输，而红外图像需要进行实时处理判断是否有火灾，所以必须互不干涉，本装置采用两个线程分别采集，其中红外摄像头必须与图像采集卡相连，把模拟信号转换成数字信号，处理器才能对红外图像进行处理。

彩色高清图像传输线程采用流媒体传输的方法，在处理器向PC机传输图像时，采用“流”的方式。流式传输方式在传输之前要先将视频等多媒体文件变成特定形式的压缩包，传输主体依然采用上节所述的客户机\服务器模式，由服务器向客户机连续、实时传送多媒体文件。首先编译ffmpeg和live555的嵌入式库，ffmpeg的库是用来进行视频压缩，live555的库用来搭建流媒体服务器。本装置就采用live555库来实现处理器和PC机间的流式传输，其中处理器作为RTSP服务器，PC机作为客户端。在服务器端输出一个流媒体地址，在PC机地面站上可以通过流媒体地址查看实时视频。

红外图像火灾检测处理线程，红外图像是一张灰度图像，火焰的亮度明显高于其他周围物体，也说明火焰的红外辐射功率很高，温度也高。由此可见，红外图像的灰度值可以反映物体温度，那么红外成像也可以作为温度场分布图，这也正是森林火灾检测所依赖的前提。本装置采用处理器中的DSP根据火灾的温度，形状，面积变化率等特征结合支持向量机的算法对火灾进行判断。经验证，火灾识别准确率达到84.77％，算法能有效识别火灾。

主线程发送检测到的火灾坐标给云台进行跟踪的数据传输，当红外图像处理识别到火灾之后，把当前火灾在图像中的坐标位置通过串口发送给云台，云台根据获取的坐标位置，通过PID算法在直升机飞行姿态位置变化时保证对火点的实时跟踪。同时根据小型无人直升机的GPS定位信息和云台电机的旋转角度最终可以确定火点的经纬度，便于消防人员精准定位，快速找到火点位置。

该实用新型为了实现多个采集任务的并发执行，使用了Linux多线程技术，具有较强的实时性和同步性。小型无人直升机在空中飞行，未发现火灾时，地面站可控制云台上下左右转动扫描，以更快地发现火灾，当识别到火灾时，云台自动跟踪火灾位置坐标。同时，该装置外形简单，结构轻巧，方便安装在无人机上，通过图像自动识别火灾并自动跟踪火灾，减少人力成本，降低误判率。

上述实施例为本实用新型较佳的实施方式，但本实用新型的实施方式并不受上述实施例的限制，其他的任何未背离本实用新型的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本实用新型的保护范围之内。

Claims (8)

1.一种小型无人直升机的火灾检测与跟踪装置，其特征在于，所述装置包括：处理器、红外摄像头、图像采集卡、彩色高清摄像头、云台，

其中，所述处理器包括ARM Cortex-A8内核和TMS320C64x+DSP内核，所述红外摄像头，用于采集红外图像，与所述图像采集卡相连；所述图像采集卡，用于将所述红外摄像头采集到的模拟信号转换为数字信号，与所述处理器相连；所述彩色高清摄像头，用于采集彩色图像，与所述处理器相连；所述云台，用于在直升机飞行姿态位置变化时保证对火点的实时跟踪，与所述处理器相连。

2.根据权利要求1所述的小型无人直升机的火灾检测与跟踪装置，其特征在于，所述处理器还包括：DDR内存、SD卡存储单元、第一高速USB接口模块、第二高速USB接口模块、UART串口模块，以太网口模块，

其中，所述DDR内存用于Linux内核的数据和代码空间、DSP端的数据和代码空间、以及Linux和DSP端数据交互的共享内存区域，

所述DDR内存、所述SD卡存储单元、所述第一高速USB接口模块、所述第二高速USB接口模块、所述UART串口模块、所述以太网口模块分别与所述ARM Cortex-A8内核连接并进行数据交互；所述TMS320C64x+DSP内核与所述DDR内存连接并进行数据交互。

3.根据权利要求2所述的小型无人直升机的火灾检测与跟踪装置，其特征在于，

所述处理器通过所述第一高速USB接口模块与所述图像采集卡连接，通过所述第二高速USB接口模块与所述彩色高清摄像头连接，通过所述UART串口模块与所述云台连接。

4.根据权利要求2所述的小型无人直升机的火灾检测与跟踪装置，其特征在于，

所述装置还包括无线传输电台，所述无线传输电台通过所述以太网口模块与所述处理器连接，所述处理器通过所述无线传输电台实时传输彩色高清图像并与地面站通信。

5.根据权利要求4所述的小型无人直升机的火灾检测与跟踪装置，其特征在于，

所述无线传输电台采用远距离无线传输IPNDDL网络数据电台传输数据。

6.根据权利要求1所述的小型无人直升机的火灾检测与跟踪装置，其特征在于，

所述红外摄像头采用Vue Pro红外摄像头，分辨率为640x 512，焦距为19mm，帧频为8.3Hz；

所述图像采集卡采用EasyCap模拟采集卡，分辨率为720x 512，采集帧率为25Hz；

所述彩色高清摄像头采用USB高清摄像头，分辨率为640x 480，帧率为30Hz。

7.根据权利要求1所述的小型无人直升机的火灾检测与跟踪装置，其特征在于，所述处理器嵌入实时Linux操作系统。

8.根据权利要求1所述的小型无人直升机的火灾检测与跟踪装置，其特征在于，所述云台可根据电机进行角度旋转，并结合小型无人直升机的GPS定位信息确定火点的经纬度。