CN106157519A - 一种无人机平台上火灾探测系统 - Google Patents
一种无人机平台上火灾探测系统 Download PDFInfo
- Publication number
- CN106157519A CN106157519A CN201510172021.6A CN201510172021A CN106157519A CN 106157519 A CN106157519 A CN 106157519A CN 201510172021 A CN201510172021 A CN 201510172021A CN 106157519 A CN106157519 A CN 106157519A
- Authority
- CN
- China
- Prior art keywords
- image
- fire
- kernel
- aerial vehicle
- unmanned plane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Fire-Detection Mechanisms (AREA)
Abstract
一种无人机平台上火灾探测系统,其采集设备为红外图像传感器和互补性氧化金属半导体图像传感器,一方面利用红外图像的热成像原理检测出热点坐标,另一方面利用彩色图像较好的可视性定位热点在实际环境中的位置。
Description
技术领域
本发明涉及无人机平台上火灾探测系统,尤其涉及,具体地说,是涉及一种多传感器的无人机平台上火灾探测系统。
背景技术
无人机(Unmanned Aerial Vehicle,简称UAV)即无人空中飞行器,是一种以无线电遥控或有自身程序控制为主的不载人飞机,主要由动力系统、飞行器载体、控制系统与机载导航、起飞和回收装置以及其他可以搭载的电子、侦查设备等组成。1916年9月12日,世界上第一架无人机在美国正式试飞成功,这标志着世界上无人机发展的开端。之后无人机就凭借其无比优越的性能获得各个国家的大力支持,先后经历了无人靶机、预编程序控制无人侦察机、指令遥控无人侦察机和复合控制的多用途无人机的发展过程。
无人机根据不同的分类标准可以有不同的分类。如果按照用途分类则有军用和民用两类。按照机械结构分类,无人机一般可以分为固定翼无人机和旋翼无人机。而如果综合无人机的设计特色、性能和任务等方面,无人机又可分为战术无人机、持久型无人机、袖珍无人机和微型无人机等等。通常将机身的翼展长小于3m,起飞时重量低于50kg的无人机称之为小型无人机。
无人机的应用范围非常之广泛,在军用和民用方面都有很明显的体现。无人机作为空中侦察平台和武器平台,可执行监视侦察、电子干扰、目标定位、通信中继等任务。在民用方面,无人机可用于航空摄影、环境研究、气象探测、森林火灾防救、水灾监视等,此外它还将在城区和大型牧场监视等方面具有广泛的市场前景。和其他类型无人机相比,小型无人机顾名思义体积偏小,且重量较轻,因此起落受限制少进而能适应复杂多变的环境,这些优势使小型无人机得到广泛的应用,成为了无人机的主要研究方向。本文所采用的无人机平台就属于这种小型无人机。
无人机独特的优势和广泛的用途越来越受到世界各国政府及研究机构的重视,目前开展这方面研究的国家主要是美国、欧洲国家、日本、以色列和中国。
美国国家航空航天局已成立了一个无人机应用中心,用来专门从事无人机的民用研究,目前它已同美国海洋与大气局合作利用无人机进行很多与环境相关的科学研究,包括天气预报和地球变暖等。同时美国联邦政府部门与一些私人机构也在利用小型无人进行实用性研究,包括监测火山活动和监测鸟类数量等。美国联邦地质调查局在蒙大拿州的上红石湖上发射了一架名为“大乌鸦”的无人机。
该无人机搭载热成像相机,翼展仅为1.2米,凭借电池驱动的马达就可以达到90分钟的滞空时间和305米的飞行高度。它用来帮助科学家搜索湖面以下温泉的位置以帮助湖中的鱼类过冬。
纵观全球的无人机设计及制造技术现状,以色列当之无愧是最为先进的国家之一。该国的许多小型无人机在军事得到了很好的应用,例如“云雀”(Sklark)、“天光”(SkyLite)、“鸟眼”(Bird Eye)。其中“云雀”无人机由埃尔比特(EIbit)公司研制,它是一种常规小型无人机,翼展长为2.4m,重5.5kg,航程可达10km,续航时间为2h,已在2004年被以色列陆军选用。2012年在以色列举行的国际无人机系统协会上进一步促进了无人机的民用推广,其中埃尔比特公司的赫尔姆斯450无人机早在2007年5月取得了民用证书,马拉特公司的“苍鹭”无人机也取得了在空域中执行非军事任务的证书。
本系统采用的无人机平台是华南理工大学Raptor-90直升机,它由木棉空中机器人队所拥有。目前他们已在该平台上开发出一套稳定的基于GPS/INS导航系统的空中机器人自主飞行系统与算法,可稳定进行自主悬停或者路径规划飞行等工作。目前正在对视觉/INS导航系统做进一步的研究,已经设计了一套可行性高的基于视觉辅助的空中机器人自主控制导航系统。
发明内容
为了解决上述技术问题,本发明提供了一种无人机平台上火灾探测系统,其采集设备为红外图像传感器和互补性氧化金属半导体图像传感器,一方面利用红外图像的热成像原理检测出热点坐标,另一方面利用彩色图像较好的可视性定位热点在实际环境中的位置。
一种无人机平台上火灾探测系统,采集、检测、通信、压缩、传输在核心板上进行,处理后的视频流通过有线或无线网络传送给远程PC机
一种无人机平台上火灾探测系统,包括Color_image和Infra_image两路图像进程。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述,并且在某种程度上,基于对下文的考察研究对本领域技术人员而言将是显而易见的,或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书,权利要求书,以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例共同用于解释本发明,并不构成对本发明的限制。在附图中:
图1是CM-T3530核心板图;
图2是核心板CM-T3530与底板SB-T35图;
图3是红外摄像头Photo320图;
图4是彩色摄像头Pro9000图;
图5是USB图像采集卡图;
图6是WRT54GC-CN路由器图;
图7是系统硬件搭建图;
图8是系统硬件框图;
图9是编译EM2860解码芯片的驱动图;
图10是图像采集卡的udev信息显示图;
图11是图像采集卡所用模块的依赖关系图;
图12是系统软件框图;
图13是系统的功能框架图。
具体实施方式
以下将结合附图及实施例来详细说明本发明的实施方式,借此对本发明如何应用技术手段来解决技术问题,并达成技术效果的实现过程能充分理解并据以实施。需要说明的是,只要不构成冲突,本发明中的各个实施例以及各实施例中的各个特征可以相互结合,所形成的技术方案均在本发明的保护范围之内。
随着人类文明的不断发展,诱发火灾的因素已经大量增多,导致发生频率逐渐加大,火灾已成为现代社会的“恐怖杀手”。纵观近些年的火灾报告,可以看出每一年火灾都会夺走成千上万人的生命,并造成数以亿计的经济损失。有统计结果显示,如果火灾的直接损失占GNP(国民生产总值)的2‰,整个火灾的损失将会占到GNP的10‰以上。据中国火灾统计年鉴,1995年至2000年的五年里火灾发生次数共达344782起,造成16.7631万死亡和198亿余元的直接损失。森林火灾也是一种严重的自然灾害,它传播速度快,导致灭火和营救比较困难,严重威胁着人类的生命财产安全和破坏生态环境。据中国统计年鉴,2009年全国发生森林火灾达8859起,伤亡110人,受害森林面积达46156公顷,损失折款达14511.4万元。从以上数据可见火灾的频繁发生一方面使人民的生命财产安全受到了严重威胁,使国民经济的发展受到极大阻碍,另一方面也使生态环境受到了巨大破坏。所以及时发现并采取措施会对避免火灾大范围发生和减少火灾损失起到至关重要的效果。
火灾危害之大更加显示了火灾预防的重要性,目前已有许多的火灾检测方法。传统时期运用的是人工巡查的方式,这种方式肉眼辨识能力有限,无法快速的进行早期火灾识别。后来利用民用飞行器巡查,它解决了人工巡查的缺点,但这种方式成本较高。
按照火灾会释放烟雾颗粒和引发高温的特征,感烟探测器和感温探测器在火灾检测中占有一席之地,其中现代建筑物中新安装的火灾探测器大多是感烟探测器,而感温探测器在液体火灾检测、气体火灾检测和电力、石化等行业扮演着重要角色。这两类传感器在室内火灾检测有着明显的作用,但在安装位置有限制的区域如森林或山地中,会有死角无法产生感应。此外烟火传感器响应时间一般较长,可靠性相对减弱。全面有效的火灾检测也会因为所需传感器的庞大数量而导致较高的成本费用。
上世纪70年代国际上出现了基于卫星遥感数据的火灾检测方法,它是利用火点红外波段较周围环境明显增强的原理。目前在欧洲和非洲运用ERS/ATSR和ENVISAT/AATSR卫星遥感数据的火灾检测方式已有广泛的应用。从上世纪80年代起我国开始基于卫星遥感数据检测林火,在森林热点和火灾的卫星影像检测方面已初具规模。这种方法因为卫星数据来源的限制导致实时性有较大的问题,而且对小面积的火灾检测作用不大。
视频图像中包含丰富的火灾信息,而且这些信息通常较为直观,所以基于图像的火灾检测较上述的火灾检测方法就具有一些明显的优势。首先它较人工巡查具有非接触型主动检测,便于远程控制。其次它空间适用性强,可在多粉尘、高湿度等恶劣的环境中使用。然后结合图像处理技术,这种方法可以有效的提高火灾识别的准确度,使得漏报和误报率较低。目前投入使用的几种典型系统是SigniFireTM系统、Sense WARE系统、Volume Sensor系统和SFA系统等等。它们只需采用普通CCD摄像机或者红外摄像机采集图像就可以满足较高的灵敏度要求。
由于无人机火灾检测相对于其它检测方法具有诸多明显的优点,国内外在此方面的工作已有明显的成绩。首先国内利用无人机进行火灾监测研究时主要将其定位在大空间范围,像森林火灾监测等。2011年起珠海就开始使用无人机作空中火灾情况探测,将探测数据和图像实时传输至地面指挥部,为扑救山火作出全面、科学的判断。目前国内也已经出现商业化的无人机火灾检测技术公司,可以有偿提供无人机平台上的火灾监测服务。桂林鑫鹰电子科技有限公司旨在提供林业系统无人机应用解决方案,将GPS技术、数字图像传输技术等高新技术综合应用于森林资源管理中的高科技产品,可解决目前林区森林防火瞭望和地面巡护无法顾及的偏远林火的早期发现问题。另外还有西安韦德沃德航空科技有限公司以及新世纪网络科技发展有限公司在进行这类的工作。
国外关于无人机火灾监测预警技术研究的项目主要有欧盟的COMETS项目、欧洲的AWARE项目、美国的“牵牛星”项目和INFLAME项目。COMETS项目是欧盟的一个无人机多功能研究项目,其中包含利用无人机进行火灾检测方面的研究工作,它能够根据不同摄像头所搜集的火灾图像提取不同的火灾特征进而为消防员的扑灭火灾工作提供帮助。欧洲的AWARE项目采用无人机和地面固定的烟火传感器组成火灾预警网络,可实现火焰烟气报警和消防轨迹定位等功能。“牵牛星”(Altair)是由美国航空航天局(NASA)和通用原子能航空系统公司共同研发的远程高空无人机,可用来实现火灾探测和火山观测等。美国航空航天局和林业局曾使用该无人机在森林大火上空进行两次实验,实验结果表明该无人机可成功使用NASA艾姆斯研究中心提供的红外扫描器定位主要的火灾点,并将火灾信息以半小时的间隔速度发送到地面站,为地面消防人员提供了及时的探测信息。
OMAP3530是TI推出的新一代移动应用处理器,它是专门为智能手机、笔记本电脑和GPS系统等低功耗便携式应用而设计。OMAP3530在单一芯片的基础上集成了720MHz ARM Cortex-A8内核、520MHz TMS320C64x+DSP内核、视频加速器、图形引擎以及丰富的多媒体外设,其中Cortex-A8内核具有超过300MHz ARM9器件4倍的处理性能。目前,OMAP3530处理器已可广泛运用于流媒体、视频会议、2D/3D游戏、高清静态图像、高性能PDA、3G多媒体手机等项目的评估与运用中。
CM-T3530核心板是基于OMAP3530处理器的嵌入式计算机模块,由以色列CompuLab公司在2010年推出。CM-T3530(如图1下所示)尺寸为66x 44x 7mm,
拥有嵌入式操作系统(例如Linux、Windows CE)所需的所有组件,其中Cortex-A8 ARM处理器用于运行操作系统和应用程序,而TMS32064xDSP专用于编/解码音视频,因此它在嵌入式应用中可作为构建块。低电压可移动的DDR使系统无论在运行或待机状态下都可保持低功耗。在嵌入式应用中,CM-T3530既提供了通用的本地总线、串口、I/O总线、100Mbit以太网和其他基本的功能,也集成了WiFi接口以实现标准的工业无线连接。总之,体积小、功耗低的特点使它便于集成在手持和移动设备中,同时费用低和高性价比也使它成为代价敏感型应用的理想选择。CM-T3530的具体参数如表1下:
表1 CM-T3530参数表
与CM-T3530核心板配套使用的底板是SB-T35,该底板为核心板的使用提供了电源接口、串口、SD卡接口、USB接口和网络接口等,如图2所示是核心板CM-T3530安装在底板SB-T35上面。
图像采集设备
在第一章中可知传统火灾检测方法的缺点,近年来一种火焰检测技术受到了广泛的关注,由于它以视频图像作为研究基础,因此摄像机的合理选取对于研究工作的进行至关重要。目前图像采集装置主要有红外传感器、CCD图像传感器和CMOS图像传感器等。
火灾过程中伴随着烟雾、热量和火焰等火灾参量的产生,利用火灾参量发射的红外线进行图像采集工作就是红外传感器的原理,它有利于火焰的处理和识别。
CCD传感器意为电荷藕合器件图像传感器(Charge Coupled Device),它是应用在摄影摄像方面的高端技术元件。它有许多感光单位组成,可以利用光敏元件的光电转换功能将光学图像信号转换成电信号“图像”。CCD可分为线型(Linear)和面型(Area)两种,其中线型应用在影像扫描器及传真机上,而面型主要应用在数码相机、监视摄像机、摄录影机等多种影像输入产品上。
CMOS(Complementary Metal-Oxide Semiconductor)图像传感器即互补性氧化金属半导体。由硅和鍺这两种元素制成的互补性氧化金属半导体就是负电和正电共存的半导体,正负电的互补效应所产生的电流会被处理芯片解释为相应影像。它主要应用于较低影像品质的产品中,制造成本较CCD更低,功耗也低得多。目前COMS传感器的应用范围非常的广泛,包括数码相机、PC Camera、视讯会议、第三代手机、影像电话、智能型保全系统以及工业、医疗等用途。
考虑到早期火灾的各种热物理现象以及系统的造价成本和稳定性等因素,本系统的采集设备为红外图像传感器和互补性氧化金属半导体图像传感器,一方面利用红外图像的热成像原理检测出热点坐标,另一方面利用彩色图像较好的可视性定位热点在实际环境中的位置。
本系统采用的红外摄像头为FLIR公司的一款红外摄像头Photon 320,如图3所示。运用长波非制冷系统的Photo采用324*256像元的非制冷氧化钒(VOx)焦平面阵列,可提供清晰的热图像,在现有的任何复合视频监视器上显示。该摄像机采用白热模式的颜色查找表产生出黑白模式的图像,即热图像亮度越大表明对应的区域温度越高。
该红外摄像机在结构上非常紧凑,且重量轻。镜头的焦距有14.25mm、19mm、35mm或者50mm几种,可以满足不同景深的需求。该摄像机适用温度的最大值与最小值相差120度之大,采样频率为9Hz。Photo的输出可以是PAL制和NTSC制两种制式的模拟视频信号,也可以是符合LVDS(LowVoltage Differential Signaling,即低压差分信号技术)协议的数字视频信号。该摄像头的接口有电源接口和AV端子,AV端子用来连接图像采集卡将摄像头采集的模拟图像转换为数字图像以便于进行图像处理。
本系统采用的互补性氧化金属半导体传感器为罗技快看系列网络摄像头Pro9000,如图4所示。最大像素值可达1600*1200,当图像拍摄像素值为800*600时帧速率可达到30fps。它的接口为USB端口,可直接插在底板SB-T35的USB接口上,使得数据传输流畅。它摄取的影像信息属于可见光区域,因此具备很好的可视效果。
图像采集卡
由以上介绍可知红外摄像头Photo 320输出的是模拟视频信号,只有将其转换为数字图像信号才进行图像处理。本系统采用的转换器为USB图像采集卡,如图5所示。
该采集卡为MINE VCap2860,它所包含解码芯片SAA7113和视频采集芯片EM2860,能够将PAL、NTSC、SECAM等各种制式的模拟信号解码为符合CCIR601\CCIR656标准的YUV4∶2∶2格式的数字信号。该图像采集卡共包含两路输入和一路输出,其输入端子为AV端子(黄色)和S端子(白色),输出为USB接口。该AV端子和红外摄像头Photo 320的AV端子相连,USB接口和底板SB-T35的USB插口相连即可。
无线网络设备
本系统在进行图像传输时需要借用无线网络,这里采用Cisco公司的WRT54GC-CN迷你型无线宽带路由器作为无线通讯设备。如图6所示,它体积小,尺寸为98mm*98mm*25mm,重量轻至140g,采用802.11g作为通讯协议,最大传输速率可达54M。
此外本系统采用普通PC机Lenovo Thinkpad SL400进行视频接收和播放,这里不再进行详述,则系统的硬件搭建即如图7所示。
系统的硬件框图如图8所示。系统中USB网络摄像头Pro9000与图像采集卡MINE VCap2860连在CM-T3530的底板SB-T35的两个USB端口上,红外摄像头Photo320通过AV端子与图像采集卡相连。
软件平台的构造
硬件搭建基本完成后,就要进行软件的配置。目前Linux操作系统凭借其开发成本低、支持平台多、内核可定制、性能优异和良好的网络支持已在嵌入式平台上有着广泛的应用。CompuLab公司针对CM-T3530核心板提供了打包制作好的Linux-2.6.32内核、Linux-2.6.3cm-t35-3.patch(补丁)、CodeSourcery(交叉编译工具链)等文件,因此本系统的操作系统就选为嵌入式Linux。不同的内核镜像uImage会产生不同的嵌入式Linux系统,故首先根据系统的功能要求得到合适的内核镜像以构造基本的软件环境。
内核配置
核心板CM-T3530支持的Linux内核版本为2.6.32,开始配置内核前需要在linux-2.6.32内核的源代码里打入一个补丁文件linux-2.6.3omapl-cm-t35.patch,该补丁文件将原有内核变成针对CM-T3530而制作的内核。源码中包含的默认配置文件cm_t35_defconfig是对内核进行与核心板CM-T3530相关的初步配置,它免去了用户了解核心板的详细信息,为内核配置工作节省了时间。进行基础配置后就要根据系统的功能要求,例如该系统需要正确识别图像采集设备,并利用图像编程接口V4L2进行图像采集等,进行另外一些必须的配置工作。
在Linux的内核配置中每一选项均有两种配置方式,即以静态地方式直接编译进内核或者以模块的方式动态加载。由于核心板CM-T3530对其内核镜像uImage的大小有所限制,故此处应有所选择地将部分选项以动态加载的方式编译成模块,以下对配置中重要的选项加以说明:
1)首先系统中底板SB-T35的基本接口如USB接口、SD卡槽等必须可以正常使用,内核配置时应将相应的驱动进行编译。
2)Linux系统若要正确识别图像采集设备需要安装videodev模块,该模块可以为图像采集设备注册一个字符设备,该字符设备由主设备号和次设备号共同确定的设备文件来标识,这样才可以对摄像头进行各种操作;
3)uvcvideo(USB Video Class driver)模块用于驱动USB接口摄像头,只有使摄像头正常采集图像才能进行后续图像处理。该模块的顺利加载依赖某些某块的优先安装,故在加载模块时需注意其先后顺序;
4)本系统中红外摄像头依靠USB图像采集卡与核心板相连,若要采集红外图像需加载图像采集卡中编解码芯片的驱动。硬件介绍时指出了图像采集卡中包含EM2860解码芯片,故应在内核选项Device Drivers选取“EmpiaEM28xx USB video capture support”,以成功驱动采集卡得到红外图像,如图9所示。
内核配置完成后就可编译内核,与PC机上Linux内核不同的是核心板的内核编译应使用交叉编译工具链,本系统采用的是arm-linux-linux-gnueabi-gcc或者是arm-none-linux-gnueabig++。之后就得到相应的内核镜像uImage和各种驱动模块,包括上述重要的模块。本系统的文件系统为默认的文件系统Angstrom,它也可根据需要制作而成。这样就可将新的内核镜像uImage烧写到核心板上,以下就是CM-T3530启动时显示的内核信息:
##Booting kernel from Legacy Image at 82000000...
Image Name:Linux-2.6.32//说明linux内核版本为2.6.32
Image Type:ARM Linux Kemel Image(uncompressed)//指出这是嵌入式Linux系统
Data Size:2648332Bytes=2.5MB//内核镜像uImage大小为2.5MB
Load Address:80008000
Entry Point:80008000
Verifying Checksum...OK
Loading Kernel Image...OK
OK
Starting kemel...//内核启动
模块依赖关系
在Linux操作系统中设备文件用来标识所有的外部设备。Udev是Linux2.6内核里默认的设备管理工具,通过定义一个udev规则在目录/dev下产生匹配属性的设备文件,这些设备属性可以是内核设备名称、厂商名称、型号、序列号等等。当USB图像采集卡和CM-T3530相连时,启动中就会出现如图10的信息,该信息说明USB图像采集卡的设备文件名为/dev/video0及产品序列号等信息。
在内核中对设备文件进行初始环境设定、空间释放等操作时可以通过设备驱动程序进行。作为外部设备与内核间的接口,设备驱动程序使得对外设的处理和功能的实现变得简单。在不了解外设的具体处理细节的情况下,它使用户可以像处理系统中的普通文件一样操作外设,从而无需理会其具体的细节部分。上一小节提到在内核配置过程中考虑到内核镜像大小的限制需将部分驱动编译成模块,这些模块也是本操作系统必不可少的组成部分。
本系统的硬件中包括USB图像采集卡,该采集卡包含解码芯片SAA7113和视频采集芯片EM2860。为了使该采集卡连接至CM-T3530上可以使用,内核中编译模块时需编译模块saa7115.ko和模块em28xx.ko。
模块saa7115.ko
是飞利浦解码芯片SAA7111/SAA7113/SAA7114/SAA7115/SAA7118的驱动,模块em28xx.ko是基于Empia em28xx系列芯片的视频设备的驱动。模块间可能是具有依赖关系的,即当编译一个模块时可能需要先编译另外一个或几个模块,文件modules.dep就是用来记录这种依赖关系的。USB图像采集卡驱动涉及的模块依赖关系如图11所示:
可以看出模块saa7115.ko依赖于模块v41common.ko和videodev.ko,而模块em28xx.ko依赖于模块videobuf-core.ko、ir-common.ko、videodev.ko、tveeprom.ko、videobuf-vmalloc.ko和v4lcommon.ko,同时模块v41common.ko依赖于模块videodev.ko,模块videodev.ko依赖于模块v411-compat.ko。其中videodev.ko实现视频设备的注册,videobuf-core.ko是用于管理视频设备缓冲区,videobuf-vmalloc.ko用于管理视频设备虚拟连续缓冲区。
另外为了使CM-T3530支持USB设备、网络和SD卡等,配置内核时需要指定编译各功能相应的模块,这里不再一一详述。
图像相关的库文件
核心板CM-T3530在内核烧写和模块安装之后已具备操作系统的正常功能,但图像类应用程序的运行仍需要一些和图像相关的库文件的支持。这些库文件需要运用交叉编译工具链进行交叉编译后才可以在核心板上使用,常用的一些库文件有OpenCv库、FFmpeg库、Live555库。
OpenCv(Intel Open Source Computer Vision Library),顾名思义,就是数字图像处理和计算机视觉两方面的函数库,由Intel公司资助开发。OpenCv里有300多个由C/C++函数实现的中、高层应用程序接口,可在不同平台上使用,例如Windows系统、Linux系统、MacOSx系统等。同时将OpenCv和其它编程工具结合就可满足不同的需求。它一般包含图像/视频的采集、保存和查看模块,包含的子库有CV、CXCORE、CVAUX和HIGHGUI等。CV库中包含较多的OpenCv函数,实现以上两方面的算法,例如图像处理、结构检测、物体追踪和模式识别等。CXCORE库进行数据结构和线型代数支持,例如各种数据类型的基本运算。CVAUX库包含一些实验性的函数,例如三维跟踪等,起到辅助作用。HIGHGUI库进行用户交互,例如图形界面的构造、图像视频输入输出等。OpenCv交叉编译后需将生成的库文件libcv、libcxcore、libcvaux、libhighgui移入到核心板,便于应用程序调用。
FFmpeg(Fast Forward MPEG)是一个开源的音视频流方案,提供了转换、录制以及流化音视频的完整解决方案。它是在Linux平台下开发,但同样可在其他操作系统中编译运行。它包含音频视频编解码库libavcodec等,具体实现的功能非常强大,不仅可以采集USB摄像头和视频采集卡的图像,还可以进行屏幕录制,另外还支持以RTP方式将视频流传送给支持RTSP协议的流媒体服务器,以支持直播应用。FFmpeg交叉编译后会生成库文件libavformat、libavcodec、libavutil等。
Live555是一个为流媒体提供解决方案的可跨平台使用的C++开源项目,支持多种标准流媒体传输协议,如RTP/RTCP、RTSP、SIP等。它包含的模块共有UsageEnvironment、BasicUsageEnvironment、GroupSock和LiveMedia,实现了多种音视频编码格式的相关数据的流化、接收和处理等支持。目前Live555已经可被用于多款播放器的流媒体播放功能的实现,如VLC、MPlayer等。
在经过内核烧写、模块安装和库文件移植后,系统软件配置工作就基本完成,结合系统应用程序部分,可以得出软件框图如图12所示。
如图13给出本系统的功能框架,经过本章所述的基础环境搭建后本系统的主要工作(采集、检测、通信、压缩、传输)都在核心板上进行,处理后的视频流通过有线或无线网络传送给远程PC机。这就是本系统的基本功能,这里将CM-T3530上的Color_image和Infra_image用来表示两路图像进程,Color_show和Infra_show用来标识在PC机上的两路显示程序。各功能模块的实现将在后续章节中一一详述。
详细介绍火灾探测系统的基础搭建,包括硬件构成和软件配置。硬件构成中对系统的主要部分进行详细的介绍,包括核心板CM-T3530、底板SB-T35、红外摄像头和彩色摄像头、图像采集卡等,然后给出系统的硬件框架图;软件配置中从内核编译到模块安装和库的移植均给出具体的说明,然后给出系统的软件框图。最后在硬件构成和软件配置的基础上给出系统的功能框架使读者对系统有一个清晰的认
虽然本发明所揭露的实施方式如上,但所述的内容只是为了便于理解本发明而采用的实施方式,并非用以限定本发明。任何本发明所属技术领域内的技术人员,在不脱离本发明所揭露的精神和范围的前提下,可以在实施的形式上及细节上作任何的修改与变化,但本发明的专利保护范围,仍须以所附的权利要求书所界定的范围为准。
Claims (3)
1.一种无人机平台上火灾探测系统,其采集设备为红外图像传感器和互补性氧化金属半导体图像传感器,一方面利用红外图像的热成像原理检测出热点坐标,另一方面利用彩色图像较好的可视性定位热点在实际环境中的位置。
2.如权利要求1所述的系统,其特征在于采集、检测、通信、压缩、传输在核心板上进行,处理后的视频流通过有线或无线网络传送给远程PC机 。
3.如权利要求1所述的系统,其特征在于包括Color_image和Infra_image两路图像进程。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510172021.6A CN106157519A (zh) | 2015-04-13 | 2015-04-13 | 一种无人机平台上火灾探测系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510172021.6A CN106157519A (zh) | 2015-04-13 | 2015-04-13 | 一种无人机平台上火灾探测系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106157519A true CN106157519A (zh) | 2016-11-23 |
Family
ID=57336211
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510172021.6A Pending CN106157519A (zh) | 2015-04-13 | 2015-04-13 | 一种无人机平台上火灾探测系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106157519A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107909790A (zh) * | 2017-11-13 | 2018-04-13 | 成都航空职业技术学院 | 一种基于无人机的扬尘监测系统 |
CN108205861A (zh) * | 2016-12-16 | 2018-06-26 | 中电科(德阳广汉)特种飞机系统工程有限公司 | 一种森林防火控制系统及方法 |
CN109087275A (zh) * | 2018-03-21 | 2018-12-25 | 杨娟 | 计算机评估方法 |
CN109490930A (zh) * | 2018-09-26 | 2019-03-19 | 山东闪迪智能科技股份有限公司 | 一种秸秆燃烧定位系统及方法 |
CN111476965A (zh) * | 2020-03-13 | 2020-07-31 | 深圳信息职业技术学院 | 火灾检测模型的构建方法、火灾检测方法及相关设备 |
-
2015
- 2015-04-13 CN CN201510172021.6A patent/CN106157519A/zh active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108205861A (zh) * | 2016-12-16 | 2018-06-26 | 中电科(德阳广汉)特种飞机系统工程有限公司 | 一种森林防火控制系统及方法 |
CN107909790A (zh) * | 2017-11-13 | 2018-04-13 | 成都航空职业技术学院 | 一种基于无人机的扬尘监测系统 |
CN109087275A (zh) * | 2018-03-21 | 2018-12-25 | 杨娟 | 计算机评估方法 |
CN109490930A (zh) * | 2018-09-26 | 2019-03-19 | 山东闪迪智能科技股份有限公司 | 一种秸秆燃烧定位系统及方法 |
CN111476965A (zh) * | 2020-03-13 | 2020-07-31 | 深圳信息职业技术学院 | 火灾检测模型的构建方法、火灾检测方法及相关设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106157519A (zh) | 一种无人机平台上火灾探测系统 | |
Alwateer et al. | Drone services: issues in drones for location-based services from human-drone interaction to information processing | |
Sharma et al. | An integrated fire detection system using IoT and image processing technique for smart cities | |
Loke | The internet of flying-things: Opportunities and challenges with airborne fog computing and mobile cloud in the clouds | |
CN103217936A (zh) | 环保应急无人机集成系统 | |
CN103561242B (zh) | 一种基于无线图像传感器网络的野生动物监测系统 | |
Sukhavasi et al. | CMOS image sensors in surveillance system applications | |
CN105828062A (zh) | 无人机3d虚拟现实拍摄系统 | |
CN104715556B (zh) | 基于空中航拍的火情报警方法 | |
CN104200600A (zh) | 基于火情分析的消防监控系统 | |
Nguyen et al. | A review of modern thermal imaging sensor technology and applications for autonomous aerial navigation | |
CN107907803A (zh) | 一种便携式的增强现实紫外成像系统 | |
KR20200032964A (ko) | 무선 충전 드론을 이용한 촬영 시스템 | |
CN207817921U (zh) | 一种基于fpga和arm的高层建筑火灾搜救巡查系统 | |
CN207968682U (zh) | 基于fpga的红外图像处理系统 | |
WO2021078145A1 (zh) | 基于活体感应运动趋势检测的无线传感人脸识别装置 | |
Zhang et al. | A method for forest fire detection using UAV | |
CN203618072U (zh) | 一种无人机载多光谱相机的控制系统 | |
CN205899734U (zh) | 集成化森林火情智能采集系统 | |
CN201477355U (zh) | 飞行摄影器 | |
CN205490956U (zh) | 无线超远程定位拍照报警系统 | |
Zhao et al. | Research on UAV aided earthquake emergency system | |
CN207424183U (zh) | 一种便携式的增强现实紫外成像系统 | |
Pande et al. | Classification and detection of fire on WSN using IMB400 multimedia sensor board | |
CN204069202U (zh) | 一种短波红外可穿戴视觉增强交互系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20161123 |
|
WD01 | Invention patent application deemed withdrawn after publication |