CN105761275A - 带有双目视觉结构的消防预警飞行器 - Google Patents

Abstract

本发明公开了一种带有双目视觉结构的消防预警飞行器，包括无人机本体、固定架、探测装置，所述固定架设置于所述无人机本体的下部，所述探测装置通过固定架与无人机本体相连接，本发明，设置双目视觉结构，包括了第一摄像头和第二摄像头，第一摄像头为红外成像仪，所述红外成像仪用于采集红外图像信息，所述第二摄像头为彩色摄像机，所述彩色摄像机用于采集彩色图像信息，所述探测装置通过通信模块将红外图像信息和彩色图像信息发送给控制系统，通过分析红外图像信息和彩色图像信息可以解决多种场景下的无法满足基于视频分析的检测精度需求的问题，可以满足用户的使用需求。

Description

带有双目视觉结构的消防预警飞行器

技术领域

本发明属于消防监控技术领域，尤其涉及一种带有双目视觉结构的消防预警飞行器。

背景技术

无人驾驶飞机简称“无人机”，英文缩写为“UAV”，是利用无线电遥控设备和自备的程序控制装置操纵的不载人飞机。无人机按应用领域，可分为军用与民用。无人机在民用领域用途广泛，主要用于警用、城市管理、农业、地质、气象、电力、抢险救灾、视频拍摄等行业。

随着社会经济的快速发展，探测装置已经广泛应用到包括防火、交通、智能识别等领域当中。在某些场合下，探测装置无法有效及时的做好监测工作，尤其是在恶劣环境以及人员难以到达的地方。因此，带有探测装置的无人机被人们设计了出来。但是，现有技术中的无人机一般携带的探测装置包括单一摄像头，利用单一摄像头采集的视频图像，无法满足基于视频分析的检测精度需求，对探测装置的应用场景带来了极大的限制。

鉴于此，本发明提供了一种带有双目视觉结构的消防预警飞行器。

发明内容

本发明的目的在于一种基于双目视觉的探测器，以解决现有技术中存在的探测器为单摄像头，其采集视频图像无法满足基于视频分析的检测精度需求，对探测器的应用带来了极大的限制的问题。

为实现本发明的目的，本发明提供了一种带有双目视觉结构的消防预警飞行器，包括无人机本体、固定架、探测装置，所述固定架设置于所述无人机本体的下部，所述探测装置通过固定架与无人机本体相连接，所述探测装置包括第一摄像头和第二摄像头、电源模块、通信模块，所述第一摄像头为红外成像仪，所述红外成像仪用于采集红外图像信息，所述第二摄像头为彩色摄像机，所述彩色摄像机用于采集彩色图像信息，所述电源模块用于给所述红外成像仪和彩色摄像机供电，所述探测装置通过通信模块将红外图像信息和彩色图像信息发送给控制系统。

其中，所述探测装置还包括外壳，所述第一摄像头和第二摄像头、电源模块、通信模块安装于所述外壳内，所述外壳的前端安装有透明视窗。

其中，所述无人机本体包括飞行平台及动力系统和自动控制模块，所述自动控制模块包括GPS导航系统、航姿控制系统、高度计以及云台，所述探测装置通过固定架与云台连接。

其中，所述控制系统包括遥控及遥测通讯设备、飞行控制系统、图像数据接收模块、图像数据处理模块、报警触发模块。

其中，所述图像数据处理模块包括处理红外图像信息的红外探测火焰算法单元，所述红外探测火焰算法单元处理红外图像信息按照如下步骤进行：

(1)从视频图像获取装置获取视频图像序列；

(2)利用背景减除法求取前景区域：红外成像仪采集到图像按照每个像素点进行灰度值的更新学习；

模型灰度值更新学习过程分为：avgY_i+1＝avgY_i*(1-α)+α*avgY_Cur

其中，avgY_i+1分别为对新一帧图像的模型均值训练结果，avgY_i表示建模点当前的高斯模型均值，avgY_Cur为新一帧图像的模型灰度值，α为模型更新因子；

像素点的灰度值更新过程分为背景点和前景点，为了防止疑似火焰前景迅速学入背景导致检测不出来疑似火焰前景，针对背景模型采用不同的更新速率，背景点的模型更新因子通常取值为10％；前景点的模型更新因子通常取值为1％；

(3)根据下述公式，筛选有效前景区域：

即，若该区域平均灰度值大于设定阈值，标记为疑似火焰区域；其中，N为该区域像素点个数，f(x_i)为第i个点像素的灰度值，T为设定阈值；

(4)提取疑似火焰区域特征：包括灰度特征，面积特征、跳跃特征、面积变化特征；

(5)将第(4)步求取的特征，作为BP神经网络的输入，判定该区域是否为火焰；

(6)跟踪统计疑似火焰区域被判定为火焰的次数，当达到阈值Tn时，输出火焰报警。

其中，所述图像数据处理模块包括处理彩色图像信息的烟雾检测算法单元，所述烟雾检测算法单元处理彩色图像信息按照如下步骤进行：

(1)从视频图像获取装置获取视频图像序列；

(2)根据视频图像数据采用累积帧差法求取疑似烟雾区域，累积帧数可按照算法需求自行定义；

帧差法基本原理可以用下面公式看出：

|i(t)-i(t-1)|<T背景

|i(t)-i(t-1)|>＝T前景

其中，i(t),i(t-1)分别为t,t-1时刻对应像素点的像素值,T为阈值；

(3)根据烟雾静态特征具体包括：最小面积、颜色特征、灰度特征和烟雾动态特征具体包括飘动性特、面积变化特征去除虚假信息，判断是否满足烟雾所有特征；

(4)若满足烟雾所有特征，疑似区域将会预警，采用标记Alarm计数，当预警次数Alarm>T时输出烟雾报警，其中T为预警阈值。

本发明，与现有技术相比，设置双目视觉结构，包括了了第一摄像头和第二摄像头，第一摄像头为红外成像仪，所述红外成像仪用于采集红外图像信息，所述第二摄像头为彩色摄像机，所述彩色摄像机用于采集彩色图像信息，所述探测装置通过通信模块将红外图像信息和彩色图像信息发送给控制系统，通过分析红外图像信息和彩色图像信息可以解决多种场景下的清晰图像采集的问题，可以满足用户的使用需求。

附图说明

图1所示为本发明的结构示意图；

图2所示为本发明探测装置的结构示意图；

图3所示为本发明红外探测火焰算法单元处理红外图像信息的方法流程图；

图4所示为本发明烟雾检测算法单元处理彩色图像信息的方法流程图；

图中：1.无人机本体，2.固定架，3.探测装置，31.外壳，32.透明视窗，33.第一摄像头，34.第二摄像头，35.电源模块，36.通信模块。

具体实施方式

以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

应当说明的是，本申请中所述的“连接”和用于表达“连接”的词语，如“相连接”、“相连”等，既可以包括某一部件与另一部件直接连接，也可以包括某一部件通过其他部件与另一部件相连接。

如图1、图2、图3、图4所示，本发明提供了一种带有双目视觉结构的消防预警飞行器，包括无人机本体1、固定架2、探测装置3，所述固定架设置于所述无人机本体的下部，所述探测装置通过固定架与无人机本体相连接，所述探测装置包括第一摄像头和第二摄像头、电源模块35、通信模块36，所述第一摄像头33为红外成像仪，所述红外成像仪用于采集红外图像信息，所述第二摄像头34为彩色摄像机，所述彩色摄像机用于采集彩色图像信息，所述电源模块用于给所述红外成像仪和彩色摄像机供电，所述探测装置通过通信模块将红外图像信息和彩色图像信息发送给控制系统，控制系统对探测装置所采集的图像进行分析。其中的红外成像仪，可以有效解决彩色数字摄像仪在夜间甚至极恶劣气候环境条件下监控目标的不足。所述控制系统为前端控制或后台控制。

在优选实施例中，所述探测装置还包括外壳31，所述第一摄像头和第二摄像头、电源模块、通信模块安装于所述外壳内，所述外壳的前端安装有透明视窗32。

在优选实施例中，所述无人机本体包括飞行平台及动力系统和自动控制模块，所述自动控制模块包括GPS导航系统、航姿控制系统、高度计以及云台，所述探测装置通过固定架与云台连接。所述云台为稳定云台，通过稳定云台可以消除抖动，保持图像清晰，还可以转换拍摄角度。

本发明，设置双目视觉结构，包括了了第一摄像头和第二摄像头，第一摄像头为红外成像仪，所述红外成像仪用于采集红外图像信息，所述第二摄像头为彩色摄像机，所述彩色摄像机用于采集彩色图像信息，所述探测装置通过通信模块将红外图像信息和彩色图像信息发送给控制系统，通过分析红外图像信息和彩色图像信息可以解决多种场景下的清晰图像采集的问题，可以满足用户的使用需求。

在优选实施例中，为了使探测装置放置方便、安全，可以设置如下结构：所述无人机本体设置有容纳腔，所述云台设置于容纳腔内，所述固定架为升降式固定架，具体地，所述固定架包括固定气缸、锁扣，所述固定气缸的上端部与云台相连接，固定气缸的活塞杆与锁扣固定连接，所述探测装置外壳上端面设置有连接环，使用时，使用锁扣锁紧连接环，从而可以将探测装置与固定气缸相连接。在不使用的时候，可以利用气缸将探测装置缩入容纳腔内，从而，可以很好地放置探测装置，无人机也可以较为随意的升降和停放；使用的时候，可以利用气缸将探测装置伸出容纳腔外。

在优选的实施例中，为了使得外壳结构简单、制作加工方便，可将外壳分为上盖和下壳结构，所述上盖的一端与所述下壳铰接，另一端通过锁紧件与下壳连接，所述下壳包括前壳、中间部分以及后壳，镜头安装在钣金件上，所述尾线穿过所述后壳与供电源连接，所述上盖的内侧粘贴有密封EVA泡棉，所述下壳与所述上盖密封连接处设置有密封橡胶条，所述密封EVA泡棉表面均匀粘贴导电布，且粘贴后两者之间无缝隙，所述密封橡胶条表面完全粘贴有导电布，且粘贴后导电布表面光顺两者之间无缝隙。利用上述结构，可以避免外壳内的电子部件被静电损坏。

在优选实施例中，为了保证透明视窗的清洁，在透明视窗外侧的外壳上设置有气流喷头，所述气流喷头通过管路与气泵连接，所述气泵与控制器连接，所述气流喷头可以为多个，喷头出气口朝向透明视窗，可通过控制器设置气流喷头的喷射时间以及间隔时间。

如图3所示，在优选实施例中，所述控制系统包括遥控及遥测通讯设备、飞行控制系统、图像数据接收模块、图像数据处理模块、报警触发模块。其中上述的遥控及遥测通讯设备发送遥控数据、接收无人机位置、航姿信息；飞行控制系统，在无人机起飞前规划航线，无人机飞行过程中显示飞行区域的电子地图、航迹、飞行参数、飞机的航向姿态参数和导航数据实时下传并记录，操作者可随时修改航线、目标，并监控飞行状态和位置信息。图像处理以及接收模块用于接收图像数据，用于实时显示、分析处理、存储；报警触发模块用于发现疑似火情后，发出报警信息，如警铃鸣响，自动电话语音报警等。

所述图像数据处理模块包括处理红外图像信息的红外探测火焰算法单元，所述红外探测火焰算法单元处理红外图像信息按照如下步骤进行：

(1)从视频图像获取装置获取视频图像序列；

(2)利用背景减除法求取前景区域：红外成像仪采集到图像按照每个像素点进行灰度值的更新学习；

模型灰度值更新学习过程分为：avgY_i+1＝avgY_i*(1-α)+α*avgY_Cur

其中，avgY_i+1分别为对新一帧图像的模型均值训练结果，avgY_i表示建模点当前的高斯模型均值，avgY_Cur为新一帧图像的模型灰度值，α为模型更新因子；

像素点的灰度值更新过程分为背景点和前景点，为了防止疑似火焰前景迅速学入背景导致检测不出来疑似火焰前景，针对背景模型采用不同的更新速率，背景点的模型更新因子通常取值为10％；前景点的模型更新因子通常取值为1％；

(3)根据下述公式，筛选有效前景区域：

即，若该区域平均灰度值大于设定阈值，标记为疑似火焰区域；其中，N为该区域像素点个数，f(x_i)为第i个点像素的灰度值，T为设定阈值；

(4)提取疑似火焰区域特征：包括灰度特征，面积特征、跳跃特征、面积变化特征；

(5)将第(4)步求取的特征，作为BP神经网络的输入，判定该区域是否为火焰；

(6)跟踪统计疑似火焰区域被判定为火焰的次数，当达到阈值Tn时，输出火焰报警。

如图4所示，在优选的实施例中，所述图像数据处理模块包括处理彩色图像信息的烟雾检测算法单元，所述烟雾检测算法单元处理彩色图像信息按照如下步骤进行：

(1)从视频图像获取装置获取视频图像序列；

(2)根据视频图像数据采用累积帧差法求取疑似烟雾区域，累积帧数可按照算法需求自行定义；

帧差法基本原理可以用下面公式看出：

|i(t)-i(t-1)|<T背景

|i(t)-i(t-1)|>＝T前景

其中，i(t),i(t-1)分别为t,t-1时刻对应像素点的像素值,T为阈值；

(3)根据烟雾静态特征具体包括：最小面积、颜色特征、灰度特征和烟雾动态特征具体包括飘动性特、面积变化特征去除虚假信息，判断是否满足烟雾所有特征；

(4)若满足烟雾所有特征，疑似区域将会预警，采用标记Alarm计数，当预警次数Alarm>T时输出烟雾报警，其中T为预警阈值。

以上所述仅是本发明的优选实施方式，应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种带有双目视觉结构的消防预警飞行器，其特征在于，包括无人机本体、固定架、探测装置，所述固定架设置于所述无人机本体的下部，所述探测装置通过固定架与无人机本体相连接，所述探测装置包括第一摄像头和第二摄像头、电源模块、通信模块，所述第一摄像头为红外成像仪，所述红外成像仪用于采集红外图像信息，所述第二摄像头为彩色摄像机，所述彩色摄像机用于采集彩色图像信息，所述电源模块用于给所述红外成像仪和彩色摄像机供电，所述探测装置通过通信模块将红外图像信息和彩色图像信息发送给控制系统。

2.根据权利要求1所述的带有双目视觉结构的消防预警飞行器，其特征在于，所述探测装置还包括外壳，所述第一摄像头和第二摄像头、电源模块、通信模块安装于所述外壳内，所述外壳的前端安装有透明视窗。

3.根据权利要求1所述的带有双目视觉结构的消防预警飞行器，其特征在于，所述无人机本体包括飞行平台及动力系统和自动控制模块，所述自动控制模块包括GPS导航系统、航姿控制系统、高度计以及云台，所述探测装置通过固定架与云台连接。

4.根据权利要求1所述的带有双目视觉结构的消防预警飞行器，其特征在于，所述控制系统包括遥控及遥测通讯设备、图像数据接收模块、图像数据处理模块、报警触发模块。

5.根据权利要求4所述的带有双目视觉结构的消防预警飞行器，其特征在于，所述图像数据处理模块包括处理红外图像信息的红外探测火焰算法单元，所述红外探测火焰算法单元处理红外图像信息按照如下步骤进行：

(1)从视频图像获取装置获取视频图像序列；

(2)利用背景减除法求取前景区域：红外成像仪采集到图像按照每个像素点进行灰度值的更新学习；

模型灰度值更新学习过程分为：avgY_i+1＝avgY_i*(1-α)+α*avgY_Cur

其中，avgY_i+1分别为对新一帧图像的模型均值训练结果，avgY_i表示建模点当前的高斯模型均值，avgY_Cur为新一帧图像的模型灰度值，α为模型更新因子；

像素点的灰度值更新过程分为背景点和前景点，为了防止疑似火焰前景迅速学入背景导致检测不出来疑似火焰前景，针对背景模型采用不同的更新速率，背景点的模型更新因子通常取值为10％；前景点的模型更新因子通常取值为1％；

(3)根据下述公式，筛选有效前景区域：

即，若该区域平均灰度值大于设定阈值，标记为疑似火焰区域；其中，N为该区域像素点个数，f(x_i)为第i个点像素的灰度值，T为设定阈值；

(4)提取疑似火焰区域特征：包括灰度特征，面积特征、跳跃特征、面积变化特征；

(5)将第(4)步求取的特征，作为BP神经网络的输入，判定该区域是否为火焰；

(6)跟踪统计疑似火焰区域被判定为火焰的次数，当达到阈值Tn时，输出火焰报警。

6.根据权利要求4所述的带有双目视觉结构的消防预警飞行器，其特征在于，所述图像数据处理模块包括处理彩色图像信息的烟雾检测算法单元，所述烟雾检测算法单元处理彩色图像信息按照如下步骤进行：

(1)从视频图像获取装置获取视频图像序列；

(2)根据视频图像数据采用累积帧差法求取疑似烟雾区域，累积帧数可按照算法需求自行定义；

帧差法基本原理可以用下面公式看出：

|i(t)-i(t-1)|<T背景

|i(t)-i(t-1)|>＝T前景

其中，i(t),i(t-1)分别为t,t-1时刻对应像素点的像素值,T为阈值；

(3)根据烟雾静态特征具体包括：最小面积、颜色特征、灰度特征和烟雾动态特征具体包括飘动性特、面积变化特征去除虚假信息，判断是否满足烟雾所有特征；

(4)若满足烟雾所有特征，疑似区域将会预警，采用标记Alarm计数，当预警次数Alarm>T时输出烟雾报警，其中T为预警阈值。