CN105741477B - 带有智能消防语音助手的飞行器 - Google Patents

Abstract

本发明公开了一种带有智能消防语音助手的飞行器，第一摄像头为红外成像仪，所述红外成像仪用于采集红外图像信息，第二摄像头为彩色摄像机，所述彩色摄像机用于采集彩色图像信息，所述探测装置通过通信模块将红外图像信息和彩色图像信息发送给控制系统，通过分析红外图像信息和彩色图像信息可以解决多种场景下的清晰图像采集的问题，将本发明设定在某一半径范围内巡检，当发现火情或烟雾时，飞机停留在事故点附近区域，实时检测，根据本身数据库中存储的数据，判断事故位置的货物类型，并根据货物类型发出语音提示，或者将采集的视频发送到控制系统处理，经后台处理后，后台控制播放器进行语音提示。

Description

带有智能消防语音助手的飞行器

技术领域

本发明属于消防监控技术领域，尤其涉及一种带有智能消防语音助手的飞行器。

背景技术

无人驾驶飞机简称“无人机”，英文缩写为“UAV”，是利用无线电遥控设备和自备的程序控制装置操纵的不载人飞机。无人机按应用领域，可分为军用与民用。无人机在民用领域用途广泛，主要用于警用、城市管理、农业、地质、气象、电力、抢险救灾、视频拍摄等行业。

随着社会经济的快速发展，探测装置已经广泛应用到包括防火、交通、智能识别等领域当中。在某些场合下，探测装置无法有效及时的做好监测工作。因此，带有探测装置的无人机被人们设计了出来。

对危险化工产品进行巡检非常重要，现有的巡检方式通过人员巡检，费时费力，且对某些潜在威胁不易发现，或者通过固定安装探测装置进行实时监测，但是成本较大，不能满足用户的使用需求。鉴于此，本发明提供了带有智能消防语音助手的飞行器。

发明内容

本发明的目的在于提供一种带有智能消防语音助手的飞行器，以解决现有技术中通过人员对危险化工产品进行巡检，费时费力，且对某些潜在威胁不易发现，或者通过固定安装探测装置进行实时监测，但是成本较大，不能满足用户的使用需求的问题。

为实现本发明的目的，本发明提供了一种带有智能消防语音助手的飞行器，包括无人机本体、固定架、探测装置、语音提示装置，所述固定架设置于所述无人机本体的下部，所述探测装置通过固定架与无人机本体相连接，所述探测装置包括第一摄像头和第二摄像头、第一电源模块、第一通信模块，所述第一摄像头为红外成像仪，所述红外成像仪用于采集红外图像信息，第二摄像头为彩色摄像机，所述彩色摄像机用于采集彩色图像信息，所述第一电源模块用于给所述红外成像仪和彩色摄像机供电，所述探测装置通过第一通信模块将红外图像信息和彩色图像信息发送给控制系统，所述语音提示装置包括播放器、第二通讯模块、第二电源模块，所述播放器通过第二通讯模块与控制系统连接，通过读取控制系统数据库中物品信息，或通过接收管理员发送的信息，进行危化品语音提示。

其中，所述探测装置还包括外壳，所述第一摄像头和第二摄像头、电源模块、通信模块安装于所述外壳内，所述外壳的前端安装有透明视窗。

其中，所述无人机本体包括飞行平台及动力系统和自动控制模块，所述自动控制模块包括GPS导航系统、航姿控制系统、高度计以及云台，所述探测装置通过固定架与云台连接。

本发明还提供了另外带有智能消防语音助手的飞行器，包括无人机本体、固定架、探测装置、语音提示装置，所述固定架设置于所述无人机本体的下部，所述探测装置通过固定架与无人机本体相连接，所述探测装置包括第一摄像头和第二摄像头、第一电源模块、第一通信模块，所述第一摄像头为红外成像仪，所述红外成像仪用于采集红外图像信息，第二摄像头为彩色摄像机，所述彩色摄像机用于采集彩色图像信息，所述第一电源模块用于给所述红外成像仪和彩色摄像机供电，所述探测装置通过第一通信模块将红外图像信息和彩色图像信息发送给控制系统，所述语音提示装置包括播放器、第二电源模块、用于危化品分析的处理芯片，所述播放器与用于危化品分析的处理芯片相连接。

其中，所述控制系统包括遥控及遥测通讯设备、飞行控制系统、图像数据接收模块、图像数据处理模块、报警触发模块。

其中，所述图像数据处理模块包括处理红外图像信息的红外探测火焰算法单元，所述红外探测火焰算法单元处理红外图像信息按照如下步骤进行：

(1)从视频图像获取装置获取视频图像序列；

(2)利用背景减除法求取前景区域：红外成像仪采集到图像按照每个像素点进行灰度值的更新学习；

模型灰度值更新学习过程分为：avgY_i+1＝avgY_i*(1-α)+α*avgY_Cur

其中，avgY_i+1分别为对新一帧图像的模型均值训练结果，avgY_i表示建模点当前的高斯模型均值，avgY_Cur为新一帧图像的模型灰度值，α为模型更新因子；

像素点的灰度值更新过程分为背景点和前景点，为了防止疑似火焰前景迅速学入背景导致检测不出来疑似火焰前景，针对背景模型采用不同的更新速率，背景点的模型更新因子通常取值为10％；前景点的模型更新因子通常取值为1％；

(3)根据下述公式，筛选有效前景区域：

即，若该区域平均灰度值大于设定阈值，标记为疑似火焰区域；其中，N为该区域像素点个数，f(x_i)为第i个点像素的灰度值，T为设定阈值；

(4)提取疑似火焰区域特征：包括灰度特征，面积特征、跳跃特征、面积变化特征；

(5)将第(4)步求取的特征，作为BP神经网络的输入，判定该区域是否为火焰；

(6)跟踪统计疑似火焰区域被判定为火焰的次数，当达到阈值Tn时，输出火焰报警。

其中，所述图像数据处理模块包括处理彩色图像信息的烟雾检测算法单元，所述烟雾检测算法单元处理彩色图像信息按照如下步骤进行：

(1)从视频图像获取装置获取视频图像序列；

(2)根据视频图像数据采用累积帧差法求取疑似烟雾区域，累积帧数可按照算法需求自行定义；

帧差法基本原理可以用下面公式看出：

|i(t)-i(t-1)|<T 背景

|i(t)-i(t-1)|>＝T 前景

其中，i(t),i(t-1)分别为t,t-1时刻对应像素点的像素值,T为阈值；

(3)根据烟雾静态特征具体包括：最小面积、颜色特征、灰度特征和烟雾动态特征具体包括飘动性特、面积变化特征去除虚假信息，判断是否满足烟雾所有特征；

(4)若满足烟雾所有特征，疑似区域将会预警，采用标记Alarm计数，当预警次数Alarm>T时输出烟雾报警，其中T为预警阈值。

本发明，与现有技术相比，设置双目视觉结构，包括了第一摄像头和第二摄像头，第一摄像头为红外成像仪，所述红外成像仪用于采集红外图像信息，第二摄像头为彩色摄像机，所述彩色摄像机用于采集彩色图像信息，所述探测装置通过通信模块将红外图像信息和彩色图像信息发送给控制系统，通过分析红外图像信息和彩色图像信息可以解决多种场景下的清晰图像采集的问题，使用的时候，将本发明设定在某一半径范围内巡检，当发现火情或烟雾时，飞机停留在事故点附近区域，实时检测，根据本身数据库中存储的数据，判断事故位置的货物类型，并根据货物类型发出语音提示，或者将采集的视频发送到控制系统处理，经后台处理后，后台控制播放器进行语音提示，通过语音来提示例如事故位置的货物类型或处理方案等。

附图说明

图1所示为本发明的结构示意图；

图2所示为本发明探测装置的结构示意图；

图3所示为本发明红外探测火焰算法单元处理红外图像信息的方法流程图；

图4所示为本发明烟雾检测算法单元处理彩色图像信息的方法流程图；

图中：1.无人机本体，2.固定架，3.探测装置，4.语音提示装置，31.外壳，32.透明视窗，33.第一摄像头，34.第二摄像头，35.电源模块，36.通信模块。

具体实施方式

以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

应当说明的是，本申请中所述的“连接”和用于表达“连接”的词语，如“相连接”、“相连”等，既可以包括某一部件与另一部件直接连接，也可以包括某一部件通过其他部件与另一部件相连接。

如图1、图2、图3、图4所示，本发明提供了带有智能消防语音助手的飞行器，包括无人机本体1、固定架2、探测装置3、语音提示装置4，所述固定架2设置于所述无人机本体1的下部，所述探测装置3通过固定架2与无人机本体1相连接，所述探测装3置包括第一摄像头和第二摄像头、第一电源模块、第一通信模块，所述第一摄像头为红外成像仪，所述红外成像仪用于采集红外图像信息，第二摄像头为彩色摄像机，所述彩色摄像机用于采集彩色图像信息，所述第一电源模块用于给所述红外成像仪和彩色摄像机供电，所述探测装置3通过第一通信模块将红外图像信息和彩色图像信息发送给控制系统，所述语音提示装置4包括播放器、第二通讯模块、第二电源模块，所述播放器通过第二通讯模块与控制系统连接，通过读取控制系统数据库中物品信息，或通过接收管理员发送的信息，进行危化品语音提示。

在优选实施例中，控制系统通过GPS卫星通讯，对无人机进行定位和导航，无人机实时回传航拍图像以及无人机的位置信息，控制系统通过对图像进行实时分析，判断出现疑似火情，一方面，地面系统控制触发报警装置，并将疑似火情的位置以及可能起火的物品信息，发送给消防安全部门，由人工对火情进行核实，人工核实起火后，立即将起火位置以及起火物品、注意事项等信息发送给消防队，消防队展开消防救援和群众疏散工作；另一方面，控制系统对无人机发出指令，使得无人机悬停在火情处附近上空，无人机读取控制系统数据库中的物品资料信息，或者，控制系统向无人机发送物品资料信息，无人机悬停在火点附近上空，并通过扬声器、指示灯等辅助消防人员进行消防以及疏散等，当物品资料信息中存在危险化学物品时，进行危险化学物品提示。

在优选实施例中，所述语音提示装置还可以有如下设置：语音提示装置包括播放器、第二电源模块、用于危化品分析的处理芯片，所述播放器与用于危化品分析的处理芯片相连接，根据处理芯片的处理结果，将处理结果发送到播放器，通过播放器进行危化品语音提示。

在优选实施例中，所述探测装置还包括外壳31，所述第一摄像头和第二摄像头、电源模块、通信模块安装于所述外壳内，所述外壳的前端安装有透明视窗32。

在优选实施例中，所述无人机本体包括飞行平台及动力系统和自动控制模块，所述自动控制模块包括GPS导航系统、航姿控制系统、高度计以及云台，所述探测装置通过固定架与云台连接。所述云台为稳定平台，稳定平台可消除抖动，提高图像质量，同时，还可以变换航拍视角。

本发明，与现有技术相比，设置双目视觉结构，包括了了第一摄像头和第二摄像头，第一摄像头为红外成像仪，所述红外成像仪用于采集红外图像信息，第二摄像头为彩色摄像机，所述彩色摄像机用于采集彩色图像信息，所述探测装置通过通信模块将红外图像信息和彩色图像信息发送给控制系统，通过分析红外图像信息和彩色图像信息可以解决多种场景下的清晰图像采集的问题，使用的时候，将本发明设定在某一半径范围内巡检，当发现火情或烟雾时，飞机停留在事故点附近区域，实时检测，根据本身数据库中存储的数据，判断事故位置的货物类型，并根据货物类型发出语音提示，或者将采集的视频发送到控制系统处理，经后台处理后，后台控制播放器进行语音提示，通过语音来提示例如事故位置的货物类型或处理方案等。

在优选实施例中，为了使探测装置放置方便、安全，可以设置如下结构：所述无人机本体设置有容纳腔，所述云台设置于容纳腔内，所述固定架为升降式固定架，具体地，所述固定架包括固定气缸、锁扣，所述固定气缸的上端部与云台相连接，固定气缸的活塞杆与锁扣固定连接，所述探测装置外壳上端面设置有连接环，使用时，使用锁扣锁紧连接环，从而可以将探测装置与固定气缸相连接。在不使用的时候，可以利用气缸将探测装置缩入容纳腔内，从而，可以很好地放置探测装置，无人机也可以较为随意的升降和停放；使用的时候，可以利用气缸将探测装置伸出容纳腔外。

在优选的实施例中，为了使得外壳结构简单、制作加工方便，可将外壳分为上盖和下壳结构，所述上盖的一端与所述下壳铰接，另一端通过锁紧件与下壳连接，所述下壳包括前盖、中间部分以及后壳，所述镜头安装在钣金件上，所述尾线穿过所述后壳与供电源连接，所述上盖的内侧粘贴有密封EVA泡棉，所述下壳与所述上盖密封连接处设置有密封橡胶条，所述密封EVA泡棉表面均匀粘贴导电布，且粘贴后两者之间无缝隙，所述密封橡胶条表面完全粘贴有导电布，且粘贴后导电布表面光顺两者之间无缝隙。利用上述结构，可以避免外壳内的电子部件被静电损坏。

在优选实施例中，为了保证透明视窗的清洁，在透明视窗外侧的外壳上设置有气流喷头，所述气流喷头通过管路与气泵连接，所述气泵与控制器连接，所述气流喷头可以为多个，喷头出气口朝向透明视窗，可通过控制器设置气流喷头的喷射时间以及间隔时间。

在优选实施例中，所述控制系统包括遥控及遥测通讯设备、飞行控制系统、图像数据接收模块、图像数据处理模块、报警触发模块。其中上述的遥控及遥测通讯设备发送遥控数据、接收无人机位置、航姿信息；飞行控制系统，在无人机起飞前规划航线，无人机飞行过程中显示飞行区域的电子地图、航迹、飞行参数、飞机的航向姿态参数和导航数据实时下传并记录，操作者可随时修改航线、目标，并监控飞行状态和位置信息。图像处理以及接收模块用于接收图像数据，用于实时显示、分析处理、存储；报警触发模块用于发现疑似火电后，通知工作人员进行核实。

如图3所示，所述图像数据处理模块包括处理红外图像信息的红外探测火焰算法单元，所述红外探测火焰算法单元处理红外图像信息按照如下步骤进行：

(1)从视频图像获取装置获取视频图像序列；

(2)利用背景减除法求取前景区域：红外成像仪采集到图像按照每个像素点进行灰度值的更新学习；

模型灰度值更新学习过程分为：avgY_i+1＝avgY_i*(1-α)+α*avgY_Cur

其中，avgY_i+1分别为对新一帧图像的模型均值训练结果，avgY_i表示建模点当前的高斯模型均值，avgY_Cur为新一帧图像的模型灰度值，α为模型更新因子；

像素点的灰度值更新过程分为背景点和前景点，为了防止疑似火焰前景迅速学入背景导致检测不出来疑似火焰前景，针对背景模型采用不同的更新速率，背景点的模型更新因子通常取值为10％；前景点的模型更新因子通常取值为1％；

(3)根据下述公式，筛选有效前景区域：

即，若该区域平均灰度值大于设定阈值，标记为疑似火焰区域；其中，N为该区域像素点个数，f(x_i)为第i个点像素的灰度值，T为设定阈值；

(4)提取疑似火焰区域特征：包括灰度特征，面积特征、跳跃特征、面积变化特征；

(5)将第(4)步求取的特征，作为BP神经网络的输入，判定该区域是否为火焰；

(6)跟踪统计疑似火焰区域被判定为火焰的次数，当达到阈值Tn时，输出火焰报警。

如图4所示，在优选的实施例中，所述图像数据处理模块包括处理彩色图像信息的烟雾检测算法单元，所述烟雾检测算法单元处理彩色图像信息按照如下步骤进行：

(1)从视频图像获取装置获取视频图像序列；

(2)根据视频图像数据采用累积帧差法求取疑似烟雾区域，累积帧数可按照算法需求自行定义；

帧差法基本原理可以用下面公式看出：

|i(t)-i(t-1)|<T 背景

|i(t)-i(t-1)|>＝T 前景

其中，i(t),i(t-1)分别为t,t-1时刻对应像素点的像素值,T为阈值；

(3)根据烟雾静态特征具体包括：最小面积、颜色特征、灰度特征和烟雾动态特征具体包括飘动性特、面积变化特征去除虚假信息，判断是否满足烟雾所有特征；

(4)若满足烟雾所有特征，疑似区域将会预警，采用标记Alarm计数，当预警次数Alarm>T时输出烟雾报警，其中T为预警阈值。

以上所述仅是本发明的优选实施方式，应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种带有智能消防语音助手的飞行器，其特征在于，包括无人机本体、固定架、探测装置、语音提示装置，所述固定架设置于所述无人机本体的下部，所述探测装置通过固定架与无人机本体相连接，所述探测装置包括第一摄像头和第二摄像头、第一电源模块、第一通信模块，所述第一摄像头为红外成像仪，所述红外成像仪用于采集红外图像信息，第二摄像头为彩色摄像机，所述彩色摄像机用于采集彩色图像信息，所述第一电源模块用于给所述红外成像仪和彩色摄像机供电，所述探测装置通过第一通信模块将红外图像信息和彩色图像信息发送给控制系统，所述语音提示装置包括播放器、第二通讯模块、第二电源模块，所述播放器通过第二通讯模块与控制系统连接，通过读取控制系统数据库中物品信息，或通过接收管理员发送的信息，进行危化品语音提示；所述无人机本体包括飞行平台及动力系统和自动控制模块，所述自动控制模块包括GPS导航系统、航姿控制系统、高度计以及云台，所述探测装置通过固定架与云台连接；为了使探测装置放置方便、安全，设置如下结构：所述无人机本体设置有容纳腔，所述云台设置于容纳腔内，所述固定架为升降式固定架，所述固定架包括固定气缸、锁扣，所述固定气缸的上端部与云台相连接，固定气缸的活塞杆与锁扣固定连接，所述探测装置外壳上端面设置有连接环，使用时，使用锁扣锁紧连接环，从而可以将探测装置与固定气缸相连接；在不使用的时候，可以利用气缸将探测装置缩入容纳腔内，从而，可以很好地放置探测装置，无人机也可以较为随意的升降和停放；使用的时候，可以利用气缸将探测装置伸出容纳腔外。

2.根据权利要求1所述的带有智能消防语音助手的飞行器，其特征在于，所述探测装置还包括外壳，所述第一摄像头和第二摄像头、电源模块、通信模块安装于所述外壳内，所述外壳的前端安装有透明视窗。

3.一种带有智能消防语音助手的飞行器，其特征在于，包括无人机本体、固定架、探测装置、语音提示装置，所述固定架设置于所述无人机本体的下部，所述探测装置通过固定架与无人机本体相连接，所述探测装置包括第一摄像头和第二摄像头、第一电源模块、第一通信模块，所述第一摄像头为红外成像仪，所述红外成像仪用于采集红外图像信息，第二摄像头为彩色摄像机，所述彩色摄像机用于采集彩色图像信息，所述第一电源模块用于给所述红外成像仪和彩色摄像机供电，所述探测装置通过第一通信模块将红外图像信息和彩色图像信息发送给控制系统，所述语音提示装置包括播放器、第二电源模块、用于危化品分析的处理芯片，所述播放器与用于危化品分析的处理芯片相连接；所述无人机本体包括飞行平台及动力系统和自动控制模块，所述自动控制模块包括GPS导航系统、航姿控制系统、高度计以及云台，所述探测装置通过固定架与云台连接；为了使探测装置放置方便、安全，设置如下结构：所述无人机本体设置有容纳腔，所述云台设置于容纳腔内，所述固定架为升降式固定架，所述固定架包括固定气缸、锁扣，所述固定气缸的上端部与云台相连接，固定气缸的活塞杆与锁扣固定连接，所述探测装置外壳上端面设置有连接环，使用时，使用锁扣锁紧连接环，从而可以将探测装置与固定气缸相连接；在不使用的时候，可以利用气缸将探测装置缩入容纳腔内，从而，可以很好地放置探测装置，无人机也可以较为随意的升降和停放；使用的时候，可以利用气缸将探测装置伸出容纳腔外。

4.根据权利要求1或3所述的带有智能消防语音助手的飞行器，其特征在于，所述控制系统包括遥控及遥测通讯设备、图像数据接收模块、图像数据处理模块、报警触发模块。

5.根据权利要求4所述的带有智能消防语音助手的飞行器，其特征在于，所述图像数据处理模块包括处理红外图像信息的红外探测火焰算法单元，所述红外探测火焰算法单元处理红外图像信息按照如下步骤进行：

(1)从视频图像获取装置获取视频图像序列；

(2)利用背景减除法求取前景区域：红外成像仪采集到图像按照每个像素点进行灰度值的更新学习；

模型灰度值更新学习过程分为：avgY_i+1＝avgY_i*(1-α)+α*avgY_Cur

其中，avgY_i+1分别为对新一帧图像的模型均值训练结果，avgY_i表示建模点当前的高斯模型均值，avgY_Cur为新一帧图像的模型灰度值，α为模型更新因子；

像素点的灰度值更新过程分为背景点和前景点，为了防止疑似火焰前景迅速学入背景导致检测不出来疑似火焰前景，针对背景模型采用不同的更新速率，背景点的模型更新因子通常取值为10％；前景点的模型更新因子通常取值为1％；

(3)根据下述公式，筛选有效前景区域：

即，若该区域平均灰度值大于设定阈值，标记为疑似火焰区域；其中，N为该区域像素点个数，f(x_i)为第i个点像素的灰度值，T为设定阈值；

(4)提取疑似火焰区域特征：包括灰度特征，面积特征、跳跃特征、面积变化特征；

(5)将第(4)步求取的特征，作为BP神经网络的输入，判定该区域是否为火焰；

(6)跟踪统计疑似火焰区域被判定为火焰的次数，当达到阈值Tn时，输出火焰报警。

6.根据权利要求5所述的带有智能消防语音助手的飞行器，其特征在于，所述图像数据处理模块包括处理彩色图像信息的烟雾检测算法单元，所述烟雾检测算法单元处理彩色图像信息按照如下步骤进行：

(1)从视频图像获取装置获取视频图像序列；

(2)根据视频图像数据采用累积帧差法求取疑似烟雾区域，累积帧数可按照算法需求自行定义；

帧差法基本原理可以用下面公式看出：

|i(t)-i(t-1)|<T 背景

|i(t)-i(t-1)|>＝T 前景

其中，i(t),i(t-1)分别为t,t-1时刻对应像素点的像素值,T为阈值；

(3)根据烟雾静态特征具体包括：最小面积、颜色特征、灰度特征和烟雾动态特征具体包括飘动性特、面积变化特征去除虚假信息，判断是否满足烟雾所有特征；

(4)若满足烟雾所有特征，疑似区域将会预警，采用标记Alarm计数，当预警次数Alarm>T时输出烟雾报警，其中T为预警阈值。