CN108671453A - 一种水炮自动控制系统 - Google Patents

Abstract

本发明涉及消防设备领域，具体涉及一种水炮自动控制系统。所述控制系统包括图像采集装置、图像处理装置和水炮控制装置；所述图像采集装置采集目标图像传输至所述图像处理装置；所述图像处理装置对所述目标图像进行处理实现目标识别和目标追踪，所述图像处理装置将追踪到的目标位置传输至所述水炮控制装置；所述水炮控制装置根据目标位置控制炮台主控和炮手柄射击目标。该系统对目标进行自动识别和追踪，并控制水炮精准射击目标，能够广泛应用于火灾现场等要求快速、精准的场合。

Description

一种水炮自动控制系统

技术领域

本发明涉及消防设备领域，具体涉及一种水炮自动控制系统。

背景技术

目标物起火时，消防车紧急伴随，理想状态下是远距离平行前进，在运动中进行喷射水雾进行消防处理，目标物着陆的前几秒进行有效的消防处理，能够极大提高成功率。

但消防车距离目标物的水平距离在100至200米左右，水炮抛射的水雾轨迹呈一定的曲线，且车和目标物之间的水平距离和前后距离是时刻变化的，在两者时刻处于运动的过程中，人为的操纵手柄去控制水炮的方位角难以保障有限的几秒内准确喷射到目标物上。

发明内容

针对上述问题，本发明提供一种水炮自动控制系统，该系统对目标进行自动识别和追踪，并控制水炮精准射击目标，能够广泛应用于火灾现场等要求快速、精准的场合。

本发明是通过一下技术方案实现的：

一种水炮自动控制系统，所述控制系统包括图像采集装置、图像处理装置和水炮控制装置；

所述图像采集装置采集目标图像传输至所述图像处理装置；

所述图像处理装置对所述目标图像进行处理实现目标识别和目标追踪，所述图像处理装置将追踪到的目标位置传输至所述水炮控制装置；

所述水炮控制装置根据目标位置控制炮台主控和炮手柄射击目标。

进一步地，所述目标识别的具体方式为：对目标图像进行目标的特征检测与特征匹配，实现目标的识别。

进一步地，所述目标追踪的具体方式为：目标识别所得到的目标位置和目标切片作为输入，以目标切片确定目标特征模板，对跟踪器的目标位置和目标特征模板进行初始化；

在初始目标位置或上一时刻目标估计位置邻近的局部区域内，通过遍历或采样的方式提取候选目标，计算候选目标对应特征与目标特征模板之间的相似度，从而获取所述候选目标的权重，将所述候选目标的位置与初始目标位置或上一时刻目标估计位置加权融合估计得到目标估计位置，循环迭代完成对动态目标运动轨迹的跟踪。

进一步地，将每个时刻目标估计位置所对应的特征，以一定权重比例融合到目标特征模板中，从而更新目标特征模板。

进一步地，周期性在一个图像子区域当中进行目标的再识别，并再次对目标的特征进行初始化。

进一步地，所述控制系统包括环境采集装置；所述环境采集装置采集环境信息，将所述环境信息输出至所述水炮控制装置，所述水炮控制装置结合所述环境信息对射击进行调整。

进一步地，所述环境采集装置包括激光测距仪、风速风向传感器。

进一步地，所述图像采集装置包括摄像头和倒车影像采集卡。

进一步地，所述图像处理装置连接有显示屏，所述显示屏实时显示目标图像。

本发明的有益技术效果：该系统对目标进行自动识别和追踪，并控制水炮精准射击目标，能够广泛应用于火灾现场等要求快速、精准的场合。

附图说明

图1.本申请实施例1中水炮自动控制系统功能结构示意图；

图2.本申请实施例1中通信处理板整体功能结构示意图；

图3.本申请实施例1中图像处理板整体功能结构示意图；

图4.本申请实施例1中目标追踪算法流程示意图；

图5.本申请实施例1中特征协方差矩阵提取流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细描述。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。

相反，本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本发明有更好的了解，在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。

实施例1

水炮自动控制系统由两部分组成：车内设备和车外设备，可实现1000米内能观察到目标，在距离目标100米时能根据用户设定的图像去识别目标，当距离目标在水炮的射程范围内(0-90米)时可实现跟踪目标，并控制水炮准确射击目标。

车外设备把采集到的图像数据、传给车内的图像处理板卡处理，把采集到的风速风向数据和着火点距离数据传给车内的通信处理卡处理。车外设备由摄像头、风速风向传感器和激光测距仪组成，其中摄像头由以太网直接和车内的图像处理板卡相连，风速风向传感器通过RS485总线和车内的通信处理板相连，激光测距仪通过串口和车内的通信处理板相连。

车内的图像处理板卡是整个处理系统的核心，它处理整个系统的所有数据。车内设备主要有图像处理板卡，通信处理板和显示屏组成，其中图像处理板和通信处理板间通过RS232直接相连，通信处理板通过3路CAN总线分别和炮台主控、炮手柄和上装主控设备相连，显示屏是电阻式触摸屏，通过VGA或HDMI和图像处理板卡相连。倒车影像部分选用专用的视频采集卡，通过USB和图像处理板卡相连。总体结构图如图1所示。

通信处理板

通信处理板选用了STM32F103RCT6系列的控制器。该款控制器资源丰富，有众多不同功能的外设。它有2个CAN接口，5个UART，7个定时器，3个SPI等。

炮手柄和上装主控的CAN收发器选用的是TI的TCAN332，它是一款高速低压的CAN收发芯片，通信速度最高可到5Mbps，电压为3.0V-3.6V。炮台主控的CAN数据比较单一，因此可用SPI接口扩展出一路CAN，CAN部分选用的是MCP2515+TCAN332。

激光测距直接通过串口和控制器相接。通信处理板选用MAX232和图像处理板相连。

风速风向传感器选用的是以谷科技的YGC-FS三风杯风速风向仪，它是RS485接口，支持标准的Modbus协议，通信处理板的RS485收发器芯片选用3.3V的RS485收发芯片SP3070E。

通信处理板总体功能图如图2所示。

图像处理部分用来实现对图像的识别和追踪，是整个系统的核心。图像处理部分主要由摄像头、图像处理板卡(QS-PTE9)、显示屏和倒车影像采集卡(VCAP2860)组成。图像处理部分功能结构图如下图3所示。

摄像头采用专用的，具有定焦和电子放大功能。

倒车影像选用VCAP2860，它采用USB 2.0接口供电；视频A/D为10Bit，可以采集彩色或黑白图像；它可输入视频格式为标准PAL、NTSC制信号，其中NTSC：720X 480，PAL：720X576；亮度、对比度、饱和度和清晰度等软件可调；USB2.0时图像传输至内存的速度：NTSC制下60帧，PAL制下25帧；它支持软件压缩录像，兼容性广，支持标准微软DirectShow架构及支持流媒体采集。如：Amcap,RealPlayer,Windows Media Encoder,Flash Media LiveEncoder,VLC,ArKaos VJ会声会影等软件。

图像处理板卡选用QS-PTE9嵌入式视频图像处理平台，它的CPU用的是飞思卡尔的i.MX6Q，4核1.2G的处理器，内存为2G的DDR3，eMMC有8G；网口是千兆以太网口，可实现分辨率为640*480的RGB原始图像每秒传23帧；串口有4个，USB口有3个；功耗小于5W；可支持Linux开发和opencv2.4.8开发。

本系统采用基于粒子滤波视频目标跟踪器算法，算法流程如图4所示。

目标检测识别结果所得到的目标位置和目标切片作为输入，对跟踪器进行初始化。其中，目标位置用于确定候选目标提取的范围，而目标切片则用于对目标表观特征模板进行设定。在初始目标位置或上一时刻目标估计位置邻近的局部区域内，通过遍历或采样的方式提取候选目标，计算其对应特征与目标特征模板之间的相似度，从而获取相应权重，并融合估计得到目标估计位置，如此循环迭代完成对动态目标运动轨迹的跟踪。其中，将每个时刻目标估计位置所对应的特征，以一定权重比例融合到特征模板中，从而更新目标特征模板。

本算法的主要关键点在于：

(1)特征协方差描述

特征协方差矩阵是一个开放的特征融合框架，可以应用于不同的问题，选择相应适合的多个特征进行融合，形成一个整体描述子。通常可选择融合的特征与像素点之间具有对应关系，例如，色彩、梯度、各种滤波器响应等。而一些与区域对应的特征，则无法融合到特征协方差矩阵当中，即区域描述不能嵌套其他区域描述。下面以5维特征融合的特征协方差矩阵为例，进行讨论。

设区域R为W×H维灰度图，F_R是从R中提取的W×H×d维特征图

其中，φ(·)是特征提取的映射函数，具体提取的5维特征分别为：灰度、x和y方向的一阶梯度、x和y方向的二阶梯度。各项梯度可以由灰度图像R分别经[-1 0 1]、[-1 0 1]^T、[-1 2 -1]和[-1 2 -1]^T滤波得到。对于任意矩形区域R，可以用该区域对应的d×d维特征协方差矩阵表征

其中，f_l为第l个像素点所对应的d维特征向量，f_l∈F_R，l＝1,2,…,n，n＝W×H，μ为区域R的特征均值向量

而具体的特征协方差矩阵的提取流程，如图5所示。其中，C_l＝(f_l-μ)(f_l-μ)^T，C_m的定义与此类似。

(2)粒子滤波

粒子滤波，也称作序贯蒙特卡罗(SMC)，是贝叶斯递推框架下最具代表性的非线性滤波实现方法。粒子滤波，用一组通过随机采样得到的带有权重的粒子(样本点)来拟合目标在状态空间分布的后验概率密度函数p(x₀:_k|z₁:_k)，其中，每个粒子代表一个候选目标，那么p(x₀:_k|z₁:_k)可以近似为

其中，δ(·)为Dirac delta函数。

粒子的权重，根据重要性采样原理得到。由于p(x₀:_k|z₁:_k)是要最终拟合的后验概率密度函数，因此无法直接从其中采样得到粒子。通常为了便于处理，选择先验概率密度函数作为重要性密度函数，即粒子可以由采样得到。相应地，粒子的权重可以写为

其中，为似然概率密度函数，可通过计算特征相似度得到。

进一步，状态后验概率密度函数p(x_k|z₁:_k)可以由p(x₀:_k|z₁:_k)对x_0:k-1积分得到近似解，

当粒子数N→∞，上式趋近真实的状态后验概率密度函数p(x_k|z₁:_k)。

在得到后验概率密度(更新)粒子集p(x_k|z_1:k)后，通常有以下两种状态估计方法：

(a)期望后验(EAP)估计(满足均方误差最小化)，将所有粒子的加权平均值作为状态估计值

(b)最大后验(MAP)估计(满足极小缺口误差函数最小化)，选择似然最大的粒子作为状态估计值

一般EAP得到的状态估计序列在状态空间的演变较为平稳，而MAP得到的状态估计序列在状态空间的演变则较为杂乱。所以，为了估计值的稳定性，通常采用EAP估计目标状态。

(3)特征模板更新策略

特征模板的更新策略包括：

a)将当前时刻目标状态估计值所对应的特征以一定权重比例融合到特征模板中，从而更新模板；

一般情况下，由于目标检测或状态估计存在一定的误差，且这一误差会融合到特征模板中，因而导致模板偏移现象(即偏离真实目标特征)，难以避免。为了解决该问题，对于需长期稳定跟踪的目标，每隔一定时间在一个图像子区域当中进行目标的再检测或再识别，并再次对目标的表观特征进行初始化，使得模板的误差回归到合理且可接受的范围内。

Claims (9)

1.一种水炮自动控制系统，其特征在于，所述控制系统包括图像采集装置、图像处理装置和水炮控制装置；

所述图像采集装置采集目标图像传输至所述图像处理装置；

所述图像处理装置对所述目标图像进行处理实现目标识别和目标追踪，所述图像处理装置将追踪到的目标位置传输至所述水炮控制装置；

所述水炮控制装置根据目标位置控制炮台主控和炮手柄射击目标。

2.如权利要求1所述控制系统，其特征在于，所述目标识别的具体方式为：对目标图像进行目标的特征检测与特征匹配，实现目标的识别。

3.如权利要求1所述控制系统，其特征在于，所述目标追踪的具体方式为：目标识别所得到的目标位置和目标切片作为输入，以目标切片确定目标特征模板，对跟踪器的目标位置和目标特征模板进行初始化；

在初始目标位置或上一时刻目标估计位置邻近的局部区域内，通过遍历或采样的方式提取候选目标，计算候选目标对应特征与目标特征模板之间的相似度，从而获取所述候选目标的权重，将所述候选目标的位置与初始目标位置或上一时刻目标估计位置加权融合估计得到目标估计位置，循环迭代完成对动态目标运动轨迹的跟踪。

4.如权利要求3所述控制系统，其特征在于，

将每个时刻目标估计位置所对应的特征，以一定权重比例融合到目标特征模板中，从而更新目标特征模板。

5.如权利要求3所述控制系统，其特征在于，周期性在一个图像子区域当中进行目标的再识别，并再次对目标的特征进行初始化。

6.如权利要求1所述控制系统，其特征在于，所述控制系统包括环境采集装置；所述环境采集装置采集环境信息，将所述环境信息输出至所述水炮控制装置，所述水炮控制装置结合所述环境信息对射击进行调整。

7.如权利要求6所述控制系统，其特征在于，所述环境采集装置包括激光测距仪、风速风向传感器。

8.如权利要求1-7任一所述控制系统，其特征在于，所述图像采集装置包括摄像头和倒车影像采集卡。

9.如权利要求1-7任一所述控制系统，其特征在于，所述图像处理装置连接有显示屏，所述显示屏实时显示目标图像。