CN113378782A

CN113378782A - 一种车载火灾识别与自动追踪方法

Info

Publication number: CN113378782A
Application number: CN202110743891.XA
Authority: CN
Inventors: 王鑫; 吴宪; 李树超; 王玉领; 鲁志宝
Original assignee: Tianjin Fire Research Institute of MEM
Current assignee: Tianjin Fire Research Institute of MEM
Priority date: 2021-07-01
Filing date: 2021-07-01
Publication date: 2021-09-10

Abstract

本发明提供了一种车载火灾识别与自动追踪方法，包括以下步骤：移动工具上安装车载云台摄像采集设备；通过车载云台摄像采集设备采集火灾现场画面，存储为视频帧图像；采用无锚框目标检测网络对视频帧图像进行分析，提取图像特征，识别火因目标的位置；根据火因目标的位置，向云台监控系统发送控制指令，控制车载云台摄像采集设备的偏移量，使实时采集的火灾现场画面的视野中心瞄准火因目标。本发明通过火灾目标识别和自动追踪算法，实时控制调整云台姿态实现对火因目标的自动追踪，确保目标始终处于视野中心范围内，对于采集火灾现场视频数据具有重要意义。

Description

一种车载火灾识别与自动追踪方法

技术领域

本发明涉及人工智能技术领域，具体涉及一种车载火灾识别与自动追踪方法。

背景技术

随着人工智能技术的迅猛发展，智能视频监控系统也得到了广泛的应用。目标检测和追踪技术是计算机视觉的重要组成部分。基于图像识别的运动目标检测和追踪方法是在不需要人为干预的情况下，通过在图像序列中对预定目标进行自动识别和定位，并控制摄像采集设备进行三维运动，从而始终使运动目标保持在摄像机视野中心位置。作为智能化监控系统的发展方向之一，云台监控系统是指独立自主地对监控录像进行分析判断，发现异常情况后自动定位异常情况所发生的地点，并向云台控制系统发送指令控制摄像机对异常目标进行识别和跟踪，从而拍摄异常目标的细节信息。云台监控系统同时具备数字化、智能化、网络化等多种优点。云台监控系统需要多门科学知识，如人工智能、模式识别、计算机网络、自动化控制等，是一个值得研究的课题。火灾现场视频数据对火灾事后侦查，获取火因线索和证据具有重要作用。火灾救援指挥车辆可以通过搭载摄像采集设备记录火灾现场视频数据，但是车辆行驶过程中需要人为调整摄像采集设备以获取更多的现场视频数据，不利于实时对火因目标进行自动追踪识别定位。

因此，如何提供一种能够在火灾救援指挥工具行驶过程中自动追踪并记录火因目标的方法是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种车载火灾识别与自动追踪方法，实现了火灾现场视频影像的自动采集和对火灾现场中火因目标的自动追踪。

为了实现上述目的，本发明采用如下技术方案：

一种车载火灾识别与自动追踪方法，包括以下步骤：

步骤一，移动工具上安装车载云台摄像采集设备；

步骤二，通过车载云台摄像采集设备采集火灾现场画面，存储为视频帧图像；

步骤三，采用无锚框目标检测网络对所述视频帧图像进行分析，提取图像特征，识别火因目标的位置；

步骤四，根据火因目标的位置，向云台监控系统发送控制指令，控制所述所述车载云台摄像采集设备的偏移量，使实时采集的火灾现场画面的视野中心瞄准所述火因目标。

优选的，所述无锚框目标检测网络包括轻量化主干网络、特征金字塔网络和检测头网络；所述步骤三包括如下步骤：

采用轻量化主干网络提取火灾图像特征；

特征金字塔网络获取不同下采样尺度的特征图，并采用自上而下融合的方式，将所述火灾图像特征中高层的强语义特征与低层的高分辨率信息相融合，得到融合后的不同分辨率的特征图；

检测头网络用于对不同分辨率的特征图进行逐像素回归预测，得到特征点，即火因目标的位置信息。

优选的，所述步骤四包括如下步骤：

如果当前视频图像存在火因目标，计算火因目标在水平和垂直方向相对所述车载云台摄像采集设备视野中心的偏移量；

根据偏移量向云台发送相应指令，通过串口实现对所述车载云台摄像采集设备的旋转控制，使目标保持在视野中心范围内。

优选的，所述步骤四还包括：如果当前视频图像不存在火因目标，所述车载云台摄像采集设备保持往复旋转动作，在移动工具所处环境中自动寻找目标，直到实时视频图像中出现火因目标。

经由上述的技术方案可知，与现有技术相比，本发明的有益效果包括：

本发明可以通过在火灾救援指挥车辆搭载摄像采集装备采集火灾现场数据。车载摄像采集装备通过火灾目标识别和自动追踪算法，实时捕获定位监控范围内出现的火因目标，在车辆运动过程中控制调整云台姿态实现对火因目标的自动追踪，确保目标始终处于视野中心范围内。本发明对于采集火灾现场视频数据具有重要意义。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图；

图1为本发明实施例提供的车载火灾识别与自动追踪方法的流程图；

图2为本发明实施例提供的火因目标检测网络的总体架构。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1，本实施例公开的一种车载火灾识别与自动追踪方法，具体实施步骤如下：

S1，移动工具上安装车载云台摄像采集设备；

S2，通过车载云台摄像采集设备采集火灾现场画面，存储为视频帧图像；

S3，采用无锚框目标检测网络对视频帧图像进行分析，提取图像特征，识别火因目标的位置；

S4，根据火因目标的位置，向云台监控系统发送控制指令，控制车载云台摄像采集设备的偏移量，使实时采集的火灾现场画面的视野中心瞄准火因目标。

在一个具体实施例中，S1中的移动工具为应用于火灾现场具有云台安装结构的车辆等。

在一个具体实施例中，S2具体执行步骤为：从车载云台摄像采集设备采集火灾现场高清画面，采用主码流的形式读取视频信息流到计算机，并将信息流转为视频帧图像的格式，每帧图像都调整到相同尺寸，供后续分析识别

在一个具体实施例中，无锚框目标检测网络包括轻量化主干网络、特征金字塔网络和检测头网络；步骤三包括如下步骤：

采用轻量化主干网络提取火灾图像特征；

特征金字塔网络获取不同下采样尺度的特征图，并采用自上而下融合的方式，将火灾图像特征中高层的强语义特征与低层的高分辨率信息相融合，得到融合后的不同分辨率的特征图；

本实施例中，采用基于深度学习的目标检测算法对当前视频图像进行分析，提取图像特征，预测待检测火因目标的位置和大小。算法具体实现如下：

火灾识别采用基于无锚框的目标检测算法，因为通过避免预设锚框可以减少网络模型的参数量。此外，固定尺寸的锚框不利于提高网络模型的泛化性能，无锚框目标检测网络更适合图像特征丰富多变的火灾图像。

轻量化网络GhostNet作为主干网络提取火灾图像特征。

特征金字塔网络(FPN)部分采用自上而下和水平连接的金字塔结构，有效地将高层的强语义特征与低层的高分辨率信息相融合。参见图2，C3、C4和C5分别表示主干网络三种下采样尺度的特征图。P3、P4、P5、P6和P7表示特征金字塔部分。H×W是特征图的高度和宽度。特征金字塔网络用于提取和融合不同分辨率的特征图。

检测头网络预测特征图上每个位置的分类概率、边界框回归和中心度得分。检测头网络用于对不同分辨率的特征图进行逐像素回归预测。l，r，t，b是特征图回归预测得到的位置信息，分别表示特征点到左右上下四个边界的距离。目标的坐标和大小的计算过程如下：

x＝(l+r)/2

y＝(t+b)/2

w＝l+r

h＝t+b

其中，x是横坐标，y是纵坐标，w是预测边界框的宽度，h是预测边界框的高。

该目标检测网络的损失函数定义如下：

其中N_pos是正样本的数量，L_cls是分类损失，p_x,y是分类预测，

是分类标签；

是指标函数，L_reg是回归损失，t_x,y是回归预测，

是回归标签；L_ctr是中心度损失，c_x,y是中心度预测，

是中心度标签。

在一个具体实施例中，步骤四包括如下步骤：

如果当前视频图像存在火因目标，计算火因目标在水平和垂直方向相对车载云台摄像采集设备视野中心的偏移量；

根据偏移量向云台发送相应指令，通过串口实现对车载云台摄像采集设备的旋转控制，使目标保持在视野中心范围内。

本实施例中，根据S2预测的火因目标位置，向云台监控系统发送相应控制指令。如果当前视频图像存在待检测目标，根据上述目标检测网络计算目标在水平和垂直方向相对视野中心的偏移量。根据偏移量向云台发送相应指令，通过RS485串口实现对云台镜头的控制，使目标保持在视野中心范围内。

在一个具体实施例中，步骤四还包括：如果当前视频图像不存在火因目标，车载云台摄像采集设备保持往复旋转动作，在移动工具所处环境中自动寻找目标，直到实时视频图像中出现火因目标。

本实施例中，如果实时视频图像没有发现目标，控制云台垂直方向调整为90度，水平方向保持旋转，自动寻找目标。

下面给出本发明方法的具体实施算例：

1)数据集和网络模型训练：由于没有使用边界框标注的公共火灾探测数据集来帮助精确的火灾定位，算例中参考MS COCO数据集格式创建一个具有丰富场景的火灾探测数据集。所述数据集中共有近14000幅图像。为了防止过拟合，在训练阶段对图像进行随机翻转和裁剪。设置单个GPU的计算图像数量为8个，采用的GPU个数为1，批量大小为8。设置训练轮次epoch为12。在12个轮次中，设置每1个轮次进行一个验证集的测试，每6个轮次存储一次权重文件。在训练的过程中，使用SGD随机梯度下降法优化算法，初始学习率设置为0.001，动量因子设置为0.9，权重衰减因子为0.0005。在后期为了向更小损失值降低，在第8和第11个训练周期后，学习率分别降低至0.0001和0.00001。

2)针对火灾图像特点改进现有目标检测网络：网络架构采用无锚框设计，无锚框设计可以避免产生过多的超参数，提高目标检测网络的对无固定形态火焰的泛化性能。特征提取网络采用GhostNet网络，它通过Ghost模块减少网络达到相同性能所需的参数量，具有便于硬件部署和检测速度快的优势。此外，通道注意力和空间注意力模块应用于主干网络的残差层，从而更有效地提取火焰通道和空间信息的特征。特征金字塔网络用于提取和融合不同分辨率的特征图。检测头网络用于对不同分辨率的特征图进行逐像素回归预测。在非极大抑制后处理之后，得到目标的坐标和大小。

3)视频图像采集和图像预处理：以主码流的形式从车载高清云台上读取视频信息流，将视频信息流解码为YUV格式，再转为RGB视频帧图像，并进行归一化处理，统一处理成736*512分辨率大小，从而保证图像的清晰度可以满足检测需求，也有利于提高计算效率。

4)检测火因目标：将实时视频图像输入训练好的目标检测网络中，输出高于预设置信度的预测结果，即目标位置和大小。

5)云台控制：采用RS232-RS485的接口转换器将计算机与云台相连接，采用pelco-d协议通过RS485串口实现对云台镜头的控制。云台可水平360度，垂直180度转动。若上述检测网络无输出目标，则控制云台垂直方向恢复到90度，保持水平方向旋转，寻找火因目标。若存在待检测目标，则根据上述检测网络的输出计算目标在水平和垂直方向相对视野中心偏移量。向云台发送相应运动指令以及停止指令，根据偏移量计算发送运动指令和停止指令的间隔时间，将云台调整到合适位置。

以上对本发明所提供的车载火灾识别与自动追踪方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims

1.一种车载火灾识别与自动追踪方法，其特征在于，包括以下步骤：

步骤一，移动工具上安装车载云台摄像采集设备；

2.根据权利要求1所述的车载火灾识别与自动追踪方法，其特征在于，所述无锚框目标检测网络包括轻量化主干网络、特征金字塔网络和检测头网络；所述步骤三包括如下步骤：

采用轻量化主干网络提取火灾图像特征；

3.根据权利要求1所述的车载火灾识别与自动追踪方法，其特征在于，所述步骤四包括如下步骤：

4.根据权利要求1所述的车载火灾识别与自动追踪方法，其特征在于，所述步骤四还包括：如果当前视频图像不存在火因目标，所述车载云台摄像采集设备保持往复旋转动作，在移动工具所处环境中自动寻找目标，直到实时视频图像中出现火因目标。