CN112699858B - 无人平台烟尘雾感知方法、系统、计算机设备及存储介质 - Google Patents

无人平台烟尘雾感知方法、系统、计算机设备及存储介质 Download PDF

Info

Publication number
CN112699858B
CN112699858B CN202110310569.8A CN202110310569A CN112699858B CN 112699858 B CN112699858 B CN 112699858B CN 202110310569 A CN202110310569 A CN 202110310569A CN 112699858 B CN112699858 B CN 112699858B
Authority
CN
China
Prior art keywords
smoke
smoke fog
activation
fog
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110310569.8A
Other languages
English (en)
Other versions
CN112699858A (zh
Inventor
徐昕
孙毅
呼晓畅
方强
曾宇骏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202110310569.8A priority Critical patent/CN112699858B/zh
Publication of CN112699858A publication Critical patent/CN112699858A/zh
Application granted granted Critical
Publication of CN112699858B publication Critical patent/CN112699858B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种无人平台烟尘雾感知方法、系统、计算机设备及存储介质。所述方法包括:对烟尘雾图像进行稀疏标注构建训练数据集,训练烟尘雾识别网络,根据识别结果生成特征激活图像,计算神经元对于烟尘雾和背景特征的激活分布,根据激活分布对训练数据集进行补充标注。定义包括烟尘雾分类损失项和特征激活损失项的损失函数,迭代更新训练数据集对神经网络进行,由无人平台基于训练好的烟尘雾感知模型进行烟尘雾感知。本申请基于分类网络架构,根据神经网络和烟尘雾图像中的背景或烟尘雾特征的响应关系来对样本进行像素标注,对神经网络训练过程进行监督,降低了模型复杂度和标注成本,增强了模型的快速部署的能力。

Description

无人平台烟尘雾感知方法、系统、计算机设备及存储介质
技术领域
本申请涉及无人平台烟尘雾感知技术领域,特别是涉及一种无人平台烟尘雾感知方法、系统、计算机设备及存储介质。
背景技术
无人平台配置的传感器主要包括可见光相机、毫米波雷达和激光雷达,激光雷达由于具备更精确的测量能力和更强的夜间适应能力,因此成为了当前大部分无人平台感知系统的主传感器。但是由于激光雷达发射的激光波长较短,无法穿透环境中的细小颗粒物,因此极易受到烟尘雾的干扰,造成环境感知系统失效,最终影响地面无人平台在烟尘雾工况下正常运行。因此保证无人平台在烟尘雾环境中的稳定运行就需要解决烟尘雾的识别和定位问题,以便为后续的感知规划提供决策依据。
目前基于图像的烟尘雾感知方案目前主要有烟尘雾识别、烟尘雾分割和烟尘雾目标检测三种,由数据驱动学习如何提取特征与如何拟合目标函数。其中,烟尘雾识别技术是基于分类网络架构,只能判定图片中是否存在烟尘雾,而不能定位出烟尘雾的位置。烟尘雾分割技术则基于语义分割网络进行设计,需要对图片进行逐像素的标注,增加了标注成本,同时模型的计算开销也较大。烟尘雾目标检测技术主要基于目标检测网络改进而来,例如YOLO系列和SSD系列,其结构比识别网络更加复杂,计算量和训练样本的标注负担比较大。上述方案均过度依赖于特征设计的质量,应对复杂环境的能力较差,且所设计的特征因不能兼顾所有情形而常常失效。
发明内容
基于此,有必要针对上述技术问题,提供一种具备烟尘雾定位能力且能够减少样本收集成本和模型运算成本的无人平台烟尘雾感知方法、系统、计算机设备及存储介质。
一种无人平台烟尘雾感知方法,所述方法包括:
对预设的烟尘雾图像中的特征像素进行稀疏标注,构建训练数据集。
将训练数据集输入预先构建的神经网络进行烟尘雾识别,根据烟尘雾识别结果生成特征激活图像。
根据特征激活图像和对应的烟尘雾图像,得到神经网络的神经元对于烟尘雾特征和背景特征的激活分布,根据激活分布对烟尘雾图像中的特征像素进行补充标注,得到更新的训练数据集。
根据预设的损失函数,使用更新的训练数据集对神经网络进行迭代训练,得到训练好的烟尘雾感知模型。损失函数包括烟尘雾分类损失项和特征激活损失项。
由无人平台基于训练好的烟尘雾感知模型进行烟尘雾感知。
其中一个实施例中,根据特征激活图像和对应的烟尘雾图像,得到神经网络的神经元对于烟尘雾特征和背景特征的激活分布的步骤包括:
在预设的训练次数中,统计神经网络最后一层的神经元的激活分布次数。
根据激活特征图像和烟尘雾图像的对应关系,得到各个神经元对背景特征和烟尘雾特征的响应频率。
其中一个实施例中,根据激活分布对烟尘雾图像中的特征像素进行补充标注,得到更新的训练数据集的步骤包括:
获取对背景特征的响应次数最多的K个神经元,将烟尘雾图像中对K个神经元有正响应的像素点标注为背景像素,得到更新的训练数据集。
其中一个实施例中,对预设的烟尘雾图像中的特征像素进行稀疏标注的方式包括:
将烟尘雾图像中的背景像素预设数量的标签值设置为1,预设数量的烟尘雾特征像素的标签值设置为2。
其中一个实施例中,损失函数的定义方式包括:
Figure 322428DEST_PATH_IMAGE001
(4)
Figure 283430DEST_PATH_IMAGE002
为烟尘雾分类损失项,定义为:
Figure 197160DEST_PATH_IMAGE003
(5)
Figure 3442DEST_PATH_IMAGE004
(6)
其中,N为训练数据集中的样本数量,
Figure 381334DEST_PATH_IMAGE005
为第i个样本,
Figure 123025DEST_PATH_IMAGE007
为第i个样本的类别标签,
Figure 648684DEST_PATH_IMAGE008
为神经网络最后一层的全连接权重值。
Figure 134023DEST_PATH_IMAGE009
为网络根据样本
Figure 163159DEST_PATH_IMAGE010
获得的特征图,GAP代表全局均值池化
Figure 669227DEST_PATH_IMAGE012
为特征激活损失项,定义为:
Figure 790504DEST_PATH_IMAGE013
其中,
Figure 204168DEST_PATH_IMAGE014
,表示对由特征图F与全连接权重值卷积并进行归一化后得到的烟尘雾区域激活图,S表示烟尘雾图像中像素的标签值。
其中一个实施例中,神经网络的构建方式包括:
以ResNet18为骨干网络,对骨干网络输出的特征图进行全局均值池化(GAP)。
将全局均值池化结果输入全连接层,经过Softmax,得到烟尘雾识别输出。
其中一个实施例中,根据烟尘雾识别结果生成特征激活图像的方式包括:
根据烟尘雾识别结果,使用神经网络可解释性技术生成特征激活图像,神经网络可解释技术包括CAM技术和Grad-CAM技术。
一种无人平台烟尘雾感知系统,包括:
训练数据集构建模块,用于对预设的烟尘雾图像中的特征像素进行稀疏标注,构建训练数据集。
特征激活图像生成模块,用于将训练数据集输入预先构建的神经网络进行烟尘雾识别,根据烟尘雾识别结果生成特征激活图像。
训练监督模块,用于根据特征激活图像和对应的烟尘雾图像,得到神经网络的神经元对于烟尘雾特征和背景特征的激活分布,根据激活分布对烟尘雾图像中的特征像素进行补充标注,得到更新的训练数据集。
模型训练模块,根据预设的损失函数,使用更新的训练数据集对神经网络进行迭代训练,得到训练好的烟尘雾感知模型。损失函数包括烟尘雾分类损失项和特征激活损失项。
烟尘雾感知模块,用于由无人平台基于训练好的烟尘雾感知模型进行烟尘雾感知。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
对预设的烟尘雾图像中的特征像素进行稀疏标注,构建训练数据集。
将训练数据集输入预先构建的神经网络进行烟尘雾识别,根据烟尘雾识别结果生成特征激活图像。
根据特征激活图像和对应的烟尘雾图像,得到神经网络的神经元对于烟尘雾特征和背景特征的激活分布,根据激活分布对烟尘雾图像中的特征像素进行补充标注,得到更新的训练数据集。
根据预设的损失函数,使用更新的训练数据集对神经网络进行迭代训练,得到训练好的烟尘雾感知模型。损失函数包括烟尘雾分类损失项和特征激活损失项。
由无人平台基于训练好的烟尘雾感知模型进行烟尘雾感知。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
对预设的烟尘雾图像中的特征像素进行稀疏标注,构建训练数据集。
将训练数据集输入预先构建的神经网络进行烟尘雾识别,根据烟尘雾识别结果生成特征激活图像。
根据特征激活图像和对应的烟尘雾图像,得到神经网络的神经元对于烟尘雾特征和背景特征的激活分布,根据激活分布对烟尘雾图像中的特征像素进行补充标注,得到更新的训练数据集。
根据预设的损失函数,使用更新的训练数据集对神经网络进行迭代训练,得到训练好的烟尘雾感知模型。损失函数包括烟尘雾分类损失项和特征激活损失项。
由无人平台基于训练好的烟尘雾感知模型进行烟尘雾感知。
与现有技术相比,上述一种无人平台烟尘雾感知方法、系统、计算机设备及存储介质,对烟尘雾图像中的特征像素进行稀疏标注,构建训练数据集。将训练数据集输入预先构建的神经网络进行烟尘雾识别,根据烟尘雾识别结果生成特征激活图像。根据特征激活图像和对应的烟尘雾图像,得到神经网络的神经元对于烟尘雾特征和背景特征的激活分布,根据激活分布对烟尘雾图像中的特征像素进行补充标注,得到更新的训练数据集。定义包括烟尘雾分类损失项和特征激活损失项的损失函数,根据损失函数使用更新的训练数据集对神经网络进行迭代训练,得到训练好的烟尘雾感知模型,由无人平台基于训练好的烟尘雾感知模型进行烟尘雾感知。本申请基于分类网络架构,根据神经网络和烟尘雾图像中的背景或烟尘雾特征的响应关系来对样本进行像素标注,对神经网络训练过程进行监督,降低了模型复杂度和标注成本,增强了模型的快速部署的能力。
附图说明
图1为一个实施例中无人平台烟尘雾感知方法的步骤图;
图2为一个实施例中无人平台烟尘雾感知方法的整体技术方案示意图;
图3为一个实施例中烟尘雾图像的稀疏标注方式示意图;
图4为另一个实施例基于CAM技术实现的烟尘雾区域定位效果示意图;
图5为一个实施例中对神经网络最后一层中神经元的激活程度计算方式示意图;
图6为一个实施例中的网络-样本反馈迭代训练框架示意图;
图7为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
在一个实施例中,如图1所示,提供了一种无人平台烟尘雾感知方法,包括以下步骤:
步骤102,对预设的烟尘雾图像中的特征像素进行稀疏标注,构建训练数据集。
本申请基于烟尘雾识别方案实现,使用包括正样本(包括烟尘雾区域的图像)和负样本(不包括烟尘雾区域的背景图像),生成训练数据集。为了约束和监督神经网络的学习过程,在烟尘雾图像中引入了稀疏标签,即在烟尘雾图像中选取少量的背景像素和烟尘雾的像素进行标注。
步骤104,将训练数据集输入预先构建的神经网络进行烟尘雾识别,根据烟尘雾识别结果生成特征激活图像。
将训练数据集输入预先构建的神经网络,该神经网络用于对烟尘雾进行识别,并输出各个像素的分类结果。烟尘雾识别网络主要是对图像中是否存在烟尘雾作判断,定义网络的输入为
Figure 291073DEST_PATH_IMAGE015
,网络模型为
Figure 905725DEST_PATH_IMAGE016
,其输出结果为:
Figure 874818DEST_PATH_IMAGE017
(1)
其中,0代表的无烟尘雾,1代表存在烟尘雾,即只能判定图片中是否有烟尘雾,而不能定位出烟尘雾的位置。对于烟尘雾识别网络的输出,可以使用网络可解释性技术对图像中的烟尘雾进行定位。具体地,分类网络通过训练能够学习到每一类样本中的典型特征,这些典型特征将以网络权重的形式存储下来。分类神经网络的输出层中的每一个节点权重都代表某一类别的抽象特征。因此如果将网络的特征图与其节点权重进行卷积,当特征图某区域包含该种特征时,该区域的响应则会比较强(有较大的值),由此凸显目标区域。基于这一原理,可以对烟尘雾网络的输出图像中的烟尘雾区域进行定位。
步骤106,根据特征激活图像和对应的烟尘雾图像,得到神经网络的神经元对于烟尘雾特征和背景特征的激活分布,根据激活分布对烟尘雾图像中的特征像素进行补充标注,得到更新的训练数据集。
具体地,神经网络输出的特征图经过全局均值池化(GAP: global averagepooling)之后,可得到一个多维向量,该向量的每一个维度的值代表的对应的高层特征被激活的程度。而神经网络中的每一个神经元代表的是一类特征,比如有些神经元只会在不存在烟尘雾的时候被激活。根据这一特点,可以通过统计各个神经元面对不同样本的激活分布来筛选代表烟尘雾特征和代表背景特征的神经元。
得到烟尘雾特征和/或背景特征对应的神经元后,获取该神经元在输出图像中对应的像素点,将这些像素点作为对应的特征点,对已经有稀疏标注的训练数据集进行细化和补充标注。例如,对于响应烟尘雾特征的神经元,将该神经元在输出图像中对应的点标注为烟尘雾特征像素;对于响应背景特征的神经元,其实施方式类似。
步骤108,根据预设的损失函数,使用更新的训练数据集对神经网络进行迭代训练,得到训练好的烟尘雾感知模型。损失函数包括烟尘雾分类损失项和特征激活损失项。
本实施例在对神经网络进行训练并得到烟尘雾感知模型的过程中,需要考虑两个方面的因素,一个是神经网络对烟尘雾特征的分类性能,另一个是相对于训练数据集中已进行标注的像素点的分类偏差。为此定义了同时考虑上述两方面因素的损失函数,其中烟尘雾分类损失项用于描述烟尘雾分类网络的分类性能,特征激活损失项用于描述分类结果中对于已标注像素的分类偏差。特征激活损失项的定义方式包括:使用烟尘雾特征激活图和训练数据中标注的烟尘雾特征像素进行比对,根据比对结果定义激活当前烟尘雾分类网络的特征激活损失。
步骤110,由无人平台基于训练好的烟尘雾感知模型进行烟尘雾感知。
在损失函数的值不满足预设要求时,对训练数据集进行补充标注,使用补充标注后的训练数据集再次对神经网络进行训练。这一过程迭代进行,直到损失函数的值满足预设值,得到训练好的烟尘雾感知模型。无人平台可以基于这一模型处理其获取到的图像数据,对图像中的烟尘雾进行定位。
本实施例基于分类网络架构,根据神经网络和烟尘雾图像中的背景或烟尘雾特征的响应关系来对训练数据集中的训练样本图像进行像素标注,对神经网络训练过程进行监督,降低了模型复杂度和标注成本,增强了模型的快速部署的能力。
其中一个实施例中,提供了一种无人平台烟尘雾感知方法。本实施例的技术方案如图2所示,基于ResNet18为骨干网络构建烟雾识别网络,对网络输出的特征图
Figure 29855DEST_PATH_IMAGE018
进行全局均值池化,然后经过一层全连接层和Softmax计算得到图片属于各个类别的概率。所述方法包括以下步骤:
步骤202,对预设的烟尘雾图像中的特征像素进行稀疏标注,将烟尘雾图像中预设数量的背景像素的标签值设置为1,预设数量的烟尘雾特征像素的标签值设置为2,构建训练数据集。
具体地,根据预设数量对包括烟尘雾区域的图像进行稀疏标注。稀疏标注是指这一预设数量相对于图像像素总数量来说是很少的,如图3所示,其中黑色十字为烟尘雾特征像素点,白色十字为背景特征像素点。基于稀疏标注后的图像构建一个包括N个样本的训练数据集,类别标签为y(有烟尘雾y=1,无烟尘雾y=0),输入样本为x,概率
Figure 174529DEST_PATH_IMAGE019
为网络预测的输入无/有烟的概率,定义网络最后一层的全连接权重为
Figure 819137DEST_PATH_IMAGE020
,C=32。
步骤204,将训练数据集输入神经网络进行烟尘雾识别,根据烟尘雾识别结果生成特征激活图像。
具体地,根据烟尘雾识别结果,使用神经网络可解释性技术生成特征激活图像,神经网络可解释技术包括CAM技术(类别激活图)和Grad-CAM(梯度类别激活图)技术。以使用CAM为例,基于式(2)和式(3)分别计算背景特征激活图
Figure 478788DEST_PATH_IMAGE021
和烟尘雾特征激活图
Figure 109621DEST_PATH_IMAGE022
Figure 967856DEST_PATH_IMAGE023
表示的是全连接计算(内积):
Figure 986627DEST_PATH_IMAGE024
(2)
Figure 304214DEST_PATH_IMAGE025
(3)
基于CAM实现的烟尘雾定位结果如图4所示,其中图4a为输入的烟尘雾图像,图4b为基于CAM实现的烟尘雾定位结果,可以清楚的看到图4b中被高亮的区域为烟雾所处区域。相比于基于分割和检测的方法,基于CAM定位烟尘雾的方法其网络结构更简单、对于标注的要求更低。
步骤206,根据特征激活图像和对应的烟尘雾图像,得到神经网络的神经元对于烟尘雾特征和背景特征的激活分布,根据激活分布对烟尘雾图像中的特征像素进行补充标注,得到更新的训练数据集。
如图5所示,网络输出的特征图F经过GAP之后,可得到一个32维的向量,该向量的每一个维度的值代表的是这32个高层特征被激活的程度。网络中的每一个神经元代表的是一类特征。比如有些神经元只会在不存在烟雾的时候被激活,因此我们可以通过统计各个神经元面对不同样本的激活分布来筛选代表烟尘雾特征和代表背景的神经元,神经元激活分布D的统计方式如下公式所示:
Figure 863371DEST_PATH_IMAGE026
(4)
步骤208,在预设的训练次数中,统计神经网络最后一层的神经元的激活分布次数。根据激活特征图像和烟尘雾图像的对应关系,得到各个神经元对背景特征和烟尘雾特征的响应频率。获取对背景特征的响应次数最多的K个神经元,将烟尘雾图像中对K个神经元有正响应的像素点标注为背景像素,得到更新的训练数据集。
本实施例中,在使用训练数据集进行完一轮训练之后,对背景特征像素点进行补充标注。具体地,统计32个特征在背景图中的响应频率,提取出对背景响应最强烈(即响应次数最多)的K个神经元(本实施例中取K=10),将这个K个神经元作为背景标注依据。具体而言,是将图像中对这10个神经元有正响应的区域(像素)标注为背景,将这些标注补充到已有的稀疏标签中,扩大背景标注的比例,得到下一轮训练的训练数据集,以加强在网络迭代训练过程中的监督。
步骤210,根据预设的损失函数,使用更新的训练数据集对神经网络进行迭代训练,得到训练好的烟尘雾感知模型。损失函数包括烟尘雾分类损失项和特征激活损失项。
本实施例定义的损失函数为:
Figure 717058DEST_PATH_IMAGE027
(5)
Figure 437889DEST_PATH_IMAGE028
为神经网络的烟尘雾分类损失项,定义为:
Figure 72133DEST_PATH_IMAGE029
(6)
Figure 310347DEST_PATH_IMAGE030
(7)
其中,N为训练数据集中的样本数量,
Figure 143174DEST_PATH_IMAGE031
为第i个样本,
Figure 238169DEST_PATH_IMAGE033
为第i个样本的类别标签,
Figure 31812DEST_PATH_IMAGE034
为神经网络最后一层的全连接权重值。
Figure 198352DEST_PATH_IMAGE035
为特征激活损失项,定义为:
Figure 994007DEST_PATH_IMAGE036
其中,
Figure 525483DEST_PATH_IMAGE037
,表示对由特征图F与全连接权重值卷积并进行归一化后得到的烟尘雾区域激活图,S表示烟尘雾图像中像素的标签值。定义特征F与权重进行内积计算的结果大于0为激活,否则属于未激活。
Figure 931056DEST_PATH_IMAGE038
仅对烟尘雾特征激活图
Figure 838969DEST_PATH_IMAGE039
进行损失计算,标记为2的区域必须被激活,标记为1的区域不能被激活,其他未标记的区域不做计算。
步骤212,由无人平台基于训练好的烟尘雾感知模型进行烟尘雾感知。
本实施例基于神经网络可解释性和半监督训练方式设计了如图6所示的网络-样本反馈迭代训练框架,通过迭代训练自动的增强网络的训练的监督力度。该训练框架共分为3个阶段,三个阶段首尾相应构成一个迭代循环,最后根据损失函数的值得到训练好的烟尘雾感知模型。第一阶段训练分类任务和计算CAM图;第二阶段统计无烟尘雾样本的神经元响应分布与有烟尘雾样本的神经元响应分布,借此分别代表背景和烟尘雾的神经元,并利用相应的代表性神经元标记图片中的像素类别,形成伪标签;第三阶段为微调阶段,保持网络的分类精度的同时,利用像素伪标注训练类别激活图(CAM)。三个阶段迭代循环,直到收敛。本实施例提供的方法采用弱监督方式训练,能够降低标注成本,提高训练效率和模型快速部署能力。
应该理解的是,虽然图1的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图1中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,提供了一种无人平台烟尘雾感知系统,包括:
训练数据集构建模块,用于对预设的烟尘雾图像中的特征像素进行稀疏标注,构建训练数据集。
特征激活图像生成模块,用于将训练数据集输入预先构建的神经网络进行烟尘雾识别,根据烟尘雾识别结果生成特征激活图像。
训练监督模块,用于根据特征激活图像和对应的烟尘雾图像,得到神经网络的神经元对于烟尘雾特征和背景特征的激活分布,根据激活分布对烟尘雾图像中的特征像素进行补充标注,得到更新的训练数据集。
模型训练模块,根据预设的损失函数,使用更新的训练数据集对神经网络进行迭代训练,得到训练好的烟尘雾感知模型。损失函数包括烟尘雾分类损失项和特征激活损失项。
烟尘雾感知模块,用于由无人平台基于训练好的烟尘雾感知模型进行烟尘雾感知。
其中一个实施例中,训练监督模块用于在预设的训练次数中,统计神经网络最后一层的神经元的激活分布次数。根据激活特征图像和烟尘雾图像的对应关系,得到各个神经元对背景特征和烟尘雾特征的响应频率。
其中一个实施例中,训练监督模块用于:获取对背景特征的响应次数最多的K个神经元,将烟尘雾图像中对K个神经元有正响应的像素点标注为背景像素,得到更新的训练数据集。
其中一个实施例中,训练数据集构建模块用于将烟尘雾图像中预设数量的背景像素的标签值设置为1,预设数量的烟尘雾特征像素的标签值设置为2。
其中一个实施例中,还包括损失函数定义模块,用于定义损失函数:
Figure 256175DEST_PATH_IMAGE040
Figure 20869DEST_PATH_IMAGE042
为烟尘雾分类损失项,定义为:
Figure 523526DEST_PATH_IMAGE043
Figure 969550DEST_PATH_IMAGE044
其中,N为训练数据集中的样本数量,
Figure 631476DEST_PATH_IMAGE045
为第i个样本,
Figure 176858DEST_PATH_IMAGE046
为第i个样本的类别标签,
Figure 494707DEST_PATH_IMAGE047
为神经网络最后一层的全连接权重值。
Figure 541160DEST_PATH_IMAGE048
为特征激活损失项,定义为:
Figure 431493DEST_PATH_IMAGE050
其中,
Figure 475673DEST_PATH_IMAGE052
,表示对由特征图F与全连接权重值卷积并进行归一化后得到的烟尘雾区域激活图,S表示烟尘雾图像中像素的标签值。
其中一个实施例中,还包括神经网络构建模块,用于以ResNet18为骨干网络,对骨干网络输出的特征图进行全局均值池化。将全局均值池化结果输入全连接层和Softmax,得到烟尘雾识别输出。
其中一个实施例中,训练监督模块用于根据烟尘雾识别结果,使用神经网络可解释性技术生成特征激活图像,神经网络可解释技术包括CAM技术和Grad-CAM技术。
关于一种无人平台烟尘雾感知系统的具体限定可以参见上文中对于一种无人平台烟尘雾感知方法的限定,在此不再赘述。上述一种无人平台烟尘雾感知系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储神经网络数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种无人平台烟尘雾感知方法。
本领域技术人员可以理解,图7中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,该存储器存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
对预设的烟尘雾图像中的特征像素进行稀疏标注,构建训练数据集。
将训练数据集输入预先构建的神经网络进行烟尘雾识别,根据烟尘雾识别结果生成特征激活图像。
根据特征激活图像和对应的烟尘雾图像,得到神经网络的神经元对于烟尘雾特征和背景特征的激活分布,根据激活分布对烟尘雾图像中的特征像素进行补充标注,得到更新的训练数据集。
根据预设的损失函数,使用更新的训练数据集对神经网络进行迭代训练,得到训练好的烟尘雾感知模型。损失函数包括烟尘雾分类损失项和特征激活损失项。
由无人平台基于训练好的烟尘雾感知模型进行烟尘雾感知。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:在预设的训练次数中,统计神经网络最后一层的神经元的激活分布次数。根据激活特征图像和烟尘雾图像的对应关系,得到各个神经元对背景特征和烟尘雾特征的响应频率。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:获取对背景特征的响应次数最多的K个神经元,将烟尘雾图像中对K个神经元有正响应的像素点标注为背景像素,得到更新的训练数据集。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:将烟尘雾图像中预设数量的背景像素的标签值设置为1,预设数量的烟尘雾特征像素的标签值设置为2。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:定义损失函数
Figure 77555DEST_PATH_IMAGE054
Figure 803066DEST_PATH_IMAGE055
为烟尘雾分类损失项,定义为:
Figure 174004DEST_PATH_IMAGE056
Figure 389085DEST_PATH_IMAGE057
其中,N为训练数据集中的样本数量,
Figure 88051DEST_PATH_IMAGE058
为第i个样本,
Figure 741886DEST_PATH_IMAGE059
为第i个样本的类别标签,
Figure 842697DEST_PATH_IMAGE061
为神经网络最后一层的全连接权重值。
Figure 228679DEST_PATH_IMAGE063
为特征激活损失项,定义为:
Figure 70733DEST_PATH_IMAGE064
其中,
Figure 371002DEST_PATH_IMAGE065
,表示对由特征图F与全连接权重值卷积并进行归一化后得到的烟尘雾区域激活图,S表示烟尘雾图像中像素的标签值。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:以ResNet18为骨干网络,对骨干网络输出的特征图进行全局均值池化。
将全局均值池化结果输入全连接层和Softmax,得到烟尘雾识别输出。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:根据烟尘雾识别结果,使用神经网络可解释性技术生成特征激活图像,神经网络可解释技术包括CAM技术和Grad-CAM技术。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
对预设的烟尘雾图像中的特征像素进行稀疏标注,构建训练数据集。
将训练数据集输入预先构建的神经网络进行烟尘雾识别,根据烟尘雾识别结果生成特征激活图像。
根据特征激活图像和对应的烟尘雾图像,得到神经网络的神经元对于烟尘雾特征和背景特征的激活分布,根据激活分布对烟尘雾图像中的特征像素进行补充标注,得到更新的训练数据集。
根据预设的损失函数,使用更新的训练数据集对神经网络进行迭代训练,得到训练好的烟尘雾感知模型。损失函数包括烟尘雾分类损失项和特征激活损失项。
由无人平台基于训练好的烟尘雾感知模型进行烟尘雾感知。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:在预设的训练次数中,统计神经网络最后一层的神经元的激活分布次数。根据激活特征图像和烟尘雾图像的对应关系,得到各个神经元对背景特征和烟尘雾特征的响应频率。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:获取对背景特征的响应次数最多的K个神经元,将烟尘雾图像中对K个神经元有正响应的像素点标注为背景像素,得到更新的训练数据集。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:将烟尘雾图像中预设数量的背景像素的标签值设置为1,预设数量的烟尘雾特征像素的标签值设置为2。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:定义损失函数
Figure 654216DEST_PATH_IMAGE066
Figure 538996DEST_PATH_IMAGE067
为烟尘雾分类损失项,定义为:
Figure 212554DEST_PATH_IMAGE068
Figure 942612DEST_PATH_IMAGE069
其中,N为训练数据集中的样本数量,
Figure 80332DEST_PATH_IMAGE070
为第i个样本,
Figure 11379DEST_PATH_IMAGE072
为第i个样本的类别标签,
Figure 296867DEST_PATH_IMAGE073
为神经网络最后一层的全连接权重值。
Figure 768300DEST_PATH_IMAGE075
为特征激活损失项,定义为:
Figure 963789DEST_PATH_IMAGE076
其中,
Figure DEST_PATH_IMAGE077
,表示对由特征图F与全连接权重值卷积并进行归一化后得到的烟尘雾区域激活图,S表示烟尘雾图像中像素的标签值。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:以ResNet18为骨干网络,对骨干网络输出的特征图进行全局均值池化。
将全局均值池化结果输入全连接层和Softmax,得到烟尘雾识别输出。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:根据烟尘雾识别结果,使用神经网络可解释性技术生成特征激活图像,神经网络可解释技术包括CAM技术和Grad-CAM技术。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink) DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种无人平台烟尘雾感知方法,其特征在于,所述方法包括:
对预设的烟尘雾图像中的特征像素进行稀疏标注,构建训练数据集;
将所述训练数据集输入预先构建的神经网络进行烟尘雾识别,根据烟尘雾识别结果生成特征激活图像;
根据所述特征激活图像和对应的烟尘雾图像,得到所述神经网络的神经元对于烟尘雾特征和背景特征的激活分布,根据所述激活分布对所述烟尘雾图像中的特征像素进行补充标注,得到更新的训练数据集;
根据预设的损失函数,使用更新的训练数据集对所述神经网络进行迭代训练,得到训练好的烟尘雾感知模型;所述损失函数包括烟尘雾分类损失项和特征激活损失项;
由无人平台基于训练好的烟尘雾感知模型进行烟尘雾感知。
2.根据权利要求1所述的方法,其特征在于,根据所述特征激活图像和对应的烟尘雾图像,得到所述神经网络的神经元对于烟尘雾特征和背景特征的激活分布的步骤包括:
在预设的训练次数中,统计所述神经网络最后一层的神经元的激活分布次数;
根据所述激活特征图像和所述烟尘雾图像的对应关系,得到各个神经元对背景特征和烟尘雾特征的响应频率。
3.根据权利要求2所述的方法,其特征在于,根据所述激活分布对所述烟尘雾图像中的特征像素进行补充标注,得到更新的训练数据集的步骤包括:
获取对背景特征的响应次数最多的K个神经元,将所述烟尘雾图像中对所述K个神经元有正响应的像素点标注为背景像素,得到更新的训练数据集。
4.根据权利要求1所述的方法,其特征在于,所述对预设的烟尘雾图像中的特征像素进行稀疏标注的方式包括:
将烟尘雾图像中预设数量的背景像素的标签值设置为1,预设数量的烟尘雾特征像素的标签值设置为2。
5.根据权利要求4所述的方法,其特征在于,所述损失函数的定义方式包括:
Figure 569301DEST_PATH_IMAGE001
(1)
Figure 68415DEST_PATH_IMAGE002
为烟尘雾分类损失项,定义为:
Figure 571072DEST_PATH_IMAGE003
(2)
Figure 17097DEST_PATH_IMAGE004
(3)
其中,N为训练数据集中的样本数量,
Figure 679022DEST_PATH_IMAGE005
为第i个样本,
Figure 552300DEST_PATH_IMAGE006
为第i个样本的类别标签,
Figure 807832DEST_PATH_IMAGE007
为神经网络最后一层的全连接权重值,
Figure 588706DEST_PATH_IMAGE008
为网络根据样本
Figure 308401DEST_PATH_IMAGE009
获得的特征图,GAP代表全局均值池化;
Figure 290263DEST_PATH_IMAGE010
为特征激活损失项,定义为:
Figure 95408DEST_PATH_IMAGE011
其中,
Figure 945553DEST_PATH_IMAGE012
,表示对由特征图F与全连接权重值卷积并进行归一化后得到的烟尘雾区域激活图,S表示烟尘雾图像中像素的标签值。
6.根据权利要求1所述的方法,其特征在于,所述神经网络的构建方式包括:
以ResNet18为骨干网络,对骨干网络输出的特征图进行全局均值池化;
将全局均值池化结果输入全连接层,经过Softmax,得到烟尘雾识别输出。
7.根据权利要求1所述的方法,其特征在于,根据烟尘雾识别结果生成特征激活图像的方式包括:
根据烟尘雾识别结果,使用神经网络可解释性技术生成特征激活图像,所述神经网络可解释技术包括CAM技术和Grad-CAM技术。
8.一种无人平台烟尘雾感知系统,其特征在于,所述系统包括:
训练数据集构建模块,用于对预设的烟尘雾图像中的特征像素进行稀疏标注,构建训练数据集;
特征激活图像生成模块,用于将所述训练数据集输入预先构建的神经网络进行烟尘雾识别,根据烟尘雾识别结果生成特征激活图像;
训练监督模块,用于根据所述特征激活图像和对应的烟尘雾图像,得到所述神经网络的神经元对于烟尘雾特征和背景特征的激活分布,根据所述激活分布对所述烟尘雾图像中的特征像素进行补充标注,得到更新的训练数据集;
模型训练模块,根据预设的损失函数,使用更新的训练数据集对所述神经网络进行迭代训练,得到训练好的烟尘雾感知模型;所述损失函数包括烟尘雾分类损失项和特征激活损失项;
烟尘雾感知模块,用于由无人平台基于训练好的烟尘雾感知模型进行烟尘雾感知。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述方法的步骤。
CN202110310569.8A 2021-03-24 2021-03-24 无人平台烟尘雾感知方法、系统、计算机设备及存储介质 Active CN112699858B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110310569.8A CN112699858B (zh) 2021-03-24 2021-03-24 无人平台烟尘雾感知方法、系统、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110310569.8A CN112699858B (zh) 2021-03-24 2021-03-24 无人平台烟尘雾感知方法、系统、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN112699858A CN112699858A (zh) 2021-04-23
CN112699858B true CN112699858B (zh) 2021-05-18

Family

ID=75515636

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110310569.8A Active CN112699858B (zh) 2021-03-24 2021-03-24 无人平台烟尘雾感知方法、系统、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN112699858B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114882315B (zh) * 2022-05-23 2023-09-01 北京百度网讯科技有限公司 样本生成方法、模型训练方法、装置、设备及介质
CN115331264B (zh) * 2022-10-13 2023-01-31 山东济矿鲁能煤电股份有限公司阳城煤矿 一种基于神经网络的矿山工人安全识别管理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108469727A (zh) * 2018-04-23 2018-08-31 湖南城市学院 一种高层建筑的防护施工平台
CN111539250A (zh) * 2020-03-12 2020-08-14 上海交通大学 一种基于神经网络的图像雾浓度估计方法、系统和终端
CN111553403A (zh) * 2020-04-23 2020-08-18 山东大学 基于伪3d卷积神经网络的烟雾检测方法及系统
WO2020247358A1 (en) * 2019-06-07 2020-12-10 Honeywell International Inc. Method and system for connected advanced flare analytics
CN112132090A (zh) * 2020-09-28 2020-12-25 天地伟业技术有限公司 一种基于yolov3的烟火自动检测预警方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200150643A1 (en) * 2018-05-07 2020-05-14 Strong Force Iot Portfolio 2016, Llc Methods and systems for data collection, learning, and streaming of machine signals for analytics and maintenance using the industrial internet of things

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108469727A (zh) * 2018-04-23 2018-08-31 湖南城市学院 一种高层建筑的防护施工平台
WO2020247358A1 (en) * 2019-06-07 2020-12-10 Honeywell International Inc. Method and system for connected advanced flare analytics
CN111539250A (zh) * 2020-03-12 2020-08-14 上海交通大学 一种基于神经网络的图像雾浓度估计方法、系统和终端
CN111553403A (zh) * 2020-04-23 2020-08-18 山东大学 基于伪3d卷积神经网络的烟雾检测方法及系统
CN112132090A (zh) * 2020-09-28 2020-12-25 天地伟业技术有限公司 一种基于yolov3的烟火自动检测预警方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Scene recognition under special traffic conditions based on deep multi-task learning;Xiaochang Hu.et.;《The Journal of Engineering》;20201231(第13期);第471-475页 *
Wildfire Flame and Smoke Detection Using Static Image Features and Artificial Neural Network;F M Anim Hossain.et.;《2019 1st International Conference on Industrial Artificial Intelligence (IAI)》;20190731;第1-6页 *
基于卷积神经网络的热红外图像语义分割研究;夏威;《中国优秀硕士学位论文全文数据库 信息科技辑》;20200715(第7期);第I138-1118页 *

Also Published As

Publication number Publication date
CN112699858A (zh) 2021-04-23

Similar Documents

Publication Publication Date Title
Makantasis et al. Tensor-based classification models for hyperspectral data analysis
CN111860670B (zh) 域自适应模型训练、图像检测方法、装置、设备及介质
Srivastava et al. Comparative analysis of deep learning image detection algorithms
CN109241903B (zh) 样本数据清洗方法、装置、计算机设备及存储介质
CN111353512B (zh) 障碍物分类方法、装置、存储介质和计算机设备
CN107506786B (zh) 一种基于深度学习的属性分类识别方法
US20220019870A1 (en) Verification of classification decisions in convolutional neural networks
CN110569696A (zh) 用于车辆部件识别的神经网络系统、方法和装置
US20120093396A1 (en) Digital image analysis utilizing multiple human labels
CN111027493A (zh) 一种基于深度学习多网络软融合的行人检测方法
CN110704842A (zh) 一种恶意代码家族分类检测方法
CN112699858B (zh) 无人平台烟尘雾感知方法、系统、计算机设备及存储介质
CN111340195A (zh) 网络模型的训练方法及装置、图像处理方法及存储介质
Shen et al. Biomimetic vision for zoom object detection based on improved vertical grid number YOLO algorithm
CN113011568B (zh) 一种模型的训练方法、数据处理方法及设备
CN110659495A (zh) 一种恶意代码家族分类方法
Stenroos Object detection from images using convolutional neural networks
CN113449586A (zh) 目标检测方法、装置、计算机设备和存储介质
CN111292377A (zh) 目标检测方法、装置、计算机设备和存储介质
CN114332893A (zh) 表格结构识别方法、装置、计算机设备和存储介质
CN111860582A (zh) 图像分类模型构建方法、装置、计算机设备和存储介质
CN113095199B (zh) 一种高速行人识别方法及装置
Hashemi et al. Runtime monitoring for out-of-distribution detection in object detection neural networks
Knysh et al. Improving a model of object recognition in images based on a convolutional neural network
CN113221929A (zh) 一种图像处理方法以及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant