CN110991502A - 一种基于类别激活映射技术的空域安全态势评估方法 - Google Patents

一种基于类别激活映射技术的空域安全态势评估方法 Download PDF

Info

Publication number
CN110991502A
CN110991502A CN201911148779.0A CN201911148779A CN110991502A CN 110991502 A CN110991502 A CN 110991502A CN 201911148779 A CN201911148779 A CN 201911148779A CN 110991502 A CN110991502 A CN 110991502A
Authority
CN
China
Prior art keywords
aerial vehicle
unmanned aerial
body model
image
main body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911148779.0A
Other languages
English (en)
Other versions
CN110991502B (zh
Inventor
杜文博
曹先彬
郭通
张晋通
李宇萌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201911148779.0A priority Critical patent/CN110991502B/zh
Publication of CN110991502A publication Critical patent/CN110991502A/zh
Application granted granted Critical
Publication of CN110991502B publication Critical patent/CN110991502B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/048Activation functions

Abstract

本发明公开了一种基于类别激活映射技术的空域安全态势评估方法,属于飞行器技术领域。首先针对某无人机收集的历史机载图片构建数据集,并进行人工标签处理,将标签处理后的数据集分为训练集、验证集和测试集。然后构建残差网络结构作为感知网络主体模型,并输入训练集进行训练,利用验证集进行验证。将测试集输入训练好的感知网络主体模型中,当准确率达到90%以上结束。针对实际的飞行无人机,利用训练好的感知网络主体模型进行判断,对当前无人机的态势进行实时评估。根据每一时刻图像的实时评估可视化结果,指引无人机远离危险区域并向安全区域行进。本发明更为直观,采用更简单朴素的方式规定无人机远离危险区域。

Description

一种基于类别激活映射技术的空域安全态势评估方法
技术领域
本发明属于飞行器技术领域,涉及一种基于类别激活映射技术的空域安全态势评估方法。
背景技术
目前与无人机自主导航相关的技术,按照功能划分为感知、决策和协同三部分。一些团队为了方便模型后续的封装与部署,更习惯于采用端到端的方式,即采用一个神经网络模型完成上述三个部分。这种端到端的模型一般会以无人机采集到的原始数据作为输入,然后以某一特定策略或动作作为输出。虽然能够简化操作的复杂度,但也带来了模型可解释性的问题。采用一个神经网络模型完成多项任务,会使得模型趋近于一个不可解释的“黑箱”。与此同时,一个模型解决多项任务意味着模型需要训练的参数更多,神经网络需要有更深的深度作为保障,这将对计算资源提出很大的要求,科研人员调整模型的超参数时也会遇到很大的难题。所以,目前仍有不少学者选择将感知,决策和协同这三个部分分步解决。
而在这三个部分之中,感知扮演着很重要的角色;如果感知的效果好,比较直观,后续做决策的难度也将大大降低,这意味着无人机在自主导航的过程中犯错甚至发生碰撞的概率也将降低。而态势评估又是感知这一部分内的重要环节,在收集到传感器所接收到的原始数据之后,对无人机的当前形势进行评估。精确而高效的评估能直接帮助无人机在后一步的决策环节做出快速而正确的动作。目前应用较多的是一种基于动态贝叶斯网络的态势评估方法。这种方法能够处理不确定性信息且能够进行实时评估,但是这种方法过于重视信息的传递和积累,导致无人机不能对一些突发状况做出较好的判断。于是,提出一种能弥补上述缺陷的无人机空域安全态势评估方法是很有必要的。
类别激活映射本意是用来解释卷积神经网络中卷积层所关注的图像特征。它可以将模型所关注的部分在原始图片上标出,将目标特征与背景分开来。这门技术对于解释神经网络的识别方式有着重大的意义。
发明内容
针对上述问题,本发明提供了一种基于类别激活映射技术的空域安全态势评估方法,通过类别激活映射完成对模型感知内容的可视化操作,进而完成了较为直观的无人机空域安全态势评估;大大降低无人机决策环节的难度。与此同时,该方法具有较好的可解释性以及非常直观的表现形式,方便科研人员理解与应用。
所述的基于类别激活映射技术的空域安全态势评估方法,具体步骤如下:
步骤一、针对某无人机,收集历史机载图片构建数据集;
步骤二、对收集到的机载图片进行人工标签处理,并将标签处理后的数据集分为训练集、验证集和测试集;
标签包括危险和安全;标签处理为:判断图片中障碍物与无人机之间的距离是否在阈值范围之内,如果是,将这张图片打上危险标签,标记为0。否则,将这张图片打上安全标签,标记为1。
阈值根据需要人为设定。
在每一个集合内,标签为0的危险图片和标签为1的安全图片比例为1:1。
步骤三、构建残差网络结构作为感知网络主体模型,并输入训练集进行训练,利用验证集进行验证。
残差网络结构包括:输入层,卷积层,池化层,残差卷积块1,残差卷积块2,残差卷积块3和输出层。
步骤四、将测试集输入训练好的感知网络主体模型中,当准确率达到90%以上结束。
步骤五、针对实际的飞行无人机,利用训练好的感知网络主体模型进行判断,对当前无人机的态势进行实时评估。
具体过程如下:
步骤501、实际飞行中,摄像头每隔一秒对当前图像进行实时采集。
步骤502、对采集的当前图像的尺寸裁剪成320×200,满足感知网络主体模型的输入尺寸。
步骤503、将裁剪后的图像输入感知网络主体模型中,在输出层上得到当前视觉图像的类别C,同时在最后一个残差卷积块的合并层上得到N张特征图;
当前图像经过感知网络主体模型,得到输出层的最终输出yC;同时,经过感知网络主体模型中的所有卷积核后,在残差卷积块3的合并层上得到N张特征图,记为Ak
k={1,2,3,....,N}。
步骤504、利用输出层的输出yC对各特征图分别计算对应的输出梯度矩阵;
针对第k张特征图Ak上位于(i,j)的像素点,输出结果yC在该像素点上的梯度值为
Figure BDA0002282959530000021
该特征图Ak共得到320×200个梯度值,所有梯度值构成特征图Ak的尺寸为320×200的梯度矩阵。
Ai,j k表示第k张特征图Ak上(i,j))处的像素值。
同理,得到N张特征图各自对应的尺寸为320×200的梯度矩阵。
步骤505、通过对每个特征图的梯度矩阵求平均值,将N个梯度矩阵映射为N个特征值,每个特征值分别代表各特征图所对应的权重。
特征图Ak对应的权重
Figure BDA0002282959530000031
表达式如下:
Figure BDA0002282959530000032
Z=i×j表示特征图Ak中的所有像素总数。
步骤506、利用所有特征图的权重,对N张特征图进行加权和,进一步得到感知网络主体模型的结果;
特征图加权和表示为:
Figure BDA0002282959530000033
结果Result是一个尺寸为320×200的矩阵,计算公式如下:
Figure BDA0002282959530000034
X为采集的当前图像的数据;
步骤507、利用类别激活映射技术对感知结果Result的值进行可视化标定,得到无人机当前图像的实时态势评估图;
标定过程如下:
首先,设定阈值T为感知结果Result中峰值的三分之二;即
Figure BDA0002282959530000035
然后,根据当前图像中的像素点与感知结果Result矩阵中一一对应的元素,判断感知结果Result中各元素的数值是否大于阈值T,如果是,则在当前图像中以深色标出该位置上的像素点;反之,在当前图像中以浅色标出该位置上的像素点。
深色标记代表该像素点所在的位置比较危险。
同理,得到无人机每一时刻采集的图像的实时态势评估图。
步骤六、根据每一时刻图像的实时评估可视化结果,指引无人机远离危险区域并向安全区域行进。
本发明的优点在于:
1)、一种基于类别激活映射技术的空域安全态势评估方法,采用残差网络结构来设计感知网络的网络模型,并利用类别激活映射这一技术实现对危险障碍物的可视化操作,以此输出为无人机空域安全态势评估的结果,将模型感知到的环境内容用直观的方式呈现出来。
2)、一种基于类别激活映射技术的空域安全态势评估方法,不仅可以帮助无人机依靠当前无人机拍摄到的图像对态势进行实时评估,还可以和后续的决策环节进行较好的连接与配合。
3)、一种基于类别激活映射技术的空域安全态势评估方法,在输出的可视化结果中,态势评估是以图像形式进行表达的,相比较于其他方法用一组数据加以表达,更为直观。危险区域与安全区域是有显著的像素差异的,直观清楚的态势评估能够很大程度上简化无人机决策部分的工作。
4)、一种基于类别激活映射技术的空域安全态势评估方法,在决策环节中,科研人员可以很方便地使用图像处理的相关知识对危险区域和安全区域加以识别,并采用很朴素的方式规定无人机远离危险区域即可。
附图说明
图1为本发明一种基于类别激活映射技术的空域安全态势评估方法的原理图;
图2为本发明一种基于类别激活映射技术的空域安全态势评估方法的流程图;
图3为本发明残差网络结构的示意图;
图4为本发明残差网络结构中残差卷积块的示意图;
图5为本发明利用感知网络对当前无人机的态势进行实时评估的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面结合附图和实施例对本发明作进一步的详细描述。
本发明一种基于类别激活映射技术的空域安全态势评估方法,如图1所示,首先针对无人机所处的环境,无人机收集机载视觉图像并构建原始数据集,因为机载数据能够更加贴近实际应用场景。然后,对数据集进行打标签和划分的操作。按照3:1:1的比例将原本数据集分为训练集、验证集和测试集三大部分。其中每一张图片将根据障碍物距离无人机当前位置的远近被打上“危险”或者“安全”的标签。随后,以残差网络结构来构建感知网络主体模型,并以处理好的数据作为输入进行训练。模型在收到视觉图像之后,判断当前无人机是身处危险区域还是安全区域。
实际应用过程中,无人机搭载摄像头捕捉当前视觉图像,利用训练好的感知网络对当前视觉图像进行感知,应用类别激活映射技术对模型在当前视觉图像中所关注的部分进行标定,而训练好的模型会主要关注可能造成危险的障碍物。因此,本发明可以利用类别激活映射这一可视化技术完成对危险区域的评估,进而实现无人机所处空域安全态势评估;方便后续无人机的决策环节。
如图2所示,具体步骤如下:
步骤一、针对某无人机搭载摄像头,收集历史机载图片构建数据集;
为了能够使训练或测试所用的数据更接近真实情况,用机载数据构建数据集是最好的选择。如果使用的是仿真数据或者虚拟环境下的模拟数据,其真实性都不如实际数据。而在实际数据中,手持拍摄的数据虽然能够提供很多的真实场景,但是这类数据的视角等属性都与无人机所能接收到的图片属性相差甚远。因此为了保证模型的训练效果,应该用机载摄像机所拍摄到的图片来构建数据集。
步骤二、对收集到的机载图片进行人工标签处理,并将标签处理后的数据集分为训练集、验证集和测试集;
在有了数据集之后,对数据集的划分处理也是十分重要的。本发明将态势评估先从整体上分为两个简单的大类:危险或者安全。之后对数据集内的图片进行人工标签处理:判断图片中障碍物与无人机之间的距离是否在阈值范围之内,如果是,将这张图片打上危险标签,标记为0。否则,将这张图片打上安全标签,标记为1。
阈值根据需要人为设定。
在标记好数据集以后,把数据集按照3:1:1的比例划分为训练集、验证集和测试集。在每一个集合内,标签为0的危险图片和标签为1的安全图片比例为1:1。这是为了避免类别不平衡对模型表现的负面影响。在实际构建数据集的过程中,还要考虑到模型训练难度的问题。如果一个数据集设计的过于简单,那么模型在训练过程中的准确率将很快达到较高的水准,比如说95%以上。这就意味着模型很难从这种简单的数据集中学习到有效的识别模式。因此,在构建数据集时,还应多选择在危险和安全临界状态附近的图片。这会给模型的识别训练造成很大的难度,进而使得模型学习到更关键的识别模式。
步骤三、构建残差网络结构作为感知网络主体模型,并输入训练集进行训练,利用验证集进行验证。
本发明选择使用残差网络的结构是因为残差网络具有优化快,反向传播的梯度不易消失等特点。而在后续使用类别激活映射技术进行可视化操作的过程中,是要以梯度为权重来生成图像的。因此,保存梯度就变得非常重要。其次是残差网络这一结构特征使得它能够更好地识别多种障碍物的特征。相比之下,用于解决猫狗识别问题的网络结构就更适合识别具有丰富纹理和复杂轮廓的目标物。举例来说,“猫狗网络”能识别出无人机在路上碰到的行人的轮廓,但可能识别不到诸如车辆,墙壁等结构简单的障碍物。相比之下,残差网络可能无法准确理解出人形轮廓,但是它可以准确地识别出眼前的全部障碍物。于是,为了无人机能在自主导航的过程中更安全地躲避开与障碍物的碰撞,选择残差网络作为感知网络的网络结构。其具体网络结构如图3所示,残差网络结构包括:输入层,卷积层,池化层,残差卷积块1,残差卷积块2,残差卷积块3和输出层。
输入层这一环节所需的数据形式与原始视觉图像有所不同;原始图像的尺寸大小要取决于摄像头的出厂设置。为了统一起见,在收到原始视觉图像之后,图像数据转换为320×200×3的RGB三通道数据。这部分数据的取值是来自[0,255]之间的整数。为了方便计算,对这部分数据进行归一化,得到分布在[0,1]的数据作为感知网络的输入。
在卷积层的设计中,取卷积核的数量为32,每个卷积核大小为5×5,卷积时的步长选择为2,激活函数为了方便进行优化时梯度的反向传播,均选择“ReLu”函数。
池化层上选择用最大值池化的方式,池化核的大小选择为3×3,池化步长定为2。
在经过三个残差卷积块的计算之后,对数据进行扁平化处理,得到一维向量,到达输出层。为了保证该向量的维数不要太高,本实施例规定残差卷积块1到3的卷积核数量分别为32,64和128。
输出层对一维向量进行处理得到分类结果,因为在输出层上要确定类别,所以以“Sigmoid”函数或者“Softmax”函数作为这一层的激活函数;对于二分类问题这两种函数是等价的。
进一步,每个残差卷积块的结构如图4所示,包括输入层,三层卷积层,合并层和输出层。
输入层的输入向量,输出层的输出向量不代表整个感知网络的输出和输入,而是指网络中该残差卷积块的输出和它的上一环节的输出。
因为在残差网络结构的输出层选择的激活函数是“Sigmoid”这一类型的函数,当函数值靠近1时,曲线斜率很小。这就意味着能反向传播的梯度值很小,会对模型更新优化造成障碍。为解决此问题,本实施例先进行了批标准化操作,使得数据能分布在激活函数存在较大梯度的区间。在卷积层1和卷积层2的卷积核数量已经确定好,每个卷积块有自己规定的卷积核数量。卷积层1的卷积核大小采用3×3,卷积步长定为2;卷积层2的卷积核大小也采用3×3,步长定为1。卷积之后要对得到的结果进行补零,以保证卷积后得到的特征图尺寸大小与输入尺寸相同,这是为了保证合并层上不会出现尺寸错误的问题。
输入向量要经过卷积层3才能在合并层上合并,这是为了避免维数错误这一情况的发生。卷积层3的卷积核数量与卷积层1和卷积层2的卷积核数量相同,以此来保证输出特征图的维数一致。卷积层3的卷积核大小定为1×1,卷积步长定为2。对卷积层3输出的特征图同样要进行补零操作。
除此以外,卷积块内各卷积层的激活函数均选为“ReLu”函数。在合并层上完成特征图的合并之后,进行输出。
在感知网络实际参数设计的过程中,尤其是设计卷积核个数与大小时,要经过计算,尽可能做到降维的效果。从残差卷积块的设计方式上,不难看出这种结构在梯度反向传播对模型进行优化时有着十分显著的优势。如果只是逐层反向传播梯度,梯度会逐渐消失。但是使用残差结构以后,输入向量会直接连接在合并层上,处于头部的输入向量也能接收到传递过来的梯度进行更新。之后便是利用训练集对感知网络进行训练。
训练的过程就是感知网络将输入的图像进行“危险”或“安全”的二分类。为了达到较高的安全水准,应要求训练集和验证集的准确率都在95%以上。
步骤四、将测试集输入训练好的感知网络主体模型中,当准确率达到90%以上结束,将此时的感知网络主体模型实际应用。
对于测试集的准确率来说,一般会略低于训练集和验证集的准确率,但也应该保证有90%以上的把握。从头训练感知网络的训练轮数应该在80轮以上,并且为了达到更稳定的收敛效果,应在训练过程中加入学习速率自动降低的环节,以此来趋近于感知网络所能达到的最佳效果。
步骤五、针对实际的飞行无人机,利用训练好的感知网络主体模型进行判断,对当前无人机的态势进行实时评估。
在完成了模型训练后,就可以进入到实际应用中;先是无人机对当前图像进行捕捉,然后经过必要的尺寸裁剪后,感知网络对当前视觉图像进行感知。然后利用类别激活映射技术对感知结果进行可视化操作。在传统的类别激活映射技术中,人们往往需要改变网络结构,即把最后一层卷积层后的全连接层改为全平均池化层。这项技术最开始是只能用于分类问题之中。全平均之后,取最后分类输出层上“Softmax”函数的输出值作为最后一层卷积层上特征图的权重,之后将特征图的加权和与原始图片相叠加,以此得到最终的激活图。
相比之下,本发明是将感知网络最后一层输出到最后一层卷积层的梯度绝对值作为权重,并将最后一层卷积层上特征图的加权和与原始图片相叠加,进而完成可视化操作。
如图5所示,具体过程如下:
步骤501、实际飞行中,摄像头每隔一秒对当前图像进行实时采集。
步骤502、对采集的当前图像进行尺寸裁剪,满足感知网络主体模型的输入尺寸。
由于在训练过程中,采用的是320×200×3的RGB三通道数据。在实际飞行过程中,也需将当前图像尺寸裁剪到320×200。
步骤503、将裁剪后的图像输入感知网络主体模型中进行感知,在输出层上得到当前视觉图像的类别C,同时在最后一个残差卷积块的合并层上得到N张特征图;
当前图像经过感知网络主体模型,得到输出层的最终输出yC;同时,经过感知网络主体模型中的所有卷积核后,在残差卷积块3的合并层上得到N张特征图,记为Ak
k={1,2,3,....,N}。
步骤504、利用输出层的输出yC对各特征图分别计算对应的输出梯度矩阵;
针对第k张特征图Ak上位于(i,j)的像素点,输出结果yC在该像素点上的梯度值为
Figure BDA0002282959530000071
该特征图Ak共得到320×200个梯度值,所有梯度值构成特征图Ak的尺寸为320×200的梯度矩阵。
因为训练用的图像以及实际飞行中实时采集的图像尺寸都是320×200,并且在残差神经网络中数据计算时图像尺寸并不受到影响,所以梯度矩阵的尺寸也为320×200。
Ai,j k表示第k张特征图Ak上(i,j))处的像素值。
同理,得到N张特征图各自对应的尺寸为320×200的梯度矩阵。
步骤505、通过对每个特征图的梯度矩阵求平均值,将N个梯度矩阵映射为N个特征值,每个特征值分别代表各特征图所对应的权重。
每个特征值即每个梯度矩阵的平均值,特征图Ak对应的权重
Figure BDA0002282959530000072
表达式如下:
Figure BDA0002282959530000081
i和j分别表示图像中行像素数和列像素数;Z=i×j表示特征图Ak中的所有像素总数。
步骤506、利用所有特征图的权重,对N张特征图进行加权和,进一步得到感知网络主体模型的结果;
特征图加权和表示为:
Figure BDA0002282959530000082
结果Result是一个尺寸为320×200的矩阵,计算公式如下:
Figure BDA0002282959530000083
X为采集的当前图像的数据;
步骤507、利用类别激活映射技术对感知结果Result的值进行可视化标定,得到无人机当前图像的实时态势评估图;
标定是指:比较危险的区域将会以深色标出,而图像中较为安全的区域将以浅色标出。
具体过程如下:
首先,设定阈值T为感知结果Result中峰值的三分之二;即
Figure BDA0002282959530000084
然后,根据当前图像中的像素点与感知结果Result矩阵中一一对应的元素,判断感知结果Result中各元素的数值是否大于阈值T,如果是,则在当前图像中以深色标出该位置上的像素点;反之,在当前图像中以浅色标出该位置上的像素点。
深色标记代表该像素点所在的位置比较危险。
同理,得到无人机每一时刻采集的图像的实时态势评估图。
步骤六、根据每一时刻图像的实时评估可视化结果,指引无人机远离危险区域并向安全区域行进。
本实施例得到一个按照颜色深浅划分开的热力图:在输入的视觉图像中,感知网络所关心的目标物将以深色标出。图像其他部分将被称为背景,以浅色标出。经过训练的感知网络会把周遭可能会构成威胁的障碍物作为关注点,并以此作为“危险”和“安全”分类的依据。于是在可视化结果中,比较危险的区域将会以深色标出,而图像中较为安全的区域将以浅色标出。由此,危险区域和安全区域得以划分,进而也就实现了无人机的态势评估。在后续的决策过程中,科研人员只需要规定一种无人机远离危险区域靠近安全区域的策略即可。
实施例:
首先,输入无人机机载摄像头拍摄的原始图片材料集M;
(1)根据人为定义,将原始图片材料集M按照“危险”和“安全”两个标签划分成两个类别,其中“危险”标记为0,“安全”标记为1。之后按照3:1:1的比例划分出训练集、验证集和测试集三大数据集。在这三类数据集中,要保证标为“危险”的数据和标为“安全”的数据的比例为1:1。
(2)对数据集中的图片数据进行尺寸缩减和归一化的操作,以此得到320×200×3的RGB三通道归一化数据集。
(3)将经过处理的数据集作为感知网络G的输入来训练80轮。当感知网络G在训练集、验证集上的分类准确度达到95%以上,并且在测试集上有90%以上准确率以后,感知网络G的训练才可以结束。若未达到,则在感知网络G主体结构不变的情况下,细微调整网络的超参数来追求更好的表现。
然后,输出训练好的感知网络G,投入到实际应用中;
无人机当前所捕捉的原始视觉图像X输入到训练好的感知网络G中。
(1)对原始视觉图像X进行处理,得到320×200×3的RGB三通道数据。之后对数据进行归一化处理,使得数据值位于[0,1]区间。以归一化后的数据作为输入数据,传递给预先训练好的感知网络G。
(2)感知网络G对输入数据进行类别判定,得到分类类别C,其中C∈{0,1},0和1分别代表“危险”与“安全”。
(3)在判断出类别之后,取感知网络最后输出层的输出,记为yC。取最后一层卷积层的输出,即N张特征图,记为{A1,A2,……,AN}。
(4)根据最后输出层到最后一层卷积层的梯度来计算权重。
Figure BDA0002282959530000091
(5)类别激活映射技术的可视化结果图Y由特征图加权和与原始视觉图像相加得到。
Figure BDA0002282959530000092
最后得到:将危险区域和安全区域分隔开的可视化结果图Y。

Claims (4)

1.一种基于类别激活映射技术的空域安全态势评估方法,其特征在于,具体步骤如下:
步骤一、针对某无人机,收集历史机载图片构建数据集;
步骤二、对收集到的机载图片进行人工标签处理,并将标签处理后的数据集分为训练集、验证集和测试集;
步骤三、构建残差网络结构作为感知网络主体模型,并输入训练集进行训练,利用验证集进行验证;
步骤四、将测试集输入训练好的感知网络主体模型中,当准确率达到90%以上结束;
步骤五、针对实际的飞行无人机,利用训练好的感知网络主体模型进行判断,对当前无人机的态势进行实时评估;
具体过程如下:
步骤501、实际飞行中,摄像头每隔一秒对当前图像进行实时采集;
步骤502、对采集的当前图像的尺寸裁剪成320×200,满足感知网络主体模型的输入尺寸;
步骤503、将裁剪后的图像输入感知网络主体模型中,在输出层上得到当前视觉图像的类别C,同时在最后一个残差卷积块的合并层上得到N张特征图;
当前图像经过感知网络主体模型,得到输出层的最终输出yC;同时,经过感知网络主体模型中的所有卷积核后,在残差卷积块3的合并层上得到N张特征图,记为Ak
k={1,2,3,....,N};
步骤504、利用输出层的输出yC对各特征图分别计算对应的输出梯度矩阵;
针对第k张特征图Ak上位于(i,j)的像素点,输出结果yC在该像素点上的梯度值为
Figure FDA0002282959520000011
该特征图Ak共得到320×200个梯度值,所有梯度值构成特征图Ak的尺寸为320×200的梯度矩阵;
Ai,j k表示第k张特征图Ak上(i,j))处的像素值;
同理,得到N张特征图各自对应的尺寸为320×200的梯度矩阵;
步骤505、通过对每个特征图的梯度矩阵求平均值,将N个梯度矩阵映射为N个特征值,每个特征值分别代表各特征图所对应的权重;
特征图Ak对应的权重
Figure FDA0002282959520000012
表达式如下:
Figure FDA0002282959520000013
Z=i×j表示特征图Ak中的所有像素总数;
步骤506、利用所有特征图的权重,对N张特征图进行加权和,进一步得到感知网络主体模型的结果;
特征图加权和表示为:
Figure FDA0002282959520000021
结果Result是一个尺寸为320×200的矩阵,计算公式如下:
Figure FDA0002282959520000022
X为采集的当前图像的数据;
步骤507、利用类别激活映射技术对感知结果Result的值进行可视化标定,得到无人机当前图像的实时态势评估图;
步骤六、根据每一时刻图像的实时评估可视化结果,指引无人机远离危险区域并向安全区域行进。
2.如权利要求1所述的一种基于类别激活映射技术的空域安全态势评估方法,其特征在于,步骤二中所述的标签包括危险和安全;标签处理为:判断图片中障碍物与无人机之间的距离是否在阈值范围之内,如果是,将这张图片打上危险标签,标记为0;否则,将这张图片打上安全标签,标记为1;
在每一个集合内,标签为0的危险图片和标签为1的安全图片比例为1:1。
3.如权利要求1所述的一种基于类别激活映射技术的空域安全态势评估方法,其特征在于,步骤三中所述的残差网络结构包括:输入层,卷积层,池化层,残差卷积块1,残差卷积块2,残差卷积块3和输出层。
4.如权利要求1所述的一种基于类别激活映射技术的空域安全态势评估方法,其特征在于,步骤507中所述的标定过程如下:
首先,设定阈值T为感知结果Result中峰值的三分之二;即
Figure FDA0002282959520000023
然后,根据当前图像中的像素点与感知结果Result矩阵中一一对应的元素,判断感知结果Result中各元素的数值是否大于阈值T,如果是,则在当前图像中以深色标出该位置上的像素点;反之,在当前图像中以浅色标出该位置上的像素点;
深色标记代表该像素点所在的位置比较危险;
同理,得到无人机每一时刻采集的图像的实时态势评估图。
CN201911148779.0A 2019-11-21 2019-11-21 一种基于类别激活映射技术的空域安全态势评估方法 Active CN110991502B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911148779.0A CN110991502B (zh) 2019-11-21 2019-11-21 一种基于类别激活映射技术的空域安全态势评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911148779.0A CN110991502B (zh) 2019-11-21 2019-11-21 一种基于类别激活映射技术的空域安全态势评估方法

Publications (2)

Publication Number Publication Date
CN110991502A true CN110991502A (zh) 2020-04-10
CN110991502B CN110991502B (zh) 2020-10-13

Family

ID=70085803

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911148779.0A Active CN110991502B (zh) 2019-11-21 2019-11-21 一种基于类别激活映射技术的空域安全态势评估方法

Country Status (1)

Country Link
CN (1) CN110991502B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111338382A (zh) * 2020-04-15 2020-06-26 北京航空航天大学 一种安全态势引导的无人机路径规划方法
CN112183234A (zh) * 2020-09-10 2021-01-05 北京华跃信息技术有限公司 基于图神经网络的态势感知方法及装置
CN112329615A (zh) * 2020-11-04 2021-02-05 中国海洋大学 一种用于水下视觉目标自主抓取的环境态势评估方法
CN112465199A (zh) * 2020-11-18 2021-03-09 南京航空航天大学 空域态势评估系统
CN112666963A (zh) * 2020-12-18 2021-04-16 浙江师范大学 基于四轴无人机的公路路面裂缝检测系统及其检测方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105824323A (zh) * 2016-05-13 2016-08-03 中国航空工业集团公司西安飞机设计研究所 一种多机会和下的飞机防撞方法
CN105956790A (zh) * 2016-05-24 2016-09-21 南京航空航天大学 低空飞行态势安全性评估指标及其评估方法
US9875660B2 (en) * 2016-03-28 2018-01-23 Cisco Technology, Inc. Multi-modal UAV certification
CN108259223A (zh) * 2017-12-07 2018-07-06 中国航空工业集团公司西安航空计算技术研究所 防止gps欺骗的无人机网络系统安全态势感知评估方法
CN108399406A (zh) * 2018-01-15 2018-08-14 中山大学 基于深度学习的弱监督显著性物体检测的方法及系统
CN108830287A (zh) * 2018-04-18 2018-11-16 哈尔滨理工大学 基于残差连接的Inception网络结合多层GRU的中文图像语义描述方法
CN109785670A (zh) * 2017-11-14 2019-05-21 北京航空航天大学 一种低空空域应急管控系统
CN110189334A (zh) * 2019-05-28 2019-08-30 南京邮电大学 基于注意力机制的残差型全卷积神经网络的医学图像分割方法
CN110456805A (zh) * 2019-06-24 2019-11-15 深圳慈航无人智能系统技术有限公司 一种无人机智能循迹飞行系统及方法
CN110472609A (zh) * 2019-08-21 2019-11-19 广东工业大学 一种鸟类图像识别方法、装置、设备和存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9875660B2 (en) * 2016-03-28 2018-01-23 Cisco Technology, Inc. Multi-modal UAV certification
CN105824323A (zh) * 2016-05-13 2016-08-03 中国航空工业集团公司西安飞机设计研究所 一种多机会和下的飞机防撞方法
CN105956790A (zh) * 2016-05-24 2016-09-21 南京航空航天大学 低空飞行态势安全性评估指标及其评估方法
CN109785670A (zh) * 2017-11-14 2019-05-21 北京航空航天大学 一种低空空域应急管控系统
CN108259223A (zh) * 2017-12-07 2018-07-06 中国航空工业集团公司西安航空计算技术研究所 防止gps欺骗的无人机网络系统安全态势感知评估方法
CN108399406A (zh) * 2018-01-15 2018-08-14 中山大学 基于深度学习的弱监督显著性物体检测的方法及系统
CN108830287A (zh) * 2018-04-18 2018-11-16 哈尔滨理工大学 基于残差连接的Inception网络结合多层GRU的中文图像语义描述方法
CN110189334A (zh) * 2019-05-28 2019-08-30 南京邮电大学 基于注意力机制的残差型全卷积神经网络的医学图像分割方法
CN110456805A (zh) * 2019-06-24 2019-11-15 深圳慈航无人智能系统技术有限公司 一种无人机智能循迹飞行系统及方法
CN110472609A (zh) * 2019-08-21 2019-11-19 广东工业大学 一种鸟类图像识别方法、装置、设备和存储介质

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
RAMPRASAATH R.SELVARAJU ET AL.: "Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization", 《2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》 *
XI YANG ET AL.: "Directing DNNs Attention for Facial Attribution Classification using Gradient-weighted Class Activation Mapping", 《ARXIV:1905.00593》 *
冯登超 袁晓辉: "低空空域安全告警航图可视化研究进展", 《电子测量与仪器学报》 *
张瞩熹: "基于核主成分分析的空域复杂度无监督评估", 《航空学报》 *
欧韬 周长春: "基于神经网络的民航安全态势评估模型及仿真", 《中国安全生产科学技术》 *
胡秀: "基于卷积神经网络的图像特征可视化研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111338382A (zh) * 2020-04-15 2020-06-26 北京航空航天大学 一种安全态势引导的无人机路径规划方法
CN111338382B (zh) * 2020-04-15 2021-04-06 北京航空航天大学 一种安全态势引导的无人机路径规划方法
CN112183234A (zh) * 2020-09-10 2021-01-05 北京华跃信息技术有限公司 基于图神经网络的态势感知方法及装置
CN112329615A (zh) * 2020-11-04 2021-02-05 中国海洋大学 一种用于水下视觉目标自主抓取的环境态势评估方法
CN112329615B (zh) * 2020-11-04 2022-04-15 中国海洋大学 一种用于水下视觉目标自主抓取的环境态势评估方法
CN112465199A (zh) * 2020-11-18 2021-03-09 南京航空航天大学 空域态势评估系统
CN112465199B (zh) * 2020-11-18 2024-03-12 南京航空航天大学 空域态势评估系统
CN112666963A (zh) * 2020-12-18 2021-04-16 浙江师范大学 基于四轴无人机的公路路面裂缝检测系统及其检测方法

Also Published As

Publication number Publication date
CN110991502B (zh) 2020-10-13

Similar Documents

Publication Publication Date Title
CN110991502B (zh) 一种基于类别激活映射技术的空域安全态势评估方法
CN113111974B (zh) 基于深度典型相关分析的视觉-激光雷达融合方法及系统
CN109086668B (zh) 基于多尺度生成对抗网络的无人机遥感影像道路信息提取方法
CN110866887A (zh) 一种基于多传感器的目标态势融合感知方法和系统
CN111142557B (zh) 无人机路径规划方法、系统、计算机设备及可读存储介质
CN111428765B (zh) 一种基于全局卷积、局部深度卷积融合的目标检测方法
Chen et al. A UAV-based forest fire detection algorithm using convolutional neural network
RU2476825C2 (ru) Способ управления движущимся объектом и устройство для его осуществления
CN107481292A (zh) 车载摄像头的姿态误差估计方法和装置
EP3686837B1 (en) Learning method and learning device for reducing distortion occurred in warped image generated in process of stabilizing jittered image by using gan to enhance fault tolerance and fluctuation robustness in extreme situations
CN110738309A (zh) Ddnn的训练方法和基于ddnn的多视角目标识别方法和系统
CN110969171A (zh) 基于改进卷积神经网络的图像分类模型、方法及应用
DE102020107149A1 (de) Fahrzeugkapsel-netzwerke
CN112115761A (zh) 自动驾驶汽车视觉感知系统漏洞检测的对抗样本生成方法
CN110889426A (zh) 三维表达体生成系统
CN116311078A (zh) 一种林火分析及监测方法、系统
CN107273929A (zh) 一种基于深度协同神经网络的无人机自主降落方法
JP2023526390A (ja) ゴルフコースのディボット探知システム及びこれを用いた探知方法
CN115049948A (zh) 基于神经网络模型的无人机巡检方法、装置及相关设备
CN110866548A (zh) 输电线路绝缘子红外智能匹配识别与测距定位方法及系统
US11107001B1 (en) Systems and methods for practical autonomy decision controller
DE202022101680U1 (de) Ein automatisches System zur Erkennung von Handgesten
CN114494594A (zh) 基于深度学习的航天员操作设备状态识别方法
Lysenko et al. Determination of the not uniformity of illumination in process monitoring of wheat crops by UAVs
Coombes et al. Machine vision for UAS ground operations: using semantic segmentation with a bayesian network classifier

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant