CN115147684A - 基于深度学习的目标打击效果评估方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的目标打击效果评估方法，旨在解决现有技术仅仅适用于水炮的打击效果评估，对于其他非流体武器，射流与其他刚体具有较大差异的问题，以及只考虑到最终的打击效果，没有做到过程中的实时打击状态分析的问题。本发明的实现步骤包括：生成模拟打击红外目标的训练集和测试集；训练卷积神经网络CSPDarknet53；对测试集的每张图片进行目标检测；更新状态机中目标信息；判定每个被打击目标的打击效果。本发明具有对于刚体可以进行准确地分析运动状态的优点和能够实时、完整提供打击状态的优点。

Description

基于深度学习的目标打击效果评估方法

技术领域

本发明属于图像处理技术领域，更进一步涉及基于红外图像处理技术领域中的一种基于深度学习的目标打击效果评估方法。本发明可用于对红外图像中所显示目标被打击的效果进行评估。

背景技术

目前，对红外图像中的目标打击效果进行评估，主要是依靠经验识别是否击中目标，准确率较低，此外，缺乏对于刚体的打击效果分析的方法。随着光电设备的升级，红外图像更加丰富、质量越高，如何提高打击效果评估的准确率，进行智能化地打击效果评估成为了一个重要的问题。

武汉科技大学在其申请的专利文献“基于射流边缘分析和打击偏差反馈的船舶打击效果评估方法”(专利申请号：201910412469.9，申请公布号：CN 110245569 A)中公开了一种基于射流边缘分析和打击偏差反馈的船舶打击效果评估方法。该方法通过光电云台设备采集视频图像信息，利用射流分割模型对所述视频图像信息进行处理，提取射流轮廓和船舶轮廓，在有射流打击目标船舶的情况下，结合目标船舶的坐标位置与射流实际打击点的位置计算水炮射击存在的偏差，以达到修正反馈和打击效果评估的效果。该方法存在的不足之处是，主要通过射流模型等评估水炮对于船舶的打击效果，仅仅适用于水炮的打击效果评估，对于其他非流体武器，射流分割模型中的射流运动轨迹、打击效果与其他刚体具有较大差异，所以射流分割模型并不适用。

北京理工大学在其申请的专利文献“基于卷积神经网络的毁伤效能评估和火力规划方法”(专利申请号：202110832886.6，申请公布号：CN 113627749 A)中公开了一种基于卷积神经网络对毁伤效能进行评估和火力规划的方法。该方法通过将目标外形投影、瞄准点转换为图像，通过卷积神经网络预测任意瞄准点下对该目标的毁伤几率，提供了一种火力规划的方法。该方法的不足之处是，只考虑到了最终的打击效果，没有做到过程中的实时打击状态分析，对于可能存在的例如“目标丢失”等其他异常状态，缺乏明确的分析，整体对于打击状态的分析不够完整和明确。

发明内容

本发明的目的在于针对上述现有技术的不足，提供出一种基于深度学习的目标打击效果评估方法，以解决现有技术仅仅适用于水炮的打击效果评估，对于其他非流体武器，射流与其他刚体具有较大差异的问题，以及只考虑到最终的打击效果，没有做到过程中的实时打击状态分析的问题。

实现本发明目的的思路是：本发明采用了YOLOv4算法中的CSPDarknet53卷积神经网络，由于卷积神经网络具有处理分类的能力，对于现有的刚体运动轨迹可以很好地进行识别，解决了现有技术对于刚体运动轨迹分析的局限性。本发明构建了一个状态机，状态机对于各种事件的输入和状态转化具有明确的表示，目标打击过程中涉及到较多的状态转换，适合使用状态机进行打击评估。通过包含红外目标的训练集训练卷积神经网络，使得训练好的卷积神经网络具有良好的目标识别效果，在对红外图像中的目标打击效果进行评估时，通过卷积神经网络识别出的目标类别和位置，并输入到状态机中，得到实时的打击效果评估。

本发明的步骤包括如下：

步骤1，生成模拟打击红外目标的训练集和测试集：

步骤1.1，将至少1000张包含被打击目标、打击目标和爆炸目标共3种目标类型的红外目标图片组成样本集；

步骤1.2，对样本集中的每张图片依次进行缩放和通道转换的预处理；

步骤1.3，对预处理后的样本集中每张图片标注目标的类别和位置信息；

步骤1.4，将标注后的样本集按照3:1的比例生成训练集和测试集；

步骤2，训练卷积神经网络CSPDarknet53：

将训练集中的图片输入到卷积神经网络CSPDarknet53中，利用反向传播梯度下降法，迭代更新卷积神经网络的各层参数，直到损失函数收敛为止，得到训练好的卷积神经网络；

步骤3，对测试集的每张图片进行目标检测：

将测试集中每张图片输入到训练好的卷积神经网络CSPDarknet53中，输出该张图片中每个目标的类别和位置；按照时间顺序，确认测试集中不同张图片中相近距离的目标是否为同一个实际的物体，将相同目标的类别和位置以帧的形式添加到列表中；

步骤4，更新状态机中目标信息：

依存入次序依次取列表中的一行，对每种目标按照类别进行如下的处理；

步骤4.1，如果所选行中存在被打击目标，若被打击目标没有相应状态机，则为被打击目标创建状态机，将状态机中被打击目标的出现帧数设置为1；若被打击目标有相应状态机，将状态机中被打击目标的出现帧数加1，并用所选行对应被打击目标的位置更新状态机中被打击目标的位置；

步骤4.2，如果所选行中存在打击目标，若打击目标没有相应状态机，则使用本行中距离本打击目标最近的被打击目标的状态机，作为本打击目标的状态机，并将状态机中打击目标的出现帧数设置为1；若打击目标存在相应状态机，将状态机中打击目标的出现帧数加1；

步骤4.3，如果所选行中存在爆炸目标，若该爆炸目标没有相应状态机，则使用本行中距离本爆炸目标最近的被打击目标的状态机，作为本爆炸目标的状态机，并将状态机中爆炸目标的出现帧数设置为1；若爆炸目标存在相应状态机，将状态机中爆炸目标的出现帧数加1；

步骤5，判定每个被打击目标的打击效果：

步骤5.1，遍历更新后的每个状态机，如果状态机中的被打击目标的连续出现帧数在15帧以上，则该状态机进入被打击目标锁定状态；

步骤5.2，当状态机进入到被打击目标锁定状态以后，如果打击目标的位置与状态机中记录的被打击目标的位置相近，并且同一打击目标的出现帧数能连续持续10帧以上，则进入打击目标锁定状态；如果同一被打击目标丢失超过20帧以上，状态机会进入被打击不明状态；如果同一打击目标持续超过250帧未出现，状态机进入锁定超时状态；

步骤5.3，当进入打击目标锁定状态后的状态机进入倒计后，如果在40帧以内该状态机中出现爆炸目标，并且同一爆炸目标的出现帧数持续10帧以上，则该状态机进入到爆炸发生状态；如果状态机中的倒计时结束，状态机中仍然没有出现爆炸目标，则状态机进入到锁定超时状态，会立即转换到被打击目标未命中状态；如果同一被打击目标丢失超过20帧，状态机进入不明状态；

步骤5.4，当状态机进入到爆炸发生状态以后，若同一被打击目标坠毁或者击残连续的出现帧数在10帧以上，则状态机进入到被打击目标成功命中状态；若同一被打击目标仍然存在，并且连续出现帧数超过20帧，说明被打击目标逃逸，则状态机进入到被打击目标未命中状态。

本发明与现有的技术相比具有以下优点：

第一，本发明使用红外图像的刚体目标数据集，训练了CSPDarknet53卷积神经网络，可以从训练好的卷积神经网络中获取打击目标的位置、类别，克服了现有技术只能从流体的运动进行打击评估的缺陷，使得本发明具有对于刚体可以进行准确地分析运动状态的优点。

第二，本发明构建的基于打击事件输入的状态机，能够完整的对打击状态进行分析，克服了现有技术只评估最终的打击效果、没有实时的状态分析的不足，使得本发明能够实时、完整提供打击状态的优点。

附图说明

图1为本发明的流程图；

图2为本发明测试集中预处理后的前3张图片输入到训练好的卷积神经网络CSPDarknet53后的输出的目标位置图；

图3为本发明中状态机的状态转换图。

具体实施方式

下面结合附图和实施例，对本发明的进一步详细描述。

参照图1和实施例，对本发明的实现步骤做进一步详细描述。

步骤1，生成模拟打击红外目标的训练集和测试集。

本发明的实施例选取了1000张包含被打击目标、打击目标和爆炸目标共3种目标类型的红外目标图片组成模拟打击红外目标的样本集。

对样本集中的每张红外目标图片依次进行缩放和通道转换的预处理，即将图片先统一放缩到512×640大小，再转换为单通道格式得到每张图片均为512×640大小的单通道图像。

对预处理后的每张红外目标图片中的每个目标的位置和每个目标的类别，分别进行标注，将标注后的样本按照3:1的比例生成训练集和测试集。

所述样本集中的被打击目标指的是无人机，打击目标指的是发射的炮弹，爆炸目标指的是红外目标图片的圆形爆炸亮光。

步骤2，训练卷积神经网络CSPDarknet53。

本发明的实施例所采用的卷积神经网络为现有技术的CSPDarknet53网络。卷积神经网络CSPDarknet53是指，Alexey Bochkovskiy等人在“YOLOv4：Optimal Speed andAccuracy of Object Detection,Computer Vision and Pattern Recognition,2004：10931,2020”中提出的目标检测方法YOLOv4中所用到的卷积神经网络CSPDarknet53。

将训练集中的每张图片输入到卷积神经网络CSPDarknet53中，利用反向传播梯度下降法，迭代更新卷积神经网络的各层参数，直到损失函数收敛为止，得到训练好的卷积神经网络。

所述的损失函数为类别损失函数和位置损失函数之和，其中类别损失函数Loss1的计算公式如下：

其中，Loss1表示类别损失函数，N表示训练集中样本的总数，∑表示求和操作，j表示检测出的训练集中目标类别的序号，j＝1，2，..m，m表示训练集中目标检测的类别总数，本发明的实施例中的共有3种目标类别，则m＝3，i表示训练集中样本的序号，i＝1，2，..N，p_ij表示训练集中第i个样本检测出为第j类的概率。p_ij表示第i张图片经过卷积神经网络CSPDarknet53的运算后输出的为第j类的概率。

所述位置损失函数Loss2的计算公式如下：

其中，Loss2表示位置损失函数，P_i表示训练集中第i个样本经卷积神经网络CSPDarknet53输出的预测框的像素面积，G_i表示第i个样本中人工标定的标注框的像素面积，∩表示求交集操作，∪表示求并集操作。

步骤3，对测试集的每张图片进行目标检测。

将测试集中的每张图片输入到训练好的卷积神经网络CSPDarknet53中，输出目标的类别和位置，类别包含了被打击目标、打击目标和爆炸目标共3种，位置会在图片中以预测方框的形式展现出来。

按照时间顺序，确认测试集中不同张图片中的距离相近的目标是否为同一个实际的物体，将相同目标的类别和位置以帧的形式添加到列表中。

结合图2对步骤3进一步说明。

图2(a)为将测试集中的第一张图片输入到训练好的卷积神经网络CSPDarknet53输出的结果图，t时刻在图2(a)中检测到了1个目标，并且目标1的预测位置为(3.0,4.3)，单位为像素。

图2(b)为将测试集中的第二张图片输入到训练好的卷积神经网络CSPDarknet53后的结果图，t+1时刻在图2(b)中检测到了2个目标，并且目标1的预测位置(3.6,5.2)，目标2的预测位置(8.4,2.7)，单位为像素。

图2(c)为将测试集中第三张图片输入到训练好的卷积神经网络CSPDarknet53后的结果图，t+2时刻在图2(c)中检测到了2个目标，并且目标1的预测位置(4,6.7)，目标2的预测位置(6.0,4.3)，单位为像素。

将图2(a)的图片中目标1的类别、位置信息以帧号1的形式，添加到列表的第一行中。将图2(b)的图片中目标1、2的类别、位置信息以帧号2的形式，添加到列表的第二行中。将图2(c)的图片目标1、2的类别、位置信息以帧号3的形式，添加到列表的第三行中。采用与上述相同的方法，将测试集中剩余的每张图片中的目标的类别、位置信息以图片序号对应的帧号的形式添加到列表中。

步骤4，更新状态机中目标信息。

所述的状态机为记录一个被打击目标的位置信息和出现帧数、打击目标的出现帧数、爆炸目标的出现帧数、进行被打击目标状态转换的元件。

依存入次序依次取列表中的一行，对每种目标按照类别进行如下的处理；

步骤4.1，如果所选行中存在被打击目标，若被打击目标没有相应状态机，则为被打击目标创建状态机，将状态机中被打击目标的出现帧数设置为1；若被打击目标有相应状态机，将状态机中被打击目标的出现帧数加1，并用所选行对应被打击目标的位置更新状态机中被打击目标的位置；

步骤4.2，如果所选行中存在打击目标，若打击目标没有相应状态机，则使用本行中距离本打击目标最近的被打击目标的状态机，作为本打击目标的状态机，并将状态机中打击目标的出现帧数设置为1；若打击目标存在相应状态机，将状态机中打击目标的出现帧数加1；

步骤4.3，如果所选行中存在爆炸目标，若该爆炸目标没有相应状态机，则使用本行中距离本爆炸目标最近的被打击目标的状态机，作为本爆炸目标的状态机，并将状态机中爆炸目标的出现帧数设置为1；若爆炸目标存在相应状态机，将状态机中爆炸目标的出现帧数加1；

参照图2，对步骤4更新状态机中目标信息的过程做进一步说明。

根据列表每次顺序取一行，第一次从列表中选取了第一行的帧号为1的图片的检测结果，为目标1创建状态机1，再将状态机1中目标1的出现帧数设为1；状态机为记录一个被打击目标的位置信息和出现帧数、进行被打击目标状态转换的元件。取列表中第二行的帧号为2的图片的检测结果，将此帧的目标1的位置信息更新到状态机1中的目标1位置中，再将状态机1中目标1的出现帧数加1；为目标2创建状态机2，再将状态机2中目标2的出现帧数设为1。取列表中第三行的帧号为3的图片的检测结果，将此帧的目标1、2的位置信息分别更新到状态机1、2中的目标位置中，并将状态机1、2中目标1、2的出现帧数分别加1。再将列表中的剩余行，按照每行更新每个状态机的目标位置和出现帧数。

步骤5，判定每个被打击目标的打击效果。

参照图3，对步骤5判定每个被打击目标的打击效果的过程做进一步说明。

步骤5.1，遍历更新后的每个状态机，如果状态机中的被打击目标的连续出现帧数在15帧以上，则该状态机进入被打击目标锁定状态；

步骤5.2，当状态机进入到被打击目标锁定状态以后，如果打击目标的位置与状态机中记录的被打击目标的位置相近，并且同一打击目标的出现帧数能连续持续10帧以上，则进入打击目标锁定状态；如果同一被打击目标丢失超过20帧以上，状态机会进入被打击不明状态；如果同一打击目标持续超过250帧未出现，状态机进入锁定超时状态；

步骤5.3，当进入打击目标锁定状态后的状态机进入倒计后，如果在40帧以内该状态机中出现爆炸目标，并且同一爆炸目标的出现帧数持续10帧以上，则该状态机进入到爆炸发生状态；如果状态机中的倒计时结束，状态机中仍然没有出现爆炸目标，则状态机进入到锁定超时状态，会立即转换到被打击目标未命中状态；如果同一被打击目标丢失超过20帧，状态机进入不明状态；

步骤5.4，当状态机进入到爆炸发生状态以后，若同一被打击目标坠毁或者击残连续的出现帧数在10帧以上，则状态机进入到被打击目标成功命中状态；若同一被打击目标仍然存在，并且连续出现帧数超过20帧，说明被打击目标逃逸，则状态机进入到被打击目标未命中状态。

结合图3对判定每个被打击目标的打击效果的步骤进行进一步描述。

状态机开始时为搜索被打击目标状态，搜索到被打击目标后状态机跳转到被打击目标锁定状态，多帧检测到打击目标后进入打击目标锁定状态，进而打击目标与被打击目标遭遇状态机中出现多帧爆炸目标后跳转到爆炸状态，如果被打击目标坠毁则进入击残状态，如果被打击消失则进入击毁状态，被打击目前击毁和击残两种状态都被视为被打击目标命中状态。如果被打击目标或打击目标的锁定时间超过时限，则认为被打击目标逃逸，为被打击目标未命中状态；同样地，如果状态机处于爆炸发生状态时被打击目标继续逃逸，则也为被打击目标未命中状态。如果被打击目标或打击目标丢失，状态机为被打击目标不明状态。

下面结合仿真实验对本发明的效果作进一步的说明：

1.仿真实验条件：

本发明的仿真实验的硬件平台为：处理器为Intel i7 9700k CPU，主频为3.6GHz，内存16GB。

本发明的仿真实验的软件平台为：Ubuntu16.0.4的64位操作系统和C++11。

本发明仿真实验中所使用的图像为红外海洋目标检测数据集，该数据集为山东大学光学高等研究中心于2020年5月22日发布的红外海洋目标检测数据集。该数据集中包含短波红外图像、长波红外图像及二者的融合图像，图像大小为640×512，共3142张，图像格式为jpg。

本发明仿真实验中所使用的国产化推理加速平台为华为Atlas300I推理卡，在华为昇腾开发者中心网站下载驱动A300-3010-npu-driver_20.2.0_ubuntu18.04-x86_64.run、固件A300-3000-3010-npu-firmware_1.76.22.3.220.run和开发套件Asc end-cann-toolkit_20.2.rc1_linux-x86_64.run，参照Atlas300I推理卡安装指导书进行安装，确保推理卡的正常使用。

本发明仿真实验中所使用的无国产化推理加速平台为GeForce RTX 1080Ti显卡。

2.仿真内容及其结果分析：

本发明仿真实验是采用本发明方法对输入的山东大学光学高等研究中心的红外海洋目标检测数据集进行目标的打击效果进行评估，获取目标的打击结果。

为了验证本发明仿真实验的效果，利用一个平均帧率的评价指标，对采用本发明方法的打击效果进行评价。平均帧率是处理时间的倒数，处理时间包含预处理时间、推理时间、后处理时间，测试10次取平均时间，用有华为Atlas300I推理卡进行国产化加速与无加速进行速度对比测试。实现表明在无加速情况下数据集的的检测的平均帧率为19.28帧，在有华为Atlas300I推理卡进行国产化加速的情况下的数据集的检测的平均帧率为33.57帧，使用了华为Atlas300I推理卡进行国产化加速后，单张图片的检测速度明显增加。

为了验证本发明在判定打击效果的有效性上，输入模拟打击测试集中不同的视频，记录每个视频经过本发明输出的目标的打击评估效果和人工标定的打击评估效果。经过对模拟打击测试集进行目标的打击效果的测试，测试集中共有44个视频，除去5个无结果的视频后还有39个视频，采用本发明方法的评估的38个视频的评估结果与人工标定的一致，准确率能达到97.43％。

综合以上仿真实验，本发明能够达到实时性的要求，并且对于海上的打击视频的处理准确率也非常高，能够达到实时的目标打击效果评估。

以上是本发明参照当前较佳实施方式进行的描述，显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修正和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims (3)

1.一种基于深度学习的目标打击效果评估方法，其特征在于，更新状态机中目标信息，判定每个被打击目标的打击效果，该评估方法的步骤包括如下：

步骤1，生成模拟打击红外目标的训练集和测试集：

步骤1.1，将至少1000张包含被打击目标、打击目标和爆炸目标共3种目标类型的红外目标图片组成样本集；

步骤1.2，对样本集中的每张图片依次进行缩放和通道转换的预处理；

步骤1.3，对预处理后的样本集中每张图片标注目标的类别和位置信息；

步骤1.4，将标注后的样本集按照3:1的比例生成训练集和测试集；

步骤2，训练卷积神经网络CSPDarknet53：

将训练集中的图片输入到卷积神经网络CSPDarknet53中，利用反向传播梯度下降法，迭代更新卷积神经网络的各层参数，直到损失函数收敛为止，得到训练好的卷积神经网络；

步骤3，对测试集的每张图片进行目标检测：

将测试集中每张图片输入到训练好的卷积神经网络CSPDarknet53中，输出该张图片中每个目标的类别和位置；按照时间顺序，确认测试集中不同张图片中相近距离的目标是否为同一个实际的物体，将相同目标的类别和位置以帧的形式添加到列表中；

步骤4，更新状态机中目标信息：

依存入次序依次取列表中的一行，对每种目标按照类别进行如下的处理；

步骤4.1，如果所选行中存在被打击目标，若被打击目标没有相应状态机，则为被打击目标创建状态机，将状态机中被打击目标的出现帧数设置为1；若被打击目标有相应状态机，将状态机中被打击目标的出现帧数加1，并用所选行对应被打击目标的位置更新状态机中被打击目标的位置；

步骤4.2，如果所选行中存在打击目标，若打击目标没有相应状态机，则使用本行中距离本打击目标最近的被打击目标的状态机，作为本打击目标的状态机，并将状态机中打击目标的出现帧数设置为1；若打击目标存在相应状态机，将状态机中打击目标的出现帧数加1；

步骤4.3，如果所选行中存在爆炸目标，若该爆炸目标没有相应状态机，则使用本行中距离本爆炸目标最近的被打击目标的状态机，作为本爆炸目标的状态机，并将状态机中爆炸目标的出现帧数设置为1；若爆炸目标存在相应状态机，将状态机中爆炸目标的出现帧数加1；

步骤5，判定每个被打击目标的打击效果：

步骤5.1，遍历更新后的每个状态机，如果状态机中的被打击目标的连续出现帧数在15帧以上，则该状态机进入被打击目标锁定状态；

步骤5.2，当状态机进入到被打击目标锁定状态以后，如果打击目标的位置与状态机中记录的被打击目标的位置相近，并且同一打击目标的出现帧数能连续持续10帧以上，则进入打击目标锁定状态；如果同一被打击目标丢失超过20帧以上，状态机会进入被打击不明状态；如果同一打击目标持续超过250帧未出现，状态机进入锁定超时状态；

步骤5.3，当进入打击目标锁定状态后的状态机进入倒计后，如果在40帧以内该状态机中出现爆炸目标，并且同一爆炸目标的出现帧数持续10帧以上，则该状态机进入到爆炸发生状态；如果状态机中的倒计时结束，状态机中仍然没有出现爆炸目标，则状态机进入到锁定超时状态，会立即转换到被打击目标未命中状态；如果同一被打击目标丢失超过20帧，状态机进入不明状态；

步骤5.4，当状态机进入到爆炸发生状态以后，若同一被打击目标坠毁或者击残连续的出现帧数在10帧以上，则状态机进入到被打击目标成功命中状态；若同一被打击目标仍然存在，并且连续出现帧数超过20帧，说明被打击目标逃逸，则状态机进入到被打击目标未命中状态。

2.根据权利要求1所述的基于深度学习的目标打击效果评估方法，其特征在于，步骤1.2中所述的预处理指的是，对样本集中的每张红外目标图片先统一缩放到512×640大小，再转换为单通道格式。

3.根据权利要求1所述的基于深度学习的目标打击效果评估方法，其特征在于，步骤2中所述的损失函数为类别损失函数和位置损失函数之和，其中类别损失函数Loss1的计算公式如下：

其中，Loss1表示类别损失函数，N表示训练集中样本的总数，Σ表示求和操作，j表示检测出的训练集中目标类别的序号，j＝1,2,..m，m表示训练集中目标检测的类别总数，本发明的实施例中的共有3种目标类别，则m＝3，i表示训练集中样本的序号，i＝1,2,..N，p_ij表示训练集中第i个样本检测出为第j类的概率；p_ij表示第i张红外目标图片经过卷积神经网络CSPDarknet53的运算后输出的为第j类的概率；

所述位置损失函数Loss2的计算公式如下：

其中，Loss2表示位置损失函数，P_i表示训练集中第i个样本经卷积神经网络CSPDarknet53输出的预测框的像素面积，G_i表示第i个样本中人工标定的标注框的像素面积，∩表示求交集操作，∪表示求并集操作。

Images