CN115546659A - 一种基于卫星图像机场目标毁伤检测方法 - Google Patents

一种基于卫星图像机场目标毁伤检测方法 Download PDF

Info

Publication number
CN115546659A
CN115546659A CN202211265767.8A CN202211265767A CN115546659A CN 115546659 A CN115546659 A CN 115546659A CN 202211265767 A CN202211265767 A CN 202211265767A CN 115546659 A CN115546659 A CN 115546659A
Authority
CN
China
Prior art keywords
runway
damage
convolution
airport
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211265767.8A
Other languages
English (en)
Inventor
于淼
孙莉
宋政伟
张元淳
侯俊
郑培清
张国和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Siyuan Integrated Circuit And Intelligent Technology Research Institute Co ltd
Original Assignee
Jiangsu Siyuan Integrated Circuit And Intelligent Technology Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Siyuan Integrated Circuit And Intelligent Technology Research Institute Co ltd filed Critical Jiangsu Siyuan Integrated Circuit And Intelligent Technology Research Institute Co ltd
Priority to CN202211265767.8A priority Critical patent/CN115546659A/zh
Publication of CN115546659A publication Critical patent/CN115546659A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Remote Sensing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及机场毁伤检测技术领域，尤其涉及一种基于卫星图像机场目标毁伤检测方法，包括构建机场设施目标检测数据集；对CSPNet进行改造；改进训练优化策略；采用DoReFa‑Net多值量化方法对YOLOv5网络进行优化，同时量化权重、特征值和梯度；基于YOLOv5网络的超大图像推理部署；对油罐毁伤、机堡毁伤、飞机及跑道毁伤进行分类毁伤检测。本发明提供基于结构重参数化与8bit量化的深度学习网络结构、分步对高精度卫星遥感图像中机场各目标毁伤的检测；针对跑道毁伤是利用最小起降窗口与跑道分别从不同的角度进行逐点卷积，根据弹坑分布计算最小起降窗口的面积，从而判断跑道毁伤后飞机能否起飞。

Description

一种基于卫星图像机场目标毁伤检测方法
技术领域
本发明涉及机场毁伤检测技术领域，尤其涉及一种基于卫星图像机场目标毁伤检测方法。
背景技术
卫星系统提供的遥感信息支持已经成为至关重要的战场信息感知源，然而数据集有限、模型难以部署等问题却成为这一领域应用的瓶颈，尤其是对于机场中各类基础设施的目标识别，以及军事打击后目标是否毁伤的判定，是节约判读员时间、提高作战效率的关键。
在毁伤评估领域，现有的传统方法通常是采用变化检测的方式描述目标特征，对毁伤信息进行提取。通过建立目标特征向量“相似度”、几何和纹理特征“二次距离”制定评估规则。该方法尽管采用一定的仿真手段得到了比较好的效果，但对实际复杂目标的超大图像而言，当采集图像中各类目标占比明显较小时识别效果较差。同时，该类算法也面临图像难以配准、实现难度较大、难以部署等问题，尤其是在观测场景、应用环境等发生改变时，算法几近失效。
而基于深度学习的神经网络模型对目标毁伤的识别方法可有利于终端部署，同时也可以结合目标的具体模型以及更多的非图像信息对目标的毁伤进行更准确的判断，因此，开展基于神经网络模型的机场目标毁伤检测技术的研究十分必要。
发明内容
针对现有算法的不足，本发明提供基于结构重参数化与8bit量化的深度学习网络结构、分步对高精度卫星遥感图像中机场各目标毁伤的检测方法；针对跑道毁伤是利用最小起降窗口与跑道分别从不同的角度进行逐点卷积，根据弹坑分布计算最小起降窗口的面积，从而判断跑道毁伤后飞机能否起飞。
本发明所采用的技术方案是：一种基于卫星图像机场目标毁伤检测方法包括以下步骤：
步骤一、构建机场设施目标检测数据集，包括构建飞机、机堡、机堡弹坑及跑道弹坑的卫星图像数据集；
步骤二、利用结构重参数化思想，结合单路模型以轻量化的YOLOv5网络为基础对CSPNet进行改造，并采用解耦训练时和推理时架构；针对遥感类图像小目标的识别，并改进训练优化策略；
进一步的，对CSPNet进行改造，并采用解耦训练时和推理时架构，具体包括：
将Identity转换为1x1卷积，构造出一个以单位矩阵为卷积核的1x1卷积；
将1x1卷积等价转换为3x3卷积并用0填充，其中，3x3卷积的参数是4个3x3矩阵，1x1卷积的参数是1个2x2矩阵；三个分支都有BN层，参数包括累积得到的均值及标准差、学习得到的缩放因子及bias，推理时的卷积层和BN层等价转换为一个带bias的卷积层；
将CSPNet中的3×3卷积进行结构重参数化改造，重新嵌入到YOLOv5网络中，作为训练时的网络架构，而在推理时，将旁支融合到3×3卷积模块中。
进一步的，改进训练优化策略具体包括：对损失函数的优化和对激活函数的适应性改进。
进一步的，损失函数的优化包括：采用S-IOU损失函数，分别计算角度成本、距离成本、形状成本和IoU成本，得到IOU损失函数。
进一步的，激活函数的适应性改进包括：将3*3卷积与ReLU函数合并为基本算子，将swish函数替换为ReLU函数。
步骤三、采用DoReFa-Net多值量化方法对YOLOv5网络进行优化，同时量化权重、特征值和梯度，反向传播时更新权重的全精度表示，推断时使用权重的量化表示；在权重的量化过程中利用直通估计方式规避0梯度；
进一步的，DoReFa-Net多值量化的公式为：
Figure 481605DEST_PATH_IMAGE001
（12）
对特征值的量化则直接采用截断的方式：
Figure 426427DEST_PATH_IMAGE002
（13）
其中，r i 是范围为0到1之间的实数，r o 是范围为0到1之间的k位量化数值，
Figure 591961DEST_PATH_IMAGE003
为激 活函数。
步骤四、基于YOLOv5网络的超大图像推理部署；
进一步的，具体包括：
根据步骤三导出的模型实现单张图像的推理；
采用opencv-python的方式进行图像读取并格式转换，再进行归一化；
得到每个目标框的位置和置信度，进行非极大值抑制，通过OpenCVcv2.dnn.NMSBoxes函数，根据置信度阈值和IOU阈值进行筛选得到单张图像推理结果；
采用步长切割的方式将超大图像切割成能小尺寸图像，选定合适的步长，计算每个小尺寸图像在超大图像中的位置。
步骤五、对油罐毁伤、机堡毁伤、飞机及跑道毁伤进行分类毁伤检测；
进一步的，油罐毁伤、机堡毁伤的检测方法包括：
将毁伤前的超大图像进行油罐和机堡目标的推理识别，获得油罐和机堡的实际地理坐标；
将毁伤后的同一区域超大图像进行推理识别，根据实际地理坐标检查同一位置是否有预测框，从而判断油罐和机堡是否毁伤；
对毁伤前后两张图像中的油罐和机堡预测框进行计数，得出区域油罐和机堡类目标的毁伤数目。
进一步的，飞机及跑道的毁伤检测方法，包括：
根据机场跑道的四个角坐标对跑道定位，并将毁伤后的超大图像进行跑道区域内弹坑的推理识别，得出弹坑地理坐标；
利用最小起降窗口与跑道分别从不同的角度进行逐点卷积，当不存在弹坑时卷积结果为最小起降窗口的面积，记录起降窗口的位置。
进一步的，具体包括：
输入最小起降窗口的宽、高，跑道四个角的坐标和弹坑的坐标，计算跑道的两条直角边的长度并根据长边求斜率；计算跑道中心坐标及跑道的高和宽，求跑道的倾斜角度以确定旋转矩阵，将跑道摆正，将原图中弹坑的坐标处理为只有跑道摆正后的矩形中的坐标，计算最小起降窗口；
以跑道为中心进行扩展，穷举搜索最小起降窗口的角度范围和步进，扩展后的跑道逆时针旋转，保持扩展后的跑道矩阵大小不变；旋转后的矩阵与最小起降窗口卷积；在满足最小起降窗口的条件下，如果更宽的窗口依然没有弹坑，则增加窗口的宽度，记录起降窗口的横坐标、纵坐标、宽、高；在起降窗的宽度相同时，如果更高的窗口依然没有弹坑，则增加窗口的高度；最后根据原图中起降窗口四个角的位置输出坐标。
本发明的有益效果：
1、基于结构重参数化与8bit量化的深度学习网络结构、分步对高精度卫星遥感图像中机场各目标毁伤的检测，相较于此前的判读员查找及变化检测方法，本发明能够在保证精度的同时，大幅提升推理速度及其硬件亲和性；
2、使用遥感地图进行机场设施目标的检测数据集构建，以结构重参数化思想及损失函数与激活函数角度改进YOLOv5网络结构，基于单张图像的推理过程实现基于YOLOv5模型的超大卫星图像推理部署，在超大图像中根据机场各类目标的毁伤效果不同分别进行毁伤检测；
3、针对飞机及跑道的特点，利用最小起降窗口和跑道分别从不同的角度进行逐点卷积，准确最小起降窗口的面积，从而判断机场是否满足飞机起飞条件。
附图说明
图1是本发明的基于卫星图像机场目标毁伤检测方法流程图；
图2是本发明的模型训练部署策略对比图；
图3是本发明的RepVGG结构与ResNet结构对比示意图；
图4是本发明的改进CSPNet结构示意图；
图5是本发明的角度成本计算示意图；
图6是本发明的IOU损失计算示意图；
图7是本发明的超大图像推理部署流程图；
图8是本发明的目标毁伤检测流程；
图9是本发明模拟生成的跑道弹坑及最小起降窗口。
具体实施方式
下面结合附图和实施例对本发明作进一步说明，此图为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。
如图1所示，一种基于卫星图像机场目标毁伤检测方法包括以下步骤：
步骤一、构建机场设施目标检测数据集；
由于遥感卫星为定轨卫星，因此卫星图像中的像素大小本身就是重要的特征信息，无需考虑其在尺度变换上的鲁棒性；在此基础上，将飞机根据尺寸分为了较小的战斗机与较大的特种运输机；对于机堡类考虑其排列方式、材质特点、外观颜色等视觉特点，将其分为8类。
同时为了进行毁伤检测，对机堡弹坑及跑道弹坑也进行数据集构建，机堡上的弹坑形状颜色相对统一为黑色，在图像中直径为10像素的椭圆，可采用软件模拟的方式制作训练集，根据已知的弹坑的面积范围随机生成，并且在弹坑边缘与周围环境进行融合；模拟之后可以直接自动标注，保证精准度；对于飞机及跑道附近弹坑，其种类包括直径为20像素、40像素、80像素的不规则圆，根据对实际跑道弹坑的调研情况，只需对单个弹坑完成检测，弹坑的排列方式无需考虑，只需对单个弹坑的类型、形状、打在不同材质跑道上的颜色进行丰富来生成数据集。
步骤二、基于YOLOv5网络的目标检测网络设计；
构建轻量化的YOLOv5网络，在保证精度的前提下，提升推理速度，减少不必要的能源消耗，进一步提升其硬件亲和性，更加有利于终端部署；
利用结构重参数化思想，结合单路模型速度快、多路模型精度高的特点，对YOLOv5网络的CSPNet进行改造，首先转换传统的模型部署策略，采用解耦训练时和推理时架构；根据训练设备与推理设备的不同设计性能，分别利用形式不同的网络进行设计，再利用重参数化方式将其进行等价转换。传统的模型训练部署策略与本发明中采用的模型训练部署策略对比如图2所示；
通过基于结构重参数化的模型训练部署策略，具有如下优势：
（1）3x3卷积结构在现有的硬件架构与各种优化库的加持下运算速度非常快；
（2）单路架构的速度本身远超带有复杂分支的多路结构；
（3）单路架构节约内存资源；
（4）单路架构更加灵活，容易改变各层的宽度。
如图3所示，训练完成后，通过对训练时的多分支模型进行等价转换得到部署的单路模型，根据卷积的可加性，设三个3x3卷积核分别是W1，W2，W3：
Figure 862405DEST_PATH_IMAGE004
（1）
其中，x为输入图像中与模型卷积做运算的像素区域。
如图4，将整个转换过程分为两个步骤：（a）将Identity转换为1x1卷积，构造出一个以单位矩阵为卷积核的1x1卷积；（b）将1x1卷积等价转换为3x3卷积并用0填充；由于输入和输出通道都是2，故3x3卷积的参数是4个3x3矩阵，1x1卷积的参数是1个2x2矩阵，且三个分支都有BN（batch normalization）层，其参数包括累积得到的均值及标准差和学习得到的缩放因子及bias，推理时的卷积层和其后的BN层可以等价转换为一个带bias的卷积层；利用此方法将CSPNet中的3×3卷积进行结构重参数化改造，重新嵌入到YOLOv5网络中，作为训练时的网络架构，而在推理时，将旁支融合到3×3卷积模块中，模型又可以恢复为原有架构。
进一步，为了针对遥感类图像小目标的识别，训练优化策略包括两个方面：（a）对损失函数的优化改进；（b）对激活函数的适应性改进；
损失函数是针对遥感图像的角度信息敏感需求，本发明引入S-IOU损失函数，利用边界框回归损失函数来监督网络的学习，S-IOU损失函数通过引入所需回归之间的向量角度，重新定义距离损失，有效降低了回归的自由度，加快网络收敛，进一步提升了回归精度。
角度成本是S-IOU最为重要的部分，首先在X或Y轴做预测（以最接近者为准），然后沿着相关轴继续接近，如果α＜π/4，收敛过程最小化α，否则最小化β=π/2-α；如图5所示，为角度成本计算过程；
引入LF组件：
Figure 113389DEST_PATH_IMAGE005
（2）
设计权重以平衡距离因素与角度因素在不同情况的主导因素：
Figure 65164DEST_PATH_IMAGE006
（3）
考虑形状因素来修正不正常回归现象：
Figure 334472DEST_PATH_IMAGE007
（4）
针对IOU损失进行简化改良：
Figure 464233DEST_PATH_IMAGE008
（5）
IOU的具体几何量如图6所示：
最终得到损失函数的表达式：
Figure 186201DEST_PATH_IMAGE009
（6）
激活函数方面，依托于结构重参数化思想，将3*3卷积与ReLU函数合并为基本的算子，将swish函数替换为ReLU函数；尽管会带来不可避免的精度损失，但是整体结构的一致性以及量化亲和性使得这种结构在速度方面的获益更多。
步骤三、基于轻量化模型的机场目标训练识别及模型导出；
根据步骤一中构建的机场目标数据集，按照YOLOv5网络的输入需求转换数据格式，放置图像与标签，并调整相关路径；
YOLOv5s网络是YOLOv5系列中深度最小、特征图的宽度最小的网络，速度最少，AP精度也最低，其他3种网络都是在此基础上不断加深、加宽。
根据数据集的规模与场景复杂度，本发明采用YOLOv5s进行训练，并采用步骤二中方式对YOLOv5s进行优化。
为了进一步实现模型的轻量化，本发明在训练中采用DoReFa-Net多值量化方法，同时量化权重、特征值和梯度，反向传播时更新权重的全精度表示，推断时使用权重的量化表示；在权重的量化过程中利用直通估计(Straight Through Estimator，STE)的方式来规避0梯度的问题，用于量化的直通估计如下式所示：
Figure 941668DEST_PATH_IMAGE010
（7）
其中，r i 是范围为0到1之间的实数，r o 是范围为0到1之间的k位量化数值。
实际权重量化过程可表示为下式所示：
Figure 568213DEST_PATH_IMAGE011
（8）
三种约束量化输入范围的激活函数分别如下式所示：
Figure 649301DEST_PATH_IMAGE012
（9）
Figure 592986DEST_PATH_IMAGE013
（10）
Figure 152144DEST_PATH_IMAGE014
（11）
在实际量化训练中，为了在计算/存储效率和准确率损失间进行折衷，对DoReFa-Net量化方法进行一定修改，更改了量化间距，约束了上下限避免取值为1，同时为了取值范围的对称性，去掉其对称值-1，最终量化算法如下式所示：
Figure 350038DEST_PATH_IMAGE015
（12）
对特征值的量化则直接采用截断的方式：
Figure 70869DEST_PATH_IMAGE016
（13）
量化训练开始前将式（12）、（13）的量化操作加入到YOLOv5s网络的卷积操作之前，训练的前向推断过程中先将保存的全精度权重和上一层传来的特征图输入进行量化，再使用量化数据开始该层的卷积计算，为了降低计算复杂度，将标准化参数也截断到16位有符号定点数表示范围；为了避免准确率的损失，反向传播过程中使用全精度的梯度更新全精度的权重，网络训练结束后再提取出量化参数以供后续检测使用。
完成正确的模型训练及目标识别后可对模型进行导出，本发明中使用的模型导出框架为ONNX Runtime，选择与框架最为兼容的ONNX(Open Neural Network Exchange, 开放神经网络交换)格式的模型文件ONNX对YOLOv5网络训练权重进行导出，将上一步训练好的YOLOv5网络权重best.pt直接导出为ONNX模型，用于下一步的超大图像推理部署。
步骤四、基于YOLOv5模型的超大图像推理部署；
根据步骤三导出的模型实现单张图像的推理，其过程可以分为模型载入、图像读取与预处理、预测、后处理四部分。对已经导出的ONNX格式的模型进行模型载入，并且对推理设备进行选择，本发明选择使用GPU推理的方式。
采用opencv-python的方式进行图像读取并格式转换，将图像原始数据格式转换为ONNXRuntime所能接受的输入数据格式，并且与导出的模型匹配，并对数据进行重新排列并且增加维度，最后再进行归一化；
将转换好的输入数据格式输入进模型框架中进行推理，最后得到推理结果，所用的模型只有一个输入和一个输出。
对Yolov5模型的输出结果进行处理，得到最终的预测结果，当得到了每个目标框的位置和置信度后，再进行NMS(非极大值抑制)，通过OpenCV cv2.dnn.NMSBoxes函数，根据置信度阈值和IOU阈值进行筛选得到单张图像推理结果。
基于上述的单张图像推理过程，可以实现对超大卫星图像的推理，其过程可以分为图像切割、小尺寸图像推理、结果融合这3部分；
如图7为超大图像推理部署流程图，采用步长切割的方式把6W×6W的超大图像切割成能输入网络的800×800小尺寸图像；根据目标的尺寸和小尺寸图像的尺寸选定合适的步长，确保每一个目标在切割后的小尺寸图像中至少完整的出现一次，进行预切割，计算每个小尺寸图像在超大图像中的位置。
根据上一步计算得到的小尺寸图像在超大图像中的位置进行切割，每切割一张进行一次推理(batch-size不为1时需要一次性切割多张再进行推理)，并且删除靠近边缘的目标，然后将得到的目标结果还原到超大图像上并存储，重复直至切割完成。
上一步得到的结果中包含了因步长切割导致的重复目标，本发明中通过NMS，类似于单张图像推理的后处理过程，对重复目标进行滤除，最终得到对超大卫星图像的推理结果。
步骤五、机场设施目标的分类毁伤检测方法；
通过步骤四在超大图像中实现对机场各目标的正确推理之后，根据机场各目标的实际地理坐标进行毁伤前后识别结果对比，进而判断目标是否毁伤；
如图8为目标毁伤检测流程，根据机场中个目标的毁伤效果明显不同，本发明将其分为油罐毁伤、机堡毁伤、飞机及跑道毁伤三种方式进行毁伤的检测。
对于油罐这类易燃易爆目标，毁伤后目标完全失去原来的特征，毁伤前能够识别目标，毁伤后完全无法识别；首先将毁伤前的超大图像通过步骤四进行所有油罐目标的推理识别，并获得所有油罐的实际地理坐标；然后，将毁伤后的同一区域超大图像以同样的方式进行推理识别，根据实际坐标检查该位置是否有预测框：若有，则认为该坐标处油罐未被毁伤；若无，则认为该坐标处油罐已经毁伤；同时，对毁伤前后两张图像中的油罐预测框进行计数，可得出该区域油罐类目标的毁伤数目。
对于机堡这类不易燃目标，毁伤后不会失去原来的特征，只会在目标上留下机堡弹坑；在步骤一中已经对这类目标进行制作，将毁伤后的超大图像通过步骤四进行所有机堡目标的推理识别，并获得所有机堡的实际地理坐标，根据实际坐标检查该坐标处机堡预测框内是否有机堡弹坑预测框：若有，则认为该坐标处机堡被毁伤；若无，则认为该坐标处机堡未被毁伤；同时，对毁伤后图像中处于机堡预测框内的机堡弹坑预测框进行计数，可得出该区域机堡类目标的毁伤数目。
对于飞机这类移动目标，需要根据跑道的毁伤情况判断其是否能够正常起飞，在步骤一中已经对跑道弹坑目标进行制作，首先根据机场跑道的四个角坐标对其进行定位，并将毁伤后的超大图像通过步骤四进行跑道区域内所有弹坑的推理识别，并得出所有弹坑的坐标。
根据识别后的弹坑设计了一种跑道毁伤的检测方法，主要思路为用最小起降窗口与跑道分别从不同的角度进行逐点卷积，当不存在弹坑时卷积结果为最小起降窗口的面积，记录起降窗口的位置；为了方便判断，使用旋转矩阵与平移矩阵将跑道斜的矩形放平。
首先，输入最小起降窗口的宽、高，跑道四个角的坐标（1*8矩阵，四个角坐标须为顺时针输入或者逆时针输入）以及所有弹坑的坐标（n*2矩阵），计算得出跑道的两条直角边的长度并根据长边求斜率；计算跑道中心坐标及跑道的高和宽，求跑道的倾斜角度以确定旋转矩阵，将跑道摆正，将原图中弹坑的坐标处理为只有跑道的摆正后的矩形中的坐标，只取横、纵坐标并四舍五入，计算最小起降窗口。
以跑道为中心进行扩展，穷举搜索最小起降窗口的角度范围以及步进，扩展后的跑道逆时针旋转，保持扩展后的跑道矩阵大小不变；旋转后的矩阵与最小起降窗口卷积，只考虑有效部分，不补0；在满足最小起降窗口的条件下，如果更宽的窗口依然没有弹坑，则增加窗口的宽度，记录起降窗口的横坐标、纵坐标、宽、高；在起降窗的宽度相同时，如果更高的窗口依然没有弹坑，则增加窗口的高度，即窗的高度+1，最后根据原图中起降窗口四个角的位置输出坐标。
图9为模拟生成的跑道弹坑及最小起降窗口，可利用此算法在超大图像中进行跑道毁伤的检测进而判断毁伤后飞机能否起飞。
以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims (10)

1.一种基于卫星图像机场目标毁伤检测方法，其特征在于，包括以下步骤：
步骤一、构建机场设施目标检测数据集，包括构建飞机、机堡、机堡弹坑及跑道弹坑的卫星图像数据集；
步骤二、利用结构重参数化思想，结合单路模型以轻量化的YOLOv5网络为基础对CSPNet进行改造，并采用解耦训练时和推理时架构；针对卫星图像小目标的识别，改进训练优化策略；
步骤三、采用DoReFa-Net多值量化方法对YOLOv5网络进行优化，同时量化权重、特征值和梯度，反向传播时更新权重的全精度表示，推断时使用权重的量化表示；在权重的量化过程中利用直通估计方式规避0梯度；
步骤四、基于YOLOv5网络的超大图像推理部署；
步骤五、对油罐毁伤、机堡毁伤、飞机及跑道毁伤进行分类毁伤检测。
2.根据权利要求1所述的基于卫星图像机场目标毁伤检测方法，其特征在于，对CSPNet进行改造，并采用解耦训练时和推理时架构，具体包括：
将Identity转换为1x1卷积，构造出一个以单位矩阵为卷积核的1x1卷积；
将1x1卷积等价转换为3x3卷积并用0填充，将1x1卷积等价转换为3x3卷积并用0填充，其中，3x3卷积的参数是4个3x3矩阵，1x1卷积的参数是1个2x2矩阵；三个分支都有BN层，参数包括累积得到的均值及标准差、学习得到的缩放因子及bias，推理时的卷积层和BN层等价转换为一个带bias的卷积层；
将CSPNet中的3×3卷积进行结构重参数化改造，重新嵌入到YOLOv5网络中，作为训练时的网络架构，而在推理时，将旁支融合到3×3卷积模块中。
3.根据权利要求1所述的基于卫星图像机场目标毁伤检测方法，其特征在于，改进训练优化策略，具体包括：对损失函数的优化和对激活函数的适应性改进。
4.根据权利要求3所述的基于卫星图像机场目标毁伤检测方法，其特征在于，损失函数的优化包括：采用S-IOU损失函数，分别计算角度成本、距离成本、形状成本和IoU成本，得到IOU损失函数。
5.根据权利要求3所述的基于卫星图像机场目标毁伤检测方法，其特征在于，激活函数的适应性改进包括：将3*3卷积与ReLU函数合并为基本算子，将swish函数替换为ReLU函数。
6.根据权利要求1所述的基于卫星图像机场目标毁伤检测方法，其特征在于，DoReFa-Net多值量化的公式为：
Figure 248806DEST_PATH_IMAGE001
（12）
对特征值的量化采用截断的方式：
Figure 634788DEST_PATH_IMAGE002
（13）
其中，r i 是范围为0到1之间的实数，r o 是范围为0到1之间的k位量化数值，
Figure 883367DEST_PATH_IMAGE003
为激活函 数。
7.根据权利要求1所述的基于卫星图像机场目标毁伤检测方法，其特征在于，步骤四具体包括：
采用opencv-python的方式进行图像读取并格式转换，再进行归一化；
得到每个目标框的位置和置信度，进行非极大值抑制，通过OpenCV cv2.dnn.NMSBoxes函数，根据置信度阈值和IOU阈值进行筛选得到单张图像推理结果；
采用步长切割的方式将超大图像切割成能小尺寸图像，选定步长，计算每个小尺寸图像在超大图像中的位置。
8.根据权利要求1所述的基于卫星图像机场目标毁伤检测方法，其特征在于，油罐毁伤、机堡毁伤的检测方法包括：
将毁伤前的超大图像进行油罐和机堡目标的推理识别，获得油罐和机堡的实际地理坐标；
将毁伤后的同一区域超大图像进行推理识别，根据实际地理坐标检查同一位置是否有预测框，从而判断油罐和机堡是否毁伤；
对毁伤前后两张图像中的油罐和机堡预测框进行计数，得出区域油罐和机堡类目标的毁伤数目。
9.根据权利要求1所述的基于卫星图像机场目标毁伤检测方法，其特征在于，飞机及跑道毁伤的检测方法，包括：
根据机场跑道的四个角坐标对跑道定位，并将毁伤后的超大图像进行跑道区域内弹坑的推理识别，得出弹坑地理坐标；
利用最小起降窗口与跑道分别从不同的角度进行逐点卷积，当不存在弹坑时卷积结果为最小起降窗口的面积，记录起降窗口的位置。
10.根据权利要求9所述的基于卫星图像机场目标毁伤检测方法，其特征在于，飞机及跑道的毁伤检测方法具体包括：
输入最小起降窗口的宽、高，跑道四个角的坐标和弹坑的坐标，计算跑道的两条直角边的长度并根据长边求斜率；计算跑道中心坐标及跑道的高和宽，求跑道的倾斜角度以确定旋转矩阵，将跑道摆正，将原图中弹坑的坐标处理为只有跑道摆正后的矩形中的坐标，计算最小起降窗口；
以跑道为中心进行扩展，穷举搜索最小起降窗口的角度范围和步进，扩展后的跑道逆时针旋转，保持扩展后的跑道矩阵大小不变；旋转后的矩阵与最小起降窗口卷积；在满足最小起降窗口的条件下，如果更宽的窗口依然没有弹坑，则增加窗口的宽度，记录起降窗口的横坐标、纵坐标、宽、高；在起降窗的宽度相同时，如果更高的窗口依然没有弹坑，则增加窗口的高度；最后根据原图中起降窗口四个角的位置输出坐标。
CN202211265767.8A 2022-10-17 2022-10-17 一种基于卫星图像机场目标毁伤检测方法 Pending CN115546659A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211265767.8A CN115546659A (zh) 2022-10-17 2022-10-17 一种基于卫星图像机场目标毁伤检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211265767.8A CN115546659A (zh) 2022-10-17 2022-10-17 一种基于卫星图像机场目标毁伤检测方法

Publications (1)

Publication Number Publication Date
CN115546659A true CN115546659A (zh) 2022-12-30

Family

ID=84735763

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211265767.8A Pending CN115546659A (zh) 2022-10-17 2022-10-17 一种基于卫星图像机场目标毁伤检测方法

Country Status (1)

Country Link
CN (1) CN115546659A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116975585A (zh) * 2023-09-25 2023-10-31 中国人民解放军军事科学院国防科技创新研究院 可计算即时优势窗口形式化表征方法及装置
CN117372791A (zh) * 2023-12-08 2024-01-09 齐鲁空天信息研究院 细粒度定向能毁伤区域检测方法、装置及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116975585A (zh) * 2023-09-25 2023-10-31 中国人民解放军军事科学院国防科技创新研究院 可计算即时优势窗口形式化表征方法及装置
CN116975585B (zh) * 2023-09-25 2023-12-15 中国人民解放军军事科学院国防科技创新研究院 可计算即时优势窗口形式化表征方法及装置
CN117372791A (zh) * 2023-12-08 2024-01-09 齐鲁空天信息研究院 细粒度定向能毁伤区域检测方法、装置及存储介质
CN117372791B (zh) * 2023-12-08 2024-03-22 齐鲁空天信息研究院 细粒度定向能毁伤区域检测方法、装置及存储介质

Similar Documents

Publication Publication Date Title
CN115546659A (zh) 一种基于卫星图像机场目标毁伤检测方法
CN112424828B (zh) 一种集成空间约束的核模糊c均值快速聚类算法
CN111126359B (zh) 基于自编码器与yolo算法的高清图像小目标检测方法
CN111709416B (zh) 车牌定位方法、装置、系统及存储介质
CN111753828B (zh) 一种基于深度卷积神经网络的自然场景水平文字检测方法
CN110189304B (zh) 基于人工智能的光学遥感图像目标在线快速检测方法
CN113569667B (zh) 基于轻量级神经网络模型的内河船舶目标识别方法及系统
CN111445488B (zh) 一种弱监督学习自动识别和分割盐体的方法
CN111291826B (zh) 基于相关性融合网络的多源遥感图像的逐像素分类方法
CN108229551B (zh) 一种基于紧凑字典稀疏表示的高光谱遥感图像分类方法
CN111126127B (zh) 一种多级空间上下文特征指导的高分辨率遥感影像分类方法
CN114663346A (zh) 一种基于改进YOLOv5网络的带钢表面缺陷检测方法
CN111242026B (zh) 一种基于空间层次感知模块和度量学习的遥感图像目标检测方法
CN112348758B (zh) 一种光学遥感图像数据增强方法及目标识别方法
CN111353396A (zh) 一种基于SCSEOCUnet的混凝土裂缝分割方法
CN111583276A (zh) 基于cgan的空间目标isar图像部件分割方法
CN110472640B (zh) 一种目标检测模型预测框处理方法及装置
Zhang et al. Nearshore vessel detection based on Scene-mask R-CNN in remote sensing image
Yanchen Sonar image target detection and recognition based on convolution neural network
CN113989631A (zh) 一种基于卷积神经网络的红外图像目标检测网络压缩方法
CN115797314B (zh) 零件表面缺陷检测方法、系统、设备及存储介质
CN116823741A (zh) 一种融合Gabor特征的YOLOv3航空复合材料表面缺陷目标检测方法
CN116071339A (zh) 一种基于改进鲸鱼算法优化svm的产品缺陷识别方法
CN116740572A (zh) 一种基于改进yolox的海上船舰目标检测方法和系统
CN116824330A (zh) 一种基于深度学习的小样本跨域目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination