CN115512333A - 一种sar图像的车辆目标检测方法和系统 - Google Patents

一种sar图像的车辆目标检测方法和系统 Download PDF

Info

Publication number
CN115512333A
CN115512333A CN202211227728.9A CN202211227728A CN115512333A CN 115512333 A CN115512333 A CN 115512333A CN 202211227728 A CN202211227728 A CN 202211227728A CN 115512333 A CN115512333 A CN 115512333A
Authority
CN
China
Prior art keywords
target
sar image
neural network
image
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211227728.9A
Other languages
English (en)
Inventor
谭智元
段晓杰
赵洁文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Radio Measurement
Original Assignee
Beijing Institute of Radio Measurement
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Radio Measurement filed Critical Beijing Institute of Radio Measurement
Priority to CN202211227728.9A priority Critical patent/CN115512333A/zh
Publication of CN115512333A publication Critical patent/CN115512333A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种SAR图像的车辆目标检测方法和系统，涉及目标检测领域。该方法包括：实时采集包括小目标的SAR图像；通过训练后的目标深度神经网络模型对所述SAR图像进行处理，定位并识别所述小目标，通过实时采集包括小目标的SAR图像；通过训练后的目标深度神经网络模型对所述SAR图像进行处理，快速定位并识别所述小目标，能够识别，在车辆目标对于摄像机(雷达)的距离较远，在像素规模较大的图像中的小目标；当原始图像分辨率过大，通过本方案有效提高识别速度。

Description

一种SAR图像的车辆目标检测方法和系统
技术领域
本发明涉及目标检测领域，尤其涉及一种SAR图像的车辆目标检测方法和系统。
背景技术
目前基于深度学习的目标检测方法广泛应用于民用和军事领域。现有的目标检测方法主要分为两大类：One-stage目标检测方法和Two-stage目标检测方法。One-stage的检测方法即在整个目标检测的过程中不会有候选框的提取过程，而是预先设置好固定位置固定大小的候选框，通过每个候选框直接向真实目标框(ground truth)回归类别概率和位置坐标值，这类型的代表方法主要是YOLO、SSD等。Two-stage的检测方法则首先利用如选择性搜索等提取候选框的算法，在图上生成一系列作为样本的候选框，再利用目标检测网络完成检测，这类型的代表方法主要是R-CNN，Fast R-CNN，Faster R-CNN等。相比之下，One-stage的方法具有速度上的优势但在准确率上往往会稍差于Two-stage的方法。
随着目标检测领域的发展，空中视角向下俯拍图像的目标检测成为了新的热点问题，航拍图像具有分辨率高、目标相对较小、背景复杂多样等特点，对航拍图像的目标检测具有更高的难度。在此基础上，SAR(Synthetic Aperture Radar，合成孔径雷达)生成的图像是灰度图，识别难度进一步加大。
发明内容
本发明所要解决的技术问题是针对现有技术的不足，提供一种SAR图像的车辆目标检测方法和系统。
本发明解决上述技术问题的技术方案如下：
一种SAR图像的车辆目标检测方法，包括：
实时采集包括小目标的SAR图像；
通过训练后的目标深度神经网络模型对所述SAR图像进行处理，定位并识别所述小目标。
本发明的有益效果是：本发明通过实时采集包括小目标的SAR图像；通过训练后的目标深度神经网络模型对所述SAR图像进行处理，快速定位并识别所述小目标，能够识别，在车辆目标对于摄像机(雷达)的距离较远，在像素规模较大的图像中的小目标；当原始图像分辨率过大，通过本方案有效提高识别速度；
通过本发明的SAR图像的车辆目标检测方法有效提高小目标检测的效率和准确度。
进一步地，还包括：
配置训练参数；
通过训练集对目标深度神经网络模型进行训练；
通过评估集对训练后的目标深度神经网络模型进行性能指标的评估；
评估结果满足要求，则获得最优目标深度神经网络模型；
所述通过训练后的目标深度神经网络模型对所述SAR图像进行处理，定位并识别所述小目标，具体包括：
通过训练后的最优目标深度神经网络模型对所述SAR图像进行处理，定位并识别所述小目标。
进一步地，还包括：
根据加载基准算法、增加小目标检测机制和构建的复合骨干网络，获得目标深度神经网络模型。
采用上述进一步方案的有益效果是：本方案通过根据加载基准算法、增加小目标检测机制和构建的复合骨干网络构建的目标深度神经网络模型，有效增强骨干网络能力。通过相邻backbone之间的复合连接(Composite Connection)来组合多个相同的backbone，构建出一个更强大的backbone，合并功能更强大的backbone可提高目标检测器的性能。
进一步地，还包括：
采集原始SAR图像；
对所述原始SAR图像进行标注和裁切，获得处理后的原始SAR图像；
提取处理后的原始SAR图像中包括目标标注的第一图像；
对所述第一图像进行预处理；
根据所述第一图像构建训练集、评估集和测试集。
采用上述进一步方案的有益效果是：本发明对原始生成的SAR图像进行收集、标注与裁切。在使用推理阶段，我们使用原始图片有效区域快速判断算法，通过亮度、对比度及深度学习分类模型结合的方式快速识别原始超高分辨率图像中可能包含目标的相对较小的图片数据，减少图像预处理的时间，提升方法的实时性。
对图像数据进行预处理，包括采用了多张图片随机缩放、随机裁剪、随机排布的方式进行拼接；亮度、色调调整；对比度调整；随机裁剪；随机镜像；随机旋转，以增加数据的鲁棒性与数据多样性。
进一步地，还包括：
将所述训练后的目标深度神经网络模型转为为JIT模型；
将所述JIT模型转换成目标平台的BModel格式；
将BModel格式的JIT模型通过预设方式部署到所述目标平台；
所述通过训练后的目标深度神经网络模型对所述SAR图像进行处理，定位并识别所述小目标，具体包括：
通过所述目标平台中的通过训练后的目标深度神经网络模型对所述SAR图像进行处理，快速定位并识别所述小目标。
采用上述进一步方案的有益效果是：本发明通过将BModel格式的JIT模型通过预设方式部署到所述目标平台，可以方便模型在武器装备上运行，需要进行对目标平台的适配，以满足国产化、低功耗、离线化的要求。
本发明解决上述技术问题的另一种技术方案如下：
一种SAR图像的车辆目标检测系统，包括：采集模块和定位识别模块；
所述采集模块用于实时采集包括小目标的SAR图像；
所述定位识别模块用于通过训练后的目标深度神经网络模型对所述SAR图像进行处理，定位并识别所述小目标。
本发明的有益效果是：本发明通过实时采集包括小目标的SAR图像；通过训练后的目标深度神经网络模型对所述SAR图像进行处理，快速定位并识别所述小目标，能够识别，在车辆目标对于摄像机(雷达)的距离较远，在像素规模较大的图像中的小目标；当原始图像分辨率过大，通过本方案有效提高识别速度；
通过本发明的SAR图像的车辆目标检测方法有效提高小目标检测的效率和准确度。
进一步地，还包括：模型训练评估模块，用于配置训练参数；
通过训练集对目标深度神经网络模型进行训练；
通过评估集对训练后的目标深度神经网络模型进行性能指标的评估；
评估结果满足要求，则获得最优目标深度神经网络模型；
所述定位识别模块具体用于通过训练后的最优目标深度神经网络模型对所述SAR图像进行处理，快速定位并识别所述小目标。
进一步地，还包括：模型构建模块，用于根据加载基准算法、增加小目标检测机制和构建的复合骨干网络，获得目标深度神经网络模型。
采用上述进一步方案的有益效果是：本方案通过根据加载基准算法、增加小目标检测机制和构建的复合骨干网络构建的目标深度神经网络模型，有效增强骨干网络能力。通过相邻backbone之间的复合连接(Composite Connection)来组合多个相同的backbone，构建出一个更强大的backbone，合并功能更强大的backbone可提高目标检测器的性能。
进一步地，还包括：数据集构建模块，用于采集原始SAR图像；
对所述原始SAR图像进行标注和裁切，获得处理后的原始SAR图像；
提取处理后的原始SAR图像中包括目标标注的第一图像；
对所述第一图像进行预处理；
根据所述第一图像构建训练集、评估集和测试集。
采用上述进一步方案的有益效果是：本发明对原始生成的SAR图像进行收集、标注与裁切。在使用推理阶段，我们使用原始图片有效区域快速判断算法，通过亮度、对比度及深度学习分类模型结合的方式快速识别原始超高分辨率图像中可能包含目标的相对较小的图片数据，减少图像预处理的时间，提升方法的实时性。
对图像数据进行预处理，包括采用了多张图片随机缩放、随机裁剪、随机排布的方式进行拼接；亮度、色调调整；对比度调整；随机裁剪；随机镜像；随机旋转，以增加数据的鲁棒性与数据多样性。
进一步地，还包括：部署适配模块，用于将所述训练后的目标深度神经网络模型转为为JIT模型；
将所述JIT模型转换成目标平台的BModel格式；
将BModel格式的JIT模型通过预设方式部署到所述目标平台；
所述定位识别模块具体用于通过所述目标平台中的通过训练后的目标深度神经网络模型对所述SAR图像进行处理，定位并识别所述小目标。
采用上述进一步方案的有益效果是：本发明通过将BModel格式的JIT模型通过预设方式部署到所述目标平台，可以方便模型在武器装备上运行，需要进行对目标平台的适配，以满足国产化、低功耗、离线化的要求。
本发明附加的方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明实践了解到。
附图说明
图1为本发明的实施例提供的一种SAR图像的车辆目标检测方法的流程示意图；
图2为本发明的实施例提供的一种SAR图像的车辆目标检测系统的结构框架图；
图3为本发明的其他实施例提供的使用深度卷积神经网络模型在国产化TPU平台进行SAR图像车辆目标检测的流程图；
图4为本发明的其他实施例提供的使用深度卷积神经网络模型在国产化TPU平台进行SAR图像车辆目标检测的整个软件系统的结构示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实施例只用于解释本发明，并非用于限定本发明的范围。
如图1所示，为本发明实施例提供的一种SAR图像的车辆目标检测方法，包括：
S11，实时采集包括小目标的SAR图像；其中，小目标可以表示像素规模较大的航拍图像中目标，目标相对航拍图片较小；
S12，通过训练后的目标深度神经网络模型对所述SAR图像进行处理，定位并识别所述小目标。
本发明通过实时采集包括小目标的SAR图像；通过训练后的目标深度神经网络模型对所述SAR图像进行处理，快速定位并识别所述小目标，能够识别，在车辆目标对于摄像机(雷达)的距离较远，在像素规模较大的图像中的小目标；当原始图像分辨率过大，通过本方案有效提高识别速度；
通过本发明的SAR图像的车辆目标检测方法有效提高小目标检测的效率和准确度。
可选地，在上述任意实施例中，还包括：
配置训练参数；
需要说明的是，配置训练参数可以包括：模型训练过程部分关键超参数的配置会极大程度上影响模型的效果与性能，我们设置epochs(训练轮次)为200，batch_size(批大小)为32，Imgsz(输入图像大小)为640*640像素，lr0(初始学习率)为0.001，lrf(末期学习率)为0.1，优化器为Adam。
通过训练集对目标深度神经网络模型进行训练；
通过评估集对训练后的目标深度神经网络模型进行性能指标的评估；
评估结果满足要求，则获得最优目标深度神经网络模型；
在某一实施例中，目标深度神经网络模型的训练过程可以包括：
我们在已经通过预训练(pre-train)的基准模型的基础上针对本项目数据集继续进行模型训练过程。
训练过程损失函数(Loss Function)有：box_loss(定位损失，用于描述推理框与标定框之间的误差)、obj_loss(置信度损失，用于反映网络的置信度)；
在训练过程的每一个epoch(轮次)结束后，会使用评估集来评估训练结果，通过对评估集中图片进行推理，对比标注的正确数据，得到性能指标。
性能指标有：Precision(准确率)、Recall(召回率)、mAP/AP(mean AveragePrecision，平均精确度，是反映模型综合性能的指标)。
所述通过训练后的目标深度神经网络模型对所述SAR图像进行处理，定位并识别所述小目标，具体包括：
通过训练后的最优目标深度神经网络模型对所述SAR图像进行处理，定位并识别所述小目标。
可选地，在上述任意实施例中，还包括：
根据加载基准算法、增加小目标检测机制和构建的复合骨干网络，获得目标深度神经网络模型。
需要说明的是，在某一实施例中，构建目标深度神经网络模型具体包括：
S2-1：加载baseline(基准)算法。
我们选择目标检测领域最广泛使用的YOLO系列算法(YOLOv5)为基准算法，针对本项目和数据集的特点进行改进。
S2-2：增加小目标检测机制。
针对图像拍摄视角较高、较远，目标物体较小的特点，我们增加了小目标检测头(Tiny Object Detection Block)，充分利用浅层(low-level)特征，因为其更多的表示了图像的局部特征，适合小目标。
所做的操作是模仿它的整个结构，将neck(网络结构名词)最后一次concat(连接)完的80*80特征图继续进行上采样，并与backbone(骨干网络)第一次下采样CSP之后的特征图进行融合，再通过卷积得到大小为160*160的特征图，这样对于每个网格对应的感受野变为了4*4网格，从而增强了网络捕捉小目标特征的能力来将每格特征图的最小感受野减小为4*4，提升小目标检测精度。
S2-3：增强骨干网络能力。
合并功能更强大的backbone可提高目标检测器的性能。通过相邻backbone之间的复合连接(Composite Connection)来组合多个相同的backbone，用这种方式可以构建出一个更强大的backbone，称为复合骨干网络(Composite Backbone Network)。
本方案通过根据加载基准算法、增加小目标检测机制和构建的复合骨干网络构建的目标深度神经网络模型，有效增强骨干网络能力。通过相邻backbone之间的复合连接(Composite Connection)来组合多个相同的backbone，构建出一个更强大的backbone，合并功能更强大的backbone可提高目标检测器的性能。
可选地，在上述任意实施例中，还包括：
采集原始SAR图像；
需要说明的是，采集原始SAR图像可以包括：将SAR图像素材存储在用于建立方法的计算设备上。
对所述原始SAR图像进行标注和裁切，获得处理后的原始SAR图像；
需要说明的是，标注是指：由于车辆目标的特征在高分辨率(远距离视角)图像上可以较为明显地辨认，但在裁剪后地低分辨率(近距离视角)图像上较难辨认，因此技术专家在原始图像上进行数据标注，对每一个认定的目标元素使用矩形框围绕。每一张原始图像的标注数据存储在一个对应的txt(文本)文件中。格式为每一个目标存储一行，每一行内容为：归一化后的中心点x坐标，归一化后的中心点y坐标，归一化后的目标框宽度w，归一化后的目标况高度h(此处归一化指的是除以图片宽和高)
其中裁切是指：在训练阶段，将原始的SAR图像(分辨率一般超过10000*10000)裁切为分辨率640*640的小图片。裁切方式为自左上角开始逐行裁剪，每次裁剪向右步进520个像素，一行结束时如剩余像素数量不足，则以末尾为基准向左找640个像素。单行裁切结束后，向下步进520个像素，重新回到最左侧裁剪下一行，如向下剩余像素数量不足时，则以末尾为基准向上找640个像素。对于标注信息，则根据已标注的像素位置，在裁剪后的图片上重新绘制标注。而在使用推理阶段，我们使用原始图片有效区域快速判断算法，通过亮度、对比度及深度学习分类模型结合的方式快速识别原始超高分辨率图像中可能包含目标的相对较小的图片数据，减少图像预处理的时间，提升方法的实时性。
提取处理后的原始SAR图像中包括目标标注的第一图像；
对所述第一图像进行预处理；
根据所述第一图像构建训练集、评估集和测试集。
需要说明的是，构建数据集的过程可以包括：首先筛选出有目标标注的裁剪后的图片，构建的数据集分为训练集、评估集、测试集三类，将这些图片按照8：1：1的比例随机分割开。此外，对于三类数据集，各自均按有目标图片与背景图片(无目标图片)9：1的比例构成最终的数据集。
需要说明的是，对图像数据进行预处理可以包括采用了多张图片随机缩放、随机裁剪、随机排布的方式进行拼接；亮度、色调调整；对比度调整；随机裁剪；随机镜像；随机旋转，以增加数据的鲁棒性与数据多样性。
为了增加模型的鲁棒性，通过采用对多张图片按照不同类别随机裁剪、随机排布的方式进行拼接，可以增加数据集的丰富性，特别是随机缩放增加了很多小目标，让网络的鲁棒性更好，有利用更好的提升可见光旋翼目标这种小目标的检测效果。通过对图像中亮度、色度以及对比度进行调整，可以增加网络检测的鲁棒性。通过随机裁剪、镜像和旋转数据集来弥补训练图像数据集的不足，达到对训练数据扩充的目的。
本发明对原始生成的SAR图像进行收集、标注与裁切。在使用推理阶段，我们使用原始图片有效区域快速判断算法，通过亮度、对比度及深度学习分类模型结合的方式快速识别原始超高分辨率图像中可能包含目标的相对较小的图片数据，减少图像预处理的时间，提升方法的实时性。
对图像数据进行预处理，包括采用了多张图片随机缩放、随机裁剪、随机排布的方式进行拼接；亮度、色调调整；对比度调整；随机裁剪；随机镜像；随机旋转，以增加数据的鲁棒性与数据多样性。
可选地，在上述任意实施例中，还包括：
将所述训练后的目标深度神经网络模型转为为JIT模型；
将所述JIT模型转换成目标平台的BModel格式；
将BModel格式的JIT模型通过预设方式部署到所述目标平台；
需要说明的是，在某一实施例中，为了方便模型在武器装备上运行，需要进行对目标平台的适配，以满足国产化、低功耗、离线化的要求，本项目使用的目标平台为比特大陆(算能)SE5边缘计算微服务器，它搭载算能自主研发的第三代TPU芯片BM1684。
S4-1：准备软硬件环境。
准备x86开发环境，安装docker(容器)镜像环境与对应的SDK(SoftwareDevelopment Kit，软件开发工具包)。
S4-2：将模型转换为JIT(JustInTime，即时编译)模型。
原本的模型有四个输出，在后处理中，只要对最后一个输出做NMS(Non-MaximumSuppression，非极大值抑制算法)就可得到最终结果。对于分辨率大小为640*640的输入来说，四个输出形状为：“[1,3,80,80,85][1,3,40,40,85][1,3,20,20,6][1,25200,85]”。但是对于目标平台的TPU(Tensor Processing Unit，张量处理器)来说，前三个输出是无效输出，而且由于输出较多，影响推理性能。针对FP32(Full Precise Float 32，32位单精度浮点)模型，通过将四个输出减少为一个输出，经测试，TPU推理性能将提升33％。修改后，一个输出的形状为：“[1,25200,6]”。目标平台SDK中的PyTorch模型编译工具BMNETP只接受PyTorch的JIT模型(即TorchScript模型)。
JIT(Just-In-Time)是一组编译工具，用于弥合PyTorch研究与生产之间的差距。它允许创建可以在不依赖Python解释器的情况下运行的模型，并且可以更积极地进行优化。在已有PyTorch的Python模型(基类为torch.nn.Module)的情况下，通过torch.jit.trace就可以得到JIT模型，如torch.jit.trace(python_model,torch.rand(input_shape)).save('jit_model')。
BMNETP暂时不支持带有控制流操作(如if语句或循环)的JIT模型，因此不能使用torch.jit.script，而要使用torch.jit.trace，它仅跟踪和记录张量上的操作，不会记录任何控制流操作。
S4-3：将模型进一步转换为目标平台所需的BModel(模型格式)格式。
通过BMNETP(编译工具)将JIT模型转换为FP32 BModel模型。转换后的FP32BModel模型信息为bmodel version(模型版本)：B.2.2，chip(适配芯片)：BM1684，input(模型输入格式)：1,[1,3,640,640],float32,scale:1，output(模型输出格式)：145,[1,25200,6],float32,scale:1。
S4-4：编写使用特定库(目标平台提供的SDK)的模型加载、推理、输出程序。
SAIL(Sophon Artificial Intelligent Library，算能人工智能库)是目标平台的核心模块。SAIL对BMNNSDK中原有的“加载BModel并驱动TPU推理”、“驱动TPU做图像处理”、“驱动图像和视频解码”等功能抽象并且提供简洁易用的Python接口。
我们使用OpenCV(计算机图形库)库进行解码和数据的预处理、使用SAIL进行模型的加载与推理、再使用OpenCV进行后处理与输出，完成例程在目标平台上的部署与运行。
S4-5：将例程部署到目标平台并启动推理程序，得出推理结果。
所述通过训练后的目标深度神经网络模型对所述SAR图像进行处理，定位并识别所述小目标，具体包括：
通过所述目标平台中的通过训练后的目标深度神经网络模型对所述SAR图像进行处理，定位并识别所述小目标。
本发明通过将BModel格式的JIT模型通过预设方式部署到所述目标平台，可以方便模型在武器装备上运行，需要进行对目标平台的适配，以满足国产化、低功耗、离线化的要求。
通过发明的一种基于深度学习的适配国产化边缘计算TPU的SAR图像车辆目标检测方法，技术效果有如下优势：
本发明使用原始图片有效区域快速判断算法，通过亮度、对比度及深度学习分类模型结合的方式快速识别原始超高分辨率图像中可能包含目标的相对较小的图片数据，减少图像预处理的时间，提升方法的实时性。
对图像数据进行预处理，包括采用了多张图片随机缩放、随机裁剪、随机排布的方式进行拼接；亮度、色调调整；对比度调整；随机裁剪；随机镜像；随机旋转，以增加数据的鲁棒性与数据多样性。
针对图像拍摄视角较高、较远，目标物体较小的特点，我们增加了小目标检测头(Tiny Object Detection Block)，充分利用浅层(low-level)特征，因为其更多的表示了图像的局部特征，适合小目标。
增强骨干网络能力。合并功能更强大的backbone可提高目标检测器的性能。通过相邻backbone之间的复合连接(Composite Connection)来组合多个相同的backbone，构建出一个更强大的backbone。
国产化TPU平台适配。为了方便模型在武器装备上运行，需要进行对目标平台的适配，以满足国产化、低功耗、离线化的要求。
针对FP32(Full Precise Float 32，32位单精度浮点)模型，通过将四个输出减少为一个输出，经测试，TPU推理性能将提升33％。
在另一实施例中，如图3所示，使用深度卷积神经网络模型在国产化TPU平台进行SAR图像车辆目标检测的流程图，其中展示了从数据获取、处理到模型训练、结果输出的全过程。如模型已经确定，在部署到目标平台后，只需经过S1-1和S1-3的数据处理阶段后直接进行S4-5的推理步骤即可得出结果。
在另一实施例中，如图4所示，一种基于深度学习的适配国产化边缘计算TPU的SAR图像车辆目标检测系统，其包括如下模块：
模块100：输入接收与有效区域快速判断模块。
该模块首先接收输入的数据，通过亮度、对比度及深度学习分类模型结合的方式快速识别原始超高分辨率图像中可能包含目标的相对较小的图片数据，减少图像预处理的时间，提升方法的实时性。
模块200：数据预处理模块。
该模块负责对原始生成的SAR图像进行标注与裁切，对得到的数据进行多种变换处理，并根据参数自动混合数据集。
模块300：深度学习模型训练模块。
该模块负责深度学习模型的训练与测试工作。
模块400：目标检测深度学习模型(多平台)。
该模块是系统的核心模块，用于检测输入图像中的目标位置。
模块500：深度学习模型推理模块。
该模块负责调用已有的深度学习模型对输入图像进行结果推理。
模块600：数据输出模块。
该模块用于输出模型推理结果与性能指标等数据。
在某一实施例中，如图2所示，一种SAR图像的车辆目标检测系统，包括：采集模块1101和定位识别模块1102；
所述采集模块1101用于实时采集包括小目标的SAR图像；
所述定位识别模块1102用于通过训练后的目标深度神经网络模型对所述SAR图像进行处理，快速定位并识别所述小目标。
本发明通过实时采集包括小目标的SAR图像；通过训练后的目标深度神经网络模型对所述SAR图像进行处理，快速定位并识别所述小目标，能够识别，在车辆目标对于摄像机(雷达)的距离较远，在像素规模较大的图像中的小目标；当原始图像分辨率过大，通过本方案有效提高识别速度；
通过本发明的SAR图像的车辆目标检测方法有效提高小目标检测的效率和准确度。
可选地，在上述任意实施例中，还包括：模型训练评估模块，用于配置训练参数；
通过训练集对目标深度神经网络模型进行训练；
通过评估集对训练后的目标深度神经网络模型进行性能指标的评估；
评估结果满足要求，则获得最优目标深度神经网络模型；
所述定位识别模块1102具体用于通过训练后的最优目标深度神经网络模型对所述SAR图像进行处理，定位并识别所述小目标。
可选地，在上述任意实施例中，还包括：模型构建模块，用于根据加载基准算法、增加小目标检测机制和构建的复合骨干网络，获得目标深度神经网络模型。
本方案通过根据加载基准算法、增加小目标检测机制和构建的复合骨干网络构建的目标深度神经网络模型，有效增强骨干网络能力。通过相邻backbone之间的复合连接(Composite Connection)来组合多个相同的backbone，构建出一个更强大的backbone，合并功能更强大的backbone可提高目标检测器的性能。
可选地，在上述任意实施例中，还包括：数据集构建模块，用于采集原始SAR图像；
对所述原始SAR图像进行标注和裁切，获得处理后的原始SAR图像；
提取处理后的原始SAR图像中包括目标标注的第一图像；
对所述第一图像进行预处理；
根据所述第一图像构建训练集、评估集和测试集。
本发明对原始生成的SAR图像进行收集、标注与裁切。在使用推理阶段，我们使用原始图片有效区域快速判断算法，通过亮度、对比度及深度学习分类模型结合的方式快速识别原始超高分辨率图像中可能包含目标的相对较小的图片数据，减少图像预处理的时间，提升方法的实时性。
对图像数据进行预处理，包括采用了多张图片随机缩放、随机裁剪、随机排布的方式进行拼接；亮度、色调调整；对比度调整；随机裁剪；随机镜像；随机旋转，以增加数据的鲁棒性与数据多样性。
可选地，在上述任意实施例中，还包括：部署适配模块，用于将所述训练后的目标深度神经网络模型转为为JIT模型；
将所述JIT模型转换成目标平台的BModel格式；
将BModel格式的JIT模型通过预设方式部署到所述目标平台；
所述定位识别模块1102具体用于通过所述目标平台中的通过训练后的目标深度神经网络模型对所述SAR图像进行处理，快速定位并识别所述小目标。
本发明通过将BModel格式的JIT模型通过预设方式部署到所述目标平台，可以方便模型在武器装备上运行，需要进行对目标平台的适配，以满足国产化、低功耗、离线化的要求。
现有技术的不足之处有：
车辆目标对于摄像机(雷达)的距离较远，在像素规模较大的图像中，目标较小，特征不明显；
环境较为复杂，存在严重的干扰情况；
车辆目标的特征在高分辨率(远距离视角)图像上可以较为明显地辨认，但在裁剪后地低分辨率(近距离视角)图像上较难辨认，这与机器学习(深度学习)模型难以处理输入分辨率过大的图像的特点相矛盾；
部分环境背景极暗，就算是有经验的工作人员都难以进行十分准确的辨认，识别难度更高；
原始图像分辨率过大，识别速度太慢，不满足实时性要求；
没有对国产化进行适配，在国产化浪潮与自主可控的要求下，使用国产化平台运行高性能智能化算法尤为重要。
面对这些难点，现有的SAR图像目标检测方法往往存在着较大的检测误差，因此，通过本发明的一种针对SAR图像车辆目标的检测方法，来弥补上述不足，提高检测的效率和准确度。
可以理解，在一些实施例中，可以包含如上述各实施例中的部分或全部可选实施方式。
需要说明的是，上述各实施例是与在先方法实施例对应的产品实施例，对于产品实施例中各可选实施方式的说明可以参考上述各方法实施例中的对应说明，在此不再赘述。
读者应理解，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的方法实施例仅仅是示意性的，例如，步骤的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个步骤可以结合或者可以集成到另一个步骤，或一些特征可以忽略，或不执行。
上述方法如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种SAR图像的车辆目标检测方法，其特征在于，包括：
实时采集包括小目标的SAR图像；
通过训练后的目标深度神经网络模型对所述SAR图像进行处理，定位并识别所述小目标。
2.根据权利要求1所述的一种SAR图像的车辆目标检测方法，其特征在于，还包括：
配置训练参数；
通过训练集对目标深度神经网络模型进行训练；
通过评估集对训练后的目标深度神经网络模型进行性能指标的评估；
评估结果满足要求，则获得最优目标深度神经网络模型；
所述通过训练后的目标深度神经网络模型对所述SAR图像进行处理，定位并识别所述小目标，具体包括：
通过训练后的最优目标深度神经网络模型对所述SAR图像进行处理，定位并识别所述小目标。
3.根据权利要求1或2所述的一种SAR图像的车辆目标检测方法，其特征在于，还包括：
根据加载基准算法、增加小目标检测机制和构建的复合骨干网络，获得目标深度神经网络模型。
4.根据权利要求2所述的一种SAR图像的车辆目标检测方法，其特征在于，还包括：
采集原始SAR图像；
对所述原始SAR图像进行标注和裁切，获得处理后的原始SAR图像；
提取处理后的原始SAR图像中包括目标标注的第一图像；
对所述第一图像进行预处理；
根据所述第一图像构建训练集、评估集和测试集。
5.根据权利要求1所述的一种SAR图像的车辆目标检测方法，其特征在于，还包括：
将所述训练后的目标深度神经网络模型转为为JIT模型；
将所述JIT模型转换成目标平台的BModel格式；
将BModel格式的JIT模型通过预设方式部署到所述目标平台；
所述通过训练后的目标深度神经网络模型对所述SAR图像进行处理，定位并识别所述小目标，具体包括：
通过所述目标平台中的通过训练后的目标深度神经网络模型对所述SAR图像进行处理，定位并识别所述小目标。
6.一种SAR图像的车辆目标检测系统，其特征在于，包括：采集模块和定位识别模块；
所述采集模块用于实时采集包括小目标的SAR图像；
所述定位识别模块用于通过训练后的目标深度神经网络模型对所述SAR图像进行处理，定位并识别所述小目标。
7.根据权利要求6所述的一种SAR图像的车辆目标检测系统，其特征在于，还包括：模型训练评估模块，用于配置训练参数；
通过训练集对目标深度神经网络模型进行训练；
通过评估集对训练后的目标深度神经网络模型进行性能指标的评估；
评估结果满足要求，则获得最优目标深度神经网络模型；
所述定位识别模块具体用于通过训练后的最优目标深度神经网络模型对所述SAR图像进行处理，定位并识别所述小目标。
8.根据权利要求6或7所述的一种SAR图像的车辆目标检测系统，其特征在于，还包括：模型构建模块，用于根据加载基准算法、增加小目标检测机制和构建的复合骨干网络，获得目标深度神经网络模型。
9.根据权利要求7所述的一种SAR图像的车辆目标检测系统，其特征在于，还包括：数据集构建模块，用于采集原始SAR图像；
对所述原始SAR图像进行标注和裁切，获得处理后的原始SAR图像；
提取处理后的原始SAR图像中包括目标标注的第一图像；
对所述第一图像进行预处理；
根据所述第一图像构建训练集、评估集和测试集。
10.根据权利要求6所述的一种SAR图像的车辆目标检测系统，其特征在于，还包括：部署适配模块，用于将所述训练后的目标深度神经网络模型转为为JIT模型；
将所述JIT模型转换成目标平台的BModel格式；
将BModel格式的JIT模型通过预设方式部署到所述目标平台；
所述定位识别模块具体用于通过所述目标平台中的通过训练后的目标深度神经网络模型对所述SAR图像进行处理，定位并识别所述小目标。
CN202211227728.9A 2022-10-09 2022-10-09 一种sar图像的车辆目标检测方法和系统 Pending CN115512333A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211227728.9A CN115512333A (zh) 2022-10-09 2022-10-09 一种sar图像的车辆目标检测方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211227728.9A CN115512333A (zh) 2022-10-09 2022-10-09 一种sar图像的车辆目标检测方法和系统

Publications (1)

Publication Number Publication Date
CN115512333A true CN115512333A (zh) 2022-12-23

Family

ID=84509262

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211227728.9A Pending CN115512333A (zh) 2022-10-09 2022-10-09 一种sar图像的车辆目标检测方法和系统

Country Status (1)

Country Link
CN (1) CN115512333A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116309963A (zh) * 2023-05-18 2023-06-23 太初(无锡)电子科技有限公司 一种图像的批量标注方法、装置、电子设备及存储介质
CN116886955A (zh) * 2023-07-24 2023-10-13 北京泰策科技有限公司 基于ffmpeg和yolov5的视频分析方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116309963A (zh) * 2023-05-18 2023-06-23 太初(无锡)电子科技有限公司 一种图像的批量标注方法、装置、电子设备及存储介质
CN116309963B (zh) * 2023-05-18 2023-08-18 太初(无锡)电子科技有限公司 一种图像的批量标注方法、装置、电子设备及存储介质
CN116886955A (zh) * 2023-07-24 2023-10-13 北京泰策科技有限公司 基于ffmpeg和yolov5的视频分析方法及系统
CN116886955B (zh) * 2023-07-24 2024-04-16 北京泰策科技有限公司 基于ffmpeg和yolov5的视频分析方法及系统

Similar Documents

Publication Publication Date Title
Wang et al. RENet: Rectangular convolution pyramid and edge enhancement network for salient object detection of pavement cracks
Ping et al. A deep learning approach for street pothole detection
CN109544555B (zh) 基于生成式对抗网络的细小裂缝分割方法
CN115512333A (zh) 一种sar图像的车辆目标检测方法和系统
CN112163496B (zh) 一种基于语义分割的嵌入式终端水库水位预警方法
CN110111345A (zh) 一种基于注意力网络的3d点云分割方法
CN110032998A (zh) 自然场景图片的文字检测方法、系统、装置和存储介质
CN109886147A (zh) 一种基于单网络多任务学习的车辆多属性检测方法
CN114898097B (zh) 图像识别方法及系统
CN110599453A (zh) 一种基于图像融合的面板缺陷检测方法、装置及设备终端
CN117152484B (zh) 基于改进的YOLOv5s的小目标布匹瑕疵检测方法
CN114781514A (zh) 一种融合注意力机制的漂浮物目标检测方法及系统
CN111209958A (zh) 基于深度学习的变电站设备检测方法及装置
CN113688709A (zh) 一种安全帽佩戴智能检测方法、系统、终端及介质
CN114882204A (zh) 船名自动识别方法
Imran et al. Image-based automatic energy meter reading using deep learning
Lei et al. Fisheye image object detection based on an improved yolov3 algorithm
CN116052110A (zh) 一种路面标线缺损智能定位方法及系统
CN103473562B (zh) 特定人体动作的自动训练和识别系统
CN113627292B (zh) 基于融合网络的遥感图像识别方法及装置
CN115471755A (zh) 基于分割的图像目标快速检测方法
Zhou et al. LEDet: localization estimation detector with data augmentation for ship detection based on unmanned surface vehicle
CN115019243A (zh) 基于改进YOLOv3的监控漂浮物轻量化目标检测方法及系统
Li et al. CrackTinyNet: A novel deep learning model specifically designed for superior performance in tiny road surface crack detection
CN113378598A (zh) 一种基于深度学习的动态条码检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination