CN116469014A - 基于优化Mask R-CNN的小样本卫星雷达图像帆板识别和分割方法 - Google Patents

基于优化Mask R-CNN的小样本卫星雷达图像帆板识别和分割方法 Download PDF

Info

Publication number
CN116469014A
CN116469014A CN202310035501.2A CN202310035501A CN116469014A CN 116469014 A CN116469014 A CN 116469014A CN 202310035501 A CN202310035501 A CN 202310035501A CN 116469014 A CN116469014 A CN 116469014A
Authority
CN
China
Prior art keywords
mask
sailboard
radar image
cnn
satellite
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310035501.2A
Other languages
English (en)
Other versions
CN116469014B (zh
Inventor
汪玲
姚雨晴
唐生勇
郑淑娴
朱岱寅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202310035501.2A priority Critical patent/CN116469014B/zh
Publication of CN116469014A publication Critical patent/CN116469014A/zh
Application granted granted Critical
Publication of CN116469014B publication Critical patent/CN116469014B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于优化Mask R‑CNN的小样本卫星雷达图像帆板识别和分割方法，涉及空间目标识别技术领域，提出一种基于Mask R‑CNN（Mask Region‑based Convolutional Neural Network）的卫星雷达图像帆板识别和分割的模型。本发明以在mmDetection框架下建立Mask R‑CNN模型的基础上，优化了骨干网络并对锚框框选的方法进行了改进，通过这种方法，可以在卫星雷达图像较少情况下，使卫星帆板部件的识别正确率和分割的精度得到提升。

Description

基于优化Mask R-CNN的小样本卫星雷达图像帆板识别和分割 方法
技术领域
本发明属于空间目标识别技术领域，具体涉及一种基于优化Mask R-CNN的小样本卫星雷达图像帆板识别和分割方法。
背景技术
随着航天技术的发展以及世界各国对太空资源的开发，在轨卫星数目急剧增加，空间态势感知能力需求急剧增加。空间目标探测是空间态势感知系统中空间目标监视系统的重要组成部分，雷达是主要手段之一。相比可见光成像，雷达成像可全天候、全天时、实时获得目标高分辨率图像，也成为空间目标识别的重要技术途径之一。由于卫星外形相似，部件级的识别对目标判别更为重要，帆板作为卫星的标志性关键部件，具备对帆板的稳健识别和精确分割能力对于目标态势感知尤为必要。
以深度学习为代表的人工智能技术具有强大的数据内部特征挖掘能力和学习推演能力，已经在光学目标识别等领域获得成功应用。基于区域的卷积神经网络(Region-Based CNN,R-CNN)具有多卷积层和多池化层，可以使输出更加准确,特征提取更加丰富,该类技术发展也非常迅速，其中Faster R-CNN和Mask R-CNN已广泛用于光学目标检测和识别，尤其是Mask R-CNN，它在Faster R-CNN的基础上添加了一个Mask预测分支，能够同时进行目标检测和实例分割，而且容易实现和训练，速度快。王万国等人通过比较经典机器学习算法，选择Faster R-CNN进行多种类别的电力小部件识别定位，准确率和识别速度都远高于传统机器学习算法；陈亮等人采用Mask R-CNN实现了海空背景下光学遥感图像的船只识别与提取，吴金亮等人也提出了基于Mask R-CNN的舰船目标检测识别方法，刘子君等人研究了Mask-RCNN的迁移学习机制,设计并实现了训练数据重要性采样、参数迁移映射等方法,改进后的方法应用于基于红外图像的电力设备检测。
由于雷达图像和光学图像特征不同，且由于空间目标特殊性，图片数量相比较少，因此，现有Mask R-CNN不能直接用于卫星雷达图像部件识别和分割。
发明内容
为了解决上述背景技术提到的技术问题，本发明提出了一种。
为了实现上述技术目的，本发明的技术方案为：
一种基于优化Mask R-CNN的小样本卫星雷达图像帆板识别和分割方法，包括以下步骤：
S1、建立卫星仿真模型，并利用成像算法获取卫星的雷达图像数据库；
S2、对步骤S1中得到的数据库中的雷达图像数据进行预处理并制作COCO数据集；
S3、在mmDetection的框架中建立一个基于Mask R-CNN的深度学习网络模型；
S4、调整神经网络参数，将步骤S2中获得的数据集放入步骤S3搭建的深度学习网络模型中进行训练，调整网络参数直至损失值趋于稳定，并更新权重；
S5、利用步骤4中获得的权重初始化深度学习网络模型，将初始化后的深度学习网络模型输入需要识别和分割卫星雷达图像，获得部件的识别和分割结果。
优选地，步骤S1中实用FEKO软件建立卫星仿真模型。
优选地，步骤S2具体包括以下步骤：
S21、利用LabelME标记软件对图像进行标记，其中需要对图像中卫星的帆板部件用多边形进行框选和分类标记；标记结束后每一张图像会生成相应的.json格式的文件，其中记录了所标记的种类和位置信息；
S22、将步骤S21中得到的.json格式的文件整理成COCO的数据集格式，其中包括需要将这些图片按照需求和比例划分训练集和测试集，并生成相应的.json文件以记录训练集和测试集的标记信息。
优选地，步骤S3中构建的深度学习网络模型包括特征提取模块采用ResNet101+FPN作为特征提取网络代替原来的网络架构，通过上采样和下采样方式获取特征图，利用自顶向下以及横向连接的方式和上一阶段获取的特征图整合，形成一个新的特征层。
优选地，步骤S3中构建的深度学习网络模型包括目标定位模块，所述目标定位模块通过RPN网络定位目标，采用3×3的卷积核在目标特征图上滑行的方式来筛选生成建议框，在卷积核的中心点产生不同尺寸和比例的检测框；其次对区域建议框进行筛选，通过二分类判断锚点属于前景或是背景，然后使用边框回归微调anchors得到更加准确的区域建议。再利用非极大值抑制算法删掉交叠率比较高的建议框，输出最终区域建议。
优选地，目标定位模块中调整了新候选框大小和区域交并比标准，将锚点对应的候选框的长和宽的尺寸适量减小了3％，更新后的区域交并比标准IoUnew公式表达如下：
式中，S1和S2分别代表两个建议框的面积，λ作为被引入的惩罚因子，在这里设置为1；通过λ限制该项在全局的权重来惩罚未涵盖的区域，通过损失值的大小来判断是否需要惩罚；
非极大值抑制算法将候选框计算出的置信度按次序排列，遵照阈值筛选的机制，当某两个建议框的交叉面积数值超过既定的阈值时，将置信度低于阈值的候选框排除，保留置信度高于阈值的候选框，公式表达如下：
式中，Sa，Sb分别表示两个有交叉的建议框，Nt表示设定的阈值，Score代表建议框的分类置信度，IoU表示更新后的区域交并比标准；
在ROIAlign层对区域建议进行双线性插值对齐，将全部区域建议的尺寸固定为7x7，公式表达如下：
上式中，xi表示采样前的像素点，d(i,i*(r,j))表示两点之间的距离，xi*(r,j)是采样点的坐标位置，Δh和Δw表示xi与xi*(r,j)横纵坐标的差值，这里作为双线性内插的系数乘在原始的梯度上；
最后采用双线性插值的方法来选取分块里面的四个常规位置，最后取四个像素值中最大值作为这个小区域像素值。
优选地，步骤S3中构建的深度学习网络模型包括掩码分支模块，所述掩码分支模块利用全连接网络对每个感兴趣的区域即ROI区域，在这里指代需要分割的帆板区域，分割后得到两个类别，分别是左帆板以及右帆板，每一层mask代表一类，以0.5作为阈值对图像进行二值化处理，生成前景的分割Mask和背景的分割Mask。该Mask是一个对ROI的掩码，大小和ROI一样大，Mask的值用0和1表示，0代表目标物体以外的部分，1代表目标物体。
优选地，步骤S4中，为了适应硬件需要对网络的一些配置信息进行调整，考虑GPU性能和图片数量，选择合适的训练轮次epoch和resize的图片的大小，为防止过拟合，epoch一般设定在50～100之间，设置epoch为50，图像resize大小为800*600。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
(1)本发明使用mmDetection框架，采用Resnet101+FPN网络组合，具有计算速度快、稳定性高的特征。
(2)本发明中的模型在锚框框选进行改进，使得候选框的选择准确度有了一定的提升。
附图说明
图1是仿真卫星模型示例图；其中图1(a)为长曲棍球卫星模型；图1(b)为立方体卫星模型；
图2是本发明的卫星仿真雷达图像；
图3是本发明的网络模型结构示意图；
图4是本发明的雷达图像卫星帆板识别和分割结果。
具体实施方式
以下将结合附图，对本发明的技术方案进行详细说明。
本发明提出的供一种基于优化的Mask R-CNN的小样本卫星雷达图像帆板识别和分割方法，包括以下步骤：
步骤S1、通过建立卫星仿真模型，并利用成像算法获取卫星的雷达图像数据库；步骤S1中所需要的卫星的雷达图像通过FEKO软件建模，建模图像如图1所示，进行仿真后获得相应的图片，建立数据库，仿真的雷达图像如图2所示。
步骤S2、预处理雷达图像数据并制作COCO数据集；
步骤S2中，图像预处理需要将图像的尺寸大小统一，然后制作所需要的COCO数据集，其中包括以下部分：
(1)利用LabelME标记软件对图像进行标记，其中需要对图像中卫星的帆板部件用多边形进行框选、分类标记。标记结束后每一张图像会生成相应的.json格式的文件，其中记录了所标记的种类和位置等信息；
(2)在标记结束后，需要将这些文件整理成COCO的数据集格式，其中包括需要将这些图片按照需求和比例划分训练集和测试集，并生成相应的.json文件记录训练集和测试集的标记信息。
步骤S3、在mmDetection的框架中建立一个基于Mask R-CNN的深度学习网络模型；
步骤S3中，在mmDetction中建立深度学习的神经网络，以Mask R-CNN作为原理基础，选择合适的骨干网络(backbone)，对网络结构优化调整，具体的网络结构如图3所示。
本发明的神经网络模型的主体框架有以下三个模块：
(1)特征提取模块
在特征提取模块中进行了优化，采用ResNet101+FPN(Feature Pyramid Network)作为特征提取网络代替原来的网络架构，由于采取跨层链接的方式，所以可以提取更加深层的样本特征。其中添加FPN网络的目的是为了特征图更好的融合，它通过上采样和下采样方式获取特征图，然后利用自顶向下以及横向连接的方式和上一阶段获取的特征图整合，形成一个新的特征层。
(2)目标定位模块
由于Mask R-CNN是对目标检测算法Faster R-CNN的拓展，使用RPN网络来定位目标，首先生成建议框，本发明采用的是3×3的卷积核在目标特征图上滑行的方式来筛选生成建议框，在卷积核的中心点产生不同尺寸和比例的检测框；其次对区域建议框进行筛选，通过二分类(softmax)判断锚点(anchors)是属于前景或者背景，然后使用边框回归(bounding box regression)微调anchors以便得到更加准确的区域建议。再利用非极大值抑制(Non-maximum supression,，非极大值抑制算法)算法删掉交叠率比较高的建议框，输出最终区域建议。
考虑到雷达图像的特性，由于散射点而造成边缘有虚影，在对部件判断时会造成一定误差，使得判别范围无法完全贴合，这里调整了新候选框大小和区域交并比(Intersection overUnion，IoU)标准，为了减小散射对边缘模糊早成的影响，将锚点对应的候选框的长和宽的尺寸适量减小了3％左右，使得新获得的候选框能够尽可能不包含虚影部分，增加识别分割的可靠性。更新后的IoU计算方式如公式(1)。
式中，S1和S2分别代表两个建议框的面积，λ作为被引入的惩罚因子，在这里设置为1，通过λ限制该项在全局的权重来惩罚未涵盖的区域，通过损失值的大小来判断是否需要惩罚，当λ＝0时和原IoU计算公式一样，。
非极大值抑制算法将候选框计算出的置信度按次序排列，遵照阈值筛选的机制，当某两个建议框的交叉面积数值超过既定的阈值时，将置信度低的候选框排除，保留置信度高的。
式中的Sa，Sb表示两个有交叉的建议框，Nt表示设定的阈值，Score代表建议框的分类置信度。
由于图像目标定位模块所筛选的区域建议框大小是随机的，但是全连接层需要特征图尺寸相同，在ROIAlign层对区域建议进行双线性插值对齐，将全部区域建议的尺寸固定为7x7。
上式中，xi表示采样前的像素点，d(i,i*(r,j))表示两点之间的距离，xi*(r,j)是采样点的坐标位置，Δh和Δw表示xi与xi*(r,j)横纵坐标的差值，这里作为双线性内插的系数乘在原始的梯度上。
该方法可以消除对ROI区域池化操作中由于样本特征无法对齐带来的不利影响。为了减少计算中造成的误差，采用双线性插值的方法来选取分块里面的四个常规位置，最后取四个像素值中最大值作为这个小区域像素值。
(3)Mask(掩码)分支模块
Mask分支利用全连接网络对每个ROI区域进行分割，得到两个类别，分别是左帆板以及右帆板，每一层mask代表一类，以0.5作为阈值对图像进行二值化处理，生成前景的分割Mask和背景的分割Mask。该Mask是一个对ROI的掩码，大小和ROI一样大，Mask的值用0和1表示，0代表目标物体以外的部分，1代表目标物体。
步骤S4、调整神经网络参数，将步骤S2中获得的数据集放入步骤S3搭建的网络中进行训练，调整网络参数获得合适的权重；
步骤S5、利用步骤4中获得的权重来初始化网络，输入需要识别和分割卫星雷达图像，获得部件的识别和分割结果；基于改进的神经网络，空间中的卫星雷达图像中的帆板部件识别准确率可达95％以上，分割结果准确率可达98％。
实施实例
为了验证基于优化Mask R-CNN网络的卫星雷达图像帆板识别和分割方法在小样本数据上的有效性，在卫星仿真雷达成像的400张数据集上进行实验验证，将雷达图像的数据集按照90％和10％的比例划分训练集和测试集，并与不同主干网络的Mask R-CNN模型进行比较，得到的识别分割结果如图4所示。设定雷达图像resize的尺寸大小为800*600，采用单GPU训练，epoch设为50，以最后一轮的训练结果作为权重来进行网络训练，并通过比较不同模型的不同IOU下的mAP(平均精度)对识别和MIoU分割的精度进行评估。
表1给出了优化模型和传统神经网络在测试集的结果对比：
表1优化模型和传统神经网络在测试集的结果对比
可以看出当阈值设定在0.50时，能保留的候选框会比设定在0.75时的多，并且使用Resnet作为主干网络的精度比传统的网络构架精度要高，在加入FPN网络和优化锚点框选，网络的平均精度得到了一定的提升，且优化过后的网络框架可以较为准确的分割帆板部件。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请实施例中的方案可以采用各种计算机语言实现，例如，面向对象的程序设计语言Java和直译式脚本语言JavaScript等。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (8)

1.一种基于优化Mask R-CNN的小样本卫星雷达图像帆板识别和分割方法，其特征在于，包括以下步骤：
S1、建立卫星仿真模型，并利用成像算法获取卫星的雷达图像数据库；
S2、对步骤S1中得到的数据库中的雷达图像数据进行预处理并制作COCO数据集；
S3、在mmDetection的框架中建立一个基于Mask R-CNN的深度学习网络模型；
S4、调整神经网络参数，将步骤S2中获得的数据集放入步骤S3搭建的深度学习网络模型中进行训练，调整网络参数直至损失值趋于稳定，并更新权重；
S5、利用步骤4中获得的权重初始化深度学习网络模型，将初始化后的深度学习网络模型输入需要识别和分割卫星雷达图像，获得部件的识别和分割结果。
2.根据权利要求1所述一种基于优化Mask R-CNN的小样本卫星雷达图像帆板识别和分割方法，其特征在于，步骤S1中使用FEKO软件建立卫星仿真模型。
3.根据权利要求1所述一种基于优化Mask R-CNN的小样本卫星雷达图像帆板识别和分割方法，其特征在于，步骤S2具体包括以下步骤：
S21、利用LabelME标记软件对图像进行标记，其中需要对图像中卫星的帆板部件用多边形进行框选和分类标记；标记结束后每一张图像会生成相应的.json格式的文件，其中记录所标记的种类和位置信息；
S22、将步骤S21中得到的.json格式的文件整理成COCO的数据集格式，其中包括将图像按照需求和比例划分训练集和测试集，并生成相应的.json文件以记录训练集和测试集的标记信息。
4.根据权利要求1所述一种基于优化Mask R-CNN的小样本卫星雷达图像帆板识别和分割方法，其特征在于，步骤S3中构建的深度学习网络模型包括特征提取模块，采用ResNet101+FPN作为特征提取网络代替原来的网络架构，通过上采样和下采样方式获取特征图，利用自顶向下以及横向连接的方式和上一阶段获取的特征图整合，形成一个新的特征层。
5.根据权利要求1所述一种基于优化Mask R-CNN的小样本卫星雷达图像帆板识别和分割方法，其特征在于，步骤S3中构建的深度学习网络模型包括目标定位模块，所述目标定位模块通过RPN网络定位目标，采用3×3的卷积核在目标特征图上滑行的方式来筛选生成建议框，在卷积核的中心点产生不同尺寸和比例的检测框；其次对区域建议框进行筛选，通过二分类判断锚点属于前景或是背景，然后使用边框回归微调anchors得到更准确的区域建议；再利用非极大值抑制算法删掉交叠率比较高的建议框，输出最终区域建议。
6.根据权利要求5所述一种基于优化Mask R-CNN的小样本卫星雷达图像帆板识别和分割方法，其特征在于，目标定位模块中调整了新候选框大小和区域交并比标准，将锚点对应的候选框的长和宽的尺寸适量减小了3％，更新后的区域交并比标准IoUnew公式表达如下：
式中，S1和S2分别代表两个建议框的面积，λ作为被引入的惩罚因子，在这里设置为1；通过λ限制该项在全局的权重来惩罚未涵盖的区域，通过损失值的大小来判断是否需要惩罚；
非极大值抑制算法将候选框计算出的置信度按次序排列，遵照阈值筛选的机制，当某两个建议框的交叉面积数值超过既定的阈值时，将置信度低于阈值的候选框排除，保留置信度高于阈值的候选框，公式表达如下：
式中，Sa，Sb分别表示两个有交叉的建议框，Nt表示设定的阈值，Score
代表建议框的分类置信度，IoU表示更新后的区域交并比标准；
在ROIAlign层对区域建议进行双线性插值对齐，将全部区域建议的尺寸固定为7x7，公式表达如下：
上式中，xi表示采样前的像素点，d(i,i*(r,j))表示两点之间的距离，xi*(r,j)是采样点的坐标位置，Δh和Δw表示xi与xi*(r,j)横纵坐标的差值，这里作为双线性内插的系数乘在原始的梯度上；
最后采用双线性插值的方法来选取分块里面的四个常规位置，最后取四个像素值中最大值作为这个小区域像素值。
7.根据权利要求1所述一种基于优化Mask R-CNN的小样本卫星雷达图像帆板识别和分割方法，其特征在于，步骤S3中构建的深度学习网络模型包括掩码分支模块，所述掩码分支模块利用全连接网络对每个感兴趣的区域即ROI区域，在这里指代需要分割的帆板区域，分割后得到两个类别，分别是左帆板以及右帆板，每一层mask代表一类，以0.5作为阈值对图像进行二值化处理，生成前景的分割Mask和背景的分割Mask；该Mask是一个对ROI的掩码，大小和ROI一样大，Mask的值用0和1表示，0代表目标物体以外的部分，1代表目标物体。
8.根据权利要求1所述的供一种基于优化的Mask R-CNN的小样本卫星雷达图像帆板识别和分割方法，其特征在于，步骤S4中，为了适应硬件需要对网络的一些配置信息进行调整，考虑GPU性能和图片数量，选择合适的训练轮次epoch和resize的图片的大小，为防止过拟合，epoch一般设定在50～100之间，设置epoch为50，图像resize大小为800*600。
CN202310035501.2A 2023-01-10 2023-01-10 基于优化Mask R-CNN的小样本卫星雷达图像帆板识别和分割方法 Active CN116469014B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310035501.2A CN116469014B (zh) 2023-01-10 2023-01-10 基于优化Mask R-CNN的小样本卫星雷达图像帆板识别和分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310035501.2A CN116469014B (zh) 2023-01-10 2023-01-10 基于优化Mask R-CNN的小样本卫星雷达图像帆板识别和分割方法

Publications (2)

Publication Number Publication Date
CN116469014A true CN116469014A (zh) 2023-07-21
CN116469014B CN116469014B (zh) 2024-04-30

Family

ID=87177651

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310035501.2A Active CN116469014B (zh) 2023-01-10 2023-01-10 基于优化Mask R-CNN的小样本卫星雷达图像帆板识别和分割方法

Country Status (1)

Country Link
CN (1) CN116469014B (zh)

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109145872A (zh) * 2018-09-20 2019-01-04 北京遥感设备研究所 一种基于CFAR与Fast-RCNN融合的SAR图像舰船目标检测方法
CN110765912A (zh) * 2019-10-15 2020-02-07 武汉大学 一种基于统计约束和Mask R-CNN的SAR图片船舶目标检测方法
CN111047554A (zh) * 2019-11-13 2020-04-21 华南理工大学 一种基于实例分割的复合绝缘子过热缺陷检测方法
CN111126335A (zh) * 2019-12-31 2020-05-08 珠海大横琴科技发展有限公司 一种结合显著性和神经网络的sar船只识别方法及系统
RU2733823C1 (ru) * 2019-12-17 2020-10-07 Акционерное общество "Российская корпорация ракетно-космического приборостроения и информационных систем" (АО "Российские космические системы") Система сегментации изображений участков недропользования открытого типа
CN112462346A (zh) * 2020-11-26 2021-03-09 西安交通大学 一种基于卷积神经网络的探地雷达路基病害目标检测方法
CN112541481A (zh) * 2020-12-25 2021-03-23 南京航空航天大学 一种基于深度学习的对海探测雷达目标检测方法
CN112580407A (zh) * 2019-09-30 2021-03-30 南京理工大学 一种基于轻量化神经网络模型的空间目标部件识别方法
CN113111722A (zh) * 2021-03-17 2021-07-13 天津理工大学 基于改进Mask R-CNN的自动驾驶目标识别方法
CN113449632A (zh) * 2021-06-28 2021-09-28 重庆长安汽车股份有限公司 一种基于融合感知的视觉与雷达感知算法优化方法、系统及汽车
CN113486894A (zh) * 2021-07-15 2021-10-08 北京航空航天大学 一种卫星图像特征部件语义分割方法
CN115100545A (zh) * 2022-08-29 2022-09-23 东南大学 针对低照度下失效卫星小部件的目标检测方法
WO2022206517A1 (zh) * 2021-03-31 2022-10-06 华为技术有限公司 一种目标检测方法及装置
CN115294452A (zh) * 2022-08-08 2022-11-04 中国人民解放军火箭军工程大学 基于双向特征金字塔网络的旋转sar舰船目标检测方法
CN115410102A (zh) * 2022-08-31 2022-11-29 重庆大学 基于联合注意力机制的sar图像飞机目标检测方法
CN115471670A (zh) * 2022-07-20 2022-12-13 中国科学院西安光学精密机械研究所 一种基于改进yolox网络模型的空间目标检测方法

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109145872A (zh) * 2018-09-20 2019-01-04 北京遥感设备研究所 一种基于CFAR与Fast-RCNN融合的SAR图像舰船目标检测方法
CN112580407A (zh) * 2019-09-30 2021-03-30 南京理工大学 一种基于轻量化神经网络模型的空间目标部件识别方法
CN110765912A (zh) * 2019-10-15 2020-02-07 武汉大学 一种基于统计约束和Mask R-CNN的SAR图片船舶目标检测方法
CN111047554A (zh) * 2019-11-13 2020-04-21 华南理工大学 一种基于实例分割的复合绝缘子过热缺陷检测方法
RU2733823C1 (ru) * 2019-12-17 2020-10-07 Акционерное общество "Российская корпорация ракетно-космического приборостроения и информационных систем" (АО "Российские космические системы") Система сегментации изображений участков недропользования открытого типа
CN111126335A (zh) * 2019-12-31 2020-05-08 珠海大横琴科技发展有限公司 一种结合显著性和神经网络的sar船只识别方法及系统
CN112462346A (zh) * 2020-11-26 2021-03-09 西安交通大学 一种基于卷积神经网络的探地雷达路基病害目标检测方法
CN112541481A (zh) * 2020-12-25 2021-03-23 南京航空航天大学 一种基于深度学习的对海探测雷达目标检测方法
CN113111722A (zh) * 2021-03-17 2021-07-13 天津理工大学 基于改进Mask R-CNN的自动驾驶目标识别方法
WO2022206517A1 (zh) * 2021-03-31 2022-10-06 华为技术有限公司 一种目标检测方法及装置
CN113449632A (zh) * 2021-06-28 2021-09-28 重庆长安汽车股份有限公司 一种基于融合感知的视觉与雷达感知算法优化方法、系统及汽车
CN113486894A (zh) * 2021-07-15 2021-10-08 北京航空航天大学 一种卫星图像特征部件语义分割方法
CN115471670A (zh) * 2022-07-20 2022-12-13 中国科学院西安光学精密机械研究所 一种基于改进yolox网络模型的空间目标检测方法
CN115294452A (zh) * 2022-08-08 2022-11-04 中国人民解放军火箭军工程大学 基于双向特征金字塔网络的旋转sar舰船目标检测方法
CN115100545A (zh) * 2022-08-29 2022-09-23 东南大学 针对低照度下失效卫星小部件的目标检测方法
CN115410102A (zh) * 2022-08-31 2022-11-29 重庆大学 基于联合注意力机制的sar图像飞机目标检测方法

Non-Patent Citations (9)

* Cited by examiner, † Cited by third party
Title
HUI BI 等: "CNN-Based Target Detection and Classification When Sparse SAR Image Dataset is Available", IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING, pages 6815 - 6826 *
LIN QIWEI 等: "SAR image ship detection based on improved YOLOv4", 2021 IEEE INTERNATIONAL CONFERENCE ON ARTIFICIAL INTELLIGENCE AND COMPUTER APPLICATIONS (ICAICA), pages 1130 - 1135 *
NUO XU 等: "Hyperparameter Configuration Learning for Ship Detection From Synthetic Aperture Radar Images", IEEE GEOSCIENCE AND REMOTE SENSING LETTERS, pages 1 - 5 *
XIAOWO XU 等: "SAR Ship Detection using YOLOv5 Algorithm with Anchor Boxes Cluster", IGARSS 2022 - 2022 IEEE INTERNATIONAL GEOSCIENCE AND REMOTE SENSING SYMPOSIUM, pages 2139 - 2142 *
吴金亮: "基于Mask R-CNN的舰船目标检测研究", 无线电工程, vol. 48, no. 11, pages 947 - 952 *
喻庆豪 等: "基于CNN的机载气象雷达气象目标检测方法", 雷达科学与技术, vol. 19, no. 4, pages 409 - 416 *
苏航 等: "一种轻量化SAR图像舰船目标斜框检测方法", 航空学报, vol. 43, no. 1, pages 157 - 164 *
袁国文 等: "复杂场景下深度表示的SAR船舶目标检测算法", 计算机工程与应用, vol. 58, no. 2, pages 289 - 294 *
闫贺 等: "基于改进快速区域卷积神经网络的视频SAR运动目标检测算法研究", 电子与信息学报, vol. 43, no. 3, pages 615 - 622 *

Also Published As

Publication number Publication date
CN116469014B (zh) 2024-04-30

Similar Documents

Publication Publication Date Title
CN108596101B (zh) 一种基于卷积神经网络的遥感图像多目标检测方法
CN110363215B (zh) 基于生成式对抗网络的sar图像转化为光学图像的方法
CN113076871B (zh) 一种基于目标遮挡补偿的鱼群自动检测方法
CN110728658A (zh) 一种基于深度学习的高分辨率遥感影像弱目标检测方法
CN112070729B (zh) 一种基于场景增强的anchor-free遥感图像目标检测方法及系统
Abdollahi et al. Improving road semantic segmentation using generative adversarial network
CN108710863A (zh) 基于深度学习的无人机航拍场景语义分割方法及系统
CN113298818A (zh) 基于注意力机制与多尺度特征的遥感图像建筑物分割方法
CN109784283A (zh) 基于场景识别任务下的遥感图像目标提取方法
CN113255589B (zh) 一种基于多卷积融合网络的目标检测方法及系统
CN113160062B (zh) 一种红外图像目标检测方法、装置、设备及存储介质
CN111626176A (zh) 一种遥感图像的地物目标检测方法及系统
CN111126205A (zh) 一种基于旋转定位网络的光学遥感图像飞机目标检测方法
CN113610905A (zh) 基于子图像匹配的深度学习遥感图像配准方法及应用
CN113052108A (zh) 基于深度神经网络的多尺度级联航拍目标检测方法和系统
CN115861756A (zh) 基于级联组合网络的大地背景小目标识别方法
CN115631427A (zh) 一种基于混合注意力多场景船舶检测分割方法
CN114519819A (zh) 一种基于全局上下文感知的遥感图像目标检测方法
CN114332473A (zh) 目标检测方法、装置、计算机设备、存储介质及程序产品
CN113111740A (zh) 一种遥感图像目标检测的特征编织方法
CN114494893B (zh) 基于语义重用上下文特征金字塔的遥感图像特征提取方法
CN116469014B (zh) 基于优化Mask R-CNN的小样本卫星雷达图像帆板识别和分割方法
CN116229217A (zh) 一种应用于复杂环境下的红外目标检测方法
CN114782915B (zh) 基于辅助监督和知识蒸馏的智能汽车端到端车道线检测系统及设备
CN115661611A (zh) 一种基于改进Yolov5网络的红外小目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant