CN114565764A - 基于舰船实例分割的港口全景感知系统 - Google Patents

基于舰船实例分割的港口全景感知系统 Download PDF

Info

Publication number
CN114565764A
CN114565764A CN202210194201.4A CN202210194201A CN114565764A CN 114565764 A CN114565764 A CN 114565764A CN 202210194201 A CN202210194201 A CN 202210194201A CN 114565764 A CN114565764 A CN 114565764A
Authority
CN
China
Prior art keywords
loss
warship
port
frame
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210194201.4A
Other languages
English (en)
Inventor
赵丹培
朱纯博
苑博
史振威
张浩鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202210194201.4A priority Critical patent/CN114565764A/zh
Publication of CN114565764A publication Critical patent/CN114565764A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30—Assessment of water resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于舰船实例分割的港口全景感知系统，包括图像采集模块、神经网络模型以及全景感知结果输出模块；图像采集模块用于采集港口图像；神经网络模型用于对采集的港口图像进行军舰检测、军舰分割以及水域提取处理，获取军舰目标定位框、军舰目标具体形状轮廓以及港口水域分布；所述全景感知结果输出模块用于根据所述军舰目标定位框、所述军舰目标具体形状轮廓以及所述港口水域分布输出全景感知结果。本发明通过构建的神经网络模型，能够同时处理军舰检测、军舰分割和水域提取，并且提升了军舰检测准确度。

Description

基于舰船实例分割的港口全景感知系统
技术领域
本发明涉及港口交通管理技术领域，更具体的说是涉及一种基于舰船实例分割的港口全景感知系统。
背景技术
目前，对遥感技术在军事领域的广泛研究揭示了全景感知系统在一些重要军事区域如港口、机场执行相关任务时的重要性。它在遥感图像的智能解译中发挥着重要作用，因为它可以从遥感影像中提取丰富的视觉信息，并协助决策系统分析场景要素。以军事港口为例，为了充分获取遥感影像中重点区域的信息，视觉感知系统应该能够理解场景，然后为决策系统提供指导信息，包括：军舰目标的位置、军舰区别于民船的大小形状以及港口水域面积分布等。港口全景感知系统中通常会涉及目标检测，来确定舰船位置，除此之外还需要对舰船进行分割从而确定其基本类型，以及对港口进行水域分割提取来确定港口的基本态势。目前有许多方法分别处理港口相关任务。例如用目标检测算法处理舰船检测；用语义分割方法来执行舰船和水域的分割。
但是，这些方法存在两方面的问题：首先，一个接一个地处理这些任务比一次处理所有任务需要更长的时间，在遥感信息处理常用的设备上部署全景感知系统，应考虑有限的计算资源和延迟。其次，军舰和民用船只都作为舰船目标，在无法分别标注的情况下，无法只检测军舰目标，民用船只在检测过程中会造成大量虚警。
因此，如何提供一种港口全景感知系统使其在输入图像中同时处理军舰检测、军舰分割和水域提取是本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明提供了一种基于舰船实例分割的港口全景感知系统，一方面，实例分割将像素级的监督信息加入目标检测任务，对于军舰这种大小形状特征明显的目标具有明显的效果，可以有效排除民用小型船只对检测造成的干扰；另一方面，实例分割任务建立在目标检测的基础上，从而保证了对军舰进行分割时不会受水面或岸上其他相似内容的干扰。除此以外，本发明还采用了多尺度交叉融合的特征提取网络，在任务间共享信息的同时，摆脱了编解码的语义分割网络结构，直接在输出特征图上高效进行水域提取。
为了实现上述目的，本发明采用如下技术方案：基于舰船实例分割的港口全景感知系统，包括图像采集模块、神经网络模型以及全景感知结果输出模块；所述图像采集模块用于采集港口图像；所述神经网络模型用于对采集的港口图像进行军舰检测、军舰分割以及水域提取处理，获取军舰目标定位框、军舰目标具体形状轮廓以及港口水域分布；所述全景感知结果输出模块用于根据所述军舰目标定位框、所述军舰目标具体形状轮廓以及所述港口水域分布输出全景感知结果。
优选的，所述神经网络模型包括卷积层、多尺度特征编码网络层、水域提取模块和实例分割模块；所述卷积层用于对采集的港口图像进行降采样，获得特征图；所述多尺度特征编码网络层用于对所述特征图进行分类处理，得到高、中、低三种尺度的特征图；所述水域提取模块根据高、中、低三种尺度的特征图进行提取处理，获取港口水域分布图像；所述实例分割模块根据高、中、低三种尺度的特征图进行检测以及分割处理，得到军舰目标定位框以及军舰目标具体形状轮廓图像。
优选的，所述多尺度特征编码网络层包括第一反卷积层，所述第一反卷积层用于对所述特征图进行插值上采样处理，得到插值上采样后的特征图。
优选的，所述水域提取模块包括concatenate层、第二反卷积层以及提取层；所述concatenate层依次连接所述第二反卷积层以及所述提取层；所述concatenate层用于将插值上采样后的特征图进行融合；所述第二反卷积层用于对融合后的特征图进行上采样；所述提取层用于对上采样后的特征图进行提取处理，得到港口水域分布图像。
优选的，所述实例分割模块包括特征金字塔提取模块、候选框提取模块、标注框提取模块、目标检测模块以及语义分割模块；所述特征金字塔提取模块依次连接所述候选框提取模块、所述标注框提取模块、所述目标检测模块以及所述语义分割模块；所述特征金字塔提取模块用于将所述高、中、低三种不同尺度的特征图形成特征金字塔图像；所述候选框提取模块用于根据所述特征金字塔图像提取候选框图像；所述标注框提取模块用于根据所述特征金字塔图像提取标注框图像；所述目标检测模块用于根据所述候选框图像与所述标注框图像的交并比对所述特征金字塔图像进行框选，得到所述军舰目标定位框；所述语义分割模块用于根据所述军舰目标定位框内进行逐像素标记，得到军舰目标具体形状轮廓图像。
优选的，所述军舰目标定位框的判定方法为：设定交并比阈值，如果候选框与标注框的交并比在阈值范围内，则认定其为正样本；否则为负样本。
优选的，所述军舰目标定位框的判定公式如下：
Figure BDA0003526390440000031
其中，GT为标注框，box为候选框，Tnow表示当前的IoU阈值，1为正样本，0为负样本。
优选的，神经网络模型还包括损失函数，所述损失函数用于优化所述军舰目标定位框、港口水域分布图像以及军舰目标具体形状轮廓图像；所述损失函数包括军舰检测损失量、水域提取损失量和军舰像素分割损失量；所述损失函数计算公式如下：
Lall＝γ1Ldet+γ2Lmask+γ3Lwater-seg
其中，Lall为损失函数，Ldet为军舰检测损失量，γ1为军舰检测损失的系数，军舰像素分割损失量Lmask为根据类别输出相应的损失量，γ2为军舰像素分割损失量的系数；Lwater-seg为水域提取损失量，γ3为水域提取损失量的系数。
优选的，所述军舰检测损失量包括分类损失分量、目标损失分量和标注框损失分量的加权求和，所述军舰检测损失量计算公式如下：
Ldet＝α1Lolass+α2Lobj+α3Lbox
所述水域提取损失包括交叉熵损失分量和交并比损失分量，水域提取损失量计算公式如下：
Lwater-seg＝Lce+LIoU
其中，Lclass为分类损失分量，α1为分类损失分量的加权系数，Lobj为目标损失分量，α2为目标损失分量的加权系数，Lbox为候选框损失分量，α3为候选框损失分量的加权系数，Lce为交叉熵损失分量，LIoU为交并比损失分量。
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于舰船实例分割的港口全景感知系统，神经网络模型整体采用多任务学习策略，通过舰船的实例分割任务，将目标的像素级标注的监督信息引入到目标检测的训练中来，通过尺度特征实现了军事舰船和民用舰船的区分，有效地在军舰检测中排除了民用船只的虚警。除此以外，在进行实例分割任务的同时，神经网络模型还可以实现端到端的港口水域提取，从而完成对港口区域的多任务全景感知。在实现细节上，本发明采用基于多尺度特征融合编码的港口水域提取网络来在编码阶段满足实例分割任务需要的同时，避免了水域提取任务中再设计复杂的解码网络。除此之外还采用动态样本分配的训练策略，让神经网络模型能够持续产生高质量的训练样本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1附图为本发明提供的流程示意图。
图2附图为本发明提供的基于多尺度特征融合编码港口水域提取流程示意图。
图3附图为本发明提供的基于动态样本分配的军舰实例分割网络流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种基于舰船实例分割的港口全景感知系统，其特征在于，包括图像采集模块、神经网络模型以及全景感知结果输出模块；所述图像采集模块用于采集港口图像；所述神经网络模型用于对采集的港口图像进行军舰检测、军舰分割以及水域提取处理，获取军舰目标定位框、军舰目标具体形状轮廓以及港口水域分布；所述全景感知结果输出模块用于根据所述军舰目标定位框、所述军舰目标具体形状轮廓以及所述港口水域分布输出全景感知结果。本发明能够在输入图像中同时处理军舰检测、军舰分割和水域提取，更加节省处理时间，而传统的方法是一个接一个地处理这些任务比一次处理所有任务需要更长的时间。
在本实施例中，神经网络模型包括卷积层、多尺度特征编码网络层、水域提取模块和实例分割模块；所述卷积层用于对采集的港口图像进行降采样，获得特征图；所述多尺度特征编码网络层用于对所述特征图进行分类处理，得到高、中、低三种尺度的特征图；所述水域提取模块根据高、中、低三种尺度的特征图进行提取处理，获取港口水域分布图像；所述实例分割模块根据高、中、低三种尺度的特征图进行检测以及分割处理，得到军舰目标定位框以及军舰目标具体形状轮廓图像。所以，对神经网络模型输入一张港口区域的影像，输出的解译结果包括三项内容：军舰目标位置定位框、军舰目标的具体形状轮廓、港口区域的水域分布。具体的实现方式和架构流程如下，神经网络模型对输入影像进行两次卷积降采样，从而减少计算的参数量以及复杂程度，得到的特征图送入一个多尺度特征融合编码网络层。在多尺度特征融合编码网络中，高分辨率的特征图会一直保持分辨率进行卷积运算，并且不断与降采样产生的低分辨率特征图进行融合，从而得到三种不同尺度的特征图。三种分辨率的特征图会经过两种处理：一方面，将三个特征图分别插值上采样到最大分辨率后直接concatenate合并，得到的融合特征图经过两次反卷积的上采样之后，就可以实现水域提取语义分割任务的预测。另一方面，三个特征图会构成特征金字塔(FPN)，然后按照两阶段实例分割网络的架构，用一个RPN网络提取军舰目标的候选区域后进行分类回归和逐像素的实例分割。
在本实施例中，基于多尺度特征融合编码的港口水域提取网络，如图2所示，多尺度特征融合编码网络的输入和输出尺寸是原图分辨率四分之一的特征图，输入影像的降采样和输出结果的上采样分别通过卷积和反卷积层来完成，因为在多尺度特征融合编码网络中，高分辨率的特征图会一直保持分辨率进行卷积运算，一方面为了控制参数量，另一方面为了和实例分割任务需要的特征图尺寸相配合。本发明采用高、中、低多尺度表征并联的方式，各个分辨率的表征始终贯穿整个编码部分，用以减少位置信息的损失。编码部分共分为四个阶段(stage)，三个多尺度特征交叉融合过程。网络从高分辨率特征图作为第一个stage开始，逐步增加高分辨率到低分辨率的子网络，形成更多的stage，并将多分辨率子网络进行并行连接，在整个过程中通过在并行的多分辨率子网络上反复交换信息(向上的箭头为卷积降采样，向下的箭头为插值上采样)来进行多尺度的重复融合。在每个stage中，采用多个串联的残差结构学习特征。与传统的U形语义分割网络结构相比，本发明的多尺度特征融合编码网络有两个好处：一方面，本发明是并行连接高分辨率到低分辨率的子网络，能够保持高分辨率，使得预测的分割结果的heatmap相应在空间维度上更精确；而不是像大多数现有的编码网络进行串行连接，通过一个低到高的解码过程恢复分辨率。另一方面，大多数现有的融合方案都将低层和高层的特征表示在输出结果时并列集合起来，而本发明使用重复的多尺度融合，利用相同深度和相似级别的低分辨率特征表示来增强高分辨率特征表示，反之亦然，从而使得前者更好地融合了高层语义特征，后者更好地融合了低层细节特征，因此本发明对于水域这种连通性很强的区域可以有更充分地表示。
在本实施例中，所述实例分割模块包括特征金字塔提取模块、候选框提取模块、标注框提取模块、目标检测模块以及语义分割模块；所述特征金字塔提取模块依次连接所述候选框提取模块、所述标注框提取模块、所述目标检测模块以及所述语义分割模块；所述特征金字塔提取模块用于将所述高、中、低三种不同尺度的特征图形成特征金字塔图像；所述候选框提取模块用于根据所述特征金字塔图像提取候选框图像；所述标注框提取模块用于根据所述特征金字塔图像提取标注框图像；所述目标检测模块用于根据所述候选框图像与所述标注框图像的交并比对所述特征金字塔图像进行框选，得到所述军舰目标定位框；所述语义分割模块用于根据所述军舰目标定位框内进行逐像素标记，得到军舰目标具体形状轮廓图像。
在本实施例中，在目标检测中的分类是基于标注框进行的，即军舰目标定位框的判定方法为：如果候选框与标注框的交并比IoU在某个阈值范围内，则认定其为正样本，否则为负样本。
Figure BDA0003526390440000071
其中，GT为标注框，box为候选框，Tnow表示当前的IoU阈值，1为正样本，0为负样本。
但在训练过程中设定固定的阈值往往不能获得最佳的结果，随着迭代次数的增加，模型对样本的分类能力增强，正样本数量都在急剧增加，如4，一开始蓝色和黄色框按照一个阈值都会被认为是正样本，但是随着质量更高的粉色框出现，这时如果提高阈值，原本质量较低的正样本蓝色框就会变为负样本，从而保证在训练的进行过程中能够不断产生高质量的正样本，来充分发挥两阶段模型的优势提高军舰实例分割的精度。交并比IoU阈值的动态变化过程如下：首先计算候选框与其匹配的标注框的交并比I，然后选择第KI大的值作为当前的IoU阈值Tnow，随着训练迭代的过程，正样本越来越多，Tnow会随着I的增大而增大。在具体操作时，首先计算batch中的第KI大的IoU值，由于一次迭代会产生很多batch，所以每C个迭代使用前者的平均值更新IoU阈值。本发明的动态样本分配避免了级联的检测过程，也就可以避免引入大量冗余的计算。本发明的全景感知网络的实例分割部分动态地改变分配样本的阈值，采用这种动态设置的策略提高模型性能。
在本实施例中，还包括损失函数，由于本发明的多任务训练框架由实例分割任务和水域提取任务构成，而实例分割任务又包含军舰的目标检测和轮廓的像素级分割两部分，因此本发明的全景感知网络的损失函数包括军舰检测量、军舰像素级分割损失量以及水域提取损失量，所述损失函数计算公式如下：
Lall＝γ1Ldet+γ2Lmask+γ3Lwater-seg
对于军舰的像素级分割，假设一共有K个类别，则mask分割分支会输出K个二值mask，计算损失量的时候，该像素属于哪个类，相应类别的sigmoid输出才要计算损失，可以避免类间竞争，使得mask预测和分类预测彻底解耦。而传统的语义分割常见的FCN方法是对每个像素进行多类别softmax分类，然后计算交叉熵损失，这种做法会造成类间竞争；
其中，Lall为损失函数，Ldet为军舰检测损失量，γ1为军舰检测损失的系数，军舰像素分割损失量Lmask为根据类别输出相应的损失量，γ2为军舰像素分割损失量的系数；Lwater-seg为水域提取损失量，γ3为水域提取损失量的系数；
军舰目标检测量包括分类损失分量、目标损失分量和定位框损失分量的加权求和；军舰检测损失量计算公式如下：
Ldet＝α1Lclass+α2Lobj+α3Lbox
所述水域提取损失包括交叉熵损失分量和交并比损失分量，水域提取损失量计算公式如下：
Lwater-seg＝Lce+LIoU
其中，Lclass为分类损失分量，α1为分类损失分量的加权系数，Lobj为目标损失分量，α2为目标损失分量的加权系数，Lbox为候选框损失分量，α3为候选框损失分量的加权系数，Lce为交叉熵损失分量，LIoU为交并比损失分量。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.基于舰船实例分割的港口全景感知系统，其特征在于，包括图像采集模块、神经网络模型以及全景感知结果输出模块；
所述图像采集模块用于采集港口图像；
所述神经网络模型用于对采集的港口图像进行军舰检测、军舰分割以及水域提取处理，获取军舰目标定位框、军舰目标具体形状轮廓以及港口水域分布；
所述全景感知结果输出模块用于根据所述军舰目标定位框、所述军舰目标具体形状轮廓以及所述港口水域分布输出全景感知结果。
2.根据权利要求1所述的基于舰船实例分割的港口全景感知系统，其特征在于，所述神经网络模型包括卷积层、多尺度特征编码网络层、水域提取模块和实例分割模块；
所述卷积层用于对采集的港口图像进行降采样，获得特征图；
所述多尺度特征编码网络层用于对所述特征图进行分类处理，得到高、中、低三种尺度的特征图；
所述水域提取模块根据高、中、低三种尺度的特征图进行提取处理，获取港口水域分布图像；
所述实例分割模块根据高、中、低三种尺度的特征图进行检测以及分割处理，得到军舰目标定位框以及军舰目标具体形状轮廓图像。
3.根据权利要求2所述的基于舰船实例分割的港口全景感知系统，其特征在于，所述多尺度特征编码网络层包括第一反卷积层，所述第一反卷积层用于对所述特征图进行插值上采样处理，得到插值上采样后的特征图。
4.根据权利要求3所述的基于舰船实例分割的港口全景感知系统，其特征在于，所述水域提取模块包括concatenate层、第二反卷积层以及提取层；所述concatenate层依次连接所述第二反卷积层以及所述提取层；
所述concatenate层用于将插值上采样后的特征图进行融合；
所述第二反卷积层用于对融合后的特征图进行上采样；
所述提取层用于对上采样后的特征图进行提取处理，得到港口水域分布图像。
5.根据权利要求2所述的基于舰船实例分割的港口全景感知系统，其特征在于，所述实例分割模块包括特征金字塔提取模块、候选框提取模块、标注框提取模块、目标检测模块以及语义分割模块；所述特征金字塔提取模块依次连接所述候选框提取模块、所述标注框提取模块、所述目标检测模块以及所述语义分割模块；
所述特征金字塔提取模块用于将所述高、中、低三种不同尺度的特征图形成特征金字塔图像；
所述候选框提取模块用于根据所述特征金字塔图像提取候选框图像；
所述标注框提取模块用于根据所述特征金字塔图像提取标注框图像；
所述目标检测模块用于根据所述候选框图像与所述标注框图像的交并比对所述特征金字塔图像进行框选，得到所述军舰目标定位框；
所述语义分割模块用于根据所述军舰目标定位框内进行逐像素标记，得到军舰目标具体形状轮廓图像。
6.根据权利要求5所述的基于舰船实例分割的港口全景感知系统，其特征在于，所述军舰目标定位框的判定方法为：设定交并比阈值，如果候选框与标注框的交并比在阈值范围内，则认定其为正样本；否则为负样本。
7.根据权利要求6所述的基于舰船实例分割的港口全景感知系统，其特征在于，所述军舰目标定位框的判定公式如下：
Figure FDA0003526390430000021
其中，GT为标注框，box为候选框，Tnow表示当前的IoU阈值，1为正样本，0为负样本。
8.根据权利要求6所述的基于舰船实例分割的港口全景感知系统，其特征在于，神经网络模型还包括损失函数，所述损失函数用于优化所述军舰目标定位框、港口水域分布图像以及军舰目标具体形状轮廓图像；
所述损失函数包括军舰检测损失量、水域提取损失量和军舰像素分割损失量；所述损失函数计算公式如下：
Lall＝γ1Ldet+γ2Lmask+γ3Lwater-seg
其中，Lall为损失函数，Ldet为军舰检测损失量，γ1为军舰检测损失的系数，军舰像素分割损失量Lmask为根据类别输出相应的损失量，γ2为军舰像素分割损失量的系数；Lwater-seg为水域提取损失量，γ3为水域提取损失量的系数。
9.根据权利要求8所述的基于舰船实例分割的港口全景感知系统，其特征在于，所述军舰检测损失量包括分类损失分量、目标损失分量和标注框损失分量的加权求和，所述军舰检测损失量计算公式如下：
Ldet＝α1Lclass+α2Lobj+α3Lbox
所述水域提取损失包括交叉熵损失分量和交并比损失分量，水域提取损失量计算公式如下：
Lwater-seg＝Lce+LIoU
其中，Lclass为分类损失分量，α1为分类损失分量的加权系数，Lobj为目标损失分量，α2为目标损失分量的加权系数，Lbox为候选框损失分量，α3为候选框损失分量的加权系数，Lce为交叉熵损失分量，LIoU为交并比损失分量。
CN202210194201.4A 2022-03-01 2022-03-01 基于舰船实例分割的港口全景感知系统 Pending CN114565764A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210194201.4A CN114565764A (zh) 2022-03-01 2022-03-01 基于舰船实例分割的港口全景感知系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210194201.4A CN114565764A (zh) 2022-03-01 2022-03-01 基于舰船实例分割的港口全景感知系统

Publications (1)

Publication Number Publication Date
CN114565764A true CN114565764A (zh) 2022-05-31

Family

ID=81716695

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210194201.4A Pending CN114565764A (zh) 2022-03-01 2022-03-01 基于舰船实例分割的港口全景感知系统

Country Status (1)

Country Link
CN (1) CN114565764A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116051548A (zh) * 2023-03-14 2023-05-02 中国铁塔股份有限公司 一种定位方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107563303A (zh) * 2017-08-09 2018-01-09 中国科学院大学 一种基于深度学习的鲁棒性舰船目标检测方法
CN109190636A (zh) * 2018-07-30 2019-01-11 北京航空航天大学 一种遥感图像舰船目标信息提取方法
CN111985376A (zh) * 2020-08-13 2020-11-24 湖北富瑞尔科技有限公司 一种基于深度学习的遥感影像舰船轮廓提取方法
WO2021139069A1 (zh) * 2020-01-09 2021-07-15 南京信息工程大学 自适应注意力指导机制的一般性目标检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107563303A (zh) * 2017-08-09 2018-01-09 中国科学院大学 一种基于深度学习的鲁棒性舰船目标检测方法
CN109190636A (zh) * 2018-07-30 2019-01-11 北京航空航天大学 一种遥感图像舰船目标信息提取方法
WO2021139069A1 (zh) * 2020-01-09 2021-07-15 南京信息工程大学 自适应注意力指导机制的一般性目标检测方法
CN111985376A (zh) * 2020-08-13 2020-11-24 湖北富瑞尔科技有限公司 一种基于深度学习的遥感影像舰船轮廓提取方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
尤晓建, 徐守时, 侯蕾: "基于特征融合的可见光图像舰船检测新方法", 计算机工程与应用, no. 19, 1 July 2006 (2006-07-01) *
王彦情;马雷;田原;: "光学遥感图像舰船目标检测与识别综述", 自动化学报, no. 09, 15 September 2011 (2011-09-15) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116051548A (zh) * 2023-03-14 2023-05-02 中国铁塔股份有限公司 一种定位方法及装置
CN116051548B (zh) * 2023-03-14 2023-08-11 中国铁塔股份有限公司 一种定位方法及装置

Similar Documents

Publication Publication Date Title
CN112818903B (zh) 一种基于元学习和协同注意力的小样本遥感图像目标检测方法
CN110414387B (zh) 一种基于道路分割的车道线多任务学习检测方法
CN109902600B (zh) 一种道路区域检测方法
Li et al. Multiscale features supported DeepLabV3+ optimization scheme for accurate water semantic segmentation
CN112396607B (zh) 一种可变形卷积融合增强的街景图像语义分割方法
CN112232349A (zh) 模型训练方法、图像分割方法及装置
CN110136062B (zh) 一种联合语义分割的超分辨率重建方法
CN110717851A (zh) 图像处理方法及装置、神经网络的训练方法、存储介质
CN111861880B (zh) 基于区域信息增强与块自注意力的图像超分与融合方法
CN113095277B (zh) 一种基于目标空间分布特征的无人机航拍车辆检测方法
CN117253154B (zh) 一种基于深度学习的集装箱弱小序列号目标检测识别方法
CN116645592B (zh) 一种基于图像处理的裂缝检测方法和存储介质
CN114724155A (zh) 基于深度卷积神经网络的场景文本检测方法、系统及设备
CN111832453A (zh) 基于双路深度神经网络的无人驾驶场景实时语义分割方法
CN111582074A (zh) 一种基于场景深度信息感知的监控视频树叶遮挡检测方法
CN114037640A (zh) 图像生成方法及装置
CN113052006A (zh) 一种基于卷积神经网络的图像目标检测方法，系统及可读存储介质
CN115100652A (zh) 基于高分遥感图像的电子地图自动化生成方法
CN110532959B (zh) 基于双通道三维卷积神经网络的实时暴力行为检测系统
CN115527096A (zh) 一种基于改进YOLOv5的小目标检测方法
CN115272670A (zh) 一种基于掩膜注意交互的sar图像舰船实例分割方法
CN109741358B (zh) 基于自适应超图学习的超像素分割方法
CN112883887B (zh) 一种基于高空间分辨率光学遥感图像的建筑物实例自动提取方法
CN114565764A (zh) 基于舰船实例分割的港口全景感知系统
CN111815529B (zh) 一种基于模型融合和数据增强的低质图像分类增强方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination