CN111209919B - 一种海上船舶显著性检测方法及系统 - Google Patents

一种海上船舶显著性检测方法及系统 Download PDF

Info

Publication number
CN111209919B
CN111209919B CN202010010286.7A CN202010010286A CN111209919B CN 111209919 B CN111209919 B CN 111209919B CN 202010010286 A CN202010010286 A CN 202010010286A CN 111209919 B CN111209919 B CN 111209919B
Authority
CN
China
Prior art keywords
refinement
map
result
residual
adopting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010010286.7A
Other languages
English (en)
Other versions
CN111209919A (zh
Inventor
陈培秋
周薇娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Maritime University
Original Assignee
Shanghai Maritime University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Maritime University filed Critical Shanghai Maritime University
Priority to CN202010010286.7A priority Critical patent/CN111209919B/zh
Publication of CN111209919A publication Critical patent/CN111209919A/zh
Application granted granted Critical
Publication of CN111209919B publication Critical patent/CN111209919B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Abstract

本发明公开了一种海上船舶显著性检测方法及系统，所述方法包括：步骤S1、获取存储有若干个待检测图像的数据库；步骤S2、将数据库作为残差网络的输入，采用残差网络进行特征提取得到浅层特征图和深层特征图；步骤S3、对深层特征图进行特征提取，得到仅有待检测目标的初始显著图；步骤S4、对浅层特征图进行特征细化处理之后与初始显著图进行叠加，得到显著性预测图；步骤S5、将步骤S4得到的显著性预测图作为残差网络的输入；重复步骤S2～步骤S4；直到循环次数达到预设值，将最后一次循环次数对应的显著性预测图作为最终显著性预测图。本发明能够准确、快速、低功耗地检测与提取海上船舶目标,且提供丰富而有辨别力的显著性检测结果。

Description

一种海上船舶显著性检测方法及系统
技术领域
本发明涉及目标检测跟踪技术领域，特别涉及一种基于深度注意机制的海上船舶显著性检测方法及系统。
背景技术
海上目标的显著性检测问题因其在海洋渔业、海上运输管制、海上军事以及水下运载器等领域的重要应用越来越受到人们关注。计算机辅助船舶检测的方法极大促进了该项研究的发展，提高了检测效率，释放了人力资源。近几年，深度学习的方法极大地促进了显著性检测的发展，取得了令人惊讶的表现，与此同时，应用于海上特定场景的船舶显著性检测也随之取得巨大的进步。这是由于深度学习拥有强大的特征表达能力,可以通过网络自下而上自动学习到船舶目标的低级特征和高级特征,并将其有效地提取，这些特征分级按层次排列,代表实际船舶目标的不同的语义信息，从而能够提供丰富而有辨别力的显著性检测结果。
但是考虑到海洋环境的复杂性，检测会受到拍摄距离,海杂波，光照强度，天气变化,复杂背景以及船舶颜色和海面颜色对比不明显等因素的影响,单单凭借肉眼或现有的船舶检测算法，效率低、成本高且检测未必准确，难以达到令人满意的监测结果，进而虚警和漏检的情况会时常出现。
近来，在船舶检测问题上，显著性检测能够极大地改善其检测性能。并且我们不可否认，之前的一些方法对船舶检测都做出了重大努力，但是也仍然存在问题，例如如何更多的检测出显著目标的边缘信息，如何尽可能的在减少计算量的基础上更自动，更快速地检测各种背景的海上显著目标，以及即使当前实验效果最好的完全卷积网络(FCN)在检测时，也不能完全有效地提取船舶目标的边缘信息等问题。
因此准确、快速、低功耗地检测与提取海上船舶目标,赢得更可能多的反应与处理时间,能够提供丰富而有辨别力的显著性检测结果，已成为当前海上船舶的显著性检测方法上急需解决的难题，这一课题的研究具有重大的现实意义。
发明内容
本发明的目的在于提供一种基于深度注意机制的海上船舶显著性检测方法及系统，以实现准确、快速、低功耗地检测与提取海上船舶目标,赢得更可能多的反应与处理时间,能够提供丰富而有辨别力的显著性检测结果的目的。
为了实现以上目的，本发明通过以下技术方案实现：
一种海上船舶显著性检测方法，包括：
步骤S1、获取存储有若干个待检测图像的数据库；
步骤S2、将所述数据库作为残差网络的输入，采用所述残差网络进行特征提取得到浅层特征图和深层特征图；
步骤S3、对所述深层特征图进行特征提取，得到仅有待检测目标的初始显著图；
步骤S4、对所述浅层特征图进行特征细化处理之后与所述初始显著图进行叠加，得到显著性预测图；
步骤S5、将所述步骤S4得到的所述显著性预测图作为所述残差网络的输入；重复所述步骤S2～步骤S4；直到循环次数达到预设值，将最后一次循环次数对应的所述显著性预测图作为最终显著性预测图。
优选地，所述步骤S1包括：预先采集若干个所述待检测图像；每个所述待检测图像包括待检测目标和背景，每个所述待检测图像所具有的背景各不相同；每个所述待检测图像设有与其一一对应的地表真值图片。
优选地，所述步骤S2包括：所述残差网络依据输出特征的等级依次分成五层，其中所述五层中的第一～第三层用于提取浅层信息，获得低级语义特征，得到用于定位所述待检测目标的边界的所述浅层特征图；所述五层中的第四～第五层用于提取深层信息，获得高级语义特征，得到用于定位所述待检测目标所在的区域的所述深层特征图。
优选地，所述步骤S4包括：步骤S4.1、将所述浅层特征图进行第一次细化处理，得到第一细化结果，并对所述第一细化结果采用监督信号进行监督；进入步骤S4.2；
步骤S4.2、将所述第一细化结果与所述初始显著图进行级联，得到第一级联结果；进入步骤S4.3；
步骤S4.3、对所述第一级联结果进行第二次细化处理，得到第二细化结果，并对所述第二细化结果采用监督信号进行监督；进入步骤S4.4；
步骤S4.4、将所述第二细化结果与所述浅层特征图进行级联，得到第二级联结果；进入步骤S4.5；
步骤S4.5、对所述第二级联结果进行第三次细化处理，得到第三细化结果，并对所述第三细化结果采用监督信号进行监督；进入步骤S4.6；
步骤S4.6、将所述第三细化结果与所述初始显著图进行级联，得到第三级联结果；进入步骤S4.7；
步骤S4.7、对所述第三级联结果进行第四次细化处理，得到第四细化结果，并对所述第四细化结果采用监督信号进行监督，得到所述显著性预测图。
优选地，所述监督信号为所有与每个所述待检测图像一一对应的地表真值图片。
优选地，每一所述细化处理包括：对所述输入数据采用若干级3*3卷积神经网络进行卷积处理得到输出信号；其中对于每一级所述3*3卷积神经网络所输出的内积数据均采用Leaky ReLu激活函数进行转换得到所述输出信号；
之后将最后一级所述3*3卷积神经网络所输出的所述输出信号采用1*1卷积神经网络进行降维处理，得到相应的细化结果。
优选地，还包括：计算每一循环次数产生的损失值，其中总损失采用如下公式进行表示：
Figure SMS_1
当权重为1时，所述总损失采用如下公式进行表示
Figure SMS_2
/>
式中，La表示总损失，L0表示循环次数为0时的初始损失；w0表示权重的初始预测值，wi表示和第i次循环的预测值，n表示循环总次数。
优选地，还包括：对采用预设的评估标准对所述最终显著性预测图的检测结果进行评估；
所述预设的评估标准包括平均绝对误差MAE和F-测量Fβ；
Figure SMS_3
式中，其中G表示基本事实，S是网络输出的所述显著性预测图，W和H分别是所述显著性预测图S的宽度和高度；
Figure SMS_4
式中，Fβ是查全率和查准率在非负权重β下的加权调和平均值，β一般取0.3；Precision表示精度，Recall表示召回率；所述精度和召回率是通过比较显著预测图和地表真值在不同阈值范围0～255下的二值映射图来计算的。
另一方面，本发明还提供一种海上船舶显著性检测系统，包括：
获取模块，用于获取存储有若干个待检测图像的数据库；
提取模块，用于将所述数据库作为残差网络的输入，采用所述残差网络进行特征提取得到浅层特征图和深层特征图；
关注模块，用于对所述深层特征图进行特征提取，得到仅有待检测目标的初始显著图；
残差细化模组，用于对所述浅层特征图进行特征细化处理之后与所述初始显著图进行叠加，得到显著性预测图；
循环模块，用于将所述残差细化模组输出的所述显著性预测图作为所述残差网络的新的输入；循环利用所述提取模块采用所述残差网络进行特征提取得到浅层特征图和深层特征图；采用所述关注模块对所述深层特征图进行特征提取，得到仅有待检测目标的初始显著图；以及采用所述残差细化模组对所述浅层特征图进行特征细化处理之后与所述初始显著图进行叠加，得到显著性预测图这一过程；直到循环次数达到预设值，将最后一次循环次数对应的所述显著性预测图作为最终显著性预测图。
优选地，所述残差细化模组包括：四个残差细化模块；其中，四个残差细化模块分别为第一残差细化模块，第二残差细化模块，第三残差细化模块和第四残差细化模块。所述第一残差细化模块用于将所述浅层特征图进行第一次细化处理，得到第一细化结果，并对所述第一细化结果采用监督信号进行监督；之后，将所述第一细化结果与所述初始显著图进行级联，得到第一级联结果。所述第二残差细化模块用于对所述第一级联结果进行第二次细化处理，得到第二细化结果，并对所述第二细化结果采用监督信号进行监督；之后将所述第二细化结果与所述浅层特征图进行级联，得到第二级联结果。所述第三残差细化模块用于对所述第二级联结果进行第三次细化处理，得到第三细化结果，并对所述第三细化结果采用监督信号进行监督；之后将所述第三细化结果与所述初始显著图进行级联，得到第三级联结果。所述第四残差细化模块用于对所述第三级联结果进行第四次细化处理，得到第四细化结果，并对所述第四细化结果采用监督信号进行监督，得到所述显著性预测图。
所述四个残差细化模块结构相同，每个所述残差细化模块包括依次连接的若干级3*3卷积神经网络，以及与最后一级所述3*3卷积神经网络连接的1*1卷积神经网络。每一级所述3*3卷积神经网络的输出部设有一Leaky ReLU激活函数；每一级所述3*3卷积神经网络用于对其接收到的输入数据进行卷积处理得到内积数据，之后采用与该级对应的所述Leaky ReLU激活函数对所述内积数据进行转换得到输出信号。
所述1*1卷积神经网络层用于将所述最后一级所述3*3卷积神经网络层所输出的所述输出信号进行降维处理，得到相应的细化结果。
本发明与现有技术相比具有以下优点：
本发明一种海上船舶显著性检测方法，包括：步骤S1、获取存储有若干个待检测图像的数据库；步骤S2、将所述数据库作为残差网络的输入，采用所述残差网络进行特征提取得到浅层特征图和深层特征图；步骤S3、对所述深层特征图进行特征提取，得到仅有待检测目标的初始显著图；步骤S4、对所述浅层特征图进行特征细化处理之后与所述初始显著图进行叠加，得到显著性预测图；步骤S5、将所述步骤S4得到的所述显著性预测图作为所述残差网络的输入；重复所述步骤S2～步骤S4；直到循环次数达到预设值，将最后一次循环次数对应的所述显著性预测图作为最终显著性预测图。由此可知，本发明是集合浅层特征图和深层特征图，生成低级和高级语义特征集合，在适用于正确地定位船舶目标所在区域的同时，能够成功定位待检测目标(例如船舶)的边界。实现了准确、快速、低功耗地检测与提取海上船舶目标,赢得更可能多的反应与处理时间,能够提供丰富而有辨别力的显著性检测结果的目的。
附图说明
图1为本发明一实施例提供的一种海上船舶显著性检测方法的流程图；
图2为本发明一实施例提供的常用的几种激活函数的激活结果对比示意图。
具体实施方式
以下结合附图1～2和具体实施方式对本发明提出的一种海上船舶显著性检测方法及系统作进一步详细说明。根据下面说明，本发明的优点和特征将更清楚。需要说明的是，附图采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施方式的目的。为了使本发明的目的、特征和优点能够更加明显易懂，请参阅附图。须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容能涵盖的范围内。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
结合图1和图2所示，本实施例提供的一种海上船舶显著性检测方法，包括：
步骤S1、获取存储有若干个待检测图像的数据库。
具体的，所述步骤S1包括：预先采集若干个所述待检测图像；每个所述待检测图像包括待检测目标和背景，每个所述待检测图像所具有的背景各不相同；每个所述待检测图像设有与其一一对应的地表真值图片(GT)。
具体的，所述数据库包含不同背景环境、不同天气状况、白天和黑夜以及海浪大小不一的样本图片(待检测图像)；所有的样本图片不设统一尺寸，以此证明该框架适用于不同尺寸的样本图片(待检测图像)。所述待检测图像为RGB图片。所述地表真值图片在模型中起监督作用，可有效抑制背景干扰物对检测结果的影响。
步骤S2、将所述数据库作为残差网络的输入，采用所述残差网络进行特征提取得到浅层特征图和深层特征图。
具体的，所述步骤S2包括：所述残差网络依据输出特征的等级依次分成五层，其中所述五层中的第一～第三层用于提取浅层信息，获得低级语义特征，得到用于定位所述待检测目标的边界的所述浅层特征图；所述五层中的第四～第五层用于提取深层信息，获得高级语义特征，得到用于定位所述待检测目标所在的区域的所述深层特征图。所述残差网络不同层的特征是互补的，所述深层特征图所包含的特征通常包含全局上下文感知信息，适用于正确地定位待检测目标(例如船舶)所在区域，浅层特征图所包含的特征包含空间结构细节，更适合于定位待检测目标(例如船舶)的边界。
步骤S3、对所述深层特征图进行特征提取，得到仅有待检测目标的初始显著图。
步骤S4、对所述浅层特征图进行特征细化处理之后与所述初始显著图进行叠加，得到显著性预测图。
进一步的，所述步骤S4包括：步骤S4.1、将所述浅层特征图进行第一次细化处理，得到第一细化结果，并对所述第一细化结果采用监督信号进行监督；进入步骤S4.2；
步骤S4.2、将所述第一细化结果与所述初始显著图进行级联，得到第一级联结果；进入步骤S4.3；
步骤S4.3、对所述第一级联结果进行第二次细化处理，得到第二细化结果，并对所述第二细化结果采用监督信号进行监督；进入步骤S4.4；
步骤S4.4、将所述第二细化结果与所述浅层特征图进行级联，得到第二级联结果；进入步骤S4.5；
步骤S4.5、对所述第二级联结果进行第三次细化处理，得到第三细化结果，并对所述第三细化结果采用监督信号进行监督；进入步骤S4.6；
步骤S4.6、将所述第三细化结果与所述初始显著图进行级联，得到第三级联结果；进入步骤S4.7；
步骤S4.7、对所述第三级联结果进行第四次细化处理，得到第四细化结果，并对所述第四细化结果采用监督信号进行监督，得到所述显著性预测图。
优选地，在本实施例中，所述监督信号为所有与每个所述待检测图像一一对应的地表真值图片。
优选地，在本实施例中，每一所述细化处理包括：对所述输入数据采用若干级3*3卷积神经网络进行卷积处理得到输出信号；其中对于每一级所述3*3卷积神经网络所输出的内积数据均采用Leaky ReLu激活函数进行转换得到所述输出信号；
之后将最后一级所述3*3卷积神经网络所输出的所述输出信号采用1*1卷积神经网络进行降维处理，得到相应的细化结果。
对于所述步骤S4.1中所述的第一次细化处理过程，所述输入数据为所述步骤S4.1中的所述浅层特征图；所述细化结果为所述第一细化结果。
具体的，所述3*3卷积神经网络的级数为三级；其中第一级3*3卷积神经网络用于将所述浅层特征图进行卷积处理得到第一内积数据，之后采用与所述第一级3*3卷积神经网络相配合使用的第一Leaky ReLu激活函数对所述第一内积数据进行转换，得到第一输出信号；将所述第一输出信号作为第二级3*3卷积神经网络的输入数据进行卷积处理，得到第二内积数据，之后采用与所述第二级3*3卷积神经网络相配合使用的第二Leaky ReLu激活函数对所述第二内积数据进行转换，得到第二输出信号；
将所述第二输出信号作为第三级3*3卷积神经网络的输入数据进行卷积处理，得到第三内积数据，之后采用与所述第三级3*3卷积神经网络相配合使用的第三Leaky ReLu激活函数对所述第三内积数据进行转换，得到第三输出信号；采用1*1卷积神经网络对所述第三输出信号进行降维处理，得到所述第一细化结果。
依此类推，对于所述步骤S4.3中所述的第二次细化处理过程，所述输入数据为所述步骤S4.2中的所述第一级联结果；所述细化结果为所述第二细化结果。
对于所述步骤S4.5中所述的第三次细化处理过程，所述输入数据为所述步骤S4.4中的所述第二级联结果；所述细化结果为所述第三细化结果。
对于所述步骤S4.7中所述的第四次细化处理过程，所述输入数据为所述步骤S4.6中的所述第三级联结果；所述细化结果为所述第四细化结果，得到所述显著性预测图。
3*3卷积神经网络(3*3卷积核)后连接1*1卷积神经网络(1*1卷积核)的优势在于可以增加非线性而不改变卷积层的感受域，并且1*1卷积核的加入能够起到降维的效果，这样可以大幅减少计算成本，提高模型的检测速度。通过使用上述细化处理方法，使得整个模型能够更好地细化特征图，对初始的初始显著图(船舶显著图)加以补充。
3*3卷积神经网络用于捕获输入数据(例如初始显著图)的像素八个邻域信息的尺寸。多个3*3的卷积神经网络比一个大尺寸卷积神经网络有更多的非线性，因为有更多层的非线性函数，这里是使用了3个非线性激活函数(Leaky ReLU)，使得判决函数更加具有判决性。由于3*3卷积神经网络在做卷积操作时相当耗时，所以使用1*1卷积神经网络降低维度。
卷积神经网络真正使用时，一般需要配合池化、激活函数等，以获得更强的表达能力。这是因为卷积神经网络的内积不能当做那一层的最终输出，最终输出需要有一个函数来确定，这个函数将内积转换为输出信号，这种函数一般称为激活函数(activationfunction)，没有激活函数的每层都相当于矩阵相乘，即使叠加了若干层之后，无非还是个矩阵相乘罢了，因此选择加入Leaky ReLU激活函数，使用该激活函数的原因是通过结合图2和表1中同其他激活函数比较训练损失，选择最小的损失的激活函数得出的，即为LeakyReLU。所以在输出都是输入的线性组合的情况下加入Leaky ReLU激活函数，使得某一块区域的特征强度如果没有达到一定的标准或者说这块区域的这种特征很弱时，输出小常数a，并且和该特征无关的区域不会影响到该特征提取方式的训练。Leaky ReLu公式中z为输入信号，为上一层的內积。
目前常用的激活函数一般分为两类，饱和激活函数和非饱和激活函数，其分类如附图2所示。
本发明选取的激活函数Leaky ReLu是在ReLU的基础上，针对在x<0的硬饱和问题做出了相应的改进。它的首次提出是在声学模型中,其数学定义及其导数公式如下所示：
g(z)＝max(az,z) (1)
Figure SMS_5
这里的a是一个很小的常数，这样，即修正了数据分布，又保留了一些负轴的值，从而负轴信息不会全部丢失。
本实施例采用Leaky ReLU，并与与目前流行的其他几种激活函数在训练10000步时进行损失对比。结果如表1所示，本发明在训练10000步后损失相较其他的激活函数最小。
表1为训练损失比较结果
Figure SMS_6
本实施例的训练基于PyTorch框架，Ubuntu16.04系统，硬件配置为Intel i78700k处理器、GTX 1080Ti GPU显卡、64GB RAM的服务器。使用基于ImageNet预训练的ResNet-101来初始化特征提取网络的参数，从而加速训练过程并尽量避免过拟合问题,使用PyTorch的默认设置初始化其他卷积层。由Adam optimizer训练，动量(Momentum)为0.9，权重衰减(Decay)为0.0005，批量大小(Batchsize)为14，基本学习率设为0.001。
由此可知，本实施例改进细化模块层数，在减少计算量的同时，提高检测效率。配合使用Leaky ReLu激活函数和Adam优化函数，提升了神经网络模型的表达能力
步骤S5、在本实施例中，所述将所述步骤S4得到的所述显著性预测图作为所述残差网络的输入；重复所述步骤S2～步骤S4；直到循环次数达到预设值，将最后一次循环次数对应的所述显著性预测图作为最终显著性预测图。
优选地，在本实施例中，还包括：计算每一循环次数产生的损失值，其中总损失采用如下公式进行表示：
Figure SMS_7
当权重为1时，所述总损失采用如下公式进行表示
Figure SMS_8
式中，La表示总损失，L0表示循环次数为0时的初始损失；w0表示权重的初始预测值，wi表示和第i次循环的预测值，n表示循环总次数。
优选地，在本实施例中，还包括：对采用预设的评估标准对所述最终显著性预测图的检测结果进行评估；
所述预设的评估标准包括平均绝对误差MAE和F-测量Fβ；
Figure SMS_9
式中，其中G表示基本事实，S是网络输出的所述显著性预测图，W和H分别是所述显著性预测图S的宽度和高度；
Figure SMS_10
式中，Fβ是查全率和查准率在非负权重β下的加权调和平均值，β一般取0.3；Precision表示精度，Recall表示召回率；所述精度和召回率是通过比较显著预测图和地表真值在不同阈值范围0～255下的二值映射图来计算的。
表2中将本发明方法取得的检测性能与现有方法做了对比。评估指标为平均绝对误差(MAE)和F-测量(F-measure)，具体公式前文中已经提出。
表2与现有方法的对比(最优和次优结果分别用黑体和斜体表示)
Figure SMS_11
/>
Figure SMS_12
从表中结果可以看出本发明具有较好的检测性能。
由此可知，本实施例是集合浅层特征图和深层特征图，生成低级和高级语义特征集合，在适用于正确地定位船舶目标所在区域的同时，能够成功定位待检测目标(例如船舶)的边界。实现了准确、快速、低功耗地检测与提取海上船舶目标,赢得更可能多的反应与处理时间,能够提供丰富而有辨别力的显著性检测结果的目的。
另一方面，基于同一方明构思，本发明还提供一种海上船舶显著性检测系统，包括：
获取模块，用于获取存储有若干个待检测图像的数据库；
提取模块，用于将所述数据库作为残差网络的输入，采用所述残差网络进行特征提取得到浅层特征图和深层特征图；
关注模块，用于对所述深层特征图进行特征提取，得到仅有待检测目标的初始显著图；
残差细化模组，用于对所述浅层特征图进行特征细化处理之后与所述初始显著图进行叠加，得到显著性预测图；
循环模块，用于将所述残差细化模组输出的所述显著性预测图作为所述残差网络的新的输入；循环利用所述提取模块采用所述残差网络进行特征提取得到浅层特征图和深层特征图；采用所述关注模块对所述深层特征图进行特征提取，得到仅有待检测目标的初始显著图；以及采用所述残差细化模组对所述浅层特征图进行特征细化处理之后与所述初始显著图进行叠加，得到显著性预测图这一过程；直到循环次数达到预设值，将最后一次循环次数对应的所述显著性预测图作为最终显著性预测图。
优选地，所述残差细化模组包括：四个残差细化模块(Refinement residualblock)；其中，四个残差细化模块分别为第一残差细化模块，第二残差细化模块，第三残差细化模块和第四残差细化模块。所述第一残差细化模块用于将所述浅层特征图进行第一次细化处理，得到第一细化结果，并对所述第一细化结果采用监督信号进行监督；之后，将所述第一细化结果与所述初始显著图进行级联，得到第一级联结果。所述第二残差细化模块用于对所述第一级联结果进行第二次细化处理，得到第二细化结果，并对所述第二细化结果采用监督信号进行监督；之后将所述第二细化结果与所述浅层特征图进行级联，得到第二级联结果。所述第三残差细化模块用于对所述第二级联结果进行第三次细化处理，得到第三细化结果，并对所述第三细化结果采用监督信号进行监督；之后将所述第三细化结果与所述初始显著图进行级联，得到第三级联结果。所述第四残差细化模块用于对所述第三级联结果进行第四次细化处理，得到第四细化结果，并对所述第四细化结果采用监督信号进行监督，得到所述显著性预测图。
所述四个残差细化模块结构相同，每个所述残差细化模块包括依次连接的若干级3*3卷积神经网络，以及与最后一级所述3*3卷积神经网络连接的1*1卷积神经网络。每一级所述3*3卷积神经网络的输出部设有一Leaky ReLU激活函数；每一级所述3*3卷积神经网络用于对其接收到的输入数据进行卷积处理得到内积数据，之后采用与该级对应的所述Leaky ReLU激活函数对所述内积数据进行转换得到输出信号。
所述1*1卷积神经网络层用于将所述最后一级所述3*3卷积神经网络层所输出的所述输出信号进行降维处理，得到相应的细化结果。
在本实施例中，所述若干级3*3卷积神经网络优选为三级，经实验表明3*3卷积神经网络为三级时效果最佳。
综上，本实施例公开了一种基于深度注意机制的海上船舶显著性高效的检测系统，在利用深度学习方法初步提取船舶的特征图后，配合加入注意模块，并在残差细化网络的卷积层和激活函数上进行改进，用以更好地提取初始显著图，从而实现了对显著图的逐步优化。结果表明本实施例在进行船舶显著性检测时能够保持良好的性能，本实施例将其应用于其他多种显著性检测的基准数据集中，进行结果对比，以此证明所提出框架的普适性和高效性，相较于之前的船舶目标检测工作，本实施例表现更为优异。
应当注意的是，在本文的实施方式中所揭露的装置和方法，也可以通过其他的方式实现。以上所描述的装置实施方式仅仅是示意性的，例如，附图中的流程图和框图显示了根据本文的多个实施方式的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用于执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本文各个实施方式中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
综上所述，本发明提供的一种海上船舶显著性检测方法，包括：步骤S1、获取存储有若干个待检测图像的数据库；步骤S2、将所述数据库作为残差网络的输入，采用所述残差网络进行特征提取得到浅层特征图和深层特征图；步骤S3、对所述深层特征图进行特征提取，得到仅有待检测目标的初始显著图；步骤S4、对所述浅层特征图进行特征细化处理之后与所述初始显著图进行叠加，得到显著性预测图；步骤S5、将所述步骤S4得到的所述显著性预测图作为所述残差网络的输入；重复所述步骤S2～步骤S4；直到循环次数达到预设值，将最后一次循环次数对应的所述显著性预测图作为最终显著性预测图。由此可知，本发明是集合浅层特征图和深层特征图，生成低级和高级语义特征集合，在适用于正确地定位船舶目标所在区域的同时，能够成功定位待检测目标(例如船舶)的边界。实现了准确、快速、低功耗地检测与提取海上船舶目标,赢得更可能多的反应与处理时间,能够提供丰富而有辨别力的显著性检测结果的目的。
尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。

Claims (8)

1.一种海上船舶显著性检测方法，其特征在于，包括：
步骤S1、获取存储有若干个待检测图像的数据库；
步骤S2、将所述数据库作为残差网络的输入，采用所述残差网络进行特征提取得到浅层特征图和深层特征图；所述步骤S2包括：所述残差网络依据输出特征的等级依次分成五层，其中所述五层中的第一～第三层用于提取浅层信息，获得低级语义特征，得到用于定位所述待检测目标的边界的所述浅层特征图；所述五层中的第四～第五层用于提取深层信息，获得高级语义特征，得到用于定位所述待检测目标所在的区域的所述深层特征图；
步骤S3、对所述深层特征图进行特征提取，得到仅有待检测目标的初始显著图；
步骤S4、对所述浅层特征图进行特征细化处理之后与所述初始显著图进行叠加，得到显著性预测图；所述步骤S4包括：步骤S4.1、将所述浅层特征图进行第一次细化处理，得到第一细化结果，并对所述第一细化结果采用监督信号进行监督；进入步骤S4.2；
步骤S4.2、将所述第一细化结果与所述初始显著图进行级联，得到第一级联结果；进入步骤S4.3；
步骤S4.3、对所述第一级联结果进行第二次细化处理，得到第二细化结果，并对所述第二细化结果采用监督信号进行监督；进入步骤S4.4；
步骤S4.4、将所述第二细化结果与所述浅层特征图进行级联，得到第二级联结果；进入步骤S4.5；
步骤S4.5、对所述第二级联结果进行第三次细化处理，得到第三细化结果，并对所述第三细化结果采用监督信号进行监督；进入步骤S4.6；
步骤S4.6、将所述第三细化结果与所述初始显著图进行级联，得到第三级联结果；进入步骤S4.7；
步骤S4.7、对所述第三级联结果进行第四次细化处理，得到第四细化结果，并对所述第四细化结果采用监督信号进行监督，得到所述显著性预测图；
步骤S5、将所述步骤S4得到的所述显著性预测图作为所述残差网络的输入；重复所述步骤S2～步骤S4；直到循环次数达到预设值，将最后一次循环次数对应的所述显著性预测图作为最终显著性预测图。
2.如权利要求1所述的海上船舶显著性检测方法，其特征在于，所述步骤S1包括：预先采集若干个所述待检测图像；每个所述待检测图像包括待检测目标和背景，每个所述待检测图像所具有的背景各不相同；
每个所述待检测图像设有与其一一对应的地表真值图片。
3.如权利要求1所述的海上船舶显著性检测方法，其特征在于，所述监督信号为所有与每个所述待检测图像一一对应的地表真值图片。
4.如权利要求3所述的海上船舶显著性检测方法，其特征在于，每一所述细化处理包括：对所述输入数据采用若干级3*3卷积神经网络进行卷积处理得到输出信号；其中对于每一级所述3*3卷积神经网络所输出的内积数据均采用Leaky ReLu激活函数进行转换得到所述输出信号；
之后将最后一级所述3*3卷积神经网络所输出的所述输出信号采用1*1卷积神经网络进行降维处理，得到相应的细化结果。
5.如权利要求4所述的海上船舶显著性检测方法，其特征在于，还包括：计算每一循环次数产生的损失值，其中总损失采用如下公式进行表示：
Figure FDA0004139311720000021
当权重为1时，所述总损失采用如下公式进行表示
Figure FDA0004139311720000022
式中，La表示总损失，L0表示循环次数为0时的初始损失；w0表示权重的初始预测值，wi表示和第i次循环的预测值，n表示循环总次数。
6.如权利要求5所述的海上船舶显著性检测方法，其特征在于，还包括：对采用预设的评估标准对所述最终显著性预测图的检测结果进行评估；
所述预设的评估标准包括平均绝对误差MAE和F-测量Fβ；
Figure FDA0004139311720000023
式中，其中G表示基本事实，S是网络输出的所述显著性预测图，W和H分别是所述显著性预测图S的宽度和高度；
Figure FDA0004139311720000031
式中，Fβ是查全率和查准率在非负权重β下的加权调和平均值，β一般取0.3；Precision表示精度，Recall表示召回率；所述精度和召回率是通过比较显著预测图和地表真值在不同阈值范围0～255下的二值映射图来计算的。
7.一种海上船舶显著性检测系统，其特征在于，包括：
获取模块，用于获取存储有若干个待检测图像的数据库；
提取模块，用于将所述数据库作为残差网络的输入，采用所述残差网络进行特征提取得到浅层特征图和深层特征图；
所述残差网络依据输出特征的等级依次分成五层，其中所述五层中的第一～第三层用于提取浅层信息，获得低级语义特征，得到用于定位所述待检测目标的边界的所述浅层特征图；所述五层中的第四～第五层用于提取深层信息，获得高级语义特征，得到用于定位所述待检测目标所在的区域的所述深层特征图；
关注模块，用于对所述深层特征图进行特征提取，得到仅有待检测目标的初始显著图；
残差细化模组，用于对所述浅层特征图进行特征细化处理之后与所述初始显著图进行叠加，得到显著性预测图；
所述残差细化模组包括：四个残差细化模块；
其中，四个残差细化模块分别为第一残差细化模块，第二残差细化模块，第三残差细化模块和第四残差细化模块；
所述第一残差细化模块用于将所述浅层特征图进行第一次细化处理，得到第一细化结果，并对所述第一细化结果采用监督信号进行监督；之后，将所述第一细化结果与所述初始显著图进行级联，得到第一级联结果；
所述第二残差细化模块用于对所述第一级联结果进行第二次细化处理，得到第二细化结果，并对所述第二细化结果采用监督信号进行监督；之后将所述第二细化结果与所述浅层特征图进行级联，得到第二级联结果；
所述第三残差细化模块用于对所述第二级联结果进行第三次细化处理，得到第三细化结果，并对所述第三细化结果采用监督信号进行监督；之后将所述第三细化结果与所述初始显著图进行级联，得到第三级联结果；
所述第四残差细化模块用于对所述第三级联结果进行第四次细化处理，得到第四细化结果，并对所述第四细化结果采用监督信号进行监督，得到所述显著性预测图；
循环模块，用于将所述残差细化模组输出的所述显著性预测图作为所述残差网络的新的输入；循环利用所述提取模块采用所述残差网络进行特征提取得到浅层特征图和深层特征图；采用所述关注模块对所述深层特征图进行特征提取，得到仅有待检测目标的初始显著图；以及采用所述残差细化模组对所述浅层特征图进行特征细化处理之后与所述初始显著图进行叠加，得到显著性预测图这一过程；直到循环次数达到预设值，将最后一次循环次数对应的所述显著性预测图作为最终显著性预测图。
8.如权利要求7所述的海上船舶显著性检测系统，其特征在于，
所述四个残差细化模块结构相同，每个所述残差细化模块包括依次连接的若干级3*3卷积神经网络，以及与最后一级所述3*3卷积神经网络连接的1*1卷积神经网络；
每一级所述3*3卷积神经网络的输出部设有一Leaky ReLU激活函数；每一级所述3*3卷积神经网络用于对其接收到的输入数据进行卷积处理得到内积数据，之后采用与该级对应的所述Leaky ReLU激活函数对所述内积数据进行转换得到输出信号；
所述1*1卷积神经网络层用于将所述最后一级所述3*3卷积神经网络层所输出的所述输出信号进行降维处理，得到相应的细化结果。
CN202010010286.7A 2020-01-06 2020-01-06 一种海上船舶显著性检测方法及系统 Active CN111209919B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010010286.7A CN111209919B (zh) 2020-01-06 2020-01-06 一种海上船舶显著性检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010010286.7A CN111209919B (zh) 2020-01-06 2020-01-06 一种海上船舶显著性检测方法及系统

Publications (2)

Publication Number Publication Date
CN111209919A CN111209919A (zh) 2020-05-29
CN111209919B true CN111209919B (zh) 2023-06-09

Family

ID=70789509

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010010286.7A Active CN111209919B (zh) 2020-01-06 2020-01-06 一种海上船舶显著性检测方法及系统

Country Status (1)

Country Link
CN (1) CN111209919B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112014842B (zh) * 2020-09-16 2021-03-19 国家海洋技术中心 高分三号全极化sar数据的有效波高估计方法及系统
CN112800932B (zh) * 2021-01-25 2023-10-03 上海海事大学 海上背景下显著船舶目标的检测方法及电子设备
CN114022778B (zh) * 2021-10-25 2023-04-07 电子科技大学 一种基于显著性cnn的sar靠岸船只检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018028255A1 (zh) * 2016-08-11 2018-02-15 深圳市未来媒体技术研究院 基于对抗网络的图像显著性检测方法
CN108256562A (zh) * 2018-01-09 2018-07-06 深圳大学 基于弱监督时空级联神经网络的显著目标检测方法及系统
CN108399406A (zh) * 2018-01-15 2018-08-14 中山大学 基于深度学习的弱监督显著性物体检测的方法及系统
CN109829391A (zh) * 2019-01-10 2019-05-31 哈尔滨工业大学 基于级联卷积网络和对抗学习的显著性目标检测方法
CN110263813A (zh) * 2019-05-27 2019-09-20 浙江科技学院 一种基于残差网络和深度信息融合的显著性检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10628708B2 (en) * 2018-05-18 2020-04-21 Adobe Inc. Utilizing a deep neural network-based model to identify visually similar digital images based on user-selected visual attributes

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018028255A1 (zh) * 2016-08-11 2018-02-15 深圳市未来媒体技术研究院 基于对抗网络的图像显著性检测方法
CN108256562A (zh) * 2018-01-09 2018-07-06 深圳大学 基于弱监督时空级联神经网络的显著目标检测方法及系统
CN108399406A (zh) * 2018-01-15 2018-08-14 中山大学 基于深度学习的弱监督显著性物体检测的方法及系统
WO2019136946A1 (zh) * 2018-01-15 2019-07-18 中山大学 基于深度学习的弱监督显著性物体检测的方法及系统
CN109829391A (zh) * 2019-01-10 2019-05-31 哈尔滨工业大学 基于级联卷积网络和对抗学习的显著性目标检测方法
CN110263813A (zh) * 2019-05-27 2019-09-20 浙江科技学院 一种基于残差网络和深度信息融合的显著性检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于双层多尺度神经网络的显著性对象检测算法;李鑫等;《微电子学与计算机》;20181105(第11期);全文 *
深度残差网络的多光谱遥感图像显著目标检测;戴玉超等;《测绘学报》;20180615(第06期);全文 *

Also Published As

Publication number Publication date
CN111209919A (zh) 2020-05-29

Similar Documents

Publication Publication Date Title
CN111209919B (zh) 一种海上船舶显著性检测方法及系统
CN114529825B (zh) 用于消防通道占用目标检测的目标检测模型、方法及应用
Isa et al. Optimizing the hyperparameter tuning of YOLOv5 for underwater detection
CN111079739B (zh) 一种多尺度注意力特征检测方法
Nguyen et al. Satellite image classification using convolutional learning
CN112288026B (zh) 一种基于类激活图的红外弱小目标检测方法
Li et al. Robust deep neural networks for road extraction from remote sensing images
CN116612283A (zh) 一种基于大卷积核骨干网络的图像语义分割方法
CN113963333B (zh) 一种基于改进yolof模型的交通标志牌检测方法
CN115115863A (zh) 水面多尺度目标检测方法、装置及系统和存储介质
Fu et al. A case study of utilizing YOLOT based quantitative detection algorithm for marine benthos
Dai et al. An efficient water segmentation method for SAR images
Zhang et al. Underwater target detection algorithm based on improved YOLOv4 with SemiDSConv and FIoU loss function
Shankar et al. Comparing YOLOV3, YOLOV5 & YOLOV7 Architectures for Underwater Marine Creatures Detection
CN116934796A (zh) 基于孪生残差注意力聚合网络的视觉目标跟踪方法
Zhang et al. An efficient center-based method with multilevel auxiliary supervision for multiscale SAR ship detection
CN116363518A (zh) 一种基于分焦平面偏振成像的伪装目标检测方法
CN112800932B (zh) 海上背景下显著船舶目标的检测方法及电子设备
Li Investigation of you only look once networks for vision-based small object detection
Niu et al. Underwater Waste Recognition and Localization Based on Improved YOLOv5.
Rajavarshini et al. Comparative analysis of image processing techniques for obstacle avoidance and path deduction
Liu et al. Text detection based on bidirectional feature fusion and sa attention mechanism
Suvetha et al. Automatic Traffic Sign Detection System With Voice Assistant
Zhou et al. FENet: Fast Real-time Semantic Edge Detection Network
Fang SSD-based Lightweight Recyclable Garbage Target Detection Algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant