CN116823838A - 高斯先验标签分配与特征解耦的海洋船舶检测方法与系统 - Google Patents
高斯先验标签分配与特征解耦的海洋船舶检测方法与系统 Download PDFInfo
- Publication number
- CN116823838A CN116823838A CN202311107816.XA CN202311107816A CN116823838A CN 116823838 A CN116823838 A CN 116823838A CN 202311107816 A CN202311107816 A CN 202311107816A CN 116823838 A CN116823838 A CN 116823838A
- Authority
- CN
- China
- Prior art keywords
- feature
- decoupling
- label
- classification
- distribution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 36
- 230000004927 fusion Effects 0.000 claims abstract description 34
- 239000011229 interlayer Substances 0.000 claims abstract description 33
- 230000003287 optical effect Effects 0.000 claims abstract description 19
- 230000000694 effects Effects 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims abstract description 7
- 238000000034 method Methods 0.000 claims description 37
- 239000010410 layer Substances 0.000 claims description 27
- 230000006870 function Effects 0.000 claims description 24
- 230000003993 interaction Effects 0.000 claims description 21
- 238000004364 calculation method Methods 0.000 claims description 20
- 238000013528 artificial neural network Methods 0.000 claims description 17
- 238000013527 convolutional neural network Methods 0.000 claims description 15
- 238000007781 pre-processing Methods 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 14
- 230000008878 coupling Effects 0.000 claims description 12
- 238000010168 coupling process Methods 0.000 claims description 12
- 238000005859 coupling reaction Methods 0.000 claims description 12
- 238000011176 pooling Methods 0.000 claims description 12
- 238000010586 diagram Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 4
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 abstract description 5
- 238000012544 monitoring process Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 230000005764 inhibitory process Effects 0.000 description 2
- 229930002875 chlorophyll Natural products 0.000 description 1
- 235000019804 chlorophyll Nutrition 0.000 description 1
- ATNHDLDRLWWWCB-AENOIHSZSA-M chlorophyll a Chemical compound C1([C@@H](C(=O)OC)C(=O)C2=C3C)=C2N2C3=CC(C(CC)=C3C)=[N+]4C3=CC3=C(C=C)C(C)=C5N3[Mg-2]42[N+]2=C1[C@@H](CCC(=O)OC\C=C(/C)CCC[C@H](C)CCC[C@H](C)CCCC(C)C)[C@H](C)C2=C5 ATNHDLDRLWWWCB-AENOIHSZSA-M 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及深度学习与海洋应用技术领域，公开了一种高斯先验标签分配与特征解耦的海洋船舶检测方法，包括如下步骤：输入待检测光学遥感卫星影像，形成预处理图像集，提取特征得到特征图，进行特征融合得到融合特征图，进行解耦得到负责分类的特征图与负责回归的特征图，通过分类回归，得到图像的分类结果，和目标定位结果，并进行训练更新网络参数，提升网络检测效果。本发明还公开了一种高斯先验标签分配与特征解耦的海洋船舶检测方法使用的系统。本发明高斯先验标签分配与特征解耦的海洋船舶检测方法与系统，加入先验信息，选取高质量的正样本，通过层间注意力解耦特征图，缓解分类任务与回归任务之间的不一致问题。
Description
技术领域
本发明涉及深度学习与海洋应用技术领域，具体涉及一种高斯先验标签分配与特征解耦的海洋船舶检测方法与系统。
背景技术
光学遥感图像是一种通过使用电磁波（光线）来获取地球表面信息的技术。在海洋场景下，光学遥感图像具有以下优点：
1.分辨率高：光学遥感图像具有较高的空间分辨率，能够清晰地展示海洋表面的细节，如船只、岛礁、海岸线等；
2.直观性强：光学遥感图像呈现出的海洋表面特征与人眼所见非常接近，易于理解和分析；
3.实时性好：光学遥感图像可以实时或近实时地获取海洋表面信息，有利于及时了解海洋动态和变化；
4.监测范围广：通过光学遥感图像，可以在较大范围内对海洋进行监测，包括陆地-海洋交界区、沿海区域、近海和远海等；
5.环境监测：光学遥感图像可以用于监测海洋环境参数，如水温、叶绿素浓度、悬浮物浓度等，有助于了解海洋生态环境状况；
6.灾害监测与评估：通过光学遥感图像，可以实时监测海上油污、赤潮、冰情等自然灾害和人为污染事件，有助于灾害应急响应和评估；
7.海上交通与安全：光学遥感图像可以实时监测海上船舶活动、海域使用状况等信息，为海上交通管理和安全提供支持。
因此，光学遥感图像的优点使得海洋领域有着广泛应用。同时，随着遥感信息技术的不断发展，海洋遥感技术将得到更广泛的应用，成为海洋监测的重要手段之一。
但传统的船舶检测算法通常需要人为提取特征，这样非常耗时费力，而且这类方法的鲁棒性和泛化能力较差，无法实现系统自动地识别目标。而随着深度学习技术的发展和完善，它被逐渐应用于遥感图像目标检测和识别领域，并取得了很好的效果。
深度学习技术的主要优势之一是可以自动学习有用的特征，从而显著减少甚至消除了人工特征提取的需要。由于船舶的形状和尺寸变化很大，因此深度学习模型可以自适应地学习不同船舶的形状和特征。此外，深度学习模型可以通过在大量数据上的训练来提高其准确性和鲁棒性。在近年来的研究中，基于卷积神经网络（CNN）的方法已经被证明在船舶检测中具有很好的效果。因此，深度学习技术的应用将进一步推动船舶检测的发展，并为船舶监测和追踪等更广泛的应用奠定基础。
在遥感图像中，使用水平边界框无法准确表达具有任意方向的目标，并且密集的排列很容易由于非最大抑制算法而导致同类目标的相互抑制。特别是船舶目标具有较大的长宽比，使用水平边界框标注将注释大量背景。因此，有向边界框可以表示船舶的朝向，逐渐流行并取得了显着进展。
但是，尽管现有的海洋遥感船舶检测方法有一定的发展，仍然有两点不足：
（1）遥感场景下的船舶检测通常使用的通用目标检测的标签分配方法，该类方法没有考虑船舶目标具有大长宽比、任意方向的特性，不能有效的选取高质量的候选样本点作为正样本；
（2）遥感场景下的船舶目标具有大长宽比、朝向任意方向的特点，轻微的角度变化将导致交并比的剧烈变化，加剧分类、回归与角度预测任务之间的不一致问题。
发明内容
本发明的目的就是针对上述技术的不足，提供一种高斯先验标签分配与特征解耦的海洋船舶检测方法与系统，加入船舶目标具有大长宽比、任意方向的先验信息，可以选取高质量的候选样本点作为正样本，通过层间注意力解耦不同任务所需的特征图，缓解分类任务与回归任务之间的不一致问题。
为实现上述目的，本发明所设计的高斯先验标签分配与特征解耦的海洋船舶检测方法，包括如下步骤
A）预处理图像集生产：输入待检测光学遥感卫星影像，进行数据增强或标准化处理，形成预处理图像集；
B）特征提取：将预处理图像集中的一张图像通过深度卷积神经网络的特征提取部分提取特征，得到若干张不同尺度的特征图；
C）特征融合：通过深度卷积神经网络的特征融合部分对若干张不同尺度的特征图进行特征融合，得到融合特征图；
D）解耦：通过深度卷积神经网络的融合特征图解耦部分对融合特征图进行解耦，得到负责分类的特征图与负责回归的特征图，所述融合特征图解耦部分包括基于层间注意力的特征解耦模块；
E）分类回归：通过深度卷积神经网络的分类回归部分，基于负责分类的特征图得到图像的分类结果，基于负责回归的特征图得到图像的目标定位结果；
F）训练：将取得的分类结果和目标定位结果与船舶目标标注进行正负样本标签分配，通过基于二维高斯先验的标签分配方法依据分类结果和目标定位结果与船舶目标标注的匹配度的高和低，将分类结果和目标定位结果分配为正样本和负样本，深度卷积神经网络以正样本和负样本进行损失计算，反向传播更新网络参数，提升网络检测效果。
优选地，所述步骤D）中，所述基于层间注意力的特征解耦模块包括特征提取器与层间注意力，通过特征提取器提取具有不同感受野的任务交互多尺度特征图，利用层间注意力捕捉来自不同卷积层的特征图之间的关系，并自适应地确定不同特征图的重要性，从任务交互多尺度特征图中提取任务相关特征图，实现对于分类、回归与角度预测不同任务的特征解耦。
优选地，所述步骤D）包括如下步骤：
D1）通过特征提取器提取具有不同感受野的任务交互多尺度特征图，首先取得特征提取器提取的特征，记为X k ，表示第k层特征，
X
k
={Relu(Conv
k
(X
Neck
)),k=1；ReluConv
k
(X
(k-1)
),k>1}
其中，Relu表示Relu激活函数，Conv k 表示第k个连续卷积层，X Neck 表示从特征融合部分获取的特征，将特征提取器提取的特征沿通道维进行拼接取得任务交互多尺度特征图X inter ，
X
inter
=Concat(X
1
;X
2
;…;X
n
)
其中Concat为特征图拼接算子，k∈{1,2,3,…,n}；
D2）从任务交互多尺度特征图X inter 中提取任务相关特征图X task ，
X task =ω∙X inter
其中，ω为层间注意力权重，捕捉来自任务交互多尺度特征图中来自不同卷积层的特征图之间的关系，并自适应地确定不同特征图的重要性，层间注意力权重ω的计算公式为：
其中，AvgPool是平均池化算子，MaxPool是最大池化算子，σ为Sigmoid激活函数，δ为Relu激活函数，fc 1 与fc 2 是两个全连接层，使用平均池化算子AvgPool和最大池化算子MaxPool来聚合任务交互多尺度特征图X inter 中的空间信息/>和/>，SMLP为包含两个全连接层的共享参数多层感知机，其中全连接层fc 1 用于降低维度并使用Relu激活，全连接层fc 2 恢复原始维度，通过不同任务的任务相关特征图X task 得到不同任务的预测结果Z task ，
Z
task
=Conv
2
(δ(Conv
1
(X
task
)))
其中，Conv 1 是用于降维的卷积，Conv 2 是用于不同任务预测的卷积。
优选地，所述步骤F）中，所述基于二维高斯先验的标签分配方法根据标签形状，将标签转换为二维高斯分布并以此作为先验知识，评估候选样本的潜力和质量。
优选地，结合船舶目标标注的中心点位置和形状，将船舶目标标注转换为二维高斯分布，计算每个候选点的高斯距离代价。
优选地，所述步骤F）中，所述基于二维高斯先验的标签分配方法使用软标签分类损失提高不同任务间的一致性。
优选地，所述步骤F）中，正负样本标签分配的计算过程包括如下步骤：
将船舶目标标注，即有向矩形(x,y,w,h,θ)，转换为二维高斯分布，计算公式如下所示：
其中，(x,y)为中心点坐标，w为有向矩形的宽，h为有向矩形的高，θ为角度，Σ表示协方差矩阵，Σ0表示角度θ为0时的协方差矩阵，μ表示均值，R θ 表示旋转变换矩阵，二维高斯分布的概率密度函数轮廓是一个椭圆曲线，使用下述公式表示二维高斯分布的概率密度f(X)：
式中，X表示坐标，将f(X)中的归一化项移除，得到g(X)，公式如下：
其中，g(X)∈(0, 1]，C gau 为高斯距离代价。
优选地，将预测边界框与标注之间的交并比作为软标签，分类代价C cls 的计算公式如下：
Y
soft
=IoU×Y
C cls =CE(P,Y soft )×(Y soft -P)2
其中，CE为交叉熵损失函数，Y为标签值，Y soft 为软标签，P为分类预测结果，IoU为交并比算子，回归代价C reg 的计算公式如下：
C
reg
=1-IoU (B
pred
,B
gt
)
其中，B pred 为预测边界框，B gt 为标注边界框，将所有代价相加得到总的代价矩阵Cost，公式如下为：
Cost=C
cls
+λ
1
×C
reg
+λ
2
×C
gau
式中，λ 1 与λ 2 为调制参数。
一种所述高斯先验标签分配与特征解耦的海洋船舶检测方法使用的系统，包括预处理模块、基于层间注意力特征解耦的深度卷积神经网络、基于二维高斯先验的标签分配方法控制输出模块；
所述预处理模块用于对输入的待检测光学遥感卫星影像进行数据增强或标准化处理，形成预处理图像集；
所述基于层间注意力特征解耦的深度卷积神经网络，用于检测所述预处理图像集内的每一张图像，输出分类结果和目标定位结果；
所述基于二维高斯先验的标签分配方法控制输出模块将所述基于层间注意力特征解耦的深度卷积神经网络的分类结果和目标定位结果输出至用户。
优选地，所述基于层间注意力特征解耦的深度卷积神经网络包括特征提取部分、特征融合部分、融合特征图解耦部分与分类回归部分；
所述特征提取部分对图像通过卷积进行降采样，并提取不同尺度的特征；
所述特征融合部分将不同尺度的特征进行融合；
所述融合特征图解耦部分利用层间注意力实现不同任务的特征解耦；
所述分类回归部分输出分类结果和目标定位结果。
本发明与现有技术相比，具有以下优点：
1、结合船舶目标标注的中心点位置和形状，将船舶目标标注转换为二维高斯分布，计算每个候选点的高斯距离代价，相比传统方形中心先验，更适应船舶目标具有大长宽比、朝向任意方向的特性；
2、使用软标签，缓解分类和回归任务之间存在不一致问题；
3、基于船舶目标特性，改进标签分配方法中代价矩阵计算方式，优化正负样本标签分配，稳定深度神经网络训练过程。
附图说明
图1为本发明高斯先验标签分配与特征解耦的海洋船舶检测方法的流程图；
图2为本发明中高斯先验标签分配与特征解耦的海洋船舶检测系统的网络架构图；
图3为基于层间注意力的特征解耦模块的示意图；
图4为船舶目标标注示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步的详细说明。
如图1及图2所示，一种高斯先验标签分配与特征解耦的海洋船舶检测方法，包括如下步骤：
A）预处理图像集生产：输入待检测光学遥感卫星影像，进行数据增强或标准化处理，形成预处理图像集；
B）特征提取：将预处理图像集中的一张图像通过深度卷积神经网络的特征提取部分提取特征，得到若干张不同尺度的特征图；
C）特征融合：通过深度卷积神经网络的特征融合部分对若干张不同尺度的特征图进行特征融合，得到融合特征图；
D）解耦：通过深度卷积神经网络的融合特征图解耦部分对融合特征图进行解耦，得到负责分类的特征图与负责回归的特征图，融合特征图解耦部分包括基于层间注意力的特征解耦模块；
E）分类回归：通过深度卷积神经网络的分类回归部分，基于负责分类的特征图得到图像的分类结果，基于负责回归的特征图得到图像的目标定位结果；
F）训练：将取得的分类结果和目标定位结果与船舶目标标注进行正负样本标签分配，通过基于二维高斯先验的标签分配方法依据分类结果和目标定位结果与船舶目标标注的匹配度的高和低，将分类结果和目标定位结果分配为正样本和负样本，深度卷积神经网络以正样本和负样本进行损失计算，反向传播更新网络参数，提升网络检测效果。
其中，步骤D）中，结合图2所示，基于层间注意力的特征解耦模块包括特征提取器与层间注意力，通过特征提取器提取具有不同感受野的任务交互多尺度特征图，利用层间注意力捕捉来自不同卷积层的特征图之间的关系，并自适应地确定不同特征图的重要性，从任务交互多尺度特征图中提取任务相关特征图，实现对于分类、回归与角度预测不同任务的特征解耦。
具体地，结合图3所示，步骤D）包括如下步骤：
D1）通过特征提取器提取具有不同感受野的任务交互多尺度特征图，首先取得特征提取器提取的特征，记为X k ，表示第k层特征，
X
k
={Relu(Conv
k
(X
Neck
)),k=1；ReluConv
k
(X
(k-1)
),k>1}
其中，Relu表示Relu激活函数，Conv k 表示第k个连续卷积层，X Neck 表示从特征融合部分获取的特征，将特征提取器提取的特征沿通道维进行拼接取得任务交互多尺度特征图X inter ，
X
inter
=Concat(X
1
;X
2
;…;X
n
)
其中Concat为特征图拼接算子，k∈{1,2,3,…,n}；
D2）从任务交互多尺度特征图X inter 中提取任务相关特征图X task ，
X task =ω∙X inter
其中，ω为层间注意力权重，捕捉来自任务交互多尺度特征图中来自不同卷积层的特征图之间的关系，并自适应地确定不同特征图的重要性，层间注意力权重ω的计算公式为：
其中，AvgPool是平均池化算子，MaxPool是最大池化算子，σ为Sigmoid激活函数，δ为Relu激活函数，fc 1 与fc 2 是两个全连接层，使用平均池化算子AvgPool和最大池化算子MaxPool来聚合任务交互多尺度特征图X inter 中的空间信息/>和/>，SMLP为包含两个全连接层的共享参数多层感知机，其中全连接层fc 1 用于降低维度并使用Relu激活，全连接层fc 2 恢复原始维度，通过不同任务的任务相关特征图X task 得到不同任务的预测结果Z task ，
Z
task
=Conv
2
(δ(Conv
1
(X
task
)))
其中，Conv 1 是用于降维的卷积，Conv 2 是用于不同任务预测的卷积。
另外，步骤F）中，通用目标检测标签分配方法通常基于水平边界框标注以及方形中心先验，没有考虑到遥感场景下船舶目标具有大长宽比、朝向任意角度的特性，同时，船舶目标内部的候选点，特别是围绕其中心的候选点，比靠近其边界的候选点更能代表其特征，靠近目标边界框周围的候选点很可能被更靠近的背景点所抑制，每个候选点作为正样本的潜力不仅与距离中心的距离相关，还与物体的形状密切相关，因此，使用基于二维高斯先验的标签分配方法根据标签形状，将标签转换为二维高斯分布并以此作为先验知识，评估候选样本的潜力和质量，并结合船舶目标标注的中心点位置和形状，将船舶目标标注转换为二维高斯分布，计算每个候选点的高斯距离代价。
具体地，步骤F）中，正负样本标签分配的计算过程包括如下步骤：
结合图4所示，将船舶目标标注，即有向矩形(x,y,w,h,θ)，转换为二维高斯分布，计算公式如下所示：
其中，(x,y)为中心点坐标，w为有向矩形的宽，h为有向矩形的高，θ为角度，Σ表示协方差矩阵，Σ0表示角度θ为0时的协方差矩阵，μ表示均值，R θ 表示旋转变换矩阵，二维高斯分布的概率密度函数轮廓是一个椭圆曲线，使用下述公式表示二维高斯分布的概率密度f(X)：
式中，X表示坐标，将f(X)中的归一化项移除，得到g(X)，公式如下：
其中，g(X)∈(0, 1]，C gau 为高斯距离代价。
同时，本实施例中，步骤F）中，基于二维高斯先验的标签分配方法使用软标签分类损失提高不同任务间的一致性，将预测边界框与标注之间的交并比作为软标签，分类代价C cls 的计算公式如下：
Y
soft
=IoU×Y
C cls =CE(P,Y soft )×(Y soft -P)2
其中，CE为交叉熵损失函数，Y为标签值，Y soft 为软标签，P为分类预测结果，IoU为交并比算子，回归代价C reg 的计算公式如下：
C
reg
=1-IoU (B
pred
,B
gt
)
其中，B pred 为预测边界框，B gt 为标注边界框，将所有代价相加得到总的代价矩阵Cost，公式如下为：
Cost=C
cls
+λ
1
×C
reg
+λ
2
×C
gau
式中，λ 1 与λ 2 为调制参数，本实施例中，λ 1 =3，λ 2 =2。
本实施例中，深度卷积神经网络以yolox网络为基础模型，其中特征提取网络为CspDarkNet53结构。
本实施例高斯先验标签分配与特征解耦的海洋船舶检测方法使用的系统，包括预处理模块、基于层间注意力特征解耦的深度卷积神经网络、基于二维高斯先验的标签分配方法控制输出模块；
预处理模块用于对输入的待检测光学遥感卫星影像进行数据增强或标准化处理，形成预处理图像集；
基于层间注意力特征解耦的深度卷积神经网络，用于检测预处理图像集内的每一张图像，输出分类结果和目标定位结果；
基于二维高斯先验的标签分配方法控制输出模块将基于层间注意力特征解耦的深度卷积神经网络的分类结果和目标定位结果输出至用户。
其中，基于层间注意力特征解耦的深度卷积神经网络包括特征提取部分、特征融合部分、融合特征图解耦部分与分类回归部分；特征提取部分对图像通过卷积进行降采样，并提取不同尺度的特征；特征融合部分将不同尺度的特征进行融合；融合特征图解耦部分利用层间注意力实现不同任务的特征解耦；所述分类回归部分输出分类结果和目标定位结果。
将本实施例与几种其它方法进行了检测性能比较，包括S2ANet、CFC-Net、R3Det、SASM、RoI-trans、Yolox、BBAVectors，本次试验采用DOTAv1.0数据集与HRSC2016数据集，S2ANet、CFC-Net、R3Det、SASM、RoI-trans、Yolox、BBAVectors方法按原文执行。
经检测，表1为本发明与其他方法在DOTAv1.0数据集上利用光学遥感图像的比较实验结果，其中mAP为平均精度指标，结果如下：
表1
| 任务 | 方法 | mAP |
| 海洋遥感船舶检测 | R3DetRoI-transCFC-NetSASMS2ANetBBAVectorsYolox本发明 | 77.5483.5987.2187.5288.0488.0688.5889.00 |
表2为本发明与其他方法在HRSC2016数据集上利用光学遥感图像的比较实验结果，其中mAP为平均精度指标。
表2
| 任务 | 方法 | mAP |
| 海洋遥感船舶检测 | RoI-transBBAVectorsR3DetCFC-NetS2ANetSASM本发明 | 86.2088.6089.2689.7090.1790.2790.46 |
可以看出，本发明的平均精度为最优。
本发明高斯先验标签分配与特征解耦的海洋船舶检测方法与系统，结合船舶目标标注的中心点位置和形状，将船舶目标标注转换为二维高斯分布，计算每个候选点的高斯距离代价，相比传统方形中心先验，更适应船舶目标具有大长宽比、朝向任意方向的特性；使用软标签，缓解分类和回归任务之间存在不一致问题；基于船舶目标特性，改进标签分配方法中代价矩阵计算方式，优化正负样本标签分配，稳定深度神经网络训练过程。
Claims (10)
1.一种高斯先验标签分配与特征解耦的海洋船舶检测方法，其特征在于：包括如下步骤：
A）预处理图像集生产：输入待检测光学遥感卫星影像，进行数据增强或标准化处理，形成预处理图像集；
B）特征提取：将预处理图像集中的一张图像通过深度卷积神经网络的特征提取部分提取特征，得到若干张不同尺度的特征图；
C）特征融合：通过深度卷积神经网络的特征融合部分对若干张不同尺度的特征图进行特征融合，得到融合特征图；
D）解耦：通过深度卷积神经网络的融合特征图解耦部分对融合特征图进行解耦，得到负责分类的特征图与负责回归的特征图，所述融合特征图解耦部分包括基于层间注意力的特征解耦模块；
E）分类回归：通过深度卷积神经网络的分类回归部分，基于负责分类的特征图得到图像的分类结果，基于负责回归的特征图得到图像的目标定位结果；
F）训练：将取得的分类结果和目标定位结果与船舶目标标注进行正负样本标签分配，通过基于二维高斯先验的标签分配方法依据分类结果和目标定位结果与船舶目标标注的匹配度的高和低，将分类结果和目标定位结果分配为正样本和负样本，深度卷积神经网络以正样本和负样本进行损失计算，反向传播更新网络参数，提升网络检测效果。
2.如权利要求1所述高斯先验标签分配与特征解耦的海洋船舶检测方法，其特征在于：所述步骤D）中，所述基于层间注意力的特征解耦模块包括特征提取器与层间注意力，通过特征提取器提取具有不同感受野的任务交互多尺度特征图，利用层间注意力捕捉来自不同卷积层的特征图之间的关系，并自适应地确定不同特征图的重要性，从任务交互多尺度特征图中提取任务相关特征图，实现对于分类、回归与角度预测不同任务的特征解耦。
3.如权利要求2所述高斯先验标签分配与特征解耦的海洋船舶检测方法，其特征在于：所述步骤D）包括如下步骤：
D1）通过特征提取器提取具有不同感受野的任务交互多尺度特征图，首先取得特征提取器提取的特征，记为X k ，表示第k层特征，
X
k
={Relu(Conv
k
(X
Neck
)),k=1；ReluConv
k
(X
(k-1)
),k>1}
其中，Relu表示Relu激活函数，Conv k 表示第k个连续卷积层，X Neck 表示从特征融合部分获取的特征，将特征提取器提取的特征沿通道维进行拼接取得任务交互多尺度特征图X inter ，
X
inter
=Concat(X
1
;X
2
;…;X
n
)
其中Concat为特征图拼接算子，k∈{1,2,3,…,n}；
D2）从任务交互多尺度特征图X inter 中提取任务相关特征图X task ，
X task =ω∙X inter
其中，ω为层间注意力权重，捕捉来自任务交互多尺度特征图中来自不同卷积层的特征图之间的关系，并自适应地确定不同特征图的重要性，层间注意力权重ω的计算公式为：
其中，AvgPool是平均池化算子，MaxPool是最大池化算子，σ为Sigmoid激活函数，δ为Relu激活函数，fc 1 与fc 2 是两个全连接层，使用平均池化算子AvgPool和最大池化算子MaxPool来聚合任务交互多尺度特征图X inter 中的空间信息/>和/>，SMLP为包含两个全连接层的共享参数多层感知机，其中全连接层fc 1 用于降低维度并使用Relu激活，全连接层fc 2 恢复原始维度，通过不同任务的任务相关特征图X task 得到不同任务的预测结果Z task ，
Z
task
=Conv
2
(δ(Conv
1
(X
task
)))
其中，Conv 1 是用于降维的卷积，Conv 2 是用于不同任务预测的卷积。
4.如权利要求1所述高斯先验标签分配与特征解耦的海洋船舶检测方法，其特征在于：所述步骤F）中，所述基于二维高斯先验的标签分配方法根据标签形状，将标签转换为二维高斯分布并以此作为先验知识，评估候选样本的潜力和质量。
5.如权利要求4所述高斯先验标签分配与特征解耦的海洋船舶检测方法，其特征在于：结合船舶目标标注的中心点位置和形状，将船舶目标标注转换为二维高斯分布，计算每个候选点的高斯距离代价。
6.如权利要求1所述高斯先验标签分配与特征解耦的海洋船舶检测方法，其特征在于：所述步骤F）中，所述基于二维高斯先验的标签分配方法使用软标签分类损失提高不同任务间的一致性。
7.如权利要求1所述高斯先验标签分配与特征解耦的海洋船舶检测方法，其特征在于：所述步骤F）中，正负样本标签分配的计算过程包括如下步骤：
将船舶目标标注，即有向矩形(x,y,w,h,θ)，转换为二维高斯分布，计算公式如下所示：
其中，(x,y)为中心点坐标，w为有向矩形的宽，h为有向矩形的高，θ为角度，Σ表示协方差矩阵，Σ0表示角度θ为0时的协方差矩阵，μ表示均值，R θ 表示旋转变换矩阵，二维高斯分布的概率密度函数轮廓是一个椭圆曲线，使用下述公式表示二维高斯分布的概率密度f(X)：
式中，X表示坐标，将f(X)中的归一化项移除，得到g(X)，公式如下：
其中，g(X)∈(0, 1]，C gau 为高斯距离代价。
8.如权利要求6所述高斯先验标签分配与特征解耦的海洋船舶检测方法，其特征在于：将预测边界框与标注之间的交并比作为软标签，分类代价C cls 的计算公式如下：
Y
soft
=IoU×Y
C cls =CE (P, Y soft )×(Y soft -P)2
其中，CE为交叉熵损失函数，Y为标签值，Y soft 为软标签，P为分类预测结果，IoU为交并比算子，回归代价C reg 的计算公式如下：
C
reg
=1-IoU (B
pred
,B
gt
)
其中，B pred 为预测边界框，B gt 为标注边界框，将所有代价相加得到总的代价矩阵Cost，公式如下为：
Cost=C
cls
+λ
1
×C
reg
+λ
2
×C
gau
式中，λ 1 与λ 2 为调制参数。
9.一种如权利要求1所述高斯先验标签分配与特征解耦的海洋船舶检测方法使用的系统，其特征在于：包括预处理模块、基于层间注意力特征解耦的深度卷积神经网络、基于二维高斯先验的标签分配方法控制输出模块；
所述预处理模块用于对输入的待检测光学遥感卫星影像进行数据增强或标准化处理，形成预处理图像集；
所述基于层间注意力特征解耦的深度卷积神经网络，用于检测所述预处理图像集内的每一张图像，输出分类结果和目标定位结果；
所述基于二维高斯先验的标签分配方法控制输出模块将所述基于层间注意力特征解耦的深度卷积神经网络的分类结果和目标定位结果输出至用户。
10.如权利要求9所述高斯先验标签分配与特征解耦的海洋船舶检测方法使用的系统，其特征在于：所述基于层间注意力特征解耦的深度卷积神经网络包括特征提取部分、特征融合部分、融合特征图解耦部分与分类回归部分；
所述特征提取部分对图像通过卷积进行降采样，并提取不同尺度的特征；
所述特征融合部分将不同尺度的特征进行融合；
所述融合特征图解耦部分利用层间注意力实现不同任务的特征解耦；
所述分类回归部分输出分类结果和目标定位结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311107816.XA CN116823838B (zh) | 2023-08-31 | 2023-08-31 | 高斯先验标签分配与特征解耦的海洋船舶检测方法与系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311107816.XA CN116823838B (zh) | 2023-08-31 | 2023-08-31 | 高斯先验标签分配与特征解耦的海洋船舶检测方法与系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116823838A true CN116823838A (zh) | 2023-09-29 |
| CN116823838B CN116823838B (zh) | 2023-11-14 |
Family
ID=88118881
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311107816.XA Active CN116823838B (zh) | 2023-08-31 | 2023-08-31 | 高斯先验标签分配与特征解耦的海洋船舶检测方法与系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116823838B (zh) |
Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110017693A1 (en) * | 2009-07-21 | 2011-01-27 | Aps Technology Group, Inc. | Container tracking and locating systems, methods, and computer program products |
| US20120314086A1 (en) * | 2011-06-08 | 2012-12-13 | Apple Inc. | Camera test and calibration based on spectral monitoring of light |
| US20180204111A1 (en) * | 2013-02-28 | 2018-07-19 | Z Advanced Computing, Inc. | System and Method for Extremely Efficient Image and Pattern Recognition and Artificial Intelligence Platform |
| CN111027512A (zh) * | 2019-12-24 | 2020-04-17 | 北方工业大学 | 一种遥感图像近岸船检测与定位方法及装置 |
| CN111881918A (zh) * | 2020-06-11 | 2020-11-03 | 中国人民解放军战略支援部队信息工程大学 | 一种多尺度旋转船舶目标检测算法 |
| CN111914795A (zh) * | 2020-08-17 | 2020-11-10 | 四川大学 | 一种航拍图像中旋转目标检测方法 |
| US20200410254A1 (en) * | 2019-06-25 | 2020-12-31 | Nvidia Corporation | Intersection region detection and classification for autonomous machine applications |
| CN112766221A (zh) * | 2021-02-01 | 2021-05-07 | 福州大学 | 基于船舶方向和位置多任务的sar图像船舶目标检测方法 |
| CN113177456A (zh) * | 2021-04-23 | 2021-07-27 | 西安电子科技大学 | 基于单阶段全卷积网络和多特征融合的遥感目标检测方法 |
| CN113657252A (zh) * | 2021-08-16 | 2021-11-16 | 福州大学 | 基于编码解码器的高效sar图像船舶目标检测方法 |
| CN114127805A (zh) * | 2019-07-23 | 2022-03-01 | 丰田研究所股份有限公司 | 深度网络的训练方法 |
| CN114782487A (zh) * | 2022-03-24 | 2022-07-22 | 中国科学院自动化研究所 | 一种海面船只检测跟踪方法及系统 |
| CN115147723A (zh) * | 2022-07-11 | 2022-10-04 | 武汉理工大学 | 一种内河船舶识别与测距方法、系统、介质、设备及终端 |
| CN115272701A (zh) * | 2022-08-11 | 2022-11-01 | 电子科技大学 | 基于自适应特征提取与解耦预测头的船舶目标检测方法 |
| US20230010033A1 (en) * | 2021-07-01 | 2023-01-12 | Leidos, Inc. | Method and System For Accelerating Rapid Class Augmentation for Object Detection in Deep Neural Networks |
| EP4141748A1 (en) * | 2021-08-30 | 2023-03-01 | Robert Bosch GmbH | On-the-fly calibration of an image classifier |
| CN116310837A (zh) * | 2023-04-11 | 2023-06-23 | 安徽大学 | 一种sar舰船目标旋转检测方法及系统 |
| CN116563726A (zh) * | 2023-05-08 | 2023-08-08 | 大连海事大学 | 一种基于卷积神经网络的遥感图像舰船目标检测方法 |
-
2023
- 2023-08-31 CN CN202311107816.XA patent/CN116823838B/zh active Active
Patent Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110017693A1 (en) * | 2009-07-21 | 2011-01-27 | Aps Technology Group, Inc. | Container tracking and locating systems, methods, and computer program products |
| US20120314086A1 (en) * | 2011-06-08 | 2012-12-13 | Apple Inc. | Camera test and calibration based on spectral monitoring of light |
| US20180204111A1 (en) * | 2013-02-28 | 2018-07-19 | Z Advanced Computing, Inc. | System and Method for Extremely Efficient Image and Pattern Recognition and Artificial Intelligence Platform |
| US20200410254A1 (en) * | 2019-06-25 | 2020-12-31 | Nvidia Corporation | Intersection region detection and classification for autonomous machine applications |
| CN114127805A (zh) * | 2019-07-23 | 2022-03-01 | 丰田研究所股份有限公司 | 深度网络的训练方法 |
| CN111027512A (zh) * | 2019-12-24 | 2020-04-17 | 北方工业大学 | 一种遥感图像近岸船检测与定位方法及装置 |
| CN111881918A (zh) * | 2020-06-11 | 2020-11-03 | 中国人民解放军战略支援部队信息工程大学 | 一种多尺度旋转船舶目标检测算法 |
| CN111914795A (zh) * | 2020-08-17 | 2020-11-10 | 四川大学 | 一种航拍图像中旋转目标检测方法 |
| CN112766221A (zh) * | 2021-02-01 | 2021-05-07 | 福州大学 | 基于船舶方向和位置多任务的sar图像船舶目标检测方法 |
| CN113177456A (zh) * | 2021-04-23 | 2021-07-27 | 西安电子科技大学 | 基于单阶段全卷积网络和多特征融合的遥感目标检测方法 |
| US20230010033A1 (en) * | 2021-07-01 | 2023-01-12 | Leidos, Inc. | Method and System For Accelerating Rapid Class Augmentation for Object Detection in Deep Neural Networks |
| CN113657252A (zh) * | 2021-08-16 | 2021-11-16 | 福州大学 | 基于编码解码器的高效sar图像船舶目标检测方法 |
| EP4141748A1 (en) * | 2021-08-30 | 2023-03-01 | Robert Bosch GmbH | On-the-fly calibration of an image classifier |
| CN114782487A (zh) * | 2022-03-24 | 2022-07-22 | 中国科学院自动化研究所 | 一种海面船只检测跟踪方法及系统 |
| CN115147723A (zh) * | 2022-07-11 | 2022-10-04 | 武汉理工大学 | 一种内河船舶识别与测距方法、系统、介质、设备及终端 |
| CN115272701A (zh) * | 2022-08-11 | 2022-11-01 | 电子科技大学 | 基于自适应特征提取与解耦预测头的船舶目标检测方法 |
| CN116310837A (zh) * | 2023-04-11 | 2023-06-23 | 安徽大学 | 一种sar舰船目标旋转检测方法及系统 |
| CN116563726A (zh) * | 2023-05-08 | 2023-08-08 | 大连海事大学 | 一种基于卷积神经网络的遥感图像舰船目标检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| DONGKAI DAI ET AL.: "Dynamic measurement of high-frequency deflections of the vertical based on the observation of INS/GNSS integration attitude error", JOURNAL OF APPLIED GEOPHYSICS, vol. 119, pages 89 * |
| 项 迪 等: "基于船舶轨迹挖掘的海上航路网络构建方法", 《交通信息与安全》, vol. 41, no. 3, pages 69 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116823838B (zh) | 2023-11-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111259809B (zh) | 基于DANet的无人机海岸线漂浮垃圾巡检系统 | |
| WO2021243743A1 (zh) | 基于深度卷积神经网络的沉底油声呐探测图像识别方法 | |
| CN109255317B (zh) | 一种基于双网络的航拍图像差异检测方法 | |
| CN111985376A (zh) | 一种基于深度学习的遥感影像舰船轮廓提取方法 | |
| CN106570485B (zh) | 一种基于深度学习的筏式养殖遥感图像场景标注方法 | |
| Han et al. | Recognition and location of steel structure surface corrosion based on unmanned aerial vehicle images | |
| CN111598098A (zh) | 一种基于全卷积神经网络的水尺水位线检测及有效性识别方法 | |
| Yin et al. | Improved PSPNet-based water shoreline detection in complex inland river scenarios | |
| Liu et al. | Ship recognition and tracking system for intelligent ship based on deep learning framework | |
| Cai et al. | Broken ice circumferential crack estimation via image techniques | |
| Guo et al. | Fusion of ship perceptual information for electronic navigational chart and radar images based on deep learning | |
| CN116434230A (zh) | 一种复杂环境下的船舶水尺读数方法 | |
| Li et al. | Image‐Based Underwater Inspection System for Abrasion of Stilling Basin Slabs of Dam | |
| CN112149612A (zh) | 一种基于深度神经网络的海洋生物识别系统及识别方法 | |
| Reghukumar et al. | Vision based segmentation and classification of cracks using deep neural networks | |
| Zhang et al. | Automated fatigue crack detection in steel box girder of bridges based on ensemble deep neural network | |
| Jiang et al. | Automatic pixel-level detection and measurement of corrosion-related damages in dim steel box girders using Fusion-Attention-U-net | |
| Alsharay et al. | Improved sea-ice identification using semantic segmentation with raindrop removal | |
| Xu et al. | Intelligent ship recongnition from synthetic aperture radar images | |
| CN113344148A (zh) | 一种基于深度学习的海上舰船目标识别方法 | |
| CN116823838B (zh) | 高斯先验标签分配与特征解耦的海洋船舶检测方法与系统 | |
| Ge et al. | Advanced deep learning framework for underwater object detection with multibeam forward-looking sonar | |
| Albalooshi et al. | Deep belief active contours (DBAC) with its application to oil spill segmentation from remotely sensed sea surface imagery | |
| Zhou et al. | Oil spills identification in SAR image using mRMR and SVM model | |
| CN114463628A (zh) | 一种基于阈值约束的深度学习遥感影像船舰目标识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |