CN115690568A - 一种基于增量学习的无人艇目标检测方法 - Google Patents

一种基于增量学习的无人艇目标检测方法 Download PDF

Info

Publication number
CN115690568A
CN115690568A CN202211380792.0A CN202211380792A CN115690568A CN 115690568 A CN115690568 A CN 115690568A CN 202211380792 A CN202211380792 A CN 202211380792A CN 115690568 A CN115690568 A CN 115690568A
Authority
CN
China
Prior art keywords
network
target
sea surface
model
target detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211380792.0A
Other languages
English (en)
Inventor
王博
杨张琪
霍炜
李晔
李雲峰
刘卓研
廖煜雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Engineering University
Original Assignee
Harbin Engineering University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Engineering University filed Critical Harbin Engineering University
Priority to CN202211380792.0A priority Critical patent/CN115690568A/zh
Publication of CN115690568A publication Critical patent/CN115690568A/zh
Pending legal-status Critical Current

Links

Images

Abstract

本发明涉及一种基于增量学习的无人艇目标检测方法，首先构建初始类别数据集；构建教师网络模型，并使用初始类别数据集对教师网络模型进行训练，对初始类别海面目标的检测；构建新类别数据集；构建学生网络模型，学生网络与教师网络的整体结构相同，根据新类别目标数量增加相应的分类子网络；在教师网络和学生网络之间构建蒸馏损失函数；在新类别海面目标数据集上训练增量目标检测网络，是损失函数达到收敛，并保存训练好的模型参数；在无人艇平台上部署训练好的模型，对目标进行检测；增加新类别的检测目标时，重复执行步骤三至步骤七。本发明构建了一个可以连续学习的目标检测器，可以使无人艇快速具备识别新类别海面目标的能力。

Description

一种基于增量学习的无人艇目标检测方法
技术领域
本发明属于无人智慧船舶领域，具体涉及一种基于增量学习的无人艇目标检测方法。
背景技术
境感知是无人艇等智能移动平台有效完成各类既定任务的前提，目标检测是环境感知的基础任务，提升目标检测算法的实用性对提升各类无人化设备的工作能力意义重大。同样地，开展海面目标检测研究是提升无人艇任务执行能力的关键。近年来，得益于深度学习理论的不断发展和大规模目标捡测数据集的出现，目标检测相关研究取得了突破性进展。
在研究目标检测算法时，研究人员通常都会假设训练集和测试集是独立同分布的，即所有的图像数据都采集于同一分布并且相互独立。当训练集和测试集来源于同一数据集时，这样的假设通常会成立。然而，无人艇在实际航行中面对的海洋环境具有很强的不确定性。当目标类型发生变化时，对于训练集中未出现的目标无法准确识别。
当目标类型变换时，需要对模型进行重新训练。在没有增量学习的情况下，只用含有新的数据样本进行训练，会使模型对于原有知识产生灾难性遗忘。每次收集新的数据时从头开始重新训练一个模型涉及到巨大的计算开销、不可扩展以及数据效率低下。采用增量学习的方法，可以在原有模型的基础上加入新的数据进行训练，且可以避免模型对于原有知识产生遗忘。这种连续学习的能力，对于无人艇在实际航行中应对海面目标变化至关重要。
发明内容
本发明的目的在于提供一种使无人艇可以适应海面目标类型的变化的基于增量学习的无人艇目标检测方法。
本发明的目的通过如下技术方案来实现：
一种基于增量学习的无人艇目标检测方法，包括以下步骤：
步骤一：构建初始类别数据集，通过水面无人艇拍摄真实海洋环境下海面目标图像，并对初始的海面目标进行类别和位置信息的标签标注，构建海面目标检测数据集；
步骤二：构建教师网络模型，并使用初始类别数据集对教师网络模型进行训练，对初始类别海面目标的检测；
步骤三：构建新类别数据集：通过水面无人艇拍摄真实海洋环境下海面目标图像，数据集中只对新类别的海面目标进行类别和位置信息的标签标注，构建海面目标检测数据集；
步骤四：构建学生网络模型，学生网络与教师网络的整体结构相同，根据新类别目标数量增加相应的分类子网络；
步骤五：在教师网络和学生网络之间构建蒸馏损失函数；
步骤六：在新类别海面目标数据集上训练增量目标检测网络，是损失函数达到收敛，并保存训练好的模型参数；
步骤七：在无人艇平台上部署训练好的模型，对目标进行检测；
步骤八：增加新类别的检测目标时，重复执行步骤三至步骤七。
进一步地，所述步骤二中教师网络模型：使用任意目标检测网络作为教师网络；读取初始类别海面目标数据集，对模型进行训练和测试；损失函数为：
Figure BDA0003927335590000021
其中，
Figure BDA0003927335590000022
为边界框损失，
Figure BDA0003927335590000023
为分类损失，
Figure BDA0003927335590000024
为置信度损失；
当损失值收敛后，对模型进行测试，当损失值未收敛时调整模型超参数，直至模型收敛。
进一步地，所述步骤三中新类别是指初始类别数据集中未出现的海面目标类别，即没有输入到目标检测网络模型中的类别。
进一步地，所述步骤四中构建的学生网络，与教师网络模型结构相同，仍使用相同目标检测网络作为学生网络；新增的海面目标类别为n，则需要在学生网络的输出层增加n个神经元来扩展分类子网络；学生网络中的参数使用训练好的教师网络的参数进行初始化，分类子网络中新增加的神经元采用随机初始化。
进一步地，所述步骤五中蒸馏损失函数主要包括两部分；第一部分在整个网络的最后一层之间构建损失函数，公式如下所示：
Figure BDA0003927335590000025
其中P代表教师网络模型最后一层的特征图，
Figure BDA0003927335590000026
代表代表学生网络模型最后一层的特征图；
第二部分在教师网络和学生网络的主干特征提取网络的最后一层之间建立构建损失函数，公式如下所示：
Figure BDA0003927335590000027
其中F代表教师网络主干特征提取网络最后一层的特征图，
Figure BDA0003927335590000028
代表学生网络主干特征提取网络最后一层的特征图。
进一步地，所述步骤六中训练过程，需要将蒸馏损失和目标检测网络正常训练时的损失相加，得到新的损失函数，公式如下：
Figure BDA0003927335590000031
其中，λ1和λ2是用来平衡不同损失之间的超参数；
训练时将图像同时输入教师网络和学生网络，冻结教师网络参数，只对学生网络中的参数进行更新，直至损失值收敛至最小。
进一步地，所述步骤七中的在无人艇平台上部署训练好的模型，只需要将学生网络在无人艇所搭载的嵌入式平台上进行部署，即可完成对新类别海面目标的检测。
本发明的有益效果在于：
本发明使用知识蒸馏的方法，对海面目标进行增量式的学习，应对海面目标的变化。使目标检测模型既获得对于新目标的识别能力，又对初始目标保持记忆。克服传统深度学习算法在新样本上训练之后会产生灾难性遗忘的问题，构建了一个可以连续学习的目标检测器。
附图说明
图1为本发明的一种基于增量学习的无人艇目标检测方法的流程图；
图2为本发明的增量目标检测网络结构示意图；
图3为本发明的模型在无人艇平台上部署的示意图。。
具体实施方式
下面结合附图对本发明做进一步描述。
如图附图1所示：为基于增量学习的无人艇目标检测方法的流程图，包括如下步骤：
(1)构建初始类别数据集，通过水面无人艇拍摄真实海洋环境下海面目标图像，并对初始的海面目标进行类别和位置信息的标签标注，构建海面目标检测数据集。
(2)构建教师网络模型，教师网络模型：使用任意目标检测网络作为教师网络。读取初始类别海面目标数据集，对模型进行训练和测试。损失函数如下：
Figure BDA0003927335590000032
其中，
Figure BDA0003927335590000033
为边界框损失，
Figure BDA0003927335590000034
为分类损失，
Figure BDA0003927335590000035
为置信度损失。
当损失值收敛后，对模型进行测试，当损失值未收敛时调整模型超参数，直至模型收敛。
(3)构建新类别数据集：通过水面无人艇拍摄真实海洋环境下海面目标图像，数据集中只对新类别的海面目标进行类别和位置信息的标签标注，构建海面目标检测数据集。
其中，新类别海面目标是指初始类别数据集中未出现的海面目标类别，即没有输入到目标检测网络模型中的类别。
(4)构建学生网络模型，学生网络与教师网络模型结构相同，仍使用相同目标检测网络作为学生网络。假设新增的海面目标类别为n，则需要在学生网络的输出层增加n个神经元来扩展分类子网络。学生网络中的参数使用训练好的教师网络的参数进行初始化，分类子网络中新增加的神经元采用随机初始化。
(5)在教师网络和学生网络之间构建蒸馏损失函数，确保学生网络可以充分学习教师网络的知识。蒸馏损失函数主要包括两部分，一是在整个网络的最后一层之间建立损失函数，公式如下所示：
Figure BDA0003927335590000041
其中P代表教师网络模型最后一层的特征图，
Figure BDA0003927335590000042
代表代表学生网络模型最后一层的特征图。
二是在教师网络和学生网络的主干特征提取网络的最后一层之间建立损失函数，公式如下所示：
Figure BDA0003927335590000043
其中F代表教师网络主干特征提取网络最后一层的特征图，
Figure BDA0003927335590000044
代表学生网络主干特征提取网络最后一层的特征图。
(6)在新类别海面目标数据集上训练增量目标检测网络，训练过程，需要将蒸馏损失和目标检测网络正常训练时的损失相加，得到新的损失函数，公式如下：
Figure BDA0003927335590000045
其中，λ1和λ2是用来平衡不同损失之间的超参数。
训练时将图像同时输入教师网络和学生网络，冻结教师网络参数，只对学生网络中的参数进行更新，直至损失值收敛至最小。
(7)在无人艇平台上部署训练好的模型，对目标进行检测。在部署训练好的模型时，只需要将训练好的学生网络模型在无人艇所搭载的嵌入式平台上进行部署，即可完成对新类别海面目标的检测。
(8)增加新类别的检测目标时，重复执行步骤三至步骤七。
如图2所示为增量目标检测网络结构示意图。图中A表示初始类别数据集上训练好的教师网络模型，B表示需要增量学习新目标类别的学生网络模型。在学生网络和教师网络之间建立蒸馏损失函数，用来学习教师网络中的知识。蒸馏损失函数主要包括两部分，一是在整个网络的最后一层之间建立损失函数Ldist_output，二是在教师网络和学生网络的主干特征提取网络的最后一层之间建立损失函数Ldist_feature。Lcls+Lbox+Lobj表示学生网络在学习新目标类别时的损失函数。训练时将图像同时输入教师网络和学生网络，冻结教师网络参数，只对学生网络中的参数进行更新，直至损失值收敛至最小。
如图3所示模型在无人艇平台上部署的示意图，在部署目标检测模型时只需要将学良好的学生网络模型移植到无人艇搭载的嵌入式平台上即可完成对海面目标的检测。无人艇航行过程中，利用搭载的相机得到海面图像，将图像输入到目标检测网络中得到检测结果，最后将结果输入到无人艇的控制系统，即可为无人艇的避障和导航提供环境信息。
综上关于本发明基于增量学习的无人艇目标检测方法，采用知识蒸馏的方式，解决了在学习新类别目标时的灾难性遗忘问题。在海面目标类型发生变化时，可以对海面目标进行增量式的学习，在获得对于新目标的识别能力，又对最初的目标保持记忆。构建了一个可以连续学习的目标检测器，可以使无人艇快速具备识别新类别海面目标的能力。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于增量学习的无人艇目标检测方法，其特征在于：包括以下步骤：
步骤一：构建初始类别数据集，通过水面无人艇拍摄真实海洋环境下海面目标图像，并对初始的海面目标进行类别和位置信息的标签标注，构建海面目标检测数据集；
步骤二：构建教师网络模型，并使用初始类别数据集对教师网络模型进行训练，对初始类别海面目标的检测；
步骤三：构建新类别数据集：通过水面无人艇拍摄真实海洋环境下海面目标图像，数据集中只对新类别的海面目标进行类别和位置信息的标签标注，构建海面目标检测数据集；
步骤四：构建学生网络模型，学生网络与教师网络的整体结构相同，根据新类别目标数量增加相应的分类子网络；
步骤五：在教师网络和学生网络之间构建蒸馏损失函数；
步骤六：在新类别海面目标数据集上训练增量目标检测网络，是损失函数达到收敛，并保存训练好的模型参数；
步骤七：在无人艇平台上部署训练好的模型，对目标进行检测；
步骤八：增加新类别的检测目标时，重复执行步骤三至步骤七。
2.权利要求1所述的一种基于增量学习的无人艇目标检测方法，其特征在于：所述步骤二中教师网络模型：使用任意目标检测网络作为教师网络；读取初始类别海面目标数据集，对模型进行训练和测试；损失函数为：
Figure FDA0003927335580000011
其中，
Figure FDA0003927335580000012
为边界框损失，
Figure FDA0003927335580000013
为分类损失，
Figure FDA0003927335580000014
为置信度损失；
当损失值收敛后，对模型进行测试，当损失值未收敛时调整模型超参数，直至模型收敛。
3.权利要求1所述的一种基于增量学习的无人艇目标检测方法，其特征在于：所述步骤三中新类别是指初始类别数据集中未出现的海面目标类别，即没有输入到目标检测网络模型中的类别。
4.权利要求1所述的一种基于增量学习的无人艇目标检测方法，其特征在于：所述步骤四中构建的学生网络，与教师网络模型结构相同，仍使用相同目标检测网络作为学生网络；新增的海面目标类别为n，则需要在学生网络的输出层增加n个神经元来扩展分类子网络；学生网络中的参数使用训练好的教师网络的参数进行初始化，分类子网络中新增加的神经元采用随机初始化。
5.权利要求1所述的一种基于增量学习的无人艇目标检测方法，其特征在于：所述步骤五中蒸馏损失函数主要包括两部分；第一部分在整个网络的最后一层之间构建损失函数，公式如下所示：
Figure FDA0003927335580000021
其中P代表教师网络模型最后一层的特征图，
Figure FDA0003927335580000022
代表代表学生网络模型最后一层的特征图；
第二部分在教师网络和学生网络的主干特征提取网络的最后一层之间建立构建损失函数，公式如下所示：
Figure FDA0003927335580000023
其中F代表教师网络主干特征提取网络最后一层的特征图，
Figure FDA0003927335580000024
代表学生网络主干特征提取网络最后一层的特征图。
6.权利要求1所述的一种基于增量学习的无人艇目标检测方法，其特征在于：所述步骤六中训练过程，需要将蒸馏损失和目标检测网络正常训练时的损失相加，得到新的损失函数，公式如下：
Figure FDA0003927335580000025
其中，λ1和λ2是用来平衡不同损失之间的超参数；
训练时将图像同时输入教师网络和学生网络，冻结教师网络参数，只对学生网络中的参数进行更新，直至损失值收敛至最小。
7.权利要求1所述的一种基于增量学习的无人艇目标检测方法，其特征在于：所述步骤七中的在无人艇平台上部署训练好的模型，只需要将学生网络在无人艇所搭载的嵌入式平台上进行部署，即可完成对新类别海面目标的检测。
CN202211380792.0A 2022-11-04 2022-11-04 一种基于增量学习的无人艇目标检测方法 Pending CN115690568A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211380792.0A CN115690568A (zh) 2022-11-04 2022-11-04 一种基于增量学习的无人艇目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211380792.0A CN115690568A (zh) 2022-11-04 2022-11-04 一种基于增量学习的无人艇目标检测方法

Publications (1)

Publication Number Publication Date
CN115690568A true CN115690568A (zh) 2023-02-03

Family

ID=85049844

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211380792.0A Pending CN115690568A (zh) 2022-11-04 2022-11-04 一种基于增量学习的无人艇目标检测方法

Country Status (1)

Country Link
CN (1) CN115690568A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115841335A (zh) * 2023-02-07 2023-03-24 支付宝(杭州)信息技术有限公司 数据处理方法、装置及设备
CN116168256A (zh) * 2023-04-19 2023-05-26 浙江华是科技股份有限公司 一种船舶检测方法、系统及计算机存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115841335A (zh) * 2023-02-07 2023-03-24 支付宝(杭州)信息技术有限公司 数据处理方法、装置及设备
CN116168256A (zh) * 2023-04-19 2023-05-26 浙江华是科技股份有限公司 一种船舶检测方法、系统及计算机存储介质
CN116168256B (zh) * 2023-04-19 2023-07-14 浙江华是科技股份有限公司 一种船舶检测方法、系统及计算机存储介质

Similar Documents

Publication Publication Date Title
CN107909082B (zh) 基于深度学习技术的声呐图像目标识别方法
CN115690568A (zh) 一种基于增量学习的无人艇目标检测方法
WO2020033966A1 (en) Deep learning and intelligent sensing system integration
WO2020046213A1 (en) A method and apparatus for training a neural network to identify cracks
CN110135562B (zh) 基于特征空间变化的蒸馏学习方法、系统、装置
CN104392228A (zh) 基于条件随机场模型的无人机图像目标类检测方法
CN111738112A (zh) 基于深度神经网络和自注意力机制的遥感船舶图像目标检测方法
CN110598693A (zh) 一种基于Faster-RCNN的船牌识别方法
CN105787501A (zh) 输电线路走廊区域自动选择特征的植被分类方法
CN110991257B (zh) 基于特征融合与svm的极化sar溢油检测方法
CN110941734A (zh) 基于稀疏图结构的深度无监督图像检索方法
CN108399420A (zh) 一种基于深度卷积网络的可见光舰船虚警剔除方法
US20230134531A1 (en) Method and system for rapid retrieval of target images based on artificial intelligence
CN111488879A (zh) 利用双嵌入构成的用于提高分割性能的方法及装置
CN108764122A (zh) 一种基于深度学习的auv控制系统优化与故障监测方法
CN110210493A (zh) 基于非经典感受野调制神经网络的轮廓检测方法及系统
CN107731011A (zh) 一种港口泊船监测方法、系统及电子设备
CN116310647A (zh) 一种基于增量学习的劳保物品目标检测方法及系统
CN114722926A (zh) 拖曳式传感器阵列中尺度涡时间序列图卷积聚类方法
Zou et al. Maritime target detection of intelligent ship based on faster R-CNN
CN113627356A (zh) 一种海面舰船智能识别方法
CN116127846A (zh) 一种减摇技术的智能评估方法及系统
CN113792785A (zh) 一种基于wgan-gp和yolo的船体附着物快速识别方法
Rekik et al. A trainable system for underwater pipe detection
CN111339836A (zh) 一种基于迁移学习的sar图像舰船目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination