CN112464879A - 基于自监督表征学习的海洋目标检测方法及系统 - Google Patents

基于自监督表征学习的海洋目标检测方法及系统 Download PDF

Info

Publication number
CN112464879A
CN112464879A CN202011455972.1A CN202011455972A CN112464879A CN 112464879 A CN112464879 A CN 112464879A CN 202011455972 A CN202011455972 A CN 202011455972A CN 112464879 A CN112464879 A CN 112464879A
Authority
CN
China
Prior art keywords
marine
self
target detection
supervision
ship
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011455972.1A
Other languages
English (en)
Other versions
CN112464879B (zh
Inventor
张伟
戴祥麟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yinghui Environmental Technology Services Yantai Co ltd
Original Assignee
Shandong Yishi Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Yishi Intelligent Technology Co ltd filed Critical Shandong Yishi Intelligent Technology Co ltd
Priority to CN202011455972.1A priority Critical patent/CN112464879B/zh
Publication of CN112464879A publication Critical patent/CN112464879A/zh
Application granted granted Critical
Publication of CN112464879B publication Critical patent/CN112464879B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/182—Network patterns, e.g. roads or rivers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

基于自监督表征学习的海洋目标检测方法及系统，在自监督船舶特征学习阶段中，采用动量对比方式在无标注海洋目标数据上训练特征提取模型，动量对比过程将字典作为一个样本队列进行维护，并通过采用动量更新的方式更新键编码器；在有监督海洋目标检测阶段中，采用Faster R‑CNN模型进行海洋目标检测，Faster R‑CNN模型包括进行特征提取的骨干网络、生成感兴趣区域的区域候选网络和RoI Head网络；通过骨干网络采用自监督船舶特征学习阶段所得的特征提取网络参数进行初始化，为目标检测模型提供海洋环境及船舶相关的先验知识，在训练模型同时对骨干网络进行参数微调。本发明降低了海洋数据样本不足对检测效果的影响。

Description

基于自监督表征学习的海洋目标检测方法及系统
技术领域
本发明属于海洋目标检测技术领域，具体涉及一种基于自监督表征学习的海洋目标检测方法及系统。
背景技术
作为海域辽阔的海洋大国，海洋实力是我国综合国力的重要组成部分，提升海洋科技实力对建设海洋强国意义重大。借助于无人艇等海上无人装备对海域进行实时监测可以有效加强海域管控，维护我国海洋安全，因而如何提高海上无人装备的智能感知能力便成为海洋科技领域的关键性问题之一，海洋目标检测也成为了海洋环境感知领域的热点研究方向之一。
目标检测作为计算机视觉领域最具挑战性的任务之一，包括定位和分类两个子任务，即确定图片中所包含目标的位置并对其进行准确分类。近年来，随着深度学习理论的快速发展，基于深度学习的目标检测算法成为主流，在通用场景下取得了较好的检测效果。但深度学习模型往往依赖于大规模数据集进行训练，应用较为广泛的MS COCO、PASCAL VOC等标准数据集中海洋目标较少，因而将在这些数据集上训练的目标检测模型直接应用于海洋目标检测任务效果不佳。同时由于长期以来海洋目标专用数据集较少，且大多没有模型训练所需的边界框标注，缺少基于深度学习的海洋目标检测方案。
由于海洋环境不同于陆地和天空，其环境更加复杂多变，浪、涌、涡、流等海面波动均会对海洋目标检测造成影响，相比于通用场景下的目标检测任务，海洋目标检测难度更大，传统海洋目标检测方法具有诸多局限性，现有海洋目标检测数据集样本量较小，难以满足模型有监督训练对大规模数据样本集的需求。
海洋目标检测任务定位海洋场景图片中的目标(主要是船舶)并对其类别(如轮船、帆船、渔船等)进行细分。传统的海洋目标检测通常包括海天线检测(HorizonDetection)、背景建模(Background Modeling)和背景去除(Background Subtraction)三个步骤，所得的前景区域被认为包含目标。虽然海天线检测对提高海洋目标检测效果有所帮助，但其对恶劣天气、复杂海况等适应性较差。随着基于深度学习的目标检测技术快速发展，人们尝试开展基于深度学习的海洋目标智能检测相关研究，但由于缺乏大规模有标注海洋目标检测数据集，基于深度学习的海洋目标智能检测研究尚处于起步阶段。亟需一种在海洋目标数据集样本量不足的前提下进行海洋目标检测的技术方案。
发明内容
为此，本发明提供一种基于自监督表征学习的海洋目标检测方法及系统，解决大规模海洋目标数据集缺乏所导致的深度学习算法在海洋目标检测领域应用受限的问题，充分利用无标签海洋数据为出发点，将自监督表征学习引入海洋目标检测，降低海洋数据样本不足对检测效果的影响。
为了实现上述目的，本发明提供如下技术方案：基于自监督表征学习的海洋目标检测方法，包括自监督船舶特征学习阶段和有监督海洋目标检测阶段：
所述自监督船舶特征学习阶段中，采用动量对比方式在无标注海洋目标数据上训练特征提取模型，所述动量对比过程将字典作为一个样本队列进行维护，并通过采用动量更新的方式更新键编码器；
所述有监督海洋目标检测阶段中，采用Faster R-CNN模型进行海洋目标检测，所述Faster R-CNN模型包括进行特征提取的骨干网络、生成感兴趣区域的区域候选网络和RoI Head网络；
通过所述骨干网络采用自监督船舶特征学习阶段所得的特征提取网络参数进行初始化，为目标检测模型提供海洋环境及船舶相关的先验知识，然后在训练模型的同时对骨干网络进行参数微调。
作为基于自监督表征学习的海洋目标检测方法的优选方案，在所述样本队列中，预设一个键作为和给定查询相匹配的正样本，将剩余键作为负样本；训练过程中通过InfoNCE损失函数提高查询特征的相似度，InfoNCE损失函数Lq为：
Figure BDA0002828389150000031
式中，q为查询，k+为键值，ki为编码样本，τ为可调节的超参数。
作为基于自监督表征学习的海洋目标检测方法的优选方案，所述动量更新的方式为：
θk←mθk+(1-m)θq
式中，θk和θq分别是键编码器参数和查询编码器参数，m∈[0,1)是动量系数。
作为基于自监督表征学习的海洋目标检测方法的优选方案，所述RoI Head网络包括分类任务和定位任务，所述分类任务采用交叉熵损失函数，所述定位任务别采用SmoothL1损失函数。
作为基于自监督表征学习的海洋目标检测方法的优选方案，采用海洋数据集MARVEL和海洋数据集SMD进行检测实验；所述海洋数据集MARVEL包括用于船舶分类任务的数据和用于船舶验证、检索、识别任务的数据；所述海洋数据集SMD包括可见光数据和红外数据。
本发明还提供一种基于自监督表征学习的海洋目标检测系统，包括自监督船舶特征学习单元和有监督海洋目标检测单元：
所述自监督船舶特征学习单元采用动量对比方式在无标注海洋目标数据上训练特征提取模型，所述动量对比过程将字典作为一个样本队列进行维护，并通过采用动量更新的方式更新键编码器；
所述有监督海洋目标检测单元采用Faster R-CNN模型进行海洋目标检测，所述Faster R-CNN模型包括进行特征提取的骨干网络、生成感兴趣区域的区域候选网络和RoIHead网络；
通过所述骨干网络采用自监督船舶特征学习阶段所得的特征提取网络参数进行初始化，为目标检测模型提供海洋环境及船舶相关的先验知识，然后在训练模型的同时对骨干网络进行参数微调。
作为基于自监督表征学习的海洋目标检测系统的优选方案，在所述样本队列中，预设一个键作为和给定查询相匹配的正样本，将剩余键作为负样本；训练过程中通过InfoNCE损失函数提高查询特征的相似度，InfoNCE损失函数Lq为：
Figure BDA0002828389150000041
式中，q为查询，k+为键值，ki为编码样本，τ为可调节的超参数。
作为基于自监督表征学习的海洋目标检测系统的优选方案，所述动量更新的方式为：
θk←mθk+(1-m)θq
式中，θk和θq分别是键编码器参数和查询编码器参数，m∈[0,1)是动量系数。
作为基于自监督表征学习的海洋目标检测系统的优选方案，所述RoI Head网络包括分类任务和定位任务，所述分类任务采用交叉熵损失函数，所述定位任务别采用SmoothL1损失函数。
作为基于自监督表征学习的海洋目标检测系统的优选方案，采用海洋数据集MARVEL和海洋数据集SMD进行检测实验；所述海洋数据集MARVEL包括用于船舶分类任务的数据和用于船舶验证、检索、识别任务的数据；所述海洋数据集SMD包括可见光数据和红外数据。
本发明在自监督船舶特征学习阶段中，采用动量对比方式在无标注海洋目标数据上训练特征提取模型，动量对比过程将字典作为一个样本队列进行维护，并通过采用动量更新的方式更新键编码器；在有监督海洋目标检测阶段中，采用Faster R-CNN模型进行海洋目标检测，Faster R-CNN模型包括进行特征提取的骨干网络、生成感兴趣区域的区域候选网络和RoI Head网络；通过骨干网络采用自监督船舶特征学习阶段所得的特征提取网络参数进行初始化，为目标检测模型提供海洋环境及船舶相关的先验知识，然后在训练模型的同时对骨干网络进行参数微调。本发明利用无标注的大规模海洋目标数据集，通过引入自监督表征学习相关方法，挖掘海洋目标样本的底层特征，为海洋目标检测任务提供先验知识，提高基于深度学习的目标检测模型在海洋目标检测任务上的表现，降低了海洋数据样本不足对检测效果的影响。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
图1为本发明实施例中提供的海洋数据集MARVEL中的样本示例；
图2为本发明实施例中提供的海洋数据集SMD中的样本示例；
图3为本发明实施例中提供的训练特征提取模型示意图；
图4为本发明实施例中提供的Faster R-CNN海洋目标检测框架。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1、图2、图3和图4，提供一种基于自监督表征学习的海洋目标检测方法，包括自监督船舶特征学习阶段和有监督海洋目标检测阶段：
所述自监督船舶特征学习阶段中，采用动量对比方式在无标注海洋目标数据上训练特征提取模型，所述动量对比过程将字典作为一个样本队列进行维护，并通过采用动量更新的方式更新键编码器；
所述有监督海洋目标检测阶段中，采用Faster R-CNN模型进行海洋目标检测，所述Faster R-CNN模型包括进行特征提取的骨干网络、生成感兴趣区域的区域候选网络和RoI Head网络；
通过所述骨干网络采用自监督船舶特征学习阶段所得的特征提取网络参数进行初始化，为目标检测模型提供海洋环境及船舶相关的先验知识，然后在训练模型的同时对骨干网络进行参数微调。
本发明在自监督船舶特征学习阶段，采用动量对比(Momentum Contrast，MoCo)方法在无标注海洋目标数据上训练特征提取模型。动量对比将对比学习看作字典查找过程，提供一种构建大且连续的动态字典的方式，其核心思想为：通过将字典作为一个样本队列进行维护来保证字典足够大；同时通过采用动量更新的方法更新键编码器来避免其变化过快，以提高队列中键的表征一致性。
在样本队列中，假设只有一个键是和给定查询相匹配的正样本，其特征记作k+，其他键均为负样本，训练过程中通过InfoNCE损失函数提高查询特征q和k+的相似度，而减小查询特征与其他键的特征的相似度。
具体的，在所述样本队列中，预设一个键作为和给定查询相匹配的正样本，将剩余键作为负样本；训练过程中通过InfoNCE损失函数提高查询特征的相似度，InfoNCE损失函数Lq为：
Figure BDA0002828389150000061
式中，q为查询，k+为键值，ki为编码样本，τ为可调节的超参数。
本实施例中，动量更新即在训练过程中不通过反向传播更新更新键编码器参数，而是采用如下的动量更新方式：
θk←mθk+(1-m)θq
式中，θk和θq分别是键编码器参数和查询编码器参数，m∈[0,1)是动量系数。该方式使得键编码器的变化更加平稳，队列中各键的特征是由相似的编码器提取的特征，因而更有利于实现有效的特征学习。
在有监督海洋目标检测阶段中，本发明采用在通用场景的目标检测任务上表现优异的Faster R-CNN模型，如图4所示，Faster R-CNN模型由用于特征提取的骨干网络(backbone)、用于生成感兴趣区域的区域候选网络(RPN)、RoI Head三部分组成，其中RoIHead包括分类(Classification)和定位(Localization)两个分支。
通常骨干网络部分在ImageNet数据集上进行预训练，但由于其中的海洋样本较少，直接用于海洋目标检测效果不佳。
本实施例中，Faster R-CNN模型中的backbone部分采用自监督船舶特征学习阶段所得的特征提取网络参数进行初始化，为目标检测模型尽可能多地提供海洋环境及船舶相关的先验知识，然后在训练模型其他部分的同时对骨干网络(backbone)进行参数微调。此外，采用RoI Align代替RoI Pooling来获取感兴趣区域的特征。在模型训练过程中，对分类任务和定位任务分别采用交叉熵损失函数和Smooth L1损失函数。
本发明还考虑到SMD数据集中各类目标样本分布严重不平衡，为更好地验证本发明所提出的自监督预训练方法的有效性，本发明进行了类别不可知(class-agnostic)的海洋目标检测，即将图片中的所有目标均归类为object。
本发明实施例还提供一种基于自监督表征学习的海洋目标检测系统，包括自监督船舶特征学习单元和有监督海洋目标检测单元：
所述自监督船舶特征学习单元采用动量对比方式在无标注海洋目标数据上训练特征提取模型，所述动量对比过程将字典作为一个样本队列进行维护，并通过采用动量更新的方式更新键编码器；
所述有监督海洋目标检测单元采用Faster R-CNN模型进行海洋目标检测，所述Faster R-CNN模型包括进行特征提取的骨干网络、生成感兴趣区域的区域候选网络和RoIHead网络；
通过所述骨干网络采用自监督船舶特征学习阶段所得的特征提取网络参数进行初始化，为目标检测模型提供海洋环境及船舶相关的先验知识，然后在训练模型的同时对骨干网络进行参数微调。
具体的，在所述样本队列中，预设一个键作为和给定查询相匹配的正样本，将剩余键作为负样本；训练过程中通过InfoNCE损失函数提高查询特征的相似度，InfoNCE损失函数Lq为：
Figure BDA0002828389150000081
式中，q为查询，k+为键值，ki为编码样本，τ为可调节的超参数。
具体的，所述动量更新的方式为：
θk←mθk+(1-m)θq
式中，θk和θq分别是键编码器参数和查询编码器参数，m∈[0,1)是动量系数。
具体的，所述RoI Head网络包括分类任务和定位任务，所述分类任务采用交叉熵损失函数，所述定位任务别采用Smooth L1损失函数。
具体的，采用海洋数据集MARVEL和海洋数据集SMD进行检测实验；所述海洋数据集MARVEL包括用于船舶分类任务的数据和用于船舶验证、检索、识别任务的数据；所述海洋数据集SMD包括可见光数据和红外数据。
本发明的基于自监督表征学习的海洋目标检测系统与基于自监督表征学习的海洋目标检测方法对应，具体单元的阐述参见方法实施例中的内容，在此不再赘述。
为了验证本发明提出的基于自监督表征学习的海洋目标检测方案(MoCo+FasterR-CNN)的有效性，借助于现有的海洋数据集MARVEL和SMD进行了大量实验。
受复杂海况影响和传感器限制，采集大规模、高质量海洋环境及目标数据样本比较困难，导致可用于海洋感知研究的开源数据集较少，且样本量远不及ImageNet、MS COCO等通用数据集。
MARVEL海洋数据集共包含来自Shipspotting网站的200万张船舶图片，其中用于船舶分类任务的数据包含14万张图片，用于船舶验证、检索、识别任务的数据包含40万张图片。
MARVEL数据集是目前已知样本量最大的海洋数据集，为深度学习算法在海洋感知领域的应用提供了数据支撑。利用该数据集对自监督海洋船舶特征学习进行研究，为海洋目标感知问题提供新的解决思路。
SMD海洋数据集共包括81段视频，其中63段有标记，共包含10类目标。虽然该数据集样本量不大，但却是为数不多的可用于海洋目标检测任务的数据集。该数据集包含可见光数据(VIS)和红外数据(NIR)两部分。如图2所示，VIS数据中包含从岸上拍摄的on-shore数据和从海面上处于运动状态的船/艇的视角拍摄的on-board数据。
在自监督船舶特征学习阶段，模型中的编码器均采用ResNet-50网络，本发明利用MARVEL海洋数据集中的图片数据(不使用其对应的标签)进行模型训练。为明确样本量对自监督船舶特征学习效果的影响，分别使用14万样本和40万样本进行实验。
在海洋目标检测阶段，模型的backbone部分使用上一阶段训练的ResNet-50进行模型初始化，即采用ResNet-50+Faster R-CNN框架。本发明在SMD数据集上进行目标检测模型的训练与测试，并将视频数据转换为图片数据(每两帧取一帧)，共收集了9892张图片(训练集7274张，测试集2618张)，包含78558个标注,在测试阶段选择average precision(AP)、average recall(AR)和f-score作为评分标准，分别在IoU阈值为0.3和0.5的条件下进行测试。
实验结果
本发明利用Faster R-CNN框架，在SMD数据集上进行了class-agnostic目标检测，backbone均采用ResNet-50，但对其采取不同的预训练方式：
(1)Res50_Sup_14_FRCNN：利用MARVEL海洋数据集中14万样本及其标签对ResNet-50进行有监督预训练。
(2)Res50_MoCo_14_FRCNN：采用MoCo特征学习方法，利用MARVEL海洋数据集中14万样本对ResNet-50进行自监督预训练。
(3)Res50_MoCo_40_FRCNN：采用MoCo特征学习方法，利用MARVEL海洋数据集中40万样本对ResNet-50进行自监督预训练。
表1和表2分别为IoU阈值设置为0.3和0.5时的实验结果，其中Res101_MRCNN和Res101_FRCNN为采用ResNet101网络作为backbone并进行有监督backbone预训练的实验结果，DCT-based GMM为采用传统的海天线检测-背景建模-背景去除方法的实验结果。
表1 SMD数据集目标检测结果(IoU_thrs＝0.3)
Figure BDA0002828389150000101
表2 SMD数据集目标检测结果(IoU_thrs＝0.5)
Figure BDA0002828389150000102
表1中的Res50_Sup_14_FRCNN和Res50_MoCo_14_FRCNN两行数据可以说明，无论IoU阈值取值如何，本发明提出的MoCo+Faster R-CNN方法在海洋目标智能检测过程中的表现更好。具体来说，在训练参数基本一致的情况下，相比于有监督backbone预训练的方法，本发明将自监督表征学习用于backbone网络预训练，在代表检测准确率的AP评分和代表检测整体效果的f-score评分上均超过了Res50_Sup_14_FRCNN。
表1中的Res50_MoCo_14_FRCNN与Res50_MoCo_40_FRCNN两行数据表明，随着用于自监督船舶特征学习的样本量的增加，海洋目标检测效果全面提升。尤其是在IoU阈值设为0.3时，检测效果超过了使用ResNet-101网络作为backbone并引入特征金字塔(FeaturePyramid Network，FPN)的Res101_FRCNN方法(f-score分别为0.865和0.854)。由此可以说明，当无标签海洋数据样本的样本量足够大时，本发明提出的MoCo+Faster R-CNN海洋目标检测方法可以取得与采用有监督backbone预训练的方法相当或更好的检测效果。
此外，表2中的实验数据表明本发明所提出的MoCo+FRCNN海洋目标智能检测方法的检测效果优于传统的DCT-based GMM方法，也进一步证明了本发明的技术效果及可行性。
虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (10)

1.基于自监督表征学习的海洋目标检测方法，其特征在于，包括自监督船舶特征学习阶段和有监督海洋目标检测阶段：
所述自监督船舶特征学习阶段中，采用动量对比方式在无标注海洋目标数据上训练特征提取模型，所述动量对比过程将字典作为一个样本队列进行维护，并通过采用动量更新的方式更新键编码器；
所述有监督海洋目标检测阶段中，采用Faster R-CNN模型进行海洋目标检测，所述Faster R-CNN模型包括进行特征提取的骨干网络、生成感兴趣区域的区域候选网络和RoIHead网络；
通过所述骨干网络采用自监督船舶特征学习阶段所得的特征提取网络参数进行初始化，为目标检测模型提供海洋环境及船舶相关的先验知识，然后在训练模型的同时对骨干网络进行参数微调。
2.根据权利要求1所述的基于自监督表征学习的海洋目标检测方法，其特征在于，在所述样本队列中，预设一个键作为和给定查询相匹配的正样本，将剩余键作为负样本；训练过程中通过InfoNCE损失函数提高查询特征的相似度，InfoNCE损失函数Lq为：
Figure FDA0002828389140000011
式中，q为查询，k+为键值，ki为编码样本，τ为可调节的超参数。
3.根据权利要求2所述的基于自监督表征学习的海洋目标检测方法，其特征在于，所述动量更新的方式为：
θk←mθk+(1-m)θq
式中，θk和θq分别是键编码器参数和查询编码器参数，m∈[0,1)是动量系数。
4.根据权利要求1所述的基于自监督表征学习的海洋目标检测方法，其特征在于，所述RoI Head网络包括分类任务和定位任务，所述分类任务采用交叉熵损失函数，所述定位任务别采用Smooth L1损失函数。
5.根据权利要求1所述的基于自监督表征学习的海洋目标检测方法，其特征在于，采用海洋数据集MARVEL和海洋数据集SMD进行检测实验；所述海洋数据集MARVEL包括用于船舶分类任务的数据和用于船舶验证、检索、识别任务的数据；所述海洋数据集SMD包括可见光数据和红外数据。
6.基于自监督表征学习的海洋目标检测系统，其特征在于，包括自监督船舶特征学习单元和有监督海洋目标检测单元：
所述自监督船舶特征学习单元采用动量对比方式在无标注海洋目标数据上训练特征提取模型，所述动量对比过程将字典作为一个样本队列进行维护，并通过采用动量更新的方式更新键编码器；
所述有监督海洋目标检测单元采用Faster R-CNN模型进行海洋目标检测，所述FasterR-CNN模型包括进行特征提取的骨干网络、生成感兴趣区域的区域候选网络和RoI Head网络；
通过所述骨干网络采用自监督船舶特征学习阶段所得的特征提取网络参数进行初始化，为目标检测模型提供海洋环境及船舶相关的先验知识，然后在训练模型的同时对骨干网络进行参数微调。
7.根据权利要求6所述的基于自监督表征学习的海洋目标检测系统，其特征在于，在所述样本队列中，预设一个键作为和给定查询相匹配的正样本，将剩余键作为负样本；训练过程中通过InfoNCE损失函数提高查询特征的相似度，InfoNCE损失函数Lq为：
Figure FDA0002828389140000021
式中，q为查询，k+为键值，ki为编码样本，τ为可调节的超参数。
8.根据权利要求7所述的基于自监督表征学习的海洋目标检测系统，其特征在于，所述动量更新的方式为：
θk←mθk+(1-m)θq
式中，θk和θq分别是键编码器参数和查询编码器参数，m∈[0,1)是动量系数。
9.根据权利要求6所述的基于自监督表征学习的海洋目标检测系统，其特征在于，所述RoI Head网络包括分类任务和定位任务，所述分类任务采用交叉熵损失函数，所述定位任务别采用Smooth L1损失函数。
10.根据权利要求6所述的基于自监督表征学习的海洋目标检测系统，其特征在于，采用海洋数据集MARVEL和海洋数据集SMD进行检测实验；所述海洋数据集MARVEL包括用于船舶分类任务的数据和用于船舶验证、检索、识别任务的数据；所述海洋数据集SMD包括可见光数据和红外数据。
CN202011455972.1A 2020-12-10 2020-12-10 基于自监督表征学习的海洋目标检测方法及系统 Active CN112464879B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011455972.1A CN112464879B (zh) 2020-12-10 2020-12-10 基于自监督表征学习的海洋目标检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011455972.1A CN112464879B (zh) 2020-12-10 2020-12-10 基于自监督表征学习的海洋目标检测方法及系统

Publications (2)

Publication Number Publication Date
CN112464879A true CN112464879A (zh) 2021-03-09
CN112464879B CN112464879B (zh) 2022-04-01

Family

ID=74801480

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011455972.1A Active CN112464879B (zh) 2020-12-10 2020-12-10 基于自监督表征学习的海洋目标检测方法及系统

Country Status (1)

Country Link
CN (1) CN112464879B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113128591A (zh) * 2021-04-14 2021-07-16 中山大学 基于自监督学习的旋转鲁棒的点云分类方法
CN113139053A (zh) * 2021-04-15 2021-07-20 广东工业大学 一种基于自监督对比学习的文本分类方法
CN113378716A (zh) * 2021-06-11 2021-09-10 武汉大学 一种基于自监督条件的深度学习sar影像舰船识别方法
CN113392793A (zh) * 2021-06-28 2021-09-14 北京百度网讯科技有限公司 用于识别车道线的方法、装置、设备、存储介质以及无人车
CN113610021A (zh) * 2021-08-12 2021-11-05 上海明略人工智能(集团)有限公司 视频分类方法及装置、电子设备及计算机可读存储介质
CN113658178A (zh) * 2021-10-14 2021-11-16 北京字节跳动网络技术有限公司 组织图像的识别方法、装置、可读介质和电子设备
CN114241285A (zh) * 2021-11-25 2022-03-25 华南理工大学 一种基于知识蒸馏和半监督学习的船舶快速检测方法
CN114841257A (zh) * 2022-04-21 2022-08-02 北京交通大学 一种基于自监督对比约束下的小样本目标检测方法
CN115082435A (zh) * 2022-07-21 2022-09-20 浙江霖研精密科技有限公司 一种基于自监督动量对比的缺陷检测方法
CN115526874A (zh) * 2022-10-08 2022-12-27 哈尔滨市科佳通用机电股份有限公司 闸调器控制杆圆销和圆销开口销丢失检测方法
WO2023109208A1 (zh) * 2021-12-15 2023-06-22 北京邮电大学 小样本目标检测方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110472572A (zh) * 2019-08-14 2019-11-19 西北工业大学 一种复杂环境下海上目标的快速识别和分类方法
WO2019223582A1 (en) * 2018-05-24 2019-11-28 Beijing Didi Infinity Technology And Development Co., Ltd. Target detection method and system
CN111144208A (zh) * 2019-11-22 2020-05-12 北京航天控制仪器研究所 一种海上船舶目标的自动检测和识别方法及目标检测器

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019223582A1 (en) * 2018-05-24 2019-11-28 Beijing Didi Infinity Technology And Development Co., Ltd. Target detection method and system
CN110472572A (zh) * 2019-08-14 2019-11-19 西北工业大学 一种复杂环境下海上目标的快速识别和分类方法
CN111144208A (zh) * 2019-11-22 2020-05-12 北京航天控制仪器研究所 一种海上船舶目标的自动检测和识别方法及目标检测器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KAIMING HE ET AL.: "Momentum Contrast for Unsupervised Visual Representation Learning", 《ARXIV:1911.05722V3》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113128591B (zh) * 2021-04-14 2023-12-05 中山大学 基于自监督学习的旋转鲁棒的点云分类方法
CN113128591A (zh) * 2021-04-14 2021-07-16 中山大学 基于自监督学习的旋转鲁棒的点云分类方法
CN113139053A (zh) * 2021-04-15 2021-07-20 广东工业大学 一种基于自监督对比学习的文本分类方法
CN113139053B (zh) * 2021-04-15 2024-03-05 广东工业大学 一种基于自监督对比学习的文本分类方法
CN113378716A (zh) * 2021-06-11 2021-09-10 武汉大学 一种基于自监督条件的深度学习sar影像舰船识别方法
CN113392793A (zh) * 2021-06-28 2021-09-14 北京百度网讯科技有限公司 用于识别车道线的方法、装置、设备、存储介质以及无人车
CN113610021A (zh) * 2021-08-12 2021-11-05 上海明略人工智能(集团)有限公司 视频分类方法及装置、电子设备及计算机可读存储介质
CN113658178A (zh) * 2021-10-14 2021-11-16 北京字节跳动网络技术有限公司 组织图像的识别方法、装置、可读介质和电子设备
CN114241285A (zh) * 2021-11-25 2022-03-25 华南理工大学 一种基于知识蒸馏和半监督学习的船舶快速检测方法
CN114241285B (zh) * 2021-11-25 2024-05-28 华南理工大学 一种基于知识蒸馏和半监督学习的船舶快速检测方法
WO2023109208A1 (zh) * 2021-12-15 2023-06-22 北京邮电大学 小样本目标检测方法及装置
CN114841257B (zh) * 2022-04-21 2023-09-22 北京交通大学 一种基于自监督对比约束下的小样本目标检测方法
CN114841257A (zh) * 2022-04-21 2022-08-02 北京交通大学 一种基于自监督对比约束下的小样本目标检测方法
CN115082435A (zh) * 2022-07-21 2022-09-20 浙江霖研精密科技有限公司 一种基于自监督动量对比的缺陷检测方法
CN115526874A (zh) * 2022-10-08 2022-12-27 哈尔滨市科佳通用机电股份有限公司 闸调器控制杆圆销和圆销开口销丢失检测方法

Also Published As

Publication number Publication date
CN112464879B (zh) 2022-04-01

Similar Documents

Publication Publication Date Title
CN112464879B (zh) 基于自监督表征学习的海洋目标检测方法及系统
Li et al. Enhanced YOLO v3 tiny network for real-time ship detection from visual image
CN114022432B (zh) 基于改进的yolov5的绝缘子缺陷检测方法
CN108491854B (zh) 基于sf-rcnn的光学遥感图像目标检测方法
CN110378308B (zh) 改进的基于Faster R-CNN的港口SAR图像近岸舰船检测方法
CN105528794A (zh) 基于混合高斯模型与超像素分割的运动目标检测方法
CN110598693A (zh) 一种基于Faster-RCNN的船牌识别方法
CN114612769B (zh) 一种融入局部结构信息的集成感知红外成像舰船检测方法
CN111723632B (zh) 一种基于孪生网络的船舶跟踪方法及系统
CN110414340A (zh) 一种船闸监控系统中的船舶识别方法
CN112949632A (zh) 一种珊瑚礁白化自动识别方法及系统
Zhang et al. Transmission line abnormal target detection based on machine learning yolo v3
CN110443155A (zh) 一种基于卷积神经网络的视觉航标识别与分类方法
CN113283409A (zh) 基于EfficientDet和Transformer的航空图像中的飞机检测方法
CN114529821A (zh) 一种基于机器视觉的海上风电安全监测与预警方法
CN116935332A (zh) 一种基于动态视频的渔船目标检测与跟踪方法
CN114898290A (zh) 一种海上船舶实时检测方法及系统
CN103810487A (zh) 一种海洋航拍图像的目标检测与识别方法及系统
CN114092829A (zh) 高空作业场景基于改进yolov4的小目标检测方法
CN115719368B (zh) 一种多目标船舶跟踪方法及系统
He et al. A novel image recognition algorithm of target identification for unmanned surface vehicles based on deep learning
CN112418229A (zh) 一种基于深度学习的无人船海上场景图像实时分割方法
CN116912673A (zh) 一种基于水下光学图像的目标检测方法
CN114299354A (zh) 一种基于旋转框识别网络的绝缘子检测定位方法
CN113159041A (zh) 一种基于深度学习的急流线提取和识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240305

Address after: 264000, No. 103, Building 2, No. 302 Changjiang Road, Yantai Area, China (Shandong) Pilot Free Trade Zone, Yantai City, Shandong Province

Patentee after: Yinghui Environmental Technology Services (Yantai) Co.,Ltd.

Country or region after: China

Address before: Room 522, No. 2 Plant, No. 32, the Pearl River Road, Yantai Economic and Technological Development Zone, Shandong Province 264006

Patentee before: Shandong Yishi Intelligent Technology Co.,Ltd.

Country or region before: China

TR01 Transfer of patent right