CN114676771A - 一种基于自监督和相似度抑制的在线目标检测提升算法 - Google Patents

一种基于自监督和相似度抑制的在线目标检测提升算法 Download PDF

Info

Publication number
CN114676771A
CN114676771A CN202210284288.4A CN202210284288A CN114676771A CN 114676771 A CN114676771 A CN 114676771A CN 202210284288 A CN202210284288 A CN 202210284288A CN 114676771 A CN114676771 A CN 114676771A
Authority
CN
China
Prior art keywords
similarity
suppression
detection
label
class
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210284288.4A
Other languages
English (en)
Inventor
李世杰
刘军民
孙建永
王博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN202210284288.4A priority Critical patent/CN114676771A/zh
Publication of CN114676771A publication Critical patent/CN114676771A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于自监督和相似度抑制的在线目标检测提升算法，包括以下步骤：采集仿真环境下无人艇获取的海平面目标的图像样本，并将采集的图像样本分为有标签样本集和无标签样本集；对无标签样本集中的每一个无标签样本进行数据增强，利用增强后的无标签样本和相似度抑制后的伪标签，对初始训练后的模型进行在线提升训练，经过在线提升训练后，得到检测精度提升的模型；将待检测图片输入到检测精度提升的模型中，实现在线目标检测。本发明可以利用大量无标签样本提升仅利用少量有标签样本训练的模型的检测精度，充分发挥了无标签样本集在目标检测任务中的作用，提升了模型的性能，进而在实际应用中能够对目标进行高精度检测。

Description

一种基于自监督和相似度抑制的在线目标检测提升算法
技术领域
本发明属于图像处理领域，具体涉及一种基于自监督和相似度抑制的在线目标检测提升算法。
背景技术
目标检测是在图像中检测可能存在的目标类别及其坐标信息，是图像处理、计算机视觉领域的基础任务。在基于深度学习的监督学习模式下，目标检测模型的训练过程需要大量的有标签样本，每个样本需要人工为其标注各个目标的坐标信息和类别信息。然而，形成这种大规模的有标签样本需要大量的人力物力，并且耗时巨大，成本高，所以往往仅能获得少量的有标签样本以及大量的无标签样本。而大量无标签样本因为缺少标签信息故无法参与模型训练，模型只能依靠少量有标签样本进行训练，造成检测性能低下，达不到实际应用的水平，也造成了资源浪费。因此，为了解决以上问题，在线目标检测提升算法近年来获得了更广泛的关注和研究。它可以描述为，通过算法对大量无标签样本的信息进行挖掘，从而提升少量的有标签样本训练的目标检测模型性能。目前，其在一些场景复杂中，而有标签样本数量有限的目标检测应用领域，例如自动驾驶、智能监控，城市规划，海上无人艇作业系统中等获得了广泛的发展和应用。
近年来，针对如何利用无标签样本来提升目标检测模型性能的问题，目前有以下两种解决方法：
(1)基于一致性损失的在线目标检测提升算法：通过数据增强等方式对无标签样本进行扰动，约束模型对于增强前后数据预测的结果到达一致的方式来提升模型对无标签样本的鲁棒性和泛化性，过程中结合有标签样本来约束模型能够具有有效预测。最后通过有标签和无标签样本结合的方式来训练性能更好的检测模型。例如CSD(Jeong J,Lee S,Kim J,et al.Consistency-based semi-supervised learning for object detection[J].Advances in neural information processing systems,2019,32:10759-10768.),ISD(Jeong J,Verma V,Hyun M,et al.Interpolation-based semi-supervised learningfor object detection[C]//Proceedings of the IEEE/CVF Conference on ComputerVision and Pattern Recognition.2021:11602-11611.)。由于此种方式需要混合原有标签样本进行训练，达不到对模型的在线提升的目的。
(2)基于自监督学习的在线目标检测提升算法。自监督学习是利用辅助任务从无标签的数据中挖掘大量自身的信息。通过这种构造的监督信息对网络进行训练，从而可以学习到对下游任务有价值的表征。其方法是使用有标签样本进行模型训练，无标签样本进行模型更新，在迭代中提高模型性能和识别精度。基于自监督学习的在线目标检测提升算法可以描述为：首先利用少量有标签样本训练离线模型，并利用离线模型对无标签样本进行伪标签标注，通过数据增强等方式对无标签样本进行扰动，约束模型利用其伪标签和扰动后的数据进行训练，在线提升目测检测模型的性能。例如STAC(Sohn K,Zhang Z,Li C L,et al.A simple semi-supervised learning framework for object detection[J].arXiv preprint arXiv:2005.04757,2020.),Unbiased Teacher(Liu Y C,Ma C Y,He Z,et al.Unbiased teacher for semi-supervised object detection[J].arXiv preprintarXiv:2102.09480,2021.)。
以上两种方法均是仅对无标签的样本施加扰动来进行在线提升训练，从而提高目标检测模型的识别精度。但是它们缺乏提高伪标签的准确性的过程。由于伪标签中存在大量漏检和错检结果，其会造成在线提升训练迭代过程中出现有偏训练，造成目标检测模型的性能低下，并容易造成模型坍塌，训练过程被困难样本或者错误伪标签主导。在一些实际场景应用中，例如，在无人艇协同系统中，水面无人艇集群在复杂海洋环境中遂行使命任务时，由于舰船等海面目标在天气、海况、光照等各种条件因素共同作用下，可以获取的有标签样本较少，困难样本较多，上述方法难以提取高质量伪标签，伪标签的准确性需要进一步提高来满足在线提升训练，从而实现对目标的高精度检测。
发明内容
本发明的目的在于提供一种基于自监督和相似度抑制的在线目标检测提升算法，解决了现有技术中存在的实际应用过程中大量无标签样本因为缺少标签信息而无法利用进行模型训练，从而造成资源浪费，并使得模型检测精度低下，无法应用到实际场景的问题。
为了达到上述目的，本发明采用的技术方案为：
一种基于自监督和相似度抑制的在线目标检测提升算法，包括以下步骤：
(1)采集仿真环境下无人艇获取的海平面目标的图像样本，并将采集的图像样本分为有标签样本集和无标签样本集；对无标签样本集中的每一个无标签样本进行数据增强，利用增强后的无标签样本和相似度抑制后伪标签，对初始训练后的模型进行在线提升训练，经过在线提升训练后，得到检测精度提升的模型；
(2)将待检测图片输入到检测精度提升的模型中，实现在线目标检测。
本发明进一步的改进在于，相似度抑制后伪标签
Figure BDA0003559442100000031
通过以下过程得到：
步骤1，采集仿真环境下无人艇获取的海平面目标的图像样本，并将采集的图像样本分为有标签样本集S和无标签样本集U；利用有标签样本集S对两阶段目标检测模型F进行初始训练，得到初始训练后的模型F′；
步骤2，利用初始训练后的模型F′对无标签样本集U中每个无标签样本xu进行伪标签预测，并依次通过动态置信度抑制算法、非极大值抑制算法以及相似度抑制算法，得到无标签样本xu对应的相似度抑制伪标签
Figure BDA0003559442100000032
本发明进一步的改进在于，步骤1中，初始训练时的总损失ls为：
Figure BDA0003559442100000033
其中，Lcls为类别损失函数，Lreg为位置损失函数，xs为有标签样本集S中的一张图像样本，p*为图像中目标的类别标签，t*为其位置标签，b是目标真实框的索引，i是anchor的索引，pi是第i个anchor预测出有目标的概率值，
Figure BDA0003559442100000041
是第i个anchor相对于第b个真实框的二值标签，ti是第i个anchor预测出的坐标值，
Figure BDA0003559442100000042
是第b个真实框的位置标签，
Figure BDA0003559442100000043
是初始训练过程中正负采样点的总个数，
Figure BDA0003559442100000044
仅为正采样点的个数，λ1为初始训练时回归损失所占的比重。
本发明进一步的改进在于，步骤2的具体过程为：
步骤2.1：利用模型F′对无标签样本集U中每个无标签样本xu进行推理，得到每个无标签样本xu对应的伪标签Pu；
步骤2.2：利用动态置信度抑制算法根据置信度对伪标签Pu筛选，得到对应的极大值硬伪标签
Figure BDA0003559442100000045
步骤2.3：通过非极大值抑制算法对极大值硬伪标签
Figure BDA0003559442100000046
进行非极大值抑制，得到非极大值抑制伪标签
Figure BDA0003559442100000047
步骤2.4：通过相似度抑制算法对极大值硬伪标签
Figure BDA0003559442100000048
进行相似度抑制，得到无标签样本xu对应的相似度抑制伪标签
Figure BDA0003559442100000049
本发明进一步的改进在于，步骤2.2中采用下式对伪标签Pu筛选，得到对应的极大值硬伪标签
Figure BDA00035594421000000410
Figure BDA00035594421000000411
其中，ε是置信度阈值，
Figure BDA00035594421000000412
E是总迭代轮数，e是当前迭代轮次。
本发明进一步的改进在于，步骤2.3的具体过程如下：
步骤2.3.1：提取极大值硬伪标签
Figure BDA00035594421000000413
中预测为第k类的检测结果
Figure BDA00035594421000000414
其中，
Figure BDA00035594421000000415
为第k类检测框类别概率得分，
Figure BDA00035594421000000416
为
Figure BDA00035594421000000417
对应的位置预测结果，k∈1,2,…K，K为类别总数；
步骤2.3.2：将检测结果
Figure BDA00035594421000000418
根据第k类检测框类别概率得分
Figure BDA00035594421000000419
降序排列，得到排序后的第k类的检测结果
Figure BDA0003559442100000051
其中，
Figure BDA0003559442100000052
为第k类检测框类别概率得分的降序排列，
Figure BDA0003559442100000053
为
Figure BDA0003559442100000054
对应的位置预测结果；
步骤2.3.3：对于位置预测结果
Figure BDA0003559442100000055
中的第i个检测框位置预测结果
Figure BDA0003559442100000056
以及第j个检测框位置预测结果
Figure BDA0003559442100000057
计算
Figure BDA0003559442100000058
和
Figure BDA0003559442100000059
的交并比
Figure BDA00035594421000000510
i∈I，j≠i，I为
Figure BDA00035594421000000511
的总检测结果个数，若交并比IoU大于交并比阈值τ，则从
Figure BDA00035594421000000512
中剔除
Figure BDA00035594421000000513
步骤2.3.4：对于极大值硬伪标签
Figure BDA00035594421000000514
中的每一个类别k，重复步骤2.3.1-步骤2.3.3，得到无标签样本xu对应的非极大值抑制伪标签
Figure BDA00035594421000000515
本发明进一步的改进在于，步骤2.4的具体步骤为：
步骤2.4.1：根据步骤1中的有标签样本集S，提取第k类目标的均值图像块，记为Mk(S)；
步骤2.4.2：提取非极大值抑制伪标签
Figure BDA00035594421000000516
中
Figure BDA00035594421000000517
Figure BDA00035594421000000518
为
Figure BDA00035594421000000519
中第k类的检测的位置结果；
步骤2.4.3：第k类的检测的位置结果
Figure BDA00035594421000000520
包括若干位置结果
Figure BDA00035594421000000521
对于
Figure BDA00035594421000000522
中的每一个
Figure BDA00035594421000000523
剪裁无标签样本xu，获得对应区域的图像区域
Figure BDA00035594421000000524
通过插值等方法伸缩图像区域
Figure BDA00035594421000000525
到固定尺度，计算固定尺度后的图像区域与第k类目标的均值图像块Mk(S)的相似度，若相似度大小小于相似度阈值πk，则从
Figure BDA00035594421000000526
中去除
Figure BDA00035594421000000527
步骤2.4.4：对于极大值硬伪标签
Figure BDA00035594421000000528
中的每一个k，重复步骤2.4.1-步骤2.4.3，得到无标签样本xu对应的相似度抑制伪标签
Figure BDA00035594421000000529
本发明进一步的改进在于，步骤(1)中的数据增强方式为颜色变换、左右翻转或尺度变化。
本发明进一步的改进在于，对初始训练后的模型F′进行在线提升训练时的在线提升训练损失lu为:
Figure BDA00035594421000000530
其中，Lcls为类别损失函数，Lreg为位置损失函数，
Figure BDA00035594421000000531
为
Figure BDA00035594421000000532
中的类别标签，
Figure BDA00035594421000000533
为
Figure BDA0003559442100000061
中的位置标签，b是真实框的索引，i是anchor的索引，ci是第i个anchor预测的类别概率，
Figure BDA0003559442100000062
是
Figure BDA0003559442100000063
中第i个anchor对应第b个真实框的类别标签，ti是第i个anchor预测的位置，
Figure BDA0003559442100000064
是
Figure BDA0003559442100000065
中第b个真实框的位置标签，
Figure BDA0003559442100000066
是第i个anchor相对于第b个真实框的二值标签，
Figure BDA0003559442100000067
是在线提升训练过程中正负采样点的总个数，
Figure BDA0003559442100000068
仅为正采样点的个数，λ2是在线提升训练时回归损失所占的比重。
与现有技术相比，本发明具有的有益效果：
本发明可以利用大量无标签样本提升仅利用少量有标签样本训练的模型的检测精度，充分发挥了无标签样本集在目标检测任务中的作用，提升了模型的性能，进而提升在线目标检测精度，解决了实际应用过程中，仅能利用少量有标签样本集训练从而导致目标检测精度低的问题。
进一步的，本发明提出的动态置信度抑制算法能够动态调整置信度抑制阈值，由于在线提升训练迭代初期，检测能力有限，存在大量确定性较小的伪标签，此时需使用低阈值来留下大部分正确的伪标签，后期模型检测能力提升，阈值动态提高，有利于过滤错误伪标签，提高伪标签质量，有利于模型在线提升训练过程。
进一步的，本发明使用的非极大值抑制算法能够在在线提升训练过程中，去除重叠率较高的重复预测框，过滤质量较低的伪标签，防止质量较低的伪标签在在线提升训练过程中对模型产生误导信息。
进一步的，本发明提出的相似度抑制算法能够挖掘同类检测结果的特征相似度，去除相似度较低的困难样本，提高在线提升训练迭代过程中的伪标签的质量，保证在线提升训练时的预测的伪标签的正确性和稳定性。
附图说明
图1为本发明的流程图。
图2为本发明中两阶段目标检测模型Faster R-CNN网络结构图。
图3为本发明在仿真数据集在线目标检测提升任务上的检测效果图。
具体实施方式
下面结合附图，对本发明进一步详细说明。
步骤1，采集仿真环境下无人艇获取的海平面目标的图像样本，并将采集的图像样本分为有标签样本集S和无标签样本集U。利用有标签样本集S对两阶段目标检测模型F进行初始训练，两阶段目标检测模型F获得一定的检测精度(例如检测精度达到70％以上)后停止训练，得到两阶段目标检测模型F经过初始训练后的模型F′。
优选地，步骤1中的两阶段目标检测模型F是Faster R-CNN(Ren S,He K,GirshickR,et al.Faster r-cnn:Towards real-time object detection with region proposalnetworks[J].Advances in neural information processing systems,2015,28:91-99.)，其初始训练时的总损失ls为：
Figure BDA0003559442100000071
其中，总损失ls包含类别损失和位置损失，Lcls为类别损失函数，即交叉熵函数，Lreg为位置损失函数，即Smooth-L1函数。xs为有标签样本集S中的一张图像样本，p*为图像中目标的类别标签，t*为其位置标签。具体地，b是目标真实框的索引，i是anchor的索引。pi是第i个anchor预测出有目标的概率值，
Figure BDA0003559442100000072
是第i个anchor相对于第b个真实框的二值标签，ti是第i个anchor预测出的坐标值。
Figure BDA0003559442100000073
是第b个真实框的位置标签。
Figure BDA0003559442100000074
是初始训练过程中正负采样点的总个数，
Figure BDA0003559442100000075
仅为正采样点的个数，λ1为初始训练时回归损失所占的比重。
步骤2，对于无标签样本集U中每个无标签样本xu，利用模型F′对无标签样本xu进行伪标签预测，并依次通过动态置信度抑制算法、非极大值抑制算法以及相似度抑制算法，得到无标签样本xu对应的相似度抑制伪标签
Figure BDA0003559442100000076
具体包含以下步骤：
步骤2.1：利用模型F′对每个无标签样本xu进行推理，得到每个无标签样本xu对应的伪标签Pu。
步骤2.2：利用动态置信度抑制算法根据置信度对伪标签Pu筛选，得到其对应的极大值硬伪标签
Figure BDA0003559442100000081
该算法具体计算过程为：
Figure BDA0003559442100000082
其中，ε是置信度阈值，其是根据总迭代轮数E和当前迭代轮次e来动态调整，计算方式为：
Figure BDA0003559442100000083
步骤2.3：通过非极大值抑制算法对
Figure BDA0003559442100000084
进行非极大值抑制，去除位置重叠度较高的同类伪标签。得到非极大值抑制伪标签
Figure BDA0003559442100000085
算法具体通过以下步骤完成：
步骤2.3.1：提取
Figure BDA0003559442100000086
中预测为第k类的检测结果
Figure BDA0003559442100000087
其中，
Figure BDA0003559442100000088
为第k类检测框类别概率得分，
Figure BDA0003559442100000089
为
Figure BDA00035594421000000810
对应的位置预测结果。k∈1,2,…K，K为类别总数。
步骤2.3.2：将
Figure BDA00035594421000000811
根据
Figure BDA00035594421000000812
降序排列，得到其排序后的第k类的检测结果
Figure BDA00035594421000000813
其中，
Figure BDA00035594421000000814
为第k类检测框类别概率得分的降序排列，
Figure BDA00035594421000000815
为
Figure BDA00035594421000000816
对应的位置预测结果。
步骤2.3.3：对于位置预测结果
Figure BDA00035594421000000817
中的第i个检测框位置预测结果
Figure BDA00035594421000000818
以及第j个检测框位置预测结果
Figure BDA00035594421000000819
计算
Figure BDA00035594421000000820
和
Figure BDA00035594421000000821
的交并比
Figure BDA00035594421000000822
i∈I，j≠i，I为
Figure BDA00035594421000000823
的总检测结果个数。若IoU大于交并比阈值τ，则从
Figure BDA00035594421000000824
中剔除
Figure BDA00035594421000000825
步骤2.3.4：对于
Figure BDA00035594421000000826
中的每一个类别k，重复步骤2.3.1-步骤2.3.3得到无标签样本xu对应的非极大值抑制伪标签
Figure BDA00035594421000000827
步骤2.4：通过相似度抑制算法对
Figure BDA00035594421000000828
进行相似度抑制，得到无标签样本xu对应的相似度抑制伪标签
Figure BDA00035594421000000829
其中，相似度抑制算法的具体步骤为：
步骤2.4.1：根据步骤1中的有标签样本集S，提取其第k类目标的均值图像块，记为Mk(S)。
步骤2.4.2：提取非极大值抑制伪标签
Figure BDA00035594421000000830
中
Figure BDA00035594421000000831
Figure BDA00035594421000000832
为
Figure BDA00035594421000000833
中第k类的检测的位置结果。
步骤2.4.3：
Figure BDA00035594421000000834
包括若干
Figure BDA00035594421000000835
对于
Figure BDA00035594421000000836
中的每一个
Figure BDA00035594421000000837
剪裁无标签样本xu获得对应区域的图像区域
Figure BDA00035594421000000838
通过插值等方法伸缩图像区域
Figure BDA00035594421000000839
到固定尺度，计算固定尺度后的图像区域与第k类目标的均值图像块Mk(S)的相似度，若相似度大小小于相似度阈值πk，则从
Figure BDA00035594421000000840
中去除
Figure BDA0003559442100000091
步骤2.4.2：对于
Figure BDA0003559442100000092
中的每一个k，重复步骤2.4.1-步骤2.4.3得到
Figure BDA0003559442100000093
通过相似度抑制算法得到的无标签样本xu对应的相似度抑制伪标签
Figure BDA0003559442100000094
步骤3，对无标签样本集U中的每一个无标签样本xu进行数据增强，利用增强后的无标签样本xu和步骤2获得的其对应的相似度抑制后伪标签
Figure BDA0003559442100000095
对初始训练后的模型F′进行在线提升训练，经过在线提升训练E轮后，得到检测精度提升的模型F″。模型F″是利用无标签样本集U对进行初始训练的模型F′进行提升训练后的模型，充分发挥了无标签样本集U在目标检测任务中的作用，F″的检测精度将优于仅用有标签样本集S进行初始训练的模型F′，解决了实际应用过程中，仅能利用少量有标签样本集S训练从而导致目标检测模型性能较差的问题。
优选地，步骤3中的数据增强方式为颜色变换、左右翻转、尺度变化等方式，对于无标签样本xu，记增强后的样本为A(xu),A为数据增强方式。利用A(xu)和
Figure BDA0003559442100000096
对初始训练后的模型F′进行在线提升训练时的在线提升训练损失li为:
Figure BDA0003559442100000097
其中，在线提升训练损失lu包含在线训练类别损失和在线训练位置损失，Lcls为类别损失函数，即交叉熵函数，Lreg为位置损失函数，即Smooth-L1函数。
Figure BDA0003559442100000098
为
Figure BDA0003559442100000099
中的类别标签，
Figure BDA00035594421000000910
为
Figure BDA00035594421000000911
中的位置标签。b是真实框的索引，i是anchor的索引。ci是第i个anchor预测的类别概率，
Figure BDA00035594421000000912
是
Figure BDA00035594421000000913
中第i个anchor对应第b个真实框的类别标签。ti是第i个anchor预测的位置，
Figure BDA00035594421000000914
是
Figure BDA00035594421000000915
中第b个真实框的位置标签。
Figure BDA00035594421000000916
是第i个anchor相对于第b个真实框的二值标签，
Figure BDA00035594421000000917
是在线提升训练过程中正负采样点的总个数，
Figure BDA00035594421000000918
仅为正采样点的个数，λ2是在线提升训练时回归损失所占的比重。
步骤4，将待检测图片输入到检测精度提升的模型F″中，实现高精度的目标在线检测任务。
实施例1
如图1所示，一种基于自监督和相似度抑制的在线目标检测提升算法，包括以下步骤：
步骤1，将仿真环境下无人艇获取的海平面目标的数据集划分训练集、验证集和测试集。海平面目标包括商船、浮漂与渔船三类。按照训练集0.75、验证集0.2、测试集0.05进行随机划分。再从训练集中划分有标签样本集S和无标签样本集U，S和U中所包含的样本量的比值为1:3。搭建两阶段目标检测模型Faster R-CNN，记为F。
搭建过程如图2所示，F共分为二十二层，依次为卷积层1-2、池化层1、卷积层5-7、池化层2、卷积层8-10、池化层3、卷积层11-13、RPN候选框提取层、ROI候选框区域特征提取层、全连接层1-2、分类回归层。其中，各个深度卷积核池化层的参数为：输入的二维图像的通道数为3，分辨率为600*600。卷积层1-2的卷积核大小为3*3，输出的通道数为64。卷积层3-4的卷积核大小为3*3，输出的通道数为128。卷积层5-7的卷积核大小为3*3，输出的通道数为256。卷积层8-13的卷积核大小为3*3，输出的通道数为512。池化层1-4的池化范围为2*2。RPN候选框提取层中的分类层特征图的分辨率为38*38，通道数为18。回归层特征图的分辨率为38*38，通道数为36。ROI池化层的特征图分辨率为7*7，通道数为512。全连接层1-2的特征图通道数均为4096。分类回归层中的分类层特征图的通道数为4，回归层特征图的通道数为4。
利用有标签样本集S对F进行初始训练，其初始训练时的总损失ls为：
Figure BDA0003559442100000101
Figure BDA0003559442100000102
其中，总损失ls包含类别损失和位置损失，Lcls为类别损失函数，即交叉熵函数，Lreg为位置损失函数，即Smooth-L1函数。xs为有标签样本集S中的一张图像样本，p*为图像中目标的类别标签，t*为其位置标签。具体地，b是目标真实框的索引，i是anchor的索引。pi是第i个anchor预测出有目标的概率值，
Figure BDA0003559442100000103
是第i个anchor相对于第b个真实框的二值标签，ti是第i个anchor预测出的坐标值。
Figure BDA0003559442100000111
是第b个真实框的位置标签。
Figure BDA0003559442100000112
是初始训练过程中正负采样点的总个数，
Figure BDA0003559442100000113
仅为正采样点的个数，λ1为初始训练时回归损失所占的比重，取值为1。
在F获得一定的检测精度后停止初始训练，例如检测精度达到70％以上，此步骤得到模型F经过初始训练后的模型F′。
步骤2，对于无标签样本集U中每个无标签样本xu，依次进行如下步骤：
步骤2.1：利用模型F′首先对xu进行推理，得到每个无标签样本xu对应的伪标签Pu。
步骤2.2：利用动态置信度抑制算法根据置信度对伪标签Pu筛选，得到其对应的极大值硬伪标签
Figure BDA0003559442100000114
具体为
Figure BDA0003559442100000115
其中，ε是置信度阈值，其根据总迭代轮数E和当前迭代轮次e来动态调整，计算方式为：
Figure BDA0003559442100000116
E一般设定为35。
步骤2.3：通过非极大值抑制算法对
Figure BDA0003559442100000117
进行非极大值抑制，去除位置重叠度较高的同类伪标签。得到非极大值抑制伪标签
Figure BDA0003559442100000118
非极大值抑制步骤为：
步骤2.3.1：提取
Figure BDA0003559442100000119
中预测为第k类的检测结果
Figure BDA00035594421000001110
其中，
Figure BDA00035594421000001111
为第k类检测框类别概率得分，
Figure BDA00035594421000001112
为
Figure BDA00035594421000001113
对应的位置预测结果。k∈1,2,…K，K为类别总数。
步骤2.3.2：将
Figure BDA00035594421000001114
根据
Figure BDA00035594421000001115
降序排列，得到排序后的第k类的检测结果
Figure BDA00035594421000001116
其中，
Figure BDA00035594421000001117
为第k类检测框类别概率得分的降序排列，
Figure BDA00035594421000001118
为
Figure BDA00035594421000001119
对应的位置预测结果。
步骤2.3.3：对于
Figure BDA00035594421000001120
中的第i个检测框位置预测结果
Figure BDA00035594421000001121
计算
Figure BDA00035594421000001122
和
Figure BDA00035594421000001123
的交并比
Figure BDA00035594421000001124
Figure BDA00035594421000001125
i∈I，j≠i，I为
Figure BDA00035594421000001126
的总检测结果个数。若IoU大于交并比阈值τ，τ＝0.5，则从
Figure BDA00035594421000001127
中剔除
Figure BDA00035594421000001128
步骤2.3.4：对于
Figure BDA00035594421000001129
中的每一个类别k，重复步骤2.3.1-步骤2.3.3，从而得到无标签样本xu对应的非极大值抑制伪标签
Figure BDA00035594421000001130
步骤2.4：通过相似度抑制算法对
Figure BDA00035594421000001131
进行相似度抑制，得到无标签样本xu对应的相似度抑制伪标签
Figure BDA0003559442100000121
算法步骤为：
步骤2.4.1：根据步骤1中的有标签样本集S，提取其第k类目标的均值图像块，记为Mk(S)。
步骤2.4.2：提取非极大值抑制伪标签
Figure BDA0003559442100000122
中
Figure BDA0003559442100000123
其中，
Figure BDA0003559442100000124
为
Figure BDA0003559442100000125
中第k类的检测的位置结果。
步骤2.4.3：
Figure BDA0003559442100000126
包括若干
Figure BDA0003559442100000127
对于
Figure BDA0003559442100000128
中的每一个
Figure BDA0003559442100000129
剪裁无标签样本xu获得对应区域的图像区域
Figure BDA00035594421000001210
通过插值等方法伸缩图像区域
Figure BDA00035594421000001211
到固定尺度，计算固定尺度后的图像区域与第k类目标的均值图像块Mk(S)的相似度，相似度采用余弦相似度，若相似度大小小于相似度阈值πk，πk＝0.3，则从
Figure BDA00035594421000001212
中去除
Figure BDA00035594421000001213
步骤2.4.4：对于
Figure BDA00035594421000001214
中的每一个k，重复上述2.4.1-步骤2.4.3从而得到
Figure BDA00035594421000001215
通过相似度抑制算法得到的无标签样本xu对应的相似度抑制伪标签
Figure BDA00035594421000001216
步骤3，对无标签样本集U中的每一个无标签样本xu进行数据增强，利用增强后的无标签样本xu和步骤2获得的其对应的相似度抑制后伪标签
Figure BDA00035594421000001217
对初始训练后的模型F′进行在线提升训练，经过在线提升训练E轮后，得到检测精度提升的模型F″。
在线提升训练的损失为：
Figure BDA00035594421000001218
Figure BDA00035594421000001219
其中，在线提升训练损失lu包含在线训练类别损失和在线训练位置损失，Lcls为类别损失函数，即交叉熵函数，Lreg为位置损失函数，即Smooth-L1函数。
Figure BDA00035594421000001220
为
Figure BDA00035594421000001221
中的类别标签，
Figure BDA00035594421000001222
为
Figure BDA00035594421000001223
中的位置标签。b是真实框的索引，i是anchor的索引。ci是第i个anchor预测的类别概率，
Figure BDA00035594421000001224
是
Figure BDA00035594421000001225
中第i个anchor对应第b个真实框的类别标签。ti是第i个anchor预测的位置，
Figure BDA00035594421000001226
是
Figure BDA00035594421000001227
中第b个真实框的位置标签。
Figure BDA00035594421000001228
是第i个anchor相对于第b个真实框的二值标签，
Figure BDA00035594421000001229
是在线提升训练过程中正负采样点的总个数，
Figure BDA00035594421000001230
仅为正采样点的个数，λ2是在线提升训练时回归损失所占的比重。
步骤4，将待检测图片输入到检测精度提升的模型F″中，实现高精度的目标检测任务。
本实施例的效果可以进一步通过以下实验验证：
1.实验硬件平台条件：Intel CPU i7-9700,内存为32GB，显卡为NVIDIA GTX-1080Ti。软件条件：机器学习框架PyTorch1.1。
2.实验内容和结果：
2.1实验样本：海上无人艇获取的仿真数据集，包含商船、浮漂以及渔船三类。
2.2实验内容：分别基于现有技术Faster R-CNN的训练算法和本发明提出的基于自监督和相似度抑制的在线提升算法对进行海上无人艇获取的仿真数据集模型训练，并对比两种算法下目标检测模型的检测精度，即三类目标的AP及平均AP。
2.3实验基本超参数设置，参见表2：
表2设置的基本参数
超参数 值
批量大小 4
输入图像基本尺寸 600*600
最大轮数 35
预训练参数模型 VGG16
优化器 SGD
学习率 0.001
衰减 20/25轮
2.4实验结果参见表3：
表3实验结果
Figure BDA0003559442100000131
Figure BDA0003559442100000141
实验验证结果表明，利用本发明的在线提升训练算法可以利用大量无标签样本进一步提升仅利用少量有标签样本训练的模型的检测精度，部分检测结果如图3所示。本发明充分发挥了无标签样本集在目标检测任务中的作用，解决了实际应用过程中，仅能利用少量有标签样本集S训练从而导致目标检测模型性能较差的问题。

Claims (9)

1.一种基于自监督和相似度抑制的在线目标检测提升算法，其特征在于，包括以下步骤：
(1)采集仿真环境下无人艇获取的海平面目标的图像样本，并将采集的图像样本分为有标签样本集和无标签样本集；对无标签样本集中的每一个无标签样本进行数据增强，利用增强后的无标签样本和相似度抑制后伪标签，对初始训练后的模型进行在线提升训练，经过在线提升训练后，得到检测精度提升的模型；
(2)将待检测图片输入到检测精度提升的模型中，实现在线目标检测。
2.根据权利要求1所述的一种基于自监督和相似度抑制的在线目标检测提升算法，其特征在于，相似度抑制后伪标签
Figure FDA0003559442090000011
通过以下过程得到：
步骤1，采集仿真环境下无人艇获取的海平面目标的图像样本，并将采集的图像样本分为有标签样本集S和无标签样本集U；利用有标签样本集S对两阶段目标检测模型F进行初始训练，得到初始训练后的模型F′；
步骤2，利用初始训练后的模型F′对无标签样本集U中每个无标签样本xu进行伪标签预测，并依次通过动态置信度抑制算法、非极大值抑制算法以及相似度抑制算法，得到无标签样本xu对应的相似度抑制伪标签
Figure FDA0003559442090000012
3.根据权利要求2所述的一种基于自监督和相似度抑制的在线目标检测提升算法，其特征在于，步骤1中，初始训练时的总损失ls为：
Figure FDA0003559442090000013
其中，Lcls为类别损失函数，Lreg为位置损失函数，xs为有标签样本集S中的一张图像样本，p*为图像中目标的类别标签，t*为其位置标签，b是目标真实框的索引，i是anchor的索引，pi是第i个anchor预测出有目标的概率值，
Figure FDA0003559442090000014
是第i个anchor相对于第b个真实框的二值标签，ti是第i个anchor预测出的坐标值，
Figure FDA0003559442090000015
是第b个真实框的位置标签，
Figure FDA0003559442090000016
是初始训练过程中正负采样点的总个数，
Figure FDA0003559442090000017
仅为正采样点的个数，λ1为初始训练时回归损失所占的比重。
4.根据权利要求2所述的一种基于自监督和相似度抑制的在线目标检测提升算法，其特征在于，步骤2的具体过程为：
步骤2.1：利用模型F′对无标签样本集U中每个无标签样本xu进行推理，得到每个无标签样本xu对应的伪标签Pu；
步骤2.2：利用动态置信度抑制算法根据置信度对伪标签Pu筛选，得到对应的极大值硬伪标签
Figure FDA0003559442090000021
步骤2.3：通过非极大值抑制算法对极大值硬伪标签
Figure FDA0003559442090000022
进行非极大值抑制，得到非极大值抑制伪标签
Figure FDA0003559442090000023
步骤2.4：通过相似度抑制算法对极大值硬伪标签
Figure FDA0003559442090000024
进行相似度抑制，得到无标签样本xu对应的相似度抑制伪标签
Figure FDA0003559442090000025
5.根据权利要求4所述的一种基于自监督和相似度抑制的在线目标检测提升算法，其特征在于，步骤2.2中采用下式对伪标签Pu筛选，得到对应的极大值硬伪标签
Figure FDA0003559442090000026
Figure FDA0003559442090000027
其中，ε是置信度阈值，
Figure FDA0003559442090000028
E是总迭代轮数，e是当前迭代轮次。
6.根据权利要求4所述的一种基于自监督和相似度抑制的在线目标检测提升算法，其特征在于，步骤2.3的具体过程如下：
步骤2.3.1：提取极大值硬伪标签
Figure FDA0003559442090000029
中预测为第k类的检测结果
Figure FDA00035594420900000210
其中，
Figure FDA00035594420900000211
为第k类检测框类别概率得分，
Figure FDA00035594420900000212
为
Figure FDA00035594420900000213
对应的位置预测结果，k∈1,2,…K，K为类别总数；
步骤2.3.2：将检测结果
Figure FDA00035594420900000214
根据第k类检测框类别概率得分
Figure FDA00035594420900000215
降序排列，得到排序后的第k类的检测结果
Figure FDA00035594420900000216
其中，
Figure FDA00035594420900000217
为第k类检测框类别概率得分的降序排列，
Figure FDA00035594420900000218
为
Figure FDA00035594420900000219
对应的位置预测结果；
步骤2.3.3：对于位置预测结果
Figure FDA0003559442090000031
中的第i个检测框位置预测结果
Figure FDA0003559442090000032
以及第j个检测框位置预测结果
Figure FDA0003559442090000033
计算
Figure FDA0003559442090000034
和
Figure FDA0003559442090000035
的交并比
Figure FDA0003559442090000036
i∈I，j≠i，I为
Figure FDA0003559442090000037
的总检测结果个数，若交并比IoU大于交并比阈值τ，则从
Figure FDA0003559442090000038
中剔除
Figure FDA0003559442090000039
步骤2.3.4：对于极大值硬伪标签
Figure FDA00035594420900000310
中的每一个类别k，重复步骤2.3.1-步骤2.3.3，得到无标签样本xu对应的非极大值抑制伪标签
Figure FDA00035594420900000311
7.根据权利要求5所述的一种基于自监督和相似度抑制的在线目标检测提升算法，其特征在于，步骤2.4的具体步骤为：
步骤2.4.1：根据步骤1中的有标签样本集S，提取第k类目标的均值图像块，记为Mk(S)；
步骤2.4.2：提取非极大值抑制伪标签
Figure FDA00035594420900000312
中
Figure FDA00035594420900000313
Figure FDA00035594420900000314
为
Figure FDA00035594420900000315
中第k类的检测的位置结果；
步骤2.4.3：第k类的检测的位置结果
Figure FDA00035594420900000316
包括若干位置结果
Figure FDA00035594420900000317
对于
Figure FDA00035594420900000318
中的每一个
Figure FDA00035594420900000319
剪裁无标签样本xu，获得对应区域的图像区域
Figure FDA00035594420900000320
通过插值等方法伸缩图像区域
Figure FDA00035594420900000321
到固定尺度，计算固定尺度后的图像区域与第k类目标的均值图像块Mk(S)的相似度，若相似度大小小于相似度阈值πk，则从
Figure FDA00035594420900000322
中去除
Figure FDA00035594420900000323
步骤2.4.4：对于极大值硬伪标签
Figure FDA00035594420900000324
中的每一个k，重复步骤2.4.1-步骤2.4.3，得到无标签样本xu对应的相似度抑制伪标签
Figure FDA00035594420900000325
8.根据权利要求1所述的一种基于自监督和相似度抑制的在线目标检测提升算法，其特征在于，步骤(1)中的数据增强方式为颜色变换、左右翻转或尺度变化。
9.根据权利要求1所述的一种基于自监督和相似度抑制的在线目标检测提升算法，其特征在于，对初始训练后的模型F′进行在线提升训练时的在线提升训练损失lu为:
Figure FDA00035594420900000326
其中，Lcls为类别损失函数，Lreg为位置损失函数，
Figure FDA00035594420900000327
为
Figure FDA00035594420900000328
中的类别标签，
Figure FDA00035594420900000329
为
Figure FDA00035594420900000330
中的位置标签，b是真实框的索引，i是anchor的索引，ci是第i个anchor预测的类别概率，
Figure FDA0003559442090000041
是
Figure FDA0003559442090000042
中第i个anchor对应第b个真实框的类别标签，ti是第i个anchor预测的位置，
Figure FDA0003559442090000043
是
Figure FDA0003559442090000044
中第b个真实框的位置标签，
Figure FDA0003559442090000045
是第i个anchor相对于第b个真实框的二值标签，
Figure FDA0003559442090000046
是在线提升训练过程中正负采样点的总个数，
Figure FDA0003559442090000047
仅为正采样点的个数，λ2是在线提升训练时回归损失所占的比重。
CN202210284288.4A 2022-03-22 2022-03-22 一种基于自监督和相似度抑制的在线目标检测提升算法 Pending CN114676771A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210284288.4A CN114676771A (zh) 2022-03-22 2022-03-22 一种基于自监督和相似度抑制的在线目标检测提升算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210284288.4A CN114676771A (zh) 2022-03-22 2022-03-22 一种基于自监督和相似度抑制的在线目标检测提升算法

Publications (1)

Publication Number Publication Date
CN114676771A true CN114676771A (zh) 2022-06-28

Family

ID=82074496

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210284288.4A Pending CN114676771A (zh) 2022-03-22 2022-03-22 一种基于自监督和相似度抑制的在线目标检测提升算法

Country Status (1)

Country Link
CN (1) CN114676771A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116665095A (zh) * 2023-05-18 2023-08-29 中国科学院空间应用工程与技术中心 一种运动舰船检测方法、系统、存储介质和电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116665095A (zh) * 2023-05-18 2023-08-29 中国科学院空间应用工程与技术中心 一种运动舰船检测方法、系统、存储介质和电子设备
CN116665095B (zh) * 2023-05-18 2023-12-22 中国科学院空间应用工程与技术中心 一种运动舰船检测方法、系统、存储介质和电子设备

Similar Documents

Publication Publication Date Title
CN109919108B (zh) 基于深度哈希辅助网络的遥感图像快速目标检测方法
CN111563473B (zh) 基于密集特征融合和像素级注意力的遥感舰船识别方法
CN114581782B (zh) 一种基于由粗到精检测策略的细微缺陷检测方法
CN112418108B (zh) 一种基于样本重加权的遥感图像多类目标检测方法
CN112052817A (zh) 基于迁移学习的改进YOLOv3模型侧扫声纳沉船目标自动识别方法
CN110610165A (zh) 一种基于yolo模型的船舶行为分析方法
CN111145145A (zh) 一种基于MobileNets的图像表面缺陷检测方法
CN114821358A (zh) 光学遥感图像海上舰船目标提取与识别方法
Ma et al. Intelligent detection model based on a fully convolutional neural network for pavement cracks
Li et al. An improved categorical cross entropy for remote sensing image classification based on noisy labels
CN116977710A (zh) 一种遥感图像长尾分布目标半监督检测方法
CN116977633A (zh) 地物要素分割模型训练方法、地物要素分割方法及装置
CN114676771A (zh) 一种基于自监督和相似度抑制的在线目标检测提升算法
CN115115863A (zh) 水面多尺度目标检测方法、装置及系统和存储介质
CN111461121A (zh) 一种基于yolov3网络的电表示数识别方法
CN111461006A (zh) 一种基于深度迁移学习的光学遥感图像杆塔位置检测方法
CN113469097B (zh) 一种基于ssd网络的水面漂浮物多相机实时检测方法
CN114565824A (zh) 基于全卷积网络的单阶段旋转舰船检测方法
Shustanov et al. A Method for Traffic Sign Recognition with CNN using GPU.
CN113344148A (zh) 一种基于深度学习的海上舰船目标识别方法
CN113129336A (zh) 一种端到端多车辆跟踪方法、系统及计算机可读介质
CN111179278B (zh) 一种图像检测的方法、装置、设备和存储介质
CN112580509B (zh) 逻辑推理式道面检测方法及系统
CN115330705A (zh) 一种基于自适应加权模板ncc的蒙皮漆面缺陷检测方法
CN115376023A (zh) 基于形变卷积网络的养殖区域检测方法、无人机、介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination