CN116758429B - 一种基于正负样本候选框动态选择船舶检测方法及系统 - Google Patents

一种基于正负样本候选框动态选择船舶检测方法及系统 Download PDF

Info

Publication number
CN116758429B
CN116758429B CN202311054489.6A CN202311054489A CN116758429B CN 116758429 B CN116758429 B CN 116758429B CN 202311054489 A CN202311054489 A CN 202311054489A CN 116758429 B CN116758429 B CN 116758429B
Authority
CN
China
Prior art keywords
sample candidate
negative sample
candidate frame
current
loss value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311054489.6A
Other languages
English (en)
Other versions
CN116758429A (zh
Inventor
叶建标
罗劲松
温志伟
赵立立
雷明根
俞茜芝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Whyis Technology Co ltd
Original Assignee
Zhejiang Whyis Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Whyis Technology Co ltd filed Critical Zhejiang Whyis Technology Co ltd
Priority to CN202311054489.6A priority Critical patent/CN116758429B/zh
Publication of CN116758429A publication Critical patent/CN116758429A/zh
Application granted granted Critical
Publication of CN116758429B publication Critical patent/CN116758429B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于正负样本候选框动态选择船舶检测方法及系统，其中，该方法对当前正样本候选框进行难易评估，加强船舶检测模型对难检样本的学习；利用原始船舶检测模型预测出的原始负样本候选框，通过原始负样本候选框的置信度，筛选出易检负样本候选框，初始船舶检测模型训练过程中预测的当前一级负样本候选框与易检负样本候选框匹配，置于不同权重，加强船舶检测模型对易检负样本特征的学习；易检负样本候选框的数量是动态选择，依据训练集的人工标定框数量和原始负样本候选框数量共同决定。本发明的方法降低了船舶检测模型的误检，提高了准确率。

Description

一种基于正负样本候选框动态选择船舶检测方法及系统
技术领域
本发明涉及船舶技术领域，具体而言，涉及一种基于正负样本候选框动态选择船舶检测方法及系统。
背景技术
随着水上交通不断发展，水上交通秩序也不断升级，维持水上交通的工作人员的工作量不断增加，其中船舶检测是水上交通工作量的之一。现存在船舶检测模型，对船舶的检测能力效果十分优异，但存在大量的误检，其主要原因是目前存在的船舶检测模型主要是针对目标特征的关注，缺少对置信度极高的负样本的特征的学习，以及水面和周边环境十分复杂存在大量与船舶形状相似的物体，从而导致船舶目标检测模型存在大量的误检。
针对现有技术中存在的船舶检测模型主要是针对目标特征的关注，缺少对置信度极高的负样本的特征的学习，以及水面和周边环境十分复杂存在大量与船舶形状相似的物体，从而导致船舶目标检测模型存在大量的误检的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例中提供一种基于正负样本候选框动态选择船舶检测方法及系统，以解决现有技术中存在的船舶检测模型主要是针对目标特征的关注，缺少对置信度极高的负样本的特征的学习，以及水面和周边环境十分复杂存在大量与船舶形状相似的物体，从而导致船舶目标检测模型存在大量的误检的问题。
为达到上述目的，一方面，本发明提供了一种基于正负样本候选框动态选择船舶检测方法，其中，该方法包括：S1、将训练集中每张迭代图片输入到原始船舶检测模型中进行预测，得到原始预测结果；根据原始预测结果和人工标定目标框筛选出易检负样本候选框；S2、将训练集中每张迭代图片输入到初始船舶检测模型中进行模型训练，得到初始预测结果；所述初始预测结果包括：初始预测候选框、其对应的坐标、类别、类别得分以及原始回归损失值；将每个初始预测候选框和人工标定目标框进行交并比匹配，当判断交并比值大于第一预设阈值并且类别一致时，得到当前正样本候选框；根据当前正样本候选框的坐标、类别得分、原始回归损失值以及人工标定目标框的坐标计算得到当前正样本候选框的当前类别损失值和当前回归损失值；S3、当判断交并比值小于第二预设阈值时，得到当前一级负样本候选框；将当前一级负样本候选框与所述易检负样本候选框进行交并比匹配，得到匹配易检负样本候选框和未匹配易检负样本候选框；根据匹配易检负样本候选框的坐标和类别得分计算得到匹配易检负样本候选框的损失值；根据未匹配易检负样本候选框的类别得分计算得到未匹配易检负样本候选框的损失值；S4、当判断交并比值大于或等于第二预设阈值且小于或等于第一预设阈值时，得到当前二级负样本候选框；根据当前二级负样本候选框的类别得分计算得到当前二级负样本候选框的损失值；S5、根据所述当前正样本候选框的当前类别损失值和当前回归损失值、所述匹配易检负样本候选框的损失值、所述未匹配易检负样本候选框的损失值计算得到总损失值；S6、根据所述总损失值对所述初始船舶检测模型进行更新，得到目标船舶检测模型；S7、将待检测图片输入到所述目标船舶检测模型中进行检测，得到目标位置和类别。
可选的，所述S1包括：将训练集中每张迭代图片输入到原始船舶检测模型中进行预测，得到原始预测结果；所述原始预测结果包括：原始预测候选框、其对应的坐标、类别和类别得分；将每个原始预测候选框与人工标定目标框进行交并比匹配，得到原始负样本候选框；将所有原始负样本候选框的最大类别得分从高到低进行排序，筛选出前n个最大类别得分对应的原始负样本候选框作为易检负样本候选框；其中，n由原始负样本候选框的数量和人工标定目标框的数量决定。
可选的，所述根据当前正样本候选框的坐标、类别得分、原始回归损失值以及人工标定目标框的坐标计算得到当前正样本候选框的当前类别损失值和当前回归损失值包括：根据当前正样本候选框的坐标、类别得分以及人工标定目标框的坐标计算得到当前正样本候选框权重；根据当前正样本候选框权重、当前正样本候选框的类别得分计算得到当前正样本候选框的当前类别损失值；根据当前正样本候选框权重、当前正样本候选框的原始回归损失值计算得到当前正样本候选框的当前回归损失值。
可选的，所述当前正样本候选框权重根据以下公式计算：
；
其中，为当前正样本候选框权重，/>为交并比，/>为人工标定目标框的坐标，/>为当前正样本候选框的坐标，/>为当前正样本候选框的类别得分；
当前正样本候选框的当前类别损失值根据以下公式计算：
；
其中，为当前正样本候选框的当前类别损失值，/>为第一预设超参值，为第二预设超参值，/>为当前正样本候选框的类别得分，/>为当前正样本候选框权重；
当前正样本候选框的当前回归损失值根据以下公式计算：
；
其中，为当前正样本候选框的当前回归损失值，/>为当前正样本候选框的原始回归损失值，/>为当前正样本候选框权重。
可选的，所述根据匹配易检负样本候选框的坐标和类别得分计算得到所述匹配易检负样本候选框的损失值包括：根据匹配易检负样本候选框的坐标和类别得分计算得到匹配易检负样本候选框权重；根据匹配易检负样本候选框权重、匹配易检负样本候选框的类别得分计算得到所述匹配易检负样本候选框的损失值。
可选的，所述匹配易检负样本候选框权重根据以下公式计算：
；
；
；
其中，匹配易检负样本候选框权重，/>为匹配易检负样本候选框的回归损失，/>为匹配易检负样本候选框的KL散度；/>为匹配成功的易检负样本候选框的坐标，/>为匹配成功的当前一级负样本候选框的坐标，/>为交并比，/>为匹配成功的易检负样本候选框的所有类别得分，/>为匹配成功的当前一级负样本候选框的所有类别得分，/>为相对熵；
所述匹配易检负样本候选框的损失值根据以下公式计算：
；
其中，为匹配易检负样本候选框的损失值，/>为第一预设超参值，/>为第二预设超参值，N为匹配成功的当前一级负样本候选框的所有类别数量，/>为匹配成功的当前一级负样本候选框的第/>个类别，/>为匹配成功的当前一级负样本候选框的最大类别得分对应的类别，/>为匹配成功的当前一级负样本候选框的第/>个类别得分，/>为匹配成功的当前一级负样本候选框的最大类别得分，/>匹配易检负样本候选框权重。
可选的，所述根据未匹配易检负样本候选框的类别得分计算得到所述未匹配易检负样本候选框的损失值包括：根据未匹配易检负样本候选框的类别得分计算得到未匹配易检负样本候选框权重；根据未匹配易检负样本候选框权重、未匹配易检负样本候选框的类别得分计算得到所述未匹配易检负样本候选框的损失值。
可选的，所述未匹配易检负样本候选框权重根据以下公式计算：
；
其中，未匹配易检负样本候选框权重，/>为未匹配成功的当前一级负样本候选框的最大类别得分；
所述未匹配易检负样本候选框的损失值根据以下公式计算：
；
其中，未匹配易检负样本候选框的损失值，/>为第一预设超参值，/>为第二预设超参值，N为未匹配成功的当前一级负样本候选框的所有类别数量，/>为未匹配成功的当前一级负样本候选框的第/>个类别，/>为未匹配成功的当前一级负样本候选框的最大类别得分对应的类别，/>为未匹配成功的当前一级负样本候选框的第/>个类别得分，/>为未匹配成功的当前一级负样本候选框的最大类别得分，/>未匹配易检负样本候选框权重。
可选的，所述当前二级负样本候选框的损失值根据以下公式计算：
；
其中，为当前二级负样本候选框的损失值，/>为第一预设超参值，/>为第二预设超参值，/>为当前二级负样本候选框的所有类别得分。
另一方面，本发明提供了一种基于正负样本候选框动态选择船舶检测系统，该系统包括：筛选单元，用于将训练集中每张迭代图片输入到原始船舶检测模型中进行预测，得到原始预测结果；根据原始预测结果和人工标定目标框筛选出易检负样本候选框；正样本损失值计算单元，用于将训练集中每张迭代图片输入到初始船舶检测模型中进行模型训练，得到初始预测结果；所述初始预测结果包括：初始预测候选框、其对应的坐标、类别、类别得分以及原始回归损失值；将每个初始预测候选框和人工标定目标框进行交并比匹配，当判断交并比值大于第一预设阈值并且类别一致时，得到当前正样本候选框；根据当前正样本候选框的坐标、类别得分、原始回归损失值以及人工标定目标框的坐标计算得到当前正样本候选框的当前类别损失值和当前回归损失值；一级负样本损失值计算单元，用于当判断交并比值小于第二预设阈值时，得到当前一级负样本候选框；将当前一级负样本候选框与所述易检负样本候选框进行交并比匹配，得到匹配易检负样本候选框和未匹配易检负样本候选框；根据匹配易检负样本候选框的坐标和类别得分计算得到匹配易检负样本候选框的损失值；根据未匹配易检负样本候选框的类别得分计算得到未匹配易检负样本候选框的损失值；二级负样本损失值计算单元，用于当判断交并比值大于或等于第二预设阈值且小于或等于第一预设阈值时，得到当前二级负样本候选框；根据当前二级负样本候选框的类别得分计算得到当前二级负样本候选框的损失值；总损失值计算单元，用于根据所述当前正样本候选框的当前类别损失值和当前回归损失值、所述匹配易检负样本候选框的损失值、所述未匹配易检负样本候选框的损失值计算得到总损失值；更新单元，用于根据所述总损失值对所述初始船舶检测模型进行更新，得到目标船舶检测模型；检测单元，用于将待检测图片输入到所述目标船舶检测模型中进行检测，得到目标位置和类别。
本发明的有益效果：
本发明提供了一种基于正负样本候选框动态选择船舶检测方法及系统，其中，该方法对当前正样本候选框进行难易评估，加强船舶检测模型对难检样本的学习；利用原始船舶检测模型预测出的原始负样本候选框，通过原始负样本候选框的置信度，筛选出易检负样本候选框，初始船舶检测模型训练过程中预测的当前一级负样本候选框与易检负样本候选框匹配，置于不同权重，加强船舶检测模型对易检负样本特征的学习；易检负样本候选框的数量是动态选择，依据训练集的人工标定框数量和原始负样本候选框数量共同决定。本发明的方法降低了船舶检测模型的误检，提高了准确率。
附图说明
图1是本发明实施例提供的一种基于正负样本候选框动态选择船舶检测方法的流程图；
图2是本发明实施例提供的筛选易检负样本候选框的流程图；
图3是本发明实施例提供的一种基于正负样本候选框动态选择船舶检测系统的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
随着水上交通不断发展，水上交通秩序也不断升级，维持水上交通的工作人员的工作量不断增加，其中船舶检测是水上交通工作量的之一。现存在船舶检测模型，对船舶的检测能力效果十分优异，但存在大量的误检，其主要原因是目前存在的船舶检测模型主要是针对目标特征的关注，缺少对置信度极高的负样本的特征的学习，以及水面和周边环境十分复杂存在大量与船舶形状相似的物体，从而导致船舶目标检测模型存在大量的误检。
因而，本发明提供了一种基于正负样本候选框动态选择船舶检测方法，图1是本发明实施例提供的一种基于正负样本候选框动态选择船舶检测方法的流程图，如图1所示，该方法包括：
S1、将训练集中每张迭代图片输入到原始船舶检测模型中进行预测，得到原始预测结果；根据原始预测结果和人工标定目标框筛选出易检负样本候选框；
图2是本发明实施例提供的筛选易检负样本候选框的流程图；如图2所示，所述S1包括：
S11、将训练集中每张迭代图片输入到原始船舶检测模型中进行预测，得到原始预测结果；所述原始预测结果包括：原始预测候选框、其对应的坐标、类别和类别得分（置信度）；将每个原始预测候选框与人工标定目标框进行交并比匹配，得到原始负样本候选框；
具体的，例如：一张迭代图片输入到原始船舶检测模型中预测出10个原始预测候选框，每张迭代图片预测出的原始预测候选框数量可能不同；将每个原始预测候选框与人工标定目标框进行交并比匹配，若交并比值小于第三预设阈值（本发明中为0.2），则判断该原始预测候选框为原始负样本候选框，其公式如下：
；
其中，为训练集中人工标定目标框的坐标，/>为原始预测候选框的坐标，/>为交并比，/>为原始负样本候选框。
假设总共有100个原始预测候选框，筛选出20个原始负样本候选框。
S12、将所有原始负样本候选框的最大类别得分从高到低进行排序，筛选出前n个最大类别得分对应的原始负样本候选框作为易检负样本候选框；其中，n由原始负样本候选框的数量和人工标定目标框的数量决定。
具体的，预测的每个原始负样本候选框的类别有多种，假设有3种（A船、B船、C船），若预测当前个原始负样本候选框为A船的类别得分为0.6，为B船的类别得分为0.3，为C船的类别得分为0.1，则当前原始负样本候选框的最大类别得分为0.6；将所有原始负样本候选框的最大类别得分从高到低进行排序，筛选出前n个最大类别得分对应的原始负样本候选框作为易检负样本候选框；其公式如下：
；
其中，为易检负样本候选框，/>为原始负样本候选框的所有类别得分，/> 为原始负样本候选框的最大类别得分，为筛选前n个最大类别得分，n由/>决定，/>为人工设定的比例，min为求最小值，/>为人工标定目标框的数量，/>为原始负样本候选框的数量。
S2、将训练集中每张迭代图片输入到初始船舶检测模型中进行模型训练，得到初始预测结果；所述初始预测结果包括：初始预测候选框、其对应的坐标、类别、类别得分以及原始回归损失值；将每个初始预测候选框和人工标定目标框进行交并比匹配，当判断交并比值大于第一预设阈值并且类别一致时，得到当前正样本候选框；根据当前正样本候选框的坐标、类别得分、原始回归损失值以及人工标定目标框的坐标计算得到当前正样本候选框的当前类别损失值和当前回归损失值；
在一个可选的实施例中，第一预设阈值为0.5，将当前个初始预测候选框和人工标定目标框进行交并比匹配，若交并比值大于0.5并且当前个初始预测候选框与人工标定目标框类别一致时，判断当前个初始预测候选框为当前正样本候选框；以此类推，将每个初始预测候选框与人工标定目标框进行交并比匹配，得到当前正样本候选框（即所有的当前正样本候选框）。
所述根据当前正样本候选框的坐标、类别得分（即上述中与人工标定目标框类别一致的类别得分）、原始回归损失值以及人工标定目标框的坐标计算得到当前正样本候选框的当前类别损失值和当前回归损失值包括：
S21、根据当前正样本候选框的坐标、类别得分以及人工标定目标框的坐标计算得到当前正样本候选框权重；
具体的，所述当前正样本候选框权重根据以下公式计算：
；
其中，为当前正样本候选框权重，/>为交并比，/>为人工标定目标框的坐标，/>为当前正样本候选框的坐标，/>为当前正样本候选框的类别得分（需要注意的是，/>是所有的当前正样本候选框的类别得分，每个当前正样本候选框的类别只有一个，即与人工标定目标框一致的类别，因此每个当前正样本候选框的类别得分也只有一个）；/>是一个矩阵，对应的，/>也是一个矩阵。
S22、根据当前正样本候选框权重、当前正样本候选框的类别得分计算得到当前正样本候选框的当前类别损失值；
具体的，当前正样本候选框的当前类别损失值根据以下公式计算：
；
其中，为当前正样本候选框的当前类别损失值，/>为第一预设超参值，为第二预设超参值，/>为当前正样本候选框的类别得分，/>为当前正样本候选框权重；
本申请中，设置为0.5，/>为0.2；需要注意的是，/>、/>的值只是本申请的一个具体实施例，本申请对此不作限定。
S23、根据当前正样本候选框权重、当前正样本候选框的原始回归损失值计算得到当前正样本候选框的当前回归损失值。
具体的，当前正样本候选框的当前回归损失值根据以下公式计算：
；
其中，为当前正样本候选框的当前回归损失值，/>为当前正样本候选框的原始回归损失值，/>为当前正样本候选框权重。
S3、当判断交并比值小于第二预设阈值时，得到当前一级负样本候选框；将当前一级负样本候选框与所述易检负样本候选框进行交并比匹配，得到匹配易检负样本候选框和未匹配易检负样本候选框；根据匹配易检负样本候选框的坐标和类别得分计算得到匹配易检负样本候选框的损失值；根据未匹配易检负样本候选框的类别得分计算得到未匹配易检负样本候选框的损失值；
在一个可选的实施例中，第二预设阈值为0.2，将当前个初始预测候选框和人工标定目标框进行交并比匹配，若交并比值小于0.2时，判断当前个初始预测候选框为当前一级负样本候选框；以此类推，将每个初始预测候选框与人工标定目标框进行交并比匹配，得到当前一级负样本候选框（即所有的当前一级负样本候选框）。
将当前一级负样本候选框与S1中的易检负样本候选框进行交并比匹配，若交并比值大于第四预设阈值（本发明中为0.5），得到匹配易检负样本候选框；若交并比值小于或等于第四预设阈值，得到未匹配易检负样本候选框；
所述根据匹配易检负样本候选框的坐标和类别得分计算得到所述匹配易检负样本候选框的损失值包括：
根据匹配易检负样本候选框的坐标和类别得分计算得到匹配易检负样本候选框权重；
具体的，所述匹配易检负样本候选框权重根据以下公式计算：
；
；
；
其中，匹配易检负样本候选框权重，/>为匹配易检负样本候选框的回归损失，/>为匹配易检负样本候选框的KL散度；/>为匹配成功的易检负样本候选框的坐标，/>为匹配成功的当前一级负样本候选框的坐标，/>为交并比，/>为匹配成功的易检负样本候选框的所有类别得分，为匹配成功的当前一级负样本候选框的所有类别得分，/>为相对熵；
根据匹配易检负样本候选框权重、匹配易检负样本候选框的类别得分计算得到所述匹配易检负样本候选框的损失值。
具体的，所述匹配易检负样本候选框的损失值根据以下公式计算：
；
其中，为匹配易检负样本候选框的损失值，/>为第一预设超参值，/>为第二预设超参值，N为匹配成功的当前一级负样本候选框的所有类别数量，/>为匹配成功的当前一级负样本候选框的第/>个类别，/>为匹配成功的当前一级负样本候选框的最大类别得分对应的类别，/>为匹配成功的当前一级负样本候选框的第/>个类别得分，/>为匹配成功的当前一级负样本候选框的最大类别得分，/>匹配易检负样本候选框权重。
例如：假设预测的当前一级负样本候选框类别有3种，则N表示3，表示最大类别得分对应的类别，/>表示其余两个类别。
需要注意的是，上述中的匹配成功的易检负样本候选框为所有的匹配成功的易检负样本候选框，上述中的匹配成功的当前一级负样本候选框为所有的匹配成功的当前一级负样本候选框；每个易检负样本候选框有多个类别，每个当前一级负样本候选框有多个类别；为一个矩阵，/>为一个矩阵，/>为一个矩阵。
所述根据未匹配易检负样本候选框的类别得分计算得到所述未匹配易检负样本候选框的损失值包括：
根据未匹配易检负样本候选框的类别得分计算得到未匹配易检负样本候选框权重；
具体的，所述未匹配易检负样本候选框权重根据以下公式计算：
；
其中，未匹配易检负样本候选框权重，/>为未匹配成功的当前一级负样本候选框的所有类别得分，/>为未匹配成功的当前一级负样本候选框的最大类别得分；
根据未匹配易检负样本候选框权重、未匹配易检负样本候选框的类别得分计算得到所述未匹配易检负样本候选框的损失值。
具体的，所述未匹配易检负样本候选框的损失值根据以下公式计算：
；
其中，未匹配易检负样本候选框的损失值，/>为第一预设超参值，/>为第二预设超参值，N为未匹配成功的当前一级负样本候选框的所有类别数量，/>为未匹配成功的当前一级负样本候选框的第/>个类别，/>为未匹配成功的当前一级负样本候选框的最大类别得分对应的类别，/>为未匹配成功的当前一级负样本候选框的第/>个类别得分，/>为未匹配成功的当前一级负样本候选框的最大类别得分，/>未匹配易检负样本候选框权重。
例如：假设预测的当前一级负样本候选框类别有3种，则N表示3，为表示最大类别得分对应的类别，/>表示其余两个类别。
需要注意的是，上述中的未匹配成功的当前一级负样本候选框为所有的未匹配成功的当前一级负样本候选框；每个当前一级负样本候选框有多个类别；为一个矩阵，为一个矩阵，/>为一个矩阵。
S4、当判断交并比值大于或等于第二预设阈值且小于或等于第一预设阈值时，得到当前二级负样本候选框；根据当前二级负样本候选框的类别得分计算得到当前二级负样本候选框的损失值；
在一个可选的实施例中，将当前个初始预测候选框和人工标定目标框进行交并比匹配，若交并比值大于或等于0.2小于或等于0.5时，判断当前个初始预测候选框为当前二级负样本候选框；以此类推，将每个初始预测候选框与人工标定目标框进行交并比匹配，得到当前二级负样本候选框（即所有的当前二级负样本候选框）。
所述当前二级负样本候选框的损失值根据以下公式计算：
；
其中，为当前二级负样本候选框的损失值，/>为第一预设超参值，/>为第二预设超参值，/>为当前二级负样本候选框的所有类别得分。
需要注意的是，上述中的当前二级负样本候选框为所有的当前二级负样本候选框，每个当前二级负样本候选框有多个类别；为一个矩阵。
进一步的，本申请对第一预设阈值、第二预设阈值、第三预设阈值和第四预设阈值不作限定。
S5、根据所述当前正样本候选框的当前类别损失值和当前回归损失值、所述匹配易检负样本候选框的损失值、所述未匹配易检负样本候选框的损失值计算得到总损失值；
具体的，将所述当前正样本候选框的当前类别损失值和当前回归损失值、所述匹配易检负样本候选框的损失值、所述未匹配易检负样本候选框的损失值求和得到总损失值。
S6、根据所述总损失值对所述初始船舶检测模型进行更新，得到目标船舶检测模型；
S7、将待检测图片输入到所述目标船舶检测模型中进行检测，得到目标位置和类别。
图3是本发明实施例提供的一种基于正负样本候选框动态选择船舶检测系统的结构示意图；如图3所示，该系统包括：
筛选单元201，用于将训练集中每张迭代图片输入到原始船舶检测模型中进行预测，得到原始预测结果；根据原始预测结果和人工标定目标框筛选出易检负样本候选框；
正样本损失值计算单元202，用于将训练集中每张迭代图片输入到初始船舶检测模型中进行模型训练，得到初始预测结果；所述初始预测结果包括：初始预测候选框、其对应的坐标、类别、类别得分以及原始回归损失值；将每个初始预测候选框和人工标定目标框进行交并比匹配，当判断交并比值大于第一预设阈值并且类别一致时，得到当前正样本候选框；根据当前正样本候选框的坐标、类别得分、原始回归损失值以及人工标定目标框的坐标计算得到当前正样本候选框的当前类别损失值和当前回归损失值；
一级负样本损失值计算单元203，用于当判断交并比值小于第二预设阈值时，得到当前一级负样本候选框；将当前一级负样本候选框与所述易检负样本候选框进行交并比匹配，得到匹配易检负样本候选框和未匹配易检负样本候选框；根据匹配易检负样本候选框的坐标和类别得分计算得到匹配易检负样本候选框的损失值；根据未匹配易检负样本候选框的类别得分计算得到未匹配易检负样本候选框的损失值；
二级负样本损失值计算单元204，用于当判断交并比值大于或等于第二预设阈值且小于或等于第一预设阈值时，得到当前二级负样本候选框；根据当前二级负样本候选框的类别得分计算得到当前二级负样本候选框的损失值；
总损失值计算单元205，用于根据所述当前正样本候选框的当前类别损失值和当前回归损失值、所述匹配易检负样本候选框的损失值、所述未匹配易检负样本候选框的损失值计算得到总损失值；
更新单元206，用于根据所述总损失值对所述初始船舶检测模型进行更新，得到目标船舶检测模型；
检测单元207，用于将待检测图片输入到所述目标船舶检测模型中进行检测，得到目标位置和类别。
本发明提供的一种基于基于正负样本候选框动态选择船舶检测系统与上述方法相对应，在此不再赘述。
本发明的有益效果：
本发明提供了一种基于正负样本候选框动态选择船舶检测方法及系统，其中，该方法对当前正样本候选框进行难易评估，加强船舶检测模型对难检样本的学习；利用原始船舶检测模型预测出的原始负样本候选框，通过原始负样本候选框的置信度，筛选出易检负样本候选框，初始船舶检测模型训练过程中预测的当前一级负样本候选框与易检负样本候选框匹配，置于不同权重，加强船舶检测模型对易检负样本特征的学习；易检负样本候选框的数量是动态选择，依据训练集的人工标定框数量和原始负样本候选框数量共同决定。本发明的方法降低了船舶检测模型的误检，提高了准确率。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种基于正负样本候选框动态选择船舶检测方法，其特征在于，包括：
S1、将训练集中每张迭代图片输入到原始船舶检测模型中进行预测，得到原始预测结果；根据原始预测结果和人工标定目标框筛选出易检负样本候选框；
S2、将训练集中每张迭代图片输入到初始船舶检测模型中进行模型训练，得到初始预测结果；所述初始预测结果包括：初始预测候选框、其对应的坐标、类别、类别得分以及原始回归损失值；将每个初始预测候选框和人工标定目标框进行交并比匹配，当判断交并比值大于第一预设阈值并且类别一致时，得到当前正样本候选框；根据当前正样本候选框的坐标、类别得分、原始回归损失值以及人工标定目标框的坐标计算得到当前正样本候选框的当前类别损失值和当前回归损失值；
S3、当判断交并比值小于第二预设阈值时，得到当前一级负样本候选框；将当前一级负样本候选框与所述易检负样本候选框进行交并比匹配，得到匹配易检负样本候选框和未匹配易检负样本候选框；根据匹配易检负样本候选框的坐标和类别得分计算得到匹配易检负样本候选框的损失值；根据未匹配易检负样本候选框的类别得分计算得到未匹配易检负样本候选框的损失值；
S4、当判断交并比值大于或等于第二预设阈值且小于或等于第一预设阈值时，得到当前二级负样本候选框；根据当前二级负样本候选框的类别得分计算得到当前二级负样本候选框的损失值；
S5、根据所述当前正样本候选框的类别损失值和回归损失值、所述匹配易检负样本候选框的损失值、所述未匹配易检负样本候选框的损失值计算得到总损失值；
S6、根据所述总损失值对所述初始船舶检测模型进行更新，得到目标船舶检测模型；
S7、将待检测图片输入到所述目标船舶检测模型中进行检测，得到目标位置和类别；
所述当前二级负样本候选框的损失值根据以下公式计算：
其中，loss_neg_other为当前二级负样本候选框的损失值，为第一预设超参值，r为第二预设超参值，Pother为当前二级负样本候选框的所有类别得分。
2.根据权利要求1所述的方法，其特征在于，所述S1包括：
将训练集中每张迭代图片输入到原始船舶检测模型中进行预测，得到原始预测结果；所述原始预测结果包括：原始预测候选框、其对应的坐标、类别和类别得分；将每个原始预测候选框与人工标定目标框进行交并比匹配，得到原始负样本候选框；
将所有原始负样本候选框的最大类别得分从高到低进行排序，筛选出前n个最大类别得分对应的原始负样本候选框作为易检负样本候选框；其中，n由原始负样本候选框的数量和人工标定目标框的数量决定。
3.根据权利要求1所述的方法，其特征在于，所述根据当前正样本候选框的坐标、类别得分、原始回归损失值以及人工标定目标框的坐标计算得到当前正样本候选框的当前类别损失值和当前回归损失值包括：
根据当前正样本候选框的坐标、类别得分以及人工标定目标框的坐标计算得到当前正样本候选框权重；
根据当前正样本候选框权重、当前正样本候选框的类别得分计算得到当前正样本候选框的当前类别损失值；
根据当前正样本候选框权重、当前正样本候选框的原始回归损失值计算得到当前正样本候选框的当前回归损失值。
4.根据权利要求3所述的方法，其特征在于：
所述当前正样本候选框权重根据以下公式计算：
其中，Weightpos为当前正样本候选框权重，IOU为交并比，GT为人工标定目标框的坐标，Obj_pos为当前正样本候选框的坐标，Ppos为当前正样本候选框的类别得分；
当前正样本候选框的当前类别损失值根据以下公式计算：
其中，Loss_pos_cls为当前正样本候选框的当前类别损失值，为第一预设超参值，r为第二预设超参值，Ppos为当前正样本候选框的类别得分，Weightpos为当前正样本候选框权重；
当前正样本候选框的当前回归损失值根据以下公式计算：
Loss_pos_bbox＝loss_bbox_pos×Weightpos
其中，Loss_pos_bbox为当前正样本候选框的当前回归损失值，loss_bbox_pos为当前正样本候选框的原始回归损失值，Weightpos为当前正样本候选框权重。
5.根据权利要求1所述的方法，其特征在于，所述根据匹配易检负样本候选框的坐标和类别得分计算得到所述匹配易检负样本候选框的损失值包括：
根据匹配易检负样本候选框的坐标和类别得分计算得到匹配易检负样本候选框权重；
根据匹配易检负样本候选框权重、匹配易检负样本候选框的类别得分计算得到所述匹配易检负样本候选框的损失值。
6.根据权利要求5所述的方法，其特征在于：
所述匹配易检负样本候选框权重根据以下公式计算：
iou_neg＝IOU(Pre_bbox_neg_match，GT_neg_match)
cls_score_neg＝KL(cls_pre_neg_match，GT_neg_match_cls)
其中，为匹配易检负样本候选框权重，iou_neg为匹配易检负样本候选框的回归损失，cls_score_neg为匹配易检负样本候选框的KL散度；GT_neg_match为匹配成功的易检负样本候选框的坐标，Pre_bbox_neg_match为匹配成功的当前一级负样本候选框的坐标，IOU为交并比，GT_neg_match_cls为匹配成功的易检负样本候选框的所有类别得分，cls_pre_neg_match为匹配成功的当前一级负样本候选框的所有类别得分，KL为相对熵；
所述匹配易检负样本候选框的损失值根据以下公式计算：
其中，loss_neg_match为匹配易检负样本候选框的损失值，为第一预设超参值，r为第二预设超参值，N为匹配成功的当前一级负样本候选框的所有类别数量，i为匹配成功的当前一级负样本候选框的第i个类别，j为匹配成功的当前一级负样本候选框的最大类别得分对应的类别，Pi为匹配成功的当前一级负样本候选框的第i个类别得分，Pj为匹配成功的当前一级负样本候选框的最大类别得分，/>为匹配易检负样本候选框权重。
7.根据权利要求1所述的方法，其特征在于，所述根据未匹配易检负样本候选框的类别得分计算得到所述未匹配易检负样本候选框的损失值包括：
根据未匹配易检负样本候选框的类别得分计算得到未匹配易检负样本候选框权重；
根据未匹配易检负样本候选框权重、未匹配易检负样本候选框的类别得分计算得到所述未匹配易检负样本候选框的损失值。
8.根据权利要求7所述的方法，其特征在于：
所述未匹配易检负样本候选框权重根据以下公式计算：
其中，为未匹配易检负样本候选框权重，max(cls_score)为未匹配成功的当前一级负样本候选框的最大类别得分；
所述未匹配易检负样本候选框的损失值根据以下公式计算：
其中，loss_neg_dismatch为未匹配易检负样本候选框的损失值，为第一预设超参值，r为第二预设超参值，N为未匹配成功的当前一级负样本候选框的所有类别数量，i为未匹配成功的当前一级负样本候选框的第i个类别，label(max(score))为未匹配成功的当前一级负样本候选框的最大类别得分对应的类别，Pi为未匹配成功的当前一级负样本候选框的第i个类别得分，Plabel(max(score))为未匹配成功的当前一级负样本候选框的最大类别得分，为未匹配易检负样本候选框权重。
9.一种基于正负样本候选框动态选择船舶检测系统，其特征在于，该系统包括：
筛选单元，用于将训练集中每张迭代图片输入到原始船舶检测模型中进行预测，得到原始预测结果；根据原始预测结果和人工标定目标框筛选出易检负样本候选框；
正样本损失值计算单元，用于将训练集中每张迭代图片输入到初始船舶检测模型中进行模型训练，得到初始预测结果；所述初始预测结果包括：初始预测候选框、其对应的坐标、类别、类别得分以及原始回归损失值；将每个初始预测候选框和人工标定目标框进行交并比匹配，当判断交并比值大于第一预设阈值并且类别一致时，得到当前正样本候选框；根据当前正样本候选框的坐标、类别得分、原始回归损失值以及人工标定目标框的坐标计算得到当前正样本候选框的当前类别损失值和当前回归损失值；
一级负样本损失值计算单元，用于当判断交并比值小于第二预设阈值时，得到当前一级负样本候选框；将当前一级负样本候选框与所述易检负样本候选框进行交并比匹配，得到匹配易检负样本候选框和未匹配易检负样本候选框；根据匹配易检负样本候选框的坐标和类别得分计算得到匹配易检负样本候选框的损失值；根据未匹配易检负样本候选框的类别得分计算得到未匹配易检负样本候选框的损失值；
二级负样本损失值计算单元，用于当判断交并比值大于或等于第二预设阈值且小于或等于第一预设阈值时，得到当前二级负样本候选框；根据当前二级负样本候选框的类别得分计算得到当前二级负样本候选框的损失值；
总损失值计算单元，用于根据所述当前正样本候选框的当前类别损失值和当前回归损失值、所述匹配易检负样本候选框的损失值、所述未匹配易检负样本候选框的损失值计算得到总损失值；
更新单元，用于根据所述总损失值对所述初始船舶检测模型进行更新，得到目标船舶检测模型；
检测单元，用于将待检测图片输入到所述目标船舶检测模型中进行检测，得到目标位置和类别；
所述当前二级负样本候选框的损失值根据以下公式计算：
其中，loss_neg_other为当前二级负样本候选框的损失值，为第一预设超参值，r为第二预设超参值，Pother为当前二级负样本候选框的所有类别得分。
CN202311054489.6A 2023-08-22 2023-08-22 一种基于正负样本候选框动态选择船舶检测方法及系统 Active CN116758429B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311054489.6A CN116758429B (zh) 2023-08-22 2023-08-22 一种基于正负样本候选框动态选择船舶检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311054489.6A CN116758429B (zh) 2023-08-22 2023-08-22 一种基于正负样本候选框动态选择船舶检测方法及系统

Publications (2)

Publication Number Publication Date
CN116758429A CN116758429A (zh) 2023-09-15
CN116758429B true CN116758429B (zh) 2023-11-07

Family

ID=87950119

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311054489.6A Active CN116758429B (zh) 2023-08-22 2023-08-22 一种基于正负样本候选框动态选择船舶检测方法及系统

Country Status (1)

Country Link
CN (1) CN116758429B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110020664A (zh) * 2019-01-31 2019-07-16 浙江工业大学 一种深度学习目标检测的正负样本平衡方法
CN115131655A (zh) * 2022-09-01 2022-09-30 浙江啄云智能科技有限公司 目标检测模型的训练方法、装置与目标检测方法
CN115240165A (zh) * 2022-07-13 2022-10-25 安徽蔚来智驾科技有限公司 一种目标检测方法、计算机可读存储介质及驾驶设备
CN115759240A (zh) * 2022-11-22 2023-03-07 东南大学 一种目标检测模型的优化方法
CN115880495A (zh) * 2022-12-22 2023-03-31 上海交通大学 复杂环境下的舰船图像目标检测方法与系统
CN116052094A (zh) * 2023-03-07 2023-05-02 浙江华是科技股份有限公司 一种船舶检测方法、系统及计算机存储介质
CN116310656A (zh) * 2023-05-11 2023-06-23 福瑞泰克智能系统有限公司 训练样本确定方法、装置和计算机设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6943338B2 (ja) * 2018-05-18 2021-09-29 日本電気株式会社 画像処理装置、システム、方法及びプログラム
CN110263774B (zh) * 2019-08-19 2019-11-22 珠海亿智电子科技有限公司 一种人脸检测方法
CN113762326A (zh) * 2021-05-26 2021-12-07 腾讯云计算（北京）有限责任公司 一种数据识别方法、装置、设备及可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110020664A (zh) * 2019-01-31 2019-07-16 浙江工业大学 一种深度学习目标检测的正负样本平衡方法
CN115240165A (zh) * 2022-07-13 2022-10-25 安徽蔚来智驾科技有限公司 一种目标检测方法、计算机可读存储介质及驾驶设备
CN115131655A (zh) * 2022-09-01 2022-09-30 浙江啄云智能科技有限公司 目标检测模型的训练方法、装置与目标检测方法
CN115759240A (zh) * 2022-11-22 2023-03-07 东南大学 一种目标检测模型的优化方法
CN115880495A (zh) * 2022-12-22 2023-03-31 上海交通大学 复杂环境下的舰船图像目标检测方法与系统
CN116052094A (zh) * 2023-03-07 2023-05-02 浙江华是科技股份有限公司 一种船舶检测方法、系统及计算机存储介质
CN116310656A (zh) * 2023-05-11 2023-06-23 福瑞泰克智能系统有限公司 训练样本确定方法、装置和计算机设备

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
Generative Adversarial Positive-Unlabelled Learning;Ming Hou等;ARXIV;全文 *
Improving Object Localization with Fitness NMS and Bounded IoU Loss;Lachlan Tychsen-Smith;arxiv;全文 *
基于卷积神经网络的SAR舰船检测算法;戴文鑫;;现代计算机(第09期);全文 *
基于卷积神经网络的人脸检测若干问题研究;骆实;中国优秀博士学位论文全文数据库;全文 *
基于回归深度卷积网络的船舶图像与视频检测;黄志坚;张成;王慰慈;;上海海事大学学报(第04期);全文 *
复杂卫星图像中的小目标船舶识别;姚红革;王诚;喻钧;白小军;李蔚;;遥感学报(第02期);全文 *
复杂场景下基于增强YOLOv3的船舶目标检测;聂鑫;刘文;吴巍;;计算机应用(第09期);全文 *

Also Published As

Publication number Publication date
CN116758429A (zh) 2023-09-15

Similar Documents

Publication Publication Date Title
CN110070141B (zh) 一种网络入侵检测方法
CN111259930B (zh) 自适应注意力指导机制的一般性目标检测方法
CN108304316B (zh) 一种基于协同迁移的软件缺陷预测方法
CN109784203B (zh) 基于分层传播和激活的弱监督x光图像违禁品检查方法
CN113409314B (zh) 高空钢结构腐蚀的无人机视觉检测与评价方法及系统
CN110796186A (zh) 基于改进的YOLOv3网络的干湿垃圾识别分类方法
CN111024433A (zh) 一种改进灰狼算法优化支持向量机的工业装备健康状态检测方法
CN107392919B (zh) 基于自适应遗传算法的灰度阈值获取方法、图像分割方法
CN105897714A (zh) 基于dns流量特征的僵尸网络检测方法
CN111428733A (zh) 基于语义特征空间转换的零样本目标检测方法及系统
CN111160469A (zh) 一种目标检测系统的主动学习方法
CN113487600B (zh) 一种特征增强尺度自适应感知船舶检测方法
CN107067033A (zh) 机器学习模型的局部修复方法
Zeng et al. Steel sheet defect detection based on deep learning method
CN114972759A (zh) 基于分级轮廓代价函数的遥感图像语义分割方法
CN116912796A (zh) 一种基于新型动态级联YOLOv8的自动驾驶目标识别方法及装置
CN111160667A (zh) 一种提高食品安全预测模型鲁棒性的方法及装置
CN116758429B (zh) 一种基于正负样本候选框动态选择船舶检测方法及系统
CN114359654A (zh) 一种基于位置关联性特征融合的YOLOv4混凝土表观病害检测方法
CN113420833A (zh) 一种基于问题语义映射的视觉问答方法及装置
CN113052217A (zh) 预测结果标识及其模型训练方法、装置及计算机存储介质
KR101374900B1 (ko) 문법 오류 정정 시스템 및 이를 이용한 문법 오류 정정 방법
CN109636194B (zh) 一种输变电项目重大变动多源协同检测方法与系统
Wangli et al. Foxtail Millet ear detection approach based on YOLOv4 and adaptive anchor box adjustment
CN114912549B (zh) 风险交易识别模型的训练方法、风险交易识别方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant