CN116052094A - 一种船舶检测方法、系统及计算机存储介质 - Google Patents

一种船舶检测方法、系统及计算机存储介质 Download PDF

Info

Publication number
CN116052094A
CN116052094A CN202310209497.7A CN202310209497A CN116052094A CN 116052094 A CN116052094 A CN 116052094A CN 202310209497 A CN202310209497 A CN 202310209497A CN 116052094 A CN116052094 A CN 116052094A
Authority
CN
China
Prior art keywords
original
target
enhanced
picture
target frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310209497.7A
Other languages
English (en)
Other versions
CN116052094B (zh
Inventor
陈江海
鲁杰
曹彩霞
吴显德
张进虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Whyis Technology Co ltd
Original Assignee
Zhejiang Whyis Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Whyis Technology Co ltd filed Critical Zhejiang Whyis Technology Co ltd
Priority to CN202310209497.7A priority Critical patent/CN116052094B/zh
Publication of CN116052094A publication Critical patent/CN116052094A/zh
Application granted granted Critical
Publication of CN116052094B publication Critical patent/CN116052094B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/72Data preparation, e.g. statistical preprocessing of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种船舶检测方法、系统及计算机存储介质。其中,该方法包括:将原始训练集进行复制,并将复制好的图片从不同种类的数据增强中随机选择一种进行数据增强,将上述图片进行模型训练,得到第一更新船舶检测模型;对原始训练集进行不同种类的数据增强,得到增强训练集;将原始训练集、增强训练集通过第一更新船舶检测模型进行训练,计算得到全部目标的差异值,根据差异值将目标进行裁剪并粘贴到对应的原始图片中并进行融合操作,以使目标与原始图片的边缘虚化,中心突出;本发明利用原始迭代图片对增强迭代图片的引导,使模型不仅能学习原始迭代图片特征,还能学习各种场景下的增强迭代图片特征,提高不同环境下的准确率和降低错误率。

Description

一种船舶检测方法、系统及计算机存储介质
技术领域
本发明涉及目标检测技术领域,具体而言,涉及一种船舶检测方法、系统及计算机存储介质。
背景技术
随着水上交通的不断发展,导致水上交通指挥工作人员的作业量急剧上升。其中船舶检查是水上交通的重要工作之一,为了减少水上交通工作人员监视船舶的工作量,船舶检测在水上交通被广泛使用。但水上交通环境背景复杂且受到白天晚上光照影响,以及人为因素在训练集标定所犯的人为错误,目前的船舶检测方法在船舶检测中存在以下问题:
(1)水上交通复杂,数据采集无法全面采集,对环境拟合存在问题,误检偏多;
(2)水上交通实时监测,受到一年四季和一天光线变换影响;
(3)拷贝粘贴的目标存在比较明显的图像分界线;
(4)因人工出现错误标定结果。
针对上述问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例中提供一种船舶检测方法、系统及计算机存储介质,以解决现有技术中水上交通复杂,数据采集无法全面采集,对环境拟合存在问题,误检偏多;水上交通实时监测,受到一年四季和一天光线变换影响;拷贝粘贴的目标存在比较明显的图像分界线;因人工出现错误标定结果的问题。
为达到上述目的,一方面,本发明提供了一种船舶检测方法,其中,该方法包括:S1,从原始训练集中抽取原始迭代图片;对每张原始迭代图片分别进行复制,将复制好的每张原始迭代图片从不同种类的数据增强中随机选择一种进行数据增强,得到增强迭代图片;S2,将每张原始迭代图片输入到所述初始船舶检测模型中进行模型训练,得到原始目标预测结果;以及将每张增强迭代图片输入到所述初始船舶检测模型中进行模型训练,得到增强目标预测结果;根据所述原始目标预测结果和所述增强目标预测结果计算得到迭代总损失值;根据所述迭代总损失值对所述初始船舶检测模型进行更新,得到当前迭代船舶检测模型;将原始训练集全部图片训练完,得到第一更新船舶检测模型以及第一轮总损失值;S3,将原始训练集输入到所述第一更新船舶检测模型中进行模型训练,得到每个目标的原始损失值;将原始训练集中每张图片分别进行不同种类的数据增强得到增强训练集,将所述增强训练集输入到所述第一更新船舶检测模型中进行模型训练,得到每个目标的增强损失值;根据所述原始损失值、所述增强损失值计算得到增强训练集中每个目标的差异值;将全部的所述差异值从大到小排列,并将排列后的第一预设范围内的差异值对应的目标进行裁剪;将裁剪的目标粘贴到对应的原始图片中并进行融合操作,以使目标与所述原始图片的边缘虚化,中心突出,得到第一粘贴图片集;S4,将所述第一粘贴图片集进行S1、S2操作,得到第二更新船舶检测模型以及第二轮总损失值;S5,将所述原始训练集输入到所述第二更新船舶检测模型,重复S3操作,得到第二粘贴图片集;S6,重复所述S4、S5,直至第二轮总损失值在第二预设范围内波动,停止模型训练,得到目标船舶检测模型;S7,将待检测图片输入到所述目标船舶检测模型中进行检测,得到目标位置和类别。
可选的,所述融合操作通过以下公式计算:
其中,为裁剪的目标对角线的距离,为裁剪的目标的宽,为裁剪的目标的高,为超参,为裁剪的目标中任意一个像素点距离裁剪的目标中心点的距离,为裁剪的目标像素的比例,为原始图片的比例,为裁剪的目标的像素值,为原始图片中对应要粘贴的位置的像素值,为融合后的图片的像素值。
可选的,所述S2包括:S21,将每张原始迭代图片输入到所述初始船舶检测模型中进行模型训练,得到原始目标预测结果,以及每张原始迭代图片的原始类别损失和原始回归损失;S22,将所述原始目标预测结果中预测目标框的坐标和原始目标标定结果中标定目标框的坐标进行交并比匹配得到与原始标定目标框最匹配的原始预测目标框,并将最匹配的原始预测目标框的类别赋值到原始标定目标框;S23,将每张增强迭代图片输入到所述初始船舶检测模型中进行模型训练,得到增强目标预测结果;根据所述增强目标预测结果、增强目标标定结果、所述与原始标定目标框最匹配的原始预测目标框、赋值后的原始标定目标框的类别计算得到每张增强迭代图片的增强类别损失和增强回归损失;S24,根据所述原始类别损失、所述原始回归损失、所述增强类别损失和所述增强回归损失计算得到迭代总损失值;根据所述迭代总损失值对所述初始船舶检测模型进行更新,得到当前迭代船舶检测模型;S25,重复所述S21~S24直至将原始训练集全部图片训练完,得到第一更新船舶检测模型以及第一轮总损失值。
可选的,所述获取最匹配的原始预测目标框根据以下公式计算:
其中,为与原始标定目标框最匹配的原始预测目标框,为最大值,为原始标定目标框的数量,为第个原始标定目标框,为原始预测目标框的数量,为第个原始预测目标框,为交并比,为第个原始标定目标框的坐标,为第个原始预测目标框的坐标。
可选的,所述将最匹配的原始预测目标框的类别赋值到原始标定目标框根据以下公式计算:
其中,为赋值后的原始标定目标框的类别,为最匹配的原始预测目标框的类别,为与原始标定目标框最匹配的原始预测目标框。
可选的,所述S23包括:根据原始标定目标框的坐标、与原始标定目标框最匹配的原始预测目标框的坐标、与原始标定目标框最匹配的原始预测目标框的类别得分计算得到最匹配的原始预测目标框的权重;将每张增强迭代图片输入到所述初始船舶检测模型中进行模型训练,得到增强目标预测结果;根据所述最匹配的原始预测目标框的权重、所述增强目标预测结果、所述赋值后的原始标定目标框的类别计算得到每张增强迭代图片的增强类别损失;根据所述增强目标预测结果、所述增强目标标定结果计算得到每张增强迭代图片的增强回归损失。
可选的,所述最匹配的原始预测目标框的权重根据以下公式计算:
其中,为最匹配的原始预测目标框的权重,为原始标定目标框的坐标,为与原始标定目标框最匹配的原始预测目标框的坐标,为与原始标定目标框最匹配的原始预测目标框的类别得分。
可选的,每张增强迭代图片的增强类别损失根据以下公式计算:
其中,为每张增强迭代图片的增强类别损失,为最匹配的原始预测目标框的权重,为增强迭代图片的第个增强预测目标框的类别匹配上赋值后的原始标定目标框的类别的概率,为增强迭代图片的第个增强预测目标框的类别匹配上赋值后的原始标定目标框的类别的得分,为增强预测目标框的数量,为第个增强预测目标框;
每张增强迭代图片的增强回归损失根据以下公式计算:
其中,为每张增强迭代图片的增强回归损失,为目标框损失计算,为增强目标标定结果中增强标定目标框的坐标,为增强目标预测结果中增强预测目标框的坐标。
另一方面,本发明提供了一种船舶检测系统,该系统包括:复制单元,用于从原始训练集中抽取原始迭代图片;对每张原始迭代图片分别进行复制,将复制好的每张原始迭代图片从不同种类的数据增强中随机选择一种进行数据增强,得到增强迭代图片;模型训练单元,用于将每张原始迭代图片输入到所述初始船舶检测模型中进行模型训练,得到原始目标预测结果;以及将每张增强迭代图片输入到所述初始船舶检测模型中进行模型训练,得到增强目标预测结果;根据所述原始目标预测结果和所述增强目标预测结果计算得到迭代总损失值;根据所述迭代总损失值对所述初始船舶检测模型进行更新,得到当前迭代船舶检测模型;将原始训练集全部图片训练完,得到第一更新船舶检测模型以及第一轮总损失值;裁剪粘贴单元,用于将原始训练集输入到所述第一更新船舶检测模型中进行模型训练,得到每个目标的原始损失值;将原始训练集中每张图片分别进行不同种类的数据增强得到增强训练集,将所述增强训练集输入到所述第一更新船舶检测模型中进行模型训练,得到每个目标的增强损失值;根据所述原始损失值、所述增强损失值计算得到增强训练集中每个目标的差异值;将全部的所述差异值从大到小排列,并将排列后的第一预设范围内的差异值对应的目标进行裁剪;将裁剪的目标粘贴到对应的原始图片中并进行融合操作,以使目标与所述原始图片的边缘虚化,中心突出,得到第一粘贴图片集;第一重复训练单元,用于将所述第一粘贴图片集进行所述复制单元、所述模型训练单元,得到第二更新船舶检测模型以及第二轮总损失值;第二重复训练单元,用于将所述原始训练集输入到所述第二更新船舶检测模型,重复所述裁剪粘贴单元,得到第二粘贴图片集;第三重复训练单元,用于重复所述第一重复训练单元、所述第二重复训练单元,直至第二轮总损失值在第二预设范围内波动,停止模型训练,得到目标船舶检测模型;检测单元,用于将待检测图片输入到所述目标船舶检测模型中进行检测,得到目标位置和类别。
另一方面,本发明还提供了一种计算机存储介质,其上存储有计算机程序,所述程序被处理器执行时实现如上所述的船舶检测方法。
本发明的有益效果:
本发明提供了一种船舶检测方法、系统及计算机存储介质,该方法将原始迭代图片使用不同种类的数据增强方法进行数据增强,增加原始迭代图片对增强迭代图片的引导,使模型不仅能学习原始迭代图片特征,还能学习各种场景下的增强迭代图片特征,提高不同环境下的准确率和降低错误率;优化裁剪粘贴的数据处理方法,既可以突出目标中心的特征,又可以虚化目标与原始迭代图片的边界; 利用原始迭代图片的原始目标预测结果降低原始目标标定结果可能存在的错误影响。
附图说明
图1是本发明实施例提供的一种船舶检测方法的流程图;
图2是本发明实施例提供的获取第一更新船舶检测模型的流程图;
图3是本发明实施例提供的一种船舶检测系统的结构示意图;
图4是本发明实施例提供的模型训练单元的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
随着水上交通的不断发展,导致水上交通指挥工作人员的作业量急剧上升。其中船舶检查是水上交通的重要工作之一,为了减少水上交通工作人员监视船舶的工作量,船舶检测在水上交通被广泛使用。但水上交通环境背景复杂且受到白天晚上光照影响,以及人为因素在训练集标定所犯的人为错误,目前的船舶检测方法在船舶检测中存在以下问题:
(1)水上交通复杂,数据采集无法全面采集,对环境拟合存在问题,误检偏多;
(2)水上交通实时监测,受到一年四季和一天光线变换影响;
(3)拷贝粘贴的目标存在比较明显的图像分界线;
(4)因人工出现错误标定结果。
因而,本发明提供了一种船舶检测方法,图1是本发明实施例提供的一种船舶检测方法的流程图,如图1所示,该方法包括:
S1,从原始训练集中抽取原始迭代图片;对每张原始迭代图片分别进行复制,将复制好的每张原始迭代图片从不同种类的数据增强中随机选择一种进行数据增强,得到增强迭代图片;
例如,从原始训练集中抽取1张图片作为原始迭代图片,对该张原始迭代图片进行复制,将复制好的原始迭代图片从不同种类的数据增强(如:改变原始迭代图片的光照强度,翻转、旋转、拼接等改变船舶坐标的操作)中随机选择一种进行数据增强,得到增强迭代图片。
S2,将每张原始迭代图片输入到所述初始船舶检测模型中进行模型训练,得到原始目标预测结果;以及将每张增强迭代图片输入到所述初始船舶检测模型中进行模型训练,得到增强目标预测结果;根据所述原始目标预测结果和所述增强目标预测结果计算得到迭代总损失值;根据所述迭代总损失值对所述初始船舶检测模型进行更新,得到当前迭代船舶检测模型;将原始训练集全部图片训练完,得到第一更新船舶检测模型以及第一轮总损失值;
图2是本发明实施例提供的获取第一更新船舶检测模型的流程图,如图2所示,所述S2包括:
S21,将每张原始迭代图片输入到所述初始船舶检测模型中进行模型训练,得到原始目标预测结果,以及每张原始迭代图片的原始类别损失和原始回归损失;
将该张原始迭代图片输入到所述初始船舶检测模型中的主干网络,进行特征提取,得到原始迭代主干网络特征图,将所述原始迭代主干网络特征图通过所述初始船舶检测模型中的检测头,得到原始目标预测结果(原始预测目标框的坐标、类别和类别得分);根据所述原始目标预测结果与原始目标标定结果(即原始迭代图片中人工标定的结果)计算得到该张原始迭代图片的原始类别损失和原始回归损失。
S22,将所述原始目标预测结果中预测目标框的坐标和原始目标标定结果中标定目标框的坐标进行交并比匹配得到与原始标定目标框最匹配的原始预测目标框,并将最匹配的原始预测目标框的类别赋值到原始标定目标框;
具体的,所述获取最匹配的原始预测目标框根据以下公式计算:
其中,为与原始标定目标框最匹配的原始预测目标框,为最大值,为原始标定目标框的数量,为第个原始标定目标框,为原始预测目标框的数量,为第个原始预测目标框,为交并比,为第个原始标定目标框的坐标,为第个原始预测目标框的坐标。
例如:原始目标预测结果中预测目标框有5个,原始目标标定结果中标定目标框(即人工标定的目标框)有2个,将5个原始预测目标框与第一个原始标定目标框进行交并比匹配得到与第一个原始标定目标框最匹配的原始预测目标框;同样的,将5个原始预测目标框与第二个原始标定目标框进行交并比匹配得到与第二个原始标定目标框最匹配的原始预测目标框,此时为与2个原始标定目标框最匹配的2个原始预测目标框。
所述将最匹配的原始预测目标框的类别赋值到原始标定目标框根据以下公式计算:
其中,为赋值后的原始标定目标框的类别,为最匹配的原始预测目标框的类别,为与原始标定目标框最匹配的原始预测目标框。
具体的,将与第一个原始标定目标框最匹配的原始预测目标框的类别赋值到第一个原始标定目标框,将与第二个原始标定目标框最匹配的原始预测目标框的类别赋值到第二个原始标定目标框。
S23,将每张增强迭代图片输入到所述初始船舶检测模型中进行模型训练,得到增强目标预测结果;根据所述增强目标预测结果、增强目标标定结果、所述与原始标定目标框最匹配的原始预测目标框、赋值后的原始标定目标框的类别计算得到每张增强迭代图片的增强类别损失和增强回归损失;
具体的,所述S23包括:
S231,根据原始标定目标框的坐标、与原始标定目标框最匹配的原始预测目标框的坐标、与原始标定目标框最匹配的原始预测目标框的类别得分计算得到最匹配的原始预测目标框的权重;
所述最匹配的原始预测目标框的权重根据以下公式计算:
其中,为最匹配的原始预测目标框的权重,为原始标定目标框的坐标,为与原始标定目标框最匹配的原始预测目标框的坐标,为与原始标定目标框最匹配的原始预测目标框的类别得分。
本发明中,利用原始目标预测结果与原始目标标定结果的差异,挖掘人工错误标定结果,对原始标定目标框设置权重,降低错误标定框对模型的影响。
S232,将每张增强迭代图片输入到所述初始船舶检测模型中进行模型训练,得到增强目标预测结果;根据所述最匹配的原始预测目标框的权重、所述增强目标预测结果、所述赋值后的原始标定目标框的类别计算得到每张增强迭代图片的增强类别损失;
具体的,将该张增强迭代图片输入到所述初始船舶检测模型中的主干网络,进行特征提取,得到增强迭代主干网络特征图,将所述增强迭代主干网络特征图通过所述初始船舶检测模型中的检测头,得到增强目标预测结果(增强预测目标框的坐标、类别和类别得分);
每张增强迭代图片的增强类别损失根据以下公式计算:
其中,为每张增强迭代图片的增强类别损失,为最匹配的原始预测目标框的权重,为增强迭代图片的第个增强预测目标框的类别匹配上赋值后的原始标定目标框的类别的概率,为增强迭代图片的第个增强预测目标框的类别匹配上赋值后的原始标定目标框的类别的得分,为增强预测目标框的数量,为第个增强预测目标框。
S233,根据所述增强目标预测结果(增强预测目标框的坐标、类别和类别得分)、所述增强目标标定结果(增强标定目标框的坐标、类别和类别得分)计算得到每张增强迭代图片的增强回归损失。
每张增强迭代图片的增强回归损失根据以下公式计算:
其中,为每张增强迭代图片的增强回归损失,为目标框损失计算,为增强目标标定结果中增强标定目标框的坐标,为增强目标预测结果中增强预测目标框的坐标。
S24,根据所述原始类别损失、所述原始回归损失、所述增强类别损失和所述增强回归损失计算得到迭代总损失值;根据所述迭代总损失值对所述初始船舶检测模型进行更新,得到当前迭代船舶检测模型;
具体的,将所述原始类别损失、所述原始回归损失、所述增强类别损失和所述增强回归损失相加得到迭代总损失值;根据所述迭代总损失值对所述初始船舶检测模型进行更新(进行反向传播),得到当前迭代船舶检测模型;
S25,重复所述S21~S24直至将原始训练集全部图片训练完,得到第一更新船舶检测模型以及第一轮总损失值。
S3,将原始训练集输入到所述第一更新船舶检测模型中进行模型训练,得到每个目标的原始损失值;将原始训练集中每张图片分别进行不同种类的数据增强得到增强训练集,将所述增强训练集输入到所述第一更新船舶检测模型中进行模型训练,得到每个目标的增强损失值;根据所述原始损失值、所述增强损失值计算得到增强训练集中每个目标的差异值;将全部的所述差异值从大到小排列,并将排列后的第一预设范围内的差异值对应的目标进行裁剪;将裁剪的目标粘贴到对应的原始图片中并进行融合操作,以使目标与所述原始图片的边缘虚化,中心突出,得到第一粘贴图片集;
具体的,假设原始训练集有10张图片,每个图片有5个目标,将10张图片输入到所述第一更新船舶检测模型中进行模型训练,得到每个目标的原始损失值,即50个原始损失值;将原始训练集中每张图片分别进行不同种类的数据增强得到增强训练集,假设数据增强有两种,则10张图片中每张分别进行两种数据增强(假设为两种不同光照强度的数据增强)得到20张图片,即增强训练集;将20张图片输入到所述第一更新船舶检测模型中进行模型训练,得到每个目标的增强损失值,即100个增强损失值;根据所述50个原始损失值、所述100个增强损失值计算得到增强训练集中每个目标的差异值,即100个差异值;将100个差异值从大到小排列,并将排列后的第一预设范围内(本发明中为前20%)的差异值对应的目标进行裁剪,裁剪的宽和高要比目标本身的宽和高大,本发明中裁剪的宽和高是目标本身的宽和高的1.5倍。
将裁剪的目标粘贴到对应的原始图片中并进行融合操作,以使目标与所述原始图片的边缘虚化,中心突出,得到第一粘贴图片集;
所述融合操作通过以下公式计算:
其中,为裁剪的目标对角线的距离,为裁剪的目标的宽,为裁剪的目标的高,为超参,为裁剪的目标中任意一个像素点距离裁剪的目标中心点的距离,为裁剪的目标像素的比例,为原始图片的比例,为裁剪的目标的像素值,为原始图片中对应要粘贴的位置的像素值,为融合后的图片的像素值。
例如:第一张图片中5个目标对应的差异值均没有在20%以内,则第一张图片不进行粘贴操作;第二张图片中第一个目标对应的第一个差异值在20%以内,则第二张图片中第一个目标位置进行粘贴操作;将全部的10张原始图片均做该处理,得到第一粘贴图片集。
S4,将所述第一粘贴图片集进行S1、S2操作,得到第二更新船舶检测模型以及第二轮总损失值;
S5,将所述原始训练集输入到所述第二更新船舶检测模型,重复S3操作,得到第二粘贴图片集;
S6,重复所述S4、S5,直至第二轮总损失值在第二预设范围内波动,停止模型训练,得到目标船舶检测模型;
具体的,重复所述S4、S5,直至第二轮总损失值在第二预设损失范围内(即在±0.1%范围内)波动,停止模型训练,
S7,将待检测图片输入到所述目标船舶检测模型中进行检测,得到目标(船舶)位置和类别。
图3是本发明实施例提供的一种船舶检测系统的结构示意图,如图3所示,该系统包括:
复制单元201,用于从原始训练集中抽取原始迭代图片;对每张原始迭代图片分别进行复制,将复制好的每张原始迭代图片从不同种类的数据增强中随机选择一种进行数据增强,得到增强迭代图片;
模型训练单元202,用于将每张原始迭代图片输入到所述初始船舶检测模型中进行模型训练,得到原始目标预测结果;以及将每张增强迭代图片输入到所述初始船舶检测模型中进行模型训练,得到增强目标预测结果;根据所述原始目标预测结果和所述增强目标预测结果计算得到迭代总损失值;根据所述迭代总损失值对所述初始船舶检测模型进行更新,得到当前迭代船舶检测模型;将原始训练集全部图片训练完,得到第一更新船舶检测模型以及第一轮总损失值;
在一个可选的实施方式中,图4是本发明实施例提供的模型训练单元的结构示意图,如图4所示,所述模型训练单元202包括:
模型训练子单元2021,用于将每张原始迭代图片输入到所述初始船舶检测模型中进行模型训练,得到原始目标预测结果,以及每张原始迭代图片的原始类别损失和原始回归损失;
类别赋值子单元2022,用于将所述原始目标预测结果中预测目标框的坐标和原始目标标定结果中标定目标框的坐标进行交并比匹配得到与原始标定目标框最匹配的原始预测目标框,并将最匹配的原始预测目标框的类别赋值到原始标定目标框;
损失计算子单元2023,用于将每张增强迭代图片输入到所述初始船舶检测模型中进行模型训练,得到增强目标预测结果;根据所述增强目标预测结果、增强目标标定结果、所述与原始标定目标框最匹配的原始预测目标框、赋值后的原始标定目标框的类别计算得到每张增强迭代图片的增强类别损失和增强回归损失;
更新子单元2024,用于根据所述原始类别损失、所述原始回归损失、所述增强类别损失和所述增强回归损失计算得到迭代总损失值;根据所述迭代总损失值对所述初始船舶检测模型进行更新,得到当前迭代船舶检测模型;
重复训练子单元2025,用于重复所述模型训练子单元至更新子单元直至将原始训练集全部图片训练完,得到第一更新船舶检测模型以及第一轮总损失值。
裁剪粘贴单元203,用于将原始训练集输入到所述第一更新船舶检测模型中进行模型训练,得到每个目标的原始损失值;将原始训练集中每张图片分别进行不同种类的数据增强得到增强训练集,将所述增强训练集输入到所述第一更新船舶检测模型中进行模型训练,得到每个目标的增强损失值;根据所述原始损失值、所述增强损失值计算得到增强训练集中每个目标的差异值;将全部的所述差异值从大到小排列,并将排列后的第一预设范围内的差异值对应的目标进行裁剪;将裁剪的目标粘贴到对应的原始图片中并进行融合操作,以使目标与所述原始图片的边缘虚化,中心突出,得到第一粘贴图片集;
第一重复训练单元204,用于将所述第一粘贴图片集进行所述复制单元、所述模型训练单元,得到第二更新船舶检测模型以及第二轮总损失值;
第二重复训练单元205,用于将所述原始训练集输入到所述第二更新船舶检测模型,重复所述裁剪粘贴单元,得到第二粘贴图片集;
第三重复训练单元206,用于重复所述第一重复训练单元、所述第二重复训练单元,直至第二轮总损失值在第二预设范围内波动,停止模型训练,得到目标船舶检测模型;
检测单元207,用于将待检测图片输入到所述目标船舶检测模型中进行检测,得到目标位置和类别。
本发明的有益效果:
本发明提供了一种船舶检测方法、系统及计算机存储介质,该方法将原始迭代图片使用不同种类的数据增强方法进行数据增强,增加原始迭代图片对增强迭代图片的引导,使模型不仅能学习原始迭代图片特征,还能学习各种场景下的增强迭代图片特征,提高不同环境下的准确率和降低错误率;优化裁剪粘贴的数据处理方法,既可以突出目标中心的特征,又可以虚化目标与原始迭代图片的边界; 利用原始迭代图片的原始目标预测结果降低原始目标标定结果可能存在的错误影响。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种船舶检测方法,其特征在于,包括:
S1,从原始训练集中抽取原始迭代图片;对每张原始迭代图片分别进行复制,将复制好的每张原始迭代图片从不同种类的数据增强中随机选择一种进行数据增强,得到增强迭代图片;
S2,将每张原始迭代图片输入到所述初始船舶检测模型中进行模型训练,得到原始目标预测结果;以及将每张增强迭代图片输入到所述初始船舶检测模型中进行模型训练,得到增强目标预测结果;根据所述原始目标预测结果和所述增强目标预测结果计算得到迭代总损失值;根据所述迭代总损失值对所述初始船舶检测模型进行更新,得到当前迭代船舶检测模型;将原始训练集全部图片训练完,得到第一更新船舶检测模型以及第一轮总损失值;
S3,将原始训练集输入到所述第一更新船舶检测模型中进行模型训练,得到每个目标的原始损失值;将原始训练集中每张图片分别进行不同种类的数据增强得到增强训练集,将所述增强训练集输入到所述第一更新船舶检测模型中进行模型训练,得到每个目标的增强损失值;根据所述原始损失值、所述增强损失值计算得到增强训练集中每个目标的差异值;将全部的所述差异值从大到小排列,并将排列后的第一预设范围内的差异值对应的目标进行裁剪;将裁剪的目标粘贴到对应的原始图片中并进行融合操作,以使目标与所述原始图片的边缘虚化,中心突出,得到第一粘贴图片集;
S4,将所述第一粘贴图片集进行S1、S2操作,得到第二更新船舶检测模型以及第二轮总损失值;
S5,将所述原始训练集输入到所述第二更新船舶检测模型,重复S3操作,得到第二粘贴图片集;
S6,重复所述S4、S5,直至第二轮总损失值在第二预设范围内波动,停止模型训练,得到目标船舶检测模型;
S7,将待检测图片输入到所述目标船舶检测模型中进行检测,得到目标位置和类别。
2.根据权利要求1所述的方法,其特征在于,所述融合操作通过以下公式计算:
其中,为裁剪的目标对角线的距离,为裁剪的目标的宽,为裁剪的目标的高,为超参,为裁剪的目标中任意一个像素点距离裁剪的目标中心点的距离,为裁剪的目标像素的比例,为原始图片的比例,为裁剪的目标的像素值,为原始图片中对应要粘贴的位置的像素值,为融合后的图片的像素值。
3.根据权利要求1所述的方法,其特征在于,所述S2包括:
S21,将每张原始迭代图片输入到所述初始船舶检测模型中进行模型训练,得到原始目标预测结果,以及每张原始迭代图片的原始类别损失和原始回归损失;
S22,将所述原始目标预测结果中预测目标框的坐标和原始目标标定结果中标定目标框的坐标进行交并比匹配得到与原始标定目标框最匹配的原始预测目标框,并将最匹配的原始预测目标框的类别赋值到原始标定目标框;
S23,将每张增强迭代图片输入到所述初始船舶检测模型中进行模型训练,得到增强目标预测结果;根据所述增强目标预测结果、增强目标标定结果、所述与原始标定目标框最匹配的原始预测目标框、赋值后的原始标定目标框的类别计算得到每张增强迭代图片的增强类别损失和增强回归损失;
S24,根据所述原始类别损失、所述原始回归损失、所述增强类别损失和所述增强回归损失计算得到迭代总损失值;根据所述迭代总损失值对所述初始船舶检测模型进行更新,得到当前迭代船舶检测模型;
S25,重复所述S21~S24直至将原始训练集全部图片训练完,得到第一更新船舶检测模型以及第一轮总损失值。
4.根据权利要求3所述的方法,其特征在于,所述获取最匹配的原始预测目标框根据以下公式计算:
其中,为与原始标定目标框最匹配的原始预测目标框,为最大值,为原始标定目标框的数量,为第个原始标定目标框,为原始预测目标框的数量,为第个原始预测目标框,为交并比,为第个原始标定目标框的坐标,为第个原始预测目标框的坐标。
5.根据权利要求3所述的方法,其特征在于,所述将最匹配的原始预测目标框的类别赋值到原始标定目标框根据以下公式计算:
其中,为赋值后的原始标定目标框的类别,为最匹配的原始预测目标框的类别,为与原始标定目标框最匹配的原始预测目标框。
6.根据权利要求5所述的方法,其特征在于,所述S23包括:
根据原始标定目标框的坐标、与原始标定目标框最匹配的原始预测目标框的坐标、与原始标定目标框最匹配的原始预测目标框的类别得分计算得到最匹配的原始预测目标框的权重;
将每张增强迭代图片输入到所述初始船舶检测模型中进行模型训练,得到增强目标预测结果;根据所述最匹配的原始预测目标框的权重、所述增强目标预测结果、所述赋值后的原始标定目标框的类别计算得到每张增强迭代图片的增强类别损失;
根据所述增强目标预测结果、所述增强目标标定结果计算得到每张增强迭代图片的增强回归损失。
7.根据权利要求6所述的方法,其特征在于,所述最匹配的原始预测目标框的权重根据以下公式计算:
其中,为最匹配的原始预测目标框的权重,为原始标定目标框的坐标,为与原始标定目标框最匹配的原始预测目标框的坐标,为与原始标定目标框最匹配的原始预测目标框的类别得分。
8.根据权利要求6所述的方法,其特征在于,每张增强迭代图片的增强类别损失根据以下公式计算:
其中,为每张增强迭代图片的增强类别损失,为最匹配的原始预测目标框的权重,为增强迭代图片的第个增强预测目标框的类别匹配上赋值后的原始标定目标框的类别的概率,为增强迭代图片的第个增强预测目标框的类别匹配上赋值后的原始标定目标框的类别的得分,为增强预测目标框的数量,为第个增强预测目标框;
每张增强迭代图片的增强回归损失根据以下公式计算:
其中,为每张增强迭代图片的增强回归损失,为目标框损失计算,为增强目标标定结果中增强标定目标框的坐标,为增强目标预测结果中增强预测目标框的坐标。
9.一种船舶检测系统,其特征在于,包括:
复制单元,用于从原始训练集中抽取原始迭代图片;对每张原始迭代图片分别进行复制,将复制好的每张原始迭代图片从不同种类的数据增强中随机选择一种进行数据增强,得到增强迭代图片;
模型训练单元,用于将每张原始迭代图片输入到所述初始船舶检测模型中进行模型训练,得到原始目标预测结果;以及将每张增强迭代图片输入到所述初始船舶检测模型中进行模型训练,得到增强目标预测结果;根据所述原始目标预测结果和所述增强目标预测结果计算得到迭代总损失值;根据所述迭代总损失值对所述初始船舶检测模型进行更新,得到当前迭代船舶检测模型;将原始训练集全部图片训练完,得到第一更新船舶检测模型以及第一轮总损失值;
裁剪粘贴单元,用于将原始训练集输入到所述第一更新船舶检测模型中进行模型训练,得到每个目标的原始损失值;将原始训练集中每张图片分别进行不同种类的数据增强得到增强训练集,将所述增强训练集输入到所述第一更新船舶检测模型中进行模型训练,得到每个目标的增强损失值;根据所述原始损失值、所述增强损失值计算得到增强训练集中每个目标的差异值;将全部的所述差异值从大到小排列,并将排列后的第一预设范围内的差异值对应的目标进行裁剪;将裁剪的目标粘贴到对应的原始图片中并进行融合操作,以使目标与所述原始图片的边缘虚化,中心突出,得到第一粘贴图片集;
第一重复训练单元,用于将所述第一粘贴图片集进行所述复制单元、所述模型训练单元,得到第二更新船舶检测模型以及第二轮总损失值;
第二重复训练单元,用于将所述原始训练集输入到所述第二更新船舶检测模型,重复所述裁剪粘贴单元,得到第二粘贴图片集;
第三重复训练单元,用于重复所述第一重复训练单元、所述第二重复训练单元,直至第二轮总损失值在第二预设范围内波动,停止模型训练,得到目标船舶检测模型;
检测单元,用于将待检测图片输入到所述目标船舶检测模型中进行检测,得到目标位置和类别。
10.一种计算机存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1至8中任一项所述的船舶检测方法。
CN202310209497.7A 2023-03-07 2023-03-07 一种船舶检测方法、系统及计算机存储介质 Active CN116052094B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310209497.7A CN116052094B (zh) 2023-03-07 2023-03-07 一种船舶检测方法、系统及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310209497.7A CN116052094B (zh) 2023-03-07 2023-03-07 一种船舶检测方法、系统及计算机存储介质

Publications (2)

Publication Number Publication Date
CN116052094A true CN116052094A (zh) 2023-05-02
CN116052094B CN116052094B (zh) 2023-06-09

Family

ID=86125746

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310209497.7A Active CN116052094B (zh) 2023-03-07 2023-03-07 一种船舶检测方法、系统及计算机存储介质

Country Status (1)

Country Link
CN (1) CN116052094B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116758429A (zh) * 2023-08-22 2023-09-15 浙江华是科技股份有限公司 一种基于正负样本候选框动态选择船舶检测方法及系统
CN117351440A (zh) * 2023-12-06 2024-01-05 浙江华是科技股份有限公司 基于开放式文本检测的半监督船舶检测方法及系统
CN117789041A (zh) * 2024-02-28 2024-03-29 浙江华是科技股份有限公司 一种基于大气散射先验扩散模型的船舶去雾方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112232349A (zh) * 2020-09-23 2021-01-15 成都佳华物链云科技有限公司 模型训练方法、图像分割方法及装置
CN113689436A (zh) * 2021-09-29 2021-11-23 平安科技(深圳)有限公司 图像语义分割方法、装置、设备及存储介质
CN114419467A (zh) * 2021-12-24 2022-04-29 中国科学院深圳先进技术研究院 旋转船只目标检测模型的训练方法、训练装置和存储介质
CN114445691A (zh) * 2021-12-30 2022-05-06 深圳云天励飞技术股份有限公司 模型训练方法、装置、电子设备及存储介质
US20220156521A1 (en) * 2020-11-13 2022-05-19 Google Llc Self-Supervised Learning for Anomaly Detection and Localization
CN114627415A (zh) * 2022-03-14 2022-06-14 中山大学 基于自适应数据增强的船舶检测方法及系统
CN114898434A (zh) * 2022-05-20 2022-08-12 卡奥斯工业智能研究院(青岛)有限公司 口罩识别模型的训练方法、装置、设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112232349A (zh) * 2020-09-23 2021-01-15 成都佳华物链云科技有限公司 模型训练方法、图像分割方法及装置
US20220156521A1 (en) * 2020-11-13 2022-05-19 Google Llc Self-Supervised Learning for Anomaly Detection and Localization
CN113689436A (zh) * 2021-09-29 2021-11-23 平安科技(深圳)有限公司 图像语义分割方法、装置、设备及存储介质
CN114419467A (zh) * 2021-12-24 2022-04-29 中国科学院深圳先进技术研究院 旋转船只目标检测模型的训练方法、训练装置和存储介质
CN114445691A (zh) * 2021-12-30 2022-05-06 深圳云天励飞技术股份有限公司 模型训练方法、装置、电子设备及存储介质
CN114627415A (zh) * 2022-03-14 2022-06-14 中山大学 基于自适应数据增强的船舶检测方法及系统
CN114898434A (zh) * 2022-05-20 2022-08-12 卡奥斯工业智能研究院(青岛)有限公司 口罩识别模型的训练方法、装置、设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
J. GONZ´ ALEZ, C. GALINDO等: "SHIP DETECTION AND RECOGNITION IN HIGH-RESOLUTION SATELLITE IMAGES", 《IEEE INTERNATIONAL GEOSCIENCE & REMOTE SENSING SYMPOSIUM》 *
杨海龙;田莹;王澧冰;: "目标检测模型的优化训练方法研究", 辽宁科技大学学报, no. 02 *
顾炼;许诗起;竺乐庆;: "基于FlowS-Unet的遥感图像建筑物变化检测", 自动化学报, no. 06 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116758429A (zh) * 2023-08-22 2023-09-15 浙江华是科技股份有限公司 一种基于正负样本候选框动态选择船舶检测方法及系统
CN116758429B (zh) * 2023-08-22 2023-11-07 浙江华是科技股份有限公司 一种基于正负样本候选框动态选择船舶检测方法及系统
CN117351440A (zh) * 2023-12-06 2024-01-05 浙江华是科技股份有限公司 基于开放式文本检测的半监督船舶检测方法及系统
CN117351440B (zh) * 2023-12-06 2024-02-20 浙江华是科技股份有限公司 基于开放式文本检测的半监督船舶检测方法及系统
CN117789041A (zh) * 2024-02-28 2024-03-29 浙江华是科技股份有限公司 一种基于大气散射先验扩散模型的船舶去雾方法及系统
CN117789041B (zh) * 2024-02-28 2024-05-10 浙江华是科技股份有限公司 一种基于大气散射先验扩散模型的船舶去雾方法及系统

Also Published As

Publication number Publication date
CN116052094B (zh) 2023-06-09

Similar Documents

Publication Publication Date Title
CN116052094B (zh) 一种船舶检测方法、系统及计算机存储介质
CN110059694B (zh) 电力行业复杂场景下的文字数据的智能识别方法
WO2018108129A1 (zh) 用于识别物体类别的方法及装置、电子设备
CN112464883B (zh) 一种自然场景下船舶目标自动检测识别方法与系统
CN111738165B (zh) 一种从高分辨率无人机可见光遥感影像中提取单株植物冠层的方法
CN111461212B (zh) 一种用于点云目标检测模型的压缩方法
CN108734120A (zh) 标注图像的方法、装置、设备和计算机可读存储介质
CN111145174A (zh) 基于图像语义特征进行点云筛选的3d目标检测方法
CN109871829B (zh) 一种基于深度学习的检测模型训练方法和装置
CN113052109A (zh) 一种3d目标检测系统及其3d目标检测方法
CN110909623B (zh) 三维目标检测方法及三维目标检测器
CN108197567B (zh) 用于图像处理的方法、装置和计算机可读介质
CN116994140A (zh) 基于遥感影像的耕地提取方法、装置、设备和介质
JP2020038668A (ja) 自律走行状況で、障害物検出のためのcnn学習用イメージデータセットの生成方法及びコンピューティング装置
CN110599453A (zh) 一种基于图像融合的面板缺陷检测方法、装置及设备终端
US20230059277A1 (en) Map data processing method and apparatus, and storage medium
WO2016095068A1 (en) Pedestrian detection apparatus and method
CN113052108A (zh) 基于深度神经网络的多尺度级联航拍目标检测方法和系统
CN115294483A (zh) 输电线路复杂场景的小目标识别方法及系统
CN113902792A (zh) 基于改进RetinaNet网络的建筑物高度检测方法、系统和电子设备
CN103218820A (zh) 一种基于多维特征的相机标定误差补偿方法
JP6249508B2 (ja) 異動検出支援装置、異動検出支援方法、及びプログラム
CN113514053B (zh) 生成样本图像对的方法、装置和更新高精地图的方法
CN115953371A (zh) 一种绝缘子缺陷检测方法、装置、设备和存储介质
CN113706705B (zh) 用于高精地图的图像处理方法、装置、设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant