CN116052094B - 一种船舶检测方法、系统及计算机存储介质 - Google Patents
一种船舶检测方法、系统及计算机存储介质 Download PDFInfo
- Publication number
- CN116052094B CN116052094B CN202310209497.7A CN202310209497A CN116052094B CN 116052094 B CN116052094 B CN 116052094B CN 202310209497 A CN202310209497 A CN 202310209497A CN 116052094 B CN116052094 B CN 116052094B
- Authority
- CN
- China
- Prior art keywords
- original
- target
- enhanced
- picture
- target frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 149
- 238000012549 training Methods 0.000 claims abstract description 152
- 238000000034 method Methods 0.000 claims abstract description 12
- 230000004927 fusion Effects 0.000 claims abstract description 10
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 18
- 238000010586 diagram Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 238000007689 inspection Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 241000208340 Araliaceae Species 0.000 description 2
- 239000009636 Huang Qi Substances 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- UAJTZZNRJCKXJN-UHFFFAOYSA-M sodium;2-dodecoxy-2-oxoethanesulfonate Chemical compound [Na+].CCCCCCCCCCCCOC(=O)CS([O-])(=O)=O UAJTZZNRJCKXJN-UHFFFAOYSA-M 0.000 description 2
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/72—Data preparation, e.g. statistical preprocessing of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种船舶检测方法、系统及计算机存储介质。其中,该方法包括:将原始训练集进行复制,并将复制好的图片从不同种类的数据增强中随机选择一种进行数据增强,将上述图片进行模型训练,得到第一更新船舶检测模型;对原始训练集进行不同种类的数据增强,得到增强训练集;将原始训练集、增强训练集通过第一更新船舶检测模型进行训练,计算得到全部目标的差异值,根据差异值将目标进行裁剪并粘贴到对应的原始图片中并进行融合操作,以使目标与原始图片的边缘虚化,中心突出;本发明利用原始迭代图片对增强迭代图片的引导,使模型不仅能学习原始迭代图片特征,还能学习各种场景下的增强迭代图片特征,提高不同环境下的准确率和降低错误率。
Description
技术领域
本发明涉及目标检测技术领域,具体而言,涉及一种船舶检测方法、系统及计算机存储介质。
背景技术
随着水上交通的不断发展,导致水上交通指挥工作人员的作业量急剧上升。其中船舶检查是水上交通的重要工作之一,为了减少水上交通工作人员监视船舶的工作量,船舶检测在水上交通被广泛使用。但水上交通环境背景复杂且受到白天晚上光照影响,以及人为因素在训练集标定所犯的人为错误,目前的船舶检测方法在船舶检测中存在以下问题:
(1)水上交通复杂,数据采集无法全面采集,对环境拟合存在问题,误检偏多;
(2)水上交通实时监测,受到一年四季和一天光线变换影响;
(3)拷贝粘贴的目标存在比较明显的图像分界线;
(4)因人工出现错误标定结果。
针对上述问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例中提供一种船舶检测方法、系统及计算机存储介质,以解决现有技术中水上交通复杂,数据采集无法全面采集,对环境拟合存在问题,误检偏多;水上交通实时监测,受到一年四季和一天光线变换影响;拷贝粘贴的目标存在比较明显的图像分界线;因人工出现错误标定结果的问题。
为达到上述目的,一方面,本发明提供了一种船舶检测方法,其中,该方法包括:S1,从原始训练集中抽取原始迭代图片;对每张原始迭代图片分别进行复制,将复制好的每张原始迭代图片从不同种类的数据增强中随机选择一种进行数据增强,得到增强迭代图片;S2,将每张原始迭代图片输入到所述初始船舶检测模型中进行模型训练,得到原始目标预测结果;以及将每张增强迭代图片输入到所述初始船舶检测模型中进行模型训练,得到增强目标预测结果;根据所述原始目标预测结果和所述增强目标预测结果计算得到迭代总损失值;根据所述迭代总损失值对所述初始船舶检测模型进行更新,得到当前迭代船舶检测模型;将原始训练集全部图片训练完,得到第一更新船舶检测模型以及第一轮总损失值;S3,将原始训练集输入到所述第一更新船舶检测模型中进行模型训练,得到每个目标的原始损失值;将原始训练集中每张图片分别进行不同种类的数据增强得到增强训练集,将所述增强训练集输入到所述第一更新船舶检测模型中进行模型训练,得到每个目标的增强损失值;根据所述原始损失值、所述增强损失值计算得到增强训练集中每个目标的差异值;将全部的所述差异值从大到小排列,并将排列后的第一预设范围内的差异值对应的目标进行裁剪;将裁剪的目标粘贴到对应的原始图片中并进行融合操作,以使目标与所述原始图片的边缘虚化,中心突出,得到第一粘贴图片集;S4,将所述第一粘贴图片集进行S1、S2操作,得到第二更新船舶检测模型以及第二轮总损失值;S5,将所述原始训练集输入到所述第二更新船舶检测模型,重复S3操作,得到第二粘贴图片集;S6,重复所述S4、S5,直至第二轮总损失值在第二预设范围内波动,停止模型训练,得到目标船舶检测模型;S7,将待检测图片输入到所述目标船舶检测模型中进行检测,得到目标位置和类别。
可选的,所述融合操作通过以下公式计算:
其中,为裁剪的目标对角线的距离,/>为裁剪的目标的宽,/>为裁剪的目标的高,/>为超参,/>为裁剪的目标中任意一个像素点距离裁剪的目标中心点的距离,为裁剪的目标像素的比例,/>为原始图片的比例,/>为裁剪的目标的像素值,/>为原始图片中对应要粘贴的位置的像素值,/>为融合后的图片的像素值。
可选的,所述S2包括:S21,将每张原始迭代图片输入到所述初始船舶检测模型中进行模型训练,得到原始目标预测结果,以及每张原始迭代图片的原始类别损失和原始回归损失;S22,将所述原始目标预测结果中预测目标框的坐标和原始目标标定结果中标定目标框的坐标进行交并比匹配得到与原始标定目标框最匹配的原始预测目标框,并将最匹配的原始预测目标框的类别赋值到原始标定目标框;S23,将每张增强迭代图片输入到所述初始船舶检测模型中进行模型训练,得到增强目标预测结果;根据所述增强目标预测结果、增强目标标定结果、所述与原始标定目标框最匹配的原始预测目标框、赋值后的原始标定目标框的类别计算得到每张增强迭代图片的增强类别损失和增强回归损失;S24,根据所述原始类别损失、所述原始回归损失、所述增强类别损失和所述增强回归损失计算得到迭代总损失值;根据所述迭代总损失值对所述初始船舶检测模型进行更新,得到当前迭代船舶检测模型;S25,重复所述S21~S24直至将原始训练集全部图片训练完,得到第一更新船舶检测模型以及第一轮总损失值。
可选的,所述获取最匹配的原始预测目标框根据以下公式计算:
其中,为与原始标定目标框最匹配的原始预测目标框,/>为最大值,/>为原始标定目标框的数量,/>为第/>个原始标定目标框,/>为原始预测目标框的数量,/>为第/>个原始预测目标框,/>为交并比,/>为第/>个原始标定目标框的坐标,为第/>个原始预测目标框的坐标。
可选的,所述将最匹配的原始预测目标框的类别赋值到原始标定目标框根据以下公式计算:
可选的,所述S23包括:根据原始标定目标框的坐标、与原始标定目标框最匹配的原始预测目标框的坐标、与原始标定目标框最匹配的原始预测目标框的类别得分计算得到最匹配的原始预测目标框的权重;将每张增强迭代图片输入到所述初始船舶检测模型中进行模型训练,得到增强目标预测结果;根据所述最匹配的原始预测目标框的权重、所述增强目标预测结果、所述赋值后的原始标定目标框的类别计算得到每张增强迭代图片的增强类别损失;根据所述增强目标预测结果、所述增强目标标定结果计算得到每张增强迭代图片的增强回归损失。
可选的,所述最匹配的原始预测目标框的权重根据以下公式计算:
可选的,每张增强迭代图片的增强类别损失根据以下公式计算:
其中,为每张增强迭代图片的增强类别损失,/>为最匹配的原始预测目标框的权重,/>为增强迭代图片的第/>个增强预测目标框的类别匹配上赋值后的原始标定目标框的类别的概率,/>为增强迭代图片的第/>个增强预测目标框的类别匹配上赋值后的原始标定目标框的类别的得分,/>为增强预测目标框的数量,/>为第/>个增强预测目标框;
每张增强迭代图片的增强回归损失根据以下公式计算:
另一方面,本发明提供了一种船舶检测系统,该系统包括:复制单元,用于从原始训练集中抽取原始迭代图片;对每张原始迭代图片分别进行复制,将复制好的每张原始迭代图片从不同种类的数据增强中随机选择一种进行数据增强,得到增强迭代图片;模型训练单元,用于将每张原始迭代图片输入到所述初始船舶检测模型中进行模型训练,得到原始目标预测结果;以及将每张增强迭代图片输入到所述初始船舶检测模型中进行模型训练,得到增强目标预测结果;根据所述原始目标预测结果和所述增强目标预测结果计算得到迭代总损失值;根据所述迭代总损失值对所述初始船舶检测模型进行更新,得到当前迭代船舶检测模型;将原始训练集全部图片训练完,得到第一更新船舶检测模型以及第一轮总损失值;裁剪粘贴单元,用于将原始训练集输入到所述第一更新船舶检测模型中进行模型训练,得到每个目标的原始损失值;将原始训练集中每张图片分别进行不同种类的数据增强得到增强训练集,将所述增强训练集输入到所述第一更新船舶检测模型中进行模型训练,得到每个目标的增强损失值;根据所述原始损失值、所述增强损失值计算得到增强训练集中每个目标的差异值;将全部的所述差异值从大到小排列,并将排列后的第一预设范围内的差异值对应的目标进行裁剪;将裁剪的目标粘贴到对应的原始图片中并进行融合操作,以使目标与所述原始图片的边缘虚化,中心突出,得到第一粘贴图片集;第一重复训练单元,用于将所述第一粘贴图片集进行所述复制单元、所述模型训练单元,得到第二更新船舶检测模型以及第二轮总损失值;第二重复训练单元,用于将所述原始训练集输入到所述第二更新船舶检测模型,重复所述裁剪粘贴单元,得到第二粘贴图片集;第三重复训练单元,用于重复所述第一重复训练单元、所述第二重复训练单元,直至第二轮总损失值在第二预设范围内波动,停止模型训练,得到目标船舶检测模型;检测单元,用于将待检测图片输入到所述目标船舶检测模型中进行检测,得到目标位置和类别。
另一方面,本发明还提供了一种计算机存储介质,其上存储有计算机程序,所述程序被处理器执行时实现如上所述的船舶检测方法。
本发明的有益效果:
本发明提供了一种船舶检测方法、系统及计算机存储介质,该方法将原始迭代图片使用不同种类的数据增强方法进行数据增强,增加原始迭代图片对增强迭代图片的引导,使模型不仅能学习原始迭代图片特征,还能学习各种场景下的增强迭代图片特征,提高不同环境下的准确率和降低错误率;优化裁剪粘贴的数据处理方法,既可以突出目标中心的特征,又可以虚化目标与原始迭代图片的边界; 利用原始迭代图片的原始目标预测结果降低原始目标标定结果可能存在的错误影响。
附图说明
图1是本发明实施例提供的一种船舶检测方法的流程图;
图2是本发明实施例提供的获取第一更新船舶检测模型的流程图;
图3是本发明实施例提供的一种船舶检测系统的结构示意图;
图4是本发明实施例提供的模型训练单元的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
随着水上交通的不断发展,导致水上交通指挥工作人员的作业量急剧上升。其中船舶检查是水上交通的重要工作之一,为了减少水上交通工作人员监视船舶的工作量,船舶检测在水上交通被广泛使用。但水上交通环境背景复杂且受到白天晚上光照影响,以及人为因素在训练集标定所犯的人为错误,目前的船舶检测方法在船舶检测中存在以下问题:
(1)水上交通复杂,数据采集无法全面采集,对环境拟合存在问题,误检偏多;
(2)水上交通实时监测,受到一年四季和一天光线变换影响;
(3)拷贝粘贴的目标存在比较明显的图像分界线;
(4)因人工出现错误标定结果。
因而,本发明提供了一种船舶检测方法,图1是本发明实施例提供的一种船舶检测方法的流程图,如图1所示,该方法包括:
S1,从原始训练集中抽取原始迭代图片;对每张原始迭代图片分别进行复制,将复制好的每张原始迭代图片从不同种类的数据增强中随机选择一种进行数据增强,得到增强迭代图片;
例如,从原始训练集中抽取1张图片作为原始迭代图片,对该张原始迭代图片进行复制,将复制好的原始迭代图片从不同种类的数据增强(如:改变原始迭代图片的光照强度,翻转、旋转、拼接等改变船舶坐标的操作)中随机选择一种进行数据增强,得到增强迭代图片。
S2,将每张原始迭代图片输入到所述初始船舶检测模型中进行模型训练,得到原始目标预测结果;以及将每张增强迭代图片输入到所述初始船舶检测模型中进行模型训练,得到增强目标预测结果;根据所述原始目标预测结果和所述增强目标预测结果计算得到迭代总损失值;根据所述迭代总损失值对所述初始船舶检测模型进行更新,得到当前迭代船舶检测模型;将原始训练集全部图片训练完,得到第一更新船舶检测模型以及第一轮总损失值;
图2是本发明实施例提供的获取第一更新船舶检测模型的流程图,如图2所示,所述S2包括:
S21,将每张原始迭代图片输入到所述初始船舶检测模型中进行模型训练,得到原始目标预测结果,以及每张原始迭代图片的原始类别损失和原始回归损失;
将该张原始迭代图片输入到所述初始船舶检测模型中的主干网络,进行特征提取,得到原始迭代主干网络特征图,将所述原始迭代主干网络特征图通过所述初始船舶检测模型中的检测头,得到原始目标预测结果(原始预测目标框的坐标、类别和类别得分);根据所述原始目标预测结果与原始目标标定结果(即原始迭代图片中人工标定的结果)计算得到该张原始迭代图片的原始类别损失和原始回归损失。
S22,将所述原始目标预测结果中预测目标框的坐标和原始目标标定结果中标定目标框的坐标进行交并比匹配得到与原始标定目标框最匹配的原始预测目标框,并将最匹配的原始预测目标框的类别赋值到原始标定目标框;
具体的,所述获取最匹配的原始预测目标框根据以下公式计算:
其中,为与原始标定目标框最匹配的原始预测目标框,/>为最大值,/>为原始标定目标框的数量,/>为第/>个原始标定目标框,/>为原始预测目标框的数量,为第/>个原始预测目标框,/>为交并比,/>为第/>个原始标定目标框的坐标,为第/>个原始预测目标框的坐标。
例如:原始目标预测结果中预测目标框有5个,原始目标标定结果中标定目标框(即人工标定的目标框)有2个,将5个原始预测目标框与第一个原始标定目标框进行交并比匹配得到与第一个原始标定目标框最匹配的原始预测目标框;同样的,将5个原始预测目标框与第二个原始标定目标框进行交并比匹配得到与第二个原始标定目标框最匹配的原始预测目标框,此时为与2个原始标定目标框最匹配的2个原始预测目标框。
所述将最匹配的原始预测目标框的类别赋值到原始标定目标框根据以下公式计算:
具体的,将与第一个原始标定目标框最匹配的原始预测目标框的类别赋值到第一个原始标定目标框,将与第二个原始标定目标框最匹配的原始预测目标框的类别赋值到第二个原始标定目标框。
S23,将每张增强迭代图片输入到所述初始船舶检测模型中进行模型训练,得到增强目标预测结果;根据所述增强目标预测结果、增强目标标定结果、所述与原始标定目标框最匹配的原始预测目标框、赋值后的原始标定目标框的类别计算得到每张增强迭代图片的增强类别损失和增强回归损失;
具体的,所述S23包括:
S231,根据原始标定目标框的坐标、与原始标定目标框最匹配的原始预测目标框的坐标、与原始标定目标框最匹配的原始预测目标框的类别得分计算得到最匹配的原始预测目标框的权重;
所述最匹配的原始预测目标框的权重根据以下公式计算:
本发明中,利用原始目标预测结果与原始目标标定结果的差异,挖掘人工错误标定结果,对原始标定目标框设置权重,降低错误标定框对模型的影响。
S232,将每张增强迭代图片输入到所述初始船舶检测模型中进行模型训练,得到增强目标预测结果;根据所述最匹配的原始预测目标框的权重、所述增强目标预测结果、所述赋值后的原始标定目标框的类别计算得到每张增强迭代图片的增强类别损失;
具体的,将该张增强迭代图片输入到所述初始船舶检测模型中的主干网络,进行特征提取,得到增强迭代主干网络特征图,将所述增强迭代主干网络特征图通过所述初始船舶检测模型中的检测头,得到增强目标预测结果(增强预测目标框的坐标、类别和类别得分);
每张增强迭代图片的增强类别损失根据以下公式计算:
其中,为每张增强迭代图片的增强类别损失,/>为最匹配的原始预测目标框的权重,/>为增强迭代图片的第/>个增强预测目标框的类别匹配上赋值后的原始标定目标框的类别的概率,/>为增强迭代图片的第/>个增强预测目标框的类别匹配上赋值后的原始标定目标框的类别的得分,/>为增强预测目标框的数量,/>为第/>个增强预测目标框。
S233,根据所述增强目标预测结果(增强预测目标框的坐标、类别和类别得分)、所述增强目标标定结果(增强标定目标框的坐标、类别和类别得分)计算得到每张增强迭代图片的增强回归损失。
每张增强迭代图片的增强回归损失根据以下公式计算:
S24,根据所述原始类别损失、所述原始回归损失、所述增强类别损失和所述增强回归损失计算得到迭代总损失值;根据所述迭代总损失值对所述初始船舶检测模型进行更新,得到当前迭代船舶检测模型;
具体的,将所述原始类别损失、所述原始回归损失、所述增强类别损失和所述增强回归损失相加得到迭代总损失值;根据所述迭代总损失值对所述初始船舶检测模型进行更新(进行反向传播),得到当前迭代船舶检测模型;
S25,重复所述S21~S24直至将原始训练集全部图片训练完,得到第一更新船舶检测模型以及第一轮总损失值。
S3,将原始训练集输入到所述第一更新船舶检测模型中进行模型训练,得到每个目标的原始损失值;将原始训练集中每张图片分别进行不同种类的数据增强得到增强训练集,将所述增强训练集输入到所述第一更新船舶检测模型中进行模型训练,得到每个目标的增强损失值;根据所述原始损失值、所述增强损失值计算得到增强训练集中每个目标的差异值;将全部的所述差异值从大到小排列,并将排列后的第一预设范围内的差异值对应的目标进行裁剪;将裁剪的目标粘贴到对应的原始图片中并进行融合操作,以使目标与所述原始图片的边缘虚化,中心突出,得到第一粘贴图片集;
具体的,假设原始训练集有10张图片,每个图片有5个目标,将10张图片输入到所述第一更新船舶检测模型中进行模型训练,得到每个目标的原始损失值,即50个原始损失值;将原始训练集中每张图片分别进行不同种类的数据增强得到增强训练集,假设数据增强有两种,则10张图片中每张分别进行两种数据增强(假设为两种不同光照强度的数据增强)得到20张图片,即增强训练集;将20张图片输入到所述第一更新船舶检测模型中进行模型训练,得到每个目标的增强损失值,即100个增强损失值;根据所述50个原始损失值、所述100个增强损失值计算得到增强训练集中每个目标的差异值,即100个差异值;将100个差异值从大到小排列,并将排列后的第一预设范围内(本发明中为前20%)的差异值对应的目标进行裁剪,裁剪的宽和高要比目标本身的宽和高大,本发明中裁剪的宽和高是目标本身的宽和高的1.5倍。
将裁剪的目标粘贴到对应的原始图片中并进行融合操作,以使目标与所述原始图片的边缘虚化,中心突出,得到第一粘贴图片集;
所述融合操作通过以下公式计算:
其中,为裁剪的目标对角线的距离,/>为裁剪的目标的宽,/>为裁剪的目标的高,/>为超参,/>为裁剪的目标中任意一个像素点距离裁剪的目标中心点的距离,为裁剪的目标像素的比例,/>为原始图片的比例,/>为裁剪的目标的像素值,/>为原始图片中对应要粘贴的位置的像素值,/>为融合后的图片的像素值。
例如:第一张图片中5个目标对应的差异值均没有在20%以内,则第一张图片不进行粘贴操作;第二张图片中第一个目标对应的第一个差异值在20%以内,则第二张图片中第一个目标位置进行粘贴操作;将全部的10张原始图片均做该处理,得到第一粘贴图片集。
S4,将所述第一粘贴图片集进行S1、S2操作,得到第二更新船舶检测模型以及第二轮总损失值;
S5,将所述原始训练集输入到所述第二更新船舶检测模型,重复S3操作,得到第二粘贴图片集;
S6,重复所述S4、S5,直至第二轮总损失值在第二预设范围内波动,停止模型训练,得到目标船舶检测模型;
具体的,重复所述S4、S5,直至第二轮总损失值在第二预设损失范围内(即在±0.1%范围内)波动,停止模型训练,
S7,将待检测图片输入到所述目标船舶检测模型中进行检测,得到目标(船舶)位置和类别。
图3是本发明实施例提供的一种船舶检测系统的结构示意图,如图3所示,该系统包括:
复制单元201,用于从原始训练集中抽取原始迭代图片;对每张原始迭代图片分别进行复制,将复制好的每张原始迭代图片从不同种类的数据增强中随机选择一种进行数据增强,得到增强迭代图片;
模型训练单元202,用于将每张原始迭代图片输入到所述初始船舶检测模型中进行模型训练,得到原始目标预测结果;以及将每张增强迭代图片输入到所述初始船舶检测模型中进行模型训练,得到增强目标预测结果;根据所述原始目标预测结果和所述增强目标预测结果计算得到迭代总损失值;根据所述迭代总损失值对所述初始船舶检测模型进行更新,得到当前迭代船舶检测模型;将原始训练集全部图片训练完,得到第一更新船舶检测模型以及第一轮总损失值;
在一个可选的实施方式中,图4是本发明实施例提供的模型训练单元的结构示意图,如图4所示,所述模型训练单元202包括:
模型训练子单元2021,用于将每张原始迭代图片输入到所述初始船舶检测模型中进行模型训练,得到原始目标预测结果,以及每张原始迭代图片的原始类别损失和原始回归损失;
类别赋值子单元2022,用于将所述原始目标预测结果中预测目标框的坐标和原始目标标定结果中标定目标框的坐标进行交并比匹配得到与原始标定目标框最匹配的原始预测目标框,并将最匹配的原始预测目标框的类别赋值到原始标定目标框;
损失计算子单元2023,用于将每张增强迭代图片输入到所述初始船舶检测模型中进行模型训练,得到增强目标预测结果;根据所述增强目标预测结果、增强目标标定结果、所述与原始标定目标框最匹配的原始预测目标框、赋值后的原始标定目标框的类别计算得到每张增强迭代图片的增强类别损失和增强回归损失;
更新子单元2024,用于根据所述原始类别损失、所述原始回归损失、所述增强类别损失和所述增强回归损失计算得到迭代总损失值;根据所述迭代总损失值对所述初始船舶检测模型进行更新,得到当前迭代船舶检测模型;
重复训练子单元2025,用于重复所述模型训练子单元至更新子单元直至将原始训练集全部图片训练完,得到第一更新船舶检测模型以及第一轮总损失值。
裁剪粘贴单元203,用于将原始训练集输入到所述第一更新船舶检测模型中进行模型训练,得到每个目标的原始损失值;将原始训练集中每张图片分别进行不同种类的数据增强得到增强训练集,将所述增强训练集输入到所述第一更新船舶检测模型中进行模型训练,得到每个目标的增强损失值;根据所述原始损失值、所述增强损失值计算得到增强训练集中每个目标的差异值;将全部的所述差异值从大到小排列,并将排列后的第一预设范围内的差异值对应的目标进行裁剪;将裁剪的目标粘贴到对应的原始图片中并进行融合操作,以使目标与所述原始图片的边缘虚化,中心突出,得到第一粘贴图片集;
第一重复训练单元204,用于将所述第一粘贴图片集进行所述复制单元、所述模型训练单元,得到第二更新船舶检测模型以及第二轮总损失值;
第二重复训练单元205,用于将所述原始训练集输入到所述第二更新船舶检测模型,重复所述裁剪粘贴单元,得到第二粘贴图片集;
第三重复训练单元206,用于重复所述第一重复训练单元、所述第二重复训练单元,直至第二轮总损失值在第二预设范围内波动,停止模型训练,得到目标船舶检测模型;
检测单元207,用于将待检测图片输入到所述目标船舶检测模型中进行检测,得到目标位置和类别。
本发明的有益效果:
本发明提供了一种船舶检测方法、系统及计算机存储介质,该方法将原始迭代图片使用不同种类的数据增强方法进行数据增强,增加原始迭代图片对增强迭代图片的引导,使模型不仅能学习原始迭代图片特征,还能学习各种场景下的增强迭代图片特征,提高不同环境下的准确率和降低错误率;优化裁剪粘贴的数据处理方法,既可以突出目标中心的特征,又可以虚化目标与原始迭代图片的边界; 利用原始迭代图片的原始目标预测结果降低原始目标标定结果可能存在的错误影响。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (8)
1.一种船舶检测方法,其特征在于,包括:
S1,从原始训练集中抽取原始迭代图片;对每张原始迭代图片分别进行复制,将复制好的每张原始迭代图片从不同种类的数据增强中随机选择一种进行数据增强,得到增强迭代图片;
S2,将每张原始迭代图片输入到初始船舶检测模型中进行模型训练,得到原始目标预测结果;以及将每张增强迭代图片输入到所述初始船舶检测模型中进行模型训练,得到增强目标预测结果;根据所述原始目标预测结果和所述增强目标预测结果计算得到迭代总损失值;根据所述迭代总损失值对所述初始船舶检测模型进行更新,得到当前迭代船舶检测模型;将原始训练集全部图片训练完,得到第一更新船舶检测模型以及第一轮总损失值;
S3,将原始训练集输入到所述第一更新船舶检测模型中进行模型训练,得到每个目标的原始损失值;将原始训练集中每张图片分别进行不同种类的数据增强得到增强训练集,将所述增强训练集输入到所述第一更新船舶检测模型中进行模型训练,得到每个目标的增强损失值;根据所述原始损失值、所述增强损失值计算得到增强训练集中每个目标的差异值;将全部的所述差异值从大到小排列,并将排列后的第一预设范围内的差异值对应的目标进行裁剪;将裁剪的目标粘贴到对应的原始图片中并进行融合操作,以使目标与所述原始图片的边缘虚化,中心突出,得到第一粘贴图片集;
S4,将所述第一粘贴图片集进行S1、S2操作,得到第二更新船舶检测模型以及第二轮总损失值;
S5,将所述原始训练集输入到所述第二更新船舶检测模型,重复S3操作,得到第二粘贴图片集;
S6,重复所述S4、S5,直至第二轮总损失值在第二预设范围内波动,停止模型训练,得到目标船舶检测模型;
S7,将待检测图片输入到所述目标船舶检测模型中进行检测,得到目标位置和类别;
所述S2包括:
S21,将每张原始迭代图片输入到所述初始船舶检测模型中进行模型训练,得到原始目标预测结果,以及每张原始迭代图片的原始类别损失和原始回归损失;
S22,将所述原始目标预测结果中预测目标框的坐标和原始目标标定结果中标定目标框的坐标进行交并比匹配得到与原始标定目标框最匹配的原始预测目标框,并将最匹配的原始预测目标框的类别赋值到原始标定目标框;
S23,将每张增强迭代图片输入到所述初始船舶检测模型中进行模型训练,得到增强目标预测结果;根据所述增强目标预测结果、增强目标标定结果、所述与原始标定目标框最匹配的原始预测目标框、赋值后的原始标定目标框的类别计算得到每张增强迭代图片的增强类别损失和增强回归损失;
S24,根据所述原始类别损失、所述原始回归损失、所述增强类别损失和所述增强回归损失计算得到迭代总损失值;根据所述迭代总损失值对所述初始船舶检测模型进行更新,得到当前迭代船舶检测模型;
S25,重复所述S21~S24直至将原始训练集全部图片训练完,得到第一更新船舶检测模型以及第一轮总损失值;
所述S23包括:
根据原始标定目标框的坐标、与原始标定目标框最匹配的原始预测目标框的坐标、与原始标定目标框最匹配的原始预测目标框的类别得分计算得到最匹配的原始预测目标框的权重;
将每张增强迭代图片输入到所述初始船舶检测模型中进行模型训练,得到增强目标预测结果;根据所述最匹配的原始预测目标框的权重、所述增强目标预测结果、所述赋值后的原始标定目标框的类别计算得到每张增强迭代图片的增强类别损失;
根据所述增强目标预测结果、所述增强目标标定结果计算得到每张增强迭代图片的增强回归损失。
4.根据权利要求1所述的方法,其特征在于,所述将最匹配的原始预测目标框的类别赋值到原始标定目标框根据以下公式计算:
labelpre_gt=labelpre_ori[bbox_index]
其中,labelpre_gt为赋值后的原始标定目标框的类别,labelpre_ori为最匹配的原始预测目标框的类别,bbox_index为与原始标定目标框最匹配的原始预测目标框。
5.根据权利要求1所述的方法,其特征在于,所述最匹配的原始预测目标框的权重根据以下公式计算:
weight=IOU(bboxori_gt,bboxori_pre)×Pori_pre
其中,weight为最匹配的原始预测目标框的权重,bboxori_gt为原始标定目标框的坐标,bboxori_pre为与原始标定目标框最匹配的原始预测目标框的坐标,Pori_pre为与原始标定目标框最匹配的原始预测目标框的类别得分。
6.根据权利要求1所述的方法,其特征在于,每张增强迭代图片的增强类别损失根据以下公式计算:
其中,lossdata_label为每张增强迭代图片的增强类别损失,weight为最匹配的原始预测目标框的权重,pi为增强迭代图片的第i个增强预测目标框的类别匹配上赋值后的原始标定目标框的类别的概率,f(xi)为增强迭代图片的第i个增强预测目标框的类别匹配上赋值后的原始标定目标框的类别的得分,n为增强预测目标框的数量,i为第i个增强预测目标框;
每张增强迭代图片的增强回归损失根据以下公式计算:
lossdata_bbox=GIOU(bboxdata_bbox,bboxdata_pre)
其中,lossdata_bbox为每张增强迭代图片的增强回归损失,GIOU为目标框损失计算,bboxdata_bbox为增强目标标定结果中增强标定目标框的坐标,bboxdata_pre为增强目标预测结果中增强预测目标框的坐标。
7.一种船舶检测系统,其特征在于,包括:
复制单元,用于从原始训练集中抽取原始迭代图片;对每张原始迭代图片分别进行复制,将复制好的每张原始迭代图片从不同种类的数据增强中随机选择一种进行数据增强,得到增强迭代图片;
模型训练单元,用于将每张原始迭代图片输入到初始船舶检测模型中进行模型训练,得到原始目标预测结果;以及将每张增强迭代图片输入到所述初始船舶检测模型中进行模型训练,得到增强目标预测结果;根据所述原始目标预测结果和所述增强目标预测结果计算得到迭代总损失值;根据所述迭代总损失值对所述初始船舶检测模型进行更新,得到当前迭代船舶检测模型;将原始训练集全部图片训练完,得到第一更新船舶检测模型以及第一轮总损失值;
裁剪粘贴单元,用于将原始训练集输入到所述第一更新船舶检测模型中进行模型训练,得到每个目标的原始损失值;将原始训练集中每张图片分别进行不同种类的数据增强得到增强训练集,将所述增强训练集输入到所述第一更新船舶检测模型中进行模型训练,得到每个目标的增强损失值;根据所述原始损失值、所述增强损失值计算得到增强训练集中每个目标的差异值;将全部的所述差异值从大到小排列,并将排列后的第一预设范围内的差异值对应的目标进行裁剪;将裁剪的目标粘贴到对应的原始图片中并进行融合操作,以使目标与所述原始图片的边缘虚化,中心突出,得到第一粘贴图片集;
第一重复训练单元,用于将所述第一粘贴图片集进行所述复制单元、所述模型训练单元,得到第二更新船舶检测模型以及第二轮总损失值;
第二重复训练单元,用于将所述原始训练集输入到所述第二更新船舶检测模型,重复所述裁剪粘贴单元,得到第二粘贴图片集;
第三重复训练单元,用于重复所述第一重复训练单元、所述第二重复训练单元,直至第二轮总损失值在第二预设范围内波动,停止模型训练,得到目标船舶检测模型;
检测单元,用于将待检测图片输入到所述目标船舶检测模型中进行检测,得到目标位置和类别;
所述模型训练单元包括:
模型训练子单元,用于将每张原始迭代图片输入到所述初始船舶检测模型中进行模型训练,得到原始目标预测结果,以及每张原始迭代图片的原始类别损失和原始回归损失;
类别赋值子单元,用于将所述原始目标预测结果中预测目标框的坐标和原始目标标定结果中标定目标框的坐标进行交并比匹配得到与原始标定目标框最匹配的原始预测目标框,并将最匹配的原始预测目标框的类别赋值到原始标定目标框;
损失计算子单元,用于将每张增强迭代图片输入到所述初始船舶检测模型中进行模型训练,得到增强目标预测结果;根据所述增强目标预测结果、增强目标标定结果、所述与原始标定目标框最匹配的原始预测目标框、赋值后的原始标定目标框的类别计算得到每张增强迭代图片的增强类别损失和增强回归损失;
更新子单元,用于根据所述原始类别损失、所述原始回归损失、所述增强类别损失和所述增强回归损失计算得到迭代总损失值;根据所述迭代总损失值对所述初始船舶检测模型进行更新,得到当前迭代船舶检测模型;
重复训练子单元,用于重复所述模型训练子单元至更新子单元直至将原始训练集全部图片训练完,得到第一更新船舶检测模型以及第一轮总损失值;
所述损失计算子单元包括:
根据原始标定目标框的坐标、与原始标定目标框最匹配的原始预测目标框的坐标、与原始标定目标框最匹配的原始预测目标框的类别得分计算得到最匹配的原始预测目标框的权重;
将每张增强迭代图片输入到所述初始船舶检测模型中进行模型训练,得到增强目标预测结果;根据所述最匹配的原始预测目标框的权重、所述增强目标预测结果、所述赋值后的原始标定目标框的类别计算得到每张增强迭代图片的增强类别损失;
根据所述增强目标预测结果、所述增强目标标定结果计算得到每张增强迭代图片的增强回归损失。
8.一种计算机存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1至6中任一项所述的船舶检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310209497.7A CN116052094B (zh) | 2023-03-07 | 2023-03-07 | 一种船舶检测方法、系统及计算机存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310209497.7A CN116052094B (zh) | 2023-03-07 | 2023-03-07 | 一种船舶检测方法、系统及计算机存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116052094A CN116052094A (zh) | 2023-05-02 |
CN116052094B true CN116052094B (zh) | 2023-06-09 |
Family
ID=86125746
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310209497.7A Active CN116052094B (zh) | 2023-03-07 | 2023-03-07 | 一种船舶检测方法、系统及计算机存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116052094B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116758429B (zh) * | 2023-08-22 | 2023-11-07 | 浙江华是科技股份有限公司 | 一种基于正负样本候选框动态选择船舶检测方法及系统 |
CN117351440B (zh) * | 2023-12-06 | 2024-02-20 | 浙江华是科技股份有限公司 | 基于开放式文本检测的半监督船舶检测方法及系统 |
CN117789041B (zh) * | 2024-02-28 | 2024-05-10 | 浙江华是科技股份有限公司 | 一种基于大气散射先验扩散模型的船舶去雾方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113689436A (zh) * | 2021-09-29 | 2021-11-23 | 平安科技(深圳)有限公司 | 图像语义分割方法、装置、设备及存储介质 |
CN114445691A (zh) * | 2021-12-30 | 2022-05-06 | 深圳云天励飞技术股份有限公司 | 模型训练方法、装置、电子设备及存储介质 |
CN114627415A (zh) * | 2022-03-14 | 2022-06-14 | 中山大学 | 基于自适应数据增强的船舶检测方法及系统 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112232349B (zh) * | 2020-09-23 | 2023-11-03 | 成都佳华物链云科技有限公司 | 模型训练方法、图像分割方法及装置 |
US11941084B2 (en) * | 2020-11-13 | 2024-03-26 | Google Llc | Self-supervised learning for anomaly detection and localization |
CN114419467A (zh) * | 2021-12-24 | 2022-04-29 | 中国科学院深圳先进技术研究院 | 旋转船只目标检测模型的训练方法、训练装置和存储介质 |
CN114898434A (zh) * | 2022-05-20 | 2022-08-12 | 卡奥斯工业智能研究院(青岛)有限公司 | 口罩识别模型的训练方法、装置、设备及存储介质 |
-
2023
- 2023-03-07 CN CN202310209497.7A patent/CN116052094B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113689436A (zh) * | 2021-09-29 | 2021-11-23 | 平安科技(深圳)有限公司 | 图像语义分割方法、装置、设备及存储介质 |
CN114445691A (zh) * | 2021-12-30 | 2022-05-06 | 深圳云天励飞技术股份有限公司 | 模型训练方法、装置、电子设备及存储介质 |
CN114627415A (zh) * | 2022-03-14 | 2022-06-14 | 中山大学 | 基于自适应数据增强的船舶检测方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN116052094A (zh) | 2023-05-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116052094B (zh) | 一种船舶检测方法、系统及计算机存储介质 | |
CN111507335B (zh) | 自动标注利用于深度学习网络的训练图像的方法和装置 | |
CN110059694B (zh) | 电力行业复杂场景下的文字数据的智能识别方法 | |
WO2018108129A1 (zh) | 用于识别物体类别的方法及装置、电子设备 | |
CN111738165B (zh) | 一种从高分辨率无人机可见光遥感影像中提取单株植物冠层的方法 | |
CN111145174B (zh) | 基于图像语义特征进行点云筛选的3d目标检测方法 | |
CN111640125B (zh) | 基于Mask R-CNN的航拍图建筑物检测和分割方法及装置 | |
US12014258B2 (en) | Method and device for optimizing simulation data, and computer-readable storage medium | |
WO2022012110A1 (zh) | 胚胎光镜图像中细胞的识别方法及系统、设备及存储介质 | |
CN111461212B (zh) | 一种用于点云目标检测模型的压缩方法 | |
CN116994140A (zh) | 基于遥感影像的耕地提取方法、装置、设备和介质 | |
CN113052109A (zh) | 一种3d目标检测系统及其3d目标检测方法 | |
CN111985376A (zh) | 一种基于深度学习的遥感影像舰船轮廓提取方法 | |
CN112101309A (zh) | 基于深度学习分割网络的地物目标识别方法和装置 | |
CN110909623B (zh) | 三维目标检测方法及三维目标检测器 | |
CN112365497A (zh) | 基于TridentNet和Cascade-RCNN结构的高速目标检测方法和系统 | |
CN115410189B (zh) | 一种复杂场景车牌检测方法 | |
CN117173568A (zh) | 目标检测模型训练方法和目标检测方法 | |
US20230059277A1 (en) | Map data processing method and apparatus, and storage medium | |
CN117789160A (zh) | 一种基于聚类优化的多模态融合目标检测方法及系统 | |
JPWO2015151553A1 (ja) | 異動検出支援装置、異動検出支援方法、及びプログラム | |
CN118265998A (zh) | 坏点检测模型训练方法、坏点检测方法以及坏点修复方法 | |
CN113514053B (zh) | 生成样本图像对的方法、装置和更新高精地图的方法 | |
CN114241470A (zh) | 一种基于注意力机制的自然场景文字检测方法 | |
CN111652102B (zh) | 一种输电通道目标物辨识方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |