CN116168256B - 一种船舶检测方法、系统及计算机存储介质 - Google Patents
一种船舶检测方法、系统及计算机存储介质 Download PDFInfo
- Publication number
- CN116168256B CN116168256B CN202310417790.2A CN202310417790A CN116168256B CN 116168256 B CN116168256 B CN 116168256B CN 202310417790 A CN202310417790 A CN 202310417790A CN 116168256 B CN116168256 B CN 116168256B
- Authority
- CN
- China
- Prior art keywords
- category
- update
- model
- picture
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 163
- 238000012549 training Methods 0.000 claims abstract description 176
- 238000004821 distillation Methods 0.000 claims abstract description 26
- 238000000034 method Methods 0.000 claims abstract description 22
- 238000012360 testing method Methods 0.000 claims description 111
- 241000208340 Araliaceae Species 0.000 claims description 8
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 8
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 8
- 235000008434 ginseng Nutrition 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000012986 modification Methods 0.000 claims description 4
- 230000004048 modification Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 2
- 238000013528 artificial neural network Methods 0.000 claims description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 238000011161 development Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种船舶检测方法、系统及计算机存储介质。其中,该方法对原始船舶检测模型进行修改,在保留之前检测头的参数下,增加一个或几个新的检测头的类别通道和坐标通道;更新训练集只标注新增类别的目标框,采用原始船舶检测模型对更新训练集图片进行预测,得到每张图片伪标签的预测结果;采用蒸馏的方法,针对原始类别标注在瓶颈层和检测头进行蒸馏;通过目标框的类别均值和置信度的类别均值,解决目标类别不平衡问题和易检、难检问题,加大模型对难检类别的学习,降低对易检类别的关注。
Description
技术领域
本发明涉及船舶技术领域,具体而言,涉及一种船舶检测方法、系统及计算机存储介质。
背景技术
随着水上交通不断发展,水上交通秩序也不断升级,维持水上交通的工作人员的工作量不断增加,其中船舶检测是水上交通工作量的之一。随着水上交通业务不断发展,船舶检测的任务不断复杂化,新的类别不断增加,采用以往船舶检测方法,原始训练集的人工标定信息可能含有新的类别需要重新标定,需要花费大量的人力和时间;新的训练集十分庞大,根据新的训练集重新训练新的船舶检测模型十分耗时;新的训练集标注全部类别,全部标定需要耗费大量人力。
针对现有技术中船舶检测的任务变化速度快,船舶训练集的标定信息更新速度快,需要大量人力更新训练集和模型训练需要大量训练集训练耗时大的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例中提供一种船舶检测方法、系统及计算机存储介质,以解决现有技术中船舶检测的任务变化速度快,船舶训练集的标定信息更新速度快,需要大量人力更新训练集和模型训练需要大量训练集训练耗时大的问题。
为达到上述目的,一方面,本发明提供了一种船舶检测方法,该方法包括:S101,将原始训练集进行多轮模型训练,得到原始船舶检测模型,并将其作为初始教师模型;S102,修改所述原始船舶检测模型中检测头的类别通道和坐标通道,得到更新的船舶检测模型,将所述初始教师模型的权重赋值到所述更新的船舶检测模型的权重中,并将赋值后的更新的船舶检测模型作为初始学生模型;S103,统计更新训练集中目标框的类别均值;S104,将更新测试集输入到所述初始学生模型或初始教师模型中进行预测,得到更新测试集中置信度的类别均值;根据所述更新训练集中目标框的类别均值,以及所述更新测试集中置信度的类别均值计算得到每个类别权重;S105,从所述更新训练集选取预设数量的图片作为迭代训练集;将每张迭代图片输入到所述初始教师模型中进行训练,得到当前迭代教师模型以及每张迭代图片伪标签的预测结果、每张迭代图片伪标签的特征值;将所述每张迭代图片输入到所述初始学生模型中进行训练,得到每张迭代图片所有检测目标的预测结果、每张迭代图片所有检测目标的特征值;根据所述每张迭代图片伪标签的预测结果、特征值,所述每张迭代图片所有检测目标的预测结果、特征值计算得到每张迭代图片的伪标签损失值、新类别损失值、蒸馏损失值;根据所述每张迭代图片的伪标签损失值、新类别损失值、蒸馏损失值计算得到每张迭代图片的总损失值;根据所述每张迭代图片的总损失值计算得到当前迭代总损失值,根据所述当前迭代总损失值对所述初始学生模型进行反向传播,得到当前迭代学生模型;S106,重复所述S104-S105直至将更新训练集中全部图片训练完并进行多轮模型训练,得到目标学生模型、目标教师模型;S107,将待检测图片输入到所述目标学生模型和所述目标教师模型中进行检测,得到目标船舶位置和类别。
可选的,所述S103包括:统计更新训练集中人工标定的新增类别的目标框数量;将更新训练集输入到所述原始船舶检测模型中进行模型预测,得到更新训练集中原始类别的目标框数量;根据所述更新训练集中人工标定的新增类别的目标框数量、所述更新训练集中原始类别的目标框数量、以及更新训练集中类别总数计算得到更新训练集中目标框的类别均值。
可选的,所述S104包括:将更新测试集输入到所述初始学生模型中进行预测,得到更新测试集的准确率以及更新测试集中每个类别的置信度;当判定所述准确率大于预设准确率时,根据更新测试集中所有类别的置信度和值以及类别总数计算得到更新测试集中置信度的类别均值;根据所述更新训练集中目标框的类别均值,以及所述更新测试集中置信度的类别均值计算得到每个类别权重;当判定所述准确率小于或等于所述预设准确率时,将更新测试集输入到所述初始教师模型中进行预测,得到更新测试集中每个原始类别的置信度;根据更新测试集中所有原始类别的置信度和值以及原始类别总数计算得到更新测试集中置信度的类别均值;根据所述更新训练集中目标框的类别均值,以及所述更新测试集中置信度的类别均值计算得到每个类别权重。
可选的,所述当判定所述准确率大于预设准确率时,每个类别权重根据以下公式计算:
其中,为更新测试集中所有类别的置信度和值;/>为类别总数;/>为更新测试集中置信度的类别均值;/>,/>是超参,/>表示更新训练集或更新测试集中第/>类别,当/>不是新增类别即是原始类别时,最大值为/>,当/>是新增类别时,最大值为/>,/>;/>为更新训练集中目标框的类别均值;/>为更新训练集中第/>类别的目标框数量,/>为更新测试集中第/>类别的置信度;min为求最小值,max为求最大值;/>为第/>类别的权重;
所述当判定所述准确率小于或等于所述预设准确率时,每个类别权重根据以下公式计算:
其中,为更新测试集中所有原始类别的置信度和值;为原始类别总数;/>为更新测试集中置信度的类别均值;/>,是超参,/>表示更新训练集或更新测试集中第/>类别,当/>不是新增类别即是原始类别时,最大值为/>,当/>是新增类别时,最大值为/>,/>;/>为更新训练集中目标框的类别均值;/>为更新训练集中第/>类别的目标框数量,为更新测试集中第/>类别的置信度;min为求最小值,max为求最大值,为第/>类别的权重。
可选的,所述将每张迭代图片输入到所述初始教师模型中进行训练,得到当前迭代教师模型以及每张迭代图片伪标签的预测结果、每张迭代图片伪标签的特征值包括:将每张迭代图片顺次输入到所述初始教师模型中的主干网络、瓶颈层中,得到每张迭代图片中船舶原始类别的特征值;将所述每张迭代图片中船舶原始类别的特征值输入到所述初始教师模型中的检测头中,得到当前迭代教师模型以及每张迭代图片中船舶原始类别、以及其对应的船舶坐标、船舶置信度;将所述每张迭代图片中船舶原始类别、以及其对应的船舶坐标作为学生模型的伪标签,并保存对应的船舶置信度。
可选的,所述每张迭代图片中每个目标框的伪标签损失值根据以下公式计算:
其中,P为当前张迭代图片中当前目标框的伪标签置信度,sigmoid为神经网络的激活函数,为当前张迭代图片中当前目标框的伪标签权重;/>为当前张迭代图片中当前目标框的伪标签损失值,/>为当前张图片中当前目标框所属的第/>类别的权重,/>为当前张迭代图片中当前目标框的伪标签类别损失值,为当前张迭代图片中当前目标框的伪标签回归损失值。
可选的,所述每张迭代图片中每个目标框的新类别损失值根据以下公式计算:
可选的,所述每张迭代图片的蒸馏损失值根据以下公式计算:
其中,为当前张迭代图片的瓶颈层蒸馏损失值;/>为当前张迭代图片通过初始学生模型预测的船舶原始类别的特征值;/>为当前张迭代图片通过初始教师模型预测的船舶原始类别的特征值;/>为绝对值函数;/>为当前张迭代图片中当前目标框通过初始学生模型预测的所有原始类别的置信度;/>为当前张迭代图片中当前目标框通过初始教师模型预测的所有原始类别的置信度;KL为相对熵;为当前张迭代图片中第n个目标框的检测头蒸馏损失值;N为当前张迭代图片的所有目标框的数量;/>、/>为人工设置的值;/>为当前张迭代图片的蒸馏损失值。
另一方面,本发明提供了一种船舶检测系统,该系统包括:初始教师模型训练单元,用于将原始训练集进行多轮模型训练,得到原始船舶检测模型,并将其作为初始教师模型;修改赋值单元,用于修改所述原始船舶检测模型中检测头的类别通道和坐标通道,得到更新的船舶检测模型,将所述初始教师模型的权重赋值到所述更新的船舶检测模型的权重中,并将赋值后的更新的船舶检测模型作为初始学生模型;统计单元,用于统计更新训练集中目标框的类别均值;计算单元,用于将更新测试集输入到所述初始学生模型或初始教师模型中进行预测,得到更新测试集中置信度的类别均值;根据所述更新训练集中目标框的类别均值,以及所述更新测试集中置信度的类别均值计算得到每个类别权重;迭代训练单元,用于从所述更新训练集选取预设数量的图片作为迭代图片;将每张迭代图片输入到所述初始教师模型中进行训练,得到当前迭代教师模型以及每张迭代图片伪标签的预测结果、每张迭代图片伪标签的特征值;将所述每张迭代图片输入到所述初始学生模型中进行训练,得到每张迭代图片所有检测目标的预测结果、每张迭代图片所有检测目标的特征值;根据所述每张迭代图片伪标签的预测结果、特征值,所述每张迭代图片所有检测目标的预测结果、特征值计算得到每张迭代图片的伪标签损失值、新类别损失值、蒸馏损失值;根据所述每张迭代图片的伪标签损失值、新类别损失值、蒸馏损失值计算得到每张迭代图片的总损失值;根据所述每张迭代图片的总损失值计算得到当前迭代总损失值,根据所述当前迭代总损失值对所述初始学生模型进行反向传播,得到当前迭代学生模型;重复训练单元,用于重复所述计算单元,迭代训练单元直至将更新训练集中全部图片训练完并进行多轮模型训练,得到目标学生模型、目标教师模型;检测单元,用于将待检测图片输入到所述目标学生模型和所述目标教师模型中进行检测,得到目标船舶位置和类别。
另一方面,本发明还提供了一种计算机存储介质,其上存储有计算机程序,所述程序被处理器执行时实现如上所述的船舶检测方法。
本发明的有益效果:
本发明提供了一种船舶检测方法、系统及计算机存储介质,该方法对原始船舶检测模型进行修改,在保留之前检测头的参数下,增加一个或几个新的检测头的类别通道和坐标通道;更新训练集只标注新增类别的目标框,采用原始船舶检测模型对更新训练集图片进行预测,得到每张图片伪标签的预测结果;采用蒸馏的方法,针对原始类别标注在瓶颈层和检测头进行蒸馏;通过目标框的类别均值和置信度的类别均值,解决目标类别不平衡问题和易检、难检问题,加大模型对难检类别的学习,降低对易检类别的关注。
附图说明
图1是本发明实施例提供的一种船舶检测方法的流程图;
图2是本发明实施例提供的统计更新训练集中目标框的类别均值的流程图;
图3是本发明实施例提供的计算得到每个类别权重的流程图;
图4是本发明实施例提供的一种船舶检测系统的结构示意图;
图5是本发明实施例提供的统计单元的结构示意图;
图6是本发明实施例提供的计算单元的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
随着水上交通不断发展,水上交通秩序也不断升级,维持水上交通的工作人员的工作量不断增加,其中船舶检测是水上交通工作量的之一。随着水上交通业务不断发展,船舶检测的任务不断复杂化,新的类别不断增加,采用以往船舶检测方法,原始训练集的人工标定信息可能含有新的类别需要重新标定,需要花费大量的人力和时间;新的训练集十分庞大,根据新的训练集重新训练新的船舶检测模型十分耗时;新的训练集标注全部类别,全部标定需要耗费大量人力。
因而,本发明提供了一种基于伪标签增量蒸馏的船舶检测方法,在模型通道、伪标签和蒸馏方法三个方面进行改进,实现对更新训练集只标注新的类别,减缓人工标定和模型训练的耗时问题;图1是本发明实施例提供的一种船舶检测方法的流程图,如图1所示,该方法包括:
S101,将原始训练集进行多轮模型训练,得到(检出率较高的)原始船舶检测模型,并将其作为初始教师模型;
具体的,假设原始训练集包括三类船舶,船舶A、船舶B、船舶C,则得到的初始教师模型只能检测这三类船舶。
S102,修改所述原始船舶检测模型中检测头的类别通道和坐标通道,得到更新的船舶检测模型,将所述初始教师模型的权重赋值到所述更新的船舶检测模型的权重中,并将赋值后的更新的船舶检测模型作为初始学生模型;
具体的,本发明中原始船舶检测模型采用faster-rcnn网络,原始船舶检测模型中的主干网络、瓶颈层不变,只修改原始船舶检测模型中检测头的类别通道和坐标通道,得到更新的船舶检测模型,更新的船舶检测模型中检测头的类别通道比原始船舶检测模型中检测头的类别通道多一个或n个;坐标通道多4或4*n个通道。
假设原始船舶检测模型只能检测船舶A、船舶B、船舶C这三类船舶,其原始船舶检测模型中检测头的类别通道为3个,坐标通道为4*3=12个,若更新训练集新增了两类船舶,船舶D、船舶E,则更新的船舶检测模型中的类别通道要变为5个,坐标通道要变为4*5=20个。
进一步的,将所述初始教师模型的权重赋值到所述更新的船舶检测模型的权重中,具体为将初始教师模型的主干网络、瓶颈层的权重直接赋值到更新的船舶检测模型的主干网络、瓶颈层的权重中,将初始教师模型的检测头的3类通道对应赋值到更新的船舶检测模型的检测头的3类通道中,新增的两类通道的参数采用高斯分布在0~1之间随机赋值。
S103,统计更新训练集中目标框的类别均值;
具体的,图2是本发明实施例提供的统计更新训练集中目标框的类别均值的流程图,如图2所示,所述S103包括:
S1031,统计更新训练集中人工标定的新增类别的目标框数量;
具体的,只将更新训练集中新增类别(船舶D、船舶E)的目标框进行人工标定,统计更新训练集中人工标定的新增类别的目标框数量。
S1032,将更新训练集输入到所述原始船舶检测模型中进行模型预测,得到更新训练集中原始类别的目标框数量;
具体的,将更新训练集输入到所述原始船舶检测模型中进行模型预测,得到更新训练集中原始类别(船舶A、船舶B、船舶C)的目标框的置信度、若目标框的置信度大于预设置信度(本发明中设置为0.45),则将该目标框保留;反之,若目标框的置信度小于或等于0.45,则不保留该目标框,统计更新训练集中原始类别的目标框数量。
S1033,根据所述更新训练集中人工标定的新增类别的目标框数量、所述更新训练集中原始类别的目标框数量、以及更新训练集中类别总数计算得到更新训练集中目标框的类别均值。
具体的,所述更新训练集中目标框的类别均值根据以下公式计算:
S104,将更新测试集输入到所述初始学生模型或初始教师模型中进行预测,得到更新测试集中置信度的类别均值;根据所述更新训练集中目标框的类别均值,以及所述更新测试集中置信度的类别均值计算得到每个类别权重;
具体的,图3是本发明实施例提供的计算得到每个类别权重的流程图,如图3所示,所述S104包括:
S1041,将更新测试集(更新测试集与更新训练集对应,都是包含5个类别,即船舶A、B、C、D、E)输入到所述初始学生模型中进行预测,得到更新测试集的准确率以及更新测试集中每个类别的置信度;当判定所述准确率大于预设准确率(本发明中设置为0.8)时,采用初始学生模型预测出的更新测试集中每个类别(船舶A、B、C、D、E)的置信度,进行损失权重计算,即根据更新测试集中所有类别的置信度和值以及类别总数(5)计算得到更新测试集中置信度的类别均值;具体公式为:
根据所述更新训练集中目标框的类别均值,以及所述更新测试集中置信度的类别均值计算得到每个类别权重;具体公式为:
其中,,/>是超参,/>表示更新训练集或更新测试集中第/>类别,当/>不是新增类别即是原始类别(船舶A、船舶B、船舶C)时,最大值为/>,本发明中设置为0.5,当/>是新增类别(船舶D、船舶E)时,最大值为/>,本发明中设置为1.2,/>;/>为更新训练集中目标框的类别均值;/>为更新训练集中第/>类别的目标框数量,/>为更新测试集中第/>类别的置信度;min为求最小值,max为求最大值;/>为第/>类别的权重。
S1042,当判定所述准确率小于或等于所述预设准确率(本发明中设置为0.8)时,将更新测试集输入到所述初始教师模型中进行预测,得到更新测试集中每个原始类别(船舶A、船舶B、船舶C)的置信度;采用初始教师模型预测出的更新测试集中每个类别(船舶A、B、C)的置信度,进行损失权重计算,即根据更新测试集中所有原始类别的置信度和值以及原始类别总数(3)计算得到更新测试集中置信度的类别均值;具体公式为:
根据所述更新训练集中目标框的类别均值,以及所述更新测试集中置信度的类别均值计算得到每个类别权重;具体公式为:
其中,,/>是超参,/>表示更新训练集或更新测试集中第/>类别,当/>不是新增类别即是原始类别(船舶A、船舶B、船舶C)时,最大值为/>,本发明中设置为0.5,当/>是新增类别(船舶D、船舶E)时,最大值为/>,本发明中设置为1.2,/>;/>为更新训练集中目标框的类别均值;/>为更新训练集中第/>类别的目标框数量,/>为更新测试集中第/>类别(这里只有船舶A、船舶B、船舶C)的置信度;min为求最小值,max为求最大值,/>为第/>类别的权重。
需要注意的是,更新测试集中第类别的置信度通过更新测试集中第/>类别所有目标框的置信度求和得到;进一步的,假设更新测试集中一个目标框被预测出为船舶A类别的置信度为0.6,被预测出为船舶C类别的置信度为0.4,被预测出船舶E类别的置信度为0.2,则只保留船舶A类别的置信度,即认为更新测试集中该目标框为船舶A类别,其置信度为0.6。
S105,从所述更新训练集选取预设数量的图片作为迭代图片;将每张迭代图片输入到所述初始教师模型中进行训练,得到当前迭代教师模型以及每张迭代图片伪标签的预测结果、每张迭代图片伪标签的特征值;将所述每张迭代图片输入到所述初始学生模型中进行训练,得到每张迭代图片所有检测目标的预测结果、每张迭代图片所有检测目标的特征值;根据所述每张迭代图片伪标签的预测结果、特征值,所述每张迭代图片所有检测目标的预测结果、特征值计算得到每张迭代图片的伪标签损失值、新类别损失值、蒸馏损失值;根据所述每张迭代图片的伪标签损失值、新类别损失值、蒸馏损失值计算得到每张迭代图片的总损失值;根据所述每张迭代图片的总损失值计算得到当前迭代总损失值,根据所述当前迭代总损失值对所述初始学生模型进行反向传播,得到当前迭代学生模型;
S1051,所述将每张迭代图片输入到所述初始教师模型中进行训练,得到当前迭代教师模型以及每张迭代图片伪标签的预测结果、每张迭代图片伪标签的特征值包括:
将每张迭代图片顺次输入到所述初始教师模型中的主干网络、瓶颈层中,得到每张迭代图片中船舶原始类别(船舶A、船舶B、船舶C)的特征值;
将所述每张迭代图片中船舶原始类别的特征值输入到所述初始教师模型中的检测头中,得到当前迭代教师模型以及每张迭代图片中船舶原始类别、以及其对应的船舶坐标、船舶置信度;
将所述每张迭代图片中船舶原始类别、以及其对应的船舶坐标作为学生模型的伪标签,并保存对应的船舶置信度;即得到每张迭代图片伪标签的预测结果(船舶类别、坐标以及置信度)。
S1052,所述将所述每张迭代图片输入到所述初始学生模型中进行训练,得到每张迭代图片所有检测目标的预测结果、每张迭代图片所有检测目标的特征值包括:
将所述每张迭代图片顺次输入到所述初始学生模型中的主干网络、瓶颈层中,得到每张迭代图片中船舶类别(船舶A、船舶B、船舶C、船舶D、船舶E)的特征值;
将所述每张迭代图片中船舶类别的特征值输入到所述初始学生模型中的检测头中,得到每张迭代图片中所有检测目标的预测结果(船舶类别、坐标以及置信度)。
S1053,所述根据所述每张迭代图片伪标签的预测结果、特征值,所述每张迭代图片所有检测目标的预测结果、特征值计算得到每张迭代图片的伪标签损失值、新类别损失值、蒸馏损失,包括:
(1)所述每张迭代图片中每个目标框的伪标签损失值根据以下公式计算:
其中,P为当前张迭代图片中当前目标框的伪标签置信度(即通过初始教师模型预测出的当前目标框的伪标签置信度),sigmoid为S型函数,将置信度值限制在0~1之间,置信度越高越接近于1,置信度越低越接近于0,为当前张迭代图片中当前目标框的伪标签权重;/>为当前张迭代图片中当前目标框的伪标签损失值,/>为当前张图片中当前目标框所属的第/>类别的权重,/>为当前张迭代图片中当前目标框的伪标签类别损失值(即将当前张迭代图片中当前目标框通过初始学生模型预测出的原始类别预测结果,与当前张迭代图片中当前目标框通过初始教师模型预测出的伪标签预测结果作比对得到的),/>为当前张迭代图片中当前目标框的伪标签回归损失值(即将当前张迭代图片中当前目标框通过初始学生模型预测出的原始类别预测结果,与当前张迭代图片中当前目标框通过初始教师模型预测出的伪标签预测结果作比对得到的)。
将每张迭代图片中所有目标框的伪标签损失值求和得到每张迭代图片的伪标签损失值。
(2)所述每张迭代图片中每个目标框的新类别损失值根据以下公式计算:
其中,为当前张迭代图片中当前目标框的新类别损失值,为当前张图片中当前目标框所属的第/>类别的权重,/>为当前张迭代图片中当前目标框的新类别损失值(即将当前张迭代图片中当前目标框通过初始学生模型预测出的新增类别预测结果,与当前张迭代图片中当前目标框通过人工标定出的新增类别的标定结果作比对得到的),/>为当前张迭代图片中当前目标框的新回归损失值(即将当前张迭代图片中当前目标框通过初始学生模型预测出的新增类别预测结果,与当前张迭代图片中当前目标框通过人工标定出的新增类别的标定结果作比对得到的)。
将每张迭代图片中所有目标框的新类别损失值求和得到每张迭代图片的新类别损失值。
(3)所述每张迭代图片的蒸馏损失值根据以下公式计算:
其中,为当前张迭代图片的瓶颈层蒸馏损失值;/>为当前张迭代图片通过初始学生模型预测的船舶原始类别(船舶A、B、C)的特征值(这里需要注意的是,船舶D、E不参与计算);/>为当前张迭代图片通过初始教师模型预测的船舶原始类别(船舶A、B、C)的特征值;/>为绝对值函数;通过教师模型和学生模型的预测目标,反向推导到瓶颈层,旧类别目标坐标映射到瓶颈层特征,进行绝对值计算;/>为当前张迭代图片中当前目标框通过初始学生模型预测的所有原始类别(船舶A、B、C)的置信度;为当前张迭代图片中当前目标框通过初始教师模型预测的所有原始类别(船舶A、B、C)的置信度;KL为相对熵;/>为当前张迭代图片中第n个目标框的检测头蒸馏损失值,采用KL散度,计算学生模型预测框旧类别信息和教师模型预测框旧类别信息的差值,让学生模型预测旧类别相信向教师模型接近;N为当前张迭代图片的所有目标框的数量;、/>为人工设置的值;/>为当前张迭代图片的蒸馏损失值。
当前张迭代图片中当前目标框通过初始学生模型被预测出为船舶A类别的置信度为0.6,被预测出为船舶B类别的置信度为0.3,被预测出船舶C类别的置信度为0.2,在KL散度计算公式中这里需全部保留当前目标框预测出的三种原始类别(船舶A、船舶B、船舶C)的置信度。
S1054,将所述每张迭代图片的伪标签损失值、新类别损失值、蒸馏损失值求和得到每张迭代图片的总损失值;将迭代训练集中的所有迭代图片的总损失值求和得到当前迭代总损失值;根据所述当前迭代总损失值对所述初始学生模型进行反向传播,得到当前迭代学生模型。
S106,重复所述S104-S105直至将更新训练集中全部图片训练完并进行多轮模型训练,得到目标学生模型、目标教师模型;
重复所述S104-S105直至将更新训练集中全部图片训练完并进行多轮模型训练,直至当前迭代总损失值在预设范围(即±0.1%)内波动,停止模型训练,得到目标学生模型、目标教师模型。
S107,将待检测图片输入到所述目标学生模型和所述目标教师模型中进行检测,得到目标船舶位置和类别。
图4是本发明实施例提供的一种船舶检测系统的结构示意图,如图4所示,该系统包括:
初始教师模型训练单元201,用于将原始训练集进行多轮模型训练,得到原始船舶检测模型,并将其作为初始教师模型;
修改赋值单元202,用于修改所述原始船舶检测模型中检测头的类别通道和坐标通道,得到更新的船舶检测模型,将所述初始教师模型的权重赋值到所述更新的船舶检测模型的权重中,并将赋值后的更新的船舶检测模型作为初始学生模型;
统计单元203,用于统计更新训练集中目标框的类别均值;
图5是本发明实施例提供的统计单元的结构示意图,如图5所示,所述统计单元203包括:
统计子单元2031,用于统计更新训练集中人工标定的新增类别的目标框数量;
训练子单元2032,用于将更新训练集输入到所述原始船舶检测模型中进行模型预测,得到更新训练集中原始类别的目标框数量;
计算子单元2033,用于根据所述更新训练集中人工标定的新增类别的目标框数量、所述更新训练集中原始类别的目标框数量、以及更新训练集中类别总数计算得到更新训练集中目标框的类别均值。
计算单元204,用于将更新测试集输入到所述初始学生模型或初始教师模型中进行预测,得到更新测试集中置信度的类别均值;根据所述更新训练集中目标框的类别均值,以及所述更新测试集中置信度的类别均值计算得到每个类别权重;
图6是本发明实施例提供的计算单元的结构示意图,如图6所示,所述计算单元204包括:
第一判断子单元2041,用于将更新测试集输入到所述初始学生模型中进行预测,得到更新测试集的准确率以及更新测试集中每个类别的置信度;当判定所述准确率大于预设准确率时,根据更新测试集中所有类别的置信度和值以及类别总数计算得到更新测试集中置信度的类别均值;根据所述更新训练集中目标框的类别均值,以及所述更新测试集中置信度的类别均值计算得到每个类别权重;
第二判断子单元2042,用于当判定所述准确率小于或等于所述预设准确率时,将更新测试集输入到所述初始教师模型中进行预测,得到更新测试集中每个原始类别的置信度;根据更新测试集中所有原始类别的置信度和值以及原始类别总数计算得到更新测试集中置信度的类别均值;根据所述更新训练集中目标框的类别均值,以及所述更新测试集中置信度的类别均值计算得到每个类别权重。
迭代训练单元205,用于从所述更新训练集选取预设数量的图片作为迭代图片;将每张迭代图片输入到所述初始教师模型中进行训练,得到当前迭代教师模型以及每张迭代图片伪标签的预测结果、每张迭代图片伪标签的特征值;将所述每张迭代图片输入到所述初始学生模型中进行训练,得到每张迭代图片所有检测目标的预测结果、每张迭代图片所有检测目标的特征值;根据所述每张迭代图片伪标签的预测结果、特征值,所述每张迭代图片所有检测目标的预测结果、特征值计算得到每张迭代图片的伪标签损失值、新类别损失值、蒸馏损失值;根据所述每张迭代图片的伪标签损失值、新类别损失值、蒸馏损失值计算得到每张迭代图片的总损失值;根据所述每张迭代图片的总损失值计算得到当前迭代总损失值,根据所述当前迭代总损失值对所述初始学生模型进行反向传播,得到当前迭代学生模型;
重复训练单元206,用于重复所述计算单元,迭代训练单元直至将更新训练集中全部图片训练完并进行多轮模型训练,得到目标学生模型、目标教师模型;
检测单元207,用于将待检测图片输入到所述目标学生模型和所述目标教师模型中进行检测,得到目标船舶位置和类别。
本发明还提供了一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现上述的船舶检测方法。
上述存储介质中存储有上述软件,该存储介质包括但不限于:光盘、软盘、硬盘、可擦写存储器等。
本发明的有益效果:
本发明提供了一种船舶检测方法、系统及计算机存储介质,该方法对原始船舶检测模型进行修改,在保留之前检测头的参数下,增加一个或几个新的检测头的类别通道和坐标通道;更新训练集只标注新增类别的目标框,采用原始船舶检测模型对更新训练集图片进行预测,得到每张图片伪标签的预测结果;采用蒸馏的方法,针对原始类别标注在瓶颈层和检测头进行蒸馏;通过目标框的类别均值和置信度的类别均值,解决目标类别不平衡问题和易检、难检问题,加大模型对难检类别的学习,降低对易检类别的关注。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (8)
1.一种船舶检测方法,其特征在于,包括:
S101,将原始训练集进行多轮模型训练,得到原始船舶检测模型,并将其作为初始教师模型;
S102,修改所述原始船舶检测模型中检测头的类别通道和坐标通道,得到更新的船舶检测模型,将所述初始教师模型的权重赋值到所述更新的船舶检测模型的权重中,并将赋值后的更新的船舶检测模型作为初始学生模型;
S103,统计更新训练集中目标框的类别均值;
S104,将更新测试集输入到所述初始学生模型或初始教师模型中进行预测,得到更新测试集中置信度的类别均值;根据所述更新训练集中目标框的类别均值,以及所述更新测试集中置信度的类别均值计算得到每个类别权重;
S105,从所述更新训练集选取预设数量的图片作为迭代训练集;将每张迭代图片输入到所述初始教师模型中进行训练,得到当前迭代教师模型以及每张迭代图片伪标签的预测结果、每张迭代图片伪标签的特征值;将所述每张迭代图片输入到所述初始学生模型中进行训练,得到每张迭代图片所有检测目标的预测结果、每张迭代图片所有检测目标的特征值;根据所述每张迭代图片伪标签的预测结果、特征值,所述每张迭代图片所有检测目标的预测结果、特征值计算得到每张迭代图片的伪标签损失值、新类别损失值、蒸馏损失值;根据所述每张迭代图片的伪标签损失值、新类别损失值、蒸馏损失值计算得到每张迭代图片的总损失值;根据所述每张迭代图片的总损失值计算得到当前迭代总损失值,根据所述当前迭代总损失值对所述初始学生模型进行反向传播,得到当前迭代学生模型;
S106,重复所述S104-S105直至将更新训练集中全部图片训练完并进行多轮模型训练,得到目标学生模型、目标教师模型;
S107,将待检测图片输入到所述目标学生模型和所述目标教师模型中进行检测,得到目标船舶位置和类别;
所述S104包括:
将更新测试集输入到所述初始学生模型中进行预测,得到更新测试集的准确率以及更新测试集中每个类别的置信度;当判定所述准确率大于预设准确率时,根据更新测试集中所有类别的置信度和值以及类别总数计算得到更新测试集中置信度的类别均值;根据所述更新训练集中目标框的类别均值,以及所述更新测试集中置信度的类别均值计算得到每个类别权重;
当判定所述准确率小于或等于所述预设准确率时,将更新测试集输入到所述初始教师模型中进行预测,得到更新测试集中每个原始类别的置信度;根据更新测试集中所有原始类别的置信度和值以及原始类别总数计算得到更新测试集中置信度的类别均值;根据所述更新训练集中目标框的类别均值,以及所述更新测试集中置信度的类别均值计算得到每个类别权重;
所述当判定所述准确率大于预设准确率时,每个类别权重根据以下公式计算:
其中,为更新测试集中所有类别的置信度和值;/>为类别总数;/>为更新测试集中置信度的类别均值;/>,/>是超参,/>表示更新训练集或更新测试集中第/>类别,当/>不是新增类别即是原始类别时,最大值为/>,当/>是新增类别时,最大值为/>,/>;/>为更新训练集中目标框的类别均值;/>为更新训练集中第/>类别的目标框数量,为更新测试集中第/>类别的置信度;min为求最小值,max为求最大值;为第/>类别的权重;
所述当判定所述准确率小于或等于所述预设准确率时,每个类别权重根据以下公式计算:
2.根据权利要求1所述的方法,其特征在于,所述S103包括:
统计更新训练集中人工标定的新增类别的目标框数量;
将更新训练集输入到所述原始船舶检测模型中进行模型预测,得到更新训练集中原始类别的目标框数量;
根据所述更新训练集中人工标定的新增类别的目标框数量、所述更新训练集中原始类别的目标框数量、以及更新训练集中类别总数计算得到更新训练集中目标框的类别均值。
3.根据权利要求1所述的方法,其特征在于,所述将每张迭代图片输入到所述初始教师模型中进行训练,得到当前迭代教师模型以及每张迭代图片伪标签的预测结果、每张迭代图片伪标签的特征值包括:
将每张迭代图片顺次输入到所述初始教师模型中的主干网络、瓶颈层中,得到每张迭代图片中船舶原始类别的特征值;
将所述每张迭代图片中船舶原始类别的特征值输入到所述初始教师模型中的检测头中,得到当前迭代教师模型以及每张迭代图片中船舶原始类别、以及其对应的船舶坐标、船舶置信度;
将所述每张迭代图片中船舶原始类别、以及其对应的船舶坐标作为学生模型的伪标签,并保存对应的船舶置信度。
6.根据权利要求5所述的方法,其特征在于:
所述每张迭代图片的蒸馏损失值根据以下公式计算:
7.一种船舶检测系统,其特征在于,包括:
初始教师模型训练单元,用于将原始训练集进行多轮模型训练,得到原始船舶检测模型,并将其作为初始教师模型;
修改赋值单元,用于修改所述原始船舶检测模型中检测头的类别通道和坐标通道,得到更新的船舶检测模型,将所述初始教师模型的权重赋值到所述更新的船舶检测模型的权重中,并将赋值后的更新的船舶检测模型作为初始学生模型;
统计单元,用于统计更新训练集中目标框的类别均值;
计算单元,用于将更新测试集输入到所述初始学生模型或初始教师模型中进行预测,得到更新测试集中置信度的类别均值;根据所述更新训练集中目标框的类别均值,以及所述更新测试集中置信度的类别均值计算得到每个类别权重;
迭代训练单元,用于从所述更新训练集选取预设数量的图片作为迭代图片;将每张迭代图片输入到所述初始教师模型中进行训练,得到当前迭代教师模型以及每张迭代图片伪标签的预测结果、每张迭代图片伪标签的特征值;将所述每张迭代图片输入到所述初始学生模型中进行训练,得到每张迭代图片所有检测目标的预测结果、每张迭代图片所有检测目标的特征值;根据所述每张迭代图片伪标签的预测结果、特征值,所述每张迭代图片所有检测目标的预测结果、特征值计算得到每张迭代图片的伪标签损失值、新类别损失值、蒸馏损失值;根据所述每张迭代图片的伪标签损失值、新类别损失值、蒸馏损失值计算得到每张迭代图片的总损失值;根据所述每张迭代图片的总损失值计算得到当前迭代总损失值,根据所述当前迭代总损失值对所述初始学生模型进行反向传播,得到当前迭代学生模型;
重复训练单元,用于重复所述计算单元,迭代训练单元直至将更新训练集中全部图片训练完并进行多轮模型训练,得到目标学生模型、目标教师模型;
检测单元,用于将待检测图片输入到所述目标学生模型和所述目标教师模型中进行检测,得到目标船舶位置和类别;
所述计算单元包括:
第一判断子单元,用于将更新测试集输入到所述初始学生模型中进行预测,得到更新测试集的准确率以及更新测试集中每个类别的置信度;当判定所述准确率大于预设准确率时,根据更新测试集中所有类别的置信度和值以及类别总数计算得到更新测试集中置信度的类别均值;根据所述更新训练集中目标框的类别均值,以及所述更新测试集中置信度的类别均值计算得到每个类别权重;
第二判断子单元,用于当判定所述准确率小于或等于所述预设准确率时,将更新测试集输入到所述初始教师模型中进行预测,得到更新测试集中每个原始类别的置信度;根据更新测试集中所有原始类别的置信度和值以及原始类别总数计算得到更新测试集中置信度的类别均值;根据所述更新训练集中目标框的类别均值,以及所述更新测试集中置信度的类别均值计算得到每个类别权重;
所述当判定所述准确率大于预设准确率时,每个类别权重根据以下公式计算:
其中,为更新测试集中所有类别的置信度和值;/>为类别总数;/>为更新测试集中置信度的类别均值;/>,/>是超参,/>表示更新训练集或更新测试集中第/>类别,当/>不是新增类别即是原始类别时,最大值为/>,当/>是新增类别时,最大值为/>,/>;/>为更新训练集中目标框的类别均值;/>为更新训练集中第/>类别的目标框数量,为更新测试集中第/>类别的置信度;min为求最小值,max为求最大值;为第/>类别的权重;
所述当判定所述准确率小于或等于所述预设准确率时,每个类别权重根据以下公式计算:
8.一种计算机存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1至6中任一项所述的船舶检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310417790.2A CN116168256B (zh) | 2023-04-19 | 2023-04-19 | 一种船舶检测方法、系统及计算机存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310417790.2A CN116168256B (zh) | 2023-04-19 | 2023-04-19 | 一种船舶检测方法、系统及计算机存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116168256A CN116168256A (zh) | 2023-05-26 |
CN116168256B true CN116168256B (zh) | 2023-07-14 |
Family
ID=86418520
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310417790.2A Active CN116168256B (zh) | 2023-04-19 | 2023-04-19 | 一种船舶检测方法、系统及计算机存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116168256B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117152587B (zh) * | 2023-10-27 | 2024-01-26 | 浙江华是科技股份有限公司 | 一种基于对抗学习的半监督船舶检测方法及系统 |
CN117830304B (zh) * | 2024-03-04 | 2024-05-24 | 浙江华是科技股份有限公司 | 一种水雾船舶检测方法、系统及计算机存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018169639A1 (en) * | 2017-03-17 | 2018-09-20 | Nec Laboratories America, Inc | Recognition in unlabeled videos with domain adversarial learning and knowledge distillation |
CN114627338A (zh) * | 2022-05-16 | 2022-06-14 | 浙江华是科技股份有限公司 | 一种船舶类别分类模型训练方法、系统及计算机存储介质 |
CN115690568A (zh) * | 2022-11-04 | 2023-02-03 | 哈尔滨工程大学 | 一种基于增量学习的无人艇目标检测方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10402701B2 (en) * | 2017-03-17 | 2019-09-03 | Nec Corporation | Face recognition system for face recognition in unlabeled videos with domain adversarial learning and knowledge distillation |
US11694088B2 (en) * | 2019-03-13 | 2023-07-04 | Cortica Ltd. | Method for object detection using knowledge distillation |
CN112766087A (zh) * | 2021-01-04 | 2021-05-07 | 武汉大学 | 一种基于知识蒸馏的光学遥感图像舰船检测方法 |
CN114241285B (zh) * | 2021-11-25 | 2024-05-28 | 华南理工大学 | 一种基于知识蒸馏和半监督学习的船舶快速检测方法 |
CN114445693A (zh) * | 2021-12-17 | 2022-05-06 | 上海交通大学 | 基于知识蒸馏的可持续学习水上障碍物检测系统及方法 |
CN115019180B (zh) * | 2022-07-28 | 2023-01-17 | 北京卫星信息工程研究所 | Sar图像舰船目标检测方法、电子设备及存储介质 |
CN115330777B (zh) * | 2022-10-13 | 2023-03-24 | 浙江华是科技股份有限公司 | 训练图片缩放尺寸船舶检测方法及系统 |
-
2023
- 2023-04-19 CN CN202310417790.2A patent/CN116168256B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018169639A1 (en) * | 2017-03-17 | 2018-09-20 | Nec Laboratories America, Inc | Recognition in unlabeled videos with domain adversarial learning and knowledge distillation |
CN114627338A (zh) * | 2022-05-16 | 2022-06-14 | 浙江华是科技股份有限公司 | 一种船舶类别分类模型训练方法、系统及计算机存储介质 |
CN115690568A (zh) * | 2022-11-04 | 2023-02-03 | 哈尔滨工程大学 | 一种基于增量学习的无人艇目标检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN116168256A (zh) | 2023-05-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116168256B (zh) | 一种船舶检测方法、系统及计算机存储介质 | |
CN108491928B (zh) | 模型参数发送方法、装置、服务器及存储介质 | |
US10713597B2 (en) | Systems and methods for preparing data for use by machine learning algorithms | |
EP3114540B1 (en) | Neural network and method of neural network training | |
CN109508634B (zh) | 基于迁移学习的船舶类型识别方法及系统 | |
US20160358068A1 (en) | Reducing computations in a neural network | |
CN114048331A (zh) | 一种基于改进型kgat模型的知识图谱推荐方法及系统 | |
CN114662780A (zh) | 碳排放量预测方法、装置、电子设备及存储介质 | |
US20110288835A1 (en) | Data processing device, data processing method and program | |
CN110909125B (zh) | 推文级社会媒体谣言检测方法 | |
CN110119540B (zh) | 一种用于生存风险分析的多输出梯度提升树建模方法 | |
CA3183005A1 (en) | Ancestry composition determination | |
WO2020030052A1 (zh) | 一种动物数量识别方法、装置、介质及电子设备 | |
KR20220024990A (ko) | L2TL(Learning to Transfer Learn)을 위한 프레임워크 | |
CN114511021A (zh) | 基于改进乌鸦搜索算法的极限学习机分类算法 | |
US20230342606A1 (en) | Training method and apparatus for graph neural network | |
WO2023207389A1 (zh) | 数据处理方法、装置、程序产品、计算机设备和介质 | |
CN112116069A (zh) | 一种基于Attention-LSTM的强化学习Agent知识推理方法 | |
CN113869342A (zh) | 预估性建模中的标记偏移检测和调整 | |
CN112215412A (zh) | 溶解氧预测方法及装置 | |
CN113935496A (zh) | 一种面向集成模型的鲁棒性提升防御方法 | |
CN114298299A (zh) | 基于课程学习的模型训练方法、装置、设备及存储介质 | |
CN112836794A (zh) | 一种图像神经架构的确定方法、装置、设备及存储介质 | |
CN111353525A (zh) | 一种不均衡不完整数据集的建模及缺失值填补方法 | |
CN113300884B (zh) | 一种基于gwo-svr的分步网络流量预测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |