CN114627338B - 一种船舶类别分类模型训练方法、系统及计算机存储介质 - Google Patents

一种船舶类别分类模型训练方法、系统及计算机存储介质 Download PDF

Info

Publication number
CN114627338B
CN114627338B CN202210525452.6A CN202210525452A CN114627338B CN 114627338 B CN114627338 B CN 114627338B CN 202210525452 A CN202210525452 A CN 202210525452A CN 114627338 B CN114627338 B CN 114627338B
Authority
CN
China
Prior art keywords
training
pictures
model
current
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210525452.6A
Other languages
English (en)
Other versions
CN114627338A (zh
Inventor
吴显德
邹凡
金振中
王震艳
钱茂俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Whyis Technology Co ltd
Original Assignee
Zhejiang Whyis Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Whyis Technology Co ltd filed Critical Zhejiang Whyis Technology Co ltd
Priority to CN202210525452.6A priority Critical patent/CN114627338B/zh
Publication of CN114627338A publication Critical patent/CN114627338A/zh
Application granted granted Critical
Publication of CN114627338B publication Critical patent/CN114627338B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种船舶类别分类模型训练方法、系统及计算机存储介质。该方法包括：S1将原始训练集分成多个小数据集；S2.将多个小数据集分为多组训练样本；S3.将每组训练样本进行训练得到一一对应的多个船舶类别分类模型以及多个难例数据集；S4.将多个船舶类别分类模型进行融合得到预训练模型；S5.加载预训练模型并通过数据增强方法对原始训练集和多个难例数据集进行m轮模型训练，得到当前更新的船舶类别分类模型；S6.对原始测试集训练，得到当前更新的难例数据集，对其和原始训练集进行m+1轮模型训练，得到下一更新的船舶类别分类模型，重复S6进行预设轮模型训练，得到目标船舶类别分类模型。本发明中的目标船舶类别分类模型正确率高，错误率较少。

Description

一种船舶类别分类模型训练方法、系统及计算机存储介质
技术领域
本发明船舶分类技术领域，具体而言，涉及一种船舶类别分类模型训练方法、系统及计算机存储介质。
背景技术
随着物流行业的发展，水上运输是主要途径之一，港口对船舶的管理的压力也随之增加。船舶类型对减少船舶管理压力是有效的方法之一，但目前船舶类别分类存在正确率低、错误率高，无法满足实际操作需求。船舶类型分类中出现误分类主要是因为：①个别船舶类型之间的差距小，外观接近；②由于造船厂家并不是同一家，因此船舶存在的问题是同一类别的船舶外观可能出现较大差异；③随着时间推移，船舶外观存在破损现象。针对上述原因，目前训练方法训练出来的船舶类别分类模型存在分类准确率低，错误率较多。
针对现有技术中船舶类别分类模型存在正确率、精确率不高，错误率较多的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例中提供一种船舶类别分类模型训练方法、系统及计算机存储介质，以解决现有技术中船舶类别分类模型存在正确率、精确率不高，错误率较多的问题。
为达到上述目的，一方面，本发明提供了一种船舶类别分类模型训练方法，该方法包括：S1.将原始训练集分成多个小数据集；S2.将所述多个小数据集分为多组训练样本，所述训练样本的组数与所述小数据集个数相同：每组训练样本中包括所述多个小数据集，且其一小数据集为子测试集或子验证集，其余小数据集为子训练集；每组训练样本中的子测试集或子验证集不同；S3.将每组的子训练集、子测试集或子验证集进行训练，得到一一对应的多个船舶类别分类模型，以及得到一一对应的多个难例数据集；S4.将所述多个船舶类别分类模型进行融合，得到预训练模型；S5.加载所述预训练模型并通过图片融合操作对所述原始训练集和多个难例数据集进行m轮模型训练，得到当前更新的船舶类别分类模型；其中，m的值由训练结果确定，当训练结果符合预设要求时，停止继续训练；S6.通过所述当前更新的船舶类别分类模型对原始测试集进行测试，得到当前更新的难例数据集；通过所述当前更新的船舶类别分类模型对所述原始训练集和所述当前更新的难例数据集进行m+1轮模型训练，得到下一更新的船舶类别分类模型；S7.将所述下一更新的船舶类别分类模型作为当前更新的船舶类别分类模型，重复S6直至进行完预设轮模型训练，得到目标船舶类别分类模型。
可选的，所述S3包括：从当前组的子训练集中抽取预设数量的图片作为当前迭代训练集进行模型训练，并得到正确图片、错误图片以及每一张图片的得分；判断所述当前迭代训练集的准确率；当所述准确率超过预设准确率时，则从所述当前迭代训练集中选取难例样本，并将所述难例样本和抽取的所述当前组的子训练集中没有进行模型训练的图片作为下次迭代训练集进行模型训练，其中每次迭代训练集的图片数量都为所述预设数量；反之，则直接从所述当前组的子训练集中没有进行模型训练的图片抽取预设数量的图片作为下次迭代训练集进行模型训练；将所述当前组的子训练集的图片全部模型训练完作为一轮模型训练并进行多轮模型训练得到当前船舶类别分类模型，以及当前难例数据集。
可选的，所述当所述准确率超过预设准确率时，则从所述当前迭代训练集中选取难例样本包括：当所述准确率超过预设准确率时，判断所述当前迭代训练集的错误率是否超过预设错误率；若是，将所述错误图片按照得分从大到小进行排序，并根据所述排序顺序抽取错误图片作为所述难例样本；其中，所述抽取的错误图片数量不超过预设错误量；其中，预设错误量=预设错误率×预设数量；反之，将所述正确图片按照得分从小到大进行排序，并将所述错误图片和根据所述排序顺序抽取正确图片作为难例样本，其中，所述抽取的正确图片数量=预设错误率×预设数量-错误图片数量；所述难例样本总数不超过所述预设错误量。
可选的，所述将所述当前组的子训练集的图片全部模型训练完，得到当前船舶类别分类模型，以及当前难例数据集包括：将所述当前组的子训练集的图片全部模型训练完，得到当前船舶类别分类模型；通过所述当前船舶类别分类模型对当前组的子测试集或子验证集进行测试，得到所述当前组的子测试集或子验证集的错误图片、正确图片以及每张图片的得分；将所述当前组的子测试集或子验证集的错误图片和所述正确图片中得分小于预设值的图片作为所述当前难例数据集。
可选的，所述S5包括：S51.加载所述预训练模型，并从所述原始训练集中抽取预设数量的图片和从所述多个难例数据集中抽取不超过所述预设数量的图片进行图像融合操作，得到当前迭代训练集并进行模型训练；S52.从所述原始训练集中没有进行模型训练的图片中抽取预设数量的图片和从所述多个难例数据集中没有进行模型训练的图片中抽取不超过所述预设数量的图片进行图片融合操作，得到下次迭代训练集并进行模型训练，将所述下次迭代训练集作为所述当前迭代训练集，重复所述S52，直至所述原始训练集和所述多个难例数据集的图片全部模型训练完，得到当前轮当前更新的船舶类别分类模型；S53.重复所述S51和S52，当所述原始训练集的图片全部模型训练完m轮后，得到所述当前更新的船舶类别分类模型。
可选的，所述通过所述当前更新的船舶类别分类模型对所述原始训练集和所述当前更新的难例数据集进行m+1轮模型训练，得到下一更新的船舶类别分类模型包括：将所述当前更新的难例数据集平均分到m+1轮中多次迭代训练集中，其中每次迭代训练集中的图片数量均为所述预设数量；通过所述当前更新的船舶类别分类模型对所述原始训练集和平均分配的多次迭代训练集进行m+1轮的多次迭代模型训练，得到所述下一更新的船舶类别分类模型。
另一方面，本发明提供了一种船舶类别分类模型训练系统，该系统包括：拆分单元，用于将原始训练集分成多个小数据集；分组单元，用于将所述多个小数据集分为多组训练样本，所述训练样本的组数与所述小数据集个数相同：每组训练样本中包括所述多个小数据集，且其一小数据集为子测试集或子验证集，其余小数据集为子训练集；每组训练样本中的子测试集或子验证集不同；训练单元，用于将每组的子训练集、子测试集或子验证集进行训练，得到一一对应的多个船舶类别分类模型，以及得到一一对应的多个难例数据集；融合单元，用于将所述多个船舶类别分类模型进行融合，得到预训练模型；第一更新单元，用于加载所述预训练模型并通过图片融合操作对所述原始训练集和多个难例数据集进行m轮模型训练，得到当前更新的船舶类别分类模型；第二更新单元，用于通过所述当前更新的船舶类别分类模型对原始测试集进行测试，得到当前更新的难例数据集；通过所述当前更新的船舶类别分类模型对所述原始训练集和所述当前更新的难例数据集进行m+1轮模型训练，得到下一更新的船舶类别分类模型；重复训练单元，用于将所述下一更新的船舶类别分类模型作为当前更新的船舶类别分类模型，重复所述第二更新单元直至进行完预设轮模型训练，得到目标船舶类别分类模型。
可选的，所述训练单元包括：批次训练子单元，用于从当前组的子训练集中抽取预设数量的图片作为当前迭代训练集进行模型训练，并得到正确图片、错误图片以及每一张图片的得分；判断子单元，用于判断所述当前迭代训练集的准确率；难例样本选取子单元，用于当所述准确率超过预设准确率时，则从所述当前迭代训练集中选取难例样本，并将所述难例样本和抽取的所述当前组的子训练集中没有进行模型训练的图片作为下次迭代训练集进行模型训练，其中每次迭代训练集的图片数量都为所述预设数量；反之，则直接从所述当前组的子训练集中没有进行模型训练的图片抽取预设数量的图片作为下次迭代训练集进行模型训练；重复训练子单元，用于将所述当前组的子训练集的图片全部模型训练完作为一轮模型训练并进行多轮模型训练得到当前船舶类别分类模型，以及当前难例数据集。
可选的，所述第一更新单元包括：第一抽取子单元，用于加载所述预训练模型，并从所述原始训练集中抽取预设数量的图片和从所述多个难例数据集中抽取不超过所述预设数量的图片进行图像融合操作，得到当前迭代训练集并进行模型训练；第二抽取子单元，用于从所述原始训练集中没有进行模型训练的图片中抽取预设数量的图片和从所述多个难例数据集中没有进行模型训练的图片中抽取不超过所述预设数量的图片进行图片融合操作，得到下次迭代训练集并进行模型训练，将所述下次迭代训练集作为所述当前迭代训练集，重复所述S52，直至所述原始训练集和所述多个难例数据集的图片全部模型训练完，得到当前轮当前更新的船舶类别分类模型；第一更新子单元，用于重复所述第一抽取子单元和第二抽取子单元，当所述原始训练集和所述多个难例数据集的图片全部模型训练完m轮后，得到所述当前更新的船舶类别分类模型。
另一方面，本发明一种计算机存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述的船舶类别分类模型训练方法。
本发明的有益效果：
本发明提供了一种船舶类别分类模型训练方法、系统及计算机存储介质，该方法通过在线难例挖掘和离线难例挖掘两种途径对错误图片进行训练。在线难例挖掘是采用上一批次训练的船舶类别分类模型对上一批次数据集进行测试，将错误图片和得分低的正确图片进行重采样，并将其放入到下一批次数据集中进行模型训练；离线难例挖掘采用预训练模型并通过数据增强方法对所述原始训练集和多个难例数据集进行m轮模型训练，得到当前更新的船舶类别分类模型；通过所述当前更新的船舶类别分类模型对原始测试集进行测试，得到当前更新的难例数据集。本发明的模型训练方法通过对错误图片进行训练，从而优化船舶类别分类模型，得到目标船舶类别分类模型，通过该目标船舶类别分类模型可准确的分辨出船舶类别，且错误率少，正确率高。
附图说明
图1是本发明实施例提供的一种船舶类别分类模型训练的流程图；
图2是本发明实施例提供的得到多个船舶类别分类模型以及多个难例数据集的流程图；
图3是本发明实施例提供的得到当前更新的船舶类别分类模型的流程图；
图4是本发明实施例提供的一种船舶类别分类模型训练系统的结构示意图；
图5是本发明实施例提供的训练单元的结构示意图；
图6是本发明实施例提供的第一更新单元的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
随着物流行业的发展，水上运输是主要途径之一，港口对船舶的管理的压力也随之增加。船舶类型对减少船舶管理压力是有效的方法之一，但目前船舶类别分类存在正确率低、错误率高，无法满足实际操作需求。船舶类型分类中出现误分类主要是因为：①个别船舶类型之间的差距小，外观接近；②由于造船厂家并不是同一家，因此船舶存在的问题是同一类别的船舶外观可能出现较大差异；③随着时间推移，船舶外观存在破损现象。针对上述原因，目前训练方法训练出来的船舶类别分类模型存在分类准确率低，错误率高问题。
因而，本发明提供了一种船舶类别分类模型多阶段难例挖掘训练方法，图1是本发明实施例提供的一种船舶类别分类模型训练方法的流程图，如图1所示，该方法包括：
S1.将原始训练集分成多个小数据集；
在一个可选的实施方式中，本发明中，优选的，将原始训练集分成5个小数据集。分别为小数据集1，小数据集2，小数据集3，小数据集4，小数据集5。
S2.将所述多个小数据集分为多组训练样本，所述训练样本的组数与所述小数据集个数相同：
每组训练样本中包括所述多个小数据集，且其一小数据集为子测试集或子验证集，其余小数据集为子训练集；每组训练样本中的子测试集或子验证集不同；
在一个可选的实施方式中，本发明中，将小数据集1，小数据集2，小数据集3，小数据集4，小数据集5分为多组训练样本；
第一组训练样本：子训练集：小数据集1，小数据集2，小数据集3，小数据集5，子测试集或子验证集：小数据集4；
第二组训练样本：子训练集：小数据集1，小数据集2，小数据集5，小数据集4，子测试集或子验证集：小数据集3；
第三组训练样本：子训练集：小数据集1，小数据集5，小数据集3，小数据集4，子测试集或子验证集：小数据集2；
第四组训练样本：子训练集：小数据集5，小数据集2，小数据集3，小数据集4，子测试集或子验证集：小数据集1；
第五组训练样本：子训练集：小数据集4，小数据集2，小数据集3，小数据集1，子测试集或子验证集：小数据集5；
其中，每组训练样本的子训练集中的小数据集没有顺序限制。
S3.将每组的子训练集、子测试集或子验证集进行训练，得到一一对应的多个船舶类别分类模型，以及得到一一对应的多个难例数据集；
本发明中，将每组的子训练集、子测试集或子验证集进行训练，在训练过程中增加每次迭代难例挖掘方法，通过对当前迭代训练集中不包含上次迭代得到的难例样本的预测结果中挖掘错误样本和置信度低的正确样本集参与到下次迭代训练集中，得到一一对应的多个船舶类别分类模型，以及得到一一对应的多个难例数据集。
在一个可选的实施方式中，图2是本发明实施例提供的得到多个船舶类别分类模型以及多个难例数据集的流程图，如图2所示，所述S3包括：
S31.从当前组的子训练集中抽取预设数量的图片作为当前迭代训练集进行模型训练，并得到分类正确图片、错误图片以及每一张图片的得分；
本发明中，预设数量设置为32，若当前组的子训练集为第一组训练样本中的子训练集，从第一训练样本中的子训练集（小数据集1、小数据集2、小数据集3、小数据集5）中随机抽取32张图片，将这32张图片作为当前迭代训练集进行模型训练，得到这32张图片中的正确图片（即32张图片中哪些图片是准确的）、32张图片中的错误图片（即32张图片中哪些是错误的）以及32张图片中每一张图片的得分。
S32.判断所述当前迭代训练集的准确率；
例如：正确图片为28张，错误图片为4张，则当前迭代训练集的准确率为28/(4+28)=87.5%。
S33.当所述准确率超过预设准确率时，则从所述当前迭代训练集中选取难例样本，并将所述难例样本和抽取的所述当前组的子训练集中没有进行模型训练的图片作为下次迭代训练集进行模型训练，其中每次迭代训练集的图片数量都为所述预设数量；反之，则直接从所述当前组的子训练集中没有进行模型训练的图片抽取预设数量的图片作为下次迭代训练集进行模型训练；
本发明中，设置预设准确率为65%，当前迭代训练集的准确率87.5%超过预设准确率65%，则从所述当前迭代训练集中选取难例样本，将所述难例样本和抽取的所述第一训练样本的子训练集中没有进行模型训练的图片作为下次迭代训练集进行模型训练，其中每次迭代训练集的图片数量都为所述预设数量；
例如：难例样本数量为8，则在所述第一训练样本的子训练集中没有进行模型训练的图片中抽取24张，将所述8张难例样本和抽取的24张图片作为下次迭代训练集进行模型训练。
反之，例如：当前迭代训练集中正确图片为20张，错误图片为12张，则当前迭代训练集的准确率为20/(20+12)=62.5%。当前迭代训练集的准确率62.5%小于预设准确率65%，则直接从第一训练样本的子训练集中没有进行模型训练的图片抽取32张图片作为下次迭代训练集进行模型训练。
在一个可选的实施方式中，所述当所述准确率超过预设准确率时，则从所述当前迭代训练集选取难例样本包括：当所述准确率超过预设准确率时，判断所述当前迭代训练集的错误率是否超过预设错误率；
本发明中，设置预设错误率为25%。
若是，将所述错误图片按照得分从大到小进行排序，并根据所述排序顺序抽取错误图片作为所述难例样本；其中，所述抽取的错误图片数量不超过预设错误量；
其中，预设错误量=预设错误率×预设数量；
例如：本发明中，第一训练样本的当前迭代训练集的准确率为68.75%，其超过预设准确率65%，此时第一训练样本的当前迭代训练集的错误率为1-68.75%=31.25%。当前迭代训练集的错误率31.25%超过预设错误率25%，则将错误图片（32×31.25%=10张）按得分从大到小进行排序，假设排序后的得分分别为：0.9分、0.88分、0.87分、0.85分、0.8分、0.76分、0.74分、0.7分、0.65分、0.63分。
根据所述排序顺序抽取错误图片作为所述难例样本；其中，所述抽取的错误图片数量不超过预设错误量；
其中，预设错误量=25%×32=8张；
则将0.9分、0.88分、0.87分、0.85分、0.8分、0.76分、0.74分、0.7分对应的错误图片作为难例样本。
反之，将所述正确图片按照置信度得分从小到大进行排序，并将所述错误图片和根据所述排序顺序抽取置信度得分低的正确图片作为难例样本。
其中，所述抽取的正确图片数量=预设错误率×预设数量-错误图片数量；
所述难例样本总数不超过所述预设错误量。
例如：本发明中，第一训练样本的当前迭代训练集的准确率为87.5%，其超过预设准确率65%，此时第一训练样本的当前迭代训练集的错误率为1-87.5%=12.5%，将正确图片（32×87.5%=28张）按照得到从小到大进行排序，将所述错误图片（32×12.5%=4张）和根据所述排序顺序抽取正确图片作为难例样本。其中，所述抽取的正确图片数量=25%×32-4=4张；本发明中，难例样本总数不超过8张。
其中，当前迭代训练集不包含上次迭代训练集得到的难例样本。
类似的，从下次迭代训练集中选取难例样本时不包含当前迭代训练集得到的难例样本。
例如：当前迭代训练集得到的难例样本数量为8，则在所述第一训练样本的子训练集中没有进行模型训练的图片中抽取24张，将所述8张难例样本和抽取的24张图片作为下次迭代训练集进行模型训练。在所述下次迭代训练集中抽取难例样本时，则从下次迭代训练集中选取不包含当前迭代训练集得到的难例样本（即8张难例样本）。S34.将所述当前组的子训练集的图片全部模型训练完作为一轮模型训练并进行多轮模型训练，得到当前船舶类别分类模型，以及当前难例数据集。
具体的，将所述当前组的子训练集的图片全部模型训练完，进行多轮训练直到损失值和准确率趋于稳定，得到当前船舶类别分类模型，以及当前难例数据集。
在一个可选的实施方式中，所述S34包括：
将所述当前组的子训练集的图片全部模型训练完作为一轮模型训练并进行多轮模型训练，得到当前船舶类别分类模型，得到当前船舶类别分类模型；
在一个可选的实施方式中，假设第一训练样本的子训练集总共有320张图片，则需要将该320张图片全部模型训练完为一轮，进行多轮模型训练，达到模型的分类准确率和损失值基本趋于一个稳定值时，模型训练结束，得到第一训练样本对应的船舶类别分类模型。
通过所述当前船舶类别分类模型对当前组的子测试集或子验证集进行测试，得到所述当前组的子测试集或子验证集的错误图片、正确图片以及每张图片的得分；
通过该船舶类别分类模型对第一训练样本的子测试集或子验证集进行测试，得到第一训练样本的子测试集或子验证集的错误图片、正确图片以及每张图片的得分；
将所述当前组的子测试集或子验证集的错误图片和所述正确图片中得分小于预设值的图片作为所述当前难例数据集。
本发明中，设置预设值为0.6。将第一训练样本的子测试集或子验证集的错误图片和正确图片中得分小于0.6的图片作为第一训练样本的难例数据集。
同样的方法，会得到第二训练样本对应的船舶类别分类模型以及难例数据集，本发明中有5组训练样本，因而会得到5组训练样本一一对应的5个船舶类别分类模型以及一一对应的5个难例数据集。
S4.将所述多个船舶类别分类模型进行融合，得到预训练模型；
本发明中，将5个船舶类别分类模型进行融合，得到预训练模型。
具体的，融合公式为：
Figure 363523DEST_PATH_IMAGE001
（1）
Figure 733325DEST_PATH_IMAGE002
（2）
其中，
Figure 499287DEST_PATH_IMAGE003
表示第y个船舶类别分类模型的准确率，本发明中y为1,2,3,4,5；
Figure 171708DEST_PATH_IMAGE004
表示为正确图片且得分大于0.6的原始测试集的数量；
Figure 780543DEST_PATH_IMAGE005
表示原始测试集图片数量；
Figure 829402DEST_PATH_IMAGE006
表示预训练模型；
Figure 715450DEST_PATH_IMAGE007
表示第i个船舶类别分类模型的准确率，k表示船舶类别分类模型的总数量，本发明中为5，
Figure 683406DEST_PATH_IMAGE008
表示第i个船舶类别分类模型的参数。
S5.加载所述预训练模型并通过图片融合操作对所述原始训练集和多个难例数据集进行m轮模型训练，得到当前更新的船舶类别分类模型；其中，m的值由训练结果确定，当训练结果符合预设要求时，停止继续训练。
本发明中，所述图片融合操作为mix up操作。
在一个可选的实施方式中，图3是本发明实施例提供的得到当前更新的船舶类别分类模型的流程图，如图3所示，所述S5包括：
S51.加载所述预训练模型，并从所述原始训练集中抽取预设数量的图片和从所述多个难例数据集中抽取不超过所述预设数量的图片进行图像融合操作，得到当前迭代训练集并进行模型训练；
本发明中，加载所述预训练模型，并从原始训练集中抽取32张图片和从所述多个难例数据集中随机抽取一定数量的图片进行mix up操作得到当前迭代训练集并进行模型训练，具体抽取方法为：设置一个是否抽取难例数据集的抽取阈值，从原始训练集中抽取一张图片，随机选取一个值判断是否大于这个抽取阈值，如果大于则从5个难例数据集中抽取一张图片，将其和从原始训练集中抽取的图片进行mix up（图片融合）操作，得到融合后的图片。反之，若不超过则不从5个难例数据集中抽取图片，直接使用从原始训练集中抽取的图片。按照该抽取方法，设置的阈值不再变化，因而得到32张图片作为当前迭代训练集。
32张图片在模型训练完后，会得到特征层，该特征层通过sigmoid会预测这32张图片中每张图片包含哪些船舶类别，以及每个类别的置信度；sigmoid的具体公式为：
Figure 654904DEST_PATH_IMAGE009
（3）
Figure 366508DEST_PATH_IMAGE010
（4）
公式（3）中，x是一个数组，表示特征层的多个特征值，
Figure 107062DEST_PATH_IMAGE011
表示一张图片的推理结果，这个结果是和x对应的数组，数组中的不同位置代表不同类别，数组中的值为对应类别的置信度；公式（4）中，
Figure 121285DEST_PATH_IMAGE012
为一次迭代训练集的平均损失值，
Figure 704713DEST_PATH_IMAGE013
表示的是每张图片每个类别和真实图片类别一致的损失值，
Figure 829795DEST_PATH_IMAGE014
表示的是每张图片每个类别和真实图片类别不一致的损失值，n表示一次迭代训练集的图片数量，本发明中为32，z表示有多少个类别，本发明中为5。
S52.从所述原始训练集中没有进行模型训练的图片中抽取预设数量的图片和从所述多个难例数据集中没有进行模型训练的图片中抽取不超过所述预设数量的图片进行图片融合操作，得到下次迭代训练集并进行模型训练，将所述下次迭代训练集作为所述当前迭代训练集，重复所述S52，直至所述原始训练集和所述多个难例数据集的图片全部模型训练完，得到当前轮当前更新的船舶类别分类模型；
本发明中，从所述原始训练集和所述多个难例数据集中没有进行模型训练的图片中抽取预设数量的图片作为下次迭代训练集，按照方法为S51的抽取方法抽取，设置一个是否抽取难例数据集的抽取阈值，从原始训练集中没有进行模型训练的图片中抽取一张图片，随机选取一个值判断是否大于这个阈值，如果大于则从5个难例数据集中没有进行模型训练的图片中抽取一张图片进行mix up（图片融合）操作，得到融合后的图片。反之，若不超过则不从5个难例数据集中没有进行模型训练的图片中抽取图片，直接使用从原始训练集中没有进行模型训练的图片中抽取的图片。直到从原始训练集中没有进行模型训练的图片中抽取到32张图片，图片不再抽取，然后将得到的数据集作为这个迭代的训练集（即下次迭代训练集）；将所述下次迭代训练集作为所述当前迭代训练集，重复所述S52，直至所述原始训练集和所述多个难例数据集的图片全部模型训练完，得到当前轮当前更新的船舶类别分类模型；
S53.重复所述S51和S52，当所述原始训练集的图片全部模型训练完m轮后，得到所述当前更新的船舶类别分类模型。
重复上述S51和S52，本发明中，将原始训练集一共训练17轮，通过S5的方法将原始训练集和5个难例数据集的图片训练m轮（本发明中设置n为12），得到当前更新的船舶类别分类模型。
S6.通过所述当前更新的船舶类别分类模型对原始测试集进行测试，得到当前更新的难例数据集；通过所述当前更新的船舶类别分类模型对所述原始训练集和所述当前更新的难例数据集进行m+1轮模型训练，得到下一更新的船舶类别分类模型，
具体的，通过所述当前更新的船舶类别分类模型（本发明中为第12轮得到的船舶类别分类模型）对所述原始训练集和所述当前更新的难例数据集（本发明中为第12轮得到的难例数据集）进行m+1轮（本发明中为第13轮）模型训练，得到下一更新的船舶类别分类模型包括：
将所述当前更新的难例数据集平均分到m+1轮中多次迭代训练集中，其中每次迭代训练集中的图片数量均为所述预设数量；
本发明中，将当前更新的难例数据集平均分到13轮中多次迭代训练集中，具体的，假设每轮包括10次迭代训练集；当前更新的难例数据集（即第12轮得到的难例数据集）为10张难例样本，则每次迭代训练集中放一张当前更新的难例样本。这样可以使每次迭代训练集都包含错误图片。
进一步的，假设每轮包括20次迭代训练集；当前更新的难例数据集为12张难例样本，则在12张难例样本中随机抽取8张重复使用，即随机抽取8张难例样本再放到原先12张难例样本中，这样总共有20张难例样本。每次迭代训练集中放一张当前更新的难例样本。
更进一步的，假设每轮包括10次迭代训练集；当前更新的难例数据集为13张难例样本，则在13张难例样本中随机抽取7张重复使用，即随机抽取7张难例样本再放到原先13张难例样本中，这样总共有20张难例样本。每次迭代训练集中放两张当前更新的难例样本。
通过所述当前更新的船舶类别分类模型对所述原始训练集和平均分配的多次迭代训练集进行m+1轮的多次迭代模型训练，得到所述下一更新的船舶类别分类模型。
具体的，通过所述当前更新的船舶类别分类模型对原始训练集和平均分配的多次迭代训练集进行第13轮的多次迭代模型训练，得到下一更新的船舶类别分类模型，第13轮模型损失计算方法依据第12轮每张图片预测结果和真实标签的损失值得到如公式（5），（6），（7）。
依据第12轮模型训练后，计算第12轮所有图片的每个类别的损失值（总共有5类）（需要注意的是：这里的损失值不带有权重，直接是每张图片预测结果和真实结果的差别），利用公式（5）、（6）得到下一轮（第13轮）网络模型训练损失计算每个类别的权重；
具体公式为：
Figure 690435DEST_PATH_IMAGE015
（5）
Figure 194DEST_PATH_IMAGE016
（6）
公式（5）、（6）实现依据每个类别损失值计算类别的权重；公式（5）
Figure 946284DEST_PATH_IMAGE017
表示上一轮所有图片的一个类别的损失值，该损失值没有权重值（即每个类别的计算是等权重的，因为需要评估模型对哪个类别分类好，哪个类别分类不好，所以不能加权重，加权重就无法实际反映模型对类别的分类效果好坏，但在模型学习中要加权重原因，相当于对自己薄弱项加大学习）；k为0,1,2,3,4；公式（6）中
Figure 999691DEST_PATH_IMAGE018
表示类别中其中一类权重，本申请共有5类；
Figure 714837DEST_PATH_IMAGE019
对公式（5）中
Figure 70863DEST_PATH_IMAGE018
所有权重排序取中间值；
进一步的，在损失函数的基础上增加类别权重，如下：
Figure 238670DEST_PATH_IMAGE020
（7）
该公式（7）是计算每次迭代时的损失值，在每个类别增加权重，加大船舶类别分类模型对学习不好的类别学习，减少对学习好的类别关注。
S7.将所述下一更新的船舶类别分类模型作为当前更新的船舶类别分类模型，重复S6的上述过程直至进行完预设轮（本发明中为后5轮）模型训练；
S8.得到目标船舶类别分类模型。
本发明中通过加入类别权重，加强模型对误识别率高的类别学习。
图4是本发明实施例提供的一种船舶类别分类模型训练系统的结构示意图，如图4所示，该系统包括：
拆分单元201，用于将原始训练集分成多个小数据集；
在一个可选的实施方式中，本发明中，优选的，将原始训练集分成5个小数据集。分别为小数据集1，小数据集2，小数据集3，小数据集4，小数据集5。
分组单元202，用于将所述多个小数据集分为多组训练样本，所述训练样本的组数与所述小数据集个数相同：
每组训练样本中包括所述多个小数据集，且其一小数据集为子测试集或子验证集，其余小数据集为子训练集；每组训练样本中的子测试集或子验证集不同；
在一个可选的实施方式中，本发明中，将小数据集1，小数据集2，小数据集3，小数据集4，小数据集5分为多组训练样本；
第一组训练样本：子训练集：小数据集1，小数据集2，小数据集3，小数据集5，子测试集或子验证集：小数据集4；
第二组训练样本：子训练集：小数据集1，小数据集2，小数据集5，小数据集4，子测试集或子验证集：小数据集3；
第三组训练样本：子训练集：小数据集1，小数据集5，小数据集3，小数据集4，子测试集或子验证集：小数据集2；
第四组训练样本：子训练集：小数据集5，小数据集2，小数据集3，小数据集4，子测试集或子验证集：小数据集1；
第五组训练样本：子训练集：小数据集4，小数据集2，小数据集3，小数据集1，子测试集或子验证集：小数据集5；
其中，每组训练样本的子训练集中的小数据集没有顺序限制。
训练单元203，用于将每组的子训练集、子测试集或子验证集进行训练，得到一一对应的多个船舶类别分类模型，以及得到一一对应的多个难例数据集；
本发明中，将每组的子训练集、子测试集或子验证集进行训练，在训练过程中增加每次迭代难例挖掘方法，通过对当前迭代训练集中不包含上次迭代得到的难例样本的预测结果中挖掘错误样本和置信度低的正确样本集参与到下次迭代训练集中，得到一一对应的多个船舶类别分类模型，以及得到一一对应的多个难例数据集。
在一个可选的实施方式中，图5是本发明实施例提供的训练单元的结构示意图，如图5所示，所述训练单元203包括：
批次训练子单元2031，用于从当前组的子训练集中抽取预设数量的图片作为当前迭代训练集进行模型训练，并得到分类正确图片、错误图片以及每一张图片的得分；
本发明中，预设数量设置为32，若当前组的子训练集为第一组训练样本中的子训练集，从第一训练样本中的子训练集（小数据集1、小数据集2、小数据集3、小数据集5）中随机抽取32张图片，将这32张图片作为当前迭代训练集进行模型训练，得到这32张图片中的正确图片（即32张图片中哪些图片是准确的）、32张图片中的错误图片（即32张图片中哪些是错误的）以及32张图片中每一张图片的得分。
判断子单元2032，用于判断所述当前迭代训练集的准确率；
例如：正确图片为28张，错误图片为4张，则当前迭代训练集的准确率为28/(4+28)=87.5%。
难例样本选取子单元2033，用于当所述准确率超过预设准确率时，则从所述当前迭代训练集中选取难例样本，并将所述难例样本和抽取的所述当前组的子训练集中没有进行模型训练的图片作为下次迭代训练集进行模型训练，其中每次迭代训练集的图片数量都为所述预设数量；反之，则直接从所述当前组的子训练集中没有进行模型训练的图片抽取预设数量的图片作为下次迭代训练集进行模型训练；
本发明中，设置预设准确率为65%，当前迭代训练集的准确率87.5%超过预设准确率65%，则从所述当前迭代训练集中选取难例样本，将所述难例样本和抽取的所述第一训练样本的子训练集中没有进行模型训练的图片作为下次迭代训练集进行模型训练，其中每次迭代训练集的图片数量都为所述预设数量；
例如：难例样本数量为8，则在所述第一训练样本的子训练集中没有进行模型训练的图片中抽取24张，将所述8张难例样本和抽取的24张图片作为下次迭代训练集进行模型训练。
反之，例如：当前迭代训练集中正确图片为20张，错误图片为12张，则当前迭代训练集的准确率为20/(20+12)=62.5%。当前迭代训练集的准确率62.5%小于预设准确率65%，则直接从第一训练样本的子训练集中没有进行模型训练的图片抽取32张图片作为下次迭代训练集进行模型训练。
在一个可选的实施方式中，所述当所述准确率超过预设准确率时，则从所述当前迭代训练集中选取难例样本包括：
当所述准确率超过预设准确率时，判断所述当前迭代训练集的错误率是否超过预设错误率；
本发明中，设置预设错误率为25%。
若是，将所述错误图片按照得分从大到小进行排序，并根据所述排序顺序抽取错误图片作为所述难例样本；其中，所述抽取的错误图片数量不超过预设错误量；
其中，预设错误量=预设错误率×预设数量；
例如：本发明中，第一训练样本的当前迭代训练集的准确率为68.75%，其超过预设准确率65%，此时第一训练样本的当前迭代训练集的错误率为1-68.75%=31.25%。当前迭代训练集的错误率31.25%超过预设错误率25%，则将错误图片（32×31.25%=10张）按得分从大到小进行排序，假设排序后的得分分别为：0.9分、0.88分、0.87分、0.85分、0.8分、0.76分、0.74分、0.7分、0.65分、0.63分。
根据所述排序顺序抽取错误图片作为所述难例样本；其中，所述抽取的错误图片数量不超过预设错误量；
其中，预设错误量=25%×32=8张；
则将0.9分、0.88分、0.87分、0.85分、0.8分、0.76分、0.74分、0.7分对应的错误图片作为难例样本。
反之，将所述正确图片按照置信度得分从小到大进行排序，并将所述错误图片和根据所述排序顺序抽取置信度得分低的抽取正确图片作为难例样本。
其中，所述抽取的正确图片数量=预设错误率×预设数量-错误图片数量；
所述难例样本总数不超过所述预设错误量。
例如：本发明中，第一训练样本的当前迭代训练集的准确率为87.5%，其超过预设准确率65%，此时第一训练样本的当前迭代训练集的错误率为1-87.5%=12.5%，将正确图片（32×87.5%=28张）按照得到从小到大进行排序，将所述错误图片（32×12.5%=4张）和根据所述排序顺序抽取正确图片作为难例样本。其中，所述抽取的正确图片数量=25%×32-4=4张；本发明中，难例样本总数不超过8张。
其中，当前迭代训练集不包含上次迭代训练集得到的难例样本。
类似的，从下次迭代训练集中选取难例样本时不包含当前迭代训练集得到的难例样本。
例如：当前迭代训练集得到的难例样本数量为8，则在所述第一训练样本的子训练集中没有进行模型训练的图片中抽取24张，将所述8张难例样本和抽取的24张图片作为下次迭代训练集进行模型训练。在所述下次迭代训练集中抽取难例样本时，则从下次迭代训练集中选取不包含当前迭代训练集得到的难例样本（即8张难例样本）。
重复训练子单元2034，用于将所述当前组的子训练集的图片全部模型训练完作为一轮模型训练并进行多轮模型训练，得到当前船舶类别分类模型，以及当前难例数据集。
具体的，将所述当前组的子训练集的图片全部模型训练完，进行多轮训练直到损失值和准确率趋于稳定，得到当前船舶类别分类模型，以及当前难例数据集。
在一个可选的实施方式中，所述重复训练子单元2034包括：
将所述当前组的子训练集的图片全部模型训练完作为一轮模型训练并进行多轮模型训练，得到当前船舶类别分类模型，得到当前船舶类别分类模型；
在一个可选的实施方式中，假设第一训练样本的子训练集总共有320张图片，则需要将该320张图片全部模型训练完为一轮，进行多轮模型训练，达到模型的分类准确率和损失值基本趋于一个稳定值时，模型训练结束，得到第一训练样本对应的船舶类别分类模型。
通过所述当前船舶类别分类模型对当前组的子测试集或子验证集进行测试，得到所述当前组的子测试集或子验证集的错误图片、正确图片以及每张图片的得分；
通过该船舶类别分类模型对第一训练样本的子测试集或子验证集进行测试，得到第一训练样本的子测试集或子验证集的错误图片、正确图片以及每张图片的得分；
将所述当前组的子测试集或子验证集的错误图片和所述正确图片中得分小于预设值的图片作为所述当前难例数据集。
本发明中，设置预设值为0.6。将第一训练样本的子测试集或子验证集的错误图片和正确图片中得分小于0.6的图片作为第一训练样本的难例数据集。
同样的方法，会得到第二训练样本对应的船舶类别分类模型以及难例数据集，本发明中有5组训练样本，因而会得到5组训练样本一一对应的5个船舶类别分类模型以及一一对应的5个难例数据集。
融合单元204，用于将所述多个船舶类别分类模型进行融合，得到预训练模型；
本发明中，将5个船舶类别分类模型进行融合，得到预训练模型。
具体的，融合公式为：
Figure 95768DEST_PATH_IMAGE021
（1）
Figure 665421DEST_PATH_IMAGE022
（2）
其中，
Figure 316982DEST_PATH_IMAGE003
表示第y个船舶类别分类模型的准确率，本发明中y为1,2,3,4,5；
Figure 237665DEST_PATH_IMAGE004
表示为正确图片且得分大于0.6的原始测试集的数量；
Figure 508240DEST_PATH_IMAGE005
表示原始测试集图片数量；
Figure 57033DEST_PATH_IMAGE023
表示预训练模型；
Figure 997003DEST_PATH_IMAGE007
表示第i个船舶类别分类模型的准确率，k表示船舶类别分类模型的总数量，本发明中为5，
Figure 139403DEST_PATH_IMAGE008
表示第i个船舶类别分类模型的参数。
第一更新单元205，用于加载所述预训练模型并通过图片融合操作对所述原始训练集和多个难例数据集进行m轮模型训练，得到当前更新的船舶类别分类模型；
本发明中，所述图片融合操作为mix up操作。
在一个可选的实施方式中，图6是本发明实施例提供的第一更新单元的结构示意图，如图6所示，所述第一更新单元205包括：
第一抽取子单元2051，用于加载所述预训练模型，并从所述原始训练集中抽取预设数量的图片和从所述多个难例数据集中抽取不超过所述预设数量的图片进行图像融合操作，得到当前迭代训练集并进行模型训练；
本发明中，加载所述预训练模型，并从原始训练集中抽取32张图片和从所述多个难例数据集中随机抽取一定数量的图片进行mix up操作得到当前迭代训练集并进行模型训练，具体抽取方法为：设置一个是否抽取难例数据集的抽取阈值，从原始训练集中抽取一张图片，随机选取一个值判断是否大于这个抽取阈值，如果大于则从5个难例数据集中抽取一张图片，将其和从原始训练集中抽取的图片进行mix up（图片融合）操作，得到融合后的图片。反之，若不超过则不从5个难例数据集中抽取图片，直接使用从原始训练集中抽取的图片。按照该抽取方法，设置的阈值不再变化，因而得到32张图片作为当前迭代训练集。
32张图片在模型训练完后，会得到特征层，该特征层通过sigmoid会预测这32张图片中每张图片包含哪些船舶类别，以及每个类别的置信度；sigmoid的具体公式为：
Figure 213669DEST_PATH_IMAGE009
（3）
Figure 616969DEST_PATH_IMAGE010
（4）
公式（3）中，x是一个数组，表示特征层的多个特征值，
Figure 751278DEST_PATH_IMAGE011
表示一张图片的推理结果，这个结果是和x对应的数组，数组中的不同位置代表不同类别，数组中的值为对应类别的置信度；公式（4）中，
Figure 380974DEST_PATH_IMAGE012
为一次迭代训练集的平均损失值，
Figure 117985DEST_PATH_IMAGE013
表示的是每张图片每个类别和真实图片类别一致的损失值，
Figure 516737DEST_PATH_IMAGE014
表示的是每张图片每个类别和真实图片类别不一致的损失值，n表示一次迭代训练集的图片数量，本发明中为32，z表示有多少个类别，本发明中为5。
第二抽取子单元2052，用于从所述原始训练集中没有进行模型训练的图片中抽取预设数量的图片和从所述多个难例数据集中没有进行模型训练的图片中抽取不超过所述预设数量的图片进行图片融合操作，得到下次迭代训练集并进行模型训练，将所述下次迭代训练集作为所述当前迭代训练集，重复所述S52，直至所述原始训练集和所述多个难例数据集的图片全部模型训练完，得到当前轮当前更新的船舶类别分类模型；
本发明中，从所述原始训练集和所述多个难例数据集中没有进行模型训练的图片中抽取预设数量的图片作为下次迭代训练集，按照方法为S51的抽取方法抽取，设置一个是否抽取难例数据集的抽取阈值，从原始训练集中没有进行模型训练的图片中抽取一张图片，随机选取一个值判断是否大于这个阈值，如果大于则从5个难例数据集中没有进行模型训练的图片中抽取一张图片进行mix up（图片融合）操作，得到融合后的图片。反之，若不超过则不从5个难例数据集中没有进行模型训练的图片中抽取图片，直接使用从原始训练集中没有进行模型训练的图片中抽取的图片。直到从原始训练集中没有进行模型训练的图片中抽取到32张图片，图片不再抽取，然后将得到的数据集作为这个迭代的训练集（即下次迭代训练集）；将所述下次迭代训练集作为所述当前迭代训练集，重复所述S52，直至所述原始训练集和所述多个难例数据集的图片全部模型训练完，得到当前轮当前更新的船舶类别分类模型；
第一更新子单元2053，用于重复所述第一抽取子单元2051和第二抽取子单元2052，当所述原始训练集和所述多个难例数据集的图片全部模型训练完m轮后，得到所述当前更新的船舶类别分类模型。
重复上述第一抽取子单元2051和第二抽取子单元2052，本发明中，将原始训练集一共训练17轮，通过S5的方法将原始训练集和5个难例数据集的图片训练m轮（本发明中设置n为12），得到当前更新的船舶类别分类模型。
第二更新单元206，用于通过所述当前更新的船舶类别分类模型对原始测试集进行测试，得到当前更新的难例数据集；通过所述当前更新的船舶类别分类模型对所述原始训练集和所述当前更新的难例数据集进行m+1轮模型训练，得到下一更新的船舶类别分类模型，
具体的，通过所述当前更新的船舶类别分类模型对原始训练集和平均分配的多次迭代训练集进行第13轮的多次迭代模型训练，得到下一更新的船舶类别分类模型，第13轮模型损失计算方法依据第12轮每张图片预测结果和真实标签的损失值得到如公式（5），（6），（7）。
依据第12轮模型训练后，计算第12轮所有图片的每个类别的损失值（总共有5类）（需要注意的是：这里的损失值不带有权重，直接是每张图片预测结果和真实结果的差别），利用公式（5）、（6）得到下一轮（第13轮）网络模型训练损失计算每个类别的权重；
具体公式为：
Figure 821947DEST_PATH_IMAGE024
（5）
Figure 797994DEST_PATH_IMAGE025
（6）
公式（5）、（6）实现依据每个类别损失值计算类别的权重；公式（5）
Figure 214063DEST_PATH_IMAGE017
表示上一轮所有图片的一个类别的损失值，该损失值没有权重值（即每个类别的计算是等权重的，因为需要评估模型对哪个类别分类好，哪个类别分类不好，所以不能加权重，加权重就无法实际反映模型对类别的分类效果好坏，但在模型学习中要加权重原因，相当于对自己薄弱项加大学习）；k为0,1,2,3,4；公式（6）中
Figure 857534DEST_PATH_IMAGE018
表示类别中其中一类权重，本申请共有5类；
Figure 68066DEST_PATH_IMAGE019
对公式（5）中
Figure 672354DEST_PATH_IMAGE018
所有权重排序取中间值；
进一步的，在损失函数的基础上增加类别权重，如下：
Figure 751168DEST_PATH_IMAGE020
（7）
该公式（7）是计算每次迭代时的损失值，在每个类别增加权重，加大船舶类别分类模型对学习不好的类别学习，减少对学习好的类别关注。
重复训练单元207，用于将所述下一更新的船舶类别分类模型作为当前更新的船舶类别分类模型，重复所述第二更新单元的上述过程直至进行完预设轮（本发明中为后5轮）模型训练，得到目标船舶类别分类模型。
本发明中通过加入类别权重，加强模型对误识别率高的类别学习。
本发明的有益效果：
本发明提供了一种船舶类别分类模型训练方法、系统及计算机存储介质，该方法通过在线难例挖掘和离线难例挖掘两种途径对错误图片进行训练。在线难例挖掘是采用上一批次训练的船舶类别分类模型对上一批次数据集进行测试，将错误图片和得分低的正确图片进行重采样，并将其放入到下一批次数据集中进行模型训练；离线难例挖掘采用预训练模型并通过数据增强方法对所述原始训练集和多个难例数据集进行m轮模型训练，得到当前更新的船舶类别分类模型；通过所述当前更新的船舶类别分类模型对原始测试集进行测试，得到当前更新的难例数据集。本发明的模型训练方法通过对错误图片进行训练，从而优化船舶类别分类模型，得到目标船舶类别分类模型，通过该目标船舶类别分类模型可准确的分辨出船舶类别，且错误率少，正确率高。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种船舶类别分类模型训练方法，其特征在于，包括：
S1.将原始训练集分成多个小数据集；
S2.将所述多个小数据集分为多组训练样本，所述训练样本的组数与所述小数据集个数相同：
每组训练样本中包括所述多个小数据集，且其一小数据集为子测试集或子验证集，其余小数据集为子训练集；每组训练样本中的子测试集或子验证集不同；
S3.将每组的子训练集、子测试集或子验证集进行训练，得到一一对应的多个船舶类别分类模型，以及得到一一对应的多个难例数据集；
S4.将所述多个船舶类别分类模型进行融合，得到预训练模型；
S5.加载所述预训练模型并通过图片融合操作对所述原始训练集和多个难例数据集进行m轮模型训练，得到当前更新的船舶类别分类模型；其中，m的值由训练结果确定，当训练结果符合预设要求时，停止继续训练；
S6.通过所述当前更新的船舶类别分类模型对原始测试集进行测试，得到当前更新的难例数据集；通过所述当前更新的船舶类别分类模型对所述原始训练集和所述当前更新的难例数据集进行m+1轮模型训练，得到下一更新的船舶类别分类模型；
S7.将所述下一更新的船舶类别分类模型作为当前更新的船舶类别分类模型，重复S6直至进行完预设轮模型训练，得到目标船舶类别分类模型。
2.根据权利要求1所述的方法，其特征在于，所述S3包括：
从当前组的子训练集中抽取预设数量的图片作为当前迭代训练集进行模型训练，并得到正确图片、错误图片以及每一张图片的得分；
判断所述当前迭代训练集的准确率；
当所述准确率超过预设准确率时，则从所述当前迭代训练集中选取难例样本，并将所述难例样本和抽取的所述当前组的子训练集中没有进行模型训练的图片作为下次迭代训练集进行模型训练，其中每次迭代训练集的图片数量都为所述预设数量；反之，则直接从所述当前组的子训练集中没有进行模型训练的图片抽取预设数量的图片作为下次迭代训练集进行模型训练；
将所述当前组的子训练集的图片全部模型训练完作为一轮模型训练并进行多轮模型训练得到当前船舶类别分类模型，以及当前难例数据集。
3.根据权利要求2所述的方法，其特征在于，所述当所述准确率超过预设准确率时，则从所述当前迭代训练集中选取难例样本包括：
当所述准确率超过预设准确率时，判断所述当前迭代训练集的错误率是否超过预设错误率；
若是，将所述错误图片按照得分从大到小进行排序，并根据所述排序顺序抽取错误图片作为所述难例样本；其中，所述抽取的错误图片数量不超过预设错误量；
其中，预设错误量=预设错误率×预设数量；
反之，将所述正确图片按照得分从小到大进行排序，并将所述错误图片和根据所述排序顺序抽取正确图片作为难例样本，
其中，所述抽取的正确图片数量=预设错误率×预设数量-错误图片数量；
所述难例样本总数不超过所述预设错误量。
4.根据权利要求2所述的方法，其特征在于：所述将所述当前组的子训练集的图片全部模型训练完，得到当前船舶类别分类模型，以及当前难例数据集包括：
将所述当前组的子训练集的图片全部模型训练完，得到当前船舶类别分类模型；
通过所述当前船舶类别分类模型对当前组的子测试集或子验证集进行测试，得到所述当前组的子测试集或子验证集的错误图片、正确图片以及每张图片的得分；
将所述当前组的子测试集或子验证集的错误图片和所述正确图片中得分小于预设值的图片作为所述当前难例数据集。
5.根据权利要求1所述的方法，其特征在于，所述S5包括：
S51.加载所述预训练模型，并从所述原始训练集中抽取预设数量的图片和从所述多个难例数据集中抽取不超过所述预设数量的图片进行图像融合操作，得到当前迭代训练集并进行模型训练；
S52.从所述原始训练集中没有进行模型训练的图片中抽取预设数量的图片和从所述多个难例数据集中没有进行模型训练的图片中抽取不超过所述预设数量的图片进行图片融合操作，得到下次迭代训练集并进行模型训练，将所述下次迭代训练集作为所述当前迭代训练集，重复所述S52，直至所述原始训练集和所述多个难例数据集的图片全部模型训练完，得到当前轮当前更新的船舶类别分类模型；
S53.重复所述S51和S52，当所述原始训练集的图片全部模型训练完m轮后，得到所述当前更新的船舶类别分类模型。
6.根据权利要求2所述的方法，其特征在于，所述通过所述当前更新的船舶类别分类模型对所述原始训练集和所述当前更新的难例数据集进行m+1轮模型训练，得到下一更新的船舶类别分类模型包括：
将所述当前更新的难例数据集平均分到m+1轮中多次迭代训练集中，其中每次迭代训练集中的图片数量均为所述预设数量；
通过所述当前更新的船舶类别分类模型对所述原始训练集和平均分配的多次迭代训练集进行m+1轮的多次迭代模型训练，得到所述下一更新的船舶类别分类模型。
7.一种船舶类别分类模型训练系统，其特征在于，包括：
拆分单元，用于将原始训练集分成多个小数据集；
分组单元，用于将所述多个小数据集分为多组训练样本，所述训练样本的组数与所述小数据集个数相同：
每组训练样本中包括所述多个小数据集，且其一小数据集为子测试集或子验证集，其余小数据集为子训练集；每组训练样本中的子测试集或子验证集不同；
训练单元，用于将每组的子训练集、子测试集或子验证集进行训练，得到一一对应的多个船舶类别分类模型，以及得到一一对应的多个难例数据集；
融合单元，用于将所述多个船舶类别分类模型进行融合，得到预训练模型；
第一更新单元，用于加载所述预训练模型并通过图片融合操作对所述原始训练集和多个难例数据集进行m轮模型训练，得到当前更新的船舶类别分类模型；
第二更新单元，用于通过所述当前更新的船舶类别分类模型对原始测试集进行测试，得到当前更新的难例数据集；通过所述当前更新的船舶类别分类模型对所述原始训练集和所述当前更新的难例数据集进行m+1轮模型训练，得到下一更新的船舶类别分类模型；
重复训练单元，用于将所述下一更新的船舶类别分类模型作为当前更新的船舶类别分类模型，重复所述第二更新单元直至进行完预设轮模型训练，得到目标船舶类别分类模型。
8.根据权利要求7所述的系统，其特征在于，所述训练单元包括：
批次训练子单元，用于从当前组的子训练集中抽取预设数量的图片作为当前迭代训练集进行模型训练，并得到正确图片、错误图片以及每一张图片的得分；
判断子单元，用于判断所述当前迭代训练集的准确率；
难例样本选取子单元，用于当所述准确率超过预设准确率时，则从所述当前迭代训练集中选取难例样本，并将所述难例样本和抽取的所述当前组的子训练集中没有进行模型训练的图片作为下次迭代训练集进行模型训练，其中每次迭代训练集的图片数量都为所述预设数量；反之，则直接从所述当前组的子训练集中没有进行模型训练的图片抽取预设数量的图片作为下次迭代训练集进行模型训练；
重复训练子单元，用于将所述当前组的子训练集的图片全部模型训练完作为一轮模型训练并进行多轮模型训练得到当前船舶类别分类模型，以及当前难例数据集。
9.根据权利要求7所述的系统，其特征在于，所述第一更新单元包括：
第一抽取子单元，用于加载所述预训练模型，并从所述原始训练集中抽取预设数量的图片和从所述多个难例数据集中抽取不超过所述预设数量的图片进行图像融合操作，得到当前迭代训练集并进行模型训练；
第二抽取子单元，用于从所述原始训练集中没有进行模型训练的图片中抽取预设数量的图片和从所述多个难例数据集中没有进行模型训练的图片中抽取不超过所述预设数量的图片进行图片融合操作，得到下次迭代训练集并进行模型训练，将所述下次迭代训练集作为所述当前迭代训练集，重复所述第二抽取子单元，直至所述原始训练集和所述多个难例数据集的图片全部模型训练完，得到当前轮当前更新的船舶类别分类模型；
第一更新子单元，用于重复所述第一抽取子单元和第二抽取子单元，当所述原始训练集和所述多个难例数据集的图片全部模型训练完m轮后，得到所述当前更新的船舶类别分类模型。
10.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至6中任一项所述的船舶类别分类模型训练方法。
CN202210525452.6A 2022-05-16 2022-05-16 一种船舶类别分类模型训练方法、系统及计算机存储介质 Active CN114627338B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210525452.6A CN114627338B (zh) 2022-05-16 2022-05-16 一种船舶类别分类模型训练方法、系统及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210525452.6A CN114627338B (zh) 2022-05-16 2022-05-16 一种船舶类别分类模型训练方法、系统及计算机存储介质

Publications (2)

Publication Number Publication Date
CN114627338A CN114627338A (zh) 2022-06-14
CN114627338B true CN114627338B (zh) 2022-09-09

Family

ID=81907143

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210525452.6A Active CN114627338B (zh) 2022-05-16 2022-05-16 一种船舶类别分类模型训练方法、系统及计算机存储介质

Country Status (1)

Country Link
CN (1) CN114627338B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116052096B (zh) * 2023-03-31 2023-06-13 浙江华是科技股份有限公司 一种压缩数据船舶检测方法、系统及计算机存储介质
CN116168256B (zh) * 2023-04-19 2023-07-14 浙江华是科技股份有限公司 一种船舶检测方法、系统及计算机存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919888B (zh) * 2019-02-26 2023-09-19 腾讯科技（深圳）有限公司 一种图像融合的方法、模型训练的方法以及相关装置
CN111126606B (zh) * 2020-03-30 2020-07-28 同盾控股有限公司 基于平台的深度学习模型自主训练方法、装置、设备及介质
CN112232450B (zh) * 2020-12-15 2021-03-16 浙江啄云智能科技有限公司 一种综合多阶段的难例样本挖掘方法、目标检测方法
CN114186615B (zh) * 2021-11-22 2022-07-08 浙江华是科技股份有限公司 船舶检测半监督在线训练方法、装置及计算机存储介质

Also Published As

Publication number Publication date
CN114627338A (zh) 2022-06-14

Similar Documents

Publication Publication Date Title
CN114627338B (zh) 一种船舶类别分类模型训练方法、系统及计算机存储介质
CN107506799B (zh) 一种基于深度神经网络的开集类别发掘与扩展方法与装置
CN113656570B (zh) 基于深度学习模型的视觉问答方法及装置、介质、设备
CN105701502B (zh) 一种基于蒙特卡罗数据均衡的图像自动标注方法
CN111026544B (zh) 图网络模型的节点分类方法、装置及终端设备
CN111813954B (zh) 文本语句中两实体的关系确定方法、装置和电子设备
CN109214444B (zh) 基于孪生神经网络和gmm的游戏防沉迷判定系统及方法
CN111784595A (zh) 一种基于历史记录的动态标签平滑加权损失方法及装置
CN112785005A (zh) 多目标任务的辅助决策方法、装置、计算机设备及介质
CN114358197A (zh) 分类模型的训练方法及装置、电子设备、存储介质
CN114663002A (zh) 一种自动化匹配绩效考核指标的方法及设备
CN110197213B (zh) 基于神经网络的图像匹配方法、装置和设备
CN112215278A (zh) 一种遗传算法和蜻蜓算法相结合的多维数据特征选择方法
CN111738017A (zh) 一种意图识别方法、装置、设备及存储介质
CN114691525A (zh) 测试用例的选择方法及装置
US6934405B1 (en) Address reading method
CN111783688A (zh) 一种基于卷积神经网络的遥感图像场景分类方法
CN111414930A (zh) 深度学习模型训练方法及装置、电子设备及存储介质
CN113779360A (zh) 基于多头问答模型的解题方法、装置、设备及存储介质
CN114443986A (zh) 排序方法及装置，排序模型训练方法及装置，电子设备
CN114444654A (zh) 一种面向nas的免训练神经网络性能评估方法、装置和设备
CN113379037A (zh) 一种基于补标记协同训练的偏多标记学习方法
CN113239699A (zh) 一种融合多特征的深度知识追踪方法及系统
CN113139624A (zh) 基于机器学习的网络用户分类方法
CN110866195A (zh) 文本描述的生成方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant