CN116052096B - 一种压缩数据船舶检测方法、系统及计算机存储介质 - Google Patents

一种压缩数据船舶检测方法、系统及计算机存储介质 Download PDF

Info

Publication number
CN116052096B
CN116052096B CN202310335897.2A CN202310335897A CN116052096B CN 116052096 B CN116052096 B CN 116052096B CN 202310335897 A CN202310335897 A CN 202310335897A CN 116052096 B CN116052096 B CN 116052096B
Authority
CN
China
Prior art keywords
original
picture
current
sample set
belonging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310335897.2A
Other languages
English (en)
Other versions
CN116052096A (zh
Inventor
吴显德
俞伟娜
张鹏
周瑶越
钱茂俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Whyis Technology Co ltd
Original Assignee
Zhejiang Whyis Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Whyis Technology Co ltd filed Critical Zhejiang Whyis Technology Co ltd
Priority to CN202310335897.2A priority Critical patent/CN116052096B/zh
Publication of CN116052096A publication Critical patent/CN116052096A/zh
Application granted granted Critical
Publication of CN116052096B publication Critical patent/CN116052096B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/72—Data preparation, e.g. statistical preprocessing of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种压缩数据船舶检测方法、系统及计算机存储介质。该方法包括：利用原始图片的复杂因子对原始数据集进行压缩，筛选出简单样本集；利用原始图片的损失值挑选易简样本集；将既属于简单样本集又属于易简样本集的原始图片删除；将原始训练集中除去简单样本集和易简样本集的原始图片作为难例样本集；将难例样本集、属于简单样本集但不属于易简样本集的原始图片和属于易简样本集但不属于简单样本集的原始图片进行模型训练，得到目标船舶检测模型；将待检测图片输入到目标船舶检测模型中进行检测得到船舶位置。该方法减少了训练集数量，加快了模型训练；降低了模型对既属于简单样本又属于易简样本的过分学习；提高了模型对难例样本集的学习。

Description

一种压缩数据船舶检测方法、系统及计算机存储介质
技术领域
本发明涉及船舶检测技术领域，具体而言，涉及一种压缩数据船舶检测方法、系统及计算机存储介质。
背景技术
随着水上交通不断发展，水上交通秩序也不断升级，维持水上交通的工作人员的工作量不断增加，其中船舶检测是水上交通工作量的之一。近几年船舶检测算法产生巨大进步，其中基于深度学习的船舶检测算法在实际水上交通中被广泛使用，其中训练集的数量是船舶检测模型重要指标之一。基于这个原因，工业界收集了大量的训练集数量，虽然在数量具有急剧的增加，船舶检测模型也具有较高的提高。训练集数量增加也带来较多负面作用，其中训练船舶检测模型的时间随之增加和训练集中含有大量的冗余数据导致船舶检测模型鲁棒性变差。
针对现有技术中训练集数据冗余以及因训练集数量多所带来的训练耗时的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例中提供一种压缩数据船舶检测方法、系统及计算机存储介质，以解决现有技术中训练集数据冗余以及因训练集数量多所带来的训练耗时的问题。
为达到上述目的，本发明提供了一种压缩数据船舶检测方法，该方法包括：S101，根据原始训练集中每张原始图片的所有像素点计算得到每张原始图片的复杂因子；S102，将全部原始图片的复杂因子从小到大排序，选取排序后的前第一预设数量的复杂因子对应的原始图片作为简单样本集；S103，将原始训练集中每张原始图片进行模型训练，得到每张原始图片的损失值；S104，将全部原始图片的损失值从小到大排序，选取排序后的前第二预设数量的损失值对应的原始图片作为易简样本集；S105，将既属于简单样本集又属于易简样本集的原始图片删除；将原始训练集中除去简单样本集和易简样本集的原始图片作为难例样本集；将所述难例样本集、属于简单样本集但不属于易简样本集的原始图片和属于易简样本集但不属于简单样本集的原始图片进行模型训练，得到当前轮船舶检测模型以及当前轮总损失值；S106，重复所述S103~S105，直至当前轮总损失值在预设范围内波动，得到目标船舶检测模型；S107，将待检测图片输入到所述目标船舶检测模型中进行检测，得到船舶位置。
可选的，所述S101包括：将原始训练集中每张原始图片均做如下处理：S1011，将当前原始图片划分为多块，并计算每块的像素均值；将所述每块的像素均值赋值到当前原始图片对应块位置的所有像素点，得到当前块图片；S1012，根据所述当前原始图片中每个像素点的像素值和所述当前块图片中每个像素点的像素值计算得到当前原始图片的复杂因子。
可选的，所述将当前原始图片划分为多块，并计算每块的像素均值包括：S10111，将当前原始图片划分为多块，得到多个分块；S10112，将每个分块继续划分为多块，得到每个分块对应的多个子分块，并计算每个子分块的像素均值；S10113，根据每个分块的所有子分块的像素均值计算得到每个分块的像素均值。
可选的，所述当前原始图片的复杂因子根据以下公式计算：
Figure SMS_1
；
其中，
Figure SMS_4
为当前原始图片的复杂因子，/>
Figure SMS_5
为当前原始图片或当前块图片总的像素点个数，/>
Figure SMS_6
表示第/>
Figure SMS_7
个像素点，/>
Figure SMS_8
表示第/>
Figure SMS_9
个像素点，/>
Figure SMS_10
表示当前原始图片的像素值，/>
Figure SMS_2
表示当前块图片的像素值，/>
Figure SMS_3
表示激活函数。
可选的，所述S103包括：S1031，将原始训练集中每张原始图片输入到初始船舶检测模型中进行模型训练，得到当前轮对应的每张原始图片的损失值以及当前轮更新船舶检测模型；S1032，将测试集中每张测试图片输入到所述当前轮更新船舶检测模型中进行检测，得到当前轮测试集的准确率；判断所述准确率是否大于预设准确率，若是，进入步骤S104；反之，重复S1031、S1032，直至测试集的准确率大于预设准确率，得到最后轮对应的每张原始图片的损失值。
可选的，所述当前轮总损失值根据以下公式计算：
Figure SMS_11
；
其中，
Figure SMS_21
为当前轮总损失值，/>
Figure SMS_22
表示难例样本集的图片张数，/>
Figure SMS_23
表示第/>
Figure SMS_24
张原始难例图片，/>
Figure SMS_25
表示第/>
Figure SMS_26
张原始难例图片的分类损失值，/>
Figure SMS_28
表示第/>
Figure SMS_12
张原始难例图片的回归损失值，/>
Figure SMS_14
表示属于简单样本集但不属于易简样本集的原始图片和属于易简样本集但不属于简单样本集的原始图片的图片张数，/>
Figure SMS_15
表示属于简单样本集但不属于易简样本集的原始图片和属于易简样本集但不属于简单样本集的原始图片中的第/>
Figure SMS_16
张图片，/>
Figure SMS_17
表示第/>
Figure SMS_18
张图片的分类损失值，/>
Figure SMS_19
表示第/>
Figure SMS_20
张图片的回归损失值，
Figure SMS_13
表示第/>
Figure SMS_27
张图片的复杂因子。
另一方面，本发明提供了一种压缩数据船舶检测系统，该系统包括：复杂因子计算模块，用于根据原始训练集中每张原始图片的所有像素点计算得到每张原始图片的复杂因子；第一筛选模块，用于将全部原始图片的复杂因子从小到大排序，选取排序后的前第一预设数量的复杂因子对应的原始图片作为简单样本集；损失值计算模块，用于将原始训练集中每张原始图片进行模型训练，得到每张原始图片的损失值；第二筛选模块，用于将全部原始图片的损失值从小到大排序，选取排序后的前第二预设数量的损失值对应的原始图片作为易简样本集；模型训练模块，用于将既属于简单样本集又属于易简样本集的原始图片删除；将原始训练集中除去简单样本集和易简样本集的原始图片作为难例样本集；将所述难例样本集、属于简单样本集但不属于易简样本集的原始图片和属于易简样本集但不属于简单样本集的原始图片进行模型训练，得到当前轮船舶检测模型以及当前轮总损失值；重复训练模块，用于重复所述损失值计算模块、第二筛选模块、模型训练模块，直至当前轮总损失值在预设范围内波动，得到目标船舶检测模型；检测模块，用于将待检测图片输入到所述目标船舶检测模型中进行检测，得到船舶位置。
可选的，所述复杂因子计算模块包括：将原始训练集中每张原始图片均做如下处理：分块子模块，用于将当前原始图片划分为多块，并计算每块的像素均值；将所述每块的像素均值赋值到当前原始图片对应块位置的所有像素点，得到当前块图片；复杂因子计算子模块，用于根据所述当前原始图片中每个像素点的像素值和所述当前块图片中每个像素点的像素值计算得到当前原始图片的复杂因子。
可选的，所述损失值计算模块包括：训练子模块，用于将原始训练集中每张原始图片输入到初始船舶检测模型中进行模型训练，得到当前轮对应的每张原始图片的损失值以及当前轮更新船舶检测模型；判断子模块，用于将测试集中每张测试图片输入到所述当前轮更新船舶检测模型中进行检测，得到当前轮测试集的准确率；判断所述准确率是否大于预设准确率，若是，进入所述第二筛选模块；反之，重复所述训练子模块、判断子模块，直至测试集的准确率大于预设准确率，得到最后轮对应的每张原始图片的损失值。
另一方面，本发明还提供了一种计算机存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上所述的压缩数据船舶检测方法。
本发明的有益效果：
本发明提供了一种压缩数据船舶检测方法、系统及计算机存储介质，其中，该方法利用原始图片的复杂因子对原始数据集进行压缩，从而从冗余的数据集筛选出简单样本；利用原始图片的损失值挑选易简样本；对属于简单样本但不属于易简样本、属于易简样本但不属于简单样本的图片进行学习，将既属于简单样本又属于易简样本的图片进行剔除，从而减少训练集数量，加快模型训练，并且使模型降低对既属于简单样本又属于易简样本的过分学习，防止造成对该类型数据集过拟现象，使目标船舶检测模型检测性能更好；提高模型对难例样本集的学习，提高模型的检出率。
附图说明
图1是本发明实施例提供的一种压缩数据船舶检测方法的流程图；
图2是本发明实施例提供的计算得到每张原始图片的复杂因子的流程图；
图3是本发明实施例提供的得到每张原始图片的损失值的流程图；
图4是本发明实施例提供的一种压缩数据船舶检测系统的结构示意图；
图5是本发明实施例提供的复杂因子计算模块的结构示意图；
图6是本发明实施例提供的损失值计算模块的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
随着水上交通不断发展，水上交通秩序也不断升级，维持水上交通的工作人员的工作量不断增加，其中船舶检测是水上交通工作量的之一。近几年船舶检测算法产生巨大进步，其中基于深度学习的船舶检测算法在实际水上交通中被广泛使用，其中训练集的数量是船舶检测模型重要指标之一。基于这个原因，工业界收集了大量的训练集数量，虽然在数量具有急剧的增加，船舶检测模型也具有较高的提高。训练集数量增加也带来较多负面作用，其中训练船舶检测模型的时间随之增加和训练集中含有大量的冗余数据导致船舶检测模型鲁棒性变差。
基于上述问题，本发明提供了一种压缩数据船舶检测方法，可以解决现有技术中训练集数据冗余以及因训练集数量多所带来的训练耗时的问题。图1是本发明实施例提供的一种压缩数据船舶检测方法的流程图，如图1所示，该方法包括：
S101，根据原始训练集中每张原始图片的所有像素点计算得到每张原始图片的复杂因子；
图2是本发明实施例提供的计算得到每张原始图片的复杂因子的流程图，如图2所示，所述S101包括：
将原始训练集中每张原始图片均做如下处理：
S1011，将当前原始图片划分为多块，并计算每块的像素均值；将所述每块的像素均值赋值到当前原始图片对应块位置的所有像素点，得到当前块图片；
具体的，所述将当前原始图片划分为多块，并计算每块的像素均值包括：
S10111，将当前原始图片划分为多块，得到多个分块；
本发明中，采用图片宽高的四分之一将当前原始图片划分为16块，得到多个分块（即16个分块）。
S10112，将每个分块继续划分为多块，得到每个分块对应的多个子分块，并计算每个子分块的像素均值；
具体的，将每个分块再继续划分为16块，得到每个分块对应的16个子分块，并采用线性插值法计算每个子分块的像素均值。
S10113，根据每个分块的所有子分块的像素均值计算得到每个分块的像素均值。
具体的，对当前分块的16个子分块的像素均值求和并除16求平均值得到当前分块的像素均值，通过该方法得到每个分块的像素均值。
将所述每个分块的像素均值赋值到当前原始图片对应块位置的所有像素点，得到当前块图片；
具体的，假设当前原始图片第一块位置有30个像素点，将第一个分块的像素均值赋值到该30个像素点，其余15个分块均按上述方法对应赋值，得到当前块图片。
S1012，根据所述当前原始图片中每个像素点的像素值和所述当前块图片中每个像素点的像素值计算得到当前原始图片的复杂因子。
当前原始图片中有多少个像素点，当前块图片中就对应有多个少像素点。
具体的，所述当前原始图片的复杂因子根据以下公式计算：
Figure SMS_29
；
其中，
Figure SMS_34
为当前原始图片的复杂因子，/>
Figure SMS_36
为当前原始图片或当前块图片总的像素点个数，/>
Figure SMS_38
表示第/>
Figure SMS_40
个像素点，/>
Figure SMS_42
表示第/>
Figure SMS_44
个像素点，/>
Figure SMS_46
表示当前原始图片的像素值，/>
Figure SMS_31
表示当前块图片的像素值，/>
Figure SMS_33
表示激活函数；
Figure SMS_35
表示当前原始图片第/>
Figure SMS_37
个像素点的像素值，/>
Figure SMS_39
表示当前块图片第/>
Figure SMS_41
个像素点的像素值，/>
Figure SMS_43
表示当前原始图片第/>
Figure SMS_45
个像素点的像素值，/>
Figure SMS_30
表示当前块图片第/>
Figure SMS_32
个像素点的像素值。
S102，将全部原始图片的复杂因子从小到大排序，选取排序后的前第一预设数量的复杂因子对应的原始图片作为简单样本集；
复杂因子越大，说明这张图片物体越多，对船舶检测模型造成干扰越多。因此，本发明中，将全部原始图片的复杂因子从小到大排序，选取排序后的前60%的复杂因子对应的原始图片作为简单样本集；例如:100张图片选取60张图片。
S103，将原始训练集中每张原始图片进行模型训练，得到每张原始图片的损失值；
具体的，图3是所述S103包括：
S1031，将原始训练集中每张原始图片输入到初始船舶检测模型中进行模型训练，得到当前轮对应的每张原始图片的损失值以及当前轮更新船舶检测模型；
S1032，将测试集中每张测试图片输入到所述当前轮更新船舶检测模型中进行检测，得到当前轮测试集的准确率；判断所述准确率是否大于预设准确率，若是，进入步骤S104；反之，重复S1031、S1032，直至测试集的准确率大于预设准确率，得到最后轮对应的每张原始图片的损失值。
具体的，将原始训练集中每张原始图片输入到初始船舶检测模型中进行第一轮模型训练，得到第一轮对应的每张原始图片的损失值以及第一轮更新船舶检测模型；将测试集中每张测试图片输入到所述第一轮更新船舶检测模型中进行检测，得到正确图片、错误图片；根据正确图片和错误图片计算正确图片的占比，得到第一轮测试集的准确率；判断所述准确率是否大于预设准确率（本发明中设置为34%），若是，则进入步骤S104；反之，将原始训练集中每张原始图片输入到所述第一轮更新船舶检测模型中进行第二轮模型训练，得到第二轮对应的每张原始图片的损失值以及第二轮更新船舶检测模型；将测试集中每张测试图片输入到所述第二轮更新船舶检测模型中进行检测，得到第二轮测试集的准确率，判断所述准确率是否大于预设准确率（本发明中设置为34%），若是，则得到第二轮对应的每张原始图片的损失值，反之，重复上述操作，直至测试集的准确率大于预设准确率。
S104，将全部原始图片的损失值从小到大排序，选取排序后的前第二预设数量的损失值对应的原始图片作为易简样本集；
将上述过程得到的全部原始图片的损失值从小到大排序，选取排序后的前30%的损失值对应的原始图片作为易简样本集；例如：100张图片选取30张图片。
S105，将既属于简单样本集又属于易简样本集的原始图片删除；将原始训练集中除去简单样本集和易简样本集的原始图片作为难例样本集；将所述难例样本集、属于简单样本集但不属于易简样本集的原始图片和属于易简样本集但不属于简单样本集的原始图片进行模型训练，得到当前轮船舶检测模型以及当前轮总损失值；
具体的，将既属于简单样本集又属于易简样本集的原始图片删除；从而减少模型训练的图片数量，加快模型训练；又可以减少训练集中冗余数据，防止模型对既属于简单样本集又属于易简样本集的原始图片过分学习，改成该类数据集过拟现象，对其他数据集造成欠拟现象。
将原始训练集中除去简单样本集和易简样本集的原始图片作为难例样本集；将难例样本集进行模型训练，提高模型对难例样本集的学习，提高模型的检出率。
将属于简单样本集但不属于易简样本集的原始图片和属于易简样本集但不属于简单样本集的原始图片赋值权重，所述权重为S101得到的复杂因子；将赋值权重后的图片进行模型训练。
本发明中，将所述难例样本集、属于简单样本集但不属于易简样本集的原始图片和属于易简样本集但不属于简单样本集的原始图片进行模型训练（即输入到S1032得到的最后轮更新船舶检测模型中进行模型训练），得到当前轮船舶检测模型以及当前轮总损失值；
所述当前轮总损失值根据以下公式计算：
Figure SMS_47
；
其中，
Figure SMS_52
为当前轮总损失值，/>
Figure SMS_55
表示难例样本集的图片张数，/>
Figure SMS_57
表示第/>
Figure SMS_60
张原始难例图片，/>
Figure SMS_62
表示第/>
Figure SMS_63
张原始难例图片的分类损失值，/>
Figure SMS_64
表示第/>
Figure SMS_48
张原始难例图片的回归损失值，/>
Figure SMS_51
表示属于简单样本集但不属于易简样本集的原始图片和属于易简样本集但不属于简单样本集的原始图片的图片张数，/>
Figure SMS_53
表示属于简单样本集但不属于易简样本集的原始图片和属于易简样本集但不属于简单样本集的原始图片中的第/>
Figure SMS_54
张图片，/>
Figure SMS_56
表示第/>
Figure SMS_58
张图片的分类损失值，/>
Figure SMS_59
表示第/>
Figure SMS_61
张图片的回归损失值，
Figure SMS_49
表示第/>
Figure SMS_50
张图片的复杂因子。
S106，重复所述S103~S105，直至当前轮总损失值在预设范围内波动，得到目标船舶检测模型；
具体的，重复所述S103~S105，直至当前轮总损失值在预设范围内（即±0.1%）波动，停止模型训练，得到目标船舶检测模型。
S107，将待检测图片输入到所述目标船舶检测模型中进行检测，得到船舶位置。
图4是本发明实施例提供的一种压缩数据船舶检测系统的结构示意图，如图4所示，该系统包括：
复杂因子计算模块201，用于根据原始训练集中每张原始图片的所有像素点计算得到每张原始图片的复杂因子；
图5是本发明实施例提供的复杂因子计算模块的结构示意图，如图5所示，所述复杂因子计算模块201包括：
将原始训练集中每张原始图片均做如下处理：
分块子模块2011，用于将当前原始图片划分为多块，并计算每块的像素均值；将所述每块的像素均值赋值到当前原始图片对应块位置的所有像素点，得到当前块图片；
所述分块子模块2011包括：
第一划分单元，用于将当前原始图片划分为多块，得到多个分块；
本发明中，采用图片宽高的四分之一将当前原始图片划分为16块，得到多个分块（即16个分块）。
第二划分单元，用于将每个分块继续划分为多块，得到每个分块对应的多个子分块，并计算每个子分块的像素均值；
具体的，将每个分块再继续划分为16块，得到每个分块对应的16个子分块，并采用线性插值法计算每个子分块的像素均值。
计算单元，用于根据每个分块的所有子分块的像素均值计算得到每个分块的像素均值。
具体的，对当前分块的16个子分块的像素均值求和并除16求平均值得到当前分块的像素均值，通过该方法得到每个分块的像素均值。
将所述每个分块的像素均值赋值到当前原始图片对应块位置的所有像素点，得到当前块图片；
具体的，假设当前原始图片第一块位置有30个像素点，将第一个分块的像素均值赋值到该30个像素点，其余15个分块均按上述方法对应赋值，得到当前块图片。
复杂因子计算子模块2012，用于根据所述当前原始图片中每个像素点的像素值和所述当前块图片中每个像素点的像素值计算得到当前原始图片的复杂因子。
第一筛选模块202，用于将全部原始图片的复杂因子从小到大排序，选取排序后的前第一预设数量的复杂因子对应的原始图片作为简单样本集；
损失值计算模块203，用于将原始训练集中每张原始图片进行模型训练，得到每张原始图片的损失值；
图6是本发明实施例提供的损失值计算模块的结构示意图，如图6所示，所述损失值计算模块203包括：
训练子模块2031，用于将原始训练集中每张原始图片输入到初始船舶检测模型中进行模型训练，得到当前轮对应的每张原始图片的损失值以及当前轮更新船舶检测模型；
判断子模块2032，用于将测试集中每张测试图片输入到所述当前轮更新船舶检测模型中进行检测，得到当前轮测试集的准确率；判断所述准确率是否大于预设准确率，若是，进入所述第二筛选模块；反之，重复所述训练子模块、判断子模块，直至测试集的准确率大于预设准确率，得到最后轮对应的每张原始图片的损失值。
第二筛选模块204，用于将全部原始图片的损失值从小到大排序，选取排序后的前第二预设数量的损失值对应的原始图片作为易简样本集；
模型训练模块205，用于将既属于简单样本集又属于易简样本集的原始图片删除；将原始训练集中除去简单样本集和易简样本集的原始图片作为难例样本集；将所述难例样本集、属于简单样本集但不属于易简样本集的原始图片和属于易简样本集但不属于简单样本集的原始图片进行模型训练，得到当前轮船舶检测模型以及当前轮总损失值；
重复训练模块206，用于重复所述损失值计算模块、第二筛选模块、模型训练模块，直至当前轮总损失值在预设范围内波动，得到目标船舶检测模型；
检测模块207，用于将待检测图片输入到所述目标船舶检测模型中进行检测，得到船舶位置。
本发明还提供了一种计算机存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述的压缩数据船舶检测方法。
上述存储介质中存储有上述软件，该存储介质包括但不限于：光盘、软盘、硬盘、可擦写存储器等。
本发明的有益效果：
本发明提供了一种压缩数据船舶检测方法、系统及计算机存储介质，其中，该方法利用原始图片的复杂因子对原始数据集进行压缩，从而从冗余的数据集筛选出简单样本；利用原始图片的损失值挑选易简样本；对属于简单样本但不属于易简样本、属于易简样本但不属于简单样本的图片进行学习，将既属于简单样本又属于易简样本的图片进行剔除，从而减少训练集数量，加快模型训练，并且使模型降低对既属于简单样本又属于易简样本的过分学习，防止造成对该类型数据集过拟现象，使目标船舶检测模型检测性能更好；提高模型对难例样本集的学习，提高模型的检出率。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (6)

1.一种压缩数据船舶检测方法，其特征在于，包括：
S101，根据原始训练集中每张原始图片的所有像素点计算得到每张原始图片的复杂因子；
S102，将全部原始图片的复杂因子从小到大排序，选取排序后的前第一预设数量的复杂因子对应的原始图片作为简单样本集；
S103，将原始训练集中每张原始图片进行模型训练，得到每张原始图片的损失值；
S104，将全部原始图片的损失值从小到大排序，选取排序后的前第二预设数量的损失值对应的原始图片作为易简样本集；
S105，将既属于简单样本集又属于易简样本集的原始图片删除；将原始训练集中除去简单样本集和易简样本集的原始图片作为难例样本集；将所述难例样本集、属于简单样本集但不属于易简样本集的原始图片和属于易简样本集但不属于简单样本集的原始图片进行模型训练，得到当前轮船舶检测模型以及当前轮总损失值；
S106，重复所述S103～S105，直至当前轮总损失值在预设范围内波动，得到目标船舶检测模型；
步骤S107，将待检测图片输入到所述目标船舶检测模型中进行检测，得到船舶位置；
所述S101包括：
将原始训练集中每张原始图片均做如下处理：
S1011，将当前原始图片划分为多块，并计算每块的像素均值；将所述每块的像素均值赋值到当前原始图片对应块位置的所有像素点，得到当前块图片；
S1012，根据所述当前原始图片中每个像素点的像素值和所述当前块图片中每个像素点的像素值计算得到当前原始图片的复杂因子；
所述当前原始图片的复杂因子根据以下公式计算：
Figure FDA0004220661160000021
其中，factorcomplexity为当前原始图片的复杂因子，N为当前原始图片或当前块图片总的像素点个数，k表示第k个像素点，a表示第a个像素点，pix_ori表示当前原始图片的像素值，pix_avg表示当前块图片的像素值，sigmoid表示激活函数；
所述当前轮总损失值根据以下公式计算：
Figure FDA0004220661160000022
其中，loss总为当前轮总损失值，M表示难例样本集的图片张数，i表示第i张原始难例图片，
Figure FDA0004220661160000023
表示第i张原始难例图片的分类损失值，/>
Figure FDA0004220661160000024
表示第i张原始难例图片的回归损失值，P表示属于简单样本集但不属于易简样本集的原始图片和属于易简样本集但不属于简单样本集的原始图片的图片张数，j表示属于简单样本集但不属于易简样本集的原始图片和属于易简样本集但不属于简单样本集的原始图片中的第j张图片，/>
Figure FDA0004220661160000025
表示第j张图片的分类损失值，/>
Figure FDA0004220661160000026
表示第j张图片的回归损失值，/>
Figure FDA0004220661160000027
表示第j张图片的复杂因子。
2.根据权利要求1所述的方法，其特征在于，所述将当前原始图片划分为多块，并计算每块的像素均值包括：
S10111，将当前原始图片划分为多块，得到多个分块；
S10112，将每个分块继续划分为多块，得到每个分块对应的多个子分块，并计算每个子分块的像素均值；
S10113，根据每个分块的所有子分块的像素均值计算得到每个分块的像素均值。
3.根据权利要求1所述的方法，其特征在于，所述S103包括：
S1031，将原始训练集中每张原始图片输入到初始船舶检测模型中进行模型训练，得到当前轮对应的每张原始图片的损失值以及当前轮更新船舶检测模型；
S1032，将测试集中每张测试图片输入到所述当前轮更新船舶检测模型中进行检测，得到当前轮测试集的准确率；判断所述准确率是否大于预设准确率，若是，进入步骤S104；反之，重复S1031、S1032，直至测试集的准确率大于预设准确率，得到最后轮对应的每张原始图片的损失值。
4.一种压缩数据船舶检测系统，其特征在于，包括：
复杂因子计算模块，用于根据原始训练集中每张原始图片的所有像素点计算得到每张原始图片的复杂因子；
第一筛选模块，用于将全部原始图片的复杂因子从小到大排序，选取排序后的前第一预设数量的复杂因子对应的原始图片作为简单样本集；
损失值计算模块，用于将原始训练集中每张原始图片进行模型训练，得到每张原始图片的损失值；
第二筛选模块，用于将全部原始图片的损失值从小到大排序，选取排序后的前第二预设数量的损失值对应的原始图片作为易简样本集；
模型训练模块，用于将既属于简单样本集又属于易简样本集的原始图片删除；将原始训练集中除去简单样本集和易简样本集的原始图片作为难例样本集；将所述难例样本集、属于简单样本集但不属于易简样本集的原始图片和属于易简样本集但不属于简单样本集的原始图片进行模型训练，得到当前轮船舶检测模型以及当前轮总损失值；
重复训练模块，用于重复所述损失值计算模块、第二筛选模块、模型训练模块，直至当前轮总损失值在预设范围内波动，得到目标船舶检测模型；
检测模块，用于将待检测图片输入到所述目标船舶检测模型中进行检测，得到船舶位置；
所述复杂因子计算模块包括：
将原始训练集中每张原始图片均做如下处理：
分块子模块，用于将当前原始图片划分为多块，并计算每块的像素均值；将所述每块的像素均值赋值到当前原始图片对应块位置的所有像素点，得到当前块图片；
复杂因子计算子模块，用于根据所述当前原始图片中每个像素点的像素值和所述当前块图片中每个像素点的像素值计算得到当前原始图片的复杂因子；
所述当前原始图片的复杂因子根据以下公式计算：
Figure FDA0004220661160000041
其中，factorcomplexity为当前原始图片的复杂因子，N为当前原始图片或当前块图片总的像素点个数，k表示第k个像素点，a表示第a个像素点，pix_ori表示当前原始图片的像素值，pix_avg表示当前块图片的像素值，sigmoid表示激活函数；
所述当前轮总损失值根据以下公式计算：
Figure FDA0004220661160000042
其中，loss总为当前轮总损失值，M表示难例样本集的图片张数，i表示第i张原始难例图片，
Figure FDA0004220661160000043
表示第i张原始难例图片的分类损失值，/>
Figure FDA0004220661160000044
表示第i张原始难例图片的回归损失值，P表示属于简单样本集但不属于易简样本集的原始图片和属于易简样本集但不属于简单样本集的原始图片的图片张数，j表示属于简单样本集但不属于易简样本集的原始图片和属于易简样本集但不属于简单样本集的原始图片中的第j张图片，/>
Figure FDA0004220661160000045
表示第j张图片的分类损失值，/>
Figure FDA0004220661160000046
表示第j张图片的回归损失值，/>
Figure FDA0004220661160000051
表示第j张图片的复杂因子。
5.根据权利要求4所述的系统，其特征在于，所述损失值计算模块包括：
训练子模块，用于将原始训练集中每张原始图片输入到初始船舶检测模型中进行模型训练，得到当前轮对应的每张原始图片的损失值以及当前轮更新船舶检测模型；
判断子模块，用于将测试集中每张测试图片输入到所述当前轮更新船舶检测模型中进行检测，得到当前轮测试集的准确率；判断所述准确率是否大于预设准确率，若是，进入所述第二筛选模块；反之，重复所述训练子模块、判断子模块，直至测试集的准确率大于预设准确率，得到最后轮对应的每张原始图片的损失值。
6.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至3中任一项所述的压缩数据船舶检测方法。
CN202310335897.2A 2023-03-31 2023-03-31 一种压缩数据船舶检测方法、系统及计算机存储介质 Active CN116052096B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310335897.2A CN116052096B (zh) 2023-03-31 2023-03-31 一种压缩数据船舶检测方法、系统及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310335897.2A CN116052096B (zh) 2023-03-31 2023-03-31 一种压缩数据船舶检测方法、系统及计算机存储介质

Publications (2)

Publication Number Publication Date
CN116052096A CN116052096A (zh) 2023-05-02
CN116052096B true CN116052096B (zh) 2023-06-13

Family

ID=86113634

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310335897.2A Active CN116052096B (zh) 2023-03-31 2023-03-31 一种压缩数据船舶检测方法、系统及计算机存储介质

Country Status (1)

Country Link
CN (1) CN116052096B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114743074A (zh) * 2022-06-13 2022-07-12 浙江华是科技股份有限公司 一种基于强弱对抗训练的船舶检测模型训练方法及系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9122960B2 (en) * 2012-11-30 2015-09-01 Adobe Systems Incorporated Patch size adaptation for image enhancement
CN109919108B (zh) * 2019-03-11 2022-12-06 西安电子科技大学 基于深度哈希辅助网络的遥感图像快速目标检测方法
CN110796048B (zh) * 2019-10-18 2022-11-04 武汉大学 一种基于深度神经网络的船舰目标实时检测方法
CN111860336B (zh) * 2020-07-21 2022-02-11 西北工业大学 基于位置感知的高分辨遥感图像倾斜船舶目标检测方法
CN114254146A (zh) * 2020-09-21 2022-03-29 京东方科技集团股份有限公司 图像数据的分类方法、装置和系统
CN113822444A (zh) * 2021-02-09 2021-12-21 日本电气株式会社 模型训练及数据处理的方法、设备和计算机可读存储介质
CN114049627B (zh) * 2022-01-11 2022-04-08 浙江华是科技股份有限公司 可智能选择缩放尺度的船牌检测方法、装置及系统
CN114627338B (zh) * 2022-05-16 2022-09-09 浙江华是科技股份有限公司 一种船舶类别分类模型训练方法、系统及计算机存储介质
CN115601618B (zh) * 2022-11-29 2023-03-10 浙江华是科技股份有限公司 一种磁芯缺陷检测方法、系统及计算机存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114743074A (zh) * 2022-06-13 2022-07-12 浙江华是科技股份有限公司 一种基于强弱对抗训练的船舶检测模型训练方法及系统

Also Published As

Publication number Publication date
CN116052096A (zh) 2023-05-02

Similar Documents

Publication Publication Date Title
CN113011319A (zh) 多尺度火灾目标识别方法及系统
CN114299066B (zh) 基于显著性特征预提取与图像分割的缺陷检测方法和装置
CN110796048A (zh) 一种基于深度神经网络的船舰目标实时检测方法
CN109800220B (zh) 一种大数据清洗方法、系统及相关装置
CN110020650B (zh) 一种基于深度学习识别模型的倾斜车牌的识别方法及装置
WO2022105227A1 (zh) 一种确定空气质量的方法及装置
CN111598825A (zh) 数据处理方法、瑕疵的检测方法、计算设备及存储介质
CN113361645A (zh) 基于元学习及知识记忆的目标检测模型构建方法及系统
CN111597845A (zh) 一种二维码检测方法、装置、设备及可读存储介质
CN114972759A (zh) 基于分级轮廓代价函数的遥感图像语义分割方法
CN109978017B (zh) 难样本采样方法和系统
CN116385374A (zh) 基于卷积神经网络的细胞计数方法
CN113449702B (zh) 遥感图像的目标检测方法、装置、存储介质及电子设备
CN110991437A (zh) 字符识别方法及其装置、字符识别模型的训练方法及其装置
CN116052096B (zh) 一种压缩数据船舶检测方法、系统及计算机存储介质
CN113780287A (zh) 一种多深度学习模型的最优选取方法及系统
CN116137061B (zh) 数量统计模型的训练方法、装置、电子设备及存储介质
CN114419078B (zh) 基于卷积神经网络的表面缺陷区域分割方法及装置
CN111047654A (zh) 一种基于色彩信息的高清高速视频背景建模方法
CN113723414B (zh) 一种蒙面人脸遮挡物分割方法与装置
CN113034432B (zh) 一种产品缺陷检测方法、系统、装置及存储介质
CN112861689A (zh) 一种基于nas技术的坐标识别模型的搜索方法及装置
CN111862144A (zh) 一种确定物体移动轨迹分数的方法及装置
CN111783794B (zh) 一种基于深度可分离卷积残差块和改进nms的多尺度目标检测方法
CN113099217B (zh) 一种视频帧连续性检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant