CN111222574B - 基于多模型决策级融合的舰船与民船目标检测与分类方法 - Google Patents

基于多模型决策级融合的舰船与民船目标检测与分类方法 Download PDF

Info

Publication number
CN111222574B
CN111222574B CN202010013691.4A CN202010013691A CN111222574B CN 111222574 B CN111222574 B CN 111222574B CN 202010013691 A CN202010013691 A CN 202010013691A CN 111222574 B CN111222574 B CN 111222574B
Authority
CN
China
Prior art keywords
target
ship
model
picture
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010013691.4A
Other languages
English (en)
Other versions
CN111222574A (zh
Inventor
粟嘉
李大伟
陶明亮
张顺
谢坚
张兆林
王伶
韩闯
宫延云
范一飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN202010013691.4A priority Critical patent/CN111222574B/zh
Publication of CN111222574A publication Critical patent/CN111222574A/zh
Application granted granted Critical
Publication of CN111222574B publication Critical patent/CN111222574B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于多模型决策级融合的舰船与民船目标检测与分类方法，在充分分析Faster‑RCNN和YOLOv3模型对不同场景中目标检测的差异性后，通过构造符合舰船识别具体适用场景的决策树，对各模型输出结果进行决策级融合，从而实现多模型对近景和遥感图像内目标检测与识别的优势互补，提高了舰船目标的定位及分类准确度。整个过程脱离人工干预，减少人力成本，使得针对舰船目标的实时检测与识别成为可能。

Description

基于多模型决策级融合的舰船与民船目标检测与分类方法
技术领域
本发明涉及人工智能领域，尤其是一种基于人工智能的图像处理方法。
背景技术
海上目标的检测与识别，对来往船只的安全行驶、及时避难至关重要。目前海面目标的获取主要通过常规技术手段，例如脉冲雷达、声纳等进行目标检测和识别，但这些非成像手段检测的结果一般只给出检测目标的距离、方位、类型(如水面、水下和空中)等，无法对目标的种类进行识别，而现有的基于图像域的舰船目标识别方法人工干预成分较多，成本较高，需要根据经选择所使用的特征、确定特征向量维数，难以形成从特征到类别的一套完整的体系。因此，本项目结合现有多种主流的人工智能方法和模型，采用多模型决策级融合的策略，以提高舰船目标的自动检测和识别的精度，从而达到降低人工参与力度及系统工程化应用的目的。
现有针对舰船目标识别的专利，多着眼于单一场景下(光学遥感或近景自然光场景)单一深度学习模型的提升研究，而本发明着眼于对应用场景及模型检测结果的分析提升，综合考虑了两大应用场景下，对军舰与民船两类目标进行精确的检测与识别。同时针对多模型检测结果，提出了一种基于多模型决策级融合的舰船目标检测与识别方法，充分利用Faster-RCNN的检测性能优势与YOLOv3的识别性能优势，经实验验证，准确度有很大提升。
发明内容
为了克服现有技术的不足，本发明提供一种基于多模型决策级融合的舰船与民船目标检测与分类方法。针对舰船目标的检测与识别，考虑在两大应用场景(近景自然光和光学遥感应用场景)下，对军舰与民船两类目标进行精确的检测与识别。考虑到场景的复杂性及模型的适应性问题，在充分分析Faster-RCNN和YOLOv3模型对不同场景中目标检测的差异性后，提出了一种基于多模型决策级融合的舰船目标检测与识别方法，通过构造符合舰船识别具体适用场景的决策树，对各模型输出结果进行决策级融合，从而实现多模型对近景和遥感图像内目标检测与识别的优势互补，提高了舰船目标的定位及分类准确度。
本发明解决其技术问题所采用的技术方案包括以下步骤：
步骤1：样本数据采集及标注，构造神经网络的数据集，包括训练集和测试集；分为三步完成：
步骤1.1：搜集舰船数据集并进行目标标注，目标来源包括m类军舰及n类民船，涵盖实际应用中所有目标种类，后续通过模型的迁移学习，增加更多的舰船种类；提供一套目标自动标注工具，目标标注工具分为两步：
首先，在每种类别中随机挑选部分图片进行人工标注，包含目标的位置坐标和类别信息，训练神经网络初步模型；然后，利用神经网络初步模型对剩余图片进行自动标注；
其次，对模型标注后的图片通过人工参与的方式进行二次修正，包括目标位置的精修与舰船类别的确认；
最后，将二次修正后的图片再一次进行训练，如此反复，直到目标类别信息全部正确，位置坐标人眼可区分为止；
步骤1.2：从现有公开数据集中挑选出船只类别，按照预定的m类军舰及n类民船标签进行分类，增加数据集中不同背景目标的数目；
步骤1.3：使用所有遥感图片单独建立遥感数据集，使用YOLOv3神经网络预训练一个针对遥感数据集的神经网络模型，对于人眼无法辨认的目标类别，采用自动标注工具，经过多次训练，直至测试集检测与识别的AP值不再提升，进一步提升对遥感目标标注准确率；
步骤2：模型训练及参数调节；
采用多模型训练方法，分为两大类，Faster-RCNN和YOLOv3，两个神经网络独立训练；其中，Faster-RCNN采用残差网络resnet-101和resnet-152，通过使用残差网络，减少神经网络训练过拟合的现象；为了增加输入图片的特征信息，同时将YOLOv3的输入图片尺寸从416×416改为608×608，并改变模型训练的batchsize的大小，batchsize为每次输入神经网络的图片数目，即每次迭代同时输入batchsize张图片，使得在相同硬件条件下神经网络模型抓取到舰船目标更详细的特征属性；
步骤2.1：分别针对Faster-RCNN与YOLOv3两类网络进行训练调参；
其中，Faster-RCNN将目标检测与分类分为两步进行：
第一步，通过卷积神经网络得到输入图片的特征图，将特征图输入区域选择网络得出舰船参考位置；
Input：带标注的训练样本集；
Output：每张图片上预测到的舰船目标的坐标位置，包括左上角(xmin，ymin)和右下角(xmax，ymax)以及目标属于舰船的概率(Obiect probability)；
第二步，根据第一步输出的舰船目标位置坐标，将舰船特征图输入目标分类网络，得到目标的军舰/民船具体分类；
Input：根据第一步输出的位置坐标将目标传入分类网络；
Output：每个目标的具体分类标签(label)和分类概率(Cls probability)；
区域选择网络与目标分类网络共享网络参数，通过两步之间的相互迭代达到收敛，收敛条件为准确度AP值不再变化；
其中，YOLOv3将目标的位置检测当成回归问题，同时预测目标的位置信息和类别信息：
Input：带标注的训练样本集；
Output：每张图片上预测到的舰船目标的坐标位置(xmin，ymin，xmax，ymax)、每个预测框的score；
其中，score是目标概率(Obiect probability)、分类概率(Cls probability)以及IOU三者相乘积的结果，IOU为预测框与真实框交并比；
针对舰船目标尺寸大小的跨度较大问题，使用K-means聚类算法重新聚类，得到适合于舰船目标识别的锚点(anchors)；
步骤2.2：通过使用Faster-RCNN和YOLOv3训练好的神经网络，对测试集图片进行检测，统计分析测试结果，对所有类别中准确度AP低于0.8的舰船类别，通过扩充训练样本量及添加负样本，负样本指与舰船目标特征类似，对模型产生干扰的目标，包括大桥、堤坝、飞机和建筑物，通过对测试结果进行分析，将错误识别成舰船的其他目标作为负样本加入训练集；
步骤2.3：使用YOLOv3单独训练一个分类模型，将数据集中标注的舰船目标从原始图片中截取出来，预设目标位置信息为固定值重新组成新的数据集；
步骤3：针对Faster-RCNN与YOLOv3不同类型网络，提出基于多模型融合的决策树算法，详细步骤如下：
首先针对神经网络目标检测模型得到的输出结果，使用内插值平均正确率(AP，Interpolated average precision)作为指标对其进行简单评估，AP表达式如下：
Figure BDA0002358063440000041
式(1)中，maxk1≥kp(k1)表示在所有大于k的阈值k1中，阈值k1所对应的最大准确度值，Δr(k)表示召回的变化值，N代表测试集中所有目标的个数；
提出基于多模型融合的决策树算法，通过决策树的搭建，分析摄像头传回照片的舰船分类，综合多模型处理结果，得出更具针对性的检测识别结果，决策树具体实现步骤如下：
步骤3.1对从模型得出的识别结果进行清洗：
针对同一目标不同模型输出的多个军舰民船识别结果，对目标检测框之间的交并比(IOU)超过阈值的检测框，选取概率分数最高的作为标签，保证同一目标只存在一个标签；
步骤3.2：统计每张图片目标识别情况的军舰占比P：
Figure BDA0002358063440000042
式中，舰船目标数代表经过步骤3.1清洗后图片中全部预测框的总数，军舰目标数代表所有预测框中，标签为军舰的预测框数目，根据计算得到的P，设定阈值，超过阈值且目标数大于一个即证明图片中包含军舰，输出为军舰；
军舰占比P低于阈值或识别目标数仅为一个时，进入步骤3.4，其余图片进入步骤3.3；
步骤3.3：对进入步骤3.3的图片，使用按照目标尺寸占比原则进一步计算分类分数S：
Figure BDA0002358063440000043
式(3)中，N代表图片中所检测到的舰船目标总数，Prn代表第n个军舰目标的预测概率值，由神经网络模型给出，λn代表第n个军舰目标尺寸占所有检测到的军舰目标尺寸之和的比例，SA,SB,SC,SD,SE代表经过步骤3.1后每个目标分数最高的检测框的面积，PrA,PrB,PrC,PrD,PrE代表每个检测框的概率，S计算如下：
Figure BDA0002358063440000044
Figure BDA0002358063440000051
根据计算得到的新的概率分数，大于阈值的输出图片中包含军舰；
步骤3.4：针对步骤3.2挑选的单目标图片，使用训练好的YOLOv3单分类网络，对多模型输出分类结果不同的单目标图片重新进行检测，将该图片中预测的目标截取出来送入单分类网络进行识别，用此结果替换目标原有的标签，若最终结果为军舰则证明输出图片中包含军舰，从而解决单目标的分类错误高风险问题；
步骤3.5：最后，整个系统返回包含有军舰和民船目标位置及类别信息的结果图。
所述步骤1中训练集和测试集，按照8：2的比例构成神经网络。
所述步骤2中batchsize取值64。
所述步骤3.2中P的阈值取值0.8。
本发明的有益效果在于相比于以往传统的图片处理技术，摆脱了人工干预对目标检测结果的影响，采用基于人工智能的图像处理技术，利用人工智能神经网络在抓取图像特征方面的优异表现，同时考虑了Faster-RCNN和YOLOv3两种神经网络方法，进一步提高舰船目标检测与识别的精度。针对检测识别算法的具体应用，提出一套基于多模型融合的决策树算法，充分利用不同模型在检测能力与识别能力上的优势，考虑舰船目标识别在应用中的具体情况，提高了军舰目标的检测与识别概率。同时，端到端的人工智能神经网络也大大加快了目标检测的速度，整个过程脱离人工干预，减少人力成本，使得针对舰船目标的实时检测与识别成为可能，使我国的舰船目标识别技术具备理论基础和关键技术支撑，为我国现代智能海面监控的发展奠定基础。
附图说明
图1是本发明基于人工智能的图像处理与舰船识别系统流程图。
图2是本发明针对多模型融合结果的决策树算法流程图。
图3是本发明模型对同一目标出现标签不同的预测框展示图。
图4是本发明单张图片分类结果分数计算示意图。
图5是本发明多方案军舰目标识别准确率展示图。
图6是本发明基于人工智能的舰船目标识别效果展示图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
本发明解决其技术问题所采用的技术方案包括以下步骤(相应流程如图1所示)：
步骤1：样本数据采集及标注，构造神经网络的数据集，包括训练集和测试集，按照8:2的比例构成神经网络；分为三步完成：
步骤1.1：搜集尽可能多的舰船数据集并进行目标标注，目标来源包括15类军舰及4类民船，涵盖实际应用中所有目标种类，后续也可以通过模型的迁移学习，增加更多的舰船种类；为了降低图像标注中人工参与的程度，在现有目标手动标注工具的基础上，设计了一套目标自动标注工具，该目标标注工具分为两步：
首先，在每种类别中随机挑选部分图片进行人工标注，包含目标的位置坐标和类别信息，训练神经网络初步模型；然后，利用神经网络初步模型对剩余图片进行自动标注；
其次，对模型标注后的图片通过人工参与的方式进行二次修正，包括目标位置的精修与舰船类别的确认；
最后，将二次修正后的图片再一次进行训练，如此反复，直到目标类别信息全部正确，位置坐标人眼可区分为止，最终形成一套可靠、稳健的舰船目标自动标注工具；通过目标自动标注工具，大大降低了样本搜集过程中的人力成本，提升了标注的准确率；
步骤1.2：从现有公开数据集中挑选出船只类别，按照预定的15类军舰与4类民船标签进行分类，增加数据集中不同背景目标的数目，从而提高数据集在不同复杂背景环境下的普适性；
步骤1.3：针对遥感数据集目标小，特征不易抓取，类别标注困难的问题，使用所有遥感图片单独建立遥感数据集，使用YOLOv3神经网络预训练一个针对遥感数据集的神经网络模型，对于人眼无法辨认的目标类别，采用自动标注工具，经过多次训练，直至测试集检测与识别的AP值不再提升，来进一步提升对遥感目标标注准确率；
步骤2：模型训练及参数调节；
针对复杂环境下的舰船检测与识别问题，采用多模型训练方法，分为两大类，Faster-RCNN和YOLOv3，两个神经网络独立训练；其中，Faster-RCNN采用残差网络resnet-101和resnet-152，通过使用残差网络，减少了神经网络训练过拟合的现象；为了增加输入图片的特征信息，同时将YOLOv3的输入图片尺寸从416×416改为608×608，并改变模型训练的batchsize(每次输入神经网络的图片数目，由硬件配置决定)的大小，本发明改为64，即每次迭代同时输入64张图片，使得在相同硬件条件下神经网络模型抓取到舰船目标更详细的特征属性；
步骤2.1：分别针对Faster-RCNN与YOLOv3两类网络进行训练调参；
Faster-RCNN将目标检测与分类分为两步进行：
第一步，通过卷积神经网络得到输入图片的特征图，将特征图输入区域选择网络(用以训练得出舰船目标的参考坐标)得出舰船参考位置；
Input：带标注的训练样本集；
Output：每张图片上预测到的舰船目标的坐标位置，包括左上角(xmin，ymin)和右下角(xmax，ymax)以及目标属于舰船的概率(Obiect probability)；
第二步，根据第一步输出的舰船目标位置坐标，将舰船特征图输入目标分类网络，得到目标的军舰/民船具体分类；
Input：根据第一步输出的位置坐标将目标传入分类网络；
Output：每个目标的具体分类标签(label)和分类概率(Cls probability)；
区域选择网络与目标分类网络共享网络参数，通过两步之间的相互迭代达到收敛，收敛条件为准确度AP值不再变化，Faster-RCNN对于目标的位置预测相对准确。
YOLOv3一步到位，将目标的位置检测当成回归问题，同时预测目标的位置信息和类别信息：
Input：带标注的训练样本集；
Output：每张图片上预测到的舰船目标的坐标位置(xmin，ymin，xmax，ymax)、每个预测框的score；
其中，score是目标概率(Obiect probability)、分类概率(Cls probability)以及预测框与真实框交并比(IOU)相乘积的结果。
YOLOv3的一大特点是将整张图片的特征输入网络，在抓取舰船目标特征的同时会考虑整张图片背景对目标的影响，这样做的结果使得YOLOv3对于背景的误检率相比Faster-RCNN少了一半。
由于YOLOv3的单步策略，没有多余的网络分支，其处理速度相比分类网络有很大的提升。同时针对舰船目标尺寸大小的跨度较大问题，使用K-means聚类算法重新聚类，得到适合于舰船目标识别的锚点(anchors)，从而提升了模型对于舰船目标检测与识别的准确度。但YOLOv3对于小目标的位置检测相对较差；
步骤2.2：通过使用Faster-RCNN和YOLOv3训练好的神经网络，对测试集图片进行检测，统计分析测试结果，对所有类别中准确度AP低于0.8的舰船类别，通过扩充尽可能多的训练样本量及添加负样本，负样本指与舰船目标特征类似，容易对模型产生干扰的目标，包括大桥、堤坝、飞机和建筑物，通过对测试结果进行分析，把错误识别成舰船的其他目标作为负样本加入训练集，提升识别准确率；
步骤2.3：为了进一步提升舰船目标识别的准确度，使用YOLOv3单独训练一个分类模型，将数据集中标注的舰船目标从原始图片中截取出来，预设目标位置信息为固定值(即整个图片为一个舰船目标，不包含背景信息)重新组成新的数据集，从而使YOLOv3模型对于目标类别的预测进一步收敛，分类准确度进一步提升；
步骤3：由于Faster-RCNN与YOLOv3采用不同的目标锚点(anchor)选择方式，Faster-RCNN对目标特征图的每个特征点都预测K个anchor，相比于YOLOv3针对整张图片的网格分割选取方法，anchor数目更多，目标位置参考框更多，成就了Faster-RCNN对目标位置的精确预测能力。而YOLOv3由于其独特地将目标位置预测问题当成回归问题解决，将整张图片输入网络，在输出层回归边界框的位置及其所属的类别，充分考虑目标与背景的关系，成就了YOLOv3对目标类别的精确预测能力，也不可避免的带来其对目标位置尤其是小目标位置的预测能力缺陷。针对不同类型网络的优劣势，提出基于多模型融合的决策树算法(如图2所示)。
首先针对神经网络目标检测模型得到的输出结果，使用内插值平均正确率(AP，Interpolated average precision)作为指标对其进行简单评估，AP表达式如下：
Figure BDA0002358063440000081
式(1)中，maxk1≥kp(k1)表示在所有大于k的阈值k1中，阈值k1所对应的最大准确度值，Δr(k)表示Recall的变化值，N代表测试集中所有目标的个数；经过统计测试集，YOLOv3结果，军舰AP为0.944，民船AP为0.926。Faster-RCNN结果，军舰AP为0.953，民船AP为0.935。根据AP结果，本发明所制作的数据集在Faster-RCNN和YOLOv3模型上表现良好。
之后为了进一步提高舰船目标检测与识别的准确度，提出基于多模型融合的决策树算法。通过决策树的搭建，分析摄像头传回照片的舰船分类，综合多模型处理结果，得出更具针对性的检测识别结果，本发明以军舰目标为例，输出针对军舰识别准确度更高的结果。决策树具体实现步骤如下：
步骤3.1对从模型得出的识别结果进行清洗：
针对同一目标不同模型输出的多个军舰民船识别结果，对目标检测框之间的交并比(IOU)超过阈值的检测框，选取概率分数最高的作为标签，保证同一目标只会存在一个标签。如图3所示，模型对单个目标可能会预测两个不同标签的边界框(多集中在巡逻艇、补给舰、货船等军舰民船特征类似的类别)，但概率值不同，通过第一步清洗，对IOU超过阈值的检测框，只选取概率最高的标签及检测框，从而保证了单个目标只会存在概率最高的一个标签。
步骤3.2：统计每张图片目标识别情况的军舰占比P：
Figure BDA0002358063440000091
上式中，舰船目标数代表经过步骤3.1清洗后，图片中全部预测框的总数，军舰目标数代表所有预测框中，标签为军舰的预测框数目，根据计算得到的P，设定合适的阈值，本发明的阈值取值0.8，超过阈值且目标数大于一个即证明图片中包含军舰，输出为军舰，阈值的选择根据测试集的识别结果进行修改，寻求最高的识别准确度。这次筛选对图片识别结果要求最高，系统响应速度最快，在多军舰情况下提高模型的响应速度。军舰占比P低于阈值或识别目标数仅为一个(相对多目标的情况，单目标的错误代价更高。因为单目标一旦识别错误，没有其余检测框对其概率进行冲淡，会直接导致最终结果出现错误)时，进入步骤3.4，其余图片进入步骤3.3；
步骤3.3：对进入步骤3.3的图片，使用按照目标尺寸占比原则进一步计算分类分数S：
Figure BDA0002358063440000092
式(3)中，N代表图片中所检测到的舰船目标总数，Prn代表第n个军舰目标的预测概率值(由神经网络模型给出)，λn代表第n个军舰目标尺寸占所有检测到的军舰目标尺寸之和的比例，图4展示一张图片的S值计算，SA,SB,SC,SD,SE代表经过步骤3.1后每个目标分数最高的检测框的面积，PrA,PrB,PrC,PrD,PrE代表每个检测框的概率，S计算如下：
Figure BDA0002358063440000093
Figure BDA0002358063440000101
根据计算得到的新的概率分数，大于阈值的输出图片中包含军舰；
步骤3.4：针对步骤3.2挑选的单目标图片，使用之前训练好的YOLOv3单分类网络，对多模型输出分类结果不同的单目标图片重新进行检测，将该图片中预测的目标截取出来送入单分类网络进行识别，用此结果替换目标原有的标签，若最终结果为军舰则证明输出图片中包含军舰，从而解决单目标的分类错误高风险问题；
步骤3.5：最后，整个系统返回包含有军舰和民船目标位置及类别信息的结果图；
如图6所示，在测试集随机挑选的2000张图片样本(军舰民船按照1：1比例分布)中，采用多模型融合加决策树、多模型融合无决策树和单模型检测三种方案，所述多模型融合是指采用Faster-RCNN和YOLOv3两种模型，所述决策树指步骤3的决策算法，单模型检测是指从Faster-RCNN和YOLOv3两种模型中任选其一，军舰预警信号的准确率结果如图5所示，由图中可以看出，训练好的两类神经网络模型对舰船检测识别的结果，resnet152准确度98.5％，YOLOv3准确度96.9％，相比resnet152，使用多模型结果融合的方案准确率提升0.2％，多模型融合加决策树，准确率提升0.6％，相比YOLOv3提升更大。说明基于多模型决策级融合的方案对舰船检测识别准确度有积极作用，且算法复杂度低，工程应用性强。

Claims (4)

1.一种基于多模型决策级融合的舰船与民船目标检测与分类方法，其特征在于包括下述步骤：
步骤1：样本数据采集及标注，构造神经网络的数据集，包括训练集和测试集；分为三步完成：
步骤1.1：搜集舰船数据集并进行目标标注，目标来源包括m类军舰及n类民船，涵盖实际应用中所有目标种类，后续通过模型的迁移学习，增加更多的舰船种类；提供一套目标自动标注工具，目标自动标注工具分为两步：
首先，在每种类别中随机挑选部分图片进行人工标注，包含目标的位置坐标和类别信息，训练神经网络初步模型；然后，利用神经网络初步模型对剩余图片进行自动标注；
其次，对模型标注后的图片通过人工参与的方式进行二次修正，包括目标位置的精修与舰船类别的确认；
最后，将二次修正后的图片再一次进行训练，如此反复，直到目标类别信息全部正确，位置坐标人眼可区分为止；
步骤1.2：从现有公开数据集中挑选出船只类别，按照预定的m类军舰及n类民船标签进行分类，增加数据集中不同背景目标的数目；
步骤1.3：使用所有遥感图片单独建立遥感数据集，使用YOLOv3神经网络预训练一个针对遥感数据集的神经网络模型，对于人眼无法辨认的目标类别，采用自动标注工具，经过多次训练，直至测试集检测与识别的AP值不再提升，进一步提升对遥感目标标注准确率；
步骤2：模型训练及参数调节；
采用多模型训练方法，分为两大类，Faster-RCNN和YOLOv3，两个神经网络独立训练；其中，Faster-RCNN采用残差网络resnet-101和resnet-152，通过使用残差网络，减少神经网络训练过拟合的现象；为了增加输入图片的特征信息，同时将YOLOv3的输入图片尺寸从416×416改为608×608，并改变模型训练的batchsize的大小，batchsize为每次输入神经网络的图片数目，即每次迭代同时输入batchsize张图片，使得在相同硬件条件下神经网络模型抓取到舰船目标更详细的特征属性；
步骤2.1：分别针对Faster-RCNN与YOLOv3两类网络进行训练调参；
其中，Faster-RCNN将目标检测与分类分为两步进行：
第一步，通过卷积神经网络得到输入图片的特征图，将特征图输入区域选择网络得出舰船参考位置；
Input：带标注的训练样本集；
Output：每张图片上预测到的舰船目标的坐标位置，包括左上角(xmin，ymin)和右下角(xmax，ymax)以及目标属于舰船的概率；
第二步，根据第一步输出的舰船目标位置坐标，将舰船特征图输入目标分类网络，得到目标的军舰/民船具体分类；
Input：根据第一步输出的位置坐标将目标传入分类网络；
Output：每个目标的具体分类标签和分类概率；
区域选择网络与目标分类网络共享网络参数，通过两步之间的相互迭代达到收敛，收敛条件为准确度AP值不再变化；
其中，YOLOv3将目标的位置检测当成回归问题，同时预测目标的位置信息和类别信息：
Input：带标注的训练样本集；
Output：每张图片上预测到的舰船目标的坐标位置(xmin，ymin，xmax，ymax)、每个预测框的score；
其中，score是目标概率、分类概率以及IOU三者相乘积的结果，IOU为预测框与真实框交并比；
针对舰船目标尺寸大小的跨度较大问题，使用K-means聚类算法重新聚类，得到适合于舰船目标识别的锚点；
步骤2.2：通过使用Faster-RCNN和YOLOv3训练好的神经网络，对测试集图片进行检测，统计分析测试结果，对所有类别中准确度AP低于0.8的舰船类别，通过扩充训练样本量及添加负样本，负样本指与舰船目标特征类似，对模型产生干扰的目标，包括大桥、堤坝、飞机和建筑物，通过对测试结果进行分析，将错误识别成舰船的大桥、堤坝、飞机和建筑物作为负样本加入训练集；
步骤2.3：使用YOLOv3单独训练一个分类模型，将数据集中标注的舰船目标从原始图片中截取出来，预设目标位置信息为固定值重新组成新的数据集；
步骤3：针对Faster-RCNN与YOLOv3不同类型网络，提出基于多模型融合的决策树算法，详细步骤如下：
首先针对神经网络目标检测模型得到的输出结果，使用内插值平均正确率AP作为指标对其进行简单评估，AP表达式如下：
Figure FDA0003476388420000031
式(1)中，maxk1≥kp(k1)表示在所有大于k的阈值k1中，阈值k1所对应的最大准确度值，Δr(k)表示召回的变化值，Γ代表测试集中所有目标的个数；
提出基于多模型融合的决策树算法，通过决策树的搭建，分析摄像头传回照片的舰船分类，综合多模型处理结果，得出更具针对性的检测识别结果，决策树具体实现步骤如下：
步骤3.1对从模型得出的识别结果进行清洗：
针对同一目标不同模型输出的多个军舰民船识别结果，对目标检测框之间的交并比(IOU)超过阈值的检测框，选取概率分数最高的作为标签，保证同一目标只存在一个标签；
步骤3.2：统计每张图片目标识别情况的军舰占比P：
Figure FDA0003476388420000032
式中，舰船目标数代表经过步骤3.1清洗后图片中全部预测框的总数，军舰目标数代表所有预测框中，标签为军舰的预测框数目，根据计算得到的P，设定阈值，超过阈值且目标数大于一个即证明图片中包含军舰，输出为军舰；
军舰占比P低于阈值或识别目标数仅为一个时，进入步骤3.4，其余图片进入步骤3.3；
步骤3.3：对进入步骤3.3的图片，使用按照目标尺寸占比原则进一步计算分类分数S：
Figure FDA0003476388420000033
式(3)中，N代表图片中所检测到的舰船目标总数，Prn代表第n个军舰目标的预测概率值，由神经网络模型给出，λn代表第n个军舰目标尺寸占所有检测到的军舰目标尺寸之和的比例，
根据计算得到的新的分类分数，大于阈值的输出图片中包含军舰；
步骤3.4：针对步骤3.2挑选的单目标图片，使用训练好的YOLOv3单分类网络，对多模型输出分类结果不同的单目标图片重新进行检测，将该图片中预测的目标截取出来送入单分类网络进行识别，用此结果替换目标原有的标签，若最终结果为军舰则证明输出图片中包含军舰，从而解决单目标的分类错误高风险问题；
步骤3.5：最后，整个系统返回包含有军舰和民船目标位置及类别信息的结果图。
2.根据权利要求1所述的一种基于多模型决策级融合的舰船与民船目标检测与分类方法，其特征在于：
所述步骤1中训练集和测试集，按照8：2的比例构成神经网络。
3.根据权利要求1所述的一种基于多模型决策级融合的舰船与民船目标检测与分类方法，其特征在于：
所述步骤2中batchsize取值64。
4.根据权利要求1所述的一种基于多模型决策级融合的舰船与民船目标检测与分类方法：
所述步骤3.2中P的阈值取值0.8。
CN202010013691.4A 2020-01-07 2020-01-07 基于多模型决策级融合的舰船与民船目标检测与分类方法 Active CN111222574B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010013691.4A CN111222574B (zh) 2020-01-07 2020-01-07 基于多模型决策级融合的舰船与民船目标检测与分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010013691.4A CN111222574B (zh) 2020-01-07 2020-01-07 基于多模型决策级融合的舰船与民船目标检测与分类方法

Publications (2)

Publication Number Publication Date
CN111222574A CN111222574A (zh) 2020-06-02
CN111222574B true CN111222574B (zh) 2022-04-05

Family

ID=70806295

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010013691.4A Active CN111222574B (zh) 2020-01-07 2020-01-07 基于多模型决策级融合的舰船与民船目标检测与分类方法

Country Status (1)

Country Link
CN (1) CN111222574B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021248269A1 (zh) * 2020-06-08 2021-12-16 上海交通大学 一种变电设备高精度识别方法及系统
CN111914935B (zh) * 2020-08-03 2022-07-15 哈尔滨工程大学 一种基于深度学习的船舶图像目标检测方法
CN112183232A (zh) * 2020-09-09 2021-01-05 上海鹰觉科技有限公司 基于深度学习的船舷号位置定位方法及系统
CN112052817B (zh) * 2020-09-15 2023-09-05 中国人民解放军海军大连舰艇学院 基于迁移学习的改进YOLOv3模型侧扫声纳沉船目标自动识别方法
CN112232396B (zh) * 2020-10-08 2023-01-24 西北工业大学 一种基于lstm与d-s证据理论的舰船编队意图融合识别方法
CN112381043A (zh) * 2020-11-27 2021-02-19 华南理工大学 一种旗帜检测方法
CN112656431A (zh) * 2020-12-15 2021-04-16 中国科学院深圳先进技术研究院 基于脑电的注意力识别方法、装置、终端设备和存储介质
CN112288044B (zh) * 2020-12-24 2021-07-27 成都索贝数码科技股份有限公司 基于树型结构的多尺度残差网络的新闻画面属性识别方法
CN112926381B (zh) * 2021-01-08 2022-06-21 浙江大学 一种基于激光检测技术的水下目标识别系统
CN112686340B (zh) * 2021-03-12 2021-07-13 成都点泽智能科技有限公司 一种基于深度神经网络的密集小目标检测方法
CN113065446B (zh) * 2021-03-29 2022-07-01 青岛东坤蔚华数智能源科技有限公司 一种用于舰艇锈蚀区自动化识别的深度巡检方法
CN113255607A (zh) * 2021-06-30 2021-08-13 北京道达天际科技有限公司 基于多模型融合的遥感房屋检测方法及装置
CN113705327B (zh) * 2021-07-06 2024-02-09 中国电子科技集团公司第二十八研究所 一种基于先验知识的细粒度目标分类方法
KR102471441B1 (ko) * 2021-12-20 2022-11-28 주식회사 아이코어 딥 러닝을 기반으로 고장을 검출하는 비전 검사 시스템
CN115082811A (zh) * 2022-07-27 2022-09-20 大连海事大学 一种依据图像数据的海上航行船舶识别与距离测量的方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105005796A (zh) * 2015-08-10 2015-10-28 中国人民解放军国防科学技术大学 基于层次分析的星载sar图像舰船目标分类方法
CN107273905A (zh) * 2017-06-14 2017-10-20 电子科技大学 一种结合运动信息的目标主动轮廓跟踪方法
CN107609601A (zh) * 2017-09-28 2018-01-19 北京计算机技术及应用研究所 一种基于多层卷积神经网络的舰船目标识别方法
CN108960135A (zh) * 2018-07-03 2018-12-07 西北工业大学 基于高分辨遥感图像的密集舰船目标精确检测方法
CN109492561A (zh) * 2018-10-29 2019-03-19 北京遥感设备研究所 一种基于改进的yolo v2模型的光学遥感图像舰船检测方法
CN110232362A (zh) * 2019-06-18 2019-09-13 西安电子科技大学 基于卷积神经网络和多特征融合的舰船尺寸估计方法
CN110245644A (zh) * 2019-06-22 2019-09-17 福州大学 一种基于深度学习的无人机图像输电杆塔倒伏识别的方法
KR20190131207A (ko) * 2018-05-16 2019-11-26 한양대학교 산학협력단 센서 품질 저하에 강인한 딥러닝 기반 카메라, 라이더 센서 융합 인지 방법 및 시스템
CN110516556A (zh) * 2019-07-31 2019-11-29 平安科技（深圳）有限公司 基于Darkflow-DeepSort的多目标追踪检测方法、装置及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105005796A (zh) * 2015-08-10 2015-10-28 中国人民解放军国防科学技术大学 基于层次分析的星载sar图像舰船目标分类方法
CN107273905A (zh) * 2017-06-14 2017-10-20 电子科技大学 一种结合运动信息的目标主动轮廓跟踪方法
CN107609601A (zh) * 2017-09-28 2018-01-19 北京计算机技术及应用研究所 一种基于多层卷积神经网络的舰船目标识别方法
KR20190131207A (ko) * 2018-05-16 2019-11-26 한양대학교 산학협력단 센서 품질 저하에 강인한 딥러닝 기반 카메라, 라이더 센서 융합 인지 방법 및 시스템
CN108960135A (zh) * 2018-07-03 2018-12-07 西北工业大学 基于高分辨遥感图像的密集舰船目标精确检测方法
CN109492561A (zh) * 2018-10-29 2019-03-19 北京遥感设备研究所 一种基于改进的yolo v2模型的光学遥感图像舰船检测方法
CN110232362A (zh) * 2019-06-18 2019-09-13 西安电子科技大学 基于卷积神经网络和多特征融合的舰船尺寸估计方法
CN110245644A (zh) * 2019-06-22 2019-09-17 福州大学 一种基于深度学习的无人机图像输电杆塔倒伏识别的方法
CN110516556A (zh) * 2019-07-31 2019-11-29 平安科技（深圳）有限公司 基于Darkflow-DeepSort的多目标追踪检测方法、装置及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Ship Detection Based on Deep Convolutional Neural Networks for Polsar Images;Feng Zhou 等;《2018 IEEE International Geoscience and Remote Sensing Symposium》;20181105;第681-684页 *
Ship Detection In SAR Image using YOLOv2;Hamza Mehdi Khan 等;《Proceedings of the 37th Chinese Control Conference》;20181231;第9495-9499页 *
基于深度学习的舰船目标检测与识别;周瑶;《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》;20190115;第2019年卷(第01期);第I138-2786页 *
基于目标分解和加权SVM分类的极化SAR图像舰船检测;邢相薇 等;《信号处理》;20110930;第27卷(第9期);第1440-1445页 *

Also Published As

Publication number Publication date
CN111222574A (zh) 2020-06-02

Similar Documents

Publication Publication Date Title
CN111222574B (zh) 基于多模型决策级融合的舰船与民船目标检测与分类方法
CN111368690B (zh) 基于深度学习的海浪影响下视频图像船只检测方法及系统
CN112052817B (zh) 基于迁移学习的改进YOLOv3模型侧扫声纳沉船目标自动识别方法
CN109165585A (zh) 一种改进的基于yolo v2的船舶目标检测方法
CN114266977B (zh) 基于超分辨可选择网络的多auv的水下目标识别方法
CN113420819B (zh) 一种基于CenterNet的轻量级水下目标检测方法
CN109213204A (zh) 基于数据驱动的auv海底目标搜寻航行系统及方法
CN111540203B (zh) 基于Faster-RCNN调节绿灯通行时间的方法
Farahnakian et al. Object detection based on multi-sensor proposal fusion in maritime environment
CN116310891A (zh) 一种云边协同输电线路缺陷智能检测系统和方法
CN114549909A (zh) 一种基于自适应阈值的伪标签遥感图像场景分类方法
CN117333948A (zh) 一种融合时空注意力机制的端到端多目标肉鸡行为识别方法
CN113129336A (zh) 一种端到端多车辆跟踪方法、系统及计算机可读介质
CN115223107A (zh) 一种贴合运动目标检测框的检测方法
CN110334703B (zh) 一种昼夜图像中的船舶检测和识别方法
Fu et al. Underwater small object detection in side-scan sonar images based on improved YOLOv5
CN115861787A (zh) 面向复杂海事环境的舰艇识别算法
CN115376023A (zh) 基于形变卷积网络的养殖区域检测方法、无人机、介质
Sun et al. Multiple object tracking for yellow feather broilers based on foreground detection and deep learning.
CN114463628A (zh) 一种基于阈值约束的深度学习遥感影像船舰目标识别方法
CN114155428A (zh) 基于Yolo-v3算法的水下声呐侧扫图像小目标检测方法
CN110084190B (zh) 一种基于ann的剧烈光照环境下实时非结构化道路检测方法
CN110895680A (zh) 一种基于区域建议网络的无人艇水面目标检测方法
Li et al. A fast detection method for polynomial fitting lane with self-attention module added
CN116665016B (zh) 一种基于改进YOLOv5的单帧红外弱小目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant