CN110503161B - 一种基于弱监督yolo模型的矿石泥团目标检测方法和系统 - Google Patents

一种基于弱监督yolo模型的矿石泥团目标检测方法和系统 Download PDF

Info

Publication number
CN110503161B
CN110503161B CN201910805585.7A CN201910805585A CN110503161B CN 110503161 B CN110503161 B CN 110503161B CN 201910805585 A CN201910805585 A CN 201910805585A CN 110503161 B CN110503161 B CN 110503161B
Authority
CN
China
Prior art keywords
sample
target
model
yolo model
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910805585.7A
Other languages
English (en)
Other versions
CN110503161A (zh
Inventor
黄志坚
李方敏
康国华
鄢锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha University
Original Assignee
Changsha University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha University filed Critical Changsha University
Priority to CN201910805585.7A priority Critical patent/CN110503161B/zh
Publication of CN110503161A publication Critical patent/CN110503161A/zh
Application granted granted Critical
Publication of CN110503161B publication Critical patent/CN110503161B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于弱监督YOLO模型的矿石泥团目标检测方法，包括步骤：实时采集传送带上的矿石泥团图像，将采集的矿石泥团图像输入训练好的WS‑YOLO模型中，以获取矿石泥团图像中的泥团目标。WS‑YOLO模型包括顺次连接的DarkNet53网络、FPN网络、第一全连接层、以及第二全连接层，与该第二全连接层连接的目标分类器和目标位置回归模型，以及与目标分类器和目标位置回归模型连接的主动学习模块，其中主动学习模块包括顺次连接的US策略子模块、专家标注子模块、以及样本池，样本池的输出连接到DarkNet53网络的输入。本发明能够解决现有泥团目标检测方法中由于需要大量精确标注样本所导致的工作量大、成本昂贵、周期长等问题，并提高模型在不同矿山之间的可移植能力。

Description

一种基于弱监督YOLO模型的矿石泥团目标检测方法和系统
技术领域
本发明属于矿石检测和计算机视觉技术领域，更具体地，涉及一种基于弱监督YOLO模型的矿石泥团目标检测方法和系统。
背景技术
胶泥是铝土矿石中的主要杂质，如果这些胶泥流入精选环节，将需要更大剂量的化学试剂(如碱等)进行脱硅、除钙，这既增加了生产成本，又带来了环境污染。同时，胶泥团粘性大、抗变形能力强，容易造成生产设备堵塞，影响生产的稳定性。因此，有效剔除铝土矿中的泥团可以节能减排、减少环境污染，并降低成本。
要实现铝土矿石中泥团的自动剔除，首先要实现泥团目标的快速、准确识别与检测。现有的泥团目标检测方法主要包括两类，第一类是基于区域推荐的深度学习目标检测算法(也称为两阶段方法)，其第一阶段用区域推荐产生候选目标，第二阶段用卷积神经网络(包括R-CNN、快速R-CNN、更快速R-CNN、SPP-NET、以及R-FCN等)进行分类。第二类是基于回归方法的深度学习目标检测算法，其将检测问题作为回归问题进行处理，直接使用YOLO系列深度神经网络(包括YOLO、YOLO9000和YOLOv3等)来预测目标位置与类别。
然而，上述泥团目标检测方法仍存在一些不可忽略的技术问题：1、其使用的神经网络模型都属于强监督训练模型，其模型训练依赖于大量精确标注的样本。但在铝土矿泥团检测这一视觉任务中，由于同一幅图中通常包含多个不同尺度的目标(泥团的直径通常在5cm～50cm这么大的范围)，因此获取大量精确标注的样本工作量非常大，成本昂贵，周期漫长；2、由于矿石往往裹覆泥浆，加之泥团目标与矿石目标形状差异并不明显，使得二者之间的差异更小，因此，往往需要标注专家经过仔细辨认识别后方可进行标注，这进一步增加了精确标注的工作量；3、由于矿石与泥团的成分在不同矿山之间存在较大的变化(体现在矿石与泥团的颜色、纹理等特征上)，需要目标检测模型在不同矿山之间具有较强的可移植能力。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种基于弱监督YOLO模型的矿石泥团目标检测方法和系统，其目的在于，解决现有泥团目标检测方法中模型训练需要精确标注大量样本所导致的工作量大、成本昂贵、周期长的技术问题，以及现有模型在不同矿山之间可移植能力差的问题。
为实现上述目的，按照本发明的一个方面，提供了一种基于弱监督YOLO模型的矿石泥团目标检测方法，包括步骤：
(1)实时采集传送带上的矿石泥团图像；
(2)将步骤(1)采集的矿石泥团图像输入训练好的WS-YOLO模型中，以获取矿石泥团图像中的泥团目标。
优选地，WS-YOLO模型包括顺次连接的DarkNet53网络、FPN网络、第一全连接层、以及第二全连接层，与该第二全连接层连接的目标分类器和目标位置回归模型，以及与目标分类器和目标位置回归模型连接的主动学习模块，其中主动学习模块包括顺次连接的US策略子模块、专家标注子模块、以及样本池，样本池的输出连接到DarkNet53网络的输入。
优选地，DarkNet53层输出三个尺度的特征f1、f2和f3，其特征大小分别为52x52x255、26x26x255、以及13x13x255；FPN网络对这三个特征进行特征层间融合之后，得到特征f4、f5、以及f6，其中f4是f3通过1×1的卷积层进行降维之后获得的，f5是通过1×1的卷积层对f2进行降维，然后对f4进行上采样，然后将两者对应元素相加获得的；f6是通过1×1的卷积层对f1进行降维，然后对f5进行上采样，然后将两者对应元素相加获得的。
优选地，两个全连接层对特征f4、f5、以及f6进行特征降维和重排，以得到降维和重排后的特征，其被分为两路分别送入目标分类器δc和目标位置回归模型δl进行目标分类和位置回归，目标分类器δc根据降维和重排后的特征得到目标的类别和类别置信度，目标位置回归模型δl根据降维和重排后的特征得到样本的位置和位置置信度，US策略子模块根据目标分类器δc输出的类别置信度和目标位置回归模型δl输出的位置置信度，从样本中选择具有不确定性的样本，并将该具备不确定性的样本发送到专家标注子模块进行标注，专家标注子模块供专家对来自US策略子模块的具备不确定性的样本进行简单修正，样本池包括存储已标注样本的已标注部分、以及存储未标注样本的未标注部分。
优选地，WS-YOLO模型的是通过以下步骤进行训练的：
(a)对WS-YOLO模型进行预训练，以得到预训练后的WS-YOLO模型；
(b)对步骤(a)预训练后的WS-YOLO模型进行迁移训练，以得到迁移训练后的WS-YOLO模型；
(c)对步骤(b)迁移训练后的WS-YOLO模型进行基于主动学习的训练，以得到训练好的WS-YOLO模型。
优选地，步骤(a)具体包括以下步骤：
(a1)获取公开数据集，并将该公开数据集划分为训练子集和验证子集；
(a2)关闭WS-YOLO模型中的主动学习模块，即US策略子模块、专家标注子模块不启动；
(a3)随机初始化WS-YOLO模型的网络参数；
(a4)将训练子集分为多个样本批次，将其中一个样本批次输入WS-YOLO模型，以得到对应的损失函数值；
(a5)根据步骤(a4)得到的损失函数值，并采用随机梯度下降法和链式法则更新WS-YOLO模型的网络参数；
(a6)针对训练子集中的剩余样本批次，重复上述步骤(a4)到(a5)，直到WS-YOLO模型收敛为止，从而得到预训练后的WS-YOLO模型。
优选地，步骤(b)具体包括以下步骤：
(b1)获取精确标注的矿石泥团样本集合。
(b2)关闭预训练后的WS-YOLO模型中的主动学习模块，即US策略子模块、专家标注子模块不启动。
(b3)将预训练后的WS-YOLO模型中的参数设置为初始化参数。
(b4)将精确标注的矿石泥团样本集合分为多个样本批次，将其中一个样本批次输入WS-YOLO模型，以得到对应的损失函数值；
(b5)根据步骤(b4)得到的损失函数值，并采用随机梯度下降法和链式法则更新WS-YOLO模型的网络参数；
(b6)针对训练子集中的剩余样本批次，重复上述步骤(b4)到(b5)，直到WS-YOLO模型收敛为止，从而得到迁移训练后的WS-YOLO模型。
优选地，步骤(c)具体包括以下步骤：
(c1)打开迁移训练后的WS-YOLO模型中的主动学习模块，即US策略子模块、专家标注子模块启动；
(c2)将迁移训练后的WS-YOLO模型中的参数设置为初始化参数；
(c3)从样本池的未标注部分中选择多个未标注样本，并输入WS-YOLO模型进行目标检测，以得到目标检测结果；
(c4)使用US策略子模块并根据目标检测结果选择具有不确定性的样本，并将该具备不确定性的样本发送到专家标注子模块进行标注；
(c5)使用专家标注子模块对具备不确定性的样本进行简单修正；
(c6)将修正后的样本扩充到样本池的已标注部分中；
(c7)用扩充后的已标注样本对WS-YOLO模型进行训练；
(c8)针对样本池的未标注部分中的剩余样本，重复上述步骤(c3)到(c7)，直到未标注部分中的全部样本都被处理完毕为止，从而得到训练好的WS-YOLO模型。
优选地，步骤(c5)中，对于目标分类器δc输出的样本，仅须对该样本的目标类别进行确认；对于目标位置回归模型δl输出的样本，仅须对该样本对应的目标位置进行修正。
按照本发明的另一方面，提供了一种基于弱监督YOLO模型的矿石泥团目标检测系统，包括：
第一模块，用于实时采集传送带上的矿石泥团图像；
第二模块，用于将第一模块采集的矿石泥团图像输入训练好的WS-YOLO模型中，以获取矿石泥团图像中的泥团目标。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
(1)由于本发明将弱监督分类的思想引入到YOLO v3目标检测模型中，得到一种弱监督YOLO模型，该模型仅利用少量精确标注的样本和较多无标注的样本进行训练，即可达到与采用大量精确标注样本训练的YOLO v3模型一样的性能，因此本发明能够解决现有目标检测方法中由于模型训练需要精确标注大量样本数据所导致的工作量大、成本昂贵、周期长的技术问题。
(2)相比于YOLO v3模型，本发明的WS-YOLO模型降低了对训练样本的依赖程度，因此大大扩展了YOLO v3的应用范围，降低了样本标注的成本和周期，提高了模型在不同矿山之间的可移植能力。
(3)本发明对现有YOLO v3模型的网络结构进行了优化调整，即在DarkNet53和全连接层间加入了特征金字塔网络层，从而能够更好地融合利用多尺度特征，进一步提高了多尺度目标的检测能力。
附图说明
图1是本发明使用的弱监督YOLO模型的训练和检测过程示意图。
图2是本发明使用的弱监督YOLO模型的网络结构图。
图3是本发明使用的弱监督YOLO模型中特征金字塔网络的结构图。
图4(a)和图4(b)是使用本发明基于弱监督YOLO模型的矿石泥团目标检测方法得到的检测效果。
图5是本发明基于弱监督YOLO模型的矿石泥团目标检测方法的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图5所示，本发明提供了一种基于弱监督YOLO模型的矿石泥团目标检测方法，包括步骤：
(1)实时采集传送带上的矿石泥团图像；
(2)将步骤(1)采集的矿石泥团图像输入训练好的弱监督YOLO模型(Weaklysupervision YOLO，简称WS-YOLO)中，以获取矿石泥团图像中的泥团目标。
如图1所示，本发明使用的弱监督YOLO模型的训练和检测过程为：(1)基于改进的YOLO模型，吸收主动学习的思想，构建弱监督YOLO模型(WS-YOLO)；(2)基于公开数据集COCO进行模型预训练得到初步模型，在此基础上采用少量精标注的铝土矿泥团样本进行迁移训练，更进一步地利用未标注的铝土矿泥团样本进行主动学习，得到精确的WS-YOLO模型；(3)实时采集传送带上的矿石泥团图像，送入训练好的WS-YOLO模型，实现对其中的泥团目标进行实时检测。
如图2所示，本发明提供的WS-YOLO模型其网络结构具有如下特点：(1)对现有YOLO-v3神经网络进行了改进，其具体是在YOLO-v3神经网络的DarkNet53层与全连接层(Full-connection layer，简称FC)之间，插入了特征金字塔(Feature Pyramid Networks，FPN)层，以更好地融合利用多尺度特征，提高目标的检测精度；(2)采用主动学习的思想，在模型训练的过程中加入了不确定样本推荐和专家标注环节，将最值得标注的样本推荐给专家进行标注，并将标注后的样本补充到训练样本池用于重新训练模型，从而降低了模型训练对精确标注样本数量的依赖，进而达到了降低样本标注成本的目的。
本发明的WS-YOLO模型包括顺次连接的DarkNet53网络、FPN网络、第一全连接层、以及第二全连接层，与该第二全连接层连接的目标分类器和目标位置回归模型，与目标分类器和目标位置回归模型连接的主动学习模块，其中主动学习模块包括顺次连接的不确定样本选择(Uncertainty Sampling，简称US)策略子模块、专家标注子模块、以及样本池，样本池的输出连接到DarkNet53网络的输入。
如图3所示，DarkNet53层输出了三个尺度的特征f1、f2和f3(其特征大小分别为52x52x255、26x26x255、以及13x13x255)，FPN网络对这三个特征进行特征层间融合之后，得到特征f4、f5、以及f6。其中，f4是f3通过1×1的卷积层进行降维之后获得的；f5则需要融合f2和f4，即先通过1×1的卷积层对f2进行降维，然后对f4进行上采样，然后将两者对应元素相加；f6则需要融合f1和f5，即先通过1×1的卷积层对f1进行降维，然后对f5进行上采样，然后将两者对应元素相加。
通过DarkNet53和FPN网络进行特征提取之后，特征f4、f5、以及f6被送入两个全连接层进行特征降维和重排，随后降维和重排后的特征分为两路被分别送入目标目标分类器δc和目标位置回归模型δl进行目标分类和位置回归。
与YOLO v3模型一样，目标分类器δc是一个逻辑(logistics)目标分类器。与YOLOv3模型不一样的是本应用中仅需对两类目标进行区别，即泥团目标与非泥团目标。
与YOLO v3模型一样，目标位置回归模型δl也是采用逻辑回归模型，用于预测目标的位置，并据此计算目标边框与真实边框之间的重叠程度。
本发明采用的US策略子模块根据目标分类器δc输出的类别置信度和目标位置回归模型δl输出的位置置信度，从样本中选择具有不确定性的样本，并将该具备不确定性的样本发送到专家标注子模块进行标注。
对于目标分类器δc，不确定目标是指类别置信度界于0.45～0.55之间的目标，即界于类别0和类别1的中间地带，其类别判定模棱两可。对于目标位置回归模型δl，不确定的目标是指位置置信度低于0.2～0.4，置信度越低说明不确定性越高。本发明在上述两类模型中，不确定性所包含的具体的含义有细微差别。
本发明所述的专家标注子模块实际是一个人机交互界面，供专家对来自US策略子模块的具备不确定性的样本进行简单修正。
具体而言，对于目标分类器δc输出的样本，仅须对该样本的目标类别进行确认；对于目标位置回归模型δl输出的样本，仅须对该样本对应的目标位置进行修正。
本发明的样本池实际上是一个矿石泥团样本数据库，其包括存储已标注样本的已标注部分、以及存储未标注样本的未标注部分，已标注样本被用于对本发明的WS-YOLO模型进行训练，得到的WS-YOLO模型对未标注样本进行目标检测，专家对检测结果进行验证，将验证后的检测结果作为标注样本加入到已标注样本中，重新对WS-YOLO模型进行训练，如此迭代。
本发明提出的WS-YOLO模型的训练过程包括预训练、迁移训练和主动学习3个阶段，具体而言，包括：
(1)对WS-YOLO模型进行预训练，以得到预训练后的WS-YOLO模型；
本过程具体包括以下步骤：
(1-1)获取公开数据集，并将该公开数据集划分为训练子集和验证子集；
具体而言，本发明中获取的公开数据集是公开目标检测COCO数据集，其可以从诸如网址http://cocodataset.org/#home的途径获取；然后随机从公开数据集中抽取70％的样本组成训练子集，剩余的样本为验证子集；
(1-2)关闭WS-YOLO模型中的主动学习模块，即US策略子模块、专家标注子模块不启动；
(1-3)随机初始化WS-YOLO模型的网络参数；
(1-4)将训练子集分为多个样本批次(batch)，将其中一个样本批次输入WS-YOLO模型，以得到对应的损失函数值；
具体而言，所有样本批次中所包含的样本图像的数量(即Batch size)是相等的，可以为8、16或32个。
(1-5)根据步骤(1-4)得到的损失函数值，并采用随机梯度下降法和链式法则更新WS-YOLO模型的网络参数；
(1-6)针对训练子集中的剩余样本批次，重复上述步骤(1-4)到(1-5)，直到WS-YOLO模型收敛为止，从而得到预训练后的WS-YOLO模型。
(2)对步骤(1)预训练后的WS-YOLO模型进行迁移训练，以得到迁移训练后的WS-YOLO模型；
具体而言，上述预训练后的WS-YOLO模型能对自然场景中常见目标进行检测，但对矿石中的泥团目标不具备针对性。迁移训练的目的是使得WS-YOLO模型能对矿石和泥团样本有一定的适应性。
本过程具体包括以下步骤：
(2-1)获取精确标注的矿石泥团样本集合。
具体而言，本步骤中精确标注的矿石泥团样本集合是从铝土矿传送带上采集，并由专家对其中的泥团目标用矩形框进行过标注，该矿石泥团样本集合中的图像数量为500张。
(2-2)关闭预训练后的WS-YOLO模型中的主动学习模块，即US策略子模块、专家标注子模块不启动。
(2-3)将预训练后的WS-YOLO模型中的参数设置为初始化参数。
(2-4)将精确标注的矿石泥团样本集合分为多个样本批次，将其中一个样本批次输入WS-YOLO模型，以得到对应的损失函数值；
具体而言，所有样本批次中所包含的样本图像的数量(即Batch size)是相等的，可以为8、16或32个。
(2-5)根据步骤(2-4)得到的损失函数值，并采用随机梯度下降法和链式法则更新WS-YOLO模型的网络参数；
(2-6)针对训练子集中的剩余样本批次，重复上述步骤(2-4)到(2-5)，直到WS-YOLO模型收敛为止，从而得到迁移训练后的WS-YOLO模型。
实验表明，在迁移训练阶段，尽管只采用了小批量的精标注样本进行训练，也可以大幅减少后续专家标注的工作量。
(3)对步骤(2)迁移训练后的WS-YOLO模型用大量未标注样本进行基于主动学习的训练，以得到泛化能力更强的WS-YOLO模型。
基于主动学习的训练实际上是一个边检测边训练的多轮次迭代过程。
本过程具体包括以下步骤：
(3-1)打开迁移训练后的WS-YOLO模型中的主动学习模块，即US策略子模块、专家标注子模块启动；
(3-2)将迁移训练后的WS-YOLO模型中的参数设置为初始化参数；
(3-3)从样本池的未标注部分中选择多个未标注样本，并输入WS-YOLO模型进行目标检测，以得到目标检测结果；
具体而言，未标注样本的数量和上述迁移训练过程中矿石泥团样本集合中图像的数量相同。
目标检测结果包括目标分类器δc输出的目标类别、以及目标位置回归模型δl输出的目标位置。
(3-4)使用US策略子模块并根据目标检测结果选择具有不确定性的样本，并将该具备不确定性的样本发送到专家标注子模块进行标注；
(3-5)使用专家标注子模块对具备不确定性的样本进行简单修正；
具体而言，对于目标分类器δc输出的样本，仅须对该样本的目标类别进行确认；对于目标位置回归模型δl输出的样本，仅须对该样本对应的目标位置进行修正。
(3-6)将修正后的样本扩充到样本池的已标注部分中；
(3-7)用扩充后的已标注样本对WS-YOLO模型进行训练；
本步骤中训练的过程和上述迁移训练的过程完全相同，在此不再赘述。
(3-8)针对样本池的未标注部分中的剩余样本，重复上述步骤(3-3)到(3-7)，直到未标注部分中的全部样本都被处理完毕为止，从而得到泛化能力更强的WS-YOLO模型。
本发明的技术关键点在于：
(1)本发明将深度神经网络技术引入到矿中的泥团检测这一应用场景中来，提出了一种弱监督YOLO模型用于矿石中的泥团目标检测。
(2)本发明提出的弱监督目标检测模型(称之为WS-YOLO模型)，以改进的YOLO-v3模型做基本目标检测器，并采用基于不确定性策略的主动学习做弱监督训练。
(3)本发明涉及的改进的YOLO-v3模型，在原来的YOLO-v3模型之中加入了特征金字塔网络FPN，以更好地综合利用多尺度特征，获得更加鲁棒的高层语义特征，从而使得学习过程更加高效，且能够更好地检测小目标。
(4)本发明采用特征金字塔网络与传统的FPN网络的主要区别在于：1)特征层f1、f2和f3并不是通过ResNet等网络直接从图像层构建，而是通过YOLO-v3网络中的DarkNet53构建；2)特征层f1、f2和f3的维度固定为52×52×255、26×26×255、13×13×255；3)f4、f5和f6并没有直接用于预测，而是通过全连接层FC之后融入到YOLO-v3网络之中进行预测。
(5)本发明所述的专家标注并不需要对样本进行重新标注，仅需要对模型检测的结果做简单修正。对于目标分类器δc推荐的样本，仅须对样本类别进行确认；对于目标位置回归模型δl推荐的样本，仅须对目标的位置进行修正。
(6)本发明提出的训练方法包括：预训练、迁移训练和主动学习分为3个阶段。
(7)其中主动学习的训练是一个多轮次迭代过程：每次从样本池选择一批未标注样本提交给上述训练的目标检测器；根据检测的结果，基于不确定样本选择策略，系统将不确定性高的样本提交给专家进行修正；修正后的样本扩充到已标注样本池，对模型重新进行训练；训练后的目标检测模型，又用一批未标注样本进行目标检测，如此循环直到专家需要修正的样本数量降低到期望的数量。
测试结果和比较
以下通过铝土矿数据集上的测试来说明本发明的实际效果。
实验中用到的两种模型YOLO-v3和本发明提出的WS-YOLO均采用公开目标检测COCO数据集(http://cocodataset.org/#home)进行预训练。迁移训练和主动学习阶段采用铝土矿数据集进行训练，下表展示的是各轮次(注意这里的轮次与训练迭代次数不一样，每轮次训练样本数固定，可包含多次迭代)训练使用的样本张数和目标个数，实验结果如下表所示：
Figure BDA0002183563090000131
由表所示，YOLO-v3采用的是强监督学习，使用8683张图中标注的17345个泥团目标进行训练，得到的测试精度指标mAP为93.7％。WS-YOLO模型，第0轮次训练(即迁移训练)随机选择500张图片进行训练，其中包括1128个泥团目标；随后主动学习各轮次的训练中，选择的样本数目由主动学习中的不确定样本挑选(US)策略推荐决定，由专家在线标注。WS-YOLO模型通过7轮次训练，可获得95.6％的mAP，而总共用到了1867张样本图片(包括初始训练的500张样本图片)，共标注3583个泥团目标。从本实验不难得出如下结论：
(1)在铝土矿样本数据集上，MS-YOLO模型所需标注样本数约为YOLO-v3模型的1/5。这得益于主动学习机制的使用，US策略仅推荐最值得标注的样本给专家标注，从而大大降低了样本标注所耗费的精力。
(2)MS-YOLO模型的目标检测精度略有提升，这得益于特征金字塔FPN网络的使用，能够更好地利用多尺度特征，从而对小的泥团目标有更好的检测效果。
值得注意的是，在本发明的MS-YOLO模型中，专家并不需要对样本进行重新标注，仅需要对模型检测的结果做简单修正(要么仅修改目标类别，要么仅修改目标位置框)，所以实际上整体标注的工作量会更低。
最终得到的目标检测器的泥团检测效果如图4(a)和(b)所示，从图中可以看出：尽管铝土矿中的泥团与矿石在颜色、纹理、形状等方面仅有细微差别，但本发明提出WS-YOLO模型能有效区分矿石和泥团目标，并实现多尺度泥团目标的实时检测。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于弱监督YOLO模型的矿石泥团目标检测方法，其特征在于，包括步骤：
(1)实时采集传送带上的矿石泥团图像；
(2)将步骤(1)采集的矿石泥团图像输入训练好的WS-YOLO模型中，以获取矿石泥团图像中的泥团目标，其中，WS-YOLO模型包括顺次连接的DarkNet53网络、FPN网络、第一全连接层、以及第二全连接层，与该第二全连接层连接的目标分类器和目标位置回归模型，以及与目标分类器和目标位置回归模型连接的主动学习模块，其中主动学习模块包括顺次连接的US策略子模块、专家标注子模块、以及样本池，样本池的输出连接到DarkNet53网络的输入；
DarkNet53层输出三个尺度的特征f1、f2和f3，其特征大小分别为52x52x255、26x26x255、以及13x13x255；
FPN网络对这三个特征进行特征层间融合之后，得到特征f4、f5、以及f6，其中
f4是f3通过1×1的卷积层进行降维之后获得的；
f5是通过1×1的卷积层对f2进行降维，然后对f4进行上采样，然后将两者对应元素相加获得的；
f6是通过1×1的卷积层对f1进行降维，然后对f5进行上采样，然后将两者对应元素相加获得的；
两个全连接层对特征f4、f5、以及f6进行特征降维和重排，以得到降维和重排后的特征，其被分为两路分别送入目标分类器δc和目标位置回归模型δ1进行目标分类和位置回归；
目标分类器δc根据降维和重排后的特征得到目标的类别和类别置信度；
目标位置回归模型δ1根据降维和重排后的特征得到目标的位置和位置置信度；
US策略子模块根据目标分类器δc输出的类别置信度和目标位置回归模型δ1输出的位置置信度，从样本中选择具有不确定性的样本，并将该具有不确定性的样本发送到专家标注子模块进行标注；
专家标注子模块供专家对来自US策略子模块的具备不确定性的样本进行简单修正；
WS-YOLO模型的是通过以下步骤进行训练的：
(a)对WS-YOLO模型进行预训练，以得到预训练后的WS-YOLO模型；
(b)对步骤(a)预训练后的WS-YOLO模型进行迁移训练，以得到迁移训练后的WS-YOLO模型；
(c)对步骤(b)迁移训练后的WS-YOLO模型进行基于主动学习的训练，以得到训练好的WS-YOLO模型；
步骤(a)具体包括以下步骤：
(a1)获取公开数据集，并将该公开数据集划分为训练子集和验证子集；
(a2)关闭WS-YOLO模型中的主动学习模块，即US策略子模块、专家标注子模块不启动；
(a3)随机初始化WS-YOLO模型的网络参数；
(a4)将训练子集分为多个样本批次，将其中一个样本批次输入WS-YOLO模型，以得到对应的损失函数值；
(a5)根据步骤(a4)得到的损失函数值，并采用随机梯度下降法和链式法则更新WS-YOLO模型的网络参数；
(a6)针对训练子集中的剩余样本批次，重复上述步骤(a4)到(a5)，直到WS-YOLO模型收敛为止，从而得到预训练后的WS-YOLO模型；
步骤(b)具体包括以下步骤：
(b1)获取精确标注的矿石泥团样本集合；
(b2)关闭预训练后的WS-YOLO模型中的主动学习模块，即US策略子模块、专家标注子模块不启动；
(b3)将预训练后的WS-YOLO模型中的参数设置为初始化参数；
(b4)将精确标注的矿石泥团样本集合分为多个样本批次，将其中一个样本批次输入WS-YOLO模型，以得到对应的损失函数值；
(b5)根据步骤(b4)得到的损失函数值，并采用随机梯度下降法和链式法则更新WS-YOLO模型的网络参数；
(b6)针对训练子集中的剩余样本批次，重复上述步骤(b4)到(b5)，直到WS-YOLO模型收敛为止，从而得到迁移训练后的WS-YOLO模型；
步骤(c)具体包括以下步骤：
(c1)打开迁移训练后的WS-YOLO模型中的主动学习模块，即US策略子模块、专家标注子模块启动；
(c2)将迁移训练后的WS-YOLO模型中的参数设置为初始化参数；
(c3)从样本池的未标注部分中选择多个未标注样本，并输入WS-YOLO模型进行目标检测，以得到目标检测结果；
(c4)使用US策略子模块并根据目标检测结果选择具有不确定性的样本，并将该具备不确定性的样本发送到专家标注子模块进行标注；
(c5)使用专家标注子模块对具备不确定性的样本进行简单修正；
(c6)将修正后的样本扩充到样本池的已标注部分中；
(c7)用扩充后的已标注样本对WS-YOLO模型进行训练；
(c8)针对样本池的未标注部分中的剩余样本，重复上述步骤(c3)到(c7)，直到未标注部分中的全部样本都被处理完毕为止，从而得到训练好的WS-YOLO模型；
步骤(c5)中，对于目标分类器δc输出的样本，仅须对该样本的目标类别进行确认；对于目标位置回归模型δ1输出的样本，仅须对该样本对应的目标位置进行修正。
2.根据权利要求1所述的矿石泥团目标检测方法，其特征在于，样本池包括存储已标注样本的已标注部分、以及存储未标注样本的未标注部分。
3.一种基于弱监督YOLO模型的矿石泥团目标检测系统，其特征在于，包括：
第一模块，用于实时采集传送带上的矿石泥团图像；
第二模块，用于将第一模块采集的矿石泥团图像输入训练好的WS-YOLO模型中，以获取矿石泥团图像中的泥团目标，其中，WS-YOLO模型包括顺次连接的DarkNet53网络、FPN网络、第一全连接层、以及第二全连接层，与该第二全连接层连接的目标分类器和目标位置回归模型，以及与目标分类器和目标位置回归模型连接的主动学习模块，其中主动学习模块包括顺次连接的US策略子模块、专家标注子模块、以及样本池，样本池的输出连接到DarkNet53网络的输入；
DarkNet53层输出三个尺度的特征f1、f2和f3，其特征大小分别为52x52x255、26x26x255、以及13x13x255；
FPN网络对这三个特征进行特征层间融合之后，得到特征f4、f5、以及f6，其中
f4是f3通过1×1的卷积层进行降维之后获得的；
f5是通过1×1的卷积层对f2进行降维，然后对f4进行上采样，然后将两者对应元素相加获得的；
f6是通过1×1的卷积层对f1进行降维，然后对f5进行上采样，然后将两者对应元素相加获得的；
两个全连接层对特征f4、f5、以及f6进行特征降维和重排，以得到降维和重排后的特征，其被分为两路分别送入目标分类器δc和目标位置回归模型δ1进行目标分类和位置回归；
目标分类器δc根据降维和重排后的特征得到目标的类别和类别置信度；
目标位置回归模型δ1根据降维和重排后的特征得到目标的位置和位置置信度；
US策略子模块根据目标分类器δc输出的类别置信度和目标位置回归模型δ1输出的位置置信度，从样本中选择具有不确定性的样本，并将该具有不确定性的样本发送到专家标注子模块进行标注；
专家标注子模块供专家对来自US策略子模块的具备不确定性的样本进行简单修正；
WS-YOLO模型的是通过以下步骤进行训练的：
(a)对WS-YOLO模型进行预训练，以得到预训练后的WS-YOLO模型；
(b)对步骤(a)预训练后的WS-YOLO模型进行迁移训练，以得到迁移训练后的WS-YOLO模型；
(c)对步骤(b)迁移训练后的WS-YOLO模型进行基于主动学习的训练，以得到训练好的WS-YOLO模型；
步骤(a)具体包括以下步骤：
(a1)获取公开数据集，并将该公开数据集划分为训练子集和验证子集；
(a2)关闭WS-YOLO模型中的主动学习模块，即US策略子模块、专家标注子模块不启动；
(a3)随机初始化WS-YOLO模型的网络参数；
(a4)将训练子集分为多个样本批次，将其中一个样本批次输入WS-YOLO模型，以得到对应的损失函数值；
(a5)根据步骤(a4)得到的损失函数值，并采用随机梯度下降法和链式法则更新WS-YOLO模型的网络参数；
(a6)针对训练子集中的剩余样本批次，重复上述步骤(a4)到(a5)，直到WS-YOLO模型收敛为止，从而得到预训练后的WS-YOLO模型；
步骤(b)具体包括以下步骤：
(b1)获取精确标注的矿石泥团样本集合；
(b2)关闭预训练后的WS-YOLO模型中的主动学习模块，即US策略子模块、专家标注子模块不启动；
(b3)将预训练后的WS-YOLO模型中的参数设置为初始化参数；
(b4)将精确标注的矿石泥团样本集合分为多个样本批次，将其中一个样本批次输入WS-YOLO模型，以得到对应的损失函数值；
(b5)根据步骤(b4)得到的损失函数值，并采用随机梯度下降法和链式法则更新WS-YOLO模型的网络参数；
(b6)针对训练子集中的剩余样本批次，重复上述步骤(b4)到(b5)，直到WS-YOLO模型收敛为止，从而得到迁移训练后的WS-YOLO模型；
步骤(c)具体包括以下步骤：
(c1)打开迁移训练后的WS-YOLO模型中的主动学习模块，即US策略子模块、专家标注子模块启动；
(c2)将迁移训练后的WS-YOLO模型中的参数设置为初始化参数；
(c3)从样本池的未标注部分中选择多个未标注样本，并输入WS-YOLO模型进行目标检测，以得到目标检测结果；
(c4)使用US策略子模块并根据目标检测结果选择具有不确定性的样本，并将该具备不确定性的样本发送到专家标注子模块进行标注；
(c5)使用专家标注子模块对具备不确定性的样本进行简单修正；
(c6)将修正后的样本扩充到样本池的已标注部分中；
(c7)用扩充后的已标注样本对WS-YOLO模型进行训练；
(c8)针对样本池的未标注部分中的剩余样本，重复上述步骤(c3)到(c7)，直到未标注部分中的全部样本都被处理完毕为止，从而得到训练好的WS-YOLO模型；
步骤(c5)中，对于目标分类器δc输出的样本，仅须对该样本的目标类别进行确认；对于目标位置回归模型δ1输出的样本，仅须对该样本对应的目标位置进行修正。
CN201910805585.7A 2019-08-29 2019-08-29 一种基于弱监督yolo模型的矿石泥团目标检测方法和系统 Active CN110503161B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910805585.7A CN110503161B (zh) 2019-08-29 2019-08-29 一种基于弱监督yolo模型的矿石泥团目标检测方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910805585.7A CN110503161B (zh) 2019-08-29 2019-08-29 一种基于弱监督yolo模型的矿石泥团目标检测方法和系统

Publications (2)

Publication Number Publication Date
CN110503161A CN110503161A (zh) 2019-11-26
CN110503161B true CN110503161B (zh) 2023-06-27

Family

ID=68590229

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910805585.7A Active CN110503161B (zh) 2019-08-29 2019-08-29 一种基于弱监督yolo模型的矿石泥团目标检测方法和系统

Country Status (1)

Country Link
CN (1) CN110503161B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111507379A (zh) * 2020-03-24 2020-08-07 武汉理工大学 基于深度学习的矿石自动识别与粗分拣系统
EP3896602A1 (en) * 2020-04-16 2021-10-20 Vito NV A method and system for training a machine learning model for classification of components in a material stream
CN111659635A (zh) * 2020-06-16 2020-09-15 北京铮实环保工程有限公司 一种基于视觉技术和深度学习的存余垃圾识别方法和装置
CN111860259A (zh) * 2020-07-10 2020-10-30 东莞正扬电子机械有限公司 驾驶检测模型的训练、使用方法、装置、设备及介质
CN112149721B (zh) * 2020-09-10 2023-11-17 南京大学 一种基于主动学习降低标注需求的目标检测方法
CN113807631B (zh) * 2020-12-28 2024-02-06 京东科技控股股份有限公司 回归模型的训练方法、装置、电子设备和存储介质
CN112819010A (zh) * 2021-01-26 2021-05-18 奥特酷智能科技(南京)有限公司 一种基于yolo v3改进的小目标检测方法
CN113469032A (zh) * 2021-06-30 2021-10-01 东北大学 基于改进YOLOv4-Tiny算法的铁矿石品位识别方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105224949A (zh) * 2015-09-23 2016-01-06 电子科技大学 基于跨领域迁移学习的sar图像地物分类方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108038853B (zh) * 2017-12-18 2020-05-26 浙江工业大学 一种基于卷积神经网络和主动学习的瓷砖表面缺陷识别方法
CN109255790A (zh) * 2018-07-27 2019-01-22 北京工业大学 一种弱监督语义分割的自动图像标注方法
CN109064461A (zh) * 2018-08-06 2018-12-21 长沙理工大学 一种基于深度学习网络的钢轨表面缺陷检测方法
CN109409443A (zh) * 2018-11-28 2019-03-01 北方工业大学 一种基于深度学习的多尺度可变形卷积网络目标检测方法
GB2584727B (en) * 2019-06-14 2024-02-28 Vision Semantics Ltd Optimised machine learning

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105224949A (zh) * 2015-09-23 2016-01-06 电子科技大学 基于跨领域迁移学习的sar图像地物分类方法

Also Published As

Publication number Publication date
CN110503161A (zh) 2019-11-26

Similar Documents

Publication Publication Date Title
CN110503161B (zh) 一种基于弱监督yolo模型的矿石泥团目标检测方法和系统
CN111368896B (zh) 基于密集残差三维卷积神经网络的高光谱遥感图像分类方法
CN108052911B (zh) 基于深度学习的多模态遥感影像高层特征融合分类方法
CN109657584B (zh) 辅助驾驶的改进LeNet-5融合网络交通标志识别方法
Kümmerer et al. DeepGaze II: Reading fixations from deep features trained on object recognition
CN109063724B (zh) 一种增强型生成式对抗网络以及目标样本识别方法
CN108734210B (zh) 一种基于跨模态多尺度特征融合的对象检测方法
WO2017113232A1 (zh) 一种基于深度学习的产品分类方法及装置
CN110533041B (zh) 基于回归的多尺度场景文本检测方法
CN106951825A (zh) 一种人脸图像质量评估系统以及实现方法
CN111709311A (zh) 一种基于多尺度卷积特征融合的行人重识别方法
CN103984959A (zh) 一种基于数据与任务驱动的图像分类方法
US20200302185A1 (en) Recognizing minutes-long activities in videos
CN102385592B (zh) 图像概念的检测方法和装置
CN115712740B (zh) 多模态蕴含增强图像文本检索的方法和系统
CN111461129B (zh) 一种基于上下文先验的场景分割方法和系统
CN112529005B (zh) 基于语义特征一致性监督金字塔网络的目标检测方法
CN115410059B (zh) 基于对比损失的遥感图像部分监督变化检测方法及设备
CN115631186B (zh) 一种基于双分支神经网络的工业元件表面缺陷检测方法
CN112364791A (zh) 一种基于生成对抗网络的行人重识别方法和系统
CN112749675A (zh) 一种基于卷积神经网络的马铃薯病害识别方法
CN114092815A (zh) 一种大范围光伏发电设施遥感智能提取方法
Jiang et al. Attention M-net for automatic pixel-level micro-crack detection of photovoltaic module cells in electroluminescence images
CN108229692B (zh) 一种基于双重对比学习的机器学习识别方法
Gong et al. Erroneous pixel prediction for semantic image segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant