CN113989558B - 基于迁移学习与边界框调节的弱监督目标检测方法 - Google Patents

基于迁移学习与边界框调节的弱监督目标检测方法 Download PDF

Info

Publication number
CN113989558B
CN113989558B CN202111263101.4A CN202111263101A CN113989558B CN 113989558 B CN113989558 B CN 113989558B CN 202111263101 A CN202111263101 A CN 202111263101A CN 113989558 B CN113989558 B CN 113989558B
Authority
CN
China
Prior art keywords
target
auxiliary
network module
bounding box
weak supervision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111263101.4A
Other languages
English (en)
Other versions
CN113989558A (zh
Inventor
左旺孟
董伯文
黄梓桐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN202111263101.4A priority Critical patent/CN113989558B/zh
Publication of CN113989558A publication Critical patent/CN113989558A/zh
Application granted granted Critical
Publication of CN113989558B publication Critical patent/CN113989558B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

基于迁移学习与边界框调节的弱监督目标检测方法，属于图像理解目标检测领域。解决了针对现有技术中依赖传统的候选框生成算法获取目标边界框结果的方式，仍然存在目标边界框回归能力较差，导致弱监督目标检测的定位性能差的缺陷的问题。本发明先利用多阶段迁移学习方法及辅助弱监督目标检测网络模块faux对可学习的边界框调节网络模块g进行训练，来提高训练后的可学习的边界框调节网络模块g′的精度，再利用训练后的可学习的边界框调节网络模块g′对所构建的目标弱监督目标检测网络模块f进行训练，更进一步的提升训练后的目标弱监督目标检测网络模块f′的目标边界框回归能力，最终提高目标检测精度。本发明主要应用于对图像中的目标进行检测。

Description

基于迁移学习与边界框调节的弱监督目标检测方法
技术领域
本发明属于图像理解目标检测领域。
背景技术
目标检测任务是计算机视觉领域中的一项基本任务，旨在从给定的图像中回归出所有物体的边界框以完成定位，并给出上述物体的正确分类。作为一项计算机视觉领域的基本技术，目标检测技术被广泛应用在人脸识别、安防监控、自动驾驶等场景，利用人工智能方法提升相关解决方案的性能。
近年来，随着卷积神经网络与深度学习方法的快速发展，以及大规模的精细标注目标检测数据集的构建并完善，现有的目标检测算法已经获得了相当可观的检测性能提升。但是，上述成功的目标检测算法往往依赖大量实例级别精细标注的数据作为监督信息，而按照实例级别标注成规模的目标检测数据的工作量通常需要很多的资源与时间，因此，存在一定的难度。为了解决这一问题，一系列弱监督目标检测算法被提出。弱监督目标检测算法旨在只使用图像级别的分类标签作为监督信息，使用多实例学习方法进行优化，即可使神经网络学到识别物体位置与类别的能力。
由于现有的弱监督目标检测算法依赖预计算的候选框作为定位的监督信息或最终定位结果，较低的预计算候选框精度会影响目标检测网络的定位性能。为了解决这一问题，研究员通常采用两类方案去提升性能：第一、是使用伪标签筛选策略选出置信度最高的候选框与分类结果作为一种监督信息，并在这一基础上训练独立的边界框回归分支来提升定位性能，而该种方法依赖一些传统的候选框生成算法获取目标边界框结果，但是该结果很不准确，达不到理想的目标回归精度，依然存在物体边界框回归能力较差，最终导致目标检测系统的定位性能差的缺陷；
第二、是采用迁移学习方法，基于现有的包含实例级别标注的数据集，采用全监督方法训练一个候选框生成器或者候选框优化器，然后在目标的弱监督目标检测数据集上直接应用候选框生成器为输入图像生成候选框，或是对给定的候选框使用优化器输出更新过的边界框输出，从而间接优化最终的目标检测网络的检测性能；而该种方法缺陷在于需要将辅助数据集和弱监督标注目标数据集混合起来使用，这样会导致训练规模及成本急剧增加，同时有一些辅助数据集属于私有数据并未公开，所以相关技术在使用时局限性更大；
综上，针对现有技术中依赖传统的候选框生成算法获取目标边界框结果的方式，仍然存在目标边界框回归能力较差，从而导致弱监督目标检测的定位性能差的缺陷，因此，以上问题亟需解决。
发明内容
本发明目的是为了解决针对现有技术中依赖传统的候选框生成算法获取目标边界框结果的方式，仍然存在目标边界框回归能力较差，从而导致弱监督目标检测的定位性能差的缺陷的问题，本发明提供了一种基于迁移学习与边界框调节的弱监督目标检测方法。
基于迁移学习与边界框调节的弱监督目标检测方法，该方法包括如下步骤：
S1、构建目标弱监督目标检测网络模块f、辅助弱监督目标检测网络模块faux和可学习的边界框调节网络模块g；
S2、利用多阶段迁移学习方法及辅助弱监督目标检测网络模块faux对可学习的边界框调节网络模块g进行训练，获得训练后的可学习的边界框调节网络模块g′；
S3、利用步骤S2中获得的训练后的可学习的边界框调节网络模块g′对目标弱监督目标检测网络模块f进行训练，获得训练后的目标弱监督目标检测网络模块f′；
S4、利用训练后的目标弱监督目标检测网络模块f′对待检测图像进行目标检测，从而获得目标检测结果，从而完成目标检测。
优选的是，步骤S3中、利用步骤S2中获得的训练后的可学习的边界框调节网络模块g′对目标弱监督目标检测网络模块f进行训练，获得训练后的目标弱监督目标检测网络模块f′的实现方式包括如下步骤：
S31、初始化目标弱监督目标检测网络模块f的参数
S32、从目标数据集A中随机选出图像I送至初始化后目标弱监督目标检测网络模块f，目标弱监督目标检测网络模块f对图像I进行特征提取，获得图像I的高维特征，并根据图像I的高维特征生成第一目标初始候选框再根据第一目标初始候选框/>与外部预设的目标候选框/>求并集，得到总目标候选区初始框/>
目标弱监督目标检测网络模块f再对总目标候选区初始框所在区域进行特征提取，从而获得训练阶段的目标边界框回归结果/>和训练阶段的目标总分类结果；
S33、训练后的可学习的边界框调节网络模块g′根据图像I对总目标候选区初始框
进行调节，输出训练阶段的调节过的目标边界框回归结果/>
S34、根据训练阶段的目标总分类结果，获得训练阶段的目标分类标签的误差值Lwsod；
同时，还将训练阶段的目标边界框回归结果与训练阶段的调节过的目标边界框回归结果/>比较，获得训练阶段的目标边界框回归误差Lbbr；
S35、将训练阶段的目标分类标签的误差值Lwsod与训练阶段的目标边界框回归误差Lbbr求和，获得训练阶段目标总误差L′，判断训练阶段目标总误差L′是否小于标准目标误差阈值，结果为是，执行步骤S37，结果为否，执行步骤S36；
S36、根据训练阶段目标总误差L′，利用反向传播算法更新参数后，执行步骤S32；
S37、将当前训练阶段目标总误差L′小于标准目标误差阈值时所对应的目标弱监督目标检测网络模块f，作为训练后的目标弱监督目标检测网络模块f′，训练结束。
本发明的有益效果为：
本发明提出了一种基于迁移学习与边界框调节的弱监督目标检测方法，先利用多阶段迁移学习方法及辅助弱监督目标检测网络模块faux对可学习的边界框调节网络模块g进行训练，来提高训练后的可学习的边界框调节网络模块g′的精度，再利用训练后的可学习的边界框调节网络模块g′对所构建的目标弱监督目标检测网络模块f进行训练，更进一步的提升训练后的目标弱监督目标检测网络模块f′的精度，从而提高训练后的目标弱监督目标检测网络模块f′的目标边界框回归能力，最终提高目标检测精度。
本发明方法也可归类于基于迁移学习的优化方法，相比现有的基于迁移学习的方法，不仅可以有效提升目标弱监督目标检测网络的检测性能，还可以直接改善目标弱监督目标检测网络本身对于物体的边界框回归能力进一步提升整体性能。
本发明主要用于对图像中目标的检测。
附图说明
图1为本发明所述基于迁移学习的弱监督目标检测系统的原理示意图；
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
参见图1说明本实施方式，本实施方式所述的基于迁移学习与边界框调节的弱监督目标检测方法，该方法包括如下步骤：
S1、构建目标弱监督目标检测网络模块f、辅助弱监督目标检测网络模块faux和可学习的边界框调节网络模块g；
S2、利用多阶段迁移学习方法及辅助弱监督目标检测网络模块faux对可学习的边界框调节网络模块g进行训练，获得训练后的可学习的边界框调节网络模块g′；
S3、利用步骤S2中获得的训练后的可学习的边界框调节网络模块g′对目标弱监督目标检测网络模块f进行训练，获得训练后的目标弱监督目标检测网络模块f′；
S4、利用训练后的目标弱监督目标检测网络模块f′对待检测图像进行目标检测，从而获得目标检测结果，从而完成目标检测。
本实施方式中，所构建的目标弱监督目标检测网络模块f、辅助弱监督目标检测网络模块faux和可学习的边界框调节网络模块g均可通过现有技术实现，本发明提出了一种基于迁移学习与边界框调节的弱监督目标检测方法，先利用多阶段迁移学习方法及辅助弱监督目标检测网络模块faux对可学习的边界框调节网络模块g进行训练，来提高训练后的可学习的边界框调节网络模块g′的精度，再利用训练后的可学习的边界框调节网络模块g′对所构建的目标弱监督目标检测网络模块f进行训练，更进一步的提升训练后的目标弱监督目标检测网络模块f′的精度，从而提高训练后的目标弱监督目标检测网络模块f′的目标边界框回归能力，最终提高目标检测精度。
本实施方式中，利用训练后的目标弱监督目标检测网络模块f′对待检测图像进行目标检测，获得的目标检测结果包括边界框回归结果和分类结果。
进一步的，S3、利用步骤S2中获得的训练后的可学习的边界框调节网络模块g′对目标弱监督目标检测网络模块f进行训练，获得训练后的目标弱监督目标检测网络模块f′的实现方式包括如下步骤：
S31、初始化目标弱监督目标检测网络模块f的参数
S32、从目标数据集A中随机选出图像I送至初始化后目标弱监督目标检测网络模块f，目标弱监督目标检测网络模块f对图像I进行特征提取，获得图像I的高维特征，并根据图像I的高维特征生成第一目标初始候选框再根据第一目标初始候选框/>与外部预设的目标候选框/>求并集，得到总目标候选区初始框/>
目标弱监督目标检测网络模块f再对总目标候选区初始框所在区域进行特征提取，从而获得训练阶段的目标边界框回归结果/>和训练阶段的目标总分类结果；
S33、训练后的可学习的边界框调节网络模块g′根据图像I对总目标候选区初始框
进行调节，输出训练阶段的调节过的目标边界框回归结果/>
S34、根据训练阶段的目标总分类结果，获得训练阶段的目标分类标签的误差值Lwsod；
同时，还将训练阶段的目标边界框回归结果与训练阶段的调节过的目标边界框回归结果/>比较，获得训练阶段的目标边界框回归误差Lbbr；
S35、将训练阶段的目标分类标签的误差值Lwsod与训练阶段的目标边界框回归误差Lbbr求和，获得训练阶段目标总误差L′，判断训练阶段目标总误差L′是否小于标准目标误差阈值，结果为是，执行步骤S37，结果为否，执行步骤S36；
S36、根据训练阶段目标总误差L′，利用反向传播算法更新参数后，执行步骤S32；
S37、将当前训练阶段目标总误差L′小于标准目标误差阈值时所对应的目标弱监督目标检测网络模块f，作为训练后的目标弱监督目标检测网络模块f′，训练结束。
本优选实施中，给出了如何利用训练后的可学习的边界框调节网络模块g′对目标弱监督目标检测网络模块f进行训练的实现手段，该种训练方式适用于现有技术中任意目标弱监督目标检测网络模块，将边界框回归部分作为监督信息，并通过对边框调整来优化及更新目标弱监督目标检测网络模块f，使其误差得到收敛，完成对目标弱监督目标检测网络模块f的训练，获得精确的训练后的目标弱监督目标检测网络模块f′。
由于目标弱监督目标检测网络模块f本身需要对候选区分类的能力进行相应的优化，所以在目标边界框回归误差Lbbr的基础上，还要添加目标分类标签的误差值Lwsod来优化弱监督目标检测算法中常用的损失函数Lwsod来优化目标弱监督目标检测网络模块f。
更进一步的，S31中，初始化目标弱监督目标检测网络模块f的参数的实现方式为：
采用高斯分布随机算法初始化目标弱监督目标检测网络模块f的参数
更进一步的，S34中、根据训练阶段的目标总分类结果，获得训练阶段的目标分类标签的误差值Lwsod的实现方式为：
利用交叉熵损失函数对训练阶段的目标总分类结果进行监督，训练阶段的目标分类标签的误差值Lwsod。
更进一步的，S2中，利用多阶段迁移学习方法及辅助弱监督目标检测网络模块faux对可学习的边界框调节网络模块g进行训练，获得训练后的可学习的边界框调节网络模块g′的实现方式包括：
S21、初始化可学习的边界框调节网络模块g的参数θg；
S22、利用可学习的边界框调节网络模块g，更新辅助弱监督目标检测网络模块faux，获得更新后的辅助弱监督目标检测网络模块faux；
再利用更新后的辅助弱监督目标检测网络模块faux，更新可学习的边界框调节网络模块g，获得更新后的可学习的边界框调节网络模块g；
S23、执行步骤S22，对可学习的边界框调节网络模块g和辅助弱监督目标检测网络模块faux更新三次，并将最后一次更新后的可学习的边界框调节网络模块g作为训练后的可学习的边界框调节网络模块g′。
本优选实施方式中，利用多阶段迁移学习方法，以迭代学习的方式对可学习的边界框调节网络模块g进行迭代训练，整个对可学习的边界框调节网络模块g进行训练可划分成3个阶段；步骤S21作为初始化阶段；S22中利用可学习的边界框调节网络模块g，更新辅助弱监督目标检测网络模块faux，获得更新后的辅助弱监督目标检测网络模块faux作为最大化阶段；S22中再利用更新后的辅助弱监督目标检测网络模块faux，更新可学习的边界框调节网络模块g，获得更新后的可学习的边界框调节网络模块g的过程作为期望更新阶段，所述多阶段边界框调节迭代学习要执行3次连续的最大化阶段和期望更新阶，来获得训练后的可学习的边界框调节网络模块g′，进一步提高训练后的可学习的边界框调节网络模块g′的精度。
更进一步的，S21中，初始化可学习的边界框调节网络模块g的参数θg的实现方式为：
采用高斯分布随机算法实现。
更进一步的，S22中，利用可学习的边界框调节网络模块g，更新辅助弱监督目标检测网络模块faux，获得更新后的辅助弱监督目标检测网络模块faux的实现方式为：
S22-1-1、初始化辅助弱监督目标检测网络模块faux的参数
S22-1-2、从全标注辅助数据集Daux中随机选出图像Iaux送至辅助弱监督目标检测网络模块faux，辅助弱监督目标检测网络模块faux对图像Iaux进行特征提取，获得图像Iaux的高维特征，并根据图像Iaux的高维特征生成第一辅助初始候选框再根据第一辅助初始候选框/>与外部预设的第一辅助候选框/>求并集，得到第一总辅助候选区初始框
辅助弱监督目标检测网络模块faux再对第一总辅助候选区初始框所在区域进行特征提取，从而获得第一辅助边界框回归结果/>和第一辅助总分类结果；
S22-1-3、利用可学习的边界框调节网络模块g根据图像Iauu对第一总辅助候选区初始框进行调节，输出调节后的第一辅助边界框回归结果/>
S22-1-4、根据第一辅助总分类结果，获得第一辅助目标分类标签的误差值
同时，还将第一辅助边界框回归结果与调节后的第一辅助边界框回归结果比较，获得第一辅助边界框回归误差/>
S22-1-5、将第一辅助目标分类标签的误差值与第一辅助边界框回归误差/>求和，获得第一辅助总误差L″，判断第一辅助总误差L″是否小于标准辅助误差阈值，结果为是，执行步骤S22-1-7，结果为否，执行步骤S22-1-6；
S22-1-6、根据第一辅助总误差L″，利用反向传播算法更新参数后，执行步骤S22-1-2；
S22-1-7、完成对辅助弱监督目标检测网络模块faux的更新。
本优选实施方式中，给出了利用可学习的边界框调节网络模块g，更新辅助弱监督目标检测网络模块faux，获得更新后的辅助弱监督目标检测网络模块faux的具体实现方式，其整个更新过程以第一辅助边界框回归结果和第一辅助总分类结果作为监督对象，来优化辅助弱监督目标检测网络模块faux，获得更新后的辅助弱监督目标检测网络模块faux。
更进一步的，S22中、利用更新后的辅助弱监督目标检测网络模块faux，更新可学习的边界框调节网络模块g，获得更新后的可学习的边界框调节网络模块g的实现方式为：
S22-2-1、初始化可学习的边界框调节网络模块g的参数
S22-2-2、从全标注辅助数据集Daux中随机选出图像Iaux送至可学习的边界框调节网络模块g，可学习的边界框调节网络模块g对图像Iaux进行特征提取，获得图像Iaux的高维特征，并根据图像Iaux的高维特征生成第二辅助初始候选框再根据第二辅助初始候选框/>与外部预设的第二辅助候选框/>求并集，得到第二总辅助候选区初始框
可学习的边界框调节网络模块g再对第二总辅助候选区初始框所在区域进行特征提取，从而获得第二辅助边界框回归结果/>和第二辅助总分类结果；
S22-2-3、利用更新后的辅助弱监督目标检测网络模块faux根据图像Iaux对第二总辅助候选区初始框进行调节，输出调节后的第二辅助边界框回归结果/>
S22-2-4、根据第二辅助总分类结果，获得第二辅助目标分类标签的误差值
同时，还将第二辅助边界框回归结果与调节后的第二辅助边界框回归结果比较，获得第二辅助边界框回归误差/>
S22-2-5、将第二辅助目标分类标签的误差值与第二辅助边界框回归误差求和，获得第二辅助总误差L″′，判断第二辅助总误差L″′是否小于标准辅助误差阈值，结果为是，执行步骤S22-2-7，结果为否，执行步骤S22-2-6；
S22-2-6、根据第二辅助总误差L″′，利用反向传播算法更新参数后，执行步骤S22-2-2；
S22-2-7、完成对可学习的边界框调节网络模块g的更新。
本实施方式中，给出了S22中、利用更新后的辅助弱监督目标检测网络模块faux，更新可学习的边界框调节网络模块g，获得更新后的可学习的边界框调节网络模块g的实现方式，其整个更新过程以得第二辅助边界框回归结果和第二辅助总分类结果作为监督对象，来优化更新可学习的边界框调节网络模块g，更新结果精确，便于实现。
更进一步的，S22-1-4、根据第一辅助总分类结果，获得第一辅助目标分类标签的误差值的实现方式为：
利用交叉熵损失函数对第一辅助总分类结果进行监督，获得第一辅助目标分类标签的误差值
更进一步的，S22-2-4、根据第二辅助总分类结果，获得第二辅助目标分类标签的误差值的实现方式为：
利用交叉熵损失函数对第二辅助总分类结果进行监督，获得第二辅助目标分类标签的误差值
更进一步的，S22-1-1、初始化辅助弱监督目标检测网络模块faux的参数的实现方式为：采用高斯分布随机算法实现。
S22-2-1、初始化可学习的边界框调节网络模块g的参数的实现方式为：采用高斯分布随机算法实现。
具体应用时，目标数据集A为只包含图像标签的数据集，全标注辅助数据集Daux为实例级别标注的数据集，本发明针对类别无关的边界框回归信息进行优化，可以在包含实例级别标注的辅助数据集与只包含图像标签级别的目标数据集不存在语义信息关联的条件下，可以使用任意辅助数据集，通过多阶段边界框调节算法优化得到一个边界框调节网络，且该边界框调节网络可以对包含任意类别物体的候选框进行更为准确的调节得到新的边界框，进而可以进行有效的迁移学习过程，从而改善目标弱监督目标检测网络模块f的目标定位精度，并提升目标检测总体精度。此外，该方法可以充分利用他人在任意目标检测数据集上预训练好的目标检测网络作为边界框调节器，相比以往需要将全标注辅助数据集和弱标注目标数据集混合起来进行训练的方法，本发明方法在保障私有数据的安全性和减小数据存储与传输代价方面均带来了改善。
本发明可归类于基于迁移学习的优化方法，相比之前的基于迁移学习的方法，不仅可以有效提升弱监督目标检测网络的检测性能，还可以直接改善弱监督目标检测网络本身对于物体的边界框回归能力，从而可以和以往提出的多种弱监督目标检测方法灵活组合，进一步提升整体性能。
虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其他所述实施例中。

Claims (9)

1.基于迁移学习与边界框调节的弱监督目标检测方法，其特征在于，该方法包括如下步骤：
S1、构建目标弱监督目标检测网络模块f、辅助弱监督目标检测网络模块faux和可学习的边界框调节网络模块g；
S2、利用多阶段迁移学习方法及辅助弱监督目标检测网络模块faux对可学习的边界框调节网络模块g进行训练，获得训练后的可学习的边界框调节网络模块g′，具体为：
S21、初始化可学习的边界框调节网络模块g的参数θg；
S22、利用可学习的边界框调节网络模块g，更新辅助弱监督目标检测网络模块faux，获得更新后的辅助弱监督目标检测网络模块faux；
再利用更新后的辅助弱监督目标检测网络模块faux，更新可学习的边界框调节网络模块g，获得更新后的可学习的边界框调节网络模块g；
S23、执行步骤S22，对可学习的边界框调节网络模块g和辅助弱监督目标检测网络模块faux更新三次，并将最后一次更新后的可学习的边界框调节网络模块g作为训练后的可学习的边界框调节网络模块g′；
S3、利用步骤S2中获得的训练后的可学习的边界框调节网络模块g′对目标弱监督目标检测网络模块f进行训练，获得训练后的目标弱监督目标检测网络模块f′；
S4、利用训练后的目标弱监督目标检测网络模块f′对待检测图像进行目标检测，从而获得目标检测结果，从而完成目标检测。
2.根据权利要求1所述的基于迁移学习与边界框调节的弱监督目标检测方法，其特征在于，S3、利用步骤S2中获得的训练后的可学习的边界框调节网络模块g′对目标弱监督目标检测网络模块f进行训练，获得训练后的目标弱监督目标检测网络模块f′的实现方式包括如下步骤：
S31、初始化目标弱监督目标检测网络模块f的参数
S32、从目标数据集A中随机选出图像I送至初始化后目标弱监督目标检测网络模块f，目标弱监督目标检测网络模块f对图像I进行特征提取，获得图像I的高维特征，并根据图像I的高维特征生成第一目标初始候选框再根据第一目标初始候选框/>与外部预设的目标候选框/>求并集，得到总目标候选区初始框/>
目标弱监督目标检测网络模块f再对总目标候选区初始框所在区域进行特征提取，从而获得训练阶段的目标边界框回归结果/>和训练阶段的目标总分类结果；
S33、训练后的可学习的边界框调节网络模块g′根据图像I对总目标候选区初始框进行调节，输出训练阶段的调节过的目标边界框回归结果/>
S34、根据训练阶段的目标总分类结果，获得训练阶段的目标分类标签的误差值Lwsod；
同时，还将训练阶段的目标边界框回归结果与训练阶段的调节过的目标边界框回归结果/>比较，获得训练阶段的目标边界框回归误差Lbbr；
S35、将训练阶段的目标分类标签的误差值Lwsod与训练阶段的目标边界框回归误差Lbbr求和，获得训练阶段目标总误差L′，判断训练阶段目标总误差L′是否小于标准目标误差阈值，结果为是，执行步骤S37，结果为否，执行步骤S36；
S36、根据训练阶段目标总误差L′，利用反向传播算法更新参数后，执行步骤S32；
S37、将当前训练阶段目标总误差L′小于标准目标误差阈值时所对应的目标弱监督目标检测网络模块f，作为训练后的目标弱监督目标检测网络模块f′，训练结束。
3.根据权利要求2所述的基于迁移学习与边界框调节的弱监督目标检测方法，其特征在于，S31中，初始化目标弱监督目标检测网络模块f的参数的实现方式为：
采用高斯分布随机算法初始化目标弱监督目标检测网络模块f的参数
4.根据权利要求2所述的基于迁移学习与边界框调节的弱监督目标检测方法，其特征在于，S34中、根据训练阶段的目标总分类结果，获得训练阶段的目标分类标签的误差值Lwsod的实现方式为：
利用交叉熵损失函数对训练阶段的目标总分类结果进行监督，训练阶段的目标分类标签的误差值Lwsod。
5.根据权利要求1所述的基于迁移学习与边界框调节的弱监督目标检测方法，其特征在于，S21中，初始化可学习的边界框调节网络模块g的参数θg的实现方式为：
采用高斯分布随机算法实现。
6.根据权利要求1所述的基于迁移学习与边界框调节的弱监督目标检测方法，其特征在于，S22中，利用可学习的边界框调节网络模块g，更新辅助弱监督目标检测网络模块faux，获得更新后的辅助弱监督目标检测网络模块faux的实现方式为：
S22-1-1、初始化辅助弱监督目标检测网络模块faux的参数
S22-1-2、从全标注辅助数据集Daux中随机选出图像Iaux送至辅助弱监督目标检测网络模块faux，辅助弱监督目标检测网络模块faux对图像Iaux进行特征提取，获得图像Iaux的高维特征，并根据图像Iaux的高维特征生成第一辅助初始候选框再根据第一辅助初始候选框/>与外部预设的第一辅助候选框/>求并集，得到第一总辅助候选区初始框
辅助弱监督目标检测网络模块faux再对第一总辅助候选区初始框所在区域进行特征提取，从而获得第一辅助边界框回归结果/>和第一辅助总分类结果；
S22-1-3、利用可学习的边界框调节网络模块g根据图像Iaux对第一总辅助候选区初始框进行调节，输出调节后的第一辅助边界框回归结果/>
S22-1-4、根据第一辅助总分类结果，获得第一辅助目标分类标签的误差值
同时，还将第一辅助边界框回归结果与调节后的第一辅助边界框回归结果/>比较，获得第一辅助边界框回归误差/>
S22-1-5、将第一辅助目标分类标签的误差值与第一辅助边界框回归误差/>求和，获得第一辅助总误差L″，判断第一辅助总误差L″是否小于标准辅助误差阈值，结果为是，执行步骤S22-1-7，结果为否，执行步骤S22-1-6；
S22-1-6、根据第一辅助总误差L″，利用反向传播算法更新参数后，执行步骤S22-1-2；
S22-1-7、完成对辅助弱监督目标检测网络模块faux的更新。
7.根据权利要求1所述的基于迁移学习与边界框调节的弱监督目标检测方法，其特征在于，S22中、利用更新后的辅助弱监督目标检测网络模块faux，更新可学习的边界框调节网络模块g，获得更新后的可学习的边界框调节网络模块g的实现方式为：
S22-2-1、初始化可学习的边界框调节网络模块g的参数
S22-2-2、从全标注辅助数据集Daux中随机选出图像Iaux送至可学习的边界框调节网络模块g，可学习的边界框调节网络模块g对图像Iaux进行特征提取，获得图像Iaux的高维特征，并根据图像Iaux的高维特征生成第二辅助初始候选框再根据第二辅助初始候选框与外部预设的第二辅助候选框/>求并集，得到第二总辅助候选区初始框/>
可学习的边界框调节网络模块g再对第二总辅助候选区初始框所在区域进行特征提取，从而获得第二辅助边界框回归结果/>和第二辅助总分类结果；
S22-2-3、利用更新后的辅助弱监督目标检测网络模块faux根据图像Iaux对第二总辅助候选区初始框进行调节，输出调节后的第二辅助边界框回归结果/>
S22-2-4、根据第二辅助总分类结果，获得第二辅助目标分类标签的误差值
同时，还将第二辅助边界框回归结果与调节后的第二辅助边界框回归结果/>比较，获得第二辅助边界框回归误差/>
S22-2-5、将第二辅助目标分类标签的误差值与第二辅助边界框回归误差/>求和，获得第二辅助总误差L″′，判断第二辅助总误差L″′是否小于标准辅助误差阈值，结果为是，执行步骤S22-2-7，结果为否，执行步骤S22-2-6；
S22-2-6、根据第二辅助总误差L″′，利用反向传播算法更新参数后，执行步骤S22-2-2；
S22-2-7、完成对可学习的边界框调节网络模块g的更新。
8.根据权利要求6所述的基于迁移学习与边界框调节的弱监督目标检测方法，其特征在于，S22-1-4、根据第一辅助总分类结果，获得第一辅助目标分类标签的误差值的实现方式为：
利用交叉熵损失函数对第一辅助总分类结果进行监督，获得第一辅助目标分类标签的误差值
9.根据权利要求1所述的基于迁移学习与边界框调节的弱监督目标检测方法，其特征在于，S22-2-4、根据第二辅助总分类结果，获得第二辅助目标分类标签的误差值的实现方式为：
利用交叉熵损失函数对第二辅助总分类结果进行监督，获得第二辅助目标分类标签的误差值
CN202111263101.4A 2021-10-28 2021-10-28 基于迁移学习与边界框调节的弱监督目标检测方法 Active CN113989558B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111263101.4A CN113989558B (zh) 2021-10-28 2021-10-28 基于迁移学习与边界框调节的弱监督目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111263101.4A CN113989558B (zh) 2021-10-28 2021-10-28 基于迁移学习与边界框调节的弱监督目标检测方法

Publications (2)

Publication Number Publication Date
CN113989558A CN113989558A (zh) 2022-01-28
CN113989558B true CN113989558B (zh) 2024-04-30

Family

ID=79743398

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111263101.4A Active CN113989558B (zh) 2021-10-28 2021-10-28 基于迁移学习与边界框调节的弱监督目标检测方法

Country Status (1)

Country Link
CN (1) CN113989558B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109657697A (zh) * 2018-11-16 2019-04-19 中山大学 基于半监督学习和细粒度特征学习的分类优化方法
WO2019136946A1 (zh) * 2018-01-15 2019-07-18 中山大学 基于深度学习的弱监督显著性物体检测的方法及系统
CN110490202A (zh) * 2019-06-18 2019-11-22 腾讯科技（深圳）有限公司 检测模型训练方法、装置、计算机设备和存储介质
CN111444939A (zh) * 2020-02-19 2020-07-24 山东大学 电力领域开放场景下基于弱监督协同学习的小尺度设备部件检测方法
CN111898577A (zh) * 2020-08-10 2020-11-06 腾讯科技（深圳）有限公司 一种图像检测方法、装置、设备及计算机可读存储介质
CN113239924A (zh) * 2021-05-21 2021-08-10 上海交通大学 一种基于迁移学习的弱监督目标检测方法及系统
WO2021164168A1 (zh) * 2020-02-20 2021-08-26 苏州浪潮智能科技有限公司 一种图像数据的目标检测方法及相关装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019136946A1 (zh) * 2018-01-15 2019-07-18 中山大学 基于深度学习的弱监督显著性物体检测的方法及系统
CN109657697A (zh) * 2018-11-16 2019-04-19 中山大学 基于半监督学习和细粒度特征学习的分类优化方法
CN110490202A (zh) * 2019-06-18 2019-11-22 腾讯科技（深圳）有限公司 检测模型训练方法、装置、计算机设备和存储介质
CN111444939A (zh) * 2020-02-19 2020-07-24 山东大学 电力领域开放场景下基于弱监督协同学习的小尺度设备部件检测方法
WO2021164168A1 (zh) * 2020-02-20 2021-08-26 苏州浪潮智能科技有限公司 一种图像数据的目标检测方法及相关装置
CN111898577A (zh) * 2020-08-10 2020-11-06 腾讯科技（深圳）有限公司 一种图像检测方法、装置、设备及计算机可读存储介质
CN113239924A (zh) * 2021-05-21 2021-08-10 上海交通大学 一种基于迁移学习的弱监督目标检测方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
深度学习的目标跟踪算法综述;李玺;查宇飞;张天柱;崔振;左旺孟;侯志强;卢湖川;王菡子;;中国图象图形学报;20191216(第12期);全文 *

Also Published As

Publication number Publication date
CN113989558A (zh) 2022-01-28

Similar Documents

Publication Publication Date Title
WO2022121289A1 (en) Methods and systems for mining minority-class data samples for training neural network
KR102631031B1 (ko) 반도체 장치의 불량 검출 방법
US8626682B2 (en) Automatic data cleaning for machine learning classifiers
CN111127364B (zh) 图像数据增强策略选择方法及人脸识别图像数据增强方法
CN113807420A (zh) 一种考虑类别语义匹配的域自适应目标检测方法及系统
CN112699247A (zh) 一种基于多类交叉熵对比补全编码的知识表示学习框架
CN111985601A (zh) 用于增量学习的数据识别方法
CN113326731A (zh) 一种基于动量网络指导的跨域行人重识别算法
CN113255573B (zh) 基于混合簇中心标签学习的行人重识别方法和存储介质
US12039758B2 (en) Image processing apparatus, image processing method, and non-transitory computer readable medium storing program
CN112861616A (zh) 一种无源领域自适应目标检测方法
CN110458022B (zh) 一种基于域适应的可自主学习目标检测方法
CN113643302B (zh) 基于主动轮廓模型的无监督医学图像分割方法和系统
US20220129708A1 (en) Segmenting an image using a neural network
CN116910571A (zh) 一种基于原型对比学习的开集域适应方法及系统
CN114220086A (zh) 一种成本高效的场景文字检测方法及系统
CN118015411B (zh) 一种面向自动驾驶的大视觉语言模型增量学习方法及装置
CN114139631B (zh) 一种面向多目标训练对象可选择的灰盒的对抗样本生成方法
CN117216668B (zh) 一种基于机器学习的数据分类分级处理方法和系统
CN112949590B (zh) 一种跨域行人重识别模型构建方法及构建系统
CN113989558B (zh) 基于迁移学习与边界框调节的弱监督目标检测方法
US20220343631A1 (en) Learning apparatus, learning method, and recording medium
CN113962999B (zh) 基于高斯混合模型和标签矫正模型的噪声标签分割方法
KR20230091426A (ko) 레이블링 장치 및 방법
JP2022088341A (ja) 機器学習装置及び方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant