CN113159082B - 一种增量式学习目标检测网络模型构建及权重更新方法 - Google Patents

一种增量式学习目标检测网络模型构建及权重更新方法 Download PDF

Info

Publication number
CN113159082B
CN113159082B CN202011073711.3A CN202011073711A CN113159082B CN 113159082 B CN113159082 B CN 113159082B CN 202011073711 A CN202011073711 A CN 202011073711A CN 113159082 B CN113159082 B CN 113159082B
Authority
CN
China
Prior art keywords
target detection
network model
training
learning
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011073711.3A
Other languages
English (en)
Other versions
CN113159082A (zh
Inventor
沈凯
庄羽
朱毅晓
邓明涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202011073711.3A priority Critical patent/CN113159082B/zh
Publication of CN113159082A publication Critical patent/CN113159082A/zh
Application granted granted Critical
Publication of CN113159082B publication Critical patent/CN113159082B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本公开的增量式学习目标检测网络模型构建及权重更新方法，训练目标检测的深度学习网络模型；利用Slimming算法对深度学习网络模型进行剪枝处理；提取深度学习网络模型的卷积层训练集数据的输出特征及训练标签；选取第m层卷积层训练集数据的输出特征及其训练标签分别作为宽度学习网络模型的训练样本标签，训练宽度学习增量式学习模型；将宽度学习增量式学习模型替换深度学习网络模型的第m层及第m层后的卷积层，或将训练好的宽度学习网络模型作为深度学习网络模型的辅助学习网络模型，完成增量式学习网络模型的构建。通过增量式学习模型快速更新增量式学习网络权重的能力，改善增量式学习网络的性能，提升增量式学习网络的鲁棒性。

Description

一种增量式学习目标检测网络模型构建及权重更新方法
技术领域
本公开属于计算机视觉领域，特别涉及一种增量式学习的目标检测网络模型的构建及其权重更新方法。
背景技术
目标检测是计算机视觉领域研究热门方向之一。主要目的是从图像流的每一帧中，识别目标是否存在、实施目标分类并解算出目标在图像中的位置。由于各类物体有不同的外观、形状、摆放姿态，加上成像时光照、遮挡等因素的干扰，目标检测一直是机器视觉领域最具有挑战性的问题。目前的主流技术主要是基于深度学习的目标检测模型，其主要原理是通过丰富的数据样本及设置相对应的损失函数，使目标检测网络模型得到充分训练，使得其能够自主学习到相适应的特征去执行多样化的任务。基于深度学习的目标检测模型经过数年的发展，其准确率、精度、召回率等指标得到明显的提升，然而面对日益多元化的应用和千变万化的场景，其面临着难以突破的瓶颈，主要瓶颈之一是检测网络的性能在训练环境和实际环境差距明显，这是由于深度学习模型基于大规模数据驱动，模型的性能取决于训练数据的质与量，而大多数情况下训练数据并不能完整描述应用场景，故赋予检测网络在线学习的能力是解决问题的关键所在。
发明内容
有鉴于此，本公开提出了一种增量式学习的目标检测网络模型的构建方法及其权重更新方法，能够通过增量式学习模块快速更新增量式目标检测网络权重的能力，从而改善增量式目标检测网络的性能，提升增量式目标检测网络的鲁棒性。
根据本公开的一方面，提出了一种增量式学习的目标检测网络模型构建方法，所述方法包括：
训练所述目标检测的深度学习网络模型；
利用Slimming算法对所述目标检测的深度学习网络模型进行剪枝处理；
提取所述目标检测的深度学习网络模型的各卷积层训练集数据的输出特征及其训练标签；
从所述各卷积层的输出特征中选取第m层卷积层训练集数据的输出特征及其训练标签分别作为所述目标检测的宽度学习网络模型的输入训练样本和训练标签，训练所述目标检测的宽度学习增量式学习模型，其中，m为正整数；
将所述训练好的目标检测的宽度学习增量式学习模型替换所述目标检测的深度学习网络模型的第m层卷积层及第m层后的卷积层，或将所述训练好的目标检测的宽度学习网络模型作为所述目标检测的深度学习网络模型的并行学习网络模型，以完成所述增量式学习的目标检测网络模型的构建。
在一种可能的实现方式中，所述训练所述目标检测的深度学习网络模型，包括：
利用深度可分离的卷积网络构建所述目标检测的深度学习网络模型的特征提取器；
构建所述目标检测的深度学习网络模型的双层目标检测模块；
连接所述目标检测的深度学习网络模型的特征提取器和所述双层目标检测模块，完成所述目标检测的深度学习网络模型的构建；
利用训练集数据训练所述目标检测的深度学习网络模型。
在一种可能的实现方式中，利用Slimming算法对所述目标检测的深度学习网络模型进行剪枝处理，包括：
利用Slimming算法对所述目标检测的深度学习网络模型的各网络层系数进行归一化处理，并设置相应的调节权重值；
对除所述双层目标检测模块之外的归一化的网络层系数施加约束，利用所述训练集数据对所述目标检测的深度学习网络模型的参数进行剪枝训练；
绘制除所述双层目标检测模块之外的归一化的网络层系数的直方图，对低于设定阈值的所述目标检测的深度学习网络模型的输出通道进行剪枝处理。
根据本公开的另一方面，提出了一种增量式学习的目标检测网络模型的权重更新方法，所述增量式学习的目标检测网络模型为上述增量式学习的目标检测网络模型，所述权重更新方法包括：
将实际样本数据输入到所述增量式学习的目标检测网络模型，输出实际样本数据的特征及其对应标签；
从所述实际样本数据的特征中选取第k层卷积层实际样本数据输出特征作为所述目标检测的宽度学习增量式学习模型的输入训练样本，将所述增量式学习的目标检测网络模型输出的实际样本对应标签作为所述目标检测的宽度学习增量式学习模型的训练标签，根据所述目标检测的宽度学习增量式学习模型的权重更新方法对所述增量式学习的目标检测网络模型的权重进行更新，其中，k为正整数。
本公开通过训练所述目标检测的深度学习网络模型；利用Slimming算法对所述目标检测的深度学习网络模型进行剪枝处理；提取所述目标检测的深度学习网络模型的各卷积层训练集数据的输出特征及其训练标签；从所述各卷积层的输出特征中选取第m层卷积层训练集数据的输出特征及其训练标签分别作为所述目标检测的宽度学习网络模型的输入训练样本和训练标签，构建所述目标检测的宽度学习增量式学习模型；将所述训练好的目标检测的宽度学习增量式学习模型替换所述目标检测的深度学习网络模型的第m层卷积层及第m层后的卷积层，或将所述训练好的目标检测的宽度学习网络模型作为所述目标检测的深度学习网络模型的辅助网络模型，以完成所述增量式学习的目标检测网络模型的构建。能够通过增量式学习模型快速更新增量式目标检测网络权重的能力，改善增量式目标检测网络的性能，提升增量式目标检测网络的鲁棒性。
根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。
图1示出根据本公开一实施例的一种增量式学习的目标检测网络模型的构建方法流程图；
图2示出根据本公开一实施例的一种增量式学习的目标检测网络模型结构图；
图3a是示出根据本公开一实施例的一种增量式学习的目标检测网络模型，图3b是示出根据本公开另一实施例的一种增量式学习的目标检测网络模型图。
图4示出根据本公开一实施例的步骤S11的一个示例的流程图；
图5示出根据本公开一实施例的步骤S12的一个示例的流程图；
图6示出根据本公开一实施例的一种增量式学习的目标检测网络模型的权重更新方法流程图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
本公开能够克服目前基于深度学习目标检测模型在训练环境和实际应用环境下，性能表现存在差距这一瓶颈，提出一种基于增量式学习的目标检测网络模型，增量式学习的目标检测网络模型的原理为：在深度学习目标检测模型的基础上，通过以深度可分离卷积替换传统卷积以及使用Slimming通道剪枝算法，减少冗余通道降低参数规模，提高限制计算机算力条件下模型的前向推理速度；通过以目标检测的宽度学习增量式学习模块替代深度学习目标检测模型中部分网络的方式，赋予深度学习目标检测模型增量学习的能力。增量式学习的目标检测网络模型拥有快速更新增量式学习的目标检测网络模型权重的能力，在面对训练环境和实际应用环境差异较大，深度学习目标检测模型性能下降时，可通过提取实际应用环境的数据，通过增量式学习的目标检测网络模块快速更新深度学习目标检测模型权重，从而改善深度学习目标检测模型的性能，提升深度学习目标检测模型的鲁棒性。
图1示出根据本公开一实施例的一种增量式学习的目标检测网络模型的构建方法流程图。如图1所示，该方法可以包括：
步骤S11：训练所述目标检测的深度学习网络模型。
图2示出根据本公开一实施例的一种增量式学习的目标检测网络模型结构图。如图2所示，可以使用深度可分离卷积替换常规卷积，构建目标检测的深度学习网络模型特征提取网络层，构建目标检测的深度学习网络模型，并利用样本数据集训练目标检测的深度学习网络模型。
步骤S12：利用Slimming算法对目标检测的深度学习网络模型进行剪枝处理。
其中，对训练好的目标检测的深度学习网络模型，在目标检测的深度学习网络模型的训练集上可以使用Slimming算法对目标检测的深度学习网络模型进行剪枝，经多次剪枝及迁移学习，能够在最大限度保持目标检测的深度学习网络模型性能的同时，减少目标检测的深度学习网络模型的冗余参数及输出通道。
步骤S13：提取所述目标检测的深度学习网络模型的各卷积层训练集数据的输出特征及其训练标签。
在一示例中，目标检测的深度学习网络模型具有n层卷积层，提取全部n层卷积层样本训练集数据的输出特征{X1,X2,…,Xn}及其对应的训练集标签{Y1,Y2,…,Yn}，其中，Yi可以由描述训练数据样本集i所需的多维变量或其转化形式组成，例如可以包括目标物体坐标或转化坐标、目标物体分类、目标物体分类置信度、目标物体定位置信度等。
步骤S14：从所述各卷积层的输出特征中选取第m层卷积层训练集数据的输出特征及其训练标签分别作为所述目标检测的宽度学习网络模型的输入训练样本和训练标签，构建所述目标检测的宽度学习增量式学习模型。
其中，可以在目标检测的深度学习网络模型的全部n层卷积层的样本训练集数据的输出特征{X1,X2,…,Xn}中，选取第m层卷积层的样本训练集数据的输出特征{T1,T2,…,Tm}，其中{T1,T2,…,Tm}∈{X1,X2,…,Xn}，m<n，m和n都是正整数。
可以将第m层卷积层的样本训练集数据的输出特征{T1,T2,…,Tm}作为目标检测的宽度学习网络模型的输入训练样本，将全部n层卷积层样本训练集数据的输出特征对应的训练集标签{Y1,Y2,…,Yn}作为目标检测的宽度学习网络模型的训练标签，构建及训练目标检测的宽度学习增量式学习模型。
步骤S15：将所述训练好的目标检测的宽度学习增量式学习模型替换所述目标检测的深度学习网络模型的第m层卷积层及第m层后的卷积层，或将所述训练好的目标检测的宽度学习网络模型作为所述目标检测的深度学习网络模型的并行学习网络模型，以完成所述增量式学习的目标检测网络模型的构建。
图3a、3b分别示出根据本公开一实施例的一种增量式学习的目标检测网络模型。
在一实例中，如图3a所示，可以将训练好的目标检测的宽度学习增量式学习模型作为增量式学习的目标检测网络模型的唯一执行网络置信度估计。例如，可以将步骤S14中选取的第m层卷积层训练集数据输出特征{T1,T2,…,Tm}替换步骤S12中构建有目标检测的深度学习网络模型中对应第m层的全连接层或者卷积层，以训练完成目标检测的宽度学习增量式学习模型。
在另一示例中，如图3b所示，可以将训练好的目标检测的宽度学习增量式学习模型作为增量式学习的目标检测网络模型的辅助模块参与网络置信度估计。例如，可以将步骤S14中选取的第m层卷积层训练集数据输出特征{T1,T2,…,Tm}，与步骤S12中构建有目标检测的深度学习网络模型中对应第m层的全连接层或者卷积层构成并行网络，通过网络置信度融合的方式，以训练完成目标检测的宽度学习增量式学习模型。
本公开通过训练所述目标检测的深度学习网络模型；利用Slimming算法对所述目标检测的深度学习网络模型进行剪枝处理；提取所述目标检测的深度学习网络模型的各卷积层训练集数据的输出特征及其训练标签；从所述各卷积层的输出特征中选取第m层卷积层训练集数据的输出特征及其训练标签分别作为所述目标检测的宽度学习网络模型的输入训练样本和训练标签，构建所述目标检测的宽度学习增量式学习模型；将所述训练好的目标检测的宽度学习增量式学习模型替换所述目标检测的深度学习网络模型的第m层卷积层及第m层后的卷积层，或将所述训练好的目标检测的宽度学习网络模型作为所述目标检测的深度学习网络模型的并行学习网络模型，完成所述增量式学习的目标检测网络模型的构建。能够通过增量式学习模型快速更新增量式目标检测网络权重的能力，改善增量式目标检测网络的性能，提升增量式目标检测网络的鲁棒性。
图4示出根据本公开一实施例的步骤S11的一个示例的流程图。
在一种可能的实现方式中，如图4所示，增量式学习的目标检测网络模型构建方法的步骤S11可以包括：
步骤S111，利用深度可分离的卷积网络构建所述目标检测的深度学习网络模型的特征提取器；
步骤S112，构建所述目标检测的深度学习网络模型的双层目标检测模块；
步骤S113，连接所述目标检测的深度学习网络模型的特征提取器和所述双层目标检测模块，完成所述目标检测的深度学习网络模型的构建；
利用训练集数据训练所述目标检测的深度学习网络模型。
能够基于训练集数据训练基于深度学习目标检测模型，构建增量式学习的目标检测网络模型的特征提取器，提高目标检测准确率。
图5示出根据本公开一实施例的步骤S12的一个示例的流程图。
在一种可能的实现方式中，如图5所示，增量式学习的目标检测网络模型构建方法的步骤S12可以包括：
步骤S121，利用Slimming算法对所述目标检测的深度学习网络模型的各网络层系数进行归一化处理，并设置相应的调节权重值；
步骤S122，对除所述双层目标检测模块之外的归一化的网络层系数施加约束，利用所述训练集数据对所述目标检测的深度学习网络模型的参数进行剪枝训练；
步骤S123，绘制除所述双层目标检测模块之外的归一化的网络层系数的直方图，对低于设定阈值的所述目标检测的深度学习网络模型的输出通道进行剪枝处理。
在一示例中，Slimming算法的原理可以为：根据批量归一化网络层系数γ的定义，每个通道匹配唯一γ值，引入方程：L＝∑(x,y)l(f(x,W),y)+λ∑γ∈Γ‖γ‖1，可以通过对批量归一化网络层参数γ施加L1约束并设置对应的λ值调节权重，经剪枝训练后，深度学习网络模型的输出通道的每个通道的γ值即代表该通道的重要程度。剪掉低γ值的输出通道从而减少目标检测的深度学习网络模型前向通道数量，降低目标检测的深度学习网络模型参数规模，提高目标检测的深度学习网络模型前向推理速度。
对目标检测的深度学习网络模型除双层目标检测模块层以外的所有批量归一化网络层的系数γ，引入L1约束，设置λ＝0.001，使用训练数据集对网络进行剪枝训练。
对目标检测的深度学习网络模型除双层目标检测模块层以外的所有批量归一化网络层的系数γ，绘制γ系数值的分布直方图，并设置阈值为0.3，依据γ系数值的分布直方图，选取0.3百分比对应的γ系数值，将低于该γ值的通道剪枝。
将进行剪枝后的目标检测的深度学习网络模型进行迁移学习，并在样本训练集上计算相应目标检测指标，并重新执行上述步骤，直到目标检测指标下降明显停止迭代。
通过Slimming通道剪枝算法，在降低对目标检测的深度学习网络模型性能影响的情况下，达到剪除冗余输出通道，缓解后续目标检测的宽度学习增量式学习模型的宽度学习数据的维度，提高目标检测的深度学习网络模型前向推理速度。
图6示出根据本公开一实施例的一种增量式学习的目标检测网络模型的权重更新方法流程图。其中，该方法可以应用于上述的增量式学习的目标检测网络模型中。
根据本公开的另一方面，提出了一种增量式学习的目标检测网络模型的权重更新方法，如图6所示，该权重更新方法可以包括：
步骤S21：将实际样本数据输入到所述增量式学习的目标检测网络模型，输出实际样本数据的特征及其对应标签；
步骤S22：从所述实际样本数据的特征中选取第K卷积层实际样本数据输出特征作为所述目标检测的宽度学习增量式学习模型的输入训练样本，将所述增量式学习的目标检测网络模型输出的实际样本对应标签作为所述目标检测的宽度学习增量式学习模型的训练标签，根据所述目标检测的宽度学习增量式学习模型的权重更新方法对所述增量式学习的目标检测网络模型的权重进行更新。
在一实例中，可以提取实际样本数据，并输入到增量式学习的目标检测网络模型，输出实际样本数据的特征{X′1,X′2,…,X′n}及其对应训练标签{Y′1,Y′2,…,Y′n}，其中Y′j可以由描述实际数据样本j所需的多维变量或其转化形式组成，例如可以包括目标物体坐标或转化坐标、目标物体分类、目标物体分类置信度、目标物体定位置信度等。
可以将从增量式学习的目标检测网络模，输出实际样本数据的特征{X′1,X′2,…,X′n}中，选取第k层卷积层实际样本数据输出特征{T′1,T′2,…,T′k}，其中，{T′1,T′2,…,T′k}∈{X′1,X′2,…,X′n}，k<n，k和n为正整数。
可以将选取的第k层卷积层实际样本数据输出特征{T′1,T′2,…,T′k}作为目标检测的宽度学习增量式学习模型的输入训练样本，将增量式学习的目标检测网络模型输出实际样本数据的特征对应的训练标签{Y′1,Y′2,…,Y′n}作为目标检测的宽度学习增量式学习模型的训练标签，根据目标检测的宽度学习增量式学习模型的权重更新方法在线更新权重推导方程，以完成增量式学习的目标检测网络模型的权重的在线更新。
本公开通过将实际样本数据输入到所述增量式学习的目标检测网络模型，输出实际样本数据的特征及其对应标签；从所述实际样本数据的特征中选取第k层卷积层实际样本数据输出特征作为所述目标检测的宽度学习增量式学习模型的输入训练样本，将所述增量式学习的目标检测网络模型输出的实际样本对应标签作为所述目标检测的宽度学习增量式学习模型的训练标签，根据所述目标检测的宽度学习增量式学习模型的权重更新方法对所述增量式学习的目标检测网络模型的权重进行更新。能够拥有快速在线更新权重的能力。在应对动态、复杂及大范围环境时，通过学习实时目标特征，拓展特征节点的方式快速在线更新权重，极大增强增量式学习的目标检测网络模型的鲁邦性，提高目标检测准确率。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (2)

1.一种增量式学习的目标检测网络模型构建方法，其特征在于，所述方法包括：
S11：训练所述目标检测的深度学习网络模型，包括：
利用深度可分离的卷积网络构建所述目标检测的深度学习网络模型的特征提取器；
构建所述目标检测的深度学习网络模型的双层目标检测模块；
连接所述目标检测的深度学习网络模型的特征提取器和所述双层目标检测模块，完成所述目标检测的深度学习网络模型的构建；
利用训练集数据训练所述目标检测的深度学习网络模型；
S12：利用Slimming算法对所述目标检测的深度学习网络模型进行剪枝处理，包括：
利用Slimming算法对所述目标检测的深度学习网络模型的各网络层系数进行归一化处理，并设置相应的调节权重值；
对除所述双层目标检测模块之外的归一化的网络层系数施加约束，利用所述训练集数据对所述目标检测的深度学习网络模型的参数进行剪枝训练；
绘制除所述双层目标检测模块之外的归一化的网络层系数的直方图，对低于设定阈值的所述目标检测的深度学习网络模型的输出通道进行剪枝处理；
S13：提取所述目标检测的深度学习网络模型的各卷积层训练集数据的输出特征及其训练标签；目标检测的深度学习网络模型具有n层卷积层，提取全部n层卷积层样本训练集数据的输出特征
Figure QLYQS_1
及其对应的训练集标签/>
Figure QLYQS_2
，其中，/>
Figure QLYQS_3
由描述训练数据样本集i所需的多维变量或其转化形式组成，包括目标物体坐标或转化坐标、目标物体分类、目标物体分类置信度、目标物体定位置信度；
S14：从所述各卷积层的输出特征中选取第m层卷积层训练集数据的输出特征及其训练标签分别作为所述目标检测的宽度学习网络模型的输入训练样本和训练标签，训练所述目标检测的宽度学习增量式学习模型，其中，m为正整数；
在目标检测的深度学习网络模型的全部n层卷积层的样本训练集数据的输出特征
Figure QLYQS_4
中，选取第m层卷积层的样本训练集数据的输出特征/>
Figure QLYQS_5
，其中
Figure QLYQS_6
，m＜n，m和n都是正整数；
将第m层卷积层的样本训练集数据的输出特征
Figure QLYQS_7
作为目标检测的宽度学习网络模型的输入训练样本，将全部n层卷积层样本训练集数据的输出特征对应的训练集标签/>
Figure QLYQS_8
作为目标检测的宽度学习网络模型的训练标签，构建及训练目标检测的宽度学习增量式学习模型；
S15：将训练好的目标检测的宽度学习增量式学习模型替换所述目标检测的深度学习网络模型的第m层卷积层及第m层后的卷积层，或将所述训练好的目标检测的宽度学习网络模型作为所述目标检测的深度学习网络模型的并行学习网络模型，以完成所述增量式学习的目标检测网络模型的构建；
所构建的目标检测网络模型用于从图像流的每一帧中，识别目标是否存在、实施目标分类并解算出目标在图像中的位置。
2.一种增量式学习的目标检测网络模型的权重更新方法，其特征在于，所述增量式学习的目标检测网络模型为权利要求1所述的一种增量式学习的目标检测网络模型构建方法所构建的增量式学习的目标检测网络模型，所述权重更新方法包括：
将实际样本数据输入到所述增量式学习的目标检测网络模型，输出实际样本数据的特征及其对应标签；
从所述实际样本数据的特征中选取第k层卷积层实际样本数据输出特征作为所述目标检测的宽度学习增量式学习模型的输入训练样本，将所述增量式学习的目标检测网络模型输出的实际样本对应标签作为所述目标检测的宽度学习增量式学习模型的训练标签，根据所述目标检测的宽度学习增量式学习模型的权重更新方法对所述增量式学习的目标检测网络模型的权重进行更新，其中，k为正整数；
提取实际样本数据，并输入到增量式学习的目标检测网络模型，输出实际样本数据的特征{
Figure QLYQS_9
,/>
Figure QLYQS_10
,…,/>
Figure QLYQS_11
}及其对应训练标签{/>
Figure QLYQS_12
,/>
Figure QLYQS_13
,…,/>
Figure QLYQS_14
}，其中/>
Figure QLYQS_15
由描述实际数据样本j所需的多维变量或其转化形式组成，包括目标物体坐标或转化坐标、目标物体分类、目标物体分类置信度、目标物体定位置信度；
将从增量式学习的目标检测网络模型，输出实际样本数据的特征{
Figure QLYQS_17
,/>
Figure QLYQS_20
,…,/>
Figure QLYQS_24
}中，选取第k层卷积层实际样本数据输出特征/>
Figure QLYQS_18
，其中，{/>
Figure QLYQS_21
,/>
Figure QLYQS_23
,…,/>
Figure QLYQS_26
}/>
Figure QLYQS_16
{/>
Figure QLYQS_19
,/>
Figure QLYQS_22
,…,/>
Figure QLYQS_25
}，k＜n，k和n为正整数；
将选取的第k层卷积层实际样本数据输出特征
Figure QLYQS_27
作为目标检测的宽度学习增量式学习模型的输入训练样本，将增量式学习的目标检测网络模型输出实际样本数据的特征对应的训练标签{/>
Figure QLYQS_28
,/>
Figure QLYQS_29
,…,/>
Figure QLYQS_30
}作为目标检测的宽度学习增量式学习模型的训练标签，根据目标检测的宽度学习增量式学习模型的权重更新方法在线更新权重推导方程，以完成增量式学习的目标检测网络模型的权重的在线更新。/>
CN202011073711.3A 2020-09-30 2020-09-30 一种增量式学习目标检测网络模型构建及权重更新方法 Active CN113159082B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011073711.3A CN113159082B (zh) 2020-09-30 2020-09-30 一种增量式学习目标检测网络模型构建及权重更新方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011073711.3A CN113159082B (zh) 2020-09-30 2020-09-30 一种增量式学习目标检测网络模型构建及权重更新方法

Publications (2)

Publication Number Publication Date
CN113159082A CN113159082A (zh) 2021-07-23
CN113159082B true CN113159082B (zh) 2023-06-02

Family

ID=76882269

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011073711.3A Active CN113159082B (zh) 2020-09-30 2020-09-30 一种增量式学习目标检测网络模型构建及权重更新方法

Country Status (1)

Country Link
CN (1) CN113159082B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115758212B (zh) * 2022-11-10 2023-04-21 四川轻化工大学 一种基于并行网络和迁移学习的机械设备故障诊断方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108182456A (zh) * 2018-01-23 2018-06-19 哈工大机器人（合肥）国际创新研究院 一种基于深度学习的目标检测模型及其训练方法
CN110532859A (zh) * 2019-07-18 2019-12-03 西安电子科技大学 基于深度进化剪枝卷积网的遥感图像目标检测方法
CN111709522A (zh) * 2020-05-21 2020-09-25 哈尔滨工业大学 一种基于服务器-嵌入式协同的深度学习目标检测系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9767385B2 (en) * 2014-08-12 2017-09-19 Siemens Healthcare Gmbh Multi-layer aggregation for object detection
CN110096933B (zh) * 2018-01-30 2023-07-18 华为技术有限公司 目标检测的方法、装置及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108182456A (zh) * 2018-01-23 2018-06-19 哈工大机器人（合肥）国际创新研究院 一种基于深度学习的目标检测模型及其训练方法
CN110532859A (zh) * 2019-07-18 2019-12-03 西安电子科技大学 基于深度进化剪枝卷积网的遥感图像目标检测方法
CN111709522A (zh) * 2020-05-21 2020-09-25 哈尔滨工业大学 一种基于服务器-嵌入式协同的深度学习目标检测系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
融合深度扩张网络和轻量化网络的目标检测模型;权宇;李志欣;张灿龙;马慧芳;;电子学报(第02期);第390-397页 *

Also Published As

Publication number Publication date
CN113159082A (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
CN110084221B (zh) 一种基于深度学习的带中继监督的序列化人脸关键点检测方法
CN108681752B (zh) 一种基于深度学习的图像场景标注方法
CN108388896B (zh) 一种基于动态时序卷积神经网络的车牌识别方法
TWI794157B (zh) 自動多閾值特徵過濾方法及裝置
CN106847302B (zh) 基于卷积神经网络的单通道混合语音时域分离方法
CN111583263B (zh) 一种基于联合动态图卷积的点云分割方法
CN111079847B (zh) 一种基于深度学习的遥感影像自动标注方法
CN110766044B (zh) 一种基于高斯过程先验指导的神经网络训练方法
CN110533024B (zh) 基于多尺度roi特征的双二次池化细粒度图像分类方法
KR20190118387A (ko) 합성곱 신경망 기반 이미지 처리 시스템 및 방법
CN110619059B (zh) 一种基于迁移学习的建筑物标定方法
CN110349185B (zh) 一种rgbt目标跟踪模型的训练方法及装置
CN107636691A (zh) 用于识别图像中的文本的方法和设备
CN114492574A (zh) 基于高斯均匀混合模型的伪标签损失无监督对抗域适应图片分类方法
CN112085055B (zh) 一种基于迁移模型雅克比阵特征向量扰动的黑盒攻击方法
CN111242157A (zh) 联合深度注意力特征和条件对抗的无监督域自适应方法
CN111274958B (zh) 一种网络参数自纠正的行人重识别方法及系统
CN108595558B (zh) 一种数据均衡策略和多特征融合的图像标注方法
CN111695590B (zh) 约束优化类激活映射的深度神经网络特征可视化方法
CN110880010A (zh) 基于卷积神经网络的视觉slam闭环检测算法
CN110059144B (zh) 一种基于卷积神经网络的轨迹属主预测方法
CN113255849B (zh) 一种基于双重主动查询的标签带噪图像学习方法
CN113920472A (zh) 一种基于注意力机制的无监督目标重识别方法及系统
CN107240100B (zh) 一种基于遗传算法的图像分割方法和系统
CN113159082B (zh) 一种增量式学习目标检测网络模型构建及权重更新方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant