CN115063664A - 用于工业视觉检测的模型学习方法、训练方法及系统 - Google Patents

用于工业视觉检测的模型学习方法、训练方法及系统 Download PDF

Info

Publication number
CN115063664A
CN115063664A CN202210731804.3A CN202210731804A CN115063664A CN 115063664 A CN115063664 A CN 115063664A CN 202210731804 A CN202210731804 A CN 202210731804A CN 115063664 A CN115063664 A CN 115063664A
Authority
CN
China
Prior art keywords
network
training
full
class
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210731804.3A
Other languages
English (en)
Inventor
严鼎天
周涛
高全亮
丁富强
王诗怡
张亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Ideal Information Industry Group Co Ltd
Original Assignee
Shanghai Ideal Information Industry Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Ideal Information Industry Group Co Ltd filed Critical Shanghai Ideal Information Industry Group Co Ltd
Priority to CN202210731804.3A priority Critical patent/CN115063664A/zh
Publication of CN115063664A publication Critical patent/CN115063664A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种用于工业视觉检测的模型学习方法、训练方法及系统。应用于卷积神经算法，包括：采集检测目标的训练集及测试集、获取开源数据集以及获取已训练基类目标检测网络模型；根据任务描述定义基类和新类，根据新类的样本数量构建包含所有类别且每个类别样本数量均为K的第一全类别训练集以及包含每个类别的第二全类别测试集；修改基类目标检测算法模型的RPN网络，通过修改后的基类目标检测算法模型得到全类别特征；解耦修改后的基类目标检测算法模型。该流程可显著降低训练样本数量要求，提升深度学习目标检测算法在面对工业视觉检测的小样本学习任务时的识别精度、稳定性、易用性和可用性。

Description

用于工业视觉检测的模型学习方法、训练方法及系统
技术领域
本发明实施例涉及视觉检测技术，尤其涉及一种用于工业视觉检测的模型学习方法、训练方法及系统。
背景技术
近年来，随着卷积神经网络(CNN)在目标分类，对象检测和场景解析等任务上取得进展，现代化智能系统大量采用了基于神经网络的智能检测器取代传统人工抽检方法，实现了在生产效率、产品质量、人员利用等方面的跨越式提升。
基于卷积神经网络的视觉检测算法模型需要大量的训练数据支撑，当训练数据不足时，模型无法提供最基本的检测能力。如何利用有限的样本训练可用的算法模型就属于视觉算法的小样本学习问题。在智能视觉检测应用中，由于样本采集周期、生产工艺、生产环境等因素，小样本学习问题天然存在且无法避免。比如在产品外观检测场景中，由于系统故障所造成的个别缺陷非常罕见，但完全忽视这类缺陷又会严重影响产品质量。因此，如何利用有限的训练样本使模型具备基础检测性能已成为智能视觉检测系统亟需突破的技术能力瓶颈。
发明内容
本发明提供一种用于工业视觉检测的模型学习方法，旨在利用迁移学习，通过特征迁移的方式提升目标检测算法对小样本目标的学习效率。
第一方面，本发明实施例提供了一种用于工业视觉检测的模型学习方法，应用于卷积神经算法，包括：
采集检测目标的训练集及测试集、获取开源数据集以及获取已训练基类目标检测网络模型MB；
根据任务描述定义基类和新类，根据所述新类的样本数量构建包含所有类别且每个类别样本数量均为K的第一全类别训练集DT，以及包含每个类别的第二全类别测试集DE，其中K为正整数，将数据量少于预设阈值的类别定义为新类；
修改所述基类目标检测算法模型MB的RPN(Region Proposal Network)网络，使其产生与真值坐标匹配得分最高的前N个候选框；
利用所述第一全类别训练集DT，通过修改后的所述基类目标检测算法模型MB得到全类别特征库VT；所述特征库VT包含每个类别对应的特征单元；
解耦所述修改后的所述基类目标检测算法模型MB，分别在骨干网至RPN网络，骨干网至RCNN(Region-Convolutional Neural Network)网络中间加入解耦网络。
优选的，所述分别在骨干网至RPN网络，骨干网至RCNN网络中间加入解耦网络，之后，还包括：
将所述目标检测算法模型MB最后一个全连接层的权重替换为VT，并将该全连接层的输入进行归一化，命名修改后的目标检测算法模型为
Figure BDA0003714151970000021
其中，所述解耦网络包括一个均值池化层，两个全连接层，一个ReLU层以及一个Sigmoid层。
优选的，所述修改目标检测算法模型MB的RPN网络，利用所述第一全类别训练集DT通过修改后的目标检测算法模型MB得到全类别特征库VT，具体包括：修改所述已训练目标检测算法模型MB的RPN网络部分，使模型在预测候选框时主动生成与真值坐标匹配得分最高的前N个候选框；将第一全类别测试集DT输入修改后的基类特征目标检测算法模型MB，得到所有类别的特征集合；归一化特征集合中的每一行特征单元，再对同类特征单元沿着特征向量取均值，最终得到全类别特征库VT，其中，所述目标检测网络通常包含骨干网、RPN网络以及预测网络，每个类别的样本数量相同，均为K个已标注实例，其中K取决于新类的实例数量，每个样本提取的候选框数量相同，其中N大于200小于500，候选框特征由目标检测算法模型MB中预测网络的最后一个池化层得到，每个特征单元的特征向量维度相同，通常为2048维。
优选的，还包括：获取已训练的基类目标检测算法模型MB，包括：已训练的历史模型、网络公开算法模型、或者通过大量原始基类样本训练的检测算法模型，其中，目标检测算法模型为基于深度神经网络的二步式检测算法。
优选的，所述将目标检测算法模型MB最后一个全连接层的权重替换为VT，并将该全连接层的输入归一化，具体包括：提取基类检测模型MB最后一个全连接层的权重并归一化，得到权重矩阵FC；初始化一个新的权重矩阵FC′，其中，行数为类别数量加一，列数等于权重矩阵FC的列数；将权重矩阵FC′的最后一行权重赋值为权重矩阵FC的最后一行权重，其余行赋值为全类别特征库VT；将上述基类检测模型MB的最后一个全连接层的权重替换为权重矩阵FC′；归一化最后一个全连接层的输入，其中，得到权重矩阵FC、权重矩阵FC′以及全类别特征库VT的列数相同；归一化最后一个全连接层的输入的目的是满足余弦相似度计算公式。
第二方面，本发明实施例还提供了一种用于工业视觉检测的模型训练方法，该方法包括：采用所述的方法学习得到所述基类目标检测算法模型MB；
利用所述第一全类别训练集DT训练所述目标检测算法模型
Figure BDA0003714151970000041
利用所述第二全类别测试集DE测试算法。
优选的，所述利用全类别训练集DT训练目标检测算法模型
Figure BDA0003714151970000042
包括：冻结骨干网络浅层卷积层，微调骨干网深层卷积层；
正常训练预测网络最后一个全连接层，冻结其余全连接层及卷积层；
正常训练RPN网络；
正常训练骨干网络与RPN网络之间的解耦网络；
正常训练骨干网络与预测网络之间的解耦网络。
优选的，所述利用全类别训练集DT训练目标检测算法模型
Figure BDA0003714151970000043
包括：训练所述基类目标检测算法模型MB的预训练骨干网络B，预训练RPN网络以及预训练预测网络；
训练时延用所述预训练骨干网络B的网络权重,冻结所述预训练骨干网络B的浅层卷积层，微调训练骨干网络B的深层卷积层；
延用RPN网络的网络权重，正常训练RPN网络；
正常训练预测网络的最后一个全连接层，冻结其余卷积层及全连接层；正常训练骨干网络与RPN网络之间的解耦网络；
正常训练骨干网络与预测网络之间的解耦网络，其中，所述正常训练的学习率是所述微调训练学习率的十倍。
第三方面，本发明实施例还提供了一种用于工业视觉检测的模型学习系统，包括：
获取模块，用于采集检测目标的训练集及测试集、获取开源数据集以及获取已训练基类目标检测网络模型MB；
数据构建模块，用于根据任务描述定义基类和新类，根据所述新类的样本数量构建包含所有类别且每个类别样本数量均为K的第一全类别训练集DT，以及包含每个类别的第二全类别测试集DE，其中K为正整数，将数据量少于预设阈值的类别定义为新类；
调整模块，用于修改目标检测网络模型MB中的RPN网络，使其产生与真值坐标匹配得分最高的前N个候选框；
特征提取模块，用于利用所述第一全类别训练集DT，通过修改后的所述基类目标检测算法模型MB得到全类别特征库VT；所述特征库VT包含每个类别对应的特征单元；
解耦模块，用于解耦所述修改后的所述基类目标检测算法模型MB，分别在骨干网至RPN网络，骨干网至RCNN网络中间加入解耦网络；
调整模块，用于将所述目标检测算法模型MB最后一个全连接层的权重替换为VT，并将该全连接层的输入进行归一化，命名修改后的目标检测算法模型为
Figure BDA0003714151970000051
其中，所述解耦网络包括一个均值池化层，两个全连接层，一个ReLU层以及一个Sigmoid层。
第四方面，一种用于工业视觉检测的模型训练系统，包括上述一种用于工业视觉检测的模型学习系统，还包括：
训练模块，用于利用所述第一全类别训练集DT训练所述目标检测算法模型
Figure BDA0003714151970000052
所述训练模块，具体用于：冻结骨干网络浅层卷积层，微调骨干网深层卷积层；正常训练预测网络最后一个全连接层，冻结其余全连接层及卷积层；正常训练RPN网络；正常训练骨干网络与RPN网络之间的解耦网络；正常训练骨干网络与预测网络之间的解耦网络。利用所述第二全类别测试集DE测试算法。
测试模块，用于利用所述第二全类别测试集DE测试算法。
本发明实施例与现有的目标检测模型学习方法相比，考虑了真实场景中由于数据保密而无法接触原始基类样本的普遍情况，设计了基于迁移学习、利用特征迁移的目标检测算法小样本学习流程；同时针对目标检测网络在候选框生成，模型解耦部分提出了针对性设计，保障算法能够正确实施。该流程可显著降低训练样本数量要求，提升深度学习目标检测算法在面对小样本学习任务时的识别精度、稳定性、易用性和可用性。
附图说明
图1为本发明实施例一中的一种用于工业视觉检测的模型学习方法的方法流程图；
图2是本发明实施例二中的一种用于工业视觉检测的模型训练方法的方法流程图；
图3是本发明实施例三中的一种用于工业视觉检测的模型训练系统的结构框图；
图4是本发明实施例四中的一种用于工业视觉检测的模型训练系统的结构框图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种用于工业视觉检测的模型学习方法的流程图，应用于卷积神经算法，具体包括如下步骤：
步骤110、采集检测目标的训练集及测试集、获取开源数据集以及获取已训练基类目标检测网络模型MB。
其中，数据集可以收集于历史记录，现场采集或互联网下载，在选取开源数据集时，检测目标可以是各种工业应用场景中需要识别的对象，在此不做具体限制。在定义类别时，我们将数据量很大的类别定义为基类，将数据量很少的类别定义为新类，或者将已学习大样本类别定义为基类，待学习小样本类别定义为新类。根据新类样本数量分别构建包含所有类别的全类别训练集DT，以及包含每个类别的全类别测试集DE。
获取已训练的基类目标检测算法模型MB，获取方法包括已训练的历史模型、网络公开算法模型、或者通过大量原始基类样本训练的检测算法模型。其中目标检测算法模型为基于深度神经网络的二步式检测算法，包括faster R-CNN网络等，在此不做具体限制。
步骤120、根据任务描述定义基类和新类，根据新类的样本数量构建包含所有类别且每个类别样本数量均为K的第一全类别训练集DT，以及包含每个类别的第二全类别测试集DE，其中K为正整数，将数据量少于预设阈值的类别定义为新类。
上述第一全类别训练集DT是包含全部类别的样本均衡数据集，其中每个类别包含K个样本。K的数值由新类样本数量决定。每个类别的样本数量相同，均为K个已标注实例。其中K取决于新类的实例数量。
步骤130、修改基类目标检测算法模型MB的RPN网络，使其产生与真值坐标匹配得分最高的前N个候选框。每个样本提取的候选框数量相同，其中N大于200小于500。
步骤140、利用第一全类别训练集DT，通过修改后的基类目标检测算法模型MB得到全类别特征库VT；特征库VT包含每个类别对应的特征单元。
步骤150、解耦修改后的基类目标检测算法模型MB，分别在骨干网至RPN网络，骨干网至RCNN网络中间加入解耦网络。
还包括：步骤160：将目标检测算法模型MB最后一个全连接层的权重替换为VT，并将该全连接层的输入进行归一化，命名修改后的目标检测算法模型为
Figure BDA0003714151970000081
其中，解耦网络包括一个均值池化层，两个全连接层，一个ReLU层以及一个Sigmoid层。
本实施例中，根据检测任务目标及每个类别的样本数量，确定大样本类别和小样本类别，基类为大样本类别集合，新类为小样本类别集合；设新类中每个类别包含K张样本，构建包含全部基类和新类且每个类别均有K个样本的第一全类别训练集DT、以及包含全部基类和新类的第二全类别测试集DE；获取基于基类的目标检测算法模型MB，获取途径包括历史训练记录，网络公开资源，历史训练记录等。
第一全类别训练集DT中每个类别均包含K张样本。
第二全类别测试集DE中每个类别包含任意张样本。
其中，修改目标检测算法模型MB的RPN网络，利用第一全类别训练集DT通过修改后的目标检测算法模型MB得到全类别特征库VT，具体包括：修改已训练目标检测算法模型MB的RPN网络部分，使模型在预测候选框时主动生成与真值坐标匹配得分最高的前N个候选框；将第一全类别测试集DT输入修改后的特征目标检测算法模型MB，得到所有类别的特征集合；归一化特征集合中的每一行特征单元，再对同类特征单元沿着特征向量取均值，最终得到全类别特征库VT，其中，目标检测网络通常包含骨干网、RPN网络以及预测网络，每个类别的样本数量相同，均为K个已标注实例，其中K取决于新类的实例数量，每个样本提取的候选框数量相同，其中N大于200小于500，候选框特征由目标检测算法模型MB中预测网络的最后一个池化层得到，每个特征单元的特征向量维度相同，通常为2048维。
优选的，还包括：获取已训练的基类目标检测算法模型MB，包括：已训练的历史模型、网络公开算法模型、或者通过大量原始基类样本训练的检测算法模型，其中，目标检测算法模型为基于深度神经网络的二步式检测算法。
优选的，将目标检测算法模型MB最后一个全连接层的权重替换为VT，并将该全连接层的输入归一化，具体包括：提取基类检测模型MB最后一个全连接层的权重并归一化，得到权重矩阵FC；初始化一个新的权重矩阵FC′，其中，行数为类别数量加一，列数等于权重矩阵FC的列数；将权重矩阵FC′的最后一行权重赋值为权重矩阵FC的最后一行权重，其余行赋值为全类别特征库VT；将上述基类检测模型MB的最后一个全连接层的权重替换为权重矩阵FC′；归一化最后一个全连接层的输入，其中，得到权重矩阵FC、权重矩阵FC′以及全类别特征库VT的列数相同；归一化最后一个全连接层的输入的目的是满足余弦相似度计算公式。
与现有技术相比，本发明实施例有如下优点：
本发明考虑到算法实际部署难度，在避免修改网络架构的基础上，利用解耦网络以及特征迁移方法显著提升检测算法的小样本学习效率，大幅度提升小样本学习算法的准确性、稳定性和可用性。
相比于修改网络架构的方法，通过特征迁移可提升模型在学习过程的可解释性，为算法部署应用提供大量后续优化空间。
不同于目前的小样本学习方法，本方法可以在避免接触大量基类训练样本的情况下，只利用少量基类和新类训练样本即可实现小样本学习目的。
相比于元学习方法，基于迁移学习的小样本学习方法能更好的的应对目标跨域问题，具备更强的实用性。
随着数据资产保护得到更多重视，本方法不接触原始数据的优势将进一步凸显，提前布局未来大数据化，网络化，平台化等前景应用。
实施例二
图2为本发明实施例二提供的一种用于工业视觉检测的模型训练方法的操作的流程图，本实施例在上述各实施例的基础上，采用如实施例一的方法学习得到第一全类别训练集DT、第二全类别测试集DE和基类目标检测算法模型MB。具体地，数据集构建方法与常规方法相同，在此不予赘述。基类目标检测算法模型MB可由历史模型、网络公开等途径获得。当类似模型完全不存在时，需要用大量原始基类样本训练该模型，其中原始基类样本不属于第一全类别训练集DT。
方法包括：步骤210：第一全类别训练集DT训练目标检测算法模型
Figure BDA0003714151970000101
步骤220：利用第二全类别测试集DE测试算法。
具体的，训练结束后利用全类别测试集DE验证小样本学习性能。
本实施例与现有技术相比，完全避免接触基类原始训练集，只通过少量训练样本，通过特征迁移的方法实现目标检测算法的小样本快速学习过程。本方法部署简单、训练周期短，具备较强的实用性及稳定性。
在有些实施方式中，步骤210：具体包括：冻结骨干网络浅层卷积层，微调骨干网深层卷积层；
正常训练预测网络最后一个全连接层，冻结其余全连接层及卷积层；
正常训练RPN网络；
正常训练骨干网络与RPN网络之间的解耦网络；
正常训练骨干网络与预测网络之间的解耦网络。
在有些实施方式中，步骤S210具体包括：
训练基类目标检测算法模型MB的预训练骨干网络B，预训练RPN网络以及预训练预测网络；
训练时延用预训练骨干网络B的网络权重,冻结预训练骨干网络B的浅层卷积层，微调训练骨干网络B的深层卷积层；
延用RPN网络的网络权重，正常训练RPN网络；
正常训练预测网络的最后一个全连接层，冻结其余卷积层及全连接层；正常训练骨干网络与RPN网络之间的解耦网络；
正常训练骨干网络与预测网络之间的解耦网络，其中，正常训练的学习率是微调训练学习率的十倍。
其中，具体的，可将正常训练的学习率设置为0.01和微调训练学习率设置为0.001。
实施例三
图3所示为本发明实施例三提供的一种用于工业视觉检测的模型学习系统的结构示意图，应用于卷积神经算法的模型学习，包括：
获取模块310，用于采集检测目标的训练集及测试集、获取开源数据集以及获取已训练基类目标检测网络模型MB。
数据构建模块320，用于根据任务描述定义基类和新类，根据新类的样本数量构建包含所有类别且每个类别样本数量均为K的第一全类别训练集DT，以及包含每个类别的第二全类别测试集DE。
第一调整模块330，用于修改目标检测网络模型MB中的RPN网络，使其产生与真值坐标匹配得分最高的前N个候选框。
特征提取模块340，用于利用第一全类别训练集DT，通过修改后的基类目标检测算法模型MB得到全类别特征库VT；特征库VT包含每个类别对应的特征单元。
解耦模块350，用于解耦修改后的基类目标检测算法模型MB，分别在骨干网至RPN网络，骨干网至RCNN网络中间加入解耦网络。
第二调整模块360，用于将目标检测算法模型MB最后一个全连接层的权重替换为VT，并将该全连接层的输入进行归一化，命名修改后的目标检测算法模型为
Figure BDA0003714151970000121
其中，解耦网络包括一个均值池化层，两个全连接层，一个ReLU层以及一个Sigmoid层。
可选地，第二调整模块360，包括：权重替换子模块和损失函数修改子模块。
权重替换子模块，包括：提取基类检测模型MB最后一个全连接层的权重并归一化，得到权重矩阵FC；之后初始化一个新的权重矩阵FC′，其中行数为类别数量加一，列数等于权重矩阵FC的列数；然后将权重矩阵FC′的最后一行权重赋值为权重矩阵FC的最后一行权重，其余行赋值为全类别特征库VT；最后将上述基类检测模型MB的最后一个全连接层的权重替换为权重矩阵FC′。
损失函数修改子模块，修改网络，将最后一个全连接层的输入归一化，从而实现余弦相似度计算公式。
本发明考虑到算法实际部署难度，在避免修改网络架构的基础上，利用解耦网络及特征迁移方法解决目标检测算法的小样本学习问题，大幅度提升目标检测算法小样本学习方法的准确性、稳定性和可用性。
相比于修改网络架构的方法，通过记忆特征库可提升模型在学习过程的可解释性，为算法部署应用提供大量后续优化空间。
本方法基于迁移学习方法，可以在不接触大量基类原始训练数据的情况下，只利用少量训练数据即可实现小样本学习目的。
相比于原学习方法，基于迁移学习的小样本学习方法能更好的的应对目标跨域问题，具备更强的实用性。
随着数据资产保护得到更多重视，本方法不接触原始数据的优势将进一步凸显，提前布局大数据化，网络化，平台化等前景应用。
实施例四
图4为本发明实施例四提供的一种用于工业视觉检测的模型训练系统，在上述的实施例三的一种用于工业视觉检测的模型学习系统的基础上，还包括：
训练模块410，用于利用第一全类别训练集DT训练目标检测算法模型
Figure BDA0003714151970000131
训练模块410，具体用于：冻结骨干网络浅层卷积层，微调骨干网深层卷积层；正常训练预测网络最后一个全连接层，冻结其余全连接层及卷积层；正常训练RPN网络；正常训练骨干网络与RPN网络之间的解耦网络；正常训练骨干网络与预测网络之间的解耦网络。利用第二全类别测试集DE测试算法。
测试模块420，用于利用第二全类别测试集DE测试算法。
上述用于工业视觉检测的模型训练系统可执行本发明任意实施例所提供用于工业视觉检测的模型学习方法和用于工业视觉检测的模型训练方法，具备执行方法相应的功能模块和有益效果。
将意识到的是，本发明也扩展到适合于将本发明付诸实践的计算机程序，特别是载体上或者载体中的计算机程序。程序可以以源代码、目标代码、代码中间源和诸如部分编译的形式的目标代码的形式，或者以任何其它适合在按照本发明的方法的实现中使用的形式。也将注意的是，这样的程序可能具有许多不同的构架设计。例如，实现按照本发明的方法或者系统的功能性的程序代码可能被再分为一个或者多个子例程。
用于在这些子例程中间分布功能性的许多不同方式将对技术人员而言是明显的。子例程可以一起存储在一个可执行文件中，从而形成自含式的程序。这样的可执行文件可以包括计算机可执行指令，例如处理器指令和/或解释器指令(例如，Java解释器指令)。可替换地，子例程的一个或者多个或者所有子例程都可以存储在至少一个外部库文件中，并且与主程序静态地或者动态地(例如在运行时间)链接。主程序含有对子例程中的至少一个的至少一个调用。子例程也可以包括对彼此的函数调用。涉及计算机程序产品的实施例包括对应于所阐明方法中至少一种方法的处理步骤的每一步骤的计算机可执行指令。这些指令可以被再分成子例程和/或被存储在一个或者多个可能静态或者动态链接的文件中。
另一个涉及计算机程序产品的实施例包括对应于所阐明的系统和/或产品中至少一个的装置中每个装置的计算机可执行指令。这些指令可以被再分成子例程和/或被存储在一个或者多个可能静态或者动态链接的文件中。
计算机程序的载体可以是能够运载程序的任何实体或者设备。例如，载体可以包含存储介质，诸如(ROM例如CD ROM或者半导体ROM)或者磁记录介质(例如软盘或者硬盘)。进一步地，载体可以是可传输的载体，诸如电学或者光学信号，其可以经由电缆或者光缆，或者通过无线电或者其它手段传递。当程序具体化为这样的信号时，载体可以由这样的线缆或者其它设备或者装置组成。可替换地，载体可以是其中嵌入有程序的集成电路，集成电路适合于执行相关方法，或者供相关方法的执行所用。
应该留意的是，上文提到的实施例是举例说明本发明，而不是限制本发明，并且本领域的技术人员将能够设计许多可替换的实施例，而不会偏离所附权利要求的范围。在权利要求中，任何放置在圆括号之间的参考符号不应被解读为是对权利要求的限制。动词“包括”和其词形变化的使用不排除除了在权利要求中记载的那些之外的元素或者步骤的存在。在元素之前的冠词“一”或者“一个”不排除复数个这样的元素的存在。本发明可以通过包括几个明显不同的元件的硬件，以及通过适当编程的计算机而实现。在列举几种装置的设备权利要求中，这些装置中的几种可以通过硬件的同一项来体现。在相互不同的从属权利要求中陈述某些措施的单纯事实并不表明这些措施的组合不能被用来获益。
如果期望的话，这里所讨论的不同功能可以以不同顺序执行和/或彼此同时执行。此外，如果期望的话，以上所描述的一个或多个功能可以是可选的或者可以进行组合。
如果期望的话，上文所讨论的各步骤并不限于各实施例中的执行顺序，不同步骤可以以不同顺序执行和/或彼此同时执行。此外，在其他实施例中，以上所描述的一个或多个步骤可以是可选的或者可以进行组合。
虽然本发明的各个方面在独立权利要求中给出，但是本发明的其它方面包括来自所描述实施方式的特征和/或具有独立权利要求的特征的从属权利要求的组合，而并非仅是权利要求中所明确给出的组合。
这里所要注意的是，虽然以上描述了本发明的示例实施方式，但是这些描述并不应当以限制的含义进行理解。相反，可以进行若干种变化和修改而并不背离如所附权利要求中所限定的本发明的范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种用于工业视觉检测的模型学习方法，应用于卷积神经算法，其特征在于，包括：
采集检测目标的训练集及测试集、获取开源数据集以及获取已训练基类目标检测网络模型MB；
根据任务描述定义基类和新类，根据所述新类的样本数量构建包含所有类别且每个类别样本数量均为K的第一全类别训练集DT，以及包含每个类别的第二全类别测试集DE，其中K为正整数，将数据量少于预设阈值的类别定义为新类；
修改所述基类目标检测算法模型MB的RPN网络，使其产生与真值坐标匹配得分最高的前N个候选框；
利用所述第一全类别训练集DT，通过修改后的所述基类目标检测算法模型MB得到全类别特征库VT；所述特征库VT包含每个类别对应的特征单元；
解耦所述修改后的所述基类目标检测算法模型MB，分别在骨干网至RPN网络，骨干网至RCNN网络中间加入解耦网络。
2.根据权利要求1所述的方法，其特征在于，所述分别在骨干网至RPN网络，骨干网至RCNN网络中间加入解耦网络，之后，还包括：
将所述目标检测算法模型MB最后一个全连接层的权重替换为VT，并将该全连接层的输入进行归一化，命名修改后的目标检测算法模型为
Figure FDA0003714151960000011
其中，所述解耦网络包括一个均值池化层，两个全连接层，一个ReLU层以及一个Sigmoid层。
3.根据权利要求1所述的方法，其特征在于，所述修改目标检测算法模型MB的RPN网络，利用所述第一全类别训练集DT通过修改后的目标检测算法模型MB得到全类别特征库VT，具体包括：修改所述已训练目标检测算法模型MB的RPN网络部分，使模型在预测候选框时主动生成与真值坐标匹配得分最高的前N个候选框；将全类别测试集DT输入修改后的特征目标检测算法模型MB，得到所有类别的特征集合；归一化特征集合中的每一行特征单元，再对同类特征单元沿着特征向量取均值，最终得到全类别特征库VT，其中，所述目标检测网络通常包含骨干网、RPN网络以及预测网络，每个类别的样本数量相同，均为K个已标注实例，其中K取决于新类的实例数量，每个样本提取的候选框数量相同，其中N大于200小于500，候选框特征由目标检测算法模型MB中预测网络的最后一个池化层得到，每个特征单元的特征向量维度相同，通常为2048维。
4.根据权利要求1所述的方法，其特征在于，还包括：获取已训练的基类目标检测算法模型MB，包括：已训练的历史模型、网络公开算法模型、或者通过大量原始基类样本训练的检测算法模型，其中，目标检测算法模型为基于深度神经网络的二步式检测算法。
5.根据权利要求2所述的方法，其特征在于，所述将目标检测算法模型MB最后一个全连接层的权重替换为VT，并将该全连接层的输入归一化，具体包括：提取基类检测模型MB最后一个全连接层的权重并归一化，得到权重矩阵FC；初始化一个新的权重矩阵FC′，其中，行数为类别数量加一，列数等于权重矩阵FC的列数；将权重矩阵FC′的最后一行权重赋值为权重矩阵FC的最后一行权重，其余行赋值为全类别特征库VT；将上述基类检测模型MB的最后一个全连接层的权重替换为权重矩阵FC′；归一化最后一个全连接层的输入，其中，得到权重矩阵FC、权重矩阵FC′以及全类别特征库VT的列数相同；归一化最后一个全连接层的输入的目的是满足余弦相似度计算公式。
6.一种用于工业视觉检测的模型训练方法，其特征在于：采用如权利要求1-5中任一项所述的方法学习得到所述基类目标检测算法模型MB；
利用所述第一全类别训练集DT训练所述目标检测算法模型
Figure FDA0003714151960000031
利用所述第二全类别测试集DE测试算法。
7.根据权利要求6所述的方法，其特征在于，所述利用全类别训练集DT训练目标检测算法模型
Figure FDA0003714151960000032
包括：冻结骨干网络浅层卷积层，微调骨干网深层卷积层；
正常训练预测网络最后一个全连接层，冻结其余全连接层及卷积层；
正常训练RPN网络；
正常训练骨干网络与RPN网络之间的解耦网络；
正常训练骨干网络与预测网络之间的解耦网络。
8.根据权利要求6所述的方法，其特征在于，所述利用全类别训练集DT训练目标检测算法模型
Figure FDA0003714151960000033
包括：训练所述基类目标检测算法模型MB的预训练骨干网络B，预训练RPN网络以及预训练预测网络；
训练时延用所述预训练骨干网络B的网络权重,冻结所述预训练骨干网络B的浅层卷积层，微调训练骨干网络B的深层卷积层；
延用RPN网络的网络权重，正常训练RPN网络；
正常训练预测网络的最后一个全连接层，冻结其余卷积层及全连接层；正常训练骨干网络与RPN网络之间的解耦网络；
正常训练骨干网络与预测网络之间的解耦网络，其中，所述正常训练的学习率是所述微调训练学习率的十倍。
9.一种用于工业视觉检测的模型学习系统，其特征在于，包括：
获取模块，用于采集检测目标的训练集及测试集、获取开源数据集以及获取已训练基类目标检测网络模型MB；
数据构建模块，用于根据任务描述定义基类和新类，根据所述新类的样本数量构建包含所有类别且每个类别样本数量均为K的第一全类别训练集DT，以及包含每个类别的第二全类别测试集DE，其中K为正整数，将数据量少于预设阈值的类别定义为新类；
调整模块，用于修改目标检测网络模型MB中的RPN网络，使其产生与真值坐标匹配得分最高的前N个候选框；
特征提取模块，用于利用所述第一全类别训练集DT，通过修改后的所述基类目标检测算法模型MB得到全类别特征库VT；所述特征库VT包含每个类别对应的特征单元；
解耦模块，用于解耦所述修改后的所述基类目标检测算法模型MB，分别在骨干网至RPN网络，骨干网至RCNN网络中间加入解耦网络；
调整模块，用于将所述目标检测算法模型MB最后一个全连接层的权重替换为VT，并将该全连接层的输入进行归一化，命名修改后的目标检测算法模型为
Figure FDA0003714151960000041
其中，所述解耦网络包括一个均值池化层，两个全连接层，一个ReLU层以及一个Sigmoid层。
10.一种用于工业视觉检测的模型训练系统，其特征在于，包括如权利要求9中任一项所述的一种用于工业视觉检测的模型学习系统，还包括：
训练模块，用于利用所述第一全类别训练集DT训练所述目标检测算法模型
Figure FDA0003714151960000042
所述训练模块，具体用于：冻结骨干网络浅层卷积层，微调骨干网深层卷积层；正常训练预测网络最后一个全连接层，冻结其余全连接层及卷积层；正常训练RPN网络；正常训练骨干网络与RPN网络之间的解耦网络；正常训练骨干网络与预测网络之间的解耦网络。利用所述第二全类别测试集DE测试算法。
测试模块，用于利用所述第二全类别测试集DE测试算法。
CN202210731804.3A 2022-06-26 2022-06-26 用于工业视觉检测的模型学习方法、训练方法及系统 Pending CN115063664A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210731804.3A CN115063664A (zh) 2022-06-26 2022-06-26 用于工业视觉检测的模型学习方法、训练方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210731804.3A CN115063664A (zh) 2022-06-26 2022-06-26 用于工业视觉检测的模型学习方法、训练方法及系统

Publications (1)

Publication Number Publication Date
CN115063664A true CN115063664A (zh) 2022-09-16

Family

ID=83201411

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210731804.3A Pending CN115063664A (zh) 2022-06-26 2022-06-26 用于工业视觉检测的模型学习方法、训练方法及系统

Country Status (1)

Country Link
CN (1) CN115063664A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116188888A (zh) * 2022-12-14 2023-05-30 北京百度网讯科技有限公司 目标检测模型的训练方法和装置
CN117708726A (zh) * 2024-02-05 2024-03-15 成都浩孚科技有限公司 网络模型解耦的开集合类别训练方法、装置及其存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116188888A (zh) * 2022-12-14 2023-05-30 北京百度网讯科技有限公司 目标检测模型的训练方法和装置
CN117708726A (zh) * 2024-02-05 2024-03-15 成都浩孚科技有限公司 网络模型解耦的开集合类别训练方法、装置及其存储介质
CN117708726B (zh) * 2024-02-05 2024-04-16 成都浩孚科技有限公司 网络模型解耦的开集合类别训练方法、装置及其存储介质

Similar Documents

Publication Publication Date Title
CN109344908B (zh) 用于生成模型的方法和装置
CN110852447B (zh) 元学习方法和装置、初始化方法、计算设备和存储介质
US7447338B2 (en) Method and system for face detection using pattern classifier
CN109993102B (zh) 相似人脸检索方法、装置及存储介质
CN108141645A (zh) 具有成对深度排序的视频重点检测
CN115063664A (zh) 用于工业视觉检测的模型学习方法、训练方法及系统
Silva-Rodriguez et al. Self-learning for weakly supervised gleason grading of local patterns
CN112926654A (zh) 预标注模型训练、证件预标注方法、装置、设备及介质
CN111275104A (zh) 一种模型训练方法、装置、服务器及存储介质
CN114330499A (zh) 分类模型的训练方法、装置、设备、存储介质及程序产品
CN111586728B (zh) 一种面向小样本特征的异构无线网络故障检测与诊断方法
CN116452818A (zh) 一种基于特征增强的小样本遥感图像目标检测方法
CN115240052A (zh) 一种目标检测模型的构建方法及装置
CN113343123B (zh) 一种生成对抗多关系图网络的训练方法和检测方法
CN117371511A (zh) 图像分类模型的训练方法、装置、设备及存储介质
WO2020135054A1 (zh) 视频推荐方法、装置、设备及存储介质
CN116977271A (zh) 缺陷检测方法、模型训练方法、装置及电子设备
CN117036843A (zh) 目标检测模型训练方法、目标检测方法和装置
CN115410250A (zh) 阵列式人脸美丽预测方法、设备及存储介质
CN113449631A (zh) 图像分类方法及系统
CN113779287A (zh) 基于多阶段分类器网络的跨域多视角目标检索方法及装置
CN112686277A (zh) 模型训练的方法和装置
KR20190078710A (ko) 이미지 분류 시스템 및 방법
CN112733883B (zh) 一种点监督的目标检测方法
CN113205082B (zh) 基于采集不确定性解耦的鲁棒虹膜识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination