CN114821200B - 一种应用于工业视觉检测领域的图像检测模型及方法 - Google Patents

一种应用于工业视觉检测领域的图像检测模型及方法 Download PDF

Info

Publication number
CN114821200B
CN114821200B CN202210738112.1A CN202210738112A CN114821200B CN 114821200 B CN114821200 B CN 114821200B CN 202210738112 A CN202210738112 A CN 202210738112A CN 114821200 B CN114821200 B CN 114821200B
Authority
CN
China
Prior art keywords
domain
training
image
classifier
class
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210738112.1A
Other languages
English (en)
Other versions
CN114821200A (zh
Inventor
李骏
周方明
杨苏
王俊
任贺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Lichuang Zhiheng Electronic Technology Co ltd
Original Assignee
Suzhou Lichuang Zhiheng Electronic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Lichuang Zhiheng Electronic Technology Co ltd filed Critical Suzhou Lichuang Zhiheng Electronic Technology Co ltd
Priority to CN202210738112.1A priority Critical patent/CN114821200B/zh
Publication of CN114821200A publication Critical patent/CN114821200A/zh
Application granted granted Critical
Publication of CN114821200B publication Critical patent/CN114821200B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

本申请提供一种应用于工业视觉检测领域的图像检测模型及方法。所述图像检测模型包括利用预设图像检测训练模型按照预设训练方法得到的第一特征提取器以及第一标签分类器；所述预设图像检测训练模型包括第二特征提取器、梯度翻转层、第二分类器、第一域判别器、第二域判别器。其中，第二特征提取器、梯度翻转层、第二分类器组成对抗模块，用于分离目标域中的已知类和未知类图像；第二分类器、第三分类器、第一域判别器、第二域判别器组成加权模块，用于为目标域数据添加权重促进数据分离，避免图像检测模型负迁移现象。训练得到的图像检测模型，在面对实际工业视觉检测场景中存在未知类图像时，能保持较好的图像检测性能，检测准率高，应用范围广。

Description

一种应用于工业视觉检测领域的图像检测模型及方法
技术领域
本申请涉及工业视觉检测领域，尤其涉及一种应用于工业视觉检测领域的图像检测模型及方法。
背景技术
目前，图像检测模型被广泛应用于工业视觉检测领域。例如，可以应用在列车关键部位的故障检测中。首先，通过采集列车关键部位的图像，将采集到的图像输入到训练好的图像检测模型中，由训练好的图像检测模型进行分类，然后根据分类结果判断列车关键部位是否存在故障、以及是什么样的故障。
在工业视觉检测领域，由于工业设备运行的安全性和故障形式的多样性，工业设备的故障图像数据非常稀有，很难获得完备的故障图像数据集。所以在实际的工业视觉检测工作中，很可能遇到故障图像样本集中未包含的新型未知类故障。所以需要一种图像检测模型，能够实现对目标域中未知类别图像的识别，即实现开放数据集的图像检测。
目前，能够实现开放数据集检测的图像检测模型由特征提取器和分类器组成，其中，特征提取器提取已知类和未知类的高层隐含特征，分类器根据通过所述高层隐含特征输出对应的属于目标类别的概率。通过分类器在在已知类和未知类之间绘制一个固定阈值边界，以实现目标域已知类数图像和未知类图像的分离。但是由于构造的固定阈值边界仅依赖于分类器的概率输出，在对抗训练中缺乏目标域图像属于已知类或者未知类的可能性指标，容易造成图像检测模型负迁移。
因此，目前的应用于工业视觉检测领域的图像检测模型，在面对实际工业视觉检测场景中存在未知类图像检测时，适应性不强，导致检测准确率低。
发明内容
为了解决目前的应用于工业视觉检测领域的图像检测模型，在面对实际工业视觉检测场景中存在未知类图像时，适应性不强，导致检测准确率低的问题，本申请通过以下方面提供一种应用于工业视觉检测领域的图像检测模型及方法。
本申请的第一方面提供一种应用于工业视觉检测领域的图像检测模型，包括：依次相连的第一特征提取器以及第一分类器；
其中，第一特征提取器用于提取输入的待检测图像的目标特征向量，并将目标特征向量输出至第一分类器；
第一分类器用于根据目标特征向量，输出对应的目标类别；
其中，第一特征提取器和第一分类器通过预设图像检测训练模型按照预设训练方法训练得到，预设图像检测训练模型包括第二特征提取器、梯度翻转层、第二分类器、第三分类器、第一域判别器以及第二域判别器；
预设训练方法包括：
获取源域训练数据集、目标域训练数据集，其中，源域训练数据集包括第一数量类的源域训练图像和对应的类别标签，目标域训练数据集包括第一数量类的目标域训练图像和未知类的目标域训练图像；
第二特征提取器提取源域训练图像或者目标域训练图像的训练特征向量；
梯度翻转层翻转训练特征向量的梯度，得到中间特征向量；
第二分类器根据中间特征向量，输出第二数量维度的类别预测概率，其中，第二数量等于第一数量加一，第二分类器的对抗训练损失函数为将目标域训练图像识别为已知类或者未知类的二值交叉熵，第二分类器的标签分类损失函数为对源域训练图像的预测标签的标准交叉熵；
第三分类器根据训练特征向量，输出第一数量维度的类别预测概率，第三分类器的标签分类损失函数为对源域训练图像预测标签的标准交叉熵；
第一域判别器根据训练特征向量，输出对应的域类别，域类别为源域或者目标域，第一域判别器的域判别损失函数为第一域判别器对源域训练图像和目标域训练图像的域类别预测的二值交叉熵；
第二域判别器根据训练特征向量，输出对应的域类别和对目标域训练图像施加的集成权重，第二域判别器的域判别损失函数为第二域判别器对源域训练图像和目标域训练图像的域类别预测的二值交叉熵；
根据第二分类器的对抗损失函数、第二分类器的标签分类损失函数、第三分类器的标签分类损失函数、第一域判别器的域判别损失函数、第二域判别器的域判别损失函数以及预设优化算法训练预设图像检测训练模型，得到训练后的第二特征提取器和训练后的第二分类器，其中，第一特征提取器为训练后的第二特征提取器，第一分类器为训练后的第二分类器。
在一些可能的实现方式中，第二分类器的对抗损失函数为：
Figure 804838DEST_PATH_IMAGE001
；
其中，
Figure 701250DEST_PATH_IMAGE002
表示目标域训练图像，C1表示第二分类器，F表示第二特征提取器，E表示 期望，
Figure 434851DEST_PATH_IMAGE003
为目标域训练数据集的概率分布，
Figure 250360DEST_PATH_IMAGE004
为施加到目标域训练图像
Figure 505630DEST_PATH_IMAGE002
上的集 成权重，
Figure 330366DEST_PATH_IMAGE005
是目标域训练图像
Figure 184053DEST_PATH_IMAGE002
属于第c+1维未知类的概率，c是所述源域训练 数据集中的已知类别的数量；
所述集成权重
Figure 45830DEST_PATH_IMAGE006
，其中，
Figure 476811DEST_PATH_IMAGE007
为所述第二特征提取器从目标域训 练图像中提取的训练特征向量，
Figure 449446DEST_PATH_IMAGE008
是所述第二域判别器输出的针对目标域训练图 像的域类别预测概率。
在一些可能的实现方式中，按照下述公式约束集成权重：
Figure 921754DEST_PATH_IMAGE009
，
其中，
Figure 485590DEST_PATH_IMAGE010
，其中，
Figure 810392DEST_PATH_IMAGE011
为第二分类器输出的目标域训练图像
Figure 852298DEST_PATH_IMAGE002
属 于已知类中第1类的预测概率，
Figure 539631DEST_PATH_IMAGE012
为第二分类器输出的目标域训练图像
Figure 241745DEST_PATH_IMAGE002
属于已知类中第2 类的预测概率，
Figure 381740DEST_PATH_IMAGE013
为第二分类器输出的目标域训练图像
Figure 227336DEST_PATH_IMAGE002
属于已知类中第c类的预测概率；
Figure 582225DEST_PATH_IMAGE014
，其中，
Figure 346919DEST_PATH_IMAGE015
为第三分类器输出的目标域训练图像
Figure 348110DEST_PATH_IMAGE002
属于已知类 中第1类的预测概率，
Figure 731818DEST_PATH_IMAGE016
为第三分类器输出的目标域训练图像
Figure 128165DEST_PATH_IMAGE002
属于已知类中第2类的预测 概率，
Figure 939126DEST_PATH_IMAGE017
为第三分类器输出的目标域训练图像
Figure 460237DEST_PATH_IMAGE002
属于已知类中第c类的预测概率；
Figure 411750DEST_PATH_IMAGE018
，其中，
Figure 69128DEST_PATH_IMAGE019
为第一域判别器输出的目标域训练图像属于源域的预测概 率。
在一些可能的实现方式中，第二特征提取器包括深度置信网络、深度卷积网络、深度残差网络、第一全连接网络中的一种或者多种。
在一些可能的实现方式中，第一分类器包括第二全连接网络，第二分类器包括第三全连接网络；其中，第二全连接网络的输出为第二数量维度的向量，第三全连接网络的输出为第一数量维度的向量。
在一些可能的实现方式中，第一域判别器和第二域判别器均包括第四全连接网络。
在一些可能的实现方式中，预设优化算法为自适应矩估计算法或者随机梯度下降法或者均方根传递算法。
本申请第二方面提供一种应用于工业视觉检测领域的图像检测方法，包括：
获取待检测图像；
将待检测图像输入至本申请第一方面提供的应用于工业视觉检测领域的图像检测模型中，得到待检测图像的目标类别标签。
在一些可能的实现方式中，获取待检测图像，包括：
获取初始图像；
对初始图像按照预设像素压缩，得到压缩后的图像；
将压缩后的图像按照预设尺寸裁剪，得到待检测图像。
本申请第三方面提供一种终端装置，包括：
至少一个处理器和存储器；
存储器，用于存储程序指令；
处理器，用于调用并执行存储器中存储的程序指令，以使终端装置执行如本申请第二方面提供的所述应用于工业视觉检测领域的图像检测方法。
本申请提供一种应用于工业视觉检测领域的图像检测模型及方法。所述图像检测模型包括通过预设图像检测训练模型按照预设训练方法得到的第一特征提取器以及第一标签分类器。所述预设图像检测训练模型包括第二特征提取器、梯度翻转层、第二分类器、第一域判别器、第二域判别器。其中，第二特征提取器、梯度翻转层、第二分类器组成对抗模块，第二分类器、第三分类器、第一域判别器、第二域判别器组成加权模块，所述对抗模块用于分离目标域中的已知类和新型未知类图像，所述加权模块为目标域故障样本添加权重来促进样本分离，避免图像检测模型负迁移现象。因此，训练得到的图像检测模型，在面对实际工业视觉检测场景中存在未知类图像时，能保持较好的图像检测性能，检测准率高，且应用范围广。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种应用于工业视觉检测领域的图像检测模型的结构示意图；
图2为本申请实施例提供的一种应用于工业视觉检测领域的图像检测模型中用于训练使用的预设图像检测训练模型的结构示意图；
图3为不同状态下的齿轮箱螺栓防松动铁丝图像示例；
图4为本申请实施例提供的所述图像检测模型和对比模型的可视化聚类结果示意图；
图5为本申请提供的所述图像检测模型和对比模型输出结果的混淆矩阵示意图；
图6为本申请提供的所述图像检测模型在示例实验中对目标域测试数据集输出的各类别权重和标准差结果示意图。
具体实施方式
为了解决目前的应用于工业视觉检测领域的图像检测模型，在面对实际工业视觉检测场景中存在未知类图像时，适应性不强，导致检测准确率低的问题，本申请通过以下方面提供一种应用于工业视觉检测领域的图像检测模型及方法。
参见图1，本申请第一实施例提供的一种应用于工业视觉检测领域的图像检测模型包括：依次相连的第一特征提取器以及第一分类器。
其中，所述第一特征提取器用于提取输入的待检测图像的目标特征向量，并将所述目标特征向量输出至所述第一分类器。
所述第一分类器用于根据所述目标特征向量，输出对应的目标类别。
其中，所述第一特征提取器和所述第一分类器通过预设图像检测训练模型按照预设训练方法训练得到。参见图2，所述预设图像检测训练模型包括第二特征提取器、梯度翻转层、第二分类器、第三分类器、第一域判别器以及第二域判别器。
所述预设训练方法包括：
步骤301，获取源域训练数据集、目标域训练数据集，其中，所述源域训练数据集包括第一数量类的源域训练图像和对应的类别标签，所述目标域训练数据集包括第一数量类的目标域训练图像和未知类的目标域训练图像。
在一种实现方式中，在获取图像数据集时，先对获取的图像进行压缩裁剪，统一图像尺寸，将图像数据集划分为源域训练数据集、目标域训练数据集和目标域测试数据集。其中，目标域训练数据集和目标域测试数据集中图像均含有源域训练数据集中包含的所有类别图像以及未包含的新型未知类图像，且目标域中类别标签不参与模型训练，仅用于检验训练后的图像检测模型检测结果的准确性。
步骤302，所述第二特征提取器提取所述源域训练图像或者所述目标域训练图像的训练特征向量。
在一些实施例中，第二特征提取器F包括但不限于通过深度置信网络、深度卷积网络、深度残差网络、全连接网络中的一种或者多种来构建。第二特征提取器F用于将数据映射到特定的特征空间，即以图像样本作为输入，输出图像样本对应的高层隐含特征。
步骤303，所述梯度翻转层翻转所述训练特征向量的梯度，得到中间特征向量。
步骤304，所述第二分类器C1根据所述中间特征向量，输出第二数量维度的类别预测概率，其中，所述第二数量等于所述第一数量加一。所述第二分类器的对抗训练损失函数为将所述目标域训练图像识别为已知类或者未知类的二值交叉熵Ladv。所述第二分类器的标签分类损失函数为对所述源域训练图像的预测标签的标准叉熵LC1。
为便于理解，在本实施例中，第一数量用c表示，对应的第二数量为c+1。
在本实施例中，第二分类器的对抗训练损失函数为：
Figure 910045DEST_PATH_IMAGE020
；
其中，
Figure 652873DEST_PATH_IMAGE002
表示所述目标域训练图像，C1表示所述第二分类器，F表示所述第二特征 提取器，E表示期望，
Figure 378383DEST_PATH_IMAGE021
为所述目标域训练数据集的概率分布，
Figure 388802DEST_PATH_IMAGE022
为施加到目标域 训练图像
Figure 72725DEST_PATH_IMAGE002
上的集成权重，
Figure 302849DEST_PATH_IMAGE023
是目标域训练图像
Figure 832050DEST_PATH_IMAGE002
属于第c+1维未知类的概率，c是所述源域训练数据集中的已知类别的数量；
所述集成权重
Figure 57495DEST_PATH_IMAGE024
，其中，
Figure 614116DEST_PATH_IMAGE025
为所述第二特征提取器从目标域训 练图像
Figure 456170DEST_PATH_IMAGE002
中提取的训练特征向量，
Figure 523484DEST_PATH_IMAGE026
是所述第二域判别器输出的针对目标域训练 图像
Figure 275539DEST_PATH_IMAGE002
的域类别预测概率。
所述第二分类器C1以梯度翻转层输出的中间特征向量作为输入，输出一个c+1维度的类别预测概率，其中包含c维已知类概率和第c+1维新型未知类概率。
其中，所述第二特征提取器、所述梯度翻转层以及所述第二分类器组成一个对抗模块，用于对源域和目标域中的已知类进行分类，并分离出目标域中的未知类。
第二特征提取器和第二分类器之间进行最小-最大对抗训练。其中，对抗训练损失函数为将所述目标域训练图像识别为已知类或者未知类的二值交叉熵Ladv。
步骤305，所述第三分类器C2根据所述训练特征向量，输出第一数量维度的类别预测概率，所述第三分类器的标签分类损失函数为对所述源域训练图像预测标签的标准交叉熵LC2。
所述第三分类器C3以第二特征提取器F输出的训练特征向量作为输入，输出一个c维度的类别预测概率。
在本实施例中，所述第一分类器C1包括第二全连接网络，所述第二分类器C2包括第三全连接网络；其中，所述第二全连接网络的输出为第二数量维度的向量，所述第三全连接网络的输出为第一数量维度的向量。
示例性的，源域训练数据集中包含3类图像，目标域训练数据集中除了前面3类图像，还包括未知类别的图像。第一分类器C1采用一层的第二全连接网络，隐含层维数分别为4，在全连接层后连接Softmax激活函数，输出一个四维向量来表示输入的训练特征向量的类别，即属于3个已知类中的一类或者未知类。第二分类器C2也采用一层的第三全连接网络，隐含层维数分别为3，在全连接层后连接Leaky Softmax激活函数，第三全连接网络最终输出一个三维向量表示输入的训练特征向量的类别，即3个已知类中的一类。
步骤306，所述第一域判别器D1根据所述训练特征向量，输出对应的域类别，所述域类别为源域或者目标域，所述第一域判别器的域判别损失函数为所述第一域判别器对源域训练图像和所述目标域训练图像的域类别预测的二值交叉熵LD1。
步骤307，所述第二域判别器D2根据所述训练特征向量，输出对应的域类别和对所 述目标域训练图像施加的集成权重
Figure 35684DEST_PATH_IMAGE027
，所述第二域判别器的域判别损失函数为所述第 二域判别器对源域训练图像和所述目标域训练图像的域类别预测的二值交叉熵LD2。
在本实施例中，所述第一域判别器D1和所述第二域判别器D2均包括第四全连接网络。示例性的，第四全连接网络设计一层，其中，隐含层维数分别为1，在全连接层后连接Sigmoid激活函数。第四全连接网络最后输出一个一维向量表示输入的训练特征向量的类别。
在一种实现方式中，域类别可以用概率表示，即所述第一域判别器D1和所述第二域判别器D2的输出均为输入的训练特征向量为源域的预测概率。根据训练特征向量为源域的预测概率来标识所述训练特征向量为源域还是目标域。
在本实施例中，所述集成权重
Figure 473357DEST_PATH_IMAGE028
，其中，
Figure 344361DEST_PATH_IMAGE007
为所述第二特征提取器 F从目标域训练图像
Figure 685343DEST_PATH_IMAGE002
中提取的训练特征向量，
Figure 147549DEST_PATH_IMAGE029
是所述第二域判别器输出的针对 目标域训练图像
Figure 338096DEST_PATH_IMAGE002
的域类别预测概率。
所述第二分类器C1、第三分类器C2、第一域判别器D1和第二域判别器D2组成加权模块，用于度量目标域和源域之间的相似性，从而为目标域训练数据集属于已知类和未知类的概率施加不同的权重。
步骤308，根据所述第二分类器C1的对抗损失函数、所述第二分类器C12的标签分类损失函数、所述第三分类器C2的标签分类损失函数、所述第一域判别器D1的域判别损失函数、所述第二域判别器D2的域判别损失函数以及预设优化算法训练所述预设图像检测训练模型，得到训练后的第二特征提取器和训练后的第二分类器，其中，所述第一特征提取器为所述训练后的第二特征提取器，所述第一分类器为所述训练后的第二分类器。
使用所述图像检测模型进行检测时，所述第一分类器在代码层面输出的是一个多维向量，向量中的值表示待检测图像属于某一类的预测概率，值最大的那一类就是所述待检测图像的预测类别。
需要注意的是，在训练过程中，所述第二特征提取器F分别与所述第二分类器C1、所述第三分类器C2、所述第一域判别器D1、所述第二域判别器D2连接，构成前馈神经网络，其中，需要在所述第二特征提取器F和所述第二分类器C1之间增加一个梯度翻转层以翻转梯度，使得所述第二特征提取器F和所述第二分类器C1之间形成对抗关系，以促使目标域中的已知类和未知类分离。在检测过程中，训练后的第二特征提取器和训练后的第二分类器直接连接，无需添加梯度翻转层。
将集成权重作
Figure 606267DEST_PATH_IMAGE030
为对抗模块训练中目标域训练图像的施加权重来促进目标域 中已知类样本和新型未知类样本的分离。在本实施例中，按照下述公式约束所述集成权重：
Figure 801756DEST_PATH_IMAGE031
，
其中，
Figure 903704DEST_PATH_IMAGE010
，其中，
Figure 410909DEST_PATH_IMAGE011
所述为所述第二分类器输出的目标域训练图 像
Figure 528775DEST_PATH_IMAGE002
属于已知类中第1类的预测概率，
Figure 109929DEST_PATH_IMAGE012
为所述第二分类器输出的目标域训练图像
Figure 241833DEST_PATH_IMAGE002
属于 已知类中第2类的预测概率，
Figure 642859DEST_PATH_IMAGE032
为所述第二分类器输出的目标域训练图像
Figure 128198DEST_PATH_IMAGE002
属于已知类中 第c类的预测概率；
Figure 422913DEST_PATH_IMAGE033
，其中，
Figure 99620DEST_PATH_IMAGE015
所述为所述第三分类器输出的目标域训练图像
Figure 519100DEST_PATH_IMAGE002
属于已知类中第1类的预测概率，
Figure 73709DEST_PATH_IMAGE034
为所述第三分类器输出的目标域训练图像
Figure 832718DEST_PATH_IMAGE002
属于已知 类中第2类的预测概率，
Figure 306424DEST_PATH_IMAGE035
为所述第三分类器输出的目标域训练图像
Figure 938435DEST_PATH_IMAGE002
属于已知类中第c类 的预测概率；
Figure 31156DEST_PATH_IMAGE036
，其中，
Figure 441409DEST_PATH_IMAGE019
所述为所述第一域判别器输出的目标域训练图像属于源域 的预测概率。
第二特征提取器F和第二分类器C1之间的最小-最大对抗等价于将目标域样本对准源域的已知类或未知类。第二特征提取器F和第二分类器C1的训练目标函数为：
Figure 492542DEST_PATH_IMAGE037
；
Figure 588411DEST_PATH_IMAGE038
；
其中，
Figure 609457DEST_PATH_IMAGE039
表示所述源域训练图像，
Figure 608637DEST_PATH_IMAGE002
表示所述目标域训练图像，C1表示所述第二分 类器，F表示所述第二特征提取器，E表示期望，
Figure 299513DEST_PATH_IMAGE040
为源域训练图像与类别标签的 概率分布，
Figure 508777DEST_PATH_IMAGE041
为所述目标域训练数据集的概率分布，
Figure 848360DEST_PATH_IMAGE042
为施加到目标域训练图像
Figure 498784DEST_PATH_IMAGE002
上的集成权重，
Figure 626140DEST_PATH_IMAGE043
是目标域训练图像
Figure 198067DEST_PATH_IMAGE002
属于第c+1维未知类的概率，c是所述源 域训练数据集中的已知类别的数量。
在训练过程中，对来自源域带标签的训练数据，不断最小化第二分类器C1和第三分类器C2的标准交叉熵损失LC1和LC2；对来自源域和目标域的全部训练数据，不断最大化第一域判别器D1和第二域判别器D2的二值交叉熵损失LD1和LD2；对来自目标域的训练数据，不断最大化第二分类器C1的二值交叉熵损失Ladv。其中，第三分类器C2、第一域判别器D1和第二域判别器D2的优化只是为了获得目标域样本的权重，它们是在未加权样本上学习的，这不是减少分布差异的优良指标，因此它们的梯度不用于反向传播和更新第二特征提取器。
在本实施例中，所述预设优化算法包括但不限于自适应矩估计算法或者随机梯度下降法或者均方根传递算法中的一种。
本实施例提供一种应用于工业视觉检测领域的图像检测模型。所述图像检测模型包括通过预设图像检测训练模型按照预设训练方法得到的第一特征提取器以及第一标签分类器。所述预设图像检测训练模型包括第二特征提取器、梯度翻转层、第二分类器、第一域判别器、第二域判别器。其中，第二特征提取器、梯度翻转层、第二分类器组成对抗模块，第二分类器、第三分类器、第一域判别器、第二域判别器组成加权模块，所述对抗模块用于分离目标域中的已知类和新型未知类图像，所述加权模块为目标域故障样本添加权重来促进样本分离，避免图像检测模型负迁移现象。因此，训练得到的图像检测模型，在面对实际工业视觉检测场景中存在未知类图像时，能保持较好的图像检测性能，检测准率高，且应用范围广。
本申请第二实施例提供一种应用于工业视觉检测领域的图像检测方法，所述方法包括：
步骤401，获取待检测图像。
在一些实施例中，可以先对摄像机获取的初始图像预处理，将预处理后的图像作为待检测图像。进一步的，步骤401可以包括步骤4011-4013。
步骤4011，获取初始图像。
步骤4012，对所述初始图像按照预设像素压缩，得到压缩后的图像。
步骤4013，将所述压缩后的图像按照预设尺寸裁剪，得到待检测图像。
步骤402，将所述待检测图像输入至本申请第一实施例提供的应用于工业视觉检测领域的图像检测模型中，得到待检测图像的目标类别标签。即，本实施例提供的所述图像检测方法是使用本申请第一实施例提供的应用于工业视觉检测领域的图像检测模型实施图像检测。
本实施例提供的所述图像检测方法应用在工业视觉检测领域时的作用效果可参见本申请第一实施例中的说明，在此不再赘述。
为了更加清楚地了解本申请的技术方案及其效果，下面结合一个具体的示例进行详细说明。
以列车车底齿轮箱螺栓防松动铁丝故障的图像检测为例，由车底检测机器人拍摄防松动铁丝图像。如图3所示，图像类别包含正常（N）、绷断_位置1（B1）、绷断_位置2（B2）和缺失（L）状态，类别标签分别用0、1、2和3来表示。本示例中，将图像数据集划分为源域和目标域，域类别标签分别用1和0表示。源域和目标域中有不同明暗程度和不同角度下的铁丝图像。
源域中包含N、B1和B2三种铁丝不同健康状态的图像，目标域中包含N、B1、B2和L四种铁丝不同健康状态的图像，即将目标域中L健康状态图像作为新型未知类健康状态。源域和目标域中各类训练图像的数量均为100，其中源域中的所有带标签数据和目标域中50%的无标签数据参与模型训练，目标域中剩余50%的无标签数据用来测试本申请提供的所述图像检测模型的检测效果。
先对车底检测机器人拍摄的铁丝图像压缩为512×512，然后从图像中心裁剪出像素为400×400的图像，得到训练数据集。再将数据集划分成上述源域训练数据集、目标域训练数据集、目标域测试数据集。
建立预设图像检测训练模型，其中图像检测训练模型包括第二特征提取器F、第二分类器C1、第三分类器C2、第一域判别器D1和第二域判别器D2。
在本示例中，第二特征提取器F采用深度卷积网络和第一全连接网络相结合的结构，以预处理后的RGB三通道图像作为训练输入，输出长度为512的高层隐含特征向量，即训练特征向量。在本示例中，第二特征提取器F共设计五层，第一、二层为卷积层，第三、四、五层为全连接层。第一层输入通道为3，输出通道为6，卷积核尺寸为3，步长为2；第二层输入通道为6，输出通道为16，卷积核尺寸为5，步长为2；第一、二层后进行最大池化，池化窗口大小为2，步长为2。第三、四、五层的隐含层维数分别为1024、2048、512，第三、四层后连接ReLU激活函数。
第二分类器C1采用第二全连接网络。在本示例中，第二全连接网络设计一层，其中隐含层维数分别为4，在全连接层后连接Softmax激活函数，输出一个四维向量来表示输入数据的类别。
第二特征提取器F和第二分类器C1之间通过梯度翻转层连接，组成对抗模块。根据第二分类器C1的输出计算对抗训练损失函数。
第三分类器C2采用第三全连接网络。在本示例中，第三全连接网络设计一层，其中隐含层维数分别为3，在全连接层后连接Leak Softmax激活函数，输出一个三维向量表述输入数据的类别。
第一域判别器D1和第二域判别器D2均采用第四全连接网络。在本示例中，第四全连接网络设计一层，其中隐含层维数分别为1，在全连接层后连接Sigmoid激活函数，输出一个一维向量表示输入数据的域类别。
第二分类器C1、第三分类器C2、第一域判别器D1和第二域判别器D2组成一个加权模块，用于度量目标域训练图像和源域训练图像之间的相似性，从而为目标域样本属于已知类和未知类的概率施加不同的权重。
训练预设图像检测训练模型。将带有标签的源域训练数据集和无标签的目标域训练数据集输入到构建的预设图像检测训练模型中，根据损失函数和优化算法训练模型参数。
在本示例中，优化算法采用随机梯度下降算法（Stochastic Gradient Descent，SGD），学习率为0.001，动量为0.9，迭代200次后模型目标函数损失趋于平衡，结束模型训练。
使用训练后的第二特征提取器和训练后的第二分类器，组成图像检测模型。将目标域测试数据集输入到所述图像检测模型，在线输出对应的类别标签。
为了验证本申请提供的所述图像检测模型的有效性，分别使用本申请的图像检测模型和对比模型的检测结果进行对比。对比模型选择无加权模块且采用固定边界阈值的开放集域适应网络模型训练得到的检测模型。在本对比实验中，所述图像检测模型和对比模型利用t-SNE进行各类训练图像的特征聚类结果可视化。可视化聚类结果分别如图4中的(a)以及图4中的(b)所示，其中S和T分别为源域训练样本和目标域测试样本。在图4中，目标域新型未知类健康图像数据的特征可视化聚类结果由椭圆标记，由此可以看出，与对比模型相比，本申请提供的所述图像检测模型可以有效地对目标域中已知类和新型未知类健康状态图像进行分离，且只有少部分新型未知类图像与已知类图像产生混淆。
本申请提供的所述图像检测模型和对比模型输出结果的混淆矩阵分别如图5中的(a)以及图5中的(b)所示。从图5中可以看出本申请提供的图像障检测模型的检测结果中只有2个B2状态图像和9个L状态图像被错误分类，总体识别准确率为94.5%，新型未知类图像（L状态图像）的诊断准确率达到82%。对比模型的总体识别准确率为83.5%，新型未知类图像（L状态图像）的识别准确率仅为56%。本申请提供的所述图像检测模型的对目标域测试数据集输出的各类别权重和标准差如图6所示。从图6中可以看出，相对于已知类图像，所述图像检测模型对新型未知类图像施加较低的权重，有利于新型未知类图像与已知类图像的分离。
从上述示例及实验可以看出，通过设计对抗模块对目标域已知类和新型未知类进行分离，并通过添加额外的加权模块为目标域各类样本施加不同的权重，提高图像检测模型对待检测图像可迁移特征的提取能力，改善图像检测模型的负迁移现象。训练得到的图像检测模型在目标域中有新型未知类图像时，检测的准确率高。
本申请第三实施例提供一种终端装置，包括：
至少一个处理器和存储器；
存储器，用于存储程序指令；
处理器，用于调用并执行存储器中存储的程序指令，以使终端装置执行如本申请第二实施例提供的应用于工业视觉检测领域的图像检测模型及方法。
以上结合具体实施方式和范例性实例对本申请进行了详细说明，不过这些说明并不能理解为对本申请的限制。本领域技术人员理解，在不偏离本申请精神和范围的情况下，可以对本申请技术方案及其实施方式进行多种等价替换、修饰或改进，这些均落入本申请的范围内。本申请的保护范围以所附权利要求为准。
本说明书中各个实施例之间相似相同部分互相参见即可。

Claims (10)

1.一种应用于工业视觉检测领域的图像检测模型，其特征在于，包括：依次相连的第一特征提取器以及第一分类器；
其中，所述第一特征提取器用于提取输入的待检测图像的目标特征向量，并将所述目标特征向量输出至所述第一分类器；
所述第一分类器用于根据所述目标特征向量，输出对应的目标类别；
其中，所述第一特征提取器和所述第一分类器通过预设图像检测训练模型按照预设训练方法训练得到，所述预设图像检测训练模型包括第二特征提取器、梯度翻转层、第二分类器、第三分类器、第一域判别器以及第二域判别器；
所述预设训练方法包括：
获取源域训练数据集、目标域训练数据集，其中，所述源域训练数据集包括第一数量类的源域训练图像和对应的类别标签，所述目标域训练数据集包括第一数量类的目标域训练图像和未知类的目标域训练图像；
所述第二特征提取器提取所述源域训练图像或者所述目标域训练图像的训练特征向量；
所述梯度翻转层翻转所述训练特征向量的梯度，得到中间特征向量；
所述第二分类器根据所述中间特征向量，输出第二数量维度的类别预测概率，其中，所述第二数量等于第一数量加一，所述第二分类器的对抗训练损失函数为将所述目标域训练图像识别为已知类或者未知类的二值交叉熵，所述第二分类器的标签分类损失函数为对所述源域训练图像的预测标签的标准交叉熵；
所述第三分类器根据所述训练特征向量，输出第一数量维度的类别预测概率，所述第三分类器的标签分类损失函数为对源域训练图像预测标签的标准交叉熵；
所述第一域判别器根据所述训练特征向量，输出对应的域类别，所述域类别为源域或者目标域，所述第一域判别器的域判别损失函数为所述第一域判别器对源域训练图像和所述目标域训练图像的域类别预测的二值交叉熵；
所述第二域判别器根据所述训练特征向量，输出对应的域类别和对所述目标域训练图像施加的集成权重，所述第二域判别器的域判别损失函数为所述第二域判别器对源域训练图像和所述目标域训练图像的域类别预测的二值交叉熵；
根据所述第二分类器的对抗损失函数、所述第二分类器的标签分类损失函数、所述第三分类器的标签分类损失函数、所述第一域判别器的域判别损失函数、所述第二域判别器的域判别损失函数以及预设优化算法训练所述预设图像检测训练模型，得到训练后的第二特征提取器和训练后的第二分类器，其中，所述第一特征提取器为所述训练后的第二特征提取器，所述第一分类器为所述训练后的第二分类器。
2.根据权利要求1所述的应用于工业视觉检测领域的图像检测模型，其特征在于，所述第二分类器的对抗训练损失函数为：
Figure DEST_PATH_IMAGE001
；
其中，
Figure 925381DEST_PATH_IMAGE002
表示将所述目标域训练图像识别为已知类或者未知类的二值交叉熵，
Figure DEST_PATH_IMAGE003
表示所述目标域训练图像，C1表示所述第二分类器，F表示所述第二特征提取器，E表示期望，
Figure 759345DEST_PATH_IMAGE004
为所述目标域训练数据集的概率分布，
Figure 709983DEST_PATH_IMAGE005
为施加到目标域训练图像
Figure 156271DEST_PATH_IMAGE006
上的集成权重，
Figure DEST_PATH_IMAGE007
是目标域训练图像
Figure 305492DEST_PATH_IMAGE008
属于第c+1维未知类的概率，c是所述源域训练数据集中的已知类别的数量；
所述集成权重
Figure DEST_PATH_IMAGE009
，其中，
Figure 575936DEST_PATH_IMAGE010
为所述第二特征提取器从目标域训练图像
Figure 13871DEST_PATH_IMAGE011
中提取的训练特征向量，
Figure DEST_PATH_IMAGE012
是所述第二域判别器输出的针对目标域训练图像
Figure 496805DEST_PATH_IMAGE013
的域类别预测概率。
3.根据权利要求2所述的应用于工业视觉检测领域的图像检测模型，其特征在于，按照下述公式约束所述集成权重：
Figure 766112DEST_PATH_IMAGE014
，
其中，
Figure DEST_PATH_IMAGE015
，其中，所述
Figure 705993DEST_PATH_IMAGE016
为所述第二分类器输出的目标域训练图像
Figure DEST_PATH_IMAGE017
属于已知类中第1类的预测概率，
Figure 693541DEST_PATH_IMAGE018
为所述第二分类器输出的目标域训练图像
Figure 917849DEST_PATH_IMAGE011
属于已知类中第2类的预测概率，
Figure DEST_PATH_IMAGE019
为所述第二分类器输出的目标域训练图像
Figure 41662DEST_PATH_IMAGE011
属于已知类中第c类的预测概率；
Figure 889795DEST_PATH_IMAGE020
，其中，所述
Figure 302322DEST_PATH_IMAGE021
为所述第三分类器输出的目标域训练图像
Figure 127058DEST_PATH_IMAGE011
属于已知类中第1类的预测概率，
Figure DEST_PATH_IMAGE022
为所述第三分类器输出的目标域训练图像
Figure 636537DEST_PATH_IMAGE011
属于已知类中第2类的预测概率，
Figure 826210DEST_PATH_IMAGE023
为所述第三分类器输出的目标域训练图像
Figure 788350DEST_PATH_IMAGE011
属于已知类中第c类的预测概率；
Figure 354460DEST_PATH_IMAGE024
，其中，所述
Figure 452866DEST_PATH_IMAGE025
为所述第一域判别器输出的目标域训练图像
Figure 813440DEST_PATH_IMAGE011
属于源域的预测概率。
4.根据权利要求1所述的应用于工业视觉检测领域的图像检测模型，其特征在于，所述第二特征提取器包括深度置信网络、深度卷积网络、深度残差网络、第一全连接网络中的一种或者多种。
5.根据权利要求1所述的应用于工业视觉检测领域的图像检测模型，其特征在于，所述第一分类器包括第二全连接网络，所述第二分类器包括第三全连接网络；其中，所述第二全连接网络的输出为第二数量维度的向量，所述第三全连接网络的输出为第一数量维度的向量。
6.根据权利要求1所述的应用于工业视觉检测领域的图像检测模型，其特征在于，所述第一域判别器和所述第二域判别器均包括第四全连接网络。
7.根据权利要求1所述的应用于工业视觉检测领域的图像检测模型，其特征在于，所述预设优化算法为自适应矩估计算法或者随机梯度下降法或者均方根传递算法。
8.一种应用于工业视觉检测领域的图像检测方法，其特征在于，包括：
获取待检测图像；
将所述待检测图像输入至如权利要求1-7任一项所述的应用于工业视觉检测领域的图像检测模型中，得到待检测图像的目标类别标签。
9.根据权利要求8所述的应用于工业视觉检测领域的图像检测方法，其特征在于，所述获取待检测图像，包括：
获取初始图像；
对所述初始图像按照预设像素压缩，得到压缩后的图像；
将所述压缩后的图像按照预设尺寸裁剪，得到所述待检测图像。
10.一种终端装置，其特征在于，包括：
至少一个处理器和存储器；
所述存储器，用于存储程序指令；
所述处理器，用于调用并执行所述存储器中存储的程序指令，以使所述终端装置执行如权利要求8-9任一项所述的应用于工业视觉检测领域的图像检测方法。
CN202210738112.1A 2022-06-28 2022-06-28 一种应用于工业视觉检测领域的图像检测模型及方法 Active CN114821200B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210738112.1A CN114821200B (zh) 2022-06-28 2022-06-28 一种应用于工业视觉检测领域的图像检测模型及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210738112.1A CN114821200B (zh) 2022-06-28 2022-06-28 一种应用于工业视觉检测领域的图像检测模型及方法

Publications (2)

Publication Number Publication Date
CN114821200A CN114821200A (zh) 2022-07-29
CN114821200B true CN114821200B (zh) 2022-09-13

Family

ID=82522458

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210738112.1A Active CN114821200B (zh) 2022-06-28 2022-06-28 一种应用于工业视觉检测领域的图像检测模型及方法

Country Status (1)

Country Link
CN (1) CN114821200B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115713669B (zh) * 2022-11-04 2023-12-05 北京邮电大学 一种基于类间关系的图像分类方法、装置、存储介质及终端

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109583342A (zh) * 2018-11-21 2019-04-05 重庆邮电大学 基于迁移学习的人脸活体检测方法
CN109753992A (zh) * 2018-12-10 2019-05-14 南京师范大学 基于条件生成对抗网络的无监督域适应图像分类方法
CN112131967A (zh) * 2020-09-01 2020-12-25 河海大学 基于多分类器对抗迁移学习的遥感场景分类方法
CN114492574A (zh) * 2021-12-22 2022-05-13 中国矿业大学 基于高斯均匀混合模型的伪标签损失无监督对抗域适应图片分类方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109583342A (zh) * 2018-11-21 2019-04-05 重庆邮电大学 基于迁移学习的人脸活体检测方法
CN109753992A (zh) * 2018-12-10 2019-05-14 南京师范大学 基于条件生成对抗网络的无监督域适应图像分类方法
CN112131967A (zh) * 2020-09-01 2020-12-25 河海大学 基于多分类器对抗迁移学习的遥感场景分类方法
CN114492574A (zh) * 2021-12-22 2022-05-13 中国矿业大学 基于高斯均匀混合模型的伪标签损失无监督对抗域适应图片分类方法

Also Published As

Publication number Publication date
CN114821200A (zh) 2022-07-29

Similar Documents

Publication Publication Date Title
CN112308158B (zh) 一种基于部分特征对齐的多源领域自适应模型及方法
CN109949317B (zh) 基于逐步对抗学习的半监督图像实例分割方法
CN110443143B (zh) 多分支卷积神经网络融合的遥感图像场景分类方法
CN105184312B (zh) 一种基于深度学习的文字检测方法及装置
CN112446476A (zh) 神经网络模型压缩的方法、装置、存储介质和芯片
CN114821282B (zh) 一种基于域对抗神经网络的图像检测装置及方法
Alajaji et al. Few shot scene classification in remote sensing using meta-agnostic machine
CN110097029B (zh) 基于Highway网络多视角步态识别的身份认证方法
CN106599864A (zh) 一种基于极值理论的深度人脸识别方法
CN109472733A (zh) 基于卷积神经网络的图像隐写分析方法
CN110991257A (zh) 基于特征融合与svm的极化sar溢油检测方法
CN113159067A (zh) 一种基于多粒度局部特征软关联聚合的细粒度图像辨识方法及装置
CN114255403A (zh) 基于深度学习的光学遥感图像数据处理方法及系统
CN113255793A (zh) 一种基于对比学习的细粒度舰船识别方法
CN114821200B (zh) 一种应用于工业视觉检测领域的图像检测模型及方法
CN104598898B (zh) 一种基于多任务拓扑学习的航拍图像快速识别系统及其快速识别方法
CN113128564B (zh) 一种基于深度学习的复杂背景下典型目标检测方法及系统
CN106570514A (zh) 一种基于词袋模型和支持向量机的汽车轮毂分类方法
CN109101984B (zh) 一种基于卷积神经网络的图像识别方法及装置
CN111242114B (zh) 文字识别方法及装置
CN117372853A (zh) 一种基于图像增强和注意力机制的水下目标检测算法
CN110569889A (zh) 一种基于l2归一化的卷积神经网络图象分类方法
CN115546668A (zh) 海洋生物的检测方法、装置及无人机
CN112052881B (zh) 基于多尺度近端特征拼接的高光谱图像分类模型的装置
CN115240163A (zh) 一种基于一阶段检测网络的交通标志检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant