CN115239638A - 一种工业缺陷检测方法、装置、设备及可读存储介质 - Google Patents
一种工业缺陷检测方法、装置、设备及可读存储介质 Download PDFInfo
- Publication number
- CN115239638A CN115239638A CN202210742538.4A CN202210742538A CN115239638A CN 115239638 A CN115239638 A CN 115239638A CN 202210742538 A CN202210742538 A CN 202210742538A CN 115239638 A CN115239638 A CN 115239638A
- Authority
- CN
- China
- Prior art keywords
- data set
- model
- industrial
- training
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 80
- 238000001514 detection method Methods 0.000 title claims abstract description 54
- 238000003860 storage Methods 0.000 title claims abstract description 15
- 238000012549 training Methods 0.000 claims abstract description 118
- 238000000034 method Methods 0.000 claims abstract description 29
- 238000012795 verification Methods 0.000 claims abstract description 25
- 238000007781 pre-processing Methods 0.000 claims abstract description 17
- 238000013140 knowledge distillation Methods 0.000 claims abstract description 10
- 230000006870 function Effects 0.000 claims description 54
- 238000004364 calculation method Methods 0.000 claims description 27
- 238000012512 characterization method Methods 0.000 claims description 27
- 239000013598 vector Substances 0.000 claims description 23
- 238000005520 cutting process Methods 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 22
- 238000005070 sampling Methods 0.000 claims description 19
- 238000013507 mapping Methods 0.000 claims description 14
- 238000004140 cleaning Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 238000002372 labelling Methods 0.000 abstract description 9
- 238000004821 distillation Methods 0.000 abstract description 7
- 238000013508 migration Methods 0.000 abstract description 3
- 230000005012 migration Effects 0.000 abstract description 3
- 238000013528 artificial neural network Methods 0.000 abstract description 2
- 238000012546 transfer Methods 0.000 abstract description 2
- 239000010410 layer Substances 0.000 description 29
- 238000004891 communication Methods 0.000 description 8
- 238000013135 deep learning Methods 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000009966 trimming Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 238000003704 image resize Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 239000011229 interlayer Substances 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G06T3/08—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种工业缺陷检测方法、装置、设备及可读存储介质，涉及工业缺陷检测技术领域，包括构建待检测的工业数据集，对所述工业数据集进行预处理；构建无监督预训练模型；使用自监督对比学习在所述有标注训练数据集上预训练的教师网络模型；基于知识蒸馏、有标注验证数据集和所述教师网络模型指导学生网络模型训练；对所述待检测的工业数据集进行缺陷检测。本发明的有益效果为利用对比学习框架所训模型的参数迁移至做下游监督学习任务可有效减轻对有标注数据的依赖，从而解决样本标注代价昂贵的问题；将下游监督学习方式获取的微调模型网络做模型蒸馏操作，从而降低神经网络参数量，以实现了一种直接且快速的模型迁移泛化方法。
Description
技术领域
本发明涉及工业缺陷检测技术领域，具体而言，涉及工业缺陷检测方法、装置、设备及可读存储介质。
背景技术
随着深度学习技术不断革新，工业领域基于深度学习的缺陷检测应用也开展的如火如荼。目前业界普遍面临的两个数据方面的核心问题。第一，深度学习任务中监督方式建模需要大量有标注样本，然而工业领域的样本标注代价特别昂贵，具体体现在工业样本标注需要领域专家经验以及较长的时间消耗；第二，特定工业场景的缺陷样本数据收集周期较长，极大降低智能检测系统的上线效率。主要表现在特定工业生产场景中，本身生产数据包含大量完好的产品，而存在缺陷的产品在短周期内相对较少。
发明内容
本发明的目的在于提供一种工业缺陷检测方法、装置、设备及可读存储介质，以改善上述问题。为了实现上述目的，本发明采取的技术方案如下：
第一方面，本申请提供了一种工业缺陷检测方法，包括：
构建待检测的工业数据集，对所述工业数据集进行预处理，预处理后的所述工业数据集包括无标注训练数据集、有标注训练数据集和有标注验证数据集；
根据无标注训练数据集，构建无监督预训练模型；
根据无监督预训练模型，使用自监督对比学习在所述有标注训练数据集上预训练的教师网络模型；
基于知识蒸馏、有标注验证数据集和所述教师网络模型指导学生网络模型训练；
根据所述教师网络模型和所述学生网络模型对所述待检测的工业数据集进行缺陷检测。
优选地，所述构建待检测的工业数据集，对所述工业数据集进行预处理，其中包括：
对所述待检测的所述工业数据集进行粗清洗，所述粗清洗后的数据包括无标注训练数据集、有标注训练数据集和有标注验证数据集；
抽取所述有标注训练数据集和所述有标注验证数据集再次进行标注；
对所述无标注训练数据集中的图片进行数据增强处理，所述数据增强处理包括对所述图片进行随机旋转、随机裁剪、随机翻转和剪切粘贴，得到增强后的所述图片。
优选地，所述根据无标注训练数据集，构建无监督预训练模型，其中包括：
设置初始化参数，所述初始化参数包括学习率、初始化网络参数和迭代次数；
根据初始化参数，对所述无标注训练数据集进行随机采样，所述随机采样包括对每个批次的样本进行图像增强，其中，所述图像增强包括图像随机旋转、图像随机裁剪、图像随机翻转和剪切粘贴；
将每个所述样本进行表征向量，将所述表征向量输入至非线性投影层，输出每个所述样本计算对比损失函数的表征信息映射，得到映射值；
将所述映射值输入到对比损失函数中，计算损失值；
反向回传所述损失值，并进行更新所述无监督预训练模型的权重参数；
更新后，判断是否到达最大的迭代次数或是否达到目标最小损失函数值，若达到则保存模型参数文件；若未达到则返回继续执行。
优选地，所述根据无监督预训练模型，使用自监督对比学习在所述有标注训练数据集上预训练的教师网络模型，其中包括：
设置初始化参数，对所述有标注训练数据集进行随机采样，并对每个样本进行图像增强；
将增强后的所述样本输入至编码器Resnet152中，计算每个所述样本的表征向量；
将每个所述样本的表征向量输入至非线性投影层中间层，由非线性投影层中间层的信息计算得到每个样本的预测值概率值；
根据每个样本的预测概率值和其真实值计算网络的交叉熵损失函数值；
反向回传所述交叉熵损失函数值，更新整个模型的权重参数；
根据更新后的所述权重参数，判断是否到达最大的迭代次数或是否达到目标最小损失函数值，若达到则保存模型参数文件；若未达到则返回继续执行。
第二方面，本申请还提供了一种工业缺陷检测装置，包括：
预处理模块：用于构建待检测的工业数据集，对所述工业数据集进行预处理，预处理后的所述工业数据集包括无标注训练数据集、有标注训练数据集和有标注验证数据集；
构建模块：用于根据无标注训练数据集，构建无监督预训练模型；
预训练模块：用于根据无监督预训练模型，使用自监督对比学习在所述有标注训练数据集上预训练的教师网络模型；
指导模块：用于基于知识蒸馏、有标注验证数据集和所述教师网络模型指导学生网络模型训练；
检测模块：用于根据所述教师网络模型和所述学生网络模型对所述待检测的工业数据集进行缺陷检测。
第三方面，本申请还提供了一种工业缺陷检测设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现所述工业缺陷检测方法的步骤。
第四方面，本申请还提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述基于工业缺陷检测方法的步骤。
本发明的有益效果为：引入CutPaste(剪切粘贴)数据增强方法，可利用图像不规则信息涵盖未知缺陷图片的知识表示；基于大量未标注数据进行无监督对比学习，利用对比学习框架所训模型的参数迁移至做下游监督学习任务可有效减轻对有标注数据的依赖，从而解决样本标注代价昂贵的问题；基于压缩、加速网络模型的动机，本发明中将下游监督学习方式获取的微调模型网络做模型蒸馏操作，从而降低神经网络参数量，以实现了一种直接且快速的模型迁移泛化方法。
从当前深度学习在智能制造中工业检测应用所面临的数据标注代价高昂和特定场景获取缺陷数据困难和周期较长的两方面困境出发。提出了基于对比学习的无监督学习和监督学习结合的三阶段架构网络，其中只在网络第二阶段有监督微调和第三阶段微调模型中需要使用少量标注数据。
同时引入CutPaste方法在数据中引出不规则性来概括未知异常缺陷数据，使得训练模型只需要提供少量缺陷标注数据甚至不需要，就可以完成下游缺陷检测任务。
本发明的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例中所述的工业缺陷检测方法流程示意图；
图2为本发明实施例中所述的工业缺陷检测装置结构示意图；
图3为本发明实施例中所述的工业缺陷检测设备结构示意图。
图中:701、预处理模块；7011、粗清洗单元；7012、抽取单元；7013、处理单元；702、构建模块；7021、设置单元；7022、采样单元；7023、表征单元；7024、第一计算单元；7025、第一更新单元；7026、第一判断单元；703、预训练模块；7031、增强单元；7032、第二计算单元；7033、第三计算单元；7034、第四计算单元；7035、第二更新单元；7036、第二判断单元；704、指导模块；705、检测模块；800、工业缺陷检测设备；801、处理器；802、存储器；803、多媒体组件；804、I/O接口；805、通信组件。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
实施例1：
随着深度学习算法在工业缺陷检测领域的发展应用及大规模工业场景的发现，待应用数据增量产生，对数据的大量标注和标注质量的人工需求的不断扩大，进一步提高了深度学习在工业应用中的落地成本。
为解决大量工业数据标注成本昂贵和特定场景下缺陷数据不充足问题，采用以下三阶段方法：第一阶段使用无监督学习在大量无标注数据上无特定任务的建模，以使模型获取图像表征知识表示能力。其中，使用特殊数据增强方法CutPaste制造“伪缺陷”样本加入模型学习；第二阶段，将第一阶段模型预训练迁移至少量有标签数据上进行有监督学习并微调模型作为老师模型；第三阶段，进行知识蒸馏将老师模型蒸馏至学生模型，达到减小模型大小和参数量，使网络不仅轻量迅速且保证检测精度。
本实施例提供了一种工业缺陷检测方法。
参见图1，图中示出了本方法包括步骤S100、步骤S200、步骤S300、步骤S400和步骤S500。
S100、构建待检测的工业数据集，对所述工业数据集进行预处理，预处理后的所述工业数据集包括无标注训练数据集、有标注训练数据集和有标注验证数据集。
可以理解的是，在本步骤中，包括：
对所述待检测的所述工业数据集进行粗清洗，所述粗清洗后的数据包括无标注训练数据集、有标注训练数据集和有标注验证数据集；
抽取所述有标注训练数据集和所述有标注验证数据集再次进行标注；
对所述无标注训练数据集中的图片进行数据增强处理，所述数据增强处理包括对所述图片进行随机旋转、随机裁剪、随机翻转和剪切粘贴，得到增强后的所述图片。
需要说明的是，工业真实产线数据会存在一些过曝、无目标区域、缺失大面积像素点等问题。需要首先进行人工清洗。将清洗后的数据分为无标注训练数据集、有标注训练数据集和有标注验证数据集，三种数据集占比为6：2：2。
数据标注：抽取出的小量有标签训练数据集和有标签验证集需要由经验专家挑选并进行专业、严谨的标注。
数据增强：对无标注训练数据集进行数据增强包括以下内容：
设原始图片为org_img,宽高分别为w,h，增广后的图片为trans_img。
1.图像随机旋转
Mat为根据原始图像和旋转角度生成的仿射矩阵，wrapAffine为仿射变换计算函数名称。通过以下计算得到旋转后的图像：
trans_img＝wrapAffine(org_img,Mat,(w,h))
2.图像随机裁剪
L为裁剪值即事先设定好的，将L作为新图像的最短边，对图像进行拉伸生成new_size即新图片的长宽信息，ImageResize为随机裁剪计算函数名称，通过以下计算得到裁剪后的图像：
trans_img＝ImageResize(org_img,new_size＝[L,max(w,h)])
3.图像随机翻转
对原始图片进行水平或垂直翻转。
4.CutPaste(剪切粘贴)数据增强
从原始图像中切割一个长宽可变的矩形区域，名为cut图。将cut图随机粘贴在原始图的任意未知，从而生成剪切粘贴后的增强图片。其中：
剪切粘贴数据增强不是对实际真实的未知缺陷的完美模拟。
从模型学习中可以发现剪切粘贴数据增强产生的图片不规则性可以很好地概括不可见的异常缺陷图片表征表达。
对无标注训练集进行以上四种数据增强。
S200、根据无标注训练数据集，构建无监督预训练模型。无监督预训练模型采用对比学习思想，利用无标签数据进行数据增强，模型学习目标是量化两个图片的相似性，从而学习到图形的视觉表征表示。其实现原理为，同一图片在经过不同数据增强后产生的多张图片间的表征相似性应被最大量化。
本发明在常规数据增广下引入剪切粘贴数据增强作为伪缺陷图片，其目的是在不使用任何已标注的异常缺陷数据的情况下，使模型同时学习到未知缺陷的视觉表征表示。
可以理解的是，在本步骤中，其中包括：
设置初始化参数，所述初始化参数包括学习率、初始化网络参数和迭代次数；
根据初始化参数，对所述无标注训练数据集进行随机采样，所述随机采样包括对每个批次的样本进行图像增强，其中，所述图像增强包括图像随机旋转、图像随机裁剪、图像随机翻转和剪切粘贴；
将每个所述样本进行表征向量，将所述表征向量输入至非线性投影层，输出每个所述样本计算对比损失函数的表征信息映射，得到映射值；
将所述映射值输入到对比损失函数中，计算损失值；
反向回传所述损失值，并进行更新所述无监督预训练模型的权重参数；
更新后，判断是否到达最大的迭代次数或是否达到目标最小损失函数值，若达到则保存模型参数文件；若未达到则返回继续执行。
需要说明的是，本发明中的第一阶段由以下四个主要模块组成：
(1)正负样本对：对数据进行上述四种数据增强，设定图片与其经过不同数据增强后(除复制粘贴增强方法外)的图片互为正样本对。图片与其经过复制粘贴增强后的图片、其它图片以及其他图片经过上述四种数据增强后的图片互为负样本对。
(2)编码器：采用Resnet152作为无监督训练模型的编码器，其作用在数据增强后的数据集上，提取数据集中的图片表征向量。
(3)非线性投影层g：在编码器后接入非线性投影头，将编码后的表征特征映射到计算对比损失函数的空间，用以后续计算对比损失函数。此非线性投影层具体计算方式如下：
zi＝g(hi)＝W(2)(σ(W(1)(hi)))
其中hi为Resnet152编码器经过平均池化之后的输出，σ为RELU函数，W为特征值矩阵。
(4)对比损失函数：在输入模型的每个批次样本中，互为正样本的图片应是概率相似的。而互为负样本的图片，应在概率上不相似。计算样本对的相似性sim公式如下：
其中τ是温度参数，可调参。‖Zi‖,Zj||是图片经过非线性投影层的输出的Zi,Zj的矢量模。
计算对比损失函数l：
其中N表示每批次输入模型的样本数。
第一阶段无监督预训练模型实现，具体步骤如下：
设置模型初始化参数：学习率、初始化网络参数和迭代次数等参数；
(2)对无标注训练数据集进行随机采样，对每个批次的样本进行图像随机旋转、图像随机裁剪、图像随机翻转和CutPaste(剪切粘贴)四种数据增强方式。将增强后的样本输入到编码器Resnet152中，计算每个样本的表征向量；
(3)将每个样本的表征向量，输入到非线性投影层，输出每个样本用以计算对比损失函数的表征信息映射；
(4)将(3)中输出，输入到对比损失函数，计算损失值，反向回传损失值，更新整个模型的权重参数；
(5)判断是否到达最大的迭代次数或是否达到目标最小损失函数值，若达到则保存模型参数文件；若未达到则返回执行(2)。此阶段最终保存的模型参数文件，用以迁移到到第二阶段监督学习，进行进一步有监督模型训练。此外保留此阶段网络结构作为第三阶段的教师模型网络结构。
S300、根据无监督预训练模型，使用自监督对比学习在所述有标注训练数据集上预训练的教师网络模型。第二阶段监督学习，引入有标签训练数据集，在第一阶段的预训练模型基础上进行训练和调参，来完成对有标签样本池的数据进行缺陷分类。其中此阶段只应用第一阶段的编码器ResNet152网络和非线性投影层的中间层进行模型的训练和调参，最终获得用于第三节阶段教师模型的初始模型参数文件，具体步骤如下：
可以理解的是，在本步骤中，包括：
设置初始化参数，对所述有标注训练数据集进行随机采样，并对每个样本进行图像增强；
将增强后的所述样本输入至编码器Resnet152中，计算每个所述样本的表征向量；
将每个所述样本的表征向量输入至非线性投影层中间层，由非线性投影层中间层的信息计算得到每个样本的预测值概率值；
根据每个样本的预测概率值和其真实值计算网络的交叉熵损失函数值；
反向回传所述交叉熵损失函数值，更新整个模型的权重参数；
根据更新后的所述权重参数，判断是否到达最大的迭代次数或是否达到目标最小损失函数值，若达到则保存模型参数文件；若未达到则返回继续执行。
需要说明的是：(1)设置模型初始化参数：输入第一阶段得到的模型参数文件作为本阶段网络(第一阶段的编码器ResNet152网络和非线性投影层的中间层)的初始参数；
对有标注预训练数据集进行随机采样，对每个批次的样本进行图像随机旋转、图像随机裁剪两种数据增强方式。
将增强后的样本输入到编码器Resnet152中，计算每个样本的表征向量；
(4)将每个样本的表征向量，输入到非线性投影层中间层，由非线性投影层中间层的信息计算得到每个样本的预测值概率值，用每个样本的预测概率值和其真实值计算网络的交叉熵损失函数值；
非线性中间层计算方式如下：
y′＝σ(W(1)(hi)
其中y为真实标注值，y′预测概率值。
交叉熵损失函数计算公式如下：
L＝-[ylogy′+(1-y)log(1-y′)]
其中hi为Resnet152编码器经过平均池化之后的输出，σ为RELU函数，W为特征值矩阵。
(5)反向回传交叉熵损失函数值，更新整个模型的权重参数；
(6)判断是否到达最大的迭代次数或是否达到目标最小损失函数值，若达到则保存模型参数文件；若未达到则返回执行(2)。
S400、基于知识蒸馏、有标注验证数据集和所述教师网络模型指导学生网络模型训练。
可以理解的是，在本步骤中，对老师模型进行知识蒸馏，使学生模型(小模型)与老师模型(大模型)具有相当甚至更好的性能，同时参数量大幅减小，进一步压缩和加速模型。
使用第二阶段微调后的模型作为教师模型，以教师模型对无标签训练数据集的非线性投影头中间层输出作为软标签，输入到学生模型，用以训练学生模型。老师模型输出的软标签其中富含了老师模型归纳推理的大量信息和类别概率，使学生模型高效的学习到老师模型的泛化能力。从而实现了一种直接且快速的模型迁移泛化方法。
需要说明的是，本发明中的第三阶段由以下三个主要模块组成：
学生模型：学生模型采用和老师模型相同的但较小网络结构，本专利中采用ResNet50作为学生网络。
蒸馏损失函数：蒸馏过程可以描述为不断最小化蒸馏损失函数:
其中τ是温度参数。∑uPT(y|xi)是老师模型的输出，在蒸馏过程中是固定值。PS(y|xi)是学生模型在训练过程中需要产出的结果，其中y为真实标注值，x对应每个样本数据。
(3)微调损失函数：经过蒸馏之后的学生模型，再经过微调产生最终上线的学生模型。此过程采用真实的有标签训练数据集来微调学生模型，此过程在于参考“真实答案”来修正学生模型在老师模型中学习到的错误。老师模型也是存在错误率的，使用有标签的真实数据集可以有效的修正被传播给学生模型的错误。此过程的损失函数为：
其中ci是指在第i类上的真实值标签，
指学生模型的在给定τ下对第i类输出的值。
第三阶段知识蒸馏具体实现步骤如下：
(1)设置老师模型初始网络参数：将第二阶段得到的模型参数文件作为初始参数，输入到第一阶段的网络中，作为网络初始化，构成老师模型；
(2)将无标注训练集样本输入到老师模型，经过模型中的非线性投影层输出各个标签的类别概率信息作为软标签；
(3)设置学生模型初始网络参数：学习率、初始化网络参数和迭代次数等参数；
(4)将第(2)步骤输出的软标签作为输入，输入到学生模型中。
(5)计算蒸馏损失函数，反向回传损失值，更新整个模型的权重参数；
(6)判断是否到达最大的迭代次数或是否达到目标最小损失函数值，若达到则保存模型参数文件；若未达到则返回执行(2)；
(7)直到第(6)步骤终止，返回保存好的模型参数文件，将参数文件重新输入到学生模型作为初始化网络参数；
(8)对有标注预训练数据集进行随机采样，对每个批次的样本进行图像随机旋转、图像随机裁剪两种数据增强方式；
(9)将增强后的样本输入到经过(7)的学生模型，计算微调损失函数；
(10)反向回传损失值，更新整个模型的权重参数；
(11)判断是否到达最大的迭代次数或是否达到目标最小损失函数值，若达到则保存模型参数文件；若未达到则返回执行(9)；
(12)直到步骤(11)终止，输出保存模型参数文件。至此三阶段半监督对比学习框架搭建完成。将需要预测的缺陷数据输入到，经过最终模型参数文件初始化的学生模型中，模型将会输出每个缺陷数据的标签信息。
S500、根据所述教师网络模型和所述学生网络模型对所述待检测的工业数据集进行缺陷检测。
可以理解的是，在本步骤中，可以直接根据两个模型对数据集以及图片进行缺陷检测。
综上所述，本发明从当前深度学习在智能制造中工业检测应用所面临的数据标注代价高昂和特定场景获取缺陷数据困难和周期较长的两方面困境出发。提出了基于对比学习的无监督学习和监督学习结合的三阶段架构网络，其中只在网络第二阶段有监督微调和第三阶段微调模型中需要使用少量标注数据。同时引入CutPaste方法在数据中引出不规则性来概括未知异常缺陷数据，使得训练模型只需要提供少量缺陷标注数据甚至不需要，就可以完成下游缺陷检测任务。
实施例2：
如图2所示，本实施例提供了一种工业缺陷检测装置，参见图2所述装置包括：
预处理模块701：用于构建待检测的工业数据集，对所述工业数据集进行预处理，预处理后的所述工业数据集包括无标注训练数据集、有标注训练数据集和有标注验证数据集；
构建模块702：用于根据无标注训练数据集，构建无监督预训练模型；
预训练模块703：用于根据无监督预训练模型，使用自监督对比学习在所述有标注训练数据集上预训练的教师网络模型；
指导模块704：用于基于知识蒸馏、有标注验证数据集和所述教师网络模型指导学生网络模型训练；
检测模块705：用于根据所述教师网络模型和所述学生网络模型对所述待检测的工业数据集进行缺陷检测。
具体地，所述预处理模块701，其中包括：
粗清洗单元7011：用于对所述待检测的所述工业数据集进行粗清洗，所述粗清洗后的数据包括无标注训练数据集、有标注训练数据集和有标注验证数据集；
抽取单元7012：用于抽取所述有标注训练数据集和所述有标注验证数据集再次进行标注；
处理单元7013：用于对所述无标注训练数据集中的图片进行数据增强处理，所述数据增强处理包括对所述图片进行随机旋转、随机裁剪、随机翻转和剪切粘贴，得到增强后的所述图片。
具体地，所述构建模块702，其中包括：
设置单元7021：用于设置初始化参数，所述初始化参数包括学习率、初始化网络参数和迭代次数；
采样单元7022：用于根据初始化参数，对所述无标注训练数据集进行随机采样，所述随机采样包括对每个批次的样本进行图像增强，其中，所述图像增强包括图像随机旋转、图像随机裁剪、图像随机翻转和剪切粘贴；
表征单元7023：用于将每个所述样本进行表征向量，将所述表征向量输入至非线性投影层，输出每个所述样本计算对比损失函数的表征信息映射，得到映射值；
第一计算单元7024：用于将所述映射值输入到对比损失函数中，计算损失值；
第一更新单元7025：用于反向回传所述损失值，并进行更新所述无监督预训练模型的权重参数；
第一判断单元7026：用于更新后，判断是否到达最大的迭代次数或是否达到目标最小损失函数值，若达到则保存模型参数文件；若未达到则返回继续执行。
具体地，所述预训练模块703，其中包括：
增强单元7031：用于设置初始化参数，对所述有标注训练数据集进行随机采样，并对每个样本进行图像增强；
第二计算单元7032：用于将增强后的所述样本输入至编码器Resnet152中，计算每个所述样本的表征向量；
第三计算单元7033：用于将每个所述样本的表征向量输入至非线性投影层中间层，由非线性投影层中间层的信息计算得到每个样本的预测值概率值；
第四计算单元7034：用于根据每个样本的预测概率值和其真实值计算网络的交叉熵损失函数值；
第二更新单元7035：用于反向回传所述交叉熵损失函数值，更新整个模型的权重参数；
第二判断单元7036：用于根据更新后的所述权重参数，判断是否到达最大的迭代次数或是否达到目标最小损失函数值，若达到则保存模型参数文件；若未达到则返回继续执行。
需要说明的是，关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
实施例3：
相应于上面的方法实施例，本实施例中还提供了一种工业缺陷检测设备，下文描述的一种工业缺陷检测设备与上文描述的一种工业缺陷检测方法可相互对应参照。
图3是根据示例性实施例示出的一种工业缺陷检测设备800的框图。如图3所示，该工业缺陷检测设备800可以包括：处理器801，存储器802。该工业缺陷检测设备800还可以包括多媒体组件803，I/O接口804，以及通信组件805中的一者或多者。
其中，处理器801用于控制该工业缺陷检测设备800的整体操作，以完成上述的工业缺陷检测方法中的全部或部分步骤。存储器802用于存储各种类型的数据以支持在该工业缺陷检测设备800的操作，这些数据例如可以包括用于在该工业缺陷检测设备800上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器802可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-OnlyMemory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件803可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器802或通过通信组件805发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口804为处理器801和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件805用于该工业缺陷检测设备800与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near FieldCommunication，简称NFC)，2G、3G或4G，或它们中的一种或几种的组合，因此相应的该通信组件805可以包括：Wi-Fi模块，蓝牙模块，NFC模块。
在一示例性实施例中，工业缺陷检测设备800可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal ProcessingDevice，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的工业缺陷检测方法。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的工业缺陷检测方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器802，上述程序指令可由工业缺陷检测设备800的处理器801执行以完成上述的工业缺陷检测方法。
实施例4：
相应于上面的方法实施例，本实施例中还提供了一种可读存储介质，下文描述的一种可读存储介质与上文描述的一种工业缺陷检测方法可相互对应参照。
一种可读存储介质，可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例的工业缺陷检测方法的步骤。
该可读存储介质具体可以为U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可存储程序代码的可读存储介质。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种工业缺陷检测方法，其特征在于，包括：
构建待检测的工业数据集，对所述工业数据集进行预处理，预处理后的所述工业数据集包括无标注训练数据集、有标注训练数据集和有标注验证数据集；
根据无标注训练数据集，构建无监督预训练模型；
根据无监督预训练模型，使用自监督对比学习在所述有标注训练数据集上预训练的教师网络模型；
基于知识蒸馏、有标注验证数据集和所述教师网络模型指导学生网络模型训练；
根据所述教师网络模型和所述学生网络模型对所述待检测的工业数据集进行缺陷检测。
2.根据权利要求1所述的工业缺陷检测方法，其特征在于,所述构建待检测的工业数据集，对所述工业数据集进行预处理，其中包括：
对所述待检测的所述工业数据集进行粗清洗，所述粗清洗后的数据包括无标注训练数据集、有标注训练数据集和有标注验证数据集；
抽取所述有标注训练数据集和所述有标注验证数据集再次进行标注；
对所述无标注训练数据集中的图片进行数据增强处理，所述数据增强处理包括对所述图片进行随机旋转、随机裁剪、随机翻转和剪切粘贴，得到增强后的所述图片。
3.根据权利要求1所述的工业缺陷检测方法，其特征在于,所述根据无标注训练数据集，构建无监督预训练模型，其中包括：
设置初始化参数，所述初始化参数包括学习率、初始化网络参数和迭代次数；
根据初始化参数，对所述无标注训练数据集进行随机采样，所述随机采样包括对每个批次的样本进行图像增强，其中，所述图像增强包括图像随机旋转、图像随机裁剪、图像随机翻转和剪切粘贴；
将每个所述样本进行表征向量，将所述表征向量输入至非线性投影层，输出每个所述样本计算对比损失函数的表征信息映射，得到映射值；
将所述映射值输入到对比损失函数中，计算损失值；
反向回传所述损失值，并进行更新所述无监督预训练模型的权重参数；
更新后，判断是否到达最大的迭代次数或是否达到目标最小损失函数值，若达到则保存模型参数文件；若未达到则返回继续执行。
4.根据权利要求1所述的工业缺陷检测方法，其特征在于,所述根据无监督预训练模型，使用自监督对比学习在所述有标注训练数据集上预训练的教师网络模型，其中包括：
设置初始化参数，对所述有标注训练数据集进行随机采样，并对每个样本进行图像增强；
将增强后的所述样本输入至编码器Resnet152中，计算每个所述样本的表征向量；
将每个所述样本的表征向量输入至非线性投影层中间层，由非线性投影层中间层的信息计算得到每个样本的预测值概率值；
根据每个样本的预测概率值和其真实值计算网络的交叉熵损失函数值；
反向回传所述交叉熵损失函数值，更新整个模型的权重参数；
根据更新后的所述权重参数，判断是否到达最大的迭代次数或是否达到目标最小损失函数值，若达到则保存模型参数文件；若未达到则返回继续执行。
5.一种工业缺陷检测装置，其特征在于，包括：
预处理模块：用于构建待检测的工业数据集，对所述工业数据集进行预处理，预处理后的所述工业数据集包括无标注训练数据集、有标注训练数据集和有标注验证数据集；
构建模块：用于根据无标注训练数据集，构建无监督预训练模型；
预训练模块：用于根据无监督预训练模型，使用自监督对比学习在所述有标注训练数据集上预训练的教师网络模型；
指导模块：用于基于知识蒸馏、有标注验证数据集和所述教师网络模型指导学生网络模型训练；
检测模块：用于根据所述教师网络模型和所述学生网络模型对所述待检测的工业数据集进行缺陷检测。
6.根据权利要求5所述的工业缺陷检测装置，其特征在于，所述预处理模块，其中包括：
粗清洗单元：用于对所述待检测的所述工业数据集进行粗清洗，所述粗清洗后的数据包括无标注训练数据集、有标注训练数据集和有标注验证数据集；
抽取单元：用于抽取所述有标注训练数据集和所述有标注验证数据集再次进行标注；
处理单元：用于对所述无标注训练数据集中的图片进行数据增强处理，所述数据增强处理包括对所述图片进行随机旋转、随机裁剪、随机翻转和剪切粘贴，得到增强后的所述图片。
7.根据权利要求5所述的工业缺陷检测装置，其特征在于，所述构建模块，其中包括：
设置单元：用于设置初始化参数，所述初始化参数包括学习率、初始化网络参数和迭代次数；
采样单元：用于根据初始化参数，对所述无标注训练数据集进行随机采样，所述随机采样包括对每个批次的样本进行图像增强，其中，所述图像增强包括图像随机旋转、图像随机裁剪、图像随机翻转和剪切粘贴；
表征单元：用于将每个所述样本进行表征向量，将所述表征向量输入至非线性投影层，输出每个所述样本计算对比损失函数的表征信息映射，得到映射值；
第一计算单元：用于将所述映射值输入到对比损失函数中，计算损失值；
第一更新单元：用于反向回传所述损失值，并进行更新所述无监督预训练模型的权重参数；
第一判断单元：用于更新后，判断是否到达最大的迭代次数或是否达到目标最小损失函数值，若达到则保存模型参数文件；若未达到则返回继续执行。
8.根据权利要求5所述的工业缺陷检测装置，其特征在于，所述预训练模块，其中包括：
增强单元：用于设置初始化参数，对所述有标注训练数据集进行随机采样，并对每个样本进行图像增强；
第二计算单元：用于将增强后的所述样本输入至编码器Resnet152中，计算每个所述样本的表征向量；
第三计算单元：用于将每个所述样本的表征向量输入至非线性投影层中间层，由非线性投影层中间层的信息计算得到每个样本的预测值概率值；
第四计算单元：用于根据每个样本的预测概率值和其真实值计算网络的交叉熵损失函数值；
第二更新单元：用于反向回传所述交叉熵损失函数值，更新整个模型的权重参数；
第二判断单元：用于根据更新后的所述权重参数，判断是否到达最大的迭代次数或是否达到目标最小损失函数值，若达到则保存模型参数文件；若未达到则返回继续执行。
9.一种工业缺陷检测设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至4任一项所述工业缺陷检测方法的步骤。
10.一种可读存储介质，其特征在于：所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述工业缺陷检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210742538.4A CN115239638A (zh) | 2022-06-28 | 2022-06-28 | 一种工业缺陷检测方法、装置、设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210742538.4A CN115239638A (zh) | 2022-06-28 | 2022-06-28 | 一种工业缺陷检测方法、装置、设备及可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115239638A true CN115239638A (zh) | 2022-10-25 |
Family
ID=83672224
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210742538.4A Pending CN115239638A (zh) | 2022-06-28 | 2022-06-28 | 一种工业缺陷检测方法、装置、设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115239638A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115631178A (zh) * | 2022-11-03 | 2023-01-20 | 昆山润石智能科技有限公司 | 自动晶圆缺陷检测方法、系统、设备及存储介质 |
| CN116010794A (zh) * | 2023-02-17 | 2023-04-25 | 苏芯物联技术(南京)有限公司 | 一种基于小样本标签数据的焊接缺陷实时智能检测方法 |
| CN116883390A (zh) * | 2023-09-04 | 2023-10-13 | 合肥中科类脑智能技术有限公司 | 模糊抵抗性半监督缺陷检测方法、装置及存储介质 |
| CN116912623A (zh) * | 2023-07-20 | 2023-10-20 | 东北大学 | 用于医学图像数据集的对比学习方法及系统 |
| CN117057413A (zh) * | 2023-09-27 | 2023-11-14 | 珠高智能科技(深圳)有限公司 | 强化学习模型微调方法、装置、计算机设备及存储介质 |
| CN117436236A (zh) * | 2023-09-27 | 2024-01-23 | 四川大学 | 一种基于大模型的工艺流程智能规划方法 |
| CN117853876A (zh) * | 2024-03-08 | 2024-04-09 | 合肥晶合集成电路股份有限公司 | 一种晶圆缺陷检测模型的训练方法以及系统 |
| CN117436236B (zh) * | 2023-09-27 | 2024-05-17 | 四川大学 | 一种基于大模型的工艺流程智能规划方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112991330A (zh) * | 2021-04-19 | 2021-06-18 | 征图新视(江苏)科技股份有限公司 | 基于知识蒸馏的正样本工业缺陷检测方法 |
| CN113344875A (zh) * | 2021-06-07 | 2021-09-03 | 武汉象点科技有限公司 | 一种基于自监督学习的异常图像检测方法 |
| CN114240892A (zh) * | 2021-12-17 | 2022-03-25 | 华中科技大学 | 一种基于知识蒸馏的无监督工业图像异常检测方法及系统 |
| CN114241285A (zh) * | 2021-11-25 | 2022-03-25 | 华南理工大学 | 一种基于知识蒸馏和半监督学习的船舶快速检测方法 |
-
2022
- 2022-06-28 CN CN202210742538.4A patent/CN115239638A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112991330A (zh) * | 2021-04-19 | 2021-06-18 | 征图新视(江苏)科技股份有限公司 | 基于知识蒸馏的正样本工业缺陷检测方法 |
| CN113344875A (zh) * | 2021-06-07 | 2021-09-03 | 武汉象点科技有限公司 | 一种基于自监督学习的异常图像检测方法 |
| CN114241285A (zh) * | 2021-11-25 | 2022-03-25 | 华南理工大学 | 一种基于知识蒸馏和半监督学习的船舶快速检测方法 |
| CN114240892A (zh) * | 2021-12-17 | 2022-03-25 | 华中科技大学 | 一种基于知识蒸馏的无监督工业图像异常检测方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| TING CHEN ET AL.: ""Big Self-Supervised Models are Strong Semi-Supervised Learners"" * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115631178B (zh) * | 2022-11-03 | 2023-11-10 | 昆山润石智能科技有限公司 | 自动晶圆缺陷检测方法、系统、设备及存储介质 |
| CN115631178A (zh) * | 2022-11-03 | 2023-01-20 | 昆山润石智能科技有限公司 | 自动晶圆缺陷检测方法、系统、设备及存储介质 |
| CN116010794A (zh) * | 2023-02-17 | 2023-04-25 | 苏芯物联技术(南京)有限公司 | 一种基于小样本标签数据的焊接缺陷实时智能检测方法 |
| CN116010794B (zh) * | 2023-02-17 | 2023-05-30 | 苏芯物联技术(南京)有限公司 | 一种基于小样本标签数据的焊接缺陷实时智能检测方法 |
| CN116912623B (zh) * | 2023-07-20 | 2024-04-05 | 东北大学 | 用于医学图像数据集的对比学习方法及系统 |
| CN116912623A (zh) * | 2023-07-20 | 2023-10-20 | 东北大学 | 用于医学图像数据集的对比学习方法及系统 |
| CN116883390A (zh) * | 2023-09-04 | 2023-10-13 | 合肥中科类脑智能技术有限公司 | 模糊抵抗性半监督缺陷检测方法、装置及存储介质 |
| CN116883390B (zh) * | 2023-09-04 | 2023-11-21 | 合肥中科类脑智能技术有限公司 | 模糊抵抗性半监督缺陷检测方法、装置及存储介质 |
| CN117057413A (zh) * | 2023-09-27 | 2023-11-14 | 珠高智能科技(深圳)有限公司 | 强化学习模型微调方法、装置、计算机设备及存储介质 |
| CN117057413B (zh) * | 2023-09-27 | 2024-03-15 | 传申弘安智能(深圳)有限公司 | 强化学习模型微调方法、装置、计算机设备及存储介质 |
| CN117436236A (zh) * | 2023-09-27 | 2024-01-23 | 四川大学 | 一种基于大模型的工艺流程智能规划方法 |
| CN117436236B (zh) * | 2023-09-27 | 2024-05-17 | 四川大学 | 一种基于大模型的工艺流程智能规划方法 |
| CN117853876A (zh) * | 2024-03-08 | 2024-04-09 | 合肥晶合集成电路股份有限公司 | 一种晶圆缺陷检测模型的训练方法以及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115239638A (zh) | 一种工业缺陷检测方法、装置、设备及可读存储介质 | |
| CN110119757B (zh) | 模型训练方法、视频类别检测方法、装置、电子设备和计算机可读介质 | |
| WO2021093468A1 (zh) | 视频分类方法、模型训练方法、装置、设备及存储介质 | |
| CN111079532A (zh) | 一种基于文本自编码器的视频内容描述方法 | |
| CN110851760B (zh) | 在web3D环境融入视觉问答的人机交互系统 | |
| CN107066445A (zh) | 一种属性情感词向量的深度学习方法 | |
| CN111741330A (zh) | 一种视频内容评估方法、装置、存储介质及计算机设备 | |
| CN111667308A (zh) | 广告推荐预测系统及方法 | |
| CN112417092B (zh) | 基于深度学习的智能化文本自动生成系统及其实现方法 | |
| CN107545301B (zh) | 页面展示方法及装置 | |
| CN113344206A (zh) | 融合通道与关系特征学习的知识蒸馏方法、装置及设备 | |
| CN114332578A (zh) | 图像异常检测模型训练方法、图像异常检测方法和装置 | |
| CN112712127A (zh) | 一种结合图卷积神经网络的图像情感极性分类方法 | |
| WO2023207389A1 (zh) | 数据处理方法、装置、程序产品、计算机设备和介质 | |
| CN112070040A (zh) | 一种用于视频字幕的文本行检测方法 | |
| CN113344826A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN115240259A (zh) | 一种基于yolo深度网络的课堂环境下人脸检测方法及其检测系统 | |
| CN114359592A (zh) | 模型训练及图像处理方法、装置、设备、存储介质 | |
| Kim et al. | Action-driven contrastive representation for reinforcement learning | |
| CN113569068A (zh) | 描述内容生成方法、视觉内容的编码、解码方法、装置 | |
| WO2023168818A1 (zh) | 视频和文本相似度确定方法、装置、电子设备、存储介质 | |
| CN110929013A (zh) | 一种基于bottom-up attention和定位信息融合的图片问答实现方法 | |
| CN114491289A (zh) | 一种双向门控卷积网络的社交内容抑郁检测方法 | |
| CN113626537A (zh) | 一种面向知识图谱构建的实体关系抽取方法及系统 | |
| Tian et al. | Teacher facial expression recognition based on GoogLeNet-InceptionV3 CNN model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |