CN115392359A - 一种缺陷检测方法、系统、装置及存储介质 - Google Patents
一种缺陷检测方法、系统、装置及存储介质 Download PDFInfo
- Publication number
- CN115392359A CN115392359A CN202210960045.8A CN202210960045A CN115392359A CN 115392359 A CN115392359 A CN 115392359A CN 202210960045 A CN202210960045 A CN 202210960045A CN 115392359 A CN115392359 A CN 115392359A
- Authority
- CN
- China
- Prior art keywords
- data set
- model
- defect detection
- detected
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 93
- 238000001514 detection method Methods 0.000 title claims abstract description 81
- 238000003860 storage Methods 0.000 title claims abstract description 13
- 238000003062 neural network model Methods 0.000 claims abstract description 38
- 230000000007 visual effect Effects 0.000 claims abstract description 20
- 238000012549 training Methods 0.000 claims abstract description 18
- 230000004913 activation Effects 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims abstract description 14
- 238000013140 knowledge distillation Methods 0.000 claims abstract description 12
- 230000006870 function Effects 0.000 claims description 24
- 238000000034 method Methods 0.000 claims description 24
- 238000000605 extraction Methods 0.000 claims description 19
- 230000004927 fusion Effects 0.000 claims description 13
- 238000013135 deep learning Methods 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000013136 deep learning model Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种缺陷检测方法、系统、装置及存储介质，缺陷检测方法通过基于第一数据集和多尺度的第二数据集，采用轻量结构中的ReLU激活函数训练神经网络模型，加快了神经网络模型训练的收敛速度，并提升了神经网络模型的泛化能力，提高了模型性能；通过基于多个预设视角拍摄待检测对象得到的第三数据集训练第一模型，实现对第一模型的知识蒸馏，得到第二模型，从而实现了更容易部署的轻量化模型，同时基于第二模型对待检测对象进行缺陷检测得到缺陷检测结果，提升了缺陷检测的精准度、可靠性和效率。本发明可广泛应用于图像处理技术领域。
Description
技术领域
本申请涉及图像处理技术领域，尤其是一种缺陷检测方法、系统、装置及存储介质。
背景技术
随着大数据时代的兴起以及深度学习的飞速发展，工业界的主流缺陷检测技术逐渐以深度学习为基础，涌现了许多图像缺陷深度学习算法。在真实复杂的工业环境下，表面缺陷检测往往面临诸多挑战，例如缺陷成像与背景差异小、对比度低、缺陷尺度变化大且类型多样，缺陷图像中存在大量噪声，甚至缺陷在自然环境下成像存在大量干扰等，难以取得较好的效果。因此，现有技术越来越多地将深度学习方法与传统图像算法相结合，将可能的解的子空间嵌入到较低维的模型中。
例如，在进行机床刀具的缺陷检测时，多视角的缺陷检测方法检测精度更高。然而，目前没有将多视角深度学习模型应用于真实场景的刀具缺陷检测的案例，其原因包括：在不确定的视角下拍摄得到的刀具图像不稳定或者过于泛化。其中，不稳定的刀具图像会导致同一个视角的拍摄的图像与算法模拟的差异较大，导致缺陷检测的精准度和可靠性较低；而过于泛化的刀具图像之间相似度较高，即大部分视角的图像类似，导致大部分视角的图像的缺陷检测结果类似，同样降低了缺陷检测的精准度和可靠性。此外，目前的多视角深度学习模型较大，部署难度较高，应用于缺陷检测时模型收敛速度较慢，检测效率较低。
发明内容
本发明的目的在于至少一定程度上解决现有技术中存在的技术问题之一。
为此，本发明实施例提供一种缺陷检测方法、系统、装置及存储介质，提高了缺陷检测的精准度、可靠性和效率，降低了模型部署的难度。
为了达到上述技术目的，本发明实施例所采取的技术方案包括：
一方面，本发明实施例提供了一种缺陷检测方法，包括以下步骤：
获取第一数据集和第二数据集，所述第一数据集为开源的缺陷数据集，所述第二数据集为待检测对象不同尺度的单一视角数据集；
基于所述第一数据集和所述第二数据集，采用ReLU激活函数训练神经网络模型，得到第一模型；
对所述待检测对象进行多个预设视角的拍摄，得到第三数据集；
基于所述第三数据集训练所述第一模型，得到第二模型，所述第二模型为所述第一模型进行知识蒸馏后得到的轻量化模型；
采用所述第二模型对所述待检测对象进行缺陷检测，得到所述待检测对象的缺陷检测结果。
本发明实施例的一种缺陷检测方法，通过基于第一数据集和多尺度的第二数据集，采用轻量结构中的ReLU激活函数训练神经网络模型，加快了神经网络模型训练的收敛速度，并提升了神经网络模型的泛化能力，提高了模型性能；通过基于多个预设视角拍摄待检测对象得到的第三数据集训练第一模型，实现对第一模型的知识蒸馏，得到第二模型，从而实现了更容易部署的轻量化模型，同时基于第二模型对待检测对象进行缺陷检测得到缺陷检测结果，提升了缺陷检测的精准度、可靠性和效率。
另外，根据本发明上述实施例的一种缺陷检测方法，还可以具有以下附加的技术特征：
进一步地，本发明实施例的一种缺陷检测方法中，所述获取第二数据集，包括：
采集所述待检测对象的单一视角数据集；
对所述待检测对象的单一视角数据集进行数据增强处理，得到所述第二数据集。
进一步地，在本发明的一个实施例中，在所述基于所述第一数据集和所述第二数据集，采用ReLU激活函数训练神经网络模型，得到第一模型之前，所述方法还包括：
构建所述神经网络模型。
进一步地，在本发明的一个实施例中，所述神经网络模型包括特征抽取模块、特征融合模块和分类回归模块；
所述构建所述神经网络模型，包括：
根据所述预设角度构建对应的所述特征抽取模块；
基于所述特征抽取模块构建所述特征融合模块；
基于所述特征抽取模块和所述特征融合模块构建所述分类回归模块，完成所述神经网络模型的构建。
进一步地，在本发明的一个实施例中，所述对所述待检测对象进行多个预设视角的拍摄，得到第三数据集，包括：
根据所述预设视角对拍摄所述待检测对象的多视角摄像头进行标定；
采用标定后的所述多视角摄像头拍摄所述待检测对象，得到视频；
对所述视频进行抽帧，得到第四数据集；
对所述第四数据集进行所述数据增强处理，得到所述第三数据集。
进一步地，在本发明的一个实施例中，所述数据增强处理包括大小调整、翻转和cutmix。
进一步地，在本发明的一个实施例中，所述基于所述第三数据集训练所述第一模型，得到第二模型，包括：
基于所述第三数据集，采用深度学习框架Pytorch训练所述第一模型，得到所述第二模型。
另一方面，本发明实施例提出了一种缺陷检测系统，包括：
第一模块，用于获取第一数据集和第二数据集，所述第一数据集为开源的缺陷数据集，所述第二数据集为待检测对象不同尺度的单一视角数据集；
第二模块，用于基于所述第一数据集和所述第二数据集，采用ReLU激活函数训练神经网络模型，得到第一模型；
第三模块，用于对所述待检测对象进行多个预设视角的拍摄，得到第三数据集；
第四模块，用于基于所述第三数据集训练所述第一模型，得到第二模型，所述第二模型为所述第一模型进行知识蒸馏后得到的轻量化模型；
第五模块，采用所述第二模型对所述待检测对象进行缺陷检测，得到所述待检测对象的缺陷检测结果。
另一方面，本发明实施例提供了一种缺陷检测装置，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行时，使得所述至少一个处理器实现所述的一种缺陷检测方法。
另一方面，本发明实施例提供了一种存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于实现所述的一种缺陷检测方法。
本发明的优点和有益效果将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到：
本发明实施例通过基于第一数据集和多尺度的第二数据集，采用轻量结构中的ReLU激活函数训练神经网络模型，加快了神经网络模型训练的收敛速度，并提升了神经网络模型的泛化能力，提高了模型性能；通过基于多个预设视角拍摄待检测对象得到的第三数据集训练第一模型，实现对第一模型的知识蒸馏，得到第二模型，从而实现了更容易部署的轻量化模型，同时基于第二模型对待检测对象进行缺陷检测得到缺陷检测结果，提升了缺陷检测的精准度、可靠性和效率。
附图说明
为了更清楚地说明本申请实施例或者现有技术中的技术方案，下面对本申请实施例或者现有技术中的相关技术方案附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表述本申请的技术方案中的部分实施例，对于本领域的技术人员来说，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。
图1为本发明一种缺陷检测方法具体实施例的流程示意图；
图2为本发明一种缺陷检测方法具体实施例的神经网络模型的结构示意图；
图3为本发明一种缺陷检测方法具体实施例的多视角摄像头标定示意图；
图4为本发明一种缺陷检测系统具体实施例的结构示意图；
图5为本发明一种缺陷检测装置具体实施例的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
本发明的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本发明中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
目前没有将多视角深度学习模型应用于真实场景的刀具缺陷检测的案例，其原因包括：在不确定的视角下拍摄得到的刀具图像不稳定或者过于泛化。其中，不稳定的刀具图像会导致同一个视角的拍摄的图像与算法模拟的差异较大，导致缺陷检测的精准度和可靠性较低；而过于泛化的刀具图像之间相似度较高，即大部分视角的图像类似，导致大部分视角的图像的缺陷检测结果类似，同样降低了缺陷检测的精准度和可靠性。此外，目前的多视角深度学习模型较大，部署难度较高，应用于缺陷检测时模型收敛速度较慢，检测效率较低。为此，本发明提出了一种缺陷检测方法、系统、装置及存储介质，通过基于第一数据集和多尺度的第二数据集，采用轻量结构中的ReLU激活函数训练神经网络模型，加快了神经网络模型训练的收敛速度，并提升了神经网络模型的泛化能力，提高了模型性能；通过基于多个预设视角拍摄待检测对象得到的第三数据集训练第一模型，实现对第一模型的知识蒸馏，得到第二模型，从而实现了更容易部署的轻量化模型，同时基于第二模型对待检测对象进行缺陷检测得到缺陷检测结果，提升了缺陷检测的精准度、可靠性和效率。
下面参照附图详细描述根据本发明实施例提出的一种缺陷检测方法、系统、装置及存储介质，首先将参照附图描述根据本发明实施例提出的一种缺陷检测方法。
参照图1，本发明实施例中提供一种缺陷检测方法，本发明实施例中的一种缺陷检测方法，可应用于终端中，也可应用于服务器中，还可以是运行于终端或服务器中的软件等。终端可以是平板电脑、笔记本电脑、台式计算机等，但并不局限于此。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。本发明实施例中的一种缺陷检测方法主要包括以下步骤：
S101、获取第一数据集和第二数据集；
其中，第一数据集为开源的缺陷数据集，第二数据集为待检测对象不同尺度的单一视角数据集。
具体地，在本发明的实施例中，第二数据集的获取包括以下步骤：
1)采集待检测对象的单一视角数据集；
2)对待检测对象的单一视角数据集进行数据增强处理，得到第二数据集。
可以理解的是，由于采集得到的待检测对象的单一视角数据集有限，需要对待检测对象的单一视角数据集进行数据增强处理。在本发明的实施例中，数据增强处理包括大小调整、翻转和cutmix。
S102、基于第一数据集和第二数据集，采用ReLU激活函数训练神经网络模型，得到第一模型；
具体地，在本发明的实施例中，基于第一数据集和第二数据集，采用深度学习框架Pytorch和ReLU激活函数训练神经网络模型，得到第一模型。
在本发明的实施例中，在步骤S102之前，所述的缺陷检测方法还包括构建神经网络模型。
具体地，参照图2，本发明实施例的神经网络模型为ConvNext-2d神经网络模型，包括特征抽取模块、特征融合模块和分类回归模块。
具体地，在本发明的实施例中，神经网络模型的构建包括以下步骤：
1)根据预设角度构建对应的特征抽取模块ConvNext-2d backbone；
具体地，特征抽取模块用于抽取各个预设角度对应的分支的输出特征。在本发明的实施例中，特征抽取模块采用简单的重复结构(convnet基础模块)完成多图片的特征抽取，并结合不同的卷积和池化层组合提高了计算效率。
2)基于特征抽取模块构建特征融合模块neck；
具体地，在本发明的实施例中，特征融合模块neck采用concat和add两种特征融合方式，以牺牲较小精度的代价获得更快的推理速度。
可选地，按照通道(channel)的方式进行特征的add堆叠融合(fusion)。
3)基于特征抽取模块和特征融合模块构建分类回归模块head，完成神经网络模型的构建。
具体地，本发明实施例的分类回归模块head包括残差结构、1*1卷积层、池化层和全连接层回归器，实现了对各个预设视角维度的类别的高效预测。通过模型训练，分类回归模块head能够快速拟合特征分布关系。
其中，瓶颈层残差块内部特征图的通道数与瓶颈层残差块输入端的特征图通道数一致，以利于强特征提取。
S103、对待检测对象进行多个预设视角的拍摄，得到第三数据集；
可选地，对于实时生产环境下的刀具缺陷检测，选取刀具的上方、下方、左侧面和右侧面四个预设视角。
具体地，在本发明的实施例中，分别在待检测对象的各个预设视角进行拍摄，获取各个预设视角的图片并融合得到第三数据集。
S103可以进一步划分为以下步骤S1031-S1034：
步骤S1031、根据预设视角对拍摄待检测对象的多视角摄像头进行标定；
可选地，参照图3，在刀具缺陷检测中，在刀具的上方、下方、左侧面和右侧面四个预设视角进行多视角摄像头的标定。
步骤S1032、采用标定后的多视角摄像头拍摄待检测对象，得到视频；
步骤S1033、对视频进行抽帧，得到第四数据集；
步骤S1034、对第四数据集进行数据增强处理，得到第三数据集。
可以理解的是，由于采集得到的第四数据集有限，需要对第四数据集进行数据增强处理。在本发明的实施例中，数据增强处理包括大小调整、翻转和cutmix。
S104、基于第三数据集训练第一模型，得到第二模型；
其中，第二模型为第一模型进行知识蒸馏后得到的轻量化模型。
可以理解的是，通过对大网络模型(第一模型)进行小网络模型知识蒸馏，挖掘出部署难度更低的轻量化模型(第二模型)。
具体地，基于第三数据集，采用深度学习框架Pytorch训练第一模型，得到第二模型。
S105、采用第二模型对待检测对象进行缺陷检测，得到待检测对象的缺陷检测结果。
结合步骤S101-S105所述的一种缺陷检测方法可知，本发明通过基于第一数据集和多尺度的第二数据集，采用轻量结构中的ReLU激活函数训练神经网络模型，加快了神经网络模型训练的收敛速度，并提升了神经网络模型的泛化能力，提高了模型性能；通过基于多个预设视角拍摄待检测对象得到的第三数据集训练第一模型，实现对第一模型的知识蒸馏，得到第二模型，从而实现了更容易部署的轻量化模型，同时基于第二模型对待检测对象进行缺陷检测得到缺陷检测结果，提升了缺陷检测的精准度、可靠性和效率。
图4是本申请一个实施例的一种缺陷检测系统结构示意图。
所述系统具体包括：
第一模块401，用于获取第一数据集和第二数据集，所述第一数据集为开源的缺陷数据集，所述第二数据集为待检测对象不同尺度的单一视角数据集；
第二模块402，用于基于所述第一数据集和所述第二数据集，采用ReLU激活函数训练神经网络模型，得到第一模型；
第三模块403，用于对所述待检测对象进行多个预设视角的拍摄，得到第三数据集；
第四模块404，用于基于所述第三数据集训练所述第一模型，得到第二模型，所述第二模型为所述第一模型进行知识蒸馏后得到的轻量化模型；
第五模块405，采用所述第二模型对所述待检测对象进行缺陷检测，得到所述待检测对象的缺陷检测结果。
可见，上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
参照图5，本申请实施例提供了一种缺陷检测装置，包括：
至少一个处理器501；
至少一个存储器502，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器501执行时，使得所述至少一个处理器501实现步骤S101-S105所述的一种缺陷检测方法。
同理，上述方法实施例中的内容均适用于本装置实施例中，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本申请的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本申请，但应当理解的是，除非另有相反说明，功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本申请是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本申请。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本申请的范围，本申请的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干程序用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行程序的定序列表，可以具体实现在任何计算机可读介质中，以供程序执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从程序执行系统、装置或设备取程序并执行程序的系统)使用，或结合这些程序执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供程序执行系统、装置或设备或结合这些程序执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的程序执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
尽管已经示出和描述了本申请的实施方式，本领域的普通技术人员可以理解：在不脱离本申请的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本申请的范围由权利要求及其等同物限定。
以上是对本申请的较佳实施进行了具体说明，但本申请并不限于所述实施例，熟悉本领域的技术人员在不违背本申请精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (10)
1.一种缺陷检测方法，其特征在于，包括以下步骤：
获取第一数据集和第二数据集，所述第一数据集为开源的缺陷数据集，所述第二数据集为待检测对象不同尺度的单一视角数据集；
基于所述第一数据集和所述第二数据集，采用ReLU激活函数训练神经网络模型，得到第一模型；
对所述待检测对象进行多个预设视角的拍摄，得到第三数据集；
基于所述第三数据集训练所述第一模型，得到第二模型，所述第二模型为所述第一模型进行知识蒸馏后得到的轻量化模型；
采用所述第二模型对所述待检测对象进行缺陷检测，得到所述待检测对象的缺陷检测结果。
2.根据权利要求1所述的一种缺陷检测方法，其特征在于，所述获取第二数据集，包括：
采集所述待检测对象的单一视角数据集；
对所述待检测对象的单一视角数据集进行数据增强处理，得到所述第二数据集。
3.根据权利要求1所述的一种缺陷检测方法，其特征在于，在所述基于所述第一数据集和所述第二数据集，采用ReLU激活函数训练神经网络模型，得到第一模型之前，所述方法还包括：
构建所述神经网络模型。
4.根据权利要求1所述的一种缺陷检测方法，其特征在于，所述神经网络模型包括特征抽取模块、特征融合模块和分类回归模块；
所述构建所述神经网络模型，包括：
根据所述预设角度构建对应的所述特征抽取模块；
基于所述特征抽取模块构建所述特征融合模块；
基于所述特征抽取模块和所述特征融合模块构建所述分类回归模块，完成所述神经网络模型的构建。
5.根据权利要求2所述的一种缺陷检测方法，其特征在于，所述对所述待检测对象进行多个预设视角的拍摄，得到第三数据集，包括：
根据所述预设视角对拍摄所述待检测对象的多视角摄像头进行标定；
采用标定后的所述多视角摄像头拍摄所述待检测对象，得到视频；
对所述视频进行抽帧，得到第四数据集；
对所述第四数据集进行所述数据增强处理，得到所述第三数据集。
6.根据权利要求5所述的一种缺陷检测方法，其特征在于，所述数据增强处理包括大小调整、翻转和cutmix。
7.根据权利要求1所述的一种缺陷检测方法，其特征在于，所述基于所述第三数据集训练所述第一模型，得到第二模型，包括：
基于所述第三数据集，采用深度学习框架Pytorch训练所述第一模型，得到所述第二模型。
8.一种缺陷检测系统，其特征在于，包括：
第一模块，用于获取第一数据集和第二数据集，所述第一数据集为开源的缺陷数据集，所述第二数据集为待检测对象不同尺度的单一视角数据集；
第二模块，用于基于所述第一数据集和所述第二数据集，采用ReLU激活函数训练神经网络模型，得到第一模型；
第三模块，用于对所述待检测对象进行多个预设视角的拍摄，得到第三数据集；
第四模块，用于基于所述第三数据集训练所述第一模型，得到第二模型，所述第二模型为所述第一模型进行知识蒸馏后得到的轻量化模型；
第五模块，采用所述第二模型对所述待检测对象进行缺陷检测，得到所述待检测对象的缺陷检测结果。
9.一种缺陷检测装置，其特征在于，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1-7中任一项所述的一种缺陷检测方法。
10.一种存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在由处理器执行时用于实现如权利要求1-7中任一项所述的一种缺陷检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210960045.8A CN115392359A (zh) | 2022-08-11 | 2022-08-11 | 一种缺陷检测方法、系统、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210960045.8A CN115392359A (zh) | 2022-08-11 | 2022-08-11 | 一种缺陷检测方法、系统、装置及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115392359A true CN115392359A (zh) | 2022-11-25 |
Family
ID=84118335
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210960045.8A Pending CN115392359A (zh) | 2022-08-11 | 2022-08-11 | 一种缺陷检测方法、系统、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115392359A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111223553A (zh) * | 2020-01-03 | 2020-06-02 | 大连理工大学 | 一种两阶段深度迁移学习中医舌诊模型 |
| CN113515656A (zh) * | 2021-07-06 | 2021-10-19 | 天津大学 | 一种基于增量学习的多视角目标识别与检索方法、及装置 |
| CN114119966A (zh) * | 2021-12-01 | 2022-03-01 | 中山大学 | 基于多视角学习与元学习的小样本目标检测方法 |
-
2022
- 2022-08-11 CN CN202210960045.8A patent/CN115392359A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111223553A (zh) * | 2020-01-03 | 2020-06-02 | 大连理工大学 | 一种两阶段深度迁移学习中医舌诊模型 |
| CN113515656A (zh) * | 2021-07-06 | 2021-10-19 | 天津大学 | 一种基于增量学习的多视角目标识别与检索方法、及装置 |
| CN114119966A (zh) * | 2021-12-01 | 2022-03-01 | 中山大学 | 基于多视角学习与元学习的小样本目标检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111445459B (zh) | 一种基于深度孪生网络的图像缺陷检测方法及系统 | |
| CN112329702B (zh) | 一种快速人脸密度预测和人脸检测方法、装置、电子设备及存储介质 | |
| CN111695421B (zh) | 图像识别方法、装置及电子设备 | |
| CN111833360B (zh) | 一种图像处理方法、装置、设备以及计算机可读存储介质 | |
| CN110866936A (zh) | 视频标注方法、跟踪方法、装置、计算机设备及存储介质 | |
| CN111931799B (zh) | 图像识别方法及装置 | |
| CN115908789A (zh) | 跨模态特征融合及渐近解码的显著性目标检测方法及装置 | |
| CN114078127B (zh) | 物件的缺陷检测及计数方法、装置、设备和存储介质 | |
| CN114612402A (zh) | 对象数量的确定方法、装置、设备、介质及程序产品 | |
| CN114998679A (zh) | 深度学习模型的在线训练方法、装置、设备及存储介质 | |
| CN111144425A (zh) | 检测拍屏图片的方法、装置、电子设备及存储介质 | |
| FR2989494A1 (fr) | Procede de reconnaissance d'un contexte visuel d'une image et dispositif correspondant | |
| CN111753729B (zh) | 一种假脸检测方法、装置、电子设备及存储介质 | |
| CN115471439A (zh) | 显示面板缺陷的识别方法、装置、电子设备及存储介质 | |
| CN113392689A (zh) | 视频文字跟踪方法、视频处理方法、装置、设备及介质 | |
| CN113191235A (zh) | 杂物检测方法、装置、设备及存储介质 | |
| CN115392359A (zh) | 一种缺陷检测方法、系统、装置及存储介质 | |
| CN114820755B (zh) | 一种深度图估计方法及系统 | |
| Mukhaimar et al. | Pl-net3d: Robust 3d object class recognition using geometric models | |
| CN116630286A (zh) | 一种图像异常检测与定位的方法、装置、设备及存储介质 | |
| Ling et al. | Gans-nqm: A generative adversarial networks based no reference quality assessment metric for rgb-d synthesized views | |
| CN114764920A (zh) | 一种行人识别方法、系统、装置及存储介质 | |
| CN116546304A (zh) | 一种参数配置方法、装置、设备、存储介质及产品 | |
| CN106331696B (zh) | 丢帧检测方法和装置 | |
| Zhang et al. | A robust RGB‐D visual odometry with moving object detection in dynamic indoor scenes |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: No. 3-7, Jiucun West Road, Jiushuikeng Village, Dalong Street, Panyu District, Guangzhou City, Guangdong Province, 510000 Applicant after: GUANGZHOU LIGONG INDUSTRIAL CO.,LTD. Address before: 510000 one of No. 3, Jiucun West Road, jiushuikeng village, Dalong street, Panyu District, Guangzhou City, Guangdong Province Applicant before: GUANGZHOU LIGONG INDUSTRIAL CO.,LTD. |
|
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20221125 |