CN111667455B - 一种刷具多种缺陷的ai检测方法 - Google Patents
一种刷具多种缺陷的ai检测方法 Download PDFInfo
- Publication number
- CN111667455B CN111667455B CN202010354680.2A CN202010354680A CN111667455B CN 111667455 B CN111667455 B CN 111667455B CN 202010354680 A CN202010354680 A CN 202010354680A CN 111667455 B CN111667455 B CN 111667455B
- Authority
- CN
- China
- Prior art keywords
- network
- defect
- image
- defects
- convolutional neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 90
- 238000001514 detection method Methods 0.000 title claims abstract description 31
- 230000001680 brushing effect Effects 0.000 title claims abstract description 9
- 238000012549 training Methods 0.000 claims abstract description 33
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 30
- 230000011218 segmentation Effects 0.000 claims abstract description 30
- 230000002950 deficient Effects 0.000 claims abstract description 12
- 238000012360 testing method Methods 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims abstract description 5
- 238000010276 construction Methods 0.000 claims abstract description 4
- 230000003213 activating effect Effects 0.000 claims abstract description 3
- 238000011176 pooling Methods 0.000 claims description 25
- 238000000034 method Methods 0.000 claims description 13
- 238000005457 optimization Methods 0.000 claims description 11
- 238000010586 diagram Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 4
- 238000003709 image segmentation Methods 0.000 claims description 4
- 238000009826 distribution Methods 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 2
- 238000013136 deep learning model Methods 0.000 description 10
- 238000013135 deep learning Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 210000004205 output neuron Anatomy 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000032683 aging Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000008014 freezing Effects 0.000 description 2
- 238000007710 freezing Methods 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 239000011148 porous material Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
- 238000013316 zoning Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8854—Grading and classifying of flaws
- G01N2021/8861—Determining coordinates of flaws
- G01N2021/8864—Mapping zones of defects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种刷具多种缺陷的AI检测方法,包括以下步骤:获取无缺陷牙刷及缺陷牙刷表面的原始图像数据;将所述原始图像数据,通过图像处理转换为灰度图,并对缺陷牙刷图像的缺陷进行标注,按照预设的样本比例,完成缺陷特征样本及无缺陷特征样本的构建;按照分割网络结合多标签分类网络的方式搭建好初始卷积神经网络模型后,输入所述特征样本,激活预设的卷积神经网络模型,根据预设训练代数、网络参数进行迭代训练,完成模型测试后,保存训练好的卷积神经网络模型;将待检测的样本图像数据输入所述训练好的卷积神经网络模型中进行多种缺陷识别。采用本发明,能对刷具的常见缺陷进行自动识别,在避免反复调参及保证检测算法泛化能力的前提下,智能判别多种缺陷;通过进一步优化算法框架,适应现今工业需求,每类缺陷使用少于或等于30张缺陷样本即可完成训练。
Description
技术领域
本发明涉及智能检测领域,特别涉及一种刷具多种缺陷的AI检测方法。
背景技术
目前牙刷产品的生产具有产量高、生产速率快等生产特点,同时牙刷产品种类繁多,在生产过程中产生的缺陷种类也不少,部分缺陷特征非常细微,高效准确地完成牙刷的缺陷检测及分类有一定的难度。当前牙刷缺陷检测的方法有人工检测、视觉检测等,人工检测容易造成工人疲劳,且检测效率和准确性并不稳定;基于视觉的牙刷缺陷检测通常根据具体应用场景设定相应的模型和参数,模型泛化能力不足,对不同工况的适应性较差。人工智能已成为当下热门的研究领域,在工业领域常被应用于产品表面缺陷检测,但采用深度学习实现牙刷缺陷检测的相关研究目前尚少,同时也面临传统的深度学习模型需要成千上万的数据样本,导致其在工业领域难以落地应用。
专利CN 108362705 A提供了一种基于视觉分析的牙刷刷毛检测方法,通过在牙刷底部打背光,摄像机向下对牙刷拍照,这样具有牙刷毛的位置被显示为黑色,通过检测牙刷毛孔里的白色像素判断牙刷毛的根数,即根据白色像素面积判断牙刷毛根数是否缺少,当牙刷到达剔除位置时调出检测结果,若牙刷刷毛根数小于设定的阈值,由剔除伺服器将不合格的牙刷剔除掉。该方法需要根据设备的光照强度,角度等参数确定白色像素的阈值,当照明器材发生老化或者频闪等导致光照强度改变时会导致原有参数不再适用,可能产生漏检或误检问题,故该方法对硬件设备一致性要求高,可移植性差;另一方面,面对一些新款牙刷产品,该方法无法通过原有算法参数调整实现算法迁移,必须大幅度修改算法架构才能达到期望目的,研发成本较高;
专利CN 110658202 A提供了一种基于深度学习检测产品缺陷的方法,通过将待测工件置于检测平台上,在稳定、均匀的照明环境下,使用检测平台上的相机获取待测工件外表面的图像数据;然后对获取的图像数据进行图像前期处理(包括去噪、滤波、裁剪、旋转、拉伸、亮度修正、颜色转换、图像分割、分辨率调整、二值化、区域标记和轮廓提取),得到待诊断图像;基于深度学习构建卷积神经网络模型,根据样本图像数据集对卷积神经网络模型进行迭代训练,然后进行测试,测试完成后输出训练成功的卷积神经网络模型;最后对待诊断图像进行判断,并自动判断缺陷类型和参数指标,最终输出待测图像的识别结果。其深度学习模型设计简单,为普通卷积神经网络模型(使用24个卷积层和2个全连接层即完成卷积神经网络模型搭建),作为传统的深度学习模型,这种模型需要基于大量的样本图像数据集对卷积神经网络模型进行迭代训练达到模型的优化,这种方法一方面需要进行大量的样本标记,耗费的人力成本较高;另一方面,传统的深度学习模型对样本不一定有适应性,在面对复杂或区分度较小的缺陷分类问题时,训练的效率和模型的准确度都不高。
发明内容
本发明实施例所要解决的技术问题在于,提供一种刷具多种缺陷的AI检测方法。可使得牙刷缺陷检测能在较少样本的情况下就能完成准确的多种缺陷识别以及多标签分类。
为了解决上述技术问题,本发明实施例提供了一种刷具多种缺陷的AI检测方法,包括以下步骤:
S1:获取牙刷表面的原始图像数据;
S2:将所述原始图像数据,通过图像处理转换为灰度图,并对缺陷牙刷图像的缺陷进行标注,按照预设的样本比例,完成缺陷特征样本及无缺陷特征样本的构建;
S3:按照分割网络结合多标签分类网络的方式搭建好初始卷积神经网络模型后,输入所述特征样本,激活预设的卷积神经网络模型,根据预设训练代数、网络参数进行迭代训练,完成模型测试后,保存训练好的卷积神经网络模型;
S4:将待检测的样本图像数据输入所述训练好的卷积神经网络模型中进行识别。
进一步地,所述缺陷特征样本的缺陷特征图像少于或等于30张,且其中无缺陷特征样本的数量与缺陷特征样本的数量保持均衡。
更进一步地,所述步骤S2还包括样本特征标记方法,所述样本特征标记方法包括以下流程:
对所述原始图像对应的灰度图进行去噪、滤波、分辨率调整处理使样本图像便于分割,再针对缺陷特征进行图像分割,并通过二值化、区域提取获取二值化的缺陷特征,最后把原始图像的二值化的缺陷特征区域设为白色,其余区域为黑色,完成特征标记。
更进一步地,所述分割网络用于对刷具表面的缺陷进行像素级定位。
更进一步地,所述卷积神经网络模型的分割网络由11个卷积层和3个最大池化层组成,每个卷积层后面都有一个特征归一化和一个非线性ReLU层,特征归一化将每个信道归一化为具有单位方差的零均值分布。
更进一步地,前9个所述卷积层使用5x5的内核大小,后2个层分别使用 15x15和1x1的内核大小。
更进一步地,将所述分割网络的第10层卷积层与分割网络的最后单通道输出映射图连接在一起,生成具有1025通道的层,作为所述多标签分类网络的最大池化层和5×5卷积层的输入,所述最大池化层和5×5卷积层重复3次,且分别具有8、16和32个通道,所述多标签分类网络最后执行全局最大池化和平均池化。所述多标签分类网络的另一输入为所述分割网络的单通道输出映射图,其特征在于,所述单通道输出映射图执行全局最大池化和平均池化,与所述多标签分类网络最后执行全局最大池化和平均池化的结果拼接成最终输出层。
更进一步地,考虑到分割网络的输出效果仅需要判断是否成功提取出各缺陷区域的像素数据,从像素角度属于二分类问题。而多标签分类网络中,单张牙刷图片中可能同时存在多种缺陷类别,例如欠孔和散毛缺陷并存,或者长毛与长短毛缺陷并存等情况,属于典型的多标签分类问题。故所述分割网络和多标签分类网络最后一层都使用sigmoid函数作为激活函数进行分类预测,而且训练阶段都采用二分类交叉熵作为损失函数:
在分割网络中,i是单个像素序号,n是图像像素总数和,yi是第i个像素的期望输出,表示第i个像素的原始实际输出;
在多标签分类网络中,i是图像序号,n是图像总数量,yi是第i张图像分类的期望输出,表示第i张图像分类的原始实际输出。
更进一步地,所述分割网络的参数优化方式及所述多标签分类网络的优化方式为采用动量参数及学习率衰减参数的随机梯度下降法优化。
实施本发明实施例,具有如下有益效果:本发明具有算法模型无需重复调参,泛化能力高,且需求的标记样本数据少(少于或等于30张)的优点。通过深度学习模型进行多标签缺陷分类的技术手段,依靠深度学习模型不断优化,自动挖掘缺陷特征的潜在特性,避免了视觉检测技术依靠阈值进行分割判断的缺点,且能适应一般的环境差异;通过分割网络配合多标签分类网络的双网络架构进行特征分类,一方面把特征图例的每个像素点分别作为单独的训练样本,增加了训练样本的有效数量,防止了训练样本的过拟合;另一方面通过采用多层卷积和下采样的方式,增加特征容量和感受野大小,增强网络捕捉小细节的能力,最终仅利用少量样本(少于或等于30张)即可达到传统深度学习模型数百、上千张以上样本的训练效果。
附图说明
图1是本发明方法流程示意图;
图2是卷积神经网络模型的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述。
参照图1、图2所示的结构示意图。
本发明实施例所提供的一种刷具多种缺陷的AI检测方法,通过以下步骤进行实施。
S1:将牙刷移动到检测平台上,通过稳定、均匀的照明环境进行充分打光,然后激活固定的工业相机,获取牙刷表面的原始图像数据。
S2:将S1的原始图像数据传输到深度学习推断服务器,通过图像处理把其转换为二值化的缺陷特征样本,按照预设的样本比例,完成缺陷特征样本的构建。
上述缺陷特征样本通过对图像进行ROI类型的区域提取建立。
具体的,区域提取的方法有圆形、方形、套索、自由划区多种提取方式。
进一步的,无缺陷特征图像无需提取缺陷特征。
进一步的,缺陷特征图像在缺陷特征样本构建方面,每种缺陷均只需提取转换30张或以下的二值化的缺陷特征样本,并使得无缺陷的二值化的缺陷特征样本数量大于缺陷特征样本的数量。
S201:对原始图像进行去噪、滤波、分辨率调整处理使样本图像便于分割,再针对缺陷特征进行图像分割,并通过二值化、区域提取获取二值化的缺陷特征,最后把原始图像的二值化的缺陷特征(如牙刷无缺陷则缺陷特征为空集) 区域设为白色,其余区域为黑色,完成特征标记。
S3:按照分割网络结合多标签分类网络的方式预设好初始卷积神经模型后,输入S2的缺陷特征样本(每种缺陷样本数量在30张或以下),激活预设的卷积神经网络模型,根据预设训练代数进行迭代训练,直至达到预设的训练代数或理想的训练效果后,训练自动结束并进行模型测试,确认模型测试结果理想后,完成模型测试并保存训练好的卷积神经网络模型。
S301:卷积神经网络模型结构解释如下:卷积神经网络模型由分割网络和多标签分类网络两个部分组成,第一部分是分割网络,作用为对表面缺陷进行像素级定位。该网络有效地将每个像素作为单独的训练样本,从而增加了训练样本的有效数量,防止了训练样本的过拟合;第二部分为多标签分类网络,把分割网络的输出作为多标签分类网络的输入,作用为对缺陷特征二值化图像进行多标签分类。
如图2所示为本发明所述卷积神经网络模型结构图,具体描述如下:
具体的,卷积神经网络模型的分割网络由11个卷积层和3个最大池化层组成,每个卷积层后面都有一个特征归一化和一个非线性ReLU层,特征归一化将每个信道归一化为具有单位方差的零均值分布。前9个卷积层使用5x5的内核大小,后两个层分别使用15x15和1x1的内核大小。不同的通道分配给不同的层,通过应用1x1卷积层来减少输出通道的数量,得到最终的输出掩模。最后产生一个单通道输出映射,其输出图像的分辨率相比神经网络模型的输入图像降低了8倍。
进一步的,为确保小而重要的细节不会被破坏,分割网络在设计网络时细节如下:
1)卷积网络采用多个较大核尺寸的卷积核进行组合,随后紧跟一个额外的下采样层,这样的设计用来显著增加图像特征接受域的大小。
2)每个下采样间隔的卷积网络组合的层数设计的特征为,网络组合较浅部分的特征层数至较深部分的特征层数,由少变多。
具体的,多标签分类网络将分割网络的第10层卷积层(1024个通道),与分割网络的最后单通道输出映射图连接在一起,生成具有1025通道的层,作为后续多标签分类网络最大池化层和5×5卷积层的输入。这种最大池化层和5x5 卷积层的两层组合方式重复3次,其中第一,第二和第三卷积层分别具有8、16 和32个通道。通道数量随特征分辨率的降低而增加,从而使得每一层的计算量需求相同,这样设计可以使得最后卷积层的分辨率比原始图像小64倍。最后执行全局最大池化和平均池化,从而产生64个输出神经元。此外,将分割网络输出映射图上做全局最大池化和平均池化的结果连接为两个输出神经元,为在分割图确保检测理想的情况下提供便利。由此设计组合产生66个输出神经元,这些输出神经元与线性权重组合为最终输出神经元。
进一步的,为避免过量使用不需要的特征图以及参数的过拟合,多标签分类网络在设计网络时细节如下:
1)通过使用多层卷积和下采样来确保网络具有大型复杂缺陷的检测能力。不仅可以捕获局部小缺陷,而且可以捕获在图像上占面积较大的缺陷。
2)分类网络不仅使用分割网络最后一次1×1卷积操作减少通道数量之前的特征量,还使用了1×1卷积操作减少通道数量之后的最终分割输出图。
S302:卷积神经网络模型工作流程如下:首先,冻结多标签分类网络参数,只对分割网络进行独立训练,优化分割网络参数;然后对分割网络的参数进行冻结,只对多标签分类网络进行训练,这个阶段训练的优化只对多标签分类网络的参数进行微调,避免了分割网络中大量模型参数可能造成的过拟合问题。具体的,考虑到分割网络中仅需要判断样本像素是否属于缺陷内容,从像素角度属于二分类问题。而多标签分类网络中,单张牙刷图片中可能同时存在多种缺陷类别,例如欠孔和散毛缺陷并存,或者长毛与长短毛缺陷并存等情况,属于典型的多标签分类问题。故所述分割网络和多标签分类网络最后一层都使用sigmoid函数进行预测,而且训练阶段都采用二分类交叉熵作为损失函数:
在分割网络中,i是单个像素序号,n是图像像素总数和,yi是第i个像素的期望输出,表示第i个像素的原始实际输出;
在多标签分类网络中,i是图像序号,n是图像总数量,yi是第i张图像分类的期望输出,表示第i张图像分类的原始实际输出。
进一步的,分割网络的参数优化方式及所述多标签分类网络的优化方式为采用动量参数及学习率衰减参数的随机梯度下降法优化。
S4:在S1所述平台上再次进行牙刷图像数据拍摄获取实际样本图像数据,把实际样本图像数据输入步骤3的卷积神经网络模型,识别牙刷缺陷并输出牙刷是否有缺陷以及相应的多个缺陷种类。
具体的,判断方式为分析S301最终输出的针对各缺陷的概率分数值,判断牙刷是否有缺陷以及属于那几种缺陷。
本发明相比现有技术具有如下优点:
1)本发明采用深度学习模型进行缺陷判断分类,模型训练、测试完成后无需根据环境差异反复调参。目前的牙刷视觉检测依赖固定的阈值对刷毛的数量等特征进行判断,如专利108362705 A所述牙刷刷毛缺陷检测方法就是通过与预设的白色像素阈值比较来确定刷毛剩余的数量,这个预设的白色像素阈值由环境以及分析经验决定的固定参数,不能根据环境的更改而智能调整,外界发生干扰刷毛显色的问题(如灯光老化,刷柄反光灯)这个预设的数值不一定有效适用。另一方面,基于机器视觉的缺陷识别对于不同缺陷需要重设网络或反复调参,算法对于不同特征一般没有直接移植性;本发明基于深度学习模型利用标记样本进行模型训练,模型参数经过多次迭代优化自动调整,能自动判断缺陷特征且适应一定程度的环境干扰,且本发明包含的样本标记软件能有效标记长短毛、欠孔、叉毛、散毛等多个缺陷特征,不会因为为了适应各种牙刷品种及牙刷缺陷种类而带来检测算法的大量修改。
2)本发明使用了分割网络配合多标签分类网络的双网络架构进行刷具缺陷提取及缺陷特征分类,同时把特征图例的每个像素点分别作为单独的训练样本,达到使用少量标记样本(30张或以下)完成模型训练。传统的深度学习卷积神经网络模型,如专利CN110658202 A所述方法需使用大量标记样本输入模型进行迭代训练,否则可能发生过拟合的问题,另一方面牙刷的部分缺陷细节并不明显,可能会在无缺陷样本和微小缺陷样本间的分类上造成误判;本发明使用了分割网络配合多标签分类网络的双网络架构进行特征分类,通过使用多层卷积和降采样来保证对大型复杂形状的适当处理能力,使得网络不仅可以捕获局部形状,还可以捕获跨越图像大部分区域的全局形状。同时把特征图例的每个像素点分别作为单独的训练样本,充分降低标记样本量的需求,并防止神经网络模型参数的过拟合。
以上所揭露的仅为本发明一种较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。
Claims (5)
1.一种刷具多种缺陷的AI检测方法,其特征在于,包括以下步骤:
S1:获取牙刷表面的原始图像数据;
S2:将所述原始图像数据,通过图像处理转换为灰度图,并对缺陷牙刷图像的缺陷进行标注,按照预设的样本比例,完成缺陷特征样本及无缺陷特征样本的构建;
S3:按照分割网络结合多标签分类网络的方式搭建好初始卷积神经网络模型后,输入所述特征样本,激活预设的卷积神经网络模型,根据预设训练代数、网络参数进行迭代训练,完成模型测试后,保存训练好的卷积神经网络模型;所述分割网络用于对刷具表面的缺陷进行像素级定位;所述卷积神经网络模型的分割网络由11个卷积层和3个最大池化层组成,每个卷积层后面都有一个特征归一化和一个非线性ReLU层,特征归一化将每个通道归一化为具有单位方差的零均值分布,前9个卷积层使用5 x 5的内核大小,后2个层分别使用15 x 15和1 x 1的内核大小,将所述分割网络的第10层卷积层与分割网络的最后单通道输出映射图连接在一起,生成具有1025通道的层,作为所述多标签分类网络的最大池化层和5×5卷积层的输入,所述最大池化层和5×5卷积层重复3次,其中第一,第二和第三卷积层分别具有8、16和32个通道,所述多标签分类网络最后执行全局最大池化和平均池化,所述多标签分类网络的另一输入为所述分割网络的单通道输出映射图,其特征在于,所述单通道输出映射图执行全局最大池化和平均池化,与所述多标签分类网络最后执行全局最大池化和平均池化的结果拼接成最终输出层;
S4:将待检测的样本图像数据输入所述训练好的卷积神经网络模型中进行识别。
2.根据权利要求1所述的刷具多种缺陷的AI检测方法,其特征在于,所述缺陷特征样本的数量少于或等于30张,且其中无缺陷特征样本的数量与缺陷特征样本的数量保持均衡。
3.根据权利要求1所述的刷具多种缺陷的AI检测方法,其特征在于,所述步骤S2还包括样本特征标记方法,所述样本特征标记方法包括以下流程:
对所述原始图像对应的灰度图进行去噪、滤波、分辨率调整处理使样本图像便于分割,再针对缺陷特征进行图像分割,并通过二值化、区域提取获取二值化的缺陷特征,最后把原始图像的二值化的缺陷特征区域设为白色,其余区域为黑色,完成特征标记。
4.根据权利要求1-3任一项所述的刷具多种缺陷的AI检测方法,其特征在于,所述分割网络的参数优化方式及所述多标签分类网络的优化方式为采用动量参数及学习率衰减参数的随机梯度下降法优化。
5.根据权利要求4所述的刷具多种缺陷的AI检测方法,其特征在于,所述分割网络和多标签分类网络最后一层都使用sigmoid函数作为激活函数,而且训练阶段都采用二分类交叉熵作为损失函数:
在分割网络中,是单个像素序号,/>是图像像素总数和,/>是第/>个像素的期望输出,表示第/>个像素的原始实际输出;
在多标签分类网络中,是图像序号,/>是图像总数量,/>是第/>张图像分类的期望输出,/>表示第/>张图像分类的原始实际输出。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010354680.2A CN111667455B (zh) | 2020-04-28 | 2020-04-28 | 一种刷具多种缺陷的ai检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010354680.2A CN111667455B (zh) | 2020-04-28 | 2020-04-28 | 一种刷具多种缺陷的ai检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111667455A CN111667455A (zh) | 2020-09-15 |
CN111667455B true CN111667455B (zh) | 2023-10-24 |
Family
ID=72383115
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010354680.2A Active CN111667455B (zh) | 2020-04-28 | 2020-04-28 | 一种刷具多种缺陷的ai检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111667455B (zh) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112184686B (zh) * | 2020-10-10 | 2022-08-23 | 深圳大学 | 一种用于检测动力电池安全阀激光焊接缺陷的分割算法 |
CN112067555B (zh) * | 2020-11-12 | 2021-03-30 | 山东海德智能科技有限公司 | 一种可自动视觉识别零件种类的零件检测系统 |
CN112561866B (zh) * | 2020-12-04 | 2022-03-01 | 重庆忽米网络科技有限公司 | 基于ai与云计算技术的半导体基板光刻胶层缺陷检测系统 |
CN112734690A (zh) * | 2020-12-17 | 2021-04-30 | 郑州金惠计算机系统工程有限公司 | 一种表面缺陷检测方法、装置及计算机可读存储介质 |
CN112561910B (zh) * | 2020-12-28 | 2023-10-20 | 中山大学 | 一种基于多尺度特征融合的工业表面缺陷检测方法 |
CN113409245B (zh) * | 2021-04-06 | 2024-04-02 | 中国电子技术标准化研究院 | 一种电子元器件x射线检查缺陷自动识别方法 |
CN113362277A (zh) * | 2021-04-26 | 2021-09-07 | 辛米尔视觉科技(上海)有限公司 | 一种基于深度学习的工件表面缺陷检测和分割方法 |
CN113392915A (zh) * | 2021-06-23 | 2021-09-14 | 宁波聚华光学科技有限公司 | 一种基于深度学习的工业零件缺陷检测方法 |
CN113610795B (zh) * | 2021-08-02 | 2023-09-29 | 沈阳航空航天大学 | 一种可燃药筒表面缺陷检测方法及系统 |
CN114202540B (zh) * | 2022-02-17 | 2022-05-13 | 中铁电气化局集团有限公司 | 高铁接触网开口销缺陷的智能检测方法 |
CN115661156B (zh) * | 2022-12-28 | 2023-04-14 | 成都数联云算科技有限公司 | 图像生成方法、装置、存储介质、设备及计算机程序产品 |
CN117654907B (zh) * | 2023-11-29 | 2024-07-02 | 嘉兴嘉视自动化科技有限公司 | 用于带料检测机的自动剔除方法及系统 |
CN118154999B (zh) * | 2024-05-10 | 2024-08-02 | 深圳市曜通科技有限公司 | 基于半导体切筋产品外表面缺陷的智能识别系统及方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107563999A (zh) * | 2017-09-05 | 2018-01-09 | 华中科技大学 | 一种基于卷积神经网络的芯片缺陷识别方法 |
CN110807495A (zh) * | 2019-11-08 | 2020-02-18 | 腾讯科技(深圳)有限公司 | 多标签分类方法、装置、电子设备及存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10410353B2 (en) * | 2017-05-18 | 2019-09-10 | Mitsubishi Electric Research Laboratories, Inc. | Multi-label semantic boundary detection system |
-
2020
- 2020-04-28 CN CN202010354680.2A patent/CN111667455B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107563999A (zh) * | 2017-09-05 | 2018-01-09 | 华中科技大学 | 一种基于卷积神经网络的芯片缺陷识别方法 |
CN110807495A (zh) * | 2019-11-08 | 2020-02-18 | 腾讯科技(深圳)有限公司 | 多标签分类方法、装置、电子设备及存储介质 |
Non-Patent Citations (1)
Title |
---|
宋念龙 ; 李自明 ; .应用深度卷积的涂布缺陷检测方法.传感器与微系统.2020,(03),全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN111667455A (zh) | 2020-09-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111667455B (zh) | 一种刷具多种缺陷的ai检测方法 | |
Rachmadi et al. | Vehicle color recognition using convolutional neural network | |
CN108562589B (zh) | 一种对磁路材料表面缺陷进行检测的方法 | |
CN108960245B (zh) | 轮胎模具字符的检测与识别方法、装置、设备及存储介质 | |
CN109613002B (zh) | 一种玻璃缺陷检测方法、装置和存储介质 | |
CN109447977B (zh) | 一种基于多光谱深度卷积神经网络的视觉缺陷检测方法 | |
US8600143B1 (en) | Method and system for hierarchical tissue analysis and classification | |
CN110610475B (zh) | 一种深度卷积神经网络的视觉缺陷检测方法 | |
CN113592845A (zh) | 一种电池涂布的缺陷检测方法及装置、存储介质 | |
CN110647875B (zh) | 一种血细胞分割、识别模型构造的方法及血细胞识别方法 | |
CN112241699A (zh) | 物体缺陷类别识别方法、装置、计算机设备和存储介质 | |
CN105809121A (zh) | 多特征协同的交通标志检测与识别方法 | |
CN109684922A (zh) | 一种基于卷积神经网络的多模型对成品菜的识别方法 | |
CN111915572A (zh) | 一种基于深度学习的自适应齿轮点蚀定量检测系统及方法 | |
JP7412556B2 (ja) | 目標コーティング中の効果顔料を識別する方法及び装置 | |
CN111178177A (zh) | 一种基于卷积神经网络的黄瓜病害识别方法 | |
CN112750113B (zh) | 基于深度学习和直线检测的玻璃瓶缺陷检测方法及装置 | |
Yusof et al. | Automated asphalt pavement crack detection and classification using deep convolution neural network | |
CN113256624A (zh) | 连铸圆坯缺陷检测方法、装置、电子设备及可读存储介质 | |
CN115082776A (zh) | 一种基于图像识别的电能表自动检测系统及方法 | |
CN114549489A (zh) | 一种面向雕花口红质检的实例分割缺陷检测方法 | |
Zhang et al. | Fabric defect detection based on visual saliency map and SVM | |
CN116645351A (zh) | 一种复杂场景的缺陷在线检测方法及系统 | |
CN115471494A (zh) | 基于图像处理的沃柑质检方法、装置、装备及存储介质 | |
CN115187878A (zh) | 基于无人机图像分析的风力发电装置叶片缺陷检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |