CN111199543A - 一种基于卷积神经网络的冰柜表面缺陷检测 - Google Patents
一种基于卷积神经网络的冰柜表面缺陷检测 Download PDFInfo
- Publication number
- CN111199543A CN111199543A CN202010007418.0A CN202010007418A CN111199543A CN 111199543 A CN111199543 A CN 111199543A CN 202010007418 A CN202010007418 A CN 202010007418A CN 111199543 A CN111199543 A CN 111199543A
- Authority
- CN
- China
- Prior art keywords
- training
- model
- data set
- task
- defects
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 60
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 25
- 238000000034 method Methods 0.000 claims abstract description 53
- 238000012549 training Methods 0.000 claims abstract description 52
- 238000001514 detection method Methods 0.000 claims abstract description 43
- 238000012360 testing method Methods 0.000 claims abstract description 23
- 238000012795 verification Methods 0.000 claims abstract description 18
- 230000000694 effects Effects 0.000 claims description 10
- 230000002950 deficient Effects 0.000 claims description 6
- 238000013135 deep learning Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 239000004744 fabric Substances 0.000 claims description 3
- 238000003064 k means clustering Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000013526 transfer learning Methods 0.000 claims description 3
- 238000010200 validation analysis Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims 1
- 238000007670 refining Methods 0.000 claims 1
- 238000004519 manufacturing process Methods 0.000 description 8
- 210000000038 chest Anatomy 0.000 description 7
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8854—Grading and classifying of flaws
- G01N2021/888—Marking defects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Chemical & Material Sciences (AREA)
- Computational Linguistics (AREA)
- Probability & Statistics with Applications (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Signal Processing (AREA)
- Biomedical Technology (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明提供一种基于卷积神经网络的冰柜表面缺陷检测，目的是通过构建合适的目标检测模型对冰柜表面的缺陷进行检测，对存在缺陷的图片用Bounding Box标注缺陷位置以及标注分类标签NG，对不存在缺陷的图片只需要标注分类标签OK。本发明主要包括四个步骤，首先根据任务需要，选择合适的目标检测基础架构，并进一步选择合适的backbone网络结构；然后构建目标检测网络模型，采用数据增强方法扩充训练数据集并进行训练，然后在验证数据集上进行验证；进而根据验证结果，对模型结构和训练策略进一步优化，并重新进行训练和验证；最后将测试数据放入模型，产生最后的预测结果，并通过可视化对比实际结果。本发明适用于基于卷积神经网络的冰柜表面缺陷检测。
Description
技术领域
本发明涉及图像分类和目标检测的计算机视觉领域，尤其涉及一种基于卷积神经网络的冰柜表面缺陷检测。
背景技术
随着人工智能领域的飞速发展，计算机视觉技术逐渐融入到人们的生活中并且正在改变着人们的生活、经营、生产方式，为各行各业的发展提供了更有力的支撑。
然而，对于大型制造企业而言，在大数据时代的背景下，如何处理和利用好在生产活动中收集到的海量数据，对制造业降低成本、提高效率起到至关重要的作用。
从实际生产中可以发现，当前的制造冰柜的企业在对冰柜表面进行缺陷检测时，仍然通过人工方式一个个查看。这种方式消耗的人力大，检测的结果往往依赖于肉眼，可能会出现遗漏等。并且人工检测的效率非常低，只能对产品抽样检测，无法做到大规模快速检测。
因此，为了提高检测效率、减少人工成本和干预，考虑采用计算机视觉技术解决对冰柜表面缺陷的检测。这种方法以冰柜表面的图像作为数据输入到检测模型，然后自动识别出图像中是否存在缺陷，如果存在则标注出缺陷的具体位置并输出标注好后的图像，如果不存在则直接输出图像，方便检测人员进一步辨别与判定。
计算机视觉技术的出现，大大提高了生产作业的效率，避免了因作业条件，主观判断等影响检测结果的准确性，实现能更好更精确地进行表面缺陷检测，更加快速的识别冰柜表面瑕疵缺陷。
发明内容
本发明的目的在于解决现有技术中存在的不足，提供一种基于卷积神经网络的冰柜表面缺陷检测，这一方法不依赖于人工检测，使用计算机视觉技术，训练一个目标检测模型，再对冰柜表面的缺陷进行自动识别和标注。该方法极大地提升了生产过程中对冰柜质量检测的效率。
实现本发明目的的技术方案是：一种一种基于卷积神经网络的冰柜表面缺陷检测，包括如下步骤：
步骤一：根据任务需要，选择合适的目标检测基础架构，并进一步选择合适的backbone网络结构；
步骤二：构建目标检测网络模型，采用数据增强方法扩充训练数据集并进行训练，然后在验证数据集上进行验证；
步骤三：根据验证结果，对模型结构和训练策略进一步优化，并重新进行训练和验证；
步骤四：根将测试数据放入模型，产生最后的预测结果，并通过可视化对比实际结果。
进一步的，所述步骤一的具体过程如下：
(1.1)确认本次任务的目标是准确检测冰柜表面的缺陷，并标识出缺陷的位置并打上NG标签，如果不存在缺陷，则输出结果打上OK标签；
(1.2)基于任务的精确度要求，选择Cascade R-CNN为本次检测任务的基础架构，其优点在能够更精确的标识出缺陷位置；
(1.3)检测模型的backbone要求能够对物体的分类更加精确，对比ResNet50、Res101、ResNet152的分类精度和模型速度；
(1.4)挑选ResNet50作为本次任务的backbone。
进一步的，所述步骤二的具体过程如下：
(2.1)构建ResNet50和Cascade R-CNN模型；
(2.2)数据增强方法有很多，比如：Resize、RandomFlip、RandomCrop、RandomScale等，针对本次任务的数据集，选择Resize、RandomFlip、RandomCrop方法扩充数据；
(2.3)训练参数设置如下，epoch为13、SGD作为优化器、初始learning rate设置为0.02，momentum设置为0.9，weight_delay设置为0.0001，batch_size为2；
(2.4)实验环境设置，系统为Ubuntu16.0.4、GPU为GTX1080Ti、CPU为Core i7、内存为64G、深度学习框架为PyTorch；
(2.5)使用Cascade R-CNN在COCO数据集上的训练参数作为预训练模型参数，然后在本次任务的752张缺陷训练集上进行fine-tuning；
(2.6)使用验证数据集(包括300张存在缺陷的图片和300张没有缺陷的图片)在训练好的模型上验证，输出评价指数AP的值。
进一步的，所述步骤三的具体过程如下：
(3.1)根据本次任务的数据集中，标注缺陷位置的Bounding Box的尺寸过多情况，采用K-Means聚类方法，将尺寸按宽高比聚成5类，并作为模型中产生default Anchor box的参数；
(3.2)根据数据集中的缺陷形状变化较大的情况，采用普通的正方形卷积核无法有效获取缺陷形状，因此考虑使用Deformable Convolution(可变性卷积)；
(3.3)ResNet50网络的最后几层适用于检测大物体，前几层适用于检测小物体，为了能够更准确的识别小物体，采用Feature Pyramid Network(特征金字塔网络)结构对不同特征进行融合；
(3.4)由于训练过程中存在的正负样本不平衡的现象，因此考虑使用OHEM和FocalLoss进一步提升分类效果；
(3.5)针对测试阶段最后去除冗余Bounding Box的问题，采用Soft-NMS进行筛选；
(3.6)本次任务的训练数据集较少(存在缺陷的图片共计752张)，因此为防止出现过拟合，考虑使用迁移学习的思想，通过在类似任务的布匹缺陷检测数据集(包含8000张缺陷图片)上模型作为预训练模型，提升预测精度；
(3.7)进一步fine-tuning本次任务的数据集，重新进行训练和验证。
进一步的，所述步骤四的具体过程如下：
将测试数据放入模型，产生最后的预测结果，并通过可视化对比实际结果；具体过程为：通过步骤三中获取到的模型，对测试数据进行预测，并与实际结果作对比，符合实际结果的即为正确结果。由于模型训练中存在一些参数，因此存在以下问题：
(3.1)需要设定合理的IOU(交并比)的阈值，否则可能降低结果准确率；
(3.2)训练中的迭代次数和学习率需要作出动态调整，否则可能出现欠拟合或过拟合现象。
本发明的有益效果为：
本发明根据企业提供的冰柜表面缺陷的训练数据集，训练出一个目标检测模型，在验证集的基础上进行模型的进一步修正和训练策略的进一步优化，使模型在验证集上的效果达到预期，并通过测试集输出最后的检测结果，相较于依靠人工检测的方法，该方法大大提供了生产中对冰柜表面进行缺陷检测的效率，且避免了检测工人的主观臆断等因素，实现了更加精确、快速地对缺陷进行识别。
附图说明
为了使本发明的内容更容易被清楚地理解，下面根据具体实施事例并结合附图，对本发明作进一步详细的说明：
附图1为应用场景图；
附图2为本发明的流程图；
附图3位本发明的目标检测模型图；
附图4、附图5、附图6、附图7、附图8、附图9、附图10为本发明中对模型的修改图。
具体实施方式
为更加了解本发明的技术内容，特举具体实施方式配合图例进行说明如下。
结合图1、2，本发明提出一种基于卷积神经网络的冰柜表面缺陷检测，具体实施步骤如下：
步骤一：根据任务需要，选择合适的目标检测基础架构，并进一步选择合适的backbone网络结构；
步骤二：构建目标检测网络模型，采用数据增强方法扩充训练数据集并进行训练，然后在验证数据集上进行验证；
步骤三：根据验证结果，对模型结构和训练策略进一步优化，并重新进行训练和验证；
步骤四：将测试数据放入模型，产生最后的预测结果，并通过可视化对比实际结果。
结合图例3，所述步骤一的具体实施如下：
(1.1)确认本次任务的目标是准确检测冰柜表面的缺陷，并标识出缺陷的位置并打上NG标签，如果不存在缺陷，则输出结果打上OK标签；
(1.2)基于任务的精确度要求，选择Cascade R-CNN为本次检测任务的基础架构，其优点在能够更精确的标识出缺陷位置；
(1.3)检测模型的backbone要求能够对物体的分类更加精确，对比ResNet50、Res101、ResNet152的分类精度和模型速度；
(1.4)挑选ResNet50作为本次任务的backbone；
结合图例3，所述步骤二的具体实施如下：
(2.1)构建ResNet50和Cascade R-CNN模型；
(2.2)数据增强方法有很多，比如：Resize、RandomFlip、RandomCrop、RandomScale等，针对本次任务的数据集，选择Resize、RandomFlip、RandomCrop方法扩充数据；
(2.3)训练参数设置如下，epoch为13、SGD作为优化器、初始learning rate设置为0.02，momentum设置为0.9，weight_delay设置为0.0001，batch_size为2；
(2.4)实验环境设置，系统为Ubuntu16.0.4、GPU为GTX1080Ti、CPU为Core i7、内存为64G、深度学习框架为PyTorch；
(2.5)使用Cascade R-CNN在COCO数据集上的训练参数作为预训练模型参数，然后在本次任务的752张缺陷训练集上进行fine-tuning；
(2.6)使用验证数据集(包括300张存在缺陷的图片和300张没有缺陷的图片)在训练好的模型上验证，输出评价指数AP的值。
结合图例4、5、6、7、8、9、10，所述步骤三的具体实施过程如下：
(3.1)根据本次任务的数据集中，标注缺陷位置的Bounding Box的尺寸过多情况，采用K-Means聚类方法，将尺寸按宽高比聚成5类，并作为模型中产生default Anchor box的参数；
(3.2)根据数据集中的缺陷形状变化较大的情况，采用普通的正方形卷积核无法有效获取缺陷形状，因此考虑使用Deformable Convolution(可变性卷积)；
(3.3)ResNet50网络的最后几层适用于检测大物体，前几层适用于检测小物体，为了能够更准确的识别小物体，采用Feature Pyramid Network(特征金字塔网络)结构对不同特征进行融合；
(3.4)由于训练过程中存在的正负样本不平衡的现象，因此考虑使用OHEM和FocalLoss进一步提升分类效果；
(3.5)针对测试阶段最后去除冗余Bounding Box的问题，采用Soft-NMS进行筛选；
(3.6)本次任务的训练数据集较少(存在缺陷的图片共计752张)，因此为防止出现过拟合，考虑使用迁移学习的思想，通过在类似任务的布匹缺陷检测数据集(包含8000张缺陷图片)上模型作为预训练模型，提升预测精度；
(3.7)进一步fine-tuning本次任务的数据集，重新进行训练和验证。
此处，对上述步骤进行举例说明如下：
图4、5、6、7中，前三张图是聚类簇选择方案，包括：在聚类簇个数的选择方面，我们主要综合考虑了三种选择策略，第一种是拐点法，如图4所示，横轴是簇的个数，纵轴是簇内离差平方和，从图中可以看出簇的个数取3、4、5及往后，曲线趋于平缓。
第二种是间隔统计量法，如图5所示，从图中可以看出簇的个数在3、5时为最佳、簇数为1没有意义。
第三种是轮廓系数法，如图6所示，簇数取3、5时，为最佳的选择。
综合三种方法的输出，以及聚类效果，我们选择了簇数为5，图7所示是簇数为5时的聚类效果，图中的不同颜色代表了分成的五个类，黑色五角星表示五个簇内中心，横轴表示高度，纵轴表示宽度。因此，最终确定的Default Anchor Box的宽高比的取值由5种。
图8中，一张图片在经过多次卷积层后，其特征图会越来越小，对于前面的特征图，在原图上的感受野较小，适合对小物体进行识别，而后面的特征图在原图上的感受野就较大，更适合对大物体进行识别。
特征金字塔结构就是将不同层不同大小的特征图进行融合，增强对物体的识别效果。融合是通过对上一层进行上采样，然后与当前层的skip connect的结果进行融合。最后将这些不同特征图送给RPN层，如图9所示。这样做，可以进一步提升对冰柜表面细长缺陷的检测效果。
结合图例1，所述步骤四的具体实施过程如下：
所诉步骤四中将测试数据放入模型，产生最后的预测结果，并通过可视化对比实际结果；具体过程为：通过步骤三中获取到的模型，对测试数据进行预测，并与实际结果作对比，符合实际结果的即为正确结果。
Claims (5)
1.一种基于卷积神经网络的冰柜表面缺陷检测，其特征在于，首先构建Cascade R-CNN目标检测模型，然后基于训练数据集进行模型训练，再使用验证数据集对其进行验证，并根据验证结果调整模型结构后进一步进行训练，最后将测试图片输入模型，输出测试结果，所述方法具体过程为：
步骤一：根据任务需要，选择合适的目标检测基础架构，并进一步选择合适的backbone网络结构；
步骤二：构建目标检测网络模型，采用数据增强方法扩充训练数据集并进行训练，然后在验证数据集上进行验证；
步骤三：根据验证结果，对模型结构和训练策略进一步优化，并重新进行训练和验证；
步骤四：将测试数据放入模型，产生最后的预测结果，并通过可视化对比实际结果。
2.根据权利要求1所述一种基于卷积神经网络的冰柜表面缺陷检测，其特征在于：所诉步骤一中根据任务需要，选择合适的目标检测基础架构，并进一步选择合适的backbone网络结构；具体过程为：
1)确认本次任务的目标是准确检测冰柜表面的缺陷，并标识出缺陷的位置并打上NG标签，如果不存在缺陷，则输出结果打上OK标签；
2)基于任务的精确度要求，选择Cascade R-CNN为本次检测任务的基础架构，其优点在能够更精确的标识出缺陷位置；
3)检测模型的backbone要求能够对物体的分类更加精确，对比ResNet50、Res101、ResNet152的分类精度和模型速度；
4)挑选ResNet50作为本次任务的backbone。
3.根据权利要求1所述一种基于卷积神经网络的冰柜表面缺陷检测，其特征在于：所诉步骤二中构建目标检测网络模型，采用数据增强方法扩充训练数据集并进行训练，然后在验证数据集上进行验证；具体过程为：
1)构建ResNet50和Cascade R-CNN模型；
2)数据增强方法有很多，比如：Resize、RandomFlip、RandomCrop、RandomScale等，针对本次任务的数据集，选择Resize、RandomFlip、RandomCrop方法扩充数据；
3)训练参数设置如下，epoch为13、SGD作为优化器、初始learning rate设置为0.02，momentum设置为0.9，weight_delay设置为0.0001，batch_size为2；4)实验环境设置，系统为Ubuntu16.0.4、GPU为GTX1080Ti、CPU为Core i7、内存为64G、深度学习框架为PyTorch；
5)使用Cascade R-CNN在COCO数据集上的训练参数作为预训练模型参数，然后在本次任务的752张缺陷训练集上进行fine-tuning；
6)使用验证数据集(包括300张存在缺陷的图片和300张没有缺陷的图片)在训练好的模型上验证，输出评价指数AP的值。
4.根据权利要求1所述一种基于卷积神经网络的冰柜表面缺陷检测，其特征在于：所诉步骤三根据验证结果，对模型结构和训练策略进一步优化，并重新进行训练和验证；根据步骤二的验证结果，对模型和训练策略进行改进，具体过程为：
1)根据本次任务的数据集中，标注缺陷位置的Bounding Box的尺寸过多情况，采用K-Means聚类方法，将尺寸按宽高比聚成5类，并作为模型中产生default Anchor box的参数；
2)根据数据集中的缺陷形状变化较大的情况，采用普通的正方形卷积核无法有效获取缺陷形状，因此考虑使用Deformable Convolution(可变性卷积)；
3)ResNet50网络的最后几层适用于检测大物体，前几层适用于检测小物体，为了能够更准确的识别小物体，采用Feature Pyramid Network(特征金字塔网络)结构对不同特征进行融合；
4)由于训练过程中存在的正负样本不平衡的现象，因此考虑使用OHEM和Focal Loss进一步提升分类效果；
5)针对测试阶段最后去除冗余Bounding Box的问题，采用Soft-NMS进行筛选；
6)本次任务的训练数据集较少(存在缺陷的图片共计752张)，因此为防止出现过拟合，考虑使用迁移学习的思想，通过在类似任务的布匹缺陷检测数据集(包含8000张缺陷图片)上模型作为预训练模型，提升预测精度。
7)进一步fine-tuning本次任务的数据集，重新进行训练和验证。
5.根据权利要求1所述一种基于卷积神经网络的冰柜表面缺陷检测，其特征在于：所诉步骤四中将测试数据放入模型，产生最后的预测结果，并通过可视化对比实际结果；具体过程为：通过步骤三中获取到的模型，对测试数据进行预测，并与实际结果作对比，符合实际结果的即为正确结果。由于模型训练中存在一些参数，因此存在以下问题：
1)需要设定合理的IOU(交并比)的阈值，否则可能降低结果准确率；
2)训练中的迭代次数和学习率需要作出动态调整，否则可能出现欠拟合或过拟合现象。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010007418.0A CN111199543A (zh) | 2020-01-07 | 2020-01-07 | 一种基于卷积神经网络的冰柜表面缺陷检测 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010007418.0A CN111199543A (zh) | 2020-01-07 | 2020-01-07 | 一种基于卷积神经网络的冰柜表面缺陷检测 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111199543A true CN111199543A (zh) | 2020-05-26 |
Family
ID=70746715
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010007418.0A Pending CN111199543A (zh) | 2020-01-07 | 2020-01-07 | 一种基于卷积神经网络的冰柜表面缺陷检测 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111199543A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111680750A (zh) * | 2020-06-09 | 2020-09-18 | 创新奇智(合肥)科技有限公司 | 图像识别方法、装置和设备 |
| CN111739001A (zh) * | 2020-06-17 | 2020-10-02 | 东华大学 | 一种基于可变形卷积的产品表面缺陷检测模型和检测方法 |
| CN112132215A (zh) * | 2020-09-22 | 2020-12-25 | 平安国际智慧城市科技股份有限公司 | 一种识别物体类型的方法、装置及计算机可读存储介质 |
| CN112862826A (zh) * | 2021-04-26 | 2021-05-28 | 聚时科技(江苏)有限公司 | 一种表面缺陷检测任务的正常样本无损生成方法 |
| CN113536989A (zh) * | 2021-06-29 | 2021-10-22 | 广州博通信息技术有限公司 | 基于摄像视频逐帧分析的制冷机结霜监控方法及系统 |
| WO2022262409A1 (zh) * | 2021-06-15 | 2022-12-22 | 无锡锤头鲨智能科技有限公司 | 一种地板自动分选方法 |
| TWI801038B (zh) * | 2021-12-16 | 2023-05-01 | 新加坡商鴻運科股份有限公司 | 瑕疵檢測方法、系統、電子設備及介質 |
| CN118429355A (zh) * | 2024-07-05 | 2024-08-02 | 浙江伟臻成套柜体有限公司 | 一种基于特征增强的轻量级配电柜壳体缺陷检测方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190019014A1 (en) * | 2017-07-13 | 2019-01-17 | Robert Bosch Gmbh | System and method for pose-invariant face alignment |
| CN109544533A (zh) * | 2018-11-23 | 2019-03-29 | 聚时科技(上海)有限公司 | 一种基于深度学习的金属板缺陷检测和度量方法 |
| CN109559298A (zh) * | 2018-11-14 | 2019-04-02 | 电子科技大学中山学院 | 一种基于深度学习的乳液泵缺陷检测的方法 |
| CN109829893A (zh) * | 2019-01-03 | 2019-05-31 | 武汉精测电子集团股份有限公司 | 一种基于注意力机制的缺陷目标检测方法 |
| CN110197170A (zh) * | 2019-06-05 | 2019-09-03 | 北京科技大学 | 基于目标检测的钢卷卷形缺陷检测识别方法 |
| CN110232675A (zh) * | 2019-03-28 | 2019-09-13 | 昆明理工大学 | 一种工业环境下的纹理表面缺陷检测与分割装置及方法 |
| CN110570410A (zh) * | 2019-09-05 | 2019-12-13 | 河北工业大学 | 一种自动识别检测焊缝缺陷的检测方法 |
-
2020
- 2020-01-07 CN CN202010007418.0A patent/CN111199543A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190019014A1 (en) * | 2017-07-13 | 2019-01-17 | Robert Bosch Gmbh | System and method for pose-invariant face alignment |
| CN109559298A (zh) * | 2018-11-14 | 2019-04-02 | 电子科技大学中山学院 | 一种基于深度学习的乳液泵缺陷检测的方法 |
| CN109544533A (zh) * | 2018-11-23 | 2019-03-29 | 聚时科技(上海)有限公司 | 一种基于深度学习的金属板缺陷检测和度量方法 |
| CN109829893A (zh) * | 2019-01-03 | 2019-05-31 | 武汉精测电子集团股份有限公司 | 一种基于注意力机制的缺陷目标检测方法 |
| CN110232675A (zh) * | 2019-03-28 | 2019-09-13 | 昆明理工大学 | 一种工业环境下的纹理表面缺陷检测与分割装置及方法 |
| CN110197170A (zh) * | 2019-06-05 | 2019-09-03 | 北京科技大学 | 基于目标检测的钢卷卷形缺陷检测识别方法 |
| CN110570410A (zh) * | 2019-09-05 | 2019-12-13 | 河北工业大学 | 一种自动识别检测焊缝缺陷的检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 于志洋: "基于全卷积神经网络的表面缺陷检测方法研究", 《CNKI优秀硕士学位论文全文库》 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111680750A (zh) * | 2020-06-09 | 2020-09-18 | 创新奇智(合肥)科技有限公司 | 图像识别方法、装置和设备 |
| CN111680750B (zh) * | 2020-06-09 | 2022-12-06 | 创新奇智(合肥)科技有限公司 | 图像识别方法、装置和设备 |
| CN111739001A (zh) * | 2020-06-17 | 2020-10-02 | 东华大学 | 一种基于可变形卷积的产品表面缺陷检测模型和检测方法 |
| CN112132215A (zh) * | 2020-09-22 | 2020-12-25 | 平安国际智慧城市科技股份有限公司 | 一种识别物体类型的方法、装置及计算机可读存储介质 |
| CN112132215B (zh) * | 2020-09-22 | 2024-04-16 | 平安国际智慧城市科技股份有限公司 | 一种识别物体类型的方法、装置及计算机可读存储介质 |
| CN112862826A (zh) * | 2021-04-26 | 2021-05-28 | 聚时科技(江苏)有限公司 | 一种表面缺陷检测任务的正常样本无损生成方法 |
| CN112862826B (zh) * | 2021-04-26 | 2021-07-30 | 聚时科技(江苏)有限公司 | 一种表面缺陷检测任务的正常样本无损生成方法 |
| WO2022262409A1 (zh) * | 2021-06-15 | 2022-12-22 | 无锡锤头鲨智能科技有限公司 | 一种地板自动分选方法 |
| CN113536989A (zh) * | 2021-06-29 | 2021-10-22 | 广州博通信息技术有限公司 | 基于摄像视频逐帧分析的制冷机结霜监控方法及系统 |
| TWI801038B (zh) * | 2021-12-16 | 2023-05-01 | 新加坡商鴻運科股份有限公司 | 瑕疵檢測方法、系統、電子設備及介質 |
| CN118429355A (zh) * | 2024-07-05 | 2024-08-02 | 浙江伟臻成套柜体有限公司 | 一种基于特征增强的轻量级配电柜壳体缺陷检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111199543A (zh) | 一种基于卷积神经网络的冰柜表面缺陷检测 | |
| CN109711474B (zh) | 一种基于深度学习的铝材表面缺陷检测算法 | |
| CN111179251B (zh) | 基于孪生神经网络利用模板比对的缺陷检测系统及方法 | |
| CN108961217B (zh) | 一种基于正例训练的表面缺陷检测方法 | |
| CN114638784B (zh) | 一种基于fe-yolo的铜管表面缺陷检测方法及装置 | |
| CN108520114B (zh) | 一种纺织布疵点检测模型及其训练方法和应用 | |
| CN111768365B (zh) | 基于卷积神经网络多特征融合的太阳能电池缺陷检测方法 | |
| CN109376792A (zh) | 基于多通道残差神经网络的光伏电池外观缺陷分类方法 | |
| KR20200012334A (ko) | 반도체 장치의 불량 검출 방법 | |
| CN109215009B (zh) | 基于深度卷积神经网络的连铸坯表面图像缺陷检测方法 | |
| CN111429418A (zh) | 一种基于YOLO v3神经网络的工业零件检测方法 | |
| CN116310785B (zh) | 基于YOLO v4的无人机影像路面病害检测方法 | |
| CN114577812A (zh) | 基于超小样本训练高效质检模型的方法及系统 | |
| JP2021515885A (ja) | 照明条件を設定する方法、装置、システム及びプログラム並びに記憶媒体 | |
| CN112037219A (zh) | 一种基于两阶段卷积神经网络的金属表面缺陷检测方法 | |
| CN110889838A (zh) | 一种织物疵点检测方法及装置 | |
| CN113763364B (zh) | 一种基于卷积神经网络的图像缺陷检测方法 | |
| CN111209907A (zh) | 一种复杂光污染环境下产品特征图像人工智能识别方法 | |
| CN112258459A (zh) | 一种基于集成深度学习的锂电池瑕疵检测方法 | |
| CN115546565A (zh) | 基于yolocbf电厂关键区域管道油液泄漏检测方法 | |
| TWI798650B (zh) | 自動光學檢測方法、自動光學檢測系統及記錄媒體 | |
| TW202127371A (zh) | 基於圖像的瑕疵檢測方法及電腦可讀存儲介質 | |
| US20230281791A1 (en) | Adaptive system and method for inspection of imaged items | |
| JP2021143884A (ja) | 検査装置、検査方法、プログラム、学習装置、学習方法、および学習済みデータセット | |
| CN116912625A (zh) | 一种基于先验缺陷特征与sspcab注意力机制的数据增强方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200526 |