CN117557545A - 一种360度传送带快速缺陷检测方法及装置 - Google Patents
一种360度传送带快速缺陷检测方法及装置 Download PDFInfo
- Publication number
- CN117557545A CN117557545A CN202311656087.3A CN202311656087A CN117557545A CN 117557545 A CN117557545 A CN 117557545A CN 202311656087 A CN202311656087 A CN 202311656087A CN 117557545 A CN117557545 A CN 117557545A
- Authority
- CN
- China
- Prior art keywords
- memory
- picture
- conveyor belt
- thread
- cpu
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 106
- 230000007547 defect Effects 0.000 title claims abstract description 87
- 230000007246 mechanism Effects 0.000 claims abstract description 17
- 238000005520 cutting process Methods 0.000 claims abstract description 10
- 230000002950 deficient Effects 0.000 claims abstract description 10
- 238000010606 normalization Methods 0.000 claims abstract description 6
- 230000001960 triggered effect Effects 0.000 claims abstract description 4
- 238000012549 training Methods 0.000 claims description 27
- 238000000034 method Methods 0.000 claims description 26
- 238000012545 processing Methods 0.000 claims description 13
- 230000000903 blocking effect Effects 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 6
- 238000012805 post-processing Methods 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 4
- 230000009471 action Effects 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 239000011717 all-trans-retinol Substances 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 239000007788 liquid Substances 0.000 description 8
- 230000002159 abnormal effect Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 239000003814 drug Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
Abstract
一种360度传送带快速缺陷检测方法及装置，包括如下步骤：S1、在传送带上方的不同方位处设置相机，当传送带上的物品经过时，触发相机拍照，获取相机图片，将所有图片放入一个batch中，并进行归一化操作；S2、将图片输入轻量级网络yolov5nano中，对图片中的物品进行位置定位，根据定位结果对原图片进行裁剪，再进行放大操作；S3、将图片重新组成新的batch输入到yolov5s检测网络中进行缺陷检测；S4、获取缺陷检测结果，剔除机构根据剔除信号剔除有缺陷物品，统计物品的数量和缺陷情况数据。本发明可实现360度无死角检测，提高准确率，实现高精度检测，并可提高检测的速度，适用性强。
Description
技术领域
本发明涉及AI检测技术领域，尤其涉及一种360度传送带快速缺陷检测方法及装置。
背景技术
在工业视觉领域中，传送带物体的缺陷检测是常见的工程方向之一。随着人工智能技术的发展，基于深度学习的工业缺陷检测方法可以降低传统人工质检的成本，提升检测的准确性与效率，因而在智能制造中扮演重要角色，并逐渐成为计算机视觉领域新兴的研究热点之一。但是目前的众多检测方法主要使用单个摄像头进行缺陷检测，当物体通过传送带时存在视野盲区，导致无法完全检测出所有细小缺陷。传统机器视觉方法检测准确度不如深度学习，检测准确率无法保证，但众多深度学习方法并未设计高性能部署，无法保证满足高速检测需求。
发明内容
本发明的目的是克服上述现有技术的缺点，提供一种可实现高速检测、准确率高的360度传送带快速缺陷检测方法，以及采用该方法的快速缺陷检测装置。
本发明是通过以下技术方案来实现的：
一种360度传送带快速缺陷检测方法，包括如下步骤：
S1、在传送带上方可覆盖传送带上物品四周360度的不同方位处设置相机，当传送带上的物品经过相机时，触发相机拍照，获取相机图片，一个相机一张图片，将所有图片放入一个batch中，并对batch进行归一化操作；
S2、将归一化后的图片输入轻量级网络yolov5nano中，对图片中的物品进行位置定位，根据定位结果（物品的坐标数据）对原图片进行裁剪，去除图片中其它无关信息，再对图片进行放大操作；
S3、将经S2步骤得到的图片重新组成新的batch输入到yolov5s检测网络中，对图片中的物品进行缺陷检测；
S4、获取缺陷检测结果，剔除机构根据剔除信号剔除有缺陷物品，记录物品的总数量、缺陷物品数量、缺陷类型和对应缺陷类型的数量。
进一步地，S1步骤中所述相机的数量为四，一个batch中有四张图片；所述归一化操作将图片的像素范围从0-255压缩到0-1。
进一步地，S2步骤中使用opencv图像处理库对原图片进行裁剪，放大操作为通过线性插值+padding的方式将图片放大到统一的图片尺寸640*640。
进一步地，S2步骤中使用tensorRT对轻量级网络yolov5nano进行加速，S3步骤中使用tensorRT对yolov5s检测网络模型进行加速。
进一步地，S1和S2步骤中batch数据流的操作方法为：
开启主线程，检测相机的数量，为每台相机创建一个线程用于获取图片数据流，并为每个线程编号；
申请CPU内存和GPU显存用于存放需要检测的图片，分别为CPU输入内存、GPU输入显存、CPU输出内存、GPU输出显存，其大小分别为一个batch中所有图片输入所占位数、模型输出所占位数，并为每个线程的输入图片设置存放位置；
当物品经过相机触发拍照时，调用每个相机的线程，根据线程的编号将该线程的图片数据放入CPU输入内存对应的位置，当内存未填满时将阻塞线程，直至CPU输入内存填满一个batch中设定的所有图片（并且内存位置与线程编号对应正确）；
将CPU输入内存中的数据传到GPU输入显存中，经过轻量级网络yolov5nano进行推理后，将最终输出的推理数据从GPU输出显存中传到CPU输出内存中，解除线程阻塞，根据线程编号将获取的数据进行图像后处理。
进一步地，S3步骤中batch数据流的操作方法为：
为新组成的batch申请CPU内存和GPU显存，分别为CPU输入内存、GPU输入显存、CPU输出内存、GPU输出显存，其大小分别为该batch中所有图片输入所占位数、模型输出所占位数，并为每个线程的输入图片设置存放位置。
当图片处理完成后，根据图片对应的线程编号将该线程的图片数据放入CPU输入内存对应的位置，当内存未填满时将阻塞线程，直至CPU输入内存填满一个batch中设定的所有图片（并且内存位置与线程编号对应正确）。
将CPU输入内存中的数据传到GPU输入显存中，经过yolov5s检测网络进行检测推理后，将最终输出的推理数据从GPU输出显存中传到CPU输出内存中，解除线程阻塞，根据线程编号将获取的数据进行后处理。
进一步地，S3步骤中所述的yolov5s检测网络为改进后的YOLOv5s模型，具体为：在主干网络backbone的残差模块中加入SE注意力模块，使模型关注缺陷，同时将所有的激活函数SiLU改为meta-ACON，增强模型的表现。
进一步地，S3步骤中所述yolov5s检测网络模型的训练方法包括：
数据增强，网络在输入端采用旋转、平移、缩放、裁剪、翻转、HSV增强、mosaic增强等手段，扩充数据集，提升模型的鲁棒性；
模型训练，基于YOLOv5的训练技巧，同时使用了超参数进化、热身训练、学习率衰减、混合精度训练的方法，提升模型的训练效果和训练速度；
模型同步，将训练好的模型由训练端同步到部署端。
一种360度传送带快速缺陷检测装置，采用上述360度传送带快速缺陷检测方法，包括传送带、相机、光源、控制模块、缺陷检测模块和剔除机构，所述传送带上设置有检测工位，所述相机设置在检测工位的四周，用于对传送带上物品进行360度全方位拍照，所述光源设置在监测工位的上方；
所述缺陷检测模块与相机相连，用于接收图片数据，并对图片数据进行处理和检测，识别缺陷产品，缺陷检测模块中包括所述轻量级网络yolov5nano、yolov5s检测网络模型和统计计数单元；所述控制模块分别与所述相机、缺陷检测模块和剔除机构相连，用于控制相机的拍照和数据传输，并根据缺陷检测模块的检测结果控制所述剔除机构的动作；所述剔除机构剔除传送带上具有缺陷的物品。
进一步地，还包括显示模块，所述显示模块包括连接相机单元、显示相机画面单元、缺陷检测结果显示单元和数据统计显示单元。
与现有技术相比，本发明具备如下优点和有益效果：
（1）在传送带上物品检测区域的不同方位设置多台相机，当样品通过检测区域时，对物品各个角度进行拍摄，实现360度无死角检测，提高检测效率和准确率；
（2）检测算法先使用超轻量级网络yolov5nano进行物品定位，实现定位位置的功能，随后将对图片进行裁剪，去掉与物品本身无关的部分，并将物品图片再次放大到指定尺寸，从而可以放大物品的缺陷，再将放大图片输入到改进的yolov5s网络中进行缺陷检测，可避开其它信息对物品本身的干扰，从而实现高精度检测；
（3）使用多线程、批量推理以及tensorRT模型加速等方式实现高性能部署，使得推理速度大幅提升，提高检测的速度；
（4）完整的检测剔除流程以及结构，在保证高精度检出的同时，能保证稳定剔除，不存在检出未剔除、无检出剔除的现象；
（5）适用性强，检测不同样品只需重新训练模型即可，可实现一套解决方案处理多种样品。
附图说明
图1为本发明实施例快速缺陷检测方法的流程图。
图2为本发明实施例中相机的部署布局图。
图3为本发明实施例中不同方位相机拍到的缺陷图片。
图4为本发明实施例中不同方位相机拍到的另一种缺陷图片。
图5为本发明实施例中不同方位相机拍到的又一种缺陷图片。
图6为本发明实施例中图片数据经过yolov5nano推理得到的位置定位图（a）和经裁剪放大后得到的图片（b）。
图7为本发明实施例中图片数据的流程图。
图8为本发明实施例中检测推理数据的又一流程图。
图9为本发明实施例快速缺陷检测装置的结构框图。
附图标记：1-相机；2-物品；3-传送带。
具体实施方式
产线上产品的缺陷种类繁多，AI视觉检测可通过训练的方式适应各种缺陷检测要求。如对于液体瓶装产品，可检测的缺陷包括：歪盖（如图1）、无盖（如图2）、液位异常（多液、少液）、瓶内异物（如图1）、爆盖、空瓶、液体色差、瓶身脏污（如图3）、瓶身划痕等。使用本发明的缺陷检测方法，可在640*640的图像中高准确度检测出5*5像素的细小缺陷。
一种360度传送带快速缺陷检测方法，如图1，包括如下步骤：
S1、如图2，在传送带3上方可覆盖传送带上物品四周360度的不同方位处设置相机1，当传送带上的物品2经过相机1时，触发相机1拍照，获取相机图片，一个相机一张图片，将所有图片放入一个batch中，并对batch进行归一化操作。归一化操作可将图片的像素范围从0-255压缩到0-1，可在一定程度上提高模型的精度，提升收敛速度。
为合理规划相机的数量和布局，如图2，可将设置四台相机1，分别分布在传送带3两侧的四个不同方位，使得物品360度的状况均可无死角地拍到，如图3-5所示的液体包装瓶为例，产品的一些缺陷还可同时在两张图片中得到反映，以图3为例，四张图片中均可检测到瓶盖歪斜，第二张图和第四张图中均可看到瓶中有异物存在，使得缺陷可相应映证，不会漏检，也不会误检，提高检测的准确率。四台相机获得关于物品的四张图片，将这四张图片放入一个batch中进行处理。
S2、将归一化后的图片输入轻量级网络yolov5nano中，对图片中的物品进行位置定位，根据定位结果对原图片进行裁剪，去除图片中其它无关信息，再对图片进行放大操作。
具体地，使用轻量级yolov5nano网络识别图中样品位置，获取网络输出定位结果，得到物品的具体坐标；随后使用opencv图像处理库，根据物品坐标对原图像进行裁剪，去除其他不相关像素；并通过线性插值+padding的方式实现图片的等比变换，将图片放大到统一的图片尺寸640*640。通过这种方式去除图中无用信息，并且放大缺陷，从而实现对细小缺陷的高准确度检测。OpenCV是一个广泛使用的开源计算机视觉库，它提供了大量的图像处理和计算机视觉算法，以及用于图像和视频处理的函数和类，包括图像处理、特征检测和提取、物体识别和跟踪、摄像机标定、深度估计等，可用于图像和视频的读取、写入、显示和处理。OpenCV通过NumPy数组切片对图像进行裁剪，从图像中移除所有不需要的物体或区域，突出显示图像的特征。
Yolov5nano（亦即YOLOv5n）是yolov5网络中最轻量级的版本，适用于边缘设备、物联网设备和具有OpenCV DNN支持的环境，其在保持较快速度的同时，能提供边缘设备的准确度。本发明采用Yolov5nano作为识别模型，其作用主要在于使用最轻量级的网络定位需检测目标，然后通过等比变化图片的方式放大目标图片，同时目标图片中待检测的缺陷也将一同放大，然后使用更大更准确的网络识别图片中的缺陷，从而达到快速、准确的检测。使用tensorRT对轻量级Yolov5nano网络模型进行加速，进一步提高检测速度。
如图6（a），轻量级网络yolov5nano识别图片中的瓶子，并输出瓶子的具体位置坐标，方便在图片中准确地裁剪出瓶子，裁剪后放大的瓶子图片如图6（b）所示，在此基础上再对瓶子进行检测，可更准确的检测出缺陷，特别是一些难以察觉的缺陷，如液体中的异物、液位等。
如图7所示，上述过程batch数据流的操作方法可表述为：
（1）开启主线程，检测相机的数量，为每台相机创建一个线程用于获取图片数据流，并为每个线程编号。
（2）申请CPU内存和GPU显存用于存放需要检测的图片，分别为CPU输入内存、GPU输入显存、CPU输出内存、GPU输出显存，其大小分别为一个batch中所有图片输入所占位数、模型输出所占位数，并为每个线程的输入图片设置存放位置。
对于四张图片组成的一个batch来说，申请的内存和显存大小为四张图片所占的位数，并指定各图片所占的位置，如一张图片所占位数为（1638400），那么可以理解为（0--1638400）为一号相机内存位置，（1638401--3276800）为二号相机内存位置，依此类推。
使用GPU推理图像数据必须在显存中，所以需要申请CPU与GPU，图像由CPU内存传入GPU显存。
（3）当物品经过相机触发拍照时，调用每个相机的线程（一共4个），根据线程的编号将该线程的图片数据放入CPU输入内存对应的位置，当内存未填满时将阻塞线程（每个相机都传一张图片到对应内存位置），直至CPU输入内存填满一个batch中设定的所有图片（并且内存位置与线程编号对应正确）。
（4）将CPU输入内存中的数据传到GPU输入显存中，经过轻量级网络yolov5nano进行推理后，将最终输出的推理数据从GPU输出显存中传到CPU输出内存中，解除线程阻塞，根据线程编号将获取的数据进行图像后处理（裁剪、放大）。
S3、将经S2步骤得到的图片重新组成新的batch输入到yolov5s检测网络中，对图片中的物品进行缺陷检测。最终输出的检测结果为是否存在缺陷，属于那一类型的缺陷（如药瓶液位是否异常、是否空瓶、瓶中是否有异物等），属于该种缺陷的可信度等信息，并将异常信息将通过i/o板卡输出信号。
同上，亦使用tensorRT对yolov5s检测网络模型进行加速，进一步提高检测速度。yolov5s检测网络模型也是采用上述batch的方式进行推理的，以经裁剪放大得到的四张图片为例，如图8所示，具体为：
为四张图片组成的batch申请CPU内存和GPU显存，分别为CPU输入内存、GPU输入显存、CPU输出内存、GPU输出显存，其大小分别为该batch中四张图片输入所占位数、模型输出所占位数，并为每个线程的输入图片设置存放位置。
当图片处理完成后，根据图片对应的线程编号将该线程的图片数据放入CPU输入内存对应的位置，当内存未填满时将阻塞线程，直至CPU输入内存填满一个batch中设定的所有四张图片（并且内存位置与线程编号对应正确）。
将CPU输入内存中的数据传到GPU输入显存中，经过yolov5s检测网络进行检测推理后，将最终输出的推理数据从GPU输出显存中传到CPU输出内存中，解除线程阻塞，根据线程编号将获取的数据进行后处理。
所述yolov5s检测网络为改进后的YOLOv5s模型，具体为：在主干网络backbone的残差模块中加入SE注意力模块，使模型关注缺陷，同时起到结合全局信息的作用；为了增加小目标检测层，提升对细小缺陷的检测能力，将所有的激活函数SiLU改为meta-ACON，增强模型的表现。
S3步骤中所述yolov5s检测网络模型的训练方法包括：
数据增强，网络在输入端采用旋转、平移、缩放、裁剪、翻转、HSV增强、mosaic增强等手段，扩充数据集，提升模型的鲁棒性；
模型训练，基于YOLOv5的训练技巧，同时使用了超参数进化、热身训练、学习率衰减、混合精度训练的方法，提升模型的训练效果和训练速度；
模型同步，将训练好的模型由训练端同步到部署端。
训练的样本中应涵盖各个缺陷类型，样本数量尽可能地多，模型训练的参数可参照现有技术。
S4、获取缺陷检测结果，剔除机构根据剔除信号剔除有缺陷物品，并记录物品的总数量、异常物品数量、异常类型和对应异常类型的数量等信息。
一种360度传送带快速缺陷检测装置，采用上述360度传送带快速缺陷检测方法，如图9所示，包括传送带、相机、光源、控制模块、缺陷检测模块和剔除机构，所述传送带上设置有检测工位，所述相机设置在检测工位的四周，用于对传送带上物品进行360度全方位拍照，如前所述，可设置四台相机。所述光源设置在监测工位的上方，为拍照提供光照条件。
所述缺陷检测模块与相机相连，用于接收图片数据，并对图片数据进行处理和检测，识别缺陷产品，缺陷检测模块中包括所述轻量级网络yolov5nano、yolov5s检测网络模型和统计计数单元；所述控制模块分别与所述相机、缺陷检测模块和剔除机构相连，用于控制相机的拍照和数据传输，并根据缺陷检测模块的检测结果控制所述剔除机构的动作；所述剔除机构剔除传送带上具有缺陷的物品。
还包括显示模块，所述显示模块包括连接相机单元、显示相机画面单元、缺陷检测结果显示单元和数据统计显示单元。主要功能分别为连接相机、显示相机画面、集成算法显示算法检测结果、统计数据（如：样品数量、缺陷样品数量、良率等）。
剔除机构可由转轴、气缸、剔除板组成，剔除板的一端通过转轴可转动设置，气缸与剔除板的中部相连，气缸驱动剔除板绕转轴摆动，将传送带上有缺陷的物品推离传送带。若检测样品为有缺陷样品，则通过I\O板卡输出剔除信号，最终通过剔除气阀实现剔除。
本发明缺陷检测在nvidia RTX3090 显卡中使用高性能部署方式，完成整个检测流程帧率（FPS）只需23--30FPS左右，相比于传统推理方法可实现的5--8FPS左右的速度，检测速度提高了3倍多，且在640*640的图像中可检测出5*5像素的细小缺陷，检测准确率也大大提升。
上列详细说明是针对本发明可行实施例的具体说明，该实施例并非用以限制本发明的专利范围，凡未脱离本发明所为的等效实施或变更，均应包含于本案的专利范围中。
Claims (6)
1.一种360度传送带快速缺陷检测方法，其特征在于，包括如下步骤：
S1、在传送带上方可覆盖传送带上物品四周360度的不同方位处设置相机，当传送带上的物品经过相机时，触发相机拍照，获取相机图片，一个相机一张图片，将所有图片放入一个batch中，并对batch进行归一化操作；
S2、将归一化后的图片输入轻量级网络yolov5nano中，对图片中的物品进行位置定位，根据定位结果对原图片进行裁剪，去除图片中其它无关信息，再对图片进行放大操作；
S3、将经S2步骤得到的图片重新组成新的batch输入到yolov5s检测网络中，对图片中的物品进行缺陷检测；
S4、获取缺陷检测结果，剔除机构根据剔除信号剔除有缺陷物品，记录物品的总数量、缺陷物品数量、缺陷类型和对应缺陷类型的数量；
开启主线程，检测相机的数量，为每台相机创建一个线程用于获取图片数据流，并为每个线程编号；
申请CPU内存和GPU显存用于存放需要检测的图片，分别为CPU输入内存、GPU输入显存、CPU输出内存、GPU输出显存，其大小分别为一个batch中所有图片输入所占位数、模型输出所占位数，并为每个线程的输入图片设置存放位置；
当物品经过相机触发拍照时，调用每个相机的线程，根据线程的编号将该线程的图片数据放入CPU输入内存对应的位置，当内存未填满时将阻塞线程，直至CPU输入内存填满一个batch中设定的所有图片；
将CPU输入内存中的数据传到GPU输入显存中，经过轻量级网络yolov5nano进行推理后，将最终输出的推理数据从GPU输出显存中传到CPU输出内存中，解除线程阻塞，根据线程编号将获取的数据进行图像后处理。
2.根据权利要求1所述的一种360度传送带快速缺陷检测方法，其特征在于，S3步骤中batch数据流的操作方法为：
为新组成的batch申请CPU内存和GPU显存，分别为CPU输入内存、GPU输入显存、CPU输出内存、GPU输出显存，其大小分别为该batch中所有图片输入所占位数、模型输出所占位数，并为每个线程的输入图片设置存放位置；
当图片处理完成后，根据图片对应的线程编号将该线程的图片数据放入CPU输入内存对应的位置，当内存未填满时将阻塞线程，直至CPU输入内存填满一个batch中设定的所有图片；
将CPU输入内存中的数据传到GPU输入显存中，经过yolov5s检测网络进行检测推理后，将最终输出的推理数据从GPU输出显存中传到CPU输出内存中，解除线程阻塞，根据线程编号将获取的数据进行后处理。
3.根据权利要求1所述的一种360度传送带快速缺陷检测方法，其特征在于，S3步骤中所述的yolov5s检测网络为改进后的YOLOv5s模型，具体为：在主干网络backbone的残差模块中加入SE注意力模块，使模型关注缺陷，同时将所有的激活函数SiLU改为meta-ACON，增强模型的表现。
4.根据权利要求1所述的一种360度传送带快速缺陷检测方法，其特征在于，S3步骤中所述yolov5s检测网络模型的训练方法包括：
数据增强，网络在输入端采用旋转、平移、缩放、裁剪、翻转、HSV增强、mosaic增强手段，扩充数据集，提升模型的鲁棒性；
模型训练，基于YOLOv5的训练技巧，同时使用了超参数进化、热身训练、学习率衰减、混合精度训练的方法，提升模型的训练效果和训练速度；
模型同步，将训练好的模型由训练端同步到部署端。
5.一种360度传送带快速缺陷检测装置，采用如权利要求1至4任一项所述的360度传送带快速缺陷检测方法，其特征在于，包括传送带、相机、光源、控制模块、缺陷检测模块和剔除机构，所述传送带上设置有检测工位，所述相机设置在检测工位的四周，用于对传送带上物品进行360度全方位拍照，所述光源设置在监测工位的上方；
所述缺陷检测模块与相机相连，用于接收图片数据，并对图片数据进行处理和检测，识别缺陷产品，缺陷检测模块中包括所述轻量级网络yolov5nano、yolov5s检测网络模型和统计计数单元；所述控制模块分别与所述相机、缺陷检测模块和剔除机构相连，用于控制相机的拍照和数据传输，并根据缺陷检测模块的检测结果控制所述剔除机构的动作；所述剔除机构剔除传送带上具有缺陷的物品。
6.根据权利要求5所述的一种360度传送带快速缺陷检测装置，其特征在于，还包括显示模块，所述显示模块包括连接相机单元、显示相机画面单元、缺陷检测结果显示单元和数据统计显示单元。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311656087.3A CN117557545B (zh) | 2023-12-05 | 2023-12-05 | 一种360度传送带快速缺陷检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311656087.3A CN117557545B (zh) | 2023-12-05 | 2023-12-05 | 一种360度传送带快速缺陷检测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117557545A true CN117557545A (zh) | 2024-02-13 |
| CN117557545B CN117557545B (zh) | 2024-07-02 |
Family
ID=89814615
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311656087.3A Active CN117557545B (zh) | 2023-12-05 | 2023-12-05 | 一种360度传送带快速缺陷检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117557545B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| SU1764068A1 (ru) * | 1990-11-21 | 1992-09-23 | Центральное проектно-конструкторское и технологическое бюро химического машиностроения | Устройство дл получени информации от дефектоотметчика |
| CN111340798A (zh) * | 2020-03-16 | 2020-06-26 | 浙江一木智能科技有限公司 | 深度学习在产品外观瑕疵检测中的应用 |
| CN114066849A (zh) * | 2021-11-16 | 2022-02-18 | 东北大学秦皇岛分校 | 一种基于深度学习的电接口缺陷检测方法 |
| WO2022120665A1 (zh) * | 2020-12-09 | 2022-06-16 | 电子科技大学 | 一种基于深度学习的电容缺陷智能检测方法 |
| CN114820538A (zh) * | 2022-05-06 | 2022-07-29 | 广州珐玛珈智能设备股份有限公司 | 一种基于视觉完整性检测的药粒装瓶控制方法及装置 |
| CN115144406A (zh) * | 2022-09-07 | 2022-10-04 | 广州珐玛珈智能设备股份有限公司 | 一种全方位在线工业视觉检测及筛选的装置及方法 |
| WO2022227424A1 (zh) * | 2021-04-25 | 2022-11-03 | 华南理工大学 | Ic封装载板多尺度外观缺陷检测方法、装置、设备和介质 |
| CN116051473A (zh) * | 2022-12-21 | 2023-05-02 | 中国石油大学(北京) | 焊缝缺陷识别模型建立方法及装置、识别方法及装置 |
| CN116363086A (zh) * | 2023-03-22 | 2023-06-30 | 深圳市霍克视觉科技有限公司 | 一种基于深度学习的多列包装机封口缺陷检测方法 |
-
2023
- 2023-12-05 CN CN202311656087.3A patent/CN117557545B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| SU1764068A1 (ru) * | 1990-11-21 | 1992-09-23 | Центральное проектно-конструкторское и технологическое бюро химического машиностроения | Устройство дл получени информации от дефектоотметчика |
| CN111340798A (zh) * | 2020-03-16 | 2020-06-26 | 浙江一木智能科技有限公司 | 深度学习在产品外观瑕疵检测中的应用 |
| WO2022120665A1 (zh) * | 2020-12-09 | 2022-06-16 | 电子科技大学 | 一种基于深度学习的电容缺陷智能检测方法 |
| WO2022227424A1 (zh) * | 2021-04-25 | 2022-11-03 | 华南理工大学 | Ic封装载板多尺度外观缺陷检测方法、装置、设备和介质 |
| CN114066849A (zh) * | 2021-11-16 | 2022-02-18 | 东北大学秦皇岛分校 | 一种基于深度学习的电接口缺陷检测方法 |
| CN114820538A (zh) * | 2022-05-06 | 2022-07-29 | 广州珐玛珈智能设备股份有限公司 | 一种基于视觉完整性检测的药粒装瓶控制方法及装置 |
| CN115144406A (zh) * | 2022-09-07 | 2022-10-04 | 广州珐玛珈智能设备股份有限公司 | 一种全方位在线工业视觉检测及筛选的装置及方法 |
| CN116051473A (zh) * | 2022-12-21 | 2023-05-02 | 中国石油大学(北京) | 焊缝缺陷识别模型建立方法及装置、识别方法及装置 |
| CN116363086A (zh) * | 2023-03-22 | 2023-06-30 | 深圳市霍克视觉科技有限公司 | 一种基于深度学习的多列包装机封口缺陷检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| 李继波;黄远征;寻继勇;: "仪器视觉技术的烟箱外观质量无损检测装置", 中国仪器仪表, no. 06, 25 June 2018 (2018-06-25) * |
| 许志鹏;桑庆兵;: "基于轻量级YOLOv3的拉链缺陷检测系统设计与实现", 现代计算机, no. 26, 15 September 2020 (2020-09-15) * |
| 陆帆;陈从桂;谢宏威;徐嘉明;: "PET瓶封装质量视觉检测系统的设计", 仪表技术与传感器, no. 07, 15 July 2018 (2018-07-15) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117557545B (zh) | 2024-07-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chen et al. | A light-weighted CNN model for wafer structural defect detection | |
| US4589140A (en) | Method of and apparatus for real-time high-speed inspection of objects for identifying or recognizing known and unknown portions thereof, including defects and the like | |
| CN107966454A (zh) | 一种基于fpga的端塞缺陷检测装置及检测方法 | |
| CN113240647A (zh) | 一种基于深度学习的手机外壳后盖缺陷检测方法和系统 | |
| CN115775236A (zh) | 基于多尺度特征融合的表面微小缺陷视觉检测方法及系统 | |
| CN116612292A (zh) | 一种基于深度学习的小目标检测方法 | |
| CN113418933A (zh) | 用于检测大尺寸物体的飞拍视觉成像检测系统及方法 | |
| CN110415238A (zh) | 基于反向瓶颈结构深度卷积网络的膜片瑕点检测方法 | |
| CN116109777A (zh) | 一种互补伪多模态特征系统及方法 | |
| CN116071315A (zh) | 一种基于机器视觉的产品可视缺陷检测方法及系统 | |
| Liu et al. | Automatic detection technology of surface defects on plastic products based on machine vision | |
| CN114674830A (zh) | 一种高速生产线上瓶盖瑕疵检测模组 | |
| CN117557545B (zh) | 一种360度传送带快速缺陷检测方法及装置 | |
| CN107507130A (zh) | 一种快速的qfn芯片引脚图像获取与放大方法 | |
| CN113505629A (zh) | 一种基于轻量网络的智能仓储物件识别装置 | |
| CN117169247A (zh) | 一种基于机器视觉的金属表面缺陷多维度检测方法及系统 | |
| CN117611571A (zh) | 一种基于改进yolo模型的带钢表面缺陷检测方法 | |
| CN117593264A (zh) | 一种改进的联合YOLOv5和知识蒸馏的汽车发动机缸孔内壁检测方法 | |
| CN110866917A (zh) | 一种基于机器视觉的药片类型及排列方式识别方法 | |
| CN117173107A (zh) | 产品缺陷检测方法、装置、设备、系统和可读存储介质 | |
| CN113435389B (zh) | 基于图像特征深度学习的小球藻和金藻分类识别方法 | |
| CN115578339A (zh) | 工业产品表面缺陷检测与定位方法、系统及设备 | |
| Yi et al. | Research on fruit recognition method based on improved yolov4 algorithm | |
| Lingyu et al. | Defect detection method of LCD Complex display screen combining feature matching and color correction | |
| CN112763506A (zh) | 兼具aoi及ai的瑕疵检测方法及其装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |