CN113724240A - 一种基于视觉识别的冷柜脚轮检测方法、系统及装置 - Google Patents
一种基于视觉识别的冷柜脚轮检测方法、系统及装置 Download PDFInfo
- Publication number
- CN113724240A CN113724240A CN202111056514.5A CN202111056514A CN113724240A CN 113724240 A CN113724240 A CN 113724240A CN 202111056514 A CN202111056514 A CN 202111056514A CN 113724240 A CN113724240 A CN 113724240A
- Authority
- CN
- China
- Prior art keywords
- bottom plate
- refrigerator
- picture
- detection
- caster
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 133
- 230000000007 visual effect Effects 0.000 title claims abstract description 31
- 238000009434 installation Methods 0.000 claims abstract description 39
- 238000012549 training Methods 0.000 claims abstract description 35
- 238000012795 verification Methods 0.000 claims abstract description 29
- 238000000034 method Methods 0.000 claims abstract description 26
- 238000012937 correction Methods 0.000 claims abstract description 6
- 238000012360 testing method Methods 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 16
- 238000007781 pre-processing Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 15
- 230000000694 effects Effects 0.000 claims description 8
- 238000010586 diagram Methods 0.000 claims description 7
- 238000003708 edge detection Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 230000007797 corrosion Effects 0.000 claims description 4
- 238000005260 corrosion Methods 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 2
- 230000007547 defect Effects 0.000 abstract description 16
- 238000004519 manufacturing process Methods 0.000 abstract description 14
- 238000012797 qualification Methods 0.000 abstract description 4
- 230000007257 malfunction Effects 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于视觉识别的冷柜脚轮检测方法、系统及装置,属商用电器制造技术领域,包括采集所生产的冷柜底板图片,建立冷柜底板数据库,利用算法对数据库内冷柜底板图片数量进行扩充并标注,拆分为训练集和验证集,进行训练和验证,生成不同型号的底板检测模型,启动冷柜检测传送带,控制工业相机对冷柜拍照,获取最小外接矩形尺寸,根据尺寸截取生成待检测冷柜底板图片,根据尺寸从检测系统中调取底板检测模型,进行判定,根据判定结果指导工人进行纠错安装,本发明提高了检测效率和准确性,通过报警将检测到安装缺陷进行提示,指导安装工人快速定位缺陷种类和位置,从而排除缺陷,保证脚轮正确安装,提升了生产合格率。
Description
技术领域
本发明属于商用电器制造技术领域,具体地说,涉及一种基于视觉识别的冷柜脚轮检测方法、系统及装置。
背景技术
目前,随着生活水平的提高,现代人对于食物的品质要求也越来越高,冷链行业快速发展了起来,商用冷柜应运而生,然而商用冷柜体积大,在使用过程中不方便进行搬动,所以在生产时需要在冷柜底部安装脚轮来协助移动;
在商用冷柜生产过程中,现有技术中冷柜的脚轮安装检测通常采用人工检测的方式对脚轮的安装结果进行检测,检查内容主要涉及冷柜脚轮是否存在安装缺失,脚轮类型是否安装准确,安装螺栓是否缺失安装等,由于当前商用冷柜多采用柔性产线,多种型号共线生产,不同型号的冷柜脚轮安装种类、方式也不相同;
但是现有的采用人工检测的方式,因为有不同的冷柜型号,所以不同型号的冷柜脚轮安装种类、方式也不相同,从而导致工作强度大,而且人工检测时间长,会出现判断失误的情况,容易出现误检漏检的情况,脚轮安装工序结束后冷柜将进行翻转进行其他部分的组装工作,冷柜翻转后脚轮位于冷柜底部,后续工位无法对脚轮安装情况进行进一步检测,导致了问题冷柜流出,影响生产合格率。
发明内容
本发明的主要目的是提出一种基于视觉识别的冷柜脚轮检测方法、系统及装置,旨在针对现有商用冷柜柔性生产线多类型冷柜共线生产,不同类型冷柜脚轮安装形式各异,容易出现脚轮漏装、错装,脚轮螺栓漏装的问题,采用机器检测代替人工检测,快速获取冷柜脚轮的异常位置和异常原因,提高了检测效率和准确性。
为实现上述目的,本发明提出一种基于视觉识别的冷柜脚轮检测方法、系统及装置,所述基于视觉识别的冷柜脚轮检测方法操作流程如下:
步骤1,采集所生产的冷柜底板图片,设立冷柜脚轮数据集和脚轮螺栓数据集,建立冷柜底板数据库;
步骤2,利用算法对数据库内冷柜底板图片数量进行扩充增强,并利用人工进行标注;
步骤3,将标注后的数据拆分为训练集和验证集,进行训练和验证,生成多种型号的底板检测模型,将底板检测模型储存到检测系统中;
步骤4,控制工业相机对待检测冷柜底板进行拍照,获取底板图片;
步骤5,对步骤4获取的冷柜底板图片进行预处理,获取最小外接矩形尺寸,根据尺寸截取商用冷柜底板,生成待检测冷柜底板图片;
步骤6,设置最小外接矩形尺寸对应的冷柜底板型号,根据步骤5获取的尺寸从检测系统中调取底板检测模型,根据检测模型对待检测冷柜底板图片进行判定,获取判定结果;
步骤7,设置结果指导说明,根据判定结果指导工人进行纠错安装,采用机器检测代替人工检测,提高了检测效率和准确性,通过报警显示将检测到安装缺陷进行提示,指导安装工人快速定位缺陷种类和位置,从而排除缺陷,保证脚轮正确安装,提升了生产合格率。
近一步的是,所述步骤2中利用算法对数据库内冷柜底板图片数量进行扩充的扩充方式为:利用Python-OpenCV算法进行对数据库内冷柜底板图片进行数据增强,采用的数据增强方式有调节翻转角度、平移以及缩放,扩充底板数据样本,后期通过训练出来的检测模板越准确,提升了检测的准确率。
近一步的是,所述采用的数据增强方式有调节翻转角度、平移以及缩放。
近一步的是,所述步骤2中利用人工进行标注的标注过程为:数据扩充后,设置底板图片标注内容,分别是底板类型、脚轮类型、脚轮数量以及螺栓,根据设置的标注内容使用Lableimg软件进行人工标注,设置标注内容,方便后期识别训练内容。
近一步的是,所述步骤3中进行训练和验证,生成不同型号的底板检测模型的生成过程为:
S1,设置不同训练集和验证集的拆分比例,获取比例不同的训练集和验证集;
S2,采用yolov5算法对拆分的数据集进行训练,生成训练模型;
S3,使用验证集对生成的训练模型进行测试,获得测试通过率;
S4,设置验证通过标准值,和测试通过率进行对比,测试通过率高于设置值,设定该模型为底板检测模型,设置不同比例的训练集和验证集,有助于提高获取底板检测模型的成功率。
近一步的是,所述步骤5中对步骤4获取冷柜底板图片进行预处理的处理流程为:
S1,使用高斯滤波法对拍摄的照片进行减噪,获取去噪后的图片;
S2,调节对去噪后的图片中的像素值,进行灰度化处理;
S3,灰度化处理后,把图片上的像素点的灰度值进行二值化,获得黑白分明的效果图;
S4,将该效果图外扩进行腐蚀膨胀,再进行边缘检测,获取冷柜底座的最小外接矩形;
S5,根据最小外接矩形对拍摄照片中的底板进行截取,获取待检测冷柜底板图片,通过图像灰度化、二值化、腐蚀膨胀、边缘检测、最小外接矩形的操作,获取准确的冷柜底板尺寸及形状,为查找对应的底板检测模提供了准确的数据支持。
更近一步的是,所述高斯滤波法的处理方式为:设置扫描模板,使用该模板扫描拍摄图像中的每一个像素,用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值,获取去噪图片,提供高斯滤波处理图片,去噪的同时,保留了图像的整体特点。
近一步的是,所述步骤6中根据检测模型对待检测冷柜底板图片进行判定的判定流程为:获取待检测冷柜底板图片后,根据冷柜底板的最小外接尺寸确立底板型号,根据型号从检测系统中调取检测底板模型,和待检测冷柜底板图片进行对比判定,获取待检测冷柜底板图片的标注判定结果,根据获取的最小外接尺寸查找检测底板模型,提升了检测问题的成功率。
近一步的是,所述步骤7中根据判定结果指导工人进行纠错安装的指导流程为:
S1,设置结果指导说明,并设定错误信号报警灯,根据检测出拉来的冷柜脚轮型号错装、漏装信息,触发错误报警灯,并输出故障类型;
S2,检测脚轮信息无误,自动截取脚轮图像,和螺栓检测模型相对比,并输出检测结果;
S3,检测结果无误,错误信号报警灯不亮,检测结果有问题,错误信号报警灯亮,并将问题点显示出来,设置故障显示和报警功能,提升工作人员发现问题的效率,缩短了问题滞留时间,减少了产品的错装、漏装率。
一种基于视觉识别的冷柜脚轮检测系统,包括:
采集模块、存储模块、扩充模块、测试模块、摄像模块、预处理模块、判定模块以及显示模块;
其中所述采集模块用于收集所生产的冷柜底板图片,并将采集到的数据发送给存储模块;
所述存储模块接收采集模块发送的底板数据,整理数据,建立冷柜底板数据库;
所述扩充模块调取数据库内的底板数据,利用算法对底板图片的数量进行扩充,并利用人工进行标注,将标注后的数据发送给验证模块;
所述测试模块接收扩充模块发送的标注后的扩充数据,将其拆分为训练集和验证集,进行训练再验证,生成底板检测模型,将底板检测模型发送给存储模块;
所述摄像模块对冷柜检测传送带上的冷柜底板进行拍照,将拍摄的照片发送给预处理模块;
所述预处理模块接收摄像模块拍摄的底板照片,对照片进行预处理,获取底板图像的最小外接矩形尺寸,根据尺寸截取底板照片,生成待检测冷柜底板图片,将图片和截取尺寸发送给判定模块;
所述判定模块接收预处理模块发送的待检测图片和截取尺寸,设置最小外接矩形尺寸对应的冷柜底板型号,根据截取尺寸获取对应型号,从存储模块中调取该型号对应的底板检测模型,将待检测图片和调取的检测模型进行比对判定,将判定结果发送给显示模块;
所述显示模块接收判定模块发送的判定结果,并将结果上传到显示界面上,给工人查看,采用机器检测代替人工检测,提高了检测效率和准确性,通过报警将检测到安装缺陷进行提示,指导安装工人快速定位缺陷种类和位置,从而排除缺陷,保证脚轮正确安装,提升了生产合格率。
一种基于视觉识别的冷柜脚轮检测装置,包括:处理器和存储器,所述处理器耦接所述存储器,所述存储器中存储有基于视觉识别的冷柜脚轮检测程序,所述处理器执行所述基于视觉识别的冷柜脚轮检测程序以实现如权利要求1-8所述的任一项基于视觉识别的冷柜脚轮检测方法。
相比于现有技术,本发明的有益效果为:
(1)本发明采用机器检测代替人工检测,提高了检测效率和准确性,通过报警显示将检测到安装缺陷进行提示,指导安装工人快速定位缺陷种类和位置,从而排除缺陷,保证脚轮正确安装,提升了生产合格率,设置故障显示和报警功能,提升工作人员发现问题的效率,缩短了问题滞留时间,减少了产品的错装、漏装率;
(2)本发明采用机器视觉检测代替现在的人工检测,通过工业摄像机采集脚轮安装后的商用冷柜底板的图像,通过图像灰度化、二值化、腐蚀膨胀、边缘检测、最小外接矩形的操作,获取准确的冷柜底板尺寸及形状,为查找对应的底板检测模提供了准确的数据支持,采用YOLO算法检测多种型号的商用冷柜脚轮安装情况,发现脚轮漏装、错装,脚轮安装螺栓漏装的等现象可以及时报警并提示操作人员及时更改,通过计算机视觉对比减少对人力资本的消耗。
附图说明
为了更清楚地说明本申请实施例或示例性中的技术方案,下面将对实施例或示例性描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以按照这些附图示出的获得其他的附图。
图1为本发明的方法流程示意图;
图2为本发明的检测安装脚轮结构示意图;
图3为本发明的系统结构示意图;
图4为本发明的装置结构示意图;
附图2中:1、传送带;2、待测冷柜;3、工业相机;4、横梁;5、故障报警灯;6、图像处理设备;7、显示屏。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围,下面结合附图和具体实施例对本发明进行详细描述。
实施例1
如图1所示,一种基于视觉识别的冷柜脚轮检测方法,操作流程如下:
步骤1,采集所生产的冷柜底板图片,设立冷柜脚轮数据集和脚轮螺栓数据集,建立冷柜底板数据库;
步骤2,利用算法对数据库内冷柜底板图片数量进行扩充增强,并利用人工进行标注;
步骤3,将标注后的数据拆分为训练集和验证集,进行训练和验证,生成多种型号的底板检测模型,将底板检测模型储存到检测系统中;
步骤4,控制工业相机对待检测冷柜底板进行拍照,获取底板图片;
步骤5,对步骤4获取的冷柜底板图片进行预处理,获取最小外接矩形尺寸,根据尺寸截取商用冷柜底板,生成待检测冷柜底板图片;
步骤6,设置最小外接矩形尺寸对应的冷柜底板型号,根据步骤5获取的尺寸从检测系统中调取底板检测模型,根据检测模型对待检测冷柜底板图片进行判定,获取判定结果;
步骤7,设置结果指导说明,根据判定结果指导工人进行纠错安装;
下面结合具体的实施情况,对该方法进行解读:
首先采集所生产各种型号冷柜底板图片,从中获取冷柜脚轮的数据和脚轮螺栓的数据,设立冷柜脚轮数据集和脚轮螺栓数据集,建立冷柜底板数据库,将获取的数据存储到对应的数据集中;
然后,采用Python-OpenCV算法进行对数据库内冷柜底板图片进行数据增强,采用的数据增强方式有调节翻转角度、平移以及缩放,数据扩充后,设置底板图片标注内容,分别是底板类型、脚轮类型、脚轮数量以及螺栓,根据设置的标注内容使用Lableimg软件进行人工标注;
接着将标注后的数据拆分为训练集和验证集,设置不同训练集和验证集的拆分比例,获取比例不同的训练集和验证集,采用yolov5算法对拆分的数据集进行训练,生成训练模型,使用验证集对生成的训练模型进行测试,获得测试通过率,设置验证通过标准值,和测试通过率进行对比,测试通过率高于设置值,设定该模型为底板检测模型,将底板检测模型储存到检测系统jetson nano中;
然后组装检测结构,检测安装脚轮结构示意图如图2所示,横梁4带动冷柜检测传送带1转动,触发工业相机3启动,控制工业相机3对待测冷柜2进行拍照,上传到图像处理设备6中,该图像处理设备6采用jetson nano进行图像处理,然后对其进行预处理,使用高斯滤波法对拍摄的照片进行减噪,获取去噪后的图片,调节对去噪后的图片中的像素值,进行灰度化处理,灰度化处理后,把图片上的像素点的灰度值进行二值化,获得黑白分明的效果图,将该效果图外扩进行膨胀,再进行边缘检测,获取冷柜底座的最小外接矩形,根据最小外接矩形对拍摄照片中的底板进行截取,获取待检测冷柜底板截图;
将预处理后得到的冷柜底板截图送入jetson nano中的脚轮检测模型,根据冷柜底板的最小外接尺寸确立底板型号,根据型号从检测系统中调取检测底板模型,和待检测冷柜底板图片进行对比判定,先判定该型号的冷柜脚轮是否缺失,脚轮安装型号是否错误,比如型号为SD-151的冷柜底座脚轮为三个万向轮和一个万向刹车轮,而型号为SD-231LV的冷柜底座为一个万向轮、一个万向刹车轮以及两个定向轮,设置结果指导说明,并设定故障报警灯5,根据检测出拉来的冷柜脚轮型号错装、漏装信息,触发故障报警灯5,故障报警灯5由jetson nano的GPIO接口控制,并输出故障类型,在显示屏7上显示出来,指导工人安装,检测脚轮信息无误,自动截取脚轮图像,和螺栓检测模型相对比,检测是否缺失,并输出检测结果,检测结果无误,故障报警灯5不亮,检测结果显示螺栓缺失,故障报警灯5亮,并将问题点显示出来,指导安装工人补充安装。如果螺栓检测合格,则冷柜通过检测继续后面工序的组装工作;
采用机器检测代替人工检测,提高了检测效率和准确性,通过报警显示将检测到安装缺陷进行提示,指导安装工人快速定位缺陷种类和位置,从而排除缺陷,保证脚轮正确安装,提升了生产合格率。
实施例2
一种基于视觉识别的冷柜脚轮检测系统,包括:
采集模块、存储模块、扩充模块、测试模块、摄像模块、预处理模块、判定模块以及显示模块;
其中所述采集模块用于收集所生产的冷柜底板图片,并将采集到的数据发送给存储模块;
所述存储模块接收采集模块发送的底板数据,整理数据,建立冷柜底板数据库;
所述扩充模块调取数据库内的底板数据,利用算法对底板图片的数量进行扩充,并利用人工进行标注,将标注后的数据发送给验证模块;
所述测试模块接收扩充模块发送的标注后的扩充数据,将其拆分为训练集和验证集,进行训练再验证,生成底板检测模型,将底板检测模型发送给存储模块;
所述摄像模块对冷柜检测传送带上的冷柜底板进行拍照,将拍摄的照片发送给预处理模块;
所述预处理模块接收摄像模块拍摄的底板照片,对照片进行预处理,获取底板图像的最小外接矩形尺寸,根据尺寸截取底板照片,生成待检测冷柜底板图片,将图片和截取尺寸发送给判定模块;
所述判定模块接收预处理模块发送的待检测图片和截取尺寸,设置最小外接矩形尺寸对应的冷柜底板型号,根据截取尺寸获取对应型号,从存储模块中调取该型号对应的底板检测模型,将待检测图片和调取的检测模型进行比对判定,将判定结果发送给显示模块;
所述显示模块接收判定模块发送的判定结果,并将结果上传到显示界面上,给工人查看;
在具体的实施过程中,首先由采集模块收集所生产各种型号冷柜底板图片,从中获取冷柜脚轮的数据和脚轮螺栓的数据,设立冷柜脚轮数据集和脚轮螺栓数据集,在存储模块中建立冷柜底板数据库,将获取的数据存储到对应的数据集中;
扩充模块利用Python-OpenCV算法进行对数据库内冷柜底板图片进行数据增强,采用的数据增强方式有调节翻转角度、平移以及缩放,数据扩充后,设置底板图片标注内容,分别是底板类型、脚轮类型、脚轮数量以及螺栓,根据设置的标注内容使用Lableimg软件进行人工标注;
接着测试模块将标注后的数据拆分为训练集和验证集,设置不同训练集和验证集的拆分比例,获取比例不同的训练集和验证集,采用yolov5算法对拆分的数据集进行训练,生成训练模型,使用验证集对生成的训练模型进行测试,获得测试通过率,设置验证通过标准值,和测试通过率进行对比,测试通过率高于设置值,设定该模型为底板检测模型,将底板检测模型储存到检测系统jetson nano中;
然后组装检测结构,检测安装脚轮结构示意图如图2所示,横梁4带动冷柜检测传送带1转动,触发摄像模块启动,摄像模块控制工业相机3启动,对待测冷柜2进行拍照,上传到预处理模块及图像处理设备6中,该图像处理设备6采用jetson nano进行图像处理,使用高斯滤波法对拍摄的照片进行减噪,获取去噪后的图片,调节对去噪后的图片中的像素值,进行灰度化处理,灰度化处理后,把图片上的像素点的灰度值进行二值化,获得黑白分明的效果图,将该效果图外扩进行膨胀,再进行边缘检测,获取冷柜底座的最小外接矩形,根据最小外接矩形对拍摄照片中的底板进行截取,获取待检测冷柜底板截图;
将预处理后得到的冷柜底板截图送入jetson nano中的脚轮检测模型,判定模块根据冷柜底板的最小外接尺寸确立底板型号,根据型号从检测系统中调取检测底板模型,和待检测冷柜底板图片进行对比判定,先判定该型号的冷柜脚轮是否缺失,脚轮安装型号是否错误,比如型号为SD-151的冷柜底座脚轮为三个万向轮和一个万向刹车轮,而型号为SD-231LV的冷柜底座为一个万向轮、一个万向刹车轮以及两个定向轮,设置结果指导说明,并设定故障报警灯5,根据检测出拉来的冷柜脚轮型号错装、漏装信息,触发故障报警灯5,故障报警灯5由jetson nano的GPIO接口控制,并输出故障类型,利用显示模块在显示屏7上显示出来,指导工人安装,检测脚轮信息无误,自动截取脚轮图像,和螺栓检测模型相对比,检测是否缺失,并输出检测结果,检测结果无误,故障报警灯5不亮,检测结果显示螺栓缺失,故障报警灯5亮,并利用显示屏7将问题点显示出来,指导安装工人补充安装。如果螺栓检测合格,则冷柜通过检测继续后面工序的组装工作;
在实施过程中,提高了检测效率和准确性,通过报警将检测到安装缺陷进行提示,指导安装工人快速定位缺陷种类和位置,从而排除缺陷,保证脚轮正确安装,提升了生产合格率。
实施例3
一种基于视觉识别的冷柜脚轮检测装置,包括:处理器和存储器,所述处理器耦接所述存储器,所述存储器中存储有基于视觉识别的冷柜脚轮检测程序,所述处理器执行所述基于视觉识别的冷柜脚轮检测程序以实现如权利要求1-8所述的任一项基于视觉识别的冷柜脚轮检测方法;
在具体的实施过程中,采集所生产各种型号冷柜底板图片,建立冷柜底板数据库,利用算法对数据库内冷柜底板图片数量进行扩充并标注,拆分为训练集和验证集,进行训练和验证,生成不同型号的底板检测模型,启动冷柜检测传送带,控制工业相机对冷柜拍照,获取最小外接矩形尺寸,根据尺寸截取生成待检测冷柜底板图片,根据尺寸从检测系统中调取底板检测模型,进行判定,根据判定结果指导工人进行纠错安装;
采用YOLO算法检测多种型号的商用冷柜脚轮安装情况,发现脚轮漏装、错装,脚轮安装螺栓漏装的等现象可以及时报警并提示操作人员及时更改,通过计算机视觉对比减少对人力资本的消耗。
以上所述实施例仅表达了本发明的优选实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形、改进及替代,这些都属于本发明的保护范围。
Claims (10)
1.一种基于视觉识别的冷柜脚轮检测方法,其特征在于,操作流程如下:
步骤1,采集所生产的冷柜底板图片,设立冷柜脚轮数据集和脚轮螺栓数据集,建立冷柜底板数据库;
步骤2,利用算法对数据库内冷柜底板图片数量进行扩充增强,并利用人工进行标注;
步骤3,将标注后的数据拆分为训练集和验证集,进行训练和验证,生成多种型号的底板检测模型,将底板检测模型储存到检测系统中;
步骤4,控制工业相机对待检测冷柜底板进行拍照,获取底板图片;
步骤5,对步骤4获取的冷柜底板图片进行预处理,获取最小外接矩形尺寸,根据尺寸截取商用冷柜底板,生成待检测冷柜底板图片;
步骤6,设置最小外接矩形尺寸对应的冷柜底板型号,根据步骤5获取的尺寸从检测系统中调取底板检测模型,根据检测模型对待检测冷柜底板图片进行判定,获取判定结果;
步骤7,设置结果指导说明,根据判定结果指导工人进行纠错安装。
2.根据权利要求1所述的一种基于视觉识别的冷柜脚轮检测方法,其特征在于:所述步骤2中利用算法对数据库内冷柜底板图片数量进行扩充的扩充方式为:利用Python-OpenCV算法进行对数据库内冷柜底板图片进行数据增强。
3.根据权利要求2所述的一种基于视觉识别的冷柜脚轮检测方法,其特征在于:所述数据增强方式有调节翻转角度、平移以及缩放。
4.根据权利要求1所述的一种基于视觉识别的冷柜脚轮检测方法,其特征在于:所述步骤2中利用人工进行标注的标注过程为:数据扩充后,设置底板图片标注内容,分别是底板类型、脚轮类型、脚轮数量以及螺栓,根据设置的标注内容使用Lableimg软件进行人工标注。
5.根据权利要求1所述的一种基于视觉识别的冷柜脚轮检测方法,其特征在于:所述步骤5中对步骤4获取冷柜底板图片进行预处理的处理流程为:
S1,使用高斯滤波法对拍摄的照片进行减噪,获取去噪后的图片;
S2,调节对去噪后的图片中的像素值,进行灰度化处理;
S3,灰度化处理后,把图片上的像素点的灰度值进行二值化,获得黑白分明的效果图;
S4,将该效果图外扩进行腐蚀膨胀,再进行边缘检测,获取冷柜底座的最小外接矩形;
S5,根据最小外接矩形对拍摄照片中的底板进行截取,获取待检测冷柜底板图片。
6.根据权利要求5所述的一种基于视觉识别的冷柜脚轮检测方法,其特征在于:所述高斯滤波法的处理方式为:设置扫描模板,使用该模板扫描拍摄图像中的每一个像素,用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值,获取去噪图片。
7.根据权利要求1所述的一种基于视觉识别的冷柜脚轮检测方法,其特征在于:所述步骤6中根据检测模型对待检测冷柜底板图片进行判定的判定流程为:获取待检测冷柜底板图片后,根据冷柜底板的最小外接尺寸确立底板型号,根据型号从检测系统中调取检测底板模型,和待检测冷柜底板图片进行对比判定,获取待检测冷柜底板图片的标注判定结果。
8.根据权利要求1所述的一种基于视觉识别的冷柜脚轮检测方法,其特征在于:所述步骤7中根据判定结果指导工人进行纠错安装的指导流程为:
S1,设置结果指导说明,并设定错误信号报警灯,根据检测出拉来的冷柜脚轮型号错装、漏装信息,触发错误报警灯,并输出故障类型;
S2,检测脚轮信息无误,自动截取脚轮图像,和螺栓检测模型相对比,并输出检测结果;
S3,检测结果无误,错误信号报警灯不亮,检测结果有问题,错误信号报警灯亮,并将问题点显示出来。
9.一种基于视觉识别的冷柜脚轮检测系统,其特征在于,包括:
采集模块、存储模块、扩充模块、测试模块、摄像模块、预处理模块、判定模块以及显示模块;
其中所述采集模块用于收集所生产的冷柜底板图片,并将采集到的数据发送给存储模块;
所述存储模块接收采集模块发送的底板数据,整理数据,建立冷柜底板数据库;
所述扩充模块调取数据库内的底板数据,利用算法对底板图片的数量进行扩充,并利用人工进行标注,将标注后的数据发送给验证模块;
所述测试模块接收扩充模块发送的标注后的扩充数据,将其拆分为训练集和验证集,进行训练再验证,生成底板检测模型,将底板检测模型发送给存储模块;
所述摄像模块对冷柜检测传送带上的冷柜底板进行拍照,将拍摄的照片发送给预处理模块;
所述预处理模块接收摄像模块拍摄的底板照片,对照片进行预处理,获取底板图像的最小外接矩形尺寸,根据尺寸截取底板照片,生成待检测冷柜底板图片,将图片和截取尺寸发送给判定模块;
所述判定模块接收预处理模块发送的待检测图片和截取尺寸,设置最小外接矩形尺寸对应的冷柜底板型号,根据截取尺寸获取对应型号,从存储模块中调取该型号对应的底板检测模型,将待检测图片和调取的检测模型进行比对判定,将判定结果发送给显示模块;
所述显示模块接收判定模块发送的判定结果,并将结果上传到显示界面上,给工人查看。
10.一种基于视觉识别的冷柜脚轮检测装置,其特征在于,包括:处理器和存储器,所述处理器耦接所述存储器,所述存储器中存储有基于视觉识别的冷柜脚轮检测程序,所述处理器执行所述基于视觉识别的冷柜脚轮检测程序以实现如权利要求1-8所述的任一项基于视觉识别的冷柜脚轮检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111056514.5A CN113724240B (zh) | 2021-09-09 | 2021-09-09 | 一种基于视觉识别的冷柜脚轮检测方法、系统及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111056514.5A CN113724240B (zh) | 2021-09-09 | 2021-09-09 | 一种基于视觉识别的冷柜脚轮检测方法、系统及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113724240A true CN113724240A (zh) | 2021-11-30 |
CN113724240B CN113724240B (zh) | 2023-10-17 |
Family
ID=78682878
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111056514.5A Active CN113724240B (zh) | 2021-09-09 | 2021-09-09 | 一种基于视觉识别的冷柜脚轮检测方法、系统及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113724240B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115953410A (zh) * | 2023-03-15 | 2023-04-11 | 安格利(成都)仪器设备有限公司 | 一种基于目标检测无监督学习的腐蚀坑自动检测方法 |
CN117168776A (zh) * | 2023-06-20 | 2023-12-05 | 佛山市厚恒五金塑胶制品有限公司 | 一种重型脚轮运行稳定性检测系统及其应用方法 |
CN117634989A (zh) * | 2024-01-25 | 2024-03-01 | 深圳市大力鸿震智能脚轮科技有限公司 | 一种基于人工智能的脚轮质量评估方法、系统及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106053479A (zh) * | 2016-07-21 | 2016-10-26 | 湘潭大学 | 一种基于图像处理的工件外观缺陷的视觉检测系统 |
CN106204614A (zh) * | 2016-07-21 | 2016-12-07 | 湘潭大学 | 一种基于机器视觉的工件外观缺陷检测方法 |
CN110826416A (zh) * | 2019-10-11 | 2020-02-21 | 佛山科学技术学院 | 一种基于深度学习的卫浴陶瓷表面缺陷检测方法及装置 |
CN111340798A (zh) * | 2020-03-16 | 2020-06-26 | 浙江一木智能科技有限公司 | 深度学习在产品外观瑕疵检测中的应用 |
WO2021063046A1 (zh) * | 2019-09-30 | 2021-04-08 | 熵康(深圳)科技有限公司 | 一种分布式目标监测系统和方法 |
CN112990335A (zh) * | 2021-03-31 | 2021-06-18 | 江苏方天电力技术有限公司 | 一种电网无人机巡检影像缺陷智能识别自学习训练方法、系统 |
-
2021
- 2021-09-09 CN CN202111056514.5A patent/CN113724240B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106053479A (zh) * | 2016-07-21 | 2016-10-26 | 湘潭大学 | 一种基于图像处理的工件外观缺陷的视觉检测系统 |
CN106204614A (zh) * | 2016-07-21 | 2016-12-07 | 湘潭大学 | 一种基于机器视觉的工件外观缺陷检测方法 |
WO2021063046A1 (zh) * | 2019-09-30 | 2021-04-08 | 熵康(深圳)科技有限公司 | 一种分布式目标监测系统和方法 |
CN110826416A (zh) * | 2019-10-11 | 2020-02-21 | 佛山科学技术学院 | 一种基于深度学习的卫浴陶瓷表面缺陷检测方法及装置 |
CN111340798A (zh) * | 2020-03-16 | 2020-06-26 | 浙江一木智能科技有限公司 | 深度学习在产品外观瑕疵检测中的应用 |
CN112990335A (zh) * | 2021-03-31 | 2021-06-18 | 江苏方天电力技术有限公司 | 一种电网无人机巡检影像缺陷智能识别自学习训练方法、系统 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115953410A (zh) * | 2023-03-15 | 2023-04-11 | 安格利(成都)仪器设备有限公司 | 一种基于目标检测无监督学习的腐蚀坑自动检测方法 |
CN117168776A (zh) * | 2023-06-20 | 2023-12-05 | 佛山市厚恒五金塑胶制品有限公司 | 一种重型脚轮运行稳定性检测系统及其应用方法 |
CN117168776B (zh) * | 2023-06-20 | 2024-05-10 | 佛山市厚恒五金塑胶制品有限公司 | 一种重型脚轮运行稳定性检测系统及其应用方法 |
CN117634989A (zh) * | 2024-01-25 | 2024-03-01 | 深圳市大力鸿震智能脚轮科技有限公司 | 一种基于人工智能的脚轮质量评估方法、系统及存储介质 |
CN117634989B (zh) * | 2024-01-25 | 2024-05-28 | 深圳市大力鸿震智能脚轮科技有限公司 | 一种基于人工智能的脚轮质量评估方法、系统及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113724240B (zh) | 2023-10-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113724240A (zh) | 一种基于视觉识别的冷柜脚轮检测方法、系统及装置 | |
CN112115927B (zh) | 一种基于深度学习的机房设备智能识别方法及系统 | |
EP3556576A1 (en) | Process and system for the detection of defects in a tyre | |
KR20210157000A (ko) | 차량 하부 검사 시스템 및 그 방법 | |
CN111289538A (zh) | 基于机器视觉的pcb板元件检测系统及检测方法 | |
CN111539927B (zh) | 汽车塑料组合件紧固卡扣缺装检测装置的检测方法 | |
CN108072664B (zh) | 一种外观检测系统及方法 | |
CN111126196A (zh) | 一种设备漏油检测方法 | |
CN112070762A (zh) | 液晶面板的mura缺陷检测方法、装置、存储介质及终端 | |
CN115700757A (zh) | 消防水炮的控制方法、装置及电子设备 | |
CN116358436A (zh) | 基于计算机视觉的建筑变形智能监测与数据处理系统 | |
CN116539641A (zh) | 光伏玻璃组件二道铺设后外观检测方法 | |
CN113139943B (zh) | 开口圆环工件外观缺陷检测方法、系统及计算机存储介质 | |
KR20070101669A (ko) | 마운팅 플레이트 어셈블리의 비전 검사장치 및 검사방법 | |
CN115931909A (zh) | Aoi检测系统及其检测方法 | |
CN111325731A (zh) | 遥控装置的安装检测方法及装置 | |
CN115880365A (zh) | 一种双工位自动螺丝拧装检测方法、系统及装置 | |
CN108333805B (zh) | 不良点坐标自动检测方法和装置、设备和存储介质 | |
CN115546140A (zh) | 一种显示面板检测方法、系统及电子装置 | |
CN113933309A (zh) | 一种复测aoi机台检盲孔孔内不良的方法 | |
CN113709065A (zh) | 交换机的面板灯的自动检测方法、系统、设备及存储介质 | |
KR102117697B1 (ko) | 표면검사 장치 및 방법 | |
CN111412941A (zh) | 安装质量的检测方法及装置 | |
CN112945149B (zh) | 一种链条铆钉铆接面积的检测装置及其检测方法 | |
CN115689994B (zh) | 一种铭牌和条码缺陷检测方法、设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |