CN115184361B - 基于机器视觉的实时工件表面缺陷检测评价系统及方法 - Google Patents
基于机器视觉的实时工件表面缺陷检测评价系统及方法 Download PDFInfo
- Publication number
- CN115184361B CN115184361B CN202210754869.XA CN202210754869A CN115184361B CN 115184361 B CN115184361 B CN 115184361B CN 202210754869 A CN202210754869 A CN 202210754869A CN 115184361 B CN115184361 B CN 115184361B
- Authority
- CN
- China
- Prior art keywords
- detection
- platform
- real
- image
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 218
- 230000007547 defect Effects 0.000 title claims abstract description 93
- 238000011156 evaluation Methods 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 title abstract description 28
- 238000012545 processing Methods 0.000 claims abstract description 64
- 238000012544 monitoring process Methods 0.000 claims abstract description 22
- 230000000007 visual effect Effects 0.000 claims abstract description 20
- 230000005540 biological transmission Effects 0.000 claims abstract description 18
- 238000013441 quality evaluation Methods 0.000 claims abstract description 17
- 238000004458 analytical method Methods 0.000 claims abstract description 11
- 230000006870 function Effects 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 14
- 239000004973 liquid crystal related substance Substances 0.000 claims description 13
- 238000011897 real-time detection Methods 0.000 claims description 11
- 238000013139 quantization Methods 0.000 claims description 10
- 238000003709 image segmentation Methods 0.000 claims description 7
- 238000013500 data storage Methods 0.000 claims description 6
- 238000011161 development Methods 0.000 claims description 5
- 230000018109 developmental process Effects 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 4
- 238000011158 quantitative evaluation Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000005520 cutting process Methods 0.000 claims description 2
- 230000000750 progressive effect Effects 0.000 claims description 2
- 230000003993 interaction Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 206010063385 Intellectualisation Diseases 0.000 description 2
- 238000001303 quality assessment method Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001808 coupling effect Effects 0.000 description 1
- 238000012994 industrial processing Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/01—Arrangements or apparatus for facilitating the optical investigation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明公开了一种基于机器视觉的实时工件表面缺陷检测评价系统及方法，该系统包括图像采集平台、无线传输平台、检测处理平台、可视化监控平台；涉及的方法包括：工人远程通过无线传输装置远程调控图像采集环境，保证图像采集质量，图像采集平台收集的图像信息将远程传输处理后由检测处理平台生成包含缺陷标注信息、质量评估报告、检测性能分析报告在内的多角度检测评价信息，展示在可视化监控平台供工作人员评判处理。本发明通过集成化的缺陷检测系统可全面智能的评估工件表面质量水平，并采用远程人机交互控制方法，有效保证系统运行的安全性与便捷性。
Description
技术领域
本发明属于智能识别技术领域，具体涉及一种基于机器视觉的实时工件表面缺陷检测评价系统及方法。
背景技术
工业生产加工是一个复杂的过程，由于加工工艺或周围工作环境等多方面原因，使得各个加工工序难以处于绝对的稳定状态，这将导致工件表面的质量特性产生波动，极易产生裂纹、划痕、凹坑、麻点等表面缺陷。这些缺陷不仅使产品的外观受到影响，使用过程中还会在复杂因素的耦合作用下继续发展对工件结构产生更为严重的破坏，造成工件产品的性能指标大幅度降低。因此，对工件表面缺陷进行检测成为生产企业极为关注的问题之一。
基于机器视觉技术的工件表观缺陷在线检测系统，通过将相机远程提供的实时图像自动地、鲁棒地转换为供专业人员分析、操作的直观信息和知识，为工件的缺陷检测和质量评估提供了高效、有前景的解决方案。
近年来，多种图像识别方法已在各类工件表观缺陷识别场景中得到了成功的应用，但整体还存在一些问题。
申请号202010836865.7名称为一种基于SSD网络模型的工件表面缺陷检测方法及系统，公布了一种基于SSD网络模型的工件表面缺陷检测方法及系统，该方法与系统能够处理大规模的图像数据，可以识别多种不同的缺陷类别以及能获得像素级的缺陷区域信息。但是，上述公开的技术方案仍然存在如下技术问题：(1)该方法及系统所采用的骨干网络SSD网络模型属于两阶段目标检测网络，检测响应时间较长，难以实现实时识别功能，仅能实现离线检测，无法应用于实时作业环境检测；(2)该方法及系统固定采用一种检测网络模型，而非通过建立检测网络模型库，并基于实际工业场景自主选择调用合适的网络模型，导致所开发设计的系统面向复杂的工业场景下检测的泛化能力差；
华东交通大学名称为基于机器视觉的复杂曲面工件表面缺陷检测技术与系统的硕士学位论文，研究了一套基于机器视觉的复杂曲面工件表面缺陷检测技术与系统，该方法与系统能实现大型复杂曲面工件表面的图像采集、缺陷定位、缺陷种类识别等功能。但是，上述公开的技术方案仍然存在如下技术问题：(1)该方法与系统中缺少对工件表面缺陷的尺寸测定、质量评估功能开发，未实现基于表面缺陷尺寸的工件表面质量等级自动评定，功能性及自动化程度有待提高；(2)该方法及系统虽然实现了一定的检测功能，但是各功能模块各自独立，未实现集成化自动检测系统的搭建，智能化程度有待提高；
西南科技大学名称为基于深度学习的工件表面缺陷检测技术研究的硕士学位论文，研究了一套基于深度学习的工件表面缺陷检测技术与系统，该技术方案中搭建了硬件、软件集成的集成系统。但是，上述公开的技术方案仍然存在如下技术问题：(1)所基于的改进NASnet及SSD网络等检测骨干网络均属于两阶段检测网络，检测响应时间较长，难以满足实时作业检测需求，功能性有待提升；(2)所开发的系统不具备自我纠查功能，检测过程中若检测性能无法达到预估效果的情况下，无法实现自主决策并处理，智能化程度有待提高；(3)所开发的系统未包含数据库自储自建自学功能，不仅极大的浪费了检测资源，并将间接使得检测网络无法基于足够的数据量进行学习获得合适的网络参数，最终导致复杂工业监测背景下，检测系统鲁棒性较差，泛化能力有待提高。
因此，由于工业背景环境的复杂性，单一某种/某类图像识别处理方法很难保证检测评估的准确性和全面性。为实现高效且高质量的工件表面缺陷检测，急需发明一种快速响应、功能全面、系统完善、高度智能的智能缺陷检测系统及方法，利用该系统与方法既能有效保证检测的实时性，又能全面系统的展示和评估检测结果。
发明内容
本发明目的在于提供一种基于机器视觉的实时工件表面缺陷检测评价系统及方法，该系统及方法通过机器视觉、深度学习、人机交互和无线通讯等技术实现远程实时评价工件表面质量，并对所存在的问题及时产生对应分析报告以供工作人员进行合理解决。有效解决了当下工件表面缺陷检测系统功能单一，适应性不强的问题。
本发明解决其技术问题所采用的技术方案是：
基于机器视觉的实时工件表面缺陷检测评价系统及方法，其特征在于：系统包括图像采集平台、无线传输平台、检测处理平台、可视化监控平台；
所述图像采集平台，包含信息捕捉模块和环境配置模块，系统硬件主要组成为工业相机，光源及数字控制器，所述工业相机用来实时拍摄/捕捉待检测工件表面图像，获取图像信息；所述光源及数字控制器用来调整拍摄环境参数，确保拍摄质量；该平台用于实时采集工件表面图像信息；
所述无线传输平台，包含发射模块和接收模块，系统硬件主要组成为主控机，开发板及AD/DA解码编码芯片；所述开发板主要完成图像格式转换，连接系统各个重要组成芯片，并且合成相应的控制信号；所述主控机完成对AD/DA解码编码芯片的初始化；所述AD/DA解码编码芯片分别完成图像解码和编码；该平台用于实现图像采集平台与可视化监控平台之间的无线信息传输；
所述检测处理平台，包含数据存储模块、实时检测模块和自主学习模块，系统硬件主要为运算服务器，储存硬盘；所述数据存储模块用于存储检测处理算法模型，实时传输的图像及对应的检测结果与质量报告；所述实时检测模块用于读取实时传输的图像信息及运行对应的检测处理算法模型，并生成缺陷标注信息和工件表面质量评估报告；所述自主学习模块用于对一定时间周期内数据存储模块中检测结果与质量报告进行分析生成检测准确性报告，并将所储存的图像进行重新标注以不断扩充检测算法模型训练集用来重新训练更新获得更为准确的检测模型权重，提高检测准确率；该平台用于实现对实时采集的图像中缺陷进行分类、定位、尺度量化及质量评估；
所述可视化监控平台，包含检测效果展示模块及控制指令生成模块，系统硬件主要为液晶触控面板及远程监控主机组合在一起的触控显示一体机，且与检测处理平台相连接，所述检测效果展示模块用于展示检测处理平台处理后得到的实时图像的缺陷检测结果、工件表面质量评估报告及一定作业时间周期内的缺陷检测准确性报告；所述控制指令生成模块，用于通过触控面板调整相机位置及数字控制器，保证高质量的图像采集质量；该平台用于将基于实时图像得到的检测分析结果可视化，并远程控制调整拍摄环境，确保图像采集质量；
基于机器视觉的实时工件表面缺陷检测评价方法，包括以下步骤：
步骤1：接通工件表面缺陷检测系统电源，图像采集平台开始工作，液晶触控面板显示实时图像信息，展示检测调试界面，通过触控面板上的调整按键分别远程调节相机位置，光源位置与强度，保证图像采集质量；
步骤2：检测调试完成后，点击触控面板上的检测处理按钮启动检测处理平台，进入检测处理界面，通过触控面板上的“算法模型”按键可查看预存的算法模型库，并基于检测对象及目标调用已经训练好的指定检测处理算法模型，点击确定后，指定算法模型被调用，此时检测评价功能与自主学习功能启动；
步骤3：作业开始，实时图像中的缺陷信息将被检测标注，并生成对应时刻所拍摄工件表面的质量评估报告，在每一定作业时间周期结束后，缺陷检测准确性报告也将被展示；
步骤4：每一定作业时间周期内的图像信息将被扩充为训练样本集并在下一个作业时间周期内对所采用的检测算法模型进行重新训练，获得新的训练权重并更新应用于下下一个作业时间周期内的同个检测算法模型；
步骤5：多个连续作业时间周期后，若连续多份缺陷检测准确性报告所报告的检测性能评价指标低于设定标准值，液晶触控面板将弹出红色警告窗口，提醒工作人员中断作业；
步骤6：作业中断后，工作人员操作液晶触控面板退出检测处理界面以暂停运行检测处理平台，在检测调试界面重新调整图像拍摄环境，调试完成后继续进入检测处理界面，调用其他可行算法模型，重新开始检测；
步骤7：重复步骤3-6，直到作业完成/检测任务结束，关闭工件表面缺陷检测系统电源。
进一步地，所述用于控制信号和图像数据传输的无线传输平台部署在图像采集平台及可视化监控平台上，传输的有效距离不小于100米，最高延时不大于0.05秒。
进一步地，所述检测处理算法模型是由缺陷检测算法模型，图像分割算法模型与量化评估算法模型组合后层次递进而实现，首先缺陷检测算法模型对实时采集的整张图片信息基于指定缺陷对象进行识别，对检测出的缺陷对象生成目标框及分类名标注，并展示在可视化监控平台中；随后图像分割算法模型对目标检测后具备分类标签的目标框进行裁剪，裁剪后的图片将存储到指定文件夹；最后量化评估算法模型对图像分割后指定文件夹中裁剪得到的缺陷图片进行遍历量化处理，生成包含各缺陷量化参数及评估指标信息的工件表面质量评估报告表储存于该指定文件夹中，并展示在可视化监控平台中。
本发明的有益效果为：
1、所设计的基于机器视觉的实时工件表面缺陷检测评价系统，充分利用无线通讯的优势，可远程监督与调控检测环境，保证了检测工作进行的安全性和便捷性。
2、所设计的检测处理平台，在实时实现工件表面缺陷分类、定位、尺度量化及质量评估的可视化，保证了缺陷检测工作的全能化的同时，还具备自主学习功能，保证了检测工作的智能化。
3、所设计的检测处理算法模型框架，合理集成组合各算法模型，通过对目标检测后带有缺陷的目标框进行裁剪作为缺陷量化评估算法模型的输入，而不是将整张图片作为输入，极大的降低了语义分割计算量，减少了量化评估处理时间，保证了检测功能的实时性。
综上，所提出的基于机器视觉的实时工件表面缺陷检测评价系统及方法在保证实时性的同时实现了高安全性、高便捷性、高智能化和全能化的工件表面缺陷检测作业。为工件表面缺陷检测系统及方法的升级提供了新思路。
附图说明
图1是基于机器视觉的实时工件表面缺陷检测评价系统布局图
图2是基于机器视觉的实时工件表面缺陷检测评价系统控制整体框图；
图3是自主学习模块与实时检测模块交互关系图(以前三个工作时间周期示例)；
图4是实时检测模块运行逻辑图；
图5是基于机器视觉的实时工件表面缺陷检测评价方法流程图
具体实施方式
下面结合附图对本发明作进一步描述。
如图1所示，本实施例的基于机器视觉的实时工件表面缺陷检测评价系统，包括用于实时采集高质量图像信息的图像采集平台1、用于控制信号和图像信息传输的无线传输平台2、用于对采集的工件表面图像进行缺陷检测并出具检测分析结果的检测处理平台3、用于将检测分析结果可视化，并远程调控拍摄环境的可视化监控平台4。所述图像采集平台1中光源101和工业相机102分别平行工件表面/切面沿一定距离前后装配在检测台架上，数字控制器103安装在检测台架侧面固定支架上，并分别与光源101和工业相机102相连，用于控制图像采集环境参数。所述无线传输平台2中无线传输装置201分别安装在图像采集平台中数字控制器103和可视化监控平台4的触控显示一体机401内。所述检测处理平台3中运算服务器301与可视化监控平台触控显示一体机401相连，接收实时采集的图像信息，并反馈对应检测评价信息。所述可视化监控平台4中触控显示一体机401实时展示所接收的图像信息与检测评价信息，并生成控制指令远程发送给图像采集平台1。
图2为基于机器视觉的实时工件表面缺陷检测评价系统控制整体框图，首先图像采集平台通过无线传输平台发送实时图像信息给可视化监控平台，经过触控显示一体机主机处理后同时将信息传输给液晶触控面板用于展示和传输给检测处理平台进行检测运算并返回检测处理得到的检测评价信息，在获得检测评价信息后，可由工作人员根据需要，操作液晶显示面板远程调控图像采集平台硬件。
图3为检测处理平台中自主学习模块与实时检测模块交互关系图，以前三个工作时间周期为例，在第一个工作时间周期内，实时检测模块收到实时采集的图像信息并调用对应的检测算法测试模型后即开始对每张采集图片(f1 0，f2 0...fn 0)进行检测处理工作，并生成对应图片的检测评价信息(h1 0，h2 0...hn 0)。同时，自主学习模块启动，与检测算法测试模型网络架构一样且共享同一权重的检测算法训练模型将查询是否存在上阶段检测图片的图片集。由于此时为第一个时间阶段，不存在上一阶段的图片集，则检测算法训练模型不工作。直到该时间周期结束后，所生成对应图片的检测评价信息(h1 0，h2 0...hn 0)被收集至自主学习模块中，并调用检测性能分析算法模型进行分析，获得该时间周期内的检测性能分析报告g0。至此第一个时间周期内检测处理平台中的检测工作结束，定义该阶段所检测的所有图片集合为图片集0。在第二个工作时间周期内，伴随着实时检测模块开始检测工作，由于上一阶段图片集0存在，自动学习模块将调用与检测算法训练模型，实时监测模块中检测处理算法模型的相同权重w0开始基于上一阶段的图片集0开始训练获得新的权重w1。直到该时间周期结束后，除了获得该时间周期内的检测性能分析报告g0外，自动学习模块还将采用获得的检测算法模型新权重对上一阶段权重进行覆盖处理，用于下一阶段检测算法训练模型与检测算法测试模型调用。至此第二个时间周期内检测处理平台中的检测工作结束，定义该阶段所检测的所有图片集合为图片集1，在下一时间周期将重复上一周期的检测处理操作。
图4为实时检测模块算法模型运行逻辑图，对于输入的图片信息，首先经过目标检测模型识别指定缺陷对象，并对检测出的缺陷对象生成目标框及分类名标注；随后图像分割算法模型对目标检测后具备分类标签的目标框进行裁剪；最后量化评估算法模型对图像裁剪后小范围缺陷图片进行遍历量化处理，生成包含各缺陷量化参数及评估指标信息的工件表面质量评估报告。
图5为基于机器视觉的实时工件表面缺陷检测评价方法流程图，包括以下步骤：
步骤1：接通工件表面缺陷检测系统电源，图像采集平台开始工作，液晶触控面板显示实时图像信息，展示检测调试界面，通过触控面板上的调整按键分别远程调节相机位置，光源位置与强度，保证图像采集质量；
步骤2：检测调试完成后，点击触控面板上的检测处理按钮启动检测处理平台，进入检测处理界面，通过触控面板上的“算法模型”按键可查看预存的算法模型库，并基于检测对象及目标调用已经训练好的指定检测处理算法模型，点击确定后，指定算法模型被调用，此时检测评价功能与自主学习功能启动；
步骤3：作业开始，实时图像中被检测标注的缺陷信息、对应时刻所拍摄工件表面的质量评估报告及每一定作业时间周期结束后的缺陷检测准确性报告等检测评价信息均被展示在触控面板上；
步骤4：每30min内的图像信息将被扩充为训练样本集并在下一个30min内，采用与检测处理测试模型相同网络结构且共享同一权重的检测算法训练模型进行重新训练，获得新的训练权重并更新应用于下下一个30min内的同个检测处理算法测试模型；
步骤5：若连续5份缺陷检测准确性报告所报告的检测准确性与召回率低于设定标准值，则系统判定检测状态异常，液晶触控面板将弹出红色警告窗口，提醒工作人员中断作业；
步骤6：作业中断后，工作人员操作液晶触控面板退出检测处理界面以暂停运行检测处理平台，在检测调试界面重新调整图像拍摄环境，调试完成后继续进入检测处理界面，调用其他可行算法模型，重新开始检测；
步骤7：重复步骤3-6，直到作业完成/检测任务结束，关闭工件表面缺陷检测系统电源。
本发明所述的基于机器视觉的实时工件表面缺陷检测评价系统及方法，一方面，所设计的基于机器视觉的实时工件表面缺陷检测评价系统，充分利用无线通讯的优势，可远程监督与调控图像采集环境，保证了检测工作进行的安全性和便捷性。另一方面，所设计的检测处理平台，充分集成了当下检测评估功能，通过各算法模型的合理搭配组合，可实时实现工件表面缺陷分类、定位、尺度量化及质量评估的可视化，并在保证了缺陷检测工作的全能化的同时，还具备自主学习功能，保证了检测工作的智能化。
综上，所提出的基于机器视觉的实时工件表面缺陷检测评价系统及方法在保证实时性的同时实现了高安全性、高便捷性、高智能化和全能化的工件表面缺陷检测评价作业。为工件表面缺陷检测系统及方法的升级提供了新思路。上面结合附图对本发明的实例进行了描述，但本发明不局限于上述具体的实施方式，上述的具体实施方式仅是示例性的，不是局限性的，任何不超过本发明权利要求的发明创造，均在本发明的保护之内。
Claims (3)
1.基于机器视觉的实时工件表面缺陷检测评价方法，其特征在于包括基于机器视觉的实时工件表面缺陷检测评价系统，系统包括图像采集平台、无线传输平台、检测处理平台、可视化监控平台；
所述图像采集平台，包含信息捕捉模块和环境配置模块，系统硬件主要组成为工业相机，光源及数字控制器，所述工业相机用来实时拍摄/捕捉待检测工件表面图像，获取图像信息；所述光源及数字控制器用来调整拍摄环境参数，确保拍摄质量；该平台用于实时采集工件表面图像信息；
所述无线传输平台，包含发射模块和接收模块，系统硬件主要组成为主控机，开发板及AD/DA解码编码芯片；所述开发板主要完成图像格式转换，连接系统各个重要组成芯片，并且合成相应的控制信号；所述主控机完成对AD/DA解码编码芯片的初始化；所述AD/DA解码编码芯片分别完成图像解码和编码；该平台用于实现图像采集平台与可视化监控平台之间的无线信息传输；
所述检测处理平台，包含数据存储模块、实时检测模块和自主学习模块，系统硬件主要为运算服务器，储存硬盘；所述数据存储模块用于存储检测处理算法模型，实时传输的图像及对应的检测结果与质量报告；所述实时检测模块用于读取实时传输的图像信息及运行对应的检测处理算法模型，并生成缺陷标注信息和工件表面质量评估报告；所述自主学习模块用于对一定时间周期内数据存储模块中检测结果与质量报告进行分析生成检测准确性报告，并将所储存的图像进行重新标注以不断扩充检测算法模型训练集用来重新训练更新获得更为准确的检测模型权重，提高检测准确率；该平台用于实现对实时采集的图像中缺陷进行分类、定位、尺度量化及质量评估；
所述可视化监控平台，包含检测效果展示模块及控制指令生成模块，系统硬件主要为液晶触控面板及远程监控主机组合在一起的触控显示一体机，且与检测处理平台相连接，所述检测效果展示模块用于展示检测处理平台处理后得到的实时图像的缺陷检测结果、工件表面质量评估报告及一定作业时间周期内的缺陷检测准确性报告；所述控制指令生成模块，用于通过触控面板调整相机位置及数字控制器，保证高质量的图像采集质量；该平台用于将基于实时图像得到的检测分析结果可视化，并远程控制调整拍摄环境，确保图像采集质量；
基于机器视觉的实时工件表面缺陷检测评价方法包括以下步骤：
步骤1：接通工件表面缺陷检测系统电源，图像采集平台开始工作，液晶触控面板显示实时图像信息，展示检测调试界面，通过触控面板上的调整按键分别远程调节相机位置，光源位置与强度，保证图像采集质量；
步骤2：检测调试完成后，点击触控面板上的检测处理按钮启动检测处理平台，进入检测处理界面，通过触控面板上的“算法模型”按键可查看预存的算法模型库，并基于检测对象及目标调用已经训练好的指定检测处理算法模型，点击确定后，指定算法模型被调用，此时检测评价功能与自主学习功能启动；
步骤3：作业开始，实时图像中的缺陷信息将被检测标注，并生成对应时刻所拍摄工件表面的质量评估报告，在每一定作业时间周期结束后，缺陷检测准确性报告也将被展示；
步骤4：每一定作业时间周期内的图像信息将被扩充为训练样本集并在下一个作业时间周期内对所采用的检测算法模型进行重新训练，获得新的训练权重并更新应用于下下一个作业时间周期内的同个检测算法模型；
步骤5：多个连续作业时间周期后，若连续多份缺陷检测准确性报告所报告的检测性能评价指标低于设定标准值，液晶触控面板将弹出红色警告窗口，提醒工作人员中断作业；
步骤6：作业中断后，工作人员操作液晶触控面板退出检测处理界面以暂停运行检测处理平台，在检测调试界面重新调整图像拍摄环境，调试完成后继续进入检测处理界面，调用其他可行算法模型，重新开始检测；
步骤7：重复步骤3-6，直到作业完成/检测任务结束，关闭工件表面缺陷检测系统电源。
2.根据权利要求1所述的基于机器视觉的实时工件表面缺陷检测评价方法，其特征在于：
所述用于控制信号和图像数据传输的无线传输平台部署在图像采集平台及可视化监控平台上，传输的有效距离不小于100米，最高延时不大于0.05秒。
3.根据权利要求1所述的基于机器视觉的实时工件表面缺陷检测评价方法，其特征在于：
所述检测处理算法模型是由缺陷检测算法模型，图像分割算法模型与量化评估算法模型组合后层次递进而实现，首先缺陷检测算法模型对实时采集的整张图片信息基于指定缺陷对象进行识别，对检测出的缺陷对象生成目标框及分类名标注，并展示在可视化监控平台中；随后图像分割算法模型对目标检测后具备分类标签的目标框进行裁剪，裁剪后的图片将存储到指定文件夹；最后量化评估算法模型对图像分割后指定文件夹中裁剪得到的缺陷图片进行遍历量化处理，生成包含各缺陷量化参数及评估指标信息的工件表面质量评估报告表储存于该指定文件夹中，并展示在可视化监控平台中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210754869.XA CN115184361B (zh) | 2022-06-30 | 2022-06-30 | 基于机器视觉的实时工件表面缺陷检测评价系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210754869.XA CN115184361B (zh) | 2022-06-30 | 2022-06-30 | 基于机器视觉的实时工件表面缺陷检测评价系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115184361A CN115184361A (zh) | 2022-10-14 |
| CN115184361B true CN115184361B (zh) | 2023-11-24 |
Family
ID=83514471
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210754869.XA Active CN115184361B (zh) | 2022-06-30 | 2022-06-30 | 基于机器视觉的实时工件表面缺陷检测评价系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115184361B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114594103B (zh) * | 2022-04-12 | 2023-05-16 | 四川大学 | 核工业设备表面缺陷自动检测及报告自动生成方法及系统 |
| CN115842848B (zh) * | 2023-03-01 | 2023-04-28 | 成都远峰科技发展有限公司 | 一种基于工业物联网的动态监控系统及其控制方法 |
| CN116223529A (zh) * | 2023-05-09 | 2023-06-06 | 张家港大裕橡胶制品有限公司 | 一种膜压手套生产的智能检测方法及系统 |
| CN117152052B (zh) * | 2023-06-01 | 2024-02-20 | 中南大学 | 一种面向工业图像质量的智能反馈控制方法与系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109859171A (zh) * | 2019-01-07 | 2019-06-07 | 北京工业大学 | 一种基于计算机视觉和深度学习的楼面缺陷自动检测方法 |
| CN111539923A (zh) * | 2020-04-17 | 2020-08-14 | 西安数合信息科技有限公司 | 一种焊缝缺陷的数字射线检测方法、系统及服务器 |
| CN111879972A (zh) * | 2020-08-19 | 2020-11-03 | 青岛理工大学 | 基于ssd网络模型的工件表面缺陷检测方法及系统 |
| CN113030108A (zh) * | 2021-03-08 | 2021-06-25 | 哈尔滨工程大学 | 一种基于机器视觉的涂层缺陷检测系统与方法 |
| CN114638784A (zh) * | 2022-02-17 | 2022-06-17 | 中南大学 | 一种基于fe-yolo的铜管表面缺陷检测方法及装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220122243A1 (en) * | 2018-02-19 | 2022-04-21 | Blancco Technology Group IP Oy | System and method for detection of mobile device fault conditions |
| US11468288B2 (en) * | 2020-07-28 | 2022-10-11 | Oken Technologies, Inc. | Method of and system for evaluating consumption of visual information displayed to a user by analyzing user's eye tracking and bioresponse data |
-
2022
- 2022-06-30 CN CN202210754869.XA patent/CN115184361B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109859171A (zh) * | 2019-01-07 | 2019-06-07 | 北京工业大学 | 一种基于计算机视觉和深度学习的楼面缺陷自动检测方法 |
| CN111539923A (zh) * | 2020-04-17 | 2020-08-14 | 西安数合信息科技有限公司 | 一种焊缝缺陷的数字射线检测方法、系统及服务器 |
| CN111879972A (zh) * | 2020-08-19 | 2020-11-03 | 青岛理工大学 | 基于ssd网络模型的工件表面缺陷检测方法及系统 |
| CN113030108A (zh) * | 2021-03-08 | 2021-06-25 | 哈尔滨工程大学 | 一种基于机器视觉的涂层缺陷检测系统与方法 |
| CN114638784A (zh) * | 2022-02-17 | 2022-06-17 | 中南大学 | 一种基于fe-yolo的铜管表面缺陷检测方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| Huang, WZ 等.The detection of defects in ceramic cell phone backplane with embedded system.MEASUREMENT.2021,全文. * |
| 顾旭.基于视觉的工件表面质量检测系统的设计与实现.中国硕士学位论文集.2021,全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115184361A (zh) | 2022-10-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115184361B (zh) | 基于机器视觉的实时工件表面缺陷检测评价系统及方法 | |
| WO2017084186A1 (zh) | 挠性电路板制造过程自动监测和智能分析系统及方法 | |
| CN109584227A (zh) | 一种基于深度学习目标检测算法的焊点质量检测方法及其实现系统 | |
| CN104956339B (zh) | 从视频生成软件测试脚本 | |
| CN110865917A (zh) | 基于ar技术的电力机房巡检作业方法、系统及应用 | |
| CN112016409A (zh) | 一种基于深度学习的工步规范视觉识别判定方法及系统 | |
| CN109638959B (zh) | 基于ar和深度学习的电力设备遥信功能调试方法及系统 | |
| CN112966772A (zh) | 一种多人在线的图像半自动标注方法及系统 | |
| CN107092913A (zh) | 一种喷印字符在线识别及交互式后处理系统及方法 | |
| CN113642474A (zh) | 一种基于yolov5的危险区域人员监控方法 | |
| KR102543064B1 (ko) | Ｒｐａ 기반 제조환경 모니터링 서비스 제공 시스템 | |
| US11947345B2 (en) | System and method for intelligently monitoring a production line | |
| US11443513B2 (en) | Systems and methods for resource analysis, optimization, or visualization | |
| CN113319462A (zh) | 一种基于边云协同的焊接机器人管控方法和装置 | |
| CN112687022A (zh) | 一种基于视频的智能楼宇巡检方法及系统 | |
| CN113838015B (zh) | 一种基于网络协同的电器产品外观缺陷检测方法 | |
| CN108965762A (zh) | 一种监控视频存储方法 | |
| CN116976865B (zh) | 基于大数据分析的船舶维修器件调配管理系统 | |
| CN110163084A (zh) | 操作员动作监督方法、装置及电子设备 | |
| CN102340179B (zh) | 网络型多站监控集成矩阵显示控制系统 | |
| CN211604116U (zh) | 一种投影式增强现实紧固件装配引导及检测装置 | |
| CN113050501A (zh) | 一种车间虚拟监控系统及服务终端 | |
| CN115562191B (zh) | 基于工业数字孪生的生产力中台智能推测分析方法 | |
| CN117037059A (zh) | 基于巡检监控的设备管理方法、装置及电子设备 | |
| CN116840240A (zh) | 电源分配器视觉检测系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |