CN117173151B - 一种长型钢材的外表面缺陷视觉识别装置、方法及系统 - Google Patents
一种长型钢材的外表面缺陷视觉识别装置、方法及系统 Download PDFInfo
- Publication number
- CN117173151B CN117173151B CN202311239032.2A CN202311239032A CN117173151B CN 117173151 B CN117173151 B CN 117173151B CN 202311239032 A CN202311239032 A CN 202311239032A CN 117173151 B CN117173151 B CN 117173151B
- Authority
- CN
- China
- Prior art keywords
- defect
- steel
- image
- defects
- line scanning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 171
- 229910000831 Steel Inorganic materials 0.000 title claims abstract description 133
- 239000010959 steel Substances 0.000 title claims abstract description 133
- 230000000007 visual effect Effects 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000001514 detection method Methods 0.000 claims abstract description 40
- 230000008859 change Effects 0.000 claims abstract description 31
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 15
- 238000004458 analytical method Methods 0.000 claims abstract description 8
- 238000000605 extraction Methods 0.000 claims abstract description 7
- 230000007246 mechanism Effects 0.000 claims description 53
- 230000003287 optical effect Effects 0.000 claims description 40
- 238000013016 damping Methods 0.000 claims description 20
- 238000005507 spraying Methods 0.000 claims description 14
- 239000000463 material Substances 0.000 claims description 12
- 230000011218 segmentation Effects 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 6
- 239000007921 spray Substances 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 5
- 230000000903 blocking effect Effects 0.000 claims description 4
- 238000007635 classification algorithm Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 238000003066 decision tree Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 230000001172 regenerating effect Effects 0.000 claims description 3
- 238000003708 edge detection Methods 0.000 claims description 2
- 238000012067 mathematical method Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 4
- 238000013135 deep learning Methods 0.000 abstract description 3
- 230000004927 fusion Effects 0.000 abstract description 2
- 230000002441 reversible effect Effects 0.000 abstract description 2
- 238000004519 manufacturing process Methods 0.000 description 15
- 230000002950 deficient Effects 0.000 description 5
- 230000002829 reductive effect Effects 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000005498 polishing Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000003908 quality control method Methods 0.000 description 3
- 230000035939 shock Effects 0.000 description 3
- 208000003464 asthenopia Diseases 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 238000010924 continuous production Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000000227 grinding Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000003754 machining Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 206010039509 Scab Diseases 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000003705 background correction Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000003850 cellular structure Anatomy 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000000827 velocimetry Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明公开了一种长型钢材的外表面缺陷视觉识别装置、方法及系统,属于图像处理技术领域,具体包括:基于2D与3D视觉融合的机器视觉原理,通过沿着钢材周向分布的多个3D线扫传感器进行连续的钢材外表面三维点云采集,通过对钢材的外表面进行三维逆向建模,通过物理尺寸的变化进行缺陷的初步提取;通过采集各种缺陷的钢材表面缺陷图像,对每一种缺陷进行特征分析,建立缺陷图像数据库,通过与2D相机拍摄的目标图片,基于改进Unet模型的深度学习网络算法的钢材表面缺陷检测系统,检测钢材表面微弱和尺度变化的缺陷;本发明能够达到更高的检测精度,大幅降低漏检率。
Description
技术领域
本发明涉及图像处理技术领域,具体涉及一种长型钢材的外表面缺陷视觉识别装置、方法及系统。
背景技术
在生产过程中,棒材、圆钢、钢管、H型钢等长型钢材(以下简称长材或钢材)存在外表面缺陷的缺陷品。为了防止不合格品的外发风险,需对其外表面缺陷进行逐一检测,是产品质量管控的必要手段。传统生产过程中,对于外表面缺陷的检测均依靠人工测量。
外表面缺陷检测是产线设置专门的人工质检台架,因长材的长度较长(单根长度在十几米),质检工位需多人同时对全长的缺陷进行分段检查,并需要对待检物料进行360°全向旋转。发现缺陷时,人工将有缺陷的位置进行标记,再把缺陷的物料手动翻转到修磨区域进行修磨。此种检测方式,人员占用很多,且对检测人员的专业技能、熟练程度等都有很高要求;并且钢材生产企业是24H不间断生产,人员极易出现视觉疲劳,发生缺陷品的漏检,造成不良品外发的风险。
因此,开发一套在线自动检测外表面缺陷的检测装备,对于钢铁生产企业的质量管控与自动化生产具有非常重要的意义,可帮助企业实现减员增效和质量管控闭环,提高企业的竞争优势。
发明内容
本发明的目的在于提供一种长型钢材的外表面缺陷视觉识别装置、方法及系统,解决以下技术问题:
现有钢材检测方法人员占用很多,且对检测人员的专业技能、熟练程度等都有很高要求;并且钢材生产企业是24H不间断生产,人员极易出现视觉疲劳,发生缺陷品的漏检,造成不良品外发的风险。
本发明的目的可以通过以下技术方案实现:
一种长型钢材的外表面缺陷视觉识别装置,其特征在于,包括光学减震平台、3D线扫传感器对中机构、3D线扫传感器机构、钢材测速机构、缺陷点喷标机构;
所述光学减震平台包括独立基座,所述独立基座表面设置有减震基座,所述减震基座顶部固定连接有固定板;
所述3D线扫传感器对中机构包括升降基座,所述升降基座与所述固定板的一侧固定连接,所述升降基座内部固定设置有伺服电机,所述伺服电机的输出端设置有丝杠,所述丝杠外围活动套设有螺母滑块,所述螺母滑块侧面固定连接有弧形的固定大板;
所述3D线扫传感器机构包括四个连接块,四个所述连接块等距设置于所述固定大板内侧,所述连接块相互靠近的一侧分别固定连接有光学直线滑台,所述光学直线滑台表面滑动连接有光学角度摆台,所述光学角度摆台表面转动连接有光学旋转台,所述光学旋转台表面转动连接有3D线扫传感器;
所述钢材测速机构包括固定设置于所述独立基座表面的承重座,所述承重座顶部转动连接有辊轮,所述辊轮用于与钢材接触,所述辊轮内设置有编码器,所述编码器用于测量钢材移动速度;
所述缺陷点喷标机构包括连接板,所述连接板固定连接于所述固定大板的一侧,所述连接板的一端固定连接有喷头。
一种长型钢材的外表面缺陷视觉识别方法,应用于上述的一种长型钢材的外表面缺陷视觉识别装置,包括以下步骤:
采集已知的钢材表面缺陷图像样本,对每一种缺陷进行特征分析,建立缺陷图像数据库;
在钢材移动经过光学减震平台时,调整3D线扫传感器对中机构对准钢材,由3D线扫传感器采集覆盖范围内的钢材分段若干个角度的平面图像,根据所述平面图像建立钢材分段的三维模型;
通过所述三维模型获取当前分段钢材的尺寸数据,当钢材移动时,检测到尺寸数据发生变化,则记录下变化点的时间坐标,根据钢材测速机构测量钢材移动速度,并通过变化点的时间坐标确定变化点位置,通过缺陷点喷标机构标记变化点位置,并命名为缺陷待定区域位置;
采集所述缺陷待定区域的目标图像,对所述目标图像进行预处理,对经过预处理后的目标图像进行特征提取,基于所述缺陷图像数据库和改进的Unet模型建立缺陷识别模型,将所述目标图像输入至所述缺陷识别模型,输出缺陷识别分类结果。
作为本发明进一步的方案:所述的改进的Unet模型包括:
所述Unet模型基于缺陷图像切块进行训练,在提取卷积特征的主干网络中构建预先设置的结构参数,提取多尺度多层次特征,将同层高度的编码的梯度、点、线直接连接到同层的解码器中,并通过跳层连接提供通道,同时保留浅层精细信息和深层语义信息,通过注意力机制综合中间输出。
作为本发明进一步的方案:所述图像预处理包括对图像背景光源校正;通过低通滤波边缘检测将图像边缘细节滤除;对图像进行灰度变化,达到预设的图像动态范围;应用阈值分割算法和分水岭分割算法,将图像分成若干个具有类似特性的区域,所述特性包括颜色、纹理、密度。
作为本发明进一步的方案:所述图像背景光源校正的过程为:
将目标图像分割成互相重叠的图像块,获取任一图像块与相邻图像块之间的均方误差s和平均绝对误差e,计算s与e的相加之和Sum,根据Sum对图像块进行非支配排序,将排序靠前的n个图像块组成若干个矩阵,n为正整数,使用不同的参数对矩阵的奇异值收缩,得到低秩矩阵,获取低秩矩阵的奇异值,将若干个奇异值中较小的数值过滤掉,将得到的目标图像块重新生成为完整的目标图像。
作为本发明进一步的方案:所述特征提取的特征包括直观性特征、灰度统计特征、变换域特征、几何特征、代数特征、拓扑特征,并通过数学方法降低模式维数,识别有效特征;
其中,所述几何特征包括目标区域的面积、周长、最小外接矩形、密集度和形态比、轮廓、欧拉数;所述灰度统计特征为目标区域的灰度分布信息。
作为本发明进一步的方案:对特征进行分类的过程为:
融合BP神经网络分类算法和决策树分裂算法将缺陷分为所属类别,包括数据采集、特征提取和分类识别。
一种长型钢材的外表面缺陷视觉识别系统,用于实施上述的一种长型钢材的外表面缺陷视觉识别装置,包括:
缺陷图像数据库,用于采集各种缺陷的钢材表面缺陷图像,对每一种缺陷进行特征分析;
三维构建模块,用于在钢材移动经过光学减震平台时,通过3D线扫传感器对中机构对准钢材,由3D线扫传感器机构实时获取3D线扫传感器覆盖范围内钢材分段若干个方向的图像,建立钢材分段的三维模型;
缺陷预识别模块,用于通过所述三维模型获取当前分段钢材的尺寸数据,当钢材移动时,检测到尺寸数据发生变化,则记录下变化点的时间坐标,根据钢材测速机构获取钢材移动速度,并记录下当前时间坐标确定缺陷待定区域位置,通过缺陷点喷标机构标记缺陷待定区域;
缺陷检测模块,用于采集所述缺陷待定区域的目标图像,对所述目标图像进行预处理,对经过预处理后的目标图像进行特征提取,并对提取到的特征进行分类,基于所述缺陷图像数据库和改进的Unet模型建立缺陷识别模型,将所述目标图像输入至所述缺陷识别模型,输出缺陷识别结果。
本发明的有益效果:
(1)本发明检测装置基于2D与3D视觉融合的机器视觉原理,通过沿着钢材周向分布的多个3D线扫传感器进行连续的钢材外表面三维点云采集,通过对钢材的外表面进行三维逆向建模,通过物理尺寸的变化进行缺陷的初步提取;通过与2D相机拍摄的表征图片,基于自学习算法模型,对缺陷进一步判定和分类;
(2)本发明针对钢材表面缺陷类型多样,变化尺度和背景噪声大等特点,研发了基于改进Unet模型的深度学习网络算法的钢材表面缺陷检测系统,能够快速鲁棒地检测钢材表面微弱和尺度变化的缺陷,能够达到更高的检测精度,大幅降低漏检率。
附图说明
下面结合附图对本发明作进一步的说明。
图1是本发明一种长型钢材的外表面缺陷视觉识别装置的流程示意图;
图2是本发明表面缺陷检测系统的流程示意图;
图3是本发明Unet模型的架构示意图;
图4是本发明一种长型钢材的外表面缺陷视觉识别装置的结构示意图;
图5是本发明光学减震平台的结构示意图;
图6是本发明3D线扫传感器对中机构的结构示意图;
图7是本发明3D线扫传感器机构的结构示意图;
图8是本发明钢材测速机构的结构示意图;
图9是本发明缺陷点喷标机构的结构示意图;
图10是本发明3D线扫传感器对中机构的剖面示意图。
图中:1、减震基座;2、固定板;3、独立基座;4、固定大板;5、丝杠;6、螺母滑块;7、升降基座;8、伺服电机;9、3D线扫传感器;10、光学旋转台;11、光学角度摆台;12、光学直线滑台;13、连接块;14、承重座;15、编码器;16、辊轮;17、喷头;18、连接板。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
请参阅图1-10所示,本发明为一种长型钢材的外表面缺陷视觉识别装置、方法及系统,包括光学减震平台C01、3D线扫传感器对中机构C02、3D线扫传感器机构C03、钢材测速机构C04、缺陷点喷标机构C05、表面缺陷检测系统C06;
所述光学减震平台包括独立基座3,所述独立基座3表面设置有减震基座1,所述减震基座1顶部固定连接有固定板2;
所述3D线扫传感器对中机构包括升降基座7,所述升降基座7与所述固定板2的一侧固定连接,所述升降基座7内部固定设置有伺服电机8,所述伺服电机8的输出端设置有丝杠5,所述丝杠5外围活动套设有螺母滑块6,所述螺母滑块6侧面固定连接有弧形的固定大板4;
所述3D线扫传感器机构包括四个连接块13,四个所述连接块13等距设置于所述固定大板4内侧,所述连接块13相互靠近的一侧分别固定连接有光学直线滑台12,所述光学直线滑台12表面滑动连接有光学角度摆台11,所述光学角度摆台11表面转动连接有光学旋转台10,所述光学旋转台10表面转动连接有3D线扫传感器9;
所述钢材测速机构包括固定设置于所述独立基座3表面的承重座14,所述承重座14顶部转动连接有辊轮16,所述辊轮16用于与钢材接触,所述辊轮16内设置有编码器15,所述编码器15用于测量钢材移动速度;
所述缺陷点喷标机构包括连接板18,所述连接板18固定连接于所述固定大板4的一侧,所述连接板18的一端固定连接有喷头17。
第一部分:光学减震平台C01,为了保证检测精度,需要检测设备减少现场工况的影响,检测设备设有独立基础,并且设备整体采用光学减震平台作为基准,可有效减少外部环境对检测精度的影响,提高设备本体的稳定性,同时保证设备的重复检测精度;光学减震平台内部采用蜂窝状的结构,可吸收大部分机械振动,基准面经过磨床磨削,加工精度极高,安装面的平行度、平面度以及与侧边的垂直度均能保证极佳的检测性能,并且光学减震平台易安装,方便后续设备的调整与维护。
第二部分:3D线扫传感器对中装置C02,在钢材实际生产过程中,涉及的规格多,宽度100mm~400mm和高度100mm~350mm,在钢材到达检测工位前,设备根据二级的生产规格信息,自动调整最佳的检测状态,待钢材通过时,可覆盖表面的任何位置,保证钢材全域的实时扫描;高度调整采用伺服闭环,实现高度方向上的精准控制。
第三部分:3D线扫传感器装置C03,集成化的3D线扫传感器固定于光学调整平台上,根据光折射的原理,进行同一平面的基准校核,调试完成后,使多组环状分布的3D线扫传感器共处一个基准内,提高设备检测时的整体性和稳定性,进而保证设备的检测精度;光学调节平台支持3个维度的方向调整,减少设备对机械加工的要求,增强设备的容错能力。
第四部分:钢材测速装置C04,检测钢材前进过程中的速度,进而计算缺陷出现的位置,记录保存缺陷坐标,方便现场操作人员查看;触发缺陷喷标装置对可能出现的缺陷处进行喷标,标记的钢材有利于后续的跟踪监测。
第五部分:缺陷点喷标装置C05,沿钢材长度方向进行缺陷处喷标,标记的样式满足后续跟踪监视;喷标装置安装在表面缺陷检测后,对检测的缺陷精准标记,在钢材到达人工修磨工位后,人工再次确认缺陷位是否需要打磨修复或做报废处理。
第六部分:表面缺陷检测系统C06,基于改进Unet模型的表面缺陷检测方法:
Unet为对称语义分割模型,属于FCN的一种变体,属于典型的图像分割模型,它高效、易懂、易构建,且Unet模型能从更少的训练图像中进行学习,这对于少发的缺陷类的检测尤其重要;针对钢材的生产要求,本项目采用钢材通过表面缺陷检测设备,实现钢材表面的缺陷检测;在满足生产节奏(生产节拍≤12s)的前提下,实现了表面缺陷的全面检测功能和生产的无人化、质量数据的实时监测。
一种长型钢材的外表面缺陷视觉识别方法,应用于上述的一种长型钢材的外表面缺陷视觉识别装置,包括以下步骤:
采集已知的钢材表面缺陷图像样本,对每一种缺陷进行特征分析,建立缺陷图像数据库;
在钢材移动经过光学减震平台时,调整3D线扫传感器对中机构对准钢材,由3D线扫传感器采集覆盖范围内的钢材分段若干个角度的平面图像,根据所述平面图像建立钢材分段的三维模型;
通过所述三维模型获取当前分段钢材的尺寸数据,当钢材移动时,检测到尺寸数据发生变化,则记录下变化点的时间坐标,根据钢材测速机构测量钢材移动速度,并通过变化点的时间坐标确定变化点位置,通过缺陷点喷标机构标记变化点位置,并命名为缺陷待定区域位置;
采集所述缺陷待定区域的目标图像,对所述目标图像进行预处理,对经过预处理后的目标图像进行特征提取,基于所述缺陷图像数据库和改进的Unet模型建立缺陷识别模型,将所述目标图像输入至所述缺陷识别模型,输出缺陷识别分类结果。
所述的改进的Unet模型包括:
所述Unet模型基于缺陷图像切块进行训练,在提取卷积特征的主干网络中构建预先设置的结构参数,提取多尺度多层次特征,将同层高度的编码的梯度、点、线直接连接到同层的解码器中,并通过跳层连接提供通道,同时保留浅层精细信息和深层语义信息,通过注意力机制综合中间输出。
Unet模型是一个语义分割模型,其主要执行过程与其它语义分割模型类似,首先利用卷积进行下采样,然后提取出一层又一层的特征,利用这一层又一层的特征,其再进行上采样,最后得出一个每个像素点对应其种类的图像。
Unet模型主要由一个收缩路径和一个对称扩张路径组成,收缩路径用来获得上下文信息,对称扩张路径用来精确定位分割边界。Unet使用图像切块进行训练,所以训练数据量远远大于训练图像的数量,这使得网络在少量样本的情况下也能获得不变性和鲁棒性。但是传统Unet模型无法良好地处理缺陷的多尺度问题,本发明创新提出了改进的Unet模型的缺陷检测算法,在解码的过程中引入了同层跳连接方法,这种方法可以使Unet模型获得更准确的分割结果。
本发明在提取卷积特征的主干网络中构建设置合理的结构参数,充分提取多尺度多层次特征。由于小尺寸缺陷在Unet模型的多次池化后丢失,而浅层特征缺乏充足的语义信息,无法形成良好的缺陷识别效果。因此,本发明将同层高度的编码更精准的梯度、点、线等信息直接连接到同层的解码器中,相当于在判断目标大体区域内添加细节信息,通过跳层连接为同时保留浅层精细信息和深层语义信息提供通道。通过注意力机制充分综合中间输出,使检测模型适用于尺度变化的钢材表面缺陷。
由于钢材表面缺陷图像背景噪声较大,缺陷类型既有较长的划伤、麻点又有较小的凸点、凹点以及毛刺等,各类缺陷的尺度变化范围较大。而一般的深度学习模型使用了多个池化层下采样后再反卷积,导致精确尺寸与位置信息的误差增大、精细尺度特征丢失;因此,本发明针对钢材表面缺陷类型多样,变化尺度和背景噪声大等特点,研发了基于改进Unet模型的深度学习网络算法的钢材表面缺陷检测系统。
本发明提出的方法能够快速鲁棒地检测钢材表面微弱和尺度变化的缺陷,能够达到更高的检测精度,大幅降低漏检率。
众所周知,钢材表面缺陷的样本集较少且发生缺陷的频次较低,本发明通过应用改进的缺陷分类及自学习算法,使设备在很少的缺陷样本数量下即可投入运行(有效检出缺陷100%,漏检率为0,误检率≤2.35%),并快速建立缺陷样本库,提高缺陷的分类效率。
在本发明的一种优选的实施例中,所述图像预处理包括:
原始图像ROI提取:通过前端初步分析的手段来降低数据的后端流量。
图像由于受到限制和随机干扰,对原始图像进行灰度校正、过滤噪声等图像处理操作,将图像中特征有选择突出,衰减其不必要特征,进行图像增强,图像处理的步骤如图:
图像背景校正:消除光源不均匀带来的影响,提高图像质量。
保边缘低通滤波:将图像边缘细节滤除掉。
图像灰度拉伸:图像进行灰度变换,得到合适的图像动态范围。
图像分割处理:综合应用阈值分割算法及分水岭分割算法,将图像分成一些具有类似特性(如颜色、纹理、密度)的区域。
值得注意的是,所述图像背景光源校正的过程为:
将目标图像分割成互相重叠的图像块,获取任一图像块与相邻图像块之间的均方误差s和平均绝对误差e,计算s与e的相加之和Sum,根据Sum对图像块进行非支配排序,将排序靠前的n个图像块组成若干个矩阵,n为正整数,使用不同的参数对矩阵的奇异值收缩,得到低秩矩阵,获取低秩矩阵的奇异值,将若干个奇异值中较小的数值过滤掉,将得到的目标图像块重新生成为完整的目标图像。
在本发明的另一种优选的实施例中,缺陷特征提取及描述:
视觉检测系统用于检测钢材在生产过程中的结疤、清线、划痕、纵向裂缝、横向凹坑、折叠、错辊痕、晶格开裂、耳子、翘皮等。系统可以在生产过程中及时的发现疵点信息,实时反映表面的缺陷信息。
1)表面缺陷特征描述:
特征提取从目标本身获取各种对分类有用的度量或属性,降低特征空间的维数,使训练和决策过程高效快速。特征分为以下几种:直观性特征、灰度统计特征、变换域特征、几何特征、代数特征、拓扑特征。
目标二维几何形状特征:面积和周长、最小外接矩形MER、密集度和形态比、轮廓、欧拉数。
目标不变矩特征:在目标识别和分类中应用广泛,具有旋转、平移、缩放不变形。
目标灰度统计定义:目标区域的灰度分布信息包含缺陷分类所用的必要特征信息。
有效特征选择:通过数学方法降低模式维数,寻找最有效特征。
2)基于缺陷模式的分类算法:
缺陷分类器:融合BP神经网络分类算法和决策树分裂算法将缺陷分为所属类别。主要分为数据采集、特征提取及分类识别三个阶段。
决策理论:利用概率的不同分类决策与相应的决策代价之间的定量折中。贝叶斯决策理论、贝叶斯最优分类器、概率密度函数参数估计。
一种长型钢材的外表面缺陷视觉识别系统,用于实施上述的一种长型钢材的外表面缺陷视觉识别装置,包括:
缺陷图像数据库,用于采集已知的钢材表面缺陷图像样本,对每一种缺陷进行特征分析,建立缺陷图像数据库;
三维构建模块,用于在钢材移动经过光学减震平台时,调整3D线扫传感器对中机构对准钢材,由3D线扫传感器采集覆盖范围内的钢材分段若干个角度的平面图像,根据所述平面图像建立钢材分段的三维模型;
缺陷预识别模块,用于通过所述三维模型获取当前分段钢材的尺寸数据,当钢材移动时,检测到尺寸数据发生变化,则记录下变化点的时间坐标,根据钢材测速机构测量钢材移动速度,并通过变化点的时间坐标确定变化点位置,通过缺陷点喷标机构标记变化点位置,并命名为缺陷待定区域位置;
缺陷检测模块,用于采集所述缺陷待定区域的目标图像,对所述目标图像进行预处理,对经过预处理后的目标图像进行特征提取,基于所述缺陷图像数据库和改进的Unet模型建立缺陷识别模型,将所述目标图像输入至所述缺陷识别模型,输出缺陷识别分类结果。
以上对本发明的一个实施例进行了详细说明,但所述内容仅为本发明的较佳实施例,不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的均等变化与改进等,均应仍归属于本发明的专利涵盖范围之内。
Claims (7)
1.一种长型钢材的外表面缺陷视觉识别装置,其特征在于,包括光学减震平台、3D线扫传感器对中机构、3D线扫传感器机构、钢材测速机构、缺陷点喷标机构;
所述光学减震平台包括独立基座(3),所述独立基座(3)表面设置有减震基座(1),所述减震基座(1)顶部固定连接有固定板(2);
所述3D线扫传感器对中机构包括升降基座(7),所述升降基座(7)与所述固定板(2)的一侧固定连接,所述升降基座(7)内部固定设置有伺服电机(8),所述伺服电机(8)的输出端设置有丝杠(5),所述丝杠(5)外围活动套设有螺母滑块(6),所述螺母滑块(6)侧面固定连接有弧形的固定大板(4);
所述3D线扫传感器机构包括四个连接块(13),四个所述连接块(13)等距设置于所述固定大板(4)内侧,所述连接块(13)相互靠近的一侧分别固定连接有光学直线滑台(12),所述光学直线滑台(12)表面滑动连接有光学角度摆台(11),所述光学角度摆台(11)表面转动连接有光学旋转台(10),所述光学旋转台(10)表面转动连接有3D线扫传感器(9);
所述钢材测速机构包括固定设置于所述独立基座(3)表面的承重座(14),所述承重座(14)顶部转动连接有辊轮(16),所述辊轮(16)用于与钢材接触,所述辊轮(16)内设置有编码器(15),所述编码器(15)用于测量钢材移动速度;
所述缺陷点喷标机构包括连接板(18),所述连接板(18)固定连接于所述固定大板(4)的一侧,所述连接板(18)的一端固定连接有喷头(17)。
2.一种长型钢材的外表面缺陷视觉识别方法,应用于权利要求1所述的一种长型钢材的外表面缺陷视觉识别装置,其特征在于,包括以下步骤:
采集已知的钢材表面缺陷图像样本,对每一种缺陷进行特征分析,建立缺陷图像数据库;
在钢材移动经过光学减震平台时,调整3D线扫传感器对中机构对准钢材,由3D线扫传感器采集覆盖范围内的钢材分段若干个角度的平面图像,根据所述平面图像建立钢材分段的三维模型;
通过所述三维模型获取当前分段钢材的尺寸数据,当钢材移动时,检测到尺寸数据发生变化,则记录下变化点的时间坐标,根据钢材测速机构测量钢材移动速度,并通过变化点的时间坐标确定变化点位置,通过缺陷点喷标机构标记变化点位置,并命名为缺陷待定区域位置;
采集所述缺陷待定区域的目标图像,对所述目标图像进行预处理,对经过预处理后的目标图像进行特征提取,基于所述缺陷图像数据库和改进的Unet模型建立缺陷识别模型,将所述目标图像输入至所述缺陷识别模型,输出缺陷识别分类结果;
所述的改进的Unet模型包括:
所述Unet模型基于缺陷图像切块进行训练,在提取卷积特征的主干网络中构建预先设置的结构参数,提取多尺度多层次特征,将同层高度的编码的梯度、点、线直接连接到同层的解码器中,并通过跳层连接提供通道,同时保留浅层精细信息和深层语义信息,通过注意力机制综合中间输出。
3.根据权利要求2所述的一种长型钢材的外表面缺陷视觉识别方法,其特征在于,图像预处理包括对图像背景光源校正;通过低通滤波边缘检测将图像边缘细节滤除;对图像进行灰度变化,达到预设的图像动态范围;应用阈值分割算法和分水岭分割算法,将图像分成若干个具有类似特性的区域,所述特性包括颜色、纹理、密度。
4.根据权利要求3所述的一种长型钢材的外表面缺陷视觉识别方法,其特征在于,所述图像背景光源校正的过程为:
将目标图像分割成互相重叠的图像块,获取任一图像块与相邻图像块之间的均方误差s和平均绝对误差e,计算s与e的相加之和Sum,根据Sum对图像块进行非支配排序,将排序靠前的n个图像块组成若干个矩阵,n为正整数,使用不同的参数对矩阵的奇异值收缩,得到低秩矩阵,获取低秩矩阵的奇异值,将若干个奇异值中较小的数值过滤掉,将得到的目标图像块重新生成为完整的目标图像。
5.根据权利要求2所述的一种长型钢材的外表面缺陷视觉识别方法,其特征在于,所述特征提取的特征包括直观性特征、灰度统计特征、变换域特征、几何特征、代数特征、拓扑特征,并通过数学方法降低模式维数,识别有效特征;
其中,所述几何特征包括目标区域的面积、周长、最小外接矩形、密集度和形态比、轮廓、欧拉数;所述灰度统计特征为目标区域的灰度分布信息。
6.根据权利要求2所述的一种长型钢材的外表面缺陷视觉识别方法,其特征在于,对特征进行分类的过程为:
融合BP神经网络分类算法和决策树分裂算法将缺陷分为所属类别,包括数据采集、特征提取和分类识别。
7.一种长型钢材的外表面缺陷视觉识别系统,应用于权利要求1所述的一种长型钢材的外表面缺陷视觉识别装置,其特征在于,包括:
缺陷图像数据库,用于采集已知的钢材表面缺陷图像样本,对每一种缺陷进行特征分析,建立缺陷图像数据库;
三维构建模块,用于在钢材移动经过光学减震平台时,调整3D线扫传感器对中机构对准钢材,由3D线扫传感器采集覆盖范围内的钢材分段若干个角度的平面图像,根据所述平面图像建立钢材分段的三维模型;
缺陷预识别模块,用于通过所述三维模型获取当前分段钢材的尺寸数据,当钢材移动时,检测到尺寸数据发生变化,则记录下变化点的时间坐标,根据钢材测速机构测量钢材移动速度,并通过变化点的时间坐标确定变化点位置,通过缺陷点喷标机构标记变化点位置,并命名为缺陷待定区域位置;
缺陷检测模块,用于采集所述缺陷待定区域的目标图像,对所述目标图像进行预处理,对经过预处理后的目标图像进行特征提取,基于所述缺陷图像数据库和改进的Unet模型建立缺陷识别模型,将所述目标图像输入至所述缺陷识别模型,输出缺陷识别分类结果;
所述的改进的Unet模型包括:
所述Unet模型基于缺陷图像切块进行训练,在提取卷积特征的主干网络中构建预先设置的结构参数,提取多尺度多层次特征,将同层高度的编码的梯度、点、线直接连接到同层的解码器中,并通过跳层连接提供通道,同时保留浅层精细信息和深层语义信息,通过注意力机制综合中间输出。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311239032.2A CN117173151B (zh) | 2023-09-25 | 2023-09-25 | 一种长型钢材的外表面缺陷视觉识别装置、方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311239032.2A CN117173151B (zh) | 2023-09-25 | 2023-09-25 | 一种长型钢材的外表面缺陷视觉识别装置、方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117173151A CN117173151A (zh) | 2023-12-05 |
CN117173151B true CN117173151B (zh) | 2024-03-08 |
Family
ID=88929781
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311239032.2A Active CN117173151B (zh) | 2023-09-25 | 2023-09-25 | 一种长型钢材的外表面缺陷视觉识别装置、方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117173151B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116481460B (zh) * | 2023-05-26 | 2024-05-07 | 中国矿业大学 | 一种基于三维重构模型的表观坑洞缺陷尺寸检测方法 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109993094A (zh) * | 2019-03-26 | 2019-07-09 | 苏州富莱智能科技有限公司 | 基于机器视觉的材料缺陷智能检测系统及方法 |
CN112184648A (zh) * | 2020-09-22 | 2021-01-05 | 苏州中科全象智能科技有限公司 | 一种基于深度学习的活塞表面缺陷检测方法及系统 |
CN112378853A (zh) * | 2020-11-23 | 2021-02-19 | 上海大众动力总成有限公司 | 一种机械零件表面缺陷的检测装置、检测方法及相关装置 |
CN113744270A (zh) * | 2021-11-05 | 2021-12-03 | 南京市特种设备安全监督检验研究院 | 起重机复杂钢结构表面缺陷的无人机视觉检测与识别方法 |
CN114119526A (zh) * | 2021-11-19 | 2022-03-01 | 江南大学 | 一种基于机器视觉的钢板表面缺陷检测与识别系统及方法 |
CN114841957A (zh) * | 2022-04-29 | 2022-08-02 | 哈尔滨理工大学 | 一种基于深度学习的钢板表面缺陷检测方法 |
CN115294061A (zh) * | 2022-08-05 | 2022-11-04 | 博瑞霖信息科技(青岛)有限公司 | 基于机器视觉的纸塑复合袋表面缺陷检测的方法及系统 |
CN115496746A (zh) * | 2022-10-20 | 2022-12-20 | 复旦大学 | 基于图像和点云数据融合的板材表面缺陷检测方法和系统 |
CN115541601A (zh) * | 2022-11-30 | 2022-12-30 | 江苏永钢集团有限公司 | 一种基于机器视觉的钢材低倍数字化检测方法 |
CN116309277A (zh) * | 2022-12-14 | 2023-06-23 | 郑州金惠计算机系统工程有限公司 | 基于深度学习的钢材检测方法及系统 |
KR20230115024A (ko) * | 2022-01-26 | 2023-08-02 | 부경대학교 산학협력단 | 비정형 결함 검출을 위한 cnn 기반 머신 비전 시스템 및 이의 제어 방법 |
CN116664478A (zh) * | 2023-03-13 | 2023-08-29 | 哈尔滨理工大学 | 一种基于深度学习的钢材表面缺陷检测算法 |
-
2023
- 2023-09-25 CN CN202311239032.2A patent/CN117173151B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109993094A (zh) * | 2019-03-26 | 2019-07-09 | 苏州富莱智能科技有限公司 | 基于机器视觉的材料缺陷智能检测系统及方法 |
CN112184648A (zh) * | 2020-09-22 | 2021-01-05 | 苏州中科全象智能科技有限公司 | 一种基于深度学习的活塞表面缺陷检测方法及系统 |
CN112378853A (zh) * | 2020-11-23 | 2021-02-19 | 上海大众动力总成有限公司 | 一种机械零件表面缺陷的检测装置、检测方法及相关装置 |
CN113744270A (zh) * | 2021-11-05 | 2021-12-03 | 南京市特种设备安全监督检验研究院 | 起重机复杂钢结构表面缺陷的无人机视觉检测与识别方法 |
CN114119526A (zh) * | 2021-11-19 | 2022-03-01 | 江南大学 | 一种基于机器视觉的钢板表面缺陷检测与识别系统及方法 |
KR20230115024A (ko) * | 2022-01-26 | 2023-08-02 | 부경대학교 산학협력단 | 비정형 결함 검출을 위한 cnn 기반 머신 비전 시스템 및 이의 제어 방법 |
CN114841957A (zh) * | 2022-04-29 | 2022-08-02 | 哈尔滨理工大学 | 一种基于深度学习的钢板表面缺陷检测方法 |
CN115294061A (zh) * | 2022-08-05 | 2022-11-04 | 博瑞霖信息科技(青岛)有限公司 | 基于机器视觉的纸塑复合袋表面缺陷检测的方法及系统 |
CN115496746A (zh) * | 2022-10-20 | 2022-12-20 | 复旦大学 | 基于图像和点云数据融合的板材表面缺陷检测方法和系统 |
CN115541601A (zh) * | 2022-11-30 | 2022-12-30 | 江苏永钢集团有限公司 | 一种基于机器视觉的钢材低倍数字化检测方法 |
CN116309277A (zh) * | 2022-12-14 | 2023-06-23 | 郑州金惠计算机系统工程有限公司 | 基于深度学习的钢材检测方法及系统 |
CN116664478A (zh) * | 2023-03-13 | 2023-08-29 | 哈尔滨理工大学 | 一种基于深度学习的钢材表面缺陷检测算法 |
Non-Patent Citations (2)
Title |
---|
An Automatic Recognition Method for PCB Visual Defects;Zhang, ZQ 等;2018 INTERNATIONAL CONFERENCE ON SENSING, DIAGNOSTICS, PROGNOSTICS, AND CONTROL (SDPC);20190614;全文 * |
基于机器视觉的金属板材表面缺陷光学检测技术;周神特;王宇宇;张潇;左泽青;赵文宏;;无损检测;20200910(第09期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN117173151A (zh) | 2023-12-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102636490B (zh) | 基于机器视觉的轴承防尘盖表面缺陷检测方法 | |
CN104535586B (zh) | 带钢边部缺陷检测识别方法 | |
CN117173151B (zh) | 一种长型钢材的外表面缺陷视觉识别装置、方法及系统 | |
Liang et al. | Defect detection of rail surface with deep convolutional neural networks | |
CN109900711A (zh) | 基于机器视觉的工件缺陷检测方法 | |
CN106600593B (zh) | 一种中铝瓷球表面缺陷检测方法 | |
CN101852768A (zh) | 磁粉探伤环境下基于复合特征的工件伤痕识别方法 | |
CN109215009B (zh) | 基于深度卷积神经网络的连铸坯表面图像缺陷检测方法 | |
CN110009618A (zh) | 一种轴类零件表面质量检测方法及装置 | |
CN113012098B (zh) | 一种基于bp神经网络的铁塔角钢冲孔缺陷检测方法 | |
CN103868924A (zh) | 一种基于视觉的轴承外观缺陷检测算法 | |
CN113240623B (zh) | 一种路面病害检测方法及装置 | |
CN112101182B (zh) | 一种基于改进slic方法的铁路货车地板破损故障识别方法 | |
CN115601355A (zh) | 一种产品表面缺陷检测与分类方法、装置及存储介质 | |
CN113393426A (zh) | 一种轧钢板表面缺陷检测方法 | |
CN114581805A (zh) | 一种采用3d线激光轮廓技术的涂敷辊面缺陷检测方法 | |
CN114897908A (zh) | 基于机器视觉的激光选区铺粉烧结面缺陷分析方法及系统 | |
CN115294089A (zh) | 一种基于改进YOLOv5的钢材表面缺陷检测方法 | |
CN113947583B (zh) | 基于深度学习二维时间序列图像的焊缝无损检测方法 | |
Hashmi et al. | Computer-vision based visual inspection and crack detection of railroad tracks | |
CN110672632A (zh) | 一种隧道病害识别方法 | |
CN114155226A (zh) | 一种微小缺陷边缘计算方法 | |
CN111815575B (zh) | 一种基于机器视觉的轴承钢珠零件检测方法 | |
Zhu et al. | Machine vision based on pipe joint surface defect detection and identification | |
CN116402753A (zh) | 一种基于改进的YOLOv5的钢材缺陷检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |