CN115541601A - 一种基于机器视觉的钢材低倍数字化检测方法 - Google Patents

一种基于机器视觉的钢材低倍数字化检测方法 Download PDF

Info

Publication number
CN115541601A
CN115541601A CN202211518161.0A CN202211518161A CN115541601A CN 115541601 A CN115541601 A CN 115541601A CN 202211518161 A CN202211518161 A CN 202211518161A CN 115541601 A CN115541601 A CN 115541601A
Authority
CN
China
Prior art keywords
image
sample
steel
camera
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211518161.0A
Other languages
English (en)
Inventor
屈小波
彭艳
侯兴辉
陈远清
余超
刘洋
唐佳勇
刘才溢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Yonggang Group Co Ltd
Original Assignee
Jiangsu Yonggang Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Yonggang Group Co Ltd filed Critical Jiangsu Yonggang Group Co Ltd
Priority to CN202211518161.0A priority Critical patent/CN115541601A/zh
Publication of CN115541601A publication Critical patent/CN115541601A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Abstract

本发明提供一种基于机器视觉的钢材低倍数字化检测方法，属于钢铁冶金领域，本发明通过集成制样输送、图像采集、缺陷识别评级和数据分析整理功能，具有小型化、自动化、安全化、高效化以及实时人机交互设计特点，实现操作人员高度自动化、标准化控制作业，减少操作人员工作强度以及作业的酸性环境对操作人员身体的危害。提升检测过程的自动化、智能化、精确化和安全化程度。以图像处理技术为基础对钢材低倍缺陷进行检测和分类，并且将缺陷信息数字化，能够高效、准确、客观的建立钢材低倍组织质量评价体系，为钢铁行业产品质量检测向短流程、自动化、智能化发展提供技术支撑，对于提高企业经济效益，实现绿色低碳高质量发展具有重要意义。

Description

一种基于机器视觉的钢材低倍数字化检测方法
技术领域
本发明涉及钢铁冶金领域，特别涉及一种基于机器视觉的钢材低倍数字化检测方法。
背景技术
钢材产品在国防军工、船舶工业、核电设备等领域有着广泛应用，生产出组织均匀、心部无缺陷的高品质钢材对于提高企业竞争力具有重要意义。连铸-加热-连轧-冷却是钢材典型的生产工艺过程，具有高效自动化生产的特点。连铸坯的质量直接决定了轧制后钢材产品质量。尽管目前连铸技术已经相当成熟，但连铸过程中由于冷却工艺、铸坯拉速不匹配等原因导致的连铸坯中心疏松缩孔、裂纹、枝晶偏析等缺陷仍是连铸领域的共性问题，且随着连铸坯规格尺寸增大，问题也更加突出。因此对连铸坯心部缺陷的快速识别，对于溯源优化生产工艺、改善连铸坯质量、提高钢材产品质量具有重要意义。
由于钢材在生产过程中，不可避免地出现缺陷，甚至废品，而不同工艺状态下产生的缺陷类型、特征和形成机制也不完全相同。这些加工缺陷将对产品质量产生较大影响，因此对铸坯缺陷检测和控制对提高钢材产品质量也有一定意义。
综合以上两点可以得知，连铸坯在凝固过程中形成的内部组织形态，对于后续生产环节对最终产品的力学性能有着极为重要的影响。在生产过程中，多种因素(如钢水中的非金属杂质、气体，温度控制不当，工艺缺陷或操作人员失误等)都会使连铸坯内部产生低倍缺陷，以及影响连铸坯凝固组织结构。连铸坯凝固组织结构反映了铸坯结晶的形貌，结晶状况的差异会使凝固组织的结构发生相应的变化。通过对连铸坯低倍试样凝固组织的区域识别，可以及时监测铸坯产品质量，进而优化生产工艺，避免产生大量不合格产品，造成巨大经济损失。
连铸坯的低倍检验是企业质量控制的最重要环节。对于企业而言，铸坯低倍组织检验的最基本任务有：①优化操作工艺，改善铸坯内部质量，大多低倍缺陷都是在连铸中产生的，通过对钢坯的低倍组织进行观察，可判断出操作工艺存在的问题；②研制新钢种，通过对铸坯凝固组织进行验证，可初步判断新钢种的性能；③为连铸机的维护检修工作提供指导性信息，控制铸坯缺陷的产生；④在最终产品质量体系中，为铸坯初始形态提供检验结果证明。
近年来，随着钢铁冶金行业自动化程度及生产水平不断提高，需要快速而精确地对钢材低倍组织缺陷进行检测，以适应更快的生产速度及更高的产品质量。目前常规低倍检测评级方法仍采取人工评级模式，即将低倍组织试样图片与国家/行业标准进行目测或人工测量后对比，给出评级报告。这种评级方法不可避免的存在误差大、评级滞后、缺乏数据库支持等缺陷。由于每个质检人员的经验水平参差不齐，评判标准各不相同，导致主观因素对检测结果产生影响，并且数据的汇总整理、归档主要依赖人工手动完成，较难保障数据的完整性和有效组织，容易出现数据丢失、不一致的情况，抑制了低倍缺陷评级在先进自动化钢铁生产流程的发挥。
随着机器视觉技术的迅猛发展，视觉检测作为一种快速、准确的非接触无损检测方法，已广泛应用于工业制造领域。相较于人工检测，视觉检测的优势主要体现在以下几个方面：①人工检测人力成本高，检测速度慢，使用视觉检测可以有效降低成本；②人工检测往往存在一定的误差和人为因素，而视觉检测在确定装置的检测标准后，检测过程将严格按照检测标准进行，精度较高；③视觉检测具有很高的自动化程度，不仅可以提高检测效率，还会为企业的设备及工作的安全性带来好处。此外，通过将视觉检测与各种技术、设备和算法相结合，可以最大限度发挥出系统的潜力，具有较高的应用前景。
因此本发明提出了一种基于机器视觉的钢材低倍数字化检测方法，旨在集成制样输送、图像采集、缺陷识别和数据整理功能，提升检测过程的自动化、智能化、精确化和安全化程度，构建起高效、准确、客观的钢材试样低倍组织质量评价体系，为钢铁行业产品质量检测向短流程、自动化、智能化发展提供技术支撑。
发明内容
为了解决上述技术问题，本发明提供了一种基于机器视觉的钢材低倍数字化检测方法，通过集成制样输送、图像采集、缺陷识别和数据整理功能，实现钢材试样低倍组织缺陷自动化、安全化、高效化检测，提高试样低倍组织缺陷检测效率，实现操作人员高度自动化控制作业，构建起高效、准确、客观的铸坯低倍组织质量评价体系，为钢铁行业产品质量检测向短流程、自动化、智能化发展提供技术支撑。
本发明的技术方案如下：
一种基于机器视觉的钢材低倍数字化检测方法，其特征在于：低倍检测流程包括以下步骤：
低倍取样→试样加工→吊运→样品刷洗→腐蚀→回酸→冲洗→吹干→放置无人运输车→贴标签→图像采集→数据分析→数据存储→样品入堆；
S1、试样处理，将待测试样按照相关标准进行加工，完成后吊运至酸洗槽进行酸洗、吹干处理，确保试样表面无其他干扰因素；
S2、试样定位，无人运输车运送待测试样从酸洗室运送到检测系统前，工业相机扫码枪对标签进行扫描，将待测试样信息传递至系统记录，通过显示台控制面板将箱门打开，无人运输车将待测试样移动至检测装置内部，按控制面板上“寻零点”按钮确保相机处于中心位置，通过检测装置将无人运输车位置图像传送至监控平台，移动无人运输车确保待测试样处于检测系统中心位置处，关闭箱门；
S3、试样图像采集及系统成像检测，工业相机捕捉待测试样图像，获取待测试样种类和尺寸类型信息，检测装置自动调整成像高度，工作人员进一步通过操控系统调节成像质量，实现最佳成像效果，完成图像采集；基于图像分析系统对图片进行分析，确定待测试样存在哪些类型的缺陷，并提取缺陷量化信息：尺寸和数量，参照GB/T1979-2001等国家标准和YB/T153-2015等行业标准建立的评价规则，结合冶金理论模型实现对缺陷进行数字化评级处理，最终将缺陷信息及评级结果显示在监控系统并储存数据；
S4、检测完成，检测装置待测试样检测完成后，箱门打开，无人运输车将检测完试样运送至样品入堆场。
优选地，检测系统包括无人运输车AGV、监控系统平台、硬件系统、电气控制单元，其中硬件系统包含工业相机、微距相机、高精度3D相机、激光设备、扫码枪传感器；电气控制单元包含PLC、电源、机械结构和防护隔热模块；所述高精度3D相机包括镜头、光源、滤镜。
优选地，无人运输车AGV通过在酸洗室和检测系统之间建立电磁自动引导装置，结合电脑终端配合控制，实现沿规定的导引路径行驶。
优选地，工业相机、微距相机、高精度3D相机均固定安置于灯罩下方，灯罩安置于移动杆上，箱体内设置Y、Z两轴滑轨，实现移动杆Y、Z两方向移动，灯罩设置X轴滑轨，实现相机X轴方向移动。
优选地，箱体、检测装置、无人运输车选用防酸材料（例如PPH、PP2）并在外部增加防酸涂层，避免酸雾腐蚀设备本身，抑制设备在酸性环境下发生腐蚀，有效延长使用寿命。
优选地，采集样品规格待测试样，包括不同生产工艺下的钢材。
优选地，试样图像采集及系统成像过程，包括：试样类型及尺寸识别、光源与成像装置调整、表面平整度检测与调整、成像采集四个部分。
优选地，钢材低倍试样类型及尺寸识别部分由2D工业相机实现，试样进入低倍组织缺陷检测设备后，相机开始捕捉试样图像，获取当前试样类型及尺寸信息，并根据试样类型及尺寸信息确定核心检测位置。
优选地，光源与成像装置调整部分由光源范围及相机清晰度反馈调节和光源及相机自主升降结构装置实现，基于当前钢材低倍试样类型及尺寸信息，首先由工业相机对LED灯带光源范围进行捕捉，并对比试样边界，反馈控制调节LED灯带光源高度，保证LED灯带光源涵盖试样边界，其次根据工业相机捕捉LED环形光源，并对比所确定核心检测位置，反馈控制调节环形光源高度，保证环形光源覆盖核心检测位置，最后根据工业相机与微距相机成像清晰度，分别调节工业相机与微距相机高度，调整物距保证成像质量。
优选地，表面平整度检测与调整部分由高精度3D相机实现，光源与成像清晰度调节完成后，由高精度3D相机对钢材低倍试样检测面进行扫描成像，并在系统内自动建模，对试样位置进行三维点云分析，以表面高度差评估试样平整度差异，并基于表面高度差信息，通过支撑点配合相机摄像角度连锁调节表面平整度。
优选地，成像采集部分由工业相机与微距相机实现，工业相机负责捕捉钢材低倍试样检测面整体图像，微距相机负责捕捉连铸坯枝晶组织、缺陷细节图像，图像获取完成后，需要对数据集图像进行采集及预处理以便后续图像识别工作，图像预处理功能包括，图像去噪、图像增强、阈值分割三部分，首先采用中值滤波算法对受光照及图像采集与传输过程中的干扰信号进行去噪处理，其次采用局域图像增强模型变换对图像进行增强处理，避免图像整体灰度偏低问题，最后基于滑窗法对图像进行图像分割，划分为缺陷区域和无缺陷区域，保证后续缺陷特征提取与分析顺利进行。
优选地，图像增强处理过程包括图像增强与图像质量评价，首先基于局域图像增强模型，根据待处理图像灰度值进行图像增强处理，LGE模型变换函数可以表示为：
Figure 668809DEST_PATH_IMAGE001
其中，
Figure 453225DEST_PATH_IMAGE002
代表待处理图像
Figure 585129DEST_PATH_IMAGE003
点的灰度值，
Figure 454996DEST_PATH_IMAGE004
代表全局平均灰度值，
Figure 330549DEST_PATH_IMAGE005
代表窗口内平均灰度值，
Figure 235051DEST_PATH_IMAGE006
代表加窗口后的局部标准差，参数a,b,c,k为图像增强效果 因子；
图像质量评价函数为：
Figure 272277DEST_PATH_IMAGE007
其中，
Figure 892089DEST_PATH_IMAGE008
代表增强后的图像，
Figure 305753DEST_PATH_IMAGE009
代表由一阶微分边缘检测算子得到的边缘 像素数，
Figure 923816DEST_PATH_IMAGE010
代表图像边缘强度，
Figure 7310DEST_PATH_IMAGE011
代表图像熵值，
Figure 976403DEST_PATH_IMAGE012
为图像最大坐标数。
优选地，图像阈值分割为多阈值分割过程，根据不同区域灰度值对图像进行分割， 假设，灰度范围为[0,L-1]，共有n个阈值（
Figure 69124DEST_PATH_IMAGE013
），共分为
Figure 541694DEST_PATH_IMAGE014
区域，分割过程可表 示如下：
Figure 61668DEST_PATH_IMAGE015
…
Figure 518057DEST_PATH_IMAGE016
其中，
Figure 148890DEST_PATH_IMAGE017
灰度值范围为
Figure 7124DEST_PATH_IMAGE018
，
Figure 698000DEST_PATH_IMAGE019
灰度值范围为
Figure 376106DEST_PATH_IMAGE020
。
优选地，图像阈值分割过程中，阈值根据子图类间方差最大选定最优阈值。
优选地，采用ResNeSt网络提取铸坯组织缺陷，引入特征图注意力模块，可以让注意力跨特征图组，聚焦钢材试样低倍缺陷重要特征，从而更好地进行学习；网络的输入端为经过预处理后的图像数据，输出端为待检测试样的缺陷尺寸、数量、缺陷位置、形貌和等级。
优选地，基于ResNeSt网络输出上采用多任务方式，支持输出分类、数值回归、目标检测框、语义分割多种输出格式。
优选地，输入大小为
Figure 810629DEST_PATH_IMAGE021
特征图，将待检测钢材试样低倍缺陷特征图沿通道 数划分为
Figure 523370DEST_PATH_IMAGE022
组，将得到的特征图成为基数组，在基数组分组的基础上将特征图进一步的分 为
Figure 244202DEST_PATH_IMAGE023
组，表述基数组内分裂数，因此特征组总数
Figure 550549DEST_PATH_IMAGE024
为
Figure 647818DEST_PATH_IMAGE025
，第
Figure 87502DEST_PATH_IMAGE026
个分支到第
Figure 244814DEST_PATH_IMAGE027
个分支的特征图之和，大小为
Figure 772878DEST_PATH_IMAGE028
，然后按
Figure 408259DEST_PATH_IMAGE022
做全局平均值池化，就获得了第
Figure 970959DEST_PATH_IMAGE029
组 特征图
Figure 299172DEST_PATH_IMAGE030
；继而，对K个分组做通道注意力：
Figure 314532DEST_PATH_IMAGE031
Figure 753604DEST_PATH_IMAGE032
是通道权重的向量，
Figure 170810DEST_PATH_IMAGE033
表示每个切片的权重，
Figure 404345DEST_PATH_IMAGE034
表示每一个基数群有多少个切 片，
Figure 31636DEST_PATH_IMAGE029
表示第
Figure 149764DEST_PATH_IMAGE029
个基数群，
Figure 811690DEST_PATH_IMAGE023
为基数超参数，
Figure 357072DEST_PATH_IMAGE035
表示每一个切片有多少个通道，
Figure 940500DEST_PATH_IMAGE023
分支特征图 与对应权重相乘，得到第
Figure 862319DEST_PATH_IMAGE029
组卷积通过注意力模块学习到的特征图
Figure 378751DEST_PATH_IMAGE036
的第
Figure 92105DEST_PATH_IMAGE034
维通道
Figure 428408DEST_PATH_IMAGE037
：
Figure 888340DEST_PATH_IMAGE038
Figure 259278DEST_PATH_IMAGE039
表示的是第
Figure 146463DEST_PATH_IMAGE026
个分支的输出，将
Figure 970062DEST_PATH_IMAGE023
组表示形式沿通道维度连 接起来：
Figure 233685DEST_PATH_IMAGE040
然后将基数组的特征沿通道维度连接起来，特征图注意力模块与标准残差块一样，其最终输出是使用快捷连接生成的，输入和输出特征图形状相同，再通过Concatenate函数进行数组拼接后，用一个1×1的卷积转换成输入特征图相同的大小，最后将其与输入特征图进行相加；输出的Y再同时输入第一分支和第二分支，第一分支包括一个全连接层，用于输出待检测试样的缺陷等级，第二分支包括一个回归函数，用于输出待检测试样的缺陷位置、尺寸大小、面积、数量、分布信息。
优选地，所述系统包括：缺陷识别模块、基于ResNeSt网络建立的缺陷检测模型、接收模块、预处理模块和输出模块；其中：
所述缺陷识别模块，用于识别钢材试样低倍缺陷的数量、尺寸及密集程度等局部特征，同时也能兼顾裂纹的大小和所在位置等全局特征；
所述基于ResNeSt网络建立的缺陷检测模型，用于同时进行钢材试样多种缺陷识别任务，综合利用全部缺陷的数据，提高运行计算效率；
所述接收模块，用于接收广角相机采集的完整铸坯图像以及微距相机采集的铸坯局部图像；
所述预处理模块，用于对接收模块采集的图像进行预处理，在保留缺陷信息的同时增强和去除干扰区域；
所述缺陷输出模块，用于将预处理后的图像数据输入缺陷检测模型，得到该试样的缺陷位置、形貌和等级，在交互界面可视化显示缺陷信息。
与现有技术相比，本发明具有以下有益效果：本发明一种基于机器视觉的钢材低倍数字化检测方法集成制样输送、图像采集、缺陷识别和数据整理功能，具有小型化、自动化、安全化、高效化以及实时人机交互设计特点，实现操作人员高度自动化控制作业，减少操作人员工作强度以及作业的酸性环境对操作人员身体的危害。提升检测过程的自动化、智能化、精确化和安全化程度，以图像处理技术为基础对钢材低倍试样检测面缺陷进行检测和分类，并且将缺陷信息数字化，有效提高企业的生产效率。
附图说明
图1是一种基于机器视觉的钢材低倍数字化检测方法流程图；
图2是无人运输车运输钢材低倍试样示意图；
图3是一种基于机器视觉的钢材低倍数字化检测方法检测装置示意图；
图4是工业相机拍摄连铸坯图像；
图5是本发明基于ResNeSt提取钢材低倍组织缺陷的网络结构示意图。
具体实施方式
以下，参照附图对本发明的实施方式进行说明。
以连铸圆坯为例
将加工切割完成30~100mm厚度的连铸坯试样按照一种基于机器视觉的钢材低倍数字化检测方法流，流程如图1所示，吊运至酸洗中心，对连铸坯进行刷洗预处理后，浸入至酸洗槽中进行腐蚀，去除表面上的氧化皮和锈蚀物，对酸洗后的连铸坯进行最终清洗去除残留的酸液避免继续腐蚀。在最终表面吹干环节，确保连铸坯表面保持干燥的环境后，对连铸坯粘贴产品信息标签，放置在无人运输车上，如图2所示。无人运输车(AGV)通过在酸洗室和检测系统之间建立的电磁自动引导装置，并根据电脑终端控制，沿规定的导引路径行驶将连铸坯准确运送至检测系统前，基于机器视觉的钢材低倍数字化检测方法检测系统装置，如图3所示。检测系统包括硬件系统、无人运输车、监控系统平台，电气控制单元，硬件系统包含工业相机、微距相机、高精度3D相机、激光设备、扫码枪传感器；其中工业相机、微距相机、高精度3D相机固定安置于灯罩下方，灯罩安置于移动杆上，箱体内设置Y、Z两轴滑轨，实现移动杆Y、Z两方向移动，灯罩设置X轴滑轨，实现相机X轴方向移动，电气控制单元包含PLC、电源、机械结构和防护隔热模块。检测系统标识扫码枪对标签进行扫描，将连铸坯信息传递至系统记录，箱门打开后，无人运输车将连铸坯移动至检测装置内部，控制面板上“寻零点”按钮控制检测装置、灯罩、移动杆进行X、Y、Z三轴方向移动，确保相机处于中心位置。检测装置将无人运输车位置图像传送至监控平台，移动无人运输车确保待测试样处于检测系统中心位置处，关闭箱门。工业相机通过捕捉连铸坯图像，获取种类和尺寸类型信息后自动调整成像高度，进一步通过操控系统调节成像质量，实现最佳成像效果，完成照片拍摄图像采集。基于图像分析系统对于图片进行分析，确定存在哪些类型的缺陷，缺陷的量化信息以及对缺陷进行评级处理，最终将分析结果显示在监控系统并储存数据。连铸坯检测完成后，箱门打开，无人运输车将检测完连铸坯运送至样品入堆场。
连铸坯进入检测装置后，2D工业相机开始捕捉连铸坯图像，如图4所示，之后根据连铸坯图像在系统内连铸坯生产数据库搜索，获取当前连铸坯类型及尺寸信息，并根据连铸坯类型及尺寸信息确定核心检测位置为心部50×50mm方形区域。识别完成后，首先由工业相机对LED灯带光源范围进行捕捉，并对比连铸坯边界，反馈控制调节LED灯带光源高度，保证LED灯带光源涵盖连铸坯边界，其次根据工业相机捕捉LED环形光源，并对比所确定核心检测位置，反馈控制调节环形光源高度，保证环形光源覆盖核心检测位置，最后根据工业相机与微距相机成像清晰度，分别调节工业相机与微距相机高度，调整物距保证成像质量。光源与成像清晰度调节完成后，高精度3D相机开始对铸坯表面进行扫描成像，并在系统内自动建模，对铸坯位置进行三维点云分析，以表面高度差评估铸坯平整度差异，并基于表面高度差信息，通过支撑点配合相机摄像角度连锁调节表面平整度。平整度调整完成后，工业相机开始捕捉连铸坯表面整体图像，微距相机开始捕捉连铸坯表面枝晶组织图像，图像获取完成后，开始对数据集图像进行采集及预处理以便后续图像识别工作，图像预处理功能包括，图像去噪、图像增强、阈值分割三部分，首先采用中值滤波算法对受光照及图像采集与传输过程中的干扰信号进行去噪处理，其次采用局域图像增强模型变换对图像进行增强处理，避免图像整体灰度偏低问题，最后基于滑窗法对图像进行图像分割，划分为缺陷区域和无缺陷区域，保证后续缺陷特征提取与分析顺利进行。
其中图像增强处理过程包括图像增强与图像质量评价，首先基于局域图像增强模型，根据待处理图像灰度值进行图像增强处理，局域图像增强模型变换函数可以表示为：
Figure 459130DEST_PATH_IMAGE001
Figure 641849DEST_PATH_IMAGE041
代表待处理图像
Figure 828111DEST_PATH_IMAGE042
点的灰度值，
Figure 754479DEST_PATH_IMAGE004
代表全局平均灰度值，
Figure 975376DEST_PATH_IMAGE043
代表 窗口内平均灰度值，
Figure 328997DEST_PATH_IMAGE044
代表加窗口后的局部标准差，参数a,b,c,k为图像增强效果因 子。
图像质量评价函数为：
Figure 2554DEST_PATH_IMAGE007
Figure 467034DEST_PATH_IMAGE045
代表增强后的图像，
Figure 542437DEST_PATH_IMAGE046
代表由一阶微分边缘检测算子得到的边缘像素 数，
Figure 66960DEST_PATH_IMAGE047
代表图像边缘强度，
Figure 224884DEST_PATH_IMAGE048
代表图像熵值，
Figure 758633DEST_PATH_IMAGE049
为图像最大坐标数。
其中图像阈值分割为多阈值分割过程，根据不同区域灰度值对图像进行分割，假 设，灰度范围为[0,L-1]，共有n个阈值（
Figure 688543DEST_PATH_IMAGE050
），共分为
Figure 383967DEST_PATH_IMAGE051
区域，分割过程可表示 如下：
Figure 891172DEST_PATH_IMAGE052
…
Figure 838399DEST_PATH_IMAGE053
Figure 747449DEST_PATH_IMAGE017
灰度值范围为
Figure 754719DEST_PATH_IMAGE054
，
Figure 483641DEST_PATH_IMAGE019
灰度值范围为
Figure 234559DEST_PATH_IMAGE055
。阈值根据子图类 间方差最大选定最优阈值。
在铸坯组织缺陷识别模型方面，采用ResNeSt作为主干网络，模型结构如图5所示， ResNeSt模型是在ResNet模型基础上进一步优化，能够进一步改善组织表征特性，优化多个 下游任务功能，此外，还引入了多任务和特征图注意力模块，每个网络块均由不同的卷积组 成，能更好的自适应提取连铸坯的晶体颗粒和夹杂物的大小及密度等局部特征，同时也能 兼顾裂纹的大小和所在位置等全局特征，在算法的输出上采用了多任务方式，支持输出分 类、数值回归、目标检测框、语义分割等多种输出格式，能够满足连铸坯的多种缺陷识别任 务。将待检测铸坯经过拍摄预处理后的图像调整为w*h*c的大小，输入到网络模型中，将待 检测铸坯缺陷特征图分为K组，基于此分组将特征进一步的分为R组，总的分组数为
Figure 998116DEST_PATH_IMAGE025
，注意力模块R组逐元素相加，按K来进行分组，然后按K做全局平均值池化，在通道 维度上对每组进行拼接操作
Figure 176288DEST_PATH_IMAGE056
，与标准残差块中一样，如果输入和输 出特征图共享相同的形状，则我们的注意力模块输出Y是使用残差连接生成的，最后输出为
Figure 658084DEST_PATH_IMAGE057
。在算法的输出上采用了多任务方式，相比普通的单任务算法，能更好的综合利 用全部缺陷的数据，大大减少对现场数据采集的依赖、在运行效率上也是成倍增加，大大的 减少现场服务器所需的硬件成本和体积。分支通过回归函数，优选Sigmoid函数，得到待检 测钢材的缺陷位置、大小，如图5所示。
以上所述的实施例仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (18)

1.一种基于机器视觉的钢材低倍数字化检测方法，其特征在于：低倍检测流程包括以下步骤：
低倍取样→试样加工→吊运→样品刷洗→腐蚀→回酸→冲洗→吹干→放置无人运输车→贴标签→图像采集→数据分析→数据存储→样品入堆；
S1、试样处理，将待测试样按照相关标准进行加工，完成后吊运至酸洗槽进行酸洗、吹干处理，确保试样表面无其他干扰因素；
S2、试样定位，无人运输车运送待测试样从酸洗室运送到检测系统前，扫码枪对标签进行扫描，将待测试样信息传递至系统记录，通过显示台控制面板将箱门打开，无人运输车将待测试样移动至检测装置内部，按控制面板上“寻零点”按钮确保相机处于中心位置，通过检测装置将无人运输车位置图像传送至监控平台，移动无人运输车确保待测试样处于检测系统中心位置处，关闭箱门；
S3、试样图像采集及系统成像检测，工业相机捕捉待测试样图像，获取待测试样种类和尺寸类型信息，检测装置自动调整成像高度，工作人员进一步通过操控系统调节成像质量，实现最佳成像效果，完成图像采集；基于图像分析系统对图片进行分析，确定待测试样存在哪些类型的缺陷，并提取缺陷量化信息：尺寸和数量，参照国家标准以及行业标准建立的评价规则，结合冶金理论模型实现对缺陷进行数字化评级处理，最终将缺陷信息及评级结果显示在监控系统并储存数据；
S4、检测完成，检测装置待测试样检测完成后，箱门打开，无人运输车将检测完试样运送至样品入堆场。
2.根据权利要求1所述一种基于机器视觉的钢材低倍数字化检测方法，检测系统包括无人运输车AGV、监控系统平台、硬件系统、电气控制单元，其中硬件系统包含工业相机、微距相机、高精度3D相机、激光设备、扫码枪传感器；电气控制单元包含PLC、电源、机械结构和防护隔热模块；所述高精度3D相机包括镜头、光源、滤镜。
3.根据权利要求2所述的一种基于机器视觉的钢材低倍数字化检测方法，其特征在于：无人运输车AGV通过在酸洗室和检测系统之间建立电磁自动引导装置，结合电脑终端配合控制，实现沿规定的导引路径行驶。
4.根据权利要求2所述的一种基于机器视觉的钢材低倍数字化检测方法，其特征在于：工业相机、微距相机、高精度3D相机均固定安置于灯罩下方，灯罩安置于移动杆上，箱体内设置Y、Z两轴滑轨，实现移动杆Y、Z两方向移动，灯罩设置X轴滑轨，实现相机X轴方向移动。
5.根据权利要求1所述的一种基于机器视觉的钢材低倍数字化检测方法，其特征在于：箱体、检测装置、无人运输车选用防酸材料，并在外部增加防酸涂层，避免酸雾腐蚀设备本身，抑制设备在酸性环境下发生腐蚀，有效延长使用寿命。
6.根据权利要求1所述的一种基于机器视觉的钢材低倍数字化检测方法，其特征在于：采集样品规格待测试样，包括不同生产工艺下的钢材。
7.根据权利要求1所述的一种基于机器视觉的钢材低倍数字化检测方法，其特征在于：试样图像采集及系统成像过程，包括：试样类型及尺寸识别、光源与成像装置调整、表面平整度检测与调整、成像采集四个部分。
8.根据权利要求7所述的一种基于机器视觉的钢材低倍数字化检测方法，其特征在于：钢材低倍试样类型及尺寸识别部分由2D工业相机实现，试样进入低倍组织缺陷检测设备后，相机开始捕捉试样图像，获取当前试样类型及尺寸信息，并根据试样类型及尺寸信息确定核心检测位置。
9.根据权利要求7所述的一种基于机器视觉的钢材低倍数字化检测方法，其特征在于：光源与成像装置调整部分由光源范围及相机清晰度反馈调节和光源及相机自主升降结构装置实现，基于当前钢材低倍试样类型及尺寸信息，首先由工业相机对LED灯带光源范围进行捕捉，并对比试样边界，反馈控制调节LED灯带光源高度，保证LED灯带光源涵盖试样边界，其次根据工业相机捕捉LED环形光源，并对比所确定核心检测位置，反馈控制调节环形光源高度，保证环形光源覆盖核心检测位置，最后根据工业相机与微距相机成像清晰度，分别调节工业相机与微距相机高度，调整物距保证成像质量。
10.根据权利要求7所述的一种基于机器视觉的钢材低倍数字化检测方法，其特征在于：表面平整度检测与调整部分由高精度3D相机实现，光源与成像清晰度调节完成后，由高精度3D相机对钢材试样检测面进行扫描成像，并在系统内自动建模，对试样位置进行三维点云分析，以表面高度差评估试样平整度差异，并基于表面高度差信息，通过支撑点配合相机摄像角度连锁调节表面平整度。
11.根据权利要求7所述的一种基于机器视觉的钢材低倍数字化检测方法，其特征在于：成像采集部分由工业相机与微距相机实现，工业相机负责捕捉连钢材试样检测面整体图像，微距相机负责捕捉连铸坯枝晶组织、缺陷细节图像，图像获取完成后，需要对数据集图像进行采集及预处理以便后续图像识别工作，图像预处理功能包括，图像去噪、图像增强、阈值分割三部分，首先采用中值滤波算法对受光照及图像采集与传输过程中的干扰信号进行去噪处理，其次采用局域图像增强模型变换对图像进行增强处理，避免图像整体灰度偏低问题，最后基于滑窗法对图像进行图像分割，划分为缺陷区域和无缺陷区域，保证后续缺陷特征提取与分析顺利进行。
12.根据权利要求11所述的一种基于机器视觉的钢材低倍数字化检测方法，其特征在于：图像增强处理过程包括图像增强与图像质量评价，首先基于局域图像增强模型，根据待处理图像灰度值进行图像增强处理，LGE模型变换函数可以表示为：
Figure 207791DEST_PATH_IMAGE001
其中，
Figure 593773DEST_PATH_IMAGE002
代表待处理图像
Figure 717717DEST_PATH_IMAGE003
点的灰度值，
Figure 581768DEST_PATH_IMAGE004
代表全局平均灰度值，
Figure 989616DEST_PATH_IMAGE005
代表 窗口内平均灰度值，
Figure 280920DEST_PATH_IMAGE006
代表加窗口后的局部标准差，参数a,b,c,k为图像增强效果因 子；
图像质量评价函数为：
Figure 889231DEST_PATH_IMAGE007
其中，
Figure 556973DEST_PATH_IMAGE008
代表增强后的图像，
Figure 819327DEST_PATH_IMAGE009
代表由一阶微分边缘检测算子得到的边缘像素 数，
Figure 15953DEST_PATH_IMAGE010
代表图像边缘强度，
Figure 114490DEST_PATH_IMAGE011
代表图像熵值，
Figure 320344DEST_PATH_IMAGE012
为图像最大坐标数。
13.根据权利要求12所述的一种基于机器视觉的钢材低倍数字化检测方法，其特征在 于：图像阈值分割为多阈值分割过程，根据不同区域灰度值对图像进行分割，假设，灰度范 围为[0,L-1]，共有n个阈值（
Figure 437204DEST_PATH_IMAGE013
），共分为
Figure 335890DEST_PATH_IMAGE014
区域，分割过程可表示如下：
Figure 921723DEST_PATH_IMAGE015
…
Figure 665689DEST_PATH_IMAGE016
其中，
Figure 902635DEST_PATH_IMAGE017
灰度值范围为
Figure 706643DEST_PATH_IMAGE018
，
Figure 779772DEST_PATH_IMAGE019
灰度值范围为
Figure 327428DEST_PATH_IMAGE020
。
14.根据权利要求13所述的一种基于机器视觉的钢材低倍数字化检测方法，其特征在于：图像阈值分割过程中，阈值根据子图类间方差最大选定最优阈值。
15.根据权利要求1所述的一种基于机器视觉的钢材低倍数字化检测方法，其特征在于，采用ResNeSt网络提取铸坯组织缺陷，引入特征图注意力模块，可以让注意力跨特征图组，聚焦钢材试样低倍缺陷重要特征，从而更好地进行学习；网络的输入端为经过预处理后的图像数据，输出端为待检测试样的缺陷尺寸、数量、缺陷位置、形貌和等级。
16.根据权利要求15所述的一种基于机器视觉的钢材低倍数字化检测方法，其特征在于，基于ResNeSt网络输出上采用多任务方式，支持输出分类、数值回归、目标检测框、语义分割多种输出格式。
17.根据权利要求15所述的一种基于机器视觉的钢材低倍数字化检测方法，其特征在 于，输入大小为
Figure 418881DEST_PATH_IMAGE021
特征图，ResNeSt网络将待检测钢材试样低倍缺陷特征图沿通道 数划分为
Figure 456107DEST_PATH_IMAGE022
组，将得到的特征图成为基数组，在基数组分组的基础上将特征图进一步的分 为
Figure 875587DEST_PATH_IMAGE023
组，表述基数组内分裂数，因此特征组总数
Figure 935308DEST_PATH_IMAGE024
为
Figure 756633DEST_PATH_IMAGE025
，第
Figure 292657DEST_PATH_IMAGE026
个分支到第
Figure 199433DEST_PATH_IMAGE027
个分支的特征图之和，大小为
Figure 964258DEST_PATH_IMAGE028
，然后按
Figure 640090DEST_PATH_IMAGE022
做全局平均值池化，就获得了第
Figure 612594DEST_PATH_IMAGE029
组 特征图
Figure 741087DEST_PATH_IMAGE030
；继而，对K个分组做通道注意力：
Figure 309603DEST_PATH_IMAGE031
Figure 839941DEST_PATH_IMAGE032
是通道权重的向量，
Figure 717767DEST_PATH_IMAGE033
表示每个切片的权重，
Figure 864715DEST_PATH_IMAGE034
表示每一个基数群有多少个切片，
Figure 236922DEST_PATH_IMAGE029
表 示第
Figure 887346DEST_PATH_IMAGE029
个基数群，
Figure 404915DEST_PATH_IMAGE023
为基数超参数，
Figure 773579DEST_PATH_IMAGE035
表示每一个切片有多少个通道，
Figure 680968DEST_PATH_IMAGE023
分支特征图与对应权 重相乘，得到第
Figure 451478DEST_PATH_IMAGE029
组卷积通过注意力模块学习到的特征图
Figure 405527DEST_PATH_IMAGE036
的第
Figure 261488DEST_PATH_IMAGE034
维通道
Figure 975497DEST_PATH_IMAGE037
：
Figure 334934DEST_PATH_IMAGE038
Figure 397568DEST_PATH_IMAGE039
表示的是第
Figure 599879DEST_PATH_IMAGE026
个分支的输出，将
Figure 242213DEST_PATH_IMAGE023
组表示形式沿通道维度连接起 来：
Figure 597102DEST_PATH_IMAGE040
然后将基数组的特征沿通道维度连接起来，特征图注意力模块与标准残差块一样，其最终输出是使用快捷连接生成的，输入和输出特征图形状相同，再通过Concatenate函数进行数组拼接后，用一个1×1的卷积转换成输入特征图相同的大小，最后将其与输入特征图进行相加；输出的Y再同时输入第一分支和第二分支，第一分支包括一个全连接层，用于输出待检测试样的缺陷等级，第二分支包括一个回归函数，用于输出待检测试样的缺陷位置、尺寸大小、面积、数量、分布信息。
18.根据权利要求15所述的一种基于机器视觉的钢材低倍数字化检测方法，其特征在于，所述系统包括：缺陷识别模块、基于ResNeSt网络建立的缺陷检测模型、接收模块、预处理模块和缺陷输出模块；其中：
所述接收模块，用于工业相机采集完整的钢材试样低倍组织图像以及微距相机采集的试样局部图像；
所述预处理模块，用于对接收模块采集的图像进行预处理，在保留缺陷信息的同时增强和去除干扰区域；
所述缺陷输出模块，用于将预处理后的图像数据输入缺陷检测模型，得到该试样的缺陷位置、尺寸、数量和等级，在交互界面可视化显示缺陷信息。
CN202211518161.0A 2022-11-30 2022-11-30 一种基于机器视觉的钢材低倍数字化检测方法 Pending CN115541601A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211518161.0A CN115541601A (zh) 2022-11-30 2022-11-30 一种基于机器视觉的钢材低倍数字化检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211518161.0A CN115541601A (zh) 2022-11-30 2022-11-30 一种基于机器视觉的钢材低倍数字化检测方法

Publications (1)

Publication Number Publication Date
CN115541601A true CN115541601A (zh) 2022-12-30

Family

ID=84722298

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211518161.0A Pending CN115541601A (zh) 2022-11-30 2022-11-30 一种基于机器视觉的钢材低倍数字化检测方法

Country Status (1)

Country Link
CN (1) CN115541601A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116205543A (zh) * 2023-05-04 2023-06-02 张家港广大特材股份有限公司 一种结合使用反馈的冶钢质量检测方法及系统
CN116893177A (zh) * 2023-09-11 2023-10-17 四川大学 基于ccd和高温计的激光增材制造过程内部缺陷监测方法
CN117173151A (zh) * 2023-09-25 2023-12-05 江苏精益智控科技有限公司 一种长型钢材的外表面缺陷视觉识别装置、方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109765242A (zh) * 2019-01-15 2019-05-17 南京信息工程大学 一种高检测效率高分辨率的光滑表面质量测量装置及方法
CN111899230A (zh) * 2020-07-15 2020-11-06 重庆大学 基于钢铸坯低倍组织三维特征的质量量化及自动多级评判方法
CN112669307A (zh) * 2021-01-06 2021-04-16 大冶特殊钢有限公司 基于机器视觉的低倍酸蚀缺陷自动识别与评级的方法及系统
CN114419413A (zh) * 2022-01-12 2022-04-29 国网河南省电力公司电力科学研究院 感受野自适应的变电站绝缘子缺陷检测神经网络构建方法
CN114486913A (zh) * 2022-01-20 2022-05-13 宝钢湛江钢铁有限公司 一种钢卷边部几何特征的检测方法
CN216978878U (zh) * 2022-01-18 2022-07-15 北京瓦特曼智能科技有限公司 一种优质结构钢连铸坯低倍组织图像采集装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109765242A (zh) * 2019-01-15 2019-05-17 南京信息工程大学 一种高检测效率高分辨率的光滑表面质量测量装置及方法
CN111899230A (zh) * 2020-07-15 2020-11-06 重庆大学 基于钢铸坯低倍组织三维特征的质量量化及自动多级评判方法
CN112669307A (zh) * 2021-01-06 2021-04-16 大冶特殊钢有限公司 基于机器视觉的低倍酸蚀缺陷自动识别与评级的方法及系统
CN114419413A (zh) * 2022-01-12 2022-04-29 国网河南省电力公司电力科学研究院 感受野自适应的变电站绝缘子缺陷检测神经网络构建方法
CN216978878U (zh) * 2022-01-18 2022-07-15 北京瓦特曼智能科技有限公司 一种优质结构钢连铸坯低倍组织图像采集装置
CN114486913A (zh) * 2022-01-20 2022-05-13 宝钢湛江钢铁有限公司 一种钢卷边部几何特征的检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
任丽: ""超声乳腺肿瘤辅助诊断关键技术研究"", 《中国优秀硕士学位论文全文数据库》, pages 37 - 40 *
张洪博: ""基于群智能优化算法的带钢表面缺陷图像处理方法研究"", 《中国博士学位论文全文数据库 工程科技Ⅰ辑》, pages 29 - 32 *
林美娜: ""基于深度学习的多模态OSAHS检测方法研究"", 《万方--中国学位论文全文数据库》, pages 33 - 37 *
黄聪 等: ""基于改进DeeplabV3+的遥感图像分割算法"", 《电子测量技术》, pages 1 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116205543A (zh) * 2023-05-04 2023-06-02 张家港广大特材股份有限公司 一种结合使用反馈的冶钢质量检测方法及系统
CN116205543B (zh) * 2023-05-04 2023-10-31 张家港广大特材股份有限公司 一种结合使用反馈的冶钢质量检测方法及系统
CN116893177A (zh) * 2023-09-11 2023-10-17 四川大学 基于ccd和高温计的激光增材制造过程内部缺陷监测方法
CN116893177B (zh) * 2023-09-11 2023-11-14 四川大学 基于ccd和高温计的激光增材制造过程内部缺陷监测方法
CN117173151A (zh) * 2023-09-25 2023-12-05 江苏精益智控科技有限公司 一种长型钢材的外表面缺陷视觉识别装置、方法及系统
CN117173151B (zh) * 2023-09-25 2024-03-08 江苏精益智控科技有限公司 一种长型钢材的外表面缺陷视觉识别装置、方法及系统

Similar Documents

Publication Publication Date Title
CN115541601A (zh) 一种基于机器视觉的钢材低倍数字化检测方法
CN104914111B (zh) 一种带钢表面缺陷在线智能识别检测系统及其检测方法
CN109141232B (zh) 一种基于机器视觉的盘类铸件在线检测方法
CN110211101A (zh) 一种铁轨表面缺陷快速检测系统及方法
CN102608126A (zh) 一种高温连铸坯表面缺陷在线检测方法和装置
CN103499585A (zh) 基于机器视觉的非连续性锂电池薄膜缺陷检测方法及其装置
CN109990711B (zh) 一种冲孔镀镍钢带的外观质量检测方法
CN109900719B (zh) 一种叶片表面刀纹的视觉检测方法
CN115482195B (zh) 一种基于三维点云的列车部件变形检测方法
CN113702391B (zh) 一种钢坯表面及近表面缺陷复合检测方法及装置
CN110186375A (zh) 智能化高铁白车身焊接装配特征检测装置及检测方法
CN103308525A (zh) 一种用于金属线材生产的在线检测方法和装置
CN202548069U (zh) 一种高温连铸坯表面缺陷在线检测装置
CN106556606B (zh) 基于机器视觉的大型机械产品总成件的在线质量控制方法
Fu et al. Research on image-based detection and recognition technologies for cracks on rail surface
CN103267498B (zh) 铁矿石粗糙度自动数字量化测量方法
CN112508911A (zh) 基于巡检机器人的轨交接触网悬挂支撑部件裂纹检测系统及其检测方法
CN117115148A (zh) 基于5g技术的芯片表面缺陷智能识别方法
Huang et al. Mango surface defect detection based on HALCON
CN114998254A (zh) 一种连铸坯中心偏析自动评级的方法及系统
CN110189301B (zh) 一种发电机定子铁心钢片叠装平台的异物检测方法
Bai et al. Research on surface crack detection based on computer image recognition
CN111359892A (zh) 一种基于机器视觉的天宝蜜柚外观检测分级装置及其方法
ChaoJie et al. Intelligent bearing quality checking system based on visual inspection
Han et al. Design of Rail Surface Defect Detection System Based on LabVIEW Machine Vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination