CN113077414A - 一种钢板表面缺陷检测方法及系统 - Google Patents
一种钢板表面缺陷检测方法及系统 Download PDFInfo
- Publication number
- CN113077414A CN113077414A CN202110227203.4A CN202110227203A CN113077414A CN 113077414 A CN113077414 A CN 113077414A CN 202110227203 A CN202110227203 A CN 202110227203A CN 113077414 A CN113077414 A CN 113077414A
- Authority
- CN
- China
- Prior art keywords
- steel plate
- real
- time
- images
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 229910000831 Steel Inorganic materials 0.000 title claims abstract description 178
- 239000010959 steel Substances 0.000 title claims abstract description 178
- 230000007547 defect Effects 0.000 title claims abstract description 72
- 238000001514 detection method Methods 0.000 title claims abstract description 21
- 230000007246 mechanism Effects 0.000 claims abstract description 69
- 238000000034 method Methods 0.000 claims abstract description 30
- 238000005516 engineering process Methods 0.000 claims abstract description 8
- 230000009466 transformation Effects 0.000 claims description 26
- 238000012549 training Methods 0.000 claims description 22
- 230000000007 visual effect Effects 0.000 claims description 12
- 230000002950 deficient Effects 0.000 claims description 11
- 230000011218 segmentation Effects 0.000 claims description 11
- 238000012544 monitoring process Methods 0.000 claims description 9
- 238000003706 image smoothing Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 5
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims 2
- 238000013135 deep learning Methods 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 6
- 238000012423 maintenance Methods 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000003702 image correction Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000001681 protective effect Effects 0.000 description 2
- 239000002893 slag Substances 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 206010034972 Photosensitivity reaction Diseases 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000004568 cement Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000036211 photosensitivity Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明公开了一种钢板表面缺陷检测方法及系统，该方法包括以下步骤：S1、在钢板传送装置横向一侧的上方和下方分别固定设置摄像机构；S2、钢板通过钢板传送装置开始传送后，通过多个相机分别获取钢板传送装置上钢板上下表面的实时部分图像，将实时部分图像进行校正，校正后的实时图像中钢板部分的形状为矩形；S3、将同一摄像机构的多个相机同时拍摄的校正后的实时图像拼接在一起，得到钢板表面的实时图像；S4、将获得的钢板表面的实时图像输入缺陷识别模型中进行识别，通过缺陷识别模型获取钢板表面的缺陷信息。本发明提供一种采用侧投影图像采集技术的钢板表面缺陷检测方法及系统。
Description
技术领域
本发明涉及钢板质量检测领域。更具体地说，本发明涉及一种钢板表面缺陷检测方法及系统。
背景技术
现阶段传统的钢板表面缺陷检测系统均采用正投影技术，即在钢板正上方安装图像采集设备，该方案对于上表面的图像采集较好，但是对于下表面会增加设备安装、维护难度。特别对于后期设备维护，耗费较多人力物力。因为在钢板正下方安装，难免会有高温钢渣或其他碎屑掉落；虽然有防护玻璃保护相机，但这些掉落的钢渣、碎屑会遮挡视场，需要工人及时维护，否则影响图像采集，对后续钢板的检测造成障碍。另外，设备安装在钢板正下方，一旦出现钢板插入辊道缝隙事故，容易损坏设备。
发明内容
本发明的目的是提供一种采用侧投影图像采集技术的钢板表面缺陷检测方法及系统。
为了实现根据本发明的这些目的和其它优点，提供了一种钢板表面缺陷检测方法，包括以下步骤：
S1、在钢板传送装置横向一侧的上方和下方分别固定设置摄像机构，摄像机构包括多个视野朝向钢板传送装置的上端或下端的相机，且同一摄像机构的多个相机的视野沿钢板传送装置的横向依次相连；
S2、钢板通过钢板传送装置开始传送后，通过多个相机分别获取钢板传送装置上钢板上下两端的实时部分图像，实时部分图像中钢板部分的形状为由近向远逐渐变窄的梯形，将实时部分图像进行校正，校正后的实时图像中钢板部分的形状为矩形；
S3、将同一摄像机构的多个相机同时拍摄的校正后的实时图像拼接在一起，得到钢板表面的实时图像；
S4、将获得的钢板表面的实时图像输入缺陷识别模型中进行识别，通过缺陷识别模型获取钢板表面的缺陷信息。
优选的是，所述的一种钢板表面缺陷检测方法中，S2中采用透视变换技术对实时部分图像进行校正，具体的：
根据下式(1)的变换公式将实时部分图像投影到一个新的平面：
其中，(u,v)为实时部分图像中任一像素的坐标；(x＝x'/w',y＝y'/w')为(u,v)变在新的平面中的像素坐标；
变换矩阵图解如下：
其中，
表示图像线性变换；T2＝[a13 a23]用于产生图像透视变换；T3＝[a31 a32]表示图像平移；
仿射变换可以理解为透视变换的特殊形式，透视变换的数学表达式为：
优选的是，所述的一种钢板表面缺陷检测方法中，S2中钢板传送装置上无钢板通过时，摄像机构停止工作；当钢板传送装置上无钢板通过时，摄像机构开始工作，通过多个相机分别获取钢板传送装置上钢板上下表面的实时部分图像。
优选的是，所述的一种钢板表面缺陷检测方法中，S3中将同一摄像机构的多个相机同时拍摄的校正后的实时图像拼接时的具体方法为：
将同一摄像机构的多个相机同时拍摄的多张实时图像编做一组，得到多组实时图像组；
确定实时图像横向上两端的叠合区域，将每组实时图像组的多张实时图像横向拼接，并进行图像平滑处理，得到多张横向拼接图像，即条带化图像数据，并根据对应实时图像的拍摄时间顺序将多张横向拼接图像排列成序，并组装成视频；
确定横向拼接图像纵向上两端的叠合区域，将多张横向拼接图像纵向拼接，并进行图像平滑处理，即完成拼接得到钢板表面的实时图像。
优选的是，所述的一种钢板表面缺陷检测方法中，若任一横向拼接图像的平滑边缘曲线出现纵向断裂，则停止将同一摄像机构的多个相机同时拍摄的校正后的实时图像拼接在一起。
优选的是，所述的一种钢板表面缺陷检测方法中，S4中的缺陷识别模型的建立方法如下：采集多张有缺陷的钢板表面的实时图像，并对每张实时图像进行2*2切分，得到第一小块，再将得到的第一小块进行2*2切分，得到第二小块，依此进行N-1次2*2切分后，N为大于3的整数，将得到的第N-1小块直接按照目标分辨率切分成多个第N小块；
将得到得第一小块、第二小块、……和第N-1小块进行saliency显著性检测，对显著性目标物进行图像膨胀处理后，压缩成目标分辨率；
对第N小块和压缩后的第一小块、第二小块、……和第N-1小块进行筛选，去除无缺陷的图像后，将得到的图像作为训练样本；
建立YOLO训练模型，将训练样本带入YOLO训练模型中进行训练后，得到缺陷识别模型。本发明还提供一种钢板表面缺陷检测系统，采用上述任一项所述的一种钢板表面缺陷检测方法，包括上拍照机构、下拍照机构、缺陷识别机构和处理器，所述上拍照机构和下拍照机构钢板传送装置横向一侧的上方和下方，所述摄像机构包括多个视野朝向钢板传送装置的上端或下端的相机，且同一摄像机构的多个相机的视野沿钢板传送装置的横向依次相连，所述上拍照机构和下拍照机构的多个所述相机，以及所述缺陷识别机构分别与所述处理器电连接。
优选的是，所述的一种钢板表面缺陷检测系统中，还包括用于识别钢板传送装置上是否具有钢板传送的钢板监控机构，所述钢板监控机构与所述处理器电连接。
优选的是，所述的一种钢板表面缺陷检测系统中，所述钢板监控机构包括设置在钢板传送装置上发的前端光电对管和尾部光电对管，所述前端光电对管和尾部光电对管分别与所述处理器电连接。
本发运用数字相机空间摄影图像测量技术结合人工智能深度学习技术，将待测钢板图像经数字相机采集输入计算机，由计算机对钢板图像自动进行拼接、测量、识别缺陷。为了保证测量精度，采用高分辨率、高光敏度的工业数字相机；为保证缺陷识别准确率，采用目前最先进的人工智能深度学习技术，对缺陷样本进行学习，生成识别模型。
本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。
附图说明
图1为本发明所述的摄像机构的安装示意图；
图2为本发明S2中校正前后的实时图像对比。
具体实施方式
下面结合附图对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。
本发明的实施例提供一种钢板表面缺陷检测方法，包括以下步骤：
S1、如图1所示，在钢板传送装置横向一侧的上方和下方分别固定设置摄像机构，摄像机构包括多个视野朝向钢板传送装置的上端或下端的相机，且同一摄像机构的多个相机的视野沿钢板传送装置的横向依次相连；
S2、钢板通过钢板传送装置开始传送后，通过多个相机分别获取钢板传送装置上钢板上下两端的实时部分图像，如图2所示，实时部分图像中钢板部分的形状为由近向远逐渐变窄的梯形，将实时部分图像进行校正，校正后的实时图像中钢板部分的形状为矩形；
S3、将同一摄像机构的多个相机同时拍摄的校正后的实时图像拼接在一起，得到钢板表面的实时图像；
S4、将获得的钢板表面的实时图像输入缺陷识别模型中进行识别，通过缺陷识别模型获取钢板表面的缺陷信息。
该实施例中，一般情况下钢板传送装置处的光线条件都比较差，所以如图1所示，本实施例中在钢板传送装置上方和下方的两端分别设置朝向钢板的灯，以提高钢板传送装置处的光线条件，提高摄像机构拍摄图像的清晰度。摄像机构支架和灯架安装在两个滚轮的滚缝处，支柱为空心，底部由空心支柱连接起来，封于水泥基座中，该种方式一是为了稳固二是方便布置线缆。如图1所示，为方便查看将相机和灯挂于支柱外部，实际是安置在支柱内部，支柱内部相应部分开窗，加装高透明度的保护玻璃。本实施例中设备安装在侧面，因擦钢等事故损坏的概率极小，特别是维护十分方便，只需要在检修时定期清扫下开窗处的玻璃表面；因钢板正上方也没有安装设备，检修时拆装辊轮也相对方便。
优选地，作为本发明另外一个实施例，S2中采用透视变换技术对实时部分图像进行校正，具体的：
根据下式(1)的变换公式将实时部分图像投影到一个新的平面：
其中，(u,v)为实时部分图像中任一像素的坐标；(x＝x'/w',y＝y'/w')为(u,v)变在新的平面中的像素坐标；
变换矩阵图解如下：
其中，
表示图像线性变换；T2＝[a13 a23]用于产生图像透视变换；T3＝[a31 a32]表示图像平移；
仿射变换可以理解为透视变换的特殊形式，透视变换的数学表达式为：
该实施例中，相机安装完毕，需要进行标定，标定的目的，就是制作或者手动选取若干特征点(大于或者等于4个)，用最小二乘法计算透视变换矩阵，获得两幅图像之间的映射关系。只要相机位置不变，以后就可以使用该矩阵来对梯形视场图像进行校正，校正为正投影的矩形视场图像。
优选地，作为本发明另外一个实施例，S2中钢板传送装置上无钢板通过时，摄像机构停止工作；当钢板传送装置上无钢板通过时，摄像机构开始工作，通过多个相机分别获取钢板传送装置上钢板上下表面的实时部分图像。优选地，作为本发明另外一个实施例，S3中将同一摄像机构的多个相机同时拍摄的校正后的实时图像拼接时的具体方法为：
将同一摄像机构的多个相机同时拍摄的多张实时图像编做一组，得到多组实时图像组；
确定实时图像横向上两端的叠合区域，将每组实时图像组的多张实时图像横向拼接，并进行图像平滑处理，得到多张横向拼接图像，并根据对应实时图像的拍摄时间顺序将多张横向拼接图像，即条带化图像，组装为视频。
确定横向拼接图像纵向上两端的叠合区域，将多张横向拼接图像纵向拼接，并进行图像平滑处理，即完成拼接得到钢板表面的实时图像。
该实施例中，首先将存储在计算机内存中的图像，按照时序进行横纵排列，确定采集到的每幅图像位置；然后读取某一时刻两台相机同时采集到的横向画面，接着读取上一步“侧投影图像校正标定参数”进行图像校正；因采集到的图像分辨率较高，进行全像素图像拼接，数据计算量过大，所以先确定横向叠合区域，仅对叠合区域进行图像特征提取并拼接；横向拼接完成后进行图像平滑，返回图像内存等待组装成视频。
所有横向拼接完成后，依次读取拼接好的各个横向画面进行纵向拼接。首先读取外部参数，外部参数来源于两组数据，一组来自光电对管，一组来自厂方的生产网络；光电对管负责告知系统是否有新钢板进入或离开测量场，特别是要联合生产网络判断是否出现“倒板”情况，以免造成系统逻辑判断混乱；生产网络要告知本系统钢板的生产规格(非精确尺寸)，以使本系统对所要测量的钢板有一个大体的尺寸认知范围，防止相机掉帧等意外情况，造成系统逻辑混乱。经过上述步骤可确定所需拼接画面的数量，并估算出纵向叠合区域。然后在叠合区域中进行特征提取并拼接。
纵向拼接全部完成后，对整块钢板图像进行平滑，并依据标定参数估算钢板尺寸。接下来再次读取外部参数，进行数据对照，以免发生重大错误而不进行纠错造成整个系统的工作混乱。
优选地，作为本发明另外一个实施例，若任一横向拼接图像的平滑边缘曲线出现纵向断裂，则停止将同一摄像机构的多个相机同时拍摄的校正后的实时图像拼接在一起。
该实施例中，两台相机视场叠合处，即横向拼接图像的拼接区域，实际应用场景中，拼接区域的具体大小要按现场情况调整设定；在拼接区域中，钢板尾部的边缘必定是平滑的曲线，如果相邻的两个相机同步出现问题，则会出现平滑边缘曲线出现纵向断裂，也可以描述为错位。对横向拼接好的条带图像，在拼接区域内提取钢板尾部边缘轮廓，然后沿着轮廓线计算梯度方向；如果为非平滑曲线，会有不少明显垂直纵向(钢板运动方向)的梯度方向，软件算法可判定为出现纵向断裂；这不符合“钢板尾部边缘平滑”的假设，所以可推测为两个相机之间失同步；此刻，控制器发信息给硬件同步设备，进行重启。钢板实际纵向断裂的情况有，但是极少出现。如果出现，软件算法依旧会发信息给硬件同步设备重启，该重启算作非失同步下的冗余重启，不影响系统运行。
优选的是，所述的一种钢板表面缺陷检测方法中，S4中的缺陷识别模型的建立方法如下：采集多张有缺陷的钢板表面的实时图像，并对每张实时图像进行2*2切分，得到第一小块，再将得到的第一小块进行2*2切分，得到第二小块，依此进行N-1次2*2切分后，N为大于3的整数，将得到的第N-1小块直接按照目标分辨率切分成多个第N小块；
将得到得第一小块、第二小块、……和第N-1小块进行saliency显著性检测，对显著性目标物进行图像膨胀处理后，压缩成目标分辨率；
对第N小块和压缩后的第一小块、第二小块、……和第N-1小块进行筛选，去除无缺陷的图像后，将得到的图像作为训练样本；
建立YOLO训练模型，将训练样本带入YOLO训练模型中进行训练后，得到缺陷识别模型。
该实施例中，在目标识别定位方面，当前人工智能深度学习目标识别技术效果较好，本方案选用YOLO系列算法为基础算法，根据系统要求等实际情况进行改进。技术要求常见缺陷的识别率≥85％；YOLO系列算法常见物体的识别率在90％以上，经过改进后可达到92％以上。本实施例主要在数据清洗和YOLO算法上进行了调整，具体的，缺陷识别模型的使用方法如下：
一、数据清洗
1、现场采集1000张以上钢板图像，此处图像指横纵拼接完成的整个钢板图像。
2、人工筛选有缺陷的整块钢板图像，人工剔除没有缺陷的钢板图像，只留下有缺陷的。如果有缺陷的图像太少，例如被剔除超50％，则回到步骤1，再收集一点；最终留下的有缺陷的钢板图像，最好能到1000张，如果到不了，至少500张。
3、采用photoshop或光影魔术手或其它图像批处理软件，对步骤2中的整块钢板图像进行切分。常规操作是直接切分为500*500的小块，本实施例中，假设钢板实际长度为20m宽度4m，图像分辨率为80000*16000。对图像进行2*2切分，例如每块图像为40000*8000像素。再对每个小块进一步切分为20000*4000；再切为10000*2000，再切为5000*1000，再切为2500*500；接下来切分规则变为5*1切分，即分为500*500的图像块。由此，则1张完整的钢板图像被切分为4+16+64+256+1024+5120＝6484。
假设步骤2采集了500张，则总的图片数量为6484*500＝3242000张图像。对于500*500的图像不做处理，对于分辨率大于500*500的图像，先进行saliency显著性检测，对显著性目标物进行图像膨胀处理，再用金字塔降采样统一压缩为625*125。
4、再次进行人工筛选，剔除无缺陷的图像。假设按照一般情况剔除，则最终被剔除的会大于90％的比例，即只留下324200张图片或者更少。
5、人工标注图像，使用ImageLable进行图像标注。该步骤即为准备训练用的样本数据。
6、如果步骤5标注完所有样本发现，某些样本数量过少，例如凹坑缺陷只有100个，而其它如麻点等有1000个，则这套样本即为分布不平衡样本集，需要对较少的样本进行增扩，增扩方式有旋转、随机裁剪等；然后对增扩的样本再次按照步骤5进行标注。
二、YOLO算法调整
7、将上述步骤6中的样本，每一个样本含图片jpg和对应标注信息XML文件，分别放入对应的文件夹。
8、下载预训练权重文件，作为初始模型参数。初始模型权重可使用imagenet的，或者YOLO自己的，对于钢板检测建议采用东北大学NEU-CL的，更有针对性。
9、仔细调试YOLO算法，主要是调整训练参数，以及各个文件路径，配置深度学习服务器，让该算法训练模式跑起来。
10、步骤9完毕后，会产生一个权值文件，该文件即为步骤6中被标注的数据训练出来的model文件。
三、推理
11、将步骤10的model文件载入YOLO的model文件夹中；
12、启动YOLO的reference代码，进行推理。此刻输入数据即为待识别的钢板。待识别的钢板图像在预处理部分，依旧使用步骤3的方式进行处理。当出现缺陷的时候，软件程序界面会有红色框框，将有缺陷的地方标注出来。
一种钢板表面缺陷检测系统，包括上拍照机构、下拍照机构、缺陷识别机构和处理器，所述上拍照机构和下拍照机构钢板传送装置横向一侧的上方和下方，所述摄像机构包括多个视野朝向钢板传送装置的上端或下端的相机，且同一摄像机构的多个相机的视野沿钢板传送装置的横向依次相连，所述上拍照机构和下拍照机构的多个所述相机，以及所述缺陷识别机构分别与所述处理器电连接；还包括用于识别钢板传送装置上是否具有钢板传送的钢板监控机构，所述钢板监控机构与所述处理器电连接。
该实施例中，所述钢板监控机构包括设置在钢板传送装置上发的前端光电对管和尾部光电对管，所述前端光电对管和尾部光电对管分别与所述处理器电连接。当辊道上没有钢板时，相机对辊道实时监测，只读取视频流，不采集图像，相当于休眠状态。当待测钢板进入测量视场前，前端光电对管被触发，发出信号给处理器，处理器控制相机启动工作。相机自动同步搜寻并确定钢板在辊道平面的位置，同步采集图像，并将钢板图像数据输入处理器。缺陷识别机构采用缺陷识别服务器，缺陷识别服务器读取该钢板的生产信息。当钢板离开测量视场后，尾部光电对管被触发，发出信号给处理器，告知处理器采集结束。处理器开始启动拼接操作。
各相机采集到的钢板图像首先经过透视变换并进行畸变校正，然后钢板图像在内存中被横纵矩阵排列，接下来将条带化图像组装成视频，按需要再对视频帧进行高速拼接操作。拼接好的钢板图像存入高速硬盘，通过网络发送给缺陷识别服务器。识别服务器依据接收到的钢板生产信息，判断系统逻辑是否正常，即确定将要进行识别的是否为该块钢板。
然后识别服务器开始对拼接好的图像进行图像预处理，接下来调用已经训练好的识别模型，对缺陷进行识别。缺陷识别服务器有两种工作模式，一种是上述在线识别模式，一种是离线样本采集学习模式。基于人工智能的深度学习技术，需要大量的带标注的样本训练模型，样本越多学习得越好，因此随着处理器使用时间的增加，收集到的样本数量也在增加，对这些增量样本进行标注，然后进一步对模型进行训练，可逐步提高处理器识别性能。该过程类似于人的学习过程。离线模式下，识别服务器会收集各类样本缺陷，配合人工标注，以及深度学习训练服务器进行训练，为训练出新的性能更好的模型提供样本。
识别完成后，会在原图像上画出红色方框，以坐标形式告知在钢板的哪个位置出现何种缺陷。识别服务器通过车间工业以太网上传至厂方网络/数据库，并通过显示器显示给操作人员。整个过程是实时进行的。操作人员无须进行任何操作，处理器是全自动地完成识别全过程。
尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的实施例。
Claims (9)
1.一种钢板表面缺陷检测方法，其特征在于，包括以下步骤：
S1、在钢板传送装置横向一侧的上方和下方分别固定设置摄像机构，摄像机构包括多个视野朝向钢板传送装置的上端或下端的相机，且同一摄像机构的多个相机的视野沿钢板传送装置的横向依次相连；
S2、钢板通过钢板传送装置开始传送后，通过多个相机分别获取钢板传送装置上钢板上下表面的实时部分图像，实时部分图像中钢板部分的形状为由近向远逐渐变窄的梯形，将实时部分图像进行校正，校正后的实时图像中钢板部分的形状为矩形；
S3、将同一摄像机构的多个相机同时拍摄的校正后的实时图像拼接在一起，得到钢板表面的实时图像；
S4、将获得的钢板表面的实时图像输入缺陷识别模型中进行识别，通过缺陷识别模型获取钢板表面的缺陷信息。
2.如权利要求1所述的一种钢板表面缺陷检测方法，其特征在于，S2中采用透视变换技术对实时部分图像进行校正，具体的：
根据下式(1)的变换公式将实时部分图像投影到一个新的平面：
其中，(u,v)为实时部分图像中任一像素的坐标；(x＝x'/w',y＝y'/w')为(u,v)变在新的平面中的像素坐标；
变换矩阵图解如下：
其中，
表示图像线性变换；T2＝[a13 a23]用于产生图像透视变换；T3＝[a31a32]表示图像平移；
仿射变换可以理解为透视变换的特殊形式，透视变换的数学表达式为：
3.如权利要求1所述的一种钢板表面缺陷检测方法，其特征在于，S2中钢板传送装置上无钢板通过时，摄像机构停止工作；当钢板传送装置上无钢板通过时，摄像机构开始工作，通过多个相机分别获取钢板传送装置上钢板上下表面的实时部分图像。
4.如权利要求3所述的一种钢板表面缺陷检测方法，其特征在于，S3中将同一摄像机构的多个相机同时拍摄的校正后的实时图像拼接时的具体方法为：
将同一摄像机构的多个相机同时拍摄的多张实时图像编做一组，得到多组实时图像组；
确定实时图像横向上两端的叠合区域，将每组实时图像组的多张实时图像横向拼接，并进行图像平滑处理，得到多张横向拼接图像，并根据对应实时图像的拍摄时间顺序将多张横向拼接图像排列成序；
确定横向拼接图像纵向上两端的叠合区域，将多张横向拼接图像纵向拼接，并进行图像平滑处理，即完成拼接得到钢板表面的实时图像。
5.如权利要求4所述的一种钢板表面缺陷检测方法，其特征在于，若任一横向拼接图像的平滑边缘曲线出现纵向断裂，则停止将同一摄像机构的多个相机同时拍摄的校正后的实时图像拼接在一起。
6.如权利要求4所述的一种钢板表面缺陷检测方法，其特征在于，S4中的缺陷识别模型的建立方法如下：采集多张有缺陷的钢板表面的实时图像，并对每张实时图像进行2*2切分，得到第一小块，再将得到的第一小块进行2*2切分，得到第二小块，依此进行N-1次2*2切分后，N为大于3的整数，将得到的第N-1小块直接按照目标分辨率切分成多个第N小块；
将得到得第一小块、第二小块、……和第N-1小块进行saliency显著性检测，对显著性目标物进行图像膨胀处理后，压缩成目标分辨率；
对第N小块和压缩后的第一小块、第二小块、……和第N-1小块进行筛选，去除无缺陷的图像后，将得到的图像作为训练样本；
建立YOLO训练模型，将训练样本带入YOLO训练模型中进行训练后，得到缺陷识别模型。
7.一种钢板表面缺陷检测系统，采用如权利要求1-6任一项所述的一种钢板表面缺陷检测方法，其特征在于，包括上拍照机构、下拍照机构、缺陷识别机构和处理器，所述上拍照机构和下拍照机构钢板传送装置横向一侧的上方和下方，所述摄像机构包括多个视野朝向钢板传送装置的上端或下端的相机，且同一摄像机构的多个相机的视野沿钢板传送装置的横向依次相连，所述上拍照机构和下拍照机构的多个所述相机，以及所述缺陷识别机构分别与所述处理器电连接。
8.如权利要求7所述的一种钢板表面缺陷检测系统，其特征在于，还包括用于识别钢板传送装置上是否具有钢板传送的钢板监控机构，所述钢板监控机构与所述处理器电连接。
9.如权利要求8所述的一种钢板表面缺陷检测系统，其特征在于，所述钢板监控机构包括设置在钢板传送装置上发的前端光电对管和尾部光电对管，所述前端光电对管和尾部光电对管分别与所述处理器电连接。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110227203.4A CN113077414B (zh) | 2021-03-01 | 2021-03-01 | 一种钢板表面缺陷检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110227203.4A CN113077414B (zh) | 2021-03-01 | 2021-03-01 | 一种钢板表面缺陷检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113077414A true CN113077414A (zh) | 2021-07-06 |
| CN113077414B CN113077414B (zh) | 2023-05-16 |
Family
ID=76609615
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110227203.4A Active CN113077414B (zh) | 2021-03-01 | 2021-03-01 | 一种钢板表面缺陷检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113077414B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113393383A (zh) * | 2021-08-17 | 2021-09-14 | 常州市新创智能科技有限公司 | 一种双深度相机拍照图像的拼接方法 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1789990A (zh) * | 2005-12-01 | 2006-06-21 | 渤海船舶重工有限责任公司 | 钢板预处理过程中的上、下表面缺陷在线自动检测方法 |
| JP2010112847A (ja) * | 2008-11-07 | 2010-05-20 | Jfe Steel Corp | 熱間圧延鋼板の表面欠陥検査装置 |
| JP2015025741A (ja) * | 2013-07-26 | 2015-02-05 | Ｊｆｅスチール株式会社 | 鋼板端面の欠陥検出方法及び欠陥検出装置 |
| JP2016095160A (ja) * | 2014-11-12 | 2016-05-26 | Ｊｆｅスチール株式会社 | 表面欠陥検出方法及び表面欠陥検出装置 |
| CN106706653A (zh) * | 2017-01-12 | 2017-05-24 | 河北省自动化研究所 | 一种高速宽型板材检测方法 |
| CN107749979A (zh) * | 2017-09-20 | 2018-03-02 | 神画科技（深圳）有限公司 | 一种投影机左右梯形校正方法 |
| CN110554052A (zh) * | 2019-10-12 | 2019-12-10 | 南宁市威锐康商贸有限公司 | 一种人造板表面缺陷检测方法及其系统 |
| CN110728657A (zh) * | 2019-09-10 | 2020-01-24 | 江苏理工学院 | 一种基于深度学习的环状轴承外表面缺陷检测方法 |
| CN110873718A (zh) * | 2019-11-15 | 2020-03-10 | 南京理工大学 | 基于机器视觉的钢板表面缺陷检测系统及方法 |
| CN111062915A (zh) * | 2019-12-03 | 2020-04-24 | 浙江工业大学 | 一种基于改进YOLOv3模型的实时钢管缺陷检测方法 |
| CN111784670A (zh) * | 2020-06-30 | 2020-10-16 | 平安国际智慧城市科技股份有限公司 | 基于计算机视觉的热轧钢板表面缺陷识别方法及装置 |
| CN112016675A (zh) * | 2020-08-13 | 2020-12-01 | 北京首钢自动化信息技术有限公司 | 用于钢板表面缺陷检测的cnn模型训练方法和装置 |
-
2021
- 2021-03-01 CN CN202110227203.4A patent/CN113077414B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1789990A (zh) * | 2005-12-01 | 2006-06-21 | 渤海船舶重工有限责任公司 | 钢板预处理过程中的上、下表面缺陷在线自动检测方法 |
| JP2010112847A (ja) * | 2008-11-07 | 2010-05-20 | Jfe Steel Corp | 熱間圧延鋼板の表面欠陥検査装置 |
| JP2015025741A (ja) * | 2013-07-26 | 2015-02-05 | Ｊｆｅスチール株式会社 | 鋼板端面の欠陥検出方法及び欠陥検出装置 |
| JP2016095160A (ja) * | 2014-11-12 | 2016-05-26 | Ｊｆｅスチール株式会社 | 表面欠陥検出方法及び表面欠陥検出装置 |
| CN106706653A (zh) * | 2017-01-12 | 2017-05-24 | 河北省自动化研究所 | 一种高速宽型板材检测方法 |
| CN107749979A (zh) * | 2017-09-20 | 2018-03-02 | 神画科技（深圳）有限公司 | 一种投影机左右梯形校正方法 |
| CN110728657A (zh) * | 2019-09-10 | 2020-01-24 | 江苏理工学院 | 一种基于深度学习的环状轴承外表面缺陷检测方法 |
| CN110554052A (zh) * | 2019-10-12 | 2019-12-10 | 南宁市威锐康商贸有限公司 | 一种人造板表面缺陷检测方法及其系统 |
| CN110873718A (zh) * | 2019-11-15 | 2020-03-10 | 南京理工大学 | 基于机器视觉的钢板表面缺陷检测系统及方法 |
| CN111062915A (zh) * | 2019-12-03 | 2020-04-24 | 浙江工业大学 | 一种基于改进YOLOv3模型的实时钢管缺陷检测方法 |
| CN111784670A (zh) * | 2020-06-30 | 2020-10-16 | 平安国际智慧城市科技股份有限公司 | 基于计算机视觉的热轧钢板表面缺陷识别方法及装置 |
| CN112016675A (zh) * | 2020-08-13 | 2020-12-01 | 北京首钢自动化信息技术有限公司 | 用于钢板表面缺陷检测的cnn模型训练方法和装置 |
Non-Patent Citations (3)
| Title |
|---|
| LIEKKAS0626: "图像几何变换之透视变换", 《CSDN》 * |
| 周诗洋: "基于视觉显著性和稀疏表示的钢板表面缺陷图像检测方法研究", 《中国博士学位论文全文数据库工程科技Ⅰ辑》 * |
| 高军强等: "多摄像机线结构光的钢轨表面三维缺陷检测" * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113393383A (zh) * | 2021-08-17 | 2021-09-14 | 常州市新创智能科技有限公司 | 一种双深度相机拍照图像的拼接方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113077414B (zh) | 2023-05-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102735695B (zh) | 一种镜片瑕疵快速检测方法及装置 | |
| CN103207185A (zh) | 钢卷端部质量检测系统及方法 | |
| CN104483320A (zh) | 工业脱硝催化剂的数字化缺陷检测装置与检测方法 | |
| CN111610193A (zh) | 采用多镜头拍摄巡检地铁隧道管片结构缺陷的系统及方法 | |
| CN105092473A (zh) | 一种多晶硅薄膜的质量检测方法和系统 | |
| CN107966102A (zh) | 一种板材生产用六面检测装置 | |
| CN111311487B (zh) | 一种光伏组件图像的快速拼接方法及系统 | |
| CN113077414B (zh) | 一种钢板表面缺陷检测方法及系统 | |
| CN112096454A (zh) | 隧道衬砌裂缝修复装置 | |
| CN110681598A (zh) | 一种管件内外观检查系统及检查方法 | |
| CN114565845A (zh) | 一种地下隧道智能巡检系统 | |
| CN111145220A (zh) | 一种基于视觉信息的隧道目标轨迹跟踪方法 | |
| EP1018633A2 (en) | Bar angle measurement system | |
| CN111738148B (zh) | 一种利用红外巡检拍摄的故障识别方法 | |
| CN212301350U (zh) | 一种用于钢管内壁涂层缺陷检测的光学成像显示系统 | |
| CN113139900A (zh) | 一种棒材完整表面图像获取方法 | |
| CN116106315A (zh) | 一种发动机外观检验装置、方法及存储介质 | |
| CN112839168B (zh) | 一种自动调整aoi检测系统中相机成像分辨率的方法 | |
| CN115908301A (zh) | 一种基于增强输入的缺陷检测方法、装置及存储介质 | |
| CN106770334B (zh) | 一种用于钢化玻璃的自动化检测平台及其检测方法 | |
| CN112257514B (zh) | 一种用于设备故障巡检的红外视觉智检的拍摄方法 | |
| CN110634136A (zh) | 一种管道壁破损检测方法、装置及系统 | |
| CN110849887A (zh) | 一种钢管内壁涂层缺陷检测装置及其检测方法 | |
| CN111330869A (zh) | 一种镜片在线分级的视觉检测方法和系统 | |
| CN115541612B (zh) | 一种数据采集终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240527 Address after: 430000, No. 20 Guannanyuan 1st Road, Donghu New Technology Development Zone, Wuhan, Hubei Province, China Contemporary Science and Technology Park (Huaxia Entrepreneurship Center), Building 4, Building 4, 13th Floor, No.12, No.13, No.15 (Free Trade Zone Wuhan Area) Patentee after: Chenyu Technology (Wuhan) Co.,Ltd. Country or region after: China Address before: 432000 No. 272 traffic Avenue, Hubei, Xiaogan Patentee before: HUBEI ENGINEERING University Country or region before: China |
|
| TR01 | Transfer of patent right |