CN117392043A - 一种基于深度学习的钢板表面缺陷视频检测方法及系统 - Google Patents

一种基于深度学习的钢板表面缺陷视频检测方法及系统 Download PDF

Info

Publication number
CN117392043A
CN117392043A CN202210763610.1A CN202210763610A CN117392043A CN 117392043 A CN117392043 A CN 117392043A CN 202210763610 A CN202210763610 A CN 202210763610A CN 117392043 A CN117392043 A CN 117392043A
Authority
CN
China
Prior art keywords
neural network
steel plate
detection
network model
video image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210763610.1A
Other languages
English (en)
Inventor
刘迟
蔡彬
王志鹏
李富强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Longshine Oil Tubular Technology Co ltd
China Petroleum Engineering Materials Research Institute Co ltd
China National Petroleum Corp
Original Assignee
Beijing Longshine Oil Tubular Technology Co ltd
China Petroleum Engineering Materials Research Institute Co ltd
China National Petroleum Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Longshine Oil Tubular Technology Co ltd, China Petroleum Engineering Materials Research Institute Co ltd, China National Petroleum Corp filed Critical Beijing Longshine Oil Tubular Technology Co ltd
Priority to CN202210763610.1A priority Critical patent/CN117392043A/zh
Publication of CN117392043A publication Critical patent/CN117392043A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395—Quality analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Educational Administration (AREA)
  • Strategic Management (AREA)
  • Quality & Reliability (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Operations Research (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Biomedical Technology (AREA)
  • Marketing (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度学习的钢板表面缺陷视频检测方法及系统，通过对获取的视频图像信息进行矫正处理；对矫正处理后的视频图像进行缺陷定位及分类标定后，获得训练数据集；建立目标检测神经网络模型；利用所述的目标检测神经网络模型对所述的训练数据集进行卷积神经网络训练，得到训练好的检测神经网络模型；将待检测的钢板表面缺陷的视频图像信息输入到训练好的检测神经网络模型中，实现高帧率实时对钢板表面缺陷的识别检测。本发明通过用计算机视觉识别计钢板在生产、运输、成型等生产过程中产生的缺陷，大大的节省劳动力，减少误判、错判带来的质量隐患，提高了产品的合格率，提高钢板表面缺陷的检测效率，且检测结果精确度较高。

Description

一种基于深度学习的钢板表面缺陷视频检测方法及系统
技术领域
本发明属于图像处理技术领域，涉及一种基于深度学习的钢板表面缺陷视频检测方法及系统。
背景技术
埋弧焊直缝/螺旋钢管管道是石油天然气输送系统的主要组成部分，钢板\ 卷板在轧制、运输及在钢管生产的弯制成型、焊接等过程中会产生凹坑、重皮、夹杂、划痕、碰伤等缺陷/缺欠，在GB/T 9711-2017《石油天然气工业管线输送系统用钢管》、API 5L(第46版)《管线管》及相关行业钢管标准均对钢管表面的缺陷/缺欠有明确的规定。
钢板/卷板最终成型焊接成钢管需进行内外表面缺陷/缺欠检查，对发现的缺陷/缺欠进行修磨、切除等处理，并做复检确保合格。钢管成品外表面检验可以在检验平台边旋转边检查，但钢管内表面的缺陷检查一直是行业难题，也是一个避免不了的问题。一般情况下，检查人员可以钻进直径大于508mm钢管内进行目视检查，但毕竟空间狭小，身体、头部转动困难，不可能做到全面积不遗漏的检查，对直径小于508mm的钢管，检查人员根本就进不去，只能在管端在强光照明下目视检查或用内窥镜检查，势必造成钢管内壁缺陷/缺欠的漏检、少检而产生质量隐患，且而人工检测成本较高，效率低下，且检测结果误差较大，导致产品的合格率较低。
发明内容
针对现有技术中存在的问题，本发明提供一种基于深度学习的钢板表面缺陷视频检测方法及系统，通过用计算机视觉识别计钢板在生产、运输、成型等生产过程中产生的缺陷，大大的节省劳动力，减少误判、错判带来的质量隐患，提高了产品的合格率，提高钢板表面缺陷的检测效率，且检测结果精确度较高。
本发明是通过以下技术方案来实现：
一种基于深度学习的钢板表面缺陷视频检测方法，包括以下步骤：
步骤1，获取钢板表面缺陷的视频图像信息；
步骤2，对获取的视频图像信息进行矫正处理；
步骤3，对矫正处理后的视频图像进行缺陷定位及分类标定后，获得训练数据集；
步骤4，基于Yolo算法，建立目标检测神经网络模型；
步骤5，利用所述的目标检测神经网络模型对所述的训练数据集进行卷积神经网络训练，得到训练好的检测神经网络模型；
步骤6将训练好的检测神经网络模型通过在神经网络硬件加速单元中进行深度学习，再将待检测的钢板表面缺陷的视频图像信息输入，输出得到待检测的钢板表面缺陷的识别检测结果。
优选的，步骤1中采用CMOS相机采集钢板表面缺陷的视频图像信息。
优选的，所述步骤2中的矫正处理包括坏点矫正处理、图像锐化处理和 gamma矫正处理；所述坏点矫正处理通过对钢板表面缺陷的视频图像采用DPC 算法对窗口中的明显异于临近像素的坏点进行标定和校正；所述图像锐化处理调节钢板表面缺陷的视频图像的边缘的锐化属性和增强钢板表面缺陷的视频图像的细节和纹理的清晰度；所述gamma矫正处理对图像进行亮度空间非线性转换以适配输出设备。
优选的，步骤3对矫正处理后的视频图像进行缺陷定位及分类标定，具体过程为：对采集的视频图像信息中的缺陷检测目标的实际位置进行标注，并根据不同缺陷类别对视频图像信息进行切割分类并命名，获得训练数据集。
优选的，所述目标检测神经网络模型采用轻量化的YOLOv3-Tiny神经网络模型。
优选的，步骤4中将目标检测神经网络模型对训练数据集进行卷积神经网络训练，具体过程为：在caffe框架下以训练数据集为目标检测神经网络模型的输入，不断优化目标检测神经网络模型的参数和权重，并计算出目标检测神经网络模型的预测框与训练数据集的原记框的并交比，直至并交比达到预期值，得到训练好的检测神经网络模型。
优选的，步骤6的将训练好的检测神经网络模型通过神经网络硬件加速单元中进行深度学习，再将待检测的钢板表面缺陷的视频图像信息输入，输出得到对待检测的钢板表面缺陷的识别检测结果的具体过程为：将训练好的检测神经网络模型中的卷积神经网络部署到神经网络硬件加速单元中进行深度学习，再将待检测的钢板表面缺陷的视频图像信息输入到深度学习后的神经网络硬件加速单元中，通过待检测的钢板表面缺陷的提取视频图像信息的特征值并输出缺陷的位置和类型，从而实现高帧率实时对钢板表面缺陷的识别检测。
优选的，所述通过神经网络硬件加速单元部署深度学习卷积神经网络的具体过程为：将训练好的检测神经网络模型的结构文件和训练好的检测神经网络模型权重文件量化转换为NNIE神经网络硬件加速单元的配置文件；并计算量化后的检测神经网络模型与原目标检测神经网络模型中caffe框架模型中的各层输出的余弦相似度和最大误差，得到精度损失，直至精度损失达到可接受的范围是，则可进行卷积神经网络在NNIE神经网络硬件加速单元上的部署。
一种基于深度学习的钢板表面缺陷视频检测系统，包括，
图像采集模块，图像处理模块，图像分类定位模块，模型建立模块，缺陷识别与检测模块，检测结果输出模块，
所述图像采集模块用于对获取钢板表面缺陷的视频图像信息；
所述图像处理模块用于对获取的视频图像信息进行矫正处理；
所述图像分类定位模块对矫正处理后的视频图像进行缺陷定位及分类标定后；
所述模型建立模块用于建立目标检测神经网络模型；
所述缺陷识别与检测模块用于对目标检测神经网络模型对所述的训练数据集进行卷积神经网络训练，得到训练好的检测神经网络模型以及钢板表面缺陷的识别检测；
所述检测结果输出模块用于输出待检测的钢板表面缺陷的识别检测结果。
优选的，所述图像处理模块采用海思Hi3559中的ISP模块；所述缺陷识别与检测模块采用型号为Hi3559的SoC芯片，所述型号为Hi3559的SoC芯片中内嵌有NNIE神经网络硬件加速单元。
与现有技术相比，本发明具有以下有益的技术效果：
本发明提供一种基于深度学习的钢板表面缺陷视频检测方法及系统，通过计算机视觉识别实时获取钢板表面缺陷的视频图像信息使得检测效率较高，对矫正处理后的视频图像(凹坑、夹杂、重皮、划痕等)进行缺陷定位及分类标定后，获得训练数据集，建立目标检测神经网络模型，使目标检测神经网络模型，模型达到对缺陷/缺欠的检测、分类和尺寸定量的功能。通过将待检测的钢板表面缺陷的视频图像信息输入到训练好的检测神经网络模型中，可快速实时的输出对待检测的钢板表面缺陷的识别检测结果，通过用计算机视觉识别检测钢板在生产、运输、成型等生产过程中产生的缺陷，大大的节省劳动力，减少误判、错判带来的质量隐患，提高了产品的合格率，提高钢板表面缺陷的检测效率，且检测结果精确度较高。
进一步，本发明采用NNIE神经网络硬件加速单元，可以大幅提高神经网络的运算速度，通过神经网络硬件加速单元部署深度学习卷积神经网络，实现高帧率实时对钢板表面缺陷的快速识别检测，快速的输出检测结果，进一步提高检测效率；
进一步，本发明对钢板表面缺陷的视频图像信息进行坏点矫正处理、图像锐化处理和gamma矫正处理，有效的提升钢板表面缺陷的视频图像质量以及更加突出显示出图像中的关键特征信息，便于精准识别，提高检测结果的精确度；
进一步，本发明的检测方法在项目完工后，实现对项目的钢板表面质量数据统计和质量评价，实现对不同钢厂供货钢板表面质量数据统计和评价，便于指导后期的原料采购。
附图说明
图1为本发明深度学习的钢板表面缺陷视频检测系统流程图；
图2为实施例中YOLOv3-Tiny网络结构模型图。
具体实施方式
下面结合具体的实施例对本发明做进一步的详细说明，所述是对本发明的解释而不是限定。
为消除可能的漏检、少检及人为因素，将钢板/卷板表面的缺陷/缺欠检查前移到成型之前是缺陷进行识别检测，例如：
1、直缝钢管：在钢板超声波板探流程后，检验、标记钢板的上表面(钢管内表面)缺陷|\缺欠进行消除处理，合格者继续下一步流程，不合格者下线。
2、螺旋钢管：在板卷展开校平后进行检验、标记钢板的上表面(钢管内表面)缺陷/缺欠进行消除处理，不合格部位切除。
一种基于深度学习的钢板表面缺陷视频检测方法，如图1所示，包括以下步骤：
步骤1，获取钢板表面缺陷的视频图像信息；
步骤2，对获取的视频图像信息进行矫正处理；
步骤3，对矫正处理后的视频图像进行缺陷定位及分类标定后，获得训练数据集；
步骤4，基于Yolo算法，建立目标检测神经网络模型；
步骤5，利用所述的目标检测神经网络模型对所述的训练数据集进行卷积神经网络训练，得到训练好的检测神经网络模型；
步骤6，将训练好的检测神经网络模型通过在神经网络硬件加速单元中进行深度学习，再将待检测的钢板表面缺陷的视频图像信息输入，输出得到待检测的钢板表面缺陷的识别检测结果。
步骤1中采用CMOS相机采集钢板表面缺陷的视频图像信息。
所述步骤2中的矫正处理包括坏点矫正处理、图像锐化处理和gamma矫正处理；所述坏点矫正处理通过对钢板表面缺陷的视频图像采用DPC算法对窗口中的明显异于临近像素的坏点进行标定和校正；其中第2步的图像处理在海思Hi3559中的ISP模块完成。坏点矫正DPC算法通过在5x5的窗口中通过某些坏点检测算法找到该窗口中明显异于临近像素的坏点。该模块主要包含以下两种模式：
(1)静态坏点标定/校正有两种流程：亮点和暗点流程
在亮点流程中，光圈处于关闭状态，启动坏点标定程序，得到坏点坐标信息。
坏点个数的总数由坏点校正模块的memory决定的。得到的坏点通过临近像素的中值滤波进行校正。
在暗点流程中，光圈处于正常打开状态，要求平坦背景，最好使用灰度箱固定光源，图像整体平均亮度大约为最大亮度50％，或Bayer格式中B通道亮度为最大亮度20％左右，启动坏点检测程序，得到坏点坐标。坏点个数的总数是由坏点校正模块的memory决定的。得到的坏点通过临近像素的中值滤波进行校正。
(2)动态坏点检测/校正
在这种模式中，校正模块使用动态检测方法的进行坏点检测，能够校正的坏点个数是没有限制的。这种模式总体上相对于静态模式更不可靠，但是在低照度情况下强烈推荐使用动态坏点校正功能，可以校正更多的坏点以及明显改善图像偏色的问题。
所述图像锐化处理调节钢板表面缺陷的视频图像的边缘的锐化属性和增强钢板表面缺陷的视频图像的细节和纹理的清晰度；图像锐化模块用于增强图像的清晰度，包括调节图像边缘的锐化属性和增强图像的细节和纹理的清晰度，同时还能分别独立控制图像的带方向的边缘和无方向的细节纹理的锐化强度。此外，还能控制锐化后的图像的overshoot(白边白点)和undershoot(黑边黑点)，以及抑制噪声的增强。
所述gamma矫正处理对图像进行亮度空间非线性转换以适配输出设备。 Gamma矫正模块对图像进行亮度空间非线性转换以适配输出设备。Gamma模块校正R、G、B时调用同一组Gamma表，Gamma表各节点之间的间距相同，节点之间的图像像素值使用线性插值生成。
步骤3对矫正处理后的视频图像进行缺陷定位及分类标定，具体过程为：对采集的视频图像信息中的缺陷中的检测目标的实际位置进行标注，并根据不同缺陷类别对视频图像信息进行切割分类，获得训练数据集。
所述目标检测神经网络模型采用轻量化的YOLOv3-Tiny神经网络模型。
具体为：Yolo算法采用一个单独的CNN模型实现端到端的目标检测，首先将输入钢板表面的缺陷图片设计尺寸大小为resize到416x416，然后送入CNN 网络，最后处理网络预测结果得到检测的目标。
YOLO的核心思想就是利用整张图作为网络的输入，直接在输出层回归 boundingbox(边界框)的位置及其所属的类别。将一幅图像分成SxS个网格 (grid cell)，如果某个目标的中心落在这个网格中，则这个网格就负责预测这个目标。每个bounding box要预测x,y,w,h(x坐标，y坐标，宽度，高度) 和confidence(置信度)共5个值，每个网格还要预测一个类别信息，记为C 类。则SxS个网格，每个网格要预测B个bounding box，每个box中都有C个 classes对应的概率值其网络结构如2图2所示。
网络中共有23层网络，其中包含五种不同的网络层：卷积层convolutional(13个)，池化层maxpool(6个)，路由层route(2个)，上采样层upsample(1个)，输出层yolo(2个)。每个卷积层后都有一个Batch Normalization 层，其运算为：
其中γ为缩放因子，μ为均值，σ2为方差，β为偏置，χconv为卷积计算结果：
由于BN层和卷积操作都是线性的，将权重文件进行批量归一化，可以代替卷积层之后的BN层：
即：
合并后权值参数变为：
偏置变为：
合并后的计算变为：
步骤4中将目标检测神经网络模型对训练数据集进行卷积神经网络训练，具体过程为：在caffe框架下以训练数据集为目标检测神经网络模型的输入，不断优化目标检测神经网络模型的参数和权重，并计算出目标检测神经网络模型的预测框与训练数据集的原记框的并交比，直至并交比达到预期值，得到训练好的检测神经网络模型。
步骤6的将训练好的检测神经网络模型通过神经网络硬件加速单元中进行深度学习，再将待检测的钢板表面缺陷的视频图像信息输入，输出得到对待检测的钢板表面缺陷的识别检测结果的具体过程为：将训练好的检测神经网络模型中的卷积神经网络部署到神经网络硬件加速单元中进行深度学习，再将待检测的钢板表面缺陷的视频图像信息输入到深度学习后的神经网络硬件加速单元中，通过待检测的钢板表面缺陷的提取视频图像信息的特征值并输出缺陷的位置和类型，从而实现高帧率实时对钢板表面缺陷的识别检测。
所述将训练好的检测神经网络模型中的卷积神经网络部署到神经网络硬件加速单元中进行深度学习的具体过程为：将训练好的检测神经网络模型的结构文件和训练好的检测神经网络模型权重文件量化转换为NNIE神经网络硬件加速单元的配置文件；并计算量化后的检测神经网络模型与原目标检测神经网络模型中caffe框架模型中的各层输出的余弦相似度和最大误差，得到精度损失，直至精度损失达到可接受的范围是，则可进行卷积神经网络在NNIE神经网络硬件加速单元上的部署。
针对神经网络模型部署问题，本发明采用海思Hi3559A中内嵌的NNIE (NeuralNetwork Inference Engine)，是海思媒体SoC中专门针对神经网络特别是深度学习卷积神经网络进行加速处理的硬件单元，支持现有大部分的公开网络。
在具体实施的过程中，首先需要实地采集在生产过程中的钢板的图像数据，再手动将这些图像打上标签并标注出检测目标的实际位置，形成训练集，在caffe框架下以训练集为神经网络模型输入，不断优化模型参数和权重，同时对模型中特定的某些层检测，并计算出IOU(交并比，指的是模型预测的框和训练集文件中的框(ground truth)重合程度，重合程度越大，预测的越准)、Class (预测物体的置信度)、recall(召回率)，并根据这些指标判断模型训练是否到位。
将训练好的模型结构文件prototxt和模型权重文件caffemodel通过海思官方的RuyiStudio软件量化转换为适用于NNIE神经网络硬件加速单元的配置文件，并计算量化后的模型与原caffe框架模型各层输出的余弦相似度和最大误差，若精度损失可接受则可进行网络在NNIE上的部署。
一种基于深度学习的钢板表面缺陷视频检测系统，包括，
图像采集模块，图像处理模块，图像分类定位模块，模型建立模块，缺陷识别与检测模块，检测结果输出模块，
所述图像采集模块用于对获取钢板表面缺陷的视频图像信息；
所述图像处理模块用于对获取的视频图像信息进行矫正处理；
所述图像分类定位模块对矫正处理后的视频图像进行缺陷定位及分类标定后；
所述模型建立模块用于建立目标检测神经网络模型；
所述缺陷识别与检测模块用于对目标检测神经网络模型对所述的训练数据集进行卷积神经网络训练，得到训练好的检测神经网络模型以及钢板表面缺陷的识别检测；
所述检测结果输出模块用于输出待检测的钢板表面缺陷的识别检测结果。
所述图像处理模块采用海思Hi3559中的ISP模块；所述图像处理模块采用海思Hi3559中的ISP模块；所述缺陷识别与检测模块采用型号为Hi3559的SoC 芯片，所述型号为Hi3559的SoC芯片中内嵌有NNIE神经网络硬件加速单元。
图像处理模块还包括坏点矫正模块，图像锐化模块和Gamma矫正模块；
坏点矫正模块，DPC算法通过在5x5的窗口中通过某些坏点检测算法找到该窗口中明显异于临近像素的坏点。该模块主要包含以下两种模式：
(1)静态坏点标定/校正有两种流程：亮点和暗点流程
在亮点流程中，光圈处于关闭状态，启动坏点标定程序，得到坏点坐标信息。坏点个数的总数由坏点校正模块的memory决定的。得到的坏点通过临近像素的中值滤波进行校正。
在暗点流程中，光圈处于正常打开状态，要求平坦背景，最好使用灰度箱固定光源，图像整体平均亮度大约为最大亮度50％，或Bayer格式中B通道亮度为最大亮度20％左右，启动坏点检测程序，得到坏点坐标。坏点个数的总数是由坏点校正模块的memory决定的。得到的坏点通过临近像素的中值滤波进行校正。
(2)动态坏点检测/校正
在这种模式中，校正模块使用动态检测方法的进行坏点检测，能够校正的坏点个数是没有限制的。这种模式总体上相对于静态模式更不可靠，但是在低照度情况下强烈推荐使用动态坏点校正功能，可以校正更多的坏点以及明显改善图像偏色的问题。
图像锐化模块用于增强图像的清晰度，包括调节图像边缘的锐化属性和增强图像的细节和纹理的清晰度，同时还能分别独立控制图像的带方向的边缘和无方向的细节纹理的锐化强度。此外，还能控制锐化后的图像的overshoot(白边白点)和undershoot(黑边黑点)，以及抑制噪声的增强。
Gamma矫正模块对图像进行亮度空间非线性转换以适配输出设备。 Gamma模块校正R、G、B时调用同一组Gamma表，Gamma表各节点之间的间距相同，节点之间的图像像素值使用线性插值生成。
下面将结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
以下详细说明均是实施例的说明，旨在对本发明提供进一步的详细说明。除非另有指明，本发明所采用的所有技术术语与本申请所属领域的一般技术人员的通常理解的含义相同。本发明所使用的术语仅是为了描述具体实施方式，而并非意图限制根据本发明的实例性实施方式。
实施例1:
1、视频采集：利用CMOS相机采集视频图像信息；
2、图像处理：将步骤1中钢板表面采集的视频信息进行图像处理，包括：
坏点矫正、图像锐化，边缘增强和gamma矫正；
3、缺陷检测及分类：将处理后的图像送入NNIE神经网络硬件加速单元中进行部署深度学习卷积神经网络，经过训练后的神经网络对钢板的表面缺陷进行识别检测。
先是采集钢板的图片数据，将采集的图片数据中的缺陷人工标注并分类，成为神经网络模型的训练样本，用这些样本对神经网络训练，神经网络会提取样本中目标的特征，并依此改变模型自身参数。用训练好的模型检测未标注、分类的图片的时候，模型会提取特征并输出缺陷的位置和类型。
4、终端显示：检测结果由串口输出到PC端，并于HDMI接口输出添加 OSD(On-Screen Display屏上显示)的视频，实现检测结果可视化。
海思Hi3559芯片内嵌NNIE神经网络硬件加速单元，可以大幅提高神经网络的运算速度，在NNIE中YOLOv3-Tiny神经网络可以跑到约25fps。
采用由海思半导体有限公司设计生产的Hi3559系列SoC芯片为主处理器，驱动SONY公司IMX系列CMOS图像传感器，由MIPI-RX接口获取可见光图像信息，经过ISP图像预处理后，利用SoC内嵌的NNIE(Neural Network Inference Engine)神经网络硬件加速单元部署深度学习卷积神经网络，实现高帧率实时缺陷检测，最终由UART输出缺陷在世界坐标系下的三维坐标到PC端，同时由 HDMI输出视频信息并实现检测结果可视化，对缺陷/缺欠位置进行标记报警后由人工进行修复检测，经过大量的数据积累直至最终实现自行判定是否符合项目的执行标准要求。
本发明通过ISP(Image Signal Procdssor)图像信号处理是直接对Sensor输出的图像做处理，包括白平衡、gamma矫正、锐化、边缘增强、高动态范围等，提升图像质量或突出关键特征信息；
本发明能够识别钢管/板卷在生产、运输、处理工程中产生的缺陷/缺欠，包括不限于凹坑、划痕、重皮、夹杂，解放劳动力，提高钢带表面缺陷的检测效率；
本发明在数据库存储钢板的表面缺陷/缺欠(凹坑、划痕、重皮、夹杂等) 照片并命名，形成模型训练所形成的训练集，PC端利用GPU实现对神经网络模型的训练，使模型达到对缺陷/缺欠的检测、分类和尺寸定量的功能，GPU为 Graphics Processing Unit图形处理器；
本发明的检测系统对项目完工后，实现对项目的钢板表面质量数据统计和质量评价，可实现对某钢厂的供货钢板表面质量数据统计和评价，便于指导后期的原料采购。
实施例2，本发明的深度学习的钢板表面缺陷视频检测方法也可应用于卷板表面是缺陷进行识别检测；其检测方法与钢板表面缺陷方法相同；
由技术常识可知，本发明可以通过其他的不脱离其精神实质或必要特征的实施方案来实现。因此，上述公开的实施方案，就各方面而言，都只是举例说明，并不是仅有的。所有在本发明范围内或在等同于本发明的范围内的改变均被本发明包含。

Claims (10)

1.一种基于深度学习的钢板表面缺陷视频检测方法，其特征在于，包括一下步骤：
步骤1，获取钢板表面缺陷的视频图像信息；
步骤2，对获取的视频图像信息进行矫正处理；
步骤3，对矫正处理后的视频图像进行缺陷定位及分类标定后，获得训练数据集；
步骤4，基于Yolo算法，建立目标检测神经网络模型；
步骤5，利用所述的目标检测神经网络模型对所述的训练数据集进行卷积神经网络训练，得到训练好的检测神经网络模型；
步骤6，将训练好的检测神经网络模型通过在神经网络硬件加速单元中进行深度学习，再将待检测的钢板表面缺陷的视频图像信息输入，输出得到待检测的钢板表面缺陷的识别检测结果。
2.根据权利要求1所述的一种基于深度学习的钢板表面缺陷视频检测方法，其特征在于，步骤1中采用CMOS相机采集钢板表面缺陷的视频图像信息。
3.根据权利要求1所述的一种基于深度学习的钢板表面缺陷视频检测方法，其特征在于，所述步骤2中的矫正处理包括坏点矫正处理、图像锐化处理和gamma矫正处理；所述坏点矫正处理通过对钢板表面缺陷的视频图像采用DPC算法对窗口中的明显异于临近像素的坏点进行标定和校正；所述图像锐化处理调节钢板表面缺陷的视频图像的边缘的锐化属性和增强钢板表面缺陷的视频图像的细节和纹理的清晰度；所述gamma矫正处理对图像进行亮度空间非线性转换以适配输出设备。
4.根据权利要求1所述的一种基于深度学习的钢板表面缺陷视频检测方法，其特征在于，步骤3对矫正处理后的视频图像进行缺陷定位及分类标定，具体过程为：对采集的视频图像信息中的缺陷检测目标的实际位置进行标注，并根据不同缺陷类别对视频图像信息进行切割为不同的图片，将图片进行分类并命名，获得训练数据集。
5.根据权利要求1所述的一种基于深度学习的钢板表面缺陷视频检测方法，其特征在于，所述目标检测神经网络模型采用轻量化的YOLOv3-Tiny神经网络模型。
6.根据权利要求1所述的一种基于深度学习的钢板表面缺陷视频检测方法，其特征在于，步骤4中将目标检测神经网络模型对训练数据集进行卷积神经网络训练，具体过程为：在caffe框架下以训练数据集为目标检测神经网络模型的输入，不断优化目标检测神经网络模型的参数和权重，并计算出目标检测神经网络模型的预测框与训练数据集的原记框的并交比，直至并交比达到预期值，得到训练好的检测神经网络模型。
7.根据权利要求1所述的一种基于深度学习的钢板表面缺陷视频检测方法，其特征在于，步骤6的将训练好的检测神经网络模型通过神经网络硬件加速单元中进行深度学习，再将待检测的钢板表面缺陷的视频图像信息输入，输出得到对待检测的钢板表面缺陷的识别检测结果的具体过程为：将训练好的检测神经网络模型中的卷积神经网络部署到神经网络硬件加速单元中进行深度学习，再将待检测的钢板表面缺陷的视频图像信息输入到深度学习后的神经网络硬件加速单元中，通过待检测的钢板表面缺陷的提取视频图像信息的特征值并输出缺陷的位置和类型，从而实现高帧率实时对钢板表面缺陷的识别检测。
8.根据权利要求7所述的一种基于深度学习的钢板表面缺陷视频检测方法，其特征在于，所述将训练好的检测神经网络模型中的卷积神经网络部署到神经网络硬件加速单元中进行深度学习的具体过程为：将训练好的检测神经网络模型的结构文件和权重文件量化转换为NNIE神经网络硬件加速单元的配置文件；并计算量化后的检测神经网络模型与原目标检测神经网络模型中caffe框架模型中的各层输出的余弦相似度和最大误差，从而得到精度损失，直至精度损失达到可接受的范围，则可将卷积神经网络在NNIE神经网络硬件加速单元上的部署。
9.一种基于深度学习的钢板表面缺陷视频检测系统，其特征在于，基于权利要求1-8任一项所述的检测方法，包括，
图像采集模块，图像处理模块，图像分类定位模块，模型建立模块，缺陷识别与检测模块和检测结果输出模块，
所述图像采集模块用于对获取钢板表面缺陷的视频图像信息；
所述图像处理模块用于对获取的视频图像信息进行矫正处理；
所述图像分类定位模块对矫正处理后的视频图像进行缺陷定位及分类标定后；
所述模型建立模块用于建立目标检测神经网络模型；
所述缺陷识别与检测模块用于对目标检测神经网络模型对所述的训练数据集进行卷积神经网络训练，得到训练好的检测神经网络模型以及钢板表面缺陷的识别检测；
所述检测结果输出模块用于输出待检测的钢板表面缺陷的识别检测结果。
10.根据权利要求9所述的一种基于深度学习的钢板表面缺陷视频检测系统，其特征在于，所述图像处理模块采用海思Hi3559中的ISP模块；所述缺陷识别与检测模块采用型号为Hi3559的SoC芯片，所述型号为Hi3559的SoC芯片中内嵌有NNIE神经网络硬件加速单元。
CN202210763610.1A 2022-06-30 2022-06-30 一种基于深度学习的钢板表面缺陷视频检测方法及系统 Pending CN117392043A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210763610.1A CN117392043A (zh) 2022-06-30 2022-06-30 一种基于深度学习的钢板表面缺陷视频检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210763610.1A CN117392043A (zh) 2022-06-30 2022-06-30 一种基于深度学习的钢板表面缺陷视频检测方法及系统

Publications (1)

Publication Number Publication Date
CN117392043A true CN117392043A (zh) 2024-01-12

Family

ID=89437903

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210763610.1A Pending CN117392043A (zh) 2022-06-30 2022-06-30 一种基于深度学习的钢板表面缺陷视频检测方法及系统

Country Status (1)

Country Link
CN (1) CN117392043A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117890304A (zh) * 2024-03-15 2024-04-16 内蒙古丰洲材料有限公司 钢板表面缺陷检测系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117890304A (zh) * 2024-03-15 2024-04-16 内蒙古丰洲材料有限公司 钢板表面缺陷检测系统

Similar Documents

Publication Publication Date Title
CN113469177B (zh) 基于深度学习的排水管道缺陷检测方法及系统
CN116721106B (zh) 一种基于图像处理的型材瑕疵视觉检测方法
WO2023077404A1 (zh) 缺陷检测方法、装置和系统
CN110148130B (zh) 用于检测零件缺陷的方法和装置
CN113570605B (zh) 一种基于液晶显示面板的缺陷检测方法和系统
CN110084241B (zh) 一种基于图像识别的电表自动读数方法
CN103424409B (zh) 一种基于dsp的视觉检测系统
CN113592828B (zh) 基于工业内窥镜的无损检测方法及系统
CN111161260A (zh) 一种基于深度学习的热轧带钢表面缺陷检测方法及装置
CN112465746A (zh) 一种射线底片中小缺陷检测方法
CN115439458A (zh) 基于深度图注意力的工业图像缺陷目标检测算法
CN114782329A (zh) 一种基于图像处理的轴承缺陷损伤程度评估方法及系统
CN114119591A (zh) 一种显示屏画面质量检测方法
CN112819748A (zh) 一种带钢表面缺陷识别模型的训练方法及装置
CN116805416A (zh) 排水管道缺陷识别模型训练方法、排水管道缺陷识别方法
CN114219773A (zh) 一种桥梁裂缝检测数据集预筛选与标定方法
CN116091505A (zh) 一种蓝宝石衬底自动缺陷检测分类的方法和系统
CN117392043A (zh) 一种基于深度学习的钢板表面缺陷视频检测方法及系统
CN117689662B (zh) 一种换热器管头焊接质量视觉检测方法及系统
CN114820597B (zh) 一种基于人工智能的冶炼品缺陷检测方法、装置及系统
CN116008304A (zh) 一种适用于管道内部的焊缝检测方法
CN115546141A (zh) 一种基于多维度度量的小样本Mini LED缺陷检测方法及系统
JP3127598B2 (ja) 画像中の濃度変動構成画素抽出方法および濃度変動塊判定方法
CN114943738A (zh) 一种基于视觉识别的传感器封装固化胶缺陷识别方法
CN115205193A (zh) 一种基于微小缺陷yolo网络的钢板表面缺陷检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination