CN110751604A - 一种基于机器视觉的钢管焊缝缺陷在线检测方法 - Google Patents

一种基于机器视觉的钢管焊缝缺陷在线检测方法 Download PDF

Info

Publication number
CN110751604A
CN110751604A CN201910942191.6A CN201910942191A CN110751604A CN 110751604 A CN110751604 A CN 110751604A CN 201910942191 A CN201910942191 A CN 201910942191A CN 110751604 A CN110751604 A CN 110751604A
Authority
CN
China
Prior art keywords
gradient
image
edge chain
matrix
steel pipe
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910942191.6A
Other languages
English (en)
Other versions
CN110751604B (zh
Inventor
谢仁平
林境锡
张柏兴
肖红军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Foshan University
Original Assignee
Foshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foshan University filed Critical Foshan University
Priority to CN201910942191.6A priority Critical patent/CN110751604B/zh
Publication of CN110751604A publication Critical patent/CN110751604A/zh
Application granted granted Critical
Publication of CN110751604B publication Critical patent/CN110751604B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30152—Solder
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种基于机器视觉的钢管焊缝缺陷在线检测方法。所述基于机器视觉的钢管焊缝缺陷在线检测方法，可以在获取的钢管焊缝表面图像数据中分离检测出缺陷，并给出缺陷宽度、面积等信息。本发明首先对获取的钢管图像进行预处理，然后利用横、纵坐标两个方向的梯度求得梯度幅值矩阵和梯度方向矩阵，再对非极大值抑制后的图像进行区域生长获取边缘链，最后验证这些边缘链是否为真正的焊缝缺陷，并计算出缺陷信息。本发明提供的基于机器视觉的钢管焊缝缺陷在线检测方法能够快速、实时检测钢管焊缝缺陷并提取出高精度的缺陷信息。

Description

一种基于机器视觉的钢管焊缝缺陷在线检测方法
技术领域
本发明涉及机器视觉图像处理领域，特别地，涉及一种基于机器视觉的钢管焊缝缺陷在线检测方法。
背景技术
近几年来，我国工业实力不断的增强，对钢管材料的需求日益激增，钢管的质量问题引起越来越多人的重视。在钢管的生产过程中，焊缝处由于输出热量不足、焊接温度过低或过高、压轮轴承损坏或带钢偏小造成的挤压力不足等原因，容易出现开口、裂缝、过烧等缺陷，这极大的影响着钢管的质量，并且钢管成品长度一般都在数米以上，缺陷如果不及时处理，会造成整根钢管报废的结果，从而导致较高的废品率，浪费工业原材料的同时增加了企业的生产成本。目前，钢管焊缝缺陷检测常用的人工检测方法存在成本高、精度低、实时性低等缺点，而高精度的电涡流与超声波等探伤方法又过于昂贵，不能得到缺陷的宽度和面积等信息，而且在使用的过程中非常复杂，有很大的局限性；传统的图像处理方法检测存在处理速度慢、检测精度低、适用范围窄等问题，处理效果不理想，这使得实时的智能检测方法研究非常必要且有广阔的应用前景。
发明内容
为了解决上述对钢管焊缝缺陷检测方法成本高、处理速度慢、检测精度低、适用范围窄的技术问题，本发明提供一种快速、实时、精度高、适用普遍、自动化程度高的基于机器视觉的钢管焊缝缺陷在线检测方法。
本发明提供的一种基于机器视觉的钢管焊缝缺陷在线检测方法，包括以下步骤：
步骤1：获取钢管表面图像数据得到第一图像；
步骤2：对第一图像进行预处理得到第二图像；
步骤3：获取第二图像的横、纵坐标方向的梯度矩阵，然后计算图像每个像素的梯度幅值和梯度方向，得到梯度幅值矩阵和梯度方向矩阵，再将图像坐标按照梯度幅值降序排序，同时求取梯度直方图；
步骤4：对第二图像进行非极大值抑制，得到第三图像；
步骤5根据第三图像，按照降序排序的梯度幅值的坐标、梯度方向，用区域生长法得到边缘链，并判断所得到的边缘链是否为有效边缘链；
步骤6：根据梯度直方图判断每条有效边缘链是否为钢管焊缝缺陷，并且计算钢管焊缝缺陷的宽度、面积。
作为优选，步骤2所述对第一图像进行预处理得到第二图像；其具体实现包括以下子步骤：
步骤2.1：根据第一图像，自动选取出感兴趣的目标区域；
步骤2.2：将所选出的感兴趣的目标区域中的三通道灰度图像转化为单通道图像；
步骤2.3：对所获取的单通道图像用5*5的高斯模板进行高斯滤波。
作为优选，步骤2.1所述根据第一图像，自动选取出感兴趣的目标区域；其具体实现包括以下子步骤：
步骤2.1.1：对第一图像采用霍夫直线检测检测出钢管的两条边缘直线；
步骤2.1.2：对所检测出的两条边缘直线进行拟合，进而得到钢管区域的外接矩形；
步骤2.1.3：将得到的外接矩形的数据信息存储起来。
作为优选，步骤3所述获取第二图像的横、纵坐标方向的梯度矩阵，然后计算图像每个像素的梯度幅值和梯度方向，得到梯度幅值矩阵和梯度方向矩阵，再将图像坐标按照梯度幅值降序排序，同时求取梯度直方图；其具体实现包括以下子步骤：
步骤3.1：分别对第二图像的横、纵坐标方向采用3*3的Sobel一阶差分算子进行处理，得到横、纵坐标方向的梯度矩阵；
步骤3.2：遍历得到的横、纵坐标方向的梯度矩阵，求出图像每点坐标的梯度幅值和梯度方向，得到梯度幅值矩阵和梯度方向矩阵；
步骤3.3：遍历梯度幅值矩阵，将图像坐标按照梯度幅值降序排序；
步骤3.4：根据梯度幅值矩阵进行统计，求出梯度直方图。
作为优选，步骤3.2所述遍历得到的横、纵坐标方向的梯度矩阵，求出图像每点坐标的梯度幅值和梯度方向，得到梯度幅值矩阵和梯度方向矩阵；其具体实现包括以下子步骤：
步骤3.2.1：遍历得到的横、纵坐标方向的梯度矩阵，将每点坐标的横、纵坐标方向的梯度绝对值之和作为梯度幅值，得到梯度幅值矩阵；
步骤3.2.2：遍历得到的横、纵坐标方向的梯度矩阵，根据每点横、纵坐标方向的梯度，用反正切的方法求出每点的梯度方向，得到梯度方向矩阵；
步骤3.2.3：将2π分为若干个角度相等的部分，根据步骤3.2.2所求的梯度方向矩阵，建立每点的梯度方向的索引关系。
作为优选，步骤3.4所述根据梯度幅值矩阵进行统计，求出梯度直方图；其具体实现包括以下子步骤：
步骤3.4.1：设定一个梯度幅值步长，以所述梯度幅值步长遍历梯度幅值矩阵，记录所有大于0的梯度幅值的数量，并将所有梯度幅值按照所述梯度幅值步长进行重新排序，作为直方图的横坐标；
步骤3.4.2：将所有大于0梯度幅值范围里，大于横坐标所对应的梯度幅值范围的数量所占图像总像素的比例作为直方图纵坐标的值。
作为优选，步骤4所述对第二图像进行非极大值抑制，得到第三图像具体包括，采用OpenCV提供的Canny算子对第二图像进行处理，并将高阈值、低阈值参数设置为0，得到第三图像。作为优选，步骤5所述根据第三图像，按照降序排序的梯度幅值的坐标、梯度方向，用区域生长法得到边缘链，并判断所得到的边缘链是否为有效边缘链；其具体实现包括以下子步骤：
步骤5.1:依次将步骤3.3排序好的梯度幅值矩阵中的每点作为种子起点，将种子起点的灰度级做一个标志，置为0；
步骤5.2：遍历在步骤4所求的第三图像的种子起点的8邻域，若存在一点，这一点的灰度级不为0，并且这一点的梯度方向与种子起点的梯度方向的索引一致或者在相邻索引内，则将这一点作为新的种子起点，并且做一个标志，将灰度级置为0，重复此步骤直至不再符合条件，生成一条边缘链；
步骤5.3：以步骤5.1确定的种子起点再重复一次步骤5.1与步骤5.2；
步骤5.4：重复步骤5.1-5.3直至遍历完所有点，将得到若干条边缘链；
步骤5.5：设定最小有效长度，根据所述最小有效长度得到判断是否为焊缝缺陷边缘链的第一阈值，判断步骤5.4中每条边缘链是否大于所述第一阈值，若否，则这条边缘链不是有效边缘链，若是，则这条边缘链是有效边缘链，将每条有效边缘链存储起来。
作为优选，步骤6所述根据梯度直方图判断每条有效边缘链是否为钢管焊缝缺陷，并且计算钢管焊缝缺陷的宽度、面积；其具体实现包括以下子步骤：
步骤6.1：根据进行判断的有效边缘链，遍历这条有效边缘链，找到这条有效边缘链的最小梯度幅值和对应的位置，并将这个对应的位置作为一个索引；
步骤6.2：根据步骤5.5所述最小有效长度得到判断是否为焊缝缺陷边缘链的第二阈值，根据步骤6.1中的最小梯度幅值和对应位置的索引，与第二阈值比较，判断是否为焊缝缺陷边缘链；
步骤6.3：再次判断步骤6.2中判定为不为焊缝缺陷边缘链的边缘链，对所述边缘链是否为焊缝缺陷边缘链进行重新验证；
步骤6.4：重复步骤6.1-6.3直至遍历完所有的有效边缘链；
步骤6.5：遍历确定为焊缝缺陷边缘链的区域，计算出其宽度、面积的像素大小，最后进行标定将像素大小转换为实际物理大小。
作为优选，步骤6.3所述再次判断步骤6.2中判定为不为焊缝缺陷边缘链的边缘链，对所述边缘链是否为焊缝缺陷边缘链进行重新验证；其具体实现包括以下子步骤：
步骤6.3.1：以这条边缘链的最小梯度幅值对应的索引为分割点，将这条边缘链分割为两部分；
步骤6.3.2：判断这两部分中的任意一部分是否大于最小有效长度，若是则将这部分作为一条新的边缘链，再次按照步骤6.1以及步骤6.2进行验证。
相较于现有技术，本发明提供的基于机器视觉的钢管焊缝缺陷在线检测方法是智能化的检测方法，不仅检测快速、实时、精度高、适用普遍、自动化程度高，而且其成本可被大多数企业接受。
附图说明
为了更清楚地说明本发明实例中的技术方案，下面将对实例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图，其中：
图1是本发明提供的基于机器视觉的钢管焊缝缺陷在线检测方法的一种实例的整体流程图；
图2是本发明提供的基于机器视觉的钢管焊缝缺陷在线检测方法的一种实例步骤2的流程图；
图3是本发明提供的基于机器视觉的钢管焊缝缺陷在线检测方法的一种实例步骤3的流程图；
图4是本发明提供的基于机器视觉的钢管焊缝缺陷在线检测方法的一种实例步骤4的流程图；
图5是本发明提供的基于机器视觉的钢管焊缝缺陷在线检测方法的一种实例步骤5的流程图；
图6是本发明提供的基于机器视觉的钢管焊缝缺陷在线检测方法的一种实例步骤6的流程图；
图7是本发明提供的基于机器视觉的钢管焊缝缺陷在线检测方法的一种实例的处理效果图；
图8是本发明提供的基于机器视觉的钢管焊缝缺陷在线检测方法的缺陷信息显示图。
具体实施方式
下面将结合本发明实例中的附图，对本发明实例中的技术方案进行清楚、完整地描述，显然，所描述的实例仅是本发明的一部分实例，而不是全部的实例。基于本发明中的实例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实例，都属于本发明保护的范围。
请参阅图1，为本发明提供的基于机器视觉的钢管焊缝缺陷在线检测方法一种实例的整体流程图。所述基于机器视觉的钢管焊缝缺陷在线检测方法1主要服务于钢管焊缝缺陷检测，可实时检测出钢管是否存在焊缝缺陷，请参阅图8，为本发明提供的基于机器视觉的钢管焊缝缺陷在线检测方法的一种实例的最终效果图。
包括以下步骤：
S1：获取钢管表面图像数据得到第一图像；
S2：对第一图像进行预处理得到第二图像；
对S1获取的整张图像进行处理，不仅速度慢、耗费的时间长，而且还会受到更多噪声的影响，因此，对图像进行预处理是必不可少的。本发明选取感兴趣的目标区域进行处理并且进行通道的转换，减少数据量，并且尽可能在保留图像有用信息的情况下进行噪声的抑制、滤除。
其具体步骤如下：
请参阅图2，为本发明提供的基于机器视觉的钢管焊缝缺陷在线检测方法的一种实例步骤2的流程图。
S21：根据第一图像，自动选取出感兴趣的目标区域；
S211：对第一图像采用霍夫直线检测检测出钢管的两条边缘直线；
S212：对所检测出的两条边缘直线进行拟合，进而得到钢管区域的外接矩形；
S213：将得到的外接矩形的数据信息存储起来，在无位置改变的情况下，每次自动选取感兴趣的目标区域的时候直接读取存储的信息，减少处理的图像区域，避免繁琐，加快处理速度；
S22：将所选出的感兴趣的目标区域中的三通道灰度图像转化为单通道图像；
S23：对所获取的单通道图像用5*5的高斯模板进行高斯滤波。
请参阅图7，为本发明提供的基于机器视觉的钢管焊缝缺陷在线检测方法的一种实例步骤2的效果图。
S3：获取第二图像的横、纵坐标方向的梯度矩阵，然后计算图像每点坐标的梯度幅值和梯度方向，得到梯度幅值矩阵和梯度方向矩阵，再将图像坐标按照梯度幅值降序排序，同时求取梯度直方图；
其具体步骤如下：
请参阅图3，为本发明提供的基于机器视觉的钢管焊缝缺陷在线检测方法的一种实例步骤3的流程图。
S31：分别对第二图像的横、纵坐标方向采用3*3的Sobel一阶差分算子进行处理，得到横、纵坐标方向的梯度矩阵；
采用3*3的Sobel一阶差分算子处理具有计算简单、处理速度快的优势，对图像的横、纵坐标方向进行处理，分别得到矩阵X、Y；用如下左边的模板处理纵方向的、右边的模板处理横方向的。
S32：遍历得到的横、纵坐标方向的梯度矩阵X、Y，求出图像每点坐标的梯度幅值和梯度方向，得到梯度幅值矩阵和梯度方向矩阵；
S321：遍历得到的横、纵坐标方向的梯度矩阵，将每点坐标的横、纵坐标方向的梯度绝对值之和，求出每点的梯度幅值，得到梯度幅值矩阵；
S322：遍历得到的横、纵坐标方向的梯度矩阵，根据每点横、纵坐标方向的梯度，用反正切的方法求出每点的梯度方向，得到梯度方向矩阵；
S323：将2π分为若干个角度相等的部分，根据S322所求的梯度方向矩阵，建立每点的梯度方向的索引关系；
S33：遍历梯度幅值矩阵，将图像坐标按照梯度幅值降序排序，将对应的点的坐标存储起来；
S34：根据梯度幅值矩阵进行统计，求出梯度直方图H；
S341：设定一个梯度幅值步长为20，以所述梯度幅值步长遍历梯度幅值矩阵，记录所有大于0的梯度幅值的数量，并将所有梯度幅值按照所述梯度幅值步长进行重新排序，作为直方图的横坐标；
S342：将所有大于0梯度幅值范围里，大于横坐标所对应的梯度幅值范围的数量所占图像总像素的比例作为直方图纵坐标的值。
在计算梯度幅值的时候，采用横、纵坐标方向的梯度绝对值之和代替传统的求模，更加简洁；在计算梯度方向的时候，将所有的方向即2π分为16部分，根据每一点的横、纵坐标方向的梯度值gx和gy，用反正切arctan(gx，-gy)求出角度，与划分方向为16部分的索引0-15对应起来，以坐标系的x轴作为起点，0作为第一个方向索引。如下为求梯度幅值的公式：
z＝|gx|+|gy|
式中，gx和gy分别为X和Y中的元素。
S4：对第二图像进行非极大值抑制，得到第三图像；本发明直接采用OpenCV算法库的Canny算子对第二图像进行处理，将高、低阈值参数设置为0，得到第三图像。
请参阅图4，为本发明提供的基于机器视觉的钢管焊缝缺陷在线检测方法的一种实例步骤4的流程图。
S5：根据第三图像，按照降序排序的梯度幅值的坐标、梯度方向，用区域生长法得到边缘链，并判断所得到的边缘链是否为有效边缘链；
其具体步骤如下：
请参阅图5，为本发明提供的基于机器视觉的钢管焊缝缺陷在线检测方法的一种实例步骤5的流程图。
S51：依次将S33排序好的梯度幅值矩阵中的每点作为种子起点，将种子起点的灰度级做一个标志，置为0；
S52：遍历在S4所求的第三图像的种子起点的8邻域，若存在一点，这一点的灰度级不为0，并且这一点的梯度方向与种子起点的梯度方向的索引一致或者在相邻索引内，则将这一点作为新的种子起点，并且做一个标志，将灰度级置为0，重复此步骤直至不再符合条件，生成一条边缘链c；
S53：以S51确定的种子起点再重复一次S51与S52，使每条边缘链更完整；
S54：重复S51-S53直至遍历完所有点，将得到若干条边缘链；
S55：定义如下的m为最小有效长度，根据所述最小有效长度得到判断是否为焊缝缺陷边缘链的第一阈值，判断S54中的每条边缘链是否大于m，若不是，则去除，若是，则这条边缘链是有效边缘链，将有效边缘链存储在容器n，去除不是有效的边缘链。m＝-2.5ln(a×b)/ln(-1/8)
式中，a和b为图像的长和宽；
S6：根据梯度直方图判断每条有效边缘链是否为钢管焊缝缺陷，并且计算钢管焊缝缺陷的宽度、面积；
在此过程中，S5得到的有意义的边缘链还需判断是否为焊缝缺陷的边缘，避免误检测，最后求出确定为钢管焊缝缺陷的宽度、面积。
其具体步骤如下：
请参阅图6，为本发明提供的基于机器视觉的钢管焊缝缺陷在线检测方法的一种实例步骤6的流程图。
S61：遍历出n中每条链的最小梯度幅值d和对应位置的索引i；
S62：设定一个梯度幅值阈值t为60，定义如下公式：
pS＝ht m
p＝hd n′
式中n′表示为当前c的大小，当p＜pS时，这一条c则确定为焊缝缺陷的边缘链；
S63：若p＞pS时，为了避免有些c因为太长，存在一些像素有误差，导致漏检测，将以索引i为界将此c分开两部分，若其长度大于m，将其视为新的c，加入到n中，重复S61-S63直至遍历处理完n的所有c；
S64：由于钢管是水平放置的，为了保证按字节指针遍历求取缺陷宽度，保证速度，将确定为有缺陷的钢管图像转置、并且沿y轴翻转，遍历图像，得到缺陷的宽度、面积像素大小，最后进行标定将像素大小转换为实际物理大小。
本发明提供的基于机器视觉的钢管焊缝缺陷在线检测方法是智能化的检测方法，不仅检测快速、实时、精度高、适用普遍、自动化程度高，而且其成本可被大多数企业接受。
以上所述仅为本发明的一种实例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于机器视觉的钢管焊缝缺陷在线检测方法，其特征在于，包括以下步骤：
步骤1：获取钢管表面图像数据得到第一图像；
步骤2：对第一图像进行预处理得到第二图像；
步骤3：获取第二图像的横、纵坐标方向的梯度矩阵，然后计算图像每个像素的梯度幅值和梯度方向，得到梯度幅值矩阵和梯度方向矩阵，再将图像坐标按照梯度幅值降序排序，同时求取梯度直方图；
步骤4：对第二图像进行非极大值抑制，得到第三图像；
步骤5：根据第三图像，按照降序排序的梯度幅值的坐标、梯度方向，用区域生长法得到边缘链，并判断所得到的边缘链是否为有效边缘链；
步骤6：根据梯度直方图判断每条有效边缘链是否为钢管焊缝缺陷，并且计算钢管焊缝缺陷的宽度、面积。
2.根据权利要求1所述的基于机器视觉的钢管焊缝缺陷在线检测方法，其特征在于：步骤2中所述的对第一图像进行预处理得到第二图像；其具体实现包括以下子步骤：
步骤2.1：根据第一图像，自动选取出感兴趣的目标区域；
步骤2.2：将所选出的感兴趣的目标区域中的三通道灰度图像转化为单通道图像；
步骤2.3：对所获取的单通道图像用5*5的高斯模板进行高斯滤波。
3.根据权利要求2所述的基于机器视觉的钢管焊缝缺陷在线检测方法，其特征在于：步骤2.1所述根据第一图像，自动选取出感兴趣的目标区域；其具体实现包括以下子步骤：
步骤2.1.1：对第一图像采用霍夫直线检测检测出钢管的两条边缘直线；
步骤2.1.2：对所检测出的两条边缘直线进行拟合，进而得到钢管区域的外接矩形；
步骤2.1.3：将得到的外接矩形的数据信息存储起来。
4.根据权利要求1所述的基于机器视觉的钢管焊缝缺陷在线检测方法，其特征在于：步骤3所述获取第二图像的横、纵坐标方向的梯度矩阵，然后计算图像每个像素的梯度幅值和梯度方向，得到梯度幅值矩阵和梯度方向矩阵，再将图像的横、纵坐标按照梯度幅值降序排序，同时求取梯度直方图；其具体实现包括以下子步骤：
步骤3.1：分别对第二图像的横、纵坐标方向采用3*3的Sobel一阶差分算子进行处理，得到横、纵坐标方向的梯度矩阵；
步骤3.2：遍历得到的横、纵坐标方向的梯度矩阵，求出图像每点坐标的梯度幅值和梯度方向，得到梯度幅值矩阵和梯度方向矩阵；
步骤3.3：遍历梯度幅值矩阵，将图像坐标按照梯度幅值降序排序；
步骤3.4：根据梯度幅值矩阵进行统计，求出梯度直方图。
5.根据权利要求4所述的基于机器视觉的钢管焊缝缺陷在线检测方法，其特征在于：步骤3.2所述遍历得到的横、纵坐标方向的梯度矩阵，求出图像每点坐标的梯度幅值和梯度方向，得到梯度幅值矩阵和梯度方向矩阵；其具体实现包括以下子步骤：
步骤3.2.1：遍历得到的横、纵坐标方向的梯度矩阵，将每点坐标的横、纵坐标方向的梯度绝对值之和作为梯度幅值，得到梯度幅值矩阵；
步骤3.2.2：遍历得到的横、纵坐标方向的梯度矩阵，根据每点横、纵坐标方向的梯度，用反正切的方法求出每点的梯度方向，得到梯度方向矩阵；
步骤3.2.3：将2π分为若干个角度相等的部分，根据步骤3.2.2所求的梯度方向矩阵，建立每点的梯度方向的索引关系。
6.根据权利要求4所述的基于机器视觉的钢管焊缝缺陷在线检测方法，其特征在于：步骤3.4所述根据梯度幅值矩阵进行统计，求出梯度直方图；其具体实现包括以下子步骤：
步骤3.4.1：设定一个梯度幅值步长，以所述梯度幅值步长遍历梯度幅值矩阵，记录所有大于0的梯度幅值的数量，并将所有梯度幅值按照所述梯度幅值步长进行重新排序，作为直方图的横坐标；
步骤3.4.2：将所有大于0梯度幅值范围里，大于横坐标所对应的梯度幅值范围的数量所占图像总像素的比例作为直方图纵坐标的值。
7.根据权利要求1所述的基于机器视觉的钢管焊缝缺陷在线检测方法，其特征在于：步骤4所述对第二图像进行非极大值抑制，得到第三图像具体包括，采用OpenCV提供的Canny算子对第二图像进行处理，并将高阈值、低阈值参数设置为0，得到第三图像。
8.根据权利要求1所述的基于机器视觉的钢管焊缝缺陷在线检测方法，其特征在于：步骤5所述根据第三图像，按照降序排序的梯度幅值的坐标、梯度方向，用区域生长法得到边缘链，并判断所得到的边缘链是否为有效边缘链；其具体实现包括以下子步骤：
步骤5.1:依次将步骤3.3排序好的梯度幅值矩阵中的每点作为种子起点，将种子起点的灰度级做一个标志，置为0；
步骤5.2：遍历在步骤4所求的第三图像的种子起点的8邻域，若存在一点，这一点的灰度级不为0，并且这一点的梯度方向与种子起点的梯度方向的索引一致或者在相邻索引内，则将这一点作为新的种子起点，并且做一个标志，将灰度级置为0，重复此步骤直至不再符合条件，生成一条边缘链；
步骤5.3：以步骤5.1确定的种子起点再重复一次步骤5.1与步骤5.2；
步骤5.4：重复步骤5.1-5.3直至遍历完所有点，将得到若干条边缘链；
步骤5.5：设定最小有效长度，根据所述最小有效长度得到判断是否为焊缝缺陷边缘链的第一阈值，判断步骤5.4中每条边缘链是否大于所述第一阈值，若否，则这条边缘链不是有效边缘链，若是，则这条边缘链是有效边缘链，将每条有效边缘链存储起来。
9.根据权利要求8所述的基于机器视觉的钢管焊缝缺陷在线检测方法，其特征在于：步骤6所述根据梯度直方图判断每条有效边缘链是否为钢管焊缝缺陷，并且计算钢管焊缝缺陷的宽度、面积；其具体实现包括以下子步骤：
步骤6.1：根据进行判断的有效边缘链，遍历这条有效边缘链，找到这条有效边缘链的最小梯度幅值和对应的位置，并将这个对应的位置作为一个索引；
步骤6.2：根据步骤5.5中所述最小有效长度得到判断是否为焊缝缺陷边缘链的第二阈值，根据步骤6.1中的最小梯度幅值和对应位置的索引，与第二阈值比较，判断是否为焊缝缺陷边缘链；
步骤6.3：再次判断步骤6.2中判定为不为焊缝缺陷边缘链的边缘链，对所述边缘链是否为焊缝缺陷边缘链进行重新验证；
步骤6.4：重复步骤6.1-6.3直至遍历完所有的有效边缘链；
步骤6.5：遍历确定为焊缝缺陷边缘链的区域，计算出其宽度、面积的像素大小，最后进行标定将像素大小转换为实际物理大小。
10.根据权利要求9所述的基于机器视觉的钢管焊缝缺陷在线检测方法，其特征在于：步骤6.3所述再次判断步骤6.2中判定为不为焊缝缺陷边缘链的边缘链，对所述边缘链是否为焊缝缺陷边缘链进行重新验证；其具体实现包括以下子步骤：
步骤6.3.1：以这条边缘链的最小梯度幅值对应的索引为分割点，将这条边缘链分割为两部分；
步骤6.3.2：判断这两部分中的任意一部分是否大于最小有效长度，若是则将这部分作为一条新的边缘链，再次按照步骤6.1以及步骤6.2进行验证。
CN201910942191.6A 2019-09-30 2019-09-30 一种基于机器视觉的钢管焊缝缺陷在线检测方法 Active CN110751604B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910942191.6A CN110751604B (zh) 2019-09-30 2019-09-30 一种基于机器视觉的钢管焊缝缺陷在线检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910942191.6A CN110751604B (zh) 2019-09-30 2019-09-30 一种基于机器视觉的钢管焊缝缺陷在线检测方法

Publications (2)

Publication Number Publication Date
CN110751604A true CN110751604A (zh) 2020-02-04
CN110751604B CN110751604B (zh) 2023-04-25

Family

ID=69277569

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910942191.6A Active CN110751604B (zh) 2019-09-30 2019-09-30 一种基于机器视觉的钢管焊缝缺陷在线检测方法

Country Status (1)

Country Link
CN (1) CN110751604B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112184704A (zh) * 2020-10-28 2021-01-05 广西科技大学 一种基于卷积神经网络的焊缝处理方法
CN112365439A (zh) * 2020-09-24 2021-02-12 南昌大学 一种镀锌钢gmaw焊缝成形特征与焊枪方向同步实时检测方法
CN112767491A (zh) * 2021-04-08 2021-05-07 北京博清科技有限公司 焊道拐点的确定方法、装置和计算机可读存储介质
CN112967244A (zh) * 2021-03-01 2021-06-15 广东海亮铜业有限公司 一种管材放料图像检测方法以及系统
CN114088738A (zh) * 2022-01-20 2022-02-25 深圳市华汉伟业科技有限公司 一种环状焊缝的高精度缺陷检测方法和装置
CN114414599A (zh) * 2022-03-29 2022-04-29 武汉丰丽德智能设备有限公司 基于机器视觉的空调消音室焊接缺陷无损检测方法及系统
CN114581407A (zh) * 2022-03-06 2022-06-03 扬州晶华新能源科技有限公司 一种光伏模块的自适应缺陷检测方法
CN114677371A (zh) * 2022-05-06 2022-06-28 南通市海视光电有限公司 一种基于机器视觉的化工界面检测方法
CN116385476A (zh) * 2023-06-05 2023-07-04 青岛星跃铁塔有限公司 基于视觉检测的铁塔质量分析方法
CN118071689A (zh) * 2024-01-29 2024-05-24 江苏森标科技有限公司 一种基于机器视觉的光伏电池片丝网印刷缺陷检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106952258A (zh) * 2017-03-23 2017-07-14 南京汇川图像视觉技术有限公司 一种基于梯度方向直方图的瓶口缺陷检测方法
CN107230203A (zh) * 2017-05-19 2017-10-03 重庆理工大学 基于人眼视觉注意机制的铸件缺陷识别方法
CN107808378A (zh) * 2017-11-20 2018-03-16 浙江大学 基于垂直纵横线轮廓特征的复杂结构铸件潜在缺陷检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106952258A (zh) * 2017-03-23 2017-07-14 南京汇川图像视觉技术有限公司 一种基于梯度方向直方图的瓶口缺陷检测方法
CN107230203A (zh) * 2017-05-19 2017-10-03 重庆理工大学 基于人眼视觉注意机制的铸件缺陷识别方法
CN107808378A (zh) * 2017-11-20 2018-03-16 浙江大学 基于垂直纵横线轮廓特征的复杂结构铸件潜在缺陷检测方法

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112365439A (zh) * 2020-09-24 2021-02-12 南昌大学 一种镀锌钢gmaw焊缝成形特征与焊枪方向同步实时检测方法
CN112365439B (zh) * 2020-09-24 2023-10-03 南昌大学 一种镀锌钢gmaw焊缝成形特征与焊枪方向同步实时检测方法
CN112184704B (zh) * 2020-10-28 2022-06-14 广西科技大学 一种基于卷积神经网络的焊缝处理方法
CN112184704A (zh) * 2020-10-28 2021-01-05 广西科技大学 一种基于卷积神经网络的焊缝处理方法
CN112967244A (zh) * 2021-03-01 2021-06-15 广东海亮铜业有限公司 一种管材放料图像检测方法以及系统
CN112967244B (zh) * 2021-03-01 2024-04-12 广东海亮铜业有限公司 一种管材放料图像检测方法以及系统
CN112767491A (zh) * 2021-04-08 2021-05-07 北京博清科技有限公司 焊道拐点的确定方法、装置和计算机可读存储介质
CN112767491B (zh) * 2021-04-08 2021-11-12 北京博清科技有限公司 焊道拐点的确定方法、装置和计算机可读存储介质
CN114088738A (zh) * 2022-01-20 2022-02-25 深圳市华汉伟业科技有限公司 一种环状焊缝的高精度缺陷检测方法和装置
CN114088738B (zh) * 2022-01-20 2022-04-15 深圳市华汉伟业科技有限公司 一种环状焊缝的高精度缺陷检测方法和装置
CN114581407A (zh) * 2022-03-06 2022-06-03 扬州晶华新能源科技有限公司 一种光伏模块的自适应缺陷检测方法
CN114581407B (zh) * 2022-03-06 2023-04-14 扬州晶华新能源科技有限公司 一种光伏模块的自适应缺陷检测方法
CN114414599B (zh) * 2022-03-29 2022-06-03 武汉丰丽德智能设备有限公司 基于机器视觉的空调消音室焊接缺陷无损检测方法及系统
CN114414599A (zh) * 2022-03-29 2022-04-29 武汉丰丽德智能设备有限公司 基于机器视觉的空调消音室焊接缺陷无损检测方法及系统
CN114677371A (zh) * 2022-05-06 2022-06-28 南通市海视光电有限公司 一种基于机器视觉的化工界面检测方法
CN116385476A (zh) * 2023-06-05 2023-07-04 青岛星跃铁塔有限公司 基于视觉检测的铁塔质量分析方法
CN116385476B (zh) * 2023-06-05 2023-08-18 青岛星跃铁塔有限公司 基于视觉检测的铁塔质量分析方法
CN118071689A (zh) * 2024-01-29 2024-05-24 江苏森标科技有限公司 一种基于机器视觉的光伏电池片丝网印刷缺陷检测方法

Also Published As

Publication number Publication date
CN110751604B (zh) 2023-04-25

Similar Documents

Publication Publication Date Title
CN110751604B (zh) 一种基于机器视觉的钢管焊缝缺陷在线检测方法
CN109060836B (zh) 基于机器视觉的高压油管接头外螺纹检测方法
CN110223296B (zh) 一种基于机器视觉的螺纹钢表面缺陷检测方法及系统
CN111062915A (zh) 一种基于改进YOLOv3模型的实时钢管缺陷检测方法
CN103955922B (zh) 基于Gabor滤波器的印花织物疵点检测方法
CN105913415A (zh) 一种具有广泛适应性的图像亚像素边缘提取方法
CN111815555A (zh) 对抗神经网络结合局部二值的金属增材制造图像检测方法及装置
CN115456956B (zh) 一种液晶屏划痕检测方法、设备及存储介质
CN105184792B (zh) 一种圆锯片磨损量在线测量方法
CN112381140B (zh) 一种基于新特征参数的磨粒图像机器学习识别方法
CN114706358A (zh) 一种直缝焊管的焊接工艺信息处理方法及系统
CN115597494B (zh) 一种基于点云的预制构件预留孔的精度检测方法、系统
CN111539927A (zh) 汽车塑料组合件紧固卡扣缺装检测装置的检测过程及算法
CN109544513A (zh) 一种钢管端面缺陷提取识别的方法
CN117649404A (zh) 一种基于图像数据分析的药品包装盒质量检测方法及系统
CN115656182A (zh) 基于张量投票主成分分析的板材点云缺陷检测方法
CN104240252A (zh) 一种机器视觉棒材高温钢坯表面裂纹检测算法
CN116228652A (zh) 一种基于三维点云曲率的管道焊缝表面缺陷检测方法
CN105678763A (zh) 一种稳定的直线/圆特征检测方法
CN114581385A (zh) 一种基于圆定位的焊缝缺陷区域映射算法
CN113947583A (zh) 基于深度学习二维时间序列图像的焊缝无损检测方法
CN112683166B (zh) 一种模切产品尺寸检测方法
CN111815575B (zh) 一种基于机器视觉的轴承钢珠零件检测方法
CN110390649B (zh) 一种用于油气管道焊缝图像降噪的方法
CN108645865A (zh) 一种基于ccd的埋弧焊钢管焊缝焊偏量参数的测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: No.33 Guangyun Road, Shishan town, Nanhai District, Foshan City, Guangdong Province

Patentee after: Foshan University

Country or region after: China

Address before: No.33 Guangyun Road, Shishan town, Nanhai District, Foshan City, Guangdong Province

Patentee before: FOSHAN University

Country or region before: China

CP03 Change of name, title or address