CN112001906A - 一种结合非极大值抑制的钢板焊缝图像检测方法 - Google Patents

一种结合非极大值抑制的钢板焊缝图像检测方法 Download PDF

Info

Publication number
CN112001906A
CN112001906A CN202010855206.8A CN202010855206A CN112001906A CN 112001906 A CN112001906 A CN 112001906A CN 202010855206 A CN202010855206 A CN 202010855206A CN 112001906 A CN112001906 A CN 112001906A
Authority
CN
China
Prior art keywords
image
line segment
edge
line
steel plate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010855206.8A
Other languages
English (en)
Other versions
CN112001906B (zh
Inventor
江涛
张启亮
姜丽萍
郭辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Xugong Information Technology Co ltd
Original Assignee
Jiangsu Xugong Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Xugong Information Technology Co ltd filed Critical Jiangsu Xugong Information Technology Co ltd
Priority to CN202010855206.8A priority Critical patent/CN112001906B/zh
Publication of CN112001906A publication Critical patent/CN112001906A/zh
Application granted granted Critical
Publication of CN112001906B publication Critical patent/CN112001906B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30152—Solder

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种结合非极大值抑制的钢板焊缝图像检测方法，包括以下步骤：通过专业图像采集设备采集钢板焊接面的图像，可以是视频采集中的单帧图像；对焊接面图像进行去噪，图像增强等预处理；对图像进行焊缝边缘检测；对检测结果进行改进的非极大值抑制方法优化定位结果。本发明是对图像进行去噪及增强，并采用边缘提取算子以及霍夫变换检测线段，再采用非极大值抑制的方法进行伪边缘的过滤，最终获得覆盖真实焊缝中心的检测线段，并能从该线段提取焊缝的相对坐标达到定位效果，对直线形状的焊缝检测效果显著，鲁棒性强，运算速度快，对计算资源要求低。

Description

一种结合非极大值抑制的钢板焊缝图像检测方法
技术领域
本发明涉及一种结合非极大值抑制的钢板焊缝图像检测方法，属于图像处理领域与工业智能生产技术领域。
背景技术
现阶段，在针对自动焊接机器人工作过程中对钢板焊缝的检测多需要对场景的限制要求较多，比如由于强光和角度问题导致专业摄像采集设备采集的焊板图像存在诸多光斑，阴影等干扰因素，尤其是对焊缝的检测存在诸多干扰，现有的解决办法多为增加角度限制，像素限制等，并且需要经常对不同的场景进行分析再筛选具体的限制阈值，通用性不强，计算复杂。
发明内容
针对上述现有技术存在的问题，本发明提供一种结合非极大值抑制的钢板焊缝图像检测方法，对直线形状的焊缝检测效果显著，鲁棒性强，运算速度快，对计算资源要求低。
为了实现上述目的，本发明采用的技术方案是：一种结合非极大值抑制的钢板焊缝图像检测方法，包括以下步骤：
步骤一：通过专业图像采集设备采集钢板焊接面的图像，可以是视频采集中的单帧图像；
步骤二：对焊接面图像进行去噪，图像增强等预处理；
步骤三：对图像进行焊缝边缘检测；
步骤四：对检测结果进行改进的非极大值抑制方法优化定位结果。
优选的，所述的步骤二对图像进行均值滤波平滑噪声。
优选的，所述的步骤二对图像进行灰度直方图均衡化处理，减弱由于光线，阴影产生的伪边缘特征。
优选的，所述的步骤三对图像进行焊缝边缘检测，具体步骤如下：
(1)利用canny算子对处理过的灰度图像进行边缘提取，提取出图像中所有的边缘信息，生成仅包含边缘的二值图像；
(2)利用霍夫变换对边缘二值图像进行直线检测，设置最短线段长度阈值，提取描述焊缝边缘的线段,生成仅包含边缘线段的二值图像。
优选的，所述的步骤四对边缘线段进行改进的非极大值抑制方法，保留或生成最完整精确的线段用于描述焊缝边缘,具体步骤如下：
(1)将边缘线段按照长度由大到小排序,保留长度最长的一条线段；
(2)用剩下的所有线段和第一个进行比较，计算重合度，在这里定义重合度公式为：
Figure BDA0002646174770000021
其中，P(L1,L2)表示线段L1与线段L2的重合度，其范围为(0,1]，len()表示取线段的长度，这里表示线段包含的像素个数；area(L1,L2)表示两条线段四个顶点组成的四边形区域面积，这里表示面积内包含的像素个数；当P(L1,L2)越接近于1表示两个线段重合度越高；设定阈值，将重合度低于阈值的线段舍弃，将重合度高于阈值的进行保留；
(3)将保留的线段进行最大化处理，即生成一条最长的线条最大化的覆盖所有的线段，即最终的焊缝检测结果。
本发明的有益效果是：对直线形状的焊缝检测效果显著，鲁棒性强，运算速度快，对计算资源要求低。
附图说明
图1是本发明一种结合非极大值抑制的钢板焊缝图像检测方法的流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面通过附图及实施例，对本发明进行进一步详细说明。但是应该理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限制本发明的范围。
除非另有定义，本文所使用的所有的技术术语和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同，本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
如图1所示，一种结合非极大值抑制的钢板焊缝图像检测方法，包括以下步骤：
步骤一：通过专业图像采集设备采集钢板焊接面的图像，可以是视频采集中的单帧图像；
步骤二：对焊接面图像进行去噪，图像增强等预处理；
步骤三：对图像进行焊缝边缘检测；
步骤四：对检测结果进行改进的非极大值抑制方法优化定位结果。
更优选的，所述的步骤二对图像进行均值滤波平滑噪声。
更优选的，所述的步骤二对图像进行灰度直方图均衡化处理，减弱由于光线，阴影产生的伪边缘特征。
更优选的，所述的步骤三对图像进行焊缝边缘检测，具体步骤如下：
(1)利用canny算子对处理过的灰度图像进行边缘提取，提取出图像中所有的边缘信息，生成仅包含边缘的二值图像；
(2)利用霍夫变换对边缘二值图像进行直线检测，设置最短线段长度阈值，提取描述焊缝边缘的线段,生成仅包含边缘线段的二值图像。
更优选的，所述的步骤四对边缘线段进行改进的非极大值抑制方法，保留或生成最完整精确的线段用于描述焊缝边缘,具体步骤如下：
(1)将边缘线段按照长度由大到小排序,保留长度最长的一条线段；
(2)用剩下的所有线段和第一个进行比较，计算重合度，在这里定义重合度公式为：
Figure BDA0002646174770000041
其中，P(L1,L2)表示线段L1与线段L2的重合度，其范围为(0,1]，len()表示取线段的长度，这里表示线段包含的像素个数；area(L1,L2)表示两条线段四个顶点组成的四边形区域面积，这里表示面积内包含的像素个数；当P(L1,L2)越接近于1表示两个线段重合度越高；设定阈值，将重合度低于阈值的线段舍弃，将重合度高于阈值的进行保留；
(3)将保留的线段进行最大化处理，即生成一条最长的线条最大化的覆盖所有的线段，即最终的焊缝检测结果。
本发明的工作过程包括以下步骤:
第一步，图像预处理，对采集的原图进行灰度化，采用5*5大小、方差为1的高斯卷积核对灰度图进行平滑去噪，再对去噪后的图像进行均衡处理，即将像素值线性映射到0～255，使得明暗均匀。
第二步，采用opencv库中的canny算子进行边缘检测，设置低高阈值分别为10和50，阈值可根据工作现场环境进行微调，主要考虑焊板与焊缝色差程度以及现场光线噪声程度设置阈值，通过设置高阈值来检测强边缘，设置低阈值控制边缘的连续性。
第三步，进行线段检测，利用opencv库的hough线段检测算子进行检测，线段最短长度设置为原图宽度的三分之一，该步骤主要将焊板表面的污渍边缘，无规则边缘舍弃，保留接近直线的边缘。
第四步，根据本发明提出的非极大值抑制方法编写算子，对上一步中检测到的所有线段根据长度由大到小进行排序，依次将线段与最长的线段计算重合度，重合度计算公式如下：
Figure BDA0002646174770000042
其中，P(L1,L2)表示线段L1与线段L2的重合度，其范围为(0,1]，len()表示取线段的长度，这里表示线段包含的像素个数；area(L1,L2)表示两条线段四个顶点组成的四边形区域面积，这里表示面积内包含的像素个数。当P(L1,L2)越接近于1表示两个线段重合度越高。这里阈值设置为0.5，大于该阈值的线段保留，小于该阈值的线段舍弃。遍历结束后对保留的线段进行合并；即取线段集合覆盖区域(粗线段)均值作为检测最终结果。
本发明是对图像进行去噪及增强，并采用边缘提取算子以及霍夫变换检测线段，再采用非极大值抑制的方法进行伪边缘的过滤，最终获得覆盖真实焊缝中心的检测线段，并能从该线段提取焊缝的相对坐标达到定位效果，对直线形状的焊缝检测效果显著，鲁棒性强，运算速度快，对计算资源要求低。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换或改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种结合非极大值抑制的钢板焊缝图像检测方法，包括以下步骤：
步骤一：通过专业图像采集设备采集钢板焊接面的图像，可以是视频采集中的单帧图像；
步骤二：对焊接面图像进行去噪，图像增强等预处理；
步骤三：对图像进行焊缝边缘检测；
步骤四：对检测结果进行改进的非极大值抑制方法优化定位结果。
2.根据权利要求1所述的一种结合非极大值抑制的钢板焊缝图像检测方法，其特征在于，所述的步骤二对图像进行均值滤波平滑噪声。
3.根据权利要求1所述的一种结合非极大值抑制的钢板焊缝图像检测方法，其特征在于，所述的步骤二对图像进行灰度直方图均衡化处理，减弱由于光线，阴影产生的伪边缘特征。
4.根据权利要求1所述的一种结合非极大值抑制的钢板焊缝图像检测方法，其特征在于，所述的步骤三对图像进行焊缝边缘检测，具体步骤如下：
(1)利用canny算子对处理过的灰度图像进行边缘提取，提取出图像中所有的边缘信息，生成仅包含边缘的二值图像；
(2)利用霍夫变换对边缘二值图像进行直线检测，设置最短线段长度阈值，提取描述焊缝边缘的线段,生成仅包含边缘线段的二值图像。
5.根据权利要求1所述的一种结合非极大值抑制的钢板焊缝图像检测方法，其特征在于，所述的步骤四对边缘线段进行改进的非极大值抑制方法，保留或生成最完整精确的线段用于描述焊缝边缘，具体步骤如下：
(1)将边缘线段按照长度由大到小排序,保留长度最长的一条线段；
(2)用剩下的所有线段和第一个进行比较，计算重合度，在这里定义重合度公式为：
Figure FDA0002646174760000011
其中，P(L1，L2)表示线段L1与线段L2的重合度，其范围为(0,1]，len()表示取线段的长度，这里表示线段包含的像素个数；area(L1，L2)表示两条线段四个顶点组成的四边形区域面积，这里表示面积内包含的像素个数；当P(L1，L2)越接近于1表示两个线段重合度越高；设定阈值，将重合度低于阈值的线段舍弃，将重合度高于阈值的进行保留；
(3)将保留的线段进行最大化处理，即生成一条最长的线条最大化的覆盖所有的线段，即最终的焊缝检测结果。
CN202010855206.8A 2020-08-24 2020-08-24 一种结合非极大值抑制的钢板焊缝图像检测方法 Active CN112001906B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010855206.8A CN112001906B (zh) 2020-08-24 2020-08-24 一种结合非极大值抑制的钢板焊缝图像检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010855206.8A CN112001906B (zh) 2020-08-24 2020-08-24 一种结合非极大值抑制的钢板焊缝图像检测方法

Publications (2)

Publication Number Publication Date
CN112001906A true CN112001906A (zh) 2020-11-27
CN112001906B CN112001906B (zh) 2024-02-02

Family

ID=73470261

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010855206.8A Active CN112001906B (zh) 2020-08-24 2020-08-24 一种结合非极大值抑制的钢板焊缝图像检测方法

Country Status (1)

Country Link
CN (1) CN112001906B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112560610A (zh) * 2020-12-03 2021-03-26 西南交通大学 一种视频监控对象分析方法、装置、设备及可读存储介质
CN112991426A (zh) * 2021-05-06 2021-06-18 荣旗工业科技(苏州)股份有限公司 一种焊锡长度的视觉测量方法
CN113763235A (zh) * 2021-09-08 2021-12-07 北京琥珀创想科技有限公司 一种将图片转换为扫描件的方法及智能移动终端
CN114266719A (zh) * 2021-10-22 2022-04-01 广州辰创科技发展有限公司 一种基于霍夫变换的产品检测方法
CN115055877A (zh) * 2022-06-21 2022-09-16 广东省源天工程有限公司 一种超大型人字闸门铰链焊接机架

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103914827A (zh) * 2013-09-06 2014-07-09 贵州大学 汽车密封条轮廓缺陷的视觉检测方法
CN104751145A (zh) * 2015-04-10 2015-07-01 西安电子科技大学 局部霍夫变换与形态学优化的sar图像电力线检测方法
CN105931227A (zh) * 2016-04-14 2016-09-07 北京工业大学 一种基于图像灰度b扫曲线的焊缝表面缺陷特征提取方法
CN106127780A (zh) * 2016-06-28 2016-11-16 华南理工大学 一种曲面表面缺陷自动检测方法及其装置
CN110852173A (zh) * 2019-10-15 2020-02-28 山东大学 一种针对模糊焊缝的视觉定位方法及系统
CN111069976A (zh) * 2020-01-19 2020-04-28 南京理工大学 一种车间或产线用刀具损伤智能化移动监测系统及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103914827A (zh) * 2013-09-06 2014-07-09 贵州大学 汽车密封条轮廓缺陷的视觉检测方法
CN104751145A (zh) * 2015-04-10 2015-07-01 西安电子科技大学 局部霍夫变换与形态学优化的sar图像电力线检测方法
CN105931227A (zh) * 2016-04-14 2016-09-07 北京工业大学 一种基于图像灰度b扫曲线的焊缝表面缺陷特征提取方法
CN106127780A (zh) * 2016-06-28 2016-11-16 华南理工大学 一种曲面表面缺陷自动检测方法及其装置
CN110852173A (zh) * 2019-10-15 2020-02-28 山东大学 一种针对模糊焊缝的视觉定位方法及系统
CN111069976A (zh) * 2020-01-19 2020-04-28 南京理工大学 一种车间或产线用刀具损伤智能化移动监测系统及方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112560610A (zh) * 2020-12-03 2021-03-26 西南交通大学 一种视频监控对象分析方法、装置、设备及可读存储介质
CN112560610B (zh) * 2020-12-03 2021-09-28 西南交通大学 一种视频监控对象分析方法、装置、设备及可读存储介质
CN112991426A (zh) * 2021-05-06 2021-06-18 荣旗工业科技(苏州)股份有限公司 一种焊锡长度的视觉测量方法
CN113763235A (zh) * 2021-09-08 2021-12-07 北京琥珀创想科技有限公司 一种将图片转换为扫描件的方法及智能移动终端
CN114266719A (zh) * 2021-10-22 2022-04-01 广州辰创科技发展有限公司 一种基于霍夫变换的产品检测方法
CN114266719B (zh) * 2021-10-22 2022-11-25 广州辰创科技发展有限公司 一种基于霍夫变换的产品检测方法
CN115055877A (zh) * 2022-06-21 2022-09-16 广东省源天工程有限公司 一种超大型人字闸门铰链焊接机架

Also Published As

Publication number Publication date
CN112001906B (zh) 2024-02-02

Similar Documents

Publication Publication Date Title
CN112001906B (zh) 一种结合非极大值抑制的钢板焊缝图像检测方法
CN108830832B (zh) 一种基于机器视觉的塑料筒表面缺陷检测方法
CN109785291B (zh) 一种车道线自适应检测方法
CN107610111B (zh) 一种基于深度学习的焊点图像检测方法
CN112819772B (zh) 一种高精度快速图形检测识别方法
CN110866903B (zh) 基于霍夫圆变换技术的乒乓球识别方法
WO2022205525A1 (zh) 基于双目视觉自主式水下机器人回收导引伪光源去除方法
US10497107B1 (en) Method, computer program product and computer readable medium for generating a mask for a camera stream
CN111445490A (zh) 一种显微操作系统目标前景提取方法及系统
CN112529853A (zh) 一种用于水下养殖网箱的网衣破损检测方法及装置
CN112308843A (zh) 用于光伏电池板图像采集的相机过曝异常调节方法及系统
CN110348442B (zh) 一种基于支持向量机的船载雷达图像海上油膜识别方法
CN112288780B (zh) 多特征动态加权的目标跟踪算法
CN113379649A (zh) 一种图像增强方法、装置、设备及存储介质
CN111290582B (zh) 一种基于改进型直线检测的投影交互区域定位方法
CN115661110B (zh) 一种透明工件识别与定位的方法
CN113689365B (zh) 一种基于Azure Kinect的目标跟踪定位方法
CN115235335A (zh) 一种高铁动车组走行部尺寸智能检测方法
Rui Lane line detection technology based on machine vision
CN113888632A (zh) 结合rgbd图像水池污渍定位方法及系统
Qi et al. Fast detection of small infrared objects in maritime scenes using local minimum patterns
CN112258548B (zh) 基于改进ViBe算法的运动目标提取方法
CN113450331B (zh) 一种异形元器件针脚检测方法
CN114820718A (zh) 一种视觉动态定位跟踪算法
CN117893987A (zh) 一种基于视觉特征和数学模型的车道线检测和拟合方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 221000 No. 6, Keji Road, Xuzhou Economic and Technological Development Zone, Xuzhou City, Jiangsu Province

Applicant after: XCMG Hanyun Technology Co.,Ltd.

Address before: No. 6 Keji Road, Gulou District, Xuzhou City, Jiangsu Province, 221001

Applicant before: JIANGSU XUGONG INFORMATION TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant