CN113222947A - 一种非金属材料焊接缺陷智能检测方法及系统 - Google Patents

一种非金属材料焊接缺陷智能检测方法及系统 Download PDF

Info

Publication number
CN113222947A
CN113222947A CN202110546509.6A CN202110546509A CN113222947A CN 113222947 A CN113222947 A CN 113222947A CN 202110546509 A CN202110546509 A CN 202110546509A CN 113222947 A CN113222947 A CN 113222947A
Authority
CN
China
Prior art keywords
picture
detected
defect
judging
resistance wire
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110546509.6A
Other languages
English (en)
Other versions
CN113222947B (zh
Inventor
何宗辉
周家乐
周炳博
王慧锋
张昶
印军华
李龙
刘宇鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Piper Pipeline Inspection Technology Development Co ltd
Original Assignee
Shanghai Piper Pipeline Inspection Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Piper Pipeline Inspection Technology Development Co ltd filed Critical Shanghai Piper Pipeline Inspection Technology Development Co ltd
Priority to CN202110546509.6A priority Critical patent/CN113222947B/zh
Publication of CN113222947A publication Critical patent/CN113222947A/zh
Application granted granted Critical
Publication of CN113222947B publication Critical patent/CN113222947B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30152—Solder
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

本发明涉及一种非金属材料焊接缺陷智能检测方法及系统，先将待检测图片利用语义分割网络U‑Net进行语义分割，分割后的图片中蕴含特征线、电阻丝、底部回波等关键特征，然后将分割后的图片结合上海市地方标准中相关缺陷判定指标，界定阈值，从而完成焊接缺陷类型和等级的判别。本发明通过图像学习之后能够进行图谱的分析工作，并且，随着采集的图谱样本越来越多，其准确率和识别速度会越来越高，能够完美解决人力不足及人工检测精度不高的问题，是未来无损检测技术的发展方向。

Description

一种非金属材料焊接缺陷智能检测方法及系统
技术领域
本发明涉及焊接缺陷检测技术领域，特别是涉及一种非金属材料焊接缺陷智能检测方法及系统。
背景技术
随着非金属材料在地下管网中的大规模使用，其使用安全问题也逐渐被大家所重视。而非金属材料管道失效问题除了第三方破坏外，则要属焊接处异常最为常见，也最为严重。针对这种情况，科研工作者借鉴了金属材料的无损检测方法，发展出了适用于非金属材料的相控阵检测技术。而在使用相控阵检测技术进行非金属材料焊缝无损检测时，我们发现每个焊缝形成的图谱有几十张，而一个项目进行下来，图谱数量有几千张之多，对于人员的数量要求比较大，素质要求也比较高，如果没有相关专业知识的人员就没有办法进行图谱分析。
因此，本领域亟需一种节约人力成本同时增加检测精度的智能检测方案。
发明内容
本发明的目的是提供一种非金属材料焊接缺陷智能检测方法及系统，解决当前人工检测效率不高以及检测精度不高的问题。
为实现上述目的，本发明提供了如下方案：
一种非金属材料焊接缺陷智能检测方法，所述方法包括：
对待检测图片进行位置区域标注，标注的区域包括特征线区域、电阻丝区域和底部回波区域；
根据所述标注的区域将所述待检测图片进行语义分割，识别所述待检测图片中的每个像素是否属于所述特征线区域、所述电阻丝区域和所述底部回波区域；
将所述待检测图片中属于同一个区域的所有像素标记为同一个类别，得到特征线类别、电阻丝类别和底部回波类别；
利用连通域分析法识别每个类别中的各个连通域；
计算每个类别中每个连通域的基本数字特征；所述基本数字特征包括：各个连通域的坐标；
结合所述基本数字特征判断所述待检测图片是否存在缺陷并确定缺陷类别。
可选的，在对待检测图片进行位置区域标注之前，还包括：
对原图片进行裁剪，仅保留有效图片部分，得到待检测图片；所述有效图片部分包括焊缝成像部分。
可选的，在所述计算每个类别中每个连通域的基本数字特征之前，还包括：
将所述待检测图片中的像素点距离转换成世界坐标系中的实际距离。
可选的，所述计算每个类别中每个连通域的基本数字特征，具体包括：
以所述待检测图片的左上角为坐标原点，水平方向为x轴，竖直方向为y轴建立平面直角坐标系；
计算特征线位置中各个连通域质心的x轴坐标，计算公式为：
Figure BDA0003073706330000021
式中，flxcen(k)表示第k个特征线位置连通域质心的x轴坐标，
Figure BDA0003073706330000022
表示第k个特征线位置连通域中像素点的总和，
Figure BDA0003073706330000023
表示第k个特征线位置连通域中所有像素点的x轴坐标之和；
计算特征线位置中各个连通域质心的y轴坐标，计算公式为：
Figure BDA0003073706330000024
式中，flycen(k)表示第k个特征线位置连通域质心的y轴坐标，
Figure BDA0003073706330000025
表示第k个特征线位置连通域中像素点的总和，
Figure BDA0003073706330000026
表示第k个特征线位置连通域中所有像素点的y轴坐标之和；
计算电阻丝位置中各个连通域质心的x轴坐标，计算公式为：
Figure BDA0003073706330000027
式中，
Figure BDA0003073706330000028
表示第n个电阻丝位置连通域中像素点的总和,
Figure BDA0003073706330000029
表示第n个电阻丝位置连通域中所有像素点的x轴坐标之和；
计算电阻丝位置中各个连通域质心的y轴坐标，计算公式为：
Figure BDA00030737063300000210
式中，
Figure BDA00030737063300000211
表示第n个电阻丝位置连通域中像素点的总和,
Figure BDA00030737063300000212
表示第n个电阻丝位置连通域中所有像素点的y轴坐标之和。
可选的，所述结合所述基本数字特征判断所述待检测图片是否存在缺陷并确定缺陷类别，具体包括：
(1)判断所述待检测图片是否存在熔合面夹物夹杂缺陷：
若存在一个自然数n，满足rwx max(n-1)＞rwx min(n)，其中，rwx min(n)表示第n个电阻丝位置的连通域中的点的x轴坐标最小值，rwx max(n-1)表示第n-1个电阻丝位置的连通域中的点的x轴坐标最大值，则判定所述待检测图片存在Ⅲ级熔合面夹物夹杂缺陷，否则判定所述待检测图片不存在熔合面夹物夹杂缺陷；和/或
(2)判断所述待检测图片是否存在孔洞缺陷：
利用字母M表示底部回波位置的连通域个数，若M＝1，则判定所述待检测图片不存在孔洞缺陷；若M＝2或者M>2，且对于
Figure BDA0003073706330000033
有[box min(m)-box max(m-1)]≥[box max(m)-box min(m)]，则判定所述待检测图片存在单个孔洞缺陷；若M>2，且
Figure BDA0003073706330000034
有[box min(m)-box max(m-1)]＜[box max(m)-box min(m)]，则判定所述待检测图片存在组合孔洞缺陷，其中m表示第m个底部回波位置的连通域，box min(m)表示第m个底部回波位置的连通域中的点的x轴坐标最小值，box max(m-1)表示第m-1个底部回波位置的连通域中的点的x轴坐标最大值，box max(m)表示第m个底部回波位置的连通域中的点的x轴坐标最大值；和/或
(3)判定所述待检测图片是否存在电阻丝错位缺陷：
计算所有电阻丝位置的连通域质心在x轴方向的平均间距
Figure BDA0003073706330000031
计算公式为
Figure BDA0003073706330000032
其中，N表示电阻丝位置的连通域总个数；
将所述平均间距作为每个电阻丝位置的连通域质心在x轴方向的正常间距；
计算所有电阻丝位置的连通域质心的y轴坐标值的中位数rwy，计算公式为rwy＝mid(sort(rwycen(1),…,rwycen(n),…,rwycen(N)))；
将所述所有电阻丝位置的连通域质心的y轴坐标值的中位数作为正常情况下每个电阻丝位置的连通域质心的y轴坐标；
以第一个电阻丝位置的连通域作为基准，计算其他连通域的偏离距离dev(n)，计算公式为：
Figure BDA0003073706330000041
找出最大的偏离距离devmax；
根据所述最大的偏离距离devmax判断所述待检测图片是否存在电阻丝错位缺陷；和/或
(4)判定所述待检测图片是否存在冷/过焊缺陷：
计算特征线位置的连通域的质心在y轴方向的平均坐标值
Figure BDA0003073706330000042
计算公式为：
Figure BDA0003073706330000043
其中，K表示特征线位置连通域的总个数，k表示特征线位置的第k个连通域；
计算电阻丝位置的连通域的质心在y轴方向的平均坐标值
Figure BDA0003073706330000044
计算公式为：
Figure BDA0003073706330000045
计算特征线位置的连通域与电阻丝位置的连通域在y轴方向上的距离关系l实；计算公式为：
Figure BDA0003073706330000046
根据所述距离关系l实计算冷焊与过焊的缺陷表征程度H冷/过；计算公式为：
Figure BDA0003073706330000047
其中l正表示正常电熔焊接时特征线与电阻丝之间的距离，通常由相关技术人员给出；
根据所述冷焊与过焊的缺陷表征程度H冷/过判断所述待检测图片是否存在冷/过焊缺陷缺陷；和/或
(5)判定所述待检测图片是否存在承接不到位缺陷：
计算电阻丝位置的总体长度l总阻，计算公式为：l总阻＝rwx max(N)-rwx min(1)；
计算底部回波位置的的总体长度l总底，计算公式为l总底＝box max(M)-box min(1)；
人为设定阈值ε，当l总底＜εl总阻时，判定所述待检测图片存在承接不到位缺陷，否则判定所述待检测图片不存在承接不到位缺陷。
可选的，所述判断所述待检测图片是否存在孔洞缺陷中，还包括：
(2a)当判定所述待检测图片存在单个孔洞缺陷时，计算单个孔洞的表征程度H单孔，
Figure BDA0003073706330000051
其中box(m)表示第m个底部回波位置的连通域中的点的x轴坐标，L表示熔合区长度，根据不同尺寸的管材确定；
根据所述单个孔洞的表征程度H单孔的取值判定单孔孔洞缺陷等级，若0＜H单孔＜5，则判定所述待检测图片存在Ⅰ级单孔孔洞缺陷，若5≤H单孔＜10，则判定所述待检测图片存在Ⅱ级单孔孔洞缺陷，若H单孔≥10，则判定所述待检测图片存在Ⅲ级单孔孔洞缺陷；或
(2b)当判定所述待检测图片存在组合孔洞缺陷时，计算组合孔洞的表征程度H组孔，
Figure BDA0003073706330000052
其中box min(m)表示第m个底部回波位置的连通域中的点的x轴坐标最小值，box max(m-1)表示第m-1个底部回波位置的连通域中的点的x轴坐标最大值，L表示熔合区长度，根据不同尺寸的管材确定；
根据所述组合孔洞的表征程度H组孔的取值判定单孔孔洞缺陷等级，若0＜H组孔＜10，则判定所述待检测图片存在Ⅰ级组孔孔洞缺陷，若10≤H组孔＜15，则判定所述待检测图片存在Ⅱ级组孔孔洞缺陷，若H组孔≥15，则判定所述待检测图片存在Ⅲ级组孔孔洞缺陷。
可选的，所述根据所述最大的偏离距离devmax判断所述待检测图片是否存在电阻丝错位缺陷，具体包括：
若devmax＝0，则判定所述待检测图片不存在电阻丝错位缺陷，若
Figure BDA0003073706330000053
则判定所述待检测图片存在Ⅰ级电阻丝错位缺陷，若
Figure BDA0003073706330000054
则判定所述待检测图片存在Ⅱ级电阻丝错位缺陷，若
Figure BDA0003073706330000055
则判定所述待检测图片存在Ⅲ级电阻丝错位缺陷。
可选的，所述根据所述冷焊与过焊的缺陷表征程度H冷/过判断所述待检测图片是否存在冷/过焊缺陷缺陷，具体包括：
若H冷/过≤-40，则判定所述待检测图片存在Ⅲ级过焊缺陷；若-40＜H冷/过≤-20，则判定所述待检测图片存在Ⅱ级过焊缺陷；若-20＜H冷/过＜0，则判定所述待检测图片存在Ⅰ级过焊缺陷；若H冷/过＝0，则判定所述待检测图片不存在冷/过焊缺陷；若0＜H冷/过＜10，则判定所述待检测图片存在Ⅰ级冷焊缺陷；若10≤H冷/过＜30，则判定所述待检测图片存在Ⅱ级冷焊缺陷；若H冷/过≥30，则判定所述待检测图片存在Ⅲ级冷焊缺陷。
可选的，所述结合所述基本数字特征判断所述待检测图片是否存在缺陷并确定缺陷类别之后，还包括：
计算判断是否存在缺陷的准确率accuracy，计算公式为：
Figure BDA0003073706330000061
其中TP表示被正确预测的正常图片数目；FN表示被错误预测的正常图片数目；TN表示被正确预测的缺陷图片数目；FP表示被错误预测的缺陷图片数目；
计算判断是否存在缺陷的误识别率negativerate，计算公式为：
Figure BDA0003073706330000062
计算缺陷间分类准确率defectaccuracy，计算公式为：
Figure BDA0003073706330000063
其中，x表示当前所测试的某类缺陷，TP(j)表示被正确预测的j类缺陷图片数目；FN(j)表示被错误预测的j类缺陷图片数目；TN(j)表示被正确预测的非j类缺陷图片数目；FP(j)表示被错误预测的非j类缺陷图片数目；
计算特定缺陷等级分类准确率level accuracy，计算公式为
Figure BDA0003073706330000064
y表示x缺陷的某个等级，TP(a,b)表示在预测为x类缺陷中y类等级被正确预测图片数目；FN(a,b)表示在预测为x类缺陷中y类等级被错误预测图片数目；TN(a,b)表示在预测为x类缺陷中非y类等级被正确预测图片数目；FP(a,b)表示在预测为x类缺陷中非y类等级被错误预测图片数目。
一种非金属材料焊接缺陷智能检测系统，所述系统包括：
位置标注单元，用于对待检测图片进行位置区域标注，标注的区域包括特征线区域、电阻丝区域和底部回波区域；
语义分割单元，用于根据所述标注的区域将所述待检测图片进行语义分割，识别所述待检测图片中的每个像素是否属于所述特征线区域、所述电阻丝区域和所述底部回波区域；
像素类别确定单元，用于连通域标注单元，用于将所述待检测图片中属于同一个区域的所有像素标记为同一个类别，得到特征线类别、电阻丝类别和底部回波类别；
连通域识别单元，用于利用连通域分析法识别每个类别中的各个连通域；
基本数字特征计算单元，用于计算每个类别中每个连通域的基本数字特征；所述基本数字特征包括：各个连通域的坐标；
缺陷判定单元，用于结合所述基本数字特征判断所述待检测图片是否存在缺陷并确定缺陷类别。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明实施例提供了一种基于超声波图像的非金属材料焊接缺陷智能检测方法，先将待检测图片利用语义分割网络进行语义分割，分割后的图片中蕴含特征线、电阻丝、底部回波等关键特征，然后将分割后的图片结合缺陷判定指标界定阈值，从而完成焊接缺陷类型和等级的判别，本发明通过图像学习之后能够进行图谱的分析工作，并且，随着采集的图谱样本越来越多，其准确率和识别速度会越来越高，能够完美解决人力不足及人工检测精度不高的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一提供的非金属材料焊接缺陷智能检测方法流程图。
图2为本发明实施例一提供的非金属材料焊接缺陷智能检测方法的检测流程示意图。
图3为本发明实施例一提供的非金属材料焊接缺陷智能检测方法的标注图。
图4为本发明实施例一提供的非金属材料焊接缺陷智能检测方法中语义分割图。
图5为本发明实施例一提供的非金属材料焊接缺陷智能检测方法中的存在噪声的语义分割图。
图6为本发明实施例一提供的非金属材料焊接缺陷智能检测方法中的去噪后的语义分割图。
图7为本发明实施例一提供的非金属材料焊接缺陷智能检测方法中的存在熔合面夹杂缺陷的图片示例。
图8为本发明实施例一提供的非金属材料焊接缺陷智能检测方法中的存在孔洞缺陷的图片示例。
图9为本发明实施例一提供的非金属材料焊接缺陷智能检测方法中的存在电阻丝错位缺陷的图片示例。
图10为本发明实施例一提供的非金属材料焊接缺陷智能检测方法中的存在冷焊缺陷的图片示例。
图11为本发明实施例一提供的非金属材料焊接缺陷智能检测方法中的存在过焊缺陷的图片示例。
图12为本发明实施例一提供的非金属材料焊接缺陷智能检测方法中的存在承接不到位缺陷的图片示例。
图13为本发明实施例一提供的非金属材料焊接缺陷智能检测系统的框图。
图14为本发明实施例一提供的软件产品的工作流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种非金属材料焊接缺陷智能检测方法及系统，解决当前人工检测效率不高以及检测精度不高的问题。
在聚乙烯管道焊接的过程中，焊接头处是最容易出现焊接缺陷，这种缺陷直接关系着焊接质量，本发明采用相控阵设备进行缺陷探查，该设备利用超声波检测的方式探测管道内部并可以给出内部指标和生成图片，技术人员既可以通过查看指标，也可以查看图片来得知焊接质量。人工检测的方式虽然可以直观的给出检测结果，但是效率并不高。而随着计算机技术的发展，图像识别技术也逐渐走进我们的视野中，将最新的图像识别技术应用于传统行业，无疑是提升效率的最佳方式，所以本发明提出了一种针对聚乙烯管道的焊接检测方法。
在提到具体的焊接检测方法之前，首先说明一下会使用到的技术和各类缺陷判断依据，本发明中使用到了深度学习和数字图像处理的一些技术，具体而言包括图像分类、图像分割和数据增强。下文将对这几项技术进行详细说明。
(1)深度学习
深度学习是机器学习领域的一个新的研究方向。深度学习是一种对数据进行表征学习的方法，其使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象。深度学习网络可以理解为传统神经网络的延申，是通过深层非线性网络结构无限逼近复杂函数，以获取数据的原始特征，进而取代传统的由人工提取数据特征方法，实现让机器自主学习并提取数据特征。深度学习在图像分类、图像语义分割和目标检测中主要采用的是卷积神经网络。而在处理时序数据时，如在自然语言处理领域，通常采用循环神经网络及其变体，本发明的算法基础就是基于深度学习展开的。
(2)图像分类
图像分类，即通过某种分类算法使计算机判断输入图像所属的类别。在本发明中，图像分类也是基础，有了图像分类才有后续的目标检测、图像分割。而随着深度学习的发展，图像分类也取得了显著的进步，从最早的利用数字图像处理方法，到现在利用卷积神经网络来提取特征。
(3)图像分割
深度学习的图像分割方法是基于深度学习图像分类的基础上实现的，目前主要有语义分割、实例分割和全景分割，本发明涉及的算法使用了语义分割的方式。语义分割是对图像中逐像素进行分类，通过这种像素级别的分类来精确定位并分割各类特征，从而实现图像的分割。得到分割图像后，通过计算像素之间的距离并依据图片上的刻度来得到具体数值。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例一：
如图1所示，本实施例提供了一种非金属材料焊接缺陷智能检测方法，该方法包括：
S1、对待检测图片进行位置区域标注，标注的区域包括特征线区域、电阻丝区域和底部回波区域；
请参阅图2，为了保证检测的精度，在对待检测图片进行位置区域标注之前需要进行图像预处理步骤，图像预处理是计算机视觉中的第一步，预处理有很多方式，对待测图片进行预处理能够去除图片中的一些干扰信息。本实施例中利用相控阵系统检测得到的图片中，一般包含波形图和焊缝成像图，本实施例对原图片进行裁剪，只保留图片中的焊缝成像图部分。
通过U-Net语义分割网络来实现图像中特征线、电阻丝与底部回波的提取，需要先采用Labelme软件对图像进行标注。利用Labelme软件打开电熔数据集，电熔数据中的特征线采用多段线进行标注，标签定为feature line；电阻丝采用多边形方式标注，标签定为resistance wire；底部回波也采用多边形标注，标签为bottom。
电熔数据标注后保存的文件为json格式，在实验中需要将json文件转换为标注图像，转化结果如图3所示。
S2、根据所述标注的区域将所述待检测图片进行语义分割，识别所述待检测图片中的每个像素是否属于所述特征线区域、所述电阻丝区域和所述底部回波区域；
S3、将所述待检测图片中属于同一个区域的所有像素标记为同一个类别，得到特征线类别、电阻丝类别和底部回波类别；
本实施例采用U-Net语义分割模型对待检测图片做语义分割，即通过U-Net模型对单一图片中的每一个像素进行分类，判断其是否属于特征线、电阻丝、底部回波等特征中的某一个，并用不同颜色进行标记，得到语义分割图，如图4所示(图4中由上到下依次为特征线类别、电阻丝类别和底部回波类别，特征线类别为红色，电阻丝类别为蓝色，底部回波类别为黄色，为了便于处理已将图片转换为黑白图片，后续图片中颜色设置和类别设置均与图4相同)。
语义分割图中会出现没有明显分布规律的少量噪声像素点，如图5所示，故本实施例实验采用数学形态学中的开运算去除分割图中的小噪声点，去噪结果如图6所示。因为语义分割图和原图大小是1：1的，所以特征线、电阻丝和底部回波等特征在分割图中的位置即是在原图中的位置。
S4、利用连通域分析法识别每个类别中的各个连通域；采用连通域分析中的Seed-Filling算法标注待检测图像中的每个连通域。
本实施例中根据上海市地方标准中约束的缺陷界定边界进行分类、分级判断。需要将根据相机坐标系中相关特征区域之间的距离(像素点)转换成世界坐标系中的实际距离值(厘米)。
S5、计算每个类别中每个连通域的基本数字特征；所述基本数字特征包括：各个连通域的坐标；
在进行语义分割后，需要根据计算得到的数值进行缺陷的确定和分级。为了完成这些功能，第一步需要对分割得到图片中的特征线类别、电阻丝类别和底部回波类别中的各个连通域进行参数的计算并得到连通域的质心坐标，最左端、最右端坐标等几何参数。设特征线类别存在K个连通域，电阻丝类别存在N个连通域，底部回波类别存在M个连通域，计算的具体步骤如下：
以所述待检测图片的左上角为坐标原点，水平方向为x轴，竖直方向为y轴建立平面直角坐标系；
计算特征线位置中各个连通域质心的x轴坐标，计算公式为：
Figure BDA0003073706330000111
式中，flxcen(k)表示第k个特征线位置连通域质心的x轴坐标，
Figure BDA0003073706330000112
表示第k个特征线位置连通域中像素点的总和，
Figure BDA0003073706330000113
表示第k个特征线位置连通域中所有像素点的x轴坐标之和；
计算特征线位置中各个连通域质心的y轴坐标，计算公式为：
Figure BDA0003073706330000114
式中，flycen(k)表示第k个特征线位置连通域质心的y轴坐标，
Figure BDA0003073706330000115
表示第k个特征线位置连通域中像素点的总和，
Figure BDA0003073706330000116
表示第k个特征线位置连通域中所有像素点的y轴坐标之和；
计算电阻丝位置中各个连通域质心的x轴坐标，计算公式为：
Figure BDA0003073706330000121
式中，
Figure BDA0003073706330000122
表示第n个电阻丝位置连通域中像素点的总和,
Figure BDA0003073706330000123
表示第n个电阻丝位置连通域中所有像素点的x轴坐标之和；
计算电阻丝位置中各个连通域质心的y轴坐标，计算公式为：
Figure BDA0003073706330000124
式中，
Figure BDA0003073706330000125
表示第n个电阻丝位置连通域中像素点的总和,
Figure BDA0003073706330000126
表示第n个电阻丝位置连通域中所有像素点的y轴坐标之和。
S6、结合所述基本数字特征判断所述待检测图片是否存在缺陷并确定缺陷类别。
当得到各个连通域的基本数字特征后，根据缺陷判别规则判断图片中是否存在缺陷，以及缺陷的具体类别和等级。本发明可以识别和判断6种缺陷，分别是熔合面夹物夹杂、孔洞、电阻丝错位、冷焊、过焊和承插不到位。此外，根据识别出的缺陷性质、数量和密切程度，其质量等级可进一步划分为Ⅰ、Ⅱ、Ⅲ级。
需要说明的是，本发明可以识别和判断的缺陷即可以少于也可以多余6种。
在实际判定中，得到待检测图片中各个连通域的基本数字特征后会依次进行每一种缺陷的判断，只要出现质量分级大于Ⅰ级的缺陷，就可以判定为存在该类缺陷，如果同时出现多类缺陷，则被判定为组合缺陷。在实际中，有些缺陷危害性大，有的缺陷危害性小，所以对于施工人员来说，综合缺陷给定是很有必要的。综合缺陷类型的判定根据危害性大小依次为：承插不到位、熔合面夹物夹杂、孔洞、冷焊、过焊和电阻丝错位。当缺陷级别相同时，出现多种缺陷，综合缺陷按以上顺序给出，在缺陷级别不同时，取缺陷等级最高的缺陷作为综合缺陷。
本发明实施例具体给出了以下几种缺陷的判断步骤，在不付出创造性劳动的前提下，添加或者减少缺陷类别的判断步骤均落在本发明的保护范围内。
(1)判断所述待检测图片是否存在熔合面夹物夹杂缺陷：
对于熔合面夹物夹杂，主要判断电阻丝类别连通域在y轴方向上是否存在重合现象，若存在即有该缺陷，在实际工程中该缺陷等级通常直接定为Ⅲ级，若存在一个自然数n，满足rwx max(n-1)＞rwx min(n)，其中，rwx min(n)表示第n个电阻丝位置的连通域中的点的x轴坐标最小值，rwx max(n-1)表示第n-1个电阻丝位置的连通域中的点的x轴坐标最大值，则判定所述待检测图片存在Ⅲ级熔合面夹物夹杂缺陷，否则判定所述待检测图片不存在熔合面夹物夹杂缺陷，具有该缺陷的图片如图7所示；和/或
(2)判断所述待检测图片是否存在孔洞缺陷：
电阻丝异变，底部回波缺失部分即为孔洞缺陷，通过孔洞大小可以判断孔洞类型缺陷和缺陷等级。对于孔洞缺陷，主要判断底部回波是否出现断裂情况，并根据断裂严重程度确定缺陷等级。
利用字母M表示底部回波位置的连通域个数，若M＝1，则判定所述待检测图片不存在孔洞缺陷；若M＝2或者M>2，且对于
Figure BDA0003073706330000132
有[box min(m)-box max(m-1)]≥[box max(m)-box min(m)]，则判定所述待检测图片存在单个孔洞缺陷；若M>2，且
Figure BDA0003073706330000133
有[box min(m)-box max(m-1)]＜[box max(m)-box min(m)]，则判定所述待检测图片存在组合孔洞缺陷，其中m表示第m个底部回波位置的连通域，box min(m)表示第m个底部回波位置的连通域中的点的x轴坐标最小值，box max(m-1)表示第m-1个底部回波位置的连通域中的点的x轴坐标最大值，box max(m)表示第m个底部回波位置的连通域中的点的x轴坐标最大值；
(2a)当判定所述待检测图片存在单个孔洞缺陷时，计算单个孔洞的表征程度H单孔，
Figure BDA0003073706330000131
其中box(m)表示第m个底部回波位置的连通域中的点的x轴坐标，L表示熔合区长度，根据不同尺寸的管材确定；
根据所述单个孔洞的表征程度H单孔的取值判定单孔孔洞缺陷等级，若0＜H单孔＜5，则判定所述待检测图片存在Ⅰ级单孔孔洞缺陷，若5≤H单孔＜10，则判定所述待检测图片存在Ⅱ级单孔孔洞缺陷，若H单孔≥10，则判定所述待检测图片存在Ⅲ级单孔孔洞缺陷；或
(2b)当判定所述待检测图片存在组合孔洞缺陷时，计算组合孔洞的表征程度H组孔，
Figure BDA0003073706330000141
其中box min(m)表示第m个底部回波位置的连通域中的点的x轴坐标最小值，box max(m-1)表示第m-1个底部回波位置的连通域中的点的x轴坐标最大值，L表示熔合区长度，根据不同尺寸的管材确定；
根据所述组合孔洞的表征程度H组孔的取值判定单孔孔洞缺陷等级，若0＜H组孔＜10，则判定所述待检测图片存在Ⅰ级组孔孔洞缺陷，若10≤H组孔＜15，则判定所述待检测图片存在Ⅱ级组孔孔洞缺陷，若H组孔≥15，则判定所述待检测图片存在Ⅲ级组孔孔洞缺陷，存在孔洞缺陷的图片如图8所示；和/或
(3)判定所述待检测图片是否存在电阻丝错位缺陷：
对于电阻丝错位缺陷，主要判断是否存在电阻丝类别的连通域偏离正常位置，计算所有电阻丝位置的连通域质心在x轴方向的平均间距
Figure BDA0003073706330000142
计算公式为
Figure BDA0003073706330000143
其中，N表示电阻丝位置的连通域总个数；
将所述平均间距作为每个电阻丝位置的连通域质心在x轴方向的正常间距；
计算所有电阻丝位置的连通域质心的y轴坐标值的中位数rwy，计算公式为rwy＝mid(sort(rwycen(1),…,rwycen(n),…,rwycen(N)))；其中，sort(*)表示对*按从小到大进行排序，mid(*)表示取*中的中位数；
将所述所有电阻丝位置的连通域质心的y轴坐标值的中位数作为正常情况下每个电阻丝位置的连通域质心的y轴坐标；
以第一个电阻丝位置的连通域作为基准，计算其他连通域的偏离距离dev(n)，计算公式为：
Figure BDA0003073706330000144
找出最大的偏离距离devmax；devmax＝max(dev(1),…,dev(n),…,dev(N))，其中，max(*)表示取*中的最大值；
根据所述最大的偏离距离devmax判断所述待检测图片是否存在电阻丝错位缺陷；若devmax＝0，则判定所述待检测图片不存在电阻丝错位缺陷，若
Figure BDA0003073706330000151
则判定所述待检测图片存在Ⅰ级电阻丝错位缺陷，若
Figure BDA0003073706330000152
则判定所述待检测图片存在Ⅱ级电阻丝错位缺陷，若
Figure BDA0003073706330000153
则判定所述待检测图片存在Ⅲ级电阻丝错位缺陷，存在电阻丝错位缺陷的图片如图9所示；和/或
(4)判定所述待检测图片是否存在冷/过焊缺陷：
对于冷/过焊缺陷，主要通过特征线类别与电阻丝类别之间距离来判断，距离过小存在冷焊缺陷，距离过大存在过焊缺陷；
计算特征线位置的连通域的质心在y轴方向的平均坐标值
Figure BDA0003073706330000159
计算公式为：
Figure BDA0003073706330000154
其中，K表示特征线位置连通域的总个数，k表示特征线位置的第k个连通域；
计算电阻丝位置的连通域的质心在y轴方向的平均坐标值
Figure BDA0003073706330000155
计算公式为：
Figure BDA0003073706330000156
计算特征线位置的连通域与电阻丝位置的连通域在y轴方向上的距离关系l实；计算公式为：
Figure BDA0003073706330000157
根据所述距离关系l实计算冷焊与过焊的缺陷表征程度H冷/过；计算公式为：
Figure BDA0003073706330000158
其中l正表示正常电熔焊接时特征线与电阻丝之间的距离，通常由相关技术人员给出；
根据所述冷焊与过焊的缺陷表征程度H冷/过判断所述待检测图片是否存在冷/过焊缺陷缺陷；若H冷/过≤-40，则判定所述待检测图片存在Ⅲ级过焊缺陷；若-40＜H冷/过≤-20，则判定所述待检测图片存在Ⅱ级过焊缺陷；若-20＜H冷/过＜0，则判定所述待检测图片存在Ⅰ级过焊缺陷；若H冷/过＝0，则判定所述待检测图片不存在冷/过焊缺陷；若0＜H冷/过＜10，则判定所述待检测图片存在Ⅰ级冷焊缺陷；若10≤H冷/过＜30，则判定所述待检测图片存在Ⅱ级冷焊缺陷；若H冷/过≥30，则判定所述待检测图片存在Ⅲ级冷焊缺陷，存在冷焊缺陷的图片如图10所示，存在过焊缺陷的图片如图11所示；和/或
(5)判定所述待检测图片是否存在承接不到位缺陷：
承插不到位缺陷主要表现在底部回波类别存在半截式的信号丢失；
计算电阻丝位置的总体长度l总阻，计算公式为：l总阻＝rwx max(N)-rwx min(1)；
计算底部回波位置的的总体长度l总底，计算公式为l总底＝box max(M)-box min(1)；
人为设定阈值ε，当l总底＜εl总阻时，判定所述待检测图片存在承接不到位缺陷，否则判定所述待检测图片不存在承接不到位缺陷，存在承接不到位缺陷的图片如图12所示。
通过以上步骤，可以对各类焊接缺陷进行分类与分级，但是，算法也会各方面的原因出错，所以本实施例也加入了置信度这一参考条件，具体分类、分级置信度计算如下：
计算判断是否存在缺陷的准确率accuracy，计算公式为：
Figure BDA0003073706330000161
其中TP表示被正确预测的正常图片数目；FN表示被错误预测的正常图片数目；TN表示被正确预测的缺陷图片数目；FP表示被错误预测的缺陷图片数目；
计算判断是否存在缺陷的误识别率negative rate，计算公式为：
Figure BDA0003073706330000162
计算缺陷间分类准确率defect accuracy，计算公式为：
Figure BDA0003073706330000163
其中，x表示当前所测试的某类缺陷，TP(j)表示被正确预测的j类缺陷图片数目；FN(j)表示被错误预测的j类缺陷图片数目；TN(j)表示被正确预测的非j类缺陷图片数目；FP(j)表示被错误预测的非j类缺陷图片数目；
计算特定缺陷等级分类准确率levelaccuracy，计算公式为
Figure BDA0003073706330000164
y表示x缺陷的某个等级，TP(a,b)表示在预测为x类缺陷中y类等级被正确预测图片数目；FN(a,b)表示在预测为x类缺陷中y类等级被错误预测图片数目；TN(a,b)表示在预测为x类缺陷中非y类等级被正确预测图片数目；FP(a,b)表示在预测为x类缺陷中非y类等级被错误预测图片数目。
本发明实施例所提供的方法中，判断是否存在缺陷的准确率达到95％(测试时提供正常图片和缺陷图片各100张)，判断是否存在缺陷的误识别率低于5％(测试时提供正常图片和缺陷图片各100张)，缺陷间分类准确率到达85％(测试时每种缺陷图片提供50张)，特定缺陷等级分类准确率达到65％(测试时每种缺陷等级图片提供20张)。
本发明实施例提供的非金属材料焊接缺陷智能检测方法，先将待检测图片利用语义分割网络U-Net进行语义分割，分割后的图片中蕴含特征线、电阻丝、底部回波等关键特征，然后将分割后的图片结合上海市地方标准中相关缺陷判定指标，界定阈值，从而完成焊接缺陷类型和等级的判别。
此外，如图13所示，本实施例还提供了一种非金属材料焊接缺陷智能检测系统，该系统包括：
位置标注单元M1，用于对待检测图片进行位置区域标注，标注的区域包括特征线区域、电阻丝区域和底部回波区域；
语义分割单元M2，用于根据所述标注的区域将所述待检测图片进行语义分割，识别所述待检测图片中的每个像素是否属于所述特征线区域、所述电阻丝区域和所述底部回波区域；
像素类别确定单元M3，用于将所述待检测图片中属于同一个区域的所有像素标记为同一个类别，得到特征线类别、电阻丝类别和底部回波类别；
连通域识别单元M4，用于利用连通域分析法识别每个类别中的各个连通域；
基本数字特征计算单元M5，用于计算每个类别中每个连通域的基本数字特征；所述基本数字特征包括：各个连通域的坐标；
缺陷判定单元M6，用于结合所述基本数字特征判断所述待检测图片是否存在缺陷并确定缺陷类别。
作为一种可选的实施方式，本实施例提供的方法和系统可以作为一种软件产品，如图14所示，将上述系统集成在一个智能诊断模块中，检测设备远程传输图片到相控阵系统后台，相控阵系统接收到图片后迅速调用智能诊断模块接口得到检测结果，这个结果能够通过微信小程序或者相关APP告知用户检测结果，使用微信小程序的好处是开发轻量方便，也便于用户操作，而相关APP则直接与相控阵系统相连。检测结果后续也能够存入数据库对数据进行进一步的分析和利用。
智能诊断基于在线服务的形式，通过搭建在线检测服务，依托服务器端开发技术和图像识别技术，实现图片的接收和检测算法的调用和检测数据的展示。检测结果清晰明了，符合日常使用习惯，可扩展性良好，后续更换架构也可灵活适应。
本发明实施例提供的基于超声波图像的非金属材料焊接缺陷智能检测方法，先将待检测图片利用语义分割网络进行语义分割，分割后的图片中蕴含特征线、电阻丝、底部回波等关键特征，然后将分割后的图片结合缺陷判定指标界定阈值，从而完成焊接缺陷类型和等级的判别，通过后续的置信度计算证明本发明通过图像学习之后能够进行图谱的分析工作，并且，随着采集的图谱样本越来越多，其准确率和识别速度会越来越高，能够完美解决人力不足及人工检测精度不高的问题。
对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种非金属材料焊接缺陷智能检测方法，其特征在于，所述方法包括：
对待检测图片进行位置区域标注，标注的区域包括特征线区域、电阻丝区域和底部回波区域；
根据所述标注的区域将所述待检测图片进行语义分割，识别所述待检测图片中的每个像素是否属于所述特征线区域、所述电阻丝区域和所述底部回波区域；
将所述待检测图片中属于同一个区域的所有像素标记为同一个类别，得到特征线类别、电阻丝类别和底部回波类别；
利用连通域分析法识别每个类别中的各个连通域；
计算每个类别中每个连通域的基本数字特征；所述基本数字特征包括：各个连通域的坐标；
结合所述基本数字特征判断所述待检测图片是否存在缺陷并确定缺陷类别。
2.根据权利要求1所述的非金属材料焊接缺陷智能检测方法，其特征在于，在对待检测图片进行位置区域标注之前，还包括：
对原图片进行裁剪，仅保留有效图片部分，得到待检测图片；所述有效图片部分包括焊缝成像部分。
3.根据权利要求1所述的非金属材料焊接缺陷智能检测方法，其特征在于，在所述计算每个类别中每个连通域的基本数字特征之前，还包括：
将所述待检测图片中的像素点距离转换成世界坐标系中的实际距离。
4.根据权利要求1所述的非金属材料焊接缺陷智能检测方法，其特征在于，所述计算每个类别中每个连通域的基本数字特征，具体包括：
以所述待检测图片的左上角为坐标原点，水平方向为x轴，竖直方向为y轴建立平面直角坐标系；
计算特征线位置中各个连通域质心的x轴坐标，计算公式为：
Figure FDA0003073706320000011
式中，flxcen(k)表示第k个特征线位置连通域质心的x轴坐标，
Figure FDA0003073706320000012
表示第k个特征线位置连通域中像素点的总和，
Figure FDA0003073706320000013
表示第k个特征线位置连通域中所有像素点的x轴坐标之和；
计算特征线位置中各个连通域质心的y轴坐标，计算公式为：
Figure FDA0003073706320000021
式中，flycen(k)表示第k个特征线位置连通域质心的y轴坐标，
Figure FDA0003073706320000022
表示第k个特征线位置连通域中像素点的总和，
Figure FDA0003073706320000023
表示第k个特征线位置连通域中所有像素点的y轴坐标之和；
计算电阻丝位置中各个连通域质心的x轴坐标，计算公式为：
Figure FDA0003073706320000024
式中，
Figure FDA0003073706320000025
表示第n个电阻丝位置连通域中像素点的总和,
Figure FDA0003073706320000026
表示第n个电阻丝位置连通域中所有像素点的x轴坐标之和；
计算电阻丝位置中各个连通域质心的y轴坐标，计算公式为：
Figure FDA0003073706320000027
式中，
Figure FDA0003073706320000028
表示第n个电阻丝位置连通域中像素点的总和,
Figure FDA0003073706320000029
表示第n个电阻丝位置连通域中所有像素点的y轴坐标之和。
5.根据权利要求4所述的非金属材料焊接缺陷智能检测方法，其特征在于，所述结合所述基本数字特征判断所述待检测图片是否存在缺陷并确定缺陷类别，具体包括：
(1)判断所述待检测图片是否存在熔合面夹物夹杂缺陷：
若存在一个自然数n，满足rwx max(n-1)＞rwx min(n)，其中，rwx min(n)表示第n个电阻丝位置的连通域中的点的x轴坐标最小值，rwx max(n-1)表示第n-1个电阻丝位置的连通域中的点的x轴坐标最大值，则判定所述待检测图片存在Ⅲ级熔合面夹物夹杂缺陷，否则判定所述待检测图片不存在熔合面夹物夹杂缺陷；和/或
(2)判断所述待检测图片是否存在孔洞缺陷：
利用字母M表示底部回波位置的连通域个数，若M＝1，则判定所述待检测图片不存在孔洞缺陷；若M＝2或者M>2，且对于
Figure FDA00030737063200000210
有[box min(m)-box max(m-1)]≥[box max(m)-box min(m)]，则判定所述待检测图片存在单个孔洞缺陷；若M>2，且
Figure FDA00030737063200000211
有[box min(m)-box max(m-1)]＜[box max(m)-box min(m)]，则判定所述待检测图片存在组合孔洞缺陷，其中m表示第m个底部回波位置的连通域，box min(m)表示第m个底部回波位置的连通域中的点的x轴坐标最小值，box max(m-1)表示第m-1个底部回波位置的连通域中的点的x轴坐标最大值，box max(m)表示第m个底部回波位置的连通域中的点的x轴坐标最大值；和/或
(3)判定所述待检测图片是否存在电阻丝错位缺陷：
计算所有电阻丝位置的连通域质心在x轴方向的平均间距
Figure FDA0003073706320000031
计算公式为
Figure FDA0003073706320000032
其中，N表示电阻丝位置的连通域总个数；
将所述平均间距作为每个电阻丝位置的连通域质心在x轴方向的正常间距；
计算所有电阻丝位置的连通域质心的y轴坐标值的中位数rwy，计算公式为rwy＝mid(sort(rwycen(1),…,rwycen(n),…,rwycen(N)))；
将所述所有电阻丝位置的连通域质心的y轴坐标值的中位数作为正常情况下每个电阻丝位置的连通域质心的y轴坐标；
以第一个电阻丝位置的连通域作为基准，计算其他连通域的偏离距离dev(n)，计算公式为：
Figure FDA0003073706320000033
找出最大的偏离距离devmax；
根据所述最大的偏离距离devmax判断所述待检测图片是否存在电阻丝错位缺陷；和/或
(4)判定所述待检测图片是否存在冷/过焊缺陷：
计算特征线位置的连通域的质心在y轴方向的平均坐标值
Figure FDA0003073706320000034
计算公式为：
Figure FDA0003073706320000035
其中，K表示特征线位置连通域的总个数，k表示特征线位置的第k个连通域；
计算电阻丝位置的连通域的质心在y轴方向的平均坐标值
Figure FDA0003073706320000036
计算公式为：
Figure FDA0003073706320000037
计算特征线位置的连通域与电阻丝位置的连通域在y轴方向上的距离关系l实；计算公式为：
Figure FDA0003073706320000041
根据所述距离关系l实计算冷焊与过焊的缺陷表征程度H冷/过；计算公式为：
Figure FDA0003073706320000042
其中l正表示正常电熔焊接时特征线与电阻丝之间的距离，由相关技术人员给出；
根据所述冷焊与过焊的缺陷表征程度H冷/过判断所述待检测图片是否存在冷/过焊缺陷缺陷；和/或
(5)判定所述待检测图片是否存在承接不到位缺陷：
计算电阻丝位置的总体长度l总阻，计算公式为：l总阻＝rwx max(N)-rwx min(1)；
计算底部回波位置的的总体长度l总底，计算公式为l总底＝box max(M)-box min(1)；
人为设定阈值ε，当l总底＜εl总阻时，判定所述待检测图片存在承接不到位缺陷，否则判定所述待检测图片不存在承接不到位缺陷。
6.根据权利要求5所述的非金属材料焊接缺陷智能检测方法，其特征在于，所述判断所述待检测图片是否存在孔洞缺陷中，还包括：
(2a)当判定所述待检测图片存在单个孔洞缺陷时，计算单个孔洞的表征程度H单孔，
Figure FDA0003073706320000043
其中box(m)表示第m个底部回波位置的连通域中的点的x轴坐标，L表示熔合区长度，根据不同尺寸的管材确定；
根据所述单个孔洞的表征程度H单孔的取值判定单孔孔洞缺陷等级，若0＜H单孔＜5，则判定所述待检测图片存在Ⅰ级单孔孔洞缺陷，若5≤H单孔＜10，则判定所述待检测图片存在Ⅱ级单孔孔洞缺陷，若H单孔≥10，则判定所述待检测图片存在Ⅲ级单孔孔洞缺陷；或
(2b)当判定所述待检测图片存在组合孔洞缺陷时，计算组合孔洞的表征程度H组孔，
Figure FDA0003073706320000044
其中box min(m)表示第m个底部回波位置的连通域中的点的x轴坐标最小值，box max(m-1)表示第m-1个底部回波位置的连通域中的点的x轴坐标最大值，L表示熔合区长度，根据不同尺寸的管材确定；
根据所述组合孔洞的表征程度H组孔的取值判定单孔孔洞缺陷等级，若0＜H组孔＜10，则判定所述待检测图片存在Ⅰ级组孔孔洞缺陷，若10≤H组孔＜15，则判定所述待检测图片存在Ⅱ级组孔孔洞缺陷，若H组孔≥15，则判定所述待检测图片存在Ⅲ级组孔孔洞缺陷。
7.根据权利要求5所述的非金属材料焊接缺陷智能检测方法，其特征在于，所述根据所述最大的偏离距离devmax判断所述待检测图片是否存在电阻丝错位缺陷，具体包括：
若devmax＝0，则判定所述待检测图片不存在电阻丝错位缺陷，若
Figure FDA0003073706320000051
则判定所述待检测图片存在Ⅰ级电阻丝错位缺陷，若
Figure FDA0003073706320000052
则判定所述待检测图片存在Ⅱ级电阻丝错位缺陷，若
Figure FDA0003073706320000053
则判定所述待检测图片存在Ⅲ级电阻丝错位缺陷。
8.根据权利要求5所述的非金属材料焊接缺陷智能检测方法，其特征在于，所述根据所述冷焊与过焊的缺陷表征程度H冷/过判断所述待检测图片是否存在冷/过焊缺陷缺陷，具体包括：
若H冷/过≤-40，则判定所述待检测图片存在Ⅲ级过焊缺陷；若-40＜H冷/过≤-20，则判定所述待检测图片存在Ⅱ级过焊缺陷；若-20＜H冷/过＜0，则判定所述待检测图片存在Ⅰ级过焊缺陷；若H冷/过＝0，则判定所述待检测图片不存在冷/过焊缺陷；若0＜H冷/过＜10，则判定所述待检测图片存在Ⅰ级冷焊缺陷；若10≤H冷/过＜30，则判定所述待检测图片存在Ⅱ级冷焊缺陷；若H冷/过≥30，则判定所述待检测图片存在Ⅲ级冷焊缺陷。
9.根据权利要求1所述的非金属材料焊接缺陷智能检测方法，其特征在于，所述结合所述基本数字特征判断所述待检测图片是否存在缺陷并确定缺陷类别之后，还包括：
计算判断是否存在缺陷的准确率accuracy，计算公式为：
Figure FDA0003073706320000054
其中TP表示被正确预测的正常图片数目；FN表示被错误预测的正常图片数目；TN表示被正确预测的缺陷图片数目；FP表示被错误预测的缺陷图片数目；
计算判断是否存在缺陷的误识别率negative rate，计算公式为：
Figure FDA0003073706320000061
计算缺陷间分类准确率defect accuracy，计算公式为：
Figure FDA0003073706320000062
其中，x表示当前所测试的某类缺陷，TP(j)表示被正确预测的j类缺陷图片数目；FN(j)表示被错误预测的j类缺陷图片数目；TN(j)表示被正确预测的非j类缺陷图片数目；FP(j)表示被错误预测的非j类缺陷图片数目；
计算特定缺陷等级分类准确率level accuracy，计算公式为
Figure FDA0003073706320000063
y表示x缺陷的某个等级，TP(a,b)表示在预测为x类缺陷中y类等级被正确预测图片数目；FN(a,b)表示在预测为x类缺陷中y类等级被错误预测图片数目；TN(a,b)表示在预测为x类缺陷中非y类等级被正确预测图片数目；FP(a,b)表示在预测为x类缺陷中非y类等级被错误预测图片数目。
10.一种非金属材料焊接缺陷智能检测系统，其特征在于，所述系统包括
位置标注单元，用于对待检测图片进行位置区域标注，标注的区域包括特征线区域、电阻丝区域和底部回波区域；
语义分割单元，用于根据所述标注的区域将所述待检测图片进行语义分割，识别所述待检测图片中的每个像素是否属于所述特征线区域、所述电阻丝区域和所述底部回波区域；
像素类别确定单元，用于连通域标注单元，用于将所述待检测图片中属于同一个区域的所有像素标记为同一个类别，得到特征线类别、电阻丝类别和底部回波类别；
连通域识别单元，用于利用连通域分析法识别每个类别中的各个连通域；
基本数字特征计算单元，用于计算每个类别中每个连通域的基本数字特征；所述基本数字特征包括：各个连通域的坐标；
缺陷判定单元，用于结合所述基本数字特征判断所述待检测图片是否存在缺陷并确定缺陷类别。
CN202110546509.6A 2021-05-19 2021-05-19 一种非金属材料焊接缺陷智能检测方法及系统 Active CN113222947B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110546509.6A CN113222947B (zh) 2021-05-19 2021-05-19 一种非金属材料焊接缺陷智能检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110546509.6A CN113222947B (zh) 2021-05-19 2021-05-19 一种非金属材料焊接缺陷智能检测方法及系统

Publications (2)

Publication Number Publication Date
CN113222947A true CN113222947A (zh) 2021-08-06
CN113222947B CN113222947B (zh) 2022-08-19

Family

ID=77093128

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110546509.6A Active CN113222947B (zh) 2021-05-19 2021-05-19 一种非金属材料焊接缺陷智能检测方法及系统

Country Status (1)

Country Link
CN (1) CN113222947B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117494393A (zh) * 2023-10-16 2024-02-02 南京市锅炉压力容器检验研究院 一种超声波在聚乙烯管道热熔接头内传播的数值模拟方法
CN117494393B (zh) * 2023-10-16 2024-05-17 南京市锅炉压力容器检验研究院 一种超声波在聚乙烯管道热熔接头内传播的数值模拟方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105259252A (zh) * 2015-10-15 2016-01-20 浙江大学 超声相控阵检测聚乙烯电熔接头缺陷类型自动识别方法
CN109239206A (zh) * 2018-06-20 2019-01-18 诸暨市逍遥管道科技有限公司 缺陷自动识别辅助电熔接头智能相控阵的超声检测方法
CN110047073A (zh) * 2019-05-05 2019-07-23 北京大学 一种x射线焊缝图像缺陷定级方法及系统
CN112150410A (zh) * 2020-08-24 2020-12-29 浙江工商大学 一种焊缝缺陷的自动检测方法及其系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105259252A (zh) * 2015-10-15 2016-01-20 浙江大学 超声相控阵检测聚乙烯电熔接头缺陷类型自动识别方法
CN109239206A (zh) * 2018-06-20 2019-01-18 诸暨市逍遥管道科技有限公司 缺陷自动识别辅助电熔接头智能相控阵的超声检测方法
CN110047073A (zh) * 2019-05-05 2019-07-23 北京大学 一种x射线焊缝图像缺陷定级方法及系统
CN112150410A (zh) * 2020-08-24 2020-12-29 浙江工商大学 一种焊缝缺陷的自动检测方法及其系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CHANGESHENG LI 等: "A noval algorithm for defect extraction and classification of mobile phone screen based on machine vision", 《COMPUTER & INDUSTRIAL ENGINEERING》 *
何滨昂 等: "船体焊缝缺陷检测的图像处理算法", 《机电设备》 *
王家晨 等: "基于背景重构X射线钢管焊缝缺陷检测方法", 《计算机系统应用》 *
郭伟灿等: "聚乙烯电熔接头超声相控阵检测缺陷自动识别方法", 《无损检测》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117494393A (zh) * 2023-10-16 2024-02-02 南京市锅炉压力容器检验研究院 一种超声波在聚乙烯管道热熔接头内传播的数值模拟方法
CN117494393B (zh) * 2023-10-16 2024-05-17 南京市锅炉压力容器检验研究院 一种超声波在聚乙烯管道热熔接头内传播的数值模拟方法

Also Published As

Publication number Publication date
CN113222947B (zh) 2022-08-19

Similar Documents

Publication Publication Date Title
CN108074231B (zh) 一种基于卷积神经网络的磁片表面缺陷检测方法
CN110222701B (zh) 一种桥梁病害自动识别方法
CN111339882B (zh) 基于实例分割的输电线路隐患检测方法
CN108960135B (zh) 基于高分辨遥感图像的密集舰船目标精确检测方法
CN109858367B (zh) 工人通过支撑不安全行为的视觉自动化检测方法及系统
CN111368690B (zh) 基于深度学习的海浪影响下视频图像船只检测方法及系统
CN109767422A (zh) 基于深度学习的管道检测识别方法、存储介质及机器人
CN110992349A (zh) 一种基于深度学习的地下管道异常自动化定位与识别方法
CN110555831B (zh) 一种基于深度学习的排水管道缺陷分割方法
CN109598681B (zh) 一种对称唐卡修复后图像的无参考质量评价方法
CN112686833A (zh) 一种基于卷积神经网络的工业产品表面缺陷检测和分类装置
CN113642474A (zh) 一种基于yolov5的危险区域人员监控方法
CN111160432A (zh) 一种面板生产制造缺陷的自动分类方法及系统
CN117078661B (zh) 一种高空作业车结构件生产质量智能检测方法
CN113255590A (zh) 一种缺陷检测模型训练方法、缺陷检测方法、装置及系统
CN114743102A (zh) 一种面向家具板材的瑕疵检测方法、系统及装置
CN112101138A (zh) 基于深度学习的桥梁拉索表面缺陷实时识别系统及方法
CN115184380A (zh) 基于机器视觉的印刷电路板焊点异常检测方法
CN113962951B (zh) 检测分割模型的训练方法及装置、目标检测方法及装置
CN111507398A (zh) 基于目标检测的变电站金属仪器锈蚀识别方法
CN114663687A (zh) 模型训练方法、目标识别方法、装置、设备及存储介质
CN113962929A (zh) 光伏电池组件缺陷检测方法、系统及光伏电池组件生产线
CN113222947B (zh) 一种非金属材料焊接缺陷智能检测方法及系统
CN111310899B (zh) 基于共生关系和小样本学习的电力缺陷识别方法
CN111738991A (zh) 一种焊缝缺陷的数字射线检测模型的创建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant