CN111292303A - 焊缝缺陷类别检测方法、装置、电子设备及存储介质 - Google Patents

焊缝缺陷类别检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111292303A
CN111292303A CN202010073344.0A CN202010073344A CN111292303A CN 111292303 A CN111292303 A CN 111292303A CN 202010073344 A CN202010073344 A CN 202010073344A CN 111292303 A CN111292303 A CN 111292303A
Authority
CN
China
Prior art keywords
weld
image
defect
characteristic
laser stripe
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010073344.0A
Other languages
English (en)
Other versions
CN111292303B (zh
Inventor
刘海生
彭明君
王中任
胡曦
赵荣丽
张俊
刘亚丽
吴艳花
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei University of Arts and Science
Original Assignee
Hubei University of Arts and Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei University of Arts and Science filed Critical Hubei University of Arts and Science
Priority to CN202010073344.0A priority Critical patent/CN111292303B/zh
Publication of CN111292303A publication Critical patent/CN111292303A/zh
Application granted granted Critical
Publication of CN111292303B publication Critical patent/CN111292303B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30152—Solder

Abstract

本发明公开了一种焊缝缺陷类别检测方法、装置、电子设备及存储介质。该方法包括通过焊缝图像采集系统获取待测焊缝图像；根据图像处理技术获取待测焊缝图像中的焊缝表面特征区域图像及激光条纹特征区域图像；分别对焊缝表面特征区域图像及激光条纹特征区域图像进行特征提取，以获得直接视觉传感焊缝特征参数及焊缝激光条纹特征参数；将直接视觉传感焊缝特征参数及焊缝激光条纹特征参数输入至预先构建的缺陷分类模型进行缺陷分类，以获得缺陷分类结果；根据缺陷分类结果确定待测焊缝图像对应的焊缝缺陷类别。通过结合直接视觉传感和激光视觉传感进行特征参数提取，提高焊缝缺陷类别检测精度，解决现有单一视觉传感的方法存在分类精度较低问题。

Description

焊缝缺陷类别检测方法、装置、电子设备及存储介质
技术领域
本发明涉及焊缝检测技术领域，尤其涉及一种焊缝缺陷类别检测方法、装置、电子设备及存储介质。
背景技术
在自动化焊接生产中，焊缝缺陷自动检测分类是智能焊接中的重要组成部分，焊缝质量检测是保证焊接质量的重要手段，随着数字图像处理技术的迅猛发展，基于机器视觉的焊缝缺陷类别检测应用日益广泛。
缺陷图像的特征提取是实现缺陷自动分类的基础，特征提取的速度和精确性将直接影响到缺陷提取的实时性与后续分类的准确性。目前基于机器视觉的焊缝缺陷特征提取主要有直接视觉传感和激光视觉传感两种，基于直接视觉传感技术的焊缝缺陷特征提取方法是通过工业相机直接采集焊缝表面图像，然后经过图像处理，根据焊缝表面的缺陷几何形状特点和灰度分布特性获取焊缝表面质量信息，该方法适用于焊缝缺陷面积较大的缺陷类型，同时由于焊接管道全位置光照强度不一，而直接视觉传感方法受光照影响较大，导致焊缝缺陷分类精度较低，并且相机轴线垂直于管道，采集到的图像只具有二维特征，而对于二维特征不清晰具有三维特征的缺陷类型则不容易被检测出存在缺陷。
基于线激光视觉传感的焊缝缺陷特征提取方法针对不同类型的焊缝表面缺陷，可以通过计算提取线激光轮廓特征来判定缺陷类型，但由于焊缝表面成形复杂，随机性较大，通过单一线激光特征进行缺陷识别并不可靠。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种焊缝缺陷类别检测方法、装置、电子设备及存储介质，旨在解决现有技术在焊缝缺陷自动检测分类时运用单一视觉传感的方法存在分类精度较低、不可靠的技术问题。
为实现上述目的，本发明提供了一种焊缝缺陷类别检测方法，所述方法包括以下步骤:
通过焊缝图像采集系统获取待测焊缝图像；
根据图像处理技术获取所述待测焊缝图像中的焊缝表面特征区域图像及激光条纹特征区域图像；
分别对所述焊缝表面特征区域图像及所述激光条纹特征区域图像进行特征提取，以获得直接视觉传感焊缝特征参数及焊缝激光条纹特征参数；
将所述直接视觉传感焊缝特征参数及所述焊缝激光条纹特征参数输入至预先构建的缺陷分类模型进行缺陷分类，以获得缺陷分类结果；
根据所述缺陷分类结果确定所述待测焊缝图像对应的焊缝缺陷类别。
优选地，所述焊缝图像采集系统包括光学镜头系统及线激光器；
所述通过焊缝图像采集系统获取待测焊缝图像的步骤，具体包括：
通过所述光学镜头系统采集焊缝表面图像；
根据所述焊缝表面图像确定待检测焊缝对应的焊道；
通过所述线激光器发射一条垂直于所述焊道的激光线，以使所述光学镜头系统采集所述待检测焊缝对应的激光条纹图像；
将所述焊缝表面图像和所述激光条纹图像作为待测焊缝图像。
优选地，所述根据图像处理技术获取所述待测焊缝图像中的焊缝表面特征区域图像及激光条纹特征区域图像的步骤，具体包括：
对所述待测焊缝图像进行去噪处理，以获得预处理焊缝图像；
对所述预处理焊缝图像进行二维特征提取，以获得焊缝表面特征区域图像，其中，所述二维特征包括：几何形状特征及灰度分布特征；
对所述预处理焊缝图像进行三维特征提取，以获得激光条纹特征区域图像，其中，所述三维特征包括：焊缝成形轮廓特征。
优选地，所述分别对所述焊缝表面特征区域图像及所述激光条纹特征区域图像进行特征提取，以获得直接视觉传感焊缝特征参数及焊缝激光条纹特征参数的步骤，具体包括：
基于所述焊缝表面特征区域图像及所述激光条纹特征区域图像，通过焊缝图像特征参数计算规则分别计算第一特征参数及第二特征参数；
将所述第一特征参数作为所述直接视觉传感焊缝特征参数，将所述第二特征参数作为焊缝激光条纹特征参数。
优选地，所述将所述直接视觉传感焊缝特征参数及所述焊缝激光条纹特征参数输入至预先构建的缺陷分类模型进行缺陷分类，以获得缺陷分类结果的步骤，具体包括：
将所述直接视觉传感焊缝特征参数及所述焊缝激光条纹特征参数输入至预先构建的二叉树支持向量机多类分类模型BT-SVM中进行缺陷分类，以获得缺陷分类结果。
优选地，所述将所述直接视觉传感焊缝特征参数及所述焊缝激光条纹特征参数输入至预先构建的二叉树支持向量机多类分类模型BT-SVM中进行缺陷分类，以获得缺陷分类结果的步骤之前，还包括：
根据焊缝图像数据库构建模型训练样本；
对所述模型训练样本进行分类，获得各预设焊缝缺陷类别对应的焊缝图像样本，其中，所述预设焊缝缺陷类别包括正常焊缝、焊瘤、焊穿、气孔、成型不良和咬边；
将所述焊缝图像样本输入至初始二叉树支持向量机多类分类模型进行模型训练，以获得目标二叉树支持向量机多类分类模型；
将所述目标二叉树支持向量机多类分类模型作为预先构建的二叉树支持向量机多类分类模型BT-SVM。
优选地，所述预先构建的二叉树支持向量机多类分类模型BT-SVM包括不同级别的二叉树型分类器；
所述将所述直接视觉传感焊缝特征参数及所述焊缝激光条纹特征参数输入至预先构建的二叉树支持向量机多类分类模型BT-SVM中进行缺陷分类，以获得缺陷分类结果的步骤，具体包括：
将所述直接视觉传感焊缝特征参数及所述焊缝激光条纹特征参数输入所述不同级别的二叉树型分类器；
基于所述预设焊缝缺陷类别及所述不同级别的二叉树型多级分类器进行缺陷分类判别，以获得缺陷分类判别结果；
将所述缺陷分类判别结果作为缺陷分类结果。
此外，为实现上述目的，本发明还提出一种焊缝缺陷类别检测装置，所述装置包括：
图像采集模块，用于通过焊缝图像采集系统获取待测焊缝图像；
图像处理模块，用于根据图像处理技术获取所述待测焊缝图像中的焊缝表面特征区域图像及激光条纹特征区域图像；
特征提取模块，用于分别对所述焊缝表面特征区域图像及所述激光条纹特征区域图像进行特征提取，以获得直接视觉传感焊缝特征参数及焊缝激光条纹特征参数；
缺陷分类模块，用于将所述直接视觉传感焊缝特征参数及所述焊缝激光条纹特征参数输入至预先构建的缺陷分类模型进行缺陷分类，以获得缺陷分类结果；
类别确定模块，用于根据所述缺陷分类结果确定所述待测焊缝图像对应的焊缝缺陷类别。
此外，为实现上述目的，本发明还提出一种电子设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的焊缝缺陷类别检测程序，所述焊缝缺陷类别检测程序配置为实现如上文所述的焊缝缺陷类别检测方法的步骤。
此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有焊缝缺陷类别检测程序，所述焊缝缺陷类别检测程序被处理器执行时实现如上文所述的焊缝缺陷类别检测方法的步骤。
本发明通过焊缝图像采集系统获取待测焊缝图像；根据图像处理技术获取所述待测焊缝图像中的焊缝表面特征区域图像及激光条纹特征区域图像；分别对所述焊缝表面特征区域图像及所述激光条纹特征区域图像进行特征提取，以获得直接视觉传感焊缝特征参数及焊缝激光条纹特征参数；将所述直接视觉传感焊缝特征参数及所述焊缝激光条纹特征参数输入至预先构建的缺陷分类模型进行缺陷分类，以获得缺陷分类结果；根据所述缺陷分类结果确定所述待测焊缝图像对应的焊缝缺陷类别。通过上述方式，结合直接视觉传感和激光视觉传感进行直接视觉传感焊缝特征参数及焊缝激光条纹特征参数提取，将特征参数作为预先构建的缺陷分类模型的特征输入参数，对焊缝表面缺陷进行分类识别，提高了焊缝缺陷类别检测精度，解决了现有技术在焊缝缺陷自动检测分类时运用单一视觉传感的方法存在分类精度较低、不可靠的技术问题。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的电子设备的结构示意图；
图2为本发明焊缝缺陷类别检测方法第一实施例的流程示意图；
图3为本发明实施例焊缝图像采集系统的设备原理图；
图4为本发明实施例二叉树支持向量机结构示意图；
图5为本发明焊缝缺陷类别检测方法第二实施例的流程示意图；
图6为本发明焊缝缺陷类别检测方法第三实施例的流程示意图；
图7为本发明焊缝缺陷类别检测方法第四实施例的流程示意图；
图8为本发明焊缝缺陷类别检测装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的电子设备结构示意图。
如图1所示，该电子设备可以包括：处理器1001，例如中央处理器(CentralProcessing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(WIreless-FIdelity，WI-FI)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory，RAM)存储器，也可以是稳定的非易失性存储器(Non-Volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及焊缝缺陷类别检测程序。
在图1所示的电子设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明电子设备中的处理器1001、存储器1005可以设置在电子设备中，所述电子设备通过处理器1001调用存储器1005中存储的焊缝缺陷类别检测程序，并执行本发明实施例提供的焊缝缺陷类别检测方法。
本发明实施例提供了一种焊缝缺陷类别检测方法，参照图2，图2为本发明焊缝缺陷类别检测方法第一实施例的流程示意图。
本实施例中，所述焊缝缺陷类别检测方法包括以下步骤：
步骤S10：通过焊缝图像采集系统获取待测焊缝图像。
需要说明的是，在焊缝表面缺陷类别检测中，如何在焊接车间的复杂环境下获取清晰图像样本，是硬件设计的关键。所述焊缝图像采集系统可以包括光学镜头系统及线激光器；通过所述光学镜头系统采集焊缝表面图像；根据所述焊缝表面图像确定待检测焊缝对应的焊道；通过所述线激光器发射一条垂直于所述焊道的激光线，以使所述光学镜头系统采集所述待检测焊缝对应的激光条纹图像；将所述焊缝表面图像和所述激光条纹图像作为待测焊缝图像。
具体地，参照图3，图3为本发明实施例焊缝图像采集系统的设备原理图，如图3所示，所述焊缝图像采集系统中可以包括相机、线激光器、相机支架、图像采集卡(未示出)等构成，安装在全自动焊接机器人上组成一套光、电、机一体的焊缝图像采集系统的设备，全自动焊接机器人可以包括管道爬行小车，管道爬行小车与运动控制柜连接，运动控制柜与工控机连接，相机与工控机连接，工控机控制相机及管道爬行小车，用户可以根据实际需求控制焊缝图像采集系统的设备，也可以根据实际情况对焊缝图像采集系统的设备中一些器件进行适当替换，本实施例对此不加以限制。
步骤S20：根据图像处理技术获取所述待测焊缝图像中的焊缝表面特征区域图像及激光条纹特征区域图像。
易于理解的是，对所述待测焊缝图像进行去噪处理，以获得预处理焊缝图像；对所述预处理焊缝图像进行二维特征提取，以获得焊缝表面特征区域图像，其中，所述二维特征包括：几何形状特征及灰度分布特征；对所述预处理焊缝图像进行三维特征提取，以获得激光条纹特征区域图像，其中，所述三维特征包括：焊缝成形轮廓特征。
需要说明的是，在复杂焊接环境中所获取的焊缝图像中存在较多噪声，对焊缝缺陷类别检测与焊缝缺陷分类造成干扰，需要对目标图像进行预处理以突出焊缝表面特征，减少图像中的噪声。具体地，对所述待测焊缝图像进行去噪处理，以获得预处理焊缝图像。
进一步地，在图像处理技术领域，感兴趣区域(Region Of Interest，ROI)是从图像中选择的一个图像区域，这个区域是图像分析所关注的重点。圈定该区域以便进行进一步处理。使用ROI圈定目标，可以减少处理时间增加精度。通过对所述待测焊缝图像进行去噪处理得到焊缝缺陷ROI特征区域，去噪处理中的中值滤波模板可以选用3×3滤波模板，通过图像开运算与闭运算对所述待测焊缝图像进行处理，使目标特征更加明显，提高缺陷类别的识别率，对所述预处理焊缝图像进行二维特征提取获得焊缝表面特征区域图像，对所述预处理焊缝图像进行三维特征提取获得激光条纹特征区域图像。
步骤S30：分别对所述焊缝表面特征区域图像及所述激光条纹特征区域图像进行特征提取，以获得直接视觉传感焊缝特征参数及焊缝激光条纹特征参数。
需要说明的是，基于所述焊缝表面特征区域图像及所述激光条纹特征区域图像，通过焊缝图像特征参数计算规则分别计算第一特征参数及第二特征参数；将所述第一特征参数作为所述直接视觉传感焊缝特征参数，将所述第二特征参数作为焊缝激光条纹特征参数。
具体地，由于焊接环境复杂，产生的焊缝缺陷类型随机多变，仅凭单一特征值难以区分特征类别。针对所述焊缝表面特征区域图像，提出8类焊缝图像特征参数计算规则，包括缺陷的面积、缺陷区域周长、圆形度、矩形度、缺陷区域的长短径比、缺陷区域的欧拉数、填充度及区域紧度的形状因子，通过焊缝图像特征参数计算规则计算第一特征参数，将所述第一特征参数作为所述直接视觉传感焊缝特征参数，可以得到所述直接视觉传感焊缝特征参数包括缺陷面积P1、缺陷区域周长P2、圆形度P3、矩形度P4、缺陷区域的长短径比P5、缺陷区域的欧拉数P6、填充度P7及区域紧度的形状因子P8，其中，对于采用面积、形状等特征难以区分的缺陷类别，可以采用ROI波形分析方法来提取易于区分的特征，获得特征参数：列向面积波形图极差值P9及横向面积波形图极差值P10。所述直接视觉传感焊缝特征参数包括缺陷面积P1、缺陷区域周长P2、圆形度P3、矩形度P4、缺陷区域的长短径比P5、缺陷区域的欧拉数P6、填充度P7、区域紧度的形状因子P8、列向面积波形图极差值P9及横向面积波形图极差值P10。
此外，针对所述激光条纹特征区域图像，提出4类焊缝图像特征参数计算规则，通过焊缝图像特征参数计算规则计算第二特征参数，将所述第二特征参数作为焊缝激光条纹特征参数，所述焊缝激光条纹特征参数包括最大偏移点P11、曲线斜率P12、连通域数量P13及峰度系数P14。
所述直接视觉传感焊缝特征参数P1-P10及所述焊缝激光条纹特征参数P11-P14的计算方式如下：
缺陷面积P1：标记为同一缺陷所形成的连通域区域大小，缺陷面积与缺陷的灰度值完全无关，只与缺陷像素点的个数相关，计算公式如下：
Figure BDA0002376898050000081
其中，(x，y)代表的是图像中像素点的横坐标和纵坐标，而Rd则代表的是缺陷区域内所有像素点形成的集合，S为缺陷面积。
缺陷区域周长P2：缺陷区域轮廓线上的像素间的距离之和，是一个整体特征参数，可以用来区分简单或者复杂形状的缺陷。周长计算方法是将缺陷区域边界上的像素点的总数作为周长，计算公式如下：
Figure BDA0002376898050000082
其中，Rb代表的是缺陷区域的边界点所组成的集合，L为缺陷区域周长。
圆形度P3：是在面积与周长的基础上，计算缺陷边界复杂程度的特征量，判断目标形状和圆的接近程度，计算公式如下：
Figure BDA0002376898050000091
其中，L为缺陷区域周长，S为缺陷面积，ε为圆形度。
矩形度P4：指的是缺陷的面积与缺陷对应的最小外接矩形面积的比值，计算公式如下：
R＝S/SMER
其中，S为缺陷面积，SMER为缺陷最小外接矩形面积。
缺陷区域的长短径比P5：缺陷区域长轴和短轴的比值，是一种常用的形状特征，它可实现对缺陷形状的长短的一种计量，可以从一定程度上描述缺陷的形状，计算公式如下：
Lb＝LA/SA
Figure BDA0002376898050000092
其中，LA为长径，短径SA的方向则与长径LA的方向垂直，Lb为缺陷区域的长短径比，(x1，y1)及(x2，y2)代表的是选取的图像中两个像素点的横坐标和纵坐标。
缺陷区域的欧拉数P6：欧拉数是一种拓扑特性，它表示为图像中连通分量的个数减去孔洞的个数，欧拉数可以用来识别单孔特征和多孔特征，对于气孔和焊穿识别效果较好，计算公式如下：
E(A)＝M-H
其中，在式A代表的是缺陷区域，而M代表的则是缺陷区域中连通分量的个数，H代表的是缺陷区域的孔洞数，欧拉数E(A)可以用来识别单气孔缺陷与群气孔缺陷。
填充度P7：表示缺陷面积P1与焊缝总面积之比，可有效区分正常焊缝和缺陷焊缝，计算公式如下：
c＝S/Sa
其中，c为填充度，S为缺陷面积，Sa为焊缝图像像素面积。
区域紧度的形状因子P8：若L为轮廓长度，为F区域面积，则形状因子C定义为：
C＝max(1,C1)
Figure BDA0002376898050000093
其中，圆的形状因子是1，如果缺陷区域轮廓复杂或者有洞，C大于1。
可以采用波形分析方法来提取列向面积波形图极差值P9及横向面积波形图极差值P10，波形分析法主要步骤是：ROI区域列向面积求和、波形图绘制及曲线平滑、一阶差分求取极差特征，其中波形极差特征参数提取包括在离散函数中，一阶差分可以反应波形上升下降幅度的差别，离散函数的一阶差分定义如下：
Y(k)＝X(k+1)-X(k)
改进的一阶差分方法：
dj＝Sj+w-Sj,j∈[1,n-w]
w为进行差分的两个元素之间的横坐标像素距离，w的取值太小不能很好体现出焊缝缺陷的特征，取值太大又可能会超过了大部分缺陷区域的长度，经过多次对比实验，w取为30，由此得到焊缝缺陷的一阶差分序列：
D＝[d1…dj…dn]
取差分序列的极差R作为输入特征来区分焊缝缺陷类型：
R＝max(dj)-min(di),di,dj∈D
通过上述方式可得缺陷区域图像列向累加波形图特征值Ra即获得列向面积波形图极差值P9，以此类推，可得缺陷区域图像横向累加波形图特征值Rl即获得P10为横向面积波形图极差值。
分析所述焊缝激光条纹特征参数，设定线激光条纹相较原点O最大偏移点为P(l,h)，原点O为焊缝中心点，由于咬边缺陷一般出现在焊缝两侧，所以咬边缺陷相较于气孔、焊瘤、焊穿三种缺陷值更大，且值明显小于其它三种缺陷。因而提取最大偏移点P可有效区分咬边缺陷。气孔、焊瘤、焊穿三种缺陷出现位置随机，而线激光条纹变化都较大，仅靠特征点P难以区分。气孔缺陷在激光条纹轮廓中一般表现为断点，设定N为激光条纹连通域数量，气孔N＞1，而其余缺陷类型焊缝激光条纹为一条连续的线，则N＝1。焊瘤激光条纹与焊穿激光条纹轮廓特征类似，可以把激光条纹看做函数曲线，分别求取其二阶导数，判断斜率k变化，反应条纹的形状变化，从而来对两者进行区分。峰度系数Kurt反映焊缝线激光条纹曲线的陡峭程度。峰度系数的表达式为：
Figure BDA0002376898050000101
Figure BDA0002376898050000111
其中，A(k)为线激光条纹各轮廓点的高度，
Figure BDA0002376898050000112
为线激光条纹所有轮廓点的高度均值；m4为线激光条纹各轮廓数据点的四阶中心矩；m2为线激光条纹各轮廓数据点的二阶中心矩；n为线激光条纹轮廓点数量。所述焊缝激光条纹特征参数中最大偏移点P11为P(l,h)，曲线斜率P12为线激光条纹斜率k、连通域数量P13为线激光条纹连通域数量m，峰度系数P14为峰度系数Kurt。
步骤S40：将所述直接视觉传感焊缝特征参数及所述焊缝激光条纹特征参数输入至预先构建的缺陷分类模型进行缺陷分类，以获得缺陷分类结果。
易于理解的是，所述直接视觉传感焊缝特征参数包括缺陷面积P1、缺陷区域周长P2、圆形度P3、矩形度P4、缺陷区域的长短径比P5、缺陷区域的欧拉数P6、填充度P7、区域紧度的形状因子P8、列向面积波形图极差值P9及横向面积波形图极差值P10；所述焊缝激光条纹特征参数包括最大偏移点P11、曲线斜率P12、连通域数量P13及峰度系数P14；将所述直接视觉传感焊缝特征参数及所述焊缝激光条纹特征参数输入至预先构建的二叉树支持向量机多类分类模型BT-SVM中进行缺陷分类，以获得缺陷分类结果。
需要说明的是，与实际生产情况结合，对焊缝缺陷类别进行了较为完全统计和归类，主要分为以下六种类型，分别为正常焊缝、焊瘤、焊穿、气孔、成型不良和咬边，分别用C1-C6代表，其中，正常焊缝是指焊缝成型优良，波纹均匀平整；焊瘤是指形态为球状，大小与飞溅类似，面积像素数较大；焊穿是指焊缝表面形成的穿孔缺陷，呈近似圆形，面积像素数较大；气孔是指近似圆形的孔洞，成群或孤立的分布在焊缝表面，形状大小不一，灰度与背景有明显的区别，面积像素较小；成型不良是指焊缝表面高低不平、焊缝宽窄不齐、尺寸过大或过小；咬边是指焊缝两侧出现局部凹点，没有达到规定的焊缝宽度和高度。
具体地，参照图4，图4为本发明实施例二叉树支持向量机结构示意图，如图4所示，可以构造不同级别的二叉树型分类器用于焊缝缺陷类别分类，焊缝缺陷类别分为6类用C1-C6代表则构造5个二叉树型分类器，分别为一级分类器SVM1vsC1-C6、二级分类器SVM2vsC1C4C6、三级分类器SVM3vsC2C3C5、四级分类器SVM4vsC1C6及五级分类器SVM5vsC2C3，如图4所示，根节点为一级分类器SVM1vsC1-C6，代表用于对C1类和C2、C3、C4、C5、C6类进行区分；第二层为二级分类器SVM2vsC1C4C6，代表用于对C1类和C4、C6类进行区分，第二层还包括三级分类器SVM3vsC2C3C5，代表用于对C2类和C3、C5类进行区分；第三层为叶子结点C4类和四级分类器SVM4vsC1C6代表用于对C1类和C6类进行区分；第三层还包括叶子结点C5类和五级分类器SVM5vsC2C3代表用于对C2类和C3类进行区分，最后第四层分为叶子节点C1类和C6类，叶子节点C2类和C3类。
步骤S50：根据所述缺陷分类结果确定所述待测焊缝图像对应的焊缝缺陷类别。
需要说明的是，所述焊缝缺陷类别检测方法实现的硬件环境：所述工业相机可以采用型号为acA1300-60gm-Basler，线激光器可以采用型号为LC650-16-3-F型，具有高亮度和光线细的特征，所述焊缝图像采集系统安装在管道爬行小车上，随管道爬行小车沿管道转动获取待测焊缝图像，同时进行焊缝缺陷类别检测，实现焊缝缺陷类别在线检测识别，所述工控机的软件环境可以为软件系统采用Intel(R)Core(TM)i5-4460，64位Windows7操作系统，开发软件采用VS2013，利用C++开发环境，所述第一特征参数及所述第二特征参数的计算和不同级别的二叉树型分类器的训练及测试都可以采用Open CV库函数来实现，也可以采用其他方式，本是实施例对此不加以限制。
本实施例通过焊缝图像采集系统获取待测焊缝图像；根据图像处理技术获取所述待测焊缝图像中的焊缝表面特征区域图像及激光条纹特征区域图像；分别对所述焊缝表面特征区域图像及所述激光条纹特征区域图像进行特征提取，以获得直接视觉传感焊缝特征参数及焊缝激光条纹特征参数；将所述直接视觉传感焊缝特征参数及所述焊缝激光条纹特征参数输入至预先构建的缺陷分类模型进行缺陷分类，以获得缺陷分类结果；根据所述缺陷分类结果确定所述待测焊缝图像对应的焊缝缺陷类别。通过上述方式，结合直接视觉传感和激光视觉传感进行直接视觉传感焊缝特征参数及焊缝激光条纹特征参数提取，将特征参数作为预先构建的缺陷分类模型的特征输入参数，对焊缝表面缺陷进行分类识别，提高了焊缝缺陷类别检测精度，解决了现有技术在焊缝缺陷自动检测分类时运用单一视觉传感的方法存在分类精度较低、不可靠的技术问题。
参考图5，图5为本发明一种焊缝缺陷类别检测方法第二实施例的流程示意图。
基于上述第一实施例，本实施例焊缝缺陷类别检测方法在所述步骤S40，具体包括：
步骤S41：将所述直接视觉传感焊缝特征参数及所述焊缝激光条纹特征参数输入至预先构建的二叉树支持向量机多类分类模型BT-SVM中进行缺陷分类，以获得缺陷分类结果。
需要说明的是，现有技术利用支持向量机识别X射线底片焊缝缺陷，或者将拉普拉斯特征映射算法与支持向量机(Support Vector Machine，SVM)算法相结合应用于焊管焊缝缺陷类别检测，支持向量机在解决小样本、非线性识别问题中具有较好的性能，其中，一对多支持向量机是应用最为广泛的一种多类分类算法，然而该算法存在不可分区域，以及样本不平衡问题，训练速度缓慢等缺点，此时，二叉树支持向量机BT-SVM作为一种多类分类算法，克服了一对多支持向量机存在不可分区域的缺点，提高了训练速度。
具体地，所述直接视觉传感焊缝特征参数包括缺陷面积P1、缺陷区域周长P2、圆形度P3、矩形度P4、缺陷区域的长短径比P5、缺陷区域的欧拉数P6、填充度P7、区域紧度的形状因子P8、列向面积波形图极差值P9及横向面积波形图极差值P10；所述焊缝激光条纹特征参数包括最大偏移点P11、曲线斜率P12、连通域数量P13及峰度系数P14。提取10个直接视觉传感焊缝特征参数，4个焊缝激光条纹特征参数，将14个特征参数作为二叉树支持向量机BT-SVM的特征输入参数，通过预先构建的二叉树支持向量机多类分类模型BT-SVM对焊缝表面缺陷进行缺陷分类，以获得缺陷分类结果。
本实施例通过将所述直接视觉传感焊缝特征参数及所述焊缝激光条纹特征参数输入至预先构建的二叉树支持向量机多类分类模型BT-SVM中进行缺陷分类，以获得缺陷分类结果。通过上述方式，二叉树支持向量机多类分类模型BT-SVM克服了一对多支持向量机存在不可分区域的缺点，提高训练速度，同时对焊缝表面缺陷进行缺陷分类，获得缺陷分类结果。
参考图6，图6为本发明一种焊缝缺陷类别检测方法第三实施例的流程示意图。
基于上述第一实施例及第二实施例，本实施例焊缝缺陷类别检测方法在所述步骤S41之前，还包括：
步骤S4101：根据焊缝图像数据库构建模型训练样本。
需要说明的是，所述焊缝图像数据库中管道焊缝缺陷图像数据可以来源于中国化学工程第六建设有限公司的焊接管道，其中，所述模型训练样本一共由270张单类标准管道焊缝缺陷图片构成。
步骤S4102：对所述模型训练样本进行分类，获得各预设焊缝缺陷类别对应的焊缝图像样本，其中，所述预设焊缝缺陷类别包括正常焊缝、焊瘤、焊穿、气孔、成型不良和咬边。
易于理解的是，对所述模型训练样本进行分类，预设焊缝缺陷类别分为6类包括正常焊缝、焊瘤、焊穿、气孔、成型不良和咬边，其中，正常焊缝60张，焊瘤缺陷50张，焊穿缺陷42张，气孔缺陷46张，成型不良缺陷35张，咬边缺陷37张。考虑到每个两类问题中正类样本数目可能与负类样本数目差距过大，从而导致训练样本不平衡问题，所以经过数据增强处理，使得每种样本达到60张，共计360张模型训练样本。
步骤S4103：将所述焊缝图像样本输入至初始二叉树支持向量机多类分类模型进行模型训练，以获得目标二叉树支持向量机多类分类模型。
需要说明的是，二叉树支持向量机多类分类模型是一种应用十分广泛的多类分类策略，但二叉树型分类器在树中所处的节点位置，直接影响到分类的准确性和推广的性能。不同的二叉树结构，会使得测试数据得到不同的分类结果，随着节点分类层次的深入，可能会导致误差累积。因此，生成合适的二叉树结构显得异常重要。生成多类分类二叉树通常包括两种思路：第一种是依据类中样本点的分布情况，优先分出分布区域较大的类；第二种是依据类间距离积，体积越大，类的分布区域也就越大。根据多类分类二叉树生成思路，研究各类焊缝缺陷的特征区分度，综合考虑分类的准确性和分类的效率，经多次试验对比，本实施例采用的二叉树支持向量机多类分类模型BT-SVM的结构示意图如图4所示。
步骤S4104：将所述目标二叉树支持向量机多类分类模型作为预先构建的二叉树支持向量机多类分类模型BT-SVM。
易于理解的是，根据多类分类二叉树生成思路，研究各类焊缝缺陷的特征区分度，综合考虑分类的准确性和分类的效率，经多次试验对比，本实施例采用的二叉树支持向量机多类分类模型BT-SVM的结构示意图如图4所示，将所述目标二叉树支持向量机多类分类模型作为预先构建的二叉树支持向量机多类分类模型BT-SVM，用于本实施例的焊缝缺陷类别检测方法。
本实施例通过根据焊缝图像数据库构建模型训练样本；对所述模型训练样本进行分类，获得各预设焊缝缺陷类别对应的焊缝图像样本，其中，所述预设焊缝缺陷类别包括正常焊缝、焊瘤、焊穿、气孔、成型不良和咬边；将所述焊缝图像样本输入至初始二叉树支持向量机多类分类模型进行模型训练，以获得目标二叉树支持向量机多类分类模型；将所述目标二叉树支持向量机多类分类模型作为预先构建的二叉树支持向量机多类分类模型BT-SVM。通过上述方式，经多次试验对比训练出所述目标二叉树支持向量机多类分类模型并作为预先构建的二叉树支持向量机多类分类模型BT-SVM，提高分类的准确性和分类的效率。
参考图7，图7为本发明一种焊缝缺陷类别检测方法第四实施例的流程示意图。
基于上述第一实施例，本实施例焊缝缺陷类别检测方法在所述步骤S41，具体包括：
步骤S411：将所述直接视觉传感焊缝特征参数及所述焊缝激光条纹特征参数输入所述不同级别的二叉树型分类器。
需要说明的是，所述预先构建的二叉树支持向量机多类分类模型BT-SVM包括不同级别的二叉树型分类器；所述直接视觉传感焊缝特征参数包括缺陷面积P1、缺陷区域周长P2、圆形度P3、矩形度P4、缺陷区域的长短径比P5、缺陷区域的欧拉数P6、填充度P7、区域紧度的形状因子P8、列向面积波形图极差值P9及横向面积波形图极差值P10；所述焊缝激光条纹特征参数包括最大偏移点P11、曲线斜率P12、连通域数量P13及峰度系数P14。
具体地，与实际生产情况结合，对焊缝缺陷类别进行了较为完全统计和归类，主要分为以下六种类型，分别为正常焊缝、焊瘤、焊穿、气孔、成型不良和咬边，分别用C1-C6代表，其中，正常焊缝是指焊缝成型优良，波纹均匀平整；焊瘤是指形态为球状，大小与飞溅类似，面积像素数较大；焊穿是指焊缝表面形成的穿孔缺陷，呈近似圆形，面积像素数较大；气孔是指近似圆形的孔洞，成群或孤立的分布在焊缝表面，形状大小不一，灰度与背景有明显的区别，面积像素较小；成型不良是指焊缝表面高低不平、焊缝宽窄不齐、尺寸过大或过小；咬边是指焊缝两侧出现局部凹点，没有达到规定的焊缝宽度和高度。可以构造不同级别的二叉树型分类器用于焊缝缺陷类别分类，焊缝缺陷类别分为6类用C1-C6代表则构造5个二叉树型分类器，分别为一级分类器SVM1vsC1-C6、二级分类器SVM2vsC1C4C6、三级分类器SVM3vsC2C3C5、四级分类器SVM4vsC1C6及五级分类器SVM5vsC2C3，各个二叉树型分类器的特征参数输入对应关系如下：一级分类器SVM1vsC1-C6对应输入的特征参数为缺陷面积P1、缺陷区域周长P2、填充度P7，其中C1C4C6置为1，C2C3C5置为-1；二级分类器SVM2vsC1C4C6对应输入的特征参数为矩形度P4、缺陷区域的长短径比P5、缺陷区域的欧拉数P6及最大偏移点P11，其中C4置为1，C1C6置为-1；三级分类器SVM3vsC2C3C5对应输入的特征参数为圆形度P3、区域紧度的形状因子P8及列向面积波形图极差值P9，其中C5置为1，C2C3置为-1；四级分类器SVM4vC1C6对应输入的特征参数为最大偏移点P11、曲线斜率P12、连通域数量P13及峰度系数P14，其中C1置为1，C6置为-1；五级分类器SVM5vC2C3对应输入的特征参数为横向面积波形图极差值P10、曲线斜率P12及峰度系数P14，其中C2置为1，C3置为-1。
步骤S412：基于所述预设焊缝缺陷类别及所述不同级别的二叉树型多级分类器进行缺陷分类判别，以获得缺陷分类判别结果。
需要说明的是，参照图4，图4为本发明实施例二叉树支持向量机结构示意图，如图4所示，根节点为一级分类器SVM1vsC1-C6，代表用于对C1类和C2、C3、C4、C5、C6类进行区分；第二层为二级分类器SVM2vsC1C4C6，代表用于对C1类和C4、C6类进行区分，第二层还包括三级分类器SVM3vsC2C3C5，代表用于对C2类和C3、C5类进行区分；第三层为叶子结点C4类和四级分类器SVM4vsC1C6代表用于对C1类和C6类进行区分；第三层还包括叶子结点C5类和五级分类器SVM5vsC2C3代表用于对C2类和C3类进行区分，最后第四层分为叶子节点C1类和C6类，叶子节点C2类和C3类。将所述直接视觉传感焊缝特征参数及所述焊缝激光条纹特征参数输入所述不同级别的二叉树型分类器，基于所述预设焊缝缺陷类别及所述不同级别的二叉树型多级分类器进行缺陷分类判别，以获得缺陷分类判别结果。
步骤S413：将所述缺陷分类判别结果作为缺陷分类结果。
本实施例通过将所述直接视觉传感焊缝特征参数及所述焊缝激光条纹特征参数输入所述不同级别的二叉树型分类器；基于所述预设焊缝缺陷类别及所述不同级别的二叉树型多级分类器进行缺陷分类判别，以获得缺陷分类判别结果；将所述缺陷分类判别结果作为缺陷分类结果。通过上述方式，提出的两种焊缝特征提取方法能提取出有效区分各种缺陷类型的特征，不同级别的二叉树型分类器可有效识别焊缝表面缺陷及其类型，分类准确率高。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有焊缝缺陷类别检测程序，所述焊缝缺陷类别检测程序被处理器执行时实现如上文所述的焊缝缺陷类别检测方法的步骤。
参照图8，图8为本发明焊缝缺陷类别检测装置第一实施例的结构框图。
如图8所示，本发明实施例提出的焊缝缺陷类别检测装置包括：
图像采集模块10，用于通过焊缝图像采集系统获取待测焊缝图像。
需要说明的是，在焊缝表面缺陷类别检测中，如何在焊接车间的复杂环境下获取清晰图像样本，是硬件设计的关键。所述焊缝图像采集系统可以包括光学镜头系统及线激光器；通过所述光学镜头系统采集焊缝表面图像；根据所述焊缝表面图像确定待检测焊缝对应的焊道；通过所述线激光器发射一条垂直于所述焊道的激光线，以使所述光学镜头系统采集所述待检测焊缝对应的激光条纹图像；将所述焊缝表面图像和所述激光条纹图像作为待测焊缝图像。
具体地，参照图3，图3为本发明实施例焊缝图像采集系统的设备原理图，如图3所示，所述焊缝图像采集系统中可以包括相机、线激光器、相机支架、图像采集卡(未示出)等构成，安装在全自动焊接机器人上组成一套光、电、机一体的焊缝图像采集系统的设备，全自动焊接机器人可以包括管道爬行小车，管道爬行小车与运动控制柜连接，运动控制柜与工控机连接，相机与工控机连接，工控机控制相机及管道爬行小车，用户可以根据实际需求控制焊缝图像采集系统的设备，也可以根据实际情况对焊缝图像采集系统的设备中一些器件进行适当替换，本实施例对此不加以限制。
图像处理模块20，用于根据图像处理技术获取所述待测焊缝图像中的焊缝表面特征区域图像及激光条纹特征区域图像。
易于理解的是，对所述待测焊缝图像进行去噪处理，以获得预处理焊缝图像；对所述预处理焊缝图像进行二维特征提取，以获得焊缝表面特征区域图像，其中，所述二维特征包括：几何形状特征及灰度分布特征；对所述预处理焊缝图像进行三维特征提取，以获得激光条纹特征区域图像，其中，所述三维特征包括：焊缝成形轮廓特征。
需要说明的是，在复杂焊接环境中所获取的焊缝图像中存在较多噪声，对焊缝缺陷类别检测与焊缝缺陷分类造成干扰，需要对目标图像进行预处理以突出焊缝表面特征，减少图像中的噪声。具体地，对所述待测焊缝图像进行去噪处理，以获得预处理焊缝图像。
进一步地，在图像处理技术领域，感兴趣区域(Region Of Interest，ROI)是从图像中选择的一个图像区域，这个区域是图像分析所关注的重点。圈定该区域以便进行进一步处理。使用ROI圈定目标，可以减少处理时间增加精度。通过对所述待测焊缝图像进行去噪处理得到焊缝缺陷ROI特征区域，去噪处理中的中值滤波模板可以选用3×3滤波模板，通过图像开运算与闭运算对所述待测焊缝图像进行处理，使目标特征更加明显，提高缺陷类别的识别率，对所述预处理焊缝图像进行二维特征提取获得焊缝表面特征区域图像，对所述预处理焊缝图像进行三维特征提取获得激光条纹特征区域图像。
特征提取模块30，用于分别对所述焊缝表面特征区域图像及所述激光条纹特征区域图像进行特征提取，以获得直接视觉传感焊缝特征参数及焊缝激光条纹特征参数。
需要说明的是，基于所述焊缝表面特征区域图像及所述激光条纹特征区域图像，通过焊缝图像特征参数计算规则分别计算第一特征参数及第二特征参数；将所述第一特征参数作为所述直接视觉传感焊缝特征参数，将所述第二特征参数作为焊缝激光条纹特征参数。
具体地，由于焊接环境复杂，产生的焊缝缺陷类型随机多变，仅凭单一特征值难以区分特征类别。针对所述焊缝表面特征区域图像，提出8类焊缝图像特征参数计算规则，包括缺陷的面积、缺陷区域周长、圆形度、矩形度、缺陷区域的长短径比、缺陷区域的欧拉数、填充度及区域紧度的形状因子，通过焊缝图像特征参数计算规则计算第一特征参数，将所述第一特征参数作为所述直接视觉传感焊缝特征参数，可以得到所述直接视觉传感焊缝特征参数包括缺陷面积P1、缺陷区域周长P2、圆形度P3、矩形度P4、缺陷区域的长短径比P5、缺陷区域的欧拉数P6、填充度P7及区域紧度的形状因子P8，其中，对于采用面积、形状等特征难以区分的缺陷类别，可以采用ROI波形分析方法来提取易于区分的特征，获得特征参数：列向面积波形图极差值P9及横向面积波形图极差值P10。所述直接视觉传感焊缝特征参数包括缺陷面积P1、缺陷区域周长P2、圆形度P3、矩形度P4、缺陷区域的长短径比P5、缺陷区域的欧拉数P6、填充度P7、区域紧度的形状因子P8、列向面积波形图极差值P9及横向面积波形图极差值P10。
此外，针对所述激光条纹特征区域图像，提出4类焊缝图像特征参数计算规则，通过焊缝图像特征参数计算规则计算第二特征参数，将所述第二特征参数作为焊缝激光条纹特征参数，所述焊缝激光条纹特征参数包括最大偏移点P11、曲线斜率P12、连通域数量P13及峰度系数P14。
所述直接视觉传感焊缝特征参数P1-P10及所述焊缝激光条纹特征参数P11-P14的计算方式如下：
缺陷面积P1：标记为同一缺陷所形成的连通域区域大小，缺陷面积与缺陷的灰度值完全无关，只与缺陷像素点的个数相关，计算公式如下：
Figure BDA0002376898050000191
其中，(x，y)代表的是图像中像素点的横坐标和纵坐标，而Rd则代表的是缺陷区域内所有像素点形成的集合，S为缺陷面积。
缺陷区域周长P2：缺陷区域轮廓线上的像素间的距离之和，是一个整体特征参数，可以用来区分简单或者复杂形状的缺陷。周长计算方法是将缺陷区域边界上的像素点的总数作为周长，计算公式如下：
Figure BDA0002376898050000192
其中，Rb代表的是缺陷区域的边界点所组成的集合，L为缺陷区域周长。
圆形度P3：是在面积与周长的基础上，计算缺陷边界复杂程度的特征量，判断目标形状和圆的接近程度，计算公式如下：
Figure BDA0002376898050000201
其中，L为缺陷区域周长，S为缺陷面积，ε为圆形度。
矩形度P4：指的是缺陷的面积与缺陷对应的最小外接矩形面积的比值，计算公式如下：
R＝S/SMER
其中，S为缺陷面积，SMER为缺陷最小外接矩形面积。
缺陷区域的长短径比P5：缺陷区域长轴和短轴的比值，是一种常用的形状特征，它可实现对缺陷形状的长短的一种计量，可以从一定程度上描述缺陷的形状，计算公式如下：
Lb＝LA/SA
Figure BDA0002376898050000202
其中，LA为长径，短径SA的方向则与长径LA的方向垂直，Lb为缺陷区域的长短径比，(x1，y1)及(x2，y2)代表的是选取的图像中两个像素点的横坐标和纵坐标。
缺陷区域的欧拉数P6：欧拉数是一种拓扑特性，它表示为图像中连通分量的个数减去孔洞的个数，欧拉数可以用来识别单孔特征和多孔特征，对于气孔和焊穿识别效果较好，计算公式如下：
E(A)＝M-H
其中，在式A代表的是缺陷区域，而M代表的则是缺陷区域中连通分量的个数，H代表的是缺陷区域的孔洞数，欧拉数E(A)可以用来识别单气孔缺陷与群气孔缺陷。
填充度P7：表示缺陷面积P1与焊缝总面积之比，可有效区分正常焊缝和缺陷焊缝，计算公式如下：
c＝S/Sa
其中，c为填充度，S为缺陷面积，Sa为焊缝图像像素面积。
区域紧度的形状因子P8：若L为轮廓长度，为F区域面积，则形状因子C定义为：
C＝max(1,C1)
Figure BDA0002376898050000211
其中，圆的形状因子是1，如果缺陷区域轮廓复杂或者有洞，C大于1。
可以采用波形分析方法来提取列向面积波形图极差值P9及横向面积波形图极差值P10，波形分析法主要步骤是：ROI区域列向面积求和、波形图绘制及曲线平滑、一阶差分求取极差特征，其中波形极差特征参数提取包括在离散函数中，一阶差分可以反应波形上升下降幅度的差别，离散函数的一阶差分定义如下：
Y(k)＝X(k+1)-X(k)
改进的一阶差分方法：
dj＝Sj+w-Sj,j∈[1,n-w]
w为进行差分的两个元素之间的横坐标像素距离，w的取值太小不能很好体现出焊缝缺陷的特征，取值太大又可能会超过了大部分缺陷区域的长度，经过多次对比实验，w取为30，由此得到焊缝缺陷的一阶差分序列：
D＝[d1…dj…dn]
取差分序列的极差R作为输入特征来区分焊缝缺陷类型：
R＝max(dj)-min(di),di,dj∈D
通过上述方式可得缺陷区域图像列向累加波形图特征值Ra即获得列向面积波形图极差值P9，以此类推，可得缺陷区域图像横向累加波形图特征值Rl即获得P10为横向面积波形图极差值。
分析所述焊缝激光条纹特征参数，设定线激光条纹相较原点O最大偏移点为P(l,h)，原点O为焊缝中心点，由于咬边缺陷一般出现在焊缝两侧，所以咬边缺陷相较于气孔、焊瘤、焊穿三种缺陷值更大，且值明显小于其它三种缺陷。因而提取最大偏移点P可有效区分咬边缺陷。气孔、焊瘤、焊穿三种缺陷出现位置随机，而线激光条纹变化都较大，仅靠特征点P难以区分。气孔缺陷在激光条纹轮廓中一般表现为断点，设定N为激光条纹连通域数量，气孔N＞1，而其余缺陷类型焊缝激光条纹为一条连续的线，则N＝1。焊瘤激光条纹与焊穿激光条纹轮廓特征类似，可以把激光条纹看做函数曲线，分别求取其二阶导数，判断斜率k变化，反应条纹的形状变化，从而来对两者进行区分。峰度系数Kurt反映焊缝线激光条纹曲线的陡峭程度。峰度系数的表达式为：
Figure BDA0002376898050000221
其中，A(k)为线激光条纹各轮廓点的高度，
Figure BDA0002376898050000222
为线激光条纹所有轮廓点的高度均值；m4为线激光条纹各轮廓数据点的四阶中心矩；m2为线激光条纹各轮廓数据点的二阶中心矩；n为线激光条纹轮廓点数量。所述焊缝激光条纹特征参数中最大偏移点P11为P(l,h)，曲线斜率P12为线激光条纹斜率k、连通域数量P13为线激光条纹连通域数量m，峰度系数P14为峰度系数Kurt。
缺陷分类模块40，用于将所述直接视觉传感焊缝特征参数及所述焊缝激光条纹特征参数输入至预先构建的缺陷分类模型进行缺陷分类，以获得缺陷分类结果。
易于理解的是，所述直接视觉传感焊缝特征参数包括缺陷面积P1、缺陷区域周长P2、圆形度P3、矩形度P4、缺陷区域的长短径比P5、缺陷区域的欧拉数P6、填充度P7、区域紧度的形状因子P8、列向面积波形图极差值P9及横向面积波形图极差值P10；所述焊缝激光条纹特征参数包括最大偏移点P11、曲线斜率P12、连通域数量P13及峰度系数P14；将所述直接视觉传感焊缝特征参数及所述焊缝激光条纹特征参数输入至预先构建的二叉树支持向量机多类分类模型BT-SVM中进行缺陷分类，以获得缺陷分类结果。
需要说明的是，与实际生产情况结合，对焊缝缺陷类别进行了较为完全统计和归类，主要分为以下六种类型，分别为正常焊缝、焊瘤、焊穿、气孔、成型不良和咬边，分别用C1-C6代表。其中，正常焊缝是指焊缝成型优良，波纹均匀平整；焊瘤是指形态为球状，大小与飞溅类似，面积像素数较大；焊穿是指焊缝表面形成的穿孔缺陷，呈近似圆形，面积像素数较大；气孔是指近似圆形的孔洞，成群或孤立的分布在焊缝表面，形状大小不一，灰度与背景有明显的区别，面积像素较小；成型不良是指焊缝表面高低不平、焊缝宽窄不齐、尺寸过大或过小；咬边是指焊缝两侧出现局部凹点，没有达到规定的焊缝宽度和高度。
具体地，参照图4，图4为本发明实施例二叉树支持向量机结构示意图，如图4所示，可以构造不同级别的二叉树型分类器用于焊缝缺陷类别分类，焊缝缺陷类别分为6类用C1-C6代表则构造5个二叉树型分类器，分别为一级分类器SVM1vsC1-C6、二级分类器SVM2vsC1C4C6、三级分类器SVM3vsC2C3C5、四级分类器SVM4vsC1C6及五级分类器SVM5vsC2C3，如图4所示，根节点为一级分类器SVM1vsC1-C6，代表用于对C1类和C2、C3、C4、C5、C6类进行区分；第二层为二级分类器SVM2vsC1C4C6，代表用于对C1类和C4、C6类进行区分，第二层还包括三级分类器SVM3vsC2C3C5，代表用于对C2类和C3、C5类进行区分；第三层为叶子结点C4类和四级分类器SVM4vsC1C6代表用于对C1类和C6类进行区分；第三层还包括叶子结点C5类和五级分类器SVM5vsC2C3代表用于对C2类和C3类进行区分，最后第四层分为叶子节点C1类和C6类，叶子节点C2类和C3类。
类别确定模块50，用于根据所述缺陷分类结果确定所述待测焊缝图像对应的焊缝缺陷类别。
需要说明的是，所述焊缝缺陷类别检测方法实现的硬件环境：所述工业相机可以采用型号为acA1300-60gm-Basler，线激光器可以采用型号为LC650-16-3-F型，具有高亮度和光线细的特征，所述焊缝图像采集系统安装在管道爬行小车上，随管道爬行小车沿管道转动获取待测焊缝图像，同时进行焊缝缺陷类别检测，实现焊缝缺陷类别在线检测识别，所述工控机的软件环境可以为软件系统采用Intel(R)Core(TM)i5-4460，64位Windows7操作系统，开发软件采用VS2013，利用C++开发环境，所述第一特征参数及所述第二特征参数的计算和不同级别的二叉树型分类器的训练及测试都可以采用Open CV库函数来实现，也可以采用其他方式，本是实施例对此不加以限制。
本实施例通过焊缝图像采集系统获取待测焊缝图像；根据图像处理技术获取所述待测焊缝图像中的焊缝表面特征区域图像及激光条纹特征区域图像；分别对所述焊缝表面特征区域图像及所述激光条纹特征区域图像进行特征提取，以获得直接视觉传感焊缝特征参数及焊缝激光条纹特征参数；将所述直接视觉传感焊缝特征参数及所述焊缝激光条纹特征参数输入至预先构建的缺陷分类模型进行缺陷分类，以获得缺陷分类结果；根据所述缺陷分类结果确定所述待测焊缝图像对应的焊缝缺陷类别。通过上述方式，结合直接视觉传感和激光视觉传感进行直接视觉传感焊缝特征参数及焊缝激光条纹特征参数提取，将特征参数作为预先构建的缺陷分类模型的特征输入参数，对焊缝表面缺陷进行分类识别，提高了焊缝缺陷类别检测精度，解决了现有技术在焊缝缺陷自动检测分类时运用单一视觉传感的方法存在分类精度较低、不可靠的技术问题。
应当理解的是，以上仅为举例说明，对本发明的技术方案并不构成任何限定，在具体应用中，本领域的技术人员可以根据需要进行设置，本发明对此不做限制。
需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。
另外，未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的焊缝缺陷类别检测方法，此处不再赘述。
此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器(Read Only Memory，ROM)/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种焊缝缺陷类别检测方法，其特征在于，所述方法包括：
通过焊缝图像采集系统获取待测焊缝图像；
根据图像处理技术获取所述待测焊缝图像中的焊缝表面特征区域图像及激光条纹特征区域图像；
分别对所述焊缝表面特征区域图像及所述激光条纹特征区域图像进行特征提取，以获得直接视觉传感焊缝特征参数及焊缝激光条纹特征参数；
将所述直接视觉传感焊缝特征参数及所述焊缝激光条纹特征参数输入至预先构建的缺陷分类模型进行缺陷分类，以获得缺陷分类结果；
根据所述缺陷分类结果确定所述待测焊缝图像对应的焊缝缺陷类别。
2.如权利要求1所述的焊缝缺陷类别检测方法，其特征在于，所述焊缝图像采集系统包括光学镜头系统及线激光器；
所述通过焊缝图像采集系统获取待测焊缝图像的步骤，具体包括：
通过所述光学镜头系统采集焊缝表面图像；
根据所述焊缝表面图像确定待检测焊缝对应的焊道；
通过所述线激光器发射一条垂直于所述焊道的激光线，以使所述光学镜头系统采集所述待检测焊缝对应的激光条纹图像；
将所述焊缝表面图像和所述激光条纹图像作为待测焊缝图像。
3.如权利要求2所述的焊缝缺陷类别检测方法，其特征在于，所述根据图像处理技术获取所述待测焊缝图像中的焊缝表面特征区域图像及激光条纹特征区域图像的步骤，具体包括：
对所述待测焊缝图像进行去噪处理，以获得预处理焊缝图像；
对所述预处理焊缝图像进行二维特征提取，以获得焊缝表面特征区域图像，其中，所述二维特征包括：几何形状特征及灰度分布特征；
对所述预处理焊缝图像进行三维特征提取，以获得激光条纹特征区域图像，其中，所述三维特征包括：焊缝成形轮廓特征。
4.如权利要求3所述的焊缝缺陷类别检测方法，其特征在于，所述分别对所述焊缝表面特征区域图像及所述激光条纹特征区域图像进行特征提取，以获得直接视觉传感焊缝特征参数及焊缝激光条纹特征参数的步骤，具体包括：
基于所述焊缝表面特征区域图像及所述激光条纹特征区域图像，通过焊缝图像特征参数计算规则分别计算第一特征参数及第二特征参数；
将所述第一特征参数作为所述直接视觉传感焊缝特征参数，将所述第二特征参数作为焊缝激光条纹特征参数。
5.如权利要求4所述的焊缝缺陷类别检测方法，其特征在于，所述将所述直接视觉传感焊缝特征参数及所述焊缝激光条纹特征参数输入至预先构建的缺陷分类模型进行缺陷分类，以获得缺陷分类结果的步骤，具体包括：
将所述直接视觉传感焊缝特征参数及所述焊缝激光条纹特征参数输入至预先构建的二叉树支持向量机多类分类模型BT-SVM中进行缺陷分类，以获得缺陷分类结果。
6.如权利要求5所述的焊缝缺陷类别检测方法，其特征在于，所述将所述直接视觉传感焊缝特征参数及所述焊缝激光条纹特征参数输入至预先构建的二叉树支持向量机多类分类模型BT-SVM中进行缺陷分类，以获得缺陷分类结果的步骤之前，还包括：
根据焊缝图像数据库构建模型训练样本；
对所述模型训练样本进行分类，获得各预设焊缝缺陷类别对应的焊缝图像样本，其中，所述预设焊缝缺陷类别包括正常焊缝、焊瘤、焊穿、气孔、成型不良和咬边；
将所述焊缝图像样本输入至初始二叉树支持向量机多类分类模型进行模型训练，以获得目标二叉树支持向量机多类分类模型；
将所述目标二叉树支持向量机多类分类模型作为预先构建的二叉树支持向量机多类分类模型BT-SVM。
7.如权利要求6所述的焊缝缺陷类别检测方法，其特征在于，所述预先构建的二叉树支持向量机多类分类模型BT-SVM包括不同级别的二叉树型分类器；
所述将所述直接视觉传感焊缝特征参数及所述焊缝激光条纹特征参数输入至预先构建的二叉树支持向量机多类分类模型BT-SVM中进行缺陷分类，以获得缺陷分类结果的步骤，具体包括：
将所述直接视觉传感焊缝特征参数及所述焊缝激光条纹特征参数输入所述不同级别的二叉树型分类器；
基于所述预设焊缝缺陷类别及所述不同级别的二叉树型多级分类器进行缺陷分类判别，以获得缺陷分类判别结果；
将所述缺陷分类判别结果作为缺陷分类结果。
8.一种焊缝缺陷类别检测装置，其特征在于，所述装置包括：
图像采集模块，用于通过焊缝图像采集系统获取待测焊缝图像；
图像处理模块，用于根据图像处理技术获取所述待测焊缝图像中的焊缝表面特征区域图像及激光条纹特征区域图像；
特征提取模块，用于分别对所述焊缝表面特征区域图像及所述激光条纹特征区域图像进行特征提取，以获得直接视觉传感焊缝特征参数及焊缝激光条纹特征参数；
缺陷分类模块，用于将所述直接视觉传感焊缝特征参数及所述焊缝激光条纹特征参数输入至预先构建的缺陷分类模型进行缺陷分类，以获得缺陷分类结果；
类别确定模块，用于根据所述缺陷分类结果确定所述待测焊缝图像对应的焊缝缺陷类别。
9.一种电子设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的焊缝缺陷类别检测程序，所述焊缝缺陷类别检测程序配置为实现如权利要求1至7中任一项所述的焊缝缺陷类别检测方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有焊缝缺陷类别检测程序，所述焊缝缺陷类别检测程序被处理器执行时实现如权利要求1至7任一项所述的焊缝缺陷类别检测方法的步骤。
CN202010073344.0A 2020-01-21 2020-01-21 焊缝缺陷类别检测方法、装置、电子设备及存储介质 Active CN111292303B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010073344.0A CN111292303B (zh) 2020-01-21 2020-01-21 焊缝缺陷类别检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010073344.0A CN111292303B (zh) 2020-01-21 2020-01-21 焊缝缺陷类别检测方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111292303A true CN111292303A (zh) 2020-06-16
CN111292303B CN111292303B (zh) 2023-09-19

Family

ID=71025645

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010073344.0A Active CN111292303B (zh) 2020-01-21 2020-01-21 焊缝缺陷类别检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111292303B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111551565A (zh) * 2020-06-19 2020-08-18 湖南恒岳重钢钢结构工程有限公司 一种基于机器视觉的风电塔筒焊缝缺陷检测装置及方法
CN111922548A (zh) * 2020-09-24 2020-11-13 山东海德智能科技有限公司 一种基于焊缝三维形状检测的3d焊缝扫描系统
CN111983037A (zh) * 2020-08-25 2020-11-24 武汉大学 利用机械辅助的管节点焊缝与相控阵探头耦合的方法
CN112102255A (zh) * 2020-08-21 2020-12-18 杭州培慕科技有限公司 基于工业场景下的x射线成像图像的缺陷智能评级方法
CN112950633A (zh) * 2021-04-19 2021-06-11 上海电机学院 一种基于线结构光的铝合金焊缝表面缺陷检测方法
CN113319462A (zh) * 2021-06-22 2021-08-31 广东工业大学 一种基于边云协同的焊接机器人管控方法和装置
CN113610814A (zh) * 2021-08-10 2021-11-05 广东利元亨智能装备股份有限公司 焊缝质量检测方法、装置、电子设备及存储介质
CN114136975A (zh) * 2021-11-04 2022-03-04 上海精密计量测试研究所 一种微波裸芯片表面缺陷智能检测系统和方法
CN114140669A (zh) * 2022-02-07 2022-03-04 南昌工程学院 焊接缺陷识别模型训练方法、装置和计算机终端
CN114453630A (zh) * 2022-01-20 2022-05-10 湖北文理学院 控制机床铣削不粘刀的方法、装置、电子设备和存储介质
CN114523203A (zh) * 2022-03-13 2022-05-24 扬州沃盛车业制造有限公司 一种激光智能焊接方法及系统
EP4023383A1 (en) * 2021-01-04 2022-07-06 Kabushiki Kaisha Toshiba Processing device, welding system, processing method, and storage medium
CN115601369A (zh) * 2022-12-16 2023-01-13 国网山东省电力公司东营供电公司（Cn） 一种输变电工程用变电设备支架质量评估方法
CN116051542A (zh) * 2023-03-06 2023-05-02 深圳市深视智能科技有限公司 缺陷检测方法及缺陷检测装置
CN117058144A (zh) * 2023-10-12 2023-11-14 南昌理工学院 一种焊缝图像的缺陷识别方法及系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050163364A1 (en) * 2004-01-07 2005-07-28 Markus Beck Process for checking a laser weld seam
KR20100002583A (ko) * 2008-06-30 2010-01-07 한양대학교 산학협력단 고속 레이저 비전 센서 시스템, 이를 이용한 고속 이미지프로세싱 방법 및 용접부 외관 검사방법
CN101750416A (zh) * 2008-12-19 2010-06-23 中国科学院沈阳自动化研究所 一种基于线结构光的视觉焊缝表面质量检测传感器
US20130082174A1 (en) * 2011-10-03 2013-04-04 Chien-Huei Chen Methods and apparatus for classification of defects using surface height attributes
CN105844622A (zh) * 2016-03-16 2016-08-10 南京工业大学 一种基于激光视觉的v型坡口焊缝检测方法
CN107030352A (zh) * 2017-04-24 2017-08-11 中国科学院自动化研究所 基于激光结构光的焊缝跟踪视觉传感器
CN107798330A (zh) * 2017-11-10 2018-03-13 上海电力学院 一种焊缝图像特征信息提取方法
KR20180119723A (ko) * 2017-04-25 2018-11-05 대화정공 주식회사 허프변환을 이용한 용접선 추적 방법
CN109115812A (zh) * 2018-08-23 2019-01-01 中国石油大学(北京) 一种焊缝底片缺陷识别方法及系统
CN110659675A (zh) * 2019-09-05 2020-01-07 南开大学 一种基于AdaBoost算法的焊缝缺陷检测方法
CN110674852A (zh) * 2019-09-05 2020-01-10 南开大学 基于几何特征和AdaBoost算法的焊缝缺陷分类方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050163364A1 (en) * 2004-01-07 2005-07-28 Markus Beck Process for checking a laser weld seam
KR20100002583A (ko) * 2008-06-30 2010-01-07 한양대학교 산학협력단 고속 레이저 비전 센서 시스템, 이를 이용한 고속 이미지프로세싱 방법 및 용접부 외관 검사방법
CN101750416A (zh) * 2008-12-19 2010-06-23 中国科学院沈阳自动化研究所 一种基于线结构光的视觉焊缝表面质量检测传感器
US20130082174A1 (en) * 2011-10-03 2013-04-04 Chien-Huei Chen Methods and apparatus for classification of defects using surface height attributes
CN105844622A (zh) * 2016-03-16 2016-08-10 南京工业大学 一种基于激光视觉的v型坡口焊缝检测方法
CN107030352A (zh) * 2017-04-24 2017-08-11 中国科学院自动化研究所 基于激光结构光的焊缝跟踪视觉传感器
KR20180119723A (ko) * 2017-04-25 2018-11-05 대화정공 주식회사 허프변환을 이용한 용접선 추적 방법
CN107798330A (zh) * 2017-11-10 2018-03-13 上海电力学院 一种焊缝图像特征信息提取方法
CN109115812A (zh) * 2018-08-23 2019-01-01 中国石油大学(北京) 一种焊缝底片缺陷识别方法及系统
CN110659675A (zh) * 2019-09-05 2020-01-07 南开大学 一种基于AdaBoost算法的焊缝缺陷检测方法
CN110674852A (zh) * 2019-09-05 2020-01-10 南开大学 基于几何特征和AdaBoost算法的焊缝缺陷分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘晶等: "激光技术在木材无损检测中的应用", 《森林工程》, no. 03 *
雷正龙等: "基于自动阈值的窄间隙端接焊缝识别技术", 《光学学报》, vol. 38, no. 08 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111551565A (zh) * 2020-06-19 2020-08-18 湖南恒岳重钢钢结构工程有限公司 一种基于机器视觉的风电塔筒焊缝缺陷检测装置及方法
CN112102255A (zh) * 2020-08-21 2020-12-18 杭州培慕科技有限公司 基于工业场景下的x射线成像图像的缺陷智能评级方法
CN112102255B (zh) * 2020-08-21 2024-01-23 杭州培慕科技有限公司 基于工业场景下的x射线成像图像的缺陷智能评级方法
CN111983037A (zh) * 2020-08-25 2020-11-24 武汉大学 利用机械辅助的管节点焊缝与相控阵探头耦合的方法
CN111983037B (zh) * 2020-08-25 2021-12-10 武汉大学 利用机械辅助的管节点焊缝与相控阵探头耦合的方法
CN111922548A (zh) * 2020-09-24 2020-11-13 山东海德智能科技有限公司 一种基于焊缝三维形状检测的3d焊缝扫描系统
EP4023383A1 (en) * 2021-01-04 2022-07-06 Kabushiki Kaisha Toshiba Processing device, welding system, processing method, and storage medium
CN114713948A (zh) * 2021-01-04 2022-07-08 株式会社东芝 处理装置、焊接系统、处理方法及存储介质
CN112950633A (zh) * 2021-04-19 2021-06-11 上海电机学院 一种基于线结构光的铝合金焊缝表面缺陷检测方法
CN113319462A (zh) * 2021-06-22 2021-08-31 广东工业大学 一种基于边云协同的焊接机器人管控方法和装置
CN113610814A (zh) * 2021-08-10 2021-11-05 广东利元亨智能装备股份有限公司 焊缝质量检测方法、装置、电子设备及存储介质
CN114136975A (zh) * 2021-11-04 2022-03-04 上海精密计量测试研究所 一种微波裸芯片表面缺陷智能检测系统和方法
CN114453630A (zh) * 2022-01-20 2022-05-10 湖北文理学院 控制机床铣削不粘刀的方法、装置、电子设备和存储介质
CN114140669A (zh) * 2022-02-07 2022-03-04 南昌工程学院 焊接缺陷识别模型训练方法、装置和计算机终端
CN114523203A (zh) * 2022-03-13 2022-05-24 扬州沃盛车业制造有限公司 一种激光智能焊接方法及系统
CN114523203B (zh) * 2022-03-13 2022-11-29 扬州沃盛车业制造有限公司 一种激光智能焊接方法及系统
CN115601369A (zh) * 2022-12-16 2023-01-13 国网山东省电力公司东营供电公司（Cn） 一种输变电工程用变电设备支架质量评估方法
CN115601369B (zh) * 2022-12-16 2023-03-03 国网山东省电力公司东营供电公司 一种输变电工程用变电设备支架质量评估方法
CN116051542A (zh) * 2023-03-06 2023-05-02 深圳市深视智能科技有限公司 缺陷检测方法及缺陷检测装置
CN117058144A (zh) * 2023-10-12 2023-11-14 南昌理工学院 一种焊缝图像的缺陷识别方法及系统
CN117058144B (zh) * 2023-10-12 2023-12-19 南昌理工学院 一种焊缝图像的缺陷识别方法及系统

Also Published As

Publication number Publication date
CN111292303B (zh) 2023-09-19

Similar Documents

Publication Publication Date Title
CN111292303A (zh) 焊缝缺陷类别检测方法、装置、电子设备及存储介质
US10692050B2 (en) Automatic assessment of damage and repair costs in vehicles
US20070058856A1 (en) Character recoginition in video data
JP5546317B2 (ja) 外観検査装置、外観検査用識別器の生成装置及び外観検査用識別器生成方法ならびに外観検査用識別器生成用コンピュータプログラム
CN110503095B (zh) 目标检测模型的定位质量评价方法、定位方法及设备
TW202013248A (zh) 車輛損壞識別方法及裝置
CN107563265A (zh) 一种远光灯检测方法及装置
CN112101277A (zh) 一种图像语义特征约束的遥感目标检测方法
CN110378227B (zh) 修正样本标注数据的方法、装置、设备及存储介质
CN115018846B (zh) 基于ai智能相机的多目标裂纹缺陷检测方法和装置
CN107239792A (zh) 一种基于二进制描述子的工件识别方法及装置
CN110516514A (zh) 一种目标检测模型的建模方法和装置
JP6328222B2 (ja) Ｔｓｏｍイメージ獲得方法及び半導体装置検査方法
CN116188475A (zh) 一种外观缺陷自动光学检测的智慧控制方法、系统及介质
CN112171057A (zh) 基于激光焊接的质量检测方法、装置及存储介质
CN110111311B (zh) 一种图像质量评价方法和装置
Jacobsen et al. A comparison between neural networks and decision trees
CN111144425A (zh) 检测拍屏图片的方法、装置、电子设备及存储介质
KR101936628B1 (ko) Tsom 이미지 획득 방법 및 반도체 장치 검사 방법
CN117173090A (zh) 焊接缺陷类型识别方法、装置、存储介质及电子设备
CN113592761A (zh) 存储介质、走线检测装置、走线检测模型训练装置及方法
CN115984759A (zh) 变电站开关状态识别方法、装置、计算机设备和存储介质
US11755688B2 (en) Apparatus and method for generating training data for a machine learning system
CN113284158B (zh) 一种基于结构约束聚类的图像边缘提取方法及系统
CN116958086B (zh) 具有增强特征融合能力的金属表面缺陷检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant