CN113642492B - 基于深度残差学习和多线激光的交叉焊缝辨识方法及系统 - Google Patents

基于深度残差学习和多线激光的交叉焊缝辨识方法及系统 Download PDF

Info

Publication number
CN113642492B
CN113642492B CN202110961061.4A CN202110961061A CN113642492B CN 113642492 B CN113642492 B CN 113642492B CN 202110961061 A CN202110961061 A CN 202110961061A CN 113642492 B CN113642492 B CN 113642492B
Authority
CN
China
Prior art keywords
images
cross
residual error
weld
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110961061.4A
Other languages
English (en)
Other versions
CN113642492A (zh
Inventor
张轲
张弛
陈荣涛
王皖勇
孙浩瀚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN202110961061.4A priority Critical patent/CN113642492B/zh
Publication of CN113642492A publication Critical patent/CN113642492A/zh
Application granted granted Critical
Publication of CN113642492B publication Critical patent/CN113642492B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于深度残差学习和多线激光的交叉焊缝辨识方法及系统，涉及船体外板等大型结构件的智能制造技术领域，包括：步骤S1：采集船体外板大拼接交叉焊缝的图像，并进行初步筛选，选取交叉焊缝类型激光条纹图像；步骤S2：对选取的交叉焊缝类型激光条纹图像进行标注，得到交叉焊缝类型辨识数据集；步骤S3：根据得到的数据集，构建深度残差学习网络；步骤S4：对构建的所述深度残差学习网络进行训练、验证和测试；步骤S5：根据训练好的残差深度学习网络，由爬壁除锈机器人在运行中对前方交叉焊缝类型的实时辨识。本发明准确率高、适应强、更能适应户外高光强及变光照的极端情况，为实现大型结构件大拼接焊缝的检测、除锈和涂装的全自主运行提供了可靠必要条件。

Description

基于深度残差学习和多线激光的交叉焊缝辨识方法及系统
技术领域
本发明涉及船体外板等大型结构件的智能制造技术领域，涉及一种基人工智能深度残差学习网络的大拼接交叉焊缝实时辨识方法，于船体表面大接缝，大型容器拼接焊缝的除锈、检测以及涂装等的智能机器人系统，具体地，涉及一种基于深度残差学习网络和多线激光结构光的交叉焊缝辨识方法，尤其涉及一种交叉焊缝辨识方法及系统。
背景技术
船体分段合拢的大拼接焊缝在喷漆之前必须在船坞现场进行除锈工作，而建造完工的大型船体结构件的除锈工作量巨大，传统采用高空作业车或吊篮方式的人工喷砂除锈不仅效率低、污染环境、危害人体健康，而且存在安全隐患。在这样的背景下，提出采用自动化除锈代替人工喷砂除锈，倡导科技造船，是非常具有现实意义的。不但可以逐步减少对人的依赖，提高造船效率和质量，也减少了对人体和环境的污染。采用环保无尘喷砂除锈爬壁机器人则可实现98％的磨料回收和99％的无粉尘排放，该机器人具有大范围移动的灵活性，可显著提升除锈效率，降低工人的劳动强度和安全性。
公开号为CN201633804U的实用新型专利，公开了一种船舶壁面除锈爬壁机器人，所述的机器人包括框架、链条履带行走机构、永磁吸附单元、左上驱动电机、左上减速机、右下驱动电机、右下减速机，其左上侧机构与右下侧机构相对于机器人两侧左右对角中心为对称结构，所述的链条履带行走机构由左右两条链条履带组成，所述的永磁吸附单元安装在链条履带行走机构上，超高压水射流真空除锈清洗器外接真空源和永磁吸附单元形成真空永磁混合吸附。
公开号为CN101863294B的发明专利，公开了一种用于干、湿环境的磁隙式爬壁机器人，包括有框式结构的机器人骨架，机器人骨架底部安装有轮系行走机构，机器人骨架内有真空负载腔壳体，真空负载腔壳体内安装有可旋转的作业工具，爬壁机器人上安装有磁块，与工作壁面之间形成不接触间隙并产生磁吸力。
公开号为CN103171640A的发明专利，公开了一种基于永磁吸附结构的爬壁机器人，包括机器人本体结构和可抗磁场干扰的控制系统；机器人本体结构包括底盘、可吸附的行走结构、设备负载；可吸附式行走机构包括主动永磁轮、万向辅助永磁轮、直流伺服电机、涡轮蜗杆减速机和齿形带传动机构；永磁轮机构主要包括铝合金带轮、永磁体、轭铁等；控制系统主要包括工业母版、PLC控制器、CCD工业相机等。
公开号为CN107585271B的发明专利，公开了一种船体壁面大接缝除锈爬壁机器人，包括机器人本体、驱动轮组、电机模块以及磁吸附单元；其中，电机模块设置在机器人本体上；驱动轮组连接机器人本体；电机模块驱动驱动轮组转动；机器人本体上设置有机器人本体安装孔。采用轮式行走机构、转弯方便灵活，可适应在船体外板大面积的全方位移动，而磁吸附单元安装在本体机器人底部，吸附面积大，提高了系统在船壁侧面运动的稳定可靠和安全性，同时磁吸附单元与工件底部的间隙可调，可适应不同材质和不同厚度的工件。
上述的除锈爬壁机器人主要侧重于解决船舶或石化储罐壁面等大型结构件移动除锈的爬壁能力的设计以及不同的除锈方法，主要应用于大范围的移动除锈，都不具备焊缝自动检测和跟踪功能，对特定船体外板的大拼接焊缝的除锈还需人工手动操控，智能化和自动化的程度不高，降低了除锈的效率。
为了解决船体外板大拼接焊的自动除锈，前期申请了发明专利“一种焊缝跟踪偏差和焊缝交叉类型的自动识别方法”(专利公开号为CN108672988A)，提出采用三线激光结构光的方法，基于三激光条纹投射在不同类型交叉接头上的条纹特征以及前后条纹之间的距离变化，建立了交叉焊缝的辨识模型，该模型能对直线、十字、T字三种交叉焊缝类型进行准确有效辨识。然而，在实际应用中，发现船体外板的交叉焊缝不仅仅只有直线、十字、T字三种类型，如果是通过上述的条纹自身特征变化及相邻条纹之间特征的变化构建识别函数，则很难将所有的交叉焊缝类型的激光条纹变化规律总结出来，形成交叉焊缝的辨识数学模型。进一步，一旦条纹自身受到较强干扰的情况下，其算法的准确率和适应性都将大大降低。
随着层数的增加，深度神经网络会变得越来越难以训练，梯度消失或者梯度爆炸问题都会阻止网络达到收敛状态，并且网络性能并不一定随着网络层数增加而提升。深度残差学习则可以解决深层网络的性能降低问题。相比与普通的深度神经网络，它更容易优化；随着层数的增多，它的性能表现逐渐提升，并且它具有足够的泛化能力。层数太少使深度残差学习网络的精度不够高，层数太多在训练过程中需要耗费大量的成本。
发明内容
针对现有技术中的缺陷，本发明提供一种基于深度残差学习和多线激光的交叉焊缝辨识方法及系统。
根据本发明提供的一种基于深度残差学习和多线激光的交叉焊缝辨识方法及系统，所述方案如下：
第一方面，提供了一种基于深度残差学习和多线激光的交叉焊缝辨识方法，所述方法包括：
步骤S1：采集船体外板大拼接交叉焊缝的图像，并进行初步筛选，选取交叉焊缝类型激光条纹图像；
步骤S2：对选取的交叉焊缝类型激光条纹图像进行标注，得到交叉焊缝类型辨识数据集；
步骤S3：根据得到的数据集，构建深度残差学习网络；
步骤S4：对构建的所述深度残差学习网络进行训练、验证和测试；
步骤S5：根据训练好的残差深度学习网络，由爬壁除锈机器人在运行中对前方交叉焊缝类型的实时辨识。
优选的，所述步骤S1包括：在船坞现场或者总装分段，使用爬壁机器人携带三激光条纹激光传感器，对船体分段大拼接的不同交叉焊缝类型进行图像采集；对采集到的图像首先通过人工进行初步筛选，随机选取其中激光条纹特征符合要求的焊缝图像。
优选的，所述步骤S2包括：
步骤S2.1：根据船体外板大拼接缝纵横交叉的典型特征，将采集到且筛选过的不同类型交叉焊缝的图像进行分类，并再次对每一类中的图片进行筛选，去除掉图像中难以辨别类型的图像，即完成了对图像的标注，三激光条纹交叉图像和相应的标签构成交叉焊缝类型辨识数据集；
步骤S2.2：将得到的数据集按照75％、10％以及15％的比例分类构成训练集、验证集及测试集。
优选的，所述不同类型交叉焊缝的图像分类包括：直线焊缝、十字交叉、T字交叉、左L焊缝、右L焊缝、右T焊缝以及右T焊缝。
优选的，所述步骤S3包括：
步骤S3.1：设计残差学习单元；
步骤S3.2：设计深度残差学习网络整体结构。
优选的，所述步骤S4包括：
步骤S4.1：在深度残差学习网络训练之前，首先配置训练方法，包括设定学习率、衰减方式、损失函数，以及批量大小batch_size、迭代次数epoch；
步骤S4.2：深度残差学习网络完成构建后，对采集的三激光条纹数据集图像进行图像预处理，首先对图像进行滤波、去噪声，然后对图像进行压缩，裁剪成残差深度学习网络的标准输入尺寸，将预处理后的图像作为深度残差学习网络的输入；
步骤S4.3：使用深度残差网络预训练权重进行迁移学习，锁定conv1、conv2_50、conv3_50、conv4_50和conv5_50所在层的权重，通过训练集中的图像对最后两层的权重进行训练；
步骤S4.4：在深度学习过程中，同时对验证集进行过拟合检查，及判断深度残差学习网络对验证集图像处理的损失函数是否呈现先下降、后反而上升的现象，当验证集的损失函数不再下降时候，暂时停止训练；
将预处理后的测试图像作为训练终止后的深度残差学习网络的输入，此时网络的输出与步骤S2中的标签值进行比较，若测试集精度超过99％，则训练完成，否则继续训练；
步骤S4.5：通过测试集对大拼接交叉焊缝深度残差辨识模型的准确性和可靠性进行测试。
优选的，所述步骤S5包括：
在对船体外板大拼接缝进行实际喷砂除锈时，在爬壁机器人进行喷砂除锈作业的同时，爬壁机器人携带的三激光条纹传感器同时采集大拼接缝的交叉焊缝图像，并输入到已经训练好的残差深度学习网络进行判别，即能够实现爬壁除锈机器人运行中对前方交叉焊缝类型的实时辨识，为爬壁除锈机器人的导航和定位提供位置依据。
第二方面，提供了一种基于深度残差学习和多线激光的交叉焊缝辨识系统，所述系统包括：
模块M1：采集船体外板大拼接交叉焊缝的图像，并进行初步筛选，选取交叉焊缝类型激光条纹图像；
模块M2：对选取的交叉焊缝类型激光条纹图像进行标注，得到交叉焊缝类型辨识数据集；
模块M3：根据得到的数据集，构建深度残差学习网络；
模块M4：对构建的所述深度残差学习网络进行训练、验证和测试；
模块M5：根据训练好的残差深度学习网络，由爬壁除锈机器人在运行中对前方交叉焊缝类型的实时辨识。
优选的，所述模块M1包括：在船坞现场或者总装分段，使用爬壁机器人携带三激光条纹激光传感器，对船体分段大拼接的不同交叉焊缝类型进行图像采集；对采集到的图像首先通过人工进行初步筛选，随机选取其中激光条纹特征清晰可辨认的焊缝图像。
优选的，所述模块M2包括：
模块M2.1：根据船体外板大拼接缝纵横交叉的典型特征，将采集到且筛选过的不同类型交叉焊缝的图像进行分类，并再次对每一类中的图片进行筛选，去除掉图像中难以辨别类型的图像，即完成了对图像的标注，三激光条纹交叉图像和相应的标签构成交叉焊缝类型辨识数据集；
模块M2.2：将得到的数据集按照75％、10％以及15％的比例分类构成训练集、验证集及测试集。
与现有技术相比，本发明具有如下的有益效果：
1、本发明所提出的50层深度残差学习网络，将其运用到船体外板大拼接交叉焊缝的类型辨识中，相比传统的图像处理方法，不必对图像进行复杂的图像处理，特征提取，模型构建，简化了处理；
2、本发明能适应更为复杂的交叉焊缝形式，准确率更高、适应性更强，大大提高了系统的自适应性和智能化程度；
3、且本发明为实现船体外板、压力容器等大型结构件的拼接焊缝的全自主的检测、除锈、涂装提供了必要条件，无论从经济效益和社会效益的角度，都具有较大的推广应用价值。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为三激光条纹检测焊缝原理图；
图2为三线激光投射在七种交叉焊缝上的激光条纹示意图；
图3为三线激光拍摄交叉焊缝图像数据集分类；
图4为实线残差学习结构；
图5为虚线残差学习结构；
图6为50层大拼接交叉焊缝深度残差学习网络结构；
图7为数据集训练深度残差学习网络的准确率；
图8为数据集训练深度残差学习网络的损失函数的收敛情况；
图9为通过测试集对船体外板大拼接交叉焊缝的预测结果和预测概率。
附图标记：
工件1 三条纹激光光源2
CCD相机3 交叉焊缝4
激光条纹5 跟踪焊缝6
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
本发明实施例提供了一种基于深度残差学习和多线激光的交叉焊缝辨识方法，采用50层残差深度学习网络的船体外板大拼接交叉焊缝类型的自动识别方法，具体如下：
采用三激光条纹结构光传感器器拍摄船体外板大拼接交叉焊缝的三激光条纹特征图像，首先对条纹特征图像金属预处理和筛选，然后输入到50层的深度残差交叉焊缝辨识模型，从而实现不同交叉焊缝类型的辨识。其包括如下步骤：
步骤S1：采集船体外板大拼接交叉焊缝的图像，在船坞现场或者总装分段，使用爬壁机器人携带三激光条纹激光传感器，对船体分段大拼接的不同交叉焊缝类型进行图像采集；对采集到的图像首先通过人工进行初步筛选，随机选取其中激光条纹特征清晰可辨认的焊缝图像。
步骤S2：对交叉焊缝类型激光条纹图像进行标注。
根据船体外板大拼接缝纵横交叉的典型特征，将采集到且筛选过的不同类型交叉焊缝的图像进行分类，并再次对每一类中的图片进行筛选，去除掉图像中难以辨别类型的图像，即完成了对图像的标注，三激光条纹交叉图像和相应的标签构成交叉焊缝类型辨识数据集；
将得到的数据集按照75％、10％以及15％的比例分类构成训练集、验证集及测试集。
步骤S3：构建深度残差学习网络；
设计残差学习单元：第一种的主分支分别使用卷积核为1×1、3×3、1×1的三层结构处理，步距均为1，捷径分支不做处理，将主分支结果和捷径分支相加后使用ReLU激活函数，称为实线残差结构；第二种和第一种残差结构块的区别在于：主分支的第一层1×1卷积层，步距为s；捷径分支是一层1×1的卷积层，步距为s，称为虚线残差结构。实线残差学习单元中(W,W,C)表示尺寸为W×W，通道数为C；卷积层中的C表示该层的卷积核个数；虚线残差学习单元中(W,W,C)表示尺寸为W×W，通道数为C；卷积层中的C表示该层的卷积核个数，S表示该步卷积操作的步长。relu表示该层采用的是ReLU激活函数。每个残差学习单元的输入不仅包含上一个残差学习单元的输出，还包含上一个残差学习单元的输入，这也就构成了跨层连接的输入输出方式。
设计深度残差学习网络整体结构：
整个网络结构由普通输入层，残差学习层和全连接的输出层三个部分组成。输入层conv1由卷积核为7×7的卷积层组成。
残差学习层由conv2、conv3、conv4、conv5共四组组成。每一组都是由数个残差学习单元组成的。其中conv2由一个池化核为3×3的最大池化层和3个残差学习单元组成，conv4的残差学习单元数为4个，conv4的残差学习单元数为6个，conv4的残差学习单元数为3个。每一组中的第一个残差学习单元均为虚线残差学习单元，其中conv2组中的虚线残差学习单元的主分支第一个卷积层步长和捷径分支上卷积层的步长为1，而conv3、conv4、conv5组的虚线残差学习单元主分支第一个卷积层步长和捷径分支上卷积层的步长均为2；而每组其余的残差学习单元均采用实线残差结构。残差学习单元的激活函数均采用非线性ReLU激活函数。
输出层使用一个7×7的卷积核先进行平均池化，再连接一个1x1024的全连接层，然后再连接一个1x7的全连接层，用于输出7种交叉焊缝类型。
最后1x7的全连接层的输出连接一个Softmax分类器，输出交叉焊缝识别的分类结果及对应的概率Yi(Yi表示图像属于第i种交叉焊缝的输出结果，其中i＝1，2，3，4，5，6，7)，概率信息Yi的数学表达式如下：
其中，Yi表示第i种交叉焊缝类型的输出结果，K表示类别数量，e表示自然对数。
步骤S4：对构建的所述深度残差学习网络进行训练、验证和测试；
在深度残差学习网络训练之前，首先配置训练方法，包括设定学习率、衰减方式、损失函数，以及批量大小batch_size、迭代次数epoch。
深度残差学习网络完成构建后，对采集的三激光条纹数据集图像进行图像预处理，首先对图像进行滤波、去噪声，然后对图像进行压缩，裁剪成残差深度学习网络的标准输入尺寸，将预处理后的图像作为深度残差学习网络的输入。
使用深度残差网络预训练权重进行迁移学习，锁定conv1、conv2_50、conv3_50、conv4_50和conv5_50所在层的权重，通过训练集中的图像对最后两层的权重进行训练。
在深度学习过程中，同时对验证集进行过拟合检查，及判断深度残差学习网络对验证集图像处理的损失函数是否呈现先下降、后反而上升的现象，当验证集的损失函数不再下降时候，即可暂时停止训练。
将预处理后的测试图像作为训练终止后的深度残差学习网络的输入，此时网络的输出与步骤S2中的标签值进行比较，若测试集精度超过99％，则训练完成，否则继续训练。
通过测试集对大拼接交叉焊缝深度残差辨识模型的准确性和可靠性进行测试。
步骤S5：船体外板大拼接交叉焊缝类型的实时辨识。
在对船体外板大拼接缝进行实际喷砂除锈时，在爬壁机器人进行喷砂除锈作业的同时，爬壁机器人携带的三激光条纹传感器同时采集大拼接缝的交叉焊缝图像，并输入到已经训练好的残差深度学习网络进行判别，即可实现爬壁除锈机器人运行中对前方交叉焊缝类型的实时辨识，为爬壁除锈机器人的导航和定位提供位置依据。
接下来，对本发明进行更为具体的说明。
本发明提供的一种基于深度残差学习和多线激光的交叉焊缝辨识方法，如图1和图2所示，在本实施例中，三线激光条纹焊缝偏差和交叉焊缝类型识别包括：工件，三条纹激光光源以及CCD相机。具体实施步骤如下：
步骤S1：三线激光传感器采集交叉焊缝图像。
在船坞现场或者总装分段，使用爬壁机器人携带三激光条纹激光传感器，对船体分段大拼接的不同交叉焊缝类型进行图像采集；相机型号为Basler acA640-90gm，采集频率为20帧/秒，总计采集得到8210张交叉焊缝图像。
步骤S2：对交叉焊缝类型激光条纹图像进行标注。
根据船体外板大拼接缝纵横交叉的典型特征，将采集到且筛选过的不同类型交叉焊缝的图像分为以下七类：直线焊缝、十字交叉、T字交叉、左L焊缝、右L焊缝、右T焊缝和右T焊缝，去除掉图像中难以辨别类型的图像，即完成了对图像的标注，构成交叉焊缝类型辨识数据集，并按照75％、10％以及15％的比例分成训练集、验证集及测试集。
在本实例中分别获得了直线焊缝图像1111张，十字焊缝图像1044张，T字焊缝图像1147张，左L焊缝图像1479张，右L焊缝图像1439张，左T焊缝图像990张，右T焊缝图像1000张，按照75％，10％，15％的比例分配构成训练集、验证集及测试集。具体数据集分类如图3所示。
步骤S3：构建深度残差学习网络。
上述技术方案中，步骤S3具体包括如下步骤：
设计残差学习单元。第一种的主分支分别使用卷积核为1×1、3×3、1×1的三层结构处理，步距均为1，捷径分支不做处理，将主分支结果和捷径分支相加后使用ReLU激活函数，称为实线残差结构；第二种和第一种残差结构块的区别在于：主分支的第一层1×1卷积层，步距为s；捷径分支是一层1×1的卷积层，步距为2，称为虚线残差结构。每个残差学习单元的输入不仅包含上一个残差学习单元的输出，还包含上一个残差学习单元的输入，这也就构成了跨层连接的输入输出方式。实线残差学习结构和虚线残差学习结构如图4和图5所示。
设计深度残差学习网络整体结构。整个网络结构由普通输入层，残差学习层和全连接的输出层三个部分组成。输入层conv1由卷积核为7×7的卷积层以及卷积核3×3的最大池化层组成。
残差学习层由conv2、conv3、conv4、conv5共四组组成。conv2的残差学习单元数为3个，conv4的残差学习单元数为4个，conv4的残差学习单元数为6个，conv4的残差学习单元数为3个，总共48层。每一组中的第一个残差学习单元采用虚线残差结构，其中conv2组的捷径分支步距为1，而conv3、conv4、conv5组的捷径分支步距均为2；而每组其余的残差学习单元均采用实线残差结构。残差学习单元的激活函数均采用非线性ReLU函数。
输出层使用一个7×7的卷积核先进行平均池化，再连接一个1x1024的全连接层，然后再连接一个1x7的全连接层，用于输出7种交叉焊缝类型。
最后1x7的全连接层的输出连接一个Softmax分类器，输出交叉焊缝识别的分类结果及对应的概率Yi(Yi表示图像属于第i种交叉焊缝的输出结果，其中i＝1，2，3，4，5，6，7)，概率信息Yi的数学表达式如下：
其中，Yi表示第i种交叉焊缝类型的输出结果，K表示类别数量，e表示自然对数。
按照本实例构建的50层深度残差学习网络模型如图6所示。
步骤S4：深度残差学习网络的训练、验证和测试。
在残深度学习网络训练之前，采用Adam(Adaptive moment estimation)优化算法对模型参数进行更新，学习率初始值设置为0.0002，且使用学习率衰减的方式，β1＝0.9，β2＝0.999。
损失函数选择交叉熵函数为损失函数，其计算公式如下：
其中，K为类别数；yic为符号函数，当样本i的真实类别等于c时取1，否则取0；pic是观测样本i属于类别c的预测概率。
训练的批量大小设为batch_size＝32，迭代次数设为epoch＝20；
从659×494压缩为224×224的大小，将所有压缩过的图像，作为数据集放入神经网络中作为输入。
深度残差学习网络完成构建后，对采集的三激光条纹数据集图像进行图像预处理，首先对图像进行滤波、去噪声，然后对原始659×494的图像进行压缩，裁剪成残差深度学习网络224×224的标准大小，将预处理后的图像作为深度残差学习网络的输入。
使用深度残差网络预训练权重进行迁移学习，锁定conv1、conv2_50、conv3_50、conv4_50和conv5_50所在层的权重，通过训练集中的图像对最后两层的权重进行训练。
在深度学习过程中，同时对验证集进行过拟合检查，及判断深度残差学习网络对验证集图像处理的损失函数是否呈现先下降、后反而上升的现象，当验证集的损失函数不再下降时候，即可暂时停止训练。将预处理后的测试图像作为训练终止后的深度残差学习网络的输入，此时网络的输出与步骤S2中的标签值进行比较，若测试集精度超过99％，则训练完成，否则继续训练。
大拼接交叉焊缝50层深度残差学习网络的预测准确率、损失函数在训练过程中的收敛情况如图7和图8所示。
然后通过测试集进行测试，检验大拼接交叉焊缝深度残差辨识模型的准确性和可靠性。
如图9所示，为通过测试集得道的对船体外板大拼接七种交叉焊缝类型的预测结果和预测概率情况。
步骤S5：船体外板大拼接交叉焊缝类型的实时辨识。
在对船体外板大拼接缝进行实际喷砂除锈时，在爬壁机器人进行喷砂除锈作业的同时，爬壁机器人携带的三激光条纹传感器同时采集大拼接缝的交叉焊缝图像，并输入到已经训练好的50层深度残差学习网络进行判别，即可实现爬壁除锈机器人运行中对前方交叉焊缝类型的实时辨识。
本发明实施例提供了一种基于深度残差学习和多线激光的交叉焊缝辨识方法及系统，利用深度学习，实现了对7种类型的船体外板大拼接多向交叉焊缝类型的可靠辨识，精度高、适应性强，为实现船体外板、压力容器等大型结构件的拼接焊缝的全自主的检测、除锈、涂装提供了必要条件。大大提高了系统的自适应性和智能化程度。因此，本发明无论从经济效益和社会效益的角度，都具有较大的推广应用价值。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (7)

1.一种基于深度残差学习和多线激光的交叉焊缝辨识方法，其特征在于，包括：
步骤S1：采集船体外板大拼接交叉焊缝的图像，并进行初步筛选，选取交叉焊缝类型激光条纹图像；
步骤S2：对选取的交叉焊缝类型激光条纹图像进行标注，得到交叉焊缝类型辨识数据集；
步骤S3：根据得到的数据集，构建深度残差学习网络；
步骤S4：对构建的所述深度残差学习网络进行训练、验证和测试；
步骤S5：根据训练好的残差深度学习网络，由爬壁除锈机器人在运行中对前方交叉焊缝类型的实时辨识；
所述步骤S2包括：
步骤S2.1：根据船体外板大拼接缝纵横交叉的典型特征，将采集到且筛选过的不同类型交叉焊缝的图像进行分类，并再次对每一类中的图片进行筛选，去除掉图像中难以辨别类型的图像，即完成了对图像的标注，三激光条纹交叉图像和相应的标签构成交叉焊缝类型辨识数据集；
步骤S2.2：将得到的数据集按照75%、10%以及15%的比例分类构成训练集、验证集及测试集；
所述步骤S3包括：
步骤S3.1：设计残差学习单元；
步骤S3.2：设计深度残差学习网络整体结构；
其中，深度残差学习网络整体结构包括：普通输入层，残差学习层和全连接的输出层；
普通输入层conv1由卷积核为7×7的卷积层以及卷积核3×3的最大池化层组成；
残差学习层由conv2、conv3、conv4、conv5共四组组成；
全连接的输出层使用一个7×7的卷积核先进行平均池化，再连接一个1x1024的全连接层，然后再连接一个1x7的全连接层，用于输出7种交叉焊缝类型。
2.根据权利要求1所述的基于深度残差学习和多线激光的交叉焊缝辨识方法，其特征在于，所述步骤S1包括：在船坞现场或者总装分段，使用爬壁机器人携带三激光条纹激光传感器，对船体分段大拼接的不同交叉焊缝类型进行图像采集；对采集到的图像首先通过人工进行初步筛选，随机选取其中激光条纹特征符合要求的焊缝图像。
3.根据权利要求1所述的基于深度残差学习和多线激光的交叉焊缝辨识方法，其特征在于，所述不同类型交叉焊缝的图像分类包括：直线焊缝、十字交叉、T字交叉、左L焊缝、右L焊缝、右T焊缝以及右T焊缝。
4.根据权利要求1所述的基于深度残差学习和多线激光的交叉焊缝辨识方法，其特征在于，所述步骤S4包括：
步骤S4.1：在深度残差学习网络训练之前，首先配置训练方法，包括设定学习率、衰减方式、损失函数，以及批量大小batch_size、迭代次数epoch；
步骤S4.2：深度残差学习网络完成构建后，对采集的三激光条纹数据集图像进行图像预处理，首先对图像进行滤波、去噪声，然后对图像进行压缩，裁剪成残差深度学习网络的标准输入尺寸，将预处理后的图像作为深度残差学习网络的输入；
步骤S4.3：使用深度残差网络预训练权重进行迁移学习，锁定conv1、conv2_50、conv3_50、conv4_50和conv5_50所在层的权重，通过训练集中的图像对最后两层的权重进行训练；
步骤S4.4：在深度学习过程中，同时对验证集进行过拟合检查，及判断深度残差学习网络对验证集图像处理的损失函数是否呈现先下降、后反而上升的现象，当验证集的损失函数不再下降时候，暂时停止训练；
将预处理后的测试图像作为训练终止后的深度残差学习网络的输入，此时网络的输出与步骤S2中的标签值进行比较，若测试集精度超过99%，则训练完成，否则继续训练；
步骤S4.5：通过测试集对大拼接交叉焊缝深度残差辨识模型的准确性和可靠性进行测试。
5.根据权利要求1所述的基于深度残差学习和多线激光的交叉焊缝辨识方法，其特征在于，所述步骤S5包括：
在对船体外板大拼接缝进行实际喷砂除锈时，在爬壁机器人进行喷砂除锈作业的同时，爬壁机器人携带的三激光条纹传感器同时采集大拼接缝的交叉焊缝图像，并输入到已经训练好的残差深度学习网络进行判别，即能够实现爬壁除锈机器人运行中对前方交叉焊缝类型的实时辨识，为爬壁除锈机器人的导航和定位提供位置依据。
6.一种基于深度残差学习和多线激光的交叉焊缝辨识系统，其特征在于，包括：
模块M1：采集船体外板大拼接交叉焊缝的图像，并进行初步筛选，选取交叉焊缝类型激光条纹图像；
模块M2：对选取的交叉焊缝类型激光条纹图像进行标注，得到交叉焊缝类型辨识数据集；
模块M3：根据得到的数据集，构建深度残差学习网络；
模块M4：对构建的所述深度残差学习网络进行训练、验证和测试；
模块M5：根据训练好的残差深度学习网络，由爬壁除锈机器人在运行中对前方交叉焊缝类型的实时辨识；
所述模块M2包括：
模块M2.1：根据船体外板大拼接缝纵横交叉的典型特征，将采集到且筛选过的不同类型交叉焊缝的图像进行分类，并再次对每一类中的图片进行筛选，去除掉图像中难以辨别类型的图像，即完成了对图像的标注，三激光条纹交叉图像和相应的标签构成交叉焊缝类型辨识数据集；
模块M2.2：将得到的数据集按照75%、10%以及15%的比例分类构成训练集、验证集及测试集；
所述模块M3包括：
模块M3.1：设计残差学习单元；
模块M3.2：设计深度残差学习网络整体结构；
其中，深度残差学习网络整体结构包括：普通输入层，残差学习层和全连接的输出层；
所述普通输入层conv1由卷积核为7×7的卷积层以及卷积核3×3的最大池化层组成；
所述残差学习层由conv2、conv3、conv4、conv5共四组组成；
所述全连接的输出层使用一个7×7的卷积核先进行平均池化，再连接一个1x1024的全连接层，然后再连接一个1x7的全连接层，用于输出7种交叉焊缝类型。
7.根据权利要求6所述的基于深度残差学习和多线激光的交叉焊缝辨识系统，其特征在于，所述模块M1包括：在船坞现场或者总装分段，使用爬壁机器人携带三激光条纹激光传感器，对船体分段大拼接的不同交叉焊缝类型进行图像采集；对采集到的图像首先通过人工进行初步筛选，随机选取其中激光条纹特征符合要求的焊缝图像。
CN202110961061.4A 2021-08-20 2021-08-20 基于深度残差学习和多线激光的交叉焊缝辨识方法及系统 Active CN113642492B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110961061.4A CN113642492B (zh) 2021-08-20 2021-08-20 基于深度残差学习和多线激光的交叉焊缝辨识方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110961061.4A CN113642492B (zh) 2021-08-20 2021-08-20 基于深度残差学习和多线激光的交叉焊缝辨识方法及系统

Publications (2)

Publication Number Publication Date
CN113642492A CN113642492A (zh) 2021-11-12
CN113642492B true CN113642492B (zh) 2023-11-07

Family

ID=78423079

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110961061.4A Active CN113642492B (zh) 2021-08-20 2021-08-20 基于深度残差学习和多线激光的交叉焊缝辨识方法及系统

Country Status (1)

Country Link
CN (1) CN113642492B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116765635B (zh) * 2023-08-18 2024-04-12 济南邦德激光股份有限公司 一种用于激光切割机的焊缝识别方法及识别系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106680281A (zh) * 2016-12-31 2017-05-17 中国科学技术大学 一种基于深度残差学习网络的柴油车尾气烟度检测方法
CN110046575A (zh) * 2019-04-16 2019-07-23 浙江农林大学 基于改进残差网络的遥感图像场景分类方法
CN111353463A (zh) * 2020-03-12 2020-06-30 北京工业大学 基于随机深度残差网络的高光谱图像分类方法
CN111814693A (zh) * 2020-07-10 2020-10-23 江南大学 一种基于深度学习的海上船舶识别方法
CN112836584A (zh) * 2021-01-05 2021-05-25 西安理工大学 基于深度学习的交通图像安全带分类方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10223780B2 (en) * 2015-04-15 2019-03-05 Institute Of Automation Chinese Academy Of Sciences Image steganalysis based on deep learning

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106680281A (zh) * 2016-12-31 2017-05-17 中国科学技术大学 一种基于深度残差学习网络的柴油车尾气烟度检测方法
CN110046575A (zh) * 2019-04-16 2019-07-23 浙江农林大学 基于改进残差网络的遥感图像场景分类方法
CN111353463A (zh) * 2020-03-12 2020-06-30 北京工业大学 基于随机深度残差网络的高光谱图像分类方法
CN111814693A (zh) * 2020-07-10 2020-10-23 江南大学 一种基于深度学习的海上船舶识别方法
CN112836584A (zh) * 2021-01-05 2021-05-25 西安理工大学 基于深度学习的交通图像安全带分类方法

Also Published As

Publication number Publication date
CN113642492A (zh) 2021-11-12

Similar Documents

Publication Publication Date Title
Kouzehgar et al. Self-reconfigurable façade-cleaning robot equipped with deep-learning-based crack detection based on convolutional neural networks
CN107526360B (zh) 一种未知环境下排爆机器人多阶自主导航探测系统及方法
CN106557844B (zh) 一种焊接机器人路径规划方法
CN111515932A (zh) 一种基于人工势场与强化学习的人机共融流水线实现方法
CN113642492B (zh) 基于深度残差学习和多线激光的交叉焊缝辨识方法及系统
Liu et al. CNN-based vision model for obstacle avoidance of mobile robot
Asadi et al. Vision-based obstacle removal system for autonomous ground vehicles using a robotic arm
CN114905507A (zh) 一种基于环境视觉分析的焊接机器人精度控制方法
CN110825088A (zh) 一种多目视觉导引船体清洁机器人系统及清洁方法
Tian et al. Automated rust removal: rust detection and visual servo control
CN111951257A (zh) 列车外墙油漆激光清洗过程视觉检测反馈控制方法与装置
CN114972181A (zh) 基于多尺度检测的重型部件涂装表面缺陷检测方法
Yang et al. Automatic extraction and identification of narrow butt joint based on ANFIS before GMAW
CN108280820A (zh) 一种核岛厂房清水混凝土墙面自动修复系统及其实现方法
Giergiel et al. The project of tank inspection robot
CN117218511A (zh) 磁粉探伤裂纹视觉识别方法、裂缝的磁粉探伤方法
Singh et al. Performance analysis of object detection algorithms for robotic welding applications in planar environment
Skilton et al. Combining object detection with generative adversarial networks for in-component anomaly detection
CN116386128A (zh) 一种隧道工人施工状态检测方法、系统、介质及设备
Butdee et al. Automatic guided vehicle control by vision system
CN114800494A (zh) 一种基于单目视觉的搬箱机械手
Yazid et al. Automated system form concrete damage classification identification using pretrained deep learning model
Rekhawar et al. Deep learning based detection, segmentation and vision based pose estimation of staircase
Rao et al. Tracing a weld line using artificial neural networks
Oyekola et al. Modular climbing robot design with automated vision-based defect classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant