CN115619738A - 一种模组侧缝焊焊后检测方法 - Google Patents

一种模组侧缝焊焊后检测方法 Download PDF

Info

Publication number
CN115619738A
CN115619738A CN202211276796.4A CN202211276796A CN115619738A CN 115619738 A CN115619738 A CN 115619738A CN 202211276796 A CN202211276796 A CN 202211276796A CN 115619738 A CN115619738 A CN 115619738A
Authority
CN
China
Prior art keywords
welding
module
welding line
neural network
seam
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211276796.4A
Other languages
English (en)
Inventor
李仙贵
王兴鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningde Sikeqi Intelligent Equipment Co Ltd
Original Assignee
Ningde Sikeqi Intelligent Equipment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningde Sikeqi Intelligent Equipment Co Ltd filed Critical Ningde Sikeqi Intelligent Equipment Co Ltd
Priority to CN202211276796.4A priority Critical patent/CN115619738A/zh
Publication of CN115619738A publication Critical patent/CN115619738A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30152—Solder
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Graphics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种模组侧缝焊焊后检测方法，所述方法包括以下步骤：步骤S1、检测时，拍摄采集图片，标注出模组焊缝的目标区域；步骤S2、通过卷积神经网络训练图片，生成数学模型，利用生成的数学模型预测定位新图的模组焊缝位置；步骤S3、通过3D相机采集到模组深度图片后，生成点云，三维坐标重建，计算坐标重建后的点云高度差，定位模组的焊缝；步骤S4、选取焊缝周围平整的面为基准面，计算焊缝与基准面的差值，判断焊缝是否存在下榻，炸孔缺陷，本发明能够实现检测模组焊缝的缺陷达到满足生产需求。

Description

一种模组侧缝焊焊后检测方法
技术领域
本发明涉及侧缝焊焊后检测技术领域，特别是一种模组侧缝焊焊后检测方法。
背景技术
侧缝焊焊后检测是新能源电池生产，模组段的重要工序。其工作流程是通过视觉检测技术，替代人工检测出焊缝的缺陷。为了检测更准确，采用2D+3D的方式，2D使用卷积神经网络,实现机器学习识别。3D扫描焊缝的深度，边缘提取实现检测功能。
目前行业内常见的做法是2D采用传统的二值化处理，识别度低，受光环境影响较大，焊缝容易误识别。3D部分直接将采集到的深度值进行计算，误差大，对机构安装、相机精度要求高，不能准确的采集到真实值。
发明内容
有鉴于此，本发明的目的是提供一种利用三维坐标重建，检测焊缝缺陷是否达到满足工位生产需求的方法。
本发明采用以下方法来实现：一种模组侧缝焊焊后检测方法，所述方法包括以下步骤：
步骤S1、检测时，拍摄采集图片，标注出模组焊缝的目标区域；
步骤S2、通过卷积神经网络训练图片，生成数学模型，利用生成的数学模型预测定位新图的模组焊缝位置，通过图片定位模组焊缝目标区域后，计算模组焊缝的长和宽；
步骤S3、通过3D相机采集到模组深度图片后，生成点云，三维坐标重建，计算坐标重建后的点云高度差，定位模组的焊缝；
步骤S4、选取焊缝周围平整的面为基准面，计算焊缝与基准面的差值，判断焊缝是否存在下榻，炸孔缺陷，从而实现检测模组焊缝的缺陷达到满足生产需求。
进一步的，所述步骤S1进一步具体为：检测前，用2D相机和3D相机对每条焊缝进行拍照采集，2D图片利用卷积神经网络进行计算，标注出模组焊缝的目标区域。
进一步的，所述步骤S2进一步具体为：通过卷积神经网络去训练图片，利用深度学习卷积神经网络来定位，生成数学模型，所述数学模型包含目标区域训练过程产生的参数、神经网络的卷积核，每次计算前调用数学模型保存的训练数据，对新图进行计算，从而达到利用卷积神经网络对焊缝的提取。
本发明的有益效果在于：本发明算法准确性高；缺陷检测精度要求高，坐标重建后，可以降低检测误差，提高检测准确率；焊缝焊接后比较复杂，通过卷积神经网络，项目在维护过程只需要标注NG图片，大大降低了调试的难度。
附图说明
图1为本发明的方法流程示意图。
图2为模组的3D深度图。
图3为模组的3D点云图。
图4为模组重建坐标后的示意图。
具体实施方式
下面结合附图对本发明做进一步说明。
请参阅图1所示，本发明提供了：一种模组侧缝焊焊后检测方法，所述方法包括以下步骤：
步骤S1、检测时，拍摄采集图片，标注出模组焊缝的目标区域；
步骤S2、通过卷积神经网络训练图片，生成数学模型，利用生成的数学模型预测定位新图的模组焊缝位置，通过图片定位模组焊缝目标区域后，计算模组焊缝的长和宽；
步骤S3、通过3D相机采集到模组深度图片后，生成点云，三维坐标重建，计算坐标重建后的点云高度差，定位模组的焊缝；
步骤S4、选取焊缝周围平整的面为基准面，计算焊缝与基准面的差值，判断焊缝是否存在下榻，炸孔缺陷，从而实现检测模组焊缝的缺陷达到满足生产需求。
下面通过一具体实施例对本发明作进一步说明：
检测前，对每条焊缝进行2D+3D拍照。2D利用卷积神经网络进行计算。
将采集到的图片，训练成模型后，每次计算前调用该模型保存的训练数据，对新图进行计算，从而达到利用卷积神经网络对焊缝的提取。
卷积神经网络简要说明：
卷积神经网络是是深度学习(deep learning)的代表算法之一，是对输入数据进行特征提取后，在进行特征的选择和信息过滤。
3D利用三维坐标重建的方式，更加精确的定位提取焊缝，从而检测焊缝是否存在缺陷，如图2和图3所示，将采集到的3D深度图转化为点云图，选取焊缝较为平整的端板(图2的下部分)为基准面，将点云以基准面为参考点重建点云三维坐标。
三维坐标重建说明：
3D图坐标系重建后，生成新的坐标系，确保后续缺陷检测的测量项是在一个平稳的坐标系内计算。
通过旋转X、Y、Z，三个轴，使点云坐标重建为以基准面为参考的新的坐标系，如图4所示。
坐标系旋转的矩阵表达式为：
绕X轴旋转θ的旋转矩阵：
Figure BDA0003895235590000031
绕Y轴旋转θ的旋转矩阵：
Figure BDA0003895235590000032
绕Z轴旋转θ的旋转矩阵：
Figure BDA0003895235590000033
该表达式，主要是将3D采集到的图，进行坐标重建，将原来的点云图，建立在一个坐标系上，为后续的下榻，炸孔检测，提供精准的坐标系。
设三个轴x，y，z的角分别为α,β,γ，那么旋转矩阵为(为了简洁，以下sin和cos分别用s和c表达)
Figure BDA0003895235590000041
本发明从现场采集图片，标注出焊缝的目标区域，通过卷积神经网络去训练图片，生成数学模型，该模型包含目标区域训练过程产生的参数、神经网络的卷积核。
利用卷积神经网络生成的模型预测定位新图的焊缝位置，进行识别，焊缝的长度、宽度，以及是否断焊。
3D部分，3D相机采集到深度图后，生成点云，三维坐标重建，使所有的点坐标系一致，计算坐标重建后的点云高度差，定位焊缝，选取焊缝周围平整的面为基准面，计算焊缝与基准面的差值，判断焊缝是否存在下榻，炸孔缺陷。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (3)

1.一种模组侧缝焊焊后检测方法，其特征在于，所述方法包括以下步骤：
步骤S1、检测时，拍摄采集图片，标注出模组焊缝的目标区域；
步骤S2、通过卷积神经网络训练图片，生成数学模型，利用生成的数学模型预测定位新图的模组焊缝位置，通过图片定位模组焊缝目标区域后，计算模组焊缝的长和宽；
步骤S3、通过3D相机采集到模组深度图片后，生成点云，三维坐标重建，计算坐标重建后的点云高度差，定位模组的焊缝；
步骤S4、选取焊缝周围平整的面为基准面，计算焊缝与基准面的差值，判断焊缝是否存在下榻，炸孔缺陷，从而实现检测模组焊缝的缺陷达到满足生产需求。
2.根据权利要求1所述的一种模组侧缝焊焊后检测方法，其特征在于：所述步骤S1进一步具体为：检测前，用2D相机和3D相机对每条焊缝进行拍照采集，2D图片利用卷积神经网络进行计算，标注出模组焊缝的目标区域。
3.根据权利要求1所述的一种模组侧缝焊焊后检测方法，其特征在于：所述步骤S2进一步具体为：通过卷积神经网络去训练图片，利用深度学习卷积神经网络来定位，生成数学模型，所述数学模型包含目标区域训练过程产生的参数、神经网络的卷积核，每次计算前调用数学模型保存的训练数据，对新图进行计算，从而达到利用卷积神经网络对焊缝的提取。
CN202211276796.4A 2022-10-18 2022-10-18 一种模组侧缝焊焊后检测方法 Pending CN115619738A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211276796.4A CN115619738A (zh) 2022-10-18 2022-10-18 一种模组侧缝焊焊后检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211276796.4A CN115619738A (zh) 2022-10-18 2022-10-18 一种模组侧缝焊焊后检测方法

Publications (1)

Publication Number Publication Date
CN115619738A true CN115619738A (zh) 2023-01-17

Family

ID=84861982

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211276796.4A Pending CN115619738A (zh) 2022-10-18 2022-10-18 一种模组侧缝焊焊后检测方法

Country Status (1)

Country Link
CN (1) CN115619738A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115797354A (zh) * 2023-02-09 2023-03-14 厦门微亚智能科技有限公司 用于检测激光焊接焊缝外观缺陷的方法
CN115937217A (zh) * 2023-03-09 2023-04-07 安格利(成都)仪器设备有限公司 一种利用3d卷积和相关性算子来自动检测腐蚀坑的方法
CN116773534A (zh) * 2023-08-15 2023-09-19 宁德思客琦智能装备有限公司 一种检测方法及装置、电子设备、计算机可读介质
CN118128336A (zh) * 2024-05-08 2024-06-04 厦门合诚工程检测有限公司 一种钢结构立柱加固方法及其焊缝检测设备
CN118275450A (zh) * 2024-05-30 2024-07-02 菲特（天津）检测技术有限公司 焊缝检测方法和装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115797354A (zh) * 2023-02-09 2023-03-14 厦门微亚智能科技有限公司 用于检测激光焊接焊缝外观缺陷的方法
CN115937217A (zh) * 2023-03-09 2023-04-07 安格利(成都)仪器设备有限公司 一种利用3d卷积和相关性算子来自动检测腐蚀坑的方法
CN116773534A (zh) * 2023-08-15 2023-09-19 宁德思客琦智能装备有限公司 一种检测方法及装置、电子设备、计算机可读介质
CN116773534B (zh) * 2023-08-15 2024-03-05 宁德思客琦智能装备有限公司 一种检测方法及装置、电子设备、计算机可读介质
CN118128336A (zh) * 2024-05-08 2024-06-04 厦门合诚工程检测有限公司 一种钢结构立柱加固方法及其焊缝检测设备
CN118275450A (zh) * 2024-05-30 2024-07-02 菲特（天津）检测技术有限公司 焊缝检测方法和装置

Similar Documents

Publication Publication Date Title
CN115619738A (zh) 一种模组侧缝焊焊后检测方法
CN112476434B (zh) 一种基于协作机器人的视觉3d取放方法及系统
CN101839692B (zh) 单相机测量物体三维位置与姿态的方法
CN102063718B (zh) 一种点激光测量系统的现场标定和精密测量方法
CN106969706A (zh) 基于双目立体视觉的工件检测与三维测量系统及检测方法
CN104400265B (zh) 一种激光视觉引导的焊接机器人角接焊缝特征的提取方法
KR102634535B1 (ko) 포인트 집단 분석을 이용한 작업대상물의 터치교시점 인식방법
CN115131268A (zh) 一种基于图像特征提取与三维模型匹配的自动化焊接系统
US11875524B2 (en) Unmanned aerial vehicle platform based vision measurement method for static rigid object
CN110837839B (zh) 一种高精度无人机正射影像制作及数据采集方法
CN113134683A (zh) 基于机器学习的激光标刻方法及装置
CN113393439A (zh) 一种基于深度学习的锻件缺陷检测方法
CN113240798B (zh) 基于数字孪生和ar的物料完备性智能检测与配置方法
CN115482195A (zh) 一种基于三维点云的列车部件变形检测方法
CN116465335A (zh) 基于点云匹配的自动测厚方法和系统
CN116563377A (zh) 一种基于半球投影模型的火星岩石测量方法
CN106570877A (zh) 基于采煤机虚拟样机与真实图像配准的采煤机位姿定位系统及方法
CN115457130A (zh) 一种基于深度关键点回归的电动汽车充电口检测定位方法
CN110853080A (zh) 一种田间果实尺寸的测量方法
CN112747671B (zh) 三维检测系统和三维检测方法
CN113269729A (zh) 一种基于深度图像对比的装配体多视角检测方法和系统
CN116740036A (zh) 一种钢管管端引熄弧板切割点位检测方法和系统
Sun et al. Precision work-piece detection and measurement combining top-down and bottom-up saliency
CN115717865A (zh) 环形结构全场变形测量方法
CN114211164A (zh) 一种水下焊接机器人焊缝跟踪系统的焊缝跟踪控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination