CN116385336B - 基于深度学习的焊缝检测方法、系统、装置及存储介质 - Google Patents
基于深度学习的焊缝检测方法、系统、装置及存储介质 Download PDFInfo
- Publication number
- CN116385336B CN116385336B CN202211604840.XA CN202211604840A CN116385336B CN 116385336 B CN116385336 B CN 116385336B CN 202211604840 A CN202211604840 A CN 202211604840A CN 116385336 B CN116385336 B CN 116385336B
- Authority
- CN
- China
- Prior art keywords
- image
- welding seam
- weld
- depth
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 114
- 238000013135 deep learning Methods 0.000 title claims abstract description 57
- 238000003860 storage Methods 0.000 title claims abstract description 19
- 238000003466 welding Methods 0.000 claims abstract description 130
- 238000000034 method Methods 0.000 claims abstract description 19
- 230000007547 defect Effects 0.000 claims description 39
- 239000002131 composite material Substances 0.000 claims description 31
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 10
- 238000005520 cutting process Methods 0.000 claims description 8
- 230000002194 synthesizing effect Effects 0.000 claims description 8
- 238000007689 inspection Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 description 19
- 238000012549 training Methods 0.000 description 19
- 238000007781 pre-processing Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
- G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30152—Solder
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Abstract
本发明公开一种基于深度学习的焊缝检测方法、系统、装置及存储介质，涉及智能检测技术领域。通过采集焊缝的深度图像和反射图像，将深度图像和反射图像合成为第一焊缝合成图像，然后将得到的第一焊缝合成图像输入基于深度学习算法构建的焊缝检测模型得到焊缝检测结果。本申请将深度图像和反射图像合成为第一焊缝合成图像，再利用深度学习算法综合分析焊缝表面特征和焊缝深度特征，提高焊缝检测的准确性。
Description
技术领域
本发明涉及智能检测技术领域，尤其涉及一种基于深度学习的焊缝检测方法、系统、装置及存储介质。
背景技术
随着计算机技术的发展，人工智能算法逐渐成熟，在各个领域也得到广泛的应用，例如，基于深度学习算法进行图片分类、路径规划以及人脸识别等。目前，汽车生产领域也引进人工智能算法，实现汽车的自动化和智能化生产、组装和检测。在汽车智能化检测方面，通过摄像头采集大量的车辆表面图片样本，将图片样本输入深度神经网络中进行训练得到车辆检测模型，然后将需要检测的车辆表面图片输入车辆检测模型中进行检测，可以确定车辆是否合格。但是，摄像头采集到的图片反映的是汽车的表面的颜色和反射光线强度等信息，仅通过表面信息来识别汽车上的焊缝是否有缺陷，会导致焊缝检测结果不准确。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种基于深度学习的焊缝检测方法、系统、装置及存储介质，能够提高焊缝检测的准确性。
一方面，本发明实施例提供了一种基于深度学习的焊缝检测方法，包括以下步骤：
获取焊缝的深度图像和反射图像，其中，所述深度图像的每一个像素的深度信息用于表征被拍摄位置到光线接收部件之间的距离，所述反射图像的每一个像素的光线反射信息用于表征被拍摄位置对光线的反射能力；
合成所述深度图像和所述反射图像得到第一焊缝合成图像；
将所述第一焊缝合成图像输入基于深度学习算法构建的焊缝检测模型，得到焊缝检测结果。
根据本发明一些实施例，所述深度图像和所述反射图像由图像采集装置获得，所述图像采集装置包括处理部件和光线接收部件，所述处理部件用于通过光线接收部件接收到光线并基于激光三角法确定深度信息，通过光线接收部件接收到光线强度确定光线反射信息，其中，所述深度图像与所述反射图像具有相同的规格信息。
根据本发明一些实施例，所述合成所述深度图像和所述反射图像得到第一焊缝合成图像包括以下步骤：
根据所述规格信息创建空白图像；
将所述深度图像的每一个像素的深度信息对应填充到所述空白图像的第一通道中；
将所述反射图像的每一个像素的光线反射信息对应填充到所述空白图像的第二通道中；
将第一通道和第二通道填充完成后的空白图像作为第一焊缝合成图像。
根据本发明一些实施例，所述将所述第一焊缝合成图像输入基于深度学习算法构建的焊缝检测模型，得到焊缝检测结果包括以下步骤：
对所述第一焊缝合成图像进行预处理，得到符合焊缝检测模型输入规格的待检测图像；
将所述待检测图像输入所述焊缝检测模型，得到焊缝检测结果，其中，所述焊缝检测结果包括所述待检测图像中缺陷位置的第一坐标。
根据本发明一些实施例，所述对所述第一焊缝合成图像进行预处理，得到符合焊缝检测模型输入规格的待检测图像包括以下步骤：
当所述第一焊缝合成图像的宽度大于高度，则根据所述第一焊缝合成图像的高度和所述焊缝检测模型的预设输入高度确定缩放比例；
当所述第一焊缝合成图像的宽度小于高度，则根据所述第一焊缝合成图像的宽度和所述焊缝检测模型的预设输入宽度确定缩放比例；
根据所述缩放比例对所述第一焊缝合成图像进行缩放，得到焊缝整体图像；
根据焊缝检测模型的预设宽高比，将所述焊缝整体图像裁剪成多张待检测图像。
根据本发明一些实施例，所述将所述第一焊缝合成图像输入基于深度学习算法构建的焊缝检测模型，得到焊缝检测结果还包括以下步骤：
按照位置顺序对裁剪后的多张所述待检测图像进行编号，得到每一张待检测图像的序号；
根据所述缩放比例和所述第一焊缝合成图像的参考坐标，确定缩放逆推矩阵；
根据输入所述焊缝检测模型的所述待检测图像的序号和检测到的所述第一坐标，确定所述缺陷位置在所述焊缝整体图像中的第二坐标；
根据所述第二坐标和所述缩放逆推矩阵，确定所述缺陷位置在所述第一焊缝合成图像中的第三坐标。
根据本发明一些实施例，所述焊缝检测模型通过以下步骤获得：
初始化焊缝检测模型的参数；
获取多个图像样本，其中，所述图像样本包括第二焊缝合成图像和缺陷标志；
将所述第二焊缝合成图像输入深度学习网络，得到焊缝缺陷预测结果；
根据所述焊缝缺陷预测结果和所述缺陷标志确定损失值；
根据所述损失值更新所述焊缝检测模型的参数，得到训练后的焊缝检测模型。
另一方面，本发明实施例还提供一种基于深度学习的焊缝检测系统，包括：
第一模块，用于获取焊缝的深度图像和反射图像，其中，所述深度图像的每一个像素的深度信息用于表征被拍摄位置到光线接收部件之间的距离，所述反射图像的每一个像素的光线反射信息用于表征被拍摄位置对光线的反射能力；
第二模块，用于合成所述深度图像和所述反射图像得到第一焊缝合成图像；
第三模块，用于将所述第一焊缝合成图像输入基于深度学习算法构建的焊缝检测模型，得到焊缝检测结果。
另一方面，本发明实施例还提供一种基于深度学习的焊缝检测装置，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得至少一个所述处理器实现如前面所述的基于深度学习的焊缝检测方法。
另一方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如前面所述的基于深度学习的焊缝检测方法。
本发明上述的技术方案至少具有如下优点或有益效果之一：通过采集焊缝的深度图像和反射图像，将深度图像和反射图像合成为第一焊缝合成图像，然后将得到的第一焊缝合成图像输入基于深度学习算法构建的焊缝检测模型得到焊缝检测结果。本申请将深度图像和反射图像合成为第一焊缝合成图像，再利用深度学习算法综合分析焊缝表面特征和焊缝深度特征，提高焊缝检测的准确性。
附图说明
图1是本发明实施例提供的基于深度学习的焊缝检测方法流程图；
图2是本发明实施例提供的基于深度学习的焊缝检测装置示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或者类似的标号表示相同或者类似的原件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、左、右等指示的方位或者位置关系为基于附图所示的方位或者位置关系，仅是为了便于描述本发明和简化描述，而不是指示或者暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
本发明的描述中，如果有描述到第一、第二等只是用于区分技术特征为目的，而不能理解为指示或者暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。
深度学习(DL，Deep Learning)，是学习样本数据的内在规律和表示层次，通过学习过程获得的信息对诸如文字、图像和声音等数据的解释有很大的帮助。深度学习的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。在发明实施例中，通过使机器学习焊缝图片的特征信息，使其能够识别焊缝的缺陷位置和缺陷类型等。
深度图像(depth image)也被称为距离影像(range image)，是指将从图像采集器到场景中各点的距离(深度)作为像素值的图像，它直接反映了景物可见表面的几何形状。深度数据流所提供的图像帧中，每一个像素点代表的是在深度感应器的视野中，该特定的(x,y)坐标处物体到离摄像头平面最近的物体到该平面的距离。
反射图像，也为灰度图像，由一个颜色空间可以表示图像，每个像素由单通道灰度值表示，灰度值表示光线强度。
本发明实施例提供了一种基于深度学习的焊缝检测方法，可应用于终端中，也可应用于服务器中，还可以是运行于终端或服务器中的软件等。终端可以是平板电脑、笔记本电脑、台式计算机等，但并不局限于此。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器，本发明实施例不作具体限制。
参照图1，本发明实施例的基于深度学习的焊缝检测方法包括但不限于步骤S110、步骤S120和步骤S130。
步骤S110，获取焊缝的深度图像和反射图像，其中，深度图像的每一个像素的深度信息用于表征被拍摄位置到光线接收部件之间的距离，反射图像的每一个像素的光线反射信息用于表征被拍摄位置对光线的反射能力；
步骤S120，合成深度图像和反射图像得到第一焊缝合成图像；
步骤S130，将第一焊缝合成图像输入基于深度学习算法构建的焊缝检测模型，得到焊缝检测结果。
在本实施例中，反射图像反映的是工件表面对光线反射能力的信息，通过反射图像能够判断工件表面是否存在烧焦、异色、轻微划痕等在深度上无法体现出来的缺陷类型。深度图像反映的是工件上每一个位置到相机取景器之间的距离信息，通过深度图像能够判断气孔、漏焊、杂质等反射图像无法体现的立体缺陷类型。
通过采集焊缝的深度图像和反射图像，将深度图像和反射图像合成为第一焊缝合成图像，然后将得到的第一焊缝合成图像输入基于深度学习算法构建的焊缝检测模型得到焊缝检测结果。本发明实施例将深度图像和反射图像合成为第一焊缝合成图像，再利用深度学习算法综合分析焊缝表面特征和焊缝深度特征，从而提高焊缝检测的准确性。
根据本发明一些具体实施例，深度图像和反射图像均由图像采集装置获得，图像采集装置包括处理部件和光线接收部件，处理部件用于通过光线接收部件接收到光线并基于激光三角法确定深度信息，通过光线接收部件接收到光线强度确定光线反射信息，其中，深度图像与反射图像具有相同的规格信息。
在本实施例中，采用一套图像采集装置来获取深度图像和反射图像，即利用同一个光线接收部件来感知光线，然后通过处理部件对光线接收部件感知拍摄位置光线情况来进行不同的数据处理，分别得到同一个被拍摄位置的深度信息和反射信息，得到的深度图像和反射图像为相同拍摄角度的图像，且深度图像和反射图像具有相同的规格信息。相比于采用两套图像采集装置分别采集深度图像和反射图像，本实施例后续不需要对深度图像和反射图像进行对齐操作。
在本实施例中，图像采集装置包括激光发射部件，激光发射部件发射激光，光线接收部件接收，处理部件根据激光发射和接收时间差可以确定焊缝深度，光线接收部件还接收焊缝表面的反射光线得到焊缝表面图像信息。
根据本发明一些具体实施例，步骤S120中，合成深度图像和反射图像得到第一焊缝合成图像这一步骤，包括但不限于以下步骤：
步骤S210，根据规格信息创建空白图像；
步骤S220，将深度图像的每一个像素的深度信息对应填充到空白图像的第一通道中；
步骤S230，将反射图像的每一个像素的光线反射信息对应填充到空白图像的第二通道中；
步骤S240，将第一通道和第二通道填充完成后的空白图像作为第一焊缝合成图像。
在本实施例中，规格信息可以包括图像高度、图像宽度和图像分辨率等信息，根据深度图像或者反射图像的规格信息创建规格相同的三通道空白图像，然后将深度图像的每一个像素的深度信息和反射图像的每一个像素的光线反射信息分别对应填充到第一通道和第二通道，得到第一焊缝合成图像。
根据本发明一些具体实施例，步骤S130中，将第一焊缝合成图像输入基于深度学习算法构建的焊缝检测模型，得到焊缝检测结果这一步骤，包括但不限于以下步骤：
步骤S310，对第一焊缝合成图像进行预处理，得到符合焊缝检测模型输入规格的待检测图像；
步骤S320，将待检测图像输入焊缝检测模型，得到焊缝检测结果，其中，焊缝检测结果包括待检测图像中缺陷位置的第一坐标。
示例性，由图像采集装置获取到深度图像和反射图像的高宽规格为a*b，即第一焊缝合成图像的高宽规格为a*b，焊缝检测模型输入规格为c*c。为了符合焊缝检测模型的输入要求，对高宽规格为a*b的第一焊缝合成图像进行缩放和裁剪等操作后，得到高宽规格为c*c的待检测图像。
在一些实施例中，焊缝检测结果可以包括焊缝是否存在缺陷以及缺陷位置，进一步地，焊缝检测结果还可以包括具体的缺陷类型。
根据本发明一些具体实施例，步骤S310中，对第一焊缝合成图像进行预处理，得到符合焊缝检测模型输入规格的待检测图像这一步骤，包括但不限于以下步骤：
步骤S410，当第一焊缝合成图像的宽度大于高度，则根据第一焊缝合成图像的高度和焊缝检测模型的预设输入高度确定缩放比例；
步骤S420，当第一焊缝合成图像的宽度小于高度，则根据第一焊缝合成图像的宽度和焊缝检测模型的预设输入宽度确定缩放比例；
步骤S430，根据缩放比例对第一焊缝合成图像进行缩放，得到焊缝整体图像；
步骤S440，根据焊缝检测模型的预设宽高比，将焊缝整体图像裁剪成多张待检测图像。
在本实施例中，采集后合成得到的第一焊缝合成图像，其尺寸一般远大于焊缝检测模型所用的图像尺寸。假设焊缝检测模型所用的预设高宽为c*c的正方形，第一焊缝合成图像高度大于宽度，计算第一焊缝合成图像按照宽度和焊缝检测模型所用的预设宽度计算缩放比例，按照缩放比例对整个第一焊缝合成图像进行缩放，之后裁剪成c*c的尺寸。
根据本发明一些具体实施例，步骤S130，将第一焊缝合成图像输入基于深度学习算法构建的焊缝检测模型，得到焊缝检测结果这一步骤，还包括以下步骤：
步骤S510，按照位置顺序对裁剪后的多张待检测图像进行编号，得到每一张待检测图像的序号；
步骤S520，根据缩放比例和第一焊缝合成图像的参考坐标，确定缩放逆推矩阵；
步骤S530，根据输入焊缝检测模型的待检测图像的序号和检测到的第一坐标，确定缺陷位置在焊缝整体图像中的第二坐标；
步骤S540，根据第二坐标和缩放逆推矩阵，确定缺陷位置在第一焊缝合成图像中的第三坐标。
示例性地，合成得到第一焊缝合成图像之后，按照第一焊缝合成图像的短边计算缩放比例，并根据缩放比例对第一焊缝合成图像进行缩放，得到焊缝整体图像，然后对焊缝整体图像按照焊缝检测模型所需要的高宽比例，裁剪成n张待检测图像。根据待检测图像在裁剪之前的焊缝整体图像中的位置顺序，对n张待检测图像进行编号，得到每一张待检测图像的序号。根据预设缩放比例和第一焊缝合成图像的参考坐标(参考坐标可以为原点(0,0))生成缩放逆推矩阵。将n张待检测图像一次输入焊缝检测模型，得到每一张待检测图像中存在缺陷的第一坐标，然后根据该待检测图像的序号以及第一坐标确定未裁剪的焊缝整体图像中存在缺陷的第二坐标，再根据第二坐标和缩放逆推矩阵确定第一焊缝合成图像中存在缺陷的第三坐标，从而实现对第一焊缝合成图像的缺陷位置检测，实现对车辆上焊缝缺陷的定位。
根据本发明一些具体实施例，焊缝检测模型通过以下步骤获得：
步骤S610，初始化焊缝检测模型的参数；
步骤S620，获取多个图像样本，其中，图像样本包括第二焊缝合成图像和缺陷标志；
步骤S630，将第二焊缝合成图像输入深度学习网络，得到焊缝缺陷预测结果；
步骤S640，根据焊缝缺陷预测结果和缺陷标志确定损失值；
步骤S650，根据损失值不断更新焊缝检测模型的参数，得到训练后的焊缝检测模型。
具体地，利用图像采集装置采集大量焊缝的深度图像和反射图像，将深度图像和反射图像进行一一合成，得到大量的第二焊缝合成图像，然后对第二焊缝合成图像进行人工标注，可以标注是否缺陷以及缺陷类型等信息，进而得到训练数据集。将训练数据集输入到初始化后的焊缝检测模型中进行训练，可以得到模型输出的识别结果，即焊缝缺陷预测结果，可以根据焊缝缺陷预测结果和前述的标签来评估识别模型预测的准确性，从而对模型的参数进行更新。在本实施例中，模型预测结果的准确性可以通过损失函数(LossFunction)来衡量，损失函数是定义在单个训练数据上的，用于衡量一个训练数据的预测误差，具体是通过单个训练数据的标签和模型对该训练数据的预测结果确定该训练数据的损失值。而实际训练时，一个训练数据集有很多训练数据，因此一般采用代价函数(CostFunction)来衡量训练数据集的整体误差，代价函数是定义在整个训练数据集上的，用于计算所有训练数据的预测误差的平均值，能够更好地衡量出模型的预测效果。对于一般的机器学习模型来说，基于前述的代价函数，再加上衡量模型复杂度的正则项即可作为训练的目标函数，基于该目标函数便能求出整个训练数据集的损失值。常用的损失函数种类有很多，例如0-1损失函数、平方损失函数、绝对损失函数、对数损失函数、交叉熵损失函数等均可以作为机器学习模型的损失函数，在此不再一一阐述。本申请实施例中，可以从中任选一种损失函数来确定训练的损失值。基于训练的损失值，采用反向传播算法对模型的参数进行更新，迭代几轮即可得到训练好的焊缝检测模型。迭代轮数可以预先设定，或者在测试集达到精度要求时认为训练完成。本申请实施例中，可以基于RandLA-Net等深度学习网络搭建焊缝检测模型。
另一方面，本发明实施例还提供一种基于深度学习的焊缝检测系统，包括：
第一模块，用于获取焊缝的深度图像和反射图像，其中，深度图像的每一个像素的深度信息用于表征被拍摄位置到光线接收部件之间的距离，反射图像的每一个像素的光线反射信息用于表征被拍摄位置对光线的反射能力；
第二模块，用于合成深度图像和反射图像得到第一焊缝合成图像；
第三模块，用于将第一焊缝合成图像输入基于深度学习算法构建的焊缝检测模型，得到焊缝检测结果。
可以理解的是，上述基于深度学习的焊缝检测方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述基于深度学习的焊缝检测方法实施例相同，并且达到的有益效果与上述基于深度学习的焊缝检测方法实施例所达到的有益效果也相同。
参照图2，图2是本发明一个实施例提供的基于深度学习的焊缝检测装置的示意图。本发明实施例的基于深度学习的焊缝检测装置包括一个或多个控制处理器和存储器，图2中以一个控制处理器及一个存储器为例。
控制处理器和存储器可以通过总线或者其他方式连接，图2中以通过总线连接为例。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于控制处理器远程设置的存储器，这些远程存储器可以通过网络连接至该基于深度学习的焊缝检测装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本领域技术人员可以理解，图2中示出的装置结构并不构成对基于深度学习的焊缝检测装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
实现上述实施例中应用于基于深度学习的焊缝检测装置的基于深度学习的焊缝检测方法所需的非暂态软件程序以及指令存储在存储器中，当被控制处理器执行时，执行上述实施例中应用于基于深度学习的焊缝检测装置的基于深度学习的焊缝检测方法。
此外，本发明的一个实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个控制处理器执行，可使得上述一个或多个控制处理器执行上述方法实施例中的基于深度学习的焊缝检测方法。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。
Claims (7)
1.一种基于深度学习的焊缝检测方法，其特征在于，包括以下步骤：
获取焊缝的深度图像和反射图像，其中，所述深度图像的每一个像素的深度信息用于表征被拍摄位置到光线接收部件之间的距离，所述反射图像的每一个像素的光线反射信息用于表征被拍摄位置对光线的反射能力；
合成所述深度图像和所述反射图像得到第一焊缝合成图像；
当所述第一焊缝合成图像的宽度大于高度，则根据所述第一焊缝合成图像的高度和所述焊缝检测模型的预设输入高度确定缩放比例；
当所述第一焊缝合成图像的宽度小于高度，则根据所述第一焊缝合成图像的宽度和所述焊缝检测模型的预设输入宽度确定缩放比例；
根据所述缩放比例对所述第一焊缝合成图像进行缩放，得到焊缝整体图像；
根据焊缝检测模型的预设宽高比，将所述焊缝整体图像裁剪成多张待检测图像；
将所述待检测图像输入所述焊缝检测模型，得到焊缝检测结果，其中，所述焊缝检测结果包括所述待检测图像中缺陷位置的第一坐标；
按照位置顺序对裁剪后的多张所述待检测图像进行编号，得到每一张待检测图像的序号；
根据所述缩放比例和所述第一焊缝合成图像的参考坐标，确定缩放逆推矩阵；
根据输入所述焊缝检测模型的所述待检测图像的序号和检测到的所述第一坐标，确定所述缺陷位置在所述焊缝整体图像中的第二坐标；
根据所述第二坐标和所述缩放逆推矩阵，确定所述缺陷位置在所述第一焊缝合成图像中的第三坐标。
2.根据权利要求1所述的基于深度学习的焊缝检测方法，其特征在于，所述深度图像和所述反射图像由图像采集装置获得，所述图像采集装置包括处理部件和光线接收部件，所述处理部件用于通过光线接收部件接收到光线并基于激光三角法确定深度信息，通过光线接收部件接收到光线强度确定光线反射信息，其中，所述深度图像与所述反射图像具有相同的规格信息。
3.根据权利要求2所述的基于深度学习的焊缝检测方法，其特征在于，所述合成所述深度图像和所述反射图像得到第一焊缝合成图像包括以下步骤：
根据所述规格信息创建空白图像；
将所述深度图像的每一个像素的深度信息对应填充到所述空白图像的第一通道中；
将所述反射图像的每一个像素的光线反射信息对应填充到所述空白图像的第二通道中；
将第一通道和第二通道填充完成后的空白图像作为第一焊缝合成图像。
4.根据权利要求1所述的基于深度学习的焊缝检测方法，其特征在于，所述焊缝检测模型通过以下步骤获得：
初始化焊缝检测模型的参数；
获取多个图像样本，其中，所述图像样本包括第二焊缝合成图像和缺陷标志；
将所述第二焊缝合成图像输入深度学习网络，得到焊缝缺陷预测结果；
根据所述焊缝缺陷预测结果和所述缺陷标志确定损失值；
根据所述损失值更新所述焊缝检测模型的参数，得到训练后的焊缝检测模型。
5.一种基于深度学习的焊缝检测系统，其特征在于，包括：
第一模块，用于获取焊缝的深度图像和反射图像，其中，所述深度图像的每一个像素的深度信息用于表征被拍摄位置到光线接收部件之间的距离，所述反射图像的每一个像素的光线反射信息用于表征被拍摄位置对光线的反射能力；
第二模块，用于合成所述深度图像和所述反射图像得到第一焊缝合成图像；
第三模块，用于当所述第一焊缝合成图像的宽度大于高度，则根据所述第一焊缝合成图像的高度和所述焊缝检测模型的预设输入高度确定缩放比例；当所述第一焊缝合成图像的宽度小于高度，则根据所述第一焊缝合成图像的宽度和所述焊缝检测模型的预设输入宽度确定缩放比例；根据所述缩放比例对所述第一焊缝合成图像进行缩放，得到焊缝整体图像；根据焊缝检测模型的预设宽高比，将所述焊缝整体图像裁剪成多张待检测图像；将所述待检测图像输入所述焊缝检测模型，得到焊缝检测结果，其中，所述焊缝检测结果包括所述待检测图像中缺陷位置的第一坐标；按照位置顺序对裁剪后的多张所述待检测图像进行编号，得到每一张待检测图像的序号；根据所述缩放比例和所述第一焊缝合成图像的参考坐标，确定缩放逆推矩阵；根据输入所述焊缝检测模型的所述待检测图像的序号和检测到的所述第一坐标，确定所述缺陷位置在所述焊缝整体图像中的第二坐标；根据所述第二坐标和所述缩放逆推矩阵，确定所述缺陷位置在所述第一焊缝合成图像中的第三坐标。
6.一种基于深度学习的焊缝检测装置，其特征在于，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得至少一个所述处理器实现如权利要求1至4任一项所述的基于深度学习的焊缝检测方法。
7.一种计算机可读存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序被由所述处理器执行时用于实现如权利要求1至4任一项所述的基于深度学习的焊缝检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211604840.XA CN116385336B (zh) | 2022-12-14 | 2022-12-14 | 基于深度学习的焊缝检测方法、系统、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211604840.XA CN116385336B (zh) | 2022-12-14 | 2022-12-14 | 基于深度学习的焊缝检测方法、系统、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116385336A CN116385336A (zh) | 2023-07-04 |
| CN116385336B true CN116385336B (zh) | 2024-04-12 |
Family
ID=86967995
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211604840.XA Active CN116385336B (zh) | 2022-12-14 | 2022-12-14 | 基于深度学习的焊缝检测方法、系统、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116385336B (zh) |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101197044A (zh) * | 2006-12-06 | 2008-06-11 | 鸿富锦精密工业（深圳）有限公司 | 图像合成系统及方法 |
| CN104005325A (zh) * | 2014-06-17 | 2014-08-27 | 武汉武大卓越科技有限责任公司 | 基于深度和灰度图像的路面裂缝检测装置和方法 |
| RU2016140215A (ru) * | 2015-11-11 | 2018-06-26 | Лэ Холдингс (Бэйцзин) Ко., Лтд. | Способ, устройство и система для обработки изображений |
| CN108921846A (zh) * | 2018-07-17 | 2018-11-30 | 北京航空航天大学 | 一种基于灰度图像和深度图像结合的钢轨踏面缺陷识别方法 |
| CN109815800A (zh) * | 2018-12-17 | 2019-05-28 | 广东电网有限责任公司 | 基于回归算法的目标检测方法及系统 |
| CN109900706A (zh) * | 2019-03-20 | 2019-06-18 | 易思维（杭州）科技有限公司 | 一种基于深度学习的焊缝及焊缝缺陷检测方法 |
| CN110232315A (zh) * | 2019-04-29 | 2019-09-13 | 华为技术有限公司 | 目标检测方法和装置 |
| CN111476767A (zh) * | 2020-04-02 | 2020-07-31 | 南昌工程学院 | 一种基于异源图像融合的高铁扣件缺陷识别方法 |
| CN111951306A (zh) * | 2020-08-31 | 2020-11-17 | 华通科技有限公司 | 一种激光雷达与图像视频融合的目标检测方法 |
| CN112435198A (zh) * | 2020-12-03 | 2021-03-02 | 西安交通大学 | 一种焊缝射线检测底片图像增强方法、存储介质及设备 |
| CN113034478A (zh) * | 2021-03-31 | 2021-06-25 | 太原科技大学 | 一种基于深度学习网络的焊缝缺陷识别定位方法、系统 |
| CN113160176A (zh) * | 2021-04-23 | 2021-07-23 | 歌尔股份有限公司 | 缺陷检测方法和装置 |
| CN113808147A (zh) * | 2021-09-14 | 2021-12-17 | 北京航星永志科技有限公司 | 一种图像处理方法、装置、系统及计算机设备 |
| CN114596290A (zh) * | 2022-03-11 | 2022-06-07 | 腾讯科技（深圳）有限公司 | 缺陷检测方法及其装置、存储介质、程序产品 |
| CN115115680A (zh) * | 2022-06-08 | 2022-09-27 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、设备以及存储介质 |
-
2022
- 2022-12-14 CN CN202211604840.XA patent/CN116385336B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101197044A (zh) * | 2006-12-06 | 2008-06-11 | 鸿富锦精密工业（深圳）有限公司 | 图像合成系统及方法 |
| CN104005325A (zh) * | 2014-06-17 | 2014-08-27 | 武汉武大卓越科技有限责任公司 | 基于深度和灰度图像的路面裂缝检测装置和方法 |
| RU2016140215A (ru) * | 2015-11-11 | 2018-06-26 | Лэ Холдингс (Бэйцзин) Ко., Лтд. | Способ, устройство и система для обработки изображений |
| CN108921846A (zh) * | 2018-07-17 | 2018-11-30 | 北京航空航天大学 | 一种基于灰度图像和深度图像结合的钢轨踏面缺陷识别方法 |
| CN109815800A (zh) * | 2018-12-17 | 2019-05-28 | 广东电网有限责任公司 | 基于回归算法的目标检测方法及系统 |
| CN109900706A (zh) * | 2019-03-20 | 2019-06-18 | 易思维（杭州）科技有限公司 | 一种基于深度学习的焊缝及焊缝缺陷检测方法 |
| CN110232315A (zh) * | 2019-04-29 | 2019-09-13 | 华为技术有限公司 | 目标检测方法和装置 |
| CN111476767A (zh) * | 2020-04-02 | 2020-07-31 | 南昌工程学院 | 一种基于异源图像融合的高铁扣件缺陷识别方法 |
| CN111951306A (zh) * | 2020-08-31 | 2020-11-17 | 华通科技有限公司 | 一种激光雷达与图像视频融合的目标检测方法 |
| CN112435198A (zh) * | 2020-12-03 | 2021-03-02 | 西安交通大学 | 一种焊缝射线检测底片图像增强方法、存储介质及设备 |
| CN113034478A (zh) * | 2021-03-31 | 2021-06-25 | 太原科技大学 | 一种基于深度学习网络的焊缝缺陷识别定位方法、系统 |
| CN113160176A (zh) * | 2021-04-23 | 2021-07-23 | 歌尔股份有限公司 | 缺陷检测方法和装置 |
| CN113808147A (zh) * | 2021-09-14 | 2021-12-17 | 北京航星永志科技有限公司 | 一种图像处理方法、装置、系统及计算机设备 |
| CN114596290A (zh) * | 2022-03-11 | 2022-06-07 | 腾讯科技（深圳）有限公司 | 缺陷检测方法及其装置、存储介质、程序产品 |
| CN115115680A (zh) * | 2022-06-08 | 2022-09-27 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、设备以及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116385336A (zh) | 2023-07-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109949372B (zh) | 一种激光雷达与视觉联合标定方法 | |
| CN113936198B (zh) | 低线束激光雷达与相机融合方法、存储介质及装置 | |
| CN110135396B (zh) | 地面标志的识别方法、装置、设备及介质 | |
| CN111222395A (zh) | 目标检测方法、装置与电子设备 | |
| CN113807350A (zh) | 一种目标检测方法、装置、设备及存储介质 | |
| CN110853085B (zh) | 基于语义slam的建图方法和装置及电子设备 | |
| WO2023024443A1 (zh) | 数据匹配方法及装置、电子设备、存储介质和程序产品 | |
| CN110544268B (zh) | 一种基于结构光及SiamMask网络的多目标跟踪方法 | |
| CN112613387A (zh) | 一种基于YOLOv3的交通标志检测方法 | |
| WO2023155581A1 (zh) | 一种图像检测方法和装置 | |
| CN113030990A (zh) | 车辆的融合测距方法、装置、测距设备及介质 | |
| CN115187941A (zh) | 目标检测定位方法、系统、设备及存储介质 | |
| CN114419922A (zh) | 车位识别方法及装置 | |
| CN113793413A (zh) | 三维重建方法、装置、电子设备及存储介质 | |
| CN111401423B (zh) | 用于自动驾驶车辆的数据处理方法和装置 | |
| CN116385336B (zh) | 基于深度学习的焊缝检测方法、系统、装置及存储介质 | |
| CN117237681A (zh) | 图像处理方法、装置及相关设备 | |
| CN113763466A (zh) | 一种回环检测方法、装置、电子设备和存储介质 | |
| CN114359891A (zh) | 一种三维车辆检测方法、系统、装置及介质 | |
| CN114638947A (zh) | 数据标注方法、装置、电子设备及存储介质 | |
| US10896333B2 (en) | Method and device for aiding the navigation of a vehicle | |
| CN116452791B (zh) | 多相机点位的缺陷区域定位方法、系统、装置及存储介质 | |
| CN111754474A (zh) | 一种基于图像清晰度的能见度识别的方法及设备 | |
| CN112489240B (zh) | 一种商品陈列巡检方法、巡检机器人以及存储介质 | |
| US20220270371A1 (en) | Determining Distance of Objects |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |