CN107316298B - 一种焊接间隙的实时测量方法、装置及电子设备 - Google Patents

一种焊接间隙的实时测量方法、装置及电子设备 Download PDF

Info

Publication number
CN107316298B
CN107316298B CN201710558747.2A CN201710558747A CN107316298B CN 107316298 B CN107316298 B CN 107316298B CN 201710558747 A CN201710558747 A CN 201710558747A CN 107316298 B CN107316298 B CN 107316298B
Authority
CN
China
Prior art keywords
image
gap
welding
real
time measurement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710558747.2A
Other languages
English (en)
Other versions
CN107316298A (zh
Inventor
朱平民
戚骁亚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Deep Singularity Technology Co ltd
Original Assignee
Beijing Deep Singularity Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Deep Singularity Technology Co ltd filed Critical Beijing Deep Singularity Technology Co ltd
Priority to CN201710558747.2A priority Critical patent/CN107316298B/zh
Publication of CN107316298A publication Critical patent/CN107316298A/zh
Application granted granted Critical
Publication of CN107316298B publication Critical patent/CN107316298B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K37/00—Auxiliary devices or processes, not specially adapted to a procedure covered by only one of the preceding main groups
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30152—Solder

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Optics & Photonics (AREA)
  • Mechanical Engineering (AREA)
  • Quality & Reliability (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种焊接间隙的实时测量方法、装置及电子设备，涉及人工智能技术领域。本发明实施例的焊接间隙的实时测量方法包括：通过faster‑rcnn分类定位算法，确定焊接间隙图像中的间隙候选区；在所述间隙候选区内，基于多层神经网络，获得所述焊接间隙端点在所述图像上的坐标范围；对所述图像进行细直化处理，确定所述焊接间隙端点在所述图像上的精确坐标；基于所述精确坐标，测量所述焊接间隙的大小。通过本发明实施例的方案，能有效的解决目标对象的焊接间隙的实时测量问题。

Description

一种焊接间隙的实时测量方法、装置及电子设备
技术领域
本发明涉及人工智能领域，尤其涉及焊接机器人间隙实时测量的方案。
背景技术
随着人工智能的发展，机器视觉的应用越来越成熟。当前机器人的发展对工业发展起着至关重要的作用，在这个领域人工智能的应用还未成熟，近年来的无人机和无人驾驶车已有初步成效但离实际应用还差得远，而在工业机器人领域人工智能的成熟应用更少，现在的工业机器人都处于人机交互人机融合状态，远未达到完全脱离人的状态。对于机器人应用领域来说，使用人工智能来实时检测间隙是一个创新的尝试。
发明人在实现本发明的过程中发现，目前对于焊接机器人间隙测量使用的多为机器视觉处理方面的算法，譬如houghf等直线检测算法。这类算法的优点是测量精度高速度稍快，缺点是效果不稳定，尤其是在进行实际焊接过程中，焊接弧光对视觉成像有不小的影响，此时的直线检测算法常常失效，从而导致焊接品质的下降。
因此，亟需一种针对焊接机器人间隙实时测量的解决方案。
发明内容
有鉴于此，本发明实施例提供了一种焊接间隙的实时测量方法、装置及电子设备，至少部分的解决现有技术中存在的问题。
第一方面，本发明实施例提供了一种焊接间隙的实时测量方法，包括：
通过faster-rcnn分类定位算法，确定焊接间隙图像中的间隙候选区；
在所述间隙候选区内，基于多层神经网络，获得所述焊接间隙端点在所述图像上的坐标范围；
对所述图像进行细直化处理，确定所述焊接间隙端点在所述图像上的精确坐标；
基于所述精确坐标，测量所述焊接间隙的大小。
根据本发明实施例的一种具体实现方式，所述通过faster-rcnn分类定位算法，确定焊接间隙图像中的间隙候选区，包括：
使用ZF网络结构的预训练模型，将所述焊接间隙图像分类为第一前景类图像、第二前景类图像和背景类图像，其中所述第一前景类图像为包含两条焊线的图像，所述第二前景类图像为包含三条焊线的图像，所述背景类图像为不包含焊线的图像。
根据本发明实施例的一种具体实现方式，在所述获得所述焊接间隙端点在所述图像上的坐标范围之后，所述方法还包括：
基于所述坐标范围，通过直线模拟的方式形成所述焊接间隙图像的掩膜图。
根据本发明实施例的一种具体实现方式，所述方法还包括：
将包含间隙候选区的图像与所述掩膜图进行比较；
基于所述比较结果，确定所述焊接间隙图像是否存在干扰，并获得排除干扰的间隙图像。
根据本发明实施例的一种具体实现方式，所述对所述图像进行细直化处理，包括：
通过判断所述图像中白点局部邻域的关系，来获得1个像素点宽的线条图。
根据本发明实施例的一种具体实现方式，所述对所述图像进行细直化处理，还包括：
将所述图像上的白线中每一点作为基本样点；
基于预设的参数和条件，对所述基本样点进行聚类处理；
基于聚类处理的结果，对所述白线中的每个点的归属进行判别，明确每个点属于哪条线。
根据本发明实施例的一种具体实现方式，所述方法包括：
对所述两条直线进行如下直线评估：
Figure GDA0002381191110000021
其中
Figure GDA0002381191110000022
r表示直线拟合程度，xi，yi表示某一个白点坐标，n表示白点的数量。
根据本发明实施例的一种具体实现方式，所述方法还包括：
将所述评估后的两条直线作为焊接线的代表直线，通过计算所述代表直线的端点坐标，进而获得所述焊接间隙。
第二方面，本发明实施例还提供了一种焊接间隙的实时测量装置，包括：
第一确定模块，用于通过faster-rcnn分类定位算法，确定焊接间隙图像中的间隙候选区；
获得模块，用于在所述间隙候选区内，基于多层神经网络，获得所述焊接间隙端点在所述图像上的坐标范围；
第二确定模块，用于对所述图像进行细直化处理，确定所述焊接间隙端点在所述图像上的精确坐标；
测量模块，用于基于所述精确坐标，测量所述焊接间隙的大小。
第三方面，本发明实施例还提供了一种电子设备，该电子设备包括：
至少一个处理器；以及，
与该至少一个处理器通信连接的存储器；其中，
该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行前述任第一方面或第一方面的任一实现方式中的焊接间隙的实时测量方法。
第四方面，本发明实施例还提供了一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机指令，该计算机指令用于使该计算机执行前述第一方面或第一方面的任一实现方式中的焊接间隙的实时测量方法。
第五方面，本发明实施例还提供了一种计算机程序产品，该计算机程序产品包括存储在非暂态计算机可读存储介质上的计算程序，该计算机程序包括程序指令，当该程序指令被计算机执行时，使该计算机执行前述第一方面或第一方面的任一实现方式中的焊接间隙的实时测量方法。
本发明实施例提供的焊接间隙的实时测量方法、装置、电子设备、非暂态计算机可读存储介质及计算机程序，通过faster-rcnn找到存在间隙的候选区域，然后在候选区域融合mlp(多层神经网络)和机器视觉处理的算法来精确定位焊接间隙的位置。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的一种焊接间隙的实时测量方法的流程示意图；
图2为本发明实施例提供的另一种焊接间隙的实时测量方法的流程示意图；
图3为本发明实施例提供的另一种焊接间隙的实时测量方法的流程示意图；
图4为本发明实施例提供的一种焊接间隙的实时测量配套装置的示意图；
图5为本发明实施例提供的一种电子设备的示意图。
具体实施方式
下面结合附图对本发明实施例进行详细描述。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
参照图1，本发明实施例提供的一种焊接间隙的实时测量方法包括：
S101，通过faster-rcnn分类定位算法，确定焊接间隙图像中的间隙候选区。
焊接图像的原始图像可以选择为分辨率480*640的单通道灰度图，为CCD成像图，图中白线为激光线打在板材上的红线。
为了确定焊接间隙图像中的间隙候选区，可以采用faster-rcnn算法。具体的，在训练过程中使用ZF网络结构的预训练模型，分类为两个前景类图像和一个背景类图像。前景图为比较规则的，包含两条或三条焊线的图像，而背景类图像则为不包含焊线的图像。前景类图像可以继续使用，而背景类图像舍弃掉。其中一个前景类图像为包含三条白色焊线的图像，另外一个前景类图像为不包含三条焊线的图像。
faster-rcnn算法模块，无法获得间隙端点坐标低于2个像素点误差的位置信息。因此该模块的输出不能作为最终的输出，而只能作为间隙的候选区。
在原始图像集通过faster-rcnn得到的间隙候选区，要求其漏报率远低于千分之一。该间隙候选区有两类，对应着前面的两个前景类。
S102，在所述间隙候选区内，基于多层神经网络，获得所述焊接间隙端点在所述图像上的坐标范围。
该输入是个分辨率为120*120的间隙候选图，输出是间隙端点坐标值。
该算法模块的隐层有两层，第一个隐层6000个神经元，第二个隐层60个神经元，激活函数为thanh。该算法的输出层一共8个，共代表这四个坐标点。优化算法选择adadelta。该算法模块的初始化方法选择gaussian。
经过这个模块得出的结果坐标精度误差为：平均偏差小于2个像素。
通过mlp算法模块得到间隙端点坐标后，由于神经网络的误差具有随机性，不能精确的给出间隙端点坐标，因此这里使用mlp得到的间隙端点坐标的20*20邻域，我们认为在这个邻域中包含着绝大部分的间隙端点。
在步骤S102之后，可选的，该方法还可以包含如下步骤S201-S203：
S201，基于所述坐标范围，通过直线模拟的方式形成所述焊接间隙图像的掩膜图。
具体的，在获取了邻域中包含的绝大部分的间隙端点后，直接通过四个端点模拟出直线。通过步骤S102的范围性的端点坐标，可以模拟画出比较粗的直线，这些粗的直线作为直线范围的掩模图。
S202，将包含间隙候选区的图像与所述掩膜图进行比较。
通过步骤S201中的直线范围掩模图和步骤S102中的间隙候选区这两个图，把这两个图取交集部分作为筛选的间隙图。
S203，基于所述比较结果，确定所述焊接间隙图像是否存在干扰，并获得排除干扰的间隙图像。
经过步骤S202操作得到的图片，可以排除绝大部分弧光干扰，因此可看成是排除干扰的间隙图。
S103，对所述图像进行细直化处理，确定所述焊接间隙端点在所述图像上的精确坐标通过判断白点局部领域的关系来判断该白点是否保留。
使用经典的骨架算法对图像进行处理，经过骨架算法后得到细化图。这个细化图是1个像素点的细线。这个细线少量情况下会有分叉。
除此之外，还可以采用Kmeans聚类算法对图像进行处理，包括如下步骤S301-S303：
S301，将所述图像上的白线中每一点作为基本样点。
S302，基于预设的参数和条件，对所述基本样点进行聚类处理。
S303，基于聚类处理的结果，对所述白线中的每个点的归属进行判别，明确每个点属于哪条线。
具体的，原始的kmeans是聚类算法，是不能直接找直线的。要使得kmeans具备找两条直线的功能，需要如下变化：图像上的白线中每一点作为kmeans的基本样点，设置聚类数为2，终止条件将与计算好的直线的距离作为判断依据，即随机一个点，改点属于哪一条直线取决于改点离那条直线近，当点归属完毕后，会对每个点集计算新的直线，这两条直线将在下一次点集划分时起作用，直到直线的变动趋于稳定为止。
经过上述步骤，会获得两条直线，并计算出直线方程。从排除干扰的间隙图中获取每个白点，通过白点与直线方程的距离来判断白点属于哪条直线。对于每一条直线的白点集合，通过下述方程来得到直线的评估：
Figure GDA0002381191110000071
其中
Figure GDA0002381191110000072
r表示直线拟合程度，r的范围是[-1,1],当|r|趋于1时，表示直线拟合好，而趋于0时表示直线拟合不够好。xi，yi表示某一个白点坐标，n表示白点的数量。
由此，可以确定两图直线段，从而得到直线图。针对该直线图，经过连通域分析，这样能够得到精确的端点位置，并能够得到精确的直线斜率。
进一步的，能够取间隙精确的端点坐标位置，通常来讲，可以是4个端点坐标，8个值。最终坐标偏差在1个像素点左右，一致偏差。
S104，基于所述精确坐标，测量所述焊接间隙的大小。
图4为本发明实施例提供的一种焊接间隙的实时测量的配套装置，包括：
辅助成像模块，所述辅助成像模块用于焊接机器人焊枪处，使的焊接的板材上出现红色线条；
成像模块，所述成像模块用于实时拍摄焊接板材上的红色线条，形成焊接激光图，所述焊接激光图为单通道图，所述焊接激光图包括表示红色线条或者弧光的白色区域，以及用于表示背景的黑色区域；
机器人控制模块，所述机器人控制模块包括焊接机器人机体部分、焊丝部分、氩气和二氧化碳混合气体部分、机器人控制柜部分以及机器人示教器部分。
算法服务器模块，所述算法服务器模块根据所述成像模块获取的图片，计算出焊接间隙值，并将该值返回给机器人；
通信模块，所述通信模块包括硬件子模块和软件子模块，所述硬件子模块包括交换机、通信网线，所述软件子模块用于支持扫描仪与机器人的网络通信、机器人与算法服务器的网络通信。
可选的，所述辅助成像模块可以采用激光仪器，在焊接机器人焊枪处使用激光仪器，该激光仪器在焊接的板材上出现红色线条。
可选的，成像模块可以采用CCD扫描仪，在焊接机器人焊枪处使用CCD扫描仪，该扫描仪实时拍摄焊接板材上的红色线条，最终形成焊接激光图，该焊接激光图为单通道图，该激光图的白色区域为红色线条或者弧光，黑色区域为其他背景，背景包括板材或者其他实物。
图5示出了本发明实施例提供的电子设备50的结构示意图，电子设备50包括至少一个处理器501(例如CPU)，至少一个输入输出接口504，存储器502，和至少一个通信总线503，用于实现这些部件之间的连接通信。至少一个处理器501用于执行存储器502中存储的计算机指令，以使所述至少一个处理器501能够执行前述任一焊接间隙的实时测量方法的实施例。存储器502为非暂态存储器(non-transitory memory)，其可以包含易失性存储器，例如高速随机存取存储器(RAM：Random Access Memory)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个输入输出接口504(可以是有线或者无线通信接口)实现与至少一个其他设备或单元之间的通信连接。
在一些实施方式中，存储器502存储了程序5021，处理器501执行程序5021，用于执行前述任一焊接间隙的实时测量方法实施例中的内容。
该电子设备可以以多种形式存在，包括但不限于：
(1)移动通信设备：这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括：智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。
(2)超移动个人计算机设备：这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括：PDA、MID和UMPC设备等，例如iPad。
(3)便携式娱乐设备：这类设备可以显示和播放多媒体内容。该类设备包括：音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
(4)特定服务器：提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。示例性的，该服务器可以是如下配置：Cpu model name:Intel(R)Croe(TM)i5-6400 CPU@2.7GHz，Cpu MHz:2199.972，Cpu cores:4内存：8G，硬盘：120G ssd，显卡：nvidia GTX1060显存6G，软件配置：操作系统64位，操作系统64位ubuntu14.04,opencv2.4.8,caffe1.0.0及其依赖库。
(5)其他具有数据交互功能的电子设备。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。
在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (7)

1.一种焊接间隙的实时测量方法，其特征在于，包括：
通过faster-rcnn分类定位算法，确定焊接间隙图像中的间隙候选区；
在所述间隙候选区内，基于多层神经网络，获得所述焊接间隙端点在所述图像上的坐标范围；
对所述图像进行细直化处理，确定所述焊接间隙端点在所述图像上的精确坐标；
基于所述精确坐标，测量所述焊接间隙的大小；
其中，对所述图像进行细直化处理，包括：
通过判断所述图像中白点局部邻域的关系，来获得1个像素点宽的线条图；
将所述图像上的白线中每一点作为基本样点；
基于预设的参数和条件，对所述基本样点进行聚类处理；
基于聚类处理的结果，对所述白线中的每个点的归属进行判别，明确每个点属于哪条线，最终获得包含两条直线的焊接图像。
2.根据权利要求1所述的焊接间隙的实时测量方法，其特征在于，所述通过faster-rcnn分类定位算法，确定焊接间隙图像中的间隙候选区，包括：
使用ZF网络结构的预训练模型，将所述焊接间隙图像分类为第一前景类图像、第二前景类图像和背景类图像，其中所述第一前景类图像为包含两条焊线的图像，所述第二前景类图像为包含三条焊线的图像，所述背景类图像为不包含焊线的图像。
3.根据权利要求1所述的焊接间隙的实时测量方法，其特征在于，在所述获得所述焊接间隙端点在所述图像上的坐标范围之后，所述方法还包括：
基于所述坐标范围，通过直线模拟的方式形成所述焊接间隙图像的掩膜图。
4.根据权利要求3所述的焊接间隙的实时测量方法，其特征在于，所述方法还包括：
将包含间隙候选区的图像与所述掩膜图进行比较；
基于所述比较结果，确定所述焊接间隙图像是否存在干扰，并获得排除干扰的间隙图像。
5.根据权利要求1所述的焊接间隙的实时测量方法，其特征在于，所述方法包括：
对两条直线进行如下直线评估：
Figure FDA0002381191100000021
其中
Figure FDA0002381191100000022
r表示直线拟合程度，xi，yi表示某一个白点坐标，n表示白点的数量。
6.根据权利要求5所述的焊接间隙的实时测量方法，其特征在于，所述方法还包括：
将所述评估后的两条直线作为焊接线的代表直线，通过计算所述代表直线的端点坐标，进而获得所述焊接间隙。
7.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述权利要求1-6任一项所述的焊接间隙的实时测量方法。
CN201710558747.2A 2017-07-10 2017-07-10 一种焊接间隙的实时测量方法、装置及电子设备 Active CN107316298B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710558747.2A CN107316298B (zh) 2017-07-10 2017-07-10 一种焊接间隙的实时测量方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710558747.2A CN107316298B (zh) 2017-07-10 2017-07-10 一种焊接间隙的实时测量方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN107316298A CN107316298A (zh) 2017-11-03
CN107316298B true CN107316298B (zh) 2020-06-02

Family

ID=60178608

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710558747.2A Active CN107316298B (zh) 2017-07-10 2017-07-10 一种焊接间隙的实时测量方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN107316298B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108257180B (zh) * 2018-02-07 2023-08-04 北京深度奇点科技有限公司 焊接间隙定位方法和装置
CN109903279B (zh) * 2019-02-25 2022-11-18 北京深度奇点科技有限公司 焊缝运动轨迹的自动示教方法和装置
TWI717106B (zh) 2019-11-18 2021-01-21 財團法人工業技術研究院 銲接品質檢測系統與方法
CN114749907B (zh) * 2022-06-16 2022-10-25 成都飞机工业（集团）有限责任公司 一种航空发动机与散热器的对合状态预先检查装置及方法
WO2024036515A1 (zh) * 2022-08-17 2024-02-22 京东方科技集团股份有限公司 距离测量方法与距离测量装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103500321A (zh) * 2013-07-03 2014-01-08 无锡信捷电气股份有限公司 基于双动态窗的视觉引导焊接机器人焊缝快速识别技术
CN105081627A (zh) * 2015-08-13 2015-11-25 北人机器人系统（苏州）有限公司 基于双线激光测量系统的焊缝测量方法
CN105588845A (zh) * 2016-01-04 2016-05-18 江苏科技大学 一种焊接缺陷特征参数提取方法
CN105891215A (zh) * 2016-03-31 2016-08-24 浙江工业大学 基于卷积神经网络的焊接视觉检测方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6885793B2 (en) * 2003-06-10 2005-04-26 Spectra Physics, Inc Cleaving laser diode bars having gratings

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103500321A (zh) * 2013-07-03 2014-01-08 无锡信捷电气股份有限公司 基于双动态窗的视觉引导焊接机器人焊缝快速识别技术
CN105081627A (zh) * 2015-08-13 2015-11-25 北人机器人系统（苏州）有限公司 基于双线激光测量系统的焊缝测量方法
CN105588845A (zh) * 2016-01-04 2016-05-18 江苏科技大学 一种焊接缺陷特征参数提取方法
CN105891215A (zh) * 2016-03-31 2016-08-24 浙江工业大学 基于卷积神经网络的焊接视觉检测方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Weld seam detection and feature extraction based on laser vision;Xiuping Wang等;《Proceedings of the 33rd Chinese Control Conference》;20140730;全文 *
基于OpenCV焊缝视觉跟踪图像处理的研究;徐自越;《中国优秀硕士学位论文全文数据库 信息科技辑》;20121015;I138-2603 *

Also Published As

Publication number Publication date
CN107316298A (zh) 2017-11-03

Similar Documents

Publication Publication Date Title
CN107316298B (zh) 一种焊接间隙的实时测量方法、装置及电子设备
JP6842520B2 (ja) 物体検出方法、装置、機器、記憶媒体及び車両
CN109087510B (zh) 交通监测方法及装置
KR20210097762A (ko) 이미지 처리 방법, 장치 및 디바이스, 및 저장 매체
WO2016127736A1 (zh) 指纹重叠区域面积的计算方法及电子装置
CN110070551B (zh) 视频图像的渲染方法、装置和电子设备
JP2021103555A (ja) 画像検出方法、装置、電子設備、記憶媒体、及びプログラム
CN112115820B (zh) 车载辅助驾驶方法及装置、计算机装置及可读存储介质
CN110853488B (zh) 一种poi标签显示方法、装置和设备
CN113177497B (zh) 视觉模型的训练方法、车辆识别方法及装置
CN113030990A (zh) 车辆的融合测距方法、装置、测距设备及介质
CN112991459A (zh) 一种相机标定方法、装置、设备以及存储介质
CN108960012A (zh) 特征点检测方法、装置及电子设备
CN115861667A (zh) 自注意力多尺度金字塔双目立体匹配方法及电子设备
CN115471439A (zh) 显示面板缺陷的识别方法、装置、电子设备及存储介质
CN115661592B (zh) 焊缝识别方法、装置、计算机设备及存储介质
CN112630736B (zh) 路侧雷达的参数确定方法、装置、设备及存储介质
CN114429631B (zh) 三维对象检测方法、装置、设备以及存储介质
CN113808192B (zh) 一种户型图生成方法、装置、设备及存储介质
CN108268813B (zh) 一种车道偏离预警方法、装置及电子设备
CN114842228A (zh) 散斑图分区方法、装置、设备及介质
CN111401285B (zh) 目标跟踪方法、装置及电子设备
CN112560853B (zh) 图像处理的方法、装置及存储介质
CN114510996A (zh) 基于视频的车辆匹配方法、装置、电子设备及存储介质
CN113822179A (zh) 阻车器位置的检测方法、装置、电子设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant