CN107316298A - 一种焊接间隙的实时测量方法、装置及电子设备 - Google Patents

一种焊接间隙的实时测量方法、装置及电子设备 Download PDF

Info

Publication number
CN107316298A
CN107316298A CN201710558747.2A CN201710558747A CN107316298A CN 107316298 A CN107316298 A CN 107316298A CN 201710558747 A CN201710558747 A CN 201710558747A CN 107316298 A CN107316298 A CN 107316298A
Authority
CN
China
Prior art keywords
image
welded gaps
real
time measurement
welded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710558747.2A
Other languages
English (en)
Other versions
CN107316298B (zh
Inventor
朱平民
戚骁亚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Depth Singularity Technology Co Ltd
Original Assignee
Beijing Depth Singularity Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Depth Singularity Technology Co Ltd filed Critical Beijing Depth Singularity Technology Co Ltd
Priority to CN201710558747.2A priority Critical patent/CN107316298B/zh
Publication of CN107316298A publication Critical patent/CN107316298A/zh
Application granted granted Critical
Publication of CN107316298B publication Critical patent/CN107316298B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K37/00—Auxiliary devices or processes, not specially adapted to a procedure covered by only one of the preceding main groups
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30152—Solder

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Optics & Photonics (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明实施例公开了一种焊接间隙的实时测量方法、装置及电子设备，涉及人工智能技术领域。本发明实施例的焊接间隙的实时测量方法包括：通过faster‑rcnn分类定位算法，确定焊接间隙图像中的间隙候选区；在所述间隙候选区内，基于多层神经网络，获得所述焊接间隙端点在所述图像上的坐标范围；对所述图像进行细直化处理，确定所述焊接间隙端点在所述图像上的精确坐标；基于所述精确坐标，测量所述焊接间隙的大小。通过本发明实施例的方案，能有效的解决目标对象的焊接间隙的实时测量问题。

Description

一种焊接间隙的实时测量方法、装置及电子设备
技术领域
本发明涉及人工智能领域，尤其涉及焊接机器人间隙实时测量的方案。
背景技术
随着人工智能的发展，机器视觉的应用越来越成熟。当前机器人的发展对工业发展起着至关重要的作用，在这个领域人工智能的应用还未成熟，近年来的无人机和无人驾驶车已有初步成效但离实际应用还差得远，而在工业机器人领域人工智能的成熟应用更少，现在的工业机器人都处于人机交互人机融合状态，远未达到完全脱离人的状态。对于机器人应用领域来说，使用人工智能来实时检测间隙是一个创新的尝试。
发明人在实现本发明的过程中发现，目前对于焊接机器人间隙测量使用的多为机器视觉处理方面的算法，譬如houghf等直线检测算法。这类算法的优点是测量精度高速度稍快，缺点是效果不稳定，尤其是在进行实际焊接过程中，焊接弧光对视觉成像有不小的影响，此时的直线检测算法常常失效，从而导致焊接品质的下降。
因此，亟需一种针对焊接机器人间隙实时测量的解决方案。
发明内容
有鉴于此，本发明实施例提供了一种焊接间隙的实时测量方法、装置及电子设备，至少部分的解决现有技术中存在的问题。
第一方面，本发明实施例提供了一种焊接间隙的实时测量方法，包括：
通过faster-rcnn分类定位算法，确定焊接间隙图像中的间隙候选区；
在所述间隙候选区内，基于多层神经网络，获得所述焊接间隙端点在所述图像上的坐标范围；
对所述图像进行细直化处理，确定所述焊接间隙端点在所述图像上的精确坐标；
基于所述精确坐标，测量所述焊接间隙的大小。
根据本发明实施例的一种具体实现方式，所述通过faster-rcnn分类定位算法，确定焊接间隙图像中的间隙候选区，包括：
使用ZF网络结构的预训练模型，将所述焊接间隙图像分类为第一前景类图像、第二前景类图像和背景类图像，其中所述第一前景类图像为包含两条焊线的图像，所述第二前景类图像为包含三条焊线的图像，所述背景类图像为不包含焊线的图像。
根据本发明实施例的一种具体实现方式，在所述获得所述焊接间隙端点在所述图像上的坐标范围之后，所述方法还包括：
基于所述坐标范围，通过直线模拟的方式形成所述焊接间隙图像的掩膜图。
根据本发明实施例的一种具体实现方式，所述方法还包括：
将包含间隙候选区的图像与所述掩膜图进行比较；
基于所述比较结果，确定所述焊接间隙图像是否存在干扰，并获得排除干扰的间隙图像。
根据本发明实施例的一种具体实现方式，所述对所述图像进行细直化处理，包括：
通过判断所述图像中白点局部邻域的关系，来获得1个像素点宽的线条图。
根据本发明实施例的一种具体实现方式，所述对所述图像进行细直化处理，还包括：
将所述图像上的白线中每一点作为基本样点；
基于预设的参数和条件，对所述基本样点进行聚类处理；
基于聚类处理的结果，对所述白线中的每个点的归属进行判别，明确每个点属于哪条线。
根据本发明实施例的一种具体实现方式，所述方法包括：
对所述两条直线进行如下直线评估：
其中
r表示直线拟合程度，xi，yi表示某一个白点坐标，n表示白点的数量。
根据本发明实施例的一种具体实现方式，所述方法还包括：
将所述评估后的两条直线作为焊接线的代表直线，通过计算所述代表直线的端点坐标，进而获得所述焊接间隙。
第二方面，本发明实施例还提供了一种焊接间隙的实时测量装置，包括：
第一确定模块，用于通过faster-rcnn分类定位算法，确定焊接间隙图像中的间隙候选区；
获得模块，用于在所述间隙候选区内，基于多层神经网络，获得所述焊接间隙端点在所述图像上的坐标范围；
第二确定模块，用于对所述图像进行细直化处理，确定所述焊接间隙端点在所述图像上的精确坐标；
测量模块，用于基于所述精确坐标，测量所述焊接间隙的大小。
第三方面，本发明实施例还提供了一种电子设备，该电子设备包括：
至少一个处理器；以及，
与该至少一个处理器通信连接的存储器；其中，
该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行前述任第一方面或第一方面的任一实现方式中的焊接间隙的实时测量方法。
第四方面，本发明实施例还提供了一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机指令，该计算机指令用于使该计算机执行前述第一方面或第一方面的任一实现方式中的焊接间隙的实时测量方法。
第五方面，本发明实施例还提供了一种计算机程序产品，该计算机程序产品包括存储在非暂态计算机可读存储介质上的计算程序，该计算机程序包括程序指令，当该程序指令被计算机执行时，使该计算机执行前述第一方面或第一方面的任一实现方式中的焊接间隙的实时测量方法。
本发明实施例提供的焊接间隙的实时测量方法、装置、电子设备、非暂态计算机可读存储介质及计算机程序，通过faster-rcnn找到存在间隙的候选区域，然后在候选区域融合mlp(多层神经网络)和机器视觉处理的算法来精确定位焊接间隙的位置。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的一种焊接间隙的实时测量方法的流程示意图；
图2为本发明实施例提供的另一种焊接间隙的实时测量方法的流程示意图；
图3为本发明实施例提供的另一种焊接间隙的实时测量方法的流程示意图；
图4为本发明实施例提供的一种焊接间隙的实时测量配套装置的示意图；
图5为本发明实施例提供的一种电子设备的示意图。
具体实施方式
下面结合附图对本发明实施例进行详细描述。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
参照图1，本发明实施例提供的一种焊接间隙的实时测量方法包括：
S101，通过faster-rcnn分类定位算法，确定焊接间隙图像中的间隙候选区。
焊接图像的原始图像可以选择为分辨率480*640的单通道灰度图，为CCD成像图，图中白线为激光线打在板材上的红线。
为了确定焊接间隙图像中的间隙候选区，可以采用faster-rcnn算法。具体的，在训练过程中使用ZF网络结构的预训练模型，分类为两个前景类图像和一个背景类图像。前景图为比较规则的，包含两条或三条焊线的图像，而背景类图像则为不包含焊线的图像。前景类图像可以继续使用，而背景类图像舍弃掉。其中一个前景类图像为包含三条白色焊线的图像，另外一个前景类图像为不包含三条焊线的图像。
faster-rcnn算法模块，无法获得间隙端点坐标低于2个像素点误差的位置信息。因此该模块的输出不能作为最终的输出，而只能作为间隙的候选区。
在原始图像集通过faster-rcnn得到的间隙候选区，要求其漏报率远低于千分之一。该间隙候选区有两类，对应着前面的两个前景类。
S102，在所述间隙候选区内，基于多层神经网络，获得所述焊接间隙端点在所述图像上的坐标范围。
该输入是个分辨率为120*120的间隙候选图，输出是间隙端点坐标值。
该算法模块的隐层有两层，第一个隐层6000个神经元，第二个隐层60个神经元，激活函数为thanh。该算法的输出层一共8个，共代表这四个坐标点。优化算法选择adadelta。该算法模块的初始化方法选择gaussian。
经过这个模块得出的结果坐标精度误差为：平均偏差小于2个像素。
通过mlp算法模块得到间隙端点坐标后，由于神经网络的误差具有随机性，不能精确的给出间隙端点坐标，因此这里使用mlp得到的间隙端点坐标的20*20邻域，我们认为在这个邻域中包含着绝大部分的间隙端点。
在步骤S102之后，可选的，该方法还可以包含如下步骤S201-S203：
S201，基于所述坐标范围，通过直线模拟的方式形成所述焊接间隙图像的掩膜图。
具体的，在获取了邻域中包含的绝大部分的间隙端点后，直接通过四个端点模拟出直线。通过步骤S102的范围性的端点坐标，可以模拟画出比较粗的直线，这些粗的直线作为直线范围的掩模图。
S202，将包含间隙候选区的图像与所述掩膜图进行比较。
通过步骤S201中的直线范围掩模图和步骤S102中的间隙候选区这两个图，把这两个图取交集部分作为筛选的间隙图。
S203，基于所述比较结果，确定所述焊接间隙图像是否存在干扰，并获得排除干扰的间隙图像。
经过步骤S202操作得到的图片，可以排除绝大部分弧光干扰，因此可看成是排除干扰的间隙图。
S103，对所述图像进行细直化处理，确定所述焊接间隙端点在所述图像上的精确坐标通过判断白点局部领域的关系来判断该白点是否保留。
使用经典的骨架算法对图像进行处理，经过骨架算法后得到细化图。这个细化图是1个像素点的细线。这个细线少量情况下会有分叉。
除此之外，还可以采用Kmeans聚类算法对图像进行处理，包括如下步骤S301-S303：
S301，将所述图像上的白线中每一点作为基本样点。
S302，基于预设的参数和条件，对所述基本样点进行聚类处理。
S303，基于聚类处理的结果，对所述白线中的每个点的归属进行判别，明确每个点属于哪条线。
具体的，原始的kmeans是聚类算法，是不能直接找直线的。要使得kmeans具备找两条直线的功能，需要如下变化：图像上的白线中每一点作为kmeans的基本样点，设置聚类数为2，终止条件将与计算好的直线的距离作为判断依据，即随机一个点，改点属于哪一条直线取决于改点离那条直线近，当点归属完毕后，会对每个点集计算新的直线，这两条直线将在下一次点集划分时起作用，直到直线的变动趋于稳定为止。
经过上述步骤，会获得两条直线，并计算出直线方程。从排除干扰的间隙图中获取每个白点，通过白点与直线方程的距离来判断白点属于哪条直线。对于每一条直线的白点集合，通过下述方程来得到直线的评估：
其中
r表示直线拟合程度，r的范围是[-1，1]，当|r|趋于1时，表示直线拟合好，而趋于0时表示直线拟合不够好。xi，yi表示某一个白点坐标，n表示白点的数量。
由此，可以确定两图直线段，从而得到直线图。针对该直线图，经过连通域分析，这样能够得到精确的端点位置，并能够得到精确的直线斜率。
进一步的，能够取间隙精确的端点坐标位置，通常来讲，可以是4个端点坐标，8个值。最终坐标偏差在1个像素点左右，一致偏差。
S104，基于所述精确坐标，测量所述焊接间隙的大小。
图4为本发明实施例提供的一种焊接间隙的实时测量的配套装置，包括：
辅助成像模块，所述辅助成像模块用于焊接机器人焊枪处，使的焊接的板材上出现红色线条；
成像模块，所述成像模块用于实时拍摄焊接板材上的红色线条，形成焊接激光图，所述焊接激光图为单通道图，所述焊接激光图包括表示红色线条或者弧光的白色区域，以及用于表示背景的黑色区域；
机器人控制模块，所述机器人控制模块包括焊接机器人机体部分、焊丝部分、氩气和二氧化碳混合气体部分、机器人控制柜部分以及机器人示教器部分。
算法服务器模块，所述算法服务器模块根据所述成像模块获取的图片，计算出焊接间隙值，并将该值返回给机器人；
通信模块，所述通信模块包括硬件子模块和软件子模块，所述硬件子模块包括交换机、通信网线，所述软件子模块用于支持扫描仪与机器人的网络通信、机器人与算法服务器的网络通信。
可选的，所述辅助成像模块可以采用激光仪器，在焊接机器人焊枪处使用激光仪器，该激光仪器在焊接的板材上出现红色线条。
可选的，成像模块可以采用CCD扫描仪，在焊接机器人焊枪处使用CCD扫描仪，该扫描仪实时拍摄焊接板材上的红色线条，最终形成焊接激光图，该焊接激光图为单通道图，该激光图的白色区域为红色线条或者弧光，黑色区域为其他背景，背景包括板材或者其他实物。
图5示出了本发明实施例提供的电子设备5的结构示意图，电子设备5包括至少一个处理器501(例如CPU)，至少一个输入输出接口504，存储器502，和至少一个通信总线503，用于实现这些部件之间的连接通信。至少一个处理器501用于执行存储器502中存储的计算机指令，以使所述至少一个处理器501能够执行前述任一焊接间隙的实时测量方法的实施例。存储器502为非暂态存储器(non-transitory memory)，其可以包含易失性存储器，例如高速随机存取存储器(RAM：Random Access Memory)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个输入输出接口504(可以是有线或者无线通信接口)实现与至少一个其他设备或单元之间的通信连接。
在一些实施方式中，存储器502存储了程序5021，处理器501执行程序5021，用于执行前述任一焊接间隙的实时测量方法实施例中的内容。
该电子设备可以以多种形式存在，包括但不限于：
(1)移动通信设备：这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括：智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。
(2)超移动个人计算机设备：这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括：PDA、MID和UMPC设备等，例如iPad。
(3)便携式娱乐设备：这类设备可以显示和播放多媒体内容。该类设备包括：音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
(4)特定服务器：提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。示例性的，该服务器可以是如下配置：Cpu model name：Intel(R)Croe(TM)i5-6400 CPU@2.7GHz，Cpu MHz：2199.972，Cpu cores：4内存：8G，硬盘：120G ssd，显卡：nvidia GTX1060显存6G，软件配置：操作系统64位，操作系统64位ubuntu14.04，opencv2.4.8，caffe1.0.0及其依赖库。
(5)其他具有数据交互功能的电子设备。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，″计算机可读介质″可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。
在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种焊接间隙的实时测量方法，其特征在于，包括：
通过faster-rcnn分类定位算法，确定焊接间隙图像中的间隙候选区；
在所述间隙候选区内，基于多层神经网络，获得所述焊接间隙端点在所述图像上的坐标范围；
对所述图像进行细直化处理，确定所述焊接间隙端点在所述图像上的精确坐标；
基于所述精确坐标，测量所述焊接间隙的大小。
2.根据权利要求1所述的焊接间隙的实时测量方法，其特征在于，所述通过faster-rcnn分类定位算法，确定焊接间隙图像中的间隙候选区，包括：
使用ZF网络结构的预训练模型，将所述焊接间隙图像分类为第一前景类图像、第二前景类图像和背景类图像，其中所述第一前景类图像为包含两条焊线的图像，所述第二前景类图像为包含三条焊线的图像，所述背景类图像为不包含焊线的图像。
3.根据权利要求1所述的焊接间隙的实时测量方法，其特征在于，在所述获得所述焊接间隙端点在所述图像上的坐标范围之后，所述方法还包括：
基于所述坐标范围，通过直线模拟的方式形成所述焊接间隙图像的掩膜图。
4.根据权利要求3所述的焊接间隙的实时测量方法，其特征在于，所述方法还包括：
将包含间隙候选区的图像与所述掩膜图进行比较；
基于所述比较结果，确定所述焊接间隙图像是否存在干扰，并获得排除干扰的间隙图像。
5.根据权利要求1所述的焊接间隙的实时测量方法，其特征在于，所述对所述图像进行细直化处理，包括：
通过判断所述图像中白点局部邻域的关系，来获得1个像素点宽的线条图。
6.根据权利要求5所述的焊接间隙的实时测量方法，其特征在于，所述对所述图像进行细直化处理，还包括：
将所述图像上的白线中每一点作为基本样点；
基于预设的参数和条件，对所述基本样点进行聚类处理；
基于聚类处理的结果，对所述白线中的每个点的归属进行判别，明确每个点属于哪条线。
7.根据权利要求6所述的焊接间隙的实时测量方法，其特征在于，所述方法包括：
对所述两条直线进行如下直线评估：
其中
r表示直线拟合程度，xi，yi表示某一个白点坐标，n表示白点的数量。
8.根据权利要求7所述的焊接间隙的实时测量方法，其特征在于，所述方法还包括：
将所述评估后的两条直线作为焊接线的代表直线，通过计算所述代表直线的端点坐标，进而获得所述焊接间隙。
9.一种焊接间隙的实时测量的配套装置，其特征在于，包括：
辅助成像模块，所述辅助成像模块用于焊接机器人焊枪处，使的焊接的板材上出现红色线条；
成像模块，所述成像模块用于实时拍摄焊接板材上的红色线条，形成焊接激光图，所述焊接激光图为单通道图，所述焊接激光图包括表示红色线条或者弧光的白色区域，以及用于表示背景的黑色区域；
机器人控制模块，所述机器人控制模块包括焊接机器人机体部分、焊丝部分、氩气和二氧化碳混合气体部分、机器人控制柜部分以及机器人示教器部分。
算法服务器模块，所述算法服务器模块根据所述成像模块获取的图片，计算出焊接间隙值，并将该值返回给机器人；
通信模块，所述通信模块包括硬件子模块和软件子模块，所述硬件子模块包括交换机、通信网线，所述软件子模块用于支持扫描仪与机器人的网络通信、机器人与算法服务器的网络通信。
10.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述任一权利要求1-8所述的焊接间隙的实时测量方法。
CN201710558747.2A 2017-07-10 2017-07-10 一种焊接间隙的实时测量方法、装置及电子设备 Active CN107316298B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710558747.2A CN107316298B (zh) 2017-07-10 2017-07-10 一种焊接间隙的实时测量方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710558747.2A CN107316298B (zh) 2017-07-10 2017-07-10 一种焊接间隙的实时测量方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN107316298A true CN107316298A (zh) 2017-11-03
CN107316298B CN107316298B (zh) 2020-06-02

Family

ID=60178608

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710558747.2A Active CN107316298B (zh) 2017-07-10 2017-07-10 一种焊接间隙的实时测量方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN107316298B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108257180A (zh) * 2018-02-07 2018-07-06 北京深度奇点科技有限公司 焊接间隙定位方法和装置
CN109903279A (zh) * 2019-02-25 2019-06-18 北京深度奇点科技有限公司 焊缝运动轨迹的自动示教方法和装置
TWI717106B (zh) * 2019-11-18 2021-01-21 財團法人工業技術研究院 銲接品質檢測系統與方法
CN114749907A (zh) * 2022-06-16 2022-07-15 成都飞机工业（集团）有限责任公司 一种航空发动机与散热器的对合状态预先检查装置及方法
WO2024036515A1 (zh) * 2022-08-17 2024-02-22 京东方科技集团股份有限公司 距离测量方法与距离测量装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040252942A1 (en) * 2003-06-10 2004-12-16 Macomber Steven Henry Cleaving laser diode bars having gratings
CN103500321A (zh) * 2013-07-03 2014-01-08 无锡信捷电气股份有限公司 基于双动态窗的视觉引导焊接机器人焊缝快速识别技术
CN105081627A (zh) * 2015-08-13 2015-11-25 北人机器人系统（苏州）有限公司 基于双线激光测量系统的焊缝测量方法
CN105588845A (zh) * 2016-01-04 2016-05-18 江苏科技大学 一种焊接缺陷特征参数提取方法
CN105891215A (zh) * 2016-03-31 2016-08-24 浙江工业大学 基于卷积神经网络的焊接视觉检测方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040252942A1 (en) * 2003-06-10 2004-12-16 Macomber Steven Henry Cleaving laser diode bars having gratings
CN103500321A (zh) * 2013-07-03 2014-01-08 无锡信捷电气股份有限公司 基于双动态窗的视觉引导焊接机器人焊缝快速识别技术
CN105081627A (zh) * 2015-08-13 2015-11-25 北人机器人系统（苏州）有限公司 基于双线激光测量系统的焊缝测量方法
CN105588845A (zh) * 2016-01-04 2016-05-18 江苏科技大学 一种焊接缺陷特征参数提取方法
CN105891215A (zh) * 2016-03-31 2016-08-24 浙江工业大学 基于卷积神经网络的焊接视觉检测方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XIUPING WANG等: "Weld seam detection and feature extraction based on laser vision", 《PROCEEDINGS OF THE 33RD CHINESE CONTROL CONFERENCE》 *
徐自越: "基于OpenCV焊缝视觉跟踪图像处理的研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108257180A (zh) * 2018-02-07 2018-07-06 北京深度奇点科技有限公司 焊接间隙定位方法和装置
CN108257180B (zh) * 2018-02-07 2023-08-04 北京深度奇点科技有限公司 焊接间隙定位方法和装置
CN109903279A (zh) * 2019-02-25 2019-06-18 北京深度奇点科技有限公司 焊缝运动轨迹的自动示教方法和装置
TWI717106B (zh) * 2019-11-18 2021-01-21 財團法人工業技術研究院 銲接品質檢測系統與方法
US11660706B2 (en) 2019-11-18 2023-05-30 Industrial Technology Research Institute Welding quality detection system and welding quality detection method
CN114749907A (zh) * 2022-06-16 2022-07-15 成都飞机工业（集团）有限责任公司 一种航空发动机与散热器的对合状态预先检查装置及方法
WO2024036515A1 (zh) * 2022-08-17 2024-02-22 京东方科技集团股份有限公司 距离测量方法与距离测量装置

Also Published As

Publication number Publication date
CN107316298B (zh) 2020-06-02

Similar Documents

Publication Publication Date Title
CN107316298A (zh) 一种焊接间隙的实时测量方法、装置及电子设备
CN112348815B (zh) 图像处理方法、图像处理装置以及非瞬时性存储介质
CN104718428B (zh) 图案的检查、测量装置及程序
CN109003297B (zh) 一种单目深度估计方法、装置、终端和存储介质
CN115830010B (zh) 输电导线交叉跨越距离检测方法、装置和计算机设备
CN103617615A (zh) 径向畸变参数获取方法及获取装置
CN114612443B (zh) 一种多模态数据复杂缺陷特征检测方法
CN112801047B (zh) 缺陷检测方法、装置、电子设备及可读存储介质
JP2020060879A (ja) 学習装置、画像生成装置、学習方法、及び学習プログラム
CN104732565A (zh) 一种基于监控范围可视化设计的安防布局绘图方法
CN114745399A (zh) 一种智能化建筑工程质量验收管理系统
CN108668108A (zh) 一种视频监控的方法、装置及电子设备
CN107707899A (zh) 包含运动目标的多视角图像处理方法、装置及电子设备
CN110807379A (zh) 一种语义识别方法、装置、以及计算机存储介质
CN106934842A (zh) 闭合区域的识别方法和装置
CN104077768B (zh) 一种鱼眼镜头径向畸变的标定方法及标定装置
CN114758337A (zh) 一种语义实例重建方法、装置、设备及介质
CN107798675A (zh) 显示图像中拖影的检测方法及装置
CN112906946B (zh) 道路信息提示方法、装置、设备、存储介质和程序产品
CN108846861A (zh) 图像单应矩阵计算方法、装置、移动终端及存储介质
CN113763364A (zh) 一种基于卷积神经网络的图像缺陷检测方法
CN110211190B (zh) 相机自运动参数估计模型的训练方法、装置及存储介质
CN106530286A (zh) 确定清晰度级别的方法及装置
US20220392251A1 (en) Method and apparatus for generating object model, electronic device and storage medium
CN110717384A (zh) 一种视频交互式行为识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant