CN112991327A - 基于机器视觉的钢格网焊接系统、方法和终端设备 - Google Patents

基于机器视觉的钢格网焊接系统、方法和终端设备 Download PDF

Info

Publication number
CN112991327A
CN112991327A CN202110400661.3A CN202110400661A CN112991327A CN 112991327 A CN112991327 A CN 112991327A CN 202110400661 A CN202110400661 A CN 202110400661A CN 112991327 A CN112991327 A CN 112991327A
Authority
CN
China
Prior art keywords
steel bar
welding
steel
image
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110400661.3A
Other languages
English (en)
Other versions
CN112991327B (zh
Inventor
吴立龙
郝存明
王景
赵航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute Of Applied Mathematics Hebei Academy Of Sciences
Original Assignee
Institute Of Applied Mathematics Hebei Academy Of Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute Of Applied Mathematics Hebei Academy Of Sciences filed Critical Institute Of Applied Mathematics Hebei Academy Of Sciences
Priority to CN202110400661.3A priority Critical patent/CN112991327B/zh
Publication of CN112991327A publication Critical patent/CN112991327A/zh
Application granted granted Critical
Publication of CN112991327B publication Critical patent/CN112991327B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30152—Solder

Abstract

本申请适用于钢格网技术领域，提供了一种基于机器视觉的钢格网焊接系统、方法及终端设备。该系统包括：控制单元、图像采集单元、机器人和焊枪；图像采集单元用于采集包含第一钢条和第二钢条的第一图像，第一钢条和第二钢条的数量均为多个，且第一钢条和第二钢条交叉设置；控制单元用于根据第一图像确定第一钢条和第二钢条的多个交叉点，以及根据多个交叉点确定焊接路径，并控制机器人带动焊枪沿焊接路径对第一钢条和第二钢条进行焊接。本申请能够实现对钢格网的自动焊接。

Description

基于机器视觉的钢格网焊接系统、方法和终端设备
技术领域
本申请属于钢格网领域，尤其涉及一种基于机器视觉的钢格网焊接系统、方法和终端设备。
背景技术
钢格网是由多条扁钢和多个横杆(例如经过扭绞的方钢)交叉排列形成具有多个矩形格子的一种钢铁制品。由于钢格网具有强度高、防腐能力强、不积污物、不积水、通风、散热和防滑等众多优点，因此被广泛应用于建筑修饰、市政工程、环卫工程等多个领域。
在制作钢格网时，需要将扁钢和横杆按照一定的间距进行交叉排列，之后将扁钢和横杆的交叉点焊接在一起得到钢格网。而传统的钢格网焊接方法为通过人工将对扁钢和横杆的交叉点进行焊接，人工焊接效率较低，产能较低，严重影响钢格网产业的发展。
发明内容
有鉴于此，本申请提供了一种基于机器视觉的钢格网焊接系统、方法、终端设备及计算机可读存储介质，以解决现有技术中人工焊接效率较低的问题。
为达到上述目的，本申请采用如下技术方案：
第一方面，本申请实施例提供了一种基于机器视觉的钢格网焊接系统，包括：控制单元、图像采集单元、机器人和焊枪；
所述图像采集单元用于采集包含第一钢条和第二钢条的第一图像，所述第一钢条和所述第二钢条设置在夹具上，所述第一钢条和所述第二钢条的数量均为多个，且所述第一钢条和所述第二钢条交叉设置；
所述控制单元用于根据所述第一图像确定所述第一钢条和所述第二钢条的多个交叉点，以及根据所述多个交叉点确定焊接路径，并控制所述机器人带动焊枪沿所述焊接路径对所述第一钢条和所述第二钢条进行焊接。
基于第一方面，在一些实施例中，所述系统还包括轮廓检测单元；
所述轮廓检测单元用于在所述机器人带动焊枪沿所述焊接路径对所述第一钢条和所述第二钢条进行焊接的过程中，若识别出所述多个交叉点中的每个交叉点，向所述控制单元发送第一指令；
所述控制单元响应所述第一指令，控制所述机器人停止运动，并开始对所述每个交叉点进行焊接。
基于第一方面，在一些实施例中，所述轮廓检测单元识别所述每个交叉点的方法包括：
向所述第一钢条发射激光，并采集第二图像，所述第二图像包含灰度值大于阈值的第一线段，所述第一线段的长度与所述第一钢条的宽度对应；
在所述轮廓检测单元沿所述焊接路径移动的过程中，若在所述第一钢条的第一位置处，所述第一线段的长度变大，则确定所述第一钢条的第一位置为第一交叉点，所述第一交叉点为所述多个交叉点中的任一个交叉点。
基于第一方面，在一些实施例中，所述轮廓检测单元设置在所述焊枪的前端，所述图像采集单元设置在所述夹具的上方。
基于第一方面，在一些实施例中，所述轮廓检测单元还用于：若所述第一直线的长度变回到所述第一长度，则向所述控制单元发送第二指令；
所述控制单元响应所述第二指令，控制所述机器人继续沿所述焊接路径运动。
基于第一方面，在一些实施例中，所述控制单元包括工控机和机器人控制柜；
所述工控机用于确定所述多个交叉点，以及根据所述多个交叉点确定所述焊接路径；
所述机器人控制柜用于向所述机器人发送第一控制指令，所述第一控制指令用于控制所述机器人带动所述焊枪沿所述焊接路径进行焊接。
基于第一方面，在一些实施例中，所述系统还包括送丝单元；
所述送丝单元用于在所述焊枪对所述多个交叉点中的每个交叉点进行焊接时，将焊丝移至每个交叉点，以使得所述焊枪对每个交叉点进行焊接。
本申请实施例的第二方面提供了一种基于机器视觉的钢格网焊接方法，所述方法包括：
采集包含第一钢条和第二钢条的第一图像，所述第一钢条和所述第二钢条设置在夹具上，所述第一钢条和所述第二钢条的数量均为多个，且所述第一钢条和所述第二钢条交叉设置；
根据所述第一图像确定所述第一钢条和所述第二钢条的多个交叉点；
根据所述多个交叉点确定焊接路径；
控制机器人带动焊枪沿所述焊接路径对所述第一钢条和所述第二钢条进行焊接。
基于第二方面，在一些实施例中，所述方法还包括：
在所述机器人带动焊枪沿所述焊接路径对所述第一钢条和所述第二钢条进行焊接的过程中，识别出所述多个交叉点中的每个交叉点，并向所述控制单元发送第一指令；
所述控制单元响应所述第一指令，控制所述机器人停止运动，并开始对所述每个交叉点进行焊接。
基于第二方面，在一些实施例中，识别所述每个交叉点的方法包括：
向所述第一钢条发射激光，并采集第二图像，所述第二图像包含灰度值大于阈值的第一线段，所述第一线段的长度与所述第一钢条的宽度对应；
在所述轮廓检测单元沿所述焊接路径移动的过程中，若在所述第一钢条的第一位置处，所述第一线段的长度变大，则确定所述第一钢条的第一位置为第一交叉点，所述第一交叉点为所述多个交叉点中的任一个交叉点。
基于第二方面，在一些实施例中，所述方法还包括：若所述第一线段的长度变回到所述第一长度，则向所述控制单元发送第二指令；
所述控制单元响应所述第二指令，控制所述机器人继续沿所述焊接路径运动。
第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第二方面中任一项所述基于机器视觉的钢格网焊接方法的步骤。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第二方面中任一项所述基于机器视觉的钢格网焊接方法的步骤。
第五方面，本申请实施例提供一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得电子设备执行上述第二方面中任一项所述基于机器视觉的钢格网焊接的方法。
本申请与现有技术相比存在的有益效果是：
本申请实施例，图像采集单元采集包含第一钢条和第二钢条的第一图像，第一钢条和所述第二钢条的数量均为多个，且第一钢条和所述第二钢条交叉设置。之后，控制单元根据第一图像确定第一钢条和第二钢条的多个交叉点，以及根据多个交叉点确定焊接路径，并控制机器人带动焊枪沿焊接路径对第一钢条和第二钢条进行焊接，从而能够实现对钢格网的自动焊接。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的基于机器视觉的钢格网焊接系统的结构示意图；
图2是本申请实施例提供的基于机器视觉的钢格网焊接方法的流程示意图；
图3是本申请实施例提供的终端设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图通过具体实施例来进行说明。
图1示出了基于机器视觉的钢格网焊接系统的结构示意图。参见图1，上述基于机器视觉的钢格网焊接系统可以包括：控制单元20、图像采集单元10、机器人30和焊枪40。
其中，图像采集单元10用于采集包含第一钢条和第二钢条的第一图像。第一钢条和第二钢条的数量均为多个，且第一钢条和所述第二钢条交叉设置。
控制单元20用于根据第一图像确定第一钢条和第二钢条的多个交叉点，以及根据多个交叉点确定焊接路径，并控制机器人30带动焊枪40沿焊接路径对第一钢条和第二钢条进行焊接。
上述基于机器视觉的钢格网焊接系统，图像采集单元10采集包含第一钢条和第二钢条的第一图像，第一钢条和所述第二钢条的数量均为多个，且第一钢条和所述第二钢条交叉设置。之后，控制单元20根据第一图像确定第一钢条和第二钢条的多个交叉点，以及根据多个交叉点确定焊接路径，并控制机器人30带动焊枪40沿焊接路径对第一钢条和第二钢条进行焊接，从而能够实现对第一钢条和第二钢条的自动焊接，形成钢格网。
举例说明，第一钢条可以为扁钢，第二钢条可以为横杆。或者，第一钢条可以为横杆，第二钢条可以为扁钢。第一钢条和第二钢条垂直交叉设置，将交叉点焊接完成后，形成钢格网。
参见图1，上述系统还可以包括轮廓检测单元50。轮廓检测单元50用于在机器人30带动焊枪40沿焊接路径对第一钢条和第二钢条进行焊接的过程中，若识别到多个交叉点中的任一交叉点，向控制单元20发送第一指令。控制单元20响应第一指令，控制机器人30停止运动，并开始对该任一交叉点进行焊接。
示例性的，轮廓检测单元50识别交叉点的方法包括：向第一钢条发射激光，并采集第二图像，第二图像包含第一直线，第一直线的长度为第一长度，与第一钢条的宽度对应；在轮廓检测单元50沿焊接路径移动的过程中，若在第一钢条的第一位置处，所述第线的长度由第一长度变大，则确定第一钢条的第一位置为第一交叉点，第一交叉点为多个交叉点中的任一个交叉点。
其中，激光投射在目标物上，在目标物表面形成漫反射，被相机拍摄到激光线条，根据相机采集到的图像数据与相机和激光器的位置关系，解算出激光线条的三维坐标。
一些实施例中，轮廓检测单元50还用于：若第一直线的长度又变回到第一长度，则向控制单元20发送第二指令。控制单元20响应第二指令，控制机器人30继续沿焊接路径运动。
示例性的，图像采集单元10可以为工业相机，该工业相机可以设置在第一钢条和第二钢条的正上方，通过工业相机采集第一钢条和第二钢条的图像。例如，第一钢条和第二钢条可以放置在夹具上，对应的，工业相机可以设置在夹具的正上方。
示例性的，轮廓检测单元50可以设置在焊枪40的前端。轮廓检测单元50能够同焊枪40同步运行。其中，轮廓检测单元50可以为3D轮廓仪。
参见图1，一些实施例中，上述控制单元20可以包括工控机21和机器人控制柜22。工控机21用于确定多个交叉点，以及根据多个交叉点确定焊接路径。机器人控制柜22用于向机器人30发送第一控制指令，第一控制指令用于控制机器人30带动焊枪40沿焊接路径进行焊接。
可选的，上述基于机器视觉的钢格网焊接系统还包括送丝单元60。送丝单元60用于在焊枪40对所述多个交叉点中的每个交叉点进行焊接时，将焊丝移至每个交叉点，以使得焊枪40对每个交叉点进行焊接。
上述基于机器视觉的钢格网焊接系统，在每次使用前都要自动校准一次，通过系统的每个轴从头到尾运行一次，计算出各个轴的总脉冲数，通过每个轴的固定行程和相对应轴的总脉冲数的比值，设定机器人30的脉冲当量值。
对工业相机进行标定。在将第一钢条和第二钢条放置在夹具上后，先用平面模板标定法，对工业相机做整体图像标定。在实际使用过程中，每次使用前先用上方的工业相机测出夹具的长和宽，然后和人工测量夹具的长宽值进行对比，得到一个对比值，在后续测量到数值后都乘以这个对比值。
使用流程：每次使用前和用完后都会归零(回到各个轴的原点)，然后手工把第一钢条和第二钢条放到夹具上，点击软件上的开始焊接，系统启动。首先图像采集单元10拍摄图像。控制单元20通过模式识别的方法，识别出图像中夹具位置以及夹具上放置的第一钢条和第二钢条。控制单元20通过计算第一钢条和第二钢条的交叉点来识别出焊接点，通过标定矩阵把图像上的位置信息转换成实际夹具上的位置信息，通过位置信息来规划出一条机器人30的焊接路径。然后，机器人30运行到夹具的原点，按照上面焊接路径开始运动焊枪40，在焊枪40的前方安装了3D激光轮廓仪，通过3D激光轮廓仪采集第一钢条的轮廓图像。当3D激光轮廓仪的激光照到第一钢条上时，在轮廓图像中会形成一小段灰度值较高的线段，线段的长度代表的是第一钢条的宽度，线段在图像中的位置信息可以通过坐标转换成焊枪相对第一钢条的位置信息。当线段突然变长时，确定当前位置为焊接点的位置，同时计算出焊枪40相对焊接点的位置。当焊枪40经过焊接点时，焊枪40停止，控制单元20发送焊接信号，送丝机60开始送丝焊接。通过焊接方式来控制焊枪40在焊接点处缓慢焊接。焊接结束后，关闭焊接信号，机器人30恢复到正常速度运动。开始检测下一个焊接点。周而复始，直到焊接完成。
一般在实际应用中，由于受到噪声、光照和随机干扰等影响，成像系统获取的图像(即原始图像)的质量并不理想，不能在检测系统中直接使用，需要在初期阶段进行图像除噪与增强等预处理，以有利于提取我们感兴趣的信息。图像预处理是图像分析的一个重要环节，对图像进行适当的预处理过程，可以使得图像更加便于分割和识别。
其中，对第一图像进行预处理可以包括：图像去躁和图像增强。图像去躁可以通过均值滤波、科尔曼滤波、中值滤波、高斯滤波等方法实现。图像增强可以改善第一图像的视觉效果，提高图像成分的清晰度，或者将图像转换成一种更适合于人眼观察和机器自动分析的形式。
在机器识别事物的过程中，常常需要把不同传感器或同一传感器在不同时间、不同成像条件下对同一景象获取的两幅或多幅图像在空间上对准，或根据已知模式到另一幅图像中寻找相应的模式，这就叫匹配。如果利用在不同时间对同一地面拍摄的两幅照片，经配准后找到其中特征有了变化的像点，就可以用来分析图中那些部分发生了变化；而利用放在一定间距处的两只传感器对同一物体拍摄得到两幅图片，找出对应点后可计算出物体离开摄像机的距离，即深度信息。
一般的图像匹配技术是利用已知的模板利用某种算法对识别图像进行匹配，计算获得图像中是否含有该模板的信息和坐标。本事实例中，采用以下的算式来衡量模板T(m,n)与所覆盖的子图Sij(m,n)的关系，已知原始图像S(W,H)。
通过公式：
Figure BDA0003020256790000081
衡量两幅图像之间的相似性。上述公式中第一项为子图的能量，第三项为模板的能量，都和模板匹配无关。第二项是模板和子图的互为相关，随(i,j)而改变。当模板和子图匹配时，该项由最大值。在将其归一化后，得到模板匹配的相关系数：
Figure BDA0003020256790000091
当模板和子图完全一样时，相关系数R(i,j)＝1。在被搜索图S中完成全部搜索后，找出R的最大值Rmax(im,jm)，其对应的子图Sij即为匹配目标。显然，用这种公式做图像匹配计算量大、速度慢。我们可以使用另外一种算法来衡量T和Sij的误差，其公式为：
Figure BDA0003020256790000092
计算两个图像的向量误差，可以增加计算速度，根据不同的匹配方向选取一个误差阀值E0，当E(i,j)>E0时就停止该点的计算，继续下一点的计算。最终的实验证明，被搜索的图像越大，匹配的速度越慢；模板越小，匹配的速度越快；模板的大小对匹配速度影响较大。
结构光三维视觉测量技术中带有结构光的图像(光条图像)是实现测量任务的信息源，它包含有被测量物体表面的三维形貌信息。因此对结构光图像的处理和条纹中心提取是整个检测任务中的关键环节之一。
结构光图像与一般图像不同，它是在暗室中获取的，被测物(目标)和背景是比较容易区分的，特别是经过预处理后，光带和背景在视觉上能被直接区分开来。但是测量要求得到的不是光带的形状特征，而是实体分层面轮廓线上的每一点的空间坐标值。测量中得到分层面的轮廓线，理论上应是无限薄光平面与物体表面的相贯线。但实际的光平面有一定的宽度，使得光条也有一定的宽度，而且因物体表面形状不规则和反射特性不一致，导致预处理后的光条图像的灰度和宽度也不均匀。这些都给光条图像的条纹中心提取带来很大的困难。
对于表面反射情况较好，图像对比度和清晰度较高的场合可以先检测光带的边界，然后取其中线作为结构光条纹中心的位置。而对于复杂一些的情况就需要寻找合适的光条提取算法。一般的方法可分为三个步骤：(1)光条图像分割；(2)光条图像滤波；(3)光条中心坐标计算。
光条图像分割包括全局阈值分割、局部阈值分割、6.1.3自适应阈值分割-最大类间方差阂值分割(OTSU)法。全局阈值是指整幅图像使用同一个阈值做分割处理。适用于背景和前景有明显对比的图像。基于均值阈值的分割处理算法，是对块中图像处理时，求出每一列中所有像素点的灰度平均值，以这个灰度均值为中心取一定邻近范围的灰度值为阈值进行分割。OTSU是一种全局化的动态二值化方法，是基于整幅图像的统计征，实现阈值的自动选取。OTSU的原理是把图像直方图用某一灰度值分割成两类，分别计算这两类的像素点数和灰度平均值，然后计算它们的类间方差。当被分割成的两类间方差最大时，此灰度值就作为图像二值化处理的阈值。
图像进行二值化后会有一些噪声点，可以通过连通区域面积过滤掉影响光条提取的影响因素，以方便后期光条中心线算法设计。例如，连通区域面积阈值为20个像素点，当区域面积小于20像素点，将该区域在图像上过滤掉。在光条中心提取过程中，光条边缘信息及其重要。边缘(edge)是指图像局部强度变化最显著的部分。边缘主要存在于目标与目标、目标与背景、区域与背景、区域与区域之间，是图象分割、纹理特征和形状特征图像分析的重要基础。
经过图像分割后，可以得到具有一定宽度的激光条纹，再进行简单的细化处理便可以提取出单像素宽的激光条纹，这样对于某些应用己经足够，如目标的探测识别，导航等。但对于精确测量应用还是难以满足要求的，为此提出了一些更准确的条纹中心定位方法，包括：边缘法、极值法、阈值法、条纹跟踪法、几何中心法、灰度重心法、深度约束法、曲线拟合法、Hessian矩阵法、基于FIR的方法、方向模板法等。
边缘法是将提取的边缘线代替条纹中心线。该方法通过找到光带外缘(或内缘)的一个点K，然后分别沿着Y轴的正、负方向按邻域法搜索，搜索时依次按(x-1，y)、(x，y)、(x+1，y)的方向进行。
极值法对于条纹灰度分布成理想高斯分布的情况有很好的效果。这种方法首先识别出灰度的局部极大值，并将此极大值定义为条纹中心线。这种方法的速度极快，但是很容易受到噪声的影响。为了克服极值法的缺点，可以应用对两边搜索的极值法。取得极值的时候，在极值的位置向两边进行域值边界搜索，找到实际正确的边界，就可以避免噪声的影响，具有快速、实用的优势。
条纹跟踪法在已是条纹中心的当前点周围比较各个方向灰度值，取灰度分布最大或最小的方向的点为条纹中心线。
几何中心法把光条看成中心对称分布，因而可以把光条每个截面的几何中心点作为截面的光条中心点。设光条某一截面的两个端点的坐标为(Xl，Yl)和(Xr，Yr)，则该截面的光条中心点(Xc，Yc)计算如下：
Figure BDA0003020256790000111
灰度重心法是把光条每个截面内的像素点的灰度分布质心作为截面的光条中心点。这种方法可以减小几何中心法由于光条分布的不对称性引起的误差。设光条某一截面点的坐标为(Xi，Yi)，相应的灰度值为g(X，Y)(i＝1，...，N)，N为截面内点的个数，则该截面的光条中心点(Xc，Yc)计算如下：
Figure BDA0003020256790000112
一种灰度重心法包括：首先抽取该光条的基本骨架，确定骨架各处的法线方向，在该方向上，求出其灰度分布重心，则该重心即为该法线上的中心点。如此将各处的法线方向上的灰度重心连起来，就形成了光带上的近似中心线。
图2示出了本申请实施例提供的基于机器视觉的钢格网焊接方法的流程示意图。参见图2，上述基于机器视觉的钢格网焊接方法可以包括以下步骤：
步骤201，采集包含第一钢条和第二钢条的第一图像。
其中，所述第一钢条和所述第二钢条的数量均为多个，且所述第一钢条和所述第二钢条交叉设置。
举例说明，第一钢条可以为扁钢，第二钢条可以为横杆。或者，第一钢条可以为横杆，第二钢条可以为扁钢。第一钢条和第二钢条垂直交叉设置，将交叉点焊接完成后，形成钢格网。
步骤202，根据所述第一图像确定所述第一钢条和所述第二钢条的多个交叉点。
示例性的，可以根据第一图像识别出第一钢条和第二钢条。之后，根据第一钢条和第二钢条的位置信息，即可确定第一钢条和第二钢条的多个交叉点。其中，可以确定各个交叉点的位置信息
步骤203，根据所述多个交叉点确定焊接路径。
其中，可以按照多个交叉点的位置信息将多个交叉点形成一条焊接路径。
步骤204，控制机器人带动焊枪沿所述焊接路径对所述第一钢条和所述第二钢条进行焊接。
上述基于机器视觉的钢格网焊接方法，采集包含第一钢条和第二钢条的第一图像，第一钢条和第二钢条的数量均为多个，且第一钢条和第二钢条交叉设置。之后，根据第一图像确定第一钢条和第二钢条的多个交叉点。根据所述多个交叉点确定焊接路径。控制机器人带动焊枪沿所述焊接路径对所述第一钢条和所述第二钢条进行焊接。上述方法能够实现对第一钢条和第二钢条的自动焊接，形成钢格网，提高钢格网的制备效率。
一些实施例中，上述方法还可以包括：在所述机器人带动焊枪沿所述焊接路径对所述第一钢条和所述第二钢条进行焊接的过程中，识别出所述多个交叉点中的每个交叉点，并向所述控制单元发送第一指令；所述控制单元响应所述第一指令，控制所述机器人停止运动，并开始对所述每个交叉点进行焊接。
一些实施例中，识别每个交叉点的方法包括：向所述第一钢条发射激光，并采集第二图像，所述第二图像包含灰度值大于阈值的第一线段，所述第一线段的长度与所述第一钢条的宽度对应；在所述轮廓检测单元沿所述焊接路径移动的过程中，若在所述第一钢条的第一位置处，所述第一线段的长度变大，则确定所述第一钢条的第一位置为第一交叉点，所述第一交叉点为所述多个交叉点中的任一个交叉点。
一些实施例中，上述方法还可以包括：若所述第一线段的长度变回到所述第一长度，则向所述控制单元发送第二指令；所述控制单元响应所述第二指令，控制所述机器人继续沿所述焊接路径运动。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
图3是本申请一实施例提供的终端设备的示意图。如图3所示，该实施例的终端设备300包括：处理器30、存储器31以及存储在所述存储器31中并可在所述处理器30上运行的计算机程序32。所述处理器30执行所述计算机程序32时实现上述基于机器视觉的钢格网焊接方法实施例中的步骤，例如图2所示的步骤201至步骤204。
示例性的，所述计算机程序32可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器31中，并由所述处理器30执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序32在所述终端3中的执行过程。
所述终端设备300可以是桌上型计算机、笔记本、掌上电脑及云端服务器等工控设备。所述终端设备可包括，但不仅限于，处理器30、存储器31。本领域技术人员可以理解，图3仅仅是终端设备300的示例，并不构成对终端设备300的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端还可以包括输入输出设备、网络接入设备、总线等。
所称处理器30可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器31可以是所述终端设备300的内部存储单元，例如终端设备300的硬盘或内存。所述存储器31也可以是所述终端设备300的外部存储设备，例如所述终端设备300上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器31还可以既包括所述终端设备300的内部存储单元也包括外部存储设备。所述存储器31用于存储所述计算机程序以及所述终端所需的其他程序和数据。所述存储器31还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述基于机器视觉的钢格网焊接方法各个实施例中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在移动终端上运行时，使得移动终端执行时可实现上述基于机器视觉的钢格网焊接方法各个实施例中的步骤。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/终端和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于机器视觉的钢格网焊接系统，其特征在于，包括：控制单元、图像采集单元、机器人和焊枪；
所述图像采集单元用于采集包含第一钢条和第二钢条的第一图像，所述第一钢条和所述第二钢条设置在夹具上，所述第一钢条和所述第二钢条的数量均为多个，且所述第一钢条和所述第二钢条交叉设置；
所述控制单元用于根据所述第一图像确定所述第一钢条和所述第二钢条的多个交叉点，以及根据所述多个交叉点确定焊接路径，并控制所述机器人带动所述焊枪沿所述焊接路径对所述第一钢条和所述第二钢条进行焊接。
2.根据权利要求1所述的基于机器视觉的钢格网焊接系统，其特征在于，所述系统还包括轮廓检测单元；
所述轮廓检测单元用于在所述机器人带动焊枪沿所述焊接路径对所述第一钢条和所述第二钢条进行焊接的过程中，若识别到所述多个交叉点中的每个交叉点，向所述控制单元发送第一指令；
所述控制单元响应所述第一指令，控制所述机器人停止运动，并开始对所述每个交叉点进行焊接。
3.根据权利要求2所述的基于机器视觉的钢格网焊接系统，其特征在于，所述轮廓检测单元识别所述每个交叉点的方法包括：
向所述第一钢条发射激光，并采集第二图像，所述第二图像包含灰度值大于阈值的第一线段，所述第一线段的长度为第一长度，与所述第一钢条的宽度对应；
在所述轮廓检测单元沿所述焊接路径移动的过程中，若在所述第一钢条的第一位置处，所述第一线段的长度由所述第一长度变大，则确定所述第一钢条的第一位置为第一交叉点，所述第一交叉点为所述多个交叉点中的任一个交叉点。
4.根据权利要求3所述的基于机器视觉的钢格网焊接系统，其特征在于，所述轮廓检测单元还用于：若所述第一线段的长度变回到所述第一长度，则向所述控制单元发送第二指令；
所述控制单元响应所述第二指令，控制所述机器人继续沿所述焊接路径运动。
5.根据权利要求2所述的基于机器视觉的钢格网焊接系统，其特征在于，所述轮廓检测单元设置在所述焊枪的前端，所述图像采集单元设置在所述夹具的上方。
6.根据权利要求1所述的基于机器视觉的钢格网焊接系统，其特征在于，所述控制单元包括工控机和机器人控制柜；
所述工控机用于确定所述多个交叉点，以及根据所述多个交叉点确定所述焊接路径；
所述机器人控制柜用于向所述机器人发送第一控制指令，所述第一控制指令用于控制所述机器人带动所述焊枪沿所述焊接路径进行焊接。
7.根据权利要求1所述的基于机器视觉的钢格网焊接系统，其特征在于，所述系统还包括送丝单元；
所述送丝单元用于在所述焊枪对所述多个交叉点中的每个交叉点进行焊接时，将焊丝移至每个交叉点，以使得所述焊枪对每个交叉点进行焊接。
8.一种基于机器视觉的钢格网焊接方法，其特征在于，所述方法包括：
采集包含第一钢条和第二钢条的第一图像，所述第一钢条和所述第二钢条设置在夹具上，所述第一钢条和所述第二钢条的数量均为多个，且所述第一钢条和所述第二钢条交叉设置；
根据所述第一图像确定所述第一钢条和所述第二钢条的多个交叉点；
根据所述多个交叉点确定焊接路径；
控制机器人带动焊枪沿所述焊接路径对所述第一钢条和所述第二钢条进行焊接。
9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上的权利要求8中所述基于机器视觉的钢格网焊接方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上的权利要求8中任一项所述基于机器视觉的钢格网焊接方法的步骤。
CN202110400661.3A 2021-04-14 2021-04-14 基于机器视觉的钢格网焊接系统、方法和终端设备 Active CN112991327B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110400661.3A CN112991327B (zh) 2021-04-14 2021-04-14 基于机器视觉的钢格网焊接系统、方法和终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110400661.3A CN112991327B (zh) 2021-04-14 2021-04-14 基于机器视觉的钢格网焊接系统、方法和终端设备

Publications (2)

Publication Number Publication Date
CN112991327A true CN112991327A (zh) 2021-06-18
CN112991327B CN112991327B (zh) 2023-05-30

Family

ID=76338416

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110400661.3A Active CN112991327B (zh) 2021-04-14 2021-04-14 基于机器视觉的钢格网焊接系统、方法和终端设备

Country Status (1)

Country Link
CN (1) CN112991327B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113695802A (zh) * 2021-09-18 2021-11-26 山东建筑大学 一种基于机器人的钢筋网焊接工作系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104043909A (zh) * 2013-03-11 2014-09-17 润弘精密工程事业股份有限公司 钢筋焊接方法及实施其的钢筋焊接调整系统
JP2014186633A (ja) * 2013-03-25 2014-10-02 Junko Seimitsu Kotei Jigyo Kofun Yugenkoshi 鉄筋の溶接方法および鉄筋の溶接調節システム
CN109604872A (zh) * 2019-01-21 2019-04-12 建科机械（天津）股份有限公司 一种钢筋梁焊接装置及方法
CN111563911A (zh) * 2020-05-27 2020-08-21 江苏金恒信息科技股份有限公司 一种基于多个钢捆的自动焊接标牌方法及装置
CN112122840A (zh) * 2020-09-23 2020-12-25 西安知象光电科技有限公司 一种基于机器人焊接的视觉定位焊接系统及焊接方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104043909A (zh) * 2013-03-11 2014-09-17 润弘精密工程事业股份有限公司 钢筋焊接方法及实施其的钢筋焊接调整系统
JP2014186633A (ja) * 2013-03-25 2014-10-02 Junko Seimitsu Kotei Jigyo Kofun Yugenkoshi 鉄筋の溶接方法および鉄筋の溶接調節システム
CN109604872A (zh) * 2019-01-21 2019-04-12 建科机械（天津）股份有限公司 一种钢筋梁焊接装置及方法
CN111563911A (zh) * 2020-05-27 2020-08-21 江苏金恒信息科技股份有限公司 一种基于多个钢捆的自动焊接标牌方法及装置
CN112122840A (zh) * 2020-09-23 2020-12-25 西安知象光电科技有限公司 一种基于机器人焊接的视觉定位焊接系统及焊接方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
全国大学生电子设计竞赛信息安全技术专题邀请赛组委会: "《全国大学生电子设计竞赛信息安全技术专题邀请赛优秀作品选编（第三届）》", 31 May 2015, 北京理工大学出版社 *
王旭华: "基于视频的高速公路护栏检测方法研究", 《中国优秀硕士学位论文全文数据库 工程科技II辑》 *
莫妙桃: "基于DSP的智能象棋机器人视觉图像采集与识别研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113695802A (zh) * 2021-09-18 2021-11-26 山东建筑大学 一种基于机器人的钢筋网焊接工作系统及方法

Also Published As

Publication number Publication date
CN112991327B (zh) 2023-05-30

Similar Documents

Publication Publication Date Title
CN109060836B (zh) 基于机器视觉的高压油管接头外螺纹检测方法
Bac et al. Stem localization of sweet-pepper plants using the support wire as a visual cue
CN111062915A (zh) 一种基于改进YOLOv3模型的实时钢管缺陷检测方法
CN107230203B (zh) 基于人眼视觉注意机制的铸件缺陷识别方法
CN111126174A (zh) 一种用于机器人抓取零件的视觉检测方法
CN107633516A (zh) 一种识别路面变形类病害的方法和装置
JP6899189B2 (ja) ビジョンシステムで画像内のプローブを効率的に採点するためのシステム及び方法
CN106897995B (zh) 一种面向机械装配过程的零部件自动识别方法
CN109684941B (zh) 一种基于matlab图像处理荔枝果实采摘区域划分方法
CN115096206B (zh) 一种基于机器视觉的零件尺寸高精度测量方法
CN111695373B (zh) 斑马线的定位方法、系统、介质及设备
Kim et al. A vision-based system for monitoring block assembly in shipbuilding
TW201433985A (zh) 自動描繪物件邊緣走向之方法
CN108582075A (zh) 一种智能机器人视觉自动化抓取系统
CN110276759B (zh) 一种基于机器视觉的手机屏坏线缺陷诊断方法
CN112991327B (zh) 基于机器视觉的钢格网焊接系统、方法和终端设备
CN109556533B (zh) 一种针对多线结构光条纹图像的自动提取方法
CN111369497B (zh) 一种行走式树上果实连续计数方法及装置
CN115597494B (zh) 一种基于点云的预制构件预留孔的精度检测方法、系统
CN111243006A (zh) 一种基于图像处理的液滴接触角及尺寸的测量方法
CN112116561B (zh) 基于图像处理融合网络权值的电网传输线检测方法及装置
CN114549420A (zh) 基于模板匹配的工件识别定位方法
CN110490865B (zh) 基于螺柱高反光特性的螺柱点云分割方法
Liu et al. Apple Binocular Visual Identification and Positioning System.
CN113450331B (zh) 一种异形元器件针脚检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant