CN114862775A - 一种焊接机器人的视觉识别系统 - Google Patents

一种焊接机器人的视觉识别系统 Download PDF

Info

Publication number
CN114862775A
CN114862775A CN202210423761.2A CN202210423761A CN114862775A CN 114862775 A CN114862775 A CN 114862775A CN 202210423761 A CN202210423761 A CN 202210423761A CN 114862775 A CN114862775 A CN 114862775A
Authority
CN
China
Prior art keywords
image
welding seam
welding
gray
weld
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210423761.2A
Other languages
English (en)
Inventor
巫飞彪
张少华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Donghan Intelligent Equipment Co ltd
Original Assignee
Guangzhou Donghan Intelligent Equipment Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Donghan Intelligent Equipment Co ltd filed Critical Guangzhou Donghan Intelligent Equipment Co ltd
Priority to CN202210423761.2A priority Critical patent/CN114862775A/zh
Publication of CN114862775A publication Critical patent/CN114862775A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K37/00—Auxiliary devices or processes, not specially adapted to a procedure covered by only one of the preceding main groups
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Optics & Photonics (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)

Abstract

本发明属于机器人控制技术领域，公开了一种焊接机器人的视觉识别系统，视觉传感模块，采集焊缝图像，并对所述焊缝图像进行增强处理、噪声处理和数据格式转换处理；焊缝图像处理模块，接收经所述视觉传感模块增强处理、噪声处理和数据格式转换处理后的焊缝图像；进行预处理，提取焊缝区域；焊缝图像的预处理包含焊缝区域选取、图像灰度化、灰度直方图均衡化和图像滤波；控制模块，接收所述焊缝图像处理模块预处理的焊缝图像，并发送至焊接机器人运行的控制器，实现对焊缝的焊接操作。本发明实现了对实现机器人焊接过程决策、预判等的功能，为焊接机器人准确的焊接提供了全面的焊缝图像信息，提高了产品的质量。

Description

一种焊接机器人的视觉识别系统
技术领域
本发明属于机器人控制技术领域，尤其涉及一种焊接机器人的视觉识别系统。
背景技术
目前，大多数焊接机器人都是简单的通过机器人与焊接设备简单连接，无法实现智能化焊接，在基于人工智能下的焊接技术的应用，必将给制造业在焊接上带来变革。
现有技术一，CN201610421748.8一种视觉识别定位焊缝自动跟踪方法及智能焊接机器人，公开一种视觉识别定位焊缝自动跟踪方法及智能焊接机器人，包括移动小车、升降装置、机械手、焊枪、计算机控制系统。升降装置安装于移动小车上，机械手安装于升降装置上，焊枪安装于机械手上；焊枪上设有视觉识别定位焊缝自动跟踪器，视觉识别定位焊缝自动跟踪器包括依次连接的视觉传感器、控制器及执行机构，执行机构与焊枪连接；计算机控制系统用于对移动小车、升降装置、机械手及焊枪进行控制。通过一种视觉识别定位焊缝自动跟踪方法及智能焊接机器人，解决了目前造船、海洋工程、桥梁钢结构、钢结构建筑、化工机械和起重机械等重型机械的行业的金属结构连接的电弧焊接的可移动焊接机器人的视觉识别定位焊缝自动跟踪问题。
现有技术二，CN202110194707.0一种具有双目视觉识别的垃圾分拣机器人，提供一种具有双目视觉识别的垃圾分拣机器人。所述具有双目视觉识别的垃圾分拣机器人包括垃圾分拣机器人本体；连接座，所述连接座设置在所述垃圾分拣机器人本体的下方；入槽，所述入槽开设在所述连接座的顶部；固接座，所述固接座设置在所述入槽内，且所述固接座的顶部延伸至所述入槽的上方并与所述垃圾分拣机器人本体固定连接，所述固接座与所述入槽相适配；两个限位槽，两个所述限位槽分别开设在所述固接座的两侧；内腔一，所述内腔一开设在所述连接座上。提供的具有双目视觉识别的垃圾分拣机器人具有安装和拆卸都较为简单便捷、省时省力、方便人们操作的优点。
现有技术三，CN202110589268.3视觉识别系统、工业生产线以及工业生产系统，公开了一种视觉识别系统以及包括该视觉识别系统的工业生产线和工业生产系统，其中，该视觉识别系统用于工业生产中并包括：图像采集装置，该图像采集装置设置于工业生产现场，用于对至少一个生产节点的工作过程采集包括图片和/或视频流的图像信息，以提供实时和/或延时的所述图像信息；视觉识别装置，该视觉识别装置设置有视觉识别模块，所述视觉识别装置利用该视觉识别模块对所述图像信息进行识别和分析，以获得所述工作节点的工作过程的目标信息；和服务器，所述视觉识别装置将获得的所述目标信息传送给该服务器。
通过上述分析，现有技术存在的问题及缺陷为：目前的焊接机器人的视觉识别存在智能化水平低，焊接质量无法保证。
发明内容
针对现有技术存在的问题，本发明提供了一种焊接机器人的视觉识别系统。
本发明是这样实现的，一种焊接机器人的视觉识别系统，包括：
视觉传感模块，采集焊缝图像，并对所述焊缝图像进行增强处理、噪声处理和数据格式转换处理；
焊缝图像处理模块，接收经所述视觉传感模块增强处理、噪声处理和数据格式转换处理后的焊缝图像；进行预处理，提取焊缝区域；焊缝图像的预处理包含焊缝区域选取、图像灰度化、灰度直方图均衡化和图像滤波；
控制模块，接收所述焊缝图像处理模块预处理的焊缝图像，并发送至焊接机器人运行的控制器，实现对焊缝的焊接操作。
可选的，所述视觉传感模块包括：
增强处理子模块，用于将焊缝图像转换到色调分量H、饱和度分量S和亮度分量V空间；估计图像照度分量，在马尔可夫随机场模型下，计算出焊缝本身的三基色模式RGB的分量计算出焊缝本身的三基色模式RGB的分量根据尺度增强算法求出三基色模式RGB的分量；
噪声处理子模块，用于通过反向传播神经网络训练出预测焊缝图像的局部区域与参考噪声区域，根据所述相似度值计算所述局部区域进行双边滤波时所需的标准差，实现焊缝图像的自适应双边滤波，降低焊缝图像的噪声；
数据格式转换处理子模块，用于实现所述噪声处理子模块得到的降噪焊缝图像由模拟到数字图像的转换。
可选的，所述增强处理子模块包括：
焊缝图像转换单元，用于将焊缝图像转换到色调分量H、饱和度分量S和亮度分量V三个分量的空间，饱和度分量S为一比例值；亮度分量V为焊缝图像RGB中的最大值；
反射分量获取单元，将亮度分量V提取出之后，根据得到的原始焊缝图像，对焊缝图像在色调分量H、饱和度分量S和亮度分量V颜色空间下的亮度图像采用具有保边特性的引导滤波进行平滑处理，估计图像照度分量，然后在马尔可夫随机场模型下，根据对尺度增强算法原理求解包含较多有效细节信息的反射分量图像，进而计算出焊缝本身的三基色模式RGB的分量；
有线性拉伸校正单元，用于实现亮度分量V进行增强后，使得饱和度分量S发生变化，对饱和度分量S进行有线性拉伸校正；
校正和转换单元，用于在色调分量H、饱和度分量S和亮度分量V空间将焊缝图像的亮度进行增强并对饱和度进行校正之后，再把焊缝图像由色调分量H、饱和度分量S和亮度分量V空间转换到三基色模式RGB空间，完成对焊缝图像的增强处理。
可选的，所述噪声处理子模块包括：
焊缝图像数据集构建单元，用于获取增强处理的焊缝图像，通过反向传播神经网络扫描整个焊缝图像得到局部焊缝图像构成的数据集；
反向传播神经网络训练单元，用于通过反向传播神经网络训练出预测焊缝图像的局部区域与参考噪声区域，得到反向传播神经网络训练对集合；从训练对集合中，选择一个训练对，将输入向量值，送入反向传播神经网络的输入端计算网络的输出值；计算反向传播神经网络输出值和期望输出值之间的误差；调整反向传播神经网络中的连接权；所述反向传播神经网络训练的标签是所述数据集对应的相似度值；
自适应双边滤波单元，用于根据所述相似度值计算所述局部区域进行双边滤波时所需的标准差，实现焊缝图像的自适应双边滤波。
可选的，所述数据格式转换处理子模块包括：
电压信号单元，用于生成与视觉传感模块的视觉传感器成正相关的模数转换器输入信号以及与所述视觉传感器成负相关的模数转换器参考电压信号；其中，所述模数转换器输入信号的值小于所述模数转换器参考电压信号的值；
模数转换单元，用于取所述模数转换器输入信号的值与所述模数转换器参考电压信号的值的比值，对所述比值进行运算得到量化输出值。
可选的，所述焊缝图像处理模块包括：
焊缝区域选取子模块，用于结合待焊工件的大小和在焊缝图像中提取所设置的加工工作范围选取有关键焊缝信息的区域，得到焊缝区域的彩色图像；
图像灰度化子模块，用于将所述焊缝区域选取子模块得到焊缝区域的彩色图像转换为灰度模式，即用黑白画面中点的颜色深度描述焊接区域得到灰度模式焊缝区域图像；
灰度直方图均衡化子模块，用于通常直方图均衡化实现灰度模式焊缝区域图像的增强，将采集焊缝图像的像素强度分布范围进行拉伸；
图像滤波子模块，用于将增强的灰度模式焊缝区域图像内的灰度模式按照灰度值按大小排列，将中间值作为处理后的灰度输出。
可选的，所述焊缝区域选取子模块包括：
信号转换器，用于将视觉传感模块采集的感光信号被转换成电荷包的形式，并转换为数字信号；
存储器，用于实现接收转换后的数字信号存入存储模块里，再从存储器里读出一帧图像经过Bayer格式解码，将Bayer格式焊缝图像顺序送入现场可编程门阵列进行8bit量化，得到焊缝区域的彩色图像；
彩色图像发送单元，用于将最后得到的焊缝区域的彩色图像传输至图像灰度化子模块进行灰度处理。
可选的，所述图像灰度化子模块包括：
线性映射关系单元，用于找到一个从彩色的焊接区域图像的颜色空间到颜色对立空间的线性映射关系；
灰度级构造单元，用于利用彩色的焊接区域图像相邻像素点之间在R、G、B三个通道上的差值△R、△G、△B构造灰度模式焊缝区域图像的灰度级；
图像灰度输出单元，用于利用得到的灰度级构造目标优化函数，然后利用共轭梯度法求解目标优化函数，得到灰度化处理的灰度模式焊缝区域图像用黑白画面中点的颜色深度描述焊接区域。
可选的，所述灰度直方图均衡化子模块包括：
图像像素获取单元，对于每个灰度模式焊缝区域图像，获取灰度模式焊缝区域图像像素总数目，以及预定像素值所对应的像素数量；
映射关系计算单元，用于对每个灰度模式焊缝区域图像，应用直方图均衡化，确定原本焊缝区域图像像素值与均衡化像素值的映射关系；
焊缝区域图像输出单元，用于根据以上映射关系获得直方图均衡化后的单通道焊缝区域图像，通过合并上述直方图均衡化后的单通道焊缝区域图像，得到最终处理完成的灰度模式焊缝区域图像，将采集焊缝图像的像素强度分布范围进行拉伸。
可选的，所述图像滤波子模块包括：
灰度值计算单元，用于计算增强的灰度模式焊缝区域图像内的灰度值；
灰度值排列单元，用于将灰度值计算单元计算的灰度值按照大小进行排列；
中间值计算单元，用于计算所述所有像素点灰度值的中间值。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明采用视觉传感模块采集焊缝图像，实现了对实现机器人焊接过程决策、预判等的功能，为焊接机器人准确的焊接提供了全面的焊缝图像信息，在保证焊接质量的前提下，也提高了产品的质量；对焊接机器人的智能化水平提高有着至关重要的促进作用；本发明采用视觉传感模块方便直观、信息量大、易于处理等优点，是焊缝识别和跟踪传感技术中的重点，成为人工智能下的机器人焊接领域最有应用前景的传感技术，对提高焊接机器人柔性和对工作环境的反馈发挥了重要的作用，对社会经济的发展也必将影响巨大。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的焊接机器人的视觉识别系统的结构示意图；
图2是本发明实施例提供的视觉传感模块的结构示意图；
图3是本发明实施例提供的本发明实施例提供的增强处理子模块的结构示意图；
图4是本发明实施例提供的本发明实施例提供的噪声处理子模块的结构示意图；
图5是本发明实施例提供的本发明实施例提供的焊缝图像处理模块的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例1：
如图1所示，本发明实施例提供的焊接机器人的视觉识别系统包括：
视觉传感模块，采集焊缝图像，并对所述焊缝图像进行增强处理、噪声处理和数据格式转换处理；
焊缝图像处理模块，接收经所述视觉传感模块增强处理、噪声处理和数据格式转换处理后的焊缝图像；进行预处理，提取焊缝区域；焊缝图像的预处理包含焊缝区域选取、图像灰度化、灰度直方图均衡化和图像滤波；
控制模块，接收所述焊缝图像处理模块预处理的焊缝图像，并发送至焊接机器人运行的控制器，实现对焊缝的焊接操作。
本发明采用视觉传感模块采集焊缝图像，实现了对实现机器人焊接过程决策、预判等的功能，为焊接机器人准确的焊接提供了全面的焊缝图像信息，在保证焊接质量的前提下，也提高了产品的质量；对焊接机器人的智能化水平提高有着至关重要的促进作用；本发明采用视觉传感模块方便直观、信息量大、易于处理等优点，是焊缝识别和跟踪传感技术中的重点，成为人工智能下的机器人焊接领域最有应用前景的传感技术，对提高焊接机器人柔性和对工作环境的反馈发挥了重要的作用，对社会经济的发展也必将影响巨大。
实施例2：
如图2所示，在实施例1的基础上，本发明实施例提供的视觉传感模块包括：
增强处理子模块，用于将焊缝图像转换到色调分量H、饱和度分量S和亮度分量V空间；估计图像照度分量，在马尔可夫随机场模型下，计算出焊缝本身的三基色模式RGB的分量计算出焊缝本身的三基色模式RGB的分量根据尺度增强算法求出三基色模式RGB的分量；
噪声处理子模块，用于通过反向传播神经网络训练出预测焊缝图像的局部区域与参考噪声区域，根据所述相似度值计算所述局部区域进行双边滤波时所需的标准差，实现焊缝图像的自适应双边滤波，降低焊缝图像的噪声；
数据格式转换处理子模块，用于实现所述噪声处理子模块得到的降噪焊缝图像由模拟到数字图像的转换。
本发明采集焊缝图像，并对所述焊缝图像进行增强处理、噪声处理和数据格式转换处理；本发明明显提升焊缝图像的亮度和对比度，抑制了焊缝图像光晕、边缘模糊的现象，并较好地增强图像的颜色，增加清晰度，为焊接机器人的生产提供了坚实的图像基础；本发明降低焊缝图像的噪声，为焊接机器人的焊接质量提供了保障，有效地抑制焊缝图像斑点噪声。
实施例3：
如图3所示，在实施例2的基础上，本发明实施例提供的增强处理子模块包括：
焊缝图像转换单元，用于将焊缝图像转换到色调分量H、饱和度分量S和亮度分量V三个分量的空间，饱和度分量S为一比例值；亮度分量V为焊缝图像RGB中的最大值；
反射分量获取单元，将亮度分量V提取出之后，根据得到的原始焊缝图像，对焊缝图像在色调分量H、饱和度分量S和亮度分量V颜色空间下的亮度图像采用具有保边特性的引导滤波进行平滑处理，估计图像照度分量，然后在马尔可夫随机场模型下，根据对尺度增强算法原理求解包含较多有效细节信息的反射分量图像，进而计算出焊缝本身的三基色模式RGB的分量；
有线性拉伸校正单元，用于实现亮度分量V进行增强后，使得饱和度分量S发生变化，对饱和度分量S进行有线性拉伸校正；
校正和转换单元，用于在色调分量H、饱和度分量S和亮度分量V空间将焊缝图像的亮度进行增强并对饱和度进行校正之后，再把焊缝图像由色调分量H、饱和度分量S和亮度分量V空间转换到三基色模式RGB空间，完成对焊缝图像的增强处理。
本发明的焊缝图像采集环境复杂，视觉传感模块容易受到干扰，会影响焊缝图像的质量，首先将焊缝图像转换到色调分量H、饱和度分量S和亮度分量V空间，保持色调不变。本发明估计焊缝图像照度分量，在马尔可夫随机场模型下，根据对尺度增强算法原理求解包含较多有效细节信息的反射分量图像，进而计算出焊缝本身的三基色模式RGB的分量计算出焊缝本身的三基色模式RGB的分量根据尺度增强算法求出三基色模式RGB的分量，使得焊缝图像采集的更加全面，抑制了过锐化现象，保证了采集的焊缝图像的质量。
实施例4：
如图4所示，在实施例2的基础上，本发明实施例提供的噪声处理子模块包括：
焊缝图像数据集构建单元，用于获取增强处理的焊缝图像，通过反向传播神经网络扫描整个焊缝图像得到局部焊缝图像构成的数据集；
反向传播神经网络训练单元，用于通过反向传播神经网络训练出预测焊缝图像的局部区域与参考噪声区域，得到反向传播神经网络训练对集合；从训练对集合中，选择一个训练对，将输入向量值，送入反向传播神经网络的输入端计算网络的输出值；计算反向传播神经网络输出值和期望输出值之间的误差；调整反向传播神经网络中的连接权；所述反向传播神经网络训练的标签是所述数据集对应的相似度值；
自适应双边滤波单元，用于根据所述相似度值计算所述局部区域进行双边滤波时所需的标准差，实现焊缝图像的自适应双边滤波。
本发明通过反向传播神经网络训练出预测焊缝图像的局部区域与参考噪声区域，根据所述相似度值计算所述局部区域进行双边滤波时所需的标准差，实现焊缝图像的自适应双边滤波，降低焊缝图像的噪声，为焊接机器人的焊接质量提供了保障，有效地抑制焊缝图像斑点噪声。本发明利用了反向传播神经网络较强的学习能力与较好的容错能力，通过将反向传播神经网络预测的相似度值与双边滤波器的标准差建立联系，实现了焊缝图像的自适应双边滤波，即实现了焊缝图像中的噪声区域和组织区域的区分，较好地保留焊缝图像中组织区域的边缘特征，为后续的焊缝图像处理提供良好的基础。本发明从训练对集合中，选择一个训练对，将输入向量值，送入反向传播神经网络的输入端计算网络的输出值，大大缩短了反向传播神经网络训练时间的作用。
实施例5：
在实施例2的基础上，本发明实施例提供的数据格式转换处理子模块包括：
电压信号单元，用于生成与视觉传感模块的视觉传感器成正相关的模数转换器输入信号以及与所述视觉传感器成负相关的模数转换器参考电压信号；其中，所述模数转换器输入信号的值小于所述模数转换器参考电压信号的值；
模数转换单元，用于取所述模数转换器输入信号的值与所述模数转换器参考电压信号的值的比值，对所述比值进行运算得到量化输出值。
本发明电压信号单元生成与视觉传感模块的视觉传感器成正相关的模数转换器输入信号以及与所述视觉传感器成负相关的模数转换器参考电压信号，兼顾参考电压的视觉传感器特性对结果准确性的影响，提高了精度。
实施例6：
如图5所示，在实施例1的基础上，本发明实施例提供的焊缝图像处理模块包括：
焊缝区域选取子模块，用于结合待焊工件的大小和在焊缝图像中提取所设置的加工工作范围选取有关键焊缝信息的区域，得到焊缝区域的彩色图像；
图像灰度化子模块，用于将所述焊缝区域选取子模块得到焊缝区域的彩色图像转换为灰度模式，即用黑白画面中点的颜色深度描述焊接区域得到灰度模式焊缝区域图像；
灰度直方图均衡化子模块，用于通常直方图均衡化实现灰度模式焊缝区域图像的增强，将采集焊缝图像的像素强度分布范围进行拉伸；
图像滤波子模块，用于将增强的灰度模式焊缝区域图像内的灰度模式按照灰度值按大小排列，将中间值作为处理后的灰度输出。
本发明结合待焊工件的大小和在焊接图像中提取所设置的加工工作范围选取有关键焊缝信息的区域，得到焊缝区域的彩色图像，选取有关键焊缝信息的区域，减少了干扰，提高焊缝图像的处理效率。本发明为了提高焊缝图像的检测效率，需要把彩色照片简化为灰度模式；图像滤波子模块对焊缝图像边缘信号的影响较小，降低干扰因素的影响。
实施例7：
在实施例6的基础上，本发明实施例提供的焊缝区域选取子模块包括：
信号转换器，用于将视觉传感模块采集的感光信号被转换成电荷包的形式，并转换为数字信号；
存储器，用于实现接收转换后的数字信号存入存储模块里，再从存储器里读出一帧图像经过Bayer格式解码，将Bayer格式焊缝图像顺序送入现场可编程门阵列进行8bit量化，得到焊缝区域的彩色图像；
彩色图像发送单元，用于将最后得到的焊缝区域的彩色图像传输至图像灰度化子模块进行灰度处理。
本发明采用CCD图像传感器采集焊接区域的感光信号，CCD图像传感器采用的是640*480有效像素的面阵CCD芯片，像素转移频率是24MHZ，能满足识别不闪烁的需求；存储器将Bayer格式焊缝图像顺序送入现场可编程门阵列进行8bit量化，得到焊缝区域的彩色图像，为图像灰度化子模块进行灰度处理提供了数据基础，实现了焊缝图像实时的处理和输出。
实施例8：
在实施例6的基础上，本发明实施例提供的图像灰度化子模块包括：
线性映射关系单元，用于找到一个从彩色的焊接区域图像的颜色空间到颜色对立空间的线性映射关系；
灰度级构造单元，用于利用彩色的焊接区域图像相邻像素点之间在R、G、B三个通道上的差值△R、△G、△B构造灰度模式焊缝区域图像的灰度级；
图像灰度输出单元，用于利用得到的灰度级构造目标优化函数，然后利用共轭梯度法求解目标优化函数，得到灰度化处理的灰度模式焊缝区域图像用黑白画面中点的颜色深度描述焊接区域。
本发明通过用于利用彩色的焊接区域图像相邻像素点之间在R、G、B三个通道上的差值△R、△G、△B构造灰度模式焊缝区域图像的灰度级；利用得到的灰度级构造目标优化函数，然后利用共轭梯度法求解目标优化函数，得到灰度化处理的焊接区域图像，提高了焊缝区域图像的灰度对比度，很好的保全了焊接区域图像的彩色信息，提高了焊缝区域图像的准确度。
实施例9：
在实施例6的基础上，本发明实施例提供的灰度直方图均衡化子模块包括：
图像像素获取单元，对于每个灰度模式焊缝区域图像，获取灰度模式焊缝区域图像像素总数目，以及预定像素值所对应的像素数量；
映射关系计算单元，用于对每个灰度模式焊缝区域图像，应用直方图均衡化，确定原本焊缝区域图像像素值与均衡化像素值的映射关系；
焊缝区域图像输出单元，用于根据以上映射关系获得直方图均衡化后的单通道焊缝区域图像，通过合并上述直方图均衡化后的单通道焊缝区域图像，得到最终处理完成的灰度模式焊缝区域图像，将采集焊缝图像的像素强度分布范围进行拉伸。
本发明对每个分割后的焊缝区域图像，应用直方图均衡化，确定原本焊缝区域图像像素值与均衡化像素值的映射关系，使得焊接区域图像的色彩、纹理等细节避免失真，同时使得焊接区域图像亮度更加均匀，消除了光线噪声。本发明将采集焊缝图像的像素强度分布范围进行拉伸，提高了焊接区域图像的像素点，便于为图像滤波子模块提供良好的基础。
实施例10：
在实施例6的基础上，本发明实施例提供的图像滤波子模块包括：
灰度值计算单元，用于计算增强的灰度模式焊缝区域图像内的灰度值；
灰度值排列单元，用于将灰度值计算单元计算的灰度值按照大小进行排列；
中间值计算单元，用于计算所述所有像素点灰度值的中间值。
本发明计算增强的焊缝区域图像内的灰度值；将灰度值计算单元计算的灰度值按照大小进行排列；计算所述所有像素点灰度值的中间值，使得焊缝图像边缘信号降低干扰因素的影响，能够准确的识别焊缝图像边缘，为获取准确完整的焊缝图像边缘奠定基础。
实施例11：
在实施例1的基础上，本发明实施例提供的视觉传感模块采用双目摄像机，得到两个焊缝图像；两个焊缝图像的多光谱图像X1和X2中像元的光谱矢量之间夹角信息得到第二幅差异图，光谱矢量角度差异度量方式公式如下：
Figure BDA0003607594650000131
其中，
Figure BDA0003607594650000132
分别表示多光谱图像X1和X2第m个波段中i行j列像元对应的光谱矢量，b表示多光谱图像波段总数，包含红、绿、蓝及近红外4个波段。
本发明的视觉传感模块采用双目摄像机，得到两个焊缝图像，降低了产生的差异空间中信息的冗余，有效抑制焊缝图像背景信息的同时大大增强感兴趣区域，提高检测准确率；有效增强感兴趣信息、抑制背景信息，实现多光谱遥感图像变化信息的分析和准确标注。
应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。
以上所述，仅为本发明较优的具体的实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种焊接机器人的视觉识别系统，其特征在于，包括：
视觉传感模块，采集焊缝图像，并对所述焊缝图像进行增强处理、噪声处理和数据格式转换处理；
焊缝图像处理模块，接收经所述视觉传感模块增强处理、噪声处理和数据格式转换处理后的焊缝图像；进行预处理，提取焊缝区域；焊缝图像的预处理包含焊缝区域选取、图像灰度化、灰度直方图均衡化和图像滤波；
控制模块，接收所述焊缝图像处理模块预处理的焊缝图像，并发送至焊接机器人运行的控制器，实现对焊缝的焊接操作。
2.如权利要求1所述的焊接机器人的视觉识别系统，其特征在于，所述视觉传感模块包括：
增强处理子模块，用于将焊缝图像转换到色调分量H、饱和度分量S和亮度分量V空间；估计图像照度分量，在马尔可夫随机场模型下，计算出焊缝本身的三基色模式RGB的分量计算出焊缝本身的三基色模式RGB的分量根据尺度增强算法求出三基色模式RGB的分量；
噪声处理子模块，用于通过反向传播神经网络训练出预测焊缝图像的局部区域与参考噪声区域，根据所述相似度值计算所述局部区域进行双边滤波时所需的标准差，实现焊缝图像的自适应双边滤波，降低焊缝图像的噪声；
数据格式转换处理子模块，用于实现所述噪声处理子模块得到的降噪焊缝图像由模拟到数字图像的转换。
3.如权利要求2所述的焊接机器人的视觉识别系统，其特征在于，所述增强处理子模块包括：
焊缝图像转换单元，用于将焊缝图像转换到色调分量H、饱和度分量S和亮度分量V三个分量的空间，饱和度分量S为一比例值；亮度分量V为焊缝图像RGB中的最大值；
反射分量获取单元，将亮度分量V提取出之后，根据得到的原始焊缝图像，对焊缝图像在色调分量H、饱和度分量S和亮度分量V颜色空间下的亮度图像采用具有保边特性的引导滤波进行平滑处理，估计图像照度分量，然后在马尔可夫随机场模型下，根据对尺度增强算法原理求解包含较多有效细节信息的反射分量图像，进而计算出焊缝本身的三基色模式RGB的分量；
有线性拉伸校正单元，用于实现亮度分量V进行增强后，使得饱和度分量S发生变化，对饱和度分量S进行有线性拉伸校正；
校正和转换单元，用于在色调分量H、饱和度分量S和亮度分量V空间将焊缝图像的亮度进行增强并对饱和度进行校正之后，再把焊缝图像由色调分量H、饱和度分量S和亮度分量V空间转换到三基色模式RGB空间，完成对焊缝图像的增强处理。
4.如权利要求2所述的焊接机器人的视觉识别系统，其特征在于，所述噪声处理子模块包括：
焊缝图像数据集构建单元，用于获取增强处理的焊缝图像，通过反向传播神经网络扫描整个焊缝图像得到局部焊缝图像构成的数据集；
反向传播神经网络训练单元，用于通过反向传播神经网络训练出预测焊缝图像的局部区域与参考噪声区域，得到反向传播神经网络训练对集合；从训练对集合中，选择一个训练对，将输入向量值，送入反向传播神经网络的输入端计算网络的输出值；计算反向传播神经网络输出值和期望输出值之间的误差；调整反向传播神经网络中的连接权；所述反向传播神经网络训练的标签是所述数据集对应的相似度值；
自适应双边滤波单元，用于根据所述相似度值计算所述局部区域进行双边滤波时所需的标准差，实现焊缝图像的自适应双边滤波。
5.如权利要求2所述的焊接机器人的视觉识别系统，其特征在于，所述数据格式转换处理子模块包括：
电压信号单元，用于生成与视觉传感模块的视觉传感器成正相关的模数转换器输入信号以及与所述视觉传感器成负相关的模数转换器参考电压信号；其中，所述模数转换器输入信号的值小于所述模数转换器参考电压信号的值；
模数转换单元，用于取所述模数转换器输入信号的值与所述模数转换器参考电压信号的值的比值，对所述比值进行运算得到量化输出值。
6.如权利要求1所述的焊接机器人的视觉识别系统，其特征在于，所述焊缝图像处理模块包括：
焊缝区域选取子模块，用于结合待焊工件的大小和在焊缝图像中提取所设置的加工工作范围选取有关键焊缝信息的区域，得到焊缝区域的彩色图像；
图像灰度化子模块，用于将所述焊缝区域选取子模块得到焊缝区域的彩色图像转换为灰度模式，即用黑白画面中点的颜色深度描述焊接区域得到灰度模式焊缝区域图像；
灰度直方图均衡化子模块，用于通常直方图均衡化实现灰度模式焊缝区域图像的增强，将采集焊缝图像的像素强度分布范围进行拉伸；
图像滤波子模块，用于将增强的灰度模式焊缝区域图像内的灰度模式按照灰度值按大小排列，将中间值作为处理后的灰度输出。
7.如权利要求6所述的焊接机器人的视觉识别系统，其特征在于，所述焊缝区域选取子模块包括：
信号转换器，用于将视觉传感模块采集的感光信号被转换成电荷包的形式，并转换为数字信号；
存储器，用于实现接收转换后的数字信号存入存储模块里，再从存储器里读出一帧图像经过Bayer格式解码，将Bayer格式焊缝图像顺序送入现场可编程门阵列进行8bit量化，得到焊缝区域的彩色图像；
彩色图像发送单元，用于将最后得到的焊缝区域的彩色图像传输至图像灰度化子模块进行灰度处理。
8.如权利要求6所述的焊接机器人的视觉识别系统，其特征在于，所述图像灰度化子模块包括：
线性映射关系单元，用于找到一个从彩色的焊接区域图像的颜色空间到颜色对立空间的线性映射关系；
灰度级构造单元，用于利用彩色的焊接区域图像相邻像素点之间在R、G、B三个通道上的差值△R、△G、△B构造灰度模式焊缝区域图像的灰度级；
图像灰度输出单元，用于利用得到的灰度级构造目标优化函数，然后利用共轭梯度法求解目标优化函数，得到灰度化处理的灰度模式焊缝区域图像用黑白画面中点的颜色深度描述焊接区域。
9.如权利要求6所述的焊接机器人的视觉识别系统，其特征在于，所述灰度直方图均衡化子模块包括：
图像像素获取单元，对于每个灰度模式焊缝区域图像，获取灰度模式焊缝区域图像像素总数目，以及预定像素值所对应的像素数量；
映射关系计算单元，用于对每个灰度模式焊缝区域图像，应用直方图均衡化，确定原本焊缝区域图像像素值与均衡化像素值的映射关系；
焊缝区域图像输出单元，用于根据以上映射关系获得直方图均衡化后的单通道焊缝区域图像，通过合并上述直方图均衡化后的单通道焊缝区域图像，得到最终处理完成的灰度模式焊缝区域图像，将采集焊缝图像的像素强度分布范围进行拉伸。
10.如权利要求6所述的焊接机器人的视觉识别系统，其特征在于，所述图像滤波子模块包括：
灰度值计算单元，用于计算增强的灰度模式焊缝区域图像内的灰度值；
灰度值排列单元，用于将灰度值计算单元计算的灰度值按照大小进行排列；
中间值计算单元，用于计算所述所有像素点灰度值的中间值。
CN202210423761.2A 2022-04-21 2022-04-21 一种焊接机器人的视觉识别系统 Pending CN114862775A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210423761.2A CN114862775A (zh) 2022-04-21 2022-04-21 一种焊接机器人的视觉识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210423761.2A CN114862775A (zh) 2022-04-21 2022-04-21 一种焊接机器人的视觉识别系统

Publications (1)

Publication Number Publication Date
CN114862775A true CN114862775A (zh) 2022-08-05

Family

ID=82632335

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210423761.2A Pending CN114862775A (zh) 2022-04-21 2022-04-21 一种焊接机器人的视觉识别系统

Country Status (1)

Country Link
CN (1) CN114862775A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117444458A (zh) * 2023-12-21 2024-01-26 深圳杩蚁科技有限公司 一种用于焊接机器人的自动控制方法
CN118123328A (zh) * 2024-03-09 2024-06-04 青岛康泰镁业有限公司 一种铝型材焊接设备及其焊接方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117444458A (zh) * 2023-12-21 2024-01-26 深圳杩蚁科技有限公司 一种用于焊接机器人的自动控制方法
CN117444458B (zh) * 2023-12-21 2024-03-19 深圳杩蚁科技有限公司 一种用于焊接机器人的自动控制方法
CN118123328A (zh) * 2024-03-09 2024-06-04 青岛康泰镁业有限公司 一种铝型材焊接设备及其焊接方法
CN118123328B (zh) * 2024-03-09 2024-08-02 青岛康泰镁业有限公司 一种铝型材焊接设备及其焊接方法

Similar Documents

Publication Publication Date Title
CN114862775A (zh) 一种焊接机器人的视觉识别系统
CN109375235B (zh) 基于深度强化神经网络的内河船舶干舷检测方法
CN110264457B (zh) 基于旋转区域候选网络的焊缝自主识别方法
CN112183233A (zh) 基于深度学习的船牌识别方法及系统
CN114714355B (zh) 自主移动焊接机器人嵌入式视觉跟踪控制系统
CN109034017A (zh) 头部姿态估计方法及机器可读存储介质
CN112053376A (zh) 一种基于深度信息的工件焊缝识别方法
CN113192027B (zh) 一种大功率led模组封装缺陷的检测方法及应用
CN112837344A (zh) 一种基于条件对抗生成孪生网络的目标跟踪方法
CN113824945B (zh) 一种基于深度学习的快速自动白平衡和颜色矫正方法
CN114511519A (zh) 一种基于图像处理的列车车底螺栓丢失检测方法
CN107977959B (zh) 一种适用于电力作业机器人的呼吸器状态识别方法
CN109784396A (zh) 一种分合闸状态识别方法
CN117523543B (zh) 一种基于深度学习的金属压印字符识别方法
CN116664431B (zh) 一种基于人工智能的图像处理系统及方法
CN116917954A (zh) 图像检测方法、装置和电子设备
CN111612797A (zh) 一种水稻图像信息处理系统
CN116524174A (zh) 多尺度注意力融合的Faster RCNN的海洋生物检测方法及结构
CN116912158A (zh) 工件质检方法、装置、设备和可读存储介质
CN116245914A (zh) 具有减少望远镜风载效应的辅助实时跟踪方法及其系统
CN110688876A (zh) 一种基于视觉的车道线检测方法及装置
CN114973172A (zh) 一种基于感兴趣区域的车道线检测方法和系统
CN111583341A (zh) 云台像机移位检测方法
CN111951296B (zh) 一种目标跟踪方法及装置
CN117392221B (zh) 一种基于光学图像的托盘检测及位姿计算方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination