CN110355465B - 一种基于工业相机的高动态视觉系统和合成方法 - Google Patents

一种基于工业相机的高动态视觉系统和合成方法 Download PDF

Info

Publication number
CN110355465B
CN110355465B CN201910772049.1A CN201910772049A CN110355465B CN 110355465 B CN110355465 B CN 110355465B CN 201910772049 A CN201910772049 A CN 201910772049A CN 110355465 B CN110355465 B CN 110355465B
Authority
CN
China
Prior art keywords
image
camera
industrial camera
gradient
welding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910772049.1A
Other languages
English (en)
Other versions
CN110355465A (zh
Inventor
石永华
张抱日
占爱文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GUANGDONG FUWEIDE WELDING CO Ltd
Original Assignee
GUANGDONG FUWEIDE WELDING CO Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GUANGDONG FUWEIDE WELDING CO Ltd filed Critical GUANGDONG FUWEIDE WELDING CO Ltd
Priority to CN201910772049.1A priority Critical patent/CN110355465B/zh
Publication of CN110355465A publication Critical patent/CN110355465A/zh
Application granted granted Critical
Publication of CN110355465B publication Critical patent/CN110355465B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K10/00—Welding or cutting by means of a plasma
    • B23K10/02—Plasma welding
    • B23K10/027—Welding for purposes other than joining, e.g. build-up welding
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K26/00—Working by laser beam, e.g. welding, cutting or boring
    • B23K26/02—Positioning or observing the workpiece, e.g. with respect to the point of impact; Aligning, aiming or focusing the laser beam
    • B23K26/03—Observing, e.g. monitoring, the workpiece
    • B23K26/032—Observing, e.g. monitoring, the workpiece using optical means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K26/00—Working by laser beam, e.g. welding, cutting or boring
    • B23K26/12—Working by laser beam, e.g. welding, cutting or boring in a special atmosphere, e.g. in an enclosure
    • B23K26/122—Working by laser beam, e.g. welding, cutting or boring in a special atmosphere, e.g. in an enclosure in a liquid, e.g. underwater
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K26/00—Working by laser beam, e.g. welding, cutting or boring
    • B23K26/34—Laser welding for purposes other than joining
    • B23K26/342—Build-up welding
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K26/00—Working by laser beam, e.g. welding, cutting or boring
    • B23K26/70—Auxiliary operations or equipment

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Plasma & Fusion (AREA)
  • Mechanical Engineering (AREA)
  • Laser Beam Processing (AREA)

Abstract

本发明公开了一种基于工业相机的高动态视觉系统和合成方法，包括：激光熔敷头或焊枪、工业相机、相机防水防尘罩、局部干法排水罩、控制柜、单片机、机器人或运动执行机构、焊接电源或激光器与工控机；所述方法包括将局部干法排水罩固定于激光熔敷头或焊枪上，使用工业相机并透过局部干法排水罩透明窗进行视觉监控，并从外部实时拍摄激光熔敷或电弧焊接过程图像；通过运动控制系统控制机器人或运动执行机构末端的激光熔敷头或焊枪沿着焊缝移动；由单片机产生占空比不同的矩形波信号控制普通工业相机的快门开关和曝光时间；并在短时间内分别采集激光/电弧等离子体、熔池、成形焊道和基体的曝光良好的清晰图像；将采集的图像传输到工控机，并在工控机中采用图像处理和融合算法将采集图像进行合成，合成为同时反映激光/电弧等离子体、熔池、成形焊道和基体信息的高动态图像，最终形成实时高动态视频流并输出。

Description

一种基于工业相机的高动态视觉系统和合成方法
技术领域
本发明涉及高动态视觉技术领域，尤其涉及一种应用于水下增材修复过程中激光熔敷或焊接电弧等离子体超强光照场景下基于工业相机的高动态视觉的合成方法和系统。
背景技术
随着海洋资源的大规模开发利用，各种海洋工程结构(如码头、船舶、采油平台、管道等)大量建造和使用。由于海水腐蚀、海洋应力作用、外力撞击等造成海洋结构物意外损坏的情况也不时发生。因此，海洋工程结构受损后原位快速水下增材修复技术的应用也日益广泛。
水下增材修复过程中，通常采用在受损部位进行激光熔敷金属、电弧堆焊金属等方式进行增材修复，在这些水下增材修复过程中，激光熔敷或电弧焊接产生很强烈的激光或电弧等离子体，这些激光或电弧等离子体光强很大，遮盖了熔池和焊道等的视觉观测，使得在激光熔敷或电弧焊接过程中不容易看清楚待修复的基体、熔池和修复质量情况。随着水下增材修复质量和性能要求的提高，水下增材激光熔敷和电弧焊接朝着自动化和智能化的技术方向发展，实时获取增材修复过程中激光熔敷或焊接区域的视觉信息显得尤为重要。
为了实时观测水下增材修复激光熔敷或电弧焊接过程中熔敷或焊接区域的状态，需要实时观测等离子体、熔池状态、焊道凝固成形、待修复基体位置等信息。有研究者采用普通的工业相机拍摄焊接过程的图像以获取焊接熔池区域的信息。但是由于激光或电弧等离子体光强度的动态范围(达70db以上)超过了普通的工业相机的可观测动态范围(一般为20～60db)，导致无法使用相同的曝光参数来同时采集到激光熔敷或电弧焊接过程中等离子体、熔池状态、焊道凝固成形、待修复基体位置等的清晰图像，例如当熔池良好曝光时，焊道凝固成形、基体位置的像素点会欠曝光；而当焊道成形或基体位置良好曝光时，熔池的像素点过曝光。如果采用普通焊接护目镜片进行减光，则同时降低了等离子体、熔池、焊道和基体的亮度，无法同时看清等离子体、熔池、焊道和基体位置等。
发明内容
为解决上述技术问题，本发明的目的是提供一种基于普通工业相机的高动态视觉系统和合成方法。所述方法采用局部干法排水罩实施局部干法焊接或增材修复激光熔敷，并使用相机透过排水罩的透明窗口进行视觉监控。其中控制工业相机快速多次曝光的策略，在短时间内分别采集激光/电弧等离子体、熔池、成形焊道和基体的曝光良好的清晰图像，通过合成算法将图像中的清晰部分合成为同时反映激光/电弧等离子体、熔池、成形焊道和基体信息的高动态图像，最终形成实时高动态视频流。该方法简单方便，实用性高，高动态视觉系统成本低，能获得同时清晰的反映等离子体、熔池、焊道成形和基体信息的图像。
本发明的目的通过以下的技术方案来实现：
一种基于工业相机的高动态视觉系统，包括：
激光熔敷头或焊枪、工业相机、相机防水防尘罩、局部干法排水罩、运动控制系统、单片机、运动执行机构或机器人、焊接电源或激光器与工控机；所述
激光熔敷头或焊枪和工业相机通过焊枪夹持装置固定在机器人机械臂或运动机构末端；所述激光熔敷头或焊枪通过焊接电源或激光器输出功率控制；
局部干法排水罩固定在激光熔敷头或焊枪上，用于焊枪移动时局部干法排水罩跟着激光熔敷头或焊枪一起移动；
工业相机与激光熔敷头或焊枪之间通过连杆保持相对位置固定，相机防水防尘罩通过局部干法排水罩透明窗口拍摄激光熔敷头或焊枪末端至工件这一区域的图像；
运动控制器，用于控制机器人或运动机构末端激光熔敷头或焊枪沿着焊缝移动；
单片机，用于产生占空比不同的矩形波形信号控制工业相机的快门开关和曝光时间；
工控机，用于接收工业相机拍摄的图像，并采用图像处理和融合算法将接收到的图像进行合成，形成高动态视频流，并通过显示器显示或传输到下一图像处理模块。
一种基于工业相机的高动态视觉合成方法，包括：
将局部干法排水罩固定于激光熔敷头或焊枪上，使用工业相机并透过局部干法排水罩透明窗进行视觉监控，并从外部实时拍摄激光熔敷或焊接过程图像；
通过运动控制系统控制机器人末端激光熔敷头或焊枪沿着焊缝移动；
由单片机产生占空比不同的矩形波信号控制普通工业相机的快门开关和曝光时间；并在短时间内分别采集激光/电弧等离子体、熔池、成形焊道和基体的曝光良好的清晰图像；
将采集的图像传输到工控机，并在工控机中采用图像处理和融合算法将采集图像进行合成，合成为同时反映激光/电弧等离子体、熔池、成形焊道和基体信息的高动态图像，最终形成实时高动态视频流。
与现有技术相比，本发明的一个或多个实施例可以具有如下优点：
本发明提供的系统与方法可实现在水下激光熔敷或电弧焊接过程实时观测，采集激光熔敷或焊接过程中熔池区域信息，图像清晰完整。可用于视觉检测，也可以通过数据流传输到下一个处理模块，以进行进一步激光熔敷或焊接特征提取。
附图说明
图1是基于工业相机的高动态视觉系统结构图；
图2是基于工业相机的高动态视觉合成方法流程图；
图3是单片机产生的一个周期内多个不同占空比的矩形波示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合实施例及附图对本发明作进一步详细的描述。
如图1所示，为基于工业相机的高动态视觉合成系统结构，包括：激光熔敷头或焊枪、工业相机、相机防水防尘罩、局部干法排水罩、运动控制系统、单片机、运动执行机构或机器人、焊接电源或激光器与工控机；所述
激光熔敷头或焊枪和工业相机通过焊枪夹持装置固定在机器人机械臂或运动机构末端；所述激光熔敷头或焊枪通过焊接电源或激光器输出功率控制；
局部干法排水罩固定在激光熔敷头或焊枪上，用于焊枪移动时局部干法排水罩跟着激光熔敷头或焊枪一起移动；
工业相机与激光熔敷头或焊枪之间通过连杆保持相对位置固定，相机防水防尘罩通过局部干法排水罩透明窗口拍摄激光熔敷头或焊枪末端至工件这一区域的图像；
运动控制器，用于控制机器人或运动机构末端激光熔敷头或焊枪沿着焊缝移动；
单片机，用于产生占空比不同的矩形波形信号控制工业相机的快门开关和曝光时间；
工控机，用于接收工业相机拍摄的图像，并采用图像处理和融合算法将接收到的图像进行合成，形成高动态视频流，并通过显示器显示或传输到下一图像处理模块。
上述局部干法排水罩包括密封圈1、透明窗2、进气口3和出气口4；所述密封圈设置在局部干法排水罩体的底部，用于阻止焊接过程中水的渗透；所述透明窗设置在局部干法排水罩的一端，以使图像进行图像采集；所述进气口设置于与透明窗相对的一端即局部干法排水罩的另一端；在所述局部干法排水罩一端下部增设一凸出体，在该凸出体的端部设置出气口。激光熔敷或电弧焊接开始前先通过进气口3持续通保护气，通过压力排出局部干法排水罩中的水，剩余的气体通过出气口4排出，可为激光熔敷或电弧焊接后焊道的冷却提供保护。
上述局部干法排水罩同时具有排水、排开空气、透光的功能，在激光熔敷或焊接过程中能提供局部干法激光熔敷或电弧焊接的相对干的环境条件，相比普通排水罩增加一段开口长度，用于保护气出气并且为激光熔敷或电弧焊接后的焊道冷却提供惰性气体保护。同时排水罩具有透光能力，能让外部相机透过透明窗口2进行图像采集。
上述激光熔敷头或焊枪、局部干法排水罩与工业相机通过固定装置保持相对位置固定，在激光熔敷或焊接过程中，运动控制系统控制以上全部模块一起沿着焊缝运动，完成激光熔敷或电弧焊接过程以及视觉检测。
上述工业相机处于外部触发模式，并通过外部输入触发信号，所述触发信号为矩形波形；所述信号波形具有高电平与低电平两种状态，分别对应3.3V与0V；当工业相机接收到低电平转高电平信号时候，工业相机快门打开；当接收到高电平转低电平信号时候，相机快门关闭；相机打开与关闭之间的这段时间即为相机采集一帧图片的曝光时间。
上述矩形波产生方式是通过单片机产生，矩形波的设计策略遵循“同周期，变占空比”的原则，即根据要采集图片的频率确定周期长度，每个周期内都包含几个高电平段以及几个低电平段，然后根据选定的曝光时间再确定不同占空比，改变高电平的长度。
上所述曝光时间即矩形波高电平长度选择采用相机标定方法，通过标定相机的响应函数，得到激光熔敷或电弧焊接区域实际辐射度与图像灰度值之间的对应关系；要将感兴趣区域得到良好曝光，即图片中该区域具有接近125的灰度值，以此可以得到感兴趣区域的合适曝光时间值。并通过控制高电平时间控制相机的曝光时间，以获得激光熔敷或电弧焊接区域感兴趣部分清晰的图像。
本实施例中，激光熔敷头或焊枪固定在局部干法排水罩中，从进气口通保护气后可以将水从出气口压出实现水下局部干法激光熔敷或电弧焊接。
单片机所产生的周期信号是占空比不同的连续矩形波信号。
工业相机和激光熔敷头或焊枪通过焊枪夹持装置固定在运动执行机构或机械臂末端，相机和激光熔敷头或焊枪之间通过连杆保持相对位置固定。
本发明通过截取一个周期内曝光时间不同的多幅图像中信息清晰的部分图像，通过图像处理和融合算法合成为同时反映等离子体、熔池、焊道和基体信息的高动态图像。
本实施例还提供了一种基于工业相机的高动态视觉合成方法，所述方法包括如下步骤：
步骤10将局部干法排水罩固定于激光熔敷头或焊枪上，使用工业相机并透过局部干法排水罩透明窗进行视觉监控，并从外部实时拍摄激光熔敷或焊接过程图像；
步骤20通过运动控制系统控制机器人末端激光熔敷头或焊枪沿着焊缝移动；
步骤30由单片机产生占空比不同的矩形波信号控制普通工业相机的快门开关和曝光时间；并在短时间内分别采集激光/电弧等离子体、熔池、成形焊道和基体的曝光良好的清晰图像；
步骤40将采集的图像传输到工控机，并在工控机中采用图像处理和融合算法将采集图像进行合成，合成为同时反映激光/电弧等离子体、熔池、成形焊道和基体信息的高动态图像，最终形成实时高动态视频流。
上述的图像处理和融合算法为：
1)采用梯度法计算每张图像每个像素点的x、y方向梯度值；
公式(1)、(2)中的Fn(x,y)、Fn(x+1,y)、Fn(x,y+1)分别为第n幅图像像素点(x,y)、(x+1,y)、(x,y+1)的灰度值，分别为第n幅图像像素点(x,y)的x、y方向梯度值。
2)求出每个像素点梯度向量的模值和梯度方向；
3)比较每张图像对应像素点的梯度向量模值大小，选择最大值作为新合成图像该像素点的梯度模值；
4)根据新合成图像上每个像素点的梯度模值g(x,y)和在原图像序列所对应的梯度方向，获得新合成图像上每个像素点的x、y方向梯度值gx(x,y)、gy(x,y)，则该像素点梯度向量为G(x,y)＝[gx(x,y),gy(x,y)]T；
5)新合成图像的梯度向量与像素点灰度值存在如下关系：
公式中
为了求得新合成图像上每个像素点的灰度值，对公式(5)进行微分变换，得泊松方程为
加上狄利克雷边界约束条件：新合成图像的融合边界灰度值等于每张图像上对应边界灰度值的平均值，即
该公式中(x,y)为边界像素点的坐标；
因此可以根据泊松方程求解方法将公式(5)化为矩阵化方程组形式：Ax＝b，最后利用雅可比迭代法求解可得新合成图像的灰度值。
将相机和激光熔敷头或焊枪固定于机器人机械臂或运动机构末端，相机和激光熔敷头/焊枪保持相对位置固定；为使用多重曝光成像技术实现水下增材修复激光熔敷或电弧焊接的等离子体、熔池、焊道和基体信息的观测，利用单片机产生如图3所示的一个周期内多个不同占空比的矩形波。例如图3中设置一个周期时间T为100ms；设置了四种不同占空比的矩形波分别对应四种曝光时间，T1、T2、T3、T4为相机拍摄一帧图像所花费的时间，为25ms；T1h、T2h、T3h、T4h为四种不同时间长度的高电平段，分别为18ms、3ms、12ms、6ms，对应于四种不同的曝光时间；获得一个时间周期T内的四张不同曝光时间的图像后在工控机上采用图像融合算法合成为一张高动态图像，即高动态图像的时间周期为拍摄四张不同曝光时间的图像所花费时间之和，为100ms。
由于等离子体、熔池、焊道和基体之间的动态范围过大，无法使用相同的曝光参数来同时采集到等离子体、熔池、焊道和基体的清晰图像，通过调整矩形波的占空比改变曝光时间可以控制相机曝光量，使得能够分别清晰拍摄熔池部分和锁孔部分的图像。曝光时间通过激光熔敷或电弧焊接区域光强辐射度与灰度值的关系来确定，辐射度强的区域其灰度值越大，设定曝光时间使得感兴趣区域图像的灰度值在125附近，该曝光时间即为合适的对应于该感兴趣区域辐射度的时间。将不同曝光时间的图像通过信号线传输至工控机，通过图像融合技术将一个周期内等离子体、熔池、焊道和基体的清晰图像合成为一个高动态图像，最终形成高动态视频流实时显示在高清显示屏上。
虽然本发明所揭露的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (8)

1.一种基于工业相机的高动态视觉系统，其特征在于，所述系统包括：激光熔敷头或焊枪、工业相机、相机防水防尘罩、局部干法排水罩、运动控制系统、单片机、运动执行机构或机器人、焊接电源或激光器与工控机；所述
激光熔敷头或焊枪和工业相机通过焊枪夹持装置固定在机器人机械臂或运动机构末端；所述激光熔敷头或焊枪通过焊接电源或激光器输出功率控制；
局部干法排水罩固定在激光熔敷头或焊枪上，用于焊枪移动时局部干法排水罩跟着激光熔敷头或焊枪一起移动；
工业相机与激光熔敷头或焊枪之间通过连杆保持相对位置固定，相机防水防尘罩通过局部干法排水罩透明窗口拍摄激光熔敷头或焊枪末端至工件这一区域的图像；
运动控制器，用于控制机器人或运动机构末端激光熔敷头或焊枪沿着焊缝移动；
单片机，用于产生占空比不同的矩形波形信号控制工业相机的快门开关和曝光时间；
工控机，用于接收工业相机拍摄的图像，并采用图像处理和融合算法将接收到的图像进行合成，形成高动态视频流，并通过显示器显示或传输到下一图像处理模块；
所述图像处理和融合算法为：
1)采用梯度法计算每张图像每个像素点的x、y方向梯度值；
公式(1)、(2)中的Fn(x,y)、Fn(x+1,y)、Fn(x,y+1)分别为第n幅图像像素点(x,y)、(x+1,y)、(x,y+1)的灰度值，分别为第n幅图像像素点(x,y)的x、y方向梯度值；
2)求出每个像素点梯度向量的模值和梯度方向；
3)比较每张图像对应像素点的梯度向量模值大小，选择最大值作为新合成图像该像素点的梯度模值；
4)根据新合成图像上每个像素点的梯度模值g(x,y)和在原图像序列所对应的梯度方向，获得新合成图像上每个像素点的x、y方向梯度值gx(x,y)、gy(x,y)，则该像素点梯度向量为G(x,y)＝[gx(x,y),gy(x,y)]T；
5)新合成图像的梯度向量与像素点灰度值存在如下关系：
公式中
为了求得新合成图像上每个像素点的灰度值，对公式(5)进行微分变换，得泊松方程为
加上狄利克雷边界约束条件：新合成图像的融合边界灰度值值等于每张图像上对应边界灰度值的平均值，即
该公式中(x,y)为边界像素点的坐标；
因此可以根据泊松方程求解方法将公式(5)化为矩阵化方程组形式：Ax＝b，最后利用雅可比迭代法求解可得新合成图像的灰度值。
2.如权利要求1所述的基于工业相机的高动态视觉系统，其特征在于，所述局部干法排水罩包括密封圈、透明窗、进气口和出气口；所述密封圈设置在排水罩体的底部，用于阻止焊接过程中水的渗透；所述透明窗设置在局部干法排水罩的一端，以使图像进行图像采集；所述进气口设置于与透明窗相对的一端即局部干法排水罩的另一端；
在所述局部干法排水罩一端下部增设一凸出体，在该凸出体的端部设置出气口。
3.如权利要求1所述的基于工业相机的高动态视觉系统，其特征在于，所述激光熔敷头或焊枪、局部干法排水罩与工业相机通过固定装置保持相对位置固定，并通过运动执行机构或机器人控制沿着焊缝运动，完成激光熔敷或焊接过程及视觉检测。
4.如权利要求1所述的基于工业相机的高动态视觉系统，其特征在于，所述工业相机处于外部触发模式，并通过外部输入触发信号，所述触发信号为矩形波形；所述信号波形具有高电平与低电平两种状态，分别对应3.3V与0V；当工业相机接收到低电平转高电平信号时候，工业相机快门打开；当接收到高电平转低电平信号时候，相机快门关闭；相机打开与关闭之间的这段时间即为相机采集一帧图片的曝光时间。
5.如权利要求4所述的基于工业相机的高动态视觉系统，其特征在于，所述矩形波产生方式是通过单片机产生，矩形波的设计策略遵循“同周期，变占空比”的原则即根据要采集图片的频率确定周期长度，每个周期内都包含几个高电平段以及几个低电平段，然后根据选定的曝光时间再确定不同占空比，改变高电平的长度。
6.如权利要求4所述的基于工业相机的高动态视觉系统，其特征在于，所述曝光时间即矩形波高电平长度选择采用相机标定方法，通过标定相机的响应函数，得到激光熔敷或电弧焊接区域实际辐射度与图像灰度值之间的对应关系；并通过控制高电平时间控制相机的曝光时间，以获得激光熔敷或焊接区域感兴趣部分清晰的图像。
7.一种基于工业相机的高动态视觉合成方法，其特征在于，所述方法包括：
将局部干法排水罩固定于激光熔敷头或焊枪上，使用工业相机并透过局部干法排水罩透明窗进行视觉监控，并从外部实时拍摄激光熔敷或焊接过程图像；
通过运动控制系统控制机器人末端激光熔敷头或焊枪沿着焊缝移动；
由单片机产生占空比不同的矩形波信号控制普通工业相机的快门开关和曝光时间；并在短时间内分别采集激光/电弧等离子体、熔池、成形焊道和基体的曝光良好的清晰图像；
将采集的图像传输到工控机，并在工控机中采用图像处理和融合算法将采集图像进行合成，合成为同时反映激光/电弧等离子体、熔池、成形焊道和基体信息的高动态图像，最终形成实时高动态视频流；
所述的图像处理和融合算法为：
1)采用梯度法计算每张图像每个像素点的x、y方向梯度值；
公式(1)、(2)中的Fn(x,y)、Fn(x+1,y)、Fn(x,y+1)分别为第n幅图像像素点(x,y)、(x+1,y)、(x,y+1)的灰度值，分别为第n幅图像像素点(x,y)的x、y方向梯度值；
2)求出每个像素点梯度向量的模值和梯度方向；
3)比较每张图像对应像素点的梯度向量模值大小，选择最大值作为新合成图像该像素点的梯度模值；
4)根据新合成图像上每个像素点的梯度模值g(x,y)和在原图像序列所对应的梯度方向，获得新合成图像上每个像素点的x、y方向梯度值gx(x,y)、gy(x,y)，则该像素点梯度向量为G(x,y)＝[gx(x,y),gy(x,y)]T；
5)新合成图像的梯度向量与像素点灰度值存在如下关系：
公式中
为了求得新合成图像上每个像素点的灰度值，对公式(5)进行微分变换，得泊松方程为
加上狄利克雷边界约束条件：新合成图像的融合边界灰度值值等于每张图像上对应边界灰度值的平均值，即
该公式中(x,y)为边界像素点的坐标；
因此可以根据泊松方程求解方法将公式(5)化为矩阵化方程组形式：Ax＝b，最后利用雅可比迭代法求解可得新合成图像的灰度值。
8.如权利要求7所述的基于工业相机的高动态视觉合成方法，其特征在于，所述工业相机处于外部触发模式，通过外部输入触发信号，触发信号为矩形波形；信号波形具有高电平与低电平两种状态，分别对应3.3V与0V；当相机接收到低电平转高电平信号时候，相机快门打开；当接收到高电平转低电平信号时候，相机快门关闭；相机打开与关闭之间的这段时间即为相机采集一帧图片的曝光时间。
CN201910772049.1A 2019-08-21 2019-08-21 一种基于工业相机的高动态视觉系统和合成方法 Active CN110355465B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910772049.1A CN110355465B (zh) 2019-08-21 2019-08-21 一种基于工业相机的高动态视觉系统和合成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910772049.1A CN110355465B (zh) 2019-08-21 2019-08-21 一种基于工业相机的高动态视觉系统和合成方法

Publications (2)

Publication Number Publication Date
CN110355465A CN110355465A (zh) 2019-10-22
CN110355465B true CN110355465B (zh) 2023-07-25

Family

ID=68224194

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910772049.1A Active CN110355465B (zh) 2019-08-21 2019-08-21 一种基于工业相机的高动态视觉系统和合成方法

Country Status (1)

Country Link
CN (1) CN110355465B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111203654A (zh) * 2020-01-15 2020-05-29 苏州德创测控技术咨询有限公司 激光焊接轨迹追踪监测系统
DE102020205638A1 (de) * 2020-05-05 2021-11-11 Robert Bosch Gesellschaft mit beschränkter Haftung Überwachungseinrichtung für eine Laserstrahlschweißanlage, Laserstrahlschweißanlage und Verfahren zur Überwachung
CN112222620B (zh) * 2020-09-29 2022-04-22 哈尔滨工业大学 一种超窄间隙激光填丝焊接熔池图像实时监测装置
CN112734751A (zh) * 2021-01-25 2021-04-30 天津市中重科技工程有限公司 一种利用机器视觉技术进行钢坯计数的系统及方法
CN113751920B (zh) * 2021-08-04 2022-07-22 华南理工大学 一种锁孔tig焊焊接质量实时检测的嵌入式装置及方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2458117Y (zh) * 2000-12-19 2001-11-07 华南理工大学 水下焊接微型排水装置
US6555779B1 (en) * 2000-02-07 2003-04-29 Hitachi, Ltd. Underwater processing device and underwater processing method
CN104616273A (zh) * 2015-01-26 2015-05-13 电子科技大学 一种基于拉普拉斯金字塔分解的多曝光图像融合方法
CN104881854A (zh) * 2015-05-20 2015-09-02 天津大学 基于梯度和亮度信息的高动态范围图像融合方法
CN106735784A (zh) * 2017-01-04 2017-05-31 华南理工大学 一种基于焊接视觉系统的焊枪夹持装置
CN107107231A (zh) * 2014-12-19 2017-08-29 林肯环球股份有限公司 焊接视像与控制系统
CN107838550A (zh) * 2017-12-01 2018-03-27 哈尔滨工业大学（威海） 一种水下复合热源增材制造装置及使用方法
CN108500421A (zh) * 2018-04-08 2018-09-07 哈尔滨工业大学（威海） 用于水下局部干法焊接的装置及焊接方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6555779B1 (en) * 2000-02-07 2003-04-29 Hitachi, Ltd. Underwater processing device and underwater processing method
CN2458117Y (zh) * 2000-12-19 2001-11-07 华南理工大学 水下焊接微型排水装置
CN107107231A (zh) * 2014-12-19 2017-08-29 林肯环球股份有限公司 焊接视像与控制系统
CN104616273A (zh) * 2015-01-26 2015-05-13 电子科技大学 一种基于拉普拉斯金字塔分解的多曝光图像融合方法
CN104881854A (zh) * 2015-05-20 2015-09-02 天津大学 基于梯度和亮度信息的高动态范围图像融合方法
CN106735784A (zh) * 2017-01-04 2017-05-31 华南理工大学 一种基于焊接视觉系统的焊枪夹持装置
CN107838550A (zh) * 2017-12-01 2018-03-27 哈尔滨工业大学（威海） 一种水下复合热源增材制造装置及使用方法
CN108500421A (zh) * 2018-04-08 2018-09-07 哈尔滨工业大学（威海） 用于水下局部干法焊接的装置及焊接方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Microstructure and Impact Toughness of Local-Dry Keyhole Tungsten Inert Gas Welded Joints;Shuwan Cui, Zhiyong Xian, Yonghua Shi , Baoyi Liao, Tao Zhu;Materials;第12卷(第10期);1638 *
Vision based seam tracking system for underwater flux cored arc welding;Y. H. Shi， G. R. Wang;Science and Technology of Welding and Joining;第11卷(第3期);271-277 *
机器人水下焊缝跟踪中双目立体视觉系统;肖心远,石永华,王国荣等;焊接技术;第38卷(第01期);37-40 *

Also Published As

Publication number Publication date
CN110355465A (zh) 2019-10-22

Similar Documents

Publication Publication Date Title
CN110355465B (zh) 一种基于工业相机的高动态视觉系统和合成方法
CN103384998B (zh) 摄像装置、及摄像方法
US6819778B2 (en) Method and system for tracking a fast moving object
KR100890949B1 (ko) 이미지 데이터 처리를 위한 전자 장치 및 전자 장치에서의방법
US9398214B2 (en) Multiple view and multiple object processing in wide-angle video camera
US9602700B2 (en) Method and system of simultaneously displaying multiple views for video surveillance
JP4356689B2 (ja) カメラシステム、カメラ制御装置、パノラマ画像作成方法及びコンピュータ・プログラム
CN104023177A (zh) 摄像机控制方法、装置及摄像机
CN103024350A (zh) 一种双目ptz视觉系统的主从跟踪方法及应用该方法的系统
JP4266535B2 (ja) 黒煙検知システム
CN109166083B (zh) 一种用于去除水下图像气泡噪声的方法
CN108156371B (zh) 一种红外自动对焦快速搜索方法
CN105100546A (zh) 运动估计方法及装置
CN211102139U (zh) 一种基于工业相机的高动态视觉系统
CN207593836U (zh) 用于水下焊接的机器人
CN106210524A (zh) 一种摄像模组的拍摄方法及摄像模组
Li et al. Multiframe-based high dynamic range monocular vision system for advanced driver assistance systems
Ye et al. Weld seam tracking based on laser imaging binary image preprocessing
CN104002020B (zh) 基于焊接熔池的数字相机自动对焦系统及其自动聚焦方法
CN114523236A (zh) 一种基于机器视觉的智能化自动检测平台
CN116017123A (zh) 一种光电成像系统及其成像方法
Hensel et al. Fisheye camera calibration and distortion correction for ground based sky imagery
WO2024004534A1 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
JP2004048621A (ja) 画像合成装置および画像合成方法
Li et al. Performing electronic imaging detection based on a multi-functional weather environment simulation system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220624

Address after: Room 203, unit 2, building 2, No. 11, Guangfa Middle Road, Huangpu District, Guangzhou, Guangdong 510663

Applicant after: GUANGDONG FUWEIDE WELDING Co.,Ltd.

Address before: 510640 five mountain road, Guangzhou, Guangdong, Tianhe District, South China University of Technology

Applicant before: SOUTH CHINA University OF TECHNOLOGY

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant