CN113146073A - 基于视觉的激光切割方法及装置、电子设备、存储介质 - Google Patents

基于视觉的激光切割方法及装置、电子设备、存储介质 Download PDF

Info

Publication number
CN113146073A
CN113146073A CN202110700861.0A CN202110700861A CN113146073A CN 113146073 A CN113146073 A CN 113146073A CN 202110700861 A CN202110700861 A CN 202110700861A CN 113146073 A CN113146073 A CN 113146073A
Authority
CN
China
Prior art keywords
edge
product
coordinate system
cut
calibration plate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110700861.0A
Other languages
English (en)
Other versions
CN113146073B (zh
Inventor
黄虎
周璐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Huaray Technology Co Ltd
Original Assignee
Zhejiang Huaray Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Huaray Technology Co Ltd filed Critical Zhejiang Huaray Technology Co Ltd
Priority to CN202110700861.0A priority Critical patent/CN113146073B/zh
Publication of CN113146073A publication Critical patent/CN113146073A/zh
Application granted granted Critical
Publication of CN113146073B publication Critical patent/CN113146073B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23KSOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K26/00Working by laser beam, e.g. welding, cutting or boring
    • B23K26/36Removing material
    • B23K26/38Removing material by boring or cutting
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23KSOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K26/00Working by laser beam, e.g. welding, cutting or boring
    • B23K26/70Auxiliary operations or equipment
    • B23K26/702Auxiliary equipment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/181Segmentation; Edge detection involving edge growing; involving edge linking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Plasma & Fusion (AREA)
  • Mechanical Engineering (AREA)
  • Laser Beam Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供了一种基于视觉的激光切割方法及装置、电子设备、存储介质,所述方法包括:确定图像坐标系与标定板坐标系之间的转换关系,转换单应性矩阵为H1;通过激光器的深度相机确定待切割产品上所设置标志点的坐标,通过H1将标志点的坐标换到标定板坐标系下;基于标定板坐标系下的标志点的坐标确定激光器坐标系相对于标定板坐标系的平移量和旋转角度;视觉定位待切割产品的边缘切割点的坐标,基于H1将切割点的坐标换到标定板坐标系下,通过平移量和旋转角度,将标定板坐标系下的边缘切割点坐标转换到激光器坐标系下;基于激光器坐标系下的边缘切割点坐标激光切割待切割产品的边缘区域,形成相应产品。本发明边缘点定位更准确,加工产品更精确。

Description

基于视觉的激光切割方法及装置、电子设备、存储介质
技术领域
本发明涉及激光切割技术,尤其涉及一种基于视觉的激光切割方法及装置、电子设备、存储介质。
背景技术
激光切割是用不可见的光束代替传统的机械刀,具有精度高、切割速度快、加工成本低等特点,将逐渐取代传统的切割设备。激光切割适用于玻璃膜切割、布匹切割、钣金加工等加工领域。一般地,产品在进行激光切割前,需要进行机械定位,即需要保证激光器切割坐标系与固定平台的坐标系保持一致。将激光器固定在平台上之后,需要不断的切割校准,反复测试切割效果,以保证切割效果满足生产要求。
目前激光切割的机械定位中,需要在切割产品的表面设置mark点,视觉系统基于mark点实现定位。实际生产中,很难满足产品表面设置mark点的要求,这种方式不具有通用性。另外,目前也有基于深度学习的方式在线更新优化轮廓模型,实现对产品的激光切割,但这种方式满足一定的训练周期才可以生产,如果训练样本出现异常,将导致轮廓切割效果较差。
发明内容
本发明提供一种基于视觉的激光切割方法及装置、电子设备、存储介质,以至少解决现有技术中存在的以上技术问题。
本发明一方面提供一种基于视觉的激光切割方法,所述方法包括:
确定图像坐标系与标定板坐标系之间的转换关系,转换单应性矩阵为H1;通过激光器的深度相机确定待切割产品上所设置标志点的坐标,通过H1将所述标志点的坐标换到所述标定板坐标系下;基于所述标定板坐标系下的所述标志点的坐标确定激光器坐标系相对于所述标定板坐标系的平移量和旋转角度;
视觉定位所述待切割产品的边缘切割点的坐标,基于H1将所述边缘切割点的坐标换到所述标定板坐标系下,通过所述平移量和所述旋转角度,将所述标定板坐标系下的所述边缘切割点坐标转换到所述激光器坐标系下;
基于所述激光器坐标系下的所述边缘切割点坐标激光切割所述待切割产品的边缘区域,形成相应产品。
可选地,所述方法还包括:
通过至少一个线扫相机对部分所述待切割产品进行多次拍摄,所拍摄的多张图像中每两张具有重叠区域,且至少能拼接出完整的所述待切割产品;所述标定板位于所述重叠区域;
基于H1,将多张图像从所述图像坐标系转换到所述标定板坐标系下,并基于多张图像中的所述标定板的位置,完成所述待切割产品的拼接;
基于所述平移量和所述旋转角度,将拼接后的所述待切割产品从所述标定板坐标系标转换到所述激光器坐标系下。
可选地,所述视觉定位所述待切割产品的边缘切割点的坐标,包括:
通过线扫相机确定所述待切割产品的姿态,根据所述姿态确定所述待切割产品的期望直线位置,利用找边工具在所述期望直线位置处查找每个找边区域内的边缘点;根据所查找出的边缘点拟合直线,将所拟合直线作为所述待切割产品的直边位置;
根据所述的直边位置,确定所述待切割产品的倾斜角度和位置信息。
可选地,所述视觉定位所述待切割产品的边缘切割点的坐标,包括:
在所述待切割产品的直边的位置及相交情况,确定所述待切割产品的期望曲线边缘,利用找圆工具在所述期望曲线边缘查找每个找圆区域内的边缘点;根据所查找出的边缘点拟合曲线,将所拟合曲线作为所述待切割产品的曲线边。
可选地,所述找边区域为多个平行间隔设置的矩形区域构成,所述找圆区域为以设定点为圆心,在设定半径所在位置间隔设置的多个矩形区域构成。
可选地,所述方法还包括:
在基于所述边缘点拟合直线或曲线时,忽略其中的异常边缘点;或
根据所述姿态确定所述待切割产品的边缘是从暗到亮还是从亮到暗,筛除不符合暗、亮分布的边缘点;或
确定所述找边区域或所述找圆区域与所述边缘点之间的连线之间的投影峰值,筛除投影峰值小于设定阈值的边缘点。
本发明另一方面提供一种基于视觉的激光切割装置,所述装置包括:
第一确定单元,用于确定图像坐标系与标定板坐标系之间的转换关系,转换单应性矩阵为H1;
转换单元,用于通过激光器的深度相机确定待切割产品上所设置标志点的坐标,通过H1将所述标志点的坐标换到所述标定板坐标系下;
第二确定单元,用于基于所述标定板坐标系下的所述标志点的坐标确定激光器坐标系相对于所述标定板坐标系的平移量和旋转角度;
视觉定位单元,用于视觉定位所述待切割产品的边缘切割点的坐标,基于H1将所述边缘切割点的坐标换到所述标定板坐标系下,通过所述平移量和所述旋转角度,将所述标定板坐标系下的所述边缘切割点坐标转换到所述激光器坐标系下;
切割单元,用于基于所述激光器坐标系下的所述边缘切割点坐标激光切割所述待切割产品的边缘区域,形成相应产品。
可选地,所述装置还包括:
拼接单元,用于通过至少一个线扫相机对部分所述待切割产品进行多次拍摄,所拍摄的多张图像中每两张具有重叠区域,且至少能拼接出完整的所述待切割产品;所述标定板位于所述重叠区域;
基于H1,将多张图像从所述图像坐标系转换到所述标定板坐标系下,并基于多张图像中的所述标定板的位置,完成所述待切割产品的拼接;
基于所述平移量和所述旋转角度,将拼接后的所述待切割产品从所述标定板坐标系标转换到所述激光器坐标系下。
可选地,所述视觉定位单元,还用于:
通过线扫相机确定所述待切割产品的姿态,根据所述姿态确定所述待切割产品的期望直线位置,利用找边工具在所述期望直线位置处查找每个找边区域内的边缘点;根据所查找出的边缘点拟合直线,将所拟合直线作为所述待切割产品的直边位置;
根据所述的直边位置,确定所述待切割产品的倾斜角度和位置信息。
可选地,所述视觉定位单元,还用于:
在所述待切割产品的直边的位置及相交情况,确定所述待切割产品的期望曲线边缘,利用找圆工具在所述期望曲线边缘查找每个找圆区域内的边缘点;根据所查找出的边缘点拟合曲线,将所拟合曲线作为所述待切割产品的曲线边。
可选地,所述找边区域为多个平行间隔设置的矩形区域构成,所述找圆区域为以设定点为圆心,在设定半径所在位置间隔设置的多个矩形区域构成。
可选地,所述视觉定位单元,还用于:
在基于所述边缘点拟合直线或曲线时,忽略其中的异常边缘点;或
根据所述姿态确定所述待切割产品的边缘是从暗到亮还是从亮到暗,筛除不符合暗、亮分布的边缘点;或
确定所述找边区域或所述找圆区域与所述边缘点之间的连线之间的投影峰值,筛除投影峰值小于设定阈值的边缘点。
本发明另一方面提供一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;存储器,用于存放计算机程序;处理器,用于执行存储器上所存放的程序时,实现所述的基于视觉的激光切割方法的步骤。
本发明再一方面提供一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现所述的基于视觉的激光切割方法的步骤。
本发明使用线扫相机完成待切割产品的图像数据的采集,相比较于面阵相机采集图像,能够大大提高成像精度,同时避开了图像畸变的影响;利用待切割产品本身的边缘信息,通过找边的方式简单快速的确定产品姿态,相比较于mark定位,具有更好的通用性,相比较于用模板匹配的方法,消耗的计算资源更轻量、易操作;待切割产品边界有部分脏污干扰时,通过筛除边缘点的方式,提升了边缘确定的抗干扰能力,同时,不会影响切割精度。本发明能够通过产品形状等来定位边缘信息,根据局部形状近似部件形状,从而输出高精度切割的边缘点。
附图说明
图1示出了本发明实施例的基于视觉的激光切割方法的流程图;
图2示出了本发明实施例的线扫相机拍摄的图像示意图;
图3示出了本发明实施例的直线找边工具的找边示意图;
图4示出了本发明实施例的灰度投影及其一阶导数的示意图;
图5示出了本发明实施例的找圆工具的找曲线示意图;
图6示出了本发明实施例的AGV弧线路径锁格示意图;
图7示出了本发明实施例的基于视觉的激光切割装置的组成结构示意图;
图8示出了本发明实施例的电子设备的结构图。
具体实施方式
为使本发明的目的、特征、优点能够更加的明显和易懂,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而非全部实施例。基于本发明中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1示出了本发明实施例的基于视觉的激光切割方法的流程图,如图1所示,本发明实施例的基于视觉的激光切割方法包括以下处理步骤:
步骤101,确定图像坐标系与标定板坐标系之间的转换关系,转换单应性矩阵为H1;通过深度相机确定待切割产品上所设置标志点的坐标,通过H1将所述标志点的坐标换到所述标定板坐标系下;基于所述标定板坐标系下的所述标志点的坐标确定激光器坐标系相对于所述标定板坐标系的平移量和旋转角度。
本发明实施例中,通过至少一个线扫相机对部分所述待切割产品进行多次拍摄,所拍摄的多张图像中每两张具有重叠区域,且至少能拼接出完整的所述待切割产品;所述标定板位于所述重叠区域;基于H1,将多张图像从所述图像坐标系转换到所述标定板坐标系下,并基于多张图像中的所述标定板的位置,完成所述待切割产品的拼接;基于所述平移量和所述旋转角度,将拼接后的所述待切割产品从所述标定板坐标系标转换到所述激光器坐标系下。
步骤102,视觉定位所述待切割产品的边缘切割点的坐标,基于H1将所述边缘切割点的坐标换到所述标定板坐标系下,通过所述平移量和所述旋转角度,将所述标定板坐标系下的所述边缘切割点坐标转换到所述激光器坐标系下。
具体地,通过线扫相机确定所述待切割产品的姿态,根据所述姿态确定所述待切割产品的期望直线位置,利用找边工具在所述期望直线位置处查找每个找边区域内的边缘点;根据所查找出的边缘点拟合直线,将所拟合直线作为所述待切割产品的直边位置;根据所述的直边位置,确定所述待切割产品的倾斜角度和位置信息。
或者,在所述待切割产品的直边的位置及相交情况,确定所述待切割产品的期望曲线边缘,利用找圆工具在所述期望曲线边缘查找每个找圆区域内的边缘点;根据所查找出的边缘点拟合曲线,将所拟合曲线作为所述待切割产品的曲线边。
其中,所述找边区域为多个平行间隔设置的矩形区域构成,所述找圆区域为以设定点为圆心,在设定半径所在位置间隔设置的多个矩形区域构成。
在基于所述边缘点拟合直线或曲线时,忽略其中的异常边缘点;或
在查找待切割产品的边缘点时,根据所述姿态确定所述待切割产品的边缘是从暗到亮还是从亮到暗,筛除不符合暗、亮分布的边缘点;或
确定所述找边区域或所述找圆区域与所述边缘点之间的连线之间的投影峰值,筛除投影峰值小于设定阈值的边缘点。
通过筛除边缘点中的干扰点,提升了边缘点的抗干扰性,同时,保证了切割精度。
步骤103,基于所述激光器坐标系下的所述边缘切割点坐标激光切割所述待切割产品的边缘区域,形成相应产品。
本发明实施例中,当确定出待切割产品的边缘区域后,即可根据相应的产品的具体形状及尺寸,对待切割产品进行切割,从而通过激光切割实现产品的加工。
以下通过具体示例,进一步阐明本发明实施例的技术方案的本质。
本发明实施例针对之前机械固定的产品方式中需要对待切割产品反复调试校准的缺陷,通过标定视觉与激光器间的坐标关系,直接将待切割产品边缘点坐标转换为激光器的坐标。不需要像机械固定那样反复校准;另一方面,允许产品在固定平台上的位置有轻微偏差如平移、旋转偏差等,有利于产线工人的操作,提高生产效率。同时,由于产品来料的差异性,很难保证每个产品的尺寸绝对一致,以液晶玻璃膜切割为例,激光切割需要保证膜到玻璃边界满足固定距离,由于液晶玻璃本身尺寸的差异性,视觉方案能够准确定位到液晶玻璃边缘信息,再通过内缩固定量完成精确切割。
本发明实施例基于视觉引导的激光切割方法包括以下主要处理流程:
视觉标定:用于建立图像坐标与激光器坐标的转换关系,在实际实施中,需要使用标定板来做中间桥接。首先,需要建立图像坐标系与标定板坐标系间的转换关系,假设对应的单应性矩阵为H1,在待切割产品上使用激光器在原点、x轴方向选择一点、y轴方向各选择至少一点打3个圆斑,通过在相机中成像,可以得到圆斑中心坐标分别为(C0、C1、C2),通过H1矩阵将图像坐标系转换到标定板坐标系下,假设为(P0、P1、P2),此时,可以确定激光器坐标系相对于标定板坐标的平移量(Mx,My)和旋转角度Angle。通过视觉定位产品边缘切割点L0,首先将L0转换到标定板的棋盘格坐标系下,坐标变为L1,再根据标定板的棋盘格坐标系与激光器坐标的关系,将L1转换到激光器坐标系下变为L2,即为激光切割点。
图像拼接:在实际产品切割中,由于对切割精度有很高的要求,单个相机不能一次拍摄完成整个产品,需要多次拍摄或者多相机对待切割产品的各部分分别成像。假设一个产品需要左右拍摄两张图像,两张图片需要有部分重叠。将标定板放置于重叠区域位置即可。本发明实施例中,完成图像坐标系到标定板坐标系的转换,两张图像坐标系对应一个标定板坐标系。按照前述的方法坐标转换关系,即可建立标定板坐标系与激光器坐标系的转换关系,最终实现两个相机的图像坐标到激光器坐标系的转换,同理,更多的相机同样可以按照前述类似的坐标系转换操作,并基于标定板对齐的方式完成产品图像的拼接。
定位边缘点坐标:边缘点定位的精度直接影响到最终激光切割的工艺精度,本发 明实施例以对待切割产品拍摄两张图像而完成拼接为例展开说明,拍摄多张图像完成拼接 的方式可以采用两两拼接的方式实现。对于切割精度要求较高的产品加工场景,需要视觉 精度做到足够高,通常使用大面阵相机或者线扫相机来提高成像精度,面阵相机部署简单, 但是,对于高精度成像场景,需要考虑相机畸变、产品视野覆盖率等因素的影响。本发明实 施例使用线扫相机进行待切割产品的图像数据采集,根据产品尺寸大小的不同,可以通过 单次或者多次完成产品切割表面的数据采集。线扫图像如图2所示,左右图像分别对应线扫 相机两次的扫描结果,实际成像分辨率分别为
Figure 28332DEST_PATH_IMAGE001
Figure 7789DEST_PATH_IMAGE002
。激光器需要沿 着产品外边缘完成切割,需要视觉精确的检测出边缘点位置。
对于边缘点的检测,本发明实施例包括以下处理步骤:
产品来料的姿态决定了后续待切割产品的检测参数,所以需要确定产品的姿态,即产品的初始状态。由于线扫相机成像尺寸较大,考虑到耗时以及系统资源问题,需要使用更简单的方式确定产品的姿态,以便于后续的查找产品的边缘操作。本发明实施例中,使用找边工具定位产品的直边位置,以左边图像为例,在产品上侧、下侧、左侧完成直线边检测,根据直线边的位置,可以判断出产品倾斜的角度和位置信息。输出的信息越精确,后续边缘点查找工具输出的边缘信息就越精确。
以产品上侧边缘为例说明,使用找边工具确定边缘点的方式如下:
找边工具介绍:找边工具由多个卡尺(图3中的矩形区域)间隔分布组成,需要预先配置期望产品边缘的直线位置,在期望直线位置处查找每个卡尺内的边缘点,如图3所示,边缘点为矩形区域内的十字标示。最终根据边缘点来拟合直线。找边工具还支持以下参数的配置:
忽略点:假设配置了50个卡尺来拟合直线,如果忽略了5个,最终结果会输出排除5个点之后的拟合结果,忽略点可以提高直线的抗干扰能力,排除异常点对最终拟合直线的影响。如图3所示,中部灰色矩形区域内的边缘点即为需要筛除的边缘点。
极性:可以设置边缘是从暗到亮还是从亮到暗,通过极性的设置可以对卡尺内的边缘点做筛选过滤,即对明显不符合阴暗分布的边缘点进行筛除。
边缘阈值:根据边缘强度做过滤,可以过滤不满足阈值条件的弱边缘。图4示出了本发明实施例的灰度投影及其一阶导数的示意图,图中上部分的坐标表示矩形块的灰度投影数据,图中下部分的坐标表示对灰度投影的一阶导数,其极值位置即为边缘点所在的位置。当卡尺与边缘越垂直,投影的峰值越大,边缘强度也越大,找到的边缘点也越准确。
通过确定待切割产品的直线初始位置,可以配置更精确的找边、找圆初始位置。
找圆工具与找边工具类似,区别在与最终拟合的圆形。在确定上面直线边与左边直线边后,可以确定直线交点,根据产品圆弧的大小,很容易可以确定要找圆弧的位置。如图5所示,在待切割产品的直边的位置及相交情况,确定所述待切割产品的期望曲线边缘,利用找圆工具在所述期望曲线边缘查找每个找圆区域内的边缘点;根据所查找出的边缘点拟合曲线,将所拟合曲线作为所述待切割产品的曲线边。找圆区域为以设定点为圆心,在设定半径所在位置间隔设置的多个矩形区域构成。如图5所示,图中灰色矩形区域内的边缘点为筛除点。
本发明实施例中,为了保证激光切割的连续性和平滑性,需要对忽略掉的点进行补齐,被忽略掉的点相对于整个圆弧来说仅在半径方向上有区别,保留忽略点的角度信息,调整所有忽略点的半径为拟合圆弧的半径,通过这种处理,既保持了找边工具本身的抗干扰性,同时,也保证了切割精度。
本发明实施例中,在实际处理的时候,由于产品边缘存在圆弧、直线边,对于不是直线边的弧形直线,需要使用多段找直线、找圆弧工具对相应局部区域进行边缘点查找处理,这样,在局部区域才能够保证边缘的直线性或曲线性等。因此,如图6所示,本发明实施例采用部分产品边缘查找边缘点的方式来进行边缘查找,以图2中左边的产品图像为例,可以分为0-9区域,共10个部分,分别进行查找直线、找圆的查找边缘处理,即不同的区域采用不同的找边缘工具定位边缘点。
输出激光器切割坐标:由于激光器切割需要按照路径顺序切割,需要保证按照部件的顺序,整体按照逆时针方向的边缘点输出,分别激光器基于边缘点进行切割。
当前的视觉方案通过面阵相机完成产品的整体图片拍摄,或者多次拍摄再拼接,为了提高切割精度,需要采用畸变校正方法对相机成像做校正,这种方式,首先不能完全避免畸变带来的影响;其次,对于大面阵相机输出的图像做图像变换,大大增加了计算耗时,不利于保证设备的生产节拍。
本发明实施例使用线扫相机完成图像数据的采集,相比较于面阵相机采集图像,能够大大提高成像精度,同时,避开畸变的影响。利用产品本身的边缘信息,通过找边的方式简单快速的确定产品姿态,相比较于mark定位,具有更好的通用性,相比较于用模板匹配的方法,本方法更轻量、易操作。当产品边界有部分脏污干扰时,本发明实施例的方法有一定的抗干扰能力,同时,不会影响切割精度。其它基于图像直接找边缘轮廓的方案,会受到脏污的干扰无法准确的提取待切割边缘点。通过局部形状的方式来定位边缘信息,可以输出高精度切割的边缘点。
图7示出了本发明实施例的基于视觉的激光切割装置的组成结构示意图,如图7所示,本发明实施例的基于视觉的激光切割装置包括:
第一确定单元70,用于确定图像坐标系与标定板坐标系之间的转换关系,转换单应性矩阵为H1;
转换单元71,用于通过激光器的深度相机确定待切割产品上所设置标志点的坐标,通过H1将所述标志点的坐标换到所述标定板坐标系下;
第二确定单元72,用于基于所述标定板坐标系下的所述标志点的坐标确定激光器坐标系相对于所述标定板坐标系的平移量和旋转角度;
视觉定位单元73,用于视觉定位所述待切割产品的边缘切割点的坐标,基于H1将所述边缘切割点的坐标换到所述标定板坐标系下,通过所述平移量和所述旋转角度,将所述标定板坐标系下的所述边缘切割点坐标转换到所述激光器坐标系下;
切割单元74,用于基于所述激光器坐标系下的所述边缘切割点坐标激光切割所述待切割产品的边缘区域,形成相应产品。
在图7所示的基于视觉的激光切割装置的基础上,本发明实施例的基于视觉的激光切割装置还包括:
拼接单元(图7中未示出),用于通过至少一个线扫相机对部分所述待切割产品进行多次拍摄,所拍摄的多张图像中每两张具有重叠区域,且至少能拼接出完整的所述待切割产品;所述标定板位于所述重叠区域;
基于H1,将多张图像从所述图像坐标系转换到所述标定板坐标系下,并基于多张图像中的所述标定板的位置,完成所述待切割产品的拼接;
基于所述平移量和所述旋转角度,将拼接后的所述待切割产品从所述标定板坐标系标转换到所述激光器坐标系下。
可选地,所述视觉定位单元73,还用于:
通过线扫相机确定所述待切割产品的姿态,根据所述姿态确定所述待切割产品的期望直线位置,利用找边工具在所述期望直线位置处查找每个找边区域内的边缘点;根据所查找出的边缘点拟合直线,将所拟合直线作为所述待切割产品的直边位置;
根据所述的直边位置,确定所述待切割产品的倾斜角度和位置信息。
可选地,所述视觉定位单元73,还用于:
在所述待切割产品的直边的位置及相交情况,确定所述待切割产品的期望曲线边缘,利用找圆工具在所述期望曲线边缘查找每个找圆区域内的边缘点;根据所查找出的边缘点拟合曲线,将所拟合曲线作为所述待切割产品的曲线边。
可选地,所述找边区域为多个平行间隔设置的矩形区域构成,所述找圆区域为以设定点为圆心,在设定半径所在位置间隔设置的多个矩形区域构成。
可选地,所述视觉定位单元73,还用于:
在基于所述边缘点拟合直线或曲线时,忽略其中的异常边缘点;或
根据所述姿态确定所述待切割产品的边缘是从暗到亮还是从亮到暗,筛除不符合暗、亮分布的边缘点;或
确定所述找边区域或所述找圆区域与所述边缘点之间的连线之间的投影峰值,筛除投影峰值小于设定阈值的边缘点。
在示例性实施例中,第一确定单元70、转换单元71、第二确定单元72、视觉定位单元73、切割单元74和拼接单元等可以被一个或多个中央处理器(CPU,Central ProcessingUnit)、图形处理器(GPU,Graphics Processing Unit)、基带处理器(BP,Base Processor)、应用专用集成电路(ASIC,Application Specific Integrated Circuit)、数字信号处理器(Digital Signal Processor,DSP)、可编程逻辑器件(PLD,Programmable Logic Device)、复杂可编程逻辑器件(CPLD,Complex Programmable Logic Device)、现场可编程门阵列(FPGA,Field-Programmable Gate Array)、通用处理器、控制器、微控制器(MCU,MicroController Unit)、微处理器(Microprocessor)、或其他电子元件实现,用于执行前述实施例的基于视觉的激光切割方法的步骤。
在本公开实施例中,图7示出的基于视觉的激光切割装置中各个单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
下面,参考图8来描述根据本申请实施例的电子设备11。
如图8所示,电子设备11包括一个或多个处理器111和存储器112。
处理器111可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元,并且可以控制电子设备11中的其他组件以执行期望的功能。
存储器112可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器111可以运行所述程序指令,以实现上文所述的本申请的各个实施例的验证方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
在一个示例中,电子设备11还可以包括:输入装置113和输出装置114,这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
该输入装置113可以包括例如键盘、鼠标等等。
该输出装置114可以向外部输出各种信息,包括确定出的距离信息、方向信息等。该输出装置114可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然,为了简化,图8中仅示出了该电子设备11中与本申请有关的组件中的一些,省略了诸如总线、输入/输出接口等等的组件。除此之外,根据具体应用情况,电子设备11还可以包括任何其他适当的组件。
除了上述方法和设备以外,本申请的实施例还可以是计算机程序产品,其包括计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码,所述程序设计语言包括面向对象的程序设计语言,诸如Java、C++等,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外,本申请的实施例还可以是计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理,但是,需要指出的是,在本申请中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外,上述公开的具体细节仅是为了示例的作用和便于理解的作用,而非限制,上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的,可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇,指“包括但不限于”,且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”,且可与其互换使用,除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“如但不限于”,且可与其互换使用。
还需要指出的是,在本申请的装置、设备和方法中,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的,并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此,本申请不意图被限制到在此示出的方面,而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外,此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例,但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (14)

1.一种基于视觉的激光切割方法,其特征在于,所述方法包括:
确定图像坐标系与标定板坐标系之间的转换关系,转换单应性矩阵为H1;通过激光器的深度相机确定待切割产品上所设置标志点的坐标,通过H1将所述标志点的坐标换到所述标定板坐标系下;基于所述标定板坐标系下的所述标志点的坐标确定激光器坐标系相对于所述标定板坐标系的平移量和旋转角度;
视觉定位所述待切割产品的边缘切割点的坐标,基于H1将所述边缘切割点的坐标换到所述标定板坐标系下,通过所述平移量和所述旋转角度,将所述标定板坐标系下的所述边缘切割点坐标转换到所述激光器坐标系下;
基于所述激光器坐标系下的所述边缘切割点坐标激光切割所述待切割产品的边缘区域,形成相应产品。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
通过至少一个线扫相机对部分所述待切割产品进行多次拍摄,所拍摄的多张图像中每两张具有重叠区域,且至少能拼接出完整的所述待切割产品;所述标定板位于所述重叠区域;
基于H1,将多张图像从所述图像坐标系转换到所述标定板坐标系下,并基于多张图像中的所述标定板的位置,完成所述待切割产品的拼接;
基于所述平移量和所述旋转角度,将拼接后的所述待切割产品从所述标定板坐标系标转换到所述激光器坐标系下。
3.根据权利要求1所述的方法,其特征在于,所述视觉定位所述待切割产品的边缘切割点的坐标,包括:
通过线扫相机确定所述待切割产品的姿态,根据所述姿态确定所述待切割产品的期望直线位置,利用找边工具在所述期望直线位置处查找每个找边区域内的边缘点;根据所查找出的边缘点拟合直线,将所拟合直线作为所述待切割产品的直边位置;
根据所述的直边位置,确定所述待切割产品的倾斜角度和位置信息。
4.根据权利要求3所述的方法,其特征在于,所述视觉定位所述待切割产品的边缘切割点的坐标,包括:
在所述待切割产品的直边的位置及相交情况,确定所述待切割产品的期望曲线边缘,利用找圆工具在所述期望曲线边缘查找每个找圆区域内的边缘点;根据所查找出的边缘点拟合曲线,将所拟合曲线作为所述待切割产品的曲线边。
5.根据权利要求4所述的方法,其特征在于,所述找边区域为多个平行间隔设置的矩形区域构成,所述找圆区域为以设定点为圆心,在设定半径所在位置间隔设置的多个矩形区域构成。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
在基于所述边缘点拟合直线或曲线时,忽略其中的异常边缘点;或
根据所述姿态确定所述待切割产品的边缘是从暗到亮还是从亮到暗,筛除不符合暗、亮分布的边缘点;或
确定所述找边区域或所述找圆区域与所述边缘点之间的连线之间的投影峰值,筛除投影峰值小于设定阈值的边缘点。
7.一种基于视觉的激光切割装置,其特征在于,所述装置包括:
第一确定单元,用于确定图像坐标系与标定板坐标系之间的转换关系,转换单应性矩阵为H1;
转换单元,用于通过激光器的深度相机确定待切割产品上所设置标志点的坐标,通过H1将所述标志点的坐标换到所述标定板坐标系下;
第二确定单元,用于基于所述标定板坐标系下的所述标志点的坐标确定激光器坐标系相对于所述标定板坐标系的平移量和旋转角度;
视觉定位单元,用于视觉定位所述待切割产品的边缘切割点的坐标,基于H1将所述边缘切割点的坐标换到所述标定板坐标系下,通过所述平移量和所述旋转角度,将所述标定板坐标系下的所述边缘切割点坐标转换到所述激光器坐标系下;
切割单元,用于基于所述激光器坐标系下的所述边缘切割点坐标激光切割所述待切割产品的边缘区域,形成相应产品。
8.根据权利要求7所述的装置,其特征在于,所述装置还包括:
拼接单元,用于通过至少一个线扫相机对部分所述待切割产品进行多次拍摄,所拍摄的多张图像中每两张具有重叠区域,且至少能拼接出完整的所述待切割产品;所述标定板位于所述重叠区域;
基于H1,将多张图像从所述图像坐标系转换到所述标定板坐标系下,并基于多张图像中的所述标定板的位置,完成所述待切割产品的拼接;
基于所述平移量和所述旋转角度,将拼接后的所述待切割产品从所述标定板坐标系标转换到所述激光器坐标系下。
9.根据权利要求7所述的装置,其特征在于,所述视觉定位单元,还用于:
通过线扫相机确定所述待切割产品的姿态,根据所述姿态确定所述待切割产品的期望直线位置,利用找边工具在所述期望直线位置处查找每个找边区域内的边缘点;根据所查找出的边缘点拟合直线,将所拟合直线作为所述待切割产品的直边位置;
根据所述的直边位置,确定所述待切割产品的倾斜角度和位置信息。
10.根据权利要求9所述的装置,其特征在于,所述视觉定位单元,还用于:
在所述待切割产品的直边的位置及相交情况,确定所述待切割产品的期望曲线边缘,利用找圆工具在所述期望曲线边缘查找每个找圆区域内的边缘点;根据所查找出的边缘点拟合曲线,将所拟合曲线作为所述待切割产品的曲线边。
11.根据权利要求10所述的装置,其特征在于,所述找边区域为多个平行间隔设置的矩形区域构成,所述找圆区域为以设定点为圆心,在设定半径所在位置间隔设置的多个矩形区域构成。
12.根据权利要求11所述的装置,其特征在于,所述视觉定位单元,还用于:
在基于所述边缘点拟合直线或曲线时,忽略其中的异常边缘点;或
根据所述姿态确定所述待切割产品的边缘是从暗到亮还是从亮到暗,筛除不符合暗、亮分布的边缘点;或
确定所述找边区域或所述找圆区域与所述边缘点之间的连线之间的投影峰值,筛除投影峰值小于设定阈值的边缘点。
13.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;存储器,用于存放计算机程序;处理器,用于执行存储器上所存放的程序时,实现权利要求1-6任一项所述的基于视觉的激光切割方法的步骤。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-6任一项所述的基于视觉的激光切割方法的步骤。
CN202110700861.0A 2021-06-24 2021-06-24 基于视觉的激光切割方法及装置、电子设备、存储介质 Active CN113146073B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110700861.0A CN113146073B (zh) 2021-06-24 2021-06-24 基于视觉的激光切割方法及装置、电子设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110700861.0A CN113146073B (zh) 2021-06-24 2021-06-24 基于视觉的激光切割方法及装置、电子设备、存储介质

Publications (2)

Publication Number Publication Date
CN113146073A true CN113146073A (zh) 2021-07-23
CN113146073B CN113146073B (zh) 2021-10-15

Family

ID=76876036

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110700861.0A Active CN113146073B (zh) 2021-06-24 2021-06-24 基于视觉的激光切割方法及装置、电子设备、存储介质

Country Status (1)

Country Link
CN (1) CN113146073B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113792361A (zh) * 2021-09-17 2021-12-14 合肥艾克斯特智能科技有限公司 一种基于dxf文件的零件打标方法、装置及可存储介质
CN114227010A (zh) * 2021-12-31 2022-03-25 深圳市通构科技有限公司 通过线激光对通讯机柜外板进行切割定位的方法及装置
CN114985957A (zh) * 2022-04-14 2022-09-02 武汉华工激光工程有限责任公司 膜片激光切割方法以及自动灌装封膜生产线
CN115127493A (zh) * 2022-09-01 2022-09-30 广东三姆森科技股份有限公司 一种用于产品测量的坐标标定方法及装置
CN116000484A (zh) * 2023-03-28 2023-04-25 湖南视比特机器人有限公司 工件二次定位方法、定位装置、工件坡口切割方法及装置
CN116393842A (zh) * 2023-05-26 2023-07-07 深圳铭创智能装备有限公司 一种曲面玻璃边缘膜切割装置及其使用方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108637469A (zh) * 2018-04-10 2018-10-12 上海柏楚电子科技股份有限公司 一种用于激光切割视觉巡边系统及其图像处理方法
CN109954983A (zh) * 2017-12-25 2019-07-02 广州智信科技有限公司 自动切割方法
CN110508930A (zh) * 2019-08-22 2019-11-29 湖北工业大学 Pcb在线打标的定位方法
CN111486802A (zh) * 2020-04-07 2020-08-04 东南大学 基于自适应距离加权的旋转轴标定方法
CN111915482A (zh) * 2020-06-24 2020-11-10 福建(泉州)哈工大工程技术研究院 一种适用于固定场景的图像拼接方法
CN211915840U (zh) * 2019-11-09 2020-11-13 江苏跃格智能装备有限公司 一种基于单目视觉的三维五轴激光切割机床

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109954983A (zh) * 2017-12-25 2019-07-02 广州智信科技有限公司 自动切割方法
CN108637469A (zh) * 2018-04-10 2018-10-12 上海柏楚电子科技股份有限公司 一种用于激光切割视觉巡边系统及其图像处理方法
CN110508930A (zh) * 2019-08-22 2019-11-29 湖北工业大学 Pcb在线打标的定位方法
CN211915840U (zh) * 2019-11-09 2020-11-13 江苏跃格智能装备有限公司 一种基于单目视觉的三维五轴激光切割机床
CN111486802A (zh) * 2020-04-07 2020-08-04 东南大学 基于自适应距离加权的旋转轴标定方法
CN111915482A (zh) * 2020-06-24 2020-11-10 福建(泉州)哈工大工程技术研究院 一种适用于固定场景的图像拼接方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113792361A (zh) * 2021-09-17 2021-12-14 合肥艾克斯特智能科技有限公司 一种基于dxf文件的零件打标方法、装置及可存储介质
CN114227010A (zh) * 2021-12-31 2022-03-25 深圳市通构科技有限公司 通过线激光对通讯机柜外板进行切割定位的方法及装置
CN114227010B (zh) * 2021-12-31 2023-06-23 深圳市通构科技有限公司 通过线激光对通讯机柜外板进行切割定位的方法及装置
CN114985957A (zh) * 2022-04-14 2022-09-02 武汉华工激光工程有限责任公司 膜片激光切割方法以及自动灌装封膜生产线
CN114985957B (zh) * 2022-04-14 2024-03-26 武汉华工激光工程有限责任公司 膜片激光切割方法以及自动灌装封膜生产线
CN115127493A (zh) * 2022-09-01 2022-09-30 广东三姆森科技股份有限公司 一种用于产品测量的坐标标定方法及装置
CN116000484A (zh) * 2023-03-28 2023-04-25 湖南视比特机器人有限公司 工件二次定位方法、定位装置、工件坡口切割方法及装置
CN116000484B (zh) * 2023-03-28 2023-07-25 湖南视比特机器人有限公司 工件二次定位方法、定位装置、工件坡口切割方法及装置
CN116393842A (zh) * 2023-05-26 2023-07-07 深圳铭创智能装备有限公司 一种曲面玻璃边缘膜切割装置及其使用方法

Also Published As

Publication number Publication date
CN113146073B (zh) 2021-10-15

Similar Documents

Publication Publication Date Title
CN113146073B (zh) 基于视觉的激光切割方法及装置、电子设备、存储介质
CN109242903B (zh) 三维数据的生成方法、装置、设备及存储介质
Romero-Ramirez et al. Speeded up detection of squared fiducial markers
CN107993263B (zh) 环视系统自动标定方法、汽车、标定装置及存储介质
US9519968B2 (en) Calibrating visual sensors using homography operators
WO2012053521A1 (ja) 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム
WO2019227762A1 (zh) 光学模组像素缺陷检测方法、装置及设备
WO2012020696A1 (ja) 点群位置データ処理装置、点群位置データ処理システム、点群位置データ処理方法、および点群位置データ処理プログラム
CN113034612B (zh) 一种标定装置、方法及深度相机
KR20180014676A (ko) 비전 시스템에서 3d 정렬 알고리즘의 자동 선택을 위한 시스템 및 방법
JP2007256091A (ja) レンジファインダ校正方法及び装置
CN108074237B (zh) 图像清晰度检测方法、装置、存储介质及电子设备
WO2021103824A1 (zh) 基于标定块的机器人手眼标定中关键点位置确定方法与装置
US8315457B2 (en) System and method for performing multi-image training for pattern recognition and registration
CN110298891A (zh) 相机外参精度自动评估的方法及装置
US20190392595A1 (en) Hole-based 3d point data alignment
CN110879131B (zh) 目视光学系统的成像质量测试方法、成像质量测试装置和电子设备
US20190325593A1 (en) Image processing apparatus, system, method of manufacturing article, image processing method, and non-transitory computer-readable storage medium
CN107850425B (zh) 用于测量制品的方法
US9979858B2 (en) Image processing apparatus, image processing method and program
CN111288956B (zh) 一种目标姿态确定方法、装置、设备和存储介质
CN113538399A (zh) 一种用于获取工件精准轮廓的方法、机床及存储介质
CN109982074B (zh) 一种获取tof模组的倾斜角度的方法、装置及组装方法
JP6863946B2 (ja) 画像処理装置
CN116908185A (zh) 物品的外观缺陷检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 310051 8 / F, building a, 1181 Bin'an Road, Binjiang District, Hangzhou City, Zhejiang Province

Applicant after: Zhejiang Huarui Technology Co.,Ltd.

Address before: 310051 8 / F, building a, 1181 Bin'an Road, Binjiang District, Hangzhou City, Zhejiang Province

Applicant before: ZHEJIANG HUARAY TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant