CN201906929U - 基于图像识别技术的全自动焊接系统 - Google Patents

Abstract

本实用新型公开一种基于图像识别技术的全自动焊接系统，其微机内设有中央处理器、焊接控制单元、三维运动控制单元、显微放大倍数记录单元、焊点图像存贮单元、焊点图像识别单元、焊点图像对比分析单元、工件焊点定位单元、焊点位置存贮单元和计算分析单元。焊点图像存贮单元连接垂直CCD摄像头；焊点图像识别单元的数据输入端连接焊点图像存贮单元，其数据输出端连接焊点图像对比分析单元；焊点图像对比分析单元的数据输出端接在工件焊点定位单元上，工件焊点定位单元的数据输出端与计算分析单元相连；计算分析单元数据输出端连接在三维运动控制单元上。因而实现了真正意义上的全自动焊接过程、提高了生产效率和焊接质量、降低了工人劳动强度。

Description

基于图像识别技术的全自动焊接系统

技术领域

本实用新型涉及一种自动焊接系统，具体涉及一种基于图像识别技术的全自动焊接系统。

背景技术

授权公告号为CN100351721C的中国实用新型专利公开了一种“具有显微图像自动计算定位系统的焊接设备及其运行方法”，包括带有鼠标和显示屏的微机、以及与之相连的显微光学装置、设置在显微光学装置目镜上的CCD摄像头、三维伺服电机和工作台组成的三维伺服机构、及超声波焊接装置。CCD摄像头将显微光学装置放大的被焊工件图像送入微机。微机直接控制显微光学装置的显微放大倍数自动调节机构确定显微光学装置的放大倍数。三维伺服机构中的三维伺服电机根据微机指令带动工作台运动。微机控制超声波焊接装置完成拉线与超声波焊接。在第一块被焊工件焊接时，采用鼠标在屏幕上逐个点击确定被焊工件图像的焊点所在位置并存入微机，微机根据鼠标点击的位置，计算各焊点与焊针对正达到焊接位置时三维伺服机构所需的运动曲线，控制三维伺服机构顺序带动被焊工件运动、使各焊点依次达到焊接位置、被焊工件所处方位、控制焊接装置完成焊接所需的各工作步骤；再焊接相同规格的被焊工件时，先以鼠标点击屏幕当前被焊工件图像基准点确定待焊被焊工件方位，微机自动调用存贮的第一块被焊工件的相关数据，自动计算待焊被焊工件各焊点数据并完成定位焊接。由于上述设备在每次更换不同的被焊工件时，均需要工人用鼠标重新在屏幕上逐个点击来确定被焊工件图像的焊点所在位置，而不能实现焊点的自动捕捉；因而在具体操作过程中，就会出现以下问题：由于分布在被焊工件立体空间上的焊点数量一般都比较多、面积相对较小，这就要求工人在进行鼠标点击确定焊点位置时精力高度集中。若稍有不慎，就容易出现漏点或错点一个甚至是多个焊点的情形。这不仅增加了工人的劳动强度、降低了工作效率；而且一旦出现漏点或错点焊点时，微机所计算出的各焊点与焊针对正达到焊接位置时三维伺服机构所需的运动曲线便会出现偏差，进而影响整个焊接过程，导致其焊接结果出现错误、焊接质量难以保证。

实用新型内容

本实用新型所要解决的技术问题是现有自动焊接系统工作效率低、焊接质量难以保证的不足，提供一种基于图像识别技术的全自动焊接系统。

为解决上述问题，本实用新型所设计的一种基于图像识别技术的全自动焊接系统，主要由微机、以及与微机相连的三维伺服机构、垂直光学装置和焊接装置所构成；其中微机上带有键盘、鼠标和显示屏；三维伺服机构包括固定被焊工件的工作台和控制工作台运动的三维伺服电机；垂直光学装置与三维伺服机构上固定的被焊工件的操作面相对，其主要由显微光学装置和设置在显微光学装置目镜上的垂直CCD摄像头组成；垂直光学装置的垂直CCD摄像头将显微光学装置放大的被焊工件图像送入微机；所述微机内设有中央处理器、以及与之相连的焊接控制单元、三维运动控制单元、显微放大倍数记录单元、焊点图像存贮单元、焊点图像识别单元、焊点图像对比分析单元、工件焊点定位单元、焊点位置存贮单元和计算分析单元；焊接控制单元连接焊接装置，三维运动控制单元连接三维伺服电机；显微放大倍数记录单元连接垂直光学装置的显微光学装置；焊点图像存贮单元连接垂直光学装置的垂直CCD摄像头；焊点图像识别单元的数据输入端连接焊点图像存贮单元，其数据输出端连接焊点图像对比分析单元；焊点图像对比分析单元的数据输出端接在工件焊点定位单元上，工件焊点定位单元的数据输出端与计算分析单元相连；计算分析单元数据输出端连接在三维运动控制单元上。

上述基于图像识别技术的全自动焊接系统还进一步包括有Z轴水平光学系统，该Z轴水平光学系统包括校正光源和水平CCD摄像头，以及设在在微机内的Z轴水平校正单元；水平CCD摄像头与微机内的Z轴水平校正单元相连；校正光源和水平CCD摄像头均与被焊工件的校正面相对，其Z轴水平光学系统所对被焊工件的校正面与垂直光学装置所对被焊工件的操作面相垂直；

上述方案所述微机内还设有补焊单元，该补焊单元与焊接装置及三维伺服机构相连。

与现有技术相比，本实用新型具有如下特点：

1、基于图像自动识别技术，通过微机自动捕捉和定位被焊工件立体空间上的各个焊点，同时具有自动图像计算、分析和控制定位功能，控制系统通过光学系统直接从显微图像上获取数据，对每一件待焊的芯片和支架焊点坐标进行即时计算，再控制三维伺服机构将焊点送到焊针下进行自动化焊接；无需工人手动捕获和定位焊点，从而实现了的真正意义上的全自动焊接过程；

2、Z轴水平光学系统会自动保存第一次校准参数，以使系统能够对再次固定在工作台上、并具有相同规格的被焊工件进行自动水平校正，这样既减小了工人的劳动强度、提高了工作效率，又提高了被焊工件的校正的精度；

3、系统具备的自动补焊功能能够减少因焊点有胶焊接不上线或焊线断裂等问题的发生几率。

附图说明

图1为本实用新型一种基于图像识别技术的全自动焊接系统的结构框图；

图2为微机内部原理框图；

图3为本实用新型一种基于图像识别技术的全自动焊接系统的运行方法的程序框图。

具体实施方式

本实用新型一种基于图像识别技术的全自动焊接系统的结构框图如图1所示，其主要由微机、以及与微机相连的三维伺服机构、垂直光学装置和焊接装置所构成；其中微机上带有键盘、鼠标和显示屏。三维伺服机构包括固定被焊工件的工作台和控制工作台运动的三维伺服电机。垂直光学装置与三维伺服机构上固定的被焊工件的操作面相对，其主要由显微光学装置和设置在显微光学装置目镜上的垂直CCD摄像头组成。垂直光学装置的垂直CCD摄像头将显微光学装置放大的被焊工件图像送入微机。键盘和鼠标用于预设系统相关参数，并用鼠标点击被焊工件立体空间上的一个焊点作为起始基准点。

上述所述微机内设有中央处理器、以及与之相连的焊接控制单元、三维运动控制单元、显微放大倍数记录单元、焊点图像存贮单元、焊点图像识别单元、焊点图像对比分析单元、工件焊点定位单元、焊点位置存贮单元和计算分析单元；焊接控制单元连接焊接装置，三维运动控制单元连接三维伺服电机；显微放大倍数记录单元连接垂直光学装置的显微光学装置；焊点图像存贮单元连接垂直光学装置的垂直CCD摄像头；焊点图像识别单元的数据输入端连接焊点图像存贮单元，其数据输出端连接焊点图像对比分析单元；焊点图像对比分析单元的数据输出端接在工件焊点定位单元上，工件焊点定位单元的数据输出端与计算分析单元相连；计算分析单元数据输出端连接在三维运动控制单元上。中央处理器的控制端与上述各单元相连，用于完成整个微机的核心控制。焊接控制单元控制焊接装置完成焊接所需的各工作步骤。三维运动控制单元控制三维伺服电机的运行。显微放大倍数记录单元记录存贮显微光学装置的放大倍数。焊点图像存贮单元将垂直CCD摄像头获取的被焊工件的图像信息进行存贮。焊点图像识别单元用于自动识别出焊点图像存贮单元内存贮的被焊工件的图像上的焊点。焊点图像对比分析单元将焊点图像识别单元识别出的焊点与通过键盘键入的焊点参数信息进行比对，滤除干扰信息，保留有效焊点信息。工件焊点定位单元将焊点图像对比分析单元保留下的焊点信息进行定位存储。计算分析单元根据焊点位置存贮单元存贮的各焊点定位后的位置数据，计算被焊工件运动曲线，送入三维运动控制单元，向三维伺服机构发出指令。参见图2。

通过键盘输入或鼠标选择对系统相关参数进行预设，并用鼠标点击被焊工件立体空间上的一个焊点作为起始基准点；垂直光学装置对被焊工件进行图像采集，每次采集图像后，微机为该图像申请缓存；对上述缓存的图像采用黑白与彩色两种处理方式，其中黑白处理方式是用二值化方法对缓存图像进行像素图像处理，而彩色处理方式则是对缓存图像中的每个像素RGB彩色分量计算；最后将黑白处理方式和彩色处理方式所得的计算结果进行比较，如果两者计算结果一致，捕捉图像完成，获得该缓存图像上的焊点坐标；否则将再次采集图像，并重复进行缓存图像的黑白和彩色处理、以及图像的比对；如在系统设定的循环捕捉次数内仍未捕捉到焊点图像，将自动转入人工确定焊点坐标。微机根据所选择的焊接方式和捕获的焊点坐标信息，计算各焊点与焊接装置的焊针对正到达焊接位置时三维伺服机构所需的运动曲线。控制三维伺服机构顺序带动被焊工件运动、使各焊点依次到达焊接位置、被焊工件处于所需方位、控制焊接装置完成焊接所需的各工作步骤。

上述通过键盘键入或鼠标选择的预设参数包括有焊点面积的上下限、被捕捉焊点所占的域范围值、焊点的直径、每次抓图的大小范围、焊点识别模式、和/或焊接路径。其中焊点面积的上下限、被捕捉焊点所占的域范围值、焊点的直径、每次抓图的大小范围等焊点参数信息用于滤除干扰，提高焊点的自动捕捉精度；这些参数信息不仅可以系统运行之前进行键入，而且在系统运行过程中，也能够根据屏幕上显示的已捕获的焊点参数信息来进行微调，由此提高焊点捕获的精度和效率。在进行具体焊点捕获时，通过选择焊点识别模式我们既可以对所有的焊点进行逐步自动捕获；也可以根据被焊工件立体空间上待焊器件的已知信息，通过捕获器件中的一个焊点来推算出该器件上的其他焊点。如已知被焊工件立体空间上的器件为二极管芯片，并且已知二极管芯片两个极之间的距离，这样微机自动捕捉到该二极管芯片的一个焊点位置信息时，便可通过二极管芯片上2个焊点之间的距离，推算出另一个焊点的位置信息。焊接路径则是用于限定焊点之间的连接方式，以获得芯片的并联和/或串联等不同的电气连接方式。在本实用新型优选优选实施例中，焊接路径包括测量放大倍率和编译数据文件。测量放大倍率是在当前程序给出一个固定值对当前图像进行测量，作为后面自动定位计算的参考数据。本系统X、Y坐标具有独立的放大倍率测量功能，使其精确更高。编译数据文件对被焊工件立体空间上芯片的焊接连线方式进行预设，保存以便日后在使用同一型号时直接调取即可(测量放大倍率不变情况下)。

为了保证焊接效果，固定在工作台上的被焊工件的焊接面必须处于水平状态。因此本实用新型还进一步包括有Z轴水平光学系统，该Z轴水平光学系统包括校正光源和水平CCD摄像头，以及设在在微机内的Z轴水平校正单元；水平CCD摄像头与微机内的Z轴水平校正单元相连；校正光源和水平CCD摄像头均与被焊工件的校正面相对，其Z轴水平光学系统所对被焊工件的校正面与垂直光学装置所对被焊工件的操作面相垂直。固定第一块被焊工件时，确保被焊工件的操作面处于水平状态；水平CCD摄像头将所获得的校正面的图像送入微机，并经由显示屏显示；鼠标框选上述校正面的图像中被光源照射的高亮部分，以确定该校正面的图像中高亮部分在显示屏上所处的Y轴上下限范围来作为基准校正范围；再固定相同规格的被焊工件时，微机自动捕获待校正被焊工件的校正面的图像在显示屏上所处的Y轴上下限范围，并将其与基准校正范围进行对比，当待校正被焊工件的校正面的图像在显示屏上所处的Y轴上下限范围落在基准校正范围内时，则微机判定待校正被焊工件水平；而当待校正被焊工件的校正面的图像在显示屏上所处的Y轴上下限范围落在基准校正范围外时，则微机判定待校正被焊工件不水平，微机控制三维伺服机构带动被焊工件旋转至待校正被焊工件的操作面处于水平位置。Z轴自动水平校准的作用是：在第一次固定被焊工件时，通过肉眼来确保被焊工件的操作面处于水平状态，并将相关水平参数信息进行保存，这样以后再使用同一规格的被焊工件时即可直接调取与之相应的水平参数信息即能够实现被焊工件的自动校准。

为避免因焊点有胶焊接不上线或焊线断线等问题的发生，本实用新型还配置有微机内还设有为所选定的焊点或焊接补焊的补焊单元，该补焊单元与焊接装置及三维伺服机构相连。根据程序设定，补焊单元可以选择补球模式或补线模式。在执行焊接时可选择先补球后焊线模式或先焊线后补球模式。当补焊单元处于补线模式下时，工人将光标移动到一焊点，按住鼠标左键不放拖到二焊点后松开鼠标即可。当补焊单元处于补焊球模式时，将鼠标移动到所需补焊的焊点点击鼠标左键即可。

上述基于图像识别技术的全自动焊接系统的运行方法的程序框图，如图3所示，具体包括有如下步骤：

a被焊工件固定于三维伺服机构的工作台上，垂直CCD摄像头将被焊工件放大图像数据送入微机图像显示单元在微机的屏幕上显示；

为了满足焊接要求、保证固定在工作台上的被焊工件的焊接面必须处于水平状态。被焊工件固定在进行固定分为两种情况：当固定在工作台上的被焊工件为新规格时，需人工肉眼校正来确保被焊工件的操作面处于水平状态；此时水平CCD摄像头将所获得的校正面的图像送入微机，并经由显示屏显示；鼠标框选上述校正面的图像中被光源照射的高亮部分，以确定该校正面的图像中高亮部分在显示屏上所处的Y轴上下限范围来作为基准校正范围进行保存。当固定在工作台上的被焊工件与以前已固定过的被焊工件一致时，需微机自动来确保被焊工件的操作面处于水平状态；此时通过人工选择被焊工件类型，微机调取基准校正范围，并通过水平CCD摄像头获取该被焊工件的校正面的图像，将该校正面的图像在显示屏上所处的Y轴上下限范围与基准校正范围进行对比，当待校正被焊工件的校正面的图像在显示屏上所处的Y轴上下限范围落在基准校正范围内时，则微机判定待校正被焊工件水平；而当待校正被焊工件的校正面的图像在显示屏上所处的Y轴上下限范围落在基准校正范围外时，则微机判定待校正被焊工件不水平，微机控制三维伺服机构带动被焊工件旋转至待校正被焊工件的操作面处于水平位置。

b对某一种新规格的被焊工件进行焊接之前，首先要通过鼠标或键盘来对系统的相关参数进行预设，如焊点面积的上下限、被捕捉焊点所占的域范围值、焊点的直径、每次抓图的大小范围、焊点识别模式、和/或焊接路径等；同时，工人根据待焊被焊工件大小调节选择显微放大倍数后即锁定，同时此放大倍数在放大倍数记录单元存贮。

其中焊点面积的上下限、被捕捉焊点所占的域范围值、焊点的直径、每次抓图的大小范围等焊点参数信息用于滤除干扰，提高焊点的自动捕捉精度；这些参数信息不仅可以系统运行之前进行键入，而且在系统运行过程中，也能够根据屏幕上显示的已捕获的焊点参数信息来进行微调，由此提高焊点捕获的精度和效率。在进行具体焊点捕获时，通过选择焊点识别模式我们既可以对所有的焊点进行逐步自动捕获；也可以根据被焊工件立体空间上待焊器件的已知信息，通过捕获器件中的一个焊点来推算出该器件上的其他焊点。如已知被焊工件立体空间上的器件为二极管芯片，并且已知二极管芯片两个极之间的距离，这样微机自动捕捉到该二极管芯片的一个焊点位置信息时，便可通过二极管芯片上2个焊点之间的距离，推算出另一个焊点的位置信息。焊接路径则是用于限定焊点之间的连接方式，以获得芯片的并联和/或串联等不同的电气连接方式。在本实用新型优选优选实施例中，焊接路径包括测量放大倍率和编译数据文件。测量放大倍率是在当前程序给出一个固定值对当前图像进行测量，作为后面自动定位计算的参考数据。本系统X、Y坐标具有独立的放大倍率测量功能，使其精确更高。编译数据文件对被焊工件立体空间上芯片的焊接连线方式进行预设，保存以便日后在使用同一型号时直接调取即可(测量放大倍率不变情况下)。

c对被焊工件立体空间上的所有焊点进行捕捉；即对被焊工件立体空间上的所有焊点进行捕捉的过程具体为：通过键盘输入或鼠标选择对系统相关参数进行预设，并用鼠标点击被焊工件立体空间上的一个焊点作为起始基准点；垂直光学装置对被焊工件进行图像采集，每次采集图像后，微机为该图像申请缓存；对上述缓存的图像采用黑白与彩色两种处理方式，其中黑白处理方式是用二值化方法对缓存图像进行像素图像处理，而彩色处理方式则是对缓存图像中的每个像素RGB彩色分量计算；最后将黑白处理方式和彩色处理方式所得的计算结果进行比较，如果两者计算结果一致，捕捉图像完成，获得该缓存图像上的焊点坐标；否则将再次采集图像，并重复进行缓存图像的黑白和彩色处理、以及图像的比对；如在系统设定的循环捕捉次数内仍未捕捉到焊点图像，将自动转入人工确定焊点坐标；

d将被焊工件立体空间上所有焊点位置存入焊点位置存贮单元；

e微机计算分析单元根据所选择的焊接方式及捕获的焊点坐标信息，计算各焊点与焊接装置的焊针对正到达焊接位置时三维伺服机构所需的运动曲线；

f中央处理器通知运动控制单元向三维伺服机构发出指令，三维伺服机构根据指令将焊点顺序送到焊针下的焊接位置；

g三维伺服机构每完成一个焊点的移动到位后，给中心处理器发回信号，中心处理器通知焊接控制单元向焊接装置发出指令，执行焊接程序完成焊接所需的各工作步骤，焊接完成后将焊接结束信号送回中心处理器，继续下一个焊点的数据调用、定位及焊接；至该被焊工件立体空间上的所有的焊点焊接完毕。

为避免因焊点有胶焊接不上线或焊线断线等问题的发生，本实用新型还为所选定的焊点或焊线进行补焊的补焊步骤。所述补焊步骤根据程序设定，补焊单元可以选择单补球模式、单补线模式、先补球后补线模式、先补线后补球模式……。当补焊单元处于补线模式下时，工人将光标移动到一焊点，按住鼠标左键不放拖到二焊点后松开鼠标即可。当补焊单元处于补焊球模式时，将鼠标移动到所需补焊的焊点点击鼠标左键即可。

Claims (3)

1.基于图像识别技术的全自动焊接系统，主要由微机、以及与微机相连的三维伺服机构、垂直光学装置和焊接装置所构成；其中微机上带有键盘、鼠标和显示屏；三维伺服机构包括固定被焊工件的工作台和控制工作台运动的三维伺服电机；垂直光学装置与三维伺服机构上固定的被焊工件的操作面相对，其主要由显微光学装置和设置在显微光学装置目镜上的垂直CCD摄像头组成；垂直光学装置的垂直CCD摄像头将显微光学装置放大的被焊工件图像送入微机；其特征在于：所述微机内设有中央处理器、以及与之相连的焊接控制单元、三维运动控制单元、显微放大倍数记录单元、焊点图像存贮单元、焊点图像识别单元、焊点图像对比分析单元、工件焊点定位单元、焊点位置存贮单元和计算分析单元；焊接控制单元连接焊接装置，三维运动控制单元连接三维伺服电机；显微放大倍数记录单元连接垂直光学装置的显微光学装置；焊点图像存贮单元连接垂直光学装置的垂直CCD摄像头；焊点图像识别单元的数据输入端连接焊点图像存贮单元，其数据输出端连接焊点图像对比分析单元；焊点图像对比分析单元的数据输出端接在工件焊点定位单元上，工件焊点定位单元的数据输出端与计算分析单元相连；计算分析单元数据输出端连接在三维运动控制单元上。

2.根据权利要求1所述基于图像识别技术的全自动焊接系统，其特征在于：还进一步包括有Z轴水平光学系统，该Z轴水平光学系统包括校正光源和水平CCD摄像头，以及设在在微机内的Z轴水平校正单元；水平CCD摄像头与微机内的Z轴水平校正单元相连；校正光源和水平CCD摄像头均与被焊工件的校正面相对，其Z轴水平光学系统所对被焊工件的校正面与垂直光学装置所对被焊工件的操作面相垂直。

3.根据权利要求1所述基于图像识别技术的全自动焊接系统，其特征在于：所述微机内还设有补焊单元，该补焊单元与焊接装置及三维伺服机构相连。

Images