CN114677430A - 一种组合式的多相机视觉对位方法 - Google Patents

Abstract

本发明公开了一种组合式的多相机视觉对位方法，涉及元件定位技术领域；该方法包括以下的步骤：S10、像素精度与角度标定；S20、位置标定；S30、硬触发补偿值标定；S40、根据元件尺寸计算对位模式，相机对吸嘴的拍摄分为两种模式，第一种为一个相机一次拍摄两个吸嘴，称为“一对二模式”，第二种为一个相机一次拍摄一个吸嘴，称为“一对一模式”；S50、图像采集，S60、视觉定位与坐标转换；本发明的有益效果是：该方法应用于SMT行业贴片机生产过程中，提供了一种方便的、灵活的多相机视觉对位方法，达到提高产品品质，使机器人更加人性化和智能化。

Description

一种组合式的多相机视觉对位方法

技术领域

本发明涉及元件定位技术领域，更具体的说，本发明涉及一种组合式的多相机视觉对位方法。

背景技术

表面贴装技术产业由于产品精度高，工件情况复杂而多变等原因，用传统定位办法无法精准而高速地生产。

在现代化的SMT生产过程中，元件的定位都是通过视觉识别的方式实现的。对于工业相机的选择，往往是千差万别。按接口分，有千兆网相机、USB相机、CameraLink相机；按感光芯片类型分，有CCD相机和CMOS相机、有全局相机和卷帘相机、有面阵相机和线阵相机；按分辨率分，有30万像素相机、130万像素相机、200万像素相机、500万像素相机等。

以上相机各有优劣，因不同的使用场景而异。但普遍存在着品质较低，视觉识别方式不够智能化和人性化的缺陷。

发明内容

为了克服现有技术的不足，本发明提供一种组合式的多相机视觉对位方法。

本发明解决其技术问题所采用的技术方案是：一种组合式的多相机视觉对位方法，其改进之处在于，该方法包括以下的步骤：

S10、像素精度与角度标定，控制吸嘴沿设定位置移动，记录吸嘴的机械坐标，此后计算吸嘴对应的目标在图像中的位置，并记录对应的图像坐标；根据机械坐标和图像坐标计算变换矩阵；

S20、位置标定，控制吸嘴运动至设定的理论位置，根据目标在图像中位置，通过变换矩阵计算出相机的实际位置；

S30、硬触发补偿值标定，由于相机采图延迟，实际采图位置与理论采图位置存在偏差，导致图像产生偏移，通过自动标定对图像的偏移量进行补偿；

S40、根据元件尺寸计算对位模式，相机对吸嘴的拍摄分为两种模式，第一种为一个相机一次拍摄两个吸嘴，称为“一对二模式”，第二种为一个相机一次拍摄一个吸嘴，称为“一对一模式”；

根据标定结果和相机采图尺寸，确定相机对吸嘴的拍摄模式；

S50、图像采集，根据标定结果和图像的偏移量，累加在理论采图位置坐标上，此时采图的图像即为消除偏移量的图像；

S60、视觉定位与坐标转换，定位到元件在图像中的位置后，通过变换矩阵将图像坐标转换为机械坐标。

进一步的，步骤S10中，变换矩阵即为透视变换，其公式如下：

其中，x',y',w'为转换后的点的齐次座标，u,v,w为原始点的齐次座标，a₁₁,a₁₂,......,a₃₃为变换矩阵，通过透视变换后得到的图片坐标是：

其中，a₃₃＝1，通过选取4组图像坐标，组成8个方程，即可解出8个参数，得到透视变换矩阵。

进一步的，步骤S20中，包括以下的步骤：

使第一个吸嘴运动至设定的理论位置；

采集图像，并以图像中心为原点计算吸嘴在图像中的位置；

根据变换矩阵计算偏移，使吸嘴位于图像中心需要移动的距离，并重复执行该步骤；

使第一个吸嘴运动至第二个相机上方，计算偏移，剩余相机的位置标定依次类推。

进一步的，步骤S30中，吸嘴运动到喂料器上取料的位置为起始位置，记为起始位置pos_star，相机收到硬触发信号的位置为触发位置，记为触发位置pos_trig，吸嘴进行元件贴装时具有贴装位置，记为贴装位置pos_targ；

相机采集图像的模式分为软触发和硬触发两种，当处于软触发模式时，相机静止，被拍物也静止；当处于硬触发模式时，相机静止，被拍物正在运动；起始位置pos_star到触发位置pos_trig的距离为固定值L1，贴装位置pos_targ到触发位置pos_trig的距离为可变值，设为Δy，则Δy＝pos_targ·y-pos_trig·y；其中pos_targ·y为贴装位置的Y坐标，pos_trig·y为触发位置的Y坐标。

其自动标定过程如下：

吸嘴运动到触发位置pos_trig处，采用软触发模式进行采图，计算吸嘴在图像中的位置，并根据变换矩阵转换成机械坐标pos_soft；

此后吸嘴运动至取料处，经过触发位置运动至pos_trig+L2处，其中L2为轨道固定边的宽度，也就是触发位置到离轨道固定边最近的贴装点的Y方向距离，约为50mm。经过触发位置时采用硬触发模式进行采图，计算吸嘴在图像中的位置，并根据变换矩阵转换成机械坐标，计算该机械坐标与机械坐标pos_soft的偏差；

L2每次加m，且反复执行n次，其中m为步幅。

进一步的，相机紧挨着导轨，导轨固定边的宽度设为L2，则Δy＞L2。

进一步的，L2＝50mm，m＝10mm，n＝20次。

进一步的，当采用“一对二模式”时，步骤S50中，相机采集图像完成后，对图像进行裁剪，分成左右两半部分，图像的宽度和高度均为480像素，根据以下公式计算：

image_width＝480；

image_height＝480；

其中，image_width为图像宽度，image_height为图像高度，offset_x₁为图像左半部分X方向偏移量，offset_x₂为右半部分X方向偏移量，offset_y为左右两半部分y方向的偏移量。

进一步的，当采用“一对一模式”时，步骤S50中，相机采集图像完成后，不需要对图像裁剪，图像宽度和高度均为1024像素，根据以下公式计算：

image_width＝1024；

image_height＝1024；

offset_y＝0；

其中，image_width为图像宽度，image_height为图像高度，offset_x为x方向偏移量，offset_y为y方向偏移量。

进一步的，步骤S60中，根据不同元件类型，选用不用的识别方法进行定位，包括：

对于电阻电容类型的元件，使用边缘直线拟合并求交点计算元件中心和角度；

对于SOT、SOP以及QFP类型的元件，使用各引脚最外边中心计算元件中心和角度；

对于BGA类型的元件，首先通过圆拟合计算所有球的中心，然后通过点匹配计算元件中心和角度。

本发明的有益效果是：可以彻底解决相机安装空间受限的问题，突破了传统模组相机所不能解决的技术难题；相机吸嘴一对二的采图模式不仅提高了采图速度，提高了产能，还极大的降低了硬件成本。

附图说明

图1为本发明的一种组合式的多相机视觉对位方法的流程示意图。

图2为本发明中吸嘴的结构示意图。

图3为本发明中相机的结构示意图。

图4为为本发明中一对二模式中吸嘴与相机的位置示意图。

图5、图6为本发明的一对一模式中吸嘴与相机的位置示意图。

图7为本发明中吸嘴运动位置示意图。

图8为本发明中目标在图像中的位置的示意图。

图9为本发明中透视变换的原理示意图。

图10为本发明中起始位置、触发位置以及贴装位置的示意图。

图11为本发明的硬触发模式中时间间隔图。

图12为本发明中速度曲线的示意图。

图13本发明中速度档位的参数示意图。

图14为本发明中对y方向补偿做多项式拟合的结果示意图。

图15为本发明中一对二模式的取料的示意图。

图16为本发明中一对一模式奇数嘴取料的示意图。

图17为本发明的一对一模式偶数嘴取料的示意图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整地描述，以充分地理解本发明的目的、特征和效果。显然，所描述的实施例只是本发明的一部分实施例，而不是全部实施例，基于本发明的实施例，本领域的技术人员在不付出创造性劳动的前提下所获得的其他实施例，均属于本发明保护的范围。另外，专利中涉及到的所有联接/连接关系，并非单指构件直接相接，而是指可根据具体实施情况，通过添加或减少联接辅件，来组成更优的联接结构。本发明创造中的各个技术特征，在不互相矛盾冲突的前提下可以交互组合。

本发明揭示了一种组合式的多相机视觉对位方法，该方法应用于SMT行业贴片机生产过程中，提供了一种方便的、灵活的多相机视觉对位方法，达到提高产品品质，使机器人更加人性化和智能化。需要说明的是，本发明的方法适用于面阵相机，尤其在安装空间受限的应用场合和对成本控制要求很高的场合。

在对本发明的组合式的多相机视觉对位方法进行详细阐述前，先对相机和吸嘴进行说明：参照图2、图3所示，12个吸嘴作为一个整体位于相机上方，由电机控制可在X、Y方向运动，吸嘴间距为12mm。6个相机固定在机器底座上，不可移动，相机间距为24mm，相机采用的是千兆网口面阵相机。

吸嘴首先运动到机器前方，在喂料器上取料，然后向机器后方运动到第一个贴装点位置，在经过相机上方时硬触发采图，处理，计算元件在图像中的偏差并把结果转换成机械座标，在贴装时根据此座标进行适当的偏移和旋转，从而实现位置和角度纠正。

在本发明中，相机对吸嘴的拍摄分为两种模式，第一种为一个相机一次拍摄两个吸嘴，称为“一对二模式”，参照图4所示，这时元件的最大尺寸约为相机视野的一半。第二种为一个相机一次拍摄一个吸嘴，称为“一对一模式”，参照图5、图6所示，这时元件的最大尺寸为相机的视野。

“一对二模式”的优势在于不仅降低了对相机尺寸的要求从而突破了对相机安装空间的限制，而且还大大的降低了硬件成本。例如，若要使用一个相机拍摄一个吸嘴，则相机的最大尺寸必须小于12mm，目前市面上还没有尺寸小于12mm的工业相机；若要使用一个相机拍摄一个吸嘴，则相机个数要增加一倍，千兆网卡要增加一倍，工业电脑主板对应的插槽要增加一倍。“一对二模式”的劣势在于可拍摄的最大元件尺寸减小一半，此时使用“一对一模式”可解决这个问题，硬件成本不变。

结合图1所示，本发明提供的一种组合式的多相机视觉对位方法，本实施例中，该方法包括以下的步骤：

S10、像素精度与角度标定，控制吸嘴沿设定位置移动，记录吸嘴的机械坐标，此后计算吸嘴对应的目标在图像中的位置，并记录对应的图像坐标；根据机械坐标和图像坐标计算变换矩阵；

结合图7所示，由运动控制机构使1号吸嘴(左侧第1个吸嘴)运行至9个位置，如图7中的p₀→p₈，计算目标在图像中的位置，如图8中的q₀→q₈；根据机械座标和图像座标计算变换矩阵，此变换与透视变换在本质上是一样的。

结合图9所示，透视变换是利用透视中心、像点、目标点三点共线的条件，按透视旋转定律使承影面绕迹线旋转某一角度，破坏原有的投影管线束，仍能保持承影面上投影几何图形不变的变换。

其公式如下：

其中，u、v是原始图片，参数w等于1，通过透视变换后得到的图片坐标是：

其中，a₃₃＝1，通过选取4组图像坐标，组成8个方程，即可解出8个参数，得到透视变换矩阵。

用相同的方法可完成其余相机的像素精度和角度标定。

S20、位置标定，控制吸嘴运动至设定的理论位置，根据目标在图像中位置，通过变换矩阵计算出相机的实际位置；

步骤S20中，包括以下的步骤：

使第一个吸嘴运动至设定的理论位置；本实施例中，由机械设计人员给出并存于配置文件中，其初始值比较粗略，此时的位置是第一个吸嘴位于第一个相机的上方；

采集图像，并以图像中心为原点计算吸嘴在图像中的位置；如(x,y)；

根据变换矩阵计算偏移，例如(Δx,Δy)，使吸嘴位于图像中心需要移动的距离，并重复执行该步骤；本实施例中，此过程重复执行5次，若5次以内就收敛至设置误差范围，则提前结束；

使第一个吸嘴运动至第二个相机上方，计算偏移，剩余相机的位置标定依次类推。

S30、硬触发补偿值标定，由于相机采图延迟，实际采图位置与理论采图位置存在偏差，导致图像产生偏移，通过自动标定对图像的偏移量进行补偿；

前文中阐述了贴片机取料、识别、贴装的过程，即吸嘴运动到机器前方在喂料器上取料，记为起始位置pos_star，相机收到硬触发信号的位置为触发位置，记为触发位置pos_trig，吸嘴进行元件贴装时具有贴装位置，记为贴装位置pos_targ；其中起始位置是固定不变的，一对二模式时触发位置也是不变的(一对一模式时触发位置的变化会在后面讲到)，贴装位置是随时变化的，如图10中靠右边的五处黑点所示。

进一步的，相机采集图像的模式分为软触发和硬触发两种，这两种方式各有优缺点，本步骤的目的就是克服硬触发的缺点。

当处于软触发模式时，相机静止，被拍物也静止；这种方式的好处是图像不会发生偏移，因为相机和被拍物都是静止的。坏处是运动不连贯，因为采图时必须要停下来。

当处于硬触发模式时，相机静止，被拍物正在运动；因为相机在收到硬触发信号到最终开始曝光，存在一序列的延迟，如图11所示，导致实际采到的图像位置发生了偏移，好处是运动连贯，不需要中途停止。

图11中，t为曝光开始延迟时间。要计算图像的偏移值，就需要知道在t时间内吸嘴运动的距离Δs，如果在t时间内吸嘴是匀速运动则通过Δs＝vt来计算，其中v为速度，但实际情况是在t时间内，吸嘴可能处于加速阶段，也可能处于减速阶段，也可能处于匀速阶段。并且实际的速度曲线(图12中红色曲线)是s形曲线，与理论速度曲线(图12中蓝色折线)有较大差异，这就导致了t时间若处于加速阶段或减速阶段时距离Δs无法计算。

起始位置pos_star到触发位置pos_trig的距离为固定值L1，且L1＝70mm，贴装位置pos_targ到触发位置pos_trig的距离为可变值，设为Δy，则Δy＝pos_targ·y-pos_trig·y；由于相机紧挨着导轨，导轨的宽度设为L2，则Δy＞L2，其中L2＝50mm。

参照图13所示，当在低速时，经过触发位置时为匀速阶段；当在高速时，如果接近50，则经过触发位置时为减速阶段，否则处于加速阶段(匀速段很窄，此处忽略)。

其自动标定过程如下：

吸嘴运动到触发位置pos_trig处，采用软触发模式进行采图，计算吸嘴在图像中的位置，并根据变换矩阵转换成机械坐标pos_soft；

此后吸嘴运动至取料处，经过触发位置运动至pos_trig+50mm处，经过触发位置时采用硬触发模式进行采图，计算吸嘴在图像中的位置，并根据变换矩阵转换成机械坐标，计算该机械坐标与机械坐标pos_soft的偏差；

L2每次加m，且反复执行n次，其中m为步幅。本实施例中，L2每次加m再反复执行n次，其中m为步幅，本文中取10，因为每次加10mm，误差不超过0.03mm，满足设备精度要求，如图14所示，如果误差较大，则需减小此值，如设为8、5等。当Y向补偿值趋于恒定后，即可停止迭代，本文中的n取20，因为此时的Y向补偿值已不再变化。

结合图13和图14所示，以1档速度为例对y方向补偿做多项式拟合，其结果如图14所示，当Δy>100时，补偿值固定。其它四档速度补偿方法与此类似，此处省略。

S40、根据元件尺寸计算对位模式，根据标定结果和相机采图尺寸，确定相机对吸嘴的拍摄模式；

本实施例中，结合图15至图17所示，根据前面的标定结果和相机采图尺寸，可以算出一对二模式时视野为11.3mm，一对一模式时视野为24mm，考虑到元件在进料时的偏差(前后左右方向)，当元件在X方向和Y方向尺寸都小于等于10mm时采用一对二模式，相机硬触发位置如图15中t2处；参照图16、图17所示，当元件在X方向或Y方向尺寸大于10mm时自动变为一对一模式，相机硬触发位置可能在t1处，也可能在t3处。当元件被分配在奇数嘴上时，触发位置在t3处，否则在t1处(这三个触发点的X间距为6mm，Y座标相同)。

S50、图像采集，根据标定结果和图像的偏移量，累加在理论采图位置坐标上，此时采图的图像即为消除偏移量的图像；

本实施例中，如果在理论的触发点采图，则在不同的速度模式下，图像会有不同程度的偏移，根据前面的标定结果，根据Δy计算对应的偏移，并加在理论触发点上，此时采集的图像即为消除偏移的图像。

根据不同的对位模式做相应的裁剪，一对二模式时会得到12张图像，一对一模式时会得到6张图像。

本实施例中，相机采集图像完成后，对图像进行裁剪，分成左右两半部分，图像的宽度和高度均为480像素，根据以下公式计算：

image_width＝480；

image_height＝480；

其中，image_width为图像宽度，image_height为图像高度，offset_x1为图像左半部分X方向偏移量，offset_x2为右半部分X方向偏移量，offset_y为左右两半部分y方向的偏移量；

当采用“一对一模式”时，步骤S50中，相机采集图像完成后，不需要对图像裁剪，图像宽度和高度均为1024像素，根据以下公式计算：

image_width＝1024；

image_height＝1024；

offset_y＝0；

其中，image_width为图像宽度，i mage_he ight为图像高度，offset_x为x方向偏移量，offset_y为y方向偏移量。

S60、视觉定位与坐标转换，根据不同元件类型，选用不用的识别方法进行定位，定位到元件在图像中的位置后，通过变换矩阵将图像坐标转换为机械坐标。

本实施例中，采集到图像后，根据不同的元件类型，选用不同的识别方法，有的根据几何特征如直线、圆、矩形等特征来定位，有的使用模板匹配来定位。定位到元件在图像中的位置后，由前面步骤中计算得到的变换矩阵将图像座标转换为机械座标。

本发明可以彻底解决相机安装空间受限的问题，突破了传统模组相机所不能解决的技术难题；相机吸嘴一对二的采图模式不仅提高了采图速度，提高了产能，还极大的降低了硬件成本，按每组相机镜头2200元计算，一台设备节省6组即13200元，以500台/年的出货量计算，一年节省成本13200×500＝6600000元。

在减少硬件的同时，设备故障率也相应降低，设备稳定性进一步提高。相机吸嘴一对一的采图模式使视野增大一倍，可生产贴装的物料尺寸增大一倍，可应用于更多的行业领域。

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (9)

1.一种组合式的多相机视觉对位方法，其特征在于，该方法包括以下的步骤：

S10、像素精度与角度标定，控制吸嘴沿设定位置移动，记录吸嘴的机械坐标，此后计算吸嘴对应的目标在图像中的位置，并记录对应的图像坐标；根据机械坐标和图像坐标计算变换矩阵；

S20、位置标定，控制吸嘴运动至设定的理论位置，根据目标在图像中位置，通过变换矩阵计算出相机的实际位置；

S30、硬触发补偿值标定，由于相机采图延迟，实际采图位置与理论采图位置存在偏差，导致图像产生偏移，通过自动标定对图像的偏移量进行补偿；

S40、根据元件尺寸计算对位模式，相机对吸嘴的拍摄分为两种模式，第一种为一个相机一次拍摄两个吸嘴，称为“一对二模式”，第二种为一个相机一次拍摄一个吸嘴，称为“一对一模式”；

根据标定结果和相机采图尺寸，确定相机对吸嘴的拍摄模式；

S50、图像采集，根据标定结果和图像的偏移量，累加在理论采图位置坐标上，此时采图的图像即为消除偏移量的图像；

S60、视觉定位与坐标转换，定位到元件在图像中的位置后，通过变换矩阵将图像坐标转换为机械坐标。

2.根据权利要求1所述的一种组合式的多相机视觉对位方法，其特征在于，步骤S10中，变换矩阵即为透视变换，其公式如下：

其中，x'，y'，w'为转换后的点的齐次座标，u，v，w为原始点的齐次座标，a₁₁，a₁₂，......，a₃₃为变换矩阵，通过透视变换后得到的图片坐标是：

其中，a₃₃＝1，通过选取4组图像坐标，组成8个方程，即可解出8个参数，得到透视变换矩阵。

3.根据权利要求1所述的一种组合式的多相机视觉对位方法，其特征在于，步骤S20中，包括以下的步骤：

使第一个吸嘴运动至设定的理论位置；

采集图像，并以图像中心为原点计算吸嘴在图像中的位置；

根据变换矩阵计算偏移，使吸嘴位于图像中心需要移动的距离，并重复执行该步骤；

使第一个吸嘴运动至第二个相机上方，计算偏移，剩余相机的位置标定依次类推。

4.根据权利要求1所述的一种组合式的多相机视觉对位方法，其特征在于，步骤S30中，吸嘴运动到喂料器上取料的位置为起始位置，记为起始位置pos_star，相机收到硬触发信号的位置为触发位置，记为触发位置pos_trig，吸嘴进行元件贴装时具有贴装位置，记为贴装位置pos_targ；

相机采集图像的模式分为软触发和硬触发两种，当处于软触发模式时，相机静止，被拍物也静止；当处于硬触发模式时，相机静止，被拍物正在运动；起始位置pos_star到触发位置pos_trig的距离为固定值L1，贴装位置pos_targ到触发位置pos_trig的距离为可变值，设为Δy，则Δy＝pos_targ·y-pos_trig·y；其中poS_targ·y为贴装位置的Y坐标，pos_trig·y为触发位置的Y坐标。

其自动标定过程如下：

吸嘴运动到触发位置pos_trig处，采用软触发模式进行采图，计算吸嘴在图像中的位置，并根据变换矩阵转换成机械坐标pos_soft；

此后吸嘴运动至取料处，经过触发位置运动至pos_trig+L2处，其中L2为轨道固定边的宽度，也就是触发位置到离轨道固定边最近的贴装点的γ方向距离，约为50mm。经过触发位置时采用硬触发模式进行采图，计算吸嘴在图像中的位置，并根据变换矩阵转换成机械坐标，计算该机械坐标与机械坐标pos_soft的偏差；

L2每次加m，且反复执行n次，其中m为步幅。

5.根据权利要求4所述的一种组合式的多相机视觉对位方法，其特征在于，相机紧挨着导轨，导轨固定边的宽度设为L2，则Δy＞L2。

6.根据权利要求4所述的一种组合式的多相机视觉对位方法，其特征在于，L2＝50mm，m＝10mm，n＝20次。

7.根据权利要求1所述的一种组合式的多相机视觉对位方法，其特征在于，当采用“一对二模式”时，步骤S50中，相机采集图像完成后，对图像进行裁剪，分成左右两半部分，图像的宽度和高度均为480像素，根据以下公式计算：

image_width＝480；

image_height＝480；

其中，image_width为图像宽度，image_height为图像高度，offset_x₁为图像左半部分X方向偏移量，offset_x₂为右半部分X方向偏移量，offset_y为左右两半部分y方向的偏移量。

8.根据权利要求7所述的一种组合式的多相机视觉对位方法，其特征在于，当采用“一对一模式”时，步骤S50中，相机采集图像完成后，不需要对图像裁剪，图像宽度和高度均为1024像素，根据以下公式计算：

image_width＝1024；

image_height＝1024；

offset_y＝0；

其中，image_width为图像宽度，image_height为图像高度，offset_x为x方向偏移量，offset_y为y方向偏移量。

9.根据权利要求1所述的一种组合式的多相机视觉对位方法，其特征在于，步骤S60中，根据不同元件类型，选用不用的识别方法进行定位，包括：

对于电阻电容类型的元件，使用边缘直线拟合并求交点计算元件中心和角度；

对于SOT、SOP以及QFP类型的元件，使用各引脚最外边中心计算元件中心和角度；

对于BGA类型的元件，首先通过圆拟合计算所有球的中心，然后通过点匹配计算元件中心和角度。

Images