CN111905983A

CN111905983A - 基于视觉跟随的点胶轨迹修正方法、装置、系统及介质

Info

Publication number: CN111905983A
Application number: CN202010694616.9A
Authority: CN
Inventors: 苗立晓; 程国醒; 范玉魁; 唐亮; 石建军
Original assignee: Shenzhen Huacheng Industrial Control Co Ltd
Current assignee: Shenzhen Huacheng Industrial Control Co Ltd
Priority date: 2020-07-17
Filing date: 2020-07-17
Publication date: 2020-11-10
Anticipated expiration: 2040-07-17
Also published as: CN111905983B

Abstract

本申请涉及一种基于视觉跟随的点胶轨迹修正方法、装置、系统及介质，其包括以下过程：建立工作台坐标系；标定基准位姿，获取放置于初始位置处产品的位姿图像，基于整合策略提取位姿图像的坐标信息并设定为基准位姿；教导轨迹，对产品进行点胶操作，记录机械臂的运动轨迹并设定为基准点胶轨迹；获取当前位姿，获取产品的位姿图像，并基于整合策略提取位姿图像的坐标信息并设定为实时位姿；确定变换关系，基于基准位姿和实时位姿的相对关系确定空间变换关系，并以此将基准点胶轨迹转化为实时点胶轨迹；执行点胶轨迹，基于实时点胶轨迹对产品进行点胶操作。本申请具有适应产品各种不定的姿态以进行点胶操作，从而提高点胶效率的效果。

Description

基于视觉跟随的点胶轨迹修正方法、装置、系统及介质

技术领域

本申请涉及工业自动化的领域，尤其是涉及一种基于视觉跟随的点胶轨迹修正方法、装置、系统及介质。

背景技术

工业自动化是指机器设备或生产过程在不需要人为直接干预的情况下，按照预期的目标实现测量，操纵等信息处理和过程控制的统称。随着现代工业的飞速发展，点胶设备在自动化生产线的应用越来越广泛，应用精度也越来越高，已广泛应用于半导体封装工业，常用其进行芯片固定、集成电路元器件密封以及对元器件进行机械保护等。在常规的视觉点胶应用中，产品的姿态需要经过附加结构的修正，使其保持相同的姿态来确保点胶轨迹的精度，这样势必会增加机构的安装难度，提高了设备成本。

发明内容

为了能够适应产品各种不定的姿态以进行点胶操作，本申请提供一种基于视觉跟随的点胶轨迹修正方法、装置、系统及介质。

第一方面，本申请提供的一种基于视觉跟随的点胶轨迹修正方法，采用如下的技术方案：

一种基于视觉跟随的点胶轨迹修正方法，包括预设步骤和点胶步骤，所述预设步骤包括：

S1.建立工作台坐标系；

S2.标定基准位姿：在工作台上的传送带确定初始位置，获取放置于初始位置处产品的位姿图像，基于整合策略提取位姿图像的坐标信息并设定为基准位姿；

S3.教导轨迹：对位于初始位置的产品进行点胶操作，记录点胶操作过程中机械臂的运动轨迹并设定为基准点胶轨迹；

所述点胶步骤包括：

S4.获取当前位姿：实时检测运动的传送带上产品相对于工作台的位置，获取产品的位姿图像，并基于整合策略提取位姿图像的坐标信息并设定为实时位姿；

S5.确定变换关系：基于基准位姿和实时位姿的相对关系确定空间变换关系，并根据该空间变换关系将基准点胶轨迹转化为实时点胶轨迹；

S6.执行点胶轨迹：跟随经过到初始位置的产品并基于实时点胶轨迹对产品进行点胶操作。

通过采用上述技术方案，一开始建立工作台坐标系以作为标准坐标系，该坐标系相对于工作台静止。在视觉系统的相机视野中设置定义一个初始位置，用于作为产品随传送带运动过程中点胶操作的起点。先保持传送带静止，将产品放置在初始位置并保持静止，并通过视觉系统来识别产品的当前位姿，并基于整合策略将其定义为基准位姿。基准位姿由产品的摆放角度和自身形状所决定。然后操纵SCARA对产品进行标准的点胶操作，记录下点胶操作过程中SCARA的移动轨迹、在轨迹各处的出胶量和出胶速度，并将这些数据汇总作为基准点胶轨迹。

在进行自动化点胶的过程中，传送带带动产品同步移动，当产品进入相机视野中时，系统实时对产品的位置进行检测，直至产品移动到初始位置。此时通过视觉系统来识别产品的当前位姿，并基于整合策略将其定义为实时位姿。由于实时位姿和基准位姿为产品上各点分别基于不同坐标系而得到的整合，因此实时位姿上产品的各点分别在基准位姿上有单一映射，故基准位姿和实时位姿能够确定出一个确定唯一的空间变换关系。根据该关系，将基准点胶轨迹变换为实时点胶轨迹，此时实时点胶轨迹即可与实时位姿相对应。为机械臂施加一个与传送带相同步的沿传送带传送方向的分速度，再根据实时点胶轨迹来指导机械臂的运动和出胶。

优选的，所述整合策略包括：

录入产品的各点坐标信息；

根据坐标信息建立基于产品建立坐标系；

基于坐标系将各个坐标信息整合成产品位姿。

通过采用上述技术方案，整合策略将产品上拆分成多个样本点，对应地赋予这些样本点以坐标，再建立对应这些坐标的坐标系，并根据坐标系将整个产品的样本点整合为集合，以作为产品位姿。

优选的，S4包括：

S41.检测编码器位置以获取记载传送带位置的实时编码信息；其中，编码器位于连于传送带的同步轮上；

S42.基于编码器位置移动距离，以第一频率生成控制信号；

S43.基于控制信号控制视觉系统拍照识别，获取产品的位姿图像；

S44.基于整合策略提取位姿图像的坐标信息并设定为实时位姿，同时记录与实时位姿对应的实时编码信息。

通过采用上述技术方案，传送带在运动时，传送带将会带动同步轮和编码器同步和转动，通过编码器的转动角度能够确定传送带的运动路程，从而确定产品的位置。SCARA实时读取编码器的位置，以获得传送带位置的实时编码信息，从而确定产品的运动路程，每运动一段固定的距离，即控制视觉系统对产品进行拍照识别以获取实时位姿，拍照的频率即为第一频率。

优选的，所述S5包括：

S51.比较产品各点对应于第一坐标系和第二坐标系的坐标信息；其中，第一坐标系对应于基准位姿，第二坐标系对应于实时位姿；

S52.确定第一坐标系和第二坐标系之间的变化关系，从而确定变换矩阵；

S53.将基准点胶轨迹上各点的坐标根据变换矩阵转化为实时点胶轨迹的坐标。

通过采用上述技术方案，基准位姿图像和实时位姿图像在根据整合策略进行处理后，分别得到对应于第一坐标系的基准位姿，以及对应于第二坐标系的实时位姿，由于产品本身的形状是确定的，对于基准位姿和实时位姿两个点的集合而言，存在一一映射关系，故能够唯一确定一个用于将基准位姿各点坐标转化为实时位姿坐标的变换矩阵。故由第一坐标系所确定的基准点胶轨迹能够通过该变换矩阵转变为基于第二坐标系的实时点胶轨迹。

优选的，S6包括：

S61.比较实时编码信息与初始位置对应的初始编码信息；

S62.当实时编码信息与初始编码信息相匹配时，在传送带传送方向驱动机械臂以使机械臂获得一与传送带传送速度相对应的分速度，使得并基于实时点胶轨迹对产品进行点胶操作。

通过采用上述技术方案，实时比较实时编码信息与初始位置对应的初始编码信息，以判断产品是否移动到了初始位置。当产品移动到初始位置上时，驱动机械臂沿传送带传送方向移动，以保持机械臂与传送带相对静止。然后再基于实时点胶轨迹对产品进行点胶操作。

第二方面，本申请提供的一种基于视觉跟随的点胶轨迹修正方法，采用如下的技术方案：

一种基于视觉跟随的点胶轨迹修正方法的系统，包括：

基准模块，用于建立工作台坐标系；

标定模块，用于获取放置于初始位置处产品的位姿图像，基于整合策略提取位姿图像的坐标信息并设定为基准位姿；

学习模块，用于在对位于初始位置的产品进行点胶操作时，记录点胶操作过程中机械臂的运动轨迹并设定为基准点胶轨迹；

检测模块，用于实时检测运动的传送带上产品相对于工作台的位置，获取产品的位姿图像，并基于整合策略提取位姿图像的坐标信息并设定为实时位姿；

变换模块，基于基准位姿和实时位姿的相对关系确定空间变换关系，并根据该空间变换关系将基准点胶轨迹转化为实时点胶轨迹；

执行模块，用于跟随经过到初始位置的产品并基于实时点胶轨迹对产品进行点胶操作。

第三方面，本申请提供的一种基于视觉跟随的点胶轨迹修正方法，采用如下的技术方案：

一种装置，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行如上述任意一项方法的计算机程序。

第四方面，本申请提供的一种基于视觉跟随的点胶轨迹修正方法，采用如下的技术方案：

一种计算机可读存储介质，存储有能够被处理器加载并执行如上述任一项方法的计算机程序。

附图说明

图1是本申请实施例中一种基于视觉跟随的点胶轨迹修正方法的程序框图；

图2是本申请实施例中获取当前位姿步骤的程序框图；

图3是本申请实施例中确定变换关系步骤的程序框图；

图4是本申请实施例中空间变换关系的示意图；

图5是本申请实施例中执行点胶轨迹步骤的程序框图。

具体实施方式

以下结合附图1-5，对本申请作进一步详细说明。

在常规的视觉点胶应用中，产品的姿态需要经过附加结构的修正，使其保持相同的姿态来确保点胶轨迹的精度，这样势必会增加机构的安装难度，提高了设备成本。

本申请实施例公开一种基于视觉跟随的点胶轨迹修正方法。本方法主要基于由水平多关节、视觉系统、传送带和编码器几个主要部分组成的系统，水平多关节在以下简称为SCARA，包含控制系统和机械本体。水平多关节可以为四轴装置或六轴装置或其它多轴装置，用于作为抓取的执行机构。视觉系统用于对传送带上的物体进行抓拍定位，传送带用于产品的运输，编码器用于监视反馈传送带的位置，编码器设置在一个抵接于传送带上的同步轮上，同步轮与传送带皮带同步运动。

基于视觉跟随的点胶轨迹修正方法包括用于针对相应产品录入并预设定点胶轨迹的预设步骤、以及能够将预设定的点胶轨迹相对于不同产品姿态下进行相应修正并实施的点胶步骤。

在对产品进行点胶之前，由于产品的形态各不相同，且不同产品间需要进行点胶操作的位置也大相径庭，因此需要对产品的点胶轨迹进行预设定，以适应不同的产品。参照图1，预设步骤包括：

S1.建立工作台坐标系。

SCARA标定一个工作台坐标系。在传送带上选取三个不共线的点P1/P2/P3，并在传送带上方任意选定一个点P4，建立一个工作台坐标系。举个例子，首先SCARA控制机械本体运行到P1点，记录P1点时机械本体的世界坐标，并使用同样的方法记录P2、P3和P4点的世界坐标，已知P1/P2/P3/P4可求出世界坐标系到工作台坐标系的变换矩阵。视觉系统和SCARA的坐标标定均基于工作台坐标系。进一步的，为了便于计算，在本实施例中将传送带的输送方向标定为Y轴正方向，在传送带垂直于Y轴的方向标定为X轴，垂直于传送带表面向上的方向标定为Z轴正方向，X/Y/Z轴组成右手系的工作台坐标系。

S2.标定基准位姿：在工作台上的传送带确定初始位置，获取放置于初始位置处产品的位姿图像，基于整合策略提取位姿图像的坐标信息并设定为基准位姿。

SCARA的机械本体运动具有一定的范围限制，且点胶步骤的实施具有一定工作时长，因此需要在传送带较靠近传送起点处设定一个初始位置，以为后续点胶步骤预留下足够的操作时间。该初始位置位于视觉系统的相机视野中，用于作为产品随传送带运动过程中点胶操作的起点。先保持传送带静止，将产品放置在初始位置并保持静止，并通过视觉系统来识别产品的当前位姿。

整合策略包括：

1、录入产品的各点坐标信息；

2、根据坐标信息建立基于产品建立坐标系；

3、基于坐标系将各个坐标信息整合成产品位姿。

视觉系统对相机拍摄的图像进行特征点提取，并将各个特征点进行坐标标定，相应地建立第一坐标系，以将该产品的各个特征点归结于一个总的集合，根据该集合能够推定产品任意一点的坐标。将该集合定义为基准位姿，基准位姿由产品的摆放角度和自身形状所决定。

S3.教导轨迹：对位于初始位置的产品进行点胶操作，记录点胶操作过程中机械臂的运动轨迹并设定为基准点胶轨迹。

机械臂即为SCARA的机械本体，其一端具有出胶口。操纵机械臂对产品进行标准的点胶操作，比如按照预定顺序依次对产品的各个孔位进行点胶，在点胶过程中记录机械臂各部位的移动轨迹、在轨迹各处的出胶量和出胶速度，并将这些数据汇总作为基准点胶轨迹，其中基准点胶轨迹的位置信息部分是基于第一坐标系的若干个连续坐标组成。

在预设步骤完成后，即可将启动传送带，并将产品以一固定频率依次放置在传送带起始端，以依次对产品进行点胶操作。参照图1，点胶步骤包括：

S4.获取当前位姿：实时检测运动的传送带上产品相对于工作台的位置，获取产品的位姿图像，并基于整合策略提取位姿图像的坐标信息并设定为实时位姿。

具体的，参照图2，步骤S4包括：

同步轮抵接于传送带上并与传送带同步转动，编码器位于同步轮上，也就是说，当传送带运动一定距离时，同步轮将会同步转动一定的角度，编码器对该转动角度进行检测，获取实时编码信息，该编码信息对应于传送带的运动距离。

S42.基于编码器位置移动距离，以第一频率生成控制信号；

SCARA上的控制系统获取编码器输出的实时编码信息，以获取产品的运动情况。每当传送带运动一段固定距离时，控制系统输出控制信号，以控制视觉系统对产品进行拍照识别，以获取产品的位姿图像。

视觉系统对多张相机拍摄的图像的特征进行相似度判断以进行特征点提取，并将各个特征点基于工作台坐标系进行坐标标定，再利用多张位姿图像滤去特征点随传送带的运动分量，得到各特征点相对于传送带的坐标，相应地建立第二坐标系，以将该产品的各个特征点归结于一个总的集合，根据该集合能够推定产品任意一点的坐标。第二坐标系是基于传送带上的产品而建立的，因此对于跟随传送带移动的产品而言，产品上任意一点相对于第一坐标系具有一个沿传送带传送方向的变化的分量。将该集合定义为实时位姿，实时位姿由产品的摆放角度和自身形状所决定。

S5. 确定变换关系：基于基准位姿和实时位姿的相对关系确定空间变换关系，并根据该空间变换关系将基准点胶轨迹转化为实时点胶轨迹。

由于实时位姿和基准位姿为产品上各点分别基于不同坐标系而得到的整合，因此实时位姿上产品的各点分别在基准位姿上有单一映射，故基准位姿和实时位姿能够确定出一个确定唯一的空间变换关系。根据该关系，将基准点胶轨迹变换为实时点胶轨迹，此时实时点胶轨迹即可与实时位姿相对应。

具体的，参照图3，步骤S5包括：

基于不同的传送带移动速度、产品的形状、摆放角度、点胶位置等参数，变换矩阵是唯一确定的。当其中某个量发生改变时，变换矩阵也将发生改变。

举个例子，对于第一坐标系{1}和第二坐标系{2}，根据空间坐标变换技术可以得到两者之间的变换矩阵T，利用教导轨迹中的点位左乘以T可以得到基于工作台坐标系的新的坐标值。

特别的，参照图4，P1点代表标定时相机识别到产品的位置，即为基准位置，红色箭头表示教导的点胶轨迹，假设直线轨迹的起点坐标为A，终点坐标为B；P2代表在运行过程中相机识别到的产品的实际位置，根据P1和P2可以计算出产品的平移量p和旋转角度α，根据p和α可以得到变换矩阵T。

将A和B的坐标进行坐标变换：

A’= T*A

B’= T*B

A’B’即为旋转后的直线轨迹，SCARA在执行轨迹运动时按照A’B’的坐标进行运动，从而达到了轨迹动态修正的目的。

由于视觉系统是基于工作台坐标系静止的，因此在产品到达初始位置时，能够达到对产品最好的识别效果，以便于得到实时位姿和初始位姿的映射关系。

具体的，参照图5，步骤S6包括：

S61.比较实时编码信息与初始位置对应的初始编码信息；

当实时编码信息与初始编码信息相匹配时，SCARA判断产品运动到初始位置。当产品移动到初始位置上时，驱动机械臂沿传送带传送方向移动，以保持机械臂与传送带相对静止。然后再基于实时点胶轨迹对产品进行点胶操作。

本申请还公开一种基于视觉跟随的点胶轨迹修正方法的系统，包括：

基准模块，用于建立工作台坐标系；

本申请还公开一种装置，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行如上述的基于视觉跟随的点胶轨迹修正方法的计算机程序。

本申请还公开一种计算机程序，存储有能够被处理器加载并执行如上述的基于视觉跟随的点胶轨迹修正方法的计算机程序。

以上均为本申请的较佳实施例，并非依此限制本申请的保护范围，故：凡依本申请的结构、形状、原理所做的等效变化，均应涵盖于本申请的保护范围之内。

Claims

1.一种基于视觉跟随的点胶轨迹修正方法，其特征在于，包括预设步骤和点胶步骤，所述预设步骤包括：

S1.建立工作台坐标系；

所述点胶步骤包括：

2.根据权利要求1所述的基于视觉跟随的点胶轨迹修正方法，其特征在于，所述整合策略包括：

录入产品的各点坐标信息；

根据坐标信息建立基于产品建立坐标系；

基于坐标系将各个坐标信息整合成产品位姿。

3.根据权利要求1所述的基于视觉跟随的点胶轨迹修正方法，其特征在于，S4包括：

S42.基于编码器位置移动距离，以第一频率生成控制信号；

4.根据权利要求1所述的基于视觉跟随的点胶轨迹修正方法，其特征在于，所述S5包括：

5.根据权利要求1所述的基于视觉跟随的点胶轨迹修正方法，其特征在于，S6包括：

S61.比较实时编码信息与初始位置对应的初始编码信息；

6.一种基于视觉跟随的点胶轨迹修正方法的系统，其特征在于，包括：

基准模块，用于建立工作台坐标系；

7.一种装置，其特征在于，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行如权利要求1至5中任一项方法的计算机程序。

8.一种计算机可读存储介质，其特征在于，存储有能够被处理器加载并执行如权利要求1至5中任一项方法的计算机程序。