CN114758012A - 一种基于视觉重叠运算的动态路径生成系统及其生成方法 - Google Patents

Abstract

本发明公开了一种基于视觉重叠运算的动态路径生成系统及其生成方法，涉及动态视觉技术领域，其技术方案要点是：一种基于视觉重叠运算的动态路径生成系统，包括工作台和设置在工作台上的六轴机械手，六轴机械手的输出端固定有悬臂，悬臂上设置有2D彩色相机、3D双目立体相机和针头模块，还包括可通讯连接于六轴机械手、2D彩色相机和3D双目立体相机的计算机，其包括以下步骤：A、手眼标定工作坐标；B、2D边缘识别；D、创建点云；E、拟合图像；F、运动轨迹校准；G、六轴机械手运动路径的生成。本发明达到动态匹配的运动轨迹效果,克服了运动路径因产品外观扭曲与变形所造成点胶制程良品率不高的问题。

Description

一种基于视觉重叠运算的动态路径生成系统及其生成方法

技术领域

本发明涉及动态视觉技术领域，更具体地说，它涉及一种基于视觉重叠运算的动态路径生成系统及其生成方法。

背景技术

目前，在精密穿戴式装置如智能手表、手环、眼镜、VR/AR眼镜产品的组装粘接过程中，该类装置的各产品通常具有不规则曲率，现有的点胶方式难以保证点胶位置的精度，容易导致产品粘接不良甚至报废，大大增加了智能制造装配行业的生产成本，并且现有技术中需要通过人工示教来设定点胶运动路径，如此不同的产品需要进行不同的示教，费时费力，且人工作业不确定因素较大，很容易造成运动路径不一致，导致偏差较大的问题。此外，除了上述的时间和人力成本外，现行方法更无法针对产品的异形外观做出任何自动辨识与引导校正。

因此需要提出一种新的方案来解决这个问题。

发明内容

针对现有技术存在的不足，本发明的目的在于提供一种基于视觉重叠运算的动态路径生成系统及其生成方法，通过标定算法对2D与3D图像进行重叠生成六轴机械手点胶路径的3D点云图达到动态匹配的运动轨迹效果,克服了运动路径因产品外观扭曲与变形所造成点胶制程良品率不高的问题，并且通过第一次质检和第二次质检的设置，使得六轴机械手路径的动态引导校准更加精准。

本发明的上述技术目的是通过以下技术方案得以实现的：一种基于视觉重叠运算的动态路径生成系统，包括工作台和设置在工作台上的六轴机械手，所述六轴机械手的输出端固定有悬臂，所述悬臂上设置有2D彩色相机、3D双目立体相机和针头模块，还包括可通讯连接于六轴机械手、2D彩色相机和3D双目立体相机的计算机。

在其中一个实施例中，所述彩色相机为红绿蓝(RGB)相机。

在其中一个实施例中，所述针头模块与悬臂滑动连接，所述2D彩色相机、3D双目立体相机分别通过可调角度结构与悬臂活动连接。

在其中一个实施例中，所述可调角度结构包括用于安装2D彩色相机或3D双目立体相机的相机支架，所述相机支架上一体设置有弧形滑块，所述悬臂上设置有与弧形滑块适配的弧形滑槽，所述弧形滑块可活动的配合在弧形滑槽内，所述悬臂上还贯穿弧形滑槽设置有腰型槽，所述弧形滑块上螺纹连接有螺栓，所述螺栓的端帽位于腰型槽的外侧。

在其中一个实施例中，一种基于视觉重叠运算的动态路径生成方法，使用所述的基于视觉重叠运算的动态路径生成系统，包括以下步骤：

A、手眼标定工作坐标：将产品置于工作台上，并使得产品在2D彩色相机和3D双目立体相机的视觉范围内，标定六轴机械手的坐标系、2D彩色相机的坐标系和3D双目立体相机的坐标系；

B、2D边缘识别：2D彩色相机拍照，2D边缘识别算法工具将产品的轮廓特征图片分区段，抓取定义特征点或边特征线，并通过增益算法和平滑算法优化所抓取的边特征线以创建完整的2D轨迹路径，在此路径上的每个点位(x,y)输出为2D彩色相机的像素值；

C、定义分段区2D边缘像素长度确认和质量确认：将步骤B中抓取得到的特征边线与标准值对比以进行第一次质检，以确保抓取的特征边线符合产品的工程规范需求；

D、创建点云：3D双目立体相机同时拍照生成3D图，即点云图，其中每一个点代表3D双目立体相机的坐标点(x,y,z)；

E、拟合图像：将输出的2D图像与3D图像重合，按1：1的比例重叠步骤B输出的2D轨迹路径至步骤D输出的点云图像中拟合撷取该3D轨迹点云坐标系(x,y,z),自此步骤形成最终的3D运动轨迹路径，并将该运动轨迹输出转变为六轴机械手的运动轨迹，其中该路径上的点位输出为3D轨迹点云坐标系(x,y,z)；

F、运动轨迹校准：在实现运动轨迹前，3D轨迹点云会与产品的标准CAD图档进行标准比较以进行第二次质检判断；

G、六轴机械手运动路径的生成：步骤F中撷取出的被允许的点云路径通过空间维度转换矩阵算法，由点云坐标转换成六轴机械手的运动坐标点，由此根据2D彩色相机、3D双目立体相机取得的路径，实现六轴机械手路径的动态引导。

在其中一个实施例中，步骤B中所述的产品轮廓特征图片可根据产品的曲面变化路径分割成多个区段。

在其中一个实施例中，由于步骤F中3D轨迹点云和CAD图档分别处于不同的空间坐标系中，因此需要通过临近点标准算法将3D轨迹点云和CAD图档进行空间对齐，其具体采用点到面的方式进行对齐，其中的计算公式如下：

在其中一个实施例中，步骤F中，在CAD图档的基础上建立有公差范围内的3D对比环，所述3D对比环用作允收或拒收的标准。

在其中一个实施例中，步骤B中所述的增益算法具体是在两个原生点云的点位之间加入另一中间点位，在每次增益演算演迭后，整体点云的点位数量增加一倍。

在其中一个实施例中，步骤B中所述的平滑算法为曲线平滑处理，其具体是将点云的多个点位使用平滑曲线连接。

综上所述，本发明具有以下有益效果：本发明提供了一种基于2D与3D相机重叠运算下的动态运动路径生成系统及其方法,利用2D彩色相机算法抓取产品实际点胶路径内的特征边线,并通过增益算法和平滑算法优化路径点位生成完整的2D平面点胶路径,通过标定算法对2D与3D图像进行重叠生成六轴机械手点胶路径的3D点云图达到动态匹配的运动轨迹效果,克服了运动路径因产品外观扭曲与变形所造成点胶制程良品率不高,粘接质量差以及不良品报废率高的问题，并且通过第一次质检和第二次质检的设置，使得六轴机械手路径的动态引导校准更加精准。

附图说明

图1为本申请的实施例的基于视觉重叠运算的动态路径生成系统的结构示意图；

图2为本申请的实施例的基于视觉重叠运算的动态路径生成方法的流程图；

图3为为本申请的实施例的基于视觉重叠运算的动态路径生成方法中所使用的算法模块架构图；

图4为2D图像撷取并生成2D轨迹的图像；

图5为由2D图像重叠到3D图像形成点云的图像；

图6为2D图像与3D图像拟合过程的图像；

图7为动态轨迹经平滑处理、增益处理以及处理后的轨迹示意图；

图8为邻近像素点之间的距离(d)与2D轨迹上所有识别点距离之间的总和(D)的判断基准图；

图9为邻近像素点判断基准中正常允收情况图；

图10为邻近像素点判断基准中轻微异常情况图；

图11为邻近像素点判断基准中严重异常拒收情况图；

图12为临界值方法过滤离散点的示意图；

图13为增益算法的示意图；

图14为完整的点云路径图；

图15为3D对比环的示意图；

图16为一个样本中blob像素点的示意图；

图17为blob像素点允收和拒收的示意图。

图中：1、工作台；2、六轴机械手；3、2D彩色相机；4、3D双目立体相机；5、悬臂；6、针头模块；7、可调角度结构。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本申请的实施例提供了一种基于视觉重叠运算的动态路径生成系统，包括工作台1和设置在工作台1上的六轴机械手2，所述六轴机械手2的输出端固定有悬臂5，所述悬臂5上设置有2D彩色相机3、3D双目立体相机4和针头模块6，还包括可通讯连接于六轴机械手2、2D彩色相机3和3D双目立体相机4的计算机。

需要注意的是，本发明的目的与应用上的优势在于提供一种全局化的路径轨迹生成系统和方法,达成可以根据每一个产品实际轮廓面动态生成运动路径轨迹并且具有质检功能的创新方法，本实施例中采用眼镜类产品的点胶制程工艺的胶线路径生成为案例说明,当需要实现上述作业时，本实施例的针头模块6上可以更换上用于点胶的针头，但此创新技术可适用范围不仅局限于眼镜类产品的点胶工艺制程应用,还可用于其他行业层面，例如新能源汽车、精密航天、3C行业等，其涵盖了螺丝锁付、镭焊切割与粘接以及其他精密智能组装领域的制程工艺。

工作时，需要对2D彩色相机3、3D双目立体相机4和针头模块6进行初始化位置调整。

上述方式，通过2D彩色相机3、3D双目立体相机4和六轴机械手2的设置，相较于传统的线扫相机来说，先通过2D彩色相机3对产品拍照撷取二维坐标，再通过3D双目立体相机4对产品进行纵深拍照撷取三维坐标，最后将二者的坐标重叠形成点云，提高了六轴机械手2的运动路径生成的精度，并且六轴机械手2具有多个自由度，作业过程中具有较好的灵活性。

在上述基础上，所述彩色相机为红绿蓝(RGB)相机。具体的，RGB相机可以应用于数据流要求较高的场合，其用于产品的二维识别拍照具有精度高，响应时间快的优点。

在上述基础上，所述针头模块6与悬臂5滑动连接，所述2D彩色相机3、3D双目立体相机4分别通过可调角度结构7与悬臂5活动连接。

在上述基础上，所述可调角度结构7包括用于安装2D彩色相机3或3D双目立体相机4的相机支架，所述相机支架上一体设置有弧形滑块，所述悬臂5上设置有与弧形滑块适配的弧形滑槽，所述弧形滑块可活动的配合在弧形滑槽内，所述悬臂5上还贯穿弧形滑槽设置有腰型槽，所述弧形滑块上螺纹连接有螺栓，所述螺栓的端帽位于腰型槽的外侧。

具体的，通过可调角度结构7的设置，可以根据产品的位置特点，对2D彩色相机3或3D双目立体相机4进行初始位置角度的调节，使其具有较为宽泛的视野调节范围。

请参阅图2至图7，一种基于视觉重叠运算的动态路径生成方法，使用所述的基于视觉重叠运算的动态路径生成系统，包括以下步骤：

A、手眼标定工作坐标：将产品置于工作台1上，并使得产品在2D彩色相机3和3D双目立体相机4的视觉范围内，标定六轴机械手2的坐标系、2D彩色相机3的坐标系和3D双目立体相机4的坐标系；

B、2D边缘识别：2D彩色相机3拍照，2D边缘识别算法工具将产品的轮廓特征图片分区段，抓取定义特征点或边特征线，并通过增益算法和平滑算法优化所抓取的边特征线以创建完整的2D轨迹路径，在此路径上的每个点位(x,y)输出为2D彩色相机3的像素值；

具体的，在2D轨迹路径生成中,本发明在个别定义分段区内可针对边缘识别算法工具抓取识别的边线是否正确作出判断,或者设置防呆机制。因每个点位为像素值(Pixelx,Pixel y),本算法利用邻近像素点之间的距离(d)与2D轨迹上所有识别点距离之间的总和(D)做为判断矩阵基准。

像素点之间距离如图8所示，在每一个定义区段内,以两点之间计算出距离,所有距离的总和即可计算出，在异常状况下可以清楚看出单一像素距离或者距离总和值是否超过正常允收的临界值，并且图9为正常允收情况图，图10为轻微异常情况图，图11为严重异常拒收情况图。

C、定义分段区2D边缘像素长度确认和质量确认：将步骤B中抓取得到的特征边线与标准值对比以进行第一次质检，以确保抓取的特征边线符合产品的工程规范需求；

D、创建点云：3D双目立体相机4同时拍照生成3D图，即点云图，其中每一个点代表3D双目立体相机4的坐标点(x,y,z)；

E、拟合图像：将输出的2D图像与3D图像重合，按1：1的比例重叠步骤B输出的2D轨迹路径至步骤D输出的点云图像中拟合撷取该3D轨迹点云坐标系(x,y,z),自此步骤形成最终的3D运动轨迹路径，并将该运动轨迹输出转变为六轴机械手2的运动轨迹，其中该路径上的点位输出为3D轨迹点云坐标系(x,y,z)，其中拟合得到的点云路径图如图14所示。

F、运动轨迹校准：在实现运动轨迹前，3D轨迹点云会与产品的标准CAD图档进行标准比较以进行第二次质检判断；

G、六轴机械手2运动路径的生成：步骤F中撷取出的被允许的点云路径通过空间维度转换矩阵算法，由点云坐标转换成六轴机械手2的运动坐标点，由此根据2D彩色相机3、3D双目立体相机4取得的路径，实现六轴机械手2路径的动态引导。

上述方式，提供了一种基于2D与3D相机重叠运算下的动态运动路径生成方法,利用2D彩色相机3算法抓取产品实际点胶路径内的特征边线,并通过增益算法和平滑算法优化路径点位生成完整的2D平面点胶路径,通过标定算法对2D与3D图像进行重叠生成六轴机械手2点胶路径的3D点云图达到动态匹配的运动轨迹效果,克服了运动路径因产品外观扭曲与变形所造成点胶制程良品率不高,粘接质量差以及不良品报废率高的问题，并且通过第一次质检和第二次质检的设置，使得六轴机械手2路径的动态引导校准更加精准

在上述基础上，步骤B中所述的产品轮廓特征图片可根据产品的曲面变化路径分割成多个区段。

具体的，产品曲面越复杂时，所需分割的区段就越多，结合步骤B来看，边缘识别算法工具沿产品的轮廓边缘照片进行影像屏蔽处理后，运用多段式函数填入blob(图像中的一块连通区域)像素点，其中每个样本的blob像素点如图16所示，并且通过设定条件来进行判断，建立判断区间，如图17所示，深色为允收，浅色为拒收，被允收的blob像素点通过平滑处理来减少演算过程中的噪点干扰，演算完毕后，形成(x,y)像素集成的2D路径。

在上述基础上，由于步骤F中3D轨迹点云和CAD图档分别处于不同的空间坐标系中，因此需要通过临近点标准算法将3D轨迹点云和CAD图档进行空间对齐，其具体采用点到面的方式进行对齐，其中的计算公式如下：

在上述基础上，在3D成像过程中，难以避免因光源环境影响以及3D双目立体相机4硬件本身精度所衍生的噪音点，因此需要使用临界值方法将离散点(噪音)过滤去除，图12所示即为临界值方法过滤离散点的方式。

在上述基础上，如图15所示，步骤F中，在CAD图档的基础上建立有公差范围内的3D对比环，所述3D对比环用作允收或拒收的标准。具体的，在公差范围内即为允收标准，在公差范围外即为拒收标准。

在上述基础上，如图13所示，步骤B中所述的增益算法具体是在两个原生点云的点位之间加入另一中间点位，在每次增益演算演迭后，整体点云的点位数量增加一倍。

具体的，上述目的是为了增加点云路径的密度以提高其完整性。

在上述基础上，步骤B中所述的平滑算法为曲线平滑处理，其具体是将点云的多个点位使用平滑曲线连接。

具体的，由于2D区段定义到3D重叠拟合,不同区段路径之间会有潜在的断点风险,因此在降噪以及点位增益后,需要使用平滑曲线将多个点位连接，使得整个路径轨迹具有较好的连续性和完整性。

以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种基于视觉重叠运算的动态路径生成系统，包括工作台(1)和设置在工作台(1)上的六轴机械手(2)，其特征在于：所述六轴机械手(2)的输出端固定有悬臂(5)，所述悬臂(5)上设置有2D彩色相机(3)、3D双目立体相机(4)和针头模块(6)，还包括可通讯连接于六轴机械手(2)、2D彩色相机(3)和3D双目立体相机(4)的计算机。

2.根据权利要求1所述的基于视觉重叠运算的动态路径生成系统，其特征在于：所述彩色相机为红绿蓝(RGB)相机。

3.根据权利要求1所述的基于视觉重叠运算的动态路径生成系统，其特征在于：所述针头模块(6)与悬臂(5)滑动连接，所述2D彩色相机(3)、3D双目立体相机(4)分别通过可调角度结构(7)与悬臂(5)活动连接。

4.根据权利要求3所述的基于视觉重叠运算的动态路径生成系统，其特征在于：所述可调角度结构(7)包括用于安装2D彩色相机(3)或3D双目立体相机(4)的相机支架，所述相机支架上一体设置有弧形滑块，所述悬臂(5)上设置有与弧形滑块适配的弧形滑槽，所述弧形滑块可活动的配合在弧形滑槽内，所述悬臂(5)上还贯穿弧形滑槽设置有腰型槽，所述弧形滑块上螺纹连接有螺栓，所述螺栓的端帽位于腰型槽的外侧。

5.一种基于视觉重叠运算的动态路径生成方法，其特征在于：使用权利要求1-4任意一项所述的基于视觉重叠运算的动态路径生成系统，包括以下步骤：

A、手眼标定工作坐标：将产品置于工作台(1)上，并使得产品在2D彩色相机(3)和3D双目立体相机(4)的视觉范围内，标定六轴机械手(2)的坐标系、2D彩色相机(3)的坐标系和3D双目立体相机(4)的坐标系；

B、2D边缘识别：2D彩色相机(3)拍照，2D边缘识别算法工具将产品的轮廓特征图片分区段，抓取定义特征点或边特征线，并通过增益算法和平滑算法优化所抓取的边特征线以创建完整的2D轨迹路径，在此路径上的每个点位(x,y)输出为2D彩色相机(3)的像素值；

C、定义分段区2D边缘像素长度确认和质量确认：将步骤B中抓取得到的特征边线与标准值对比以进行第一次质检，以确保抓取的特征边线符合产品的工程规范需求；

D、创建点云：3D双目立体相机(4)同时拍照生成3D图，即点云图，其中每一个点代表3D双目立体相机(4)的坐标点(x,y,z)；

E、拟合图像：将输出的2D图像与3D图像重合，按1：1的比例重叠步骤B输出的2D轨迹路径至步骤D输出的点云图像中拟合撷取该3D轨迹点云坐标系(x,y,z),自此步骤形成最终的3D运动轨迹路径，并将该运动轨迹输出转变为六轴机械手(2)的运动轨迹，其中该路径上的点位输出为3D轨迹点云坐标系(x,y,z)；

F、运动轨迹校准：在实现运动轨迹前，3D轨迹点云会与产品的标准CAD图档进行标准比较以进行第二次质检判断；

G、六轴机械手(2)运动路径的生成：步骤F中撷取出的被允许的点云路径通过空间维度转换矩阵算法，由点云坐标转换成六轴机械手(2)的运动坐标点，由此根据2D彩色相机(3)、3D双目立体相机(4)取得的路径，实现六轴机械手(2)路径的动态引导。

6.根据权利要求5所述的基于视觉重叠运算的动态路径生成方法，其特征在于：步骤B中所述的产品轮廓特征图片可根据产品的曲面变化路径分割成多个区段。

7.根据权利要求5所述的基于视觉重叠运算的动态路径生成方法，其特征在于：由于步骤F中3D轨迹点云和CAD图档分别处于不同的空间坐标系中，因此需要通过临近点标准算法将3D轨迹点云和CAD图档进行空间对齐，其具体采用点到面的方式进行对齐，其中的计算公式如下：

8.根据权利要求5所述的基于视觉重叠运算的动态路径生成方法，其特征在于：步骤F中，在CAD图档的基础上建立有公差范围内的3D对比环，所述3D对比环用作允收或拒收的标准。

9.根据权利要求5所述的基于视觉重叠运算的动态路径生成方法，其特征在于：步骤B中所述的增益算法具体是在两个原生点云的点位之间加入另一中间点位，在每次增益演算演迭后，整体点云的点位数量增加一倍。

10.根据权利要求5所述的基于视觉重叠运算的动态路径生成方法，其特征在于：步骤B中所述的平滑算法为曲线平滑处理，其具体是将点云的多个点位使用平滑曲线连接。

Images