CN114851209A - 一种基于视觉的工业机器人工作路径规划优化方法及系统 - Google Patents

Abstract

本发明公开了一种基于视觉的工业机器人工作路径规划优化方法及系统，包括：工控机，其上存储有上位机程序，用于控制机器人、工业相机和机器人控制柜；工作台，其上设置有工业相机，工业相机通过信号线与工控机保持数据连接；机器人控制柜，其通过UTP电缆和工控机保持数据连接；机器人本体，其通过电源线、信号线与机器人控制柜保持连接。本发明提供的基于视觉的工业机器人工作路径规划优化方法及系统，通过工控机输出指定程序，再通过机器人控制柜控制机器人执行指定的工作任务并配置各项加工参数，可以取代操作员手动输入加工参数并使用拖动示教编程的传统机器人控制方法，使得机器人加工生产线更加高效化，有效节约了人力成本，提高了加工质量。

Description

一种基于视觉的工业机器人工作路径规划优化方法及系统

技术领域

本发明涉及工业机器人软件领域，具体涉及一种基于视觉的工业机器人工作路径规划优化方法及系统。

背景技术

工业机器人作为一种集机械、电子、控制、计算机、传感器、人工智能等多学科先进技术于一体的高技术、高强度、高速度、高精度产品，很多智能型工业机器人已综合了人和机器的特长。既具有人对环境状态的快速反应和分析判断力，又有可长时间持续工作、高精高速、高可靠性、不惧恶劣环境的能力。工业机器人由一个具有多个自由度可自由编程的轴构成，在执行工作时末端安装加工工具后，要求机器人末端按照要求的运动轨迹及速度进行移动，是一种能够自动控制并模仿人的动作且可以重复编程，能在三维空间完成规定的各种加工作业的自动化生产设备。

根据公开号：CN111300409A，公开日为2020-06-19的发明专利申请，公开了一种路径规划方法及工业机器人，有效地提高了工业机器人避障和路径规划效率。第一方面，一种路径规划方法，包括以下步骤：S1：获取控制点样本集；所述控制点样本集中的样本包括工业机器人的历史抓取点数据及其类别；所述类别为碰撞控制点或非碰撞控制点；S2：对所述控制点样本集进行模型训练，得到路径规划模型；S3：接收用户输入的工业机器人多个抓取点数据；S4：将所有抓取点数据输入至路径规划模型中；S5：获取路径规划模型输出的各个抓取点数据对应的类别；S6：根据类别为非碰撞控制点的抓取点数据输出可行路径。其主要的技术效果是：获取工业机器人历史多个抓取点的情况进行模型训练，确保工业机器人对抓取时不会发生机械限位和误抓。另外模型训练提出了依据以SVM算法模型为基础的避障算法，准确设定机械臂路径规划算法，避免传统路径规划过程的冗杂计算，有效的提高工业机器人避障和路径规划效率。

现有技术中工业机器人是通过操作员进行轨迹路线的示教编程，该方法过于依赖操作员经验，在针对小批量非标工件加工时，需要操作员针对每一种不同的工件进行路径规划，适应性差且费工费时，为此，提出一种基于视觉的工业机器人工作路径规划优化方法及系统，旨在解决现有工业机器人路径规划方法对小批量非标工件加工时存在适应性差、费工费时的问题。

发明内容

本发明的目的是提供一种基于视觉的工业机器人工作路径规划优化方法及系统，旨在解决现有工业机器人路径规划方法对小批量非标工件加工时存在适应性差、费工费时的问题。

为了实现上述目的，本发明提供如下技术方案：一种基于视觉的工业机器人工作路径规划系统，包括：

工控机，其上存储有上位机程序，用于控制机器人、工业相机和机器人控制柜；

工作台，其上设置有工业相机，所述工业相机通过信号线与工控机保持数据连接；

机器人控制柜，其通过UTP电缆和工控机保持数据连接；

机器人本体，其通过电源线、信号线与机器人控制柜保持连接。

一种基于视觉的工业机器人工作路径规划优化方法，包括以下步骤：

S1：通过工业相机获取加工台上待加工工件原始图像信息并将原始图像信息传输至工控机；

S2：通过工控机内上位机程序，对原始图像信息进行预处理，预设感兴趣区域，并调整图像亮度、对比度及曝光度等参数，使用高斯低通滤波进行降噪，将图像转化为灰度图；

S3:通过上位机程序，对上述步骤S2中灰度图进行背景分割处理，提取灰度图中工件信息，并将灰度图中其他干扰物体进行分割，并输出背景分割图像；

S4：通过工控机使用边缘检测和线段检测方法对获取工件的加工路径点集数据包，并排除加工路径周围干扰信息；

S5：通过上位机程序根据外部环境和运动学约束条件对加工路径进行优化，并生成机器人控制程序。

作为优选的，上述步骤S2中，在上位机程序中，对原始图像进行预处理，设定原始图像感兴趣区域，去除周围环境以及其他杂物干扰，并调整图像像素值大小及长宽比例，对图像的对比度、亮度以及曝光度等各项参数进行优化处理，得到初步优化图像。

作为优选的，将初步图像转化为灰度图，并通过高斯低通滤波针对图像噪声进行滤除，并对灰度图中的对比度、曝光度、亮度以及滤波降噪阈值等各项参数进行修改微调，使得所输出的预处理图像质量达最优。

作为优选的，上述步骤S3中，工控机使用自适应阈值图像分割方法，将预处理图像内工件信息与其他干扰物体以及周围划痕反光等噪声信号进行分割处理，对获取预处理图像中的工件进行提取，并输出背景分割图像。

作为优选的，上述步骤S4中，获取所背景分割图像后，工控机通过使用Canny边缘检测算法提取工件的边缘轮廓信息，使用LSM线段检测方法获取工件的加工路径，并排除焊缝周围的周围划痕、反光等噪声信号的干扰，并输出工件边缘轮廓图像。

作为优选的，将提取完成的工件边缘轮廓图像在工控机上位机软件用户界面中进行显示，观察该图像判断所提取的加工路径是否符合所需工艺要求。

作为优选的，上述步骤S5中：

获取工件边缘轮廓图像后，将图像中加工路径点信息作为特征点生成机器人工作轨迹；

以外部环境障碍物以及机器人关节位移、速度、加速度以及加加速度作为约束条件，使机器人工作轨迹平滑化，

以工作时间最短为目标，对平滑后的轨迹进行优化处理，最终生成所述机器人控制程序并保存；

调整述图像像素值大小，将修改后的图像中加工路径信息进行提取和保存；对获取的路径点进行处理，根据Canny边缘检测算法可获取图像中的多条轮廓集合，获取精简后路径点信息并保存。

作为优选的，根据机器人工作路径，通过逆解算法计算出各路径点投射在关节空间形成的运动轨迹，以外部环境障碍物点和各个关节轨迹以位移、速度、加速度和加加速度为目标，对机器人工作轨迹进行优化，使机器人工作轨迹更平滑；

对平滑后轨迹以机器人工作时间最短为目标进行优化处理，最后按照所需机器人参数和编程要求生成机器人控制程序并保存。

上述技术方案中，本发明提供的一种基于视觉的工业机器人工作路径规划优化方法及系统，具备以下有益效果：

工控机中上位机程序通过工业相机获得工件的图像信息，然后上位机程序处理，然后将程序发送给机器人控制柜，通过机器人控制柜控制机器人执行指定的工作任务并配置各项加工参数，可以取代操作员手动输入加工参数并使用拖动示教编程的传统机器人控制方法，使得机器人加工生产线更加高效化，有效节约了人力成本，提高了加工质量。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的路径规划优化方法构成示意图；

图2为本发明实施例提供的图像预处理模块流程示意图；

图3为本发明实施例提供的图像降噪处理流程示意图；

图4为本发明实施例提供的机器人工作轨迹生成及优化流程示意图；

图5为本发明实施例提供的路径规划系统通讯原理示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1—5所示，一种基于视觉的工业机器人工作路径规划优化方法及系统，包括：

工控机，其上存储有上位机程序，用于控制机器人、工业相机和机器人控制柜；

工作台，其上设置有工业相机，所述工业相机通过信号线与工控机保持数据连接；

机器人控制柜，其通过UTP电缆和工控机保持数据连接；

机器人本体，其通过电源线、信号线与机器人控制柜保持连接。

如图5所示，为基于视觉的机器人通讯原理示意图，整个系统各个部分之间通讯方式如下：

工作台上设置有加工区域，待加工工件设置在加工区域内，并通过夹具固定在工作台上，安装于加工区域相机支架之上的工业相机使用USB信号线与工控机连接完成工件原始图像的获取；

工控机内运行的上位机程序使用UTP电缆与机器人控制柜连接，依据TCP/IP协议，在正确输出用户名、密码、IP地址及端口号后，实现将生成的机器人控制程序文件传输至下位机系统存放程序指定文件夹的任务，并发送指令控制下位机程序启动机器人运行指定工作程序；

机器人控制柜通过g-link-Ⅱ和电源线与机器人本体连接实现对机器人的控制，并且为机器人提供220V的三相电源输入。

可以根据需要使用的场景选择不同的工业机器人，例如，进行非标工件焊接的时候，可以选用焊接工业机器人，当需要进行素描的时候，可以选用素描机器人等，本发明选用的工业机器人均为带有激光视觉传感器的型号。需要说明的是，关于工业机器人的动作原理为现有技术，且不是本申请实施例所要求保护的重点，这里不再对工业机器人的具体结构以及工作原理进行赘述。

一种基于视觉的工业机器人工作路径规划优化方法，包括以下步骤：

S1：通过工业相机获取加工台上待加工工件原始图像信息并将原始图像信息传输至工控机；

S2：通过工控机内上位机程序，对原始图像信息进行预处理，预设感兴趣区域，并调整图像亮度、对比度及曝光度等参数，使用高斯低通滤波进行降噪，将图像转化为灰度图；

S3:通过上位机程序，对上述步骤S2中灰度图进行背景分割处理，提取灰度图中工件信息，并将灰度图中其他干扰物体进行分割，并输出背景分割图像；

S4：通过工控机使用边缘检测和线段检测方法对获取工件的加工路径点集数据包，并排除加工路径周围干扰信息；

S5：通过上位机程序根据外部环境和运动学约束条件对加工路径进行优化，并生成机器人控制程序。

工控机中运行的上位机程序负责原始图像的处理和检测，程序使用python语言编写。调用opencv作为图像处理的库函数；调用pyqt5库搭建上位机用户操作界面系统调试，并在调试过程中调整工业相机安装位置，确保工件放置区位于图像的有效区域内，加工区域以及装夹完毕的工件与地面水平，工业相机垂直于工件正上方进行图像信号采集，并在加工区域四周安装人工光源为整个系统提供充足且均匀的照明环境；

工业相机获取工件原始图像信息后，将其传输至工控机上位机程序中的图像处理模块进行处理，提取图像中预先设定的感兴趣区域，去除周围环境以及其他杂物干扰，后续调整图像像素值大小及长宽比例，对图像的对比度、亮度以及曝光度等各项参数进行优化处理，将初步处理的图像转化为灰度图，使用高斯低通滤波针对图像噪声进行滤除；

获取最优预处理图像后，对已转为灰度图的图像进行背景分割。使用自适应阈值图像分割方法，对获取预处理图像中的工件进行提取，将图像内工件信息与其他干扰物体以及周围划痕反光等噪声信号进行分割处理；

获取最优预处图像后，对已转为灰度图的图像进行轮廓检测和提取，使用Canny边缘检测算法提取灰度图中感兴趣区域中工件的边缘轮廓信息。边缘检测算法首先使用高斯滤波方法对图像进行滤波去噪处理，计算图像中所有像素值的梯度强度与方向，应用非极大值抑制方法对获取的边缘信息进行稀疏化处理，使用双阈值检测保留具有高梯度值的边缘像素值同时对弱边缘像素值进行抑制，最终获得工件轮廓边缘图像；

使用LSM(Line Segment Detector)线段检测方法锁定轮廓图像中工作路径位置，并排除工作路径周围的周围划痕、反光等噪声信号的干扰。线段检测算法首先计算感兴趣区域中所有点的梯度大小和方向，然后将梯度方向变化小且相邻的点作为一个连通域，根据每一个域的矩形度判断是否需要按照规则将其断开以形成多个矩形度较大的域，最后对生成的所有的域做改善和筛选，保留其中满足条件的域，即为最后的检测结果。该算法检测速度快，且无需参数调节，利用错误控制的方法，提高路径检测的准确度。最后将提取完成后的图像在工控机中上位机软件人机交互界面进行显示，观察判断是否符合机器人加工各项要求；

以环境障碍物和机器人关节位移、速度、加速度、加加速度为约束目标建立轨迹优化数学模型，对单段轮廓路径点集合进行处理完成轨迹生成。对多段路径点集合进行处理，多段路径点集合进行规划处理，使机器人在工件坐标系中的总工作路径达到最短；根据机器人工作路径，通过逆解算法计算出各路径点投射在关节空间形成的运动轨迹，对各个关节轨迹进行三次均匀B样条曲线拟合，使用遗传算法对机器人各个关节每段路径进行时间规划，获取时间最优的关节轨迹曲线，根据获取的关节轨迹曲线；

参照机械臂驱动控制机的机器人语言参考文档中程序编写规范和要求，根据关节轨迹曲线信息生成机器人程序，在机器人程序中设置机器人执行器坐标系、机器人整体运行速度、过渡段长度、过渡段速度、姿态描述方式、位置变量等关键参数输入，最后获取机器人控制程序并保存；

成功生成机器人程序并发送至机器人控制柜，工控机中上位机程序通过指定IP地址和端口号，与机器人控制柜中的下位机程序进行通讯，发送指令控制下位机程序启动机器人运行指定程序。在机器人工作期间，上位机程序时刻监控当前工作状况以及机器人工作状态并在人机交互界面输出显示，若机器人在工作过程中运行轨迹存在位置误差，工控机中上位机程序向机器人控制柜发送指令进行工艺参数和工作路径的实时矫正。

工控机中上位机程序通过工业相机获得工件的图像信息，然后经过图像预处理、图像背景分割、轮廓检测及提取、机器人工作轨迹生成及优化等算法步骤，得出机器人所需配置的加工参数和工作末端轨迹数据，然后将机器人控制程序发送给机器人控制柜控制机器人执行指定的工作任务并配置各项加工参数。取代了操作员手动输入加工参数并使用拖动示教编程的传统机器人控制方法，使得机器人加工生产线更加柔性化，有效节约了人力成本，提高了加工质量。

以外部环境障碍物以及机器人关节位移、速度、加速度以及加加速度作为约束条件对机器人工作轨迹进行了优化处理，使得根据图像获取轨迹中得复杂路径点得到平滑过渡，提高了运动效率和运动·平稳性。以完成轨迹的总时间花费为目标值对轨迹进行迭代优化获取时间最优的运行轨迹，提高了机器人工作效率

如图2所示，为图像预处理模块流程示意图，现提供具体实施方法如下：

工业相机拍摄获取工件原始图像并传输至上位机程序，上位机图像处理模块提取图像中预先设定的感兴趣区域，去除周围环境以及其他杂物干扰；

调整图像像素值大小及长宽比例，对图像的对比度、亮度以及曝光度等各项参数进行优化处理；

将初步处理的图像由原先RGB格式转化为灰度图，使用高斯低通滤波针对图像噪声进行滤除。

如图3所示，为图像降噪处理流程示意图，实现方式为先对图像进行离散傅里叶变换，详细计算公式如下：

其中，x和y分别为原始图像像素值的横纵坐标，M和N为原始图像的高和宽，f(x，y)为原始图像上坐标(x，y)处的灰度值，其中根据欧拉公式：

将获取的二维频谱与事先设计完成的滤波模板进行乘积，根据傅里叶变换性质频域中的乘积相当于空间域中的卷积即：

其中高斯低通滤波中H(u，v)为：

其中D(u,v)为二维频谱上像素(u,v)距离中心的距离，然后再将进行过各种卷积处理的二维频谱进行离散傅里叶反变换，变换后的图像即为已通过高斯低通滤波降噪的图像。

图像经过二维频谱各项处理后，进行二维离散傅里叶反变换，获取降噪后的图像，二维离散傅里叶反变换具体计算公式如下：

如图4所示，为机器人工作轨迹生成及优化流程示意图，在获取工件边缘轮廓图像后，将图像中加工路径点信息作为特征点生成机器人工作轨迹。以外部环境障碍物以及机器人关节位移、速度、加速度以及加加速度作为约束条件，使机器人工作轨迹平滑化，2以工作时间最短为目标，对平滑后的轨迹进行优化处理，最终生成机器人控制程序并保存，包括：

调整图像像素值大小，将修改后的图像中加工路径信息进行提取和保存。对获取的路径点进行处理，Canny边缘检测算法可获取图像中的多段轮廓集合，获取精简后路径点信息并保存；

对多段轮廓路径点集合进行处理，以搜索最短路径，利用Dijkstra算法采用的是一种贪心的策略将单段轮廓所有路径点以总距离最短为条件进行拼接，使机器人在工件坐标系中的总工作路径达到最短。该部分算法实施方式为：

已知每段轨迹拥有起始点和终止点两个端点，声明某一段轮廓的端点s作为源点，声明一个数组dis来保存源点到每段轨迹端点的最短距离。

根据每段轮廓端点的序号以及这些端点之间的欧几里得距离对数组dis进行建立和初始化。

进入循环，根据已知的多段轮廓端点集合信息，以与下一个端点距离短为搜索目标，不断遍历dist数组更新信息。

根据循环遍历完成的dist数组中端点的序号和位置信息，对多段路径按照所获取的顺序进行拼接合并，最终获取距离最短的机器人总工作路径。

根据获取的最短机器人总工作路径，通过逆解算法计算出各路径点投射在关节空间形成的运动轨迹，使用B样条曲线对运动轨迹进行平滑化处理。即以各个关节轨迹以位移、速度、加速度和加加速度为目标，对各个关节轨迹进行三次均匀B样条曲线拟合，使运动轨迹位移、速度、加速度和加加速度均为连续，让机器人运动过程中的复杂路径处得到平滑过渡。

使用遗传算法以最高效率即机器人工作时间最短为目标对其进行优化处理。将上步骤所得三次B样条曲线插值运动轨迹分割为n段，每段其中花费时间为Tn，设计目标函数为：

根据目标函数可知Tn均为相互独立的参数因此将T作为设计变量。将分割后的运动轨迹分别对时间求一阶、二阶和三阶导数，求得最大关节角速度、最大关节角加速度以及最大关节角加加速度作为约束条件。使用遗传算法对机器人各个关节每段路径进行时间规划，设置适应度函数为：

种群规模设置为N＝100,交叉概率设置为Pc＝0.5，变异概率设置为r＝0.1，迭代次数设置为Gmax＝100。在完成迭代后获取最优个体，得出时间最优的关节轨迹曲线。

根据所获取最优工作轨迹，按照所需机器人参数和相关编程技术要求，进行机器人离线编程并最终获取机器人控制程序。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。

本申请的实施例还提供能够实现上述实施例中的方法中全部步骤的一种电子设备的具体实施方式，电子设备具体包括如下内容：

处理器(processor)、存储器(memory)、通信接口(Communications Interface)和总线；

其中，处理器、存储器、通信接口通过总线完成相互间的通信；

处理器用于调用存储器中的计算机程序，处理器执行计算机程序时实现上述实施例中的方法中的全部步骤，例如，处理器执行计算机程序时实现下述步骤：

通过工业相机获取加工台上待加工工件原始图像信息并将原始图像信息传输至工控机；

通过工控机内上位机程序，对原始图像信息进行预处理，预设感兴趣区域，并调整图像亮度、对比度及曝光度等参数，使用高斯低通滤波进行降噪，将图像转化为灰度图；

通过上位机程序，对灰度图进行背景分割处理，提取灰度图中工件信息，并将灰度图中其他干扰物体进行分割，并输出背景分割图像；

通过工控机使用边缘检测和线段检测方法对获取工件的加工路径点集数据包，并排除加工路径周围干扰信息；

通过上位机程序根据外部环境和运动学约束条件对加工路径进行优化，并生成机器人控制程序。

本申请的实施例还提供能够实现上述实施例中的方法中全部步骤的一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的方法的全部步骤，例如，处理器执行计算机程序时实现下述步骤：

通过工业相机获取加工台上待加工工件原始图像信息并将原始图像信息传输至工控机；

通过工控机内上位机程序，对原始图像信息进行预处理，预设感兴趣区域，并调整图像亮度、对比度及曝光度等参数，使用高斯低通滤波进行降噪，将图像转化为灰度图；

通过上位机程序，对灰度图进行背景分割处理，提取灰度图中工件信息，并将灰度图中其他干扰物体进行分割，并输出背景分割图像；

通过工控机使用边缘检测和线段检测方法对获取工件的加工路径点集数据包，并排除加工路径周围干扰信息；

通过上位机程序根据外部环境和运动学约束条件对加工路径进行优化，并生成机器人控制程序。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于硬件+程序类实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。虽然本说明书实施例提供了如实施例或流程图的方法操作步骤，但基于常规或者无创造性的手段可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或终端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境，甚至为分布式数据处理环境)。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、产品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、产品或者设备所固有的要素。在没有更多限制的情况下，并不排除在包括要素的过程、方法、产品或者设备中还存在另外的相同或等同要素。为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本说明书实施例时可以把各模块的功能在同一个或多个软件和/或硬件中实现，也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书实施例的至少一个实施例或示例中。

在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。以上仅为本说明书实施例的实施例而已，并不用于限制本说明书实施例。对于本领域技术人员来说，本说明书实施例可以有各种更改和变化。凡在本说明书实施例的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书实施例的权利要求范围之内。

Claims (10)

1.一种基于视觉的工业机器人工作路径规划系统，其特征在于，包括：

工控机，其上存储有上位机程序，用于控制机器人、工业相机和机器人控制柜；

工作台，其上设置有工业相机，所述工业相机通过信号线与工控机保持数据连接；

机器人控制柜，其通过UTP电缆和工控机保持数据连接；

机器人本体，其通过电源线、信号线与机器人控制柜保持连接。

2.一种基于视觉的工业机器人工作路径规划优化方法，其特征在于，包括以下步骤：

S1：通过工业相机获取加工台上待加工工件原始图像信息并将原始图像信息传输至工控机；

S2：通过工控机内上位机程序，对原始图像信息进行预处理，预设感兴趣区域，并调整图像亮度、对比度及曝光度参数，使用高斯低通滤波进行降噪，将图像转化为灰度图；

S3:通过上位机程序，对上述步骤S2中灰度图进行背景分割处理，提取灰度图中工件信息，并将灰度图中其他干扰物体进行分割，并输出背景分割图像；

S4：通过工控机使用边缘检测和线段检测方法对获取工件的加工路径点集数据包，并排除加工路径周围干扰信息；

S5：通过上位机程序根据外部环境和运动学约束条件对加工路径进行优化，并生成机器人控制程序。

3.根据权利要求2所述的一种基于视觉的工业机器人工作路径规划优化方法，其特征在于，所述步骤S1中，调整工业相机安装位置，使待加工工件处于工业相机图像的有效区域内，通过工业相机对待加工工件进行图像采集，并输出原始图像至工控机内。

4.根据权利要求2所述的一种基于视觉的工业机器人工作路径规划优化方法，其特征在于，所述步骤S2中，在上位机程序中，对原始图像进行预处理，设定原始图像感兴趣区域，去除周围环境以及其他杂物干扰，并调整图像像素值大小及长宽比例，对图像的对比度、亮度以及曝光度等各项参数进行优化处理，得到初步优化图像。

5.根据权利要求4所述的一种基于视觉的工业机器人工作路径规划优化方法，其特征在于，将初步图像转化为灰度图，并通过高斯低通滤波针对图像噪声进行滤除，并对灰度图中的对比度、曝光度、亮度以及滤波降噪阈值等各项参数进行修改微调，使得所输出的预处理图像质量达最优。

6.根据权利要求4所述的一种基于视觉的工业机器人工作路径规划优化方法，其特征在于，所述步骤S3中，工控机使用自适应阈值图像分割方法，将预处理图像内工件信息与其他干扰物体以及周围划痕反光等噪声信号进行分割处理，对获取预处理图像中的工件进行提取，并输出背景分割图像。

7.根据权利要求6所述的一种基于视觉的工业机器人工作路径规划优化方法，其特征在于，所述步骤S4中，获取所背景分割图像后，工控机通过使用Canny边缘检测算法提取工件的边缘轮廓信息，使用LSM线段检测方法获取工件的加工路径，并排除焊缝周围的周围划痕、反光等噪声信号的干扰，并输出工件边缘轮廓图像。

8.根据权利要求7所述的一种基于视觉的工业机器人工作路径规划优化方法，其特征在于，将提取完成的工件边缘轮廓图像在工控机上位机软件用户界面中进行显示，观察该图像判断所提取的加工路径是否符合所需工艺要求。

9.根据权利要求8所述的一种基于视觉的工业机器人工作路径规划优化方法，其特征在于，所述步骤S5中：

获取工件边缘轮廓图像后，将图像中加工路径点信息作为特征点生成机器人工作轨迹；

以外部环境障碍物以及机器人关节位移、速度、加速度以及加加速度作为约束条件，使机器人工作轨迹平滑化，

以工作时间最短为目标，对平滑后的轨迹进行优化处理，最终生成所述机器人控制程序并保存；

调整述图像像素值大小，将修改后的图像中加工路径信息进行提取和保存；对获取的路径点进行处理，根据Canny边缘检测算法可获取图像中的多条轮廓集合，获取精简后路径点信息并保存。

10.根据权利要求9所述的一种基于视觉的工业机器人工作路径规划优化方法，其特征在于，所述步骤S5中：

根据机器人工作路径，通过逆解算法计算出各路径点投射在关节空间形成的运动轨迹，以外部环境障碍物点和各个关节轨迹以位移、速度、加速度和加加速度为目标，对机器人工作轨迹进行优化，使机器人工作轨迹更平滑；

对平滑后轨迹以机器人工作时间最短为目标进行优化处理，最后按照所需机器人参数和编程要求生成机器人控制程序并保存。

Images