CN111923053A - 基于深度视觉的工业机器人物件抓取示教系统及方法 - Google Patents

Abstract

本发明公开一种基于深度视觉的工业机器人物件抓取示教系统,包括示教工作台、相机、机器人、夹爪、机器人控制器和深度计算平台，夹爪和相机安装在机器人的手臂末端，机器人控制器控制连接机器人，并控制机器人驱动夹爪和相机同步在示教工作台上移动，相机和机器人控制器通信连接深度计算平台，深度计算平台通过相机获取夹爪的位置图像数据，再计算夹爪抓取目标的实际位置信息，最后命令机器人控制器实现控制机器人抓放物件，本发明还公开相关的示教方法。本系统具有较高的定位精度，满足工业生产的要求，对于提高智能柔性化生产线具有重要意义。

Description

基于深度视觉的工业机器人物件抓取示教系统及方法

技术领域

本发明涉及机器人及自动化设备领域，具体为一种基于深度视觉的工业机器人物件抓取示教系统以及示教方法。

背景技术

机器人技术是一门综合学科，它涵盖了信息技术、控制理论、机械设计、传感技术、人工智能以及仿生学等众多学科。机器人的出现对人们的日常生活产生了重大的影响，机器人种类繁多，根据应用场景的不同，机器人可以分为服务机器人、医疗机器人、特种机器人、水下机器人和工业机器人等。在现代科学技术的带动下，机器人技术有了较大的进步，尤其是在工业界的应用非常广泛，技术也相对成熟。工业机器人可以帮助人们快速地完成繁重且重复的任务，而且还能在极端的环境中作业，因此它被大量地应用在工业加工中，实现工业生产的自动化。如何解决工业目标识别、自动抓取是生产线上工业机器人生产自动化的一个首要问题。传统的工业机器人在应对新的工作任务时需要先进行示教(设置机器人完成任务的步骤)，但生产线上多数的工业机器人是通过预先示教或者离线编程的方式控制机器人执行预定的指令动作，一旦工作环境或目标对象发生变化，机器人不能及时适应这些变化，从而导致抓取失败，因此这种工作方式在很大程度上限制了工业机器人的灵活性和工作效率。

发明内容

为了克服现有技术提及的缺点，本发明提供一种基于深度视觉的工业机器人物件抓取示教系统及其示教方法，机器视觉技术具有快速和非接触的特点，将机器视觉技术引入工业机器人领域，通过视觉引导机器人进行自动作业，对提高智能柔性化生产线水平，提高生产效率，拓宽机器人的应用范围都有着十分重要的意义。

本发明解决其技术问题所采用技术方案为：基于深度视觉的工业机器人物件抓取示教系统，包括示教工作台、相机、机器人、夹爪、机器人控制器和深度计算平台，所述夹爪和相机安装在所述机器人的手臂末端，所述机器人控制器控制连接所述机器人，并控制所述机器人驱动所述夹爪和相机同步在所述示教工作台上移动，所述相机和所述机器人控制器通信连接所述深度计算平台，所述深度计算平台通过所述相机获取所述夹爪的位置图像数据，以计算所述夹爪抓取目标的实际位置信息，从而命令所述机器人控制器实现控制所述机器人准确抓放物件。

进一步的，所述示教工作台上设有加工区、物件示教区、加工完成区和物件摆放区，加工区上设置有虎钳或其他加工夹具。

进一步的，所述深度计算平台包括相互数据连接的三个模块：控制模块、目标检测模块和相机模块；所述相机模块通过以太网通讯连接所述相机，所述控制模块通过以太网通讯连接所述机器人控制器，所述目标检测模块通过所述相机模块获取的被检测目标位置的图像数据，计算出被检测目标在图像中的位置和方向角度信息(即图像坐标和旋转角度)，所述控制模块发送特定的命令指令到所述所述机器人控制器。

进一步的，所述目标检测模块通过收集被检测目标在多种环境下的图像数据，并完成被检测目标在图像中的标注，基于这些图像数据，训练深度目标检测算法，得到适合的参数模型；将参数模型保存在深度计算平台，并实现目标检测模块的接口，返回被检测目标在图像中的位置和方向角度信息(图像坐标和旋转角度)。

进一步的，所述深度目标检测算法的具体步骤包括：

S1.输入图片，对图片进行预处理，如调整大小等；

S2.对预处理后的图片，进行卷积层操作，包括卷积，池化，激活函数以提取特征，使用Resnet中C2、C3、C4三个部分的特征结果完成图像特征的提取；

S3.对C2层的feature map进行上采样，对C4层的feature map先上采样，再通过一个Inception模块，该Inception模块由三种不同大小滤波器组成，包括3x3的卷积+1x1的卷积，1x1的卷积+5x1的卷积+1x5的卷积，5x5的卷积+1x1的卷积，最后将三种滤波器的结果进行拼接，再与C2层的feature map进行上采样后结果相加，得到一个新的feature map F3；

S4.将feature map F3通过像素注意网络的卷积运算得到一个双通道显著性图，接着对显著性图进行Softmax排序，选择其中一个通道与F3相乘，得到一个新的information feature map A3；

S5.将information feature map A3通过生成网络RPN，生成目标对象的候选框，为了提高RPN的计算速度，训练模型进行NMS操作时，先计算12000个回归框，基于分数排序得到2000个；

S6.将S5的结果通过Resnet的C5块，再通过全局平均池GAP以获得更好的效果；

S7.对S6输出的结果，进行分类和定位，获得的最小外接矩形，并引入五个参数(x；y；w；h；θ)来表示arbitrary-oriented的目标最小外接矩形；其中，回归旋转边界框的定义为：

t_x＝(x-x_a)/w_a，t_y＝(y-y_a)/h_a

t_w＝log(w/w_a)，t_h＝log(h/h_a)，t_θ＝θ-θ_a

t′_x＝(x′-x_a)/w_a，t′_y＝(y′-y_a)/h_a

t′_w＝log(w′/w_a)，t′_h＝log(h′/h_a)，t′_θ＝θ′-θ_a

其中，x，y，w，h，θ分别表示框的中心坐标，以及宽度、高度和角度信息，变量x，x_a，x分别表示水平检测框、锚点框以及预测框；

S8.使用上述x，y，w，h，θ数值中的其中两个(x，y)(部分情况使用w，h，θ)转化为机器人坐标，转化过程具体如下：

其中变量定义是：

P₁：物件在图像中的像素坐标

P₂：物件在机器人底座的世界坐标

T₁：像素坐标系到相机物理中心坐标系的空间转化矩阵即相机内参数矩阵，由相机标定得到。

T₂：相机物理中心坐标系到机器人夹爪坐标系的空间转化矩阵即手眼标定所求的，由手眼标定得到。

T₃：机器人夹爪坐标系到机器人底座坐标系的空间转化矩阵，通过读取机器人的平移向量(X Y Z)和旋转向量(RX、RY、RZ欧拉角)可以得到.

其中：

T₁、T₂、T₃都是一个4*4的矩阵，表示一个坐标系到另外一个坐标系的转化关系。

形式为

r11-r33是旋转矩阵可以由欧拉角转化得到，tx，ty，tz即平移向量

P₁、P₂都是一个4*1的矩阵

形式为

最后求解公式：

P2＝T₃*T₂*T₁*P1，以及

例如：物件在图像中像素坐标x，y为(200，150)，相机离物件就距离为500mm.所求(x，y，z)即为物件在机器人中的世界坐标。

进一步的，本发明还公开上述系统的示教方法，利用上述的基于深度视觉的工业机器人物件抓取示教系统执行如下步骤：

S1.放置待加工物件到物件示教区，深度计算平台连接机器人控制器，并控制机器人带动夹爪和相机到物件示教区，通过相机获取待加工物件在物件示教区的图像数据，使用目标检测算法检测图像中的待加工物件对象，并记录物件示教区待加工物件的位置和方向信息；

S2.分别放置待加工物件到物件摆放区和加工完成区，分别驱动机器人到物件摆放区和加工完成区，分别通过相机获取待加工物件在物件摆放区和加工完成区的图像数据，使用目标检测算法检测图像中的待加工物件对象，并分别记录物件摆放区和加工完成区上待加工物件的位置和方向信息；

S3.深度计算平台对S1和S2记录的数据进行分析，规划系统示教的路径，基于手眼标定系统的位姿转换参数，计算图像中物件在机器人基座坐标系下的位置和姿态，调整移动夹爪处于物件的正上方，控制机器人从物件摆放区依次抓取待加工物件；

S4.控制机器人将物件摆放区上的待加工物件抓取移动到加工区，通过相机获取待加工物件在加工区的图像数据，使用目标检测算法检测加工区上夹具的位置和方向信息，将待加工物件抓取放置在夹具上，等待加工完成；

S5.控制机器人移动到加工区，通过相机获取待加工物件在加工区的图像数据，使用目标检测算法检测夹具上加工已完成的待加工物件位置和方向信息，控制夹爪抓取物件，并按S2记录的信息将加工区完成加工的物件依次原样放置在示教工作台的加工完成区。

S6.依次重复步骤S2-步骤S5完成机器人视觉示教。

本发明的有益效果是：

1)本发明通过将视觉采集和识别系统整合在了一个深度计算平台中，降低了系统复杂度、现场部署难度，用于工业机器人进行现场的视觉示教时，不需要用户进行任何编程，只需设置几个区域的位置即可；

2)本发明通过示教而不是编程的方法，引入相机为机器人增加了视觉识别的能力，不需要用户具备专业的机器视觉领域知识，降低了为工业机器人配套的机器视觉产品在物体目标识别、位置检测等领域运用的难度；

3)采用本发明的深度对象检测算法训练完成后，用户可立即验证视觉示教的效果。如果效果不理想，可重复迭代该流程，增加数据多样性以提升效果。本发明方法将传统视觉系统对用户机器视觉专业知识的要求和对用户编程经验的要求转变为对数据多样性的要求；

4)该方法是一套统一的、标准的、可复制的流程，极大增加了多变环境下工业机器人生产的适应性；

5)本系统具有较高的定位精度，满足工业生产的要求，对于提高生产线的自动化水平具有重要意义。

附图说明

图1为本发明的结构立体图。

图2为本发明的原理框图。

图3为本发明的深度目标检测算法的逻辑框图。

图4为本系统中手眼标定求解方法示意图。

图5为本发明系统机器人完成视觉示教的流程图。

图6a-图6c为本发明采用的目标检测算法步骤3中处理的双通道显著性图示例图。

具体实施方式

为了便于理解本发明，下面将参照相关附图对本方案进行更加全面的描述。如附图中给出了基于深度视觉的工业机器人物件抓取示教系统的首选实施例。但是，基于深度视觉的工业机器人物件抓取示教系统可以采用许多种不同的形式来实现，并不限于本文所描述的实施例。相反的，提供这些实施例的目的是使对本方案的公开内容更加透彻全面。

如图1所示，基于深度视觉的工业机器人物件抓取示教系统，包括示教工作台6、相机1、机器人3、夹爪2、机器人控制器4和深度计算平台5，所述示教工作台上设有加工区7、物件示教区8、加工完成区9和物件摆放区10，加工区7上设置有虎钳或其他用于加工物件的夹具；所述夹爪2和相机1安装在所述机器人3的手臂末端，所述机器人控制器4控制连接所述机器人3，并控制所述机器人3驱动所述夹爪2和相机1同步在所述示教工作台6上移动，所述相机1和所述机器人控制器4通信连接所述深度计算平台5，所述深度计算平台5通过所述相机1获取所述夹爪2和/或目标物件的位置图像数据，以计算所述夹爪2抓取目标的实际位置信息，从而命令所述机器人控制器4实现控制所述机器人3准确抓放物件。

如图2所示，所述深度计算平台包括相互数据连接的三个模块：控制模块、目标检测模块和相机模块；所述相机模块通过以太网通讯连接所述相机，所述控制模块通过以太网通讯连接所述机器人控制器，所述目标检测模块通过所述相机模块获取的被检测目标位置的图像数据，计算出被检测目标在图像中的位置和方向角度信息(即图像坐标和旋转角度)，所述控制模块发送特定的命令指令到所述所述机器人控制器。深度计算平台通过以太网和系统其他部分连接，以实现调度、控制机器人完成相关动作，内容包括基于控制模块连接、控制机器人，移动机器人到工作台相应的数据采集区域，从相机获取一帧图像，基于目标检测模块中的检测算法确定物件在图像中的位置和方向，基于相机模块的标定系统求解参数，以计算机器人抓取目标的实际位姿信息，将物件移动到待抓取物件上方，令机器人夹爪的位姿与目标位姿重合，从而实现机器人准确抓放物件，进一步，移动机器人的夹爪抓取物件放置在加工区夹具上，等待加工完成后，根据示教区各个物件放置的相对关系，引导机器人将物件原样放置在加工完成区，从而实现机器人自动完成物件装载、加工的示教操作。

本系统的深度计算平台通过TCP网络实现上位机对机器人的远程控制，所述控制模块的工作步骤包括：

1)机器人启动时，机器人控制器作为一个后端程序启动(类似于一个服务程序)，等待远程客户端连接；

2)在深度计算平台上运行客户端应用程序，基于控制器端开放的IP端口连接机器人控制器，发送特定的命令指令到控制器服务端口；

3)机器人控制器接收并解析指令，控制机器人完成指令规定的特定动作。

所述目标检测模块通过收集被检测目标在多种环境下的图像数据，并完成被检测目标在图像中的标注，基于这些图像数据，训练深度目标检测算法，得到适合的参数模型；将参数模型保存在深度计算平台，并实现目标检测模块的接口，返回被检测目标在图像中的位置和方向角度信息(图像坐标和旋转角度)。传统机器人视觉目标检测的方法包括：在原始图像中选取目标物件的全部或局部图像作为模板图像，通过匹配的方式检测目标对象，或者先通过深度目标检测算法确定目标的位置，进一步使用图像处理相关算法，如边缘、轮廓检测等方法以确定被检测目标对象的旋转角度信息，这些方式都不适合多变的工作环境，且在复杂的场景，误差较大。本系统采用一种新的神经目标检测算法，能直接给出目标对象在图像的位置和角度信息，选择该图像目标检测算法的主要优势在于其具有更高的准确性、更好的鲁棒性(对光照变化不敏感等)，不需要传统的轮廓检测就能得到最小外接矩阵，以确定目标的角度信息。本系统的目标检测模块的主要作用是：收集被检测目标在多种环境下的图像数据，并完成目标在图像中的标注，进一步，基于这些图像数据，训练该深度检测算法，得到适合的参数模型；将参数模型保存在深度计算平台，并实现目标检测模块的接口，返回被检测目标在图像中的位置和方向角度信息(图像坐标和旋转角度)。本系统使用的图像目标检测算法源于2019年计算机视觉和模式识别方面一个重要的深度神经网络R2CNN++，该算法能在任意复杂场景下检测目标在图像的位置和角度，相比于已有方法，该算法的优点在于：通过特征融合和锚点采样设计出定制的特征融合结构，能检测更小尺寸的目标；这是一种有监督的多维注意网络，减少了背景噪声的不利影响，能更准确地检测复杂背景下的目标；更稳定地检测任意旋转的物体，解决旋转边界框回归的边界问题。

本系统对其进行了改进优化，以适应本领域的实际应用，该目标检测算法的逻辑图如附图3所示，具体步骤包括：

S1.输入图片，由于获取照片是原始工业相机捕获的图片，因为各种不同因素，该图片的效果可能不够好，不够清楚，或者像素太大了，我们需要对图片进行预处理，然后将其调整到合适的大小等；

S2.对预处理后的图片，进行卷积层操作，包括卷积，池化，激活函数以提取特征，使用Resnet中C2、C3、C4三个部分的特征结果完成图像特征的提取，以便能更加清楚地看清图中的各个工件对象；

S3.对C2层的feature map进行上采样，对C4层的feature map先上采样，再通过一个Inception模块，该Inception模块由三种不同大小滤波器组成，包括3x3的卷积+1x1的卷积，1x1的卷积+5x1的卷积+1x5的卷积，5x5的卷积+1x1的卷积，最后将三种滤波器的结果进行拼接，再与C2层的feature map进行上采样后结果相加，得到一个新的feature map F3，该步骤主要是对输入图片进行采样提取图像特征；

S4.将feature map F3通过像素注意网络的卷积运算得到一个双通道显著性图(这里的双通道显著性图是指包含工件对象的那一部分图片内容被显著加强，能让机器更好的辨认，如附图6a-图6c所示，包含工件对象的那一部分图片区域被显著加强，能更好辨认，而其他无关部分，被弱化忽略，这样可以加快图片的检测速度，提高结果的准确率。本实施例图片仅供参考，以理解本方案技术效果，图片具体工件的形状内容等不直接影响本方案技术内容)，接着对显著性图进行Softmax排序，选择其中一个通道与F3相乘，得到一个新的information feature map A3；

S5.将information feature map A3通过生成网络RPN，生成目标对象的候选框，为了提高RPN的计算速度，训练模型进行NMS操作时，先计算12000个回归框，基于分数排序得到2000个；

S6.将S5的结果通过Resnet的C5块，再通过全局平均池GAP以获得更好的效果；

S7.对S6输出的结果，进行分类和定位，获得的最小外接矩形，并引入五个参数(x；y；w；h；θ)来表示arbitrary-oriented的目标最小外接矩形；其中，回归旋转边界框的定义为：

t_x＝(x-x_a)/w_a，t_y＝(y-y_a)/h_a

t_w＝log(w/w_a)，t_h＝log(h/h_a)，t_θ＝θ-θ_a

t′_x＝(x′-x_a)/w_a，t′_y＝(y′-y_a)/h_a

t′_w＝log(w′/w_a)，t′_h＝log(h′/h_a)，t′_θ＝θ′-θ_a

其中，在图像中，一个对象的位置和方向可以用x，y，w，h，θ这5个参数来表示，这几个值是说明位置和方向的参数值，有了这些信息，机器人就知道需要操作的对象在图像中的哪个位置(只是在图像坐标系中)，然后就可以进行下一步的处理。

x，y，w，h，θ分别表示框的中心坐标，以及宽度、高度和角度信息，变量x，x_a，x′分别表示水平检测框、锚点框以及预测框，水平检测框是指检测目标对象的水平方向信息，比如当前流行的人脸识别技术的检测结果就是水平检测框；锚点框算法处理过程的可视化分析，其中有几个框能刚好把工件对象框出来，那几个就是算法预测的结果，称为预测框(计算机识别的结果无法100％的框好，预测性的结果)；通过这些框检测出来的结果，可以让机器人知道工件对象在相机已经看到的画面中的哪个位置，而相机需要朝向哪里获取目标。

S8.使用上述x，y，w，h，θ数值中的其中两个(x，y)(部分情况使用w，h，θ)转化为机器人坐标，转化过程具体如下：

其中变量定义是：

P₁：物件在图像中的像素坐标

P₂：物件在机器人底座的世界坐标

T₁：像素坐标系到相机物理中心坐标系的空间转化矩阵即相机内参数矩阵，由相机标定得到。

T₂：相机物理中心坐标系到机器人夹爪坐标系的空间转化矩阵即手眼标定所求的，由手眼标定得到。

T₃：机器人夹爪坐标系到机器人底座坐标系的空间转化矩阵，通过读取机器人的平移向量(X Y Z)和旋转向量(RX、RY、RZ欧拉角)可以得到.

其中：

T₁、T₂、T₃都是一个4*4的矩阵，表示一个坐标系到另外一个坐标系的转化关系。

公式为

r11-r33是旋转矩阵可以由欧拉角转化得到，tx，ty，tz即平移向量

P₁、P₂都是一个4*1的矩阵，

公式为

最后求解公式：

P2＝T₃*T₂*T₁*P1以及

例如：物件在图像中像素坐标x，y为(200，150)，相机离物件就距离为500mm.所求(x，y，z)即为物件在机器人中的世界坐标。

所述相机模块的具体功能包括：

1)连接相机，采集并返回数字图像数据到深度计算平台；

2)相机定标，在相机的光轴中心建立坐标系，Z轴沿光轴方向，X轴取图像坐标沿图像坐标水平增加的方向，Z轴＝f，f是摄像机的焦距；

3)手眼标定方法，机器人手眼坐标通过平面棋盘格标定法标定出坐标参数，返回图像和当前机器人基座的坐标转换矩阵。

基于标手眼标定方法求解的参数，通过机器人运动学逆解，将目标在图像中的位姿信息转换成工业机器人熟悉的关节角度和角度控制信息，具体求解方法如下：

附图4是机器人手眼标定方法的简图，包含了机器人，机器人基座，相机，夹爪以及标定板等。图中A表示机器人末端在机械臂基座坐标系下的位姿转换矩阵，A1和A2是不同的机器人姿态；B表示相机在机器人末端坐标系下和相机的转换矩阵，因为相机和机器人夹爪是固定安装的，所以这个变换是不变的，也是手眼标定求解的目标；C表示相机在标定板坐标系下的位姿，即求解相机的外参，C1和C2是不同的相机姿态。

标定求解时，让机器人运动到不同的多个位置，保证每个位置相机都能捕获到完整标定板信息，保存每一次图像数据和机器人末端姿态数据，进行近似计算求解，求解方程为：

任意两个位姿下，有

(A2^-1□A1)□B＝B□(C2^-1□C₁)

这实际是求解A□X＝X□B问题，求解该方程有很多公开的方法，最后通过多次标定的结果近似求解出X，即机器人末端和图像坐标的转换关系矩阵。

如附图5所示，本发明还公开上述系统的示教方法，示教过程的具体步骤如下：

步骤1：深度计算平台连接相机采集图像数据，图像数据可以是包含被检测物件对象在可能的任意工作场景，采集时，可以让被检测目标位于场景中不同的位置，并旋转物件的角度，增加目标的多样性，接着，对采集的图像数据进行标注，标出目标在图像中的最小外接矩阵信息；

步骤2：将标注完成的图像数据和标注信息数据输入到本深度目标检测算法中进行训练，得到合适的权重参数，接着，将模型部署到深度计算平台，并提供相应的图像目标检测推理接口，方便计算平台调用；

步骤3：搭建如图1所示的示教工作台，将机器人移动到工作台的上方，对相机进行标定，分析相机的畸变情况，调整相机的参数。连接机器人控制器，获取机器人的夹爪在不同姿态下的坐标信息和相机对应的图像数据，以完成手眼标定，求解机器人夹爪和相机坐标系的转换矩阵参数，并将相关参数保存在相机模块中，并提供相关的相机图像和机器人姿态坐标关系的转换接口，方便平台调用；

步骤4：深度计算平台通过TCP/IP网络通信协议通过以太网交换机和机器人控制器建立SOCKET通信；

步骤5：放置待加工物件到物件示教区，深度计算平台连接机器人控制器，并控制机器人带动夹爪和相机到物件示教区，通过相机获取待加工物件在物件示教区的图像数据，使用目标检测算法检测图像中的待加工物件对象，并记录物件示教区待加工物件的位置和方向信息(也可以只传入一张示教区图片，深度平台对该图像进行目标推理检测，保存各个目标在图像的位置和角度方向的结果信息)；

步骤6：分别放置待加工物件到物件摆放区和加工完成区，分别驱动机器人到物件摆放区和加工完成区，分别通过相机获取待加工物件在物件摆放区和加工完成区的图像数据，使用目标检测算法检测图像中的待加工物件对象，并分别记录物件摆放区和加工完成区上待加工物件的位置和方向信息(若当前未检测到任何物件目标，系统进入等待状态，等待添加待加工物件，系统每1s重新触发系统检测物件摆放区)；

步骤7：深度计算平台对S1和S2记录的数据进行分析，规划系统示教的路径，基于手眼标定系统的位姿转换参数，计算图像中物件在机器人基座坐标系下的位置和姿态，调整移动夹爪处于物件的正上方，控制机器人从物件摆放区依次抓取待加工物件；

步骤8：控制机器人将物件摆放区上的待加工物件抓取移动到加工区，通过相机获取待加工物件在加工区的图像数据，使用目标检测算法检测加工区上夹具(也可以是其他加工设备)的位置和方向信息，将待加工物件抓取放置在夹具上，等待加工完成；

步骤9：控制机器人移动到加工区，通过相机获取待加工物件在加工区的图像数据，使用目标检测算法检测夹具上加工已完成的待加工物件位置和方向信息，控制夹爪抓取物件，并按S2记录的信息将加工区完成加工的物件依次原样放置在示教工作台的加工完成区。

最后依次重复步骤5-步骤9完成机器人视觉示教。

以上所述者，仅为本发明的较佳实施例而已，当不能以此限定本发明实施的范围，即大凡依本发明申请专利范围及发明说明内容所作的简单等效变化与修饰，皆仍属本发明专利涵盖的范围内。

Claims (6)

1.基于深度视觉的工业机器人物件抓取示教系统，其特征在于，包括示教工作台、相机、机器人、夹爪、机器人控制器和深度计算平台，所述夹爪和相机安装在所述机器人的手臂末端，所述机器人控制器控制连接所述机器人，并控制所述机器人驱动所述夹爪和相机同步在所述示教工作台上移动，所述相机和所述机器人控制器通信连接所述深度计算平台，所述深度计算平台通过所述相机获取所述夹爪的位置图像数据，再计算所述夹爪抓取目标的实际位置信息，最后命令所述机器人控制器实现控制所述机器人抓放物件。

2.根据权利要求1所述的基于深度视觉的工业机器人物件抓取示教系统，其特征在于，所述示教工作台上设有加工区、物件示教区、加工完成区和物件摆放区，所述加工区上设置有夹具。

3.根据权利要求1所述的基于深度视觉的工业机器人物件抓取示教系统，其特征在于，所述深度计算平台包括相互数据连接的三个模块：控制模块、目标检测模块和相机模块；所述相机模块通过以太网通讯连接所述相机，所述控制模块通过以太网通讯连接所述机器人控制器，所述目标检测模块通过所述相机模块获取的被检测目标位置的图像数据，计算出被检测目标在图像中的位置和方向角度信息，所述控制模块发送特定的命令指令到所述所述机器人控制器。

4.根据权利要求3所述的基于深度视觉的工业机器人物件抓取示教系统，其特征在于，所述目标检测模块通过收集被检测目标在多种环境下的图像数据，并完成被检测目标在图像中的标注，基于这些图像数据，训练深度目标检测算法，得到适合的参数模型；将参数模型保存在深度计算平台，并实现目标检测模块的接口，返回被检测目标在图像中的位置和方向角度信息。

5.根据权利要求4所述的基于深度视觉的工业机器人物件抓取示教系统，其特征在于，所述深度目标检测算法的具体步骤包括：

S1.输入图片，对图片进行预处理，如调整大小等；

S2.对预处理后的图片，进行卷积层操作，包括卷积，池化，激活函数以提取特征，使用Resnet中C2、C3、C4三个部分的特征结果完成图像特征的提取；

S3.对C2层的feature map进行上采样，对C4层的feature map先上采样，再通过一个Inception模块，该Inception模块由三种不同大小滤波器组成，包括3x3的卷积+1x1的卷积，1x1的卷积+5x1的卷积+1x5的卷积，5x5的卷积+1x1的卷积，最后将三种滤波器的结果进行拼接，再与C2层的feature map进行上采样后结果相加，得到一个新的feature map F3；

S4.将feature map F3通过像素注意网络的卷积运算得到一个双通道显著性图，接着对显著性图进行Softmax排序，选择其中一个通道与F3相乘，得到一个新的informationfeature map A3；

S5.将information feature map A3通过生成网络RPN，生成目标对象的候选框，为了提高RPN的计算速度，训练模型进行NMS操作时，先计算12000个回归框，基于分数排序得到2000个；

S6.将S5的结果通过Resnet的C5块，再通过全局平均池GAP以获得更好的效果；

S7.对S6输出的结果，进行分类和定位，引入五个参数(x；y；w；h；θ)来表示arbitrary-oriented的目标最小外接矩形；其中，回归旋转边界框的定义为：

t_x＝(x-x_a)/w_a,t_y＝(y-y_a)/h_a

t_w＝log(w/w_a),t_h＝log(h/h_a),t_θ＝θ-θ_a

t′_x＝(x′-x_a)/w_a,t′_y＝(y′-y_a)/h_a

t′_w＝log(w′/w_a),t′_h＝log(h′/h_a),t′_θ＝θ′-θ_a

其中，x,y,w,h,θ分别表示框的中心坐标，以及宽度、高度和角度信息，变量x,x_a,x′分别表示水平检测框、锚点框以及预测框。

6.基于深度视觉的工业机器人物件抓取示教方法，其特征在于，利用权利要求1-5任一所述的基于深度视觉的工业机器人物件抓取示教系统执行如下步骤：

S1.放置待加工物件到物件示教区，深度计算平台连接机器人控制器，并控制机器人带动夹爪和相机到物件示教区，通过相机获取待加工物件在物件示教区的图像数据，使用目标检测算法检测图像中的待加工物件对象，并记录物件示教区待加工物件的位置和方向信息；

S2.分别放置待加工物件到物件摆放区和加工完成区，分别驱动机器人到物件摆放区和加工完成区，分别通过相机获取待加工物件在物件摆放区和加工完成区的图像数据，使用目标检测算法检测图像中的待加工物件对象，并分别记录物件摆放区和加工完成区上待加工物件的位置和方向信息；

S3.深度计算平台对S1和S2记录的数据进行分析，规划系统示教的路径，基于手眼标定系统的位姿转换参数，计算图像中物件在机器人基座坐标系下的位置和姿态，调整移动夹爪处于物件的正上方，控制机器人从物件摆放区依次抓取待加工物件；

S4.控制机器人将物件摆放区上的待加工物件抓取移动到加工区，通过相机获取待加工物件在加工区的图像数据，使用目标检测算法检测加工区上夹具的位置和方向信息，将待加工物件抓取放置在夹具上，等待加工完成；

S5.控制机器人移动物件到加工区，通过相机获取待加工物件在加工区的图像数据，使用目标检测算法检测夹具上加工已完成的待加工物件位置和方向信息，控制夹爪抓取物件，并按S2记录的信息将加工区完成加工的物件依次原样放置在示教工作台的加工完成区；

S6.依次重复步骤S2-步骤S5完成机器人视觉示教。

Images