CN109508707B

CN109508707B - 基于单目视觉的机器人稳定抓取物体的抓取点获取方法

Info

Publication number: CN109508707B
Application number: CN201910017358.8A
Authority: CN
Inventors: 李小青; 钱扬; 李睿; 牛星宇; 刘永乐; 乔红
Original assignee: Institute of Automation of Chinese Academy of Science
Current assignee: Institute of Automation of Chinese Academy of Science
Priority date: 2019-01-08
Filing date: 2019-01-08
Publication date: 2021-02-12
Anticipated expiration: 2039-01-08
Also published as: CN109508707A

Abstract

本发明属于机器人控制领域，具体涉及一种基于单目视觉的机器人稳定抓取物体的抓取点获取方法，旨在为了解决解决机器人在非结构化环境中对未知物体的抓取成功率较低的问题。本发明包括：基于单目视觉传感器获取物体及环境的彩色图像，并提取物体的平面边缘轮廓；基于四指平行机械手和物体的平面边缘轮廓，构建机器人抓取系统的环境约束域，并获取环境吸引域最低点，进而获得多组候选抓取点；将各组所述候选抓取点输入到抓取点质量评估网络中，得到各组候选抓取点的抓取点质量；选择最大的抓取点质量对应的抓取点输出。本发明提高了抓取点识别的快速性、准确性和可靠性，提高了机器人在非结构化环境中对未知物体的抓取成功率。

Description

基于单目视觉的机器人稳定抓取物体的抓取点获取方法

技术领域

本发明属于机器人控制领域，具体涉及一种基于单目视觉的机器人稳定抓取物体的抓取点获取方法。

背景技术

机器人自动识别并稳定快速抓取物体对于实现工业生产自动化和机器人在工业中的广泛应用起着非常重要的作用，是完成机器人自动装配的前提。目前，按照待抓取物体的性质，机器人抓取系统主要分为两个方向，其一是基于物体模型的抓取系统，其二是物体模型未知的抓取系统。基于物体模型的抓取系统需要事先获取待抓取物体的几何模型，抓取精度较高，但操作环境十分结构化，应用场景比较有限。物体模型未知的抓取系统不需要物体的几何模型，借助多种传感器获取的数据了解待抓取物体的基本信息，从而指导机器人完成抓取任务。这种方法应用范围较广，限制条件较少，但抓取精度较低。在实际的机器人抓取系统中，由于环境中存在各种不确定性，造成仿真环境中实现的抓取算法很难直接成功应用于实际机器人抓取系统，进一步限制了机器人抓取系统的应用和发展。

为了克服上述缺点，本发明针对四指平行手爪抓取三维物体采用环境吸引域和深度网络结合的方法，不仅可以有效提高机器人在非结构化环境中对未知物体的抓取成功率，而且对进一步实现工业生产自动化水平，提高生产效率有重要应用价值。

发明内容

为了解决现有技术中的上述问题，即为了解决机器人在非结构化环境中对未知物体的抓取成功率较低的问题，本发明的一方面，提出了一种基于单目视觉的机器人稳定抓取物体的抓取点获取方法，包括：

步骤S10，基于单目视觉传感器获取物体及环境的彩色图像，并提取物体的平面边缘轮廓；

步骤S20，基于四指平行机械手的宽度和步骤S10得到的物体的平面边缘轮廓，构建机器人抓取系统的环境约束域，并获取环境吸引域最低点；每一个环境吸引域最低点对应一个候选抓取点，得到多组候选抓取点g₁、g₂...g_m；

步骤S30，将各组所述候选抓取点输入到抓取点质量评估网络中，得到各组候选抓取点的抓取点质量Q₁、Q₂...Q_m；其中，所述抓取点质量评估网络基于卷积神经回归网络构建，该网络的训练样本包括带抓取点的图像、抓取点质量。

步骤S40，选择最大的抓取点质量，并选择其对应的抓取点输出。

在一些优选实施例中，所述环境约束域为四指平行机械手与待抓取物体静态接触时手爪间距和待抓取物体之间的约束关系的表示C₂(x,θ,D)，其中x为待抓取物体的横坐标，θ为待抓取物体的姿态，D为四指平行机械手与待抓取物体静态接触时手爪间距。

在一些优选实施例中，所述环境吸引域最低点，其获取方法为：

对空间C₂寻找局部极小值，记做s₁,s₂,...,s_k，其中k是局部极小值的总个数；

对每一个s_j＝(x_j,θ_j,D_j)，j＝1,2,...,k，检验该状态是否满足形封闭，如果满足形封闭则该局部极小值点是环境吸引域最低点；

得到环境吸引域最低点s_l1,s_l2,...,s_lm，其中m≤k。

在一些优选实施例中，所述抓取点质量评估网络，其损失函数

为

其中，x表示输入图像样本，

表示x对应输出抓取点质量样本，yⁱ为第i个输入图像样本的经抓取点质量评估网络输出的抓取点质量，

为第i个输入图像样本的对应输出抓取点质量样本，n为训练样本集中样本数量，λ为正则化系数，W为网络中需要学习的参数。

在一些优选实施例中，所述单目视觉传感器为Kinect传感器，该传感器包含一个用于获取彩色图像的彩色摄像头、一个用于获取深度图像的深度摄像头。

在一些优选实施例中，所述训练样本，其获取方法为：

采用步骤S10-S20的方法，基于带抓取点的图像获取多组候选抓取点；

分别使用三个满足高斯分布的随机变量作为不确定因子，在物体和手爪相对位姿、手爪宽度、带抓取物体图像边缘进行不确定因子的增加；

分别基于增加不确定因子后的物体和手爪相对位姿、手爪宽度、带抓取物体图像边缘，对各组候选抓取点进行形封闭判断，并计算对应候选抓取点的抓取点质量score＝K/(3*M)，其中3*M为进行形封闭判断的组数，K为满足形封闭的组数；

基于带抓取点的图像和对应得抓取点质量构建训练样本。

本发明的第二方面，提出了一种基于单目视觉的机器人稳定抓取物体的物体抓取方法，基于上述的基于单目视觉的机器人稳定抓取物体的抓取点获取方法获取物体抓取点，并基于所获取的物体抓取点控制所述四指平行机械手进行物体抓取。

本发明的第三方面，提出了一种基于单目视觉的机器人稳定抓取物体的抓取点获取系统，包括边缘轮廓提取单元、候选抓取点获取单元、抓取点质量计算单元、抓取点输出单元；

所述边缘轮廓提取单元，配置为基于单目视觉传感器获取物体及环境的彩色图像，并提取物体的平面边缘轮廓；

所述候选抓取点获取单元，配置为基于四指平行机械手的宽度和步骤S10得到的物体的平面边缘轮廓，构建机器人抓取系统的环境约束域，并获取环境吸引域最低点；每一个环境吸引域最低点对应一个候选抓取点，得到多组候选抓取点g₁、g₂...g_m；

所述抓取点质量计算单元，配置为将各组所述候选抓取点输入到抓取点质量评估网络中，得到各组候选抓取点的抓取点质量Q₁、Q₂...Q_m；其中，所述抓取点质量评估网络基于卷积神经回归网络构建，该网络的训练样本包括带抓取点的图像、对应的抓取点质量。

所述抓取点输出单元，配置为选择最大的抓取点质量，并选择其对应的抓取点输出。

本发明的第四方面，提出了一种基于单目视觉的机器人稳定抓取物体的物体抓取系统，包括上述的基于单目视觉的机器人物体抓取点获取系统各单元，还包括抓取控制单元；

所述抓取控制单元，配置为基于所获取的物体抓取点控制所述四指平行机械手进行物体抓取。

本发明的第五方面，提出了一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于单目视觉的机器人稳定抓取物体的抓取点获取方法，或者上述的基于单目视觉的机器人稳定抓取物体的物体抓取方法。

本发明的第六方面，提出了一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于单目视觉的机器人稳定抓取物体的抓取点获取方法，或者上述的基于单目视觉的机器人稳定抓取物体的物体抓取方法。

本发明的有益效果：

1、本发明的环境吸引域能够有效指导机器人稳定抓取操作，抓取点质量评估网络选择的最优抓取点更鲁棒，满足了工业生产的快速性、准确性和可靠性的要求，使机器人在非结构化环境中对未知物体的抓取成功率得以提高，为后续装配提供了很好的操作基础。

2、本发明在训练数据集的构建过程中，针对平面上不同形状物体的多种稳定状态建立起四指平行手爪抓取物体的环境吸引域，并引入不确定性分析，建立了基于图像的抓取数据集，并结合本发明构建的损失函数，使得训练后的抓取点质量评估网络能够快速有效地进行抓取点的质量评估，从而更有效地选取最优的抓取点，实现新物体的快速稳定抓取任务，执行效率高。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本发明一种实施例的抓取系统的硬件系统示意图；

图2本发明一种实施例的训练阶段、测试阶段的流程示意图；

图3是本发明一种实施例中四指平行机械手和待抓取物体示例；

图4是本发明一种实施例中抓取系统坐标系示意图；

图5是本发明一种实施例中待抓取物体的平面边缘轮廓向外扩展结果示意图；

图6是本发明一种实施例中环境吸引域示例图；

图7是本发明一种实施例中局部极小值与环境吸引域稳定点比较示例图；

图8是本发明一种实施例中抓取点质量评估网络示例图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

本发明的原理：本发明的机器人稳定抓取工件方法是基于单目视觉获取图像，利用环境吸引域计算稳定的抓取点和初始抓取方位，并构建抓取数据集，然后利用深度学习网络进行抓取点质量评估，将两者结合起来从而实现快速、稳定的抓取任务。

本发明的一种基于单目视觉的机器人稳定抓取物体的抓取点获取方法，包括：

本发明的一种基于单目视觉的机器人稳定抓取物体的物体抓取方法，基于上述的基于单目视觉的机器人稳定抓取物体的抓取点获取方法获取物体抓取点，并基于所获取的物体抓取点控制所述四指平行机械手进行物体抓取。

为了更清晰地对本发明基于单目视觉的机器人稳定抓取物体的抓取点获取方法进行说明，下面结合附图对本方发明方法一种实施例从三个方面展开详述：硬件系统、模型训练、物体抓取点的获取方法，其中硬件系统、模型训练的描述是为了使本实施例描述更加清晰，在具体的物体抓取点的获取方法中可以基于相应的结构和训练结果进行设计，但其硬件系统、模型训练的结构、步骤不能理解为对本实施例物体抓取点的获取方法的限定。

1、硬件系统

本发明方法应用的硬件系统，如图1所示，包括：水平桌面1、机器人2、摄像机3、远程控制计算机4、四指手爪5和物体6；四指手爪5固定在机器人2第六轴末端，摄像机3像平面位于水平桌面1正上方；摄像机3、远程控制计算机4和机器人2依次电气连接。

2、模型训练

步骤A1：针对待抓取的三维物体及其环境，利用Kinect单目视觉传感器获取物体及环境的彩色图像，并提取物体的平面边缘轮廓。

Kinect传感器是微软于2010推出的一款3D视觉传感器，其包含一个彩色摄像头和一个深度摄像头，可以直接获得场景内的彩色图和深度图，进而生成场景内的点云；由于Kinect获取的二维彩色图像包含场景内所有物体，因此需要对物体进行边缘提取，获取物体的边缘轮廓。

步骤A2：针对四指平行机械手和步骤A1得到的物体的平面边缘轮廓，构建机器人抓取系统的环境约束域，并获取环境吸引域最低点；每一个环境吸引域最低点对应一个候选抓取点，得到多组候选抓取点。

(1)抓取系统建模：

四指平行机械手和待抓取物体的一个实施例的示意图如图3所示，由四根手指组成，其中可作合拢运动两根手指为一组，两组之间互相平行。以四指平行机械手的中心为原点O，平行于手爪一组手指的连线为X轴，根据右手定则，得到坐标系Y轴，建立坐标系如图4所示，四根手指分别为C₁、C₂、C₃、C₄，每根手指的半径为r_p，手指C₁C₂之间的距离和手指C₃C₄之间的距离均为手爪宽度P，可以相互合拢的两个手指之间的距离为手爪间距D，手爪合拢过程中D逐渐减小。为了简化，将待抓取物体的平面边缘轮廓向外扩展r_p如图5所示，每根手指则化作一个点，扩展后待抓取物体的位姿用(x,y,θ)表示，其中，x为待抓取物体的横坐标，y为待抓取物体的纵坐标，θ为待抓取物体的姿态。图5中，内部轮廓线表示扩展前物体形状，外部轮廓线表示扩展后物体形状。图3仅为四指平行机械手和待抓取物体的示例展示，其中四指平行机械手的具体结构非本发明要说明的内容。

(2)构建环境约束域：

在仿真中设置手爪宽度，根据物体边缘点坐标，取物体横坐标距离的最大值和纵坐标距离的最大值两者中较大的作为手爪的最大宽度P_max，而手爪的最小宽度P_min＝2*r_p。在(P_min，P_max)当给定一个宽度P_i，固定手爪不动，移动物体的位姿到任意位姿(x_i,y_i,θ_i)，并控制手爪向中间合拢，直到两组手指均跟物体接触(每组有一根手指接触即停止该组运动)，因此机械手与物体静态接触时，对应一个四维空间C₁(x,y,θ,D)。然而，对于一组给定的(x_i,θ_i)，且物体处于手爪中，两组手爪沿着Y轴运动合拢，直到两组机械手都与物体接触(每组有一根手指接触即停止该组运动)，可以看出，无论物体的纵坐标y_i多大，D_i都是一个定值，所以手爪间距D_i和物体的纵坐标y_i无关，只是(x_i,θ_i)的函数。因此，在机器人抓取过程中，四指平行机械手与物体静态接触时手爪间距和待抓取物体之间的约束关系，可以表示为C₂(x,θ,D)，即环境约束域。由此可见，当手爪和物体静态接触时，高维空间的环境约束域C₁可以映射到低维子空间C₂，方便可视化。

(3)寻找环境吸引域：

由环境吸引域理论可知，对于非线性系统，如果存在吸引域，则吸引域的最低点对应着该非线性系统的一个稳定状态。因此对于机器人抓取系统，在环境约束域C₂(x,θ,D)中，存在类似“碗状”的区域如图6所示，叫做环境吸引域，环境吸引域的最低点s_l对应着抓取稳定状态，也是形封闭抓取状态。

形封闭是指不考虑手指和物体之间的摩擦力，物体的运动被手指的位置完全限制住。它是一种几何的约束关系，满足形封闭的抓取是稳定的。

为了寻找环境吸引域，首先对空间C₂寻找局部极小值，记做s₁,s₂,...,s_k，其中k是局部极小值的总个数。如图7所示，有些局部极小值并不是“碗状”区域的最小值，因此需要对每一个局部极小值进行判断。对每一个s_j＝(x_j,θ_j,D_j)，j＝1,2,...,k，检验该状态是否满足形封闭，如果满足形封闭则该局部极小值点是环境吸引域最低点，对应着一个抓取稳定状态。记所有环境吸引域最低点为s_l1,s_l2,...,s_lm，其中m≤k。因此，只要抓取系统的初始状态落在任意一个吸引域最低点对应的“碗状”区域内，又吸引域的性质，抓取系统最终会形成稳定抓取，即物体任意方向的运动都被手爪的位置限制住。

步骤A3：分别使用三个满足高斯分布的随机变量作为不确定因子，在物体和手爪相对位姿、手爪宽度、带抓取物体图像边缘进行不确定因子的增加。

利用环境吸引域计算得到物体的平面抓取稳定点，该方法是基于模型分析的方法，要求物体的模型和手爪的模型精确。然而在非结构化环境中，存在噪声和干扰，且传感器精度存在误差，因此，我们在机器人抓取系统中加入了不确定性，进行建模。

(1)物体和手爪相对位姿不确定性：

针对机器人抓取系统，我们构建了机器人手爪和物体之间的环境约束域C₂(x,θ,D)，即给定一个物体的状态(x_i,θ_i)，有唯一一个D_i与之对应。为了引入物体和手爪相对位姿不确定性，即考虑物体在手爪坐标系下的位姿存在误差即可。我们选择高斯噪声来模拟，假定一个随机变量ν满足高斯分布，即ν～Ν(0,∑_ν)，0表示均值，∑_ν表示方差。那么对于物体的位姿μ(x,θ)，满足μ_ν＝μ+ν，即物体和手爪相对位姿误差是一个高斯分布。

(2)手爪参数的不确定性：

对于四指平行机械手，手爪的宽度可调，由于机器人手爪存在控制误差和机械加工的误差，使得手爪宽度P设置存在一定误差，为了模拟这种不确定性，保证成功抓取，因此引入手爪宽度的不确定性。假定一个随机变量ν满足高斯分布，即λ～Ν(0,∑_λ)，0表示均值，∑_λ表示方差。那么对于手爪宽度P，满足P_λ＝P+λ，即手爪宽度误差是一个高斯分布。

(3)物体形状的不确定性

由步骤A1中采用的单目视觉传感器获取三维物体的二维图像，我们用多边形拟合物体的边缘，提取物体的边缘轮廓。为了减少传感器误差的影响，我们引入图像的边缘点的不确定性。假定一个随机变量ν满足高斯分布，即γ～Ν(0,∑_γ)，0表示均值，∑_γ表示方差。那么对于图像的边缘点V(x_obj,y_obj)，满足V_γ＝V+γ，即图像的边缘点的误差是一个高斯分布。

步骤A4：分别基于增加不确定因子后的物体和手爪相对位姿、手爪宽度、带抓取物体图像边缘，对各组候选抓取点进行形封闭判断，并计算对应候选抓取点的抓取点质量。

该步骤针对步骤A2计算得到的四指平行机械手在二维图像上的稳定抓取点，在考虑步骤A3对系统进行不确定性建模的情况下，判断该抓取点是否依然稳定，即抓取点质量；

(1)物体和手爪相对位姿不确定性下的抓取点形封闭判断：

根据环境吸引域可知，只要物体的初始姿态落在“碗状”区域内，则该状态仍然能够收敛到吸引域最低点，即达到抓取稳定状态。那么，当物体的位姿存在误差时，此时物体的模型和手爪的模型并没有改变，因此物体和手爪之间的环境约束域保持不变，只需要判断加入不确定性后物体的位姿是否仍然落在该稳定抓取状态对应的“碗状”范围内。采用漫水算法，从该稳定抓取状态开始，由此出发找到区域内跟该状态联通的区域，得到该“碗状”对应的最大初始范围。如果，加入不确定性后的物体位姿仍在该“碗状”对应的最大初始范围内，那么抓取点仍然稳定满足形封闭抓取，否则不满足形封闭抓取。

(2)手爪参数的不确定性下抓取点形封闭判断：

针对手爪参数存在的不确定性建模，由于手爪的模型发生了改变，需要重新建立手爪和物体之间的环境约束域，即重复步骤A2，如果该抓取点仍然是新建的环境吸引域的最低点，那么抓取点稳定满足形封闭抓取，否则不满足形封闭抓取。

(3)物体形状的不确定性下抓取点形封闭判断：

针对物体形状存在的不确定性建模，由于物体的模型发生了改变，需要重新建立手爪和物体之间的环境约束域，即重复步骤A2，如果该抓取点仍然是新建的环境吸引域的最低点，那么抓取点稳定满足形封闭抓取，否则不满足形封闭抓取。

(4)计算抓取点质量

分别对以上(1)(2)(3)抓取点形封闭判断测试M组，总共测试3*M组。记录满足形封闭的组数之和为K，则该抓取点质量score＝K/(3*M)。显然，score∈(0,1)，且score越大，表示该抓取点质量越好，即鲁棒性更好，抓取成功的概率越大。

步骤A5：由步骤A1-A4可以得到一个物体上多个稳定的抓取点和对应的抓取点质量；对于一个物体不同的稳定姿态下，重复步骤A1-A4可以生成多个基于图像的稳定抓取点和对应的抓取点质量。在一个具体实例中，重复上述过程，我们形成了116个物体的基于图像的抓取数据集，包含9334张带抓取点的图像和记录了相应的抓取点质量。

步骤A6：由步骤A1-A5可以得到一个抓取数据集，用于抓取点质量评估网络的训练。其中带抓取点的图像作为网络的输入，相对的抓取点质量作为样本的标签。将数据集分为训练集、验证集和测试集，训练网络参数。

(1)数据集的制作

根据所采用的深度学习框架对数据集格式的要求，将原始的数据集转化为特定的格式。例如，若采用TensorFlow深度学习框架,则数据集可转化为tfrecords格式，同时按照6：2：2的比例将数据集分为训练集、验证集和测试集。

(2)抓取点质量评估网络的构建

根据摄像头输出图像的尺寸和经典网络采用的输入图像的尺寸，选择输入图像的尺寸为224*224。抓取点质量评估网络基于卷积神经回归网络构建，网络的结构设计如图8所示。其中左侧为网络的输入部分，包括深度图像和手爪的宽度p。深度图像通过输入层(Input)输入后，首先经过两个“卷积-池化”层(conv1、pool1、conv2、pool2)，得到256个尺寸为13*13的特征图。接着送入到3个卷积层(conv3、conv4、conv5)和一个池化层(pool5)，最终获得384个尺寸为6*6的特征图。手爪宽度p经全连接层FC_P的输出与得到的6*6的特征图，通过全连接层FC6级联之后输入到全连接层FC7，得到抓取点的质量。

网络的损失函数如式1所示。

其中，x表示输入图像样本，

为第i个输入图像样本的对应输出抓取点质量样本，n为训练样本集中样本数量，λ为正则化参数，W为网络中需要学习的参数。

(3)数据预处理

对输入图像进行去均值化、归一化、随机裁剪、水平和垂直翻转、加入随机噪声等操作，一方面扩充原有的数据集，另一方面尽量模拟真实的环境，使得输入样本尽量覆盖输入的取值空间。对输入的机械爪宽度进行归一化操作。上述图像的预处理方法均为本领域技术人员常用方法，此处不再详细说明

(4)网络训练与模型保存

确定训练参数，包括学习率、训练轮次、batch size等，采用随机梯度下降法更新网络参数。当训练结束时，保存网络参数，用于后续的测试。神经网络的训练方法均为本领域技术人员常用方法，此处不再详细说明。

网络测试与具体使用过程中物体抓取点的获取的步骤近似，此处不再展开描述，通过下面实施例的物体抓取点的获取方法进行详细展开。如图2所示为本实施例训练阶段、测试阶段的流程示意图。

3、物体抓取点的获取方法

对于一个新的物体B，其物体抓取点的获取方法包括：

步骤S10：基于单目视觉传感器获取物体及环境的彩色图像，并提取物体的平面边缘轮廓；

步骤S20：基于四指平行机械手的宽度和步骤S10得到的物体的平面边缘轮廓，构建机器人抓取系统的环境约束域，并获取环境吸引域最低点；每一个环境吸引域最低点对应一个候选抓取点，得到多组候选抓取点g₁、g₂...g_m；

步骤S30，将各组所述候选抓取点输入到抓取点质量评估网络中，得到各组候选抓取点的抓取点质量Q₁、Q₂...Q_m。

步骤S40，选择最大的抓取点质量Q^*＝max(Q₁,Q₂,...Q_m)，并选择Q^*对应的抓取点g^*作为最优抓取点输出。输出抓取点质量分数越大，表示该抓取成功率越大，鲁棒性好，选择质量分数最大的那组抓取点作为最优抓取点。

本发明第二实施例的一种基于单目视觉的机器人稳定抓取物体的物体抓取方法，将上述基于单目视觉的机器人稳定抓取物体的抓取点获取方法获取的最优抓取点输入给计算机，经过位姿变换，控制机器人手爪到达最优抓取点对应的位姿，执行抓取动作，完成抓取任务。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的基于单目视觉的机器人稳定抓取物体的物体抓取方法的具体工作过程及有关说明，可以参考前述方法实施例中的基于单目视觉的机器人稳定抓取物体的抓取点获取方法对应过程，在此不再赘述。

本发明第三实施例的一种基于单目视觉的机器人稳定抓取物体的抓取点获取系统，包括边缘轮廓提取单元、候选抓取点获取单元、抓取点质量计算单元、抓取点输出单元；

所述候选抓取点获取单元，配置为基于四指平行机械手的宽度和物体的平面边缘轮廓，构建机器人抓取系统的环境约束域，并获取环境吸引域最低点；每一个环境吸引域最低点对应一个候选抓取点，得到多组候选抓取点；

所述抓取点质量计算单元，配置为将各组所述候选抓取点输入到抓取点质量评估网络中，得到各组候选抓取点的抓取点质量；其中，所述抓取点质量评估网络基于卷积神经回归网络构建，该网络的训练样本包括带抓取点的图像、对应的抓取点质量。

本发明第四实施例的一种基于单目视觉的机器人稳定抓取物体的物体抓取系统，包括上述的基于单目视觉的机器人稳定抓取物体的抓取点获取系统各单元，还包括抓取控制单元；所述抓取控制单元，配置为基于所获取的物体抓取点控制所述四指平行机械手进行物体抓取。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的基于单目视觉的机器人稳定抓取物体的抓取点获取系统、基于单目视觉的机器人稳定抓取物体的物体抓取系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

需要说明的是，上述实施例的系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。

本发明第五实施例的一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于单目视觉的机器人稳定抓取物体的抓取点获取方法，或者上述的基于单目视觉的机器人稳定抓取物体的物体抓取方法。

本发明第六实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于单目视觉的机器人稳定抓取物体的抓取点获取方法，或者上述的基于单目视觉的机器人稳定抓取物体的物体抓取方法。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。

术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims

1.一种基于单目视觉的机器人稳定抓取物体的抓取点获取方法，其特征在于，包括：

步骤S20，基于四指平行机械手的宽度和步骤S10得到的物体的平面边缘轮廓，构建机器人抓取系统的环境约束域，并判断所述环境约束域中的局部极小值点是否满足形封闭，若满足，则将所述局部极小值点作为环境吸引域最低点；每一个环境吸引域最低点对应一个候选抓取点，得到多组候选抓取点；

步骤S30，将各组所述候选抓取点输入到抓取点质量评估网络中，得到各组候选抓取点的抓取点质量；其中，所述抓取点质量评估网络基于卷积神经回归网络构建，该网络的训练样本包括带抓取点的图像、抓取点质量；

2.根据权利要求1所述的基于单目视觉的机器人稳定抓取物体的抓取点获取方法，其特征在于，所述环境约束域为四指平行机械手与待抓取物体静态接触时手爪间距和待抓取物体之间的约束关系的表示C₂(x,θ,D)，其中x为待抓取物体的横坐标，θ为待抓取物体的姿态，D为四指平行机械手与待抓取物体静态接触时手爪间距。

3.根据权利要求1所述的基于单目视觉的机器人稳定抓取物体的抓取点获取方法，其特征在于，所述抓取点质量评估网络，其损失函数

为

其中，x表示输入图像样本，

为第个输入图像样本的对应输出抓取点质量样本，n为训练样本集中样本数量，λ为正则化参数，W为网络中需要学习的参数。

4.根据权利要求1所述的基于单目视觉的机器人稳定抓取物体的抓取点获取方法，其特征在于，所述单目视觉传感器为Kinect传感器，该传感器包含一个用于获取彩色图像的彩色摄像头、一个用于获取深度图像的深度摄像头。

5.根据权利要求1所述的基于单目视觉的机器人稳定抓取物体的抓取点获取方法，其特征在于，所述训练样本，其获取方法为：

分别使用三个满足高斯分布的随机变量作为不确定因子，在物体和手爪相对位姿、手爪宽度、待抓取物体图像边缘进行不确定因子的增加；

基于带抓取点的图像和对应得抓取点质量构建训练样本。

6.根据权利要求5所述的基于单目视觉的机器人稳定抓取物体的抓取点获取方法，其特征在于，“分别基于增加不确定因子后的物体和手爪相对位姿、手爪宽度、待抓取物体图像边缘，对各组候选抓取点进行形封闭判断”，其方法为：

针对增加不确定因子后的物体和手爪相对位姿的形封闭判断：采用漫水算法获取所述环境域的最大初始范围，并判断增加不确定因子后，物体的位姿是否仍处于所述最大初始范围内，若处于，则满足形封闭；

针对增加不确定因子后的手爪宽度的形封闭判断：基于手爪宽度的不确定进行建模，建模后，重新构建所述四指平行机械手的手爪与物体之间的环境约束域，并判断候选抓取点是否为重新构建的环境约束域的最低点，若是，则满足形封闭；

针对增加不确定因子后的待抓取物体图像边缘的形封闭判断：基于待抓取物体图像边缘的不确定进行建模，建模后，重新构建所述四指平行机械手的手爪与物体之间的环境约束域，并判断候选抓取点是否为重新构建的环境约束域的最低点，若是，则满足形封闭。

7.一种基于单目视觉的机器人稳定抓取物体的物体抓取方法，其特征在于，基于权利要求1-6任一项所述的基于单目视觉的机器人稳定抓取物体的抓取点获取方法获取物体抓取点，并基于所获取的物体抓取点控制所述四指平行机械手进行物体抓取。

8.一种基于单目视觉的机器人稳定抓取物体的抓取点获取系统，其特征在于，包括边缘轮廓提取单元、候选抓取点获取单元、抓取点质量计算单元、抓取点输出单元；

所述候选抓取点获取单元，配置为基于四指平行机械手的宽度和所述边缘轮廓提取单元得到的物体的平面边缘轮廓，构建机器人抓取系统的环境约束域，并判断所述环境约束域中的局部极小值点是否满足形封闭，若满足，则将所述局部极小值点作为环境吸引域最低点；每一个环境吸引域最低点对应一个候选抓取点，得到多组候选抓取点；

所述抓取点质量计算单元，配置为将各组所述候选抓取点输入到抓取点质量评估网络中，得到各组候选抓取点的抓取点质量；其中，所述抓取点质量评估网络基于卷积神经回归网络构建，该网络的训练样本包括带抓取点的图像、对应的抓取点质量；

9.一种基于单目视觉的机器人稳定抓取物体的物体抓取系统，其特征在于，包括权利要求8所述的基于单目视觉的机器人稳定抓取物体的抓取点获取系统各单元，还包括抓取控制单元；

10.一种存储装置，其中存储有多条程序，其特征在于，所述程序适于由处理器加载并执行以实现权利要求1-6任一项所述的基于单目视觉的机器人稳定抓取物体的抓取点获取方法，或者权利要求7所述的基于单目视觉的机器人稳定抓取物体的物体抓取方法。

11.一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；其特征在于，所述程序适于由处理器加载并执行以实现权利要求1-6任一项所述的基于单目视觉的机器人稳定抓取物体的抓取点获取方法，或者权利要求7所述的基于单目视觉的机器人稳定抓取物体的物体抓取方法。