CN112025693A - 非对称三指抓取器的像素级目标抓取检测方法及系统 - Google Patents

Abstract

本公开提出了非对称三指抓取器的像素级目标抓取检测方法及系统，本公开针对该抓取器无法实施对称抓取的特点，设计了有向三角抓取模型。采用传统卷积和空洞卷积进行抓取检测；为了提高网络的尺度不变性，采用空间金字塔网络获取具有不同感受野的特征图，并采用特征融合单元将网络低层和高层的特征进行融合；为了完成端到端的抓取检测，设计了抓取模型检测单元，直接输出有向三角抓取方案的每个参数，确定抓取方案，有效提高了检测准确度。

Description

非对称三指抓取器的像素级目标抓取检测方法及系统

技术领域

本公开涉及机器人相关技术领域，具体的说，是涉及非对称三指抓取器的像素级目标抓取检测方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，并不必然构成在先技术。

抓取检测(Grasp Detection)，是为指定的机器人抓取器,获取可用于实际抓取操作的抓取方案的一种技术。在家庭和工业场景中，从桌子上抓取物体是机器人在独立运行或执行人机协作任务时一个非常重要和有挑战性的步骤。一般的，机器人抓取可分为抓取检测、轨迹规划和执行三个步骤。抓取检测是指机器人通过RGB或RGBD摄像机获取目标的视觉信息，然后利用这些视觉信息预测抓取模型来指导机械臂和抓取器执行抓取任务。近十年来，研究人员提出了大量基于平面抓取模型的机器人抓取检测算法。

发明人发现，目前的方法存在如下问题：

目前的抓取检测方法都适用于平行板抓取器。由于非对称三指抓取器无法像平行板抓取器一样互换手指位置，以五维矩形抓取框为首的多种抓取模型将不再适用。

现有的抓取检测方法大多借鉴图像处理中的目标检测方法，其用来训练的抓取方案真值无法真实地表现物体的可抓取属性。

发明内容

本公开为了解决上述问题，提出了非对称三指抓取器的像素级目标抓取检测方法及系统，该方法针对非对称三指抓取器设计了有向三角抓取模型以及由基础网络、空间金字塔网络、特征融合单元和抓取模型检测单元组成的抓取检测网络，对每幅图像输出可行的抓取方案。

为了实现上述目的，本公开采用如下技术方案：

一个或多个实施例提供了非对称三指抓取器的像素级目标抓取检测方法，包括如下步骤：

获取包含待抓取目标的原始图像；

根据构建好的三角抓取模型，针对原始图像中的目标进行抓取点标注，生成抓取方案；

对每张图像及其标注抓取方案进行数据增强和剪裁，获得处理后的图像；

将处理后的图像输入至训练好的由深度卷积神经网络构建的抓取检测网络，输出抓取置信度最大的抓取方案作为最终的有向三角抓取方案。

一个或多个实施例提供了非对称三指抓取器的像素级目标抓取检测系统，其特征是：包括图像采集装置和服务器：

图像采集装置，其被配置为采集包含可用于非对称三指抓取器进行抓取的物体的原始图像，并传送至服务器；

所述服务器，被配置为执行上述的非对称三指抓取器的像素级目标抓取检测方法的步骤。

一个或多个实施例提供了非对称三指抓取器的像素级目标抓取检测系统，其特征是：

图像获取模块：被配置为用于获取包含待抓取目标的原始图像；

抓取方案标注模块：被配置为用于根据构建好的三角抓取模型，针对原始图像中的目标进行抓取点标注，生成抓取方案；

图像数据处理模块：被配置为用于对每张图像及其标注抓取方案进行数据增强和剪裁，获得处理后的图像；

抓取检测模块：被配置为用于将处理后的图像输入至训练好的由深度卷积神经网络构建的抓取检测网络，输出抓取置信度最大的抓取方案作为最终的有向三角抓取方案。

一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成上述方法所述的步骤。

与现有技术相比，本公开的有益效果为：

(1)本公开针对非对称三指抓取器设计了有向三角抓取模型和抓取检测网络。该有向三角抓取模型由于其三角形的模式和360°抓取角设计，相比于传统的抓取模型更适合于非对称三指抓取器。

(2)本公开基于有向三角抓取模型设计了像素级目标抓取检测网络。其中由多级并联空洞卷积构成的空间金字塔网络可提取具有不同感受野大小的特征图，提高了网络的尺度不变性；特征融合单元又将低层和高层的特征进一步融合，再次提高了网络的尺度不变性；基于有向三角抓取模型，抓取模型检测单元可为每张图像检测像素级的目标抓取方案，同时有效提高了检测准确度。

(3)本公开借助深度卷积神经网络自动学习图像特征，从而避免了设计特征提取器以对图像进行手动特征提取的复杂任务。

附图说明

构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的限定。

图1是本公开实施例1中的与非对称三指抓取器以及图像中标注有向三角抓取模型示意图；

图2是本公开实施例1中有向三角抓取方案标注示意图；

图3是本公开实施例1中像素级目标抓取检测网络结构图；

图4是本公开实施例1的检测方法流程图。

具体实施方式：

下面结合附图与实施例对本公开作进一步说明。

应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。需要说明的是，在不冲突的情况下，本公开中的各个实施例及实施例中的特征可以相互组合。下面将结合附图对实施例进行详细描述。

实施例1

由于目前还没有专门适用于非对称三指抓取器的抓取模型，本公开针对该抓取器无法实施对称抓取的特点，设计了有向三角抓取模型。本公开采用传统卷积和空洞卷积进行抓取检测；为了提高网络的尺度不变性，采用空间金字塔网络获取具有不同感受野的特征图，并采用特征融合单元将网络低层和高层的特征进行融合；为了完成端到端的抓取检测，设计了抓取模型检测单元，直接输出有向三角抓取方案的每个参数。

本公开提出针对非对称三指抓取器的像素级目标抓取检测方法。该方法针对基于非对称三指抓取器进行抓取检测的技术空缺，利用空洞卷积和传统卷积相结合，构建具有尺度不变性的网络进行端到端的像素级目标抓取检测。

在一个或多个实施方式中公开的技术方案中，如图1-4所示，非对称三指抓取器的像素级目标抓取检测方法，包括如下步骤：

步骤1、获取包含待抓取目标的原始图像；

步骤2、根据构建好的三角抓取模型，针对原始图像中的目标进行抓取点标注，生成抓取方案；

步骤3、对每张图像及其标注抓取方案进行数据增强和剪裁，获得处理后的图像；

步骤4、将处理后的图像输入至训练好的由深度卷积神经网络构建的抓取检测网络，输出抓取置信度最大的抓取方案作为最终的有向三角抓取方案。

输出的有向三角抓取方案，可以驱动机械臂和非对称三指抓取器执行抓取操作，对目标物进行抓取。

本实施例中首先根据非对称三指抓取器的结构特点构建了三角抓取模型，通过该模型对图像进行标注和生成初始的抓取方案，在通过深度卷积神经网络对图像和对应的抓取方案进行智能化识别，为每张图像检测像素级的目标抓取方案，同时有效提高了检测准确度。

步骤1中，具体的，获取的图像为包含可用于非对称三指抓取器进行抓取的物体的原始RGB图像；

本实施例中，如图1所示，为有向三角抓取模型示意图和非对称三指抓取器。

可选的，有向三角抓取模型可以具体为三角形，优选的，可以为等腰三角形。

可选的，所述有向三角抓取模型可以包括抓取点、抓取宽度、抓取角度等未知参数。具体的，设置三角形高的中心为抓取点、三角形高为抓取宽度、三角形的高与图像水平轴之间的夹角为抓取角。图像水平轴是指图像的正视图的横向轴线方向，如图2所示。

模型表示如式(1)所示：

G＝{x,y,ω,θ,d} (1)

其中(x,y)表示三角形高的中心为抓取点，ω表示三角形的高为抓取宽度，θ表示三角形的高与图像水平轴之间的夹角为抓取角，d表示三角形的底边。

三角形的顶点和底边分别代表非对称三指抓取器的单指和双指侧。假设抓取时两指侧的两个手指之间的相对位置是恒定的，即d是一个固定值，如d＝40，单位是像素。

本实施例向三角抓取模型由于其三角形的模式和360°抓取角设计，相比于传统的抓取模型更适合于非对称三指抓取器。

步骤2中，构建有向三角抓取模型后，针对原始图像中的目标进行抓取点标注，生成抓取方案的方法，可以为：对每张图像中的物体进行手动标注，获得可行的有向三角抓取方案。

可选的，抓取点标注包括标注图像中的目标物的抓取点、对应每个抓取点的抓取角和抓取宽度，以及每个抓取点的抓取置信度。

可实现的，抓取点标注的方法，可以为：采用图形框划定标注区域，标注区域内的所有像素点作为抓取点，同一抓取区域内的抓取点标注相同的抓取角和抓取宽度。

可选的，划定标注区域的图形框根据目标的形状确定，可以为矩形框或者为圆。具体的，对于非圆形物体可以使用若干个可旋转矩形来标注抓取区域，对于球形的物体或部分为圆形的物体，则可以使用半径可变的圆进行标注。

本实施例中，设置图形框对图像进行标注可以简化像素级的目标抓取方案标注过程，提高检测效率。

标注后标注区域内的各个抓取点对应标注了一个有向三角抓取模型，即对应每个点都可以标注可行的有向三角抓取方案，如图2所示，抓取点的位置对应式(1)中的(x,y)，抓取角对应θ，抓取宽度对应ω。

当抓取点周围的空间足够大时，在实施抓取动作时可以互换三指夹持器的单指侧和两根指侧的位置，即一个抓取点可以对应两个抓取角度。此外，对于圆形物体，抓取角甚至不受约束。总之，每个抓取点可以对应一个、两个或无限个有向三角抓取模型。可以将抓取置信度p作为图像中每个像素点的附加属性，表示像素点可以被抓取或属于抓取区域的概率。

进一步的技术方案，为便于进行数据处理和检测识别，可以将标注的抓取方案进行量化，还包括将每个抓取点对应的抓取方案进行量化的步骤：将标注的有向三角抓取模型转化为对应的数值数据。

具体的，将每个抓取点对应的抓取方案进行量化的量化方法如下：

抓取置信度：将每个像素点及抓取点的抓取置信度作为一个二值标签，并将已经标记的抓取点设置为1。其他点均为0。

抓取角：每个抓取角在[0,2π]范围内进行标注，可以离散化为[0,120]。

抓取宽度：进归一化处理，可以将ω的值按1:150进行缩放，使其位于[0,1]范围内。

除标注的抓取点外，其他所有点的抓取角和抓取宽度均设为0。

步骤3中，对每张图像及其标注抓取方案进行数据增强，可以将图像裁剪为320×320像素图像。

本实施例中，步骤4中，所述抓取检测网络的结构，可以如图3所示，包括基础网络、空间金字塔网络、特征融合单元和抓取模型检测单元。

基础网络：可以由多个传统卷积构成，用来提取初级特征。

空间金字塔网络：为多尺度网络，可以由多级空洞卷积构成，对基础网络输出的特征图进行并行计算，可提取具有不同感受野大小的特征图。

特征融合单元：将空间金字塔网络输出的高层特征图与基础网络中的低层特征进行融合，获得不同感受野和不同尺度的特征图。

抓取模型检测单元：以不同感受野和不同尺度的特征图为输入，检测有向三角抓取模型的每个参数，最终将每个参数融合为像素级的目标抓取方案。

本实施例中，基础网络可以设置为深度学习网络ResNet(Residual NeuralNetwork简称为ResNet)的前4个stage，进行特征提取将提取的特征继续传送到空间金字塔网络；空间金字塔网络包括多个并联的空洞卷积(Atrous Convolution，图3中简称为Atrous Conv)，可以设置4个，空间金字塔网络进行多感受野特征提取，在不增加网络参数的同时增大特征感受野，提高了网络的尺度不变性。空洞卷积通过对原始卷积滤波器进行上采样并在滤波器值之间引入零来获得，允许能够显式地控制在深度卷积神经网络中计算特征响应的分辨率，在不增加网络参数的同时增大特征感受野。

本实施例中，如图3所示，融合单元包括依次连接在空间金字塔网络输出端的第一卷积层(1×1Conv)、上采样层(upsample by 4)以及合并单元(concat)，以及连接基础网络输出端的第二卷积层(1×1Conv)，所述第二卷积层连接合并单元。

第一卷积层(1×1Conv)用于在特征金字塔网络后端对不同感受野的特征进行融合，从而提高网络的尺度不变性。第一卷积层(1×1Conv)的特征图过于抽象，对体积较小的物体的抓取方案不能进行精确的检测，为了进一步提高网络对各种尺寸物体的检测效果，使用合并单元(concat)将由空间金字塔输出的高层特征图和由基础网络输出的低层特征图进行融合。最后将融合之后的特征送入抓取模型检测单元，直接输出有向三角抓取方案的各个参数值。

可选的，所述抓取模型检测单元包括抓取置信度检测单元、抓取角检测单元和抓取宽度检测单元，每个检测单元包括依次连接的卷积层和上采样层。

每一个检测单元包括两个3×3的卷积层和一个4倍的上采样层，最终输出的特征图的尺寸都是320×320，与输入图像相同，实现像素级的目标抓取模型检测。

在特征图的320×320位置中的每个位置，置信度检测单元的输出包括该位置的像素点属于抓取区域的概率，以及该位置的像素点属于非抓取区域的概率。抓取角检测单元的输出120个值，分别为抓取角属于该抓取角数值所对应抓取角范围的概率。抓取宽度检测单元输出一个值，即抓取宽度。选取最大的抓取置信度的抓取方案为最优的有向三角抓取方案。

基于上述的抓取检测网络，步骤4中，将处理后的图像输入至训练好的由深度卷积神经网络构建的抓取检测网络，输出抓取置信度最大的抓取方案作为最终的有向三角抓取方案，其中，抓取检测网络对输入的图像进行检测的方法，包括如下步骤：

步骤41、采用卷积层对输入的处理后图像进行特征提取，获得对应每个图像的初级特征图；

步骤42、将提出的初级特征图输入至多级空洞卷积层，对初级特征图进行并行计算，提取具有不同感受野大小的高层特征图；

步骤43、高层特征图与初级特征图进行合并融合，获得不同感受野和不同尺度的特征图；

步骤44、以不同感受野和不同尺度的特征图为输入，计算识别特征图中每个抓取点对应的有向三角抓取模型的每个参数，选取最大的抓取置信度的抓取方案为最优的有向三角抓取方案。

其中，所述有向三角抓取模型的参数包括抓取点置信度、抓取角和抓取宽度。

抓取检测网络的训练过程，其前期的数据处理过程与实际检测过程的处理方法一致，包括如下步骤：

步骤4-1、获取包含待抓取目标的原始图像；

步骤4-2、构建三角抓取模型，采用三角抓取模型针对原始图像中的目标进行抓取点标注，生成抓取方案；

其中，所述三角抓取模型的结构以及抓取点标注的方法与步骤2中相同，此处不再赘述。

步骤4-3、对每张图像及其标注抓取方案进行数据增强和剪裁，获得处理后的图像；

步骤4-4、将处理后的图像和获取的可行的抓取方案，输入深度卷积神经网络构建的抓取检测网络进行训练，获得深度卷积神经网络的参数，获得训练好的抓取检测网络。

该步骤中，可以采用步骤41-步骤44相同的方法在抓取检测网络中进行训练，此处不再赘述。

为说明本实施例检测方法的效果，进行了具体的实验验证。

在Cornell Grasp Dataset数据集上进行实验。

Cornell Grasp Dataset数据集：该数据集共包含878幅图像，每张图像中包含一个物体，均可被非对称三指抓取器抓取。其图像大小均为480×640像素。随机选择75％作为训练集，其余25％作为测试集。评估模式分为以下两种：

(1)Image-wise split：将图像随机划分为训练集和测试集，测试集中的物体必须同时出现在训练集中。

(2)Object-wise split：将物体实例进行随机划分，测试集中的物体不得出现在训练集中。

采用该领域通用的评估标准进行评价，如果预测的抓取与任一有向三角抓取方案真值满足以下两个条件，则抓取是正确的：

1)预测的抓取角θ与抓取角真值之差小于30°。

2)由预测有向三角抓取方案的高和底边组成的矩形与抓取矩形真值的交并比(IOU)大于0.25。

根据上述标准计算的测试集在两种评估模式下的准确率如表1所示，采用本实施例的方法都能得到较高的准确率。

表1

实施例2

基于实施例1，本实施例提供非对称三指抓取器的像素级目标抓取检测系统，包括图像采集装置和服务器：

图像采集装置，其被配置为采集包含可用于非对称三指抓取器进行抓取的物体的原始图像，并传送至服务器；

所述服务器，被配置为执行实施例1所述的非对称三指抓取器的像素级目标抓取检测方法的步骤。

实施例3

本实施例提供非对称三指抓取器的像素级目标抓取检测系统，包括：

图像获取模块：被配置为用于获取包含待抓取目标的原始图像；

抓取方案标注模块：被配置为用于根据构建好的三角抓取模型，针对原始图像中的目标进行抓取点标注，生成抓取方案；

图像数据处理模块：被配置为用于对每张图像及其标注抓取方案进行数据增强和剪裁，获得处理后的图像；

抓取检测模块：被配置为用于将处理后的图像输入至训练好的由深度卷积神经网络构建的抓取检测网络，输出抓取置信度最大的抓取方案作为最终的有向三角抓取方案。

其中抓取方案标注模块：包括标注图像中的目标物的抓取点、对应每个抓取点的抓取角和抓取宽度，以及每个抓取点的抓取置信度，每个抓取点的标注参数作为该抓取点的抓取点的抓取方案；

或者，还包括抓取方案标注模块还包括数据量化模块：被配置为用于将每个抓取点对应的抓取方案进行量化，包括：

采用二值标签拜师每个抓取点的抓取置信度；

将抓取角离散化为具体的数值；

归一化处理抓取宽度；

可选的，抓取检测网络，可以与实施例1中的网络结构相同，包括：

基础网络：设置为深度学习网络的stage；

空间金字塔网络：包括多个并联的空洞卷积；

融合单元：包括依次连接在空间金字塔网络输出端的第一卷积层、上采样层以及合并单元，以及连接基础网络输出端的第二卷积层，所述第二卷积层连接合并单元；

抓取模型检测单元：包括抓取置信度检测单元、抓取角检测单元和抓取宽度检测单元，每个检测单元包括依次连接的卷积层和上采样层

可选的，抓取检测模块，包括：

特征提取模块：被配置为用于采用卷积层对输入的处理后图像进行特征提取，获得对应每个图像的初级特征图；

并行计算模块：被配置为用于将提出的初级特征图输入至多级空洞卷积层，对初级特征图进行并行计算，提取具有不同感受野大小的高层特征图；

图像融合模块：被配置为用于高层特征图与初级特征图进行合并融合，获得不同感受野和不同尺度的特征图；

检测输出模块：被配置为用于以不同感受野和不同尺度的特征图为输入，计算识别特征图中每个抓取点对应的有向三角抓取模型的每个参数，选取最大的抓取置信度的抓取方案为最优的有向三角抓取方案。

进一步地，还包括训练模块：被配置为执行实施例1中的抓取检测网络的训练过程。

实施例4

本实施例提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例1的方法所述的步骤。

实施例5

本实施例提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例1的方法所述的步骤。

本公开所提出的电子设备可以是移动终端以及非移动终端，非移动终端包括台式计算机，移动终端包括智能手机(Smart Phone，如Android手机、IOS手机等)、智能眼镜、智能手表、智能手环、平板电脑、笔记本电脑、个人数字助理等可以进行无线通信的移动互联网设备。

应理解，在本公开中，该处理器可以是中央处理单元CPU，该处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

该存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。

在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本公开所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元即算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本公开的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其他的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能的划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外一点，所显示或讨论的相互之间的耦合或者直接耦合或者通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims (10)

1.非对称三指抓取器的像素级目标抓取检测方法，其特征是，包括如下步骤：

获取包含待抓取目标的原始图像；

根据构建好的三角抓取模型，针对原始图像中的目标进行抓取点标注，生成抓取方案；

对每张图像及其标注抓取方案进行数据增强和剪裁，获得处理后的图像；

将处理后的图像输入至训练好的由深度卷积神经网络构建的抓取检测网络，输出抓取置信度最大的抓取方案作为最终的有向三角抓取方案。

2.如权利要求1所述的非对称三指抓取器的像素级目标抓取检测方法，其特征是：三角抓取模型设置为三角形，设置三角形高的中心为抓取点、三角形高为抓取宽度、三角形的高与图像水平轴之间的夹角为抓取角。

3.如权利要求1所述的非对称三指抓取器的像素级目标抓取检测方法，其特征是：抓取点标注包括标注图像中的目标物的抓取点、对应每个抓取点的抓取角和抓取宽度，以及每个抓取点的抓取置信度，每个抓取点的标注参数作为该抓取点的抓取点的抓取方案；

或者，还包括将每个抓取点对应的抓取方案进行量化，包括：

采用二值标签拜师每个抓取点的抓取置信度；

将抓取角离散化为具体的数值；

归一化处理抓取宽度。

4.如权利要求1所述的非对称三指抓取器的像素级目标抓取检测方法，其特征是：抓取检测网络的结构，包括依次连接的基础网络、空间金字塔网络、特征融合单元和抓取模型检测单元；

基础网络：设置为深度学习网络的stage；

空间金字塔网络：包括多个并联的空洞卷积；

融合单元：包括依次连接在空间金字塔网络输出端的第一卷积层、上采样层以及合并单元，以及连接基础网络输出端的第二卷积层，所述第二卷积层连接合并单元；

抓取模型检测单元：包括抓取置信度检测单元、抓取角检测单元和抓取宽度检测单元，每个检测单元包括依次连接的卷积层和上采样层。

5.如权利要求1所述的非对称三指抓取器的像素级目标抓取检测方法，其特征是：抓取检测网络对输入的图像进行检测的方法，包括如下步骤：

采用卷积层对输入的处理后图像进行特征提取，获得对应每个图像的初级特征图；

将提出的初级特征图输入至多级空洞卷积层，对初级特征图进行并行计算，提取具有不同感受野大小的高层特征图；

高层特征图与初级特征图进行合并融合，获得不同感受野和不同尺度的特征图；

以不同感受野和不同尺度的特征图为输入，计算识别特征图中每个抓取点对应的有向三角抓取模型的每个参数，选取最大的抓取置信度的抓取方案为最优的有向三角抓取方案。

6.如权利要求1所述的非对称三指抓取器的像素级目标抓取检测方法，其特征是：抓取检测网络的训练过程，包括如下步骤：

获取包含待抓取目标的原始图像；

构建三角抓取模型，采用三角抓取模型针对原始图像中的目标进行抓取点标注，生成抓取方案；

对每张图像及其标注抓取方案进行数据增强和剪裁，获得处理后的图像；

将处理后的图像和获取的可行的抓取方案，输入深度卷积神经网络构建的抓取检测网络进行训练，获得深度卷积神经网络的参数，获得训练好的抓取检测网络。

7.非对称三指抓取器的像素级目标抓取检测系统，其特征是：包括图像采集装置和服务器：

图像采集装置，其被配置为采集包含可用于非对称三指抓取器进行抓取的物体的原始图像，并传送至服务器；

所述服务器，被配置为执行权利要求1-6任一项所述的非对称三指抓取器的像素级目标抓取检测方法的步骤。

8.非对称三指抓取器的像素级目标抓取检测系统，其特征是：

图像获取模块：被配置为用于获取包含待抓取目标的原始图像；

抓取方案标注模块：被配置为用于根据构建好的三角抓取模型，针对原始图像中的目标进行抓取点标注，生成抓取方案；

图像数据处理模块：被配置为用于对每张图像及其标注抓取方案进行数据增强和剪裁，获得处理后的图像；

抓取检测模块：被配置为用于将处理后的图像输入至训练好的由深度卷积神经网络构建的抓取检测网络，输出抓取置信度最大的抓取方案作为最终的有向三角抓取方案。

9.如权利要求8所述的非对称三指抓取器的像素级目标抓取检测系统，其特征是：抓取检测模块，包括：

特征提取模块：被配置为用于采用卷积层对输入的处理后图像进行特征提取，获得对应每个图像的初级特征图；

并行计算模块：被配置为用于将提出的初级特征图输入至多级空洞卷积层，对初级特征图进行并行计算，提取具有不同感受野大小的高层特征图；

图像融合模块：被配置为用于高层特征图与初级特征图进行合并融合，获得不同感受野和不同尺度的特征图；

检测输出模块：被配置为用于以不同感受野和不同尺度的特征图为输入，计算识别特征图中每个抓取点对应的有向三角抓取模型的每个参数，选取最大的抓取置信度的抓取方案为最优的有向三角抓取方案。

10.一种计算机可读存储介质，其特征是，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-6任一项方法所述的步骤。

Images