CN113762159A - 一种基于有向箭头模型的目标抓取检测方法及系统 - Google Patents

一种基于有向箭头模型的目标抓取检测方法及系统 Download PDF

Info

Publication number
CN113762159A
CN113762159A CN202111049315.1A CN202111049315A CN113762159A CN 113762159 A CN113762159 A CN 113762159A CN 202111049315 A CN202111049315 A CN 202111049315A CN 113762159 A CN113762159 A CN 113762159A
Authority
CN
China
Prior art keywords
grabbing
model
directional arrow
detection
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111049315.1A
Other languages
English (en)
Other versions
CN113762159B (zh
Inventor
常发亮
王德鑫
刘春生
杨如瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202111049315.1A priority Critical patent/CN113762159B/zh
Publication of CN113762159A publication Critical patent/CN113762159A/zh
Application granted granted Critical
Publication of CN113762159B publication Critical patent/CN113762159B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于机器人相关技术领域，提供了一种基于有向箭头模型的目标抓取检测方法及系统，首先获取包含待抓取目标的原始图像；然后对原始图像进行预处理，得到处理后的图像；最后基于处理后的图像，采用抓取检测模型检测有向箭头抓取方案；其中，抓取检测模型采用基于有向箭头模型进行标注的训练集训练得到，所述有向箭头模型设置箭头的中心为抓取点、箭头的长度为抓取宽度、箭头指向与图像水平轴之间的夹角为抓取角、抓取器的单指侧的尺寸和多指侧并排的尺寸为抓取尺寸，能同时适用于平行板和多指抓取器，具有更高的复用性。

Description

一种基于有向箭头模型的目标抓取检测方法及系统
技术领域
本发明属于机器人相关技术领域，尤其涉及一种基于有向箭头模型的目标抓取检测方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
抓取检测，是为指定的机器人抓取器，获取可用于实际抓取操作的抓取方案的一种技术。在家庭和工业场景中，从桌子上抓取物体是机器人在独立运行或执行人机协作任务时一个非常重要和有挑战性的步骤。一般的，机器人抓取可分为抓取检测、轨迹规划和执行三个步骤。抓取检测是指机器人通过深度像机获取目标的视觉与点云信息，然后利用这些信息预测抓取模型来指导机械臂和抓取器执行抓取任务。近十年来，研究人员提出了大量基于平面抓取模型的机器人抓取检测算法。
发明人发现，目前的方法存在如下问题：
目前的抓取检测方法只适用于单一类型的抓取器。当机器人更换其他类型的抓取器后，原有的抓取检测算法将不再适用，降低了算法的复用性。
现有的抓取检测方法大多借鉴图像处理中的目标检测方法，其用来训练的抓取方案真值无法真实地表现物体的可抓取属性。
发明内容
为了解决上述背景技术中存在的技术问题，本发明提供一种基于有向箭头模型的目标抓取检测方法及系统，设计了有向箭头模型以及由基础层、空洞卷积金字塔层、自适应特征融合层和抓取模型检测层组成的抓取检测模型，对每幅图像输出可行的抓取方案，可同时适用于平行板抓取器和多指抓取器。
为了实现上述目的，本发明采用如下技术方案：
本发明的第一个方面提供一种基于有向箭头模型的目标抓取检测方法，其包括：
获取包含待抓取目标的原始图像；
对原始图像进行预处理，得到处理后的图像；
基于处理后的图像，采用抓取检测模型检测有向箭头抓取方案；
其中，抓取检测模型采用基于有向箭头模型进行标注的训练集训练得到，所述有向箭头模型设置箭头的中心为抓取点、箭头的长度为抓取宽度、箭头指向与图像水平轴之间的夹角为抓取角、抓取器的单指侧的尺寸和多指侧并排的尺寸为抓取尺寸。
进一步的，所述抓取检测模型的训练过程为：
基于所述有向箭头模型，对原始图像中的目标进行抓取点标注，得到有向箭头抓取方案，原始图像及其对应的抓取方案组成训练集；
对训练集中的有向箭头抓取方案进行量化；
对原始图像及其量化后的有向箭头抓取方案进行预处理，获得处理后的训练集；
利用处理后的训练集训练由深度卷积神经网络构建的抓取检测模型，得到训练好的抓取检测模型。
进一步的，所述采用抓取检测模型检测有向箭头抓取方案的具体步骤为：
采用基础层对所述处理后的图像进行特征提取，获得图像的低层特征图；
采用空洞卷积金字塔层对低层特征图进行并行和串行计算，提取具有不同感受野大小的高层特征图；
采用自适应特征融合层对高层特征图与低层特征图进行自适应合并融合，获得不同语义的特征图；
基于不同语义的特征图，采用抓取模型检测层计算特征图中每个抓取点对应的有向箭头抓取模型的参数，选取最大的抓取置信度的抓取方案为最优的有向箭头抓取方案。
进一步的，所述空洞卷积金字塔层包括多个并联和串联的空洞卷积，空洞卷积通过对原始卷积滤波器进行上采样并在滤波器值之间引入零来获得。
进一步的，所述自适应融合层包括两个并行的融合层；
第一融合层按顺序依次融合小尺度特征、低层特征和大尺度特征；第二融合层按顺序依次融合大尺度特征、小尺度特征和低层特征；
所述小尺度特征和大尺度特征为空洞卷积金字塔层的输出特征，所述低层特征为基础层中浅层网络的输出特征。
进一步的，所述抓取模型检测层包括抓取点预测网络；
所述第一融合层的输出送入抓取点预测网络；
所述抓取点预测网络的输出包括像素点属于抓取区域的概率，以及像素点属于非抓取区域的概率。
进一步的，所述抓取模型检测层还包括抓取角预测网络和抓取宽度预测网络；
所述第二融合层的输出送入抓取角预测网络和抓取宽度预测网络；
所述抓取角预测网络输出像素点属于不同抓取角范围的概率；所述抓取宽度预测网络输出抓取宽度。
本发明的第二个方面提供一种基于有向箭头模型的目标抓取检测系统，其包括：
图像获取模块，其被配置为：获取包含待抓取目标的原始图像；
预处理模块，其被配置为：对原始图像进行预处理，得到处理后的图像；
抓取检测模块，其被配置为：基于处理后的图像，采用抓取检测模型检测有向箭头抓取方案；
其中，抓取检测模型采用基于有向箭头模型进行标注的训练集训练得到，所述有向箭头模型设置箭头的中心为抓取点、箭头的长度为抓取宽度、箭头指向与图像水平轴之间的夹角为抓取角、抓取器的单指侧的尺寸和多指侧并排的尺寸为抓取尺寸。
本发明的第三个方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的一种基于有向箭头模型的目标抓取检测方法中的步骤。
本发明的第四个方面提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的一种基于有向箭头模型的目标抓取检测方法中的步骤。
与现有技术相比，本发明的有益效果是：
本发明提供了一种基于有向箭头模型的目标抓取检测方法，其针对平行板和多指抓取器设计了有向箭头抓取模型和抓取检测模型，该有向箭头抓取模型由于其箭头的模式和360°抓取角设计，相比于传统的抓取模型能同时适用于平行板和多指抓取器，具有更高的复用性。
本发明提供了一种基于有向箭头模型的目标抓取检测方法，其设计了像素级目标抓取检测模型，其中由串联和并联的空洞卷积构成的金字塔层可提取具有不同感受野大小的特征图，提高了网络的尺度不变性；自适应特征融合层又将不同尺度和不同层级的特征进行自适应融合，并针对有向箭头抓取模型的不同参数输出包含不同语义的特征图；基于有向箭头抓取模型，抓取模型检测层可为每张图像检测像素级目标抓取方案，同时有效提高了检测准确度。
本发明提供了一种基于有向箭头模型的目标抓取检测方法，其借助深度卷积神经网络自动学习图像特征，从而避免了设计特征提取器以对图像进行手动特征提取的复杂任务。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明实施例一中的有向箭头抓取模型；
图2是本发明实施例一中有向箭头抓取方案标注示意图；
图3是本发明实施例一中像素级目标抓取检测模型结构图；
图4是本发明实施例一的检测方法流程图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
如图1-4所示，本实施例提供了一种基于有向箭头模型的目标抓取检测方法。由于目前还没有同时适用于平行板和多指抓取器的抓取模型，本实施例针对多指抓取器可以简化为具有两个不同尺寸夹爪的平行板抓取器的特点，设计了有向箭头抓取模型。鉴于深度学习在机器视觉领域的广泛应用(跟踪，检测，定位等)以及卷积神经网络在图像处理，特征学习方面的强大性能。本实施例采用传统卷积和空洞卷积进行抓取检测；为了提高网络的尺度不变性，采用空洞卷积金字塔层获取具有不同感受野的特征图，并采用自适应特征融合层将网络中不同尺度、不同层级的特征进行融合；为了完成端到端的抓取检测，设计了抓取模型检测层，直接输出有向箭头抓取方案的每个参数，确定抓取方案，有效提高了检测准确度。
本实施例提出基于有向箭头模型的像素级目标抓取检测方法。该方法针对单一抓取模型同时适用与多种类型的抓取器的技术空缺，利用空洞卷积和传统卷积相结合，构建具有尺度不变性的网络进行端到端的像素级目标抓取检测。
如图4所示，基于有向箭头模型的像素级目标抓取检测方法，包括如下步骤：
步骤1、采用训练集训练抓取检测模型，抓取检测模型采用基于有向箭头模型进行标注的训练集训练得到。抓取检测模型的训练过程，具体包括：
(1)构建有向箭头模型。
如图1所示，为有向箭头模型示意图。
有向箭头模型可以包括抓取点、抓取宽度、抓取角度、抓取尺寸等未知参数。具体的，设置箭头的中心为抓取点，箭头的长度为抓取宽度，箭头指向与图像水平轴之间的夹角为抓取角，抓取尺寸为抓取器的单指侧的尺寸和多指侧并排的尺寸，其中，图像水平轴是指图像的正视图的横向轴线方向。
有向箭头模型表示如式(1)所示：
G＝{x,y,ω,d1,d2,θ} (1)
其中，(x,y)表示箭头的中心为抓取点，ω表示箭头的长度为抓取宽度，θ表示箭头的指向与图像水平轴之间的夹角为抓取角，d1表示多指抓取器的单指侧的尺寸，d2表示多指抓取器的多指侧并排的尺寸，限定所使用的平行板抓取器的尺寸不大于d1。
本实施例有有向箭头模型由于其箭头的模式和360°抓取角设计，相比于传统的抓取模型能同时适用于平行板抓取器和多指抓取器。
(2)根据构建好的有向箭头模型，针对用于训练的原始图像中的目标进行抓取点标注，得到有向箭头抓取方案，原始图像及其对应的抓取方案组成训练集。
对每张原始图像中的物体进行手动标注，获得可行的有向箭头抓取方案。
抓取点标注包括标注图像中的目标物的抓取点、对应每个抓取点的抓取角和抓取宽度，以及每个抓取点的抓取置信度。
抓取点标注的方法，可以为：采用图形框划定标注区域，标注区域内的所有像素点作为抓取点，同一抓取区域内的抓取点标注相同的抓取角、抓取宽度和抓取器尺寸。设置图形框对图像进行标注可以简化像素级的目标抓取方案标注过程，提高检测效率。
为每一个抓取区域标注抓取角、抓取宽度和抓取器尺寸时，保证由这些参数组成的有向箭头模型能同时适用于平行板和多指抓取器。当抓取点一侧的空间较狭窄时，只允许多指抓取器沿一个固定的抓取角实施抓取，即一个抓取点对应一个抓取角度。当抓取点两侧的空间较狭窄时，允许平行板和多指抓取器沿两个对称的抓取角实施抓取，即一个抓取点对应两个抓取角度。此外，对于圆形物体，抓取角不受约束。总之，每个抓取点可以对应一个、两个或无限个有向箭头抓取模型。
标注后标注区域内的各个抓取点对应标注了一个有向箭头抓取模型，即对应每个点都可以标注可行的有向箭头抓取方案，如图2所示，抓取点的位置对应式(1)中的(x,y)，抓取角对应θ，抓取宽度对应ω，抓取器尺寸对应d1和d2，将抓取置信度p作为图像中每个像素点的附加属性，表示像素点可以被抓取的概率。
(3)对训练集中标注的有向箭头抓取方案进行量化。
为便于进行数据处理和检测识别，将标注的抓取方案进行量化，还包括将每个抓取点对应的抓取方案进行量化的步骤：将标注的有向箭头抓取模型转化为对应的数值数据。
量化的方法如下：
抓取置信度：采用二值标签表示每个抓取点的抓取置信度，即将每个像素点的抓取置信度作为一个二值标签，并将标注为抓取点的置信度设置为1，其他点均为0。
抓取角：将抓取角离散化为具体的数值，即每个抓取角在[0,2π]范围内进行标注，可以离散化为[0,120]。
抓取宽度：归一化处理抓取宽度，可以将ω的值按1:150进行缩放，使其位于[0,1]范围内。
抓取器尺寸：将d1和d2的值设置为真实多指抓取器的尺寸在图像坐标系中的映射值。
除标注的抓取点外，其他所有点的抓取角、抓取宽度和抓取尺寸均设为0。
(3)对每张原始图像及其量化后的有向箭头抓取方案进行预处理，获得处理后的训练集。
作为一种实施方式，预处理包括数据增强和剪裁，将图像裁剪为320×320像素图像。
(4)利用处理后的训练集训练由深度卷积神经网络构建的抓取检测模型，获得深度卷积神经网络的参数，得到训练好的抓取检测模型。
步骤2、获取包含待抓取目标的原始图像。
具体的，获取的图像为包含可用于平行板和多指抓取器进行抓取的物体的原始RGB图像。
步骤3：对原始图像进行预处理，得到处理后的图像。
作为一种实施方式，预处理包括数据增强和剪裁，将图像裁剪为320×320像素图像，即训练过程的数据预处理过程与实际检测过程的数据预处理方法一致。
步骤4：基于处理后的图像，采用训练好的抓取检测模型检测有向箭头抓取方案，具体的：将处理后的图像输入至训练好的由深度卷积神经网络构建的抓取检测模型，输出抓取置信度最大的抓取方案作为最终的有向箭头抓取方案。输出的有向箭头抓取方案，可以驱动机械臂和平行板或多指抓取器执行抓取操作，对目标物进行抓取。其中，抓取检测模型采用基于有向箭头模型进行标注的训练集训练得到。
抓取检测模型的结构，可以如图3所示，包括基础层、空洞卷积金字塔层、自适应特征融合层和抓取模型检测层。
基础层：可以由多个传统卷积构成，用来提取初级特征。
作为一种实施方式，基础层可以设置为深度学习网络ResNet(Residual NeuralNetwork，简称为ResNet)的前4个stage，进行特征提取将提取的特征继续传送到空洞卷积金字塔层。
空洞卷积金字塔层：为多尺度网络，采用多级空洞卷积对基础层输出的特征图进行串行和并行计算，提取具有不同感受野大小的特征图。
作为一种实施方式，空间金字塔层包括多个并联和串联的空洞卷积(AtrousConvolution，图3中简称为Atrous Conv)，可以设置4个，空洞卷积金字塔层进行多感受野特征提取，在不增加网络参数的同时增大特征感受野，提高了网络的尺度不变性。空洞卷积通过对原始卷积滤波器进行上采样并在滤波器值之间引入零来获得，允许能够显式地控制在深度卷积神经网络中计算特征响应的分辨率，在不增加网络参数的同时增大特征感受野。
自适应特征融合层：将空洞卷积金字塔层输出的高层特征图与基础层中的低层特征图进行自适应融合，并针对有向箭头抓取模型的不同参数输出包含不同语义的特征图。
如图3所示，自适应融合层包括两个并行的融合层，第一融合层按顺序依次融合小尺度特征、低层特征和大尺度特征。第二融合层按顺序依次融合大尺度特征、小尺度特征和低层特征。其中，小尺度特征和大尺度特征为空洞卷积金字塔层的输出特征，低层特征为基础层中浅层网络的输出特征，可选的，为ResNet网络的第2个stage的输出特征。自适应融合层通过改变融合的顺序来设置起主导作用的特征，第一融合层以最后融合的大尺度特征为主导，提高对聚集的抓取点的预测精度；第二融合层以最后融合的低层特征为主导，提高对物体细节信息的捕捉能力，从而提高对抓取宽度和抓取角的预测精度。最后将融合之后的特征送入抓取模型检测层。
抓取模型检测层：以包含不同语义的特征图为输入，检测有向箭头抓取模型的每个参数，最终将每个参数融合为像素级的目标抓取方案。
作为一种实施方式，每一个检测层包括一个3×3的卷积层、一个3×3的反卷积层和一个4倍的上采样层，最终输出的特征图的尺寸都是320×320，与输入图像相同，实现像素级的目标抓取模型检测。
抓取模型检测层包括抓取点预测网络、抓取角预测网络和抓取宽度预测网络，抓取点预测网络、抓取角预测网络和抓取宽度预测网络均包括依次连接的卷积层和上采样层。自适应融合层中第一融合层的输出送入抓取点预测网络，第二融合层的输出送入抓取角和抓取宽度预测网络，最终输出有向箭头抓取方案的各个参数值。
在特征图的320×320位置中的每个位置，抓取点预测网络的输出包括该位置的像素点属于抓取区域的概率，以及该位置的像素点属于非抓取区域的概率。抓取角预测网络的输出120个值，分别为抓取角属于该抓取角类别所对应抓取角范围的概率，即每个像素属于不同抓取角范围的概率。抓取宽度预测网络输出一个值，即抓取宽度。选取最大的抓取置信度的抓取方案为最优的有向箭头抓取方案。
对抓取角预测网络的输出的解释：抓取角的总的取值范围是[0,360°]，将这360°均匀离散为120个类别，即包含120个不同的抓取角范围，当类别为k时(k∈[0,119])，表示抓取角范围为[k/120*360°,(k+1)/120*360°]。所以神经网络在每个像素点处输出120个值，即对应属于120类的概率，分别表示该像素点处的抓取角属于每个类别对应角度范围的概率。
基于上述的抓取检测模型，步骤4中，将处理后的图像输入至训练好的由深度卷积神经网络构建的抓取检测模型，输出抓取置信度最大的抓取方案作为最终的有向箭头抓取方案，其中，采用抓取检测模型检测有向箭头抓取方案，包括如下步骤：
(1)采用基础层对输入的处理后的图像进行特征提取，获得对应每个图像的低层特征图；
(2)将低层特征图输入至空洞卷积金字塔层，采用空洞卷积金字塔层对低层特征图进行并行和串行计算，提取具有不同感受野大小的高层特征图；
(3)采用自适应特征融合层对高层特征图与低层特征图进行自适应合并融合，获得不同语义的特征图；
(4)以不同语义的特征图为输入，采用抓取模型检测层计算识别特征图中每个抓取点对应的有向箭头抓取模型的每个参数，选取最大的抓取置信度的抓取方案为最优的有向箭头抓取方案。其中，所述有向箭头抓取模型的参数包括抓取点置信度、抓取角和抓取宽度。
为说明本实施例检测方法的效果，进行了具体的实验验证。
在Cornell Grasp Dataset数据集上进行实验。Cornell Grasp Dataset数据集：该数据集共包含878幅图像，每张图像中包含一个物体，均可被平行板和多指抓取器抓取。其图像大小均为480×640像素。随机选择75％作为训练集，其余25％作为测试集。评估模式分为以下两种：
(1)Image-wise split：将图像随机划分为训练集和测试集，测试集中的物体必须同时出现在训练集中。
(2)Object-wise split：将物体实例进行随机划分，测试集中的物体不得出现在训练集中。
采用该领域通用的评估标准进行评价，如果预测的抓取与任一有向箭头抓取方案真值满足以下两个条件，则抓取是正确的：
1)预测的抓取角θ与抓取角真值之差小于30°；
2)由预测有向箭头抓取方案的抓取宽度和d2组成的矩形与抓取矩形真值的交并比(IOU)大于0.25。
根据上述标准计算的测试集在两种评估模式下的准确率如表1所示，采用本实施例的方法都能得到较高的准确率。
表1
Figure BDA0003252136240000131
本实施例中首先针对多指抓取器可以简化为具有两个不同尺寸夹爪的平行板抓取器的特点，构建了箭头抓取模型，通过该模型对图像进行标注，得到训练集，通过基于训练集训练的深度卷积神经网络对图像进行智能化识别，为每张图像检测像素级的目标抓取方案，有效提高了检测准确度。
实施例二
本实施例提供了一种基于有向箭头模型的目标抓取检测系统，其具体包括如下模块：
图像获取模块，其被配置为：获取包含待抓取目标的原始图像，获取包含可用于平行板和多指抓取器进行抓取的物体的原始图像；
预处理模块，其被配置为：对原始图像进行预处理，得到处理后的图像；
抓取检测模块，其被配置为：基于处理后的图像，采用抓取检测模型检测有向箭头抓取方案；
其中，抓取检测模型采用基于有向箭头模型进行标注的训练集训练得到，所述有向箭头模型设置箭头的中心为抓取点、箭头的长度为抓取宽度、箭头指向与图像水平轴之间的夹角为抓取角、抓取器的单指侧的尺寸和多指侧并排的尺寸为抓取尺寸。
训练模块，包括：抓取方案标注模块、图像数据处理模块、数据量化模块和抓取检测模型获取模块：
抓取方案标注模块，其被配置为：基于所述有向箭头模型，对原始图像中的目标进行抓取点标注，包括，标注图像中的目标物的抓取点、对应每个抓取点的抓取角和抓取宽度、以及每个抓取点的抓取置信度，每个抓取点的标注参数作为该抓取点的抓取点的抓取方案，得到有向箭头抓取方案，原始图像及其对应的抓取方案组成训练集；
数据量化模块，其被配置为：对训练集中的有向箭头抓取方案进行量化，包括：采用二值标签表示每个抓取点的抓取置信度；将抓取角离散化为具体的数值；归一化处理抓取宽度；
图像数据处理模块，其被配置为：对原始图像及其量化后的有向箭头抓取方案进行预处理，获得处理后的训练集；
抓取检测模型获取模块，其被配置为：利用处理后的训练集训练由深度卷积神经网络构建的抓取检测模型，得到训练好的抓取检测模型。
抓取检测模型的结构，与实施例1中的网络结构相同，包括基础层、空洞卷积金字塔层、自适应特征融合层和抓取模型检测层：
基础层：设置为深度学习网络的stage；
空洞卷积金字塔层：包括多个并联和串联的空洞卷积；
自适应融合层：包括两个并行的特征融合网络，按顺序依次融合小尺度特征、大尺度特征和低层特征；
抓取模型检测层：包括抓取置信度预测网络、抓取角预测网络和抓取宽度预测网络，每个预测网络包括依次连接的卷积层、反卷积层和上采样层；
可选的，抓取检测模块包括：
特征提取模块，被配置为：采用基础层对所述处理后的图像进行特征提取，获得图像的低层特征图；
串并行计算模块，被配置为：用于将提出的初级特征图输入至多级空洞卷积层，对初级特征图进行串行与并行计算，提取具有不同感受野大小的高层特征图；
图像融合模块，被配置为：用于高层特征图与初级特征图进行合并融合，获得包含不同语义的特征图；
检测输出模块，被配置为：用于以不同语义的特征图为输入，计算识别特征图中每个抓取点对应的有向箭头抓取模型的每个参数，选取最大的抓取置信度的抓取方案为最优的有向箭头抓取方案。
此处需要说明的是，本实施例中的各个模块与实施例一中的各个步骤一一对应，其具体实施过程相同，此处不再累述。
实施例三
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例一所述的一种基于有向箭头模型的目标抓取检测方法中的步骤。
实施例四
本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例一所述的一种基于有向箭头模型的目标抓取检测方法中的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于有向箭头模型的目标抓取检测方法，其特征在于，包括：
获取包含待抓取目标的原始图像；
对原始图像进行预处理，得到处理后的图像；
基于处理后的图像，采用抓取检测模型检测有向箭头抓取方案；
其中，抓取检测模型采用基于有向箭头模型进行标注的训练集训练得到，所述有向箭头模型设置箭头的中心为抓取点、箭头的长度为抓取宽度、箭头指向与图像水平轴之间的夹角为抓取角、抓取器的单指侧的尺寸和多指侧并排的尺寸为抓取尺寸。
2.如权利要求1所述的一种基于有向箭头模型的目标抓取检测方法，其特征在于，所述抓取检测模型的训练过程为：
基于所述有向箭头模型，对原始图像中的目标进行抓取点标注，得到有向箭头抓取方案，原始图像及其对应的抓取方案组成训练集；
对训练集中的有向箭头抓取方案进行量化；
对原始图像及其量化后的有向箭头抓取方案进行预处理，获得处理后的训练集；
利用处理后的训练集训练由深度卷积神经网络构建的抓取检测模型，得到训练好的抓取检测模型。
3.如权利要求1所述的一种基于有向箭头模型的目标抓取检测方法，其特征在于，所述采用抓取检测模型检测有向箭头抓取方案的具体步骤为：
采用基础层对所述处理后的图像进行特征提取，获得图像的低层特征图；
采用空洞卷积金字塔层对低层特征图进行并行和串行计算，提取具有不同感受野大小的高层特征图；
采用自适应特征融合层对高层特征图与低层特征图进行自适应合并融合，获得不同语义的特征图；
基于不同语义的特征图，采用抓取模型检测层计算特征图中每个抓取点对应的有向箭头抓取模型的参数，选取最大的抓取置信度的抓取方案为最优的有向箭头抓取方案。
4.如权利要求3所述的一种基于有向箭头模型的目标抓取检测方法，其特征在于，所述空洞卷积金字塔层包括多个并联和串联的空洞卷积，空洞卷积通过对原始卷积滤波器进行上采样并在滤波器值之间引入零来获得。
5.如权利要求3所述的一种基于有向箭头模型的目标抓取检测方法，其特征在于，所述自适应融合层包括两个并行的融合层；
第一融合层按顺序依次融合小尺度特征、低层特征和大尺度特征；第二融合层按顺序依次融合大尺度特征、小尺度特征和低层特征；
所述小尺度特征和大尺度特征为空洞卷积金字塔层的输出特征，所述低层特征为基础层中浅层网络的输出特征。
6.如权利要求5所述的一种基于有向箭头模型的目标抓取检测方法，其特征在于，所述抓取模型检测层包括抓取点预测网络；
所述第一融合层的输出送入抓取点预测网络；
所述抓取点预测网络的输出包括像素点属于抓取区域的概率，以及像素点属于非抓取区域的概率。
7.如权利要求5所述的一种基于有向箭头模型的目标抓取检测方法，其特征在于，所述抓取模型检测层还包括抓取角预测网络和抓取宽度预测网络；
所述第二融合层的输出送入抓取角预测网络和抓取宽度预测网络；
所述抓取角预测网络输出像素点属于不同抓取角范围的概率；所述抓取宽度预测网络输出抓取宽度。
8.一种基于有向箭头模型的目标抓取检测系统，其特征在于，包括：
图像获取模块，其被配置为：获取包含待抓取目标的原始图像；
预处理模块，其被配置为：对原始图像进行预处理，得到处理后的图像；
抓取检测模块，其被配置为：基于处理后的图像，采用抓取检测模型检测有向箭头抓取方案；
其中，抓取检测模型采用基于有向箭头模型进行标注的训练集训练得到，所述有向箭头模型设置箭头的中心为抓取点、箭头的长度为抓取宽度、箭头指向与图像水平轴之间的夹角为抓取角、抓取器的单指侧的尺寸和多指侧并排的尺寸为抓取尺寸。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的一种基于有向箭头模型的目标抓取检测方法中的步骤。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一项所述的一种基于有向箭头模型的目标抓取检测方法中的步骤。
CN202111049315.1A 2021-09-08 2021-09-08 一种基于有向箭头模型的目标抓取检测方法及系统 Active CN113762159B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111049315.1A CN113762159B (zh) 2021-09-08 2021-09-08 一种基于有向箭头模型的目标抓取检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111049315.1A CN113762159B (zh) 2021-09-08 2021-09-08 一种基于有向箭头模型的目标抓取检测方法及系统

Publications (2)

Publication Number Publication Date
CN113762159A true CN113762159A (zh) 2021-12-07
CN113762159B CN113762159B (zh) 2023-08-08

Family

ID=78793914

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111049315.1A Active CN113762159B (zh) 2021-09-08 2021-09-08 一种基于有向箭头模型的目标抓取检测方法及系统

Country Status (1)

Country Link
CN (1) CN113762159B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114888801A (zh) * 2022-05-16 2022-08-12 南京邮电大学 一种基于离线策略强化学习的机械臂控制方法及系统
CN117656083A (zh) * 2024-01-31 2024-03-08 厦门理工学院 七自由度抓取姿态生成方法、装置、介质及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101799477A (zh) * 2008-11-17 2010-08-11 希森美康株式会社 运送装置及运用此装置的标本分析仪
WO2019232830A1 (zh) * 2018-06-06 2019-12-12 平安科技（深圳）有限公司 机场异物检测方法、装置、计算机设备及存储介质
CN110717532A (zh) * 2019-09-27 2020-01-21 广东工业大学 基于SE-RetinaGrasp模型的机器人目标抓取区域实时检测方法
WO2020119338A1 (zh) * 2018-12-12 2020-06-18 深圳前海达闼云端智能科技有限公司 机器人目标物体抓取位置检测的方法
CN112025693A (zh) * 2020-09-11 2020-12-04 山东大学 非对称三指抓取器的像素级目标抓取检测方法及系统
CN113056745A (zh) * 2020-03-14 2021-06-29 唐锐 一种倾斜矩形范围框标注方式

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101799477A (zh) * 2008-11-17 2010-08-11 希森美康株式会社 运送装置及运用此装置的标本分析仪
WO2019232830A1 (zh) * 2018-06-06 2019-12-12 平安科技（深圳）有限公司 机场异物检测方法、装置、计算机设备及存储介质
WO2020119338A1 (zh) * 2018-12-12 2020-06-18 深圳前海达闼云端智能科技有限公司 机器人目标物体抓取位置检测的方法
CN110717532A (zh) * 2019-09-27 2020-01-21 广东工业大学 基于SE-RetinaGrasp模型的机器人目标抓取区域实时检测方法
CN113056745A (zh) * 2020-03-14 2021-06-29 唐锐 一种倾斜矩形范围框标注方式
CN112025693A (zh) * 2020-09-11 2020-12-04 山东大学 非对称三指抓取器的像素级目标抓取检测方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
卢智亮;林伟;曾碧;刘瑞雪;: "机器人目标抓取区域实时检测方法", 计算机工程与应用, no. 19 *
李秀智;李家豪;张祥银;彭小彬;: "基于深度学习的机器人最优抓取姿态检测方法", 仪器仪表学报, no. 05 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114888801A (zh) * 2022-05-16 2022-08-12 南京邮电大学 一种基于离线策略强化学习的机械臂控制方法及系统
CN114888801B (zh) * 2022-05-16 2023-10-13 南京邮电大学 一种基于离线策略强化学习的机械臂控制方法及系统
CN117656083A (zh) * 2024-01-31 2024-03-08 厦门理工学院 七自由度抓取姿态生成方法、装置、介质及设备
CN117656083B (zh) * 2024-01-31 2024-04-30 厦门理工学院 七自由度抓取姿态生成方法、装置、介质及设备

Also Published As

Publication number Publication date
CN113762159B (zh) 2023-08-08

Similar Documents

Publication Publication Date Title
CN109800864B (zh) 一种基于图像输入的机器人主动学习方法
CN110135503B (zh) 一种装配机器人零件深度学习识别方法
CN111275063B (zh) 一种基于3d视觉的机器人智能抓取控制方法及系统
CN111080693A (zh) 一种基于YOLOv3的机器人自主分类抓取方法
CN111695562B (zh) 一种基于卷积神经网络的机器人自主抓取方法
CN112025693B (zh) 非对称三指抓取器的像素级目标抓取检测方法及系统
CN113762159B (zh) 一种基于有向箭头模型的目标抓取检测方法及系统
CN113963251A (zh) 一种海洋生物检测方法、系统和设备
CN111428815A (zh) 一种基于Anchor angle机制的机械臂抓取检测方法
CN114131603B (zh) 基于感知增强和场景迁移的深度强化学习机器人抓取方法
CN113487610B (zh) 疱疹图像识别方法、装置、计算机设备和存储介质
CN114029941B (zh) 一种机器人抓取方法、装置、电子设备及计算机介质
Dolezel et al. Memory efficient grasping point detection of nontrivial objects
Rogelio et al. Object detection and segmentation using Deeplabv3 deep neural network for a portable X-ray source model
CN112975957A (zh) 目标提取方法、系统、机器人及存储介质
CN116664843B (zh) 一种基于rgbd图像和语义分割的残差拟合抓取检测网络
Wang et al. Unsupervised representation learning for visual robotics grasping
CN112288809A (zh) 一种用于多物体复杂场景的机器人抓取检测方法
CN117037062A (zh) 一种目标物体抓取方法、系统、电子设备及存储介质
CN113223037B (zh) 一种面向大规模数据的无监督语义分割方法及系统
Shishkin et al. Implementation of yolov5 for detection and classification of microplastics and microorganisms in marine environment
CN115019202A (zh) 一种应用于服务型移动机械臂的分步式抓取检测方法
Ogas et al. Object grasping with a robot arm using a convolutional network
CN114211490B (zh) 一种基于Transformer模型的机械臂抓手位姿预测方法
Peng et al. An improved algorithm for detection and pose estimation of texture-less objects

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant