CN112861667A - 一种基于多类别目标分割的机器人抓取检测方法 - Google Patents

一种基于多类别目标分割的机器人抓取检测方法 Download PDF

Info

Publication number
CN112861667A
CN112861667A CN202110102963.2A CN202110102963A CN112861667A CN 112861667 A CN112861667 A CN 112861667A CN 202110102963 A CN202110102963 A CN 202110102963A CN 112861667 A CN112861667 A CN 112861667A
Authority
CN
China
Prior art keywords
network
target
detection
segmentation
grabbing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110102963.2A
Other languages
English (en)
Inventor
于秀丽
董明帅
尹建芹
魏世民
白宇轩
尹卫民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202110102963.2A priority Critical patent/CN112861667A/zh
Publication of CN112861667A publication Critical patent/CN112861667A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163—Partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于图像分割技术的抓取检测方法，该方法使用图像分割技术，将目标物体从杂乱的场景中分割出来，对只含有目标信息的图像做抓取检测。通过这种方法消除了背景信息对抓取检测的干扰，使得抓取检测为面向对象的抓取检测而不是面向场景的抓取检测。同时通过此种方法提高了模型对不同环境的鲁棒性，减小了模型在抓取检测时对环境特征的依赖，提高了模型对不同背景下物体的检测能力。

Description

一种基于多类别目标分割的机器人抓取检测方法
技术领域
本发明涉及深度学习、图像识别以及机器人控制领域，是一种基于深度学习的机器人抓取检测方法。
背景技术
随着机器人技术的迅速发展，机器人产品已经广泛应用于我们的生产生活中。对机器人来说能够稳定的抓取特定物体是一项重要的功能。因此，对于目标物体的抓取位置检测是一个重要的研究方向。当前机器人抓取位置检测大都采用基于深度学习的图像处理技术，该技术通过对输入图像进行特征提取，然后对提取到的特征做分类和回归得到最终的抓取位置。抓取位置为矩形框以五维数组的形式表示{x,y,θ,w,h}，如图2所示。其中(x,y)为矩形框的中心点坐标，θ为矩形框长边于水平方向的夹角，(w,h)分别表示矩形框的长和宽。该抓取位置的表示方式是为平行夹板抓取器设计。
当前机器人抓取检测是对采集到的整幅图像做抓取检测，检测范围大，检测效率低。并且，杂乱的背景信息会影响抓取检测的精度。
因此，如何提供一种高效的面向对象的抓取检测方案，是当前亟待解决的问题。
发明内容
有鉴于此，本发明提供了一种基于图像分割的机器人抓取检测方法，该方法利用图像分割的原理将场景中的目标物体与背景进行分割，分割完成后删除背景区域的像素信息，只保留目标区域的像素信息做抓取检测。通过这种方法减小了背景信息对抓取检测的干扰，同时降低了抓取检测范围，减小了计算量，实现了面向对象的抓取检测。
在多目标物体场景中，本发明提供了一种既能实现图像分割又可以对物体进行目标识别的分割网络。利用该网络可以根据抓取需求，删除掉除被抓物体外其他所有的像素信息，实现在多目标场景中抓取指定目标。
一方面，本申请实施例提供的一种基于多目标类别分割的机器人抓取检测方法，包括：
多目标类别分割数据集的标定及预处理；
进一步地，所述步骤多目标类别分割数据集的标定中，多目标类别分割数据集的标定，具体包括标定图像数据中的目标物体的mask轮廓，并且标注其类别。在本发明中采用labelme 图像标注工具标注数据集中目标的mask以及标定其类别；
进一步地，所述步骤多目标类别分割数据集的预处理中，对标定完成的数据集进行预处理操作，具体包括特征工程以及数据增强两部分。特征工程是根据labelme工具生成的标签文件对类别信息进行编码及向量化操作，提高模型训练过程的计算效率。数据增强是将做完特征工程的数据按照一定变换规则做扩展，增加训练数据的数量，从而减少模型训练过程中的过拟合现象。常用的数据增强手段有旋转、裁剪、调整亮度、加入高斯噪声等；
搭建类别多目标分割网络；
进一步地，所述步骤搭建类别多目标分割网络中，搭建类别多目标分割网络，网络由编码器、解码器以及跳层连接部分组成如图4所示。其中编码器对输入的图片进行特征提取以及下采样操作，在本发明中采用预训练的ResNet50网络作为编码器的主干网络；解码器对下采样得到的特征图做上采样，同时配合跳层连接融合下采样各层生成的特征。通过这种方式最大程度上保留不同维度的特征为后续像素级分类做准备；
在多目标分割网络像素分类阶段，本模型采用卷积层进行分类操作，不同于传统的采用全连接进行分类的方法。输入图像产生的特征在经过上采样及特征融合后，经过带有n个卷积核的卷积层同时完成图像的分类及分割操作，其中n为类别数量。
使用预处理的数据对类别多目标分割网络进行训练；
进一步地，所述步骤使用预处理的数据对类别多目标分割网络进行训练中，使用预处理的数据对类别多目标分割网络进行训练，在模型训练前，数据集被分为训练集和测试集。通过训练集对模型进行训练，通过测试集测试模型的性能。在模型训练过程中损失函数采用MSE(均方误差)的形式，优化器采用Adam优化器；
进一步地，所述MSE损失函数为：
Figure RE-GDA0003018562690000021
式中，yi为第i个样本的预测值，
Figure RE-GDA0003018562690000022
为第i个样本的真值。
Cornell抓取检测数据集预处理，并区分训练集和测试集；
进一步地，所述步骤Cornell抓取检测数据集预处理，并区分训练集和测试集中，本发明中抓取检测数据集采用当前已经公开的Cornell抓取检测数据集对抓取检测网络进行训练和测试。其中，数据预处理操作包括数据集标签的转换以及数据增强。由于抓取框采用五维抓取表示{x,y,θ,w,h}，抓取检测模型的输出也为上述形式。因此，在模型训练过程中需要将数据集中抓取位置标签转化为五维抓取表示形式，从而便于损失函数的计算。另一方面，本发明中抓取检测模型对抓取角度以分类的方式进行预测，因此，为了方便角度编码及分类预测在数据预处理时将角度数据在[-90,90]范围内等间距的分为19 个类别。在本发明中采用裁剪和旋转对数据集做增强操作。通过数据增强降低抓取检测模型在训练过程中的过拟合风险。
构建抓取检测网络；
进一步地，所述步骤构建抓取检测网络中，在本发明中抓取检测网络在Fast-RCNN基础上构建，如图5所示。采用ResNet-101作为特征提取主干网络，该网络被分为四部分{C1,C2,C3,C4}。其中C1,C2,C3用于输入图像的特征提取，C4用于ROI区域的特征提取。输入图像经过C1,C2,C3模块的特征提取操作后生成(14×14×1024)的特征图，特征图经过抓取建议网络，在特征图每个像素上生成3组不同长宽比和不同面积的抓取位置建议。生成的抓取建议经过NMS(非极大值抑制)根据重叠率过滤掉置信度低的抓取位置建议，保留置信度高的前2000个抓取建议。生成的抓取建议及原始图像的特征图输入到ROI池化层，对抓取建议区域进行池化操作。ROI池化层会将不同尺寸的特征图转换为相同尺寸输出到下一层网络。ROI-Pooling的输出结果经过C4模块做特征提取操作后，经过两个全连接层实现抓取角度θ的分类以及抓取位置(x,y,w,h)的回归，从而最终实现抓取位置的检测。
进一步地，本发明构建的抓取检测网络将抓取位置检测过程分为抓取位置的回归和抓取角度的分类两个部分。在抓取建议网络中，对于所有的抓取建议，我们定义其损失函数为：
Figure RE-GDA0003018562690000031
抓取建议网络的损失函数由两部分组成，其中Lgp_cls是抓取建议分类的交叉熵损失， Lgp_reg是带有权重λ的l1回归损失。同时，我们定义
Figure RE-GDA0003018562690000032
为抓取概率的groundtruth只有0和1 两种情况。变量
Figure RE-GDA0003018562690000033
表示对应
Figure RE-GDA0003018562690000034
抓取位置的ground truth。
对于每个抓取建议的角度采用分类预测的方式，我们定义其损失函数为：
Figure RE-GDA0003018562690000035
其中Lgcr_cls是抓取角度分类的交叉熵损失，Lgcr_reg是带有λ2权重的l1回归损失，用于抓取框的预测，
Figure RE-GDA0003018562690000036
是抓取锚框的无角度的真实值。
因此，本发明中对于抓取框参数的预测及抓取角度的预测采用端到端的方式进行训练，其总损失为：
Ltotal＝Lgpn+Lgcr
使用预处理后的Cornell抓取检测数据集对抓取检测网络进行训练；
进一步地，所述步骤使用预处理后的Cornell抓取检测数据集对抓取检测网络进行训练中，Cornell抓取检测数据集经过预处理后抓取框位置表示和角度数据处理成模型能够识别的向量化数据，从而便于模型的训练。在模型训练过程中损失函数采用Ltotal的总损失，优化器采用随机梯度下降法(SGD)。
将多目标分类网络及抓取检测网络级联，并对网络整体进行测试和验证；
进一步地，所述步骤将多目标分类网络及抓取检测网络级联，并对网络整体进行测试和验证中，将多目标分类网络及抓取检测网络级联，并对网络整体进行测试和验证，该步骤将类别分割网络和抓取检测网络级联起来，多目标分割网络的输出作为抓取检测网络的输入，生成一个两阶段的基于图像分割的抓取检测网络如图1所示。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。通过附图所示，本发明的上述及其它目的、特征和优势将更加清晰。在全部附图中相同的附图标记指示相同的部分。并未刻意按实际尺寸等比例缩放绘制附图，重点在于示出本发明的主旨。
图1为本发明实施例中基于类别分割的抓取检测模型整体结构示意图；
图2为本发明提供的抓取位置表示方法；
图3为本发明提供的一种基于类别分割的抓取检测方法的流程示意图；
图4为本发明实施例中基于卷积神经网络的类别分割模型原理示意图；
图5为本发明实施例中基于深度学习的抓取检测模型原理示意图；
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所述为本申请的实施例的基于类别分割的抓取检测模型整体结构示意图，网络整体结构有两部分组成：多目标类别分割网络以及抓取检测网络。其中多目标类别分割网络用于对输入图像进行目标分割以及分类操作，并且删除背景信息；同时根据图像中物品类别，不同物品只保留该目标区域的像素信息。其中抓取检测网络主要用于物体的抓取检测，实现对输入图像中目标物体抓取位置的预测。
其中，本模型运行环境在Ubuntu16.04下配置，CPU为Inter(R)Core(TM)i9-9900CPU@ 2.30GHZ,GPU为NVIDIA GeForce GTX 2080ti，采用python2.7进行程序编写，在Tensorflow 框架下搭建模型结构。
如图2所示为本申请的实施例抓取位置表示方法示意图，该抓取表示方法适用于平行夹板抓取器。其中(x,y)表示平行夹板中心点位置；w表示平行夹板的开度；θ表示平行夹板张开方向与水平方向的夹角；h表示平行夹板的宽度。
参见图3，为本申请实施例示例性示出的一种基于多目标类别分割的抓取检测方法的流程示意图，所述方法包括以下步骤：
步骤S1：多目标类别分割数据集的标定及预处理。具体包括标定图像数据中的目标物体的mask轮廓，并且标注其类别。在本发明中采用labelme图像标注工具标注数据集中目标的 mask以及标定其类别。
标注完成类别和mask轮廓后对标定后的数据集做预处理操作。具体包括数据增强和特征工程两部分，其中数据增强是通过随机旋转、增加噪声以及裁剪等操作实现数据集数量的扩展；特征工程是根据需求，对目标抓取位置的表示方式进行编码，方便模型的计算。
步骤S2：搭建类别目标分割网络；
具体的，网络由编码器、解码器以及跳层连接部分组成如图4所示。其中编码器对输入的图片进行特征提取以及下采样操作，在本发明中采用预训练的ResNet50网络作为编码器的主干网络；解码器对下采样得到的特征图做上采样，同时配合跳层连接融合下采样各层生成的特征。通过这种方式最大程度上保留不同维度的特征为后续像素级分类做准备；
在多目标分割网络像素分类阶段，本模型采用卷积层进行分类操作，不同于传统的采用全连接进行分类的方法。输入图像产生的特征在经过上采样及特征融合后，经过带有n个卷积核的卷积层同时完成图像的分类及分割操作，其中n为类别数量。
步骤S3：所述使用预处理的数据对类别多目标分割网络进行训练；
具体的，使用步骤S1中预处理的数据对类别目标分割网络进行训练，在模型训练前，数据集被分为训练集和测试集。通过训练集对模型进行训练，通过测试集测试模型的性能。在模型训练过程中损失函数采用MSE(均方误差)的形式，优化器采用Adam优化器。
步骤S4：Cornell抓取检测数据集预处理，并区分训练集和测试集；
具体的，本发明中抓取检测数据集采用当前已经公开的Cornell抓取检测数据集对抓取检测网络进行训练和测试。其中，数据预处理操作包括数据集标签的转换以及数据增强。由于抓取框采用五维抓取表示{x,y,θ,w,h}，抓取检测模型的输出也为上述形式。因此，在模型训练过程中需要将数据集中抓取位置标签转化为五维抓取表示形式，从而便于损失函数的计算。另一方面，本发明中抓取检测模型对抓取角度以分类的方式进行预测，因此，为了方便角度编码及分类预测在数据预处理时将角度数据在[-90,90]范围内等间距的分为19个类别。在本发明中采用裁剪和旋转对数据集做增强操作。通过数据增强降低抓取检测模型在训练过程中的过拟合风险。
步骤S5：构建抓取检测网络；
具体的，本发明中抓取检测网络在Fast-RCNN基础上构建，如图5所示。采用ResNet-101 作为特征提取主干网络，该网络被分为四部分{C1,C2,C3,C4}。其中C1,C2,C3用于输入图像的特征提取，C4用于ROI区域的特征提取。输入图像经过C1,C2,C3模块的特征提取操作后生成 (14×14×1024)的特征图，特征图经过抓取建议网络，在特征图每个像素上生成3组不同长宽比和不同面积的抓取位置建议。生成的抓取建议经过NMS(非极大值抑制)根据重叠率过滤掉置信度低的抓取位置建议，保留置信度高的前2000个抓取建议。生成的抓取建议及原始图像的特征图输入到ROI池化层，对抓取建议区域进行池化操作。ROI池化层会将不同尺寸的特征图转换为相同尺寸输出到下一层网络。ROI-Pooling的输出结果经过C4模块做特征提取操作后，经过两个全连接层实现抓取角度θ的分类以及抓取位置(x,y,w,h)的回归，从而最终实现抓取位置的检测。
步骤S6：所述使用S4中预处理后的Cornell抓取检测数据集对抓取检测网络进行训练；
步骤S7：将多目标分类分割网络及抓取检测网络级联，并对网络整体进行测试和验证；
具体的，将训练好的多目标类别分割网络以及抓取检测网络进行级联，前一级网络的输出作为后一级网络的输入。从而完整的实现基于多目标类别分割的机器人抓取检测模型。网络级联完成后在数据集上测试模型检测精度，在公共抓取检测数据集上的抓取检测精度可达到96.5％高于当前大部分抓取检测模型。
从上述实施例可以看出，方法包括多目标类别数据集的收集、标定及预处理；搭建多目标类别分割模型，利用标定及预处理后的数据对多目标类别分割模型训练及测试；对Cornell 抓取检测数据集进行标定及预处理；搭建抓取检测网络，并利用处理后的Cornell抓取检测数据集对抓取检测网络进行训练和测试；将训练好的类别多目标分割网络和抓取检测网络级联起来，多目标类别分割网络的输出作为抓取检测模型的输入，从而完成整个模型的训练。
该模型在执行抓取检测过程中，摄像头采集的图像经过多目标类别分割网络，去除背景信息，只保留目标物体位置的像素信息；只带有目标位置像素信息的图像进入抓取检测网络，对目标物体做抓取位置的预测。
上述方法与现有技术相比，具有以下优点：
1、现有抓取检测方法是对整个场景的抓取检测，检测范围大，同时杂乱的场景特征复杂，不利于抓取检测模型对物体的抓取检测；另一方面，对人类自身来说，我们在抓取物体时只考虑物体本身的姿态、位置等信息，不会考虑整个场景。本发明提出的基于多目标分割的抓取检测方法，通过目标分割的原理将场景中除目标物体外的其他信息全部删除，从而使抓取检测为面向对对象本身的抓取检测。通过这种方法极大减小了背景信息对抓取检测的干扰提升了抓取检测效率和精度。
2、由于现有抓取检测方法只能对场景中的目标物体做抓取检测，不具备目标检测功能，因此不能在多目标场景中判定生成的抓取框属于哪个物体，所以不具备抓取指定物体的能力。本发明提出的基于类别分割的抓取检测模型在对象分割的同时具备目标识别的能力，可根据抓取需要只保留目标对象。通过这种方法使模型不仅具备准确检测出抓取位置的能力，并且可以根据需求抓取指定的目标物体。
3、本发明所提出的基于类别分割的抓取检测网络，由于删除了除目标物体外的像素信息，使得抓取检测模型在训练过程中只学习目标物体本身的特征，不依赖背景特征。因此，对于不同场景下的物体本模型都可以准确抓取，使得模型对不同抓取场景具备很强的鲁棒性。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种基于类别目标分割的机器人抓取检测方法，其特征在于，所述方法包括：
多目标类别分割数据集的标定及预处理；
搭建类别目标分割网络；
使用预处理的数据对类别目标分割网络进行训练；
Cornell抓取检测数据集预处理，并区分训练集和测试集；
构建抓取检测网络；
使用预处理后的Cornell抓取检测数据集对抓取检测网络进行训练；
将多目标分类网络及抓取检测网络级联，并对网络整体进行测试和验证。
2.根据权利要求1所述的基于类别多目标分割的机器人抓取检测方法，其特征在于，多目标类别分割数据集的标定及预处理，生成初始数据，具体包括：
所述多目标类别数据集为根据抓取检测需求拍摄制作的数据集，以及根据分类和分割的要求对数据集中不同类别对象做相应的标定。
3.根据权利要求1所述的基于类别多目标分割的机器人抓取检测方法，其特征在于，多目标类别分割数据集的预处理，生成初始数据，还包括：
所述多目标类别数据集的预处理，以及生成训练和测试数据。
4.根据权利要求1所述的基于类别多目标分割的机器人抓取检测方法，其特征在于，搭建类别目标分割网络，具体包括：
所述搭建类别多目标分割网络，以及对网络进行优化。
5.根据权利要求1所述的基于类别多目标分割的机器人抓取检测方法，其特征在于，使用预处理的数据对类别目标分割网络进行训练，具体包括：
所述使用预处理后的多目标类别数据集对类别多目标分割网络进行训练。
6.根据权利要求1所述的基于类别多目标分割的机器人抓取检测方法，其特征在于，构建抓取检测网络，具体包括：
所述构建抓取检测网络，以及对网络进行优化和预训练。
7.根据权利要求1所述的基于类别多目标分割的机器人抓取检测方法，其特征在于，使用预处理后的Cornell抓取检测数据集对抓取检测网络进行训练，具体包括：
所述使用预处理后的Cornell抓取检测数据集对抓取检测网络进行训练。
8.根据权利要求7所述的基于类别多目标分割的机器人抓取检测方法，其特征在于，使用预处理后的Cornell抓取检测数据集对抓取检测网络进行训练，还包括：
所述使用预处理后的Cornell抓取检测数据集对抓取检测网络进行训练，以及测试抓取检测模型的性能。
9.根据权利要求8所述的基于类别多目标分割的机器人抓取检测方法，其特征在于，将多目标类别分割网络及抓取检测网络级联，并对网络整体进行测试和验证，具体包括：
所述将多目标分类网络及抓取检测网络级联，以及对级联后的整体网络进行测试和验证。
所述多目标类别分割数据集为根据应用场景采集、制作、标注的数据集；所述所多目标类别分割网络包括目标分割和目标识别两个功能；所述使用预处理的数据对类别多目标分割网络进行训练，包括网络模型的训练及网络参数调整；所述Cornell抓取检测数据集预处理，并区分训练集和测试集，包括Cornell数据集的预处理，以及对数据集进行划分；所述将多目标分类网络及抓取检测网络级联，并对网络整体进行测试和验证，包括将多目标类别分割网络与抓取检测网络进行级联，以及对级联后的网络进行测试和验证。
CN202110102963.2A 2021-01-26 2021-01-26 一种基于多类别目标分割的机器人抓取检测方法 Pending CN112861667A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110102963.2A CN112861667A (zh) 2021-01-26 2021-01-26 一种基于多类别目标分割的机器人抓取检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110102963.2A CN112861667A (zh) 2021-01-26 2021-01-26 一种基于多类别目标分割的机器人抓取检测方法

Publications (1)

Publication Number Publication Date
CN112861667A true CN112861667A (zh) 2021-05-28

Family

ID=76009185

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110102963.2A Pending CN112861667A (zh) 2021-01-26 2021-01-26 一种基于多类别目标分割的机器人抓取检测方法

Country Status (1)

Country Link
CN (1) CN112861667A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113672732A (zh) * 2021-08-19 2021-11-19 胜斗士(上海)科技技术发展有限公司 用于对业务数据进行分类的方法和设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108648233A (zh) * 2018-03-24 2018-10-12 北京工业大学 一种基于深度学习的目标识别与抓取定位方法
CN109658413A (zh) * 2018-12-12 2019-04-19 深圳前海达闼云端智能科技有限公司 一种机器人目标物体抓取位置检测的方法
CN110363815A (zh) * 2019-05-05 2019-10-22 东南大学 一种单视角点云下基于实例分割的机器人抓取检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108648233A (zh) * 2018-03-24 2018-10-12 北京工业大学 一种基于深度学习的目标识别与抓取定位方法
CN109658413A (zh) * 2018-12-12 2019-04-19 深圳前海达闼云端智能科技有限公司 一种机器人目标物体抓取位置检测的方法
CN110363815A (zh) * 2019-05-05 2019-10-22 东南大学 一种单视角点云下基于实例分割的机器人抓取检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李树春: "基于深度学习的机器人多目标抓取研究", 《中国优秀硕士学位论文全文数据库》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113672732A (zh) * 2021-08-19 2021-11-19 胜斗士(上海)科技技术发展有限公司 用于对业务数据进行分类的方法和设备
CN113672732B (zh) * 2021-08-19 2024-04-26 胜斗士(上海)科技技术发展有限公司 用于对业务数据进行分类的方法和设备

Similar Documents

Publication Publication Date Title
CN110837778B (zh) 一种基于骨架关节点序列的交警指挥手势识别方法
CN111553387B (zh) 一种基于Yolov3的人员目标检测方法
CN110321923B (zh) 不同尺度感受野特征层融合的目标检测方法、系统及介质
CN107527007B (zh) 在车辆图像处理系统中检测关注对象的方法
CN111783590A (zh) 一种基于度量学习的多类别小目标检测方法
CN110263786B (zh) 一种基于特征维度融合的道路多目标识别系统及方法
CN111950453A (zh) 一种基于选择性注意力机制的任意形状文本识别方法
CN112364931B (zh) 一种基于元特征和权重调整的少样本目标检测方法及网络系统
CN114627360A (zh) 基于级联检测模型的变电站设备缺陷识别方法
CN104616032A (zh) 基于深度卷积神经网络的多摄像机系统目标匹配方法
CN111898432B (zh) 一种基于改进YOLOv3算法的行人检测系统及方法
CN109766873B (zh) 一种混合可变形卷积的行人再识别方法
CN114332620A (zh) 基于特征融合和注意力机制的机载图像车辆目标识别方法
CN110929685A (zh) 基于混合特征金字塔和混合膨胀卷积的行人检测网络结构
CN111754507A (zh) 一种轻量化的基于强注意力机制的工业缺陷图像分类方法
CN111753682A (zh) 一种基于目标检测算法的吊装区域动态监控方法
CN113724286A (zh) 显著性目标的检测方法、检测设备及计算机可读存储介质
CN112861667A (zh) 一种基于多类别目标分割的机器人抓取检测方法
CN113487610A (zh) 疱疹图像识别方法、装置、计算机设备和存储介质
CN111767919B (zh) 一种多层双向特征提取与融合的目标检测方法
CN116580289A (zh) 一种基于注意力的细粒度图像识别方法
CN114596273B (zh) 利用yolov4网络的陶瓷基板多种瑕疵智能检测方法
CN115953743A (zh) 一种基于改进的yolo模型的车位状态识别方法
CN115937736A (zh) 基于注意力和上下文感知的小目标检测方法
CN112418358A (zh) 一种强化深度融合网络的车辆多属性分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210528