CN114723775A - 一种基于小样本学习的机器人抓取系统及方法 - Google Patents

一种基于小样本学习的机器人抓取系统及方法 Download PDF

Info

Publication number
CN114723775A
CN114723775A CN202110004574.6A CN202110004574A CN114723775A CN 114723775 A CN114723775 A CN 114723775A CN 202110004574 A CN202110004574 A CN 202110004574A CN 114723775 A CN114723775 A CN 114723775A
Authority
CN
China
Prior art keywords
image
network
processing module
robot
net3
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110004574.6A
Other languages
English (en)
Inventor
雷渠江
桂光超
李秀昊
王雨禾
金锦涛
刘荣强
邓忠辉
王卫军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Institute of Advanced Technology of CAS
Original Assignee
Guangzhou Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Institute of Advanced Technology of CAS filed Critical Guangzhou Institute of Advanced Technology of CAS
Priority to CN202110004574.6A priority Critical patent/CN114723775A/zh
Priority to PCT/CN2021/108568 priority patent/WO2022142297A1/en
Publication of CN114723775A publication Critical patent/CN114723775A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/08—Gripping heads and other end effectors having finger members
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/08—Programme-controlled manipulators characterised by modular constructions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种基于小样本学习的机器人抓取系统及方法，涉及机器人学习技术领域，所述系统包括图像获取模块、图像处理模块、动作处理模块；图像获取模块包括景深摄像头，用于采集图像；图像处理模块包括U‑net3+网络结构；用于处理图像；动作处理模块包括ROS系统和对应的package，用于将图像信息转换为对电机进行控制的控制信息。本发明提出了一种针对遮挡情况优化的分割网络的抓取算法，利用dropblock和Mish激活函数的特性增强U‑net3+网络，设计了针对小样本学习、遮挡情况下的抓取系统，在不同网络，不同情况下均使得网络准确率提升，让网络得到更好的准确性和泛化能力。

Description

一种基于小样本学习的机器人抓取系统及方法
技术领域
本发明涉及机器人学习技术领域，尤其是涉及一种基于小样本学习的机器人抓取系统及方法。
背景技术
随着科技的进步，机器人已经成为日常生产生活中不可缺少的一部分。在智能产业中，机器人抓取作为机器人功能中最基本的动作，在无遮挡、单一物体的定位与抓取等问题上已经得到了很好的实现。但在实际生产中经常会出现待抓取物体互相遮挡情况，例如水果生产运输过程中苹果的抓取装箱。目前的智能机器人并不能很好的处理这一情况。因此，智能机器人在目标物体互相遮挡情况下的抓取成为亟待解决的问题。
基于视觉的机器人抓取任务中的关键环节是图像分割，只有准确有效的定位出目标的位置才能实现快速准确的抓取。图像分割方法主要分为传统方法和深度学习方法，传统方法受所采集的图像质量影响较大，对图片要求较高，需要背景与物体区分度大，图像对比度恰当，多通过颜色特征或者纹理特征进行分割。
随着深度学习的研究与发展，深度学习在机器视觉领域逐渐展现了卓越的能力与适应性，传统方法难以解决的问题，通过深度学习，往往可以得到令人满意的成果。常用的深度学习分割方法有U-net，R-CNN等神经网络方法，但深度学习往往需要大量数据对网络进行训练，训练集的标注又会消耗大量的时间，而生产任务又不允许调试时间过长，因此在尽量小的数据集下取得较好的结果，成为了研究的重点。综上所述，目前对于多目标，遮挡场景的机器人抓取少有研究。但多物体相互遮挡又是生产环境中常见的情况，使用深度学习方法解决这个问题就需要实现高精度的图像分割的网络。
发明内容
有鉴于此，有必要针对上述的问题，提供一种基于小样本学习的机器人抓取系统及方法，采用U-net3+网络，并利用dropblock和Mish激活函数的特性增强网络用于增强遮挡情况的分割效果，从而使得机器人能够较好处理遮挡场景的抓取任务。
为实现上述目的，本发明是根据以下技术方案实现的：
一方面，本发明提供一种基于小样本学习的机器人抓取系统，包括图像获取模块、图像处理模块、动作处理模块；
所述图像获取模块包括景深摄像头，用于采集图像；
所述图像处理模块包括U-net3+网络结构；用于处理图像，完成识别、定位、分割任务；
所述动作处理模块包括ROS(Robot Operating System)系统和对应的package，用于将图像信息转换为对电机进行控制的控制信息。
进一步地，所述U-net3+网络结构包括编码部分和解码部分，解码部分用于实现提取上下文信息，编码部分用于实现按照提取的结果，将目标精准定位；编码部分由卷积层和池化层堆叠而成，解码部分由上采样层、卷积层和BN层堆叠而成；解码部分卷积层的输入为编码部分的全部引出结果的融合，每层输入融合前需要将编码部分的引出结果通过上采样或池化调整至与本层大小一致，然后融合，作为本层的输入，送入卷积层，进行卷积。
进一步地，所述U-net3+网络结构还包括dropblock模块，用于增强网络针对遮挡物体的识别能力。
进一步地，所述U-net3+网络结构的激活函数为Mish激活函数，用于对网络进行优化，使网络得到更好的准确性和泛化能力；所述Mish函数的公式表示为：
Mish＝x×tanh(ln(1+ex)) (1)
其中，Mish为激活函数、tanh是双曲正切函数、ln(x)是自然对数，ex是以e为底的指数函数。
另一方面，本发明提供一种基于小样本学习的机器人抓取方法，包括以下步骤：
步骤S1：图像获取模块对不同程度的遮挡物体以及不同的物体进行图像采集；
步骤S2：图像处理模块对采集到的图像进行预处理，包括图像锐化和图像高斯滤波处理；
步骤S3：图像处理模块使用labelme对图像进行标注，生成json文件，再使用官方api生成png格式的mask图像；将得到的mask图像数据集分为训练集和验证集两部分，采用损失函数Dice Loss来度量两个集合的相似度；
步骤S4：利用图像训练集，采用初始值为0.000001的学习率，对图像处理模块的U-net3+网络进行训练；利用图像测试集对网络进行测试，完成识别、定位、分割任务；
步骤S5：动作处理模块将图像信息转换为对机器人进行控制的控制信息，并控制机器人完成抓取动作。
进一步地，在步骤S3中，所述对图像进行标注包括按照图像中物体的种类进行分类标注，以及按照图像中物体的遮挡情况进行分类标注；所述按照图像中物体的遮挡情况进行分类标注包括被遮挡和未被遮挡两种不同种类。
与现有技术相比，本发明的优点和积极效果至少包括：
本发明提出了一种针对遮挡情况优化的分割网络的抓取算法，利用U-net3+网络，并提出利用dropblock和Mish激活函数的特性增强网络用于增强遮挡情况的分割效果，设计了针对小样本情况下的分割神经网络，设计了针对遮挡情况下多目标的抓取系统，使用了Mish激活函数对网络进行优化，在不同网络，不同情况下均使得网络准确率提升，训练时间减少；让网络在运算是具有更好的表现；且允许输入信息更好的传入网络，从而让网络得到更好的准确性和泛化能力。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的机器人抓取系统示意图；
图2为本发明一种实施例的U-net3+网络的解码部分第三层结构示意图；
图3为本发明一种实施例的U-net3+网络的Mish函数曲线示意图；
图4为本发明一种实施例的网络改进对比示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面将结合附图和具体的实施例对本发明的技术方案进行详细说明。需要指出的是，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明，本发明实施例中所使用的具体参数或数量，仅仅是本发明实施例中所使用的几组可能的或较优的搭配，但并不能因此而理解为对本发明专利范围的限制；应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明的保护范围应以所附权利要求为准。
实施例1
本发明提出了一种针对遮挡情况优化的分割网络的抓取算法。算法主体是在医学分割领域取得良好效果的U-net3+网络，并提出利用dropblock和Mish激活函数的特性增强网络用于增强遮挡情况的分割效果。
本发明的主要内容为：针对小样本情况下的分割神经网络设计；针对遮挡情况下多目标的抓取系统设计；使用Mish激活函数对网络进行优化。
图1提供了本发明的机器人抓取系统示意图，如图1所示，一方面，本发明提供一种基于小样本学习的机器人抓取系统，包括图像获取模块、图像处理模块、动作处理模块；
所述图像获取模块包括景深摄像头，用于采集图像；
所述图像处理模块包括U-net3+网络结构；用于处理图像；
所述动作处理模块包括ROS(Robot Operating System)系统和对应的package，用于将图像信息转换为对电机进行控制的控制信息。
为了更好地解决在目标物遮挡情况下的机器人抓取问题，本发明在U-net3+结构的基础上增加dropblock层来优化网络在目标物被遮挡情况下的表现。U-net3+网络总体分为编码、解码两部分，解码部分主要实现提取上下文信息，编码部分主要实现按照提取的结果，将目标精准定位。Unet3+编码部分的主要结构是卷积层和池化层的堆叠，每层的卷积核为3×3，同时使用ReLU函数激活，卷积核的个数分别是64、128、256、512、1024个，每层卷积后将卷积结果引出，在解码部分使用。解码部分由上采样层、卷积层和BN层堆叠，每层卷积层卷积核为3×3，使用ReLU函数激活，卷积核个数与编码部分相对应，后接BN层。解码部分卷积层的输入为编码部分的全部引出结果的融合。每层输入融合前需要将编码部分的引出结果通过上采样或池化调整至与本层大小一致，然后融合，作为本层的输入，送入卷积层，进行卷积。
图2给出了本发明一种实施例的U-net3+网络的解码部分第三层结构示意图，如图2所示，我们不妨以解码部分第三层举例，该层的输入为前一层的输出与编码部分结果的融合，并且编码部分结果需要根据该层设计输入的大小进行调整。融合后的结果作为该层的输入送入网络进行运算。
此外，原网络结构并没有dropblock模块，针对目标遮挡的情况，提出将dropblock层引入，增强网络针对遮挡物体的识别能力。将dropblock加在encoder model中的每个卷积层的后面。Dropblock模块的主要功能是对区域内的信息进行随机丢弃以提升整个网络对于特征的提取能力，而Dropblock处理后的数据，和物体被遮挡的数据基本一致。从而在网络结构上对被遮挡的物体的分割进行了优化。
图3给出了本发明一种实施例的U-net3+网络的Mish函数曲线示意图，如图3所示，为了对网络进行优化，本发明同时还对网络中的激活函数进行了修改，在网络中引入了Mish激活函数，Mish激活函数在不同网络，不同情况下均使得网络准确率提升，训练时间减少。所述Mish函数的公式表示为：
Mish＝x×tanh(ln(1+ex)) (1)
其中，Mish为激活函数、tanh是双曲正切函数、ln(x)是自然对数，ex是以e为底的指数函数。
因为Mish函数上无边界(即正值可以达到任何高度)避免了封顶而导致的饱和，同时由于小负值的存在，在运算是具有更好的表现，理论上对负值的轻微允许更好的梯度流，而不是像ReLU中那样的硬零边界，最为关键的是Mish函数平滑，允许输入信息更好的传入网络，从而得到更好的准确性和泛化能力。
在U-net3网络中增加dropblock模块，并将网络的激活函数换成Mish激活函数，改进后的网络部分结构对比图如图4所示，图4中左侧为原U-net3网络结构，右侧为改进的网络结构。
实施例2
另一方面，本发明还提供一种基于小样本学习的机器人抓取方法，包括以下步骤：
步骤S1：图像获取模块对不同程度的遮挡物体以及不同的物体进行图像采集；设备平台使用大恒GigE Vision TL高清摄像头，对堆叠的对象进行图像采集，为尽可能还原现实情况，图像中分别使用不同物体作为主体。
步骤S2：为使图像更加清晰方便使用，图像处理模块对采集到的图像进行预处理，包括图像锐化和图像高斯滤波处理。
步骤S3：图像处理模块使用labelme对图像进行标注，生成json文件，再使用官方api生成png格式的mask图像；将得到的mask图像数据集分为训练集和验证集两部分，采用损失函数Dice Loss来度量两个集合的相似度；
为了使机器人可以更好的处理遮挡情况下抓取任务，对数据集的标注采用了新方法，不仅仅是按照物体的种类进行标注，还按照遮挡情况进行分类，每个不同种类分为被遮挡和未被遮挡两种。
将得到的mask图像数据集分成两部分，其中一份是60张的训练集，另一份是20张的验证集。在实验中发现，分类常用的loss函数并不能有效的描述网络训练的真实情况，经常出现准确率与损失值数据很好，但分割结果却不理想的情况。经过多次实验决定采用在医学图像分割中常用的损失函数Dice Loss，Dice Loss的值域为[0,1]，是用来度量两个集合相似度的函数，数值越小代表两个集合越相似，具体公式如下所示：
Figure BDA0002882609680000071
其中，X为图像像素的分类预测值，Y为图像像素的真实分类值。
步骤S4：利用图像训练集，采用初始值为0.000001的学习率，对图像处理模块的U-net3+网络进行训练；利用图像测试集对网络进行测试。为了得到准确的分类结果，避免出现网络计算的准确率很高，而实际结果误差很大的情况，使用了很小的学习率，对网络进行训练，学习率的初始值为0.000001，对网络了进行100epoch的训练。
步骤S5：动作处理模块将图像信息转换为对机器人进行控制的控制信息，并控制机器人完成抓取动作。
与现有技术相比，本发明的优点和积极效果至少包括：
本发明提出了一种针对遮挡情况优化的分割网络的抓取算法，利用U-net3+网络，并提出利用dropblock和Mish激活函数的特性增强网络用于增强遮挡情况的分割效果，设计了针对小样本情况下的分割神经网络，设计了针对遮挡情况下多目标的抓取系统，使用了Mish激活函数对网络进行优化，在不同网络，不同情况下均使得网络准确率提升，训练时间减少；让网络在运算是具有更好的表现；且允许输入信息更好的传入网络，从而让网络得到更好的准确性和泛化能力。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明的保护范围应以所附权利要求为准。

Claims (6)

1.一种基于小样本学习的机器人抓取系统，其特征在于，包括图像获取模块、图像处理模块、动作处理模块；
所述图像获取模块包括景深摄像头，用于采集图像；
所述图像处理模块包括U-net3+网络结构，用于处理图像，完成识别、定位、分割任务；
所述动作处理模块包括ROS系统和对应的package，用于将图像信息转换为对电机进行控制的控制信息。
2.根据权利要求1所述的基于小样本学习的机器人抓取系统，其特征在于，所述U-net3+网络结构包括编码部分和解码部分，解码部分用于实现提取上下文信息，编码部分用于实现按照提取的结果，将目标精准定位；编码部分由卷积层和池化层堆叠而成，解码部分由上采样层、卷积层和BN层堆叠而成；解码部分卷积层的输入为编码部分的全部引出结果的融合，每层输入融合前需要将编码部分的引出结果通过上采样或池化调整至与本层大小一致，然后融合，作为本层的输入，送入卷积层，进行卷积。
3.根据权利要求2所述的基于小样本学习的机器人抓取系统，其特征在于，所述U-net3+网络结构还包括dropblock模块，用于增强网络针对遮挡物体的识别能力。
4.根据权利要求3所述的基于小样本学习的机器人抓取系统，其特征在于，所述U-net3+网络结构的激活函数为Mish激活函数，用于对网络进行优化，使网络得到更好的准确性和泛化能力；所述Mish函数的公式表示为：
Ｍish＝x×tanh(ln(1+ex)) (1)
其中，Mish为激活函数、tanh是双曲正切函数、ln(x)是自然对数，ex是以e为底的指数函数。
5.一种基于小样本学习的机器人抓取方法，其特征在于，包括以下步骤：
步骤S1：图像获取模块对不同程度的遮挡物体以及不同的物体进行图像采集；
步骤S2：图像处理模块对采集到的图像进行预处理，包括图像锐化和图像高斯滤波处理；
步骤S3：图像处理模块使用labelme对图像进行标注，生成json文件，再使用官方api生成png格式的mask图像；将得到的mask图像数据集分为训练集和验证集两部分，采用损失函数Dice Loss来度量两个集合的相似度；
步骤S4：利用图像训练集，采用初始值为0.000001的学习率，对图像处理模块的U-net3+网络进行训练；利用图像测试集对网络进行测试，完成识别、定位、分割任务；
步骤S5：动作处理模块将图像信息转换为对机器人进行控制的控制信息，并控制机器人完成抓取动作。
6.根据权利要求5所述的基于小样本学习的机器人抓取方法，其特征在于，在步骤S3中，所述对图像进行标注包括按照图像中物体的种类进行分类标注，以及按照图像中物体的遮挡情况进行分类标注；所述按照图像中物体的遮挡情况进行分类标注包括被遮挡和未被遮挡两种不同种类。
CN202110004574.6A 2021-01-04 2021-01-04 一种基于小样本学习的机器人抓取系统及方法 Pending CN114723775A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110004574.6A CN114723775A (zh) 2021-01-04 2021-01-04 一种基于小样本学习的机器人抓取系统及方法
PCT/CN2021/108568 WO2022142297A1 (en) 2021-01-04 2021-07-27 A robot grasping system and method based on few-shot learning

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110004574.6A CN114723775A (zh) 2021-01-04 2021-01-04 一种基于小样本学习的机器人抓取系统及方法

Publications (1)

Publication Number Publication Date
CN114723775A true CN114723775A (zh) 2022-07-08

Family

ID=82234481

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110004574.6A Pending CN114723775A (zh) 2021-01-04 2021-01-04 一种基于小样本学习的机器人抓取系统及方法

Country Status (2)

Country Link
CN (1) CN114723775A (zh)
WO (1) WO2022142297A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115631401A (zh) * 2022-12-22 2023-01-20 广东省科学院智能制造研究所 一种视觉感知的机器人自主抓取技能学习系统及方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116452936B (zh) * 2023-04-22 2023-09-29 安徽大学 融合光学和sar影像多模态信息的旋转目标检测方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11325252B2 (en) * 2018-09-15 2022-05-10 X Development Llc Action prediction networks for robotic grasping
CN109584298B (zh) * 2018-11-07 2020-07-28 上海交通大学 面向机器人自主物体拾取任务的在线自学习方法
CN111898699B (zh) * 2020-08-11 2024-05-10 海之韵(苏州)科技有限公司 一种船体目标自动检测识别方法
CN112136505B (zh) * 2020-09-07 2021-11-26 华南农业大学 一种基于视觉选择注意机制的水果采摘顺序规划方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115631401A (zh) * 2022-12-22 2023-01-20 广东省科学院智能制造研究所 一种视觉感知的机器人自主抓取技能学习系统及方法

Also Published As

Publication number Publication date
WO2022142297A1 (en) 2022-07-07

Similar Documents

Publication Publication Date Title
Rao et al. Selfie video based continuous Indian sign language recognition system
CN108549873B (zh) 三维人脸识别方法和三维人脸识别系统
CN110314854B (zh) 一种基于视觉机器人的工件检测分拣的装置及方法
CN109344701B (zh) 一种基于Kinect的动态手势识别方法
WO2020108362A1 (zh) 人体姿态检测方法、装置、设备及存储介质
CN111080693A (zh) 一种基于YOLOv3的机器人自主分类抓取方法
CN110032925B (zh) 一种基于改进胶囊网络与算法的手势图像分割与识别方法
JP2021519962A (ja) 生体検出方法及び装置、機器並びに記憶媒体
CN107705322A (zh) 运动目标识别跟踪方法和系统
CN110569782A (zh) 一种基于深度学习目标检测方法
CN114723775A (zh) 一种基于小样本学习的机器人抓取系统及方法
US20140301608A1 (en) Chemical structure recognition tool
CN109977834B (zh) 从深度图像中分割人手与交互物体的方法和装置
CN109447979A (zh) 基于深度学习和图像处理算法的目标检测方法
Rao et al. Neural network classifier for continuous sign language recognition with selfie video
CN114066987B (zh) 一种相机位姿估计方法、装置、设备及存储介质
CN110852327A (zh) 图像处理方法、装置、电子设备及存储介质
CN116758544A (zh) 一种基于图像处理的晶圆编码识别系统
CN112001317A (zh) 基于语义信息的导线缺陷识别方法、系统及终端设备
CN113681552B (zh) 一种基于级联神经网络的机器人混杂物体五维抓取方法
CN113762159A (zh) 一种基于有向箭头模型的目标抓取检测方法及系统
CN111160372B (zh) 一种基于高速卷积神经网络的大目标识别方法
CN115810106A (zh) 一种复杂环境下茶叶嫩梢品级精准识别方法
Tsai et al. Deep Learning Based AOI System with Equivalent Convolutional Layers Transformed from Fully Connected Layers
CN114964628A (zh) 一种氨气泄漏混洗自注意力轻量化红外检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination