CN112947458A - 基于多模态信息的机器人准确抓取方法及计算机可读介质 - Google Patents

基于多模态信息的机器人准确抓取方法及计算机可读介质 Download PDF

Info

Publication number
CN112947458A
CN112947458A CN202110218016.XA CN202110218016A CN112947458A CN 112947458 A CN112947458 A CN 112947458A CN 202110218016 A CN202110218016 A CN 202110218016A CN 112947458 A CN112947458 A CN 112947458A
Authority
CN
China
Prior art keywords
grabbing
robot
instruction
target
scene image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110218016.XA
Other languages
English (en)
Other versions
CN112947458B (zh
Inventor
尤鸣宇
温佳豪
周洪钧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Dongshi Gongyuan Technology Co ltd
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN202110218016.XA priority Critical patent/CN112947458B/zh
Publication of CN112947458A publication Critical patent/CN112947458A/zh
Application granted granted Critical
Publication of CN112947458B publication Critical patent/CN112947458B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及一种基于多模态信息的机器人准确抓取方法及计算机可读介质，抓取方法包括：步骤1：获取包含待抓取目标的RGB场景图像，同时获取抓取指令；步骤2：对抓取指令进行关键词匹配，根据抓取指令匹配的关键词得到对应的独热编码；步骤3：将RGB场景图像和独热编码输入目标物体定位网络，获取待抓取物体的宽度、旋转角度及其质心的位置坐标；步骤4：控制机器人移动至对应的抓取位置，然后控制机器人末端执行器旋转对应角度，控制机器人末端执行器下降至设定高度后，控制机器人夹爪调整距离执行抓取任务；步骤5：完成机器人的准确抓取。与现有技术相比，本发明具有精度高、鲁棒性好、实现准确抓取、灵活便捷等优点。

Description

基于多模态信息的机器人准确抓取方法及计算机可读介质
技术领域
本发明涉及机器人技术领域，尤其是涉及一种基于多模态信息的机器人准确抓取方法及计算机可读介质。
背景技术
机器人抓取在工业和物流自动化有广泛的应用，也是智能机器人完成各种任务至关重要的操作。目前绝大多数抓取机器人针对的物体种类、位置相对固定，通过对机器人的编程控制来实现抓取。但是应对目标多样、位置变化的情况下，每一次变化就需要对控制程序进行相应的改动，繁琐且低效。因此理想的抓取需要满足广泛的需求，在目标物体种类以及位置发生变化的情况下，仍然能获得目标物体的位置信息，机器人接收到目标物体的位置信息完成抓取。
近年来，随着深度学习的发展，许多基于卷积神经网络的机器人抓取方法被提出。这些方法往往通过对图像中的物体进行定位，获得对象的位置信息，进而完成后续的抓取任务。这些方法，通过输入视觉传感器获得的场景图像，输出物体的位置信息，在物体种类、位置存在多样性的情况下，仍然保持较高的准确性。但是，这些模型存在着以下问题：包含大量的参数，要获得较高的准确性，需要大量的现实场景数据来训练模型，现实场景数据的获取需要耗费大量的时间和精力；大部分方法对场景中的所有物体进行定位，对指定物体的抓取需要对输出的定位结果进行筛选；多数方法并没有考虑物体的旋转角度，仅考虑其质心的位置坐标，对于长宽比较大的物体可能导致抓取任务的失败；多数方法对视觉传感器的位置及拍摄角度要求严格，需要将视觉传感器安装于操作平台的正上方，如中国专利CN110000783A中公开的一种机器人的视觉抓取方法和装置，该专利对视觉传感器的要求就较为严格，视觉传感器设置位置会影响抓取的精确程度，系统的鲁棒性差。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种精度高、鲁棒性好、实现准确抓取、灵活便捷的基于多模态信息的机器人准确抓取方法及计算机可读介质。
本发明的目的可以通过以下技术方案来实现：
一种基于多模态信息的机器人准确抓取方法，所述的抓取方法包括：
步骤1：获取包含待抓取目标的RGB场景图像，同时获取抓取指令；
步骤2：对抓取指令进行关键词匹配，根据抓取指令匹配的关键词得到对应的独热编码；
步骤3：将RGB场景图像和独热编码输入目标物体定位网络，获取待抓取物体的宽度、旋转角度及其质心的位置坐标；
步骤4：控制机器人移动至对应的抓取位置，然后控制机器人末端执行器旋转对应角度，控制机器人末端执行器下降至设定高度后，控制机器人夹爪调整距离执行抓取任务；
步骤5：完成机器人的准确抓取。
优选地，所述的包含待抓取目标的RGB场景图像的获取方法为：
通过视觉传感器获取包含待抓取目标的RGB场景图像，视觉传感器设置于机器人操作平台正前方的一定高度上，视觉传感器的角度使其能够拍摄到包含整个操作平台的场景图像。
优选地，所述的抓取指令为语音形式抓取指令或文本形式抓取指令。
更加优选地，所述的步骤2在进行关键词匹配前要判断抓取指令是语音形式抓取指令还是文本形式抓取指令；
若抓取指令为语音形式抓取指令，则先通过语音识别方法将其转换为对应的文本抓取指令，然后进行关键词匹配，获得对应的独热编码；
若抓取指令为文本形式抓取指令，则直接进行关键词匹配，获得对应的独热编码。
优选地，所述的步骤2具体为：
抓取指令匹配的关键词包括物体类别和倾斜状态；若场景中可能存在的待抓取物体类别总数为n，则每一种类别物体分别对应着一个n维的独热向量；倾斜状态包括正、横和斜三种倾斜状态，每一种倾斜状态分别对应着一个3维的独热向量。根据抓取指令匹配的关键词可以得到一个n维的类别独热编码和一个3维的倾斜状态独热编码，将两者连接得到n+3维的编码。
优选地，所述的目标定位网络包括特征提取模块、目标边框生成模块和定位模块；
所述的特征提取模块包括6个卷积层和4个池化层，特征提取模块的输入为视觉传感器获得的场景图像，输出为场景图像的特征图；
所述的目标边框生成模块包括2个卷积层、1个Flatten层和2个全连接层，目标边框生成模块的输入为特征提取模块提取的特征图和抓取指令对应的n+3维编码向量，输出为(p1,p2,…,p8)，其中(p1,p2)、(p3,p4)、(p5,p6)和(p7,p8)分别为待抓取物体在场景图像中边框四个角的像素坐标；
所述的定位模块包括2个全连接层，定位模块的输入为目标边框声场模块的结果和抓取指令对应的n+3维编码向量，输出为(w,x,y,α)，其中w为对应目标物体的宽度，x为目标物体在坐标系中的x轴坐标值，y为目标物体在坐标系中的y轴坐标值，α为机器人旋转角度。
优选地，所述的目标定位网络采用端到端训练方式，网络的输入为视觉传感器获得的场景图像以及抓取指令对应的编码向量；
训练数据的标签为待抓取物体在场景图像中边框四个角的像素坐标(px1,py1,…,px4,py4)、待抓取物体的宽度、在定义坐标系下的位置坐标以及旋转角度(w,x,y,α)；
进行端到端训练时，网络的损失函数包括：目标边框生成模块预测值(p1,p2,…,p8)和真实值(px1,py1,…,px4,py4)之差的L2范数以及定位模块预测值(a,b,c,d)和真实值(w,x,y,α)之差的L2范数。
更加优选地，所述的损失函数具体为：
loss＝L2((p1,p2,…,p8)-(px1,py1,…,px4,py4))+L2((a,b,c,d)-(w,x,y,α))。
更加优选地，所述的步骤4具体为：
目标定位网络输出目标物体的宽度w、位置坐标(x,y)和旋转角度α后，将物体的相关信息作为参数传输给机器人控制程序，移动机器人至对应的抓取位置(x,y)，然后机器人末端执行器旋转角度α，随后下降至设定高度，二指夹爪调整间距至w，执行抓取任务；
机器人完成抓取后，返回设定的初始位置。
一种计算机可读介质，所述的计算机可读介质内存储有上述任一项所述的机器人准确抓取方法。
与现有技术相比，本发明具有以下有益效果：
一、精度高，鲁棒性好：本发明中的机器人准确抓取方法使用多模态信息作为网络的输入，其中语音和文本携带的信息稳定，网络具有较好的鲁棒性，因此仿真环境中训练好的网络，仅需要少量真实场景数据进行微调，网络输出的结果就能够取得较高的精度，大大降低了网络训练的成本，提高了抓取精度。
二、实现准确抓取：本发明中的机器人准确抓取方法将抓取指令作为输入的一部分使得网络直接输出待抓取物体的宽度、位置坐标和旋转角度，在包含多个物体的复杂场景，能够对大小不同的、倾斜的指定物体实现准确抓取。
三、灵活便捷：本发明中的机器人准确抓取方法可以将视觉传感器设置于机器人操作平台正前方的一定高度上，不需要将视觉传感器安装于操作平台的正上方，使用起来灵活便捷。
附图说明
图1为本发明中机器人准确抓取方法的流程示意图；
图2为本发明实施例中机器人操作平台和视觉传感器的位置示意图；
图3为本发明实施例中场景图像和定义的坐标系的示意图；
图4为本发明实施例中目标定位网络的网络结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
一种基于多模态信息的机器人准确抓取方法，其流程如图1所示，包括：
步骤1：获取包含待抓取目标的RGB场景图像，同时获取抓取指令；
包含待抓取目标的RGB场景图像的获取方法为：
通过视觉传感器获取包含待抓取目标的RGB场景图像，视觉传感器设置于机器人操作平台正前方的一定高度上，视觉传感器的角度使其能够拍摄到包含整个操作平台的场景图像，本实施例中视觉传感器的设置如图2所示，视觉传感器设置于操作平台正前方1m高度1.8m处，摄像头朝向操作平台。
步骤2：对抓取指令进行关键词匹配，根据抓取指令匹配的关键词得到对应的独热编码，抓取指令为语音形式抓取指令或文本形式抓取指令；
在本步骤中首先需要判断抓取指令是语音形式抓取指令还是文本形式抓取指令；若抓取指令为语音形式抓取指令，则先通过语音识别方法将其转换为对应的文本抓取指令，然后进行关键词匹配，获得对应的独热编码；
若抓取指令为文本形式抓取指令，则直接进行关键词匹配，获得对应的独热编码；
抓取指令匹配的关键词包括物体类别和倾斜状态；若场景中可能存在的待抓取物体类别总数为n，则每一种类别物体分别对应着一个n维的独热向量；倾斜状态包括正、横和斜三种倾斜状态，每一种倾斜状态分别对应着一个3维的独热向量。根据抓取指令匹配的关键词可以得到一个n维的类别独热编码和一个3维的倾斜状态独热编码，将两者连接得到n+3维的编码；
本实施例中场景图像如图3所示，待抓取物体类别总数n＝3，包括长木块、中木块和短木块，图中的坐标系即为定义的坐标系，物体的旋转角度定义为其与x轴正方向所形成的夹角，规定逆时针方向为正。
步骤3：将RGB场景图像和独热编码输入目标物体定位网络，获取待抓取物体的宽度、旋转角度及其质心的位置坐标；
目标定位网络WPA的结构如图4所示，包括特征提取模块、目标边框生成模块和定位模块；
所述的特征提取模块包括6个卷积层和4个池化层，特征提取模块的输入为视觉传感器获得的场景图像，输出为场景图像的特征图；
所述的目标边框生成模块包括2个卷积层、1个Flatten层和2个全连接层，目标边框生成模块的输入为特征提取模块提取的特征图和抓取指令对应的n+3维编码向量，输出为(p1,p2,…,p8)，其中(p1,p2)、(p3,p4)、(p5,p6)和(p7,p8)分别为待抓取物体在场景图像中边框四个角的像素坐标；
所述的定位模块包括2个全连接层，定位模块的输入为目标边框声场模块的结果和抓取指令对应的n+3维编码向量，输出为(w,x,y,α)，其中w为对应目标物体的宽度，x为目标物体在坐标系中的x轴坐标值，y为目标物体在坐标系中的y轴坐标值，α为机器人旋转角度；
目标定位网络采用端到端训练方式，网络的输入为视觉传感器获得的场景图像以及抓取指令对应的编码向量；
训练数据的标签为待抓取物体在场景图像中边框四个角的像素坐标(px1,py1,…,px4,py4)、待抓取物体的宽度、在定义坐标系下的位置坐标以及旋转角度(w,x,y,α)；
进行端到端训练时，网络的损失函数包括：目标边框生成模块预测值(p1,p2,…,p8)和真实值(px1,py1,…,px4,py4)之差的L2范数以及定位模块预测值(a,b,c,d)和真实值(w,x,y,α)之差的L2范数；损失函数具体为：
loss＝L2((p1,p2,…,p8)-(px1,py1,…,px4,py4))+L2((a,b,c,d)-(w,x,y,α))；
步骤4：控制机器人移动至对应的抓取位置，然后控制机器人末端执行器旋转对应角度，控制机器人末端执行器下降至设定高度后，控制机器人夹爪调整距离执行抓取任务；
具体为：目标定位网络输出目标物体的宽度w、位置坐标(x,y)和旋转角度α后，将物体的相关信息作为参数传输给机器人控制程序，移动机器人至对应的抓取位置(x,y)，然后机器人末端执行器旋转角度α，随后下降至设定高度，二指夹爪调整间距至w，执行抓取任务；机器人完成抓取后，返回设定的初始位置。
步骤5：完成机器人的准确抓取。
本实施例中通过文本或语音输入抓取指令“抓斜着的长木块”，然后通过上述处理后，最终机器人实现了对长木块的准确抓取。
本实施例还涉及一种计算机可读介质，其特征在于，所述的计算机可读介质内存储有上述机器人准确抓取方法。
本实施例根据实际的操作平台场景，在仿真环境中构建相应的场景，并且在仿真环境中的视觉传感器位置、角度与实际场景中视觉传感器的位置、角度相同，在仿真环境中收集大量训练数据，仿真中抓取指令为对应的编码向量，标签中待抓取物体在场景图象中边框的四角像素坐标，可以通过图像处理技术或者人工标注获得，而待抓取物体的宽度为构建仿真环境的设置值，在定义坐标系下的位置坐标和旋转角度，仿真环境中可以调用函数直接读取。获得大量仿真数据后，对WPA网络进行训练。网络训练好之后，收集少量现实场景数据对WPA网络进行微调，得到最终使用的WPA网络。
本实施例还包括一种计算机可读介质，该计算机可读介质内存储有上述任一项机器人准确抓取方法。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于多模态信息的机器人准确抓取方法，其特征在于，所述的抓取方法包括：
步骤1：获取包含待抓取目标的RGB场景图像，同时获取抓取指令；
步骤2：对抓取指令进行关键词匹配，根据抓取指令匹配的关键词得到对应的独热编码；
步骤3：将RGB场景图像和独热编码输入目标物体定位网络，获取待抓取物体的宽度、旋转角度及其质心的位置坐标；
步骤4：控制机器人移动至对应的抓取位置，然后控制机器人末端执行器旋转对应角度，控制机器人末端执行器下降至设定高度后，控制机器人夹爪调整距离执行抓取任务；
步骤5：完成机器人的准确抓取。
2.根据权利要求1所述的一种基于多模态信息的机器人准确抓取方法，其特征在于，所述的包含待抓取目标的RGB场景图像的获取方法为：
通过视觉传感器获取包含待抓取目标的RGB场景图像，视觉传感器设置于机器人操作平台正前方的一定高度上，视觉传感器的角度使其能够拍摄到包含整个操作平台的场景图像。
3.根据权利要求1所述的一种基于多模态信息的机器人准确抓取方法，其特征在于，所述的抓取指令为语音形式抓取指令或文本形式抓取指令。
4.根据权利要求3所述的一种基于多模态信息的机器人准确抓取方法，其特征在于，所述的步骤2在进行关键词匹配前要判断抓取指令是语音形式抓取指令还是文本形式抓取指令；
若抓取指令为语音形式抓取指令，则先通过语音识别方法将其转换为对应的文本抓取指令，然后进行关键词匹配，获得对应的独热编码；
若抓取指令为文本形式抓取指令，则直接进行关键词匹配，获得对应的独热编码。
5.根据权利要求1所述的一种基于多模态信息的机器人准确抓取方法，其特征在于，所述的步骤2具体为：
抓取指令匹配的关键词包括物体类别和倾斜状态；若场景中可能存在的待抓取物体类别总数为n，则每一种类别物体分别对应着一个n维的独热向量；倾斜状态包括正、横和斜三种倾斜状态，每一种倾斜状态分别对应着一个3维的独热向量；根据抓取指令匹配的关键词可以得到一个n维的类别独热编码和一个3维的倾斜状态独热编码，将两者连接得到n+3维的编码。
6.根据权利要求1所述的一种基于多模态信息的机器人准确抓取方法，其特征在于，所述的目标定位网络包括特征提取模块、目标边框生成模块和定位模块；
所述的特征提取模块包括6个卷积层和4个池化层，特征提取模块的输入为视觉传感器获得的场景图像，输出为场景图像的特征图；
所述的目标边框生成模块包括2个卷积层、1个Flatten层和2个全连接层，目标边框生成模块的输入为特征提取模块提取的特征图和抓取指令对应的n+3维编码向量，输出为(p1,p2,…,p8)，其中(p1,p2)、(p3,p4)、(p5,p6)和(p7,p8)分别为待抓取物体在场景图像中边框四个角的像素坐标；
所述的定位模块包括2个全连接层，定位模块的输入为目标边框声场模块的结果和抓取指令对应的n+3维编码向量，输出为(w,x,y,α)，其中w为对应目标物体的宽度，x为目标物体在坐标系中的x轴坐标值，y为目标物体在坐标系中的y轴坐标值，α为机器人旋转角度。
7.根据权利要求1所述的一种基于多模态信息的机器人准确抓取方法，其特征在于，所述的目标定位网络采用端到端训练方式，网络的输入为视觉传感器获得的场景图像以及抓取指令对应的编码向量；
训练数据的标签为待抓取物体在场景图像中边框四个角的像素坐标(px1,py1,…,px4,py4)、待抓取物体的宽度、在定义坐标系下的位置坐标以及旋转角度(w,x,y,α)；
进行端到端训练时，网络的损失函数包括：目标边框生成模块预测值(p1,p2,…,p8)和真实值(px1,py1,…,px4,py4)之差的L2范数以及定位模块预测值(a,b,c,d)和真实值(w,x,y,α)之差的L2范数。
8.根据权利要求7所述的一种基于多模态信息的机器人准确抓取方法，其特征在于，所述的损失函数具体为：
loss＝L2((p1,p2,…,p8)-(px1,py1,…,px4,py4))+L2((a,b,c,d)-(w,x,y,α))。
9.根据权利要求7所述的一种基于多模态信息的机器人准确抓取方法，其特征在于，所述的步骤4具体为：
目标定位网络输出目标物体的宽度w、位置坐标(x,y)和旋转角度α后，将物体的相关信息作为参数传输给机器人控制程序，移动机器人至对应的抓取位置(x,y)，然后机器人末端执行器旋转角度α，随后下降至设定高度，二指夹爪调整间距至w，执行抓取任务；
机器人完成抓取后，返回设定的初始位置。
10.一种计算机可读介质，其特征在于，所述的计算机可读介质内存储有所述权利要求1～9任一项所述的机器人准确抓取方法。
CN202110218016.XA 2021-02-26 2021-02-26 基于多模态信息的机器人准确抓取方法及计算机可读介质 Active CN112947458B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110218016.XA CN112947458B (zh) 2021-02-26 2021-02-26 基于多模态信息的机器人准确抓取方法及计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110218016.XA CN112947458B (zh) 2021-02-26 2021-02-26 基于多模态信息的机器人准确抓取方法及计算机可读介质

Publications (2)

Publication Number Publication Date
CN112947458A true CN112947458A (zh) 2021-06-11
CN112947458B CN112947458B (zh) 2022-09-20

Family

ID=76246483

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110218016.XA Active CN112947458B (zh) 2021-02-26 2021-02-26 基于多模态信息的机器人准确抓取方法及计算机可读介质

Country Status (1)

Country Link
CN (1) CN112947458B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113433941A (zh) * 2021-06-29 2021-09-24 之江实验室 一种基于多模态知识图谱的低层级机器人任务规划方法
CN116175541A (zh) * 2021-11-28 2023-05-30 梅卡曼德（北京）机器人科技有限公司 抓取控制方法、装置、电子设备和存储介质
CN117773934A (zh) * 2023-12-29 2024-03-29 兰州大学 基于语言指引的物体抓取方法和装置、电子设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108555908A (zh) * 2018-04-12 2018-09-21 同济大学 一种基于rgbd相机的堆叠工件姿态识别及拾取方法
CN108838991A (zh) * 2018-03-06 2018-11-20 南昌工程学院 一种自主类人双臂机器人及其对运动目标的跟踪操作系统
CN109344882A (zh) * 2018-09-12 2019-02-15 浙江科技学院 基于卷积神经网络的机器人控制目标位姿识别方法
CN110014426A (zh) * 2019-03-21 2019-07-16 同济大学 一种利用低精度深度相机高精度抓取形状对称工件的方法
US20200164517A1 (en) * 2018-11-27 2020-05-28 Kindred Systems Inc. Systems and methods for robotic grasp verification

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108838991A (zh) * 2018-03-06 2018-11-20 南昌工程学院 一种自主类人双臂机器人及其对运动目标的跟踪操作系统
CN108555908A (zh) * 2018-04-12 2018-09-21 同济大学 一种基于rgbd相机的堆叠工件姿态识别及拾取方法
CN109344882A (zh) * 2018-09-12 2019-02-15 浙江科技学院 基于卷积神经网络的机器人控制目标位姿识别方法
US20200164517A1 (en) * 2018-11-27 2020-05-28 Kindred Systems Inc. Systems and methods for robotic grasp verification
CN110014426A (zh) * 2019-03-21 2019-07-16 同济大学 一种利用低精度深度相机高精度抓取形状对称工件的方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113433941A (zh) * 2021-06-29 2021-09-24 之江实验室 一种基于多模态知识图谱的低层级机器人任务规划方法
CN116175541A (zh) * 2021-11-28 2023-05-30 梅卡曼德（北京）机器人科技有限公司 抓取控制方法、装置、电子设备和存储介质
CN116175541B (zh) * 2021-11-28 2023-11-10 梅卡曼德（北京）机器人科技有限公司 抓取控制方法、装置、电子设备和存储介质
CN117773934A (zh) * 2023-12-29 2024-03-29 兰州大学 基于语言指引的物体抓取方法和装置、电子设备及介质

Also Published As

Publication number Publication date
CN112947458B (zh) 2022-09-20

Similar Documents

Publication Publication Date Title
CN112947458B (zh) 基于多模态信息的机器人准确抓取方法及计算机可读介质
CN111695562B (zh) 一种基于卷积神经网络的机器人自主抓取方法
CN110222580B (zh) 一种基于三维点云的人手三维姿态估计方法和装置
CN110021033B (zh) 一种基于金字塔孪生网络的目标跟踪方法
CN111723782A (zh) 基于深度学习的视觉机器人抓取方法及系统
CN110929795B (zh) 高速焊线机焊点快速识别与定位方法
CN110766041A (zh) 一种基于深度学习的害虫检测方法
CN111260649B (zh) 一种近距离机械臂感知与校准方法
CN113538574B (zh) 位姿定位方法、装置、设备及计算机可读存储介质
CN115319739B (zh) 一种基于视觉机械臂抓取工件方法
JP7051751B2 (ja) 学習装置、学習方法、学習モデル、検出装置及び把持システム
CN115070781B (zh) 一种物体抓取方法及双机械臂协作系统
CN115330734A (zh) 一种基于三维目标检测和点云缺陷补全的自动化机器人补焊系统
CN113240670B (zh) 带电作业场景下针对待作业物体的图像分割方法
CN112045680B (zh) 一种基于行为克隆的布料码垛机器人控制系统及控制方法
CN116580084B (zh) 一种基于深度学习和点云的工业零件快速位姿估计方法
CN116460851A (zh) 一种视觉迁移的机械臂装配控制方法
TWI788253B (zh) 適應性移動操作設備及方法
Marin et al. Object recognition and incremental learning algorithms for a Web-based telerobotic system
CN115862074A (zh) 人体指向确定、屏幕控制方法、装置及相关设备
CN116206189A (zh) 一种曲面图形标识码及其识别方法
Sun et al. Precise grabbing of overlapping objects system based on end-to-end deep neural network
JP2021061014A (ja) 学習装置、学習方法、学習モデル、検出装置及び把持システム
Bergamini et al. Deep learning-based method for vision-guided robotic grasping of unknown objects
CN114419451B (zh) 电梯内外识别方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240624

Address after: B401, No. 200, Linghu Avenue, Xinwu District, Wuxi City, Jiangsu Province, 214000

Patentee after: Wuxi Meiqiao Electronic Technology Co.,Ltd.

Country or region after: China

Address before: 200092 Siping Road 1239, Shanghai, Yangpu District

Patentee before: TONGJI University

Country or region before: China

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240710

Address after: Room 3-1, Building 11-2, Jinshan Fourth Branch Road, Wuxi Optoelectronic New Material Technology Park, Wuxi City, Jiangsu Province, 214000

Patentee after: WUXI DONGSHI GONGYUAN TECHNOLOGY CO.,LTD.

Country or region after: China

Address before: B401, No. 200, Linghu Avenue, Xinwu District, Wuxi City, Jiangsu Province, 214000

Patentee before: Wuxi Meiqiao Electronic Technology Co.,Ltd.

Country or region before: China

TR01 Transfer of patent right