CN110211180A - 一种基于深度学习的机械臂自主抓取方法 - Google Patents

一种基于深度学习的机械臂自主抓取方法 Download PDF

Info

Publication number
CN110211180A
CN110211180A CN201910405311.9A CN201910405311A CN110211180A CN 110211180 A CN110211180 A CN 110211180A CN 201910405311 A CN201910405311 A CN 201910405311A CN 110211180 A CN110211180 A CN 110211180A
Authority
CN
China
Prior art keywords
mechanical arm
image
deep learning
target
crawl
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910405311.9A
Other languages
English (en)
Inventor
辛菁
程晗
刘丁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN201910405311.9A priority Critical patent/CN110211180A/zh
Publication of CN110211180A publication Critical patent/CN110211180A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Abstract

一种基于深度学习的机械臂自主抓取方法，包括以下步骤：步骤1、利用视觉相机捕获一帧图像；步骤2、识别与检测机械臂操作台上所有的未知物体；步骤3、根据识别与检测结果随机地选择机械臂的抓取目标；步骤4、检测用户所选的抓取目标，并获得抓取目标的图像特征；步骤5、获得图像特征对应的深度值；步骤6、将图像特征从2维的图像坐标系下转化为3维世界坐标系下，获得最优抓取位置；步骤7、获得场景的表面法向量；步骤8、根据法向量估计结果得到抓取目标对应图像特征的法向量，获得机械臂的最优抓取姿态；步骤9、控制机械臂完成自主抓取任务；可完成高精度的自主抓取任务；具有鲁棒性强、智能化水平高的特点。

Description

一种基于深度学习的机械臂自主抓取方法
技术领域
本发明属于机器人智能控制技术领域，具体涉及一种基于深度学习的机械臂自主抓取方法。
背景技术
机械臂自主抓取技术是机器人领域的研究热点以及难点之一。目前，机械臂抓取技术已经广泛应用在智能物流分拣、智能仓储、智能家居等领域。在复杂的环境中，获得高精度的抓取目标位姿是机械臂成功完成自主抓取任务的关键，这对机械臂的智能化水平提出了更高的要求。视觉传感器因其非接触、能提供丰富的信息而广泛的应用在机器人技术中，因此将视觉传感器引入机械臂抓取系统，将图像处理与机械手控制相结合，利用先进的图像处理技术获取抓取目标的最优位姿，在此基础上设计视觉控制器，对于提高机械臂抓取的智能化水平、扩展其应用范围具有重要的理论研究意义和广阔的实际应用前景。
在现代工业自动化生产中，传统的工业机器人已经得到了广泛应用，但目前大多数机器人系统都是通过示教器或者离线编程方式工作的，缺乏对环境的感知和应变能力。相比较传统机器人，视觉传感器的引入可极大地提高机械臂系统对环境的感知能力。但是目前，机器人视觉抓取任务中抓取目标位姿的确定一般是通过人工标记进行的，这样虽然大大提高了图像处理过程的速度，但很难应用于类似家庭、安保、物流等非结构化环境中机械臂自主抓取。因此，目前实现机械臂对未知物体的自主抓取仍然是一个极具挑战性的任务。
与传统的特征提取方法相比较，经过深度学习得到的特征具有更好的鲁棒性，其能够较好的适应训练集中未曾出现的新物体。近几年，深度学习得到了迅速的发展,提出了很多分类性能优秀的网络模型，例如，R-CNN,Fast R-CNN、Faster R-CNN等。这些算法可以针对不同的目标，利用训练好的网络结构使用相同的模型参数，同时完成对多个目标的识别及检测任务。这对于提高机械臂对环境的智能感知能力，进而提高整个机械臂对未知物体自主抓取的鲁棒性和准确性具有重要的意义。
发明内容
为克服上述现有技术的不足，本发明的目的在于提供一种基于深度学习的机械臂自主抓取方法，解决了上述现有技术不能很好的实现非结构化环境下机械臂对未知目标的高鲁棒、自主抓取问题，提高了机械臂对环境的智能感知能力，进而提高整个机械臂对未知物体自主抓取的鲁棒性和准确性，具有抓取准确的特点。
为实现上述目的，本发明采取的技术方案是：一种基于深度学习的机械臂自主抓取方法，包括以下步骤：
步骤1，利用视觉相机捕获一帧图像；
步骤2，利用基于深度学习的多目标识别与检测网络，识别与检测机械臂操作台上所有的未知物体；
步骤3，用户根据识别与检测结果随机地选择机械臂的抓取目标；
步骤4，利用基于深度学习的目标识别与检测网络，检测用户所选择的抓取物体，并获得抓取目标的图像特征；
步骤5，利用双目测距获得图像特征对应的深度值；
步骤6，利用坐标转换将图像特征从2维的图像坐标系下转化为3维世界坐标系下，从而获得机械臂的最优抓取位置；
步骤7，利用基于卷积神经网络的法向量估计网络获得场景的表面法向量；
步骤8，根据法向量估计结果可以得到抓取目标对应图像特征的法向量，进而获得机械臂的最优抓取姿态；
步骤9，基于此，计算机器人控制量以控制机械臂，完成基于视觉的机械臂自主抓取任务。
步骤1中利用视觉相机捕获机器人操作台上一帧图像，使机械臂的操作目标在摄像机视野范围内。
步骤2所述的基于深度学习的目标识别与检测网络采用的是YOLO9000网络模型，用于获得机器人操作台上所有物体的类别属性和位置信息。
步骤3中的具体方法为：用户根据识别与检测的物体的类别属性选择自己感兴趣的目标，作为机械臂的抓取目标。
步骤4所述的图像特征定义为抓取目标的中心位置，其计算公式如下：式中，(u1,v1)为抓取目标框的左下角的像素坐标，(u2,v2)为右下角的像素坐标，(u,v)为图像特征点。
步骤5的具体做法是：双目测距的步骤包括4步：相机标定、双目校正、双目匹配、计算深度信息，深度信息的计算公式为：
其中，焦距f和摄像头中心距B可通过标定得到，XR-XT为视差。
步骤7的基于卷积神经网络的法向量估计网络采用多尺度的卷积神经网络，用于获得抓取目标对应图像特征的法向量该网络模型分为3个尺度：尺度1：用来提取特征图；尺度2：获得预测图；尺度3：获得高分辨率的预测图片。
步骤8的具体做法是：根据步骤7获得的法向量进而获得抓取目标的俯仰角为：
式中，b为法向量在y轴上的投影，c为法向量在y轴上的投影,
根据抓取目标的俯仰角可求得6自由度机械臂末端关节角为：
其中，φ1,φ2,φ3,φ4,φ5,为其他5个关节的角度。
步骤9的具体方法为：利用以太网向机械臂控制柜发送相应的控制信息，控制机械臂实现自主抓取任务。
本发明的有益效果是：
1)本发明将基于深度学习的目标识别与检测技术应用到抓取目标最优位置确定中。经过深度学习得到的特征能够较好的适应训练集中未曾出现的新物体，且能够在复杂多变的环境下检测到抓取目标，提高了机械臂抓取位置获取的精确性和鲁棒性。
2)本发明将基于深度学习的法向量估计网络应用到获取机械臂抓取目标的表面法向量上，进而获得机械臂的最优抓取姿态。在物体种类繁多、遮挡严重、光照变化等复杂多变的环境下，此方法仍然能够准确的估计出抓取目标的法向量，提高了机械臂抓取姿态获取的精确性和鲁棒性。
3)本发明提出一种基于深度学习的机械臂自主抓取方法，根据目标识别与检测结果人机交互地随机选择抓取目标。因此，本发明提高了机械手抓取的智能化水平
附图说明
图1是本发明的基于深度学习的机械臂自主抓取系统框图。
图2是本发明的目标识别与检测网络原理框图。
图3是双目测距基本原理。
图4是坐标转换过程。
图5是基于深度学习的曲面法向量估计网络图。
图6是本发明的流程图。
具体实施方式
以下结合附图和实施例对本发明作进一步说明。
本发明提供了一种基于深度学习的机械臂自主抓取方法，其总体系统框图如图1所示。
基于深度学习的机械臂自主抓取方法包括以下步骤：
步骤1、利用视觉相机捕获机器人操作台上一帧图像,并且保证机械臂的操作目标在摄像机视野范围内；
步骤2、利用基于深度学习的多目标识别与检测网络，识别与检测机械臂操作台上所有的未知物体；
步骤3、用户根据识别与检测结果随机地选择机械臂的抓取目标；
步骤4、利用基于深度学习的目标识别与检测网络检测用户所选择的抓取物体，并获得抓取目标的图像特征；
步骤4所述的图像特征定义为抓取目标的中心位置，其计算公式如下：式中，(u1,v1)为抓取目标框的左下角的像素坐标，(u2,v2)为右下角的像素坐标，(u,v)为图像特征点。
步骤5、利用双目测距获得图像特征对应的深度值；
步骤6、利用坐标转换将图像特征从2维的图像坐标系下转化为3维世界坐标系下，从而获得机械臂的最优抓取位置；
步骤7、利用基于卷积神经网络的法向量估计网络获得场景的表面法向量；
步骤8、根据法向量估计结果可以得到抓取目标对应图像特征的法向量，进而获得机械臂的最优抓取姿态；
步骤9、基于此，向机械臂控制柜发送相应的控制信息以控制机械臂完成基于视觉的机械臂自主抓取任务
在本发明中，其中步骤2-4使用的基于深度学习的目标识别与检测网络模型如图2所示，其过程如下：首先，经过基于深度学习的目标识别与检测网络对机械臂操作台上的物体进行识别与检测；然后，判断用户是否选择抓取目标，如果没有选择，则用户选择抓取目标，如果用户已经选择抓取目标，则直接利用基于深度学习的目标识别与检测网络检测抓取目标并获得其图像特征点。
在本发明中，其中步骤5使用双目测距获得抓取目标图像特征对应的深度值，其原理图如图3所示。双目测距主要包括以下4个步骤：相机标定、双目校正、双目匹配、计算深度信息。如图3所示，P是待测物体上的某一点，OR与OT分别是两个相机的光心，点P在两个相机感光器上的成像点分别为P和P’(相机的成像平面经过旋转后放在了镜头前方)，f为相机焦距，B为两相机中心距，Z为我们要求得的深度信息。
设点P到点P’的距离为D,则D＝B-(XR-XT)，
根据相似三角形原理可得：
因此深度Z为：
其中，焦距f和摄像头中心距B可通过标定得到，XR-XT为视差。
在本发明中，其中步骤6使用坐标转换将图像特征从2维的图像坐标系下转化为3维世界坐标系下，其坐标转换关系如图4所示。首先，将图像特征从2维图像坐标系下转换为3维相机坐标系下；然后，将3维图像坐标系下的坐标转换为3维世界坐标系下。
在本发明中，其中步骤7使用的基于深度学习的曲面法向量估计网络模型如图5所示，该网络模型分为3个尺度：
尺度1：其使用VGG或者AlexNet的网络来提取特征图，然后利用1×1的卷积核来降维，减少计算数量。
尺度2：尺度1的输出和原始图像作为尺度2的输入，得到预测图。
尺度3：将尺度2的输出和原始图片作为尺度3的输入使得预测图片的分辨率变高。
通过此网络可以在复杂环境中获得抓取目标图像特征对应的三维空间法向量
因此，抓取目标的俯仰角为：式中，b为法向量在y轴上的投影，c为法向量在y轴上的投影；
根据抓取目标的俯仰角可求得6自由度机械臂末端关节角为:
其中，φ1,φ2,φ3,φ4,φ5,为其他5个关节的角度。
在本发明中，其中步骤9通过以太网向机械臂控制柜发送相应的控制信息以控制机械臂完成基于视觉的机械臂自主抓取任务。
本发明将基于深度学习的目标识别与检测应用到获取机械臂抓取目标图像特征上，从而获得机械臂的最优抓取位置，即，3维空间的位置信息；本发明将基于深度学习的法向量估计网络应用到获取机械臂抓取目标的表面法向量上，从而获得机械臂的最优抓取姿态，即，3维空间的姿态信息。从而，使得机械臂可以在复杂的环境下完成自主抓取任务。

Claims (7)

1.一种基于深度学习的机械臂自主抓取方法，其特征在于，包括以下步骤：
步骤1，利用视觉相机捕获一帧图像；
步骤2，利用基于深度学习的多目标识别与检测网络，识别与检测机械臂操作台上所有的未知物体；
步骤3，用户根据识别与检测结果随机地选择机械臂的抓取目标；
步骤4，利用基于深度学习的目标识别与检测网络，检测用户所选择的抓取物体，并获得抓取目标的图像特征；
步骤5，利用双目测距获得图像特征对应的深度值；
步骤6，利用坐标转换将图像特征从2维的图像坐标系下转化为3维世界坐标系下，从而获得机械臂的最优抓取位置；
步骤7，利用基于卷积神经网络的法向量估计网络获得场景的表面法向量；
步骤8，根据法向量估计结果可以得到抓取目标对应图像特征的法向量，进而获得机械臂的最优抓取姿态；
步骤9，基于此，计算机器人控制量以控制机械臂，完成基于视觉的机械臂自主抓取任务。
2.根据权利要求1所述的一种基于深度学习的机械臂自主抓取方法，其特征在于,步骤1中利用视觉相机捕获机器人操作台上一帧图像，使机械臂的操作目标在摄像机视野范围内。
3.根据权利要求1所述的一种基于深度学习的机械臂自主抓取方法，其特征在于，步骤2所述的基于深度学习的目标识别与检测网络采用的是YOLO9000网络模型。
4.根据权利要求1所述的一种基于深度学习的机械臂自主抓取方法，其特征在于，步骤4所述的图像特征定义为抓取目标的中心位置，计算公式如下：式中，(u1,v1)为抓取目标框的左下角的像素坐标，(u2,v2)为右下角的像素坐标，(u,v)为图像特征点。
5.根据权利要求1所述的一种基于深度学习的机械臂自主抓取方法，其特征在于，步骤5的具体做法是：双目测距的步骤包括4步：相机标定、双目校正、双目匹配、计算深度信息，深度信息的计算公式为：
其中，焦距f和摄像头中心距B可通过标定得到，XR-XT为视差。
6.根据权利要求1所述的一种基于深度学习的机械臂自主抓取方法，其特征在于，步骤7中使用的基于卷积神经网络的法向量估计网络分为3个尺度：尺度1：获得特征图；尺度2：获得预测图；尺度3：获得高分辨率的预测图，通过此网络可以在复杂环境中获得抓取目标图像特征对应的三维空间法向量式中，a为法向量在x轴上的投影，b为法向量在y轴上的投影，c为法向量在y轴上的投影。
7.根据权利要求1所述的一种基于深度学习的机械臂自主抓取方法，其特征在于，在步骤9中使用以太网向机械臂控制柜发送相应的控制信息，控制机械臂完成基于视觉的机械臂自主抓取任务。
CN201910405311.9A 2019-05-16 2019-05-16 一种基于深度学习的机械臂自主抓取方法 Pending CN110211180A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910405311.9A CN110211180A (zh) 2019-05-16 2019-05-16 一种基于深度学习的机械臂自主抓取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910405311.9A CN110211180A (zh) 2019-05-16 2019-05-16 一种基于深度学习的机械臂自主抓取方法

Publications (1)

Publication Number Publication Date
CN110211180A true CN110211180A (zh) 2019-09-06

Family

ID=67787340

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910405311.9A Pending CN110211180A (zh) 2019-05-16 2019-05-16 一种基于深度学习的机械臂自主抓取方法

Country Status (1)

Country Link
CN (1) CN110211180A (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111055275A (zh) * 2019-12-04 2020-04-24 深圳市优必选科技股份有限公司 一种动作模仿方法、装置、计算机可读存储介质及机器人
CN111151463A (zh) * 2019-12-24 2020-05-15 北京无线电测量研究所 一种基于3d视觉的机械臂分拣抓取系统及方法
CN111340886A (zh) * 2020-02-25 2020-06-26 深圳市商汤科技有限公司 检测物体的拾取点的方法及装置、设备、介质和机器人
CN111461079A (zh) * 2020-05-18 2020-07-28 江苏电力信息技术有限公司 一种基于双目图像的吊臂下人员检测方法
CN111906782A (zh) * 2020-07-08 2020-11-10 西安交通大学 一种基于三维视觉的智能机器人抓取方法
CN112372641A (zh) * 2020-08-06 2021-02-19 北京航空航天大学 一种基于视觉前馈与视觉反馈的家庭服务机器人物品抓取方法
CN112518748A (zh) * 2020-11-30 2021-03-19 广东工业大学 面向运动物品的视觉机械臂自动抓取方法与系统
CN112894815A (zh) * 2021-01-25 2021-06-04 西安工业大学 视觉伺服机械臂物品抓取最佳位姿检测方法
CN112906797A (zh) * 2021-02-25 2021-06-04 华北电力大学 一种基于计算机视觉和深度学习的平面抓取检测方法
CN113284179A (zh) * 2021-05-26 2021-08-20 吉林大学 一种基于深度学习的机器人多物体分拣方法
CN113341706A (zh) * 2021-05-06 2021-09-03 东华大学 基于深度强化学习的人机协作流水线系统
CN113916254A (zh) * 2021-07-22 2022-01-11 北京控制工程研究所 一种停靠式抓捕的航天器自主交会对接试验方法
CN114310883A (zh) * 2021-12-24 2022-04-12 深圳巨隆基科技有限公司 一种基于多知识库的机械臂自主装配方法
CN114454168A (zh) * 2022-02-14 2022-05-10 赛那德数字技术(上海)有限公司 一种动态视觉机械臂抓取方法、系统及电子设备
CN115319739A (zh) * 2022-08-02 2022-11-11 中国科学院沈阳自动化研究所 一种基于视觉机械臂抓取工件方法
CN115488886A (zh) * 2022-09-19 2022-12-20 南京浙溧智能制造研究院有限公司 一种基于机器学习的自适应机械臂控制方法
CN115816460A (zh) * 2022-12-21 2023-03-21 苏州科技大学 一种基于深度学习目标检测与图像分割的机械手抓取方法
CN116330285A (zh) * 2023-03-20 2023-06-27 深圳市功夫机器人有限公司 机械臂控制方法、装置、机械臂及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107679477A (zh) * 2017-09-27 2018-02-09 深圳市未来媒体技术研究院 基于空洞卷积神经网络的人脸深度和表面法向量预测方法
CN107767423A (zh) * 2017-10-10 2018-03-06 大连理工大学 一种基于双目视觉的机械臂目标定位抓取方法
CN108280856A (zh) * 2018-02-09 2018-07-13 哈尔滨工业大学 基于混合信息输入网络模型的未知物体抓取位姿估计方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107679477A (zh) * 2017-09-27 2018-02-09 深圳市未来媒体技术研究院 基于空洞卷积神经网络的人脸深度和表面法向量预测方法
CN107767423A (zh) * 2017-10-10 2018-03-06 大连理工大学 一种基于双目视觉的机械臂目标定位抓取方法
CN108280856A (zh) * 2018-02-09 2018-07-13 哈尔滨工业大学 基于混合信息输入网络模型的未知物体抓取位姿估计方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BIT_CS2010: "《双目测距原理与基于opencv的简单实现》", 《HTTPS://BLOG.CSDN.NET/BIT_CS2010/ARTICLE/DETAILS/52829190》 *
DAVID EIGEN ET AL: "《Predicting Depth，Surface Normals and Semantic Labels with a Common Multi-Scale Convolutional Architecture》", 《2015 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》 *
辛菁等: "《基于卷积神经网络的机器人对未知物体视觉定位控制策略》", 《信息与控制》 *

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111055275B (zh) * 2019-12-04 2021-10-29 深圳市优必选科技股份有限公司 一种动作模仿方法、装置、计算机可读存储介质及机器人
CN111055275A (zh) * 2019-12-04 2020-04-24 深圳市优必选科技股份有限公司 一种动作模仿方法、装置、计算机可读存储介质及机器人
CN111151463A (zh) * 2019-12-24 2020-05-15 北京无线电测量研究所 一种基于3d视觉的机械臂分拣抓取系统及方法
CN111340886A (zh) * 2020-02-25 2020-06-26 深圳市商汤科技有限公司 检测物体的拾取点的方法及装置、设备、介质和机器人
CN111340886B (zh) * 2020-02-25 2023-08-15 深圳市商汤科技有限公司 检测物体的拾取点的方法及装置、设备、介质和机器人
CN111461079A (zh) * 2020-05-18 2020-07-28 江苏电力信息技术有限公司 一种基于双目图像的吊臂下人员检测方法
CN111906782A (zh) * 2020-07-08 2020-11-10 西安交通大学 一种基于三维视觉的智能机器人抓取方法
CN111906782B (zh) * 2020-07-08 2021-07-13 西安交通大学 一种基于三维视觉的智能机器人抓取方法
CN112372641A (zh) * 2020-08-06 2021-02-19 北京航空航天大学 一种基于视觉前馈与视觉反馈的家庭服务机器人物品抓取方法
CN112372641B (zh) * 2020-08-06 2023-06-02 北京航空航天大学 一种基于视觉前馈与视觉反馈的家庭服务机器人物品抓取方法
CN112518748B (zh) * 2020-11-30 2024-01-30 广东工业大学 面向运动物品的视觉机械臂自动抓取方法与系统
CN112518748A (zh) * 2020-11-30 2021-03-19 广东工业大学 面向运动物品的视觉机械臂自动抓取方法与系统
CN112894815A (zh) * 2021-01-25 2021-06-04 西安工业大学 视觉伺服机械臂物品抓取最佳位姿检测方法
CN112894815B (zh) * 2021-01-25 2022-09-27 西安工业大学 视觉伺服机械臂物品抓取最佳位姿检测方法
CN112906797A (zh) * 2021-02-25 2021-06-04 华北电力大学 一种基于计算机视觉和深度学习的平面抓取检测方法
CN112906797B (zh) * 2021-02-25 2024-01-12 华北电力大学 一种基于计算机视觉和深度学习的平面抓取检测方法
CN113341706A (zh) * 2021-05-06 2021-09-03 东华大学 基于深度强化学习的人机协作流水线系统
CN113341706B (zh) * 2021-05-06 2022-12-06 东华大学 基于深度强化学习的人机协作流水线系统
CN113284179A (zh) * 2021-05-26 2021-08-20 吉林大学 一种基于深度学习的机器人多物体分拣方法
CN113284179B (zh) * 2021-05-26 2022-09-13 吉林大学 一种基于深度学习的机器人多物体分拣方法
CN113916254A (zh) * 2021-07-22 2022-01-11 北京控制工程研究所 一种停靠式抓捕的航天器自主交会对接试验方法
CN114310883A (zh) * 2021-12-24 2022-04-12 深圳巨隆基科技有限公司 一种基于多知识库的机械臂自主装配方法
CN114454168A (zh) * 2022-02-14 2022-05-10 赛那德数字技术(上海)有限公司 一种动态视觉机械臂抓取方法、系统及电子设备
CN114454168B (zh) * 2022-02-14 2024-03-22 赛那德数字技术(上海)有限公司 一种动态视觉机械臂抓取方法、系统及电子设备
CN115319739A (zh) * 2022-08-02 2022-11-11 中国科学院沈阳自动化研究所 一种基于视觉机械臂抓取工件方法
CN115488886A (zh) * 2022-09-19 2022-12-20 南京浙溧智能制造研究院有限公司 一种基于机器学习的自适应机械臂控制方法
CN115816460A (zh) * 2022-12-21 2023-03-21 苏州科技大学 一种基于深度学习目标检测与图像分割的机械手抓取方法
CN116330285A (zh) * 2023-03-20 2023-06-27 深圳市功夫机器人有限公司 机械臂控制方法、装置、机械臂及存储介质

Similar Documents

Publication Publication Date Title
CN110211180A (zh) 一种基于深度学习的机械臂自主抓取方法
CN109255813B (zh) 一种面向人机协作的手持物体位姿实时检测方法
CN108555908B (zh) 一种基于rgbd相机的堆叠工件姿态识别及拾取方法
CN111738261B (zh) 基于位姿估计和校正的单图像机器人无序目标抓取方法
CN108161931A (zh) 基于视觉的工件自动识别及智能抓取系统
CN104331894A (zh) 一种基于双目立体视觉的机器人拆垛方法
JP2011175477A (ja) ３次元計測装置、処理方法及びプログラム
CN113284179B (zh) 一种基于深度学习的机器人多物体分拣方法
CN112894815B (zh) 视觉伺服机械臂物品抓取最佳位姿检测方法
CN114952809A (zh) 工件识别和位姿检测方法、系统及机械臂的抓取控制方法
Ben et al. Research on visual orientation guidance of industrial robot based on cad model under binocular vision
CN115578460A (zh) 基于多模态特征提取与稠密预测的机器人抓取方法与系统
JP5698815B2 (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
Fan et al. An automatic robot unstacking system based on binocular stereo vision
Wang et al. GraspFusionNet: a two-stage multi-parameter grasp detection network based on RGB–XYZ fusion in dense clutter
JP5462662B2 (ja) 位置姿勢計測装置、物体識別装置、位置姿勢計測方法及びプログラム
Huang et al. Intelligent humanoid mobile robot with embedded control and stereo visual feedback
Lin et al. Target recognition and optimal grasping based on deep learning
Li et al. Workpiece intelligent identification and positioning system based on binocular machine vision
CN113822946B (zh) 一种基于计算机视觉的机械臂抓取方法
CN115194774A (zh) 一种基于多目视觉的双机械臂抓握系统控制方法
Ren et al. Vision based object grasping of robotic manipulator
Peng et al. Real time and robust 6D pose estimation of RGBD data for robotic bin picking
Chen et al. A Framework for 3D Object Detection and Pose Estimation in Unstructured Environment Using Single Shot Detector and Refined LineMOD Template Matching
CN112085732A (zh) 目标物体多视角图像采集与观测角度自动标记装置和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190906