CN111347411B - 基于深度学习的双臂协作机器人三维视觉识别抓取方法 - Google Patents

基于深度学习的双臂协作机器人三维视觉识别抓取方法 Download PDF

Info

Publication number
CN111347411B
CN111347411B CN201811562270.6A CN201811562270A CN111347411B CN 111347411 B CN111347411 B CN 111347411B CN 201811562270 A CN201811562270 A CN 201811562270A CN 111347411 B CN111347411 B CN 111347411B
Authority
CN
China
Prior art keywords
grabbing
robot
arm
coordinate system
double
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811562270.6A
Other languages
English (en)
Other versions
CN111347411A (zh
Inventor
于晓龙
张华良
秦锋
李庆鑫
王福东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Institute of Automation of CAS
Original Assignee
Shenyang Institute of Automation of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Institute of Automation of CAS filed Critical Shenyang Institute of Automation of CAS
Priority to CN201811562270.6A priority Critical patent/CN111347411B/zh
Publication of CN111347411A publication Critical patent/CN111347411A/zh
Application granted granted Critical
Publication of CN111347411B publication Critical patent/CN111347411B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1682—Dual arm manipulator; Coordination of several manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Abstract

本发明涉及基于深度学习的双臂协作机器人三维视觉识别抓取方法，统一双臂机器人及三维视觉系统坐标系，从而实现视觉和双臂的目标识别定位；基于深度学习获取到目标的三维物体类型和位姿，根据物体类型和位姿得到双臂上末端抓取工具的抓取和姿态，进而控制机器人双臂上末端抓取工具进行抓取。本发明的双臂协作机器人的三维视觉识别抓取方法，可以提高机器人的作业协作及空间规划能力，使双臂机器人作业工程中能够实现精确的相互感知协作和对物体的识别抓取能力，增加机器人系统的智能性和适用性。

Description

基于深度学习的双臂协作机器人三维视觉识别抓取方法
技术领域
本发明涉及了一种基于深度学习的双臂协作机器人三维视觉识别抓取方法，属于机器人视觉领域。
背景技术
计算机视觉是指用摄像头代替人眼对目标进行识别、跟踪和测量，作为目前最为前沿的研究热点，基于计算机视觉的机器人技术被广泛应用于机器人控制领域。三维视觉是利用深度及彩色相机获取被测物体的图像，来获取物体三维几何信息的方法。视觉能为机器人提供丰富的环境和目标信息，为机器人的判断决策提供依据。深度学习是通过从原始图像中学习底层特征，并组合底层特征生成更加抽象的高层特征的方法。三维视觉结合深度学习，可以使机器人更加智能化的理解环境目标信息，如识别定位复杂物体的抓取姿态等。
在实际操作过程中，采用三维视觉的测量以及双臂协作机械手的抓取存在各种各样的问题，其中常见的情况有双臂机器人安装相对位置偏差导致坐标系与理论值不统一，无法实现双臂之间的协作，从而需要多个相机进行配合抓取。如在专利“一种基于多目视觉的双臂机器人手眼协调方法”中，其详细地介绍了在双臂机器人末端分别安装相机识别抓取的原理。但是在实际的工作过程中，往往存在由于安装机器人末端加持工具及作业空间的限制，不能将多个相机安装到机械臂末端，且无法解决双臂之间的配合问题，导致方案实施困难。
因此，针对双臂机器人协作化、智能化的控制需求，研究面向双臂协作机器人的视觉定位技术，开发集手眼协调、三维物体识别、抓取位姿自动生成等功能的控制系统，形成基于深度学习的双臂协作机器人的三维视觉识别抓取系统具有重大的意义。
发明内容
本发明所要解决的技术问题在于双臂机器人协作化、智能化的控制需求，提供一种基于深度学习的双臂协作机器人的三维视觉识别抓取方法。
为解决上述技术问题，本发明采用的技术方案是：基于深度学习的双臂协作机器人三维视觉识别抓取方法，包括以下步骤：
统一双臂机器人及三维视觉系统坐标系：在双臂机器人作业区域设置桌面坐标系标识，通过视觉系统识别标识并建立坐标系，得到视觉系统坐标系到桌面坐标系之间的转换关系；双臂机器人左、右臂分别通过建立用户坐标系得到基坐标系到桌面坐标系之间的转换关系，从而实现视觉和双臂的目标识别定位；
获取目标的三维数据，根据物体类型和位姿通过深度学习得到双臂上末端抓取工具的抓取位置和姿态，进而控制机器人双臂上末端抓取工具进行抓取。
所述统一双臂机器人及三维视觉系统坐标系，包括以下步骤：
步骤S1：将视觉系统安装在双臂机器人基座中朝向抓取目标区域的位置上；
步骤S2：打开视觉系统，将坐标系标识放置到桌面作业区域中，通过视觉系统对桌面坐标系信息进行采集；
步骤S3：对视觉系统相机坐标系Ccam和桌面坐标系Cmarker进行转换，得到两个坐标系之间得转换矩阵Tcam2marker并保存；
步骤S4：机器人左、右臂分别沿桌面坐标系标识建立用户坐标系Cleft及Cright，各坐标系的转换关系为：Cmarker＝Cleft＝Cright＝Ccam*Tcam2marker，保存坐标系及相互之间的转换关系。
所述获取目标的三维数据，根据物体类型和位姿通过深度学习得到双臂上末端抓取工具的抓取位置和姿态，包括以下步骤：
获取目标的三维数据，得到一系列用于双臂机器人末端抓取工具抓取的抓取点构成的序列；
所述序列通过聚类得到比所述序列中抓取点数量少的备用序列；
通过深度学习对含有抓取点的数据集进行训练，从而得到一个用于匹配机器人末端夹具类型的抓取神经网络，输入为抓取点，输出为分数；
将备用序列中的抓取点输入抓取神经网络，得到对应的分数，选择设定范围内分数对应的抓取点作为最终的抓取点，将该抓取点位姿转换到左、右臂机器人坐标系下。
所述抓取工具为夹爪或吸盘。
在机器人的某臂对目标进行抓取后，运动机器人该臂末端到视觉系统的视野内，再次对目标进行三维识别和定位，从而得到机器人另一臂进行协作的位姿。
本发明的有益效果是：
1、本发明的双臂协作机器人的三维视觉识别抓取方法，不再需要安装多个深度相机，解决传统双臂机器人三维视觉需要分别进行两套手眼标定的问题。
2、本发明的双臂协作机器人的三维视觉识别抓取方法，可以提高机器人的作业协作及空间规划能力，使双臂机器人作业工程中能够实现精确的相互感知协作和对物体的识别抓取能力，增加机器人系统的智能性和适用性。
3、本发明可以很好地应对双臂机器人系统的协作化、智能化的控制需求，是双臂机器人视觉中必不可少的应用，同时也是一种新的快速设计解决方案，利于推广使用。
附图说明
图1是本发明的双臂协作机器人三维视觉识别抓取系统安装示意图
图2是本发明的双臂协作机器人三维视觉识别抓取系统架构图；
图3是本发明的双臂协作机器人三维视觉识别抓取系统流程图；
图4是本发明的双臂机器人及三维视觉系统坐标系转换流程；
图5是本发明的深度学习识别抓取流程图；
图6是本发明的双臂协作处理流程图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。
基于深度学习的双臂协作机器人三维视觉识别抓取方法，包括双臂机器人及三维视觉系统坐标系统一的功能、三维视觉数据处理流程、协作处理流程等。
双臂机器人及三维视觉系统坐标系统一主要指：
在双臂机器人作业区域设置桌面坐标系标识，通过视觉系统识别标识并建立坐标系，得到视觉系统坐标系到桌面标识坐标系之间的转换关系；双臂机器人左右双臂分别采用建立用户坐标系的方式沿桌面坐标系建立坐标系并得到基坐标系到桌面坐标系之间的转换关系，从而实现视觉和双臂的目标识别定位工作；
通过统一双臂之间的坐标系，使双臂之间能够准确的获取对方位姿及抓取目标位置，从而实现双臂对抓取后的目标物体进行协作处理。
同时基于深度学习的方法获取到目标三维物体类型和位姿，分析出适合双臂上不同末端抓取工具(如两指夹爪及吸盘等)的抓取和姿态，从而合理的将目标分配到双臂机器人系统上。
在机器人对目标进行抓取后，可运动机器人末端到视觉传感器的视野内，再次对目标进行三维识别和定位工作，从而通过深度学习的方法得到另一侧机器人进行协作的位姿。
如图1所示为本发明所述得双臂协作机器人三维视觉识别抓取系统安装示意图，将三维相机安装在双臂机器人支架上不被机器人遮挡工作视野的位置，由末端夹持工具执行工作桌面上的三维物体的抓取工作。
参见图2，双臂协作机器人三维视觉识别抓取系统，其中主要涉及：双臂机器人系统、机器人视觉系统以及坐标系转换系统。
所述的双臂机器人系统，为执行协作抓取执行部分，通过和机器人视觉系统的通信，对目标进行抓取操作。包括双臂机器人本体、机器人控制器、末端夹持工具三个部分。
其中，所述的双臂机器人本体是指按照指定方式安装在基座上的两个独立机械臂构成，能够接受机器人控制器的指令执行相应的动作。
所述的机器人控制器指在实时操作系统上的平台，其硬件部分包含运动控制器和伺服驱动器，支持与机器人本体之间的总线通信。软件部分包括控制算法模块、传感器模块、运动控制模块及外部通信模块；控制算法模块，包括基础算法库、功能算法库和应用算法库，用于机器人控制的算法应用；传感器模块，包括传感器硬件驱动和数据转换模型，用于机器人与传感器交互；运动控制模块，包括动力学模块、运动学模块，用于解析命令，控制机器人操作；外部通信模块包括DI、DO、AI、AO及TCP/IP等同机器人视觉系统、末端执行工具及其他控制系统之间的通信。
末端加持工具指安装在双臂机器人本体末端的执行机构，通过接收机器人控制器的通信指令执行对应的加持动作。
所述的机器人视觉系统，为具有对环境及目标获取及识别定位功能的机器人传感系统。主要由视觉传感器及视觉系统控制器构成。
其中，视觉传感器指整个机器视觉视觉系统信息的直接来源，主要由一个或者两个图形传感器组成，有时还要配以光投射器及其他辅助设备。视觉传感器的主要功能是获取足够的机器视觉系统要处理的最原始图像。
视觉系统控制器指对视觉传感器获取的原始图像进行处理，通过深度学习的方式对机器人周围环境进行分析、识别、定位等功能，并以通信的方式与机器人控制器进行信息交互。
所述的坐标系转换系统，为通过建立指定坐标系的形式将机器人运动坐标系和机器人视觉系统坐标系进行统一的系统。
参见图3，专利所设计的基于深度学习的双臂协作机器人三维视觉识别抓取，实现对机器人系统的环境及抓取目标感知，数据分析，决策与坐标系转换，通信及抓取等流程。将视觉传感器安装在双臂机器人基座中朝向抓取目标区域的位置上，并分别通过机器人控制系统控制双臂机器人本体运动到不遮挡视觉传感器作业视野；
下面结合附图及实施例对本发明做进一步的详细说明：
步骤S1：安装整个系统，固定视觉系统及双臂系统相对位置。
步骤S2：对视觉和双臂系统进行统一并得到相互之间得转换关系。
步骤S3：通过机器人控制系统控制双臂初始化到视觉系统视野外部，同时初始化视觉系统。
步骤S4：将抓取目标物体放置到桌面视觉系统视野范围内，通过数据采集得到目标物体得三维信息，供S5使用。
步骤S5：通过物体三维特征进行深度学习得到适合机器人抓取得点及位置姿态。
步骤S6：对S5得到得抓取点位姿根据S2得到的转换关系进行坐标系转换，转换到统一的坐标系上。
步骤S7：根据转换到统一坐标系的抓取点位姿对双臂系统进行调度抓取。
步骤S8：数据存储，存储整个双臂机器人作业及三维物体识别及抓取点深度学习得到的数据。
参见图4，为本发明的系统的坐标系转换流程图。通过视觉处理的方法识别坐标系标识建立坐标系得到视觉系统坐标系转换关系；双臂机器人左右臂分别采用建立用户坐标系的方法建立和坐标系标识统一的坐标系。具体步骤为：
步骤S1：安装整个系统，固定视觉系统及双臂系统相对位置。
步骤S2：打开视觉系统，将坐标系标识放置到桌面作业区域中，通过视觉系统对桌面坐标系信息进行采集处理。
步骤S3：对视觉系统相机坐标系Ccam和桌面坐标系Cmarker进行转换，得到两个坐标系之间得转换矩阵Tcam2marker并保存。
步骤S4：双臂系统左右臂分别沿桌面坐标系标识建立用户坐标系Cleft及Cright，在整个系统中Cmarker＝Cleft＝Cright＝Ccam*Tcam2marker，保存坐标系及相互之间得转换关系。
参见图5，本发明的深度学习识别抓取流程图，包含了基于深度学习的三维视觉系统工作全部流程。通过深度学习的方法，使双臂机器人抓取系统更加智能化。
以下将描述本发明一个实施实例，深度学习识别抓取的步骤具体为：
步骤S1：打开视觉系统，获取视野范围内的三维图像。
步骤S2：通过对S1获取的三维图像数据进行预处理，得到目标物体的三维信息。
步骤S3：通过对目标物体的三维信息数据处理，得到一系列适合双臂机器人系统末端执行工具(两指夹爪或吸盘)抓取的抓取点序列。
步骤S4：通过对S3生成的抓取点序列进行高斯混合模型聚类，适当减少抓取点对的数量，本发明选取全部抓取点数量的80％比例作为聚类后的数量，从而简化后续处理流程。
步骤S5：通过深度学习的方法(如GQCNN等)，通过对大量的3D物体抓取数据集进行训练，从而得到一个匹配机器人末端夹具类型的抓取神经网络。对S4生成的抓取点序列进行筛选，得到最优抓取点位姿，并通过坐标系抓换系统转换到双臂机器人系统坐标系下。
步骤S6：将转换后的抓取点数据发送给双臂机器人控制系统。
参见图6，是本发明的双臂协作处理流程图，首先根据双臂机器人左右双臂末端执行工具是否相同进行不同的调度流程：若相同，则首先根据最优抓取点位置靠近的原则对双臂机器人系统进行任务分配，其次考虑双臂机器人的工作状态进行重新分配；若不同，则首先根据目标物体的三维特征通过深度学习的方式得到匹配双臂机器人的抓取方式及位姿对装有对应末端执行工具的臂进行控制抓取。
整个系统由于经过坐标系统一处理，数据可以相互共享使用，双臂机器人左右臂系统可以实时感知到相互之间的位置实现避碰和目标物体转递转移，从而实现双臂之间的协作。

Claims (3)

1.基于深度学习的双臂协作机器人三维视觉识别抓取方法，其特征在于，包括以下步骤：
统一双臂机器人及三维视觉系统坐标系：在双臂机器人作业区域设置桌面坐标系标识，通过视觉系统识别标识并建立坐标系，得到视觉系统坐标系到桌面坐标系之间的转换关系；双臂机器人左、右臂分别通过建立用户坐标系得到基坐标系到桌面坐标系之间的转换关系，从而实现视觉和双臂的目标识别定位；
获取目标的三维数据，根据物体类型和位姿通过深度学习得到双臂上末端抓取工具的抓取位置和姿态，进而控制机器人双臂上末端抓取工具进行抓取；
所述统一双臂机器人及三维视觉系统坐标系，包括以下步骤：
步骤S1：将视觉系统安装在双臂机器人基座中朝向抓取目标区域的位置上；
步骤S2：打开视觉系统，将坐标系标识放置到桌面作业区域中，通过视觉系统对桌面坐标系信息进行采集；
步骤S3：对视觉系统相机坐标系Ccam和桌面坐标系Cmarker进行转换，得到两个坐标系之间得转换矩阵Tcam2marker并保存；
步骤S4：机器人左、右臂分别沿桌面坐标系标识建立用户坐标系Cleft及Cright，各坐标系的转换关系为：Cmarker＝Cleft＝Cright＝Ccam*Tcam2marker，保存坐标系及相互之间的转换关系；
所述获取目标的三维数据，根据物体类型和位姿通过深度学习得到双臂上末端抓取工具的抓取位置和姿态，包括以下步骤：
获取目标的三维数据，得到一系列用于双臂机器人末端抓取工具抓取的抓取点构成的序列；
所述序列通过聚类得到比所述序列中抓取点数量少的备用序列；
通过深度学习对含有抓取点的数据集进行训练，从而得到一个用于匹配机器人末端夹具类型的抓取神经网络，输入为抓取点，输出为分数；
将备用序列中的抓取点输入抓取神经网络，得到对应的分数，选择设定范围内分数对应的抓取点作为最终的抓取点，将该抓取点位姿转换到左、右臂机器人坐标系下。
2.根据权利要求1所述的基于深度学习的双臂协作机器人三维视觉识别抓取方法，其特征在于，所述抓取工具为夹爪或吸盘。
3.根据权利要求1所述的基于深度学习的双臂协作机器人三维视觉识别抓取方法，其特征在于，包括以下步骤：在机器人的某臂对目标进行抓取后，运动机器人该臂末端到视觉系统的视野内，再次对目标进行三维识别和定位，从而得到机器人另一臂进行协作的位姿。
CN201811562270.6A 2018-12-20 2018-12-20 基于深度学习的双臂协作机器人三维视觉识别抓取方法 Active CN111347411B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811562270.6A CN111347411B (zh) 2018-12-20 2018-12-20 基于深度学习的双臂协作机器人三维视觉识别抓取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811562270.6A CN111347411B (zh) 2018-12-20 2018-12-20 基于深度学习的双臂协作机器人三维视觉识别抓取方法

Publications (2)

Publication Number Publication Date
CN111347411A CN111347411A (zh) 2020-06-30
CN111347411B true CN111347411B (zh) 2023-01-24

Family

ID=71188215

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811562270.6A Active CN111347411B (zh) 2018-12-20 2018-12-20 基于深度学习的双臂协作机器人三维视觉识别抓取方法

Country Status (1)

Country Link
CN (1) CN111347411B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114619438B (zh) * 2020-12-09 2023-07-07 中国科学院沈阳自动化研究所 基于视觉快速定位的柔性自适应装配方法
CN112936259B (zh) * 2021-01-26 2023-06-20 中国科学院沈阳自动化研究所 一种适用于水下机器人的人机协作方法
CN113065392A (zh) * 2021-02-24 2021-07-02 苏州盈科电子有限公司 一种机器人的跟踪方法和装置
CN113524183B (zh) * 2021-07-14 2023-01-24 广东智源机器人科技有限公司 相对位置获得方法、机械臂控制方法以及机械臂系统
CN114102585B (zh) * 2021-11-16 2023-05-09 北京洛必德科技有限公司 一种物品抓取规划方法及系统
CN113858217B (zh) * 2021-12-01 2022-02-15 常州唯实智能物联创新中心有限公司 多机器人交互的三维视觉位姿感知方法及系统
CN114536329A (zh) * 2022-02-16 2022-05-27 中国医学科学院北京协和医院 基于复合标识确定可形变机械臂的外部受力的方法及机器人系统
CN114347038A (zh) * 2022-02-17 2022-04-15 西安建筑科技大学 一种交汇管道双臂协作焊接机器人及控制系统
CN115533896B (zh) * 2022-09-20 2023-10-03 南方电网电力科技股份有限公司 一种递推式的机器人双臂协同作业路径规划方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104331894A (zh) * 2014-11-19 2015-02-04 山东省科学院自动化研究所 一种基于双目立体视觉的机器人拆垛方法
CN104864807A (zh) * 2015-04-10 2015-08-26 深圳大学 一种基于主动双目视觉的机械手手眼标定方法
CN106094516A (zh) * 2016-06-08 2016-11-09 南京大学 一种基于深度强化学习的机器人自适应抓取方法
CN107767423A (zh) * 2017-10-10 2018-03-06 大连理工大学 一种基于双目视觉的机械臂目标定位抓取方法
CN108510062A (zh) * 2018-03-29 2018-09-07 东南大学 一种基于级联卷积神经网络的机器人非规则物体抓取位姿快速检测方法
CN108573221A (zh) * 2018-03-28 2018-09-25 重庆邮电大学 一种基于视觉的机器人目标零件显著性检测方法
CN108648233A (zh) * 2018-03-24 2018-10-12 北京工业大学 一种基于深度学习的目标识别与抓取定位方法
CN108908334A (zh) * 2018-07-20 2018-11-30 汕头大学 一种基于深度学习的智能抓取系统及方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104331894A (zh) * 2014-11-19 2015-02-04 山东省科学院自动化研究所 一种基于双目立体视觉的机器人拆垛方法
CN104864807A (zh) * 2015-04-10 2015-08-26 深圳大学 一种基于主动双目视觉的机械手手眼标定方法
CN106094516A (zh) * 2016-06-08 2016-11-09 南京大学 一种基于深度强化学习的机器人自适应抓取方法
CN107767423A (zh) * 2017-10-10 2018-03-06 大连理工大学 一种基于双目视觉的机械臂目标定位抓取方法
CN108648233A (zh) * 2018-03-24 2018-10-12 北京工业大学 一种基于深度学习的目标识别与抓取定位方法
CN108573221A (zh) * 2018-03-28 2018-09-25 重庆邮电大学 一种基于视觉的机器人目标零件显著性检测方法
CN108510062A (zh) * 2018-03-29 2018-09-07 东南大学 一种基于级联卷积神经网络的机器人非规则物体抓取位姿快速检测方法
CN108908334A (zh) * 2018-07-20 2018-11-30 汕头大学 一种基于深度学习的智能抓取系统及方法

Also Published As

Publication number Publication date
CN111347411A (zh) 2020-06-30

Similar Documents

Publication Publication Date Title
CN111347411B (zh) 基于深度学习的双臂协作机器人三维视觉识别抓取方法
CN108399639B (zh) 基于深度学习的快速自动抓取与摆放方法
Chen et al. Applying a 6-axis mechanical arm combine with computer vision to the research of object recognition in plane inspection
CN108818535B (zh) 机器人3d视觉手眼标定方法
CN111462154B (zh) 基于深度视觉传感器的目标定位方法、装置及自动抓取机器人
US8244402B2 (en) Visual perception system and method for a humanoid robot
CN112171661A (zh) 一种基于视觉信息融合的机械臂抓取目标物体方法
CN111515945A (zh) 机械臂视觉定位分拣抓取的控制方法、系统及装置
CN111923053A (zh) 基于深度视觉的工业机器人物件抓取示教系统及方法
CN102514002A (zh) 一种数控车床单目视觉上下料机器人系统及方法
CN111085997A (zh) 基于点云获取和处理的抓取训练方法及系统
CN115070781B (zh) 一种物体抓取方法及双机械臂协作系统
CN114347008A (zh) 基于工业机器人的无序抓取工件方法、装置及智能终端
CN114670189B (zh) 存储介质、以及生成机器人的控制程序的方法及系统
CN115629066A (zh) 一种基于视觉引导的面向自动配线的方法及装置
CN114505869A (zh) 一种化学试剂智配机控制系统
CN113894774A (zh) 一种机器人抓取控制方法、装置、存储介质和机器人
Jia et al. Real-time color-based sorting robotic arm system
CN117340929A (zh) 一种基于三维点云数据的柔性夹爪抓取处置装置及方法
CN115861780B (zh) 一种基于yolo-ggcnn的机械臂检测抓取方法
CN114187312A (zh) 目标物的抓取方法、装置、系统、存储介质及设备
Funakubo et al. Recognition and handling of clothes with different pattern by dual hand-eyes robotic system
Gao et al. Vision-based grasping and manipulation of flexible USB wires
CN211890823U (zh) 基于RealSense相机的四自由度机械臂视觉伺服控制系统
CN112533739A (zh) 机器人控制装置、机器人控制方法以及机器人控制程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant