CN108942921A - 一种基于深度学习物体识别的散乱抓取装置 - Google Patents

一种基于深度学习物体识别的散乱抓取装置 Download PDF

Info

Publication number
CN108942921A
CN108942921A CN201810593860.9A CN201810593860A CN108942921A CN 108942921 A CN108942921 A CN 108942921A CN 201810593860 A CN201810593860 A CN 201810593860A CN 108942921 A CN108942921 A CN 108942921A
Authority
CN
China
Prior art keywords
robot
camera
deep learning
point
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810593860.9A
Other languages
English (en)
Inventor
裴磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Turboman Robot Technology Co ltd
Original Assignee
Jiangsu Turboman Robot Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Turboman Robot Technology Co ltd filed Critical Jiangsu Turboman Robot Technology Co ltd
Priority to CN201810593860.9A priority Critical patent/CN108942921A/zh
Publication of CN108942921A publication Critical patent/CN108942921A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/514—Depth or shape recovery from specularities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

一种基于深度学习物体识别的散乱抓取装置，本发明涉及散乱抓取的深度学习技术领域；它包含机器人、3D相机、计算机；所述的计算机中包含控制器和3D定位软件，3D相机与3D定位软件连接，3D定位软件与控制器连接，控制器与机器人连接。实现散乱抓取机器人对于不同形状、不同摆放方向物体的抓取判别与定位,并实现机器人抓取位姿最优判别。

Description

一种基于深度学习物体识别的散乱抓取装置
技术领域
本发明涉及散乱抓取的深度学习技术领域，具体涉及一种基于深度学习物体识别的散乱抓取装置。
背景技术
学术上将机器人拾取散乱零件的过程称为Bin-picking，典型的Bin-picking系统包括三个部分：机器人、视觉检测和计算机控制单元，其中，视觉检测是核心部分。该系统工作流程：视觉系统结合计算机对放置零件的物料箱进行分析，利用传感器自身的深度图像获取散乱目标零件的空间轮廓来获取其位姿，并规划机械臂的抓取坐标路径，完成零件拾取任务。目前国内外对机器人自动装配的研究主要在零件位姿检测方面，本文中提到的基于深度学习物体识别的散乱抓取技术研究，是通过分析修复传感器的深度图像，获得描述零件姿态的三维点云，利用散乱零件连接部分特性和零件自身平面结构分离出目标单元，针对分割后的单元数据，由随机采样一致原理出发，技术基于特征的位姿估算方法并通过实验进行分析验证，建立深度图像和三维点云的变换关系，Bin-picking系统绝大多数是基于特征建立的。该类系统包括四部分：建立参考模型、获取目标点云、估算零件位姿和规划拾取轨迹。其中，由点云获取和位姿判断构成的视觉检测是主要研究方向。
目前绝大多数的抓取装置使用上仍有不足，例如传统学习方法耗时、需要人工设计特征等问题，亟待改进。
发明内容
本发明的目的在于针对现有技术的缺陷和不足，提供一种结构简单，设计合理、使用方便的基于深度学习物体识别的散乱抓取装置，实现散乱抓取机器人对于不同形状、不同摆放方向物体的抓取判别与定位,并实现机器人抓取位姿最优判别。
为实现上述目的，本发明采用的技术方案是：它包含机器人、3D相机、计算机；所述的计算机中包含控制器和3D定位软件，3D相机与3D定位软件连接，3D定位软件与控制器连接，控制器与机器人连接。
进一步地，所述的机器人为六自由度机器人。
本发明的工作步骤如下：3D相机获取待抓取零件的点云信息，通过3D定位软件中的高精度匹配算法计算零件点云与CAD模型的匹配度，匹配度高的即为识别的零件，判断机器人的可达性以及是否与料框干涉，将识别的零件姿态数据转换到机器人坐标系下，通过以太网发送给机器人，从而引导机器人精确抓取。
本发明的工作原理：散乱抓取深度学习模型与机器人相结合,机器人实现对不同形状、不同摆放方向物体的抓取判别与定位；图像中的每个点的像素值表示空间中对应点到3D相机的深度距离，结合小孔成像的原理，可获得目标零件的三维点云数据，3D相机中的红外传感器发射的红外光通过位于发射器镜头前的光栅，均匀的投影到测量空间中，经过物体表面的反射，在红外相机中形成散斑图像，通过对比参考散斑图像，获得目标到传感器的实际距离，假设在传感器正前方Zp处存在一个点p，距离p点最近的参考散斑平面到传感器的距离为Zr，当目标从参考位置平移至当前位置时，其在图像上对应的平移距离d，通过相似三角原理可得到目标点深度表达式如下：
式中f——红外摄像机焦距
b——基线的长度；
根据针孔模型可得目标点在空间中的其他坐标分别：
式中x，y——目标对应散斑在图像上的位置
Cx，Cy——相机的主点偏移量
△x，△y——径向畸变和切向畸变的补偿办法。
采用上述结构后，本发明有益效果为：本发明提供了一种基于深度学习物体识别的散乱抓取装置，有效的改善了判别精度，且实验表明判别模型依据人的抓取习惯，实现了不同摆放姿态，不同形状物体的抓取判别；解决传统学习方法耗时的问题，实现了机器人抓取位姿最优判别，操作简单，提取环节不需要人为干预，精度较高，具有较好的泛化性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明的结构框图。
图2是本发明的工作原理图谱。
附图标记说明：
机器人1、3D相机2、计算机3、控制器3-1、3D定位软件3-2、待抓取零件4。
具体实施方式
下面结合附图对本发明作进一步的说明。
参看如图1,所示，本具体实施方式采用的技术方案是：它包含机器人1、3D相机2、计算机3；所述的计算机3中包含控制器3-1和3D定位软件3-2，3D相机2与3D定位软件3-2连接，3D定位软件3-2与控制器3-1连接，控制器3-1与机器人1连接。
进一步地，所述的机器人1为六自由度机器人。
本具体实施方式的工作步骤如下：3D相机2获取待抓取零件4的点云信息，通过3D定位软件3-2中的高精度匹配算法计算零件点云与CAD模型的匹配度，匹配度高的即为识别的零件，判断机器人1的可达性以及是否与料框干涉，将识别的零件姿态数据转换到机器人1坐标系下，通过以太网发送给机器人1，从而引导机器人1精确抓取。
参看图2，本具体实施方式的工作原理：散乱抓取深度学习模型与机器人相结合,机器人实现对不同形状、不同摆放方向物体的抓取判别与定位；图像中的每个点的像素值表示空间中对应点到3D相机的深度距离，结合小孔成像的原理，可获得目标零件的三维点云数据，3D相机中的红外传感器发射的红外光通过位于发射器镜头前的光栅，均匀的投影到测量空间中，经过物体表面的反射，在红外相机中形成散斑图像，通过对比参考散斑图像，获得目标到传感器的实际距离，假设在传感器正前方Zp处存在一个点p，距离p点最近的参考散斑平面到传感器的距离为Zr，当目标从参考位置平移至当前位置时，其在图像上对应的平移距离d，通过相似三角原理可得到目标点深度表达式如下：
式中f——红外摄像机焦距
b——基线的长度；
根据针孔模型可得目标点在空间中的其他坐标分别：
式中x，y——目标对应散斑在图像上的位置
Cx，Cy——相机的主点偏移量
△x，△y——径向畸变和切向畸变的补偿办法。
采用上述结构后，本具体实施方式有益效果为：本具体实施方式提供了一种基于深度学习物体识别的散乱抓取装置，有效的改善了判别精度，且实验表明判别模型依据人的抓取习惯，实现了不同摆放姿态，不同形状物体的抓取判别；解决传统学习方法耗时的问题，实现了机器人抓取位姿最优判别，操作简单，提取环节不需要人为干预，精度较高，具有较好的泛化性。
以上所述，仅用以说明本发明的技术方案而非限制，本领域普通技术人员对本发明的技术方案所做的其它修改或者等同替换，只要不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。

Claims (4)

1.一种基于深度学习物体识别的散乱抓取装置，其特征在于：它包含机器人(1)、3D相机(2)、计算机(3)；所述的计算机(3)中包含控制器(3-1)和3D定位软件(3-2)，3D相机(2)与3D定位软件(3-2)连接，3D定位软件(3-2)与控制器(3-1)连接，控制器(3-1)与机器人(1)连接。
2.根据权利要求1所述的一种基于深度学习物体识别的散乱抓取装置，其特征在于：所述的机器人(1)为六自由度机器人。
3.根据权利要求1所述的一种基于深度学习物体识别的散乱抓取装置，其特征在于：它的工作步骤如下：3D相机(2)获取待抓取零件(4)的点云信息，通过3D定位软件(3-2)中的高精度匹配算法计算零件点云与CAD模型的匹配度，匹配度高的即为识别的零件，判断机器人(1)的可达性以及是否与料框干涉，将识别的零件姿态数据转换到机器人(1)坐标系下，通过以太网发送给机器人(1)，从而引导机器人(1)精确抓取。
4.一种基于深度学习物体识别的散乱抓取装置，其特征在于：它的工作原理：散乱抓取深度学习模型与机器人相结合,机器人实现对不同形状、不同摆放方向物体的抓取判别与定位；图像中的每个点的像素值表示空间中对应点到3D相机的深度距离，结合小孔成像的原理，可获得目标零件的三维点云数据，3D相机中的红外传感器发射的红外光通过位于发射器镜头前的光栅，均匀的投影到测量空间中，经过物体表面的反射，在红外相机中形成散斑图像，通过对比参考散斑图像，获得目标到传感器的实际距离，假设在传感器正前方Zp处存在一个点p，距离p点最近的参考散斑平面到传感器的距离为Zr，当目标从参考位置平移至当前位置时，其在图像上对应的平移距离d，通过相似三角原理可得到目标点深度表达式如下：
式中f——红外摄像机焦距
b——基线的长度；
根据针孔模型可得目标点在空间中的其他坐标分别：
式中x，y——目标对应散斑在图像上的位置
Cx，Cy——相机的主点偏移量
△x，△y——径向畸变和切向畸变的补偿办法。
CN201810593860.9A 2018-06-11 2018-06-11 一种基于深度学习物体识别的散乱抓取装置 Pending CN108942921A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810593860.9A CN108942921A (zh) 2018-06-11 2018-06-11 一种基于深度学习物体识别的散乱抓取装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810593860.9A CN108942921A (zh) 2018-06-11 2018-06-11 一种基于深度学习物体识别的散乱抓取装置

Publications (1)

Publication Number Publication Date
CN108942921A true CN108942921A (zh) 2018-12-07

Family

ID=64488262

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810593860.9A Pending CN108942921A (zh) 2018-06-11 2018-06-11 一种基于深度学习物体识别的散乱抓取装置

Country Status (1)

Country Link
CN (1) CN108942921A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110232710A (zh) * 2019-05-31 2019-09-13 深圳市皕像科技有限公司 基于三维相机的物品定位方法、系统及设备
CN110238855A (zh) * 2019-06-24 2019-09-17 浙江大学 一种基于深度逆向强化学习的机器人乱序工件抓取方法
CN110415363A (zh) * 2019-08-05 2019-11-05 上海神添实业有限公司 一种基于三目视觉的散乱物识别定位方法
WO2020133407A1 (zh) * 2018-12-29 2020-07-02 河南埃尔森智能科技有限公司 基于结构光的工业机器人定位方法和装置、控制器、介质
CN112150427A (zh) * 2020-09-17 2020-12-29 山东洛杰斯特物流科技有限公司 基于点云信息的混合拆垛方法、装置及设备
CN112873205A (zh) * 2021-01-15 2021-06-01 陕西工业职业技术学院 基于双夹具实时切换的工业机器人无序抓取方法
CN114013988A (zh) * 2021-10-28 2022-02-08 惠州佰维存储科技有限公司 一种ssd的转移方法、装置、可读存储介质及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016106082A1 (de) * 2015-04-03 2016-10-06 Delaware Capital Formation, Inc. Robotersystem mit umkonfigurierbarer Organanordnung
CN106934833A (zh) * 2017-02-06 2017-07-07 江苏华航威泰机器人科技有限公司 一种散乱堆放物料拾取装置和方法
CN107186708A (zh) * 2017-04-25 2017-09-22 江苏安格尔机器人有限公司 基于深度学习图像分割技术的手眼伺服机器人抓取系统及方法
CN107953329A (zh) * 2016-10-17 2018-04-24 中国科学院深圳先进技术研究院 物体识别和姿态估计方法、装置及机械臂抓取系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016106082A1 (de) * 2015-04-03 2016-10-06 Delaware Capital Formation, Inc. Robotersystem mit umkonfigurierbarer Organanordnung
CN107953329A (zh) * 2016-10-17 2018-04-24 中国科学院深圳先进技术研究院 物体识别和姿态估计方法、装置及机械臂抓取系统
CN106934833A (zh) * 2017-02-06 2017-07-07 江苏华航威泰机器人科技有限公司 一种散乱堆放物料拾取装置和方法
CN107186708A (zh) * 2017-04-25 2017-09-22 江苏安格尔机器人有限公司 基于深度学习图像分割技术的手眼伺服机器人抓取系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
仲训杲等: "基于多模特征深度学习的机器人抓取判别方法", 《自动化学报》 *
佐立营: "面向机器人抓取的散乱零件自动识别与定位技术研究", 《中国优秀硕士学位论文全文数据库（信息科技辑）》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020133407A1 (zh) * 2018-12-29 2020-07-02 河南埃尔森智能科技有限公司 基于结构光的工业机器人定位方法和装置、控制器、介质
CN110232710A (zh) * 2019-05-31 2019-09-13 深圳市皕像科技有限公司 基于三维相机的物品定位方法、系统及设备
CN110238855A (zh) * 2019-06-24 2019-09-17 浙江大学 一种基于深度逆向强化学习的机器人乱序工件抓取方法
CN110415363A (zh) * 2019-08-05 2019-11-05 上海神添实业有限公司 一种基于三目视觉的散乱物识别定位方法
CN112150427A (zh) * 2020-09-17 2020-12-29 山东洛杰斯特物流科技有限公司 基于点云信息的混合拆垛方法、装置及设备
CN112873205A (zh) * 2021-01-15 2021-06-01 陕西工业职业技术学院 基于双夹具实时切换的工业机器人无序抓取方法
CN114013988A (zh) * 2021-10-28 2022-02-08 惠州佰维存储科技有限公司 一种ssd的转移方法、装置、可读存储介质及电子设备

Similar Documents

Publication Publication Date Title
CN108942921A (zh) 一种基于深度学习物体识别的散乱抓取装置
CN108555908B (zh) 一种基于rgbd相机的堆叠工件姿态识别及拾取方法
WO2022021739A1 (zh) 一种语义智能变电站机器人仿人巡视作业方法及系统
CN108177143B (zh) 一种基于激光视觉引导的机器人定位抓取方法及系统
CN110370286A (zh) 基于工业机器人和单目相机的定轴运动刚体空间位置识别方法
CN109676243A (zh) 基于双线激光结构光的焊缝识别与跟踪系统及方法
CN201653373U (zh) 三轴非接触式影像测量系统
CN103196370B (zh) 一种导管接头空间位姿参数的测量方法和装置
CN109341532A (zh) 一种面向自动装配的基于结构特征的零件坐标标定方法
CN105547153B (zh) 基于双目视觉的插件元件针脚视觉定位方法及装置
CN110202573A (zh) 全自动手眼标定、工作平面标定方法及装置
CN109443207A (zh) 一种光笔式机器人原位测量系统与方法
CN110017769A (zh) 基于工业机器人的零件检测方法及系统
CN107883929A (zh) 基于多关节机械臂的单目视觉定位装置及方法
CN101839700A (zh) 一种非接触式影像测量系统
CN105004324B (zh) 一种具有三角测距功能的单目视觉传感器
WO2019232804A1 (zh) 软件更新方法、系统、移动机器人及服务器
CN106247943A (zh) 物品三维定位方法、装置和系统
CN108637850A (zh) 一种运动轨迹自学习的打磨机器人系统及控制方法
CN106352871A (zh) 一种基于天花板人工信标的视觉室内定位系统和方法
JP2021193400A (ja) アーチファクトを測定するための方法
CN109085603A (zh) 光学三维成像系统和彩色三维图像成像方法
CN112733428A (zh) 一种光学测量的扫描姿态与覆盖路径规划方法
CN115014338A (zh) 一种基于二维码视觉和激光slam的移动机器人定位系统及方法
CN108789412A (zh) 一种机器人运动轨迹规划系统、方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181207