CN107186708B - 基于深度学习图像分割技术的手眼伺服机器人抓取系统及方法 - Google Patents

基于深度学习图像分割技术的手眼伺服机器人抓取系统及方法 Download PDF

Info

Publication number
CN107186708B
CN107186708B CN201710278748.1A CN201710278748A CN107186708B CN 107186708 B CN107186708 B CN 107186708B CN 201710278748 A CN201710278748 A CN 201710278748A CN 107186708 B CN107186708 B CN 107186708B
Authority
CN
China
Prior art keywords
target object
mechanical arm
hand
axis mechanical
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710278748.1A
Other languages
English (en)
Other versions
CN107186708A (zh
Inventor
赵烈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Haiou Flying Automobile Group Co ltd
Original Assignee
Zhuhai Zhizhuo Investment Management Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Zhizhuo Investment Management Co ltd filed Critical Zhuhai Zhizhuo Investment Management Co ltd
Priority to CN201710278748.1A priority Critical patent/CN107186708B/zh
Publication of CN107186708A publication Critical patent/CN107186708A/zh
Application granted granted Critical
Publication of CN107186708B publication Critical patent/CN107186708B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及机器人领域，尤其是涉及一种基于深度学习图像分割技术的手眼伺服机器人抓取系统及方法，其不同之处在于，本发明所采用的硬件设备包括多轴机械臂，立体视觉传感器，彩色网络摄像头，单点激光测距传感器，嵌入式PC机；本发明的抓取方法整体通过离线和在线结合的方式，首先完成基于深度学习方法的特性提取和手眼标定，然后采用全局粗识别定位与局部精确定位相结合的方法，实现了目标准确识别与精确抓取。本发明可实现场景中任意目标的准确识别与精确抓取操作，精确性高，实用性强。

Description

基于深度学习图像分割技术的手眼伺服机器人抓取系统及 方法
技术领域
本发明涉及机器人领域，尤其是涉及一种基于深度学习图像分割技术的手眼伺服机器人抓取系统及方法。
背景技术
深度学习是机器学习研究中的一个新领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它是模拟人脑思考问题的一种对图像、文字等数据进行解释的算法。
随着机器人技术与深度学习方法的应用与发展，深度学习被越来越多的应用于图像分割中，然而受立体视觉传感器精度与图像分割准确性的影响，且因目标存在多样性，机器人视觉伺服抓取智能化能力受到限制。
发明内容
本发明的目的在于克服现有技术的缺点，提供一种基于深度学习图像分割技术的手眼伺服机器人抓取系统及方法，实现了目标准确识别和精确抓取，精确性高，实用性强。
为实现上述目的，本发明采用以下技术方案：基于深度学习图像分割技术的手眼伺服机器人抓取方法，其特征在于，其步骤包括：
1)离线利用深度学习方法对数据库中图像进行特征提取，其提取的特征用于在线图像分割与目标识别；
2)嵌入式PC机触发立体视觉传感器对场景的RGB图像和点云数据进行采集，利用RGB图像、点云数据和手眼标定算法实现手眼标定，计算安装于多轴机械臂上方的立体视觉传感器到多轴机械臂基坐标系的转移矩阵；
3)目标物的在线全局粗识别定位：利用步骤1)离线提取的特征对RGB图像进行预分割，对预分割区域进行区域合并，得到目标物的准确分割结果，提取目标物的点云数据，从而得到目标物的位置和姿态；通过步骤2)中得出的转移矩阵将目标物坐标及姿态转为多轴机械臂基坐标系下的坐标及姿态，然后对多轴机械臂的运动轨迹进行规划，控制多轴机械臂到达与目标物一定距离的待抓取位置；
4)目标物的在线局部精确定位：首先利用多轴机械臂末端关节处的彩色网络摄像头近距离采集目标物图像，用分水岭方法对目标物图像进行处理，得出手抓中心线与目标物中心线的左右偏移量，控制多轴机械臂运动，使手抓中心对齐目标物的中心位置；然后利用手抓位置处的单点激光测距传感器准确测量手抓到目标物的垂直距离；
5)多轴机械臂末端手抓对目标物进行准确抓取。
按以上技术方案，所述步骤3)中的得到目标物的准确分割结果的具体过程为：利用深度学习方法提取的特征对采集的图像进行预分割，设图像被预分割为N个区域，分别用U1，U2，...，UN表示；根据场景点云数据特性，空间目标物表面的点云数据分布可由二次曲面得到较准确拟合，令函数f(a1，a2，…，a10)表示欧式空间二次曲面，
f(a1：a2，...，a10)＝a1x+a2y+a3z2+a4xy+a5xz+a5yz+a7x+a8y+a9z+a10
记由多项式系数构成的向量为a＝(a1，a2，...，a10)；
针对预分割区域Uk(k＝1，2，...，N)，设
Figure GDA0002321591270000021
其中，(xi，yi，zi)(i＝1，2，...，Nk)是对应区域Uk上的点云数据，Nk是区域中点云数，利用最小二乘方法计算其点云数据构成的二次曲面方程，令
Figure GDA0002321591270000022
得
Ma′＝0
其中，
Figure GDA0002321591270000023
通过矩阵运算求解线性方程可得到区域Uk的二次曲面方程系数构成的向量ak，依据经验设定阈值d0，计算预分割区域Uk(k＝1,2,...,N)任意两区域Uk,Ul的系数向量的欧式距离dkl，
dkl＝||ak-al||
将dkl＜d0且Uk,Ul相邻的区域进行合并，得到目标物的最终准确分割结果。
按以上技术方案，
所述多轴机械臂，用于目标物的抓取；
所述立体视觉传感器，所述立体视觉传感器安装于多轴机械臂的上方，用于RGB图像和点云数据的采集；
所述彩色网络摄像头，所述彩色网络摄像头安装于多轴机械臂末端关节处，用于目标物相对于多轴机械臂末端手抓中心位置的左右偏移量的采集；
所述单点激光测距传感器，所述单点激光测距传感器安装于多轴机械臂末端关节的手抓上，用于目标物到手抓的垂直距离的测量；
所述嵌入式PC机，用于控制立体视觉传感器、彩色网络摄像头和单点激光测距传感器的图像与距离的采集及处理。
按以上技术方案，所述彩色网络摄像头安装于多轴机械臂末端关节的中间位置，所述单点激光测距传感器安装于多轴机械臂末端关节上手抓的中心位置。
按以上技术方案，所述多轴机械臂具有七个自由度。
对比现有技术，与传统的视觉伺服方法不同，本发明整体通过离线和在线结合的方式，首先完成基于深度学习方法的特性提取和手眼标定，然后采用全局粗识别定位与局部精确定位相结合的方法，实现了目标准确识别与精确抓取，图像目标分割方法依赖于合理的假设与严格的数学理论推导，整体识别定位精度高；能有效满足机器人智能操作的需要，易推广，实用性强。
附图说明
图1为本发明实施例抓取系统的结构示意图；
图2为本发明抓取方法的操作流程图；
图3为本发明实施例通过深度学习方法得到的场景RGB图像预分割结果示意图；
图4为本发明实施例采用区域合并方法得到的分割结果示意图；
其中：1-立体视觉传感器、2-多轴机械臂、3-彩色网络摄像头、4-单点激光测距传感器、5-嵌入式PC机。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。
请参阅图1，图1为由机器人与用于场景目标识别定位的视觉伺服系统硬件构成示意图，本发明所采用的硬件设备包括一个多轴机械臂2，一个立体视觉传感器1，一个彩色网络摄像头3，一个单点激光测距传感器4，一台嵌入式PC机5；多轴机械臂2具有七个自由度，可以称为七自由度机械臂，或者七轴机械臂，用于目标物的抓取；所述立体视觉传感器1安装于多轴机械臂2的上方，用于RGB图像和点云数据的采集；所述彩色网络摄像头3安装于多轴机械臂2末端关节的中间位置，用于目标物相对于多轴机械臂2末端手抓中心位置的左右偏移量的采集；所述单点激光测距传感器4安装于多轴机械臂2末端关节上手抓的中心位置，用于目标物到手抓的垂直距离的测量；所述嵌入式PC机5安装在多轴机械臂2侧部，用于控制立体视觉传感器1、彩色网络摄像头3和单点激光测距传感器4的图像与距离的采集及处理；
请参阅图2、图3和图4，图2为本发明抓取方法的具体操作流程图，本发明为基于深度学习图像分割技术的手眼伺服机器人准确抓取方法，其步骤包括：
1)离线利用深度学习方法对数据库中图像目标物进行特征提取，其提取的特征用于在线图像分割与目标识别；
2)嵌入式PC机5触发立体视觉传感器1对场景的RGB图像和点云数据进行采集，采集的RGB图像信息主要用于图像分割，采集的XYZ点云数据主要用于目标准确分割与位置姿态计算。立体视觉传感器1的坐标系相对于多轴机械臂2的基坐标系旋转平移量是固定的，利用RGB图像、点云数据和手眼标定算法实现手眼标定，并根据手眼标定通过优化算法计算立体视觉传感器1到多轴机械臂2基坐标系的转移矩阵；
3)目标物的在线全局粗识别定位：目标图像在线识别定位依赖的是离线的深度学习提取的特征，利用步骤1)离线提取的特征对RGB图像进行预分割，对预分割区域的点云数据进行二次曲面最小二乘拟合，以通过拟合得到的特征系数向量作为区域合并标准进行目标准确分割，得到目标物的最终准确分割结果；设图像被预分割为N个区域，分别用U1,U2,...,UN表示；目标受光照非均匀性及遮挡等影响，图像预分割后存在过分分割的问题，本发明通过区域合并方法对预分割结果进行处理来解决此问题，根据场景点云数据特性，空间目标物表面的点云数据分布可由二次曲面得到较准确拟合，令函数f(a1,a2，...，a10)表示欧式空间二次曲面，
f(α1：a2：...，a10）＝a1x2+a2y2+a3z2+a4xy+a5xz+a5yz+a7x+α8y+a9z+a10
记由多项式系数构成的向量为a＝(a1，a2，...，a10)。
针对预分割区域Uk(k＝1,2,...,N)，设
Figure GDA0002321591270000051
其中，(xi,yi,zi)(i＝1,2,...,Nk)是对应区域Uk上的点云数据，Nk是区域中点云数；利用最小二乘方法计算其点云数据构成的二次曲面方程，令
Figure GDA0002321591270000052
得
Ma'＝0
其中，
Figure GDA0002321591270000053
通过矩阵运算求解线性方程可得到区域Uk的二次曲面方程系数构成表征曲面特征的向量ak，依据经验设定阈值d0，计算预分割区域Uk(k＝1,2,...,N)任意两区域Uk,Ul的系数向量的欧式距离dkl，
dkl＝||ak-al||
以特征向量的欧式距离作为区域合并标准，将dkl＜d0且Uk,Ul相邻的区域进行合并，得到最终分割结果，识别了分割图像中的目标物；然后提取目标物的点云数据，从而得到目标物的位置和姿态；通过步骤2)中得出的转移矩阵将目标物坐标及姿态转为机器人基坐标系下的坐标及姿态，然后对多轴机械臂2的运动轨迹进行规划，控制多轴机械臂2到达与目标物一定距离的待抓取位置；
4)目标物的在线局部精确定位：分为两步，首先利用彩色网络摄像头3近距离采集目标物图像，采集图像后通过受光照影响较小的分水岭方法，提取目标中心线坐标，得出目标物中心相对于手抓中心的左右偏移量，多轴机械臂2末端根据左右偏移量调整位置，使多轴机械臂2手抓中心对准目标物中心，左右对齐，处理后的多轴机械臂2手抓中心线6与目标物中心线7之间的偏移量很小；然后利用手抓位置处的单点激光测距传感器4准确测量手抓到待抓取目标物的垂直距离；
5)多轴机械臂2末端手抓根据对单点激光测距传感器测量到的手抓到目标物的垂直距离实现对目标物的前后准确抓取。
上述手眼伺服抓取方法为机器人智能控制方法。
本发明的有益特征为：
(1)本发明提出的基于深度学习图像分割技术的手眼伺服机器人抓取系统及方法，有效解决了任意目标物准确识别，精确定位与抓取问题，本发明整体通过离线与在线结合，首先完成基于深度学习方法的目标物特性提取和手眼标定，然后通过深度学习对图像进行预分割，并利用区域合并方法提高目标准确识别率，结合手臂末端彩色网络摄像头3与单点激光测距传感器4局部精确定位，大大提高伺服系统的精确性，图像目标分割方法依赖于合理的假设与严格的数学理论推导，整体识别定位精度高。
(2)本发明提出的基于深度学习图像分割技术的手眼伺服机器人准确抓取系统及方法，具有实用性强，易推广等特点，能有效满足机器人智能操作的需要，可有效提高机器人自主能力和智能化水平。
以上内容是结合具体的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (5)

1.基于深度学习图像分割技术的手眼伺服机器人抓取方法，其特征在于，其步骤包括：
1)离线利用深度学习方法对数据库中图像进行特征提取，其提取的特征用于在线图像分割与目标识别；
2)嵌入式PC机触发立体视觉传感器对场景的RGB图像和点云数据进行采集，利用RGB图像、点云数据和手眼标定算法实现手眼标定，计算安装于多轴机械臂上方的立体视觉传感器到多轴机械臂基坐标系的转移矩阵；
3)目标物的在线全局粗识别定位：利用步骤1)离线提取的特征对RGB图像进行预分割，对预分割区域进行区域合并，得到目标物的准确分割结果，提取目标物的点云数据，从而得到目标物的位置和姿态；通过步骤2)中得出的转移矩阵将目标物坐标及姿态转为多轴机械臂基坐标系下的坐标及姿态，然后对多轴机械臂的运动轨迹进行规划，控制多轴机械臂到达与目标物一定距离的待抓取位置；
4)目标物的在线局部精确定位：首先利用多轴机械臂末端关节处的彩色网络摄像头近距离采集目标物图像，用分水岭方法对目标物图像进行处理，得出手抓中心线与目标物中心线的左右偏移量，控制多轴机械臂运动，使手抓中心对齐目标物的中心位置；然后利用手抓位置处的单点激光测距传感器准确测量手抓到目标物的垂直距离；
5)多轴机械臂末端手抓对目标物进行准确抓取。
2.根据权利要求1所述的基于深度学习图像分割技术的手眼伺服机器人抓取方法，其特征在于：所述步骤3)中的得到目标物的准确分割结果的具体过程为：利用深度学习方法提取的特征对采集的图像进行预分割，设图像被预分割为N个区域，分别用U1,U2,…,UN表示；根据场景点云数据特性，空间目标物表面的点云数据分布可由二次曲面得到较准确拟合，令函数f(a1,a2，…，a10)表示欧式空间二次曲面，
f(a1，a2，…，a10)＝a1x2+a2y2+a3z2+a4xy+a5xz+a6yz+a7x+a8y+a9z+a10
记由多项式系数构成的向量为a＝(a1，a2，…，a10)；
针对预分割区域Uk(k＝1,2,…,N)，设
Figure FDA0002360418710000011
其中，(xi,yi,zi)(i＝1,2,…,Nk)是对应区域Uk上的点云数据，Nk是区域中点云数，利用最小二乘方法计算其点云数据构成的二次曲面方程，令
Figure FDA0002360418710000012
得
Ma'＝0
其中，
Figure FDA0002360418710000021
通过矩阵运算求解线性方程可得到区域Uk的二次曲面方程系数构成的向量ak，依据经验设定阈值d0，计算预分割区域Uk(k＝1,2,…,N)任意两区域Uk,Ul的系数向量的欧式距离dkl，
dkl＝||ak-al||
将dkl＜d0且Uk,Ul相邻的区域进行合并，得到目标物的最终准确分割结果。
3.根据权利要求1或2所述的基于深度学习图像分割技术的手眼伺服机器人抓取方法，其特征在于：
所述多轴机械臂，用于目标物的抓取；
所述立体视觉传感器，安装于多轴机械臂的上方，用于RGB图像和点云数据的采集；
所述彩色网络摄像头，安装于多轴机械臂末端关节处，用于目标物相对于多轴机械臂末端手抓中心位置的左右偏移量的采集；
所述单点激光测距传感器，安装于多轴机械臂末端关节的手抓上，用于目标物到手抓的垂直距离的测量；
所述嵌入式PC机，用于控制立体视觉传感器、彩色网络摄像头和单点激光测距传感器的图像与距离的采集及处理。
4.根据权利要求3所述的基于深度学习图像分割技术的手眼伺服机器人抓取方法，其特征在于：所述彩色网络摄像头安装于多轴机械臂末端关节的中间位置，所述单点激光测距传感器安装于多轴机械臂末端关节上手抓的中心位置。
5.根据权利要求3所述的基于深度学习图像分割技术的手眼伺服机器人抓取方法，其特征在于：所述多轴机械臂具有七个自由度。
CN201710278748.1A 2017-04-25 2017-04-25 基于深度学习图像分割技术的手眼伺服机器人抓取系统及方法 Active CN107186708B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710278748.1A CN107186708B (zh) 2017-04-25 2017-04-25 基于深度学习图像分割技术的手眼伺服机器人抓取系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710278748.1A CN107186708B (zh) 2017-04-25 2017-04-25 基于深度学习图像分割技术的手眼伺服机器人抓取系统及方法

Publications (2)

Publication Number Publication Date
CN107186708A CN107186708A (zh) 2017-09-22
CN107186708B true CN107186708B (zh) 2020-05-12

Family

ID=59872355

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710278748.1A Active CN107186708B (zh) 2017-04-25 2017-04-25 基于深度学习图像分割技术的手眼伺服机器人抓取系统及方法

Country Status (1)

Country Link
CN (1) CN107186708B (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107479501A (zh) * 2017-09-28 2017-12-15 广州智能装备研究院有限公司 基于深度学习的3d零部件吸取方法
CN107931893B (zh) * 2017-10-24 2019-07-16 中国第一汽车股份有限公司 一种apc积放链托盘挂钩定位精度补偿方法及补偿系统
CN108177143B (zh) * 2017-12-05 2021-08-10 上海工程技术大学 一种基于激光视觉引导的机器人定位抓取方法及系统
CN108247635B (zh) * 2018-01-15 2021-03-26 北京化工大学 一种深度视觉的机器人抓取物体的方法
CN108171748B (zh) * 2018-01-23 2021-12-07 哈工大机器人（合肥）国际创新研究院 一种面向机器人智能抓取应用的视觉识别与定位方法
CN108259830B (zh) * 2018-01-25 2019-08-23 深圳冠思大数据服务有限公司 基于云服务器的鼠患智能监控系统和方法
CN110293550B (zh) * 2018-03-21 2021-06-18 北京猎户星空科技有限公司 机械臂移动控制方法、装置和智能设备
CN109641351B (zh) * 2018-06-08 2021-11-26 深圳蓝胖子机器人有限公司 一种物体特征的识别方法、视觉识别装置及机器人
CN108942921A (zh) * 2018-06-11 2018-12-07 江苏楚门机器人科技有限公司 一种基于深度学习物体识别的散乱抓取装置
CN108908334A (zh) * 2018-07-20 2018-11-30 汕头大学 一种基于深度学习的智能抓取系统及方法
CN108858202B (zh) * 2018-08-16 2020-11-10 中国科学院自动化研究所 基于“对准-趋近-抓取”的零件抓取装置的控制方法
CN109048918B (zh) * 2018-09-25 2022-02-22 华南理工大学 一种轮椅机械臂机器人的视觉引导方法
US10926416B2 (en) 2018-11-21 2021-02-23 Ford Global Technologies, Llc Robotic manipulation using an independently actuated vision system, an adversarial control scheme, and a multi-tasking deep learning architecture
CN109605381A (zh) * 2019-01-29 2019-04-12 欧米瑞（广东）智能制造有限公司 一种三维定位取料系统及取料方法
CN110517287A (zh) * 2019-05-17 2019-11-29 北京印刷学院 获取机器鱼运动轨迹的方法、装置、设备及存储介质
CN110276806B (zh) * 2019-05-27 2023-06-09 江苏大学 用于四自由度并联机器人立体视觉手眼系统的在线手眼标定和抓取位姿计算方法
CN110509300B (zh) * 2019-09-30 2024-04-09 河南埃尔森智能科技有限公司 基于三维视觉引导的钢箍加工上料控制系统及控制方法
CN112720459B (zh) * 2020-12-02 2022-07-12 达闼机器人股份有限公司 目标物体抓取方法、装置、存储介质及电子设备
CN112454368B (zh) * 2020-12-22 2022-02-15 四川轻化工大学 基于激光测距与深度强化学习的机械手臂控制系统及方法
CN114132745A (zh) * 2021-11-30 2022-03-04 北京新风航天装备有限公司 一种基于agv及机器视觉进行工件自动上下料系统及方法
CN115159149B (zh) * 2022-07-28 2024-05-24 深圳市罗宾汉智能装备有限公司 一种基于视觉定位的取料卸货方法及其装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104680167A (zh) * 2015-03-09 2015-06-03 西安电子科技大学 基于深度学习的极光卵位置确定方法
CN105393122A (zh) * 2013-07-26 2016-03-09 豪夫迈·罗氏有限公司 用于搬运样品管的方法和搬运装置
CN106041937A (zh) * 2016-08-16 2016-10-26 河南埃尔森智能科技有限公司 一种基于双目立体视觉的机械手抓取控制系统的控制方法
CN106094516A (zh) * 2016-06-08 2016-11-09 南京大学 一种基于深度强化学习的机器人自适应抓取方法
CN106485746A (zh) * 2016-10-17 2017-03-08 广东技术师范学院 基于图像无标定的视觉伺服机械手及其控制方法
CN106530297A (zh) * 2016-11-11 2017-03-22 北京睿思奥图智能科技有限公司 基于点云配准的物体抓取区域定位方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5977544B2 (ja) * 2012-03-09 2016-08-24 キヤノン株式会社 情報処理装置、情報処理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105393122A (zh) * 2013-07-26 2016-03-09 豪夫迈·罗氏有限公司 用于搬运样品管的方法和搬运装置
CN104680167A (zh) * 2015-03-09 2015-06-03 西安电子科技大学 基于深度学习的极光卵位置确定方法
CN106094516A (zh) * 2016-06-08 2016-11-09 南京大学 一种基于深度强化学习的机器人自适应抓取方法
CN106041937A (zh) * 2016-08-16 2016-10-26 河南埃尔森智能科技有限公司 一种基于双目立体视觉的机械手抓取控制系统的控制方法
CN106485746A (zh) * 2016-10-17 2017-03-08 广东技术师范学院 基于图像无标定的视觉伺服机械手及其控制方法
CN106530297A (zh) * 2016-11-11 2017-03-22 北京睿思奥图智能科技有限公司 基于点云配准的物体抓取区域定位方法

Also Published As

Publication number Publication date
CN107186708A (zh) 2017-09-22

Similar Documents

Publication Publication Date Title
CN107186708B (zh) 基于深度学习图像分割技术的手眼伺服机器人抓取系统及方法
CN110014426B (zh) 一种利用低精度深度相机高精度抓取形状对称工件的方法
CN111775146B (zh) 一种工业机械臂多工位作业下的视觉对准方法
CN105729468B (zh) 一种基于多深度摄像机增强的机器人工作台
CN112518748B (zh) 面向运动物品的视觉机械臂自动抓取方法与系统
CN108177143B (zh) 一种基于激光视觉引导的机器人定位抓取方法及系统
CN111679291B (zh) 基于三维激光雷达的巡检机器人目标定位配置方法
CN109702741B (zh) 基于自监督学习神经网络的机械臂视觉抓取系统及方法
CN109297413B (zh) 一种大型筒体结构视觉测量方法
CN110509273B (zh) 基于视觉深度学习特征的机器人机械手检测及抓取方法
CN108247635B (zh) 一种深度视觉的机器人抓取物体的方法
CN103895042A (zh) 一种基于视觉引导的工业机器人工件定位抓取方法及系统
CN111243017A (zh) 基于3d视觉的智能机器人抓取方法
CN111598172B (zh) 基于异构深度网络融合的动态目标抓取姿态快速检测方法
CN112419429B (zh) 一种基于多视角的大型工件表面缺陷检测标定方法
CN113103235B (zh) 一种基于rgb-d图像对柜体表面设备进行垂直操作的方法
CN109540105A (zh) 一种基于双目视觉的快递包裹抓取装置和抓取方法
CN113172632A (zh) 一种基于图像的简化机器人视觉伺服控制方法
CN112530267B (zh) 一种基于计算机视觉的机械臂智能示教方法及应用
CN112588621B (zh) 一种基于视觉伺服的农产品分拣方法及系统
Kheng et al. Stereo vision with 3D coordinates for robot arm application guide
CN115922725A (zh) 一种咽拭子采样机器人定位系统
CN112396604B (zh) 一种基于多视角的飞机蒙皮缺陷检测方法
CN114310957A (zh) 用于医疗检测的机器人系统及检测方法
Zhao et al. Research on stalk crops internodes and buds identification based on computer vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20190218

Address after: Room 105, Building C, No. 1 Baisha Road, East Bank of Tangjiawan Town, Zhuhai High-tech Zone, Guangdong Province

Applicant after: ZHUHAI ZHIZHUO INVESTMENT MANAGEMENT Co.,Ltd.

Address before: 213100 Changzhou Wujin District, Jiangsu Province, No. 18 Changwuzhong Road, Changzhou Science and Education City, Jiangnan Institute of Modern Industry, Fifth Floor, Fourth Floor

Applicant before: JIANGSU ENGEL ROBOT CO.,LTD.

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20211208

Address after: 519000 room 112, R & D building, No. 1 Baisha Road, Tangjiawan Town, high tech Zone, Zhuhai City, Guangdong Province

Patentee after: Zhuhai seagull Information Technology Co.,Ltd.

Address before: Room 105, Building C, No. 1 Baisha Road, East Bank of Tangjiawan Town, Zhuhai High-tech Zone, Guangdong Province

Patentee before: ZHUHAI ZHIZHUO INVESTMENT MANAGEMENT Co.,Ltd.

CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: Room 602-1, 6th Floor, Building 2, No. 99 Xingang Road, Tangjiawan Town, High tech Zone, Zhuhai City, Guangdong Province, 519080

Patentee after: Guangdong Haiou Flying Automobile Group Co.,Ltd.

Address before: 519000 room 112, R & D building, No. 1 Baisha Road, Tangjiawan Town, high tech Zone, Zhuhai City, Guangdong Province

Patentee before: Zhuhai seagull Information Technology Co.,Ltd.