CN106934833B - 一种散乱堆放物料拾取装置和方法 - Google Patents

一种散乱堆放物料拾取装置和方法 Download PDF

Info

Publication number
CN106934833B
CN106934833B CN201710065675.8A CN201710065675A CN106934833B CN 106934833 B CN106934833 B CN 106934833B CN 201710065675 A CN201710065675 A CN 201710065675A CN 106934833 B CN106934833 B CN 106934833B
Authority
CN
China
Prior art keywords
robot
target object
pose
gray code
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710065675.8A
Other languages
English (en)
Other versions
CN106934833A (zh
Inventor
郑泽龙
张旭
庄磊磊
朱利民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Jihui Huake Intelligent Equipment Technology Co.,Ltd.
Original Assignee
HUST Wuxi Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HUST Wuxi Research Institute filed Critical HUST Wuxi Research Institute
Priority to CN201710065675.8A priority Critical patent/CN106934833B/zh
Publication of CN106934833A publication Critical patent/CN106934833A/zh
Application granted granted Critical
Publication of CN106934833B publication Critical patent/CN106934833B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20228Disparity calculation for image-based rendering

Landscapes

  • Manipulator (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种散乱堆放物料拾取装置和方法,包括机器人、上位机、光测量系统;所述光测量系统包括投影装置、分别位于投影装置左边和右边的左相机和右相机;所述投影装置顺次向物料拾取场景中投射Gray码图像;左相机和右相机分别采集物料拾取场景中的Gray码图像,并传输到上位机中;上位机根据左相机和右相机采集到的Gray码图像重建目标物体的点云,并对物料拾取场景中的目标物体进行识别和定位以获取目标物体的三维堆放位置和三维姿态,制定拾取策略,规划机器人的机械臂的拾取路径,并传输给机器人;机器人根据拾取路径执行拾取操作。本发明可有效解决散堆件位姿随意性导致机器人路径规划困难问题。

Description

一种散乱堆放物料拾取装置和方法
技术领域
本发明属于机器人应用领域,具体涉及一种散乱堆放物料拾取装置和方法。
背景技术
视觉引导机器人抓取技术在工业上的应用越来越广泛,应用场景也在日益丰富,随着技术的发展,机器人将逐渐替代人类来完成一些简单、重复、低智力要求的工作。
目前,视觉引导机器人抓取应用主要集中在基于2D视觉检测的固定平面上的目标物体拾取上,2D视觉检测方法能提供的零件位置信息有限,通常只能将零件限定在一个固定的测量深度上进行检测,这显然会限制机器人的应用范围。
随着深度图像采集设备的发展迭代,获取包含场景深度信息的数据已经不再是困难和昂贵的事情,同时三维物体识别算法的近几年的蓬勃发展,使得识别和定位点云数据或深度图像中的目标物体变得越来越稳定有效。通过三维物体识别算法可以获得目标物体六个维度的位置信息,将该技术和六自由度机器人结合起来,便可实现对散乱堆放的目标物体的拾取。但由于三维物体的处理对象是大量的点云数据,比二维图像多了一个维度的信息,处理效率上比二维图像要慢很多,且目前还没有出现较为高效的三维物体识别算法。另外由于散乱堆放的物料随意性强,规划机器人的拾取路径时难度大。由于上述原因,工业上用机器人拾取散乱堆放的物料的应用极少。如果能找到提高三维识别的效率的方法和有效的机器人路径规划方法,便可将机器人应用到散堆件的拾取和分拣工作中。
发明内容
针对上述问题,本发明提出一种散乱堆放物料拾取装置和方法,可以有效提高零件查找的速度和机器人拾取路径自主规划能力,实现机器人对散乱堆放的物料的有效拾取。
实现上述技术目的,达到上述技术效果,本发明通过以下技术方案实现:
一种散乱堆放物料拾取装置,包括机器人、上位机、光测量系统;所述光测量系统包括投影装置、分别位于投影装置左边和右边的左相机和右相机;所述投影装置向物料拾取场景中投射Gray码图像;左相机和右相机分别采集物料拾取场景中的Gray码图像,并传输到上位机中;上位机根据左相机和右相机采集到的Gray码图像重建目标物体的点云,并对物料拾取场景中的目标物体进行识别和定位以获取目标物体的三维堆放位置和三维姿态,制定拾取策略,规划机器人的机械臂的拾取路径,并传输给机器人;机器人根据拾取路径执行拾取操作。
进一步地,所述的一种散乱堆放物料拾取装置,还包括标定装置,所述标定装置是一种由圆形特征按照设定的分布关系组合而成的图形板,用于上位机根据图形识别算法由图形组合特征从场景中获取标定装置的位姿,继而根据手眼标定法标定光测量系统坐标系与机器人上的基座的坐标系的位姿关系;或者标定装置采用相机标定中通用的圆特征标定板或棋盘格标定板;所述机器人为六自由度或者六自由度以上的机械臂。
一种散乱堆放物料拾取方法,包括以下步骤:
步骤一、利用投影装置顺次向物料拾取场景中投射若干张疏密程度不一的Gray码图像;分别通过位于投影装置左边的左相机和位于投影装置右边的右相机采集Gray码图像,得到对应的左Gray码匹配图像和右Gray码匹配图像,并传输到上位机中,顺次排放形成Gray码匹配图像序列,用于重建场景点云;
步骤二、上位机通过视差相似相减的方法将场景中非目标物体的背景滤除,只重建目标物体的点云;
步骤三、上位机对场景中的目标物体进行识别和定位,获取目标物体的三维堆放位置和三维姿态;
步骤四、上位机根据识别和定位到的目标物体的三维堆放位置和三维姿态,制定拾取策略,规划机械臂的拾取路径,并输出控制信号给机器人;
步骤五、机器人根据接收到的控制信号,控制其机械臂执行拾取操作。
进一步地,所述步骤二具体包括以下步骤:
201:先对未放置目标物体的场景投射Gray码图片,计算出此时场景的视差,并将视差数据保存下来;
202:向场景中放入目标物体,计算有目标物体的场景视差,将该视差数据与步骤201中保存的视差数据逐像素相比较;
203:滤除相似视差的部分,只留下目标物体的视差图像;
204:根据目标物体的视差图像进行重建,获得只有目标物体的点云数据,从而完成重建目标物体的点云。
进一步地,所述场景的视差的计算方法具体为:
矫正左Gray码匹配图像和右Gray码匹配图像,使二者的行对应;
分别计算各左Gray码匹配图像和各右Gray码匹配图像中指定图像的全黑和全白的Gray图像灰度均值,设定二值化阈值;
利用上一步计算出的阈值对Gray码匹配图像序列中的各左Gray码匹配图像和右Gray码匹配图像分别进行二值化,大于阈值图像对应像素点的值即为1,否则为0,形成二值化的Gray码匹配图像序列;
从二值化的Gray码图像序列中按顺序取出同一点的0或1值,将取出来的Gray码转换成十进制码,最终形成对应的左解码图像和右解码图像;
通过在左解码图像和左解码图像相同行中寻找码值相同且为条纹边界的点就可以确定左解码图像和左解码图像的对应性,从而计算出视差图像。
进一步地,所述滤除相似视差的方法具体为:
首先设定视差图像比较窗口大小,和相似判定阈值;
将有目标物体的场景视差图像的每个像素和无目标物体的场景视差图像中相应位置处比较窗口范围内的所有像素的视差值进行比较,如果在比较窗口中找到视差值差值在相似判定阈值内,则视为相似视差并给予滤除。
进一步地,所述步骤四中的规划机械臂的拾取路径包括以下步骤:
基于目标物体的三维堆放位置和三维姿态,利用手眼标定算法获得机器人基座坐标系和光测量系统坐标系位姿变换关系,通过姿态变换关系计算出目标物体在机器人基座下的位姿;
设置机器人末端执行器的初始拾取位姿RTt
根据目标物体的位姿和机器人的初始拾取准备位姿,确定机器人拾取目标物体的最优位姿,并将最优拾取位姿的z轴方向定义为机器人末端执行器接近目标物体的方向,即拾取方向;
进行目标物体是否可拾取判断,排除机器人无法拾取的目标物体;
根据目标物体的遮挡关系,确定目标物体的拾取顺序;
根据中间过渡点规划机器人拾取路径;
向机器人发送控制信号,控制机器人进行拾取。
所述的确定机器人拾取目标物体的最优位姿的具体法:
根据目标物体的结构特征,在待识别的目标物体上相对固有局部参考坐标系额外定义多个参考坐标系,记为:第一局部参考坐标系、第二局部参考坐标系……第N局部参考坐标系,根据坐标变换原理计算出这些参考坐标系在机器人基座坐标系下的位姿RT1、RT2……RTN,将这些位姿同RTt进行比较,根据旋量变化的大小选择合适的机器人拾取位姿,选择原则为旋量越小越合适。
进一步地,所述进行目标物体是否可拾取判断的具体做法是:根据机器人拾取目标物体的最优位姿,求机器人的运动学逆解,获得机器人各关节的移动量,并判断是否超出了最大关节的最大运动极限,从而判断该目标物体是否可拾取。
进一步地,所述的确定目标物体的拾取顺序具体做法是:标物体在机器人基座下的位姿及其三维模型,在几何仿真环境下还原实际场景中物体的堆叠情况,对每个物体在拾取方向上进行正交投影,根据计算机图形学的遮挡判断原理获得物体之间的遮挡关系,继而根据遮挡关系确定各物体的拾取顺序;所述的根据中间过渡点规划机器人拾取路径的具体做法是:根据机器人和外设的位置关系以及目标物体的拾取方法预先指定多个中间过渡点,然后根据中间过渡点规划机器人拾取路径,用于避免机器人规划拾取路径时与周边设备发生碰撞,减小机器人运动轨迹的不确定性。
本发明的有益效果:
本发明提出的一种散乱堆放物料拾取装置和方法,背景过滤方法可以有效滤除背景,只保留目标物体的点云数据;并提出机器人拾取路径规划方法,可有效解决散堆件位姿随意性导致机器人路径规划困难问题。
附图说明
图1为本发明一种实施例的散乱堆放物料拾取装置结构示意图。
图2为本发明一种实施例的散乱堆放物料拾取方法流程示意图。
图3为本发明一种实施例的重建目标物体的点云的流程示意图。
图4为本发明一种实施例的计算视差方法流程示意图。
图5为本发明一种实施例的视差相似相减法实例示意图。
图6为本发明一种实施例的机器人拾取路径规划流程示意图。
图7为本发明一种实施例的最佳拾取位姿选择示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
下面结合附图对本发明的应用原理作详细的描述。
如图1所示,一种散乱堆放物料拾取装置,包括机器人1、上位机2、光测量系统;所述光测量系统包括投影装置4、分别位于投影装置左边和右边的左相机3和右相机5;所述投影装置顺次向物料拾取场景中投射Gray码图像6;左相机3和右相机5分别采集物料拾取场景中的Gray码图像6,并传输到上位机2中(可以采用有线或者无线传输);上位机2根据左相机3和右相机5采集到的Gray码图像6重建目标物体的点云,并对物料拾取场景中的目标物体进行识别和定位以获取目标物体的三维堆放位置和三维姿态,制定拾取策略,规划机器人1的机械臂的拾取路径(即机械臂的运动轨迹),并传输给机器人1;机器人1根据拾取路径执行拾取操作,用于拾取场景中的目标物体。
在本发明的一种实施例中,所述机器人1为六自由度或者六自由度以上的机械臂。
在本发明的一种实施例中,所述的一种散乱堆放物料拾取装置,还包括标定装置7,所述标定装置7是一种由圆形特征按一定的分布关系组合而成的图形板(圆形特征表示:圆形图案或者圆形形状,在图像处理领域常常使用圆形特征这个词来表示),上位机的图形识别算法根据图形组合而成的特征可从场景中获取标定装置的位姿(下文将位置和姿态简称为位姿),继而根据现有的手眼标定法标定光测量系统坐标系与机器人上的基座的坐标系的位姿关系。优选地,所述标定装置是安装在机械手的末端,若机械手是夹持器,则直接夹持即可;若机械手是真空吸附器,可以直接吸附,若机械手是电磁吸附的则需要配备铁材料的标定装置,以方便吸附。当需要进行标定的时候,利用机械手抓取标定板,不需要标定的时候,标定板放置在一旁。
如图2所示,一种散乱堆放物料拾取方法,包括以下步骤:
步骤一、利用投影装置顺次向物料拾取场景中投射若干张疏密程度不一的Gray码图像,(在本发明的一种实施例中,可以选择10张疏密程度不一的Gray码图像);分别通过位于投影装置左边的左相机和位于投影装置右边的右相机采集Gray码图像,得到对应的对应的左Gary码匹配图像和右Gary码匹配图像,并传输到上位机中,用于重建场景点云,其中,Gray码匹配图像的排放顺序可以是同一Gray码图像的左Gray码匹配图像、右Gray码匹配图像,第二Gray码图像的左Gray码匹配图像、右Gray码匹配图像;第三Gray码图像的左Gray码匹配图像、右Gray码匹配图像;依次类推;也可以先放置右Gray码匹配图像,再放置对应的左Gray码匹配图像。
步骤二、上位机通过视差相似相减的方法将场景中非目标物体的背景滤除,只重建目标物体的点云;
步骤三、上位机通过基于点云的3D物体识别技术对场景中的目标物体进行识别和定位,获取目标物体的三维堆放位置和三维姿态;优选地,采用现有的三维物体识别算法对场景中的目标物体进行识别和定位;
步骤四、上位机根据识别和定位到的目标物体的三维堆放位置和三维姿态,制定拾取策略,规划机械臂的拾取路径,并输出机械臂控制信号给机器人;
步骤五、机器人根据接收到的机械臂控制信号,控制其机械臂执行拾取操作。
如图3所示,为了提高重建和目标物体搜索的效率,所述步骤二具体包括以下步骤:
201:先对未放置目标物体的场景投射Gray码图片,计算出此时场景的视差,并将视差数据保存下来;
202:向场景中放入目标物体,计算有目标物体的场景视差,将该视差数据与步骤201中保存的视差数据相比较;
203:滤除相似视差的部分,只留下目标物体的视差图像,如图5所示,
204:根据目标物体的视差图像进行重建,获得只有目标物体的点云数据,从而完成重建目标物体的点云。
如图4所示,所述场景的视差的计算方法具体为:
矫正左Gray码匹配图像和右Gray码匹配图像,使二者的行对应;
分别计算各左Gray码匹配图像和各右Gray码匹配图像中指定图像的全黑和全白的Gray图像灰度均值,设定二值化阈值,在本发明的一种实施例中,设定二值化阈值的过程为:将两个灰度均值和的一半作为二值化的阈值。在本发明的一种实施例中,可以分别选中Gray码匹配图像序列的前两幅图像(即第一个左Gray码匹配图像和第一个右Gray码匹配图像),并分别计算二者的全黑和全白的Gray图像灰度均值。
利用上一步计算出的阈值对Gray码匹配图像序列中的各左Gray码匹配图像和右Gray码匹配图像分别进行二值化,大于阈值图像对应像素点的值即为1,否则为0,形成二值化的Gray码匹配图像序列;
从二值化的Gray码图像序列中按顺序取出同一点的0或1值,将取出来的Gray码转换成十进制码,最终形成对应的左解码图像和右解码图像;
通过在左解码图像和左解码图像相同行中寻找码值相同且为条纹边界的点就可以确定左解码图像和左解码图像的对应性,从而计算出视差图像。
在本发明的一种实施例中,所述滤除相似视差的方法具体为:
首先设定视差图像比较窗口大小,和相似判定阈值;
将有目标物体的场景视差图像的每个像素和无目标物体的场景视差图像中相应位置处比较窗口范围内的所有像素的视差值进行比较,如果在比较窗口中找到视差值差值在相似判定阈值内,则视为相似视差并给予滤除。
通过上述视差滤除方法不仅可以有效地减小点云的数据量,同时可大大减小误匹配率,特别对于平面特征较多的物体,效果尤为明显,因场景中常常会出现一些大平面,而现有的三维物体识别定位算法中都是基于领域点的拓扑结构和点云的法相进行的匹配,所以,如果目标物体的平面特征较多时,很容易就会出现将背景平面误识别为零件的情况。通过上述方法,可以有效地解决这个问题,从图5中可以看出,该方法可以有效滤除场景噪声,只保留目标物体的点云部分。
如图6所示,所述步骤四中的规划机械臂的拾取路径包括以下步骤:
基于目标物体的三维堆放位置和三维姿态,利用手眼标定算法获得机器人基座坐标系和光测量系统坐标系位姿变换关系,通过姿态变换关系计算出目标物体在机器人基座下的位姿;
设置机器人末端执行器的初始拾取位姿RTt,用于选择机器人拾取目标物体的最佳位姿;
根据目标物体的位姿和机器人的初始拾取准备位姿,确定机器人拾取目标物体的最优位姿,并将最优拾取位姿的z轴方向定义为机器人末端执行器的拾取方向(即接近目标物体的方向)
进行目标物体是否可拾取判断,排除机器人无法拾取的目标物体,避免机器人执行拾取过程中因超出运动极限而停车的情况;
根据目标物体在机器人基座下的位姿及其三维模型(优选地为三维CAD模型),在几何仿真环境下还原实际场景中的物体的堆叠情况,对每个物体在拾取方向上进行正交投影,根据计算机图形学的遮挡判断原理获得物体之间的遮挡关系,继而根据遮挡关系确定各物体的拾取顺序;
根据机器人和外设的位置关系以及目标物体的拾取方法,预先指定多个中间过程点,根据中间过渡点规划机器人拾取路径,用于避免机器人规划拾取路径时与周边设备发生碰撞,减小机器人运动轨迹的不确定性。确定目机器人拾取目标物体的最优拾取位姿时,对于散乱堆放的物体,由于其位姿的随意性很高,很可能出现:如图7所示,虽然能识别到目标物体的位姿RT,但其位姿对于当前机器人是不可拾取的(关节超出运动极限或者发生碰撞),但实际上机器人可通过其他位姿进行拾取该目标物体,因此:所述确定机器人拾取目标物体的最优位姿具体为:参见图7所示,根据目标物体的结构和机器人末端执行器的结构特征,在目标物体上相对固有局部参考坐标系(即用于指示三维识别和定位算法识别到的物体的位姿的坐标系)额外定义多个局部参考坐标系记为:第一局部参考坐标系、第二局部参考坐标系……第N局部参考坐标系,(如图7中的F1和F2),根据坐标变换原理计算出这些参考坐标系在机器人基座坐标系下的位姿RT1、RT2……RTN(如图7中的RT1和RT2),将这些位姿同RTt进行比较,根据旋量变化的大小选择合适的机器人拾取位姿,选择原则为旋量越小越合适;
所述进行目标物体是否可拾取判断具体做法是:根据机器人拾取目标物体的最优位姿,求机器人的运动学逆解,获得机器人各关节的移动量,并判断是否超出了最大关节的最大运动极限,从而判断该目标物体是否可拾取;
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (6)

1.一种散乱堆放物料拾取装置,其特征在于:包括机器人、上位机、光测量系统;
所述光测量系统包括投影装置、分别位于投影装置左边和右边的左相机和右相机;
所述投影装置向物料拾取场景中投射Gray码图像;左相机和右相机分别采集物料拾取场景中的Gray码图像,并传输到上位机中;
上位机根据左相机和右相机采集到的Gray码图像重建目标物体的点云,并对物料拾取场景中的目标物体进行识别和定位以获取目标物体的三维堆放位置和三维姿态,制定拾取策略,规划机器人的机械臂的拾取路径,并传输给机器人;
机器人根据拾取路径执行拾取操作;
所述的规划机器人的机械臂的拾取路径包括以下步骤:
基于目标物体的三维堆放位置和三维姿态,利用手眼标定算法获得机器人基座坐标系和光测量系统坐标系位姿变换关系,通过位姿变换关系计算出目标物体在机器人基座下的位姿;
设置机器人末端执行器的拾取准备位姿RTt
根据目标物体的位姿和机器人的拾取准备位姿,确定机器人拾取目标物体的最优位姿,并将最优拾取位姿的z轴方向定义为机器人末端执行器接近目标物体的方向,即拾取方向;
进行目标物体是否可拾取判断,排除机器人无法拾取的目标物体;
根据目标物体的遮挡关系,确定目标物体的拾取顺序;
根据中间过渡点规划机器人拾取路径;
向机器人发送控制信号,控制机器人进行拾取;
所述的确定机器人拾取目标物体的最优位姿的具体法:
根据目标物体的结构特征,在待识别的目标物体上相对固有局部参考坐标系额外定义多个参考坐标系,记为:第一局部参考坐标系、第二局部参考坐标系……第N局部参考坐标系,根据坐标变换原理计算出这些参考坐标系在机器人基座坐标系下的位姿RT1、RT2……RTN,将这些位姿同RTt进行比较,根据旋量变化的大小选择合适的机器人拾取位姿,选择原则为旋量越小越合适;
所述进行目标物体是否可拾取判断的具体做法是:根据机器人拾取目标物体的最优位姿,求机器人的运动学逆解,获得机器人各关节的移动量,并判断是否超出了最大关节的最大运动极限,从而判断该目标物体是否可拾取;
所述的确定目标物体的拾取顺序具体做法是:根据目标物体在机器人基座下的位姿及其三维模型,在几何仿真环境下还原实际场景中的物体的堆叠情况,对每个物体在拾取方向上进行正交投影,根据计算机图形学的遮挡判断原理获得物体之间的遮挡关系,继而根据遮挡关系确定各物体的拾取顺序;所述的根据中间过渡点规划机器人拾取路径的具体做法是:根据机器人和外设的位置关系以及目标物体的拾取方法预先指定多个中间过渡点,然后根据中间过渡点规划机器人拾取路径,用于避免机器人规划拾取路径时与周边设备发生碰撞,减小机器人运动轨迹的不确定性。
2.根据权利要求1所述的一种散乱堆放物料拾取装置,其特征在于:还包括标定装置,所述标定装置是一种由圆形特征按照设定的分布关系组合而成的图形板,用于上位机根据图形识别算法由图形组合特征从场景中获取标定装置的位姿,继而根据手眼标定法标定光测量系统坐标系与机器人上的基座的坐标系的位姿关系;或者标定装置采用相机标定中通用的圆特征标定板或棋盘格标定板;所述机器人为六自由度或者六自由度以上的机械臂。
3.一种散乱堆放物料拾取方法,其特征在于:包括以下步骤:
步骤一、利用投影装置顺次向物料拾取场景中投射若干张疏密程度不一的Gray码图像;分别通过位于投影装置左边的左相机和位于投影装置右边的右相机采集Gray码图像,得到对应的左Gray码匹配图像和右Gray码匹配图像,并传输到上位机中,顺次排放形成Gray码匹配图像序列,用于重建场景点云;
步骤二、上位机通过视差相似相减的方法将场景中非目标物体的背景滤除,只重建目标物体的点云;
步骤三、上位机通过基于点云的3D物体识别技术对场景中的目标物体进行识别和定位,获取目标物体的三维堆放位置和三维姿态;
步骤四、上位机根据识别和定位到的目标物体的三维堆放位置和三维姿态,制定拾取策略,规划机械臂的拾取路径,并输出控制信号给机器人;
步骤五、机器人根据接收到的控制信号,控制其机械臂执行拾取操作;
所述的规划机器人的机械臂的拾取路径包括以下步骤:
基于目标物体的三维堆放位置和三维姿态,利用手眼标定算法获得机器人基座坐标系和光测量系统坐标系位姿变换关系,通过位姿变换关系计算出目标物体在机器人基座下的位姿;
设置机器人末端执行器的拾取准备位姿RTt
根据目标物体的位姿和机器人的拾取准备位姿,确定机器人拾取目标物体的最优位姿,并将最优拾取位姿的z轴方向定义为机器人末端执行器接近目标物体的方向,即拾取方向;
进行目标物体是否可拾取判断,排除机器人无法拾取的目标物体;
根据目标物体的遮挡关系,确定目标物体的拾取顺序;
根据中间过渡点规划机器人拾取路径;
向机器人发送控制信号,控制机器人进行拾取;
所述的确定机器人拾取目标物体的最优位姿的具体法:
根据目标物体的结构特征,在待识别的目标物体上相对固有局部参考坐标系额外定义多个参考坐标系,记为:第一局部参考坐标系、第二局部参考坐标系……第N局部参考坐标系,根据坐标变换原理计算出这些参考坐标系在机器人基座坐标系下的位姿RT1、RT2……RTN,将这些位姿同RTt进行比较,根据旋量变化的大小选择合适的机器人拾取位姿,选择原则为旋量越小越合适;
所述进行目标物体是否可拾取判断的具体做法是:根据机器人拾取目标物体的最优位姿,求机器人的运动学逆解,获得机器人各关节的移动量,并判断是否超出了最大关节的最大运动极限,从而判断该目标物体是否可拾取;
所述的确定目标物体的拾取顺序具体做法是:根据目标物体在机器人基座下的位姿及其三维模型,在几何仿真环境下还原实际场景中的物体的堆叠情况,对每个物体在拾取方向上进行正交投影,根据计算机图形学的遮挡判断原理获得物体之间的遮挡关系,继而根据遮挡关系确定各物体的拾取顺序;所述的根据中间过渡点规划机器人拾取路径的具体做法是:根据机器人和外设的位置关系以及目标物体的拾取方法预先指定多个中间过渡点,然后根据中间过渡点规划机器人拾取路径,用于避免机器人规划拾取路径时与周边设备发生碰撞,减小机器人运动轨迹的不确定性。
4.根据权利要求3所述的一种散乱堆放物料拾取方法,其特征在于:所述步骤二具体包括以下步骤:
201:先对未放置目标物体的场景投射Gray码图片,计算出此时场景的视差,并将视差数据保存下来;
202:向场景中放入目标物体,计算有目标物体的场景视差,将该场景视差与步骤201中保存的视差数据逐像素相比较;
203:滤除相似视差的部分,只留下目标物体的视差图像;
204:根据目标物体的视差图像进行重建,获得只有目标物体的点云数据,从而完成重建目标物体的点云。
5.根据权利要求4所述的一种散乱堆放物料拾取方法,其特征在于:所述场景的视差的计算方法具体为:
矫正左Gray码匹配图像和右Gray码匹配图像,使二者的行对应;
分别计算各左Gray码匹配图像和各右Gray码匹配图像中指定图像的全黑和全白的Gray图像灰度均值,设定二值化阈值;
利用上一步计算出的阈值对Gray码匹配图像序列中的各左Gray码匹配图像和右Gray码匹配图像分别进行二值化,大于阈值图像对应像素点的值即为1,否则为0,形成二值化的Gray码匹配图像序列;
从二值化的Gray码图像序列中按顺序取出同一点的0或1值,将取出来的Gray码转换成十进制码,最终形成对应的左解码图像和右解码图像;
通过在左解码图像和右解码图像相同行中寻找码值相同且为条纹边界的点就可以确定左解码图像和右解码图像的对应性,从而计算出视差图像。
6.根据权利要求5所述的一种散乱堆放物料拾取方法,其特征在于:所述滤除相似视差的方法具体为:
首先设定视差图像比较窗口大小,和相似判定阈值;
将有目标物体的场景视差图像的每个像素和无目标物体的场景视差图像中相应位置处比较窗口范围内的所有像素的视差值进行比较,如果在比较窗口中找到视差值差值在相似判定阈值内,则视为相似视差并给予滤除。
CN201710065675.8A 2017-02-06 2017-02-06 一种散乱堆放物料拾取装置和方法 Active CN106934833B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710065675.8A CN106934833B (zh) 2017-02-06 2017-02-06 一种散乱堆放物料拾取装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710065675.8A CN106934833B (zh) 2017-02-06 2017-02-06 一种散乱堆放物料拾取装置和方法

Publications (2)

Publication Number Publication Date
CN106934833A CN106934833A (zh) 2017-07-07
CN106934833B true CN106934833B (zh) 2019-09-10

Family

ID=59423844

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710065675.8A Active CN106934833B (zh) 2017-02-06 2017-02-06 一种散乱堆放物料拾取装置和方法

Country Status (1)

Country Link
CN (1) CN106934833B (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107450885B (zh) * 2017-07-21 2020-09-08 上海交通大学 一种工业机器人与三维传感器的坐标变换求解方法
CN107498558A (zh) * 2017-09-19 2017-12-22 北京阿丘科技有限公司 全自动手眼标定方法及装置
CN107945192B (zh) * 2017-12-14 2021-10-22 北京信息科技大学 一种托盘纸箱垛型实时检测方法
JP6795007B2 (ja) * 2018-04-27 2020-12-02 株式会社ダイフク ピッキング設備
CN108942921A (zh) * 2018-06-11 2018-12-07 江苏楚门机器人科技有限公司 一种基于深度学习物体识别的散乱抓取装置
CN108723958B (zh) * 2018-08-16 2024-01-23 上海发那科机器人有限公司 一种水龙头自动加工生产系统
CN109523629B (zh) * 2018-11-27 2023-04-07 上海交通大学 一种基于物理仿真的物体语义和位姿数据集生成方法
TWI734237B (zh) * 2019-10-29 2021-07-21 財團法人金屬工業研究發展中心 自動控制方法以及自動控制裝置
CN109816730B (zh) * 2018-12-20 2021-08-17 先临三维科技股份有限公司 工件抓取方法、装置、计算机设备和存储介质
CN110340891B (zh) * 2019-07-11 2022-05-24 河海大学常州校区 基于点云模板匹配技术的机械臂定位抓取系统及方法
CN110415363A (zh) * 2019-08-05 2019-11-05 上海神添实业有限公司 一种基于三目视觉的散乱物识别定位方法
CN111402411A (zh) * 2020-04-10 2020-07-10 贵刚 一种基于线结构光的散乱物识别抓取方法
CN112476434B (zh) * 2020-11-24 2021-12-28 新拓三维技术(深圳)有限公司 一种基于协作机器人的视觉3d取放方法及系统
CN112509043B (zh) * 2020-11-30 2024-03-22 西安中科光电精密工程有限公司 一种适用于随机混放纸箱垛的机器人智能拆垛方法
CN112192577A (zh) * 2020-12-03 2021-01-08 佛山隆深机器人有限公司 一种应用于机器人抓取场景的一拍多抓方法
CN112223300A (zh) * 2020-12-15 2021-01-15 佛山隆深机器人有限公司 一种基于双目视觉和姿态优化的工件无序抓取方法
CN112530153A (zh) * 2020-12-28 2021-03-19 苏州信颐系统集成有限公司 一种垃圾分类前端数据采集系统
CN113688704A (zh) * 2021-08-13 2021-11-23 北京京东乾石科技有限公司 物品拣选方法、装置、电子设备和计算机可读介质
CN113579683A (zh) * 2021-08-23 2021-11-02 安徽艾瑞思信息科技有限公司 基于Falcon相机用于流水线零件高精度拾取的装置
CN113911919B (zh) * 2021-09-14 2023-06-02 杭州大杰智能传动科技有限公司 基于堆叠模型仿真的智能塔吊物料运输控制方法和系统
CN116320357A (zh) * 2023-05-17 2023-06-23 浙江视觉智能创新中心有限公司 一种3d结构光相机系统、方法、电子设备和可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102184542A (zh) * 2011-05-05 2011-09-14 华侨大学 一种双目立体视觉测量的立体匹配方法
CN104835158A (zh) * 2015-05-05 2015-08-12 中国人民解放军国防科学技术大学 基于格雷码结构光与极线约束的三维点云获取方法
CN105518702A (zh) * 2014-11-12 2016-04-20 深圳市大疆创新科技有限公司 一种对目标物体的检测方法、检测装置以及机器人
CN105598965A (zh) * 2015-11-26 2016-05-25 哈尔滨工业大学 基于立体视觉的机器人欠驱动手自主抓取方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102184542A (zh) * 2011-05-05 2011-09-14 华侨大学 一种双目立体视觉测量的立体匹配方法
CN105518702A (zh) * 2014-11-12 2016-04-20 深圳市大疆创新科技有限公司 一种对目标物体的检测方法、检测装置以及机器人
CN104835158A (zh) * 2015-05-05 2015-08-12 中国人民解放军国防科学技术大学 基于格雷码结构光与极线约束的三维点云获取方法
CN105598965A (zh) * 2015-11-26 2016-05-25 哈尔滨工业大学 基于立体视觉的机器人欠驱动手自主抓取方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
双目视觉与编码结构光结合的三维重建技术的研究;李学锋;《中国优秀硕士学位论文全文数据库信息科技辑》;20161115(第11期);第I138-289页
基于机器视觉的服务机器人智能抓取研究;杨扬;《中国博士学位论文全文数据库信息科技辑》;20141215(第12期);第I140-46页

Also Published As

Publication number Publication date
CN106934833A (zh) 2017-07-07

Similar Documents

Publication Publication Date Title
CN106934833B (zh) 一种散乱堆放物料拾取装置和方法
CN112070818B (zh) 基于机器视觉的机器人无序抓取方法和系统及存储介质
CN107392964B (zh) 基于室内特征点和结构线结合的室内slam方法
CN109934848B (zh) 一种基于深度学习的运动物体精准定位的方法
CN108062536B (zh) 一种检测方法及装置、计算机存储介质
CN104680582B (zh) 一种面向对象定制的三维人体模型创建方法
US9898651B2 (en) Upper-body skeleton extraction from depth maps
JP5855751B2 (ja) 三次元オブジェクトのモデリング、フィッティング、およびトラッキング
JP6295645B2 (ja) 物体検出方法及び物体検出装置
CN107833270A (zh) 基于深度相机的实时物体三维重建方法
CN109308718B (zh) 一种基于多深度相机的空间人员定位装置及方法
CN106920259A (zh) 一种定位方法及系统
CN110428465A (zh) 基于视觉和触觉的机械臂抓取方法、系统、装置
CN109215085B (zh) 一种利用计算机视觉与图像识别的物品统计方法
CN110136202A (zh) 一种基于ssd与双摄像头的多目标识别与定位方法
CN109377513A (zh) 一种针对两视图的全局三维人体姿态可信估计方法
CN109785373B (zh) 一种基于散斑的六自由度位姿估计系统及方法
CN114119739A (zh) 一种基于双目视觉的手部关键点空间坐标获取方法
CN110375765B (zh) 基于直接法的视觉里程计方法、系统及存储介质
CN114972377A (zh) 基于移动最小二乘法与超体素的3d点云分割方法和装置
CN109493384A (zh) 相机位姿估计方法、系统、设备及存储介质
CN112614173A (zh) 一种基于深度图像的实时平面检测及提取方法
CN111080685A (zh) 一种基于多视角立体视觉的飞机钣金零件三维重建方法及系统
Schaub et al. 6-DOF grasp detection for unknown objects using surface reconstruction
CN111260709B (zh) 一种面向动态环境的地面辅助的视觉里程计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Zheng Zelong

Inventor after: Zhang Xu

Inventor after: Zhuang Leilei

Inventor after: Zhu Limin

Inventor before: Qian Jin

Inventor before: Zheng Zelong

Inventor before: Zhang Xu

Inventor before: Zhuang Leilei

Inventor before: Zhu Limin

CB03 Change of inventor or designer information
TA01 Transfer of patent application right

Effective date of registration: 20180313

Address after: 214174 Wuxi Province, Huishan District, No. Weir Road, No. 329

Applicant after: Wuxi research institute of the Central China University of Science and Technology

Address before: Suzhou Yuanfeng road Kunshan City, Jiangsu province 215300 City No. 232 robot industrial park office building 303

Applicant before: Jiangsu Huahang Weitai Robot Technology Co Ltd

Applicant before: Wuxi research institute of the Central China University of Science and Technology

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20170707

Assignee: Jiangsu Jihui Huake Intelligent Equipment Technology Co., Ltd.

Assignor: Wuxi research institute of the Central China University of Science and Technology

Contract record no.: X2019980000288

Denomination of invention: Dispersedly stacked material pickup apparatus and method

Granted publication date: 20190910

License type: Common License

Record date: 20191023

TR01 Transfer of patent right

Effective date of registration: 20201230

Address after: 214174 A216, No.2 Qingyan Road, Huishan Economic Development Zone, Wuxi City, Jiangsu Province

Patentee after: Jiangsu Jihui Huake Intelligent Equipment Technology Co.,Ltd.

Address before: 214174 329 Weir Road, Huishan District, Wuxi, Jiangsu

Patentee before: HUST-WUXI Research Institute

TR01 Transfer of patent right