CN213106856U - 一种结合三维视觉识别可实现精确抓取的机械臂装置 - Google Patents

Abstract

本实用新型公开了一种结合三维视觉识别可实现精确抓取的机械臂装置，属于机械臂应用技术领域。该机械臂装置包括机械臂机构、工件传输机构和三维视觉识别机构。采集三维视觉识别机构的深度相机的视觉信息，在机器臂移动时进行三维视觉引导，通过系统标定，获取点云数据并对工件进行位姿估计，计算出工件的抓取运动轨迹，控制机器臂实现工件的抓取和摆放；灵活性强，适应性高。

Description

一种结合三维视觉识别可实现精确抓取的机械臂装置

技术领域

本实用新型属于机械臂应用技术领域，更具体地说，涉及一种结合三维视觉识别可实现精确抓取的机械臂装置。

背景技术

机械臂是高精度，多输入多输出、高度非线性、强耦合的复杂系统。在实际工业分拣等场合下，常有对不同规格工件进行分拣的需求。现有的工业分拣技术主要是基于二维码、激光扫描等相关技术。二维码技术一方面要求被测物体附带二维码，应用范围狭窄；另一方面二维码可能会出现磨损、遮挡现象的发生，识别不准确。激光扫描在工业上应用，使用成本较高。而通过深度相机拍摄被测工件，一方面可以直接获取点云数据，其次可以多次重复使用，成本较低。然而，由于工件摆放杂乱问题和标准放置的要求，现有机械臂末端执行器存在以下问题：抓取工件的准确度不高、面对较为复杂的工作环境时不具备较高的灵活性、不能实现工件的精确放置等。例如，在对工件有正反面放置要求时，现有机械臂装置难以实现。因此，需要采用结合三维视觉识别系统可以便捷快速的获取零件的位姿信息，并通过高灵活性夹具的机械臂装置来解决此类问题。

为了解决上述的问题，经过检索，中国专利CN104048607A公开了一种机械手臂的视觉识别抓取方法，包括如下步骤：1)图像采集，由两个CCD视觉传感器构成的双相机系统采集工件图像，将图像转换成数字格式并传入计算机存储器；2)图像处理，处理器对图像进行颜色辨识、图像增强，边缘锐化，降噪，对工件的长度、面积进行测量，并找到图像中工件的中心点的坐标位置；3)坐标传送，将CCD视觉传感器的坐标与机械手臂的坐标校准，使CCD视觉传感器和机械手臂的坐标系重合，将图像中工件的中心点的坐标位置传给机械手臂的控制器，由控制器控制机械手臂来抓取工件。再如中国专利CN103753585A公开了一种机械手及其抓紧力的调节方法，所述机械手还包括视觉图像采集系统及数据库；所述视觉图像采集系统拍集机械手将要抓握的物体的3D实体图像，并同时扫描被采集物体的尺寸信息，获得体积大小，传送至中央处理器；所述数据库存储有各类物品的图像资料及材质的密度、粗糙度、摩擦系数参数；所述中央处理将采集的3D实体图像与数据库中的图像资料比较判断，确定被抓握物体的种类，尺寸和体积，并调出该物体的材质的密度、粗糙度、摩擦系数参数，中央处理器根据上述参数输出抓举力信息至控制单元，所述控制单元控制机械手臂的抓紧力与举起力。再如中国专利CN205787823U公开了一种配合视觉识别应用的控制装置，包括视觉识别系统、控制装置、机械臂，所述视觉识别系统与所述控制装置连接，用于向控制装置发送信号；所述控制装置与所述机械臂连接，用于从视觉识别系统中接收信号，并控制机械臂进行不同动作的操作。

综上所述，以上专利文献虽然可以基本解决一部分问题，但是针对机械臂精确抓取仍待进一步探索。

发明内容

1.要解决的问题

针对现有机械臂无法实现准确抓取的问题，本实用新型提供一种结合三维视觉识别可实现精确抓取的机械臂装置，引导机械臂对随机散乱工件的准确抓取和摆放，灵活性强，适应性高。

2.技术方案

为了解决上述问题，本实用新型所采用的技术方案如下：

本实用新型的结合三维视觉识别可实现精确抓取的机械臂装置，包括：

机械臂机构，其包括工作台、置于所述工作台上的机器臂、置于所示工作台上的工件框以及气源部件，所述工件框位于所述机器臂一侧，所述气源部件与所述机器臂气连接，所述机器臂设有动作控制部件，动作控制部件与气源部件电连接；

工件传输机构，其包括传送带，所述传送带置于所述工作台上且位于所述机器臂正前方，所述传送带与所述动作控制部件电连接；

三维视觉识别机构，其包括支架、深度相机和视觉控制部件，所述支架固定在所述传送带一侧且与机器臂相对设置；所述深度相机设置在所述支架上且镜头正对传送带，所述视觉控制部件与所述动作控制部件电连接。

于本实用新型一种可能的实施方式中，所述机器臂包括底座、腰部、大臂、小臂、转动臂、腕关节和末端执行器，所述底座固定在工作台上，其上依次连接腰部、大臂、小臂、转动臂和腕关节，所述末端执行器通过末端法兰盘与所述腕关节连接。

于本实用新型一种可能的实施方式中，所述气源部件包括真空发生器、电磁阀、主气管和气泵，所述气泵通过主气管连接至所述末端执行器，所述主气管上依次设有电磁阀和真空发生器，且电磁阀靠近气泵。

于本实用新型一种可能的实施方式中，所述支架上设有报警灯，所述报警灯与所述视觉控制部件电连接。

于本实用新型一种可能的实施方式中，所述末端执行器包括气管接头、进气管、法兰盘基座、气管转接头、连接板、真空吸盘和内六角螺栓，所述法兰盘基座通过内六角螺栓固定于所述末端法兰盘上，所述真空吸盘固定在所述连接板上，所述法兰盘基座两侧设有螺栓定位孔且通过螺栓固定连接板，所述进气管一端通过气管接头与主气管连接连通，另一端通过气管转接头与所述真空吸盘连接连通。同时采用双吸盘设计，同时根据TCP标定法调整吸盘杆长。

于本实用新型一种可能的实施方式中，所述工作台侧面设有示教器，所述示教器与所述动作控制部件电连接。

本实用新型还提供一种结合三维视觉识别可实现精确抓取的方法，采用上述的机械臂装置，采集视觉识别机构的深度相机的视觉信息，在机器臂移动时进行三维视觉引导，通过系统标定，获取点云数据并对工件进行位姿估计，计算出工件的抓取运动轨迹，控制机器臂实现工件的抓取和摆放；具体的步骤包括：

步骤S101：搭建三维视觉识别可实现精确抓取的机械臂装置；

本实用新型搭建的是eye-to-hand的结构系统，在工作台及底座固定不动情况下，将深度相机安装在相固定的位置，机器臂的底座不发生变化，保证动作控制部件的鲁棒性，同时深度相机的识别机构并不会因为机器臂的运动而改变，保证被测工件在深度相机的拍摄范围内；结合相机获取的三维点云数据并处理得到工件位姿信息，获得工件的位姿信息传送给动作控制系统。

步骤S102：使用三维视觉识别机构获取到目标工件的三维点云数据，作为基准模型；在进行对被测工件的点云数据进行配准之前，需要先获取目标点云的详细点云数据，包括目标工件的位置和姿态，对目标工件进行全方位的点云数据的采集，再通过采集的数据建立基准模型，为后续的实际应用采集到的点云数据进行配准；并用深度相机拍摄工作区内的目标物体，获取场景三维点云数据，对点云数据进行处理，再与模板点云匹配；然后对采集到的场景点云数据进行预处理、分割及配准得到工件的位姿信息；

步骤S103：控制机器臂标定点位，获取深度相机与机器臂之间的系数转化矩阵；通过三维视觉识别机构，采集标定板的在不同时段，不同角度的位姿信息，将获得的标定点信息进行手眼标定；与此同时记录机器臂当前的位姿数据，得到机器臂的基座标系下末端的位姿，结合标定板坐标系的位姿，从而计算出机器臂末端相对深度相机的系数转换矩阵；

步骤S104：通过步骤S103训练和计算，选择其中点云数据最完备的被测工件，并且通过计算获得被测工件的位置和姿态数据，然后传输到动作控制部件生成运动控制程序，驱动机器臂完成抓取测试；如果抓取的过程中存在角度不合适、遮挡问题的出现，机器臂末端会重新回到原点并预备下一次的抓取操作；同时动作控制部件根据视觉信息引导机器臂完成对工件的抓取和摆放。

于本实用新型一种可能的实施方式中，所述步骤S102中，对被测工件的点云数据要进行处理，结合三维视觉识别机构的内容，去除场景点云的冗余点、离散点，之后对去噪后的点云数据进行点云分割，根据实际的点云的分布状况，选择区域增长、特征、边缘等方式进行分割；分割后的点云数据，一般通过面积阈值法进行点云的筛选，将筛选出来的点云数据与目标工件的基准模型进行配准，同样是根据实际情况选择进行粗配准或者精配准。

于本实用新型一种可能的实施方式中，所述步骤S103中，根据机器臂的示教器读出位姿数据，换算出机器臂末端坐标系到机器臂的底座的转换矩阵，结合深度相机标定结果完成手眼标定。

3.有益效果

相比于现有技术，本实用新型的有益效果为：

(1)本实用新型的结合三维视觉识别可实现精确抓取的机械臂装置，采集三维视觉识别机构的深度相机的视觉信息，在机器臂移动时进行三维视觉引导，通过系统标定，获取点云数据并对工件进行位姿估计，计算出工件的抓取运动轨迹，控制机器臂实现工件的抓取和摆放；灵活性强，适应性高；

(2)通过深度相机拍摄得到目标物体的点云图和rgb图，然后使用Mask r-cnn算法(源自：He,Kaiming,et al."Mask r-cnn."Proceedings of the IEEE internationalconference on computer vision.2017)获得目标物体的在rgb图像上的像素分布，并将其直接映射到三维的场景点云中去，得到目标物体在场景点云中的点云分布，再使用RANSAC算法(源自：Consensus, Random Sample."A paradigm for model fitting withapplications to image analysis and automated cartography."MA Fischler,RCBolles 6(1981):381-395)和ICP算法(源自：Besl,Paul J,and Neil D.McKay."Methodfor registration of 3-D shapes."Sensor fusion IV:control paradigms and datastructures.Vol.1611.International Society for Optics and Photonics,1992)将模板点云与场景点云配准就可以得到二者的转换关系，并使用手眼标定得到的转换关系最终就可以得到目标物体与机器臂基坐标系的位置关系，从而控制机器臂准确的抓取和摆放工件。

附图说明

图1为本实用新型结合三维视觉识别可实现精确抓取的机械臂装置的结构示意图；

图2为本实用新型机械臂装置的机器臂结构示意图；

图3为本实用新型机械臂装置的一种状态示意图；

图4为图3的A部放大图；

图5为本实用新型机械臂装置的另一种状态示意图；

图6为本实用新型机械臂装置的工作状态示意图；

图7为图6的B部放大图；

图8为本实用新型机械臂装置的末端执行器结构示意图。

图中标记为：

100、机械臂机构；110、工作台；120、机器臂；121、底座；122、腰部；123、大臂； 124、小臂；125、转动臂；126、腕关节；127、末端执行器；1271、气管接头；1272、进气管；1273、法兰盘基座；1274、气管转接头；1275、连接板；1276、真空吸盘；1277、内六角螺栓；128、末端法兰盘；129、动作控制部件；130、工件框；140、气源部件；141、气泵； 142、主气管；143、电磁阀；144、真空发生器；150、示教器；

200、工件传输机构；210、传送带；

300、三维视觉识别机构；310、支架；320、深度相机；330、报警灯；340、视觉控制部件。

具体实施方式

下文对本实用新型的示例性实施例进行了详细描述。尽管这些示例性实施例被充分详细地描述以使得本领域技术人员能够实施本实用新型，但应当理解可实现其他实施例且可在不脱离本实用新型的精神和范围的情况下对本实用新型作各种改变。下文对本实用新型的实施例的更详细的描述并不用于限制所要求的本实用新型的范围，而仅仅为了进行举例说明且不限制对本实用新型的特点和特征的描述，以提出执行本实用新型的最佳方式，并足以使得本领域技术人员能够实施本实用新型。因此，本实用新型的范围仅由所附权利要求来限定。

本实用新型的工件可以是3C电子产品、五金加工件等，下面以10*10cm重量约50克的薄型钣金件，末端执行器为真空吸盘，其有效吸附负载为0.2kg为例进行说明。

本实施例的一种结合三维视觉识别可实现精确抓取的方法，采集三维视觉识别机构的深度相机320的视觉信息，在机器臂移动时进行三维视觉引导，通过系统标定，获取点云数据并对工件进行位姿估计，计算出工件的抓取运动轨迹，控制机器臂实现工件的抓取和摆放。具体的步骤包括：

步骤S101：搭建三维视觉识别可实现精确抓取的机械臂装置；

步骤S102：使用三维视觉识别机构300获取到目标工件的三维点云数据，作为基准模型；在进行对被测工件的点云数据进行配准之前，需要先获取目标点云的详细点云数据，包括目标工件的位置和姿态，对目标工件进行全方位的点云数据的采集，再通过采集的数据建立基准模型，为后续的实际应用采集到的点云数据进行配准；并用深度相机320拍摄工作区内的目标物体，获取场景三维点云数据，对点云数据进行处理，再与模板点云匹配；然后对采集到的场景点云数据进行预处理、分割及配准得到工件的位姿信息；对被测工件的点云数据要进行处理，结合三维视觉识别机构300的内容，去除场景点云的冗余点、离散点，之后对去噪后的点云数据进行点云分割，根据实际的点云的分布状况，选择区域增长、特征、边缘等方式进行分割；分割后的点云数据，一般通过面积阈值法进行点云的筛选，将筛选出来的点云数据与目标工件的基准模型进行配准，同样是根据实际情况选择进行粗配准或者精配准。

步骤S103：控制机器臂标定点位，获取深度相机320与机器臂之间的系数转化矩阵；通过三维视觉识别机构300，采集标定板的在不同时段，不同角度的位姿信息，将获得的标定点信息进行手眼标定；与此同时记录机器臂的位姿数据，得到机器臂的底座121标系下末端的位姿，结合标定板坐标系的位姿，从而计算出机器臂末端相对深度相机320的系数转换矩阵；一般情况根据机器臂的示教器150读出位姿数据，即可换算出机器臂末端TCP坐标系到机器臂的底座121的转换矩阵，再结合深度相机320标定结果即可完成手眼标定，从而计算得到机器臂基坐标系相对于深度相机320坐标系的位姿转换矩阵。

步骤S104：通过步骤S103训练和计算，选择其中点云数据最完备的被测工件，并且通过计算获得被测工件的位置和姿态数据，然后传输到动作控制部件129生成运动控制程序，驱动机器臂完成抓取测试；如果抓取的过程中存在角度不合适、遮挡问题的出现，机器臂末端会重新回到原点并预备下一次的抓取操作；同时动作控制部件129根据视觉信息引导机器臂完成对工件的抓取和摆放。

如图2至图8所示，三维视觉识别可实现精确抓取的机械臂装置包括：机械臂机构100、工件传输机构200和三维视觉识别机构300。

在图1中可以看出，机械臂机构100包括工作台110、置于所述工作台110上的机器臂 120、置于所示工作台110上的工件框130以及气源部件140，所述工件框130位于所述机器臂120一侧，所述气源部件140与所述机器臂120气连接，所述机器臂120设有动作控制部件129，动作控制部件129与气源部件140电连接。工作台110为可移动式的，在工作台110 的底面设置有滑轮，同时，在工作台110的底面四角设置有吸盘，当工作台110确定位置后，通过吸盘可以进行固定。

进一步的，所述工件传输机构200包括传送带210，所述传送带210置于所述工作台110 上且位于所述机器臂120正前方，所述传送带210与所述动作控制部件129电连接。工件由机器臂120抓取并搬运至工件框130中，传送带210循环的转动，将工件不断的输送过来。

进一步的，所述三维视觉识别机构300包括支架310、深度相机320和视觉控制部件340，所述支架310固定在所述传送带210一侧且与机器臂120相对设置，即支架310和机器臂分别位于传送带210的两侧；所述深度相机320设置在所述支架310上且镜头正对传送带210，所述视觉控制部件340与所述动作控制部件129、深度相机320电连接。深度相机320的型号采用知微D130，通过深度相机320的对正设置，尽可能的将工件的运动轨迹囊括在镜头的范围内，确保工件不会被遗漏。视觉控制部件340为一平板电脑或台式电脑，该视觉控制部件340自带有图片处理软件，这里不局限上述的几种电脑，其他的可以完成图片处理功能的 PC端也是选择之内。

在实际使用过程中，可能会出现突发事件，因此，在所述支架310上设有报警灯330，所述报警灯330与所述视觉控制部件340电连接。报警灯330会及时报警，提醒现场的工作人。

在本实施例中，如图2所示，所述机器臂120包括底座121、腰部122、大臂123、小臂124、转动臂125、腕关节126和末端执行器127，所述底座121固定在工作台110上，其上依次连接腰部122、大臂123、小臂124、转动臂125和腕关节126，所述末端执行器127通过末端法兰盘128与所述腕关节126连接。该机器臂120的结构为现有的机器臂设计，在机器臂120的末端设置末端执行器127，通过该末端执行器127完成对工件的转移，效率更高，不易出现损坏等问题。

结合图1和图8所示，本实施例中的末端执行器127包括气管接头1271、进气管1272、法兰盘基座1273、气管转接头1274、连接板1275、真空吸盘1276和内六角螺栓1277，所述法兰盘基座1273通过内六角螺栓1277固定于所述末端法兰盘128上，所述真空吸盘1276固定在所述连接板1275上，所述法兰盘基座1273两侧设有螺栓定位孔且通过螺栓固定连接板 1275，所述进气管1272一端通过气管接头1271与主气管142连接连通，另一端通过气管转接头1274与所述真空吸盘1276连接连通。同时采用双吸盘设计，同时根据TCP标定法调整吸盘杆长。

其中，真空吸盘1276需要配合气源部件140实现抽真空，因此所述气源部件140包括真空发生器144、电磁阀143、主气管142和气泵141，所述气泵141通过主气管142连接至所述末端执行器127，所述主气管142上依次设有电磁阀143和真空发生器144，且电磁阀143靠近气泵141。

进一步的，所述工作台110侧面设有示教器150，所述示教器150与所述动作控制部件 129电连接。根据机器臂120的示教器150读出位姿数据，换算出机器臂120末端TCP坐标系到机器臂120的底座121的转换矩阵，再结合深度相机320标定结果即可完成手眼标定，从而计算得到机器臂120基坐标系相对于深度相机320坐标系的位姿转换矩阵。

最后需要说明的是，以上实施例仅用以说明本实用新型的技术方案而非限制技术方案，应当指出，对于本技术领域的普通技术人员来说，在不脱离本实用新型所述原理的前提下，还可以做出若干改进或同等替换，而不脱离本技术方案的宗旨和范围，均应涵盖在本实用新型的权利要求范围中。

Claims (6)

1.一种结合三维视觉识别可实现精确抓取的机械臂装置，其特征在于，包括：

机械臂机构(100)，其包括工作台(110)、置于所述工作台(110)上的机器臂(120)、置于所示工作台(110)上的工件框(130)以及气源部件(140)，所述工件框(130)位于所述机器臂(120)一侧，所述气源部件(140)与所述机器臂(120)气连接，所述机器臂(120)设有动作控制部件(129)，动作控制部件(129)与气源部件(140)电连接；

工件传输机构(200)，其包括传送带(210)，所述传送带(210)置于所述工作台(110)上且位于所述机器臂(120)正前方，所述传送带(210)与所述动作控制部件(129)电连接；

三维视觉识别机构(300)，其包括支架(310)、深度相机(320)和视觉控制部件(340)，所述支架(310)固定在所述传送带(210)一侧且与机器臂(120)相对设置；所述深度相机(320)设置在所述支架(310)上且镜头正对传送带(210)，所述视觉控制部件(340)与所述动作控制部件(129)、深度相机(320)电连接。

2.根据权利要求1所述的结合三维视觉识别可实现精确抓取的机械臂装置，其特征在于，所述机器臂(120)包括底座(121)、腰部(122)、大臂(123)、小臂(124)、转动臂(125)、腕关节(126)和末端执行器(127)，所述底座(121)固定在工作台(110)上，其上依次连接腰部(122)、大臂(123)、小臂(124)、转动臂(125)和腕关节(126)，所述末端执行器(127)通过末端法兰盘(128)与所述腕关节(126)连接。

3.根据权利要求2所述的结合三维视觉识别可实现精确抓取的机械臂装置，其特征在于，所述气源部件(140)包括真空发生器(144)、电磁阀(143)、主气管(142)和气泵(141)，所述气泵(141)通过主气管(142)连接至所述末端执行器(127)，所述主气管(142)上依次设有电磁阀(143)和真空发生器(144)，且电磁阀(143)靠近气泵(141)。

4.根据权利要求1所述的结合三维视觉识别可实现精确抓取的机械臂装置，其特征在于，所述支架(310)上设有报警灯(330)，所述报警灯(330)与所述视觉控制部件(340)电连接。

5.根据权利要求2所述的结合三维视觉识别可实现精确抓取的机械臂装置，其特征在于，所述末端执行器(127)包括气管接头(1271)、进气管(1272)、法兰盘基座(1273)、气管转接头(1274)、连接板(1275)、真空吸盘(1276)和内六角螺栓(1277)，所述法兰盘基座(1273)通过内六角螺栓(1277)固定于所述末端法兰盘(128)上，所述真空吸盘(1276)固定在所述连接板(1275)上，所述法兰盘基座(1273)两侧设有螺栓定位孔且通过螺栓固定连接板(1275)，所述进气管(1272)一端通过气管接头(1271)与主气管(142)连接连通，另一端通过气管转接头(1274)与所述真空吸盘(1276)连接连通。

6.根据权利要求1至5任一项所述的结合三维视觉识别可实现精确抓取的机械臂装置，其特征在于，所述工作台(110)侧面设有示教器(150)，所述示教器(150)与所述动作控制部件(129)电连接。

Images