CN111791239A - 一种结合三维视觉识别可实现精确抓取的方法 - Google Patents
一种结合三维视觉识别可实现精确抓取的方法 Download PDFInfo
- Publication number
- CN111791239A CN111791239A CN202010835303.0A CN202010835303A CN111791239A CN 111791239 A CN111791239 A CN 111791239A CN 202010835303 A CN202010835303 A CN 202010835303A CN 111791239 A CN111791239 A CN 111791239A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- mechanical arm
- workpiece
- grabbing
- cloud data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
Abstract
本发明公开了一种结合三维视觉识别可实现精确抓取的方法，属于机械臂应用技术领域。该方法的步骤包括：步骤S101：搭建三维视觉识别可实现精确抓取的机械臂装置；步骤S102：使用三维视觉识别机构获取到目标工件的三维点云数据，作为基准模型；步骤S103：控制机械臂手标定点位，获取深度相机与机械臂之间的系数转化矩阵；步骤S104：通过步骤S103训练和计算。采集视觉识别机构的深度相机的视觉信息，在机械臂移动时进行三维视觉引导，通过系统标定，获取点云数据并对工件进行位姿估计，计算出工件的抓取运动轨迹，控制机械臂实现工件的抓取和摆放；灵活性强，适应性高。
Description
技术领域
本发明属于机械臂应用技术领域，更具体地说，涉及一种结合三维视觉识别可实现精确抓取的方法。
背景技术
机械臂是高精度，多输入多输出、高度非线性、强耦合的复杂系统。在实际工业分拣等场合下，常有对不同规格工件进行分拣的需求。现有的工业分拣技术主要是基于二维码、激光扫描等相关技术。二维码技术一方面要求被测物体附带二维码，应用范围狭窄；另一方面二维码可能会出现磨损、遮挡现象的发生，识别不准确。激光扫描在工业上应用，使用成本较高。而通过深度相机拍摄被测工件，一方面可以直接获取点云数据，其次可以多次重复使用，成本较低。然而，由于工件摆放杂乱问题和标准放置的要求，现有机械臂末端执行器存在以下问题：抓取工件的准确度不高、面对较为复杂的工作环境时不具备较高的灵活性、不能实现工件的精确放置等。例如，在对工件有正反面放置要求时，现有机械臂装置难以实现。因此，需要采用结合三维视觉识别系统可以便捷快速的获取零件的位姿信息，并通过高灵活性夹具的机械臂装置来解决此类问题。
为了解决上述的问题，经过检索，中国专利CN104048607A公开了一种机械手臂的视觉识别抓取方法，包括如下步骤：1)图像采集，由两个CCD视觉传感器构成的双相机系统采集工件图像，将图像转换成数字格式并传入计算机存储器；2)图像处理，处理器对图像进行颜色辨识、图像增强，边缘锐化，降噪，对工件的长度、面积进行测量，并找到图像中工件的中心点的坐标位置；3)坐标传送，将CCD视觉传感器的坐标与机械手臂的坐标校准，使CCD视觉传感器和机械手臂的坐标系重合，将图像中工件的中心点的坐标位置传给机械手臂的控制器，由控制器控制机械手臂来抓取工件。再如中国专利CN103753585A公开了一种机械手及其抓紧力的调节方法，所述机械手还包括视觉图像采集系统及数据库；所述视觉图像采集系统拍集机械手将要抓握的物体的3D实体图像，并同时扫描被采集物体的尺寸信息，获得体积大小，传送至中央处理器；所述数据库存储有各类物品的图像资料及材质的密度、粗糙度、摩擦系数参数；所述中央处理将采集的3D实体图像与数据库中的图像资料比较判断，确定被抓握物体的种类，尺寸和体积，并调出该物体的材质的密度、粗糙度、摩擦系数参数，中央处理器根据上述参数输出抓举力信息至控制单元，所述控制单元控制机械手臂的抓紧力与举起力。再如中国专利CN205787823U公开了一种配合视觉识别应用的控制装置，包括视觉识别系统、控制装置、机械臂，所述视觉识别系统与所述控制装置连接，用于向控制装置发送信号；所述控制装置与所述机械臂连接，用于从视觉识别系统中接收信号，并控制机械臂进行不同动作的操作。
综上所述，以上专利文献虽然可以基本解决一部分问题，但是针对机械臂精确抓取仍待进一步探索。
发明内容
1.要解决的问题
针对现有机械臂无法实现准确抓取的问题，本发明提供一种结合三维视觉识别可实现精确抓取的方法，引导机械臂对随机散乱工件的准确抓取和摆放，灵活性强，适应性高。
2.技术方案
为了解决上述问题，本发明所采用的技术方案如下：
本发明的一种结合三维视觉识别可实现精确抓取的方法，采集视觉识别机构的深度相机的视觉信息，在机械臂移动时进行三维视觉引导，通过系统标定，获取点云数据并对工件进行位姿估计，计算出工件的抓取运动轨迹，控制机械臂实现工件的抓取和摆放；具体的步骤包括：
步骤S101：搭建三维视觉识别可实现精确抓取的机械臂装置；
本发明搭建的是eye-to-hand的结构系统，在工作平台及机器人基座固定不动情况下，将深度相机安装在相固定的位置，机械臂的底座不发生变化，保证动作控制部件的鲁棒性，同时深度相机的识别机构并不会因为机械臂的运动而改变，保证被测工件在相机的拍摄范围内；结合相机获取的三维点云数据并处理得到工件位姿信息，获得工件的位姿信息传送给动作控制系统。
步骤S102：使用三维视觉识别机构获取到目标工件的三维点云数据，作为基准模型；在进行对被测工件的点云数据进行配准之前，需要先获取目标点云的详细点云数据，包括目标工件的位置和姿态，对目标工件进行全方位的点云数据的采集，再通过采集的数据建立基准模型，为后续的实际应用采集到的点云数据进行配准；并用深度相机拍摄工作区内的目标物体，获取场景三维点云数据，对点云数据进行处理，再与模板点云匹配；然后对采集到的场景点云数据进行预处理、分割及配准得到工件的位姿信息；
步骤S103：控制机械臂手标定点位，获取深度相机与机械臂之间的系数转化矩阵；通过三维视觉识别机构，采集标定板的在不同时段，不同角度的位姿信息，将获得的标定点信息进行手眼标定；与此同时记录机械臂当前的位姿数据，得到机械臂的基座标系下末端的位姿，结合标定板坐标系的位姿，从而计算出机械臂末端相对深度相机的系数转换矩阵；
步骤S104：通过步骤S103训练和计算，选择其中点云数据最完备的被测工件，并且通过计算获得被测工件的位置和姿态数据，然后传输到动作控制部件生成运动控制程序，驱动机械臂手完成抓取测试；如果抓取的过程中存在角度不合适、遮挡问题的出现，机械臂末端会重新回到原点并预备下一次的抓取操作；同时动作控制部件根据视觉信息引导机械臂完成对工件的抓取和摆放。
于本发明一种可能的实施方式中，所述的机械臂装置，包括：
机械臂机构，其包括工作台、置于所述工作台上的机器臂、置于所示工作台上的工件框以及气源部件，所述工件框位于所述机器臂一侧，所述气源部件与所述机器臂气连接，所述机器臂设有动作控制部件，动作控制部件与气源部件电连接；
工件传输机构，其包括传送带，所述传送带置于所述工作台上且位于所述机器臂正前方，所述传送带与所述动作控制部件电连接；
三维视觉识别机构，其包括支架、深度相机和视觉控制部件，所述支架固定在所述传送带一侧且与机器臂相对设置；所述深度相机设置在所述支架上且镜头正对传送带，所述视觉控制部件与所述动作控制部件电连接。
于本发明一种可能的实施方式中，所述机器臂包括底座、腰部、大臂、小臂、转动臂、腕关节和末端执行器，所述底座固定在工作台上，其上依次连接腰部、大臂、小臂、转动臂和腕关节，所述末端执行器通过末端法兰盘与所述腕关节连接。
于本发明一种可能的实施方式中，所述气源部件包括真空发生器、电磁阀、主气管和气泵，所述气泵通过主气管连接至所述末端执行器，所述主气管上依次设有电磁阀和真空发生器，且电磁阀靠近气泵。
于本发明一种可能的实施方式中，所述支架上设有报警灯，所述报警灯与所述视觉控制部件电连接。
于本发明一种可能的实施方式中，所述末端执行器包括气管接头、进气管、法兰盘基座、气管转接头、连接板、真空吸盘和内六角螺栓，所述法兰盘基座通过内六角螺栓固定于所述末端法兰盘上，所述真空吸盘固定在所述连接板上，所述法兰盘基座两侧设有螺栓定位孔且通过螺栓固定连接板，所述进气管一端通过气管接头与主气管连接连通，另一端通过气管转接头与所述真空吸盘连接连通。同时采用双吸盘设计，同时根据TCP标定法调整吸盘杆长。
于本发明一种可能的实施方式中，所述工作台侧面设有示教器，所述示教器与所述动作控制部件电连接。
于本发明一种可能的实施方式中，所述步骤S102中，对被测工件的点云数据要进行处理，结合三维视觉识别机构的内容，去除场景点云的冗余点、离散点，之后对去噪后的点云数据进行点云分割，根据实际的点云的分布状况，选择区域增长、特征、边缘等方式进行分割；分割后的点云数据，一般通过面积阈值法进行点云的筛选，将筛选出来的点云数据与目标工件的基准模型进行配准，同样是根据实际情况选择进行粗配准或者精配准。
于本发明一种可能的实施方式中，所述步骤S103中，根据机械臂的示教器读出位姿数据，换算出机械臂末端坐标系到机械臂的底座的转换矩阵，结合相机标定结果完成手眼标定。
3.有益效果
相比于现有技术，本发明的有益效果为：
(1)本发明的结合三维视觉识别可实现精确抓取的方法，采集视觉识别机构的深度相机的视觉信息，在机械臂移动时进行三维视觉引导，通过系统标定，获取点云数据并对工件进行位姿估计，计算出工件的抓取运动轨迹，控制机械臂实现工件的抓取和摆放；灵活性强，适应性高；
(2)通过深度相机拍摄得到目标物体的点云图和rgb图，然后使用Mask r-cnn算法(源自：He,Kaiming,et al."Mask r-cnn."Proceedings of the IEEE internationalconference on computer vision.2017)获得目标物体的在rgb图像上的像素分布，并将其直接映射到三维的场景点云中去，得到目标物体在场景点云中的点云分布，再使用RANSAC算法(源自：Consensus,Random Sample."A paradigm for model fitting withapplications to image analysis and automated cartography."MA Fischler,RCBolles 6(1981):381-395)和ICP算法(源自：Besl,Paul J.,and Neil D.McKay."Methodfor registration of 3-D shapes."Sensor fusion IV:control paradigms and datastructures.Vol.1611.International Society for Optics and Photonics,1992)将模板点云与场景点云配准就可以得到二者的转换关系，并使用手眼标定得到的转换关系最终就可以得到目标物体与机械臂基坐标系的位置关系，从而控制机械臂准确的抓取和摆放工件。
附图说明
图1为本发明机械臂装置的工作方法流程图；
图2为本发明结合三维视觉识别可实现精确抓取的机械臂装置的结构示意图；
图3为本发明机械臂装置的机器臂结构示意图；
图4为本发明机械臂装置的一种状态示意图；
图5为图4的A部放大图；
图6为本发明机械臂装置的另一种状态示意图；
图7为本发明机械臂装置的工作状态示意图；
图8为图7的B部放大图；
图9为本发明机械臂装置的末端执行器结构示意图。
图中标记为：
100、机械臂机构；110、工作台；120、机器臂；121、底座；122、腰部；123、大臂；124、小臂；125、转动臂；126、腕关节；127、末端执行器；1271、气管接头；1272、进气管；1273、法兰盘基座；1274、气管转接头；1275、连接板；1276、真空吸盘；1277、内六角螺栓；128、末端法兰盘；129、动作控制部件；130、工件框；140、气源部件；141、气泵；142、主气管；143、电磁阀；144、真空发生器；150、示教器；
200、工件传输机构；210、传送带；
300、三维视觉识别机构；310、支架；320、深度相机；330、报警灯；340、视觉控制部件。
具体实施方式
下文对本发明的示例性实施例进行了详细描述。尽管这些示例性实施例被充分详细地描述以使得本领域技术人员能够实施本发明，但应当理解可实现其他实施例且可在不脱离本发明的精神和范围的情况下对本发明作各种改变。下文对本发明的实施例的更详细的描述并不用于限制所要求的本发明的范围，而仅仅为了进行举例说明且不限制对本发明的特点和特征的描述，以提出执行本发明的最佳方式，并足以使得本领域技术人员能够实施本发明。因此，本发明的范围仅由所附权利要求来限定。
本发明的工件可以是3C电子产品，五金加工件等，下面以10*10cm重量约50克的薄型钣金件，末端执行器为真空吸盘，其有效吸附负载为0.2kg为例进行说明。
如图1所示，本实施例的一种结合三维视觉识别可实现精确抓取的方法，采集视觉识别机构的深度相机320的视觉信息，在机械臂移动时进行三维视觉引导，通过系统标定，获取点云数据并对工件进行位姿估计，计算出工件的抓取运动轨迹，控制机械臂实现工件的抓取和摆放。具体的步骤包括：
步骤S101：搭建三维视觉识别可实现精确抓取薄型钣金件的机械臂装置；
步骤S102：使用三维视觉识别机构300获取到目标工件的三维点云数据，作为基准模型；在进行对被测工件的点云数据进行配准之前，需要先获取目标点云的详细点云数据，包括目标工件的位置和姿态，对目标工件进行全方位的点云数据的采集，再通过采集的数据建立基准模型，为后续的实际应用采集到的点云数据进行配准；并用深度相机320拍摄工作区内的目标物体，获取场景三维点云数据，对点云数据进行处理，再与模板点云匹配；然后对采集到的场景点云数据进行预处理、分割及配准得到工件的位姿信息；对被测工件的点云数据要进行处理，结合三维视觉识别机构300的内容，去除场景点云的冗余点、离散点，之后对去噪后的点云数据进行点云分割，根据实际的点云的分布状况，选择区域增长、特征、边缘等方式进行分割；分割后的点云数据，一般通过面积阈值法进行点云的筛选，将筛选出来的点云数据与目标工件的基准模型进行配准，同样是根据实际情况选择进行粗配准或者精配准。
步骤S103：控制机械臂手标定点位，获取深度相机320与机械臂之间的系数转化矩阵；通过三维视觉识别机构300，采集标定板的在不同时段，不同角度的位姿信息，将获得的标定点信息进行手眼标定；与此同时记录机械臂的位姿数据，得到机械臂的底座121标系下末端的位姿，结合标定板坐标系的位姿，从而计算出机械臂末端相对深度相机320的系数转换矩阵；一般情况根据机械臂的示教器150读出位姿数据，换算出机械臂末端TCP坐标系到机械臂的底座121的转换矩阵，再结合相机标定结果即可完成手眼标定，从而计算得到机械臂基坐标系相对于相机坐标系的位姿转换矩阵。
步骤S104：通过步骤S103训练和计算，选择其中点云数据最完备的被测工件，并且通过计算获得被测工件的位置和姿态数据，然后传输到动作控制部件129生成运动控制程序，驱动机械臂手完成抓取测试；如果抓取的过程中存在角度不合适、遮挡问题的出现，机械臂末端会重新回到原点并预备下一次的抓取操作；同时动作控制部件129根据视觉信息引导机械臂完成对工件的抓取和摆放。
如图2至图9所示，三维视觉识别可实现精确抓取的机械臂装置包括：机械臂机构100、工件传输机构200和三维视觉识别机构300。
在图2中可以看出，机械臂机构100包括工作台110、置于所述工作台110上的机器臂120、置于所示工作台110上的工件框130以及气源部件140，所述工件框130位于所述机器臂120一侧，所述气源部件140与所述机器臂120气连接，所述机器臂120设有动作控制部件129，动作控制部件129与气源部件140电连接。工作台110为可移动式的，在工作台110的底面设置有滑轮，同时，在工作台110的底面四角设置有吸盘，当工作台110确定位置后，通过吸盘可以进行固定。
进一步的，所述工件传输机构200包括传送带210，所述传送带210置于所述工作台110上且位于所述机器臂120正前方，所述传送带210与所述动作控制部件129电连接。工件由机器臂120抓取并搬运至工件框130中上，传送带210循环的转动，将工件不断的输送过来。
进一步的，所述三维视觉识别机构300包括支架310、深度相机320和视觉控制部件340，所述支架310固定在所述传送带210一侧且与机器臂120相对设置，即支架310和机器臂分别位于传送带210的两侧；所述深度相机320设置在所述支架310上且镜头正对传送带210，所述视觉控制部件340与所述动作控制部件129、深度相机320电连接。深度相机320的型号采用知微D130，通过深度相机320的对正设置，尽可能的将工件的运动轨迹囊括在镜头的范围内，确保工件不会被遗漏。视觉控制部件340为一平板电脑或台式电脑，该视觉控制部件340自带有图片处理软件，这里不局限上述的几种电脑，其他的可以完成图片处理功能的PC端也是选择之内。
在实际使用过程中，可能会出现突发事件，因此，在所述支架310上设有报警灯330，所述报警灯330与所述视觉控制部件340电连接。报警灯330会及时报警，提醒现场的工作人。
在本实施例中，如图2所示，所述机器臂120包括底座121、腰部122、大臂123、小臂124、转动臂125、腕关节126和末端执行器127，所述底座121固定在工作台110上，其上依次连接腰部122、大臂123、小臂124、转动臂125和腕关节126，所述末端执行器127通过末端法兰盘128与所述腕关节126连接。该机器臂120的结构为现有的机器臂120设计，在机器臂120的末端设置末端执行器127，通过该执行器完成对工件的转移，效率更高，不易出现损坏等问题。
结合图1和图8所示，本实施例中的末端执行器127包括气管接头1271、进气管1272、法兰盘基座1273、气管转接头1274、连接板1275、真空吸盘1276和内六角螺栓1277，所述法兰盘基座1273通过内六角螺栓1277固定于所述末端法兰盘128上，所述真空吸盘1276固定在所述连接板1275上，所述法兰盘基座1273两侧设有螺栓定位孔且通过螺栓固定连接板1275，所述进气管1272一端通过气管接头1271与主气管142连接连通，另一端通过气管转接头1274与所述真空吸盘1276连接连通。同时采用双吸盘设计，同时根据TCP标定法调整吸盘杆长。
其中，真空吸盘1276需要配合气源部件140实现抽真空，因此所述气源部件140包括真空发生器144、电磁阀143、主气管142和气泵141，所述气泵141通过主气管142连接至所述末端执行器127，所述主气管142上依次设有电磁阀143和真空发生器144，且电磁阀143靠近气泵141。
进一步的，所述工作台110侧面设有示教器150，所述示教器150与所述动作控制部件129电连接。根据机械臂的示教器150读出位姿数据，换算出机械臂末端坐标系到机械臂的底座121的转换矩阵，再结合相机标定结果即可完成手眼标定，从而计算得到机械臂基坐标系相对于相机坐标系的位姿转换矩阵。
最后需要说明的是，以上实施例仅用以说明本发明的技术方案而非限制技术方案，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进或同等替换，而不脱离本技术方案的宗旨和范围，均应涵盖再本发明的权利要求范围中。
Claims (9)
1.一种结合三维视觉识别可实现精确抓取的方法，其特征在于，具体的步骤包括：
步骤S101：搭建三维视觉识别可实现精确抓取的机械臂装置；
步骤S102：使用三维视觉识别机构(300)获取到目标工件的三维点云数据，作为基准模型；在进行对被测工件的点云数据进行配准之前，需要先获取目标点云的详细点云数据，包括目标工件的位置和姿态，对目标工件进行全方位的点云数据的采集，再通过采集的数据建立基准模型，为后续的实际应用采集到的点云数据进行配准；并用深度相机(320)拍摄工作区内的目标物体，获取场景三维点云数据，对点云数据进行处理，再与模板点云匹配；然后对采集到的场景点云数据进行预处理、分割及配准得到工件的位姿信息；
步骤S103：控制机械臂(120)手标定点位，获取深度相机(320)与机械臂(120)之间的系数转化矩阵；通过三维视觉识别机构(300)，采集标定板的在不同时段，不同角度的位姿信息，将获得的标定点信息进行手眼标定；与此同时记录机械臂(120)当前的位姿数据，得到机械臂(120)的底座(121)标系下末端的位姿，结合标定板坐标系的位姿，从而计算出机械臂(120)末端相对深度相机(320)的系数转换矩阵；
步骤S104：通过步骤S103训练和计算，选择其中点云数据最完备的被测工件，并且通过计算获得被测工件的位置和姿态数据，然后传输到动作控制部件(129)生成运动控制程序，驱动机械臂(120)手完成抓取测试；如果抓取的过程中存在角度不合适、遮挡问题的出现，机械臂(120)末端会重新回到原点并预备下一次的抓取操作；同时动作控制部件(129)根据视觉信息引导机械臂(120)完成对工件的抓取和摆放。
2.根据权利要求1所述的结合三维视觉识别可实现精确抓取的方法，其特征在于，所述结合三维视觉识别可实现精确抓取的机械臂装置，其特征在于，包括：
机械臂机构(100)，其包括工作台(110)、置于所述工作台(110)上的机器臂(120)、置于所示工作台(110)上的工件框(130)以及气源部件(140)，所述工件框(130)位于所述机器臂(120)一侧，所述气源部件(140)与所述机器臂(120)气连接，所述机器臂(120)设有动作控制部件(129)，动作控制部件(129)与气源部件(140)电连接；
工件传输机构(200)，其包括传送带(210)，所述传送带(210)置于所述工作台(110)上且位于所述机器臂(120)正前方，所述传送带(210)与所述动作控制部件(129)电连接；
三维视觉识别机构(300)，其包括支架(310)、深度相机(320)和视觉控制部件(340)，所述支架(310)固定在所述传送带(210)一侧且与机器臂(120)相对设置；所述深度相机(320)设置在所述支架(310)上且镜头正对传送带(210)，所述视觉控制部件(340)与所述动作控制部件(129)、深度相机(320)电连接。
3.根据权利要求2所述的结合三维视觉识别可实现精确抓取的方法，其特征在于，所述机器臂(120)包括底座(121)、腰部(122)、大臂(123)、小臂(124)、转动臂(125)、腕关节(126)和末端执行器(127)，所述底座(121)固定在工作台(110)上，其上依次连接腰部(122)、大臂(123)、小臂(124)、转动臂(125)和腕关节(126)，所述末端执行器(127)通过末端法兰盘(128)与所述腕关节(126)连接。
4.根据权利要求3所述的结合三维视觉识别可实现精确抓取的方法，其特征在于，所述气源部件(140)包括真空发生器(144)、电磁阀(143)、主气管(142)和气泵(141)，所述气泵(141)通过主气管(142)连接至所述末端执行器(127)，所述主气管(142)上依次设有电磁阀(143)和真空发生器(144)，且电磁阀(143)靠近气泵(141)。
5.根据权利要求3所述的结合三维视觉识别可实现精确抓取的方法，其特征在于，所述支架(310)上设有报警灯(330)，所述报警灯(330)与所述视觉控制部件(340)电连接。
6.根据权利要求3所述的结合三维视觉识别可实现精确抓取的方法，其特征在于，所述末端执行器(127)包括气管接头(1271)、进气管(1272)、法兰盘基座(1273)、气管转接头(1274)、连接板(1275)、真空吸盘(1276)和内六角螺栓(1277)，所述法兰盘基座(1273)通过内六角螺栓(1277)固定于所述末端法兰盘(128)上，所述真空吸盘(1276)固定在所述连接板(1275)上，所述法兰盘基座(1273)两侧设有螺栓定位孔且通过螺栓固定连接板(1275)，所述进气管(1272)一端通过气管接头(1271)与主气管(142)连接连通，另一端通过气管转接头(1274)与所述真空吸盘(1276)连接连通。
7.根据权利要求3所述的结合三维视觉识别可实现精确抓取的方法，其特征在于，所述工作台(110)侧面设有示教器(150)，所述示教器(150)与所述动作控制部件(129)电连接。
8.根据权利要求1所述的结合三维视觉识别可实现精确抓取的方法，其特征在于，所述步骤S104中，对被测工件的点云数据要进行处理，结合三维视觉识别机构(300)的内容，去除场景点云的冗余点、离散点，之后对去噪后的点云数据进行点云分割，根据实际的点云的分布状况，选择区域增长、特征、边缘等方式进行分割；分割后的点云数据，一般通过面积阈值法进行点云的筛选，将筛选出来的点云数据与目标工件的基准模型进行配准，同样是根据实际情况选择进行粗配准或者精配准。
9.根据权利要求1所述的结合三维视觉识别可实现精确抓取的方法，其特征在于，所述步骤S103中，根据机械臂(120)的示教器(150)读出位姿数据，换算出机械臂(120)末端坐标系到机械臂(120)的底座(121)的转换矩阵，结合相机标定结果即可完成手眼标定。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010835303.0A CN111791239B (zh) | 2020-08-19 | 2020-08-19 | 一种结合三维视觉识别可实现精确抓取的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010835303.0A CN111791239B (zh) | 2020-08-19 | 2020-08-19 | 一种结合三维视觉识别可实现精确抓取的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111791239A true CN111791239A (zh) | 2020-10-20 |
| CN111791239B CN111791239B (zh) | 2022-08-19 |
Family
ID=72834645
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010835303.0A Active CN111791239B (zh) | 2020-08-19 | 2020-08-19 | 一种结合三维视觉识别可实现精确抓取的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111791239B (zh) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112070818A (zh) * | 2020-11-10 | 2020-12-11 | 纳博特南京科技有限公司 | 基于机器视觉的机器人无序抓取方法和系统及存储介质 |
| CN112192577A (zh) * | 2020-12-03 | 2021-01-08 | 佛山隆深机器人有限公司 | 一种应用于机器人抓取场景的一拍多抓方法 |
| CN112465825A (zh) * | 2021-02-02 | 2021-03-09 | 聚时科技(江苏)有限公司 | 一种基于图像处理的零件的空间位置信息的获取方法 |
| CN112476434A (zh) * | 2020-11-24 | 2021-03-12 | 新拓三维技术(深圳)有限公司 | 一种基于协作机器人的视觉3d取放方法及系统 |
| CN112589787A (zh) * | 2020-12-02 | 2021-04-02 | 上海纽钛测控技术有限公司 | 进料转盘机械臂上下样的视觉定位及手眼标定方法 |
| CN112657860A (zh) * | 2021-01-15 | 2021-04-16 | 佛山科学技术学院 | 一种自动排队系统和排队方法 |
| CN112788326A (zh) * | 2020-12-28 | 2021-05-11 | 北京迁移科技有限公司 | 基于3d视觉的图像数据在线采集系统及方法 |
| CN113538486A (zh) * | 2021-07-13 | 2021-10-22 | 长春工业大学 | 一种提高汽车钣金工件的识别与定位精度的方法 |
| CN113910237A (zh) * | 2021-11-05 | 2022-01-11 | 江苏昱博自动化设备有限公司 | 多夹具的机械臂无序夹取方法及系统 |
| CN114193440A (zh) * | 2022-01-04 | 2022-03-18 | 中船重工鹏力（南京）智能装备系统有限公司 | 基于3d视觉的机器人自动抓取系统及方法 |
| CN114248086A (zh) * | 2021-12-30 | 2022-03-29 | 广东工业大学 | 一种柔性化三维视觉引导的机器人对位系统及方法 |
| CN114770502A (zh) * | 2022-04-25 | 2022-07-22 | 深圳市超准视觉科技有限公司 | 机械臂工具末端位姿快速校准方法 |
| CN114842079A (zh) * | 2022-04-23 | 2022-08-02 | 四川大学 | 盾构隧道内对预制中隔墙进行位姿测量的设备及方法 |
| CN115159149A (zh) * | 2022-07-28 | 2022-10-11 | 深圳市罗宾汉智能装备有限公司 | 一种基于视觉定位的取料卸货方法及其装置 |
| CN115611009A (zh) * | 2022-12-01 | 2023-01-17 | 中煤科工西安研究院(集团)有限公司 | 一种煤矿井下码垛式杆箱钻杆分离系统与方法 |
| CN116175540A (zh) * | 2021-11-28 | 2023-05-30 | 梅卡曼德（北京）机器人科技有限公司 | 抓取控制方法、装置、电子设备和存储介质 |
| WO2023102647A1 (en) * | 2021-12-06 | 2023-06-15 | University Of Manitoba | Method for automated 3d part localization and adjustment of robot end-effectors |
| CN116749241A (zh) * | 2023-08-16 | 2023-09-15 | 苏州视谷视觉技术有限公司 | 一种机器视觉高精度定位抓取装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN201693474U (zh) * | 2010-03-30 | 2011-01-05 | 东营光伏太阳能有限公司 | 太阳能电池串真空吸盘 |
| CN107009358A (zh) * | 2017-04-13 | 2017-08-04 | 武汉库柏特科技有限公司 | 一种基于单相机的机器人无序抓取装置及方法 |
| US20180250821A1 (en) * | 2017-03-03 | 2018-09-06 | Keyence Corporation | Robot Simulation Apparatus And Robot Simulation Method |
| CN109093599A (zh) * | 2018-09-07 | 2018-12-28 | 中科新松有限公司 | 一种抓取示教方法及系统 |
| CN109584298A (zh) * | 2018-11-07 | 2019-04-05 | 上海交通大学 | 面向机器人自主物体拾取任务的在线自学习方法 |
| CN109927036A (zh) * | 2019-04-08 | 2019-06-25 | 青岛小优智能科技有限公司 | 一种三维视觉引导机械手抓取的方法及系统 |
| CN111179321A (zh) * | 2019-12-30 | 2020-05-19 | 南京埃斯顿机器人工程有限公司 | 一种基于模板匹配的点云配准方法 |
-
2020
- 2020-08-19 CN CN202010835303.0A patent/CN111791239B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN201693474U (zh) * | 2010-03-30 | 2011-01-05 | 东营光伏太阳能有限公司 | 太阳能电池串真空吸盘 |
| US20180250821A1 (en) * | 2017-03-03 | 2018-09-06 | Keyence Corporation | Robot Simulation Apparatus And Robot Simulation Method |
| CN107009358A (zh) * | 2017-04-13 | 2017-08-04 | 武汉库柏特科技有限公司 | 一种基于单相机的机器人无序抓取装置及方法 |
| CN109093599A (zh) * | 2018-09-07 | 2018-12-28 | 中科新松有限公司 | 一种抓取示教方法及系统 |
| CN109584298A (zh) * | 2018-11-07 | 2019-04-05 | 上海交通大学 | 面向机器人自主物体拾取任务的在线自学习方法 |
| CN109927036A (zh) * | 2019-04-08 | 2019-06-25 | 青岛小优智能科技有限公司 | 一种三维视觉引导机械手抓取的方法及系统 |
| CN111179321A (zh) * | 2019-12-30 | 2020-05-19 | 南京埃斯顿机器人工程有限公司 | 一种基于模板匹配的点云配准方法 |
Non-Patent Citations (1)
| Title |
|---|
| 吴飞: "基于点云融合特征的三维对象识别与位姿配准", 《万方学位论文》 * |
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112070818B (zh) * | 2020-11-10 | 2021-02-05 | 纳博特南京科技有限公司 | 基于机器视觉的机器人无序抓取方法和系统及存储介质 |
| CN112070818A (zh) * | 2020-11-10 | 2020-12-11 | 纳博特南京科技有限公司 | 基于机器视觉的机器人无序抓取方法和系统及存储介质 |
| CN112476434A (zh) * | 2020-11-24 | 2021-03-12 | 新拓三维技术(深圳)有限公司 | 一种基于协作机器人的视觉3d取放方法及系统 |
| CN112589787A (zh) * | 2020-12-02 | 2021-04-02 | 上海纽钛测控技术有限公司 | 进料转盘机械臂上下样的视觉定位及手眼标定方法 |
| CN112192577A (zh) * | 2020-12-03 | 2021-01-08 | 佛山隆深机器人有限公司 | 一种应用于机器人抓取场景的一拍多抓方法 |
| CN112788326A (zh) * | 2020-12-28 | 2021-05-11 | 北京迁移科技有限公司 | 基于3d视觉的图像数据在线采集系统及方法 |
| CN112788326B (zh) * | 2020-12-28 | 2023-06-06 | 北京迁移科技有限公司 | 基于3d视觉的图像数据在线采集系统及方法 |
| CN112657860A (zh) * | 2021-01-15 | 2021-04-16 | 佛山科学技术学院 | 一种自动排队系统和排队方法 |
| CN112465825A (zh) * | 2021-02-02 | 2021-03-09 | 聚时科技(江苏)有限公司 | 一种基于图像处理的零件的空间位置信息的获取方法 |
| CN113538486A (zh) * | 2021-07-13 | 2021-10-22 | 长春工业大学 | 一种提高汽车钣金工件的识别与定位精度的方法 |
| CN113910237B (zh) * | 2021-11-05 | 2023-02-28 | 江苏昱博自动化设备有限公司 | 多夹具的机械臂无序夹取方法及系统 |
| CN113910237A (zh) * | 2021-11-05 | 2022-01-11 | 江苏昱博自动化设备有限公司 | 多夹具的机械臂无序夹取方法及系统 |
| CN116175540A (zh) * | 2021-11-28 | 2023-05-30 | 梅卡曼德（北京）机器人科技有限公司 | 抓取控制方法、装置、电子设备和存储介质 |
| CN116175540B (zh) * | 2021-11-28 | 2023-11-10 | 梅卡曼德（北京）机器人科技有限公司 | 基于位置及朝向的抓取控制方法、装置、设备和介质 |
| WO2023102647A1 (en) * | 2021-12-06 | 2023-06-15 | University Of Manitoba | Method for automated 3d part localization and adjustment of robot end-effectors |
| CN114248086A (zh) * | 2021-12-30 | 2022-03-29 | 广东工业大学 | 一种柔性化三维视觉引导的机器人对位系统及方法 |
| CN114193440B (zh) * | 2022-01-04 | 2023-09-12 | 中船重工鹏力（南京）智能装备系统有限公司 | 基于3d视觉的机器人自动抓取系统及方法 |
| CN114193440A (zh) * | 2022-01-04 | 2022-03-18 | 中船重工鹏力（南京）智能装备系统有限公司 | 基于3d视觉的机器人自动抓取系统及方法 |
| CN114842079B (zh) * | 2022-04-23 | 2023-09-19 | 四川大学 | 盾构隧道内对预制中隔墙进行位姿测量的设备及方法 |
| CN114842079A (zh) * | 2022-04-23 | 2022-08-02 | 四川大学 | 盾构隧道内对预制中隔墙进行位姿测量的设备及方法 |
| CN114770502A (zh) * | 2022-04-25 | 2022-07-22 | 深圳市超准视觉科技有限公司 | 机械臂工具末端位姿快速校准方法 |
| CN115159149A (zh) * | 2022-07-28 | 2022-10-11 | 深圳市罗宾汉智能装备有限公司 | 一种基于视觉定位的取料卸货方法及其装置 |
| CN115611009B (zh) * | 2022-12-01 | 2023-03-21 | 中煤科工西安研究院(集团)有限公司 | 一种煤矿井下码垛式杆箱钻杆分离系统与方法 |
| CN115611009A (zh) * | 2022-12-01 | 2023-01-17 | 中煤科工西安研究院(集团)有限公司 | 一种煤矿井下码垛式杆箱钻杆分离系统与方法 |
| CN116749241A (zh) * | 2023-08-16 | 2023-09-15 | 苏州视谷视觉技术有限公司 | 一种机器视觉高精度定位抓取装置 |
| CN116749241B (zh) * | 2023-08-16 | 2023-11-07 | 苏州视谷视觉技术有限公司 | 一种机器视觉高精度定位抓取装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111791239B (zh) | 2022-08-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111791239B (zh) | 一种结合三维视觉识别可实现精确抓取的方法 | |
| CN108555908B (zh) | 一种基于rgbd相机的堆叠工件姿态识别及拾取方法 | |
| CN110580725A (zh) | 一种基于rgb-d相机的箱体分拣方法及系统 | |
| CN110014426B (zh) | 一种利用低精度深度相机高精度抓取形状对称工件的方法 | |
| US20040172164A1 (en) | Method and apparatus for single image 3D vision guided robotics | |
| CN111127568B (zh) | 一种基于空间点位信息的相机位姿标定方法 | |
| CN111136656A (zh) | 一种用于机器人三维不规则物体自动识别及抓取的方法 | |
| CN110666801A (zh) | 一种复杂工件匹配定位的抓取工业机器人 | |
| Hsu et al. | Development of a faster classification system for metal parts using machine vision under different lighting environments | |
| CN112010024A (zh) | 一种基于激光和视觉融合检测的货箱自动抓取方法及系统 | |
| CN112561886A (zh) | 一种基于机器视觉的工件自动分拣方法及系统 | |
| CN112419429A (zh) | 一种基于多视角的大型工件表面缺陷检测标定方法 | |
| CN108582075A (zh) | 一种智能机器人视觉自动化抓取系统 | |
| CN114758236A (zh) | 一种非特定形状物体识别、定位与机械手抓取系统及方法 | |
| Zhou et al. | Design and test of a sorting device based on machine vision | |
| CN116766194A (zh) | 基于双目视觉的盘类工件定位与抓取系统和方法 | |
| Pan et al. | Manipulator package sorting and placing system based on computer vision | |
| CN113715012B (zh) | 一种遥控器零件自动装配方法和系统 | |
| CN113602799B (zh) | 一种航空港行李箱搬运系统及其控制方法 | |
| Lin et al. | Vision based object grasping of industrial manipulator | |
| CN213106856U (zh) | 一种结合三维视觉识别可实现精确抓取的机械臂装置 | |
| Fan et al. | An automatic robot unstacking system based on binocular stereo vision | |
| CN109493369B (zh) | 一种智能机器人视觉动态定位跟踪方法及系统 | |
| CN114074331A (zh) | 一种基于视觉的无序抓取方法及机器人 | |
| CN113378626A (zh) | 弹条视觉抓取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP02 | Change in the address of a patent holder |
Address after: Room 706, 7th Floor, Building 1, No. 2 Litai Road, Taiping Street, Xiangcheng District, Suzhou City, Jiangsu Province, 215100 Patentee after: Suzhou Guoling technology research Intelligent Technology Co.,Ltd. Address before: Room 609, building C, Caohu science and Technology Park, xijiaoda, No.1, Guantang Road, Caohu street, economic and Technological Development Zone, Xiangcheng District, Suzhou City, Jiangsu Province Patentee before: Suzhou Guoling technology research Intelligent Technology Co.,Ltd. |
|
| CP02 | Change in the address of a patent holder |