CN118220723A - 基于机器视觉的精确码垛方法及系统 - Google Patents
基于机器视觉的精确码垛方法及系统 Download PDFInfo
- Publication number
- CN118220723A CN118220723A CN202410634465.6A CN202410634465A CN118220723A CN 118220723 A CN118220723 A CN 118220723A CN 202410634465 A CN202410634465 A CN 202410634465A CN 118220723 A CN118220723 A CN 118220723A
- Authority
- CN
- China
- Prior art keywords
- box body
- grabbed
- pose
- camera
- box
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000012937 correction Methods 0.000 claims abstract description 16
- 239000000463 material Substances 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000005516 engineering process Methods 0.000 claims description 4
- 238000012552 review Methods 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 7
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G1/00—Storing articles, individually or in orderly arrangement, in warehouses or magazines
- B65G1/02—Storage devices
- B65G1/04—Storage devices mechanical
- B65G1/137—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed
- B65G1/1373—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed for fulfilling orders in warehouses
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G1/00—Storing articles, individually or in orderly arrangement, in warehouses or magazines
- B65G1/02—Storage devices
- B65G1/04—Storage devices mechanical
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
- B65G47/74—Feeding, transfer, or discharging devices of particular kinds or types
- B65G47/90—Devices for picking-up and depositing articles or materials
- B65G47/905—Control arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种基于机器视觉的精确码垛方法及系统，该方法通过获取待抓取箱体的订单信息，利用第一相机获取待抓取箱体的三维点云数据；根据订单信息提取待抓取的箱体信息；根据待抓取箱体的三维点云数据和箱体信息，确定待抓取箱体的型号；根据待抓取箱体的型号，更换对应吸盘；控制机械臂抓取箱体至第二相机上方的第一位置点处，进行抓取箱体位姿纠偏；将位姿纠偏后的箱体放至码垛位置点。本申请采用两台3D相机来引导机械臂进行箱体的型号识别以及码垛。精确获取抓取箱体的位姿，并对其进行纠正，保证托盘放置位置的准确性。以克服由于待抓取箱体相互压叠遮挡，未进行姿态纠正，导致码垛位置偏离的问题。
Description
技术领域
本发明涉及自动化生产及视觉检测技术领域，尤其涉及一种基于机器视觉的精确码垛方法及系统。
背景技术
伴随着物流产业的飞速发展，国内外码垛技术实现了跨越式的进步。早期的人工码垛，负载量低，吞吐量小，劳动成本高，搬运效率低，不能够满足自动化生产的需求，在工业生产中，普遍用于自动化生产中的码垛机器人实质上是一种普通的工业搬运机器人，主要负责执行装载和卸载的任务，且一般都采用示教的方法，预先设定好抓起点和摆放点。这种工作方式不能够对生产线的情况分析判断，如不能够区分工件大小，不能区分工件的类别等。针对目前的不足，将机器视觉与码垛机器人结合起来，使之具有人眼识别功能，具有十分重要的意义。
例如，在发明专利基于视觉处理的机器人自动码垛方法CN104058260B中，提供了一种基于视觉处理的机器人自动码垛方法，其核心思想是利用摄像机标定算法对大区域空间进行标定，随后通过图像采集和分析处理，实现对工件类型和质心位置的准确识别。码垛机器人根据这些信息进行对齐，并实现工件的分类码垛。这一创新方案在生产自动化领域提供了高效率、智能化的解决方案。然而，该专利仅通过2D相机在传送带固定的位置对抓取物体进行识别抓取，无法对箱体类叠加物体进行抓取码垛。且没有进行抓取后的二次校准。
再例如，在论文基于机器视觉的工业机器人抓取系统的研究中，将机器视觉应用到工业机器人抓取系统设计中。针对系统进行了选型，确定了基于单目视觉的机器人抓取系统的整体方案。建立了视觉获取图像与目标工件快速定位抓取之间的关系，实现了目标工件的提取、形状识别与定位。该论文中并未考虑识别不准确导致抓取偏离问题，未涉及抓取的定位与纠偏。
综上所述，基于机器视觉的码垛一直需要探讨的问题，在进行引导机器人码垛的过程中，物料码放位置的准确性。多数研究人员在进行物料码放的过程中并未考虑到物料抓取后的位姿矫正，因此最后放置到目的地时，码放位置并不完全正确，还需要重新整理。
因此，本申请研究一种基于机器视觉的精确码垛方法及系统，根据抓取箱体的类型进行空中位姿调整，以提高最终码放位置的准确度。
发明内容
因此，本发明的目的在于提供一种基于机器视觉的精确码垛方法及系统，采用两台3D相机来引导机械臂进行箱体的型号识别以及码垛。引导机械臂抓取符合订单信息的箱体以及引导机械臂进行吸盘的快换。精确获取抓取箱体的位姿，并对其进行纠正，保证箱体位置的准确性。以克服由于待抓取箱体相互压叠遮挡，未进行姿态纠正，导致码垛位置偏离的问题。
本发明提供一种基于机器视觉的精确码垛方法，包括以下步骤：S1、获取待抓取箱体的订单信息，利用第一相机获取待抓取箱体的三维点云数据；
S2、根据订单信息提取待抓取箱体的物料信息；根据待抓取箱体的三维点云数据和物料信息，确定待抓取箱体的型号；
S3、根据待抓取箱体的型号，更换对应吸盘；
S4、控制机械臂抓取箱体至第二相机上方的第一位置点处，进行抓取位姿纠偏；
S5、将位姿纠偏后的箱体放至码垛位置点。
进一步优选的，在S1中，利用第一相机获取待抓取箱体的三维点云数据后，包括：
S101、对三维点云数据进行分割；
S102、对分割后的待抓取箱体点云簇进行定向包容盒子OBB求取；
S103、利用OBB求取的箱体点云簇中的所有箱体的质心坐标，得到点云簇中质心最高的箱体点云；
S104、通过得到质心最高的箱体点云的长宽，进行分类；所述分类包括通过OBB测量的长和宽与MES下发的订单信息数据进行对比，所述MES中预存每个产品型号的标准尺寸参数，当OBB求取的实测值与标准尺寸一致时则继续进行S2，若不一致则进行人工复核。
进一步优选的，在S101中，所述对三维点云数据进行分割；包括：
采用AI分割算法对箱体纹理图像进行分割，获取待抓取箱体的掩膜图；
根据待抓取箱体的掩膜图，在深度图中识别待抓取箱体区域，获取待抓取箱体的深度图；
将分割后的箱体图像与待抓取箱体的深度图相结合，得到分割后的待抓取箱体点云数据。
进一步优选的，所述将分割后的箱体图像与待抓取箱体的深度图相结合，包括以下步骤：
利用第一相机中3D相机与纹理相机的标定外参，将分割后的箱体掩膜图转换到3D相机的像素坐标系下；
利用深度图，对分割后的箱体掩膜图的目标识别区域进行精调；
利用精调后的掩膜图，得到待抓取箱体的点云簇。
进一步优选的，在S2执行之前，还包括根据手眼标定矩阵以及如下公式（1）将待抓取箱体的质心坐标由原第一相机的相机坐标系，转换到机械臂的基座坐标系下；
公式（1）
其中，为质心在第一相机的相机坐标系下的坐标，/>为第一相机在机械臂基座坐标系下的坐标，/>为质心在机械臂基座坐标系下的坐标。
进一步优选的，在S4中，所述控制机械臂抓取箱体至第二相机上方的第一位置点处，进行抓取箱体位姿纠偏，包括：
S401、将机械臂移动到第二相机上方的第一位置点处，利用第二相机获取第二点云数据；
S402、根据所述第二点云数据计算当前箱体的中心位姿；
S403、判断当前箱体的中心位姿是否与机械臂法兰盘的中心位姿一致，若一致则根据规划的放置位置进行码垛，若不一致，则对箱体进行位姿纠偏。
进一步优选的，在S402中，计算当前箱体的中心位姿时，包括利用公式（2）将相机中的箱体中心位姿转换到机械臂基坐标系下；
公式（2）
其中，为箱体质心在第二相机中的位姿，/>为第二相机在机械臂基坐标系下的位姿，/>为箱体质心在机械臂基坐标系下的位姿。
进一步优选的，在S403中，对箱体进行位姿纠偏包括：
将箱体的中心位姿转换到机械臂的基座坐标系下；
根据如下公式（3）计算当前箱体中心在机械臂的基座坐标系下的位姿与机械臂法兰盘的中心位置的偏差；
公式（3）
其中，为机械臂法兰盘的中心位姿，/>为位姿偏差，表示箱体的中心位姿矩阵的逆矩阵；
再进一步，所述计算机械臂末端要到达的位姿时，采用如下公式（4）计算：
公式（4）
其中，为箱体码垛规划位置在机械臂基坐标系下的位姿，/>为最终机械臂法兰盘末端最终到达的位置在机械臂基坐标系下的位姿。
根据得到的位姿偏差和原规划的放置位置在机械臂的基座坐标系下的位姿，计算机械臂末端要到达的位姿。通过位姿纠正，实现了如果出现偏差，机械臂可以在不放开箱体的情况下，重新调整位姿，实现所抓取物料的正确放置。
本发明还提供一种基于机器视觉的精确码垛系统，包括数据获取模块、第一相机、第二相机、位姿计算模块、机械臂控制模块；
所述数据获取模块，用于获取待抓取箱体的订单信息；所述第一相机用于获取待抓取箱体的三维点云数据；
所述位姿计算模块，根据订单信息提取待抓取的物料信息；根据待抓取箱体的三维点云数据和物料信息，确定待抓取箱体的型号，根据所述待抓取箱体的型号，更换对应吸盘；
所述机械臂控制模块，用于控制机械臂抓取箱体至第二相机上方的第一位置点处，进行抓取箱体位姿纠偏；将位姿纠偏后的箱体放至码垛位置点。
进一步优选的，所述第一相机获取待抓取箱体的三维点云数据后，包括：对三维点云数据进行分割；对分割后的待抓取箱体进行OBB求取，计算待抓取箱体的质心坐标以及待抓取箱体的长和宽并分类。
本申请公开的基于机器视觉的精确码垛方法及系统，相比于现有技术，至少具有以下优点：
1.本申请引入两台3D相机来引导机械臂进行箱体的型号识别以及码垛。抓取相机（第一相机）用来识别不同料框内箱体的型号，引导机械臂抓取订单信息提供的待抓取箱体型号以及抓取吸盘的快换。精定位相机（第二相机）用来精确获取抓取箱体的位姿，并对其进行纠正，保证箱体放置位置的准确性。
2.本申请将抓取到的箱体移动到精定位3D相机（第二相机）上方固定的位置，通过精定位3D相机（第二相机）拍摄箱体点云，利用点云处理算法获取当前箱体的中心位姿，将箱体中心位姿与机械臂法兰盘的中心位姿进行对比，判断抓取的箱体中心是否偏离。若发生偏离，计算箱体中心位姿与机械臂法兰盘的中心位姿的偏差进行补偿，确保码放箱体中心的准确性。
附图说明
图1为本发明一种基于机器视觉的精确码垛方法流程示意图。
图2为本发明提供的抓取相机的算法流程图。
图3为无压叠遮挡分割准确的图。
图4为含压叠遮挡分割不准确的图。
图5为手眼标定流程图。
图6为位姿纠偏流程图。
图7为相机位姿纠偏算法示意图。
具体实施方式
以下通过附图和具体实施方式对本发明作进一步的详细说明。
本方法基于机械臂系统进行实施，整体运行流程为将箱体放置在传送带的箱体框中，下面将以纸箱等箱体作为常规箱体进行说明，不同型号的箱体放在箱体框内通过传送带传送至待抓取料框处，通过第一相机识别抓取订单信息提供的待抓取箱体型号。根据不同的待抓取箱体型号进行不同的吸盘快换，更换最佳托盘抓取待抓取箱体移动到第二相机的固定上方位置，进行抓取箱体位姿纠偏。将位姿纠偏后的之前放入到托盘指定位置，将托盘装满后，AGV机械臂会将托盘搬走并更换新的托盘。
如图1所示，本发明一方面实施例提供的一种基于机器视觉的精确码垛方法，包括以下步骤：
S1、获取待抓取箱体的订单信息，利用第一相机获取待抓取箱体的三维点云数据；需要说明的是，第一相机采用3D相机与纹理相机结合，第二相机采用3D相机，为了加以区分，下述实施例中，第一相机采用抓取相机，第二相机采用精定位相机。
进一步，利用第一相机获取待抓取箱体的三维点云数据后，包括：
S101、对三维点云数据进行分割；其中，对三维点云数据进行分割；包括采用AI分割算法结合箱体深度图像中深度值获得分割后的待抓取箱体掩膜；利用分割后的待抓取箱体掩膜和待抓取箱体的深度图，获得分割后的待抓取箱体点云数据。常见的点云分割方法包括：
基于阈值的分割：设置阈值来区分不同特征的点，如距离、颜色差异。
聚类算法：如DBSCAN、K-means等，通过相似性度量将点聚集在一起。
图割算法：将点云视为图模型，通过最小化切割成本来分割点云。
机器学习/深度学习方法：使用卷积神经网络（CNN）、PointNet、PointNet++等深度学习模型对点云进行端到端的分割。
抓取相机的算法流程如图2所示。包括：采用AI分割算法对箱体纹理图像进行分割，获取待抓取箱体的掩膜图；
根据待抓取箱体掩膜，在深度图中识别待抓取箱体区域，获取待抓取箱体的深度图；
将分割后的箱体图像与待抓取箱体的深度图相结合，得到分割后的待抓取箱体点云数据。
具体包括：利用第一相机中3D相机与纹理相机的标定外参，将分割后的箱体掩膜图从纹理相机的像素坐标系转换到3D相机的像素坐标系下；
利用深度图，对分割后的箱体掩膜图的目标识别区域进行精调，根据深度信息，可以对箱体掩膜图中的目标边界进行调整，以提高目标识别的准确性；
利用精调后的掩膜图，得到待抓取箱体的点云簇，此点云簇供后期进行定向包容盒子（Oriented Bounding Box）OBB求取。
需要说明的是，首次进行AI分割后得到的掩膜图的识别框，并不能做到精确的目标识别，通常识别框较大，包含除了识别主体以外的部分；因此需要结合深度图，对识别框进行调整，由此得到较为准确的识别区域，因此提取深度图中掩膜区域后得到待抓取的箱体三维点云数据，解决了AI分割不准确导致分割后覆盖多个箱体点云的情况。
即本申请的AI箱体分割算法既包含对箱体进行二维分割保证箱体的外部轮廓，同时在分割时结合箱体的深度值，判断箱体是否出现三维遮挡，由此可实现对含压叠遮挡箱体也能准确分割出对应的箱体的三维点云数据。图3为无压叠遮挡分割准确的图，图4为含压叠遮挡分割不准确的图。
获取分割后箱体点云簇中质心最高的箱体进行抓取，获取箱体抓取点后，通过手眼标定矩阵将抓取点位姿转换到机械臂基座，然后通过机械臂进行箱体的抓取。
S102、对分割后的待抓取箱体进行定向包容盒子（Oriented Bounding Box）OBB求取；
S103、利用OBB求取的箱体点云簇中的所有箱体的质心坐标，得到点云簇中质心最高的箱体点云；
S104、通过得到质心最高的箱体点云的长宽，进行分类；所述分类包括通过OBB测量的长和宽与MES下发的订单信息数据进行对比，所述MES中预存每个产品型号的标准尺寸参数，当OBB求取的实测值与标准尺寸一致时则继续进行S2，若不一致则进行人工复核。 人工复核是为了确定料箱内的箱体是否与mes下发一致。
需要说明的是，机械臂需要提前进行手眼标定，如图5所示，为手眼标定的流程：
将圆环标定板放置在机械臂上；控制机械臂旋转已知角度的6位姿；采集6个位姿的圆环标定板图像进行一次标定；通过一次标定的位置确定后续平移的8位姿；总采集14个位姿的圆环标定板图像，进行二次标定；即可获得机械臂和相机间的位姿关系，即手眼标定矩阵。
还包括根据通过手眼标定矩阵以及如下公式（1）将待抓取箱体的质心坐标由原第一相机的相机坐标系，转换到机械臂的基座坐标系下；
公式（1）
其中，为质心在第一相机的相机坐标系下的坐标，/>为第一相机在机械臂基座坐标系下的坐标，/>为质心在机械臂基座坐标系下的坐标。
S2、根据订单信息提取待抓取的箱体信息；根据待抓取箱体的三维点云数据和箱体信息，确定待抓取箱体的型号；
本申请中每个箱子外部都贴有对应的订单信息，系统将订单信息下发后，利用3D抓取相机获取箱体的三维图像，由于第一相机和下述的第二相机均为3D相机，可有获取物体的二维图像还可以获取箱体的深度值；当第一相机识别出，该箱体为订单信息中显示的要抓取的箱体时，机械臂对该箱体进行抓取。
S3、根据待抓取箱体的型号，更换对应吸盘；在本申请中S102分类后，会为机械臂更换合适的吸盘，由于每个订单信息会在系统中匹配规划的码垛位置，因此，当机械臂更换合适的吸盘，抓取对应的箱体后，按照规划的码垛位置进行码垛。
S4、控制机械臂抓取箱体至第二相机上方的第一位置点处，进行抓取箱体位姿纠偏；
S5、将位姿纠偏后的箱体放至码垛位置点。
如图6所示，在S4中，所述控制机械臂抓取箱体至第二相机上方的第一位置点处，进行抓取箱体位姿纠偏，包括：
S401、将机械臂移动到第二相机上方的第一位置点处，利用第二相机获取第二点云数据；
S402、根据所述第二点云数据计算当前箱体的中心位姿；精定位3D相机算法原理是利用吸盘抓取箱体时箱体与机械臂末端之间的相对位姿不变，通过精定位3D相机获取箱体中心在相机中的位姿，利用公式2将相机中的箱体中心位姿转换到机械臂基坐标系下；
公式（2）
其中，为箱体质心在精定位3D相机中的表示，/>为精定位3D相机在机械臂基坐标系下的表示，/>为箱体质心在机械臂基坐标系下的表示。
S403、判断当前箱体的中心位姿是否与机械臂法兰盘的中心位姿一致，若一致则根据规划的放置位置进行码垛，若不一致，则对箱体进行位姿纠偏；
对箱体进行位姿纠偏包括：
将箱体的中心位姿转换到机械臂的基座坐标系下；
根据如下公式（3）计算箱体中心在机械臂的基座坐标系下的位姿与机械臂法兰盘的中心位置的偏差；
公式（3）
其中，为机械臂法兰盘的中心位姿，/>为位姿偏差，表示箱体的中心位姿矩阵的逆矩阵；
根据得到的位姿偏差和原规划的放置位置在机械臂的基座坐标系下的位姿，计算机械臂末端要到达的位姿；
最后，基于码垛程序给出的相对于机械臂基坐标系的箱体放置位置及姿态，利用公式（4）得到实际机械臂末端要到达的位姿；
公式（4）
其中，为箱体码垛规划位置在机械臂基坐标系下的表示，/>为最终机械臂法兰盘末端最终到达的位置在机械臂基坐标系下的表示。图7为相机位姿纠偏算法示意图。
本发明还提供一种基于机器视觉的精确码垛系统，包括数据获取模块、第一相机、第二相机、位姿计算模块、机械臂控制模块；
所述数据获取模块，用于获取待抓取箱体的订单信息；所述第一相机用于获取待抓取箱体的三维点云数据；
所述位姿计算模块，根据订单信息提取待抓取的箱体信息；根据待抓取箱体的三维点云数据和箱体信息，确定待抓取箱体的型号，根据所述待抓取箱体的型号，更换对应吸盘；
所述机械臂控制模块，用于控制机械臂抓取箱体至第二相机上方的第一位置点处，进行抓取箱体位姿纠偏；将位姿纠偏后的箱体放至码垛位置点。
所述第一相机获取待抓取箱体的三维点云数据后，包括：对三维点云数据进行分割；对分割后的待抓取箱体进行OBB求取，计算待抓取箱体的质心坐标以及待抓取箱体的长和宽并分类。
显然，上述实施例仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (10)
1.一种基于机器视觉的精确码垛方法，其特征在于，包括以下步骤：
S1、获取待抓取箱体的订单信息，利用第一相机获取待抓取箱体的三维点云数据；
S2、根据订单信息提取待抓取箱体的物料信息；根据待抓取箱体的三维点云数据和物料信息，确定待抓取箱体的型号；
S3、根据待抓取箱体的型号，更换对应吸盘；
S4、控制机械臂抓取箱体至第二相机上方的第一位置点处，进行抓取位姿纠偏；
S5、将位姿纠偏后的箱体放至码垛位置点。
2.根据权利要求1所述的基于机器视觉的精确码垛方法，其特征在于，在S1中，利用第一相机获取待抓取箱体的三维点云数据后，包括：
S101、对三维点云数据进行分割；
S102、对分割后的待抓取箱体点云簇进行定向包容盒子OBB求取；
S103、利用OBB求取的箱体点云簇中的所有箱体的质心坐标，得到点云簇中质心最高的箱体点云；
S104、通过得到质心最高的箱体点云的长宽，进行分类；所述分类包括通过OBB测量的长和宽与MES下发的订单信息数据进行对比，所述MES中预存每个产品型号的标准尺寸参数，当OBB求取的实测值与标准尺寸一致时则继续进行S2，若不一致则进行人工复核。
3.根据权利要求2所述的基于机器视觉的精确码垛方法，其特征在于，在S101中，所述对三维点云数据进行分割；包括：
采用AI分割算法对箱体纹理图像进行分割，获取待抓取箱体的掩膜图；
根据待抓取箱体的掩膜图，在深度图中识别待抓取箱体区域，获取待抓取箱体的深度图；
将分割后的箱体图像与待抓取箱体的深度图相结合，得到分割后的待抓取箱体点云数据。
4.根据权利要求3所述的基于机器视觉的精确码垛方法，其特征在于，所述将分割后的箱体图像与待抓取箱体的深度图相结合，包括以下步骤：
利用第一相机中3D相机与纹理相机的标定外参，将分割后的箱体掩膜图转换到3D相机的像素坐标系下；
利用深度图，对分割后的箱体掩膜图的目标识别区域进行精调；
利用精调后的掩膜图，得到待抓取箱体的点云簇。
5.根据权利要求1所述的基于机器视觉的精确码垛方法，其特征在于，
在S2执行之前，还包括根据手眼标定矩阵以及如下公式（1）将待抓取箱体的质心坐标由原第一相机的相机坐标系，转换到机械臂的基座坐标系下；
公式（1）
其中，为质心在第一相机的相机坐标系下的坐标，/>为第一相机在机械臂基座坐标系下的坐标，/>为质心在机械臂基座坐标系下的坐标。
6.根据权利要求1所述的基于机器视觉的精确码垛方法，其特征在于，在S4中，所述控制机械臂抓取箱体至第二相机上方的第一位置点处，进行抓取箱体位姿纠偏，包括：
S401、将机械臂移动到第二相机上方的第一位置点处，利用第二相机获取第二点云数据；
S402、根据所述第二点云数据计算当前箱体的中心位姿；
S403、判断当前箱体的中心位姿是否与机械臂法兰盘的中心位姿一致，若一致则根据规划的放置位置进行码垛，若不一致，则对箱体进行位姿纠偏。
7.根据权利要求5所述的基于机器视觉的精确码垛方法，其特征在于，在S402中，计算当前箱体的中心位姿时，包括利用公式（2）将相机中的箱体中心位姿转换到机械臂基坐标系下；
公式（2）
其中，为箱体质心在第二相机中的位姿，/>为第二相机在机械臂基坐标系下的位姿，/>为箱体质心在机械臂基坐标系下的位姿。
8.根据权利要求5所述的基于机器视觉的精确码垛方法，其特征在于，在S403中，对箱体进行位姿纠偏包括：
将箱体的中心位姿转换到机械臂的基座坐标系下；
根据如下公式（3）计算当前箱体中心在机械臂的基座坐标系下的位姿与机械臂法兰盘的中心位置的偏差；
公式（3）
其中，为机械臂法兰盘的中心位姿，/>为位姿偏差，/>表示箱体的中心位姿矩阵的逆矩阵；
根据得到的位姿偏差和原规划的放置位置在机械臂的基座坐标系下的位姿，计算机械臂末端要到达的位姿。
9.根据权利要求8所述的基于机器视觉的精确码垛方法，其特征在于，所述计算机械臂末端要到达的位姿时，采用如下公式（4）计算：
公式（4）
其中，为箱体码垛规划位置在机械臂基坐标系下的位姿，/>为最终机械臂法兰盘末端最终到达的位置在机械臂基坐标系下的位姿。
10.一种基于机器视觉的精确码垛系统，其特征在于，包括数据获取模块、第一相机、第二相机、位姿计算模块、机械臂控制模块；
所述数据获取模块，用于获取待抓取箱体的订单信息；所述第一相机用于获取待抓取箱体的三维点云数据；
所述位姿计算模块，根据订单信息提取待抓取的物料信息；根据待抓取箱体的三维点云数据和物料信息，确定待抓取箱体的型号，根据所述待抓取箱体的型号，更换对应吸盘；
所述机械臂控制模块，用于控制机械臂抓取箱体至第二相机上方的第一位置点处，进行抓取箱体位姿纠偏；将位姿纠偏后的箱体放至码垛位置点。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410634465.6A CN118220723B (zh) | 2024-05-22 | 2024-05-22 | 基于机器视觉的精确码垛方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410634465.6A CN118220723B (zh) | 2024-05-22 | 2024-05-22 | 基于机器视觉的精确码垛方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN118220723A true CN118220723A (zh) | 2024-06-21 |
| CN118220723B CN118220723B (zh) | 2024-07-26 |
Family
ID=91498029
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410634465.6A Active CN118220723B (zh) | 2024-05-22 | 2024-05-22 | 基于机器视觉的精确码垛方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118220723B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108698225A (zh) * | 2017-08-24 | 2018-10-23 | 深圳蓝胖子机器人有限公司 | 机器人码放货物的方法及机器人 |
| CN112047113A (zh) * | 2020-08-26 | 2020-12-08 | 苏州中科全象智能科技有限公司 | 一种基于人工智能技术的3d视觉码垛系统及方法 |
| CN113682828A (zh) * | 2020-05-18 | 2021-11-23 | 北京京东乾石科技有限公司 | 物品码垛的方法、装置和系统 |
| CN115848715A (zh) * | 2022-12-01 | 2023-03-28 | 国网智能科技股份有限公司 | 一种无序拣选机器人、系统及方法 |
| WO2023060926A1 (zh) * | 2021-10-14 | 2023-04-20 | 五邑大学 | 一种基于3d光栅引导机器人定位抓取的方法、装置及设备 |
-
2024
- 2024-05-22 CN CN202410634465.6A patent/CN118220723B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108698225A (zh) * | 2017-08-24 | 2018-10-23 | 深圳蓝胖子机器人有限公司 | 机器人码放货物的方法及机器人 |
| WO2019037013A1 (zh) * | 2017-08-24 | 2019-02-28 | 深圳蓝胖子机器人有限公司 | 机器人码放货物的方法及机器人 |
| CN113682828A (zh) * | 2020-05-18 | 2021-11-23 | 北京京东乾石科技有限公司 | 物品码垛的方法、装置和系统 |
| CN112047113A (zh) * | 2020-08-26 | 2020-12-08 | 苏州中科全象智能科技有限公司 | 一种基于人工智能技术的3d视觉码垛系统及方法 |
| WO2023060926A1 (zh) * | 2021-10-14 | 2023-04-20 | 五邑大学 | 一种基于3d光栅引导机器人定位抓取的方法、装置及设备 |
| CN115848715A (zh) * | 2022-12-01 | 2023-03-28 | 国网智能科技股份有限公司 | 一种无序拣选机器人、系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN118220723B (zh) | 2024-07-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114758236B (zh) | 一种非特定形状物体识别、定位与机械手抓取系统及方法 | |
| US11972589B2 (en) | Image processing device, work robot, substrate inspection device, and specimen inspection device | |
| CN115330819B (zh) | 一种软包分割定位方法、工控机和机器人抓取系统 | |
| US20230041378A1 (en) | Systems and methods for object detection | |
| CN114751153B (zh) | 一种全角度的多模板码垛系统 | |
| CN115321090B (zh) | 机场行李自动接取方法、装置、设备、系统及介质 | |
| WO2024021402A1 (zh) | 一种基于视觉定位的取料卸货方法及其装置 | |
| CN113050636A (zh) | 一种叉车自主拾取托盘的控制方法、系统及装置 | |
| CN111311691A (zh) | 拆垛机器人拆垛方法及系统 | |
| CN113538459A (zh) | 一种基于落点区域检测的多模式抓取避障检测优化方法 | |
| CN115582827A (zh) | 一种基于2d和3d视觉定位的卸货机器人抓取方法 | |
| CN116529760A (zh) | 抓取控制方法、装置、电子设备和存储介质 | |
| US20220292708A1 (en) | Information processing device, setting apparatus, image recognition system, robot system, setting method, learning device, and method of generating learned model | |
| CN114419437A (zh) | 基于2d视觉的工件分拣系统及其控制方法和控制装置 | |
| CN114913346B (zh) | 一种基于产品颜色及形状识别的智能分拣系统及方法 | |
| Pan et al. | Manipulator package sorting and placing system based on computer vision | |
| CN110533717A (zh) | 一种基于双目视觉的目标抓取方法及装置 | |
| CN118220723B (zh) | 基于机器视觉的精确码垛方法及系统 | |
| CN113715012A (zh) | 一种遥控器零件自动装配方法和系统 | |
| CN115213122B (zh) | 基于3d深度网络的无序分拣方法 | |
| CN114800533B (zh) | 一种用于工业机器人的分拣控制方法及系统 | |
| CN116175542B (zh) | 确定夹具抓取顺序的方法、装置、电子设备和存储介质 | |
| CN112565616A (zh) | 一种目标抓取方法、系统、装置以及可读存储介质 | |
| EP1569776A1 (en) | Method and arrangement to avoid collision between a robot and its surroundings while picking details including a sensorsystem | |
| CN115872018B (zh) | 一种基于3d视觉传感的电子料盘贴标纠偏系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |