CN115463845A - 一种基于动态包裹下的识别抓取方法 - Google Patents
一种基于动态包裹下的识别抓取方法 Download PDFInfo
- Publication number
- CN115463845A CN115463845A CN202211074921.3A CN202211074921A CN115463845A CN 115463845 A CN115463845 A CN 115463845A CN 202211074921 A CN202211074921 A CN 202211074921A CN 115463845 A CN115463845 A CN 115463845A
- Authority
- CN
- China
- Prior art keywords
- grabbing
- parcel
- point cloud
- mechanical arm
- package
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000005540 biological transmission Effects 0.000 claims abstract description 7
- 238000004364 calculation method Methods 0.000 claims description 14
- 230000011218 segmentation Effects 0.000 claims description 6
- 230000003068 static effect Effects 0.000 claims description 6
- 241000252254 Catostomidae Species 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 230000007547 defect Effects 0.000 abstract description 3
- 238000001914 filtration Methods 0.000 abstract 1
- 230000018109 developmental process Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C3/00—Sorting according to destination
- B07C3/10—Apparatus characterised by the means used for detection ofthe destination
- B07C3/14—Apparatus characterised by the means used for detection ofthe destination using light-responsive detecting means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C3/00—Sorting according to destination
- B07C3/02—Apparatus characterised by the means used for distribution
- B07C3/08—Apparatus characterised by the means used for distribution using arrangements of conveyors
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Abstract
一种基于动态包裹下的识别抓取方法，包括：在运送包裹的传送带上安装编码器，通过相机摄像头对所有无序包裹S0位置的采集图像，转化为2D轮廓图像和3D点云集图像；根据2D图像轮廓，进行点云切割；在进行点云切割之后，计算出所有无序包裹的抓取位置和角度；根据2D图像轮廓和点云分割后，通过算法根据在抓取的过程中是否包裹之间会发生碰撞，从而过滤掉会碰撞的包裹；选择最优抓取的包裹，并发送该包裹的信息给机械臂；通过匀速传送带上编码器实现计算偏移量大小，并发送数据给机械臂，从而实现机械臂动态跟随，实现动态抓取。本发明克服了现有技术的不足，解决了基于在传动状态下的包裹实现包裹分拣，极大的提升了分拨中心分拣包裹的效率。
Description
技术领域
本发明涉及机械臂识别抓取技术领域，具体涉及一种基于动态包裹下的识别抓取方法。
背景技术
近年来随着快递企业的高速发展，越来越多的人选择网上购物，从而出现快件包裹数量过多、物流压力较大的问题，因此快递包裹在分拣中心的分拣效率提升迫在眉睫，分拣中一重要环节----无序状态下包裹的抓取现在基本实现机器换人的半自动化发展阶段，而传统意义上的这种机器换人方式实现方法是一堆无序包裹在静止状态下通过图像采集以及算法分析，发送数据给机械臂实现抓取转移的目的，而这种方法要求无序状态的包裹绝对静止得以实现，导致包裹在分拨中心停留时间过长，严重影响分拣效率以及物流效率。
发明内容
针对现有技术的不足，本发明提供了一种基于动态包裹下的识别抓取方法，克服了现有技术的不足，解决了基于在传动状态下的包裹实现包裹分拣，极大的提升了分拨中心分拣包裹的效率。
为实现以上目的，本发明通过以下技术方案予以实现：
一种基于动态包裹下的识别抓取方法，包括以下步骤：
步骤S1：在运送包裹的传送带上安装编码器，并将图像采集相机架设在传送带正上方；机械臂安装在传动带的一侧；设定采图的位置为包裹初始位置S0；机械臂末端的吸盘初始状态位置为机械臂初始位置S1，S0到S1距离为定值；
步骤S2：通过相机摄像头对所有无序包裹S0位置的采集图像，转化为2D轮廓图像和3D点云集图像；
步骤S3：根据2D图像轮廓，进行点云切割；
步骤S4：在进行点云切割之后，计算出所有无序包裹的抓取位置和角度；
步骤S5：根据2D图像轮廓和点云分割后，通过算法根据在抓取的过程中是否包裹之间会发生碰撞，从而过滤掉会碰撞的包裹；
步骤S6：选择最优抓取的包裹，并发送该包裹的信息给机械臂；
步骤S7：通过匀速传送带上编码器实现计算偏移量大小，并发送数据给机械臂，从而实现机械臂动态跟随，实现动态抓取。
优选地，所述步骤S2中，通过相机摄像头对所有无序包裹S0位置的采集图像，转化为2D轮廓图像和3D点云集图像，具体包括以下步骤：
步骤S21：通过相机摄像头拍摄所有无序包裹的二维图像和三维图像；
步骤S22：将所述二维图像输入至预先训练的神经网络系统进行计算分割，获得每一包裹表面的2D轮廓数据；
步骤S23：根据点云数据和每个包裹的2D轮廓数据以得到每个包裹的3D点云数据。
优选地，所述步骤S4，在进行点云切割之后，计算出所有无序包裹的抓取位置和角度，计算方法包括：
步骤S41：将包裹分割为M×N个小区域；
步骤S42：将每个区域的中心点，作为一个候选的抓取面；
步骤S43：计算所有M×N个抓取面的角度和吸盘的匹配度；
步骤S44：筛选出最佳匹配度的位置和角度。
优选地，所述步骤S5中，判断在抓取的过程中是否包裹之间会发生碰撞的方法具体包括：通过机械臂用一个最小包含机械臂的圆柱体来简化计算，计算的时候，只考虑非当前包裹的点和这个圆柱体是否碰撞，通过计算圆柱体的中心线和点云的每个点的距离，如果距离大于圆柱的半径说明不会碰撞，否则说明会碰撞。
优选地，所述步骤S6中，所发送的包裹信息包括将要抓取的最优包裹的位置的坐标、角度以及计算静态情况下抓取该包裹的时间。
优选地，所述步骤S7具体包括：通过编码器计算出包裹在传送带上运行的时长t2以及静态抓取包裹的时间t1，继而计算出机械臂完成抓取该包裹+的时间为t2+t1，从而得出将要抓取的包裹实际位置和角度信息，然后实现基于在传送带上运行的包裹完成机械臂跟踪抓取。
本发明提供了一种基于动态包裹下的识别抓取方法。具备以下有益效果：通过实现机械臂动态跟随，以实现动态抓取。从而解决了基于在传动状态下的包裹实现包裹分拣，极大的提升了分拨中心分拣包裹的效率。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对现有技术描述中所需要使用的附图作简单地介绍。
图1本发明的步骤流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述。
实施例一，如图1所示，一种基于动态包裹下的识别抓取方法，包括以下步骤：
步骤S1：在运送包裹的传送带上安装编码器，并将图像采集相机架设在传送带正上方；机械臂安装在传动带的一侧；设定采图的位置为包裹初始位置S0；机械臂末端的吸盘初始状态位置为机械臂初始位置S1，S0到S1距离为定值；
步骤S2：当大量无序堆叠的快递包裹在传送带上运行的过程中，通过相机摄像头对所有无序包裹S0位置的采集图像，转化为2D轮廓图像和3D点云集图像；
步骤S3：根据2D图像轮廓，进行点云切割；
步骤S4：在进行点云切割之后，计算出所有无序包裹的抓取位置和角度；其计算方法具体包括：
步骤S41：将包裹分割为M×N个小区域；一般m，n都是个位数,不会太大，否则会导致计算量很大；
步骤S42：将每个区域的中心点，作为一个候选的抓取面；
步骤S43：计算所有M×N个抓取面的角度和吸盘的匹配度；
步骤S44：筛选出最佳匹配度的位置和角度。
步骤S5：根据2D图像轮廓和点云分割后，通过算法根据在抓取的过程中是否包裹之间会发生碰撞，从而过滤掉会碰撞的包裹；判断包裹之间会发生碰撞可通过机械臂用一个最小包含机械臂的圆柱体来简化计算，计算的时候，只考虑非当前包裹的点，和这个圆柱体是否碰撞，因为圆柱体可以简化为计算圆柱体的中心线和点云的每个点的距离，如果距离大于圆柱体的半径说明不会碰撞，否则说明会碰撞。
步骤S6：选择最优抓取的包裹，并发送该包裹的信息给机械臂，其中所发送的包裹信息包括将要抓取的最优包裹的位置的坐标、角度以及计算静态情况下抓取该包裹的时间；前面描述的是一个包裹的计算方法，多个包裹是多线程分别计算的，然后找一个最满足用户条件的，吸盘匹配率最高，同时又不会碰撞的包裹。最满足用户条件，比如，从上到下抓取，那么一般是按照z的高度来排序。
步骤S7：机械臂根据安装在传送带上的编码器计算出包裹在传送带上运行的时长t2以及静态抓取包裹的时间t1，从而可以实时计算出机械臂完成抓取该包裹的时间t1+t2，从而得出将要抓取的包裹实际位置和角度信息，然后实现基于在传送带上运行的包裹完成机械臂跟踪抓取。
其中，步骤S2中，通过相机摄像头对所有无序包裹S0位置的采集图像，转化为2D轮廓图像和3D点云集图像，具体包括以下步骤：
步骤S21：通过相机摄像头拍摄所有无序包裹的二维图像和三维图像；
步骤S22：将所述二维图像输入至预先训练的神经网络系统进行计算分割，获得每一包裹表面的2D轮廓数据；
步骤S23：根据点云数据和每个包裹的2D轮廓数据以得到每个包裹的3D点云数据。
和传统静态抓取相比较，本发明专利解决了基于在传动状态下的包裹实现包裹分拣，极大的提升了分拨中心分拣包裹的效率，在智慧物流中实现全自动分拣具有重要意义。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (6)
1.一种基于动态包裹下的识别抓取方法，其特征在于：包括以下步骤：
步骤S1：在运送包裹的传送带上安装编码器，并将图像采集相机架设在传送带正上方；机械臂安装在传动带的一侧；设定采图的位置为包裹初始位置S0；机械臂末端的吸盘初始状态位置为机械臂初始位置S1，S0到S1距离为定值；
步骤S2：通过相机摄像头对所有无序包裹S0位置的采集图像，转化为2D轮廓图像和3D点云集图像；
步骤S3：根据2D图像轮廓，进行点云切割；
步骤S4：在进行点云切割之后，计算出所有无序包裹的抓取位置和角度；
步骤S5：根据2D图像轮廓和点云分割后，通过算法根据在抓取的过程中是否包裹之间会发生碰撞，从而过滤掉会碰撞的包裹；
步骤S6：选择最优抓取的包裹，并发送该包裹的信息给机械臂；
步骤S7：通过匀速传送带上编码器实现计算偏移量大小，并发送数据给机械臂，从而实现机械臂动态跟随，实现动态抓取。
2.根据权利要求1所述的一种基于动态包裹下的识别抓取方法，其特征在于：所述步骤S2中，通过相机摄像头对所有无序包裹S0位置的采集图像，转化为2D轮廓图像和3D点云集图像，具体包括以下步骤：
步骤S21：通过相机摄像头拍摄所有无序包裹的二维图像和三维图像；
步骤S22：将所述二维图像输入至预先训练的神经网络系统进行计算分割，获得每一包裹表面的2D轮廓数据；
步骤S23：根据点云数据和每个包裹的2D轮廓数据以得到每个包裹的3D点云数据。
3.根据权利要求1所述的一种基于动态包裹下的识别抓取方法，其特征在于：所述步骤S4，在进行点云切割之后，计算出所有无序包裹的抓取位置和角度，计算方法包括：
步骤S41：将包裹分割为M×N个小区域；
步骤S42：将每个区域的中心点，作为一个候选的抓取面；
步骤S43：计算所有M×N个抓取面的角度和吸盘的匹配度；
步骤S44：筛选出最佳匹配度的位置和角度。
4.根据权利要求1所述的一种基于动态包裹下的识别抓取方法，其特征在于：所述步骤S5中，判断在抓取的过程中是否包裹之间会发生碰撞的方法具体包括：通过机械臂用一个最小包含机械臂的圆柱体来简化计算，计算的时候，只考虑非当前包裹的点和这个圆柱体是否碰撞，通过计算圆柱体的中心线和点云的每个点的距离，如果距离大于圆柱的半径说明不会碰撞，否则说明会碰撞。
5.根据权利要求1所述的一种基于动态包裹下的识别抓取方法，其特征在于：所述步骤S6中，所发送的包裹信息包括将要抓取的最优包裹的位置的坐标、角度以及计算静态情况下抓取该包裹的时间。
6.根据权利要求1所述的一种基于动态包裹下的识别抓取方法，其特征在于：所述步骤S7具体包括：通过编码器计算出包裹在传送带上运行的时长t2以及静态抓取包裹的时间t1，继而计算出机械臂完成抓取该包裹+的时间为t2+t1，从而得出将要抓取的包裹实际位置和角度信息，然后实现基于在传送带上运行的包裹完成机械臂跟踪抓取。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211074921.3A CN115463845B (zh) | 2022-09-02 | 2022-09-02 | 一种基于动态包裹下的识别抓取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211074921.3A CN115463845B (zh) | 2022-09-02 | 2022-09-02 | 一种基于动态包裹下的识别抓取方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115463845A true CN115463845A (zh) | 2022-12-13 |
| CN115463845B CN115463845B (zh) | 2023-10-31 |
Family
ID=84368303
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211074921.3A Active CN115463845B (zh) | 2022-09-02 | 2022-09-02 | 一种基于动态包裹下的识别抓取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115463845B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107138432A (zh) * | 2017-04-05 | 2017-09-08 | 杭州迦智科技有限公司 | 非刚性物体分拣方法和装置 |
| CN109513630A (zh) * | 2018-11-14 | 2019-03-26 | 深圳蓝胖子机器人有限公司 | 包裹分拣系统及其控制方法、存储介质 |
| CN111843996A (zh) * | 2020-07-29 | 2020-10-30 | 珠海一维弦机器人有限公司 | 多机械臂装置及其控制方法 |
| CN112008729A (zh) * | 2020-09-01 | 2020-12-01 | 云南电网有限责任公司电力科学研究院 | 一种用于架空线路检修机械臂的碰撞检测方法 |
| CN112060087A (zh) * | 2020-08-28 | 2020-12-11 | 佛山隆深机器人有限公司 | 一种用于机器人抓取场景的点云碰撞检测方法 |
| CN113232021A (zh) * | 2021-05-19 | 2021-08-10 | 中国科学院自动化研究所苏州研究院 | 一种机械臂抓取路径碰撞检测方法 |
| CN113800270A (zh) * | 2021-09-17 | 2021-12-17 | 知行高科（北京）科技有限公司 | 一种用于物流拆垛的机器人控制方法及系统 |
| CN113818816A (zh) * | 2021-08-05 | 2021-12-21 | 洛阳银杏科技有限公司 | 一种用于多臂凿岩机器人的机械臂碰撞检测方法 |
| CN114454168A (zh) * | 2022-02-14 | 2022-05-10 | 赛那德数字技术(上海)有限公司 | 一种动态视觉机械臂抓取方法、系统及电子设备 |
| CN114570658A (zh) * | 2022-03-04 | 2022-06-03 | 赛那德科技有限公司 | 一种基于动态视觉的物流包裹分拣方法、系统及电子设备 |
-
2022
- 2022-09-02 CN CN202211074921.3A patent/CN115463845B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107138432A (zh) * | 2017-04-05 | 2017-09-08 | 杭州迦智科技有限公司 | 非刚性物体分拣方法和装置 |
| CN109513630A (zh) * | 2018-11-14 | 2019-03-26 | 深圳蓝胖子机器人有限公司 | 包裹分拣系统及其控制方法、存储介质 |
| CN111843996A (zh) * | 2020-07-29 | 2020-10-30 | 珠海一维弦机器人有限公司 | 多机械臂装置及其控制方法 |
| CN112060087A (zh) * | 2020-08-28 | 2020-12-11 | 佛山隆深机器人有限公司 | 一种用于机器人抓取场景的点云碰撞检测方法 |
| CN112008729A (zh) * | 2020-09-01 | 2020-12-01 | 云南电网有限责任公司电力科学研究院 | 一种用于架空线路检修机械臂的碰撞检测方法 |
| CN113232021A (zh) * | 2021-05-19 | 2021-08-10 | 中国科学院自动化研究所苏州研究院 | 一种机械臂抓取路径碰撞检测方法 |
| CN113818816A (zh) * | 2021-08-05 | 2021-12-21 | 洛阳银杏科技有限公司 | 一种用于多臂凿岩机器人的机械臂碰撞检测方法 |
| CN113800270A (zh) * | 2021-09-17 | 2021-12-17 | 知行高科（北京）科技有限公司 | 一种用于物流拆垛的机器人控制方法及系统 |
| CN114454168A (zh) * | 2022-02-14 | 2022-05-10 | 赛那德数字技术(上海)有限公司 | 一种动态视觉机械臂抓取方法、系统及电子设备 |
| CN114570658A (zh) * | 2022-03-04 | 2022-06-03 | 赛那德科技有限公司 | 一种基于动态视觉的物流包裹分拣方法、系统及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115463845B (zh) | 2023-10-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112047113B (zh) | 一种基于人工智能技术的3d视觉码垛系统及方法 | |
| CN110516570B (zh) | 一种基于视觉的垃圾分类识别方法和装置 | |
| CN108527322B (zh) | 拣选装置和拣选方法 | |
| CN109230580B (zh) | 一种基于混放物料信息采集的拆垛机器人系统及方法 | |
| CN110395515B (zh) | 一种货物识别抓取方法、设备以及存储介质 | |
| CN111015662B (zh) | 一种动态抓取物体方法、系统、设备和动态抓取垃圾方法、系统、设备 | |
| CN107597600A (zh) | 分拣系统和分拣方法 | |
| CN112318485B (zh) | 物体分选系统及其图像处理方法、装置 | |
| CN113666028B (zh) | 一种基于激光雷达和相机融合的垃圾桶检测抓取方法 | |
| CN106845894A (zh) | 一种快递包裹分拣方法及其装置 | |
| CN110969660A (zh) | 一种基于三维立体视觉和点云深度学习的机器人上料系统 | |
| CN114789452B (zh) | 一种基于机器视觉的机器人抓取方法及系统 | |
| CN115321090B (zh) | 机场行李自动接取方法、装置、设备、系统及介质 | |
| CN116277025A (zh) | 一种智能制造用机器人的物件分拣控制方法及系统 | |
| CN115796530A (zh) | 一种同时送货和取货的机器人物流调度优化方法 | |
| CN115463845A (zh) | 一种基于动态包裹下的识别抓取方法 | |
| CN113731857B (zh) | 小包装药袋自动分拣系统及其控制方法 | |
| CN114751153A (zh) | 一种全角度的多模板码垛系统 | |
| CN112338898B (zh) | 物体分选系统的图像处理方法、装置及物体分选系统 | |
| CN110813766A (zh) | 一种机械臂皮带机分拣系统、装置及方法 | |
| CN114842323B (zh) | 基于分类识别的智能机器人分拣优化方法 | |
| CN112720477A (zh) | 一种基于局部点云模型的物体最优抓取识别方法 | |
| CN115049860B (zh) | 一种基于特征点识别的系统及抓取方法 | |
| CN111931765A (zh) | 一种食品分拣方法、系统及计算机可读存储介质 | |
| CN111687060A (zh) | 一种物流多级分拣系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |