CN116835334A - 基于3d视觉的无序码垛方法、装置、介质及设备 - Google Patents
基于3d视觉的无序码垛方法、装置、介质及设备 Download PDFInfo
- Publication number
- CN116835334A CN116835334A CN202310878969.8A CN202310878969A CN116835334A CN 116835334 A CN116835334 A CN 116835334A CN 202310878969 A CN202310878969 A CN 202310878969A CN 116835334 A CN116835334 A CN 116835334A
- Authority
- CN
- China
- Prior art keywords
- goods
- stacked
- stacking
- stackable
- piled
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000004590 computer program Methods 0.000 claims description 10
- 238000009826 distribution Methods 0.000 claims description 10
- 238000003860 storage Methods 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 6
- 238000010801 machine learning Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000001419 dependent effect Effects 0.000 abstract description 3
- 238000004422 calculation algorithm Methods 0.000 description 7
- 230000006378 damage Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G57/00—Stacking of articles
- B65G57/02—Stacking of articles by adding to the top of the stack
- B65G57/16—Stacking of articles of particular shape
- B65G57/20—Stacking of articles of particular shape three-dimensional, e.g. cubiform, cylindrical
- B65G57/22—Stacking of articles of particular shape three-dimensional, e.g. cubiform, cylindrical in layers each of predetermined arrangement
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G57/00—Stacking of articles
- B65G57/02—Stacking of articles by adding to the top of the stack
- B65G57/03—Stacking of articles by adding to the top of the stack from above
- B65G57/04—Stacking of articles by adding to the top of the stack from above by suction or magnetic devices
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Stacking Of Articles And Auxiliary Devices (AREA)
Abstract
本发明涉及仓储码垛领域，特别是涉及一种基于3D视觉的无序码垛方法、装置、介质及设备，通过3D相机采集待码垛货物的点云数据，计算待码垛货物的尺寸，如待码垛货物的长、宽、高，得到待码垛货物的尺寸信息，再获取托盘上可码放待码垛货物的可码放区域，通过预设码垛模型根据尺寸信息及可码放区域确定最优位置，也就是说，最终码放待码放货物的最优位置不仅仅取决于待码放货物的尺寸信息，还取决于上一次码放货物后剩余的可码放区域。可以无序码垛，通过预设码垛模型确定最优位置，最大化利用托盘空间，且保证堆垛的稳定性。
Description
技术领域
本发明涉及仓储码垛领域，特别是涉及一种基于3D视觉的无序码垛方法、装置、介质及设备。
背景技术
随着科技的飞速发展和自动化技术的长足进步，各类机械手或机器人已经逐渐成为生产自动化领域中不可或缺的一部分。利用机械手或机器人进行码垛已经逐渐成为码垛领域的发展趋势。
在码垛领域中，传统的人工码垛不仅工作强度大、工作效率低，还会给工作人员带来较大的身体负担，进而影响码垛质量。人工码垛的一致性和稳定性较差，由于人的操作差异和错误，堆叠的结构可能不够稳定，容易发生倒塌或倾斜。
另外，现有技术中的码垛方法，通常是针对尺寸一样的货物，不便适配更多的场景。
因此，寻找一种适配的码垛方法，是本领域技术人员亟待解决的技术问题。
发明内容
为了解决现有技术中，码垛效率低，现有的码垛方法不便适配尺寸不同的货物的技术问题，本发明提供一种基于3D视觉的无序码垛方法、装置、介质及设备，能够针对不同尺寸的货物进行码放，提升码垛效率。
第一方面，本申请提供一种基于3D视觉的无序码垛方法，包括：
驱动传送带将待码垛货物传送到拍照位点；
获取所述待码垛货物的点云数据，所述点云数据通过3D相机采集；
根据所述点云数据计算所述待码垛货物的尺寸，得到所述待码垛货物的尺寸信息；
获取托盘上所述待码垛货物的可码放区域，通过预设码垛模型根据所述尺寸信息及所述可码放区域确定最优位置，所述最优位置用于码放所述待码垛货物；
驱动机械臂并利用设置在机械臂上的吸盘抓取所述待码垛货物，将所述待码垛货物放置到所述最优位置。
进一步地，所述获取托盘的可码放区域，通过预设码垛模型根据所述尺寸信息及所述可码放区域确定最优位置之前，所述方法包括：
获取托盘上可码垛货物的初始可码放区域，得到第一可码放区域，将所述第一可码放区域划分为多个网格；
获取第一待码垛货物的点云数据；得到第一点云数据，根据所述第一点云数据计算所述第一待码垛货物的尺寸，得到第一尺寸信息；
驱动机械臂将所述第一待码垛货物放置到所述第一可码放区域中；
根据所述第一尺寸信息计算所述第一待码垛货物在所述第一可码放区域中所占的网格区域，得到第一网格区域；
根据所述第一网格区域与所述第一可码放区域确定剩余可码放区域，得到第二可码放区域；
获取第二待码垛货物的点云数据；得到第二点云数据，根据所述第二点云数据计算所述第二待码垛货物的尺寸，得到第二尺寸信息；
根据所述第二尺寸信息及所述第二可码放区域确定多个第二网格区域，所述第二网格区域指所述第二待码垛货物所需占用的网格区域；
根据所述第二尺寸信息及所述第二可码放区域从多个第二网格区域中确定码放所述第二待码垛货物的最优位置；
驱动机械臂将所述第二待码垛货物放置到所述最优位置；
将确定所述最优位置的多组数据合成训练集，通过机器学习训练得到预设码垛模型。
进一步地，所述获取待码垛货物的点云数据之前，包括：
运行传送带以带动所述待码垛货物向机械臂方向传送；
若传感器检测到所述待码垛货物传送到预设拍照点位，则发送暂停信号并响应所述暂停信号以使传送带暂停；
通过机械臂上设置的3D相机采集所述待码垛货物的货物图像，所述3D相机为TOF相机，所述货物图像包括货物侧边图像及货物顶部图像；所述点云数据通过处理所述货物图像得到。
进一步地，所述驱动机械臂并利用设置在机械臂上的吸盘抓取所述待码垛货物的步骤，包括：
依据所述货物顶部图像对所述待码垛货物进行定位，得到所述待码垛货物的货物顶部位置；
驱动机械臂带动设置在机械臂上的吸盘到所述货物顶部位置；驱动机械臂以使得所述吸盘贴合货物顶部以抓取所述待码垛货物。
进一步地，所述将所述待码垛货物放置到所述最优位置的步骤之后，包括：
判断是否还有所述可码放区域；
若检测到有所述可码放区域；则驱动机械臂复位拍照点位以执行所述获取待码垛货物的点云数据的步骤。
进一步地，所述传感器还用于测量所述待码垛货物的重量；
所述方法还包括：
获取待码垛货物的重量信息，
获取所述可码放区域，根据所述重量信息及所述尺寸信息通过预设码垛模型确定所述可码放区域中用于码放所述待码垛货物的最优位置。
进一步地，所述根据所述重量信息及所述尺寸信息通过预设码垛模型确定所述可码放区域中用于码放所述待码垛货物的最优位置的步骤，包括：
获取待码垛货物的重量信息及待码垛货物的尺寸信息；
若待码垛货物的重量大于预设重量值，且若待码垛货物的尺寸大于预设尺寸值，则获取所述第一可码放区域的中心区域，驱动机械臂将所述待码垛货物码放于所述中心区域；
所述方法还包括：
获取托盘网格区域，根据托盘中心位置计算所述托盘网格区域中码放货物的重量，得到重量分布信息，所述重量分布信息通过历史码放货物得到；
根据所述重量分布信息及所述可码放区域并通过待码垛货物的重量信息和待码垛货物的尺寸信息确定待码放货物的码放位置。
第二方面，本申请提供一种基于3D视觉的无序码垛装置，包括：
传送模块，用于驱动传送带将待码垛货物传送到拍照位点；
获取模块，用于获取所述待码垛货物的点云数据，所述点云数据通过3D相机采集；
计算模块，用于根据所述点云数据计算所述待码垛货物的尺寸，得到所述待码垛货物的尺寸信息；
位置模块，用于获取托盘上所述待码垛货物的可码放区域，通过预设码垛模型根据所述尺寸信息及所述可码放区域确定最优位置，所述最优位置用于码放所述待码垛货物；
码放模块，用于驱动机械臂并利用设置在机械臂上的吸盘抓取所述待码垛货物，将所述待码垛货物放置到所述最优位置。
第三方面，本申请提供一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，使得所述处理器执行如第一方面中任一项所述基于3D视觉的无序码垛方法的步骤。
第四方面，本申请提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如第一方面中任一项所述基于3D视觉的无序码垛方法的步骤。
根据本申请提供的一种基于3D视觉的无序码垛方法、装置、介质及设备，有益效果在于：通过3D相机采集待码垛货物的点云数据，计算待码垛货物的尺寸，如待码垛货物的长、宽、高，得到待码垛货物的尺寸信息，再获取托盘上可码放待码垛货物的可码放区域，通过预设码垛模型根据尺寸信息及可码放区域确定最优位置，也就是说，最终码放待码放货物的最优位置不仅仅取决于待码放货物的尺寸信息，还取决于上一次码放货物后剩余的可码放区域。可以无序码垛，通过预设码垛模型确定最优位置，最大化利用托盘空间，且保证堆垛的稳定性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例中基于3D视觉的无序码垛方法的流程示意图；
图2为本发明一实施例中基于3D视觉的无序码垛方法的流程示意图；
图3为本发明一实施例中基于3D视觉的无序码垛方法的流程示意图；
图4为本发明一实施例中基于3D视觉的无序码垛系统的结构示意图；
图5为本发明一实施例中基于3D视觉的无序码垛装置的示意图；
图6为本发明一实施例中计算机设备的结构框图。
具体实施方式
为了使本领域的技术人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”、“若干个”的含义是两个或两个以上，除非另有明确具体的限定。
须知，本说明书附图所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本申请可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本申请所能产生的功效及所能达成的目的下，均应仍落在本申请所揭示的技术内容得能涵盖的范围内。
在其中一个实施例中，图1、图2、图3、图4所示，本申请提供一种基于3D视觉的无序码垛方法。其中，3D相机，用于采集待码垛货物的点云数据；传送带，用于传送所述待码垛货物到拍照点位；机械臂，用于抓取所述待码垛货物到将所述待码垛货物放置到托盘上。
具体的，3D相机为TOF相机，通过TOF相机采集待码垛货物的点云数据，进而利用点云数据计算待码垛货物的尺寸。机械臂末端设置有吸盘，利用吸盘抓取待码垛货物。具体的，TOF，即time of flight，测量光在空间中飞行的时间，通过换算成距离，就可以测得深度相机与物体的距离。通常，TOF深度相机组成有一个发射模块，一个接收模块。发射模块可以是LED、激光等发射元件，它将发射例如850nm的调制红外光，物体经过反射后，由接收模块接收到反射的红外光。由于发射和接收的都是调制波，TOF深度相机可以计算发射和接收的相位差，通过换算得到深度值，即深度相机与物体的深度距离。
所述方法包括：
步骤S101：驱动传送带将待码垛货物传送到拍照位点；
步骤S102：获取待码垛货物的点云数据，所述点云数据通过3D相机采集；
具体的，通过TOF相机采集待码垛货物的深度图像，将深度图像转换为点云。
步骤S103：根据所述点云数据计算所述待码垛货物的尺寸，得到所述待码垛货物的尺寸信息；
具体的，尺寸信息包括待码垛货物的三维尺寸，即长、宽、高。
步骤S104：获取托盘上所述待码垛货物的可码放区域，通过预设码垛模型根据所述尺寸信息及所述可码放区域确定最优位置，所述最优位置用于码放所述待码垛货物；
具体的，由于待码垛货物的尺寸是不同的，现有的码垛方法不适用，当各个待码垛货物的尺寸均是一样的情况下，码垛时，对于待码垛货物的放置位置并没有严格的要求，可以先码放完一层，再码放第二层；或者先码放纵向的一列，再码放第二列；不论是前者先码层还是后者按列码，最终均能将托盘码满并充分利用托盘空间。但是，当面对尺寸不同的待码垛货物时，码垛待码垛货物的位置将影响下一个待码垛货物的位置，以及由于尺寸不同的原因，也会影响堆垛的稳定性，具体而言，在尺寸较小的货物上码放尺寸较大的货物，整个堆垛的稳定性较差，堆垛容易倒塌。
因此，通过机器学习构建码垛模型，根据尺寸信息及可码放区域确定码放待码垛货物的最优位置。利用动态规划求解问题，即当前待码垛货物的可码放范围，取决于上一个货物的码放，采用深度强化学习策略学习最优策略，预测当前待码垛货物的可码放位置，通过码放正确与否给予对应奖励，进而学会码放的物理约束以及最优位置。
步骤S105：驱动机械臂并利用设置在机械臂上的吸盘抓取所述待码垛货物，将所述待码垛货物放置到所述最优位置。
具体的，根据待码垛货物在传送带上的拍照点位及最优位置规划抓取路径，具体而言，机械臂上的TOF相机识别货物图像，根据货物的空间位置信息，驱动机械臂靠近货物，并使用机械臂上的吸盘进行抓取。
需要说明的是，本发明的应用场景举例：当货车将货物运输到仓库后，将货物分拣到传送带上，现有技术中，由于现有的码垛方法对处理尺寸不同的货物的处理能力有限，此时，往往需要人工分拣相同尺寸的货物依次放到放到传送带，待堆完这一相同的尺寸的货物后，在对下一尺寸的货物进行堆垛，这样不仅需要耗费大量的人力，而且分拣、码垛效率低。
根据本申请提供的一种基于3D视觉的无序码垛方法，有益效果在于：通过3D相机采集待码垛货物的点云数据，计算待码垛货物的尺寸，如待码垛货物的长、宽、高，得到待码垛货物的尺寸信息，再获取托盘上可码放待码垛货物的可码放区域，通过预设码垛模型根据尺寸信息及可码放区域确定最优位置，也就是说，最终码放待码放货物的最优位置不仅取决于待码放货物的尺寸信息，还取决于上一次码放货物后剩余的可码放区域，与上述现有技术中提到的技术问题相比，本申请的方法，无需提前根据货物尺寸进行分拣，可以无序码垛，通过预设码垛模型确定最优位置，最大化利用托盘空间，且保证堆垛的稳定性。本申请的无序码垛还体现在，码垛时不一定需要像现有技术中的按照层或按纵列依次码放。根据待码垛货物的尺寸信息和可码放位置确定最优位置。
此外，本申请提供的基于3D视觉的无序码垛方法，能够提高物流和仓储效率：通过视觉算法服务可以快速准确地识别货物的位置，从而提高了码垛的效率和准确性。码垛算法能够确保货物被置于最合适的位置，最大化利用托盘空间。通过优化堆放方案和算法，码垛算法可以快速计算出最佳的垛位，以最小化货物占用的空间并确保堆放的稳定性。它可以在短时间内完成大量的储存和拣选任务，从而提高物流和仓储的效率。能够降低人工成本：传统的人工码垛模式需要大量的人力和时间，且容易出现疲劳和失误等问题，从而导致效率低下。而基于3D视觉的无序码垛机器人系统可以取代人工操作，降低人工成本，提高工作效率。能够提高工作安全性：基于3D视觉的无序码垛机器人系统可以避免人工受伤和误操作等安全隐患，提高了工作的安全性。机器人可以在危险环境下工作，减少了人工在危险环境下的工作时间和风险。能够降低物品损坏率：传统的码垛过程容易导致物品损坏，而机器人系统可以准确地处理货物，避免了人为损坏的情况，从而降低了物品损坏率。
在其中一个实施例中，步骤S104：所述获取托盘的可码放区域，通过预设码垛模型根据所述尺寸信息及所述可码放区域确定最优位置之前，所述方法包括：
步骤S1041：获取托盘上可码垛货物的初始可码放区域，得到第一可码放区域，将所述第一可码放区域划分为多个网格；
具体的，在初始可码放区域下，托盘为空，整个托盘的位置均是第一可码放区域，此时初始可码放区域即第一可码放区域，将第一可码放区域(初始可码放区域)，划分为多个网格，具体而言，将托盘三维空间划分为多个网格。或者，将托盘二维平面划分为多个网格，此种划分方式较适用于托盘上码放一层货物的情况。
步骤S1042：获取第一待码垛货物的点云数据；得到第一点云数据，根据所述第一点云数据计算所述第一待码垛货物的尺寸，得到第一尺寸信息；
具体的，得到第一待码垛货物的长宽高。
步骤S1043：驱动机械臂将所述第一待码垛货物放置到所述第一可码放区域中；
具体的，托盘上码放的第一件货物的位置同样是可依据货物尺寸信息判断，并非一定需要放置在固定初始位置上，比如，并非一定要放在托盘中心，或者托盘边缘。
步骤S1044：根据所述第一尺寸信息计算所述第一待码垛货物在所述第一可码放区域中所占的网格区域，得到第一网格区域；
步骤S1045：根据所述第一网格区域与所述第一可码放区域确定剩余可码放区域，得到第二可码放区域；
步骤S1046：获取第二待码垛货物的点云数据；得到第二点云数据，根据所述第二点云数据计算所述第二待码垛货物的尺寸，得到第二尺寸信息；
步骤S1047：根据所述第二尺寸信息及所述第二可码放区域确定多个第二网格区域，所述第二网格区域指所述第二待码垛货物所需占用的网格区域；
具体的，在托盘未满的情况下，第二可码放区域中存在多个可以码放第二待码垛货物的网格区域，即多个第二网格区域。
步骤S1048：根据所述第二尺寸信息及所述第二可码放区域从多个第二网格区域中确定码放所述第二待码垛货物的最优位置；
步骤S1049：驱动机械臂将所述第二待码垛货物放置到所述最优位置；
步骤S10490：将确定所述最优位置的多组数据合成训练集，通过机器学习训练得到预设码垛模型。
根据本实施例所提供的方案，下一个待码垛货物的码放位置取决于上一个货物的码放位置；以及在初始状态下，第一待码垛货物的位置也需根据其尺寸确定合适的位置。示例性的，当待码垛货物的长、宽、高均分别大于长预设值、宽预设值、高预设值时，优选的，将第一待码垛货物码放在托盘中心区域，计算码放第一待码放货物后的第二可码放区域，根据第二尺寸信息确定第二待码放货物的码放区域。通过不断优化算法并提升机械臂抓取货物的精度和灵敏度，可以实现更加高效、精准和智能的码垛操作。
在其中一个实施例中，所述获取待码垛货物的点云数据之前，包括：
运行传送带以带动所述待码垛货物向机械臂方向传送；
若传感器检测到所述待码垛货物传送到预设拍照点位，则发送暂停信号并响应所述暂停信号以使传送带暂停；
通过机械臂上设置的3D相机采集所述待码垛货物的货物图像，所述3D相机为TOF相机，所述货物图像包括货物侧边图像及货物顶部图像；所述点云数据通过处理所述货物图像得到。
需要说明的是，传感器包括光电传感器，当光电传感器检测到待码垛货物运行到拍照点位后，发送信号以使传送带暂停，并通过相机采集待码垛货物的货物图像，通过对待码垛货物全方位3D点云采集，将采集到原始点云数据进行分析，提取货物的位置信息。
在其中一个实施例中，所述驱动机械臂并利用设置在机械臂上的吸盘抓取所述待码垛货物的步骤，包括：
依据所述货物顶部图像对所述待码垛货物进行定位，得到所述待码垛货物的货物顶部位置；
驱动机械臂带动设置在机械臂上的吸盘到所述货物顶部位置；驱动机械臂以使得所述吸盘贴合货物顶部以抓取所述待码垛货物。
需要说明的是，通过货物顶部位置的坐标转换，并调整机械臂位姿进行抓取规划。
在其中一个实施例中，所述将所述待码垛货物放置到所述最优位置的步骤之后，包括：
判断是否还有所述可码放区域；
若检测到有所述可码放区域；则驱动机械臂复位拍照点位以执行所述获取待码垛货物的点云数据的步骤。
需要说明的是，在码放时，待码垛货物之间的周侧贴合；判断可码放区域中的有效网格区块的尺寸是否大于待码垛货物的尺寸，其中有效网格区块由多个网格组成；当托盘上的堆垛的顶部面平整时候，有效网格区块即堆垛顶部与预设托盘最高码放高度之间的空间，其中，堆垛指一个或多个货物码放在一起时形成的整体。当托盘上的堆垛的顶部面不平整时候，计算堆垛各棱边到预设托盘四周面所划分的有效网格区块。若所述有效网格区块大于待码放货物的尺寸，则驱动机械臂从堆垛上方复位到拍照点位以执行获取待码垛货物的点云数据的步骤，重复执行，直到没有可码放区域。在此之后，判断是否有可码垛托盘，若有，则重复执行码垛任务。通过本实施例所提供的方法，能够在最大化利用托盘空间的同时，保证堆垛的稳定性和对齐性。
在其中一个实施例中，所述传感器还用于测量所述待码垛货物的重量；
所述方法还包括：
获取待码垛货物的重量信息，
获取所述可码放区域，根据所述重量信息及所述尺寸信息通过预设码垛模型确定所述可码放区域中用于码放所述待码垛货物的最优位置。
需要说明的是，在初始码放之前设置托盘预设承重值。
在其中一个实施例中，所述根据所述重量信息及所述尺寸信息通过预设码垛模型确定所述可码放区域中用于码放所述待码垛货物的最优位置的步骤，包括：
获取待码垛货物的重量信息及待码垛货物的尺寸信息；
若待码垛货物的重量大于预设重量值，且若待码垛货物的尺寸大于预设尺寸值，则获取所述第一可码放区域的中心区域，驱动机械臂将所述待码垛货物码放于所述中心区域；
需要说明的是，第一可码放区域为初始可码放区域，当待码垛货物的重量和尺寸均大于预设值时，为了保证堆垛的稳定性，将货物放置于中心区域。
所述方法还包括：
获取托盘网格区域，根据托盘中心位置计算所述托盘网格区域中码放货物的重量，得到重量分布信息，所述重量分布信息通过历史码放货物得到；
根据所述重量分布信息及所述可码放区域并通过待码垛货物的重量信息和待码垛货物的尺寸信息确定待码放货物的码放位置。
需要说明的是，根据重量分布信息码放待码放货物，确保堆垛以托盘中心对称的区域的重量也对称，保持堆垛的稳定性。
第二方面，参阅图2、图3、图4、图5所示，本申请提供一种基于3D视觉的无序码垛装置，应用于基于3D视觉的无序码垛系统，所述系统包括：3D相机，用于采集待码垛货物的点云数据；传送带，用于传送所述待码垛货物到拍照点位；机械臂，用于抓取所述待码垛货物到将所述待码垛货物放置到托盘上；
所述装置包括：
传送模块100，用于驱动传送带将待码垛货物传送到拍照位点；
获取模块200，用于获取所述待码垛货物的点云数据，所述点云数据通过3D相机采集；
计算模块300，用于根据所述点云数据计算所述待码垛货物的尺寸，得到所述待码垛货物的尺寸信息；
位置模块400，用于获取托盘上所述待码垛货物的可码放区域，通过预设码垛模型根据所述尺寸信息及所述可码放区域确定最优位置，所述最优位置用于码放所述待码垛货物；
码放模块500，用于驱动机械臂并利用设置在机械臂上的吸盘抓取所述待码垛货物，将所述待码垛货物放置到所述最优位置。
需要说明的是，本申请提供的基于3D视觉的无序码垛系统的具体安装实施步骤如下：
1.安装皮带机，进行皮带机的各项参数的检测和调整，确保皮带机的中传送带运行稳定、安全、可靠。
2.安装机械臂：安装机械臂，将机械臂放置于传送带附近。
3.安装3D相机：安装3D相机至于机械臂末端，并配置好焦距和曝光等拍照参数。
4.安装吸盘：安装吸盘至于机械臂尾端，确保吸盘能够稳定抓取货物。
5.部署视觉算法服务，确保能够实时的对视觉数据进行处理和分析。
6.部署码垛算法服务，确保货物能够被置于最优位置，最大化的利用托盘空间。
7.进行机械臂系统的调试：根据实际情况，对机械臂系统进行调试，调整机械臂的控制参数，使机械臂系统能够更加准确地抓取物体。
8.安装电机系统，在完成电机系统的安装后，对其进行调试以保证其正常运转。
9.布置载有托盘的小车，根据真实情况调整小车的自动行驶路径，使小车在安全的速度下完成货物的运载工作。
完成安装和调试后，系统可以开始进行抓取任务，实现自适应抓取。
在其中一个实施例中，本申请提供一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，使得所述处理器执行如第一方面中任一项所述基于3D视觉的无序码垛方法的步骤。
在其中一个实施例中，参阅图6所示，本申请提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如第一方面中任一项所述基于3D视觉的无序码垛方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.基于3D视觉的无序码垛方法，其特征在于，包括：
驱动传送带将待码垛货物传送到拍照位点；
获取所述待码垛货物的点云数据，所述点云数据通过3D相机采集；
根据所述点云数据计算所述待码垛货物的尺寸，得到所述待码垛货物的尺寸信息；
获取托盘上所述待码垛货物的可码放区域，通过预设码垛模型根据所述尺寸信息及所述可码放区域确定最优位置，所述最优位置用于码放所述待码垛货物；
驱动机械臂并利用设置在机械臂上的吸盘抓取所述待码垛货物，将所述待码垛货物放置到所述最优位置。
2.根据权利要求1所述的基于3D视觉的无序码垛方法，其特征在于，所述获取托盘的可码放区域，通过预设码垛模型根据所述尺寸信息及所述可码放区域确定最优位置之前，所述方法包括：
获取托盘上可码垛货物的初始可码放区域，得到第一可码放区域，将所述第一可码放区域划分为多个网格；
获取第一待码垛货物的点云数据；得到第一点云数据，根据所述第一点云数据计算所述第一待码垛货物的尺寸，得到第一尺寸信息；
驱动机械臂将所述第一待码垛货物放置到所述第一可码放区域中；
根据所述第一尺寸信息计算所述第一待码垛货物在所述第一可码放区域中所占的网格区域，得到第一网格区域；
根据所述第一网格区域与所述第一可码放区域确定剩余可码放区域，得到第二可码放区域；
获取第二待码垛货物的点云数据；得到第二点云数据，根据所述第二点云数据计算所述第二待码垛货物的尺寸，得到第二尺寸信息；
根据所述第二尺寸信息及所述第二可码放区域确定多个第二网格区域，所述第二网格区域指所述第二待码垛货物所需占用的网格区域；
根据所述第二尺寸信息及所述第二可码放区域从多个第二网格区域中确定码放所述第二待码垛货物的最优位置；
驱动机械臂将所述第二待码垛货物放置到所述最优位置；
将确定所述最优位置的多组数据合成训练集，通过机器学习训练得到预设码垛模型。
3.根据权利要求2所述的基于3D视觉的无序码垛方法，其特征在于，所述获取待码垛货物的点云数据之前，包括：
运行传送带以带动所述待码垛货物向机械臂方向传送；
若传感器检测到所述待码垛货物传送到预设拍照点位，则发送暂停信号并响应所述暂停信号以使传送带暂停；
通过机械臂上设置的3D相机采集所述待码垛货物的货物图像，所述3D相机为TOF相机，所述货物图像包括货物侧边图像及货物顶部图像；所述点云数据通过处理所述货物图像得到。
4.根据权利要求3所述的基于3D视觉的无序码垛方法，其特征在于，所述驱动机械臂并利用设置在机械臂上的吸盘抓取所述待码垛货物的步骤，包括：
依据所述货物顶部图像对所述待码垛货物进行定位，得到所述待码垛货物的货物顶部位置；
驱动机械臂带动设置在机械臂上的吸盘到所述货物顶部位置；驱动机械臂以使得所述吸盘贴合货物顶部以抓取所述待码垛货物。
5.根据权利要求1所述的基于3D视觉的无序码垛方法，其特征在于,
所述将所述待码垛货物放置到所述最优位置的步骤之后，包括：
判断是否还有所述可码放区域；
若检测到有所述可码放区域；则驱动机械臂复位拍照点位以执行所述获取待码垛货物的点云数据的步骤。
6.根据权利要求3所述的基于3D视觉的无序码垛方法，其特征在于，所述传感器还用于测量所述待码垛货物的重量；
所述方法还包括：
获取待码垛货物的重量信息，
获取所述可码放区域，根据所述重量信息及所述尺寸信息通过预设码垛模型确定所述可码放区域中用于码放所述待码垛货物的最优位置。
7.根据权利要求6所述的基于3D视觉的无序码垛方法，其特征在于，所述根据所述重量信息及所述尺寸信息通过预设码垛模型确定所述可码放区域中用于码放所述待码垛货物的最优位置的步骤，包括：
获取待码垛货物的重量信息及待码垛货物的尺寸信息；
若待码垛货物的重量大于预设重量值，且若待码垛货物的尺寸大于预设尺寸值，则获取所述第一可码放区域的中心区域，驱动机械臂将所述待码垛货物码放于所述中心区域；
所述方法还包括：
获取托盘网格区域，根据托盘中心位置计算所述托盘网格区域中码放货物的重量，得到重量分布信息，所述重量分布信息通过历史码放货物得到；
根据所述重量分布信息及所述可码放区域并通过待码垛货物的重量信息和待码垛货物的尺寸信息确定待码放货物的码放位置。
8.基于3D视觉的无序码垛装置，其特征在于，包括：
传送模块，用于驱动传送带将待码垛货物到拍照位点；
获取模块，用于获取所述待码垛货物的点云数据，所述点云数据通过3D相机采集；
计算模块，用于根据所述点云数据计算所述待码垛货物的尺寸，得到所述待码垛货物的尺寸信息；
位置模块，用于获取托盘上所述待码垛货物的可码放区域，通过预设码垛模型根据所述尺寸信息及所述可码放区域确定最优位置，所述最优位置用于码放所述待码垛货物；
码放模块，用于驱动机械臂并利用设置在机械臂上的吸盘抓取所述待码垛货物，将所述待码垛货物放置到所述最优位置。
9.计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述基于3D视觉的无序码垛方法的步骤。
10.计算机设备，包括存储器和处理器，其特征在于，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述基于3D视觉的无序码垛方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310878969.8A CN116835334A (zh) | 2023-07-17 | 2023-07-17 | 基于3d视觉的无序码垛方法、装置、介质及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310878969.8A CN116835334A (zh) | 2023-07-17 | 2023-07-17 | 基于3d视觉的无序码垛方法、装置、介质及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116835334A true CN116835334A (zh) | 2023-10-03 |
Family
ID=88159958
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310878969.8A Pending CN116835334A (zh) | 2023-07-17 | 2023-07-17 | 基于3d视觉的无序码垛方法、装置、介质及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116835334A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111924460A (zh) * | 2020-09-21 | 2020-11-13 | 佛山隆深机器人有限公司 | 一种码垛控制方法及系统 |
| CN112047113A (zh) * | 2020-08-26 | 2020-12-08 | 苏州中科全象智能科技有限公司 | 一种基于人工智能技术的3d视觉码垛系统及方法 |
| CN113086659A (zh) * | 2021-04-01 | 2021-07-09 | 广东鑫光智能系统有限公司 | 包件码垛方法及终端 |
| CN113651118A (zh) * | 2020-11-03 | 2021-11-16 | 梅卡曼德（北京）机器人科技有限公司 | 多尺寸箱子的混合码垛方法、设备、装置及计算机可读存储介质 |
| CN114862063A (zh) * | 2022-07-04 | 2022-08-05 | 杭州灵西机器人智能科技有限公司 | 一种在线混合码垛的方法、系统、电子装置和存储介质 |
| CN116040331A (zh) * | 2022-12-30 | 2023-05-02 | 凌云光技术股份有限公司 | 货物码垛方法及装置、搬运设备和计算机可读存储介质 |
-
2023
- 2023-07-17 CN CN202310878969.8A patent/CN116835334A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112047113A (zh) * | 2020-08-26 | 2020-12-08 | 苏州中科全象智能科技有限公司 | 一种基于人工智能技术的3d视觉码垛系统及方法 |
| CN111924460A (zh) * | 2020-09-21 | 2020-11-13 | 佛山隆深机器人有限公司 | 一种码垛控制方法及系统 |
| CN113651118A (zh) * | 2020-11-03 | 2021-11-16 | 梅卡曼德（北京）机器人科技有限公司 | 多尺寸箱子的混合码垛方法、设备、装置及计算机可读存储介质 |
| CN113086659A (zh) * | 2021-04-01 | 2021-07-09 | 广东鑫光智能系统有限公司 | 包件码垛方法及终端 |
| CN114862063A (zh) * | 2022-07-04 | 2022-08-05 | 杭州灵西机器人智能科技有限公司 | 一种在线混合码垛的方法、系统、电子装置和存储介质 |
| CN116040331A (zh) * | 2022-12-30 | 2023-05-02 | 凌云光技术股份有限公司 | 货物码垛方法及装置、搬运设备和计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11794346B2 (en) | Robotic system with error detection and dynamic packing mechanism | |
| US20230016733A1 (en) | Robotic system for palletizing packages using real-time placement simulation | |
| US11488323B2 (en) | Robotic system with dynamic packing mechanism | |
| US11319166B2 (en) | Robotic system with packing mechanism | |
| US11591168B2 (en) | Robotic system for processing packages arriving out of sequence | |
| CN111605938B (zh) | 用于使用实时放置模拟来码垛包裹的机器人系统 | |
| US20230041343A1 (en) | Robotic system with image-based sizing mechanism and methods for operating the same | |
| CN113568402A (zh) | 卸船方法、装置及船岸协同卸船系统 | |
| CN116835334A (zh) | 基于3d视觉的无序码垛方法、装置、介质及设备 | |
| JP7126667B1 (ja) | 深さベースの処理メカニズムを伴うロボットシステム及びロボットシステムを操作するための方法 | |
| CN111498213B (zh) | 具有动态打包机制的机器人系统 | |
| KR102491429B1 (ko) | 인공지능을 이용한 다수의 직육면체 블록들의 적층 구조에서의 각 블록의 인식 및 로딩 시스템, 및 그 방법 | |
| US20230025647A1 (en) | Robotic system with object update mechanism and methods for operating the same | |
| CN111498214B (zh) | 具有打包机制的机器人系统 | |
| CN115609569A (zh) | 具有基于图像的尺寸确定机制的机器人系统及其操作方法 | |
| CN115570556A (zh) | 具有基于深度的处理机制的机器人系统及其操作方法 | |
| CN115026838A (zh) | 3d视觉引导的货箱拆垛、码垛方法、系统及桁架机器人 | |
| CN115258510A (zh) | 具有物体更新机制的机器人系统和用于操作所述机器人系统的方法 | |
| CN111559544A (zh) | 具有错误检测和动态打包机制的机器人系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |