CN118220720A - 基于机器视觉的移动复合混码方法 - Google Patents

Abstract

本发明公开了一种基于机器视觉的移动复合混码方法及系统，该方法包括将待抓取的物料置入料箱中，当料箱运动至等候位时，读取料箱内所有物料的产品信息；至待检位时，根据读取的产品信息和预设码垛算法选择利于码垛的最优料箱至抓取位；利用抓取相机进行拍照，获取料箱内物料三维点云数据，根据物料的三维点云数据判断是否更换吸盘；将抓取的物料按照规划路径放至放置位；机器人接收盘点指令，直至料箱中所有物料完成抓取。本申请可选择性强，计算量小，同时搭配获取物体的三维信息，以便机器能够准确地识别和抓取目标物体，从而实现整体的最理想码垛效果。

Description

基于机器视觉的移动复合混码方法

技术领域

本发明涉及机器视觉技术领域，尤其涉及基于机器视觉的移动复合混码方法。

背景技术

伴随着物流产业的飞速发展，国内外码垛技术实现了跨越式的进步。早期的人工码垛，负载量低，吞吐量小，劳动成本高，搬运效率低，不能够满足自动化生产的需求，在工业生产中，普遍用于自动化生产中的码垛机器人实质上是一种普通的工业搬运机器人，主要负责执行装载和卸载的任务，且一般都采用示教的方法，预先设定好抓起点和摆放点。这种工作方式不能够对生产线的情况分析判断，如不能够区分工件大小，不能区分工件的类别等。针对目前的不足，将机器视觉与码垛机器人结合起来，使之具有人眼识别功能，具有十分重要的意义。

基于机器视觉的移动复合混码方法是一种应用与物流行业的先进码垛，传统机器人常用控序混码的方式，即约束物料送达的顺序，来实现对物品的堆叠和排序。此种方法对预料的来序有严格要求，一旦中途出现加料或减料的情况，需要进行系统重新调整。因此，此种控序混码的形式极为不方便，现有技术中提供的申请号为202310798456.6，名称为一种无序混合物料的机器人码垛方法的专利申请文件中，采用对所有物料进行重新计算的方法进行码垛计算，但是此种方法计算量巨大，且根据当前识别的物料和预设的码垛约束准条件形成码垛算法，码垛结果容错率大，不一定能得到最优码垛结果。因此急需一种不受物料输送顺序，且计算简单，即可进行码垛堆叠的基于机器视觉的移动复合混码方法进行码垛生产。

发明内容

因此，本发明的目的在于提供一种基于机器视觉的移动复合混码方法及系统，可选择性强，同时搭配视觉传感器（相机）来获取物体的三维信息，以便机器能够准确地识别和抓取目标物体，从而实现整体的码垛效果。

为了解决以上问题，本发明提供了一种基于机器视觉的移动复合混码方法，包括以下步骤：

S1、将待抓取的物料置入料箱中，所述物料随料箱运动依次通过等候位、待检位、抓取位、放置位；

S2、当物料随料箱运动至等候位时，读取料箱内所有物料的产品信息；

S3、当物料随料箱运动至待检位时，根据读取的产品信息和预设码垛算法选择利于码垛的最优料箱至抓取位；

S4、利用抓取相机对抓取位的料箱进行拍照，获取料箱内物料三维点云数据，根据物料的三维点云数据判断是否更换吸盘并保证机械臂的抓取精度；

S5、将抓取的物料按照规划路径放至放置位；需要说明的是，放置位一般放置托盘，机器人扫描放置位处的空托盘条码进行绑定，机械臂将抓取的物料放置到托盘上时，按照调配指令选择合适的规划路径。

S6、机械臂接受盘点指令，重复S4-S5直至料箱中所有物料完成抓取。盘点指令是保证1个订单下的所有物料都码放完。

进一步优选的，所述等候位、待检位、抓取位、放置位各设置至少一个。

进一步优选的，在S4中，获取料箱内物料三维点云数据后还包括，对三维点云数据进行分割；采用AI分割算法和2D分割算法进行联合计算，获得分割后的待抓取物料掩膜；利用分割后的待抓取物料掩膜和待抓取物料的深度图，获得分割后的待抓取物料点云数据。

进一步优选的，还包括采用AGV小车运送空托盘至放置位，并对空托盘的条码进行读取绑定，当放置位的物料达到预设数量时，利用AGV小车搬走拣好的托盘。

进一步优选的，在S5中，将抓取的物料按照规划路径放至放置位时，采用离线配载算法，根据读取的产品信息和托盘信息，进行离线配载规划，与仓库管理系统对接，使料箱按照计划配载的顺序进行传送。

进一步优选的，在S5中，将抓取的物料按照规划路径放至放置位时，采用在线配载算法，根据读取的产品信息和相机识别的物料数据，以装载利用率最优为目标进行配载调度。

进一步优选的，在S4中，利用抓取相机对抓取位的料箱进行拍照时，遵循以下规则：

任意一个抓取位有料箱进出时，进行拍照；

当料箱中有物料被抓取时，进行拍照；

所有料箱无变化时，不拍照。

进一步优选的，还包括在S5中，将抓取的物料按照规划路径放至放置位时，每次放置前评估托盘稳定性指标，所述稳定性指标包括：托盘码放高度差、码放重心、产品种数、装载体积；当稳定性指标中任意一项超过对应的预设阈值时换下一个托盘进行堆码，每更换一次托盘均对其条码进行读取绑定。

本发明还提供一种基于机器视觉的移动复合混码系统，用于实施上述基于机器视觉的移动复合混码方法，包括：

可调送料装置，所述可调送料装置用于将携带待抓取物料的料箱按照缓存队列的顺序，依次送至等候位、待检位、抓取位和放置位；

扫码装置，用于当物料随料箱运动至等候位时，读取料箱内所有物料的产品信息；

推送装置，安装在待检位，当物料随料箱运动至待检位时，根据读取的产品信息和预设码垛算法选择利于码垛的最优料箱，推送至抓取位；

拍照装置，对抓取位的料箱进行拍照，获取料箱内物料三维点云数据，根据物料的三维点云数据判断是否更换吸盘；

机器人，将抓取的物料按照规划路径放至放置位；机器人根据盘点指令，直至料箱中所有物料完成抓取。

本申请公开的基于机器视觉的移动复合混码方法及系统，相比于现有技术，至少具有以下优点：

1、本申请提供的基于机器视觉的移动复合混码方法及系统，通过设置5个等候位、3个待检位和2个抓取位，在整个订单下达完成后，等待来料的过程中，并不限制来料顺序，当物料通过读码器读取后，物料顺序不能再发生更换，较常规技术的不同，本申请设置了待检位，可以根据预设码垛算法选择最利于垛型的料箱，将其传送到抓取位，同时在抓取位搭配了视觉传感器（抓取3D相机）来获取物体的三维信息，以便机器人能够准确地识别和抓取目标物体，从而实现整体的码垛效果。

2、通过抓取3D相机识别并获取待抓取箱体内物料尺寸，引导机器人更换不同型号的吸盘进行待抓取箱体的抓取，同时码垛算法调整机器人的位姿，保证码垛的精度。

附图说明

图1为本发明基于机器视觉的移动复合混码方法的流程示意图。

图2为本发明基于机器视觉的移动复合混码系统结构示意图。

图3为箱体尺寸分布图。

图4强化学习码垛过程。

图5为信息系统架构。

具体实施方式

以下通过附图和具体实施方式对本发明作进一步的详细说明。

如图1所示，本发明一方面实施例提供的一种基于机器视觉的移动复合混码方法，包括以下步骤：

S1、将待抓取的物料置入料箱中，所述物料随料箱运动依次通过等候位、待检位、抓取位、放置位，其中，至少一个放置位、至少一个抓取位和至少一个待检位和至少一个等候位；最优选为3个待检位，5个等候位和2个抓取位。

放置位用于放置托盘，用于当机器人从料箱中抓取物料后，按照规划路径将物料放置在托盘上；

抓取位用于承接从待检位调度来的料箱，并等待机器人从抓取位上将料箱内的物料抓取到放置位，进一步地将空的料箱流转到料箱收纳区；

待检位用于承接从等候位流转来的料箱，且根据预设码垛算法将对垛型有利的料箱调度到抓取位；

等候位用于放置装载完待抓取物料的料箱，且一个料箱内只能放入一个或多个相同型号的物料。

如图2所示，本申请中可以设置多个放置位，图中P1-P3均为放置位，图中1、2、3均为待检位，4-8为等候位、A和B为抓取位，既可以从料道中抓取进行P1、P2托盘的码垛，也可以做到托盘与托盘之间的码垛（P1和P3往P2上抓取），提高翻板率，减少人工。

进一步，本申请中还设置中转台，图中C为中转台，机械臂码放过程中，由于一些未知因素，如料箱破损、气源不稳定等等,导致箱体掉落，需人工干预进行 C 工位抓取。在保证跺型和安全的情况下，将掉落的箱体放置于 C 工位，通过C工位进重新抓取，保证订单的延续性。

S2、当物料随料箱运动至等候位时，读取料箱内所有物料的产品信息；

S3、当物料随料箱运动至待检位时，根据读取的产品信息和预设码垛算法选择利于码垛的最优料箱至抓取位；其中预设的码垛算法如图4所示，可以为根据箱子设置的最优空间匹配策略、底面积排序策略或者根据物料箱体大小，进行表面积最小化、方向差值最小化等码垛算法，如图3为所有箱体的尺寸分布情况，使用强化学习的形式，根据箱体大小，形成最优算法进行箱子的选择和放置位置评估，得到每个箱子对应的码垛路线。预设码垛算法可提供按层平铺模式和柱状码放模式，其中平铺模式高度差较小，在不满载的情况下更稳定；码柱模式可以将相同或相近产品进行柱状堆叠，拿取过程更方便。基于这两种模式，在订单总体积信息已知的情况下推断所需托盘数，满载盘使用柱状码放模式，尾盘使用按层平铺模式，来保障稳定性。

S4、利用抓取相机对抓取位的料箱进行拍照，获取料箱内物料三维点云数据，根据物料的三维点云数据判断是否更换吸盘保证机械臂的抓取精度； 在S4中，获取料箱内物料三维点云数据后还包括，对三维点云数据进行分割；采用AI分割算法和2D分割算法进行联合计算，获得分割后的待抓取物料掩膜；利用分割后的待抓取物料掩膜和待抓取物料的深度图，获得分割后的待抓取物料点云数据。需要说明的是，AI分割算法包括mask-CNN、Yolov5等，2D分割算法包括但不限于阈值分割、边缘检测等分割算法。

在S4中，利用抓取相机对抓取位的料箱进行拍照时，遵循以下规则：

任意一个抓取位有料箱进出时，进行拍照；

当料箱中有物料被抓取时，进行拍照；

所有料箱无变化时，不拍照。

S5、将抓取的物料按照规划路径放至放置位；机器人扫描放置位处的空托盘条码进行绑定，将抓取的物料按照规划路径放至放置位；还包括采用AGV小车运送空托盘至放置位，当放置位的物料达到预设数量时，利用AGV小车搬走拣好的托盘。

进一步，在S5中，将抓取的物料按照规划路径放至放置位时，采用离线配载算法，根据读取的产品信息和托盘信息，进行离线配载规划，与仓库管理系统对接，使料箱按照计划配载的顺序进行传送。离线配载时，RCS与WCS通过软件交互，获取订单信息，RCS同时与AGV系统交互，获取订单码放托盘，在码放过程中，RCS按照订单来料顺序运用离线配载计划，进行跺型优化，同时进行订单对比，确保订单完成。本申请中RCS (Robot ControlSystem): 指的是机器人控制系统。在自动化仓储和码垛应用中，RCS 负责指挥和控制机器人的运动，包括但不限于抓取、搬运、码放等操作。它接收来自上层系统的指令，如仓库控制系统（WCS）或制造执行系统（MES）。

WCS 即仓库控制系统，它是自动化仓库或配送中心中的关键组成部分。WCS 起着承上启下的作用，一方面接收来自仓库管理系统（WMS）的高层指令，如库存管理、订单履行策略等；另一方面，它根据这些指令生成具体的设备控制命令，比如调度输送带、分拣机、堆垛机及RCS（机器人控制系统）等，确保整个仓库的自动化流程顺畅运行。

RIC（Record Identification Code）表示料箱的唯一识别和追踪的编码，本申请中通过扫描此编码即可得知该料箱的订单信息。

在S5中，将抓取的物料按照规划路径放至放置位时，采用在线配载算法，根据读取的产品信息和相机识别的物料数据，以装载利用率最优为目标进行配载调度。根据订单的产品信息和利用缓存工位，使码垛算法选择性更强，装载利用率达到最优。

还包括在S5中，将抓取的物料按照规划路径放至放置位时，每次放置前计算托盘稳定性指标，所述稳定性指标托盘码放高度差、码放重心、产品种数、装载体积；当稳定性指标中任意一项超过对应预设阈值时换下一个托盘进行堆码。每更换一次托盘均对其条码进行读取绑定。其中，托盘码放高度差为托盘的初始高度与码放高度的差值，码放重心指码放垛型的重心，装载体积指码放后垛型的体积。

S6、机器人接收盘点指令，重复S4-S5直至料箱中所有物料完成抓取；盘点指令是保证1个订单下的所有物料都码放完。

如图2所示，本发明的一种基于机器视觉的移动复合混码系统，用于实施上述基于机器视觉的移动复合混码方法，包括：

可调送料装置，所述可调送料装置用于将携带待抓取的物料的料箱按照缓存队列的顺序，依次送至等候位、待检位和抓取位；

扫码装置，用于当物料随料箱运动至等候位时，读取料箱内所有物料的产品信息；

推送装置，安装在待检位，当物料随料箱运动至待检位时，根据读取的产品信息和预设码垛算法选择利于码垛的最优料箱，推送至抓取位；

拍照装置，对抓取位的料箱进行拍照，获取料箱内物料三维点云数据，根据物料的三维点云数据判断是否更换吸盘；

机器人，扫描放置位处的空托盘条码进行绑定，将抓取的物料按照规划路径放至放置位；机器人根据盘点指令，直至料箱中所有物料完成抓取。

当订单下发时，RIC料箱出库，此时码垛算法获取订单信息，当RIC到达扫码枪后扫码获取订单信息，判定RIC的订单信息中是否与下发的一致，如果一致则进入待检区，此时码垛算法选择最优料箱推送至抓取位，利用抓取相机获取目标位姿，机器人获取位置点，更换吸盘、机器人运送箱子到放置位，扫描空托盘条码进行绑定，机器人复位相机对料箱进行拍照盘点，直至料箱中的物料全部抓取完成。还包括利用AGV小车送空托盘至放置位。

如图5所示，本申请的移动复合混码系统与客户端的客户库存管理相对接，完成料箱的出入库管理，以料箱出库为例，当客户的WCS系统接收到库存管理层下发的订单信息后，根据堆垛机确定订单物料所在的纵向位置，利用穿梭机在该纵向位置将物料取出，完成出库，将出库的物料放置在机器人拣选系统（即本申请的移动复合混码系统），自动化控制系统对机器人拣选系统和AGV进行交互控制，在托盘上重新码垛，完成出库物料的拣选和码垛。

本发明还提供一种电子设备，包括：

存储器，存储有计算机程序指令；

处理器，当所述计算机程序指令被所述处理器执行时实现如上述基于机器视觉的移动复合混码方法的步骤。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质用于存储指令，当存储的指令在计算机上运行时，使得所述计算机执行如上述基于机器视觉的移动复合混码方法的步骤。

显然，上述实施例仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种基于机器视觉的移动复合混码方法，其特征在于，包括以下步骤：

S1、将待抓取的物料置入料箱中，所述物料随料箱运动依次通过等候位、待检位、抓取位、放置位；

S2、当物料随料箱运动至等候位时，读取料箱内所有物料的产品信息；

S3、当物料随料箱运动至待检位时，根据读取的产品信息和预设码垛算法选择利于码垛的最优料箱至抓取位；

S4、利用抓取相机对抓取位的料箱进行拍照，获取料箱内物料三维点云数据，根据物料的三维点云数据判断是否更换吸盘并保证机械臂的抓取精度；

S5、将抓取的物料按照规划路径放至放置位；

S6、机械臂接受盘点指令，重复S4-S5直至料箱中所有物料完成抓取。

2.根据权利要求1所述的基于机器视觉的移动复合混码方法，其特征在于，所述等候位、待检位、抓取位、放置位各设置至少一个。

3.根据权利要求1所述的基于机器视觉的移动复合混码方法，其特征在于，还包括，在抓取位一侧设置中转台，所述中转台用于在抓取过程出现突发状况时，重新抓取。

4.根据权利要求1所述的基于机器视觉的移动复合混码方法，其特征在于，在S4中，获取料箱内物料三维点云数据后还包括，对三维点云数据进行分割；采用AI分割算法和2D分割算法进行联合计算，获得分割后的待抓取物料掩膜；利用分割后的待抓取物料掩膜和待抓取物料的深度图，获得分割后的待抓取物料点云数据。

5.根据权利要求1所述的基于机器视觉的移动复合混码方法，其特征在于，还包括采用AGV小车运送空托盘至放置位，并对空托盘的条码进行读取绑定，当放置位的物料达到预设数量时，利用AGV小车搬走拣好的托盘。

6.根据权利要求1所述的基于机器视觉的移动复合混码方法，其特征在于，在S5中，将抓取的物料按照规划路径放至放置位时，采用离线配载算法，根据读取的产品信息和托盘信息，进行离线配载规划，与仓库管理系统对接，使料箱按照计划配载的顺序进行传送。

7.根据权利要求1所述的基于机器视觉的移动复合混码方法，其特征在于，在S5中，将抓取的物料按照规划路径放至放置位时，采用在线配载算法，根据读取的产品信息和相机识别的物料数据，以装载利用率最优为目标进行配载调度。

8.根据权利要求1所述的基于机器视觉的移动复合混码方法，其特征在于，在S4中，利用抓取相机对抓取位的料箱进行拍照时，遵循以下规则：

任意一个抓取位有料箱进出时，进行拍照；

当料箱中有物料被抓取时，进行拍照；

所有料箱无变化时，不拍照。

9.根据权利要求1所述的基于机器视觉的移动复合混码方法，其特征在于，还包括在S5中，将抓取的物料按照规划路径放至放置位时，每次放置前评估托盘稳定性指标，所述稳定性指标包括：托盘码放高度差、码放重心、产品种数、装载体积；当稳定性指标中任意一项超过对应的预设阈值时换下一个托盘进行堆码，每更换一次托盘均对其条码进行读取绑定。

10.一种基于机器视觉的移动复合混码系统，其特征在于，用于实施上述权利要求1-6中任意一项所述的基于机器视觉的移动复合混码方法，包括：

可调送料装置，所述可调送料装置用于将携带待抓取物料的料箱按照缓存队列的顺序，依次送至等候位、待检位、抓取位和放置位；

扫码装置，用于当物料随料箱运动至等候位时，读取料箱内所有物料的产品信息；

推送装置，安装在待检位，当物料随料箱运动至待检位时，根据读取的产品信息和预设码垛算法选择利于码垛的最优料箱，推送至抓取位；

拍照装置，对抓取位的料箱进行拍照，获取料箱内物料三维点云数据，根据物料的三维点云数据判断是否更换吸盘；

机器人，将抓取的物料按照规划路径放至放置位；机器人根据盘点指令，直至料箱中所有物料完成抓取。