CN111301911A - 一种用于堆垛机的视觉逻辑控制方法 - Google Patents

Abstract

本发明公开了一种用于堆垛机的视觉逻辑控制方法，该视觉逻辑控制方法通过摄像装置实时拍摄堆垛机移动路径上的视频，并利用微处理器组提取图像进行处理分析以判定并累计堆垛机经过的水平货位数和竖直货位数，从而完成目标货位的判断，并在后期对堆垛机的位置进行微调以满足提取或存放货物的要求，该视觉逻辑控制方法根据实际工况指挥堆垛机动作，解决了货架位置出现偏差导致的安全问题，简化了自动仓仓储系统，节省成本，具有广泛的推广应用意义。

Description

一种用于堆垛机的视觉逻辑控制方法

技术领域

本发明涉及自动仓堆垛控制领域，尤其涉及一种用于堆垛机的视觉逻辑控制方法。

背景技术

目前可见的自动仓内，均采用编码盘方式控制堆垛机的各个维度动作的行程，然后采用多种元件进行限位，再采用诸如亮灯指示、二维码读取等方式进行货位判断，这些控制方法存在以下缺点：

1、大量的电子元件和复杂的布线，为制作和维护带来困难，一处问题即令整个系统瘫痪，并陷入漫长的检查过程，而且仓库规模越大，问题越严重。

2、堆垛机按程序设定位置动作，要求货架结构必须严格建立在指定位置，动作位置与实际工况严重脱钩。万一出现货架使用过程中各种因素的轻微变形，导致堆垛机动作位置与货架实际位置出现差异时，将引起严重的事故，尤其是货物重量在一吨以上的重型堆垛机自动仓；

3、系统资源的浪费，障碍了复杂系统、多机系统等的开发。堆垛机对货物作三维运动的整个过程，均以高精度的编码盘计算行程数据。但运动过程的90％根本不需要精准数据，只需要方向。

发明内容

为了克服上述现有技术所述的至少一种缺陷，本发明提供一种用于堆垛机的视觉逻辑控制方法。

本发明为解决其问题所采用的技术方案是：

一种用于堆垛机的视觉逻辑控制方法，包括以下步骤：

S1、微处理器组接收上位机指令信号，获得目标货位数据，微处理器组向堆垛机发出方向及动作指令；

S2、所述堆垛机开始移动，摄像装置拍摄所述堆垛机移动路径上的视频并将视频信号传送至所述微处理器组，所述微处理器组对所述视频信号提取图像进行处理分析，判定并累计所述堆垛机经过的水平货位数和竖直货位数，直至所记录的水平货位数和竖直货位数分别与所述目标货位数据相匹配，以使得所述堆垛机移动到目标货位所在位置；

S3、所述堆垛机到达目标货位后，所述微处理器组计算出当前货位的位置形态，将该位置形态与标准位置形态进行对比，并根据对比结果微调所述堆垛机至货位的正确位置；

S4、所述堆垛机的货叉开始动作，完成货物的提取或存放。

本发明所提供的视觉逻辑控制方法，通过摄像装置实时拍摄堆垛机移动路径上的视频，并利用微处理器组提取图像进行处理分析以判定并累计堆垛机经过的水平货位数和竖直货位数，从而完成目标货位的判断，并在后期对堆垛机的位置进行微调以满足提取或存放货物的要求，该视觉逻辑控制方法根据实际工况指挥堆垛机动作，解决了货架位置出现偏差导致的安全问题，简化了自动仓仓储系统，节省成本，具有广泛的推广应用意义。

进一步地，所述步骤S2具体包括：

S201、所述微处理器组对所述视频信号按预设的帧速提取图像；

S202、对所提取的每一帧图像进行柱子或横梁颜色的分析，分析出颜色突变的区间；

S203、根据区间由小到大，再到稳定，再缩减的过程，判定经过一根柱子或一根横梁的事实，每经过一柱子或一横梁则代表经过一水平货位单位或一竖直货位单位，并累计水平货位数或竖直货位数；

S204、将累计的水平货位数或竖直货位数与所述目标货位数据的水平货位数或竖直货位数进行对比，若累计的水平货位数或竖直货位数小于所述目标货位数据的水平货位数或竖直货位数，则所述堆垛机继续移动并重复步骤S201至S203，若累计的水平货位数或竖直货位数等于所述目标货位数据的水平货位数或竖直货位数，侧进入下一步；

S205、所述微处理器组向所述堆垛机发出停止指令，所述堆垛机停止在目标货位。

进一步地，在所述步骤S2中，在所述步骤S2中，所述堆垛机的移动路径呈L型状，由水平方向的移动路径和竖直方向的移动路径组成，所述堆垛机依次完成水平定位和竖直定位。

进一步地，所述步骤S3具体包括：

S301、所述微处理器组对目标货位处图像中的柱子和横梁颜色进行突变边线分析；

S302、根据分析结果分别计算出横梁边线的倾斜度以及货位中点坐标，得到当前货位的位置形态；

S303、将计算出的当前货位的位置形态与标准位置形态对比，得出两者的对比值；

S304、所述微处理器组根据该对比值向所述堆垛机发出微调指令，所述堆垛机调节至当前货位的正确位置。

进一步地，所述摄像装置为双目高速数字视像头。

进一步地，在所述步骤S4之前，还包括如下步骤：当所述堆垛机微调至当前货位的正确位置后，利用背景差法判断当前货位是否有货物，并将判断结果反馈至上位机，若判断结果与所述目标货位数据不匹配，侧发出警报信号，若判断结果与所述目标货位数据相匹配，则进入下一步骤S4。

综上所述，本发明提供的视觉逻辑控制方法的有益效果在于：

该视觉逻辑控制方法根据实际工况指挥堆垛机动作，解决了货架位置出现偏差导致的安全问题，简化了自动仓仓储系统；利用堆垛机移动路径上所经过的柱子和横梁数完成目标货位的判断，无需大量的电子元件和复杂的布线，改装、维护简单便捷，节省成本，具有广泛的推广应用意义。

附图说明

图1为本发明实施例所示堆垛机的结构示意图；

图2为本发明实施例的视觉逻辑控制方法的流程示意图；

图3为图2中步骤S2的流程示意图；

图4为图2中步骤S3的流程示意图。

具体实施方式

为了更好地理解和实施，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本发明。

参阅图1和图2，本发明公开了一种用于堆垛机的视觉逻辑控制方法，该视觉逻辑控制方法一般应用于具有横梁式货架的自动仓系统中。其中，所述堆垛机包括行走机构1、升降机构2、载物台3以及货叉4，所述货叉4安装在所述载物台3上，所述升降机构2和载物台3安装在所述行走机构1上，所述升降机构2驱动所述载物台3做竖直运动,所述行走机构1带动所述载物台3做水平运动，摄像装置安装在所述载物台3上，微处理器组分别与所述摄像装置、行走机构1、升降机构2以及货叉4电连接。

该视觉逻辑控制方法包括以下步骤：

步骤S1、所述微处理器组接收上位机指令信号，获得目标货位数据，所述微处理器组向所述堆垛机发出方向及动作指令。

在本步骤中，所述微处理器组与上位机连通，并用于接收上位机指令信号以获得目标货位数据，该目标货位数据包括水平货位数、竖直货位数以及是否存在货物，所述微处理器组根据该目标货位数据向所述堆垛机发出方向及动作指令以完成取货或存货的转运需求。

步骤S2、所述堆垛机开始移动，所述摄像装置拍摄所述堆垛机移动路径上的视频并将视频信号传送至所述微处理器组，所述微处理器组对所述视频信号提取图像进行处理分析，判定并累计所述堆垛机经过的水平货位数和竖直货位数，直至所记录的水平货位数和竖直货位数分别与所述目标货位数据相匹配，以使得所述堆垛机移动到目标货位所在位置。

在本步骤中，所述堆垛机的移动路径是指载物台3的移动路径，该移动路径呈L型状，由水平方向的移动路径和竖直方向的移动路径组成，所述堆垛机依次完成水平定位和竖直定位，即先完成水平定位后，再完成竖直定位。其中，所述升降机构2驱动所述载物台3做竖直运动,所述行走机构1带动所述载物台3做水平运动，摄像装置安装在所述载物台3上。所述摄像装置在整个过程中，均持续拍摄视频并将视频信号传送至所述微处理器组。

诚然，在其他较佳实施例中，所述堆垛机还可以依次完成竖直定位和水平定位。

步骤S3、所述堆垛机到达目标货位后，所述微处理器组计算出当前货位的位置形态，将该位置形态与标准位置形态进行对比，并根据对比结果微调所述堆垛机至货位的正确位置。

在本实施例中，所述升降机构2除了可以驱动所述载物台3做竖直运动外，还可以驱动所述载物台3旋转，从而使得所述载物台3可以做小范围的角度调整以适应货架中由于货物过重造成的横梁形变。

步骤S4、所述堆垛机的货叉4开始动作，完成货物的提取或存放。

通过上述步骤，摄像装置实时拍摄堆垛机移动路径上的视频，并利用微处理器组提取图像进行处理分析以判定并累计堆垛机经过的水平货位数和竖直货位数，从而完成目标货位的判断，并在后期对堆垛机的位置进行微调以满足提取或存放货物的要求，该视觉逻辑控制方法根据实际工况指挥堆垛机动作，解决了货架位置出现偏差导致的安全问题，简化了自动仓仓储系统，节省成本，具有广泛的推广应用意义。

具体地，参阅图3，所述步骤S2具体包括以下步骤：

步骤S201、所述微处理器组对所述视频信号按预设的帧速提取图像。

在本步骤中，所述微处理器组对所述视频信号以30帧/秒的速度实时提取图像，以用于后续步骤的分析使用。

步骤S202、对所提取的每一帧图像进行柱子或横梁颜色的分析，分析出颜色突变的区间。

在实施例中，货架的柱子和横梁均涂以特定颜色，例如柱子为特定颜色1，横梁为特定颜色2(如特定颜色1为红色，特定颜色2为绿色)，以便于所述微处理器组对所提取的图像提取分析，分析出颜色突变的区间。

在本步骤中，所述微处理器组对所提取的每一帧图像进行特定颜色1和特定颜色2的提取、去噪、反白等处理，以将图像中的柱子和横梁区分出来，并分别分析出特定颜色1和特定颜色2突变的区间。

步骤S203、根据区间由小到大、再到稳定、再缩减的过程，判定经过一根柱子或一根横梁的事实，每经过一柱子或一横梁则代表经过一水平货位单位或一竖直货位单位，并累计水平货位数或竖直货位数。

在本步骤中，分别根据特定颜色1和特定颜色2区间的规律变化，从而判定所述载物台3是否经过柱子和横梁，并分别计数。

步骤S204、将累计的水平货位数或竖直货位数与所述目标货位数据的水平货位数或竖直货位数进行对比，若累计的水平货位数或竖直货位数小于所述目标货位数据的水平货位数或竖直货位数，则所述堆垛机继续移动并重复步骤S201至S203，若累计的水平货位数或竖直货位数等于所述目标货位数据的水平货位数或竖直货位数，侧进入下一步。

步骤S205、所述微处理器组向所述堆垛机发出停止指令，所述堆垛机停止在目标货位。

在上述步骤中，利用微处理器组对图像分别进行特定颜色1和特定颜色2的分析，以将图像中的柱子和横梁区分出来，并分别分析出特定颜色1和特定颜色2突变的区间，根据各颜色区间的规律变化，从而判定经过一根柱子或一根横梁的事实，并累计计数和对比，完成定位。由此，利用堆垛机移动路径上所经过的柱子和横梁数完成目标货位的判断，无需大量的电子元件和复杂的布线，改装、维护简单便捷。

具体地，参阅图4，所述步骤S3具体包括以下步骤：

步骤S301、所述微处理器组对目标货位处图像中的柱子和横梁颜色进行突变边线分析。

在本步骤中，所述行走机构1和升降机构2暂停工作，所述处理器组提取图像，并对图像特定颜色1和特定颜色2进行颜色突变边线分析，以将特定颜色1和特定颜色2提取出来。

步骤S302、根据分析结果分别计算出横梁边线的倾斜度以及货位中点坐标，得到当前货位的位置形态。

步骤S303、将计算出的当前货位的位置形态与标准位置形态对比，得出两者的对比值。

在本步骤中，该对比值包括倾斜度偏差和货位中点偏差。

步骤S304、所述微处理器组根据该对比值向所述堆垛机发出微调指令，所述堆垛机调节至当前货位的正确位置。

在本步骤中，首先根据货位中点偏差中平面坐标对比值的大小，所述微处理器组分别向所述行走机构1和升降机构2发出微调指令，所述行走机构1和升降机构2分别按相应的速度、移动距离以驱动所述载物台3移动，且在此过程中，所述微处理器组以30帧/秒的速度提取分析图像并更新指令，以达到精确控制当前货位与标准货位的货位中点坐标相重合的目的；然后再根据横梁的倾斜度偏差，单独指令升降机构2动作，且在此过程中，所述微处理器组以20帧/秒的速度提取分析图像并更新指令，以保证所述货叉4平面的倾斜度与横梁对应。

在本实施例中，在所述步骤S4之前，还包括如下步骤：当所述堆垛机微调至当前货位的正确位置后，利用背景差法判断当前货位是否有货物，并将判断结果反馈至上位机，若判断结果与所述目标货位数据不匹配，侧发出警报信号，若判断结果与所述目标货位数据相匹配，则进入下一步骤S4。在本步骤中，所述行走机构1和升降机构2暂停工作，所述处理器组提取图像并进行分析，对图像特定颜色1、特定颜色2以及空背景颜色清除，再检查处理后的图像中是否存在较大色块及细长型色块，以此判断货位是否存在货物，并与目标货位数据进行匹配，并通知上位机判断结果。

在本实施例中，所述摄像装置为双目高速数字视像头。诚然，所述摄像装置还可为视觉相机等，对此本发明不做具体限定，以所述摄像装置具有图像拍摄、视频拍摄的功能即可。

在本实施例中，以所述堆垛机取货且按先完成水平定位、再完成竖直定位的工作顺序为例，本发明所提供的视觉逻辑控制方法的具体过程如下：

(1)堆垛机在初始位置待机，当微处理器组收到上位机命令信号，摄像装置开始初始化，微处理器组选择确定目标货位位置相关的数据、参考位置参数，初始化完成后，微处理器组单独向行走机构1发出方向及动作指令，行走机构1驱动载物台3水平移动；

(2)在行走机构1工作的过程中，摄像装置连续拍摄视频(640*480像素，avi)并发给微处理器组，微处理器组对视频信号以30帧/秒的速度实时提取图像(640*480像素，BGR)，再对图像进行特定颜色1(货架柱子颜色)提取分析，分析出特定颜色1突变的区间，根据区间由小到大、再到稳定、再缩减的过程，判定经过一根柱子的事实，然后累计所经过的柱子数量。

(3)将累计的柱子数量与目标货位数据的水平货位数进行对比，若累计的柱子数量小于目标货位数据的水平货位数，则行走机构1继续工作并重复步骤(2)，若累计的柱子数量等于所述目标货位数据的水平货位数，侧行走机构1暂停工作；

(4)较佳的，在进行升降动作前，还可以按照上述步骤S301至步骤S304的原理，对载物台3进行水平方位的微调，以便于升降移动时避免柱子倾斜造成货位偏差；

(5)微处理器组单独向升降机构2发出方向及动作指令，升降机构2驱动载物台3竖直移动；

(6)升降机构2工作的过程中，摄像装置继续拍摄视频(640*480像素，avi)并发给微处理器组，微处理器组对视频信号以30帧/秒的速度实时提取图像(640*480像素，BGR)，再对图像进行特定颜色2(货架横梁颜色)提取分析，分析出特定颜色2突变的区间，根据区间由小到大、再到稳定、再缩减的过程，判定经过一根横梁的事实，然后累计所经过的横梁数量；

(7)将累计的横梁数量与目标货位数据的竖直货位数进行对比，若累计的横梁数量小于目标货位数据的竖直货位数，则升降机构2继续工作并重复步骤(6)，若累计的横梁数量等于所述目标货位数据的竖直货位数，侧升降机构2暂停工作；

(8)此时，载物台3停止在目标货位所在位置，然后按照上述步骤S301至步骤S304完成载物台3的微调；

(9)此时，行走机构1和升降机构2暂停工作，微处理器组继续提取图像并进行分析，对图像特定颜色1、特定颜色2以及空背景颜色清除，再检查处理后的图像中是否存在较大色块及细长型色块，以此判断货位是否存在货物，并与目标货位数据进行匹配，并通知上位机判断结果；

(10)判断结果匹配时，微处理器组向货叉4发出指令，货叉4开始工作伸出至预定长度后，微处理器组向升降机构2发出指令，升降机构2驱动载物台3上升以抬起货物并暂停锁定，货叉4回缩至初始位；

(11)微处理器组根据电子倾侧感应模块反馈的信号或者步骤(8)中的旋转角度记录，指令升降机构2驱动载物台3返回理论水平状态；

(12)微处理器组指令行走机构1和升降机构2分别动作，返回步骤(1)中的初始位置，并同时跟踪柱子与横梁的影像，进行位置校准。

综上所述，本发明所提供的视觉逻辑控制方法，根据实际工况指挥堆垛机动作，解决了货架位置出现偏差导致的安全问题，简化了自动仓仓储系统；利用堆垛机移动路径上所经过的柱子和横梁数完成目标货位的判断，无需大量的电子元件和复杂的布线，改装、维护简单便捷，节省成本，具有广泛的推广应用意义。

本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (6)

1.一种用于堆垛机的视觉逻辑控制方法，其特征在于，包括以下步骤：

S1、微处理器组接收上位机指令信号，获得目标货位数据，并向堆垛机发出方向及动作指令；

S2、所述堆垛机开始移动，摄像装置拍摄所述堆垛机移动路径上的视频并将视频信号传送至所述微处理器组，所述微处理器组对所述视频信号提取图像进行处理分析，判定并累计所述堆垛机经过的水平货位数和竖直货位数，直至所记录的水平货位数和竖直货位数分别与所述目标货位数据相匹配，以使得所述堆垛机移动到目标货位所在位置；

S3、所述堆垛机到达目标货位后，所述微处理器组计算出当前货位的位置形态，将该位置形态与标准位置形态进行对比，并根据对比结果微调所述堆垛机至货位的正确位置；

S4、所述堆垛机的货叉开始动作，完成货物的提取或存放。

2.根据权利要求1所述的视觉逻辑控制方法，其特征在于，所述步骤S2具体包括：

S201、所述微处理器组对所述视频信号按预设的帧速提取图像；

S202、对所提取的每一帧图像进行柱子或横梁颜色的分析，分析出颜色突变的区间；

S203、根据区间由小到大，再到稳定，再缩减的过程，判定经过一根柱子或一根横梁的事实，每经过一柱子或一横梁则代表经过一水平货位单位或一竖直货位单位，并累计水平货位数或竖直货位数；

S204、将累计的水平货位数或竖直货位数与所述目标货位数据的水平货位数或竖直货位数进行对比，若累计的水平货位数或竖直货位数小于所述目标货位数据的水平货位数或竖直货位数，则所述堆垛机继续移动并重复步骤S201至S203，若累计的水平货位数或竖直货位数等于所述目标货位数据的水平货位数或竖直货位数，侧进入下一步；

S205、所述微处理器组向所述堆垛机发出停止指令，所述堆垛机停止在目标货位。

3.根据权利要求2所述的视觉逻辑控制方法，其特征在于，在所述步骤S2中，所述堆垛机的移动路径呈L型状，由水平方向的移动路径和竖直方向的移动路径组成，所述堆垛机依次完成水平定位和竖直定位。

4.根据权利要求1所述的视觉逻辑控制方法，其特征在于，所述步骤S3具体包括：

S301、所述微处理器组对目标货位处图像中的柱子和横梁颜色进行突变边线分析；

S302、根据分析结果分别计算出横梁边线的倾斜度以及货位中点坐标，得到当前货位的位置形态；

S303、将计算出的当前货位的位置形态与标准位置形态对比，得出两者的对比值；

S304、所述微处理器组根据该对比值向所述堆垛机发出微调指令，所述堆垛机调节至当前货位的正确位置。

5.根据权利要求1所述的视觉逻辑控制方法，其特征在于，所述摄像装置为双目高速数字视像头。

6.根据权利要求1至5任一项所述的视觉逻辑控制方法，其特征在于，在所述步骤S4之前，还包括如下步骤：当所述堆垛机微调至当前货位的正确位置后，利用背景差法判断当前货位是否有货物，并将判断结果反馈至上位机，若判断结果与所述目标货位数据不匹配，侧发出警报信号，若判断结果与所述目标货位数据相匹配，则进入下一步骤S4。

Images