CN114359402A - 堆叠控制方法及系统 - Google Patents

Abstract

本发明公开了一种堆叠控制方法及系统，方法包括：通过第一TOF相机采集所述叉臂上的第一料框以及叉臂下方的第二料框对应的图像数据；根据图像数据确定第一点云数据；根据第一点云数据确定第一料框的第一位置信息以及第二料框的第二位置信息；根据第一位置信息以及第二位置信息控制叉臂卸下第一料框，以将第一料框堆叠于第二料框正上方。本发明通过设置第一TOF相机采集第一料框以及第二料框的图像数据，根据所述图像数据对应的第一点云数据确定第一料框的第一位置信息以及第二料框的第二位置信息，根据第一位置信息以及第二位置信息准确卸下所述第一料框，以解决了料框堆叠过程中第一料框相对于第二料框发生偏移的问题。

Description

堆叠控制方法及系统

技术领域

本发明涉及自动物流控制技术领域，尤其涉及堆叠控制方法及系统。

背景技术

目前基于无人叉车的料框堆叠技术，通过将待放置料框放置在前一个料框上方，以实现料框间的堆叠，而将待放置料框放置在前一个料框上方前，需获取前一个料框的位置信息，进而将待放置料框放置于所述前一个料框的上方，而传统的视觉系统主要是在叉臂前端安装视觉传感器，检测料框位置，精确叉取，从而确保料框的精准堆叠，当无人叉车进行堆叠的时候，由于叉臂前端放置有料框，导致料框挡住该相机，该相机无法采集前一个料框的点云数据，也就无法确定前一个料框的位置信息，进而也就无法保证待放置料框能否能成功堆叠在前一个料框上方，容易导致待放置料框和前一个料框发生偏移，进而导致料框堆叠失败。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种堆叠控制方法，旨在解决堆叠过程中因待放置料框相对于前一个料框发生偏移导致堆叠失败的问题。

为实现上述目的，本发明提供一种堆叠控制方法，应用于堆叠控制系统，所述堆叠控制系统包括第一TOF相机、控制机构以及叉车，所述第一TOF相机设置于叉车的任意一侧以及与所述控制机构连接，并与所述叉车的前进方向呈预设角度；所述控制机构用于控制所述第一TOF相机随着所述叉车的叉臂的移动轨迹移动，所述堆叠控制方法的步骤包括：

通过所述第一TOF相机采集所述叉臂上的第一料框以及所述叉臂下方的第二料框对应的图像数据；

根据所述图像数据确定第一点云数据；

根据所述第一点云数据确定第一料框的第一位置信息以及第二料框的第二位置信息；

根据所述第一位置信息以及所述第二位置信息控制所述叉臂卸下所述第一料框，以将所述第一料框堆叠于所述第二料框正上方。

可选地，所述根据所述第一点云数据确定第一料框的第一位置信息以及第二料框的第二位置信息的步骤包括：

获取所述第一TOF相机的标定外参；

根据所述标定外参将所述第一点云数据转换为第一目标点云数据；

根据所述第一目标点云数据确定所述第一位置信息以及所述第二位置信息。

可选地，所述根据所述第一目标点云数据确定所述第一位置信息以及所述第二位置信息的步骤包括：

根据所述第一目标点云数据筛选出目标点云数据并对所述目标点云数据进行预处理，以获取第一边缘平面的第一边缘点云数据和第二边缘平面的第二边缘点云数据，所述预处理包括：离散点滤波处理、法向量滤波处理、点云平滑处理以及点云聚类处理的至少一个；

根据随机抽样一致算法分别对所述第一边缘点云数据和所述第二边缘点云数据进行拟合平面处理，以生成所述第一边缘平面以及所述第二边缘平面；

根据所述第一边缘点云数据确定所述第一边缘平面对应的第一边缘坐标和第一角度以及根据所述第二边缘点云数据获取所述第二边缘平面对应的第二边缘坐标和第二角度；

将所述第一边缘坐标和第一角度确定为所述第一位置信息并将所述第二边缘坐标和第二角度确定为所述第二位置信息。

可选地，所述根据所述第一位置信息以及所述第二位置信息控制所述叉臂卸下所述第一料框的步骤包括：

根据所述第一边缘坐标确定第一横坐标值和第一纵深坐标值以及根据所述第二边缘坐标确定第二横坐标值以及第二纵深坐标值；

根据所述第一横坐标值以及所述第二横坐标值确定第一横坐标差值，并根据所述第一纵深坐标值以及所述第二纵深坐标值确定第一纵深坐标差值；

在所述第一横坐标差值以及所述第一纵深坐标差值均小于或等于预设差值，且，所述第一角度与所述第二角度的角度差值小于或等于预设角度差值时，控制所述叉臂卸下所述第一料框。

可选地，所述堆叠控制方法还包括：

在所述第一横坐标差值和/或第一所述纵深坐标差值大于所述预设差值，和/或，所述角度差值大于所述角度差值时，停止放置所述第一料框，并根据所述第一位置信息以及所述第二位置信息生成报警信息并输出所述报警信息。

可选地，所述堆叠控制系统还包括第二TOF相机，所述第二TOF相机设置于所述叉车的另一侧以及与所述控制机构连接，并与所述叉车的前进方向呈预设角度；所述控制机构用于控制所述第二TOF相机随着叉臂的移动轨迹移动，所述根据所述第一点云数据确定所述第一料框的第一位置信息以及所述第二料框的第二位置信息的步骤包括：

所述根据所述第一目标点云数据以及所述第二目标点云数据确定所述第一位置信息以及所述第二位置信息的步骤包括：

根据所述第二目标点云数据生成第三边缘平面以及第四边缘平面；

根据所述第二目标点云数据获取所述第三边缘平面的第三边缘坐标以及所述第四边缘平面的第四边缘坐标；

将所述第一边缘坐标以及所述第三边缘坐标确定为所述第一位置信息，并根据所述第二边缘坐标以及所述第四边缘坐标确定为所述第二位置信息。可选地，所述根据所述第一目标点云数据以及所述第二目标点云数据确定所述第一位置信息以及所述第二位置信息的步骤包括：

根据所述第二目标点云数据生成第三边缘平面以及第四边缘平面；

根据所述第二目标点云数据获取所述第三边缘平面的第三边缘坐标以及所述第四边缘平面的第四边缘坐标；

将所述第一边缘坐标以及所述第三边缘坐标确定为所述第一位置信息，并根据所述第二边缘坐标以及所述第四边缘坐标确定为所述第二位置信息。

可选地，所述根据所述第一位置信息以及所述第二位置信息控制所述叉车放置所述第一料框的步骤还包括：

根据所述第三边缘坐标确定第三横坐标值和第三纵深坐标值以及根据所述第四边缘坐标确定第四横坐标值和第四纵深坐标值；

根据所述第三横坐标值以及所述第四横坐标值确定第二横坐标差值，并根据所述第三纵深坐标值以及所述第四纵深坐标值确定第二纵深坐标差值；

在所述第一横坐标差值以及所述第一纵深坐标差值均小于或等于预设差值，且所述第二横坐标差值以及所述第二纵深坐标差值均小于或等于预设差值，控制所述叉臂卸下所述第一料框。

此外，为实现上述目的，本发明还提供一种堆叠控制系统，所述堆叠控制系统包括第一TOF相机、控制机构以及叉车，所述第一TOF相机设置于叉车的任意一侧以及与所述控制机构连接，并与所述叉车的前进方向呈预设角度，并与所述控制机构连接；所述控制机构用于控制所述第一TOF相机随着所述叉车的叉臂的移动轨迹移动。

可选地，所述堆叠控制系统还包括第二TOF相机，所述第二TOF相机设置于所述叉车的另一侧以及与所述控制机构连接，并与所述叉车的前进方向呈预设角度；所述控制机构用于控制所述第二TOF相机随着所述叉臂的移动轨迹移动；

所述堆叠控制系统还包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的堆叠控制程序，所述堆叠控制程序被所述处理器执行时实现如上所述的堆叠控制方法的步骤。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有堆叠控制程序，所述堆叠控制程序被处理器执行时实现如上所述的堆叠控制方法的步骤。

本发明实施例提出的一种堆叠控制方法及系统，通过设置堆叠控制系统，所述堆叠控制系统包括第一TOF相机、控制机构以及叉车，通过控制机构根据叉臂的移动轨迹调整所述第一TOF相机的放置位置，以确保所述第一TOF相机可以采集到位于叉臂上方的第一料框以及所述叉臂下方的第二料框对应的图像数据，进而根据所述图像数据对应的第一点云数据确定所述第一料框的第一位置信息和所述第二料框的第二位置信息，进而根据所述第一位置信息以及所述第二位置信息控制所述叉臂卸下所述第一料框，以准确地将所述第一料框堆叠于所述第二料框上方，以防止所述第一料框相对于第二料框发生偏移的情况发生，从而实现准确高效的完成堆叠任务。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图；

图2为本发明堆叠控制方法方法第一实施例的流程示意图；

图3为堆叠控制系统的系统架构图；

图4为图像数据的示例图；

图5为本发明堆叠控制方法第一实施例步骤S30的细化流程示意图；

图6为本发明堆叠控制方法第一实施例步骤S33的细化流程示意图；

图7为获取目标点云数据的示例图；

图8为获取边缘平面的示例图；

图9为本发明堆叠控制方法第一实施例步骤S40的细化流程示意图；

图10为本发明堆叠控制方法第二实施例步骤S30的细化流程示意图；

图11为堆叠控制系统的系统架构图；

图12为本发明堆叠控制方法第二实施例步骤S35的细化流程示意图；

图13为本发明堆叠控制方法第二实施例步骤S40的细化流程示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例的主要解决方案是：通过所述第一TOF相机采集所述叉臂上的第一料框以及所述叉臂下方的第二料框对应的图像数据；根据所述图像数据确定第一点云数据；根据所述第一点云数据确定第一料框的第一位置信息以及第二料框的第二位置信息；根据所述第一位置信息以及所述第二位置信息控制所述叉臂卸下所述第一料框，以将所述第一料框堆叠于所述第二料框正上方。

如图1所示，图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图。

本发明实施例终端可以是PC等具有处理功能的终端设备。

如图1所示，该终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及堆叠控制程序。

在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的堆叠控制程序，并执行以下操作：

通过所述第一TOF相机采集所述叉臂上的第一料框以及所述叉臂下方的第二料框对应的图像数据；

根据所述图像数据确定第一点云数据；

根据所述第一点云数据确定第一料框的第一位置信息以及第二料框的第二位置信息；

根据所述第一位置信息以及所述第二位置信息控制所述叉臂卸下所述第一料框，以将所述第一料框堆叠于所述第二料框正上方。

进一步地，处理器1001可以调用存储器1005中存储的堆叠控制程序，还执行以下操作：

获取所述第一TOF相机的标定外参；

根据所述标定外参将所述第一点云数据转换为第一目标点云数据；

根据所述第一目标点云数据确定所述第一位置信息以及所述第二位置信息。

进一步地，处理器1001可以调用存储器1005中存储的堆叠控制程序，还执行以下操作：

根据所述第一目标点云数据筛选出目标点云数据并对所述目标点云数据进行预处理，以获取第一边缘平面的第一边缘点云数据和第二边缘平面的第二边缘点云数据，所述预处理包括：离散点滤波处理、法向量滤波处理、点云平滑处理以及点云聚类处理的至少一个；

根据随机抽样一致算法分别对所述第一边缘点云数据和所述第二边缘点云数据进行拟合平面处理，以生成所述第一边缘平面以及所述第二边缘平面；

根据所述第一边缘点云数据确定所述第一边缘平面对应的第一边缘坐标和第一角度以及根据所述第二边缘点云数据获取所述第二边缘平面对应的第二边缘坐标和第二角度；

将所述第一边缘坐标和第一角度确定为所述第一位置信息并将所述第二边缘坐标和第二角度确定为所述第二位置信息。

进一步地，处理器1001可以调用存储器1005中存储的堆叠控制程序，还执行以下操作：

根据所述第一边缘坐标确定第一横坐标值和第一纵深坐标值以及根据所述第二边缘坐标确定第二横坐标值以及第二纵深坐标值；

根据所述第一横坐标值以及所述第二横坐标值确定第一横坐标差值，并根据所述第一纵深坐标值以及所述第二纵深坐标值确定第一纵深坐标差值；

在所述第一横坐标差值以及所述第一纵深坐标差值均小于或等于预设差值，且，所述第一角度与所述第二角度的角度差值小于或等于预设角度差值时，控制所述叉臂卸下所述第一料框。

进一步地，处理器1001可以调用存储器1005中存储的堆叠控制程序，还执行以下操作：

在所述第一横坐标差值和/或第一所述纵深坐标差值大于所述预设差值，和/或，所述角度差值大于所述角度差值时，停止卸下所述第一料框，并根据所述第一位置信息以及所述第二位置信息生成报警信息并输出所述报警信息。

进一步地，处理器1001可以调用存储器1005中存储的堆叠控制程序，还执行以下操作：

获取所述第二TOF相机采集的第二点云数据并根据所述标定外参将所述第二点云数据转换为第二目标点云数据；

根据所述第一目标点云数据以及所述第二目标点云数据确定所述第一位置信息以及所述第二位置信息。

进一步地，处理器1001可以调用存储器1005中存储的堆叠控制程序，还执行以下操作：

根据所述第二目标点云数据生成第三边缘平面以及第四边缘平面；

根据所述第二目标点云数据获取所述第三边缘平面的第三边缘坐标以及所述第四边缘平面的第四边缘坐标；

将所述第一边缘坐标以及所述第三边缘坐标确定为所述第一位置信息，并根据所述第二边缘坐标以及所述第四边缘坐标确定为所述第二位置信息。

进一步地，处理器1001可以调用存储器1005中存储的堆叠控制程序，还执行以下操作：

根据所述第三边缘坐标确定第三横坐标值和第三纵深坐标值以及根据所述第四边缘坐标确定第四横坐标值和第四纵深坐标值；

根据所述第三横坐标值以及所述第四横坐标值确定第二横坐标差值，并根据所述第三纵深坐标值以及所述第四纵深坐标值确定第二纵深坐标差值；

在所述第一横坐标差值以及所述第一纵深坐标差值均小于或等于预设差值，且所述第二横坐标差值以及所述第二纵深坐标差值均小于或等于预设差值，控制所述叉臂卸下所述第一料框。

参照图2，本发明堆叠控制方法第一实施例提供一种堆叠控制方法方法，所述堆叠控制方法包括：

步骤S10，通过所述第一TOF相机采集所述叉臂上的第一料框以及所述叉臂下方的第二料框对应的图像数据；

步骤S20，根据所述图像数据确定第一点云数据；

步骤S30，根据所述第一点云数据确定第一料框的第一位置信息以及第二料框的第二位置信息；

步骤S40，根据所述第一位置信息以及所述第二位置信息控制所述叉臂卸下所述第一料框，以将所述第一料框堆叠于所述第二料框正上方。

在本实施例中，本实施例应用于搬运控制系统，参照图3，所述搬运控制系统包括第一TOF相机、控制机构(图中未示出)以及叉车，所述第一TOF相机设置于叉车的任意一侧，并与所述控制机构连接；所述控制机构用于控制所述第一TOF相机随着所述叉车的叉臂的移动轨迹移动，可以理解的是，在叉车搬运料框时，需利用叉臂将料框放置于叉臂上，进而利用叉臂将料框运输到指定位置中，看然而因为系统误差以及环境因素等原因，容易导致料框偏移指定位置，在堆叠料框时，假如料框偏移指定位置时，上层的料框和下层的料框出现不对齐的情况，基于此，本申请实施例提出了一种堆叠控制方法，应用于堆叠控制系统，通过第一TOF相机采集第一料框和第二料框的图像数据，进而获取第一料框和第二料框的分别对应的位置信息，根据所述位置信息判断所述第一料框和所述第二料框是否对齐，进而卸下所述第一料框，以将所述第一料框准确堆叠于所述第二料框正上方。

可选地，所述第一TOF相机与所述叉车的前进方向呈预设角度，用于保证拍摄的范围能同时囊括所述第一料框和所述第二料框，可以理解的是，所述预设角度可以是用户执行设置，还可以是根据实际情况调整。

可选地，在又一实施例中，为了扩大第一TOF相机的拍摄范围，所述第一TOF相机可以是横屏状态。

可选地，所述控制机构设置于所述叉臂所在位置处，所述控制机构与所述第一TOF相机连接，用于控制所述第一TOF相机随着叉臂的移动轨迹移动，可以理解的是，叉车在运送料框及堆叠料框的过程中，所述叉臂会上升或下降，在所述叉车上升或下降的过程中，所述控制机构控制所述第一TOF相机上升或下降。

可选地，所述叉车在实际堆叠料框过程中，所述叉车利用叉臂叉起所述第一料框，运送所述第一料框至所述第二料框所在位置，此时，所述第一料框处于所述叉臂上，所述第二料框处于所述叉臂下方，进而触发所述第一TOF相机采集所述第一料框和所述第二料框的图像数据，基于所述第一TOF相机设置于所述叉车的一侧，所述图像数据包括所述第一料框的边缘和所述第二料框的边缘的图像数据，参照图4，图4示出了所述第一TOF相机拍摄的图像数据，所述图像数据包括所述第一料框的腿部以及所述第二料框的边缘的图像数据。

可选地，在获取所述图像数据后，根据所述图像数据生成所述图像数据对应的第一点云数据，具体地，所述第一TOF相机可以向所述第一料框和所述第二料框周围环境中发射出测量光脉冲，测量光脉冲在周围物体上漫反射，部分反射回波回到所述第一TOF相机，所述第一TOF相机采集该反射回波，根据该反射回波的飞行时间以及光速，就可以获得所述第一料框和所述第二料框所在的位置、距离以及角度等信息。所述第一TOF相机通常在接收到反射回波后，对该回波进行信号过滤和放大，生成所述第一点云数据，所述第一点云数据中的每一个点可代表一个周围环境的一个点，所述点包括在所述第一料框的边缘的各个点、在所述第二料框的边缘各个点以及除所述第一料框以及所述第二料框以外的其他周围环境的各个点。

可选地，所述第一点云数据包括各个点在第一TOF相机三维坐标系下的三维相机坐标，即在所述第一点云数据中，每个点的位置参数均为在所述第一TOF相机的第一TOF相机三维坐标系下的三维相机坐标。

可选地，所述第一TOF相机与所述叉车的前进方向呈预设角度，所述预设角度为向下倾斜的预设角度，即所述第一TOF相机并不是完全竖直的摆放，而且相对于所述前进方向向下倾斜预设角度，基于此，在获取所述第一点云数据后，需对所述预设角度进行校正，即在获取所述第一点云数据后，需将所述第一点云数据转换成基于所述前进方向的第一目标点云数据。

可选地，参照图5，所述步骤S30包括：

步骤S31，获取所述第一TOF相机标定外参；

步骤S32，根据所述标定外参将所述第一点云数据转换为第一目标点云数据；

步骤S33，根据所述第一目标点云数据确定所述第一位置信息以及所述第二位置信息。

可选地，获取所述标定外参的方式可以是利用棋盘格对所述第一TOF相机进行标定。具体地，通过所述第一TOF相机对所述棋盘格进行拍摄，以获取所述棋盘格对应的点云数据以及灰度图像数据，所述点云数据包括所述棋盘格的角点的三维坐标，所述灰度图像数据各个所述角点的图像坐标，根据所述点云数据拟合出所述棋盘格在所述第一TOF相机三维坐标系下的棋盘格平面公式，通过所述三维坐标以及所述三维坐标对应的图像坐标计算得出单应性矩阵，通过所述单应性矩阵和所述棋盘格各个角点的图像坐标计算得出目标三维坐标中的目标横坐标值与目标纵坐标值，进而根据所述目标横坐标值、所述目标纵坐标值以及所述棋盘格平面公式求得所述目标三维坐标中的目标纵深坐标值，进而根据所述目标纵深坐标值确定所述第一TOF相机以及所述叉车对应的旋转矩阵以及平移矩阵，根据所述旋转矩阵以及所述平移矩阵确定所述为所述标定外参，该标定方法准确度高，并且拍摄一次即可标定成功，无需多次挪动棋盘格，提高了标定的效率。

可选地，在获取所述标定外参，存储所述标定外参。

可选地，在获取所述第一点云数据后，调用所述标定外参中的旋转矩阵，根据所述旋转矩阵将所述第一点云数据转换成基于所述前进方向的第一目标点云数据，所述第一目标点云数据包括各个点经过转换后得到的目标三维坐标，所述第一目标点云数据包括所述第一料框的边缘的各个点的目标三维坐标以及角度以及所述第二料框的边缘的各个点的目标三维坐标。

可选地，所述根据所述标定外参将所述第一点云数据转换为第一目标点云数据的方式可将所述第一TOF相机采集的所述第一点云数据进行校正，以消除所述第一TOF相机相对于所述叉车的前进方向的预设角度，进而确定所述第一目标点云数据中不会出现倾斜的情况。

可选地，在获取所述第一目标点云数据后，根据所述第一目标点云数据确定所述第一料框的第一位置信息以及所述第二料框的第二位置信息，所述第一位置信息包括所述第一料框的边缘的各个点在叉车坐标系下的第一边缘坐标以及第一角度，所述第二位置信息包括所述第二料框的边缘的各个点在叉车坐标系下的第二边缘坐标以及第二角度。

可选地，参照图6，所述步骤S33包括：

步骤S331，根据所述第一目标点云数据筛选出目标点云数据并对所述目标点云数据进行预处理，以获取第一边缘平面的第一边缘点云数据和第二边缘平面的第二边缘点云数据，所述预处理包括：离散点滤波处理、法向量滤波处理、点云平滑处理以及点云聚类处理的至少一个；

步骤S332，根据随机抽样一致算法分别对所述第一边缘点云数据和所述第二边缘点云数据进行拟合平面处理，以生成所述第一边缘平面以及所述第二边缘平面；

步骤S333，根据所述第一边缘点云数据确定所述第一边缘平面对应的第一边缘坐标和第一角度以及根据所述第二边缘点云数据获取所述第二边缘平面对应的第二边缘坐标和第二角度；

步骤S334，将所述第一边缘坐标和第一角度确定为所述第一位置信息并将所述第二边缘坐标和第二角度确定为所述第二位置信息。

可选地，所述目标点云数据为ROI区域的点云数据，具体地，在获取所述第一叉车点云数据后，调用所述ROI区域，根据所述ROI区域获取所述第一叉车点云数据在所述ROI区域中的区域点，将所述区域点对应的目标三维坐标确定为目标点云数据，所述ROI区域可以是用户自行设定，所述ROI区域可以是矩形区域，也可以是圆形区域。参照图7，图7为根据ROI区域获取目标点云数据的示例图。

可选地，在又一实施例中，所述获取所述目标点云数据的方式还可以是获取所述第一叉车点云数据中各个点的目标三维坐标，根据所述目标三维坐标获取各个所述点的纵深坐标值，将各个所述点的纵深坐标值与预设纵深坐标值范围比对，以判断各个点的纵深坐标值是否满足所述预设纵深坐标值范围，进而将满足所述预设纵深坐标值范围的点作为目标点，将所述目标点对应的目标三维坐标确定为所述目标点云数据。

可选地，在又一实施例中，所述获取所述目标点云数据的方式还可以是根据ROI区域获取在所述ROI区域的区域点，进而获取各个所述区域点的纵深坐标值，判断各个所述区域点的纵深坐标值是否满足所述预设纵深坐标值范围，以获取满足所述预设纵深坐标值范围的目标点，将所述目标点对应的目标三维坐标确定为所述目标点云数据。

可选地，在获取所述目标点云数据后，对所述目标点云数据进行预处理，以获取第一边缘平面的第一边缘点云数据和第二边缘平面的第二边缘点云数据，所述预处理包括：离散点滤波处理、法向量滤波处理、点云平滑处理以及点云聚类处理的至少一个。

可选地，在获取所述第一边缘点云数据以及所述第二边缘点云数据后，根据随机抽样算法分别对所述第一边缘点云数据以及所述第二边缘点云数据进行拟合平面处理，以获取第一边缘平面以及所述第二边缘平面，参照图8，图8为获取边缘平面的示例图，图8左侧为所述第一边缘平面，图8右侧为所述第二边缘平面。

可选地，在获取所述第一边缘平面以及所述第二边缘平面后，获取所述第一边缘坐标以及所述第二边缘坐标，所述第一边缘坐标为在所述第一边缘平面的各个点的目标三维坐标，所述第二边缘坐标为在所述第二边缘平面的各个点的目标三维坐标。

可选地，在获取所述第一边缘平面和所述第二边缘平面后，根据所述第一边缘平面获取所述第一边缘平面的法线方向相对于水平面的第一夹角，根据所述第一夹角确定所述第一角度，根据所述第二边缘平面获取所述第二边缘平面相对于水平面的第二夹角，将所述第二夹角确定为所述第二角度。

可选地，在获取所述第一边缘坐标、第二边缘坐标、所述第一角度和所述第二角度后，将所述第一边缘坐标和所述第一角度作为所述第一料框的位置信息，将所述第二边缘坐标以及所述第二角度作为所述第二料框的位置信息。

可选地，参照图9，在获取所述第一位置信息和所述第二位置信息后，所述步骤S40包括：

步骤S41，根据所述第一边缘坐标确定第一横坐标值和第一纵深坐标值以及根据所述第二边缘坐标确定第二横坐标值以及第二纵深坐标值；

步骤S42，根据所述第一横坐标值以及所述第二横坐标值确定第一横坐标差值，并根据所述第一纵深坐标值以及所述第二纵深坐标值确定第一纵深坐标差值；

步骤S43，在所述第一横坐标差值以及所述第一纵深坐标差值均小于或等于预设差值，且，所述第一角度与所述第二角度的角度差值小于或等于预设角度差值时，控制所述叉臂卸下所述第一料框。

可选地，所述第一边缘坐标包括在所述第一边缘平面的各个点的目标三维坐标，所述根据所述第一边缘坐标确定第一横坐标值的方式包括提取各个所述第一边缘坐标的横坐标值，将所述横坐标值以预设方向进行排序，所述预设方向为x正轴方向，以获取各个横坐标值的排序序号，进而根据所述排序序号获取排序序号小于或等于预设序号的目标横坐标值以及所述目标横坐标值的个数，根据所述目标横坐标值以及所述个数计算得出所述目标横坐标值对应的横坐标均值，将所述横坐标值作为所述第一横坐标值，所述预设序号序号可以是用户自行设置，例如，所述第一边缘平面各个点的目标三维坐标包括：A点(1,2,3)，B点(4,1,3)，C点(5,1,3)，D点(6,2,3)，E点(1,3,3)，根据x正轴方向进行排序得到的结果为：[序号1：A点(1,2,3)，E点(1,3,3)]，[序号2：B点(4,1,3)]，[序号3：C点(5,1,3)]，[序号4：D点(6,2,3)]，在预设排序序号为2时，将A点、B点以及E点的横坐标值作为目标横坐标值，目标横坐标的个数为3个，横坐标均值为(1+4+1)/3＝2。

可选地，所述根据所述第一边缘坐标确定第一纵深坐标值的方式包括提取各个所述第一边缘坐标的纵深坐标值，将所述纵深坐标值以预设方向进行排序，所述预设方向为Z正轴方向，以获取各个纵深坐标值的排序顺序，进而根据所述排序顺序获取排序在第一的目标纵深坐标值以及所述目标纵深坐标值的个数，进而根据所述目标纵深坐标值以及所述个数计算得出所述目标纵深坐标值对应的纵深坐标均值，将所述纵深坐标值作为所述第一纵深坐标值。例如，所述第一边缘平面各个点的目标三维坐标包括：A点(1,2,1)，B点(2,1,2)，C点(3,1,3)，D点(4,2,4)，E点(1,3,1)，根据x正轴方向进行排序得到的结果为：[序号1：A点(1,2,1),E点(1,3,1)]，[序号2：B点(2,1,2)]，[序号3：C点(3,1,3)]，[序号4：D点(4,2,3)]，在预设排序序号为3时，将A点、B点、C点和E点纵深坐标值作为目标纵深坐标值，目标纵深坐标的个数为4个，纵深坐标均值为(1+2+3+1)/4＝1.5。

可选地，所述根据所述第二边缘坐标确定第二横坐标值以及所述第二纵深坐标值的方式与获取第一横坐标值以及所述第一纵深坐标值的方式相同，此处不再赘述。

可选地，在获取第一横坐标值以及第一纵深坐标值和第二横坐标值以及第二纵深坐标值，获取所述第一横坐标值以及所述第二横坐标值的第一横坐标差值，获取所述第一纵深坐标值以及所述第二纵深坐标值的第一纵深坐标差值以及第一角度和第二角度的角度差值，根据所述第一横坐标差值、所述第一纵深坐标差值以及角度差值判断所述第一料框是否和所述第二料框对齐，即X轴方向是否发生偏移，Z轴方向是否发生偏移，角度是否偏移。

可选地，在所述第一横坐标差值小于或等于预设差值时，确定所述第一料框和所述第二料框在X轴方向未发生偏移；在所述第一纵深坐标值小于或等于预设差值时，确定所述第一料框和所述第二料框在Z轴方向未发生偏移；在所述角度差值小于或等于预设角度差值时，确定所述第一料框和所述第二料框之间的角度未发生偏移。

可选地，在所述第一料框和所述第二料框在X轴方向、Z轴方向以及角度未发生偏移，确定所述第一料框和所述第二料框对齐，进而直接控制所述叉臂卸下所述第一料框，即控制所述叉车向后倒推，向后抽回所述叉臂，将所述第一料框堆叠于所述第二料库正上方。

可选地，在所述第一横坐标差值和/或第一所述纵深坐标差值大于所述预设差值，和/或，所述角度差值大于所述角度差值时，停止卸下所述第一料框，并根据所述第一位置信息以及所述第二位置信息生成报警信息并输出所述报警信息。

可选地，在所述第一横坐标差值和/或第一所述纵深坐标差值大于所述预设差值，和/或，所述角度差值大于所述角度差值时，确定所述第一料框与所述第二料框没有对齐，若强行将所述第一料框卸下，所述第一料框容易发生倾斜低下的情况，基于此，本申请实施例中的所述堆叠控制系统检测到所述第一横坐标差值和/或第一所述纵深坐标差值大于所述预设差值，和/或，所述角度差值大于所述角度差值时，控制所述叉臂停止卸下所述第一料框，并根据所述第一位置信息以及所述第二位置信息生成报警信息，并输出所述报警信息，其中，所述堆叠控制系统可将所述报警信息发送至监管人员的移动终端中。

可选地，在又一实施例中，所述堆叠控制系统检测到所述第一料框和所述第二料框未对齐时，发出警鸣，以供监管人员可快速获知所述报警信息。

在本申请实施例中，通过在叉车上的任意一侧设置所述第一TOF相机，并设置所述第一TOF相机于所述叉车的前进方向呈预设角度，所述第一TOF相机与所述叉车的前进方向呈预设角度在实际堆叠过程中，通过控制机构控制所述第一TOF相机随着叉臂的移动轨迹移动，以通过所述第一TOF相机获取处于叉臂上的第一料框以及处于叉臂下方的第二料框的图像数据，进而根据所述图像数据获取第一点云数据，根据第一TOF相机的标定外参中的旋转矩阵将所述第一点云数据转换为第一目标点云数据，以矫正所述预设角度，以获取准确的目标三维坐标，在获取所述第一目标点云数据后，筛选出处于ROI区域的目标点云数据，将所述目标点云数据经过离散点滤波处理、法向量滤波处理、点云平滑处理，点云聚类处理分割出所述第一料框的第一边缘点云数据以及所述第二料框的第二边缘点云数据，再通过随机抽样一致算法基于所述第一边缘点云数据以及所述第二边缘点云数据拟合出第一边缘平面以及第二边缘平面，获取所述第一边缘平面的第一角度以及所述第二边缘平面的第二角度，以及将所述第一边缘平面的第一边缘坐标以及所述第二边缘平面的第二边缘坐标进行排序，以获取第一横坐标值、第一纵深坐标值、第二横坐标值以及第二纵深坐标值，进而根据第一横坐标值、第一纵深坐标值、第二横坐标值、第二纵深坐标值、第一角度以及所述第二角度判断所述第一料框和所述第二料框是否对齐，在所述第一料框和所述第二料框对齐时，控制所述叉臂卸下所述第一料框，以将所述第一料框准确地放置于所述第二料框正上方，以解决在堆叠料框时因第一料框和所述第二料框未对齐的，导致堆叠失败的问题，进而提高了堆叠的准确性。

可选地，参照图10，在有些料框表面不平整时，容易导致获取的料框的边缘平面的角度不准确的问题，基于此，本申请实施例还提出一种堆叠控制方法，其中，所述堆叠控制系统还包括第二TOF相机，所述第二TOF相机设置于所述叉车的另一侧以及与所述控制机构连接，并与所述叉车的前进方向呈预设角度；所述控制机构用于控制所述第二TOF相机随着叉臂的移动轨迹移动，所述步骤S30包括：

步骤S34，获取所述第二TOF相机采集的第二点云数据并根据所述标定外参将所述第二点云数据转换为第二目标点云数据；

步骤S35，根据所述第一目标点云数据以及所述第二目标点云数据确定所述第一位置信息以及所述第二位置信息。

可选地，参照图11，所述第二TOF相机与所述第一TOF相机相对设置于所述叉车的两侧，所述第二TOF相机也同时与所述控制机构连接，并与所述叉车的前进方向呈预设角度，所述控制机构同时控制所述第一TOF相机和所述第二TOF相机同时随着所述叉臂的移动轨迹移动。

可选地，所述获取所述第二TOF相机采集的第二点云数据的方式与上述获取所述第一点云数据的方式类似，此处不再赘述。

可选地，所述第二点云数据包括所述第一料框以及所述第二料框在另一侧的边缘各个点的点云数据。

可以理解的是，在获取所述第二点云数据后，所述第二TOF相机与所述叉车的前进方向呈预设角度，所述预设角度为向下倾斜的预设角度，即所述第二TOF相机并不是完全竖直的摆放，而且相对于所述前进方向向下倾斜预设角度，基于此，在获取所述第二点云数据后，调用所述标定外参，根据所述标定外参中的旋转矩阵获取所述第二点云数据对应的第二目标点云数据。

可选地，参照图12，所述步骤S35包括：

步骤S351，根据所述第二目标点云数据生成第三边缘平面以及第四边缘平面；

步骤S352，根据所述第二目标点云数据获取所述第三边缘平面的第三边缘坐标以及所述第四边缘平面的第四边缘坐标；

步骤S353，将所述第一边缘坐标以及所述第三边缘坐标确定为所述第一位置信息，并根据所述第二边缘坐标以及所述第四边缘坐标确定为所述第二位置信息。

可选地，所述第三边缘平面为所述第一料框在另一侧的边缘平面。所述第四边缘平面为所述第二料框在另一侧的边缘平面，在获取所述第二目标点云数据后，获取所述第三边缘平面以及所述第四边缘平面的具体方式为：筛选出处于ROI区域的目标点云数据，将所述目标点云数据经过离散点滤波处理、法向量滤波处理、点云平滑处理，点云聚类处理分割出所述第一料框在另一侧的第三边缘点云数据以及所述第二料框在另一侧的第四边缘点云数据，再通过随机抽样一致算法基于所述第三边缘点云数据以及所述第四边缘点云数据拟合出第三边缘平面以及第四边缘平面。

可选地，在获取所述第三边缘平面以及所述第四边缘平面后，所述根据所述第二目标点云数据获取所述第三边缘平面的第三边缘坐标以及所述第四边缘平面的第四边缘坐标，所述第三边缘坐标为在所述第三边缘平面的各个点的目标三维坐标，所述第三边缘坐标为在所述第三边缘平面的各个点的目标三维坐标。

可选地，在基于所述第一TOF相机获取第一边缘坐标和第二边缘坐标以及基于所述第二TOF相机获取第三边缘坐标和第四边缘坐标后，将所述第一边缘坐标以及所述第三边缘坐标确定为所述第一料框的第一位置信息，即所述第一位置信息同时包括所述第一料框两侧的边缘平面的边缘坐标；将所述第二边缘坐标以及所述第四边缘坐标确定为所述第二料框的第二位置信息，即所述第二位置信息同时包括所述第二料框两侧的边缘平面的边缘坐标。

可选地，参照图13，在获取所述第一位置信息以及所述第二位置信息后，所述S40包括：

步骤S44，根据所述第三边缘坐标确定第三横坐标值和第三纵深坐标值以及根据所述第四边缘坐标确定第四横坐标值和第四纵深坐标值；

步骤S45，根据所述第三横坐标值以及所述第四横坐标值确定第二横坐标差值，并根据所述第三纵深坐标值以及所述第四纵深坐标值确定第二纵深坐标差值；

步骤S46，在所述第一横坐标差值以及所述第一纵深坐标差值均小于或等于预设差值，且所述第二横坐标差值以及所述第二纵深坐标差值均小于或等于预设差值，控制所述叉臂卸下所述第一料框。

可选地，所述第三边缘坐标包括在所述第三边缘平面的各个点的目标三维坐标，所述根据所述第三边缘坐标确定第三横坐标值的方式包括提取各个所述第三边缘坐标的横坐标值，将所述横坐标值以预设方向从小到大进行排序，所述预设方向为x正轴方向，以获取各个横坐标值的排序序号，进而根据所述排序序号获取排序序号小于或等于预设序号的目标横坐标值以及所述目标横坐标值的个数，根据所述目标横坐标值以及所述个数计算得出所述目标横坐标值对应的横坐标均值，将所述横坐标值作为所述第三横坐标值，所述预设序号序号可以是用户自行设置，例如，所述第三边缘平面各个点的目标三维坐标包括：A点(1,2,3)，B点(4,1,3)，C点(5,1,3)，D点(6,2,3)，E点(1,3,3)，根据x正轴方向进行排序得到的结果为：[序号1：A点(1,2,3)，E点(1,3,3)]，[序号2：B点(4,1,3)]，[序号3：C点(5,1,3)]，[序号4：D点(6,2,3)]，在预设排序序号为2时，将A点、B点以及E点的横坐标值作为目标横坐标值，目标横坐标的个数为3个，横坐标均值为(1+4+1)/3＝2。

可选地，所述根据所述第三边缘坐标确定第三纵深坐标值的方式包括提取各个所述第三边缘坐标的纵深坐标值，将所述纵深坐标值以预设方向从小到大进行排序，所述预设方向为Z正轴方向，以获取各个纵深坐标值的排序顺序，以获取各个纵深坐标值的排序序号，进而根据所述排序序号获取排序序号小于或等于预设序号的目标纵深坐标值以及所述目标纵深坐标值的个数，进而根据所述目标纵深坐标值以及所述个数计算得出所述目标纵深坐标值对应的纵深坐标均值，将所述纵深坐标值作为所述第一纵深坐标值。例如，所述第三边缘平面各个点的目标三维坐标包括：A点(1,2,1)，B点(2,1,2)，C点(3,1,3)，D点(4,2,4)，E点(1,3,1)，根据Z正轴方向进行排序得到的结果为：[序号1：A点(1,2,1),E点(1,3,1)]，[序号2：B点(2,1,2)]，[序号3：C点(3,1,3)]，[序号4：D点(4,2,3)]，在预设排序序号为3时，将A点、B点、C点和E点纵深坐标值作为目标纵深坐标值，目标纵深坐标的个数为4个，纵深坐标均值为(1+2+3+1)/4＝1.5。

可选地，所述根据所述第四边缘坐标确定第四横坐标值以及所述第四纵深坐标值的方式与获取第三横坐标值以及所述第三纵深坐标值的方式相同，此处不再赘述。

可选地，所述第一横坐标差值为所述第一横坐标值以及第二横坐标值的差值，所述第一纵深坐标差值为所述第一纵深坐标值与所述第二纵深坐标值的差值，在获取所述第三边缘平面的第三横坐标值以及第三纵深坐标值和第四边缘平面的第四横坐标值以及第四纵深坐标值后，获取所述第三横坐标值以及所述第四横坐标值的第二横坐标差值，获取所述第三纵深坐标值以及所述第四纵深坐标值的第二纵深坐标差值，根据所述第一横坐标差值、第二横坐标差值、所述第一纵深坐标差值以及所述第二纵深坐标差值判断所述第一料框是否和所述第二料框对齐，即X轴方向是否发生偏移，Z轴方向是否发生偏移。

可选地，在所述第一横坐标差值与所述第一横坐标差值均小于或等于预设差值时，确定所述第一料框和所述第二料框在X轴方向未发生偏移；在所述第一纵深坐标差值与所述第二纵深坐标差值小于或等于预设差值时，确定所述第一料框和所述第二料框在Z轴方向未发生偏移。

可选地，在所述第一料框和所述第二料框在X轴方向以及Z轴方向未发生偏移，确定所述第一料框和所述第二料框对齐，进而直接控制所述叉臂卸下所述第一料框，即控制所述叉车向后倒推，向后抽回所述叉臂，将所述第一料框堆叠于所述第二料库正上方。

可选地，在所述第一横坐标差值，和/或，第一所述纵深坐标差值，和/或，所述第二横坐标差值，和/或，第二所述纵深坐标差值大于所述预设差值时，确定所述第一料框和所述第二料框未对齐停止卸下所述第一料框，并根据所述第一位置信息以及所述第二位置信息生成报警信息并输出所述报警信息。

可选地，在所述第一横坐标差值和/或第一所述纵深坐标差值大于所述预设差值，和/或，所述角度差值大于所述角度差值时，确定所述第一料框与所述第二料框没有对齐，若强行将所述第一料框卸下，所述第一料框容易发生倾斜低下的情况，基于此，本申请实施例中的所述堆叠控制系统检测到所述第一横坐标差值和/或第一所述纵深坐标差值大于所述预设差值，和/或，所述角度差值大于所述角度差值时，控制所述叉臂停止卸下所述第一料框，并根据所述第一位置信息以及所述第二位置信息生成报警信息，并输出所述报警信息，其中，所述堆叠控制系统可将所述报警信息发送至监管人员的移动终端中。

可选地，在又一实施例中，所述堆叠控制系统检测到所述第一料框和所述第二料框未对齐时，发出警鸣，以供监管人员可快速获知所述报警信息。

可以理解的是，在实际堆叠过程中，监管人员可以根据实际堆叠的料框确定所述第一TOF相机以及所述第二TOF相机的工作模式，所述工作模式包括仅触发所述第一TOF相机采集第一点云数据、仅触发所述第二TOF相机采集第二点云数据以及同时触发第一TOF相机以及所述第二TOF相机采集点云数据。

在本申请实施例中，通过在叉车的两侧相对设置所述第一TOF相机和所述第二TOF相机，在实际堆叠过程中，同时触发所述第一TOF相机和所述第二TOF相机采集点云数据，进而同时获取所述第一TOF相机采集的第一点云数据以及所述第二TOF相机采集的第二点云数据，进而根据所述第一点云数据以及所述第二点云数据同时获取所述第一料框的第一边缘平面对应的第一横坐标值以及第一纵深坐标值和所述第三边缘平面的第三横坐标值以及第三纵深坐标值，以及，所述第二料框的第二边缘平面对应的第二横坐标值以及第二纵深坐标值和所述第四边缘平面的第四横坐标值以及第四纵深坐标值，以判断所述第一料框和所述第二料框是否对齐，在所述第一料框和所述第二料框对齐时，控制所述叉车卸下所述第一料框，以将所述第一料框准确地放置于所述第二料框正上方，以解决在堆叠料框时因料框表面不平整时，导致堆叠失败的问题，进而提高了堆叠的准确性。

此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有堆叠控制程序，所述堆叠控制程序被处理器执行时实现如上所述的各个实施例的步骤。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种堆叠控制方法，其特征在于，应用于堆叠控制系统，所述堆叠控制系统包括第一TOF相机、控制机构以及叉车，所述第一TOF相机设置于叉车的任意一侧以及与所述控制机构连接，并与所述叉车的前进方向呈预设角度；所述控制机构用于控制所述第一TOF相机随着所述叉车的叉臂的移动轨迹移动，所述堆叠控制方法的步骤包括：

通过所述第一TOF相机采集所述叉臂上的第一料框以及所述叉臂下方的第二料框对应的图像数据；

根据所述图像数据确定第一点云数据；

根据所述第一点云数据确定第一料框的第一位置信息以及第二料框的第二位置信息；

根据所述第一位置信息以及所述第二位置信息控制所述叉臂卸下所述第一料框，以将所述第一料框堆叠于所述第二料框正上方。

2.如权利要求1所述的堆叠控制方法，其特征在于，所述根据所述第一点云数据确定第一料框的第一位置信息以及第二料框的第二位置信息的步骤包括：

获取所述第一TOF相机的标定外参；

根据所述标定外参将所述第一点云数据转换为第一目标点云数据，一堆；

根据所述第一目标点云数据确定所述第一位置信息以及所述第二位置信息。

3.如权利要求2所述的堆叠控制方法，其特征在于，所述根据所述第一目标点云数据确定所述第一位置信息以及所述第二位置信息的步骤包括：

根据所述第一目标点云数据筛选出目标点云数据并对所述目标点云数据进行预处理，以获取第一边缘平面的第一边缘点云数据和第二边缘平面的第二边缘点云数据，所述预处理包括：离散点滤波处理、法向量滤波处理、点云平滑处理以及点云聚类处理的至少一个；

根据随机抽样一致算法分别对所述第一边缘点云数据和所述第二边缘点云数据进行拟合平面处理，以生成所述第一边缘平面以及所述第二边缘平面；

根据所述第一边缘点云数据确定所述第一边缘平面对应的第一边缘坐标和第一角度以及根据所述第二边缘点云数据获取所述第二边缘平面对应的第二边缘坐标和第二角度；

将所述第一边缘坐标和第一角度确定为所述第一位置信息并将所述第二边缘坐标和第二角度确定为所述第二位置信息。

4.如权利要求3所述的堆叠控制方法，其特征在于，所述根据所述第一位置信息以及所述第二位置信息控制所述叉臂卸下所述第一料框的步骤包括：

根据所述第一边缘坐标确定第一横坐标值和第一纵深坐标值以及根据所述第二边缘坐标确定第二横坐标值以及第二纵深坐标值；

根据所述第一横坐标值以及所述第二横坐标值确定第一横坐标差值，并根据所述第一纵深坐标值以及所述第二纵深坐标值确定第一纵深坐标差值；

在所述第一横坐标差值以及所述第一纵深坐标差值均小于或等于预设差值，且，所述第一角度与所述第二角度的角度差值小于或等于预设角度差值时，控制所述叉臂卸下所述第一料框。

5.如权利要求4所述的堆叠控制方法，其特征在于，所述堆叠控制方法还包括：

在所述第一横坐标差值和/或第一所述纵深坐标差值大于所述预设差值，和/或，所述角度差值大于所述角度差值时，停止卸下所述第一料框，并根据所述第一位置信息以及所述第二位置信息生成报警信息并输出所述报警信息。

6.如权利要求1-5任一项所述的堆叠控制方法，其特征在于，所述堆叠控制系统还包括第二TOF相机，所述第二TOF相机设置于所述叉车的另一侧以及与所述控制机构连接，并与所述叉车的前进方向呈预设角度；所述控制机构用于控制所述第二TOF相机随着叉臂的移动轨迹移动，所述根据所述第一点云数据确定所述第一料框的第一位置信息以及所述第二料框的第二位置信息的步骤包括：

获取所述第二TOF相机采集的第二点云数据并根据所述标定外参将所述第二点云数据转换为第二目标点云数据；

根据所述第一目标点云数据以及所述第二目标点云数据确定所述第一位置信息以及所述第二位置信息。

7.如权利要求1-5任一项所述的堆叠控制方法，其特征在于，所述根据所述第一目标点云数据以及所述第二目标点云数据确定所述第一位置信息以及所述第二位置信息的步骤包括：

根据所述第二目标点云数据生成第三边缘平面以及第四边缘平面；

根据所述第二目标点云数据获取所述第三边缘平面的第三边缘坐标以及所述第四边缘平面的第四边缘坐标；

将所述第一边缘坐标以及所述第三边缘坐标确定为所述第一位置信息，并根据所述第二边缘坐标以及所述第四边缘坐标确定为所述第二位置信息。

8.如权利要求1-5任一项所述的堆叠控制方法，其特征在于，所述根据所述第一位置信息以及所述第二位置信息控制所述叉车卸下所述第一料框的步骤包括：

根据所述第三边缘坐标确定第三横坐标值和第三纵深坐标值以及根据所述第四边缘坐标确定第四横坐标值和第四纵深坐标值；

根据所述第三横坐标值以及所述第四横坐标值确定第二横坐标差值，并根据所述第三纵深坐标值以及所述第四纵深坐标值确定第二纵深坐标差值；

在所述第一横坐标差值以及所述第一纵深坐标差值均小于或等于预设差值，且所述第二横坐标差值以及所述第二纵深坐标差值均小于或等于预设差值，控制所述叉臂卸下所述第一料框。

9.一种堆叠控制系统，其特征在于，所述堆叠控制系统包括第一TOF相机、控制机构以及叉车，所述第一TOF相机设置于叉车的任意一侧以及与所述控制机构连接，并与所述叉车的前进方向呈预设角度，并与所述控制机构连接；所述控制机构用于控制所述第一TOF相机随着所述叉车的叉臂的移动轨迹移动。

10.如权利要求9所述的堆叠控制系统，其特征在于，所述堆叠控制系统还包括第二TOF相机，所述第二TOF相机设置于所述叉车的另一侧以及与所述控制机构连接，并与所述叉车的前进方向呈预设角度；所述控制机构用于控制所述第二TOF相机随着所述叉臂的移动轨迹移动；

所述堆叠控制系统还包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的堆叠控制程序，所述堆叠控制程序被所述处理器执行时实现如权利要求1至8中任一项所述的堆叠控制方法的步骤。

Images