CN114291482B - 在物料搬运环境中的基于LiDAR的监测 - Google Patents

Abstract

本发明描述了一种监测物料搬运环境中的操作的方法。该方法可包括基于来自基于LiDAR的传感器的输出来获得表示目标区域的3D扫描的数据流。此外，该方法可包括获得操作规范数据。该操作规范数据可包括与标准操作规程(SOP)相关的数据和预定义启发法。该预定义启发法可与将由该物料搬运环境中的机器和操作员中的至少一者执行的操作相关联。此外，该方法可包括生成机器学习模型。可将该数据流和该操作规范数据作为输入提供以训练该机器学习模型。此外，该方法可包括通过使用该机器学习模型来确定与该操作的执行的效率相关联的性能状态。

Description

在物料搬运环境中的基于LiDAR的监测

技术领域

本文所述的示例性实施方案整体涉及用于通过使用光检测和测距(LiDAR)来监测物料搬运环境的系统、方法和装置，并且更具体地讲，涉及使用LiDAR来监测物料搬运环境中的操作、机器和个人。

背景技术

一般来讲，在物料搬运站点诸如但不限于配送中心、仓库、仓储或航运中心中，使用各种机器诸如传送机、托盘堆跺机、机器人臂、卡车装载机/卸载机和/或传送机顶置单元来执行各种操作。通常，部署某些机构以用于监测物料搬运环境中的操作、机器、工人等。例如，监管员可使用中央监测系统来监测由工人执行的各种活动。在这方面，中央监测系统可获得可由工人使用的电子设备(例如，个人数字助理)所记录的数据。此外，在一些示例性环境中，可部署具有相机和/或传感器的监视系统以记录各种工作站的视频流，从而用于监测由机器进行的各种操作和/或由工人进行的活动。据此，还期望监测与可在物料搬运环境(例如，配送中心、仓库、仓储等)中操作的各种过程、机器和/或个人的性能相关的效率。

监测与物料搬运站点相关的各个方面的现有机构具有相关联的限制。此外，还期望以高准确度监测物料搬运环境内的过程、机器和/或个人的操作，并且基于可导致提高物料搬运环境的整体操作和生产率的监测来提供可执行的建议。

发明内容

本文所述的一些示例性实施方案涉及在物料搬运环境中监测操作的方法。方法可包括获得表示物料搬运环境中的目标区域的3D扫描的数据流。数据流可通过使用来自基于LiDAR的传感器的输出来获得。方法还可包括从仓库执行系统获得操作规范数据。操作规范数据可包括标准操作规程(SOP)数据以及与操作相关联的预定义启发法。就这一点而言，操作可由物料搬运环境中的机器和操作员中的至少一者执行。此外，方法可包括通过使用数据流和操作规范数据作为输入以训练机器学习模型来生成机器学习模型。此外，方法可包括通过使用机器学习模型来确定与该操作的执行的效率相关联的性能状态。

在一些示例性实施方案中，方法可包括由基于LiDAR的传感器扫描物料搬运环境的目标区域。此外，方法可包括生成数据流，该数据流包括与机器、操作员和物料搬运环境的区段中的至少一者相关联的三维(3D)点云。

在一些示例性实施方案中，方法还可包括分析数据流以识别与物料搬运环境中的操作相关联的阻塞点。就这一点而言，阻塞点可指示与物料搬运环境中的机器和/或由操作员执行的工作流中的至少一者的操作相关联的故障状况。此外，方法可包括生成指示以下中的至少一者的消息：阻塞点和要执行以解决阻塞点的补救动作。

根据一些示例性实施方案，方法还可包括将源自包括3D点云的数据流的第一组数据点与源自操作规范数据的第二组数据点进行比较。

在一些示例性实施方案中，方法可包括基于机器学习模型对操作规范数据和数据流的分析，确定与物料搬运环境中的机器、操作员和要执行的工作流过程中的至少一者的操作相关联的新关键性能指示符。此外，方法可包括通过将新关键性能指示符包括在标准操作规程数据中来修改操作规范数据。

根据一些示例性实施方案，新关键性能指示符可与结构特性相关联，该结构特性与物料搬运环境中的搬运箱、容器、托盘、纸箱中的至少一者相关联。在一些示例中，新关键性能指示符可与由操作员遵循以在执行物品挑选工作流时挑选第一物品的路线相关联。在一些示例中，新关键性能指示符可与通过传送机的一部分传送的搬运箱的对准相关联。在一些示例性实施方案中，新关键性能指示符可与第三物品在运输通过传送机的一部分时的取向相关联。在一些示例中，新关键性能指示符可与进入自动化存储和检索系统的区中的容器的尺寸相关联。

根据一些示例性实施方案，方法还可包括识别安全问题。安全问题可与物料搬运环境内的机器和操作员中的至少一者相关联。可基于由机器学习模型分析数据流和操作规范数据来识别安全问题。此外，方法可包括生成指示安全问题的警报。

根据一些示例性实施方案，安全问题可对应于以下中的至少一者：(a)物料搬运环境中的机器人操纵器的机器人臂以异常速度的移动，(b)在物料搬运环境中由托盘堆跺机对多个容器的堆叠，该堆叠是以易于导致多个容器中的一个或多个容器掉落的方式，(c)物料搬运环境中的自动化导向车辆(AGV)所遵循的路径，以及(d)物料搬运物品中的传送机的传送带以易于引起在传送带上传送的物品的碰撞的速度的运动。

根据一些示例性实施方案，方法可包括显示以下中的至少一者：(a)数据流的回放，(b)仪表板，该仪表板包括与机器和操作员中的至少一者相关联的多个关键性能指示符，(c)视觉指示符，该视觉指示符指示物料搬运环境中的阻塞点，(d)警报，该警报指示与机器和操作员中的至少一者相关联的安全问题，以及(e)审计报告，该审计报告用于可视化与在物料搬运环境中执行的一个或多个活动相关联的生产数据、操作数据、编排数据中的至少一者。

本文所述的一些示例性实施方案涉及其上存储有计算机可执行指令的非暂态计算机可读介质。响应于由处理器执行，计算机可执行指令可执行操作，该操作可包括使用来自基于LiDAR的传感器的输出来获得表示物料搬运环境中的目标区域的3D扫描的数据流。此外，操作可包括从仓库执行系统获得操作规范数据，该操作规范数据包括标准操作规程(SOP)数据以及与将由物料搬运环境中的机器和操作员中的至少一者执行的操作相关联的预定义启发法。操作还可包括通过使用数据流和操作规范数据作为输入以训练机器学习模型来生成机器学习模型。此外，操作可包括通过使用机器学习模型来确定与操作的执行的效率相关联的性能状态。

根据一些示例性实施方案，本文提及的数据流可包括对应于由物料搬运环境中的以下中的至少一者执行的操作的监测的数据：传送机、分拣系统、分离单元、机器人操纵器、升降机、托盘千斤顶、自动化导向车辆(AGV)和操作员。

在一些示例性实施方案中，响应于由处理器执行，计算机可执行指令可以执行包括生成第一反馈的操作，该第一反馈指示与预定义效率水平的偏差的程度。操作还可包括生成指示要执行的动作的第二反馈，使得动作的执行致使操作的执行满足效率水平。

在一些示例性实施方案中，响应于由处理器执行，计算机可执行指令可以执行操作，该操作可包括：分析数据流以识别与物料搬运环境中的操作相关联的阻塞点；以及生成指示以下中的至少一者的消息：阻塞点和待执行以解决阻塞点的校正动作。阻塞点可指示与操作的执行相关联的故障状况。在一些示例性实施方案中，响应于由处理器执行，计算机可执行指令可以执行操作，该操作可包括确定与物料搬运环境中的机器、操作员和要执行的工作流过程中的至少一者的操作相关联的新关键性能指示符。可由机器学习模型基于对操作规范数据和数据流的分析来确定新关键性能指示符。此外，操作可包括通过将新关键性能指示符包括在标准操作规程数据中来修改操作规范数据。

根据一些示例性实施方案，响应于由处理器执行，计算机可执行指令可以执行操作，该操作可包括识别与物料搬运环境内的机器和操作员中的至少一者相关联的安全问题。可基于由机器学习模型分析数据流和操作规范数据来识别安全问题。此外，操作可包括生成指示安全问题的警报。

本文所述的一些示例性实施方案涉及物料搬运系统。物料搬运系统可包括具有多个基于光检测和测距(LiDAR)的传感器的视觉系统。视觉系统可被配置为扫描物料搬运环境的目标区域并且生成包括表示目标区域的3D扫描的三维(3D)点云的数据流。此外，物料搬运系统可包括可以可通信地耦接到视觉系统和仓库执行系统的计算系统。计算系统可包括处理器，该处理器可被配置为从视觉系统获得数据流。处理器还可从仓库执行系统获得操作规范数据，该操作规范数据可包括标准操作规程(SOP)数据和预定义启发法。预定义启发法可与将由物料搬运环境中的机器和操作员中的至少一者执行的操作相关联。处理器还可通过使用数据流和操作规范数据作为输入以训练机器学习模型来生成机器学习模型。此外，处理器可通过使用机器学习模型来确定与操作的执行的效率相关联的性能状态。

在一些示例性实施方案中，计算系统的处理器可被配置为分析数据流以识别与物料搬运环境中的操作相关联的阻塞点。就这一点而言，阻塞点可指示与操作的执行相关联的故障状况。此外，处理器可被配置为生成指示以下中的至少一者的消息：阻塞点和待执行以解决阻塞点的校正动作。

根据一些示例性实施方案，处理器可被配置为识别与以下中的至少一者相关联的安全问题：物料搬运环境内的机器和操作员。可基于由机器学习模型分析数据流和操作规范数据来识别安全问题。此外，处理器可被配置为生成指示安全问题的警报。

在一些示例性实施方案中，物料搬运系统还可包括人机界面，该人机界面包括显示单元。人机界面可耦接到处理器。人机界面的显示单元可被配置为显示以下中的至少一者：

(a)由视觉系统捕获的数据流的回放，(b)仪表板，该仪表板包括与机器和操作员中的至少一者相关联的多个关键性能指示符，(c)视觉指示符，该视觉指示符指示物料搬运环境中的阻塞点，(d)警报，该警报指示与机器和操作员中的至少一者相关联的安全问题，以及(e)审计报告，该审计报告用于可视化与在物料搬运环境中执行的一个或多个活动相关联的生产数据、操作数据、编排数据中的至少一者。

附图说明

附图示出了本发明的实施方案，并且与说明书(包括上面的一般描述和下面的详细描述)一起用于解释本发明的特征。

图1示出了根据示例性实施方案的包括基于LiDAR的视觉系统的物料搬运系统的示意图；

图2示出了根据示例性实施方案的包括用于监测物料搬运环境中的目标区域的LiDAR传感器的视觉系统的示意图；

图3示出了根据示例性实施方案的包括基于LiDAR的视觉系统的物料搬运系统的目标区域的示意图；

图4示出了根据示例性实施方案的描绘通过使用基于LiDAR的视觉系统来监测由工人在物料搬运环境中执行的操作的示例性场景；

图5示出了根据示例性实施方案的描绘可通过使用基于LiDAR的视觉系统来监测的在物料搬运环境中执行的另一个操作的另一个示例性场景；

图6示出了示出根据本公开的一个或多个实施方案的用于监测物料搬运环境的系统的一个或多个部件的示意性框图；

图7示出了表示根据示例性实施方案的用于监测物料搬运环境中的操作的方法的流程图；

图8示出了根据示例性实施方案的表示用于通过使用一个或多个基于LiDAR的传感器来可视化物料搬运环境的目标区域的方法的流程图；

图9示出了根据示例性实施方案的表示用于使用来自一个或多个基于LiDAR的传感器的数据流来监测物料搬运环境的操作性能的方法的流程图；并且

图10示出了根据示例性实施方案的物料搬运系统的计算设备的示例的透视图。

具体实施方式

现在在下文中将参考附图更全面地描述本发明，在附图中示出了本发明的一些但不是全部的实施方案。实际上，这些发明可以许多不同的形式体现，并且不应该被解读为限于本文所阐述的实施方案；相反，提供这些实施方案是为了使本公开满足适用的法律要求。在全篇内容中，类似的标号指代类似的元件。如本文所用，术语诸如“前部”、“后部”、“顶部”、“外部”、“内部”等在下文提供的示例中用于说明性目的，以描述某些设备或设备的部分的相对位置。在本专利中使用的术语并不意味着是限制性的，本文所述的设备或其部分可在其他取向上附接或利用。

术语“包括”意指包括但不限于，并且应以在专利上下文中通常使用的方式加以解释。应当理解，使用广义的术语如“包含”、“包括”和“具有”提供对狭义的术语诸如“由...组成”、“基本上由...组成”和“基本上由...构成”的支持。

短语“在一个实施方案中”、“根据一个实施方案”等一般意指跟在该短语后的特定特征、结构或特性可包括在本发明的至少一个实施方案中，并且可包括在本发明的不止一个实施方案中(重要的是，此类短语不一定是指相同的实施方案)。

本文使用的词语“示例性”是指“用作示例、实例或说明”。本文描述为“示例性”的任何具体实施不一定被理解为比其他具体实施优选或有利。

术语“大约”或“约”等在与数字一起使用时，可意指具体数字，或者另选地，如本领域技术人员所理解的接近该具体数字的范围。

如果说明书陈述了部件或特征“可”、“能够”、“能”、“应当”、“将”、“优选地”、“有可能地”、“通常”、“任选地”、“例如”、“经常”或“可能”(或其他此类词语)被包括或具有特性，则特定部件或特征不是必须被包括或具有该特性。此类部件或特征可任选地包括在一些实施方案中，或可排除在外。

如本文所用，术语“发射器”是指可生成无线电波以用于通信目的的任何部件，而“接收器”用来泛指可接收无线电波并将该信息转换为可用形式的任何部件。“收发器”泛指既可生成无线电波又可接收无线电波的部件并因此在讨论发射器或接收器时会设想到。

术语“处理器”在本文中用于指代可由软件指令(应用程序)配置以执行包括上述各种实施方案的功能的各种功能的任何可编程微处理器、微型计算机、或一个或多个多处理器芯片。在一些设备中，可提供多个处理器，诸如专用于无线通信功能的一个处理器和专用于运行其他应用程序的一个处理器。软件应用程序在被访问和加载到处理器之前可存储在内部存储器中。处理器可包括足以存储应用程序软件指令的内部存储器。在许多设备中，内部存储器可以是易失性或非易失性存储器诸如闪存存储器或两者的混合。存储器还可位于另一个计算资源的内部(例如，使计算机可读指令能够通过互联网或另一个有线或无线连接下载)。

出于本说明的目的，对存储器的一般引用是指处理器可访问的存储器，包括插入到设备的内部存储器或可移除存储器和处理器内的存储器本身。例如，存储器可以是其上存储有可由处理器执行的计算机可读指令(例如，计算机程序指令)的任何非暂态计算机可读介质。

下文所用的术语“电子设备”是指手持设备、移动电话、可穿戴设备、个人数据助理(PDA)、平板电脑、智能书、掌上电脑、条码阅读器、扫描仪、标记阅读器、成像器、射频识别(RFID阅读器或询问器)、车载计算机、可穿戴条码扫描仪、可穿戴标记阅读器、销售点(POS)终端、头戴式耳机设备、可编程逻辑控制器(PLC)、可编程自动化控制器(PAC)、工业计算机、膝上型计算机、台式计算机、个人计算机和配备有至少一个被配置为执行本文所述的各种操作的处理器的类似电子设备中的任一者或全部。

为了简洁起见，本文使用可互换使用的术语“计算平台”或“主设备”或“服务器”或“监管员设备”来描述各种实施方案。本文可使用术语“服务器”来指能够充当服务器(诸如主交换服务器、网络服务器、邮件服务器、文档服务器或任何其他类型的服务器)的任何计算设备或计算设备的分布式网络。服务器可以是专用计算设备或包括服务器模块(例如，运行可使得计算设备作为服务器操作的应用程序)的计算设备。服务器模块(例如，服务器应用程序)可以是全功能服务器模块或者轻型或辅助服务器模块(例如，轻型或辅助服务器应用程序)，其被配置为在计算设备上的动态数据库中提供同步服务。轻型服务器或辅助服务器可以是服务器型功能的精简版，可在诸如智能电话的计算设备上实现，从而使得其只有在提供本文所述功能所需时才能够充当互联网服务器(例如，企业电子邮件服务器)。

在一些示例性实施方案中，服务器可对应于工业计算机、基于云计算的平台、外部计算机、独立计算设备等中的任一者。在一些示例性实施方案中，主设备或计算平台还可指任何电子设备，如本文所述。在一些示例性实施方案中，服务器可包括接入点或网关设备，该接入点或网关设备可能够与一个或多个电子设备直接通信，并且还能够(直接或间接地经由通信网络诸如互联网)与网络建立服务(例如，互联网服务提供商)通信。在一些示例性实施方案中，服务器可在整个物理环境中管理一个或多个电子设备的部署。在一些示例性实施方案中，服务器可以是指包括分布式系统的网络建立服务，其中通过利用在网络和/或基于云的平台或基于云的服务(诸如基于软件的服务(SaaS)、基于基础设施的服务(IaaS)或基于平台的服务(PaaS)等中的任一者)上部署的多个计算资源来执行多个操作。

在一些示例性实施方案中，本文可使用术语“服务器”来指可编程逻辑控制器(PLC)、可编程自动化控制器(PCC)、工业计算机、台式计算机、个人数据助理(PDA)、膝上型计算机、平板电脑、智能本、掌上电脑、个人计算机、智能电话、头戴式耳机、智能手表和至少配备有被配置为执行本文所述的各种操作的处理器的类似电子设备。诸如智能电话、平板电脑、头戴式耳机和智能手表的设备通常统称为移动设备。

图中示出的部件表示在本文所述的本发明的各种实施方案中可以存在或可以不存在的部件，使得实施方案可包括比图中所示的部件更少或更多的部件，而不脱离本发明的范围。

图1示出了物料搬运系统100的示意图。根据示例性实施方案，物料搬运系统100可包括具有一个或多个基于LiDAR的传感器104的至少一个视觉系统102。物料搬运系统100可对应于物料搬运环境，例如但不限于配送中心、航运站、仓库、仓储等。根据一些示例性实施方案，物料搬运系统100可包括用于搬运各种物品诸如纸箱、搬运箱、航运包装、盒子等的一个或多个传送机。如图所示，物料搬运系统100可包括分拣机部分106，该分拣机部分用于选择性地识别、分拣一个或多个制品108和/或使其转向到目的地110中的一者，诸如但不限于外送传送机、斜槽等。在一些示例中，已转向制品可被发送到航运站112以用于航运到目的地，例如商店。虽然如图1所示的示例可示出桨分拣机，但需注意，本公开的范围不限于桨分拣机。在一些示例中，物料搬运系统100可包括可实现的其他类型的分拣机，包括但不限于推/拉分拣机、弹出式转移分拣机和/或跨带分拣机。

虽然LiDAR传感器104被示出为位于视觉系统102内，然而，根据本文所述的各种示例性实施方案，多个基于LiDAR的传感器可安装在物料搬运系统100的各个区段处。换句话讲，LiDAR传感器104可定位在物料搬运系统100内的各种不同区段(例如，工作站)处。具有LiDAR传感器的视觉系统的安装的一些此类示例也稍后参考图2至图5示出。此外，这些基于LiDAR的传感器可经由通信网络(例如，无线或有线网络)可通信地耦接(例如，远程连接)到视觉系统102。

参考图1，示意性地，第一LiDAR传感器单元104-1可安装在对应于自动化存储和检索系统(ASRS)122的区域附近。类似地，第二LiDAR传感器单元104-2可安装在沿分拣机106的对应于分离系统的另一个区域附近。在另一个示例中，类似的基于LiDAR的传感器单元可位于航运站112处或沿着分拣机106的各种其他位置(未示出)处。因此，物料搬运系统100可包括可安置或安装在物料搬运环境的各个区段(例如，专用区)处的许多更多的此类LiDAR传感器单元。如前所述，这些传感器单元可经由通信网络可通信地耦接到视觉系统102。这些基于LiDAR的传感器单元可以能够捕获表示相应LiDAR传感器单元所位于的该区域的3D扫描的数据流(例如，3D数据流)。数据流可由视觉系统102用于监测物料搬运系统100的各个区段中存在的一个或多个制品114、机器和/或工人。

如图所示，物料搬运系统100可包括分拣机部分(例如，分拣机106)，该分拣机部分可从引导部分116接收一个或多个制品114。在一些示例中，引导部分116可具有分离系统118，该分离系统可被配置为在一个或多个制品114之间生成间距。例如，引导部分116可包括各种机械部件(例如，带单元和/或具有端部执行器的机械致动器的配置)，其可创建一个或多个制品114之间的间距。根据一些示例性实施方案，LiDAR传感器单元104-2的基于LiDAR的传感器可捕获可在分离系统118上执行的各种操作和/或活动的3D扫描。

在一些示例中，引导部分116可从合并部分120接收制品114，如图1所示。合并部分120可具有多个累积通道和/或传送机以用于以嵌条和/或拉链方式将制品释放到引导部分116上。在一些示例中，合并部分120可从接收系统和/或自动化存储和检索系统(ASRS)122接收一个或多个制品114。除此之外或另选地，合并部分106可从其他源接收一个或多个制品。在一些示例性实施方案中，ASRS 122还可包括独立视觉系统(VS1)124，该独立视觉系统具有可安装在ASRS 122内的各个位置处的一个或多个基于LiDAR的传感器单元(类似于104-1、104-2)。

根据一些示例性实施方案，视觉系统102的LiDAR传感器104可以能够扫描物料搬运环境的目标区域并且生成一个或多个数据流。这些数据流可用于各种目的。在一些示例性实施方案中，视觉系统102的处理器可利用数据流来构建可表示目标区域的3D扫描的三维(3D)点云。例如，由这些LiDAR传感器记录的数据流可捕获物料搬运站点的各种操作，例如，一个或多个制品114的移动(例如，从引导部分116朝向分拣机部分106或从ASRS 122到合并部分120等)。此外，来自各种LiDAR传感器104的数据流还可捕获由物料搬运站点的各种机器执行的操作和/或动作。例如，在一个示例中，数据流可捕获分离系统的各种机械部件(例如，传送带等)的移动。此外，数据流还可捕获由该目标区域中的一个或多个工人执行的操作。

根据一些示例性实施方案，示例性物料搬运系统100的一个或多个部件(诸如但不限于分拣机部分106、引导部分116、合并部分120、视觉系统102等)可以可通信地耦接到中央系统例如配送中心(DC)执行系统126(或仓库管理系统)和/或控制器128中的至少一者。术语“可通信地耦接”是指两个或更多个部件(例如但不限于如图1所示的分拣机部分106、引导部分116、合并部分120、视觉系统102、DC执行系统126和控制器128)通过有线方式(例如但不限于有线以太网)和/或无线方式(例如但不限于Wi-Fi、蓝牙、ZigBee)连接，使得数据和/或信息可传输到这些部件和/或从这些部件接收。

在一些示例中，DC执行系统126和控制器128可调整、修改和/或控制示例性物料搬运系统100的系统变量的集合。术语“系统变量”是指与物料搬运系统的操作相关联的参数。示例性系统变量可包括但不限于速度命令(例如，传送机速度、合并速度、分拣速度等)、再循环命令、分拣命令(例如，目的地实现、转向命令等)、关闭命令、累积控制、排出控制、引导控制、斜槽致动和传感器(例如，光眼)输入/输出。例如，与分拣机部分106相关联的系统变量可包括但不限于上述速度命令、再循环命令、斜槽致动和/或分拣命令。又如，与引导部分116相关联的系统变量可包括但不限于上述速度命令、累积控制和/或引导控制。又如，与合并部分120相关联的系统变量可包括但不限于上述速度命令和/或排出控制。

根据本文所述的一些示例性实施方案，可基于对由视觉系统102的一个或多个LiDAR传感器104捕获的数据流的分析来调整、修改和/或控制这些系统变量。在一些示例中，也可由DC执行系统126和控制器128调整、修改和/或控制与视觉系统102相关联的系统变量(例如，LiDAR传感器104的配置)。

根据一些示例性实施方案，控制器128可获得由视觉系统102的一个或多个LiDAR传感器104捕获的一个或多个数据流。此外，控制器128可从DC执行系统126获得操作规范数据。在一些示例中，可从仓库执行系统和/或仓库管理系统获得操作规范数据。操作规范数据可包括例如但不限于标准操作规程(SOP)数据、可与将由以下中的至少一者执行的操作相关联的预定义启发法：机器和操作员(在物料搬运环境中)，和/或可与由机器和/或工人执行的过去操作相关联的其他数据。

根据一些示例性实施方案，控制器128可利用数据流和操作规范数据来生成机器学习模型。就这一点而言，控制器128可提供数据流和操作规范数据作为输入以训练机器学习模型。根据所述示例性实施方案，控制器128可利用该机器学习模型来确定与操作执行效率相关联的性能状态，其进一步的细节在下文参考图2至图10来描述。

图2示出了根据示例性实施方案的包括用于监测物料搬运环境中的目标区域206的一个或多个LiDAR传感器204的视觉系统202的示意图200。如先前参考图1所述，在一些示例性实施方案中，一个或多个LiDAR传感器204可位于物料搬运环境内的各个位置处。例如，如图2所示，一个或多个LiDAR传感器(204-1,204-2,204-3)可位于包括传送机208的物料搬运环境的区段中。示意性地，在一个示例中，一个或多个LiDAR传感器(204-1,204-2,204-3)可被配置为捕获目标区域206的3D扫描。如可理解的，一个或多个LiDAR传感器(204-1,204-2,204-3)中的每一者可以能够通过激光照亮目标区域206，并且通过相应LiDAR传感器204的传感器部件测量反射激光的反射。此外，3D扫描可表示目标区域206的三维表示，并且可包括传送机208、可在传送机208上的一个或多个物品210。此外，在一些示例中，3D扫描还可捕获一个或多个机器(例如，传送带)和/或由这些机器执行的操作。此外，在一些示例中，3D扫描还可包括一个或多个工人和/或由一个或多个工人执行的活动。在该示例中，如图2所示，一个或多个物品210可放置在传送机208的传送带上，并且可在传送方向X上朝向目标区域206传送。

根据一些示例性实施方案，一个或多个LiDAR传感器204可以能够从不同角度和/或方向捕获这些物品210中的每一者的3D表示。例如，LiDAR传感器204可以能够执行捕获一个或多个物品210的一至六个侧面的3D扫描。此外，该3D扫描可由视觉系统202的处理器用于构建3D点云，该点云可表示目标区域206的整个视图，包括在由LiDAR传感器(204-1,204-2,204-3)进行扫描时可存在于目标区域206中的对象、机器、工人等。

例如，来自一个或多个LiDAR传感器204的数据流可捕获对应于以下的三维信息：传送机系统(例如，传送机208)、分拣系统(例如，分拣机部分106)、分离单元(例如，分离系统118)、机器人操纵器、升降机、托盘千斤顶、自动化导向车辆(AGV)等，其可用于物料搬运环境中的各种操作。

在一些示例性实施方案中，LiDAR传感器204可定位在可在物料搬运环境中操作的机器上。例如，在一些示例中，一个或多个LiDAR传感器204可定位在机器人物品搬运机(例如，机器人纸箱卸载机)或自动化导向车辆(AGV)上。在此类情况下，LiDAR传感器204可被配置为执行对区域的前向扫描以命令和控制相应机器的各种操作。虽然如图2所示的示例示出了三个LiDAR传感器(204-1,204-2,204-3)，但需注意，本公开的范围不限于三个传感器。如先前参考图1所述，根据一些示例性实施方案，可存在多个LiDAR传感器，该多个LiDAR传感器可位于物料搬运环境的各个位置/区段处。因此，应当理解，少于三个传感器、多于三个传感器和/或附加或另选的传感器单元在本公开的范围内是可能的。

在一些示例中，由视觉系统202的LiDAR传感器204进行的感测可响应于检测到事件而被触发。另选地和/或除此之外，由LiDAR传感器204进行的感测可连续地执行或在预定义时间段周期性地执行。在一个示例中，响应于检测到物品(即，物品210中的物品)进入LiDAR传感器204的扫描区，LiDAR传感器(204-1,204-2,204-3)可执行对目标区域206的3D扫描。例如，在一个实施方案中，传感器(例如，LiDAR传感器204-1)可放置在扫描区的入口处。因此，当物品经过LiDAR传感器204-1时，传感器可检测物品的存在，并且可初始化剩余LiDAR传感器(204-2,204-3)的扫描操作。

根据一些示例性实施方案，由LiDAR传感器204捕获的数据流可用于各种目的。例如，视觉系统202和/或控制器128可利用由LiDAR传感器204捕获的数据流来识别一个或多个物品210的尺寸。在一些示例中，数据流还可用于识别物品210中的一个或多个缺陷(例如，产品在堵塞点、失效带或辊等处被系统损坏等)。此外，在一些示例性实施方案中，视觉系统202还可利用数据流来识别与物品210相关联的可见特性，并且基于可见物品特性来驱动操作决策。例如，控制器128可基于对此类可见物品特性(例如但不限于缺陷率、尺寸、物品210的取向、物品210在传送机208上的放置方式等)的识别来命令各种动作。例如，控制器128可分析数据流以识别与物料搬运环境中的操作相关联的阻塞点。阻塞点可指示与物料搬运环境中的机械部件(例如，机器人操纵器)、机器(例如，传送机区段)和/或由操作员执行的工作流的操作相关联的故障状况。例如，基于数据流，控制器128可识别可能不适合由ASRS 122执行ASRS操作的一个或多个物品210的尺寸。在另一个示例中，基于数据流，控制器128可识别要以可能不适于由机器人操纵器的端部执行器搬运的取向进行布置的一个或多个物品。此类示例中的更多示例将在后面的描述中描述。根据所述示例性实施方案，在识别出此类阻塞点时，控制器128还可生成指示以下中的至少一者的消息：阻塞点和要执行以解决阻塞点的补救动作。

根据本文所述的各种示例性实施方案，包括一个或多个LiDAR传感器204的视觉系统202可以可通信地耦接到中央控制器(例如，如图1所述的控制器128)。根据本文所述的一些示例性实施方案，控制器128可获得包括由LiDAR传感器204捕获的目标区域的3D信息的数据流。此外，控制器128可通过利用数据流连同其他信息诸如操作规范数据(包括标准操作规程(SOP)以及与物料搬运环境内的各种操作、机器利用等相关联的一个或多个预定义启发法)来构建机器学习模型。机器学习模型可确定与物料搬运环境内的工人活动和/或机器操作的执行的性能相关联的性能状态。换句话讲，机器学习模型可确定工人、机器等是否按照标准操作规程操作。在存在任何偏差的情况下，控制器128可以能够执行各种校正动作，其细节参考图3至图10进行进一步的描述。

图3示出了根据示例性实施方案的包括基于LiDAR的视觉系统的物料搬运系统100的目标区域的示意图300。目标区域可对应于配送中心(DC)的区域。应当理解，DC可批量地从各种制造商、供应商、商店、航运站等接收货物，并且可存储和/或搬运所接收的货物，直到货物被进一步挑选和/或航运。此外，所接收的货物可被转移到适当尺寸、形状、材料等的搬运箱和/或容器中以用于存储和/或进一步处理。根据本文所述的一些示例性实施方案，DC可包括视觉系统301，该视觉系统可经由网络303可通信地耦接到多个基于LiDAR的传感器单元VS1、VS2、VS3、VS4等，如图3所示。类似于前面参考图1至图2所述，这些基于LiDAR的传感器单元(VS1-VSn)可以能够记录包括目标区域的3D扫描的数据流。网络303可对应于有线或无线通信网络。

示意性地，在一些示例性实施方案中，DC可具有补充区域302，该补充区域用于为一个或多个容器304补充多个库存单元(SKU)306中的到达补充区域302的货物。如本文所使用，术语“补充区域”可以指DC中的用于将货物从多个SKU 306转移到一个或多个容器304中的区域、系统、工作站等。补充区域302可具有多个物料搬运设备和系统(诸如但不限于进料传送机、出料传送机、到操作员工作站的货物、设备、分级单元等)的协作系统。将货物从SKU转移到容器304中可为自动化的(例如，可由机器人工具完成)，和/或可为由操作员(诸如操作员308和310)执行的手动过程，如图3所示。根据本文所述的一些示例性实施方案，一个或多个基于LiDAR的传感器可与补充区域302相关联以执行3D扫描，该扫描可捕获补充区域302中的活动、操作、设备和/或工人。因此，可存在可与DC的不同区段相关联的多个视觉系统。这些视觉系统可利用基于LiDAR的传感器来记录与相应区段内的操作员、物品和/或机器相关的活动。例如，如图3所示，具有一个或多个LiDAR传感器204的视觉系统单元VS2可与补充区域302相关联。

根据所述示例性实施方案，SKU 306可包括类似类型、尺寸、形状和/或任何其他共同特性的货物。在一个实施方案中，一个或多个SKU 306可被分组在一起并且堆叠在托盘312上，如图3所示。SKU 306可基于共同特性(诸如货物类型)进行分组。除此之外或另选地，混合SKU 306可被随机分组并且放置在托盘312上。SKU 306可在DC处分组并且堆叠在托盘312上以便于搬运。在一些实施方案中，每个SKU 306和每个托盘312可包括可在补充区域302处扫描的相应标识符(例如，条形码标记、RFID标签)。扫描的信息可指示托盘312在补充区域302处的位置。在一些示例性实施方案中，一个或多个基于LiDAR的传感器单元也可位于DC中以执行对包括SKU 306和/或托盘312的区域的3D扫描。示意性地，在一个示例中，具有LiDAR传感器204的两个视觉系统单元VS1和VS4可被定位成跟踪与SKU 306和/或托盘312相关联的活动、操作和/或特性。

根据一些示例性实施方案，补充区域302可包括用于分级和/或传送一个或多个容器304的重力流支架314。此外，补充区域302可包括多个补充区。重力流支架314可放置在不同的补充区之间，使得重力流支架314可将已补充容器从第一补充区316传送到第二补充区318，并且将空容器从第二补充区318传送回第一补充区316。重力流支架314还可用作空容器和/或已填充容器304的分级区域，直到由操作员308和/或机器人工具搬运容器304。根据一些示例性实施方案，视觉系统单元VS2可扫描包括重力流支架314的区域。

补充区域302还可包括一个或多个设备320。设备320可以指可通信地联接到中央控制器(例如，控制器128)的任何便携式和/或固定设备(例如，人机界面HMI)。在一些示例中，设备320可包括输入/输出接口，该输入/输出接口可用于辅助操作员308进行补充过程。根据一些示例，设备320可对应于或包括例如但不限于扫描仪、成像器、显示器、计算机、通信设备、头戴式耳机等。根据一些示例性实施方案，设备320还可从中央控制器和/或可以可通信地耦接设备320的任何其他设备接收数据、命令、工作流等。根据一些示例性实施方案，使用基于LiDAR的传感器的视觉系统单元VS1和VS5可执行对包括一个或多个设备320的区域的3D扫描。

根据一些示例性实施方案，由视觉系统301捕获的数据流可监测DC中的各种活动、操作、个人和/或装备。例如，数据流可用于监测具有一个或多个SKU 306的托盘312到达DC的补充区域302处。此外，数据流可监测由操作员308和/或310中的任一者使用设备320对托盘标识符和/或SKU标识符的扫描。在一些示例性实施方案中，由视觉系统301的LiDAR传感器204捕获的数据流还可包括由机器人工具(未示出)和/或操作员(308,310)执行的操作，该操作用于挑选重力流支架314上的容器304中的一者或多者，从而用于为一个或多个容器304补充可在SKU 306和/或托盘312中的货物。此外，在一些示例性实施方案中，由视觉系统单元VS2、VS3和/或VS4的LiDAR传感器204捕获的数据流可包括可在重力流支架314上的一个或多个容器304的传送或移动。在这方面，容器304可通过重力流支架314从第一补充区316传送到第二补充区318。在一些示例性实施方案中，数据流还可包括监测空容器，该空容器可放置在重力流支架314上以用于转移回第一补充区316从而用于从下一个SKU和/或托盘接收货物。在示例性实施方案中，数据流还可包括一些容器向一个或多个往返搬运箱的移动，该一个或多个往返搬运箱可被移动以用于将货物存储在DC中的自动化存储和回收系统(ASRS)中。

在本发明的一些实施方案中，由各种视觉系统单元VS1-VS5捕获的数据流可用于构建机器学习模型。此外，根据一些示例性实施方案，机器学习模型可确定与DC内的工人活动和/或机器操作的执行的性能相关联的性能状态。换句话讲，机器学习模型可确定工人、机器等是否按照标准操作规程操作。在任何偏差的情况下，控制器(例如，控制器128)可以能够执行各种校正行动。例如，基于对应于对DC的各个区域的3D扫描的数据流，控制器可确定要选择用于补充的最佳托盘。在另一个示例中，控制器基于通过数据流的对DC的监测，控制器可定义指示针对补充托盘312的优先级的优先级顺序。因此，控制器可利用数据流和基于数据流的机器学习模型来采取可改善DC内的操作执行、生产率和/或安全性的各种动作。参考图4至图10描述了基于机器学习模型的输出执行的动作的更多示例。

图4示出了根据示例性实施方案的描绘通过使用基于LiDAR的视觉系统(例如，视觉系统102、202)来监测由工人在物料搬运环境中执行的操作的示例性场景400。在一些示例性实施方案中，操作可在配送中心的补充区中执行。图4示出了配送中心(例如，如图3所示的DC)的补充区402的示例。如前所述，物料搬运环境可包括多个视觉系统。示意性地，在一些示例性实施方案中，配送中心DC可包括多个视觉系统(401、403、407等)。这些视觉系统(401-407)中的每一者可包括可安置和/或安装在物料搬运环境的各个区段处的一个或多个基于LiDAR的传感器。在这方面，这些视觉系统401-407中的每一者可以能够捕获目标区域的数据流(即3D扫描)。

根据一些示例性实施方案，通过使用基于LiDAR的视觉系统来监测的操作可对应于一个或多个容器的补充。容器可放置在重力流支架408上，并且可用来自可到达补充区402的补充区域处的一个或多个SKU 410的货物补充。根据一些示例性实施方案，在DC中可存在不同尺寸的用于补充的容器。例如，第一组容器404可具有中等尺寸，而第二组容器406可小于第一组容器404，并且第三组容器405可大于第一组容器404的容器。容器的补充可基于容器的尺寸。根据一些示例性实施方案，容器404、406、405中的每一者可具有相关联的容器标识符(未示出)。容器标识符可以指可用于识别特定容器的唯一标识符，诸如但不限于序列号、条形码标记、RFID标签等。容器标识符可包括关于容器的信息，诸如但不限于类型、尺寸、容量、重量、形状等。

根据所述示例性实施方案，可扫描容器的容器标识符，之后对该容器执行每个补充操作。通过扫描容器标识符，中央控制器(例如，控制器128)和/或DC中的任何其他计算设备可跟踪容器的占据容积。此外，基于该信息，中央控制器可计算当前容量，即基于容器的最大容量和占据体积。换句话讲，根据所述示例性实施方案，为了使储存容量和总体效率最大化，可能期望从各种尺寸的容器中挑选适当尺寸的容器以用于储存来自SKU 410的货物。在这方面，通过监测基于LiDAR的视觉系统的数据流(该数据流捕获在一定时间段内的补充操作的执行)，可确定此类补充操作的执行的效率。就这一点而言，如前所述，机器学习模型可确定操作的执行的效率。此外，补充操作的执行的效率可根据现有的SOP和/或与物料搬运环境的容器补充操作相关联的一些预定义启发法。

在一些示例性实施方案中，可分析数据流以识别与DC中的操作相关联的阻塞点。例如，控制器128可识别指示故障状况的阻塞点，该故障状况可与补充区域302的一个或多个区段相关联。此外，控制器128可生成指示以下中的至少一者的消息(例如，在一个或多个显示设备412上)：阻塞点和要执行以解决阻塞点的补救动作。在一些示例中，由视觉系统(401-407)捕获的数据流可用于识别与补充区402相关的安全问题。例如，安全问题可与托盘堆跺机对多个容器(404,405,406)的堆叠相关，该堆叠是以易于导致多个容器中的一个或多个容器在DC中掉落的方式。在一些示例性实施方案中，安全问题可与机器人操纵器的机器人臂(例如，可用于搬运容器404、405、406)以异常速度的移动相关联。

在一些示例性实施方案中，由视觉系统(401,403,407)捕获的数据流可用于识别新KPI，该新KPI可与操作员414挑选容器所遵循的优选路线相关联。在一个示例中，优选路线可以是对于操作员而言可能更安全以避免与可能存在于物料搬运环境中的对象(例如，托盘、机器人操纵器等)的任何碰撞的路线。在另一个示例中，优选路线可以是可为要遵循的最短路线的路线。

根据所述示例性实施方案，基于各种容器标识符的扫描，控制器128可生成与要为SKU搬运的各种容器相关联的容器标识符和/或序列号的有序序列。在一些示例性实施方案中，容器标识符的有序序列可被传输到补充区域并且可显示在显示设备412上。在这方面，操作员414可遵循显示在显示设备412上的有序序列，并且可从重力流支架408挑选所识别的容器(404、406和/或405)以通过来自SKU 410的货物进行补充。在一个实施方案中，所识别的容器(404、405和/或406)可例如在货物对操作员工作站上以有序序列呈现给操作员414。在另一个实施方案中，重力流支架408可包括挑选至灯光系统，使得挑选至灯光系统在对应于容器指示符的有序序列的所识别的容器(404、405和/或406)的位置处显示指示器(诸如灯光)的有序序列。就这一点而言，由基于LiDAR传感器的视觉系统捕获的数据流还可捕获挑选至灯光系统的挑选至灯光的致动序列和/或由操作员414执行的后续操作。在这方面，数据流可用于确定操作员414是否按照与挑选至灯光系统相关联的定义SOP/KPI挑选物品。例如，一些挑选至灯光系统可涉及按下致动器(例如，按钮)以确认从一定位置挑选物品。在这方面，由基于LiDAR的视觉系统捕获的数据流可由控制器128用于确定操作员414是否已正确地执行该活动。此外，在任何观察到的偏差或不一致性的情况下，可在显示设备412上向操作员414通知校正/补救动作。

根据一些示例性实施方案，操作员414或机器人工具可通过扫描可放置在容器上的容器标识符(诸如条形码标记)来验证与每个已挑选容器(例如，404、405和/或406)相关联的容器标识符。此外，由DC内的各种基于LiDAR的传感器捕获的数据流可用于验证操作员414或机器人工具已挑选正确的容器。根据一些示例性实施方案，通过处理数据流而提取的信息可与存储在与中央控制器相关联的数据库中的与该操作相关联的现有容器标识符信息和/或SOP进行匹配和/或比较。

图5示出了根据示例性实施方案的描绘可通过使用基于LiDAR的视觉系统(例如，视觉系统102、202)来监测的在物料搬运环境中执行的另一个操作的另一个示例性场景500。图5示出了根据本公开的一个或多个实施方案的配送中心(DC)的第二补充区502的透视图。示意性地，在一些示例性实施方案中，配送中心DC可包括多个视觉系统(501、503、505等)。这些视觉系统(501-505)中的每一者可包括可安置和/或安装在物料搬运环境的各个区段处的一个或多个基于LiDAR的传感器。在这方面，这些视觉系统501-505中的每一者可以能够捕获目标区域的数据流(即3D扫描)。根据一些示例性实施方案，来自基于LiDAR传感器的视觉系统的数据流可捕获与第二补充区502中的补充过程相关的操作。

根据一些示例性实施方案，图5所示的补充过程可包括为来自第二组容器504的一个或多个容器补充来自可到达第二补充区502(例如，通过重力流支架408)的已补充的第一组容器506的货物。在一些示例性实施方案中，第二组容器504可对应于在可具有不同尺寸的多个隔室的ASRS(例如，ASRS 122)中使用的往返搬运箱。往返搬运箱可为部分填充的或空的，并且可用于将货物存储在存储设施中，诸如如图1所示的ASRS 122。

根据一些示例性实施方案，由DC的一个或多个视觉系统(501-505)捕获的数据流可用于确定与和ASRS相关联的往返搬运箱相关的操作的执行效率。例如，在一些示例性实施方案中，控制器可使用数据流来确定是否正在执行往返搬运箱的存储容量的最大优化。就这一点而言，数据流可用于识别往返搬运箱的已填充和/或未填充容量。此外，基于该确定，控制器还可生成与往返搬运箱的最佳利用相关联的新KPI。例如，新KPI可指示往返搬运箱可仅在往返搬运箱被完全填充时才被发送到ASRS，以便优化往返搬运箱利用率并且减小在将半填充往返搬运箱转移到储存位置以及检索半填充往返搬运箱以用于进一步补充中花费的时间和资源。

在另一个示例性实施方案中，来自基于LiDAR传感器的视觉系统的数据流可用于识别往返搬运箱的尺寸、对准和/或结构。就这一点而言，针对与往返搬运箱相关联的不同尺寸和/或结构特性，可存在用于在ASRS内转移或移动往返搬运箱的不同SOP。为此，响应于往返搬运箱的尺寸和/或结构特性的识别，数据流可进一步用于确定往返搬运箱的运动是否按照针对该情况的往返搬运箱的移动定义的SOP。此外，如前所述，基于数据流和机器学习模型，可针对各种情况(例如，先前可能未知的用例)识别新KPI。

类似于先前相对于图4所述，中央控制器(例如，控制器128)可生成容器标识符的另一个有序序列以用于补充第二组容器504。在这方面，控制器128还可使用数据流以识别第二组容器504是否正在根据容器标识符的有序序列排队。根据所述示例性实施方案，一个或多个操作员(508,510)可补充来自第二组容器504的可用于补充的一个或多个容器。在一些示例中，可基于容器标识符的有效序列为第二组容器504补充来自第一组容器506的货物。根据所述示例性实施方案，在补充之后，操作员(508,510)可将来自第一组容器506的空容器514放置在中央重力传送机区段512上。在这方面，中央重力传送机区段512可朝向第一补充区倾斜(如图4所示)，使得空容器514可从第二补充区502转移到第一补充区以从下一个SKU接收货物。此外，当来自第二组容器504的容器被补充有货物时，操作员508可将容器推到外送传送机516上。外送传送机516可将容器传送到存储位置和/或传送到下游的物料搬运系统以用于进一步处理和/或搬运。

因此，根据本文所述的各种示例性实施方案，如前所述的补充操作的所有此类步骤可使用由各种视觉系统(501-507)捕获的一个或多个数据流来监测。此外，中央控制器可利用这些数据流以例如根据针对特定过程定义的预期SOP或者在物料搬运站点中可能已发生的任何错误状况来识别不符合。此类错误状况的一些示例可以是例如往返搬运箱不是空的，往返搬运箱尺寸不适合要补充的货物等。

根据本文所述的一些示例性实施方案，由如参考图1至图5描述的各种视觉系统捕获的数据流可显示在显示设备上。在一些示例中，显示设备可与物料搬运设施内的HMI相关联。在另一个示例中，数据流可显示在远程位置(例如，DC监测站)处的显示设备上。根据一些示例性实施方案，还可在显示设备上显示仪表板，该仪表板包括基于数据流监测的与机器和操作员中的至少一者相关联的多个关键性能指示符。

如前所述，控制器128可利用由基于LiDAR的视觉系统捕获的各种数据流。在这方面，通过使用人工智能和机器学习，可通过使用来自数据流的3D点云数据(除了各种其他因素诸如操作规范数据之外)作为输入来构建机器学习模型。此外，机器学习模型可用于确定与物料搬运站点中的各种操作、机器和/或活动相关联的操作效率。此外，通过利用机器学习模型，可确定关于操作效率的性能状态。此外，与相对于各种KPI的性能状态相关联的审计报告可显示在显示屏上。换句话讲，审计报告可用于可视化与使用来自基于LiDAR的传感器系统的数据流来识别的物料搬运环境中的一个或多个活动相关联的生产数据、操作数据、编排数据中的至少一者。

图6示出了示出根据本公开的一个或多个实施方案的用于监测物料搬运环境的系统600的一个或多个部件的示意性框图。根据示例性实施方案，系统600可包括多个视觉系统例如602、604、606，其可包括基于LiDAR的传感器。如参考图1至图5所述，可存在可安装在物料搬运环境内的各个位置处的多个视觉系统602、604、606。示意性地，视觉系统602-606中的每一者可通过网络610可通信地耦接到中央控制器608。此外，这些视觉系统602-606的基于LiDAR的传感器可以能够执行3D扫描以捕获在物料搬运环境的相应目标区域处的各种机器操作、工人活动等。除此之外和/或另选地，除了与中央控制器608通信以用于提供与物料搬运环境的各种目标位置相关的一个或多个数据流之外，包括基于LiDAR的传感器的视觉系统602-606中的一者或多者可用于任何合适的目的。

根据一些示例性实施方案，网络610可包括任何有线或无线通信网络，包括例如有线或无线局域网(LAN)、个人局域网(PAN)、城域网(MAN)、广域网(WAN)等，以及实现其所需的任何硬件、软件和/或固件(诸如网络路由器等)。例如，网络610可包括蜂窝电话、802.11、802.16、802.20和/或WiMax网络。在一些实施方案中，蓝牙可用于在设备之间进行通信。此外，网络610可包括公共网络(诸如互联网)、专用网络(诸如内联网)或它们的组合，并且可利用现在可用的或以后开发的多种联网协议，包括但不限于基于TCP/IP的联网协议。

如图所示，中央控制器608可以包括至少一个处理器612、存储器614、通信模块616和输入/输出模块618。根据一些示例性实施方案，处理器612可被配置有处理器可执行指令以执行本文描述的操作。在一些示例性实施方案中，处理器612例如可被实现为包括具有一个或多个伴随数字信号处理器的一个或多个微处理器、不具有伴随数字信号处理器的一个或多个处理器、一个或多个协处理器、一个或多个多核处理器、一个或多个控制器、处理电路、一个或多个计算机、各种其他处理元件(包括集成电路，诸如例如ASIC(专用集成电路)或FPGA(现场可编程门阵列))、或它们的某种组合的各种装置。因此，尽管在图6中示出为单个处理器，但在一些实施方案中，处理器612可包括多个处理器。该多个处理器可以在单个设备上实现，或者可以分布在多个设备上。多个处理器彼此可操作地通信，并且可被共同配置为执行如本文所述的中央控制器608的一个或多个功能。在示例性实施方案中，处理器612被配置为执行存储在存储器614中或可以其他方式供处理器612访问的指令。这些指令在被处理器612执行时可致使中央控制器608执行如本文所述的中央控制器608的功能中的一者或多者。

根据一些示例性实施方案，存储器614可包括例如易失性存储器、非易失性存储器或它们的某种组合。尽管在图6中示出为单个存储器，但存储器614可包括多个存储器部件。该多个存储器部件可以在单个设备上实现，或者分布在多个设备上。在各种示例性实施方案中，存储器614可包括例如硬盘、随机存取存储器、高速缓存存储器、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)和电可擦除可编程只读存储器(EEPROM)、闪存存储器、磁带盒、磁带、磁盘存储装置或其他磁存储设备、光盘只读存储器(CD-ROM)、数字通用光盘只读存储器(DVD-ROM)、光盘、被配置为存储信息的电路、或它们的某种组合。根据一些示例性实施方案，存储器614可被配置为存储信息、数据(包括物品数据和/或简档数据)、应用程序、指令等，以用于使得中央控制器608能够根据本文所述的示例性实施方案执行各种功能。例如，在至少一些实施方案中，存储器614可被配置为缓冲输入数据以供处理器612处理。附加地或另选地，在至少一些实施方案中，存储器614可被配置为存储程序指令以供处理器612执行。在一些示例性实施方案中，存储器614可存储以静态和/或动态信息形式的信息。可由中央控制器608在执行其功能的过程期间存储和/或使用该存储的信息。

根据一些示例性实施方案，通信模块616可体现为任何这样的设备或装置，其体现在包括存储在计算机可读介质(例如，存储器614)上并由处理设备(例如，处理器612)执行的计算机可读程序指令的电路、硬件、计算机程序产品或它们的组合中，并且被配置为从/向另一个设备和/或网络(诸如视觉系统(602-606))接收和/或传输数据。在一些示例性实施方案中，通信模块616(与本文所讨论的其他部件类似)可至少部分地体现为处理器612或以其他方式受该处理器的控制。在一些示例中，通信模块616可诸如经由总线来与处理器612可通信地耦接。根据一些示例性实施方案，通信模块616可包括例如用于实现与另一个设备通信的天线、发射器、接收器、收发器、网络接口卡和/或支持硬件和/或固件/软件。在一些示例性实施方案中，通信模块616可被配置为使用任何用于设备之间的通信的协议来接收和/或传输任何可由存储器614存储的数据。此外，通信模块616可附加地或另选地诸如经由总线来可通信地耦接到存储器614、输入/输出模块618和/或中央控制器608的任何其他部件。

根据一些示例性实施方案，输入/输出模块618可以可通信地耦接到处理器612。输入/输出模块618可以能够接收用户输入的指示和/或向用户提供听觉输出、视觉输出、机械输出或其他输出。根据一些示例性实施方案，输入/输出模块618可包括例如对人机界面(HMI)、键盘、鼠标、操纵杆、显示器、触摸屏显示器、麦克风、扬声器、RFID读取器、条形码读取器、生物识别扫描仪和/或其他输入/输出机构的支持。在一些示例性实施方案中，中央控制器608可被体现为服务器或数据库。就这一点而言，与中央控制器608可被实现为最终用户机(例如，远程工作者设备和/或员工设备)或其他类型的被设计用于复杂用户交互的设备的实施方案相比，可减小输入/输出模块618的方面。在一些示例性实施方案(与本文所讨论的其他部件一样)中，可甚至从中央控制器608消除输入/输出中央模块618。另选地，诸如在中央控制器608被体现为服务器或数据库的实施方案中，输入/输出模块618的至少一些方面可体现在用户所使用的与中央控制器608通信的装置上。根据一些示例性实施方案，输入/输出模块618可诸如经由总线来与存储器614、通信模块616和/或任何其他部件通信。根据一些示例性实施方案，一个或多于一个输入/输出模块和/或其他部件可包括在中央控制器608中。

如上所述且基于本公开应当理解，本发明的实施方案可被配置为方法、个人计算机、服务器、移动设备、后端网络设备等。因此，实施方案可包括各种装置，这些装置包括完全硬件或者软件和硬件的任何组合。此外，实施方案可采取至少一个非暂态计算机可读存储介质上的计算机程序产品的形式，该计算机程序产品具有体现在存储介质中的计算机可读程序指令(例如，计算机软件)。可利用任何合适的计算机可读存储介质，包括非暂态硬盘、CD-ROM、闪存存储器、光存储设备或磁存储设备。

已在上文参考方法、装置、系统和计算机程序产品的框图和流程图图示描述了本发明的实施方案。应当理解，电路图和过程流程图的每个方框以及电路图和过程流程图中的方框组合可分别由包括计算机程序指令的各种装置实现。可将这些计算机程序指令加载到通用计算机、专用计算机或其他可编程数据处理装置，诸如上文参考图6所讨论的处理器612，以产生机器，使得计算机程序产品包括在计算机或其他可编程数据处理装置上执行的指令，该计算机或其他可编程数据处理装置形成用于实现一个或多个流程图方框中指定的功能的装置。

还可将这些计算机程序指令存储在计算机可读存储设备(例如，存储器614)中，该计算机可读存储设备可以指示计算机或其他可编程数据处理装置以特定方式工作，使得存储在计算机可读存储设备中的指令产生一种制品，该制品包括用于实现本文所讨论的功能的计算机可读指令。还可将计算机程序指令加载到计算机或其他可编程数据处理装置上，以使得在计算机或其他可编程装置上执行一系列操作步骤，从而产生计算机实现的过程，使得在计算机或其他可编程装置上执行的指令提供用于实现本文所讨论的功能的步骤。

因此，框图和流程图图示的方框支持用于执行指定功能的装置的组合、用于执行指定功能的步骤的组合以及用于执行指定功能的程序指令装置。还应当理解，电路图和过程流程图的每个方框以及电路图和过程流程图中的方框组合可由执行指定功能或步骤的基于专用硬件的计算机系统或者专用硬件和计算机指令的组合来实现。

图7示出了表示根据示例性实施方案的用于监测物料搬运环境中的操作的方法700的流程图。方法700可在步骤702处开始。根据一些示例性实施方案，在步骤704处，系统(例如，物料搬运系统100或系统600)可包括装置诸如控制器(例如，控制器128、608)，该控制器包括可获得表示物料搬运环境的目标区域的3D扫描的数据流的处理器(例如，处理器612)。在这方面，控制器(128,608)可从视觉系统(例如，视觉系统102、602-606)获得数据流。数据流可对应于可由视觉系统的一个或多个基于LiDAR的传感器输出的视频流和/或数据文件，如先前参考图1至图5所述。

在步骤706处，中央控制器(128,608)可获得操作规范数据，该操作规范数据可包括与标准操作规程(SOP)相关的数据以及可与要在物料搬运环境中执行的一个或多个操作相关联的预定义启发法。本文提及的操作可以是可由物料搬运环境内的机器和/或操作员执行的操作。根据一些示例性实施方案，可从可与物料搬运环境相关联的仓库执行系统和/或仓库管理系统获得与SOP相关的数据和预定义启发法。

在步骤708处，中央控制器(128,608)可通过使用数据流和操作规范数据来生成机器学习模型。在这方面，可将数据流和操作规范数据作为输入提供以通过中央控制器(128,608)训练机器学习模型。此外，在步骤710处，中央控制器(128,608)可确定与操作的执行相关联的性能状态。性能状态可使用机器学习模型来确定。性能状态可与操作执行效率相关联。方法700在步骤712处停止。

图8示出了根据示例性实施方案的表示用于使用一个或多个基于LiDAR的传感器来可视化物料搬运环境的目标区域的方法800的流程图。方法800在步骤802处开始。根据一些示例性实施方案，方法800可响应于接收到从基于LiDAR的传感器(例如，LiDAR传感器104)获得数据流的请求而开始，如图7的步骤704所述。就这一点而言，在步骤804处，物料搬运环境的视觉系统(例如，视觉系统102、202、602-606)可包括装置诸如一个或多个基于LiDAR的传感器以执行对物料搬运环境的目标区域的扫描。如先前参考图1至图7所述，可存在可安装在物料搬运环境的各个位置处的多个基于LiDAR的传感器。

移动到步骤806，视觉系统(102,202,602-606)可基于在步骤804处由LiDAR传感器执行的对目标区域的扫描来生成数据流。就这一点而言，数据流可包括点云数据，该点云数据包括与目标区域中的对象和/或个人相关的各种物理点的三维坐标。在一些示例中，本文所提及的点云数据可表示可在与视觉系统相关联的视场/观察区域中捕获的物料搬运环境的整个区域和/或区段的3D视图。换句话讲，点云数据可捕获可存在于由基于LiDAR的视觉系统扫描的目标区域处的各种对象、工人等的3D表示。方法在步骤808处停止。

在一些示例性实施方案中，来自数据流的点云数据可用于确定操作的执行与所定义的SOP和/或启发法的偏差。在这方面，在一些示例性实施方案中，可将源自包括3D点云的数据流的第一组数据点与源自操作规范数据或现有启发法数据的第二组数据点进行比较以确定偏差。

图9示出了根据示例性实施方案的表示用于使用来自物料搬运环境的一个或多个基于LiDAR的传感器的数据流来监测物料搬运环境的操作性能的方法900的流程图。方法900在步骤902处开始。在一些示例性实施方案中，方法900可响应于机器学习模型的生成而开始，如图7的步骤708所述。就这一点而言，可执行本文所述的方法900的一个或多个步骤以用于确定与以下相关联的性能状态：与物料搬运环境内的机器、个人等中的一者或多者相关联的操作和/或活动的执行。

在步骤904处，系统(例如，物料搬运系统100)可包括装置诸如控制器128以确定新关键性能指示符(KPI)。根据所述示例性实施方案，可基于对操作规范数据和表示物料搬运环境的目标区域的3D扫描的数据流的分析来确定关键性能指示符。如先前参考图7所述，操作数据可由控制器128从仓库执行系统获得。操作数据可包括SOP数据以及与由物料搬运环境中的机器和/或工人中的一者或多者执行的各种操作(例如，但不限于，如先前所述的容器补充操作或物品挑选操作)相关联的预定义启发法。此外，如前所述的数据流可对应于由物料搬运系统100的一个或多个LiDAR传感器捕获的目标区域的三维表示的记录。

在一些示例中，KPI可与机器、操作员和要在物料搬运环境中执行的工作流过程中的至少一者的操作相关联。在一个示例中，KPI可与可从数据流中识别的一个或多个对象的结构特性相关联。例如，KPI可与结构特性相关联，该结构特性与物料搬运环境的目标区域中的包括以下中的至少一者的对象相关联：搬运箱、容器、托盘、纸箱。就这一点而言，基于与这些对象相关联的结构特性(诸如尺寸、纹理、颜色、形状、取向等)，可定义与个人和/或机器对这些对象的搬运相关的KPI并且可评估与这些对象相关联的各种操作的性能。

在另一个示例中，KPI可与由操作员遵循以在执行物品挑选工作流时挑选第一物品的路线相关联。在另一个示例中，KPI可与通过传送机的一部分传送的搬运箱的对准相关联。在另一个示例中，KPI可与第三物品在运输通过传送机的一部分时的取向相关联。在另一个示例中，KPI可与进入自动化存储和检索系统(例如，ASRS 122，如图1所述)的区中的容器的尺寸相关。

转到步骤906，控制器128可通过将在步骤904处生成的新KPI包括在SOP数据中来修改操作规范数据。在一些示例性实施方案中，对操作规范数据的这种修改可以是基于确定性能状态(如在方法700的步骤710处所述)来识别的补救或过程校正动作的一部分。方法在步骤908处停止。

根据一些示例性实施方案，用于确定性能状态的机器学习模型可由处理设备(例如，控制器128)可部署的机器学习引擎构建。在一些示例中，机器学习引擎可包括其自身的处理单元。另选地，在一些示例性实施方案中，机器学习引擎可以可通信地联接到外部处理单元，诸如处理器612或控制器128，如前所述。根据一些示例性实施方案，机器学习引擎可采用一个或多个机器学习过程和/或一种或多种人工智能技术来生成机器学习模型。在一些示例性实施方案中，由机器学习引擎构建的机器学习模型可通过使用由与物料搬运环境中的各种视觉系统相关联的一个或多个基于LiDAR的传感器捕获的数据流来训练。另外，在一些示例性实施方案中，包括各种SOP以及与物料搬运系统中的各种过程和/或机器相关联的预定义启发法的操作规范数据也可用作输入以训练机器学习模型。就这一点而言，在一些示例性实施方案中，可确定可从数据流和操作数据中识别的各种场景之间的相关性并且将其用作输入以训练机器学习模型。在一些示例性实施方案中，机器学习模型可基于神经网络。换句话讲，机器学习引擎可部署神经网络以构建机器学习模型。在这方面，根据一些示例性实施方案，包括数据流和操作规范数据的输入数据可通过神经网络架构的一个或多个层处理以输出决策分类，该决策分类可确定与物料搬运环境中的机器和/或工人相关联的操作的执行的性能状态。在这方面，在一些示例中，性能状态可与操作执行效率相关联。

根据各种示例性实施方案，为了生成并训练机器学习模型，机器学习引擎可采用各种技术。例如，在一些示例中，机器学习引擎可使用支持向量机(SVM)分类器以根据输入数据(即，来自一个或多个基于LiDAR的传感器的数据流和/或操作规范数据)来确定一个或多个分类、一个或多个相关性、一个或多个表达式、一个或多个推断、一个或多个模式、一个或多个特征和/或其他学习信息。在另一个示例性实施方案中，机器学习引擎可采用一个或多个机器学习分类技术，诸如但不限于与贝叶斯机器学习网络、二元分类模型、多类分类模型、线性分类器模型、二次分类器模型、神经网络模型、概率分类模型、决策树和/或一个或多个其他分类模型相关联的技术。根据一些示例性实施方案，机器学习引擎所采用的机器学习模型(例如，分类模型、机器学习分类器等)可被明确训练(例如，经由训练数据)和/或隐式训练(例如，经由由机器学习模型接收的外在数据)。例如，由机器学习引擎采用的机器学习模型(例如，分类模型、机器学习分类器等)可通过训练数据来训练，该训练数据可包括例如但不限于：表示目标区域的3D扫描的数据流、操作规范数据(包括针对各种用例定义的SOP、与在物料搬运站点中执行的各种过程和/或操作相关联的预定义启发法)。此外，可通过神经网络的一个或多个网络层，根据期望的输出使用适用的一个或多个激活函数(例如，ReLU函数等)来处理输入数据。

图10示出了根据示例性实施方案的物料搬运系统的计算设备1000的示例的透视图。在一些示例性实施方案中，计算设备1000可对应于如图1所述的包括控制器128的DC执行系统126。在一些示例性实施方案中，计算设备1000可对应于如参考图6所述的中央控制器608。在一些示例性实施方案中，计算设备1000的一个或多个部件可用于执行参考图7至图9所述的一个或多个操作。

在一些示例性实施方案中，计算设备1000可提供有线或无线通信网络与服务器和/或通信设备之间的联网和通信能力。为了为其各个方面提供附加的上下文，图10和以下讨论旨在提供合适的计算环境的简要的一般性描述，在该计算环境中可实现实施方案的各个方面来促进实体与第三方之间交易的建立。虽然以上描述是在可在一个或多个计算机上运行的计算机可执行指令的一般性上下文中，但本领域的技术人员将认识到，各种实施方案也可与其他程序模块结合和/或作为硬件和软件的组合来实现。

根据所述示例性实施方案，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、部件、数据结构等。此外，本领域的技术人员应当理解，本发明的方法可用其他计算机系统配置来实践，包括单处理器或多处理器计算机系统、小型计算机、大型计算机以及个人计算机、手持式计算设备、基于微处理器或能够编程的消费电子产品等，它们中的每一者都可操作地耦接到一个或多个相关联的设备。

各种实施方案的所示方面也可在分布式计算环境中实践，在分布式计算环境中，某些任务由通过通信网络链接的远程处理设备执行。在分布式计算环境中，程序模块可位于本地存储器存储设备和/或远程存储器存储设备中。根据一些示例性实施方案，计算设备通常包括各种介质，这些介质可包括计算机可读存储介质或通信介质，这两个术语在本文中彼此不同地使用，如下所述。

根据一些示例性实施方案，计算机可读存储介质可以是可由计算机访问的任何可用存储介质，并且包括易失性和非易失性介质、可移动和不可移动介质。作为示例而非限制，可以结合用于存储信息(诸如计算机可读指令、程序模块、结构化数据、或非结构化数据)的任何方法或技术来实现计算机可读存储介质。计算机可读存储介质可包括但不限于RAM、ROM、EEPROM、闪存存储器或其他存储器技术、CD ROM、数字通用光盘(DVD)或其他光盘存储设备、磁带盒、磁带、磁盘存储设备或其他磁存储设备，或可用于存储所需信息的其他有形和/或非暂态介质。计算机可读存储介质可由一个或多个本地或远程计算设备例如经由访问请求、查询或其他数据检索协议来访问，以针对该介质存储的信息进行多种操作。

在一些示例中，通信介质可在数据信号(诸如调制数据信号，例如，载波或其他传输机制)中体现计算机可读指令、数据结构、程序模块、或其他结构或非结构化数据，并且包括任何信息递送或运输介质。术语“调制数据信号”或信号是指以将信息编码在一个或多个信号中的方式设置或改变其特性集中的一个或多个的信号。作为示例而非限制，通信介质包括有线介质(诸如有线网络或直接有线连接)以及无线介质(诸如声学、RF、红外和其他无线介质)。

参考图10，实现本文关于计算设备1000描述的各个方面可包括处理单元1004、系统存储器1006和系统总线1008。系统总线1008可被配置为将包括但不限于系统存储器1006的系统部件耦接到处理单元1004。在一些示例性实施方案中，处理单元1004可为各种可商购获得的处理器中的任何一种。为此，在一些示例中，双微处理器和其他多处理器架构也可用作处理单元1004。

根据一些示例性实施方案，系统总线1008可为可进一步互连到存储器总线(具有或不具有存储器控制器)、外围总线和本地总线的几种类型的总线结构中的任何一种，这些总线使用各种可商购获得的总线架构中的任何一者。在一些示例中，系统存储器1006可包括只读存储器(ROM)1027和随机存取存储器(RAM)1012。根据一些示例性实施方案，基本输入/输出系统(BIOS)存储在非易失性存储器1027(诸如ROM、EPROM、EEPROM)中，该BIOS包含有助于在计算设备1000内的元件之间传递信息(诸如在启动过程中)的基本例程。RAM 1012还可包括高速RAM，诸如用于高速缓存数据的静态RAM。

根据一些示例性实施方案，计算设备1000还可包括内部硬盘驱动器(HDD)1014(例如，EIDE、SATA)，该内部硬盘驱动器1014也可被配置为在合适的机箱(未示出)、磁软盘驱动器(FDD)1018(例如，从可移动磁盘1016读取或写入到可移动磁盘)和光盘驱动器1020(例如，读取CD-ROM盘，或从其他大容量光介质诸如DVD读取或写入到其他大容量光介质)中供外部使用。在一些示例中，硬盘驱动器1014、磁盘驱动器1022和光盘驱动器1020可分别由硬盘驱动器接口1024、磁盘驱动器接口1026和光学驱动器接口1028连接到系统总线1008。根据一些示例性实施方案，用于外部驱动器具体实施的接口1024可包括通用串行总线(USB)和IEEE 1394接口技术中的至少一者或两者。其他外部驱动连接技术也在本主题实施方案的设想内。

根据本文所述的一些示例性实施方案，驱动器及其相关联的计算机可读介质提供数据、数据结构、计算机可执行指令等的非易失性存储。对于计算设备1000，驱动器和介质适应存储合适的数字格式的任何数据。尽管上面对计算机可读介质的描述是指HDD、可移动磁盘和可移动光学介质(诸如CD或DVD)，但本领域的技术人员可理解，可由计算设备1000读取的其他类型的介质(诸如zip驱动器、磁带盒、闪存存储器卡、磁带等)也可在示例性操作环境中使用，此外，任何此类介质可包含用于执行本发明所公开的实施方案的方法的计算机可执行指令。

在一些示例性实施方案中，多个程序模块可存储在驱动器和RAM1012中，包括操作系统1030、一个或多个应用程序1032、其他程序模块1034和程序数据1036。为此，在一些示例中，操作系统、应用程序、模块和/或数据的全部或部分也可被高速缓存在RAM 1012中。应当理解，各种实施方案可用各种可商购获得的操作系统或操作系统的组合来实现。

根据一些示例性实施方案，用户可通过一个或多个有线/无线输入设备(例如，键盘1038)和指向设备(诸如鼠标1040)来将命令和信息输入到计算设备1000中。其他输入设备(未示出)可包括麦克风、IR遥控器、操纵杆、游戏手柄、触笔、触摸屏等。在一些示例中，这些和其他输入设备通常通过耦接到系统总线1008的输入设备接口1042连接到处理单元1004，但是可由其他接口连接，诸如并行端口、IEEE 1394串行端口、游戏端口、USB端口、IR接口等。

根据一些示例性实施方案，监视器1044或其他类型的显示设备也可通过接口(诸如视频适配器1046)连接到系统总线1008。除了监视器1044之外，计算设备1000还可包括其他外围输出设备(未示出)，诸如扬声器、打印机等。

根据一些示例性实施方案，计算设备1000可使用通过有线和/或无线通信到一个或多个远程计算机(诸如远程计算机1048)的逻辑连接来在联网环境中操作。在一些示例中，远程计算机1048可为工作站、服务器计算机、路由器、个人计算机、便携式计算机、基于微处理器的娱乐设备、对等设备或其他公共网络节点，并且通常包括关于计算机所述的元件中的许多或全部，尽管为了简洁起见，仅示出了存储器/存储设备1050。根据一些示例性实施方案，所描绘的逻辑连接包括到局域网(LAN)1052和/或更大的网络(例如广域网(WAN)1054)的有线/无线连接。此类LAN和WAN网络环境常见于办公室和公司中，并且促进了企业范围内的计算机网络诸如企业内部网，所有这些计算机网络都可连接到全球通信网络，例如互联网。

在一些示例中，当在LAN联网环境中使用时，计算设备1001可通过有线和/或无线通信网络接口或适配器1056连接到LAN 1052。适配器1056可促进与LAN 1052的有线或无线通信，该LAN还可包括设置在其上的用于与无线适配器1056通信的无线接入点。

在另选的示例中，当在WAN联网环境中使用时，计算设备1001可包括调制解调器1058，或者可连接到WAN 1054上的通信服务器，或者具有用于通过WAN 1054建立通信的其他装置，诸如通过互联网。调制解调器1058可以是内部或外部的有线或无线设备，该设备通过输入设备接口1042连接到系统总线1008。在联网环境中，关于计算机或其部分所描绘的程序模块可存储在远程存储器/存储设备1050中。应当理解，所示的网络连接是示例性的，并且可使用在计算机之间建立通信链路的其他装置。

根据一些示例性实施方案，计算设备1000可操作为与可操作地设置在无线通信中的任何无线设备或实体进行通信，例如打印机、扫描仪、台式计算机和/或便携式计算机、便携式数据助理、通信卫星、与可无线检测的标签信息相关的任何装备或位置(例如，信息亭、售报处、盥洗室)，以及电话。这还可包括至少Wi-Fi和Bluetooth^TM无线技术。因此，该通信可以是与常规网络一样的预定义结构，或者仅仅是至少两个设备之间的自组通信。

根据一些示例性实施方案，Wi-Fi或无线保真(Wireless Fidelity)允许在不用网线的情况下从家中的长沙发、酒店房间的床或工作场所的会议室连接到互联网。为此，本文提及的Wi-Fi是类似于在移动电话中使用的无线技术，其使得此类设备例如计算机可在室内和室外以及基站范围内的任何地方发送和接收数据。Wi-Fi网络使用称为IEEE1002.10(a、b、g、n等)的无线电技术来提供安全、可靠、快速的无线连接。此外，根据本文所述的一些示例性实施方案，Wi-Fi网络可用于将计算机彼此连接，连接到互联网以及连接到有线网络(这些有线网络使用IEEE1002.3或以太网)。Wi-Fi网络以(例如)10Mbps(1002.10b)或54Mbps(1002.10a)数据速率在无许可2.4和5GHz无线电频带中操作，或者在包含两个频带(双频带)的产品上运行，因此这类网络可提供与许多办公室中使用的基本“9BaseT”有线以太网相似的真实性能。

在一些示例实施方案中，可如下所述修改或进一步放大本文中的操作中的一些。此外，在一些实施方案中，还可包括附加任选的操作。应当理解，本文所述的修改、任选的添加或扩增中的每一个操作可单独地或与本文所述的特征中的任何其他特征组合地包括在本文的操作中。

提供前述方法描述和过程流程图仅作为说明性示例，并且不旨在要求或暗示必须以所呈现的顺序执行各种实施方案的步骤。如本领域技术人员将理解的，上述实施方案中的步骤顺序可以任何顺序执行。词语诸如“之后”、“然后”、“下一个”等并不旨在限制步骤的顺序；这些词只是用来引导读者了解方法的描述。此外，例如，使用冠词“一个”、“一种”或“该”对单数形式的权利要求元素的任何引用都不应被解释为将元素限制为单数。

结合本文所公开的实施方案描述的各种说明性逻辑块、模块、电路和算法步骤可实现为电子硬件、计算机软件或两者的组合。为了清楚地示出硬件和软件的这种可互换性，上文已经大体上根据其功能描述了各种说明性部件、块、模块、电路和步骤。将此类功能实施为硬件还是软件取决于特定应用和施加在整个系统的设计约束。技术人员可针对每个特定应用以不同的方式实现所描述的功能，但是此类具体实施决策不应被解释为导致偏离本发明的范围。

用于实现结合本文所公开的方面描述的各种说明性逻辑、逻辑块、模块和电路的硬件可用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑设备、离散栅极或晶体管逻辑、离散硬件部件或设计用于执行本文描述的功能的任何组合来实现或执行。通用处理器可以是微处理器，但是，另选地，该处理器可以是任何常规的处理器、控制器、微控制器或状态机。处理器可还被实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、结合DSP核心的一个或多个微处理器或者任何其他这种配置。另选地，一些步骤或方法可通过特定于给定功能的电路来执行。

在一个或多个示例性方面，所描述的功能可以硬件、软件、固件或它们的任何组合来实现。如果以软件来实现，这些功能可作为一个或多个指令或代码存储在非暂态计算机可读介质或非暂态处理器可读存储介质上。本文所公开的方法或算法的步骤可体现在处理器可执行软件模块(或处理器可执行指令)中，该处理器可执行软件模块可驻留在非暂态计算机可读或处理器可读存储介质上。非暂态计算机可读或处理器可读存储介质可以是可由计算机或处理器访问的任何存储介质。作为示例而非限制，此类计算机可读存储介质可包括RAM、ROM、EEPROM、闪存存储器、CD-ROM或其他光盘存储设备、磁盘存储设备或其他磁存储设备，或者可用于存储指令或数据结构形式的所需程序代码并且可由计算机访问的任何其他介质。如本文所用，磁盘和光盘包括压缩光盘(CD)、激光盘、光盘、数字通用光盘(DVD)、软磁盘及Blu-ray光盘，其中磁盘通常以磁性方式复制数据，而光盘则利用激光以光学方式复制数据。上述的组合也包括在非暂态计算机可读和处理器可读介质的范围内。另外，方法或算法的操作可作为代码和/或指令的一个或任意组合或集合驻留在非暂态处理器可读介质和/或计算机可读介质上，该非暂态处理器可读介质和/或计算机可读介质可并入计算机程序产品中。

虽然上文已经示出并描述了根据本文所公开的原理的各种实施方案，但在不脱离本公开的实质和教导的情况下，本领域的技术人员可对其作出修改。本文所述的实施方案仅是代表性的而并非意在进行限制。许多变化、组合和修改都是可能的，且在本公开的范围内。由于合并、整合和/或省略一个或多个实施方案的特征而得到的替代实施方案也在本公开的范围内。因此，保护范围不受上面给出的描述的限制，而是由以下的权利要求书限定，该范围包括权利要求书的主题的所有等价物。每一项权利要求作为进一步的公开内容并入说明书中，并且权利要求书为一个或多个本发明的一个或多个实施方案。此外，任何上述优点和特征可与特定实施方案相关，但不应将此类公布的权利要求书的应用限制为实现任何或所有上述优点或具有任何或所有上述特征的过程和结构。

此外，本文所使用的章节标题是为了与37C.F.R.1.77的建议一致或者提供组织线索。这些标题不应限制或表征可从本公开公布的任何权利要求中所阐述的一个或多个发明。例如，“背景技术”中的技术的描述不应被解读为承认某项技术是本公开中的任何发明的现有技术。“发明内容”也不应被认为是在公布的权利要求书中所阐述的一个或多个发明的限制性表征。此外，本公开中对单数形式的“发明”的任何提及不应被用于证明在本公开中仅有一个新颖点。可根据从本公开公布的多个权利要求的限制来阐述多个发明，并且此类权利要求相应地限定了由其保护的发明及其等同物。在所有情况下，这些权利要求的范围应根据本公开按照权利要求自身的优点来考虑，而不应受到本文所陈述的标题的限制。

此外，在不脱离本公开的范围的情况下，可将在各个实施方案中被描述和示出为分立或独立的技术、系统、子系统和方法与其他系统、模块、技术或方法结合或集成。被示出或讨论为彼此直接耦接或通信的其他项可通过某个接口、设备或中间部件间接耦接或通信，而不论是通过电的方式、机械的方式还是其他方式进行这种耦接或通信。本领域技术人员可确定并且在不脱离本文所公开的实质和范围的情况下可以作出变化、替换和变更的其它示例。

本发明所属领域的技术人员将想到本文所阐述的本发明的许多修改和其他实施方案，其具有前述描述和相关附图中呈现的教导的益处。尽管图仅示出了本文所述的装置和系统的某些部件，但应当理解，各种其他部件可与供应管理系统结合使用。因此，应当理解，本发明不限于所公开的特定实施方案，并且修改和其他实施方案旨在被包括在所附权利要求的范围内。例如，可将各种元件或部件结合或集成到另一个系统中，或者可省略或不实现某些特征。此外，上述方法中的步骤可能不一定以附图中所描绘的顺序发生，并且在一些情况下，所描绘的步骤中的一个或多个步骤可基本上同时发生，或者可涉及附加步骤。尽管本文采用了特定术语，但它们仅以一般性和描述性意义使用，而不是出于限制的目的。

如将理解的，可将任何此类计算机程序指令和/或其他类型的代码加载到计算机、处理器或其他可编程装置的电路上以产生机器，使得在该机器上执行代码的计算机、处理器、其他可编程电路形成用于实现各种功能(包括本文所述的那些功能)的装置。

还应注意，由本文所讨论的示例性显示器呈现的所有或一些信息可基于由本地或联网系统和/或电路的一个或多个部件接收、生成和/或维护的数据。在一些实施方案中，还可利用一个或多个外部系统(诸如远程云计算和/或数据存储系统)来提供本文所讨论的功能中的至少一些功能。

如上所述以及基于本公开将理解的，本发明的实施方案可被配置为方法、个人计算机、服务器、移动设备、后端网络设备等。因此，实施方案可包括各种装置，这些装置完全地包括硬件或者包括软件和硬件的任何组合。此外，实施方案可采取至少一个非暂态计算机可读存储介质上的计算机程序产品的形式，该计算机程序产品具有体现在存储介质中的计算机可读程序指令(例如，计算机软件)。可利用任何合适的计算机可读存储介质，包括非暂态硬盘、CD-ROM、闪存存储器、光存储设备或磁存储设备。

Claims (20)

1.一种物料搬运系统，包括：

视觉系统，所述视觉系统包括多个基于光检测和测距（LiDAR）的传感器，所述视觉系统被配置为：

扫描物料搬运环境的目标区域；以及

生成数据流，所述数据流包括表示所述目标区域的3D扫描的三维（3D）点云；

计算系统，所述计算系统可通信地耦接到所述视觉系统和仓库执行系统，所述计算系统包括处理器，所述处理器被配置为：

从所述视觉系统获得所述数据流；

从所述仓库执行系统获得操作规范数据，所述操作规范数据包括标准操作规程（SOP）数据和预定义启发法，所述预定义启发法与待由所述物料搬运环境中的机器和操作员中的至少一者执行的操作相关联；

通过使用所述数据流和所述操作规范数据作为输入以训练机器学习模型来生成所述机器学习模型；以及

通过使用所述机器学习模型来确定与所述至少一个机器的操作的执行效率相关联的性能状态，

通过使用所述机器学习模型，根据所述性能状态来确定与所述至少一台机器的操作的执行相关联的新关键性能指标；以及

通过将新的关键性能指标包含在SOP数据中，根据所述新关键性能指标来修改所述操作规范数据，其中所述新的关键性能指标与先前未知的用例相关联。

2.根据权利要求1所述的物料搬运系统，其中所述数据流包括对应于由所述物料搬运环境中的以下中的至少一者执行的操作的监测的数据：传送机、分拣系统、分离单元、机器人操纵器、升降机、托盘千斤顶、自动化导向车辆（AGV）和所述操作员。

3.根据权利要求1所述的物料搬运系统，其中所述处理器被配置为：

分析所述数据流以识别与所述物料搬运环境中的操作相关联的阻塞点，其中所述阻塞点指示与以下中的至少一者相关联的故障状况：所述操作的执行；以及

生成指示以下中的至少一者的消息：所述阻塞点和待执行以解决所述阻塞点的校正动作。

4.根据权利要求1所述的物料搬运系统，其中所述处理器被配置为：

将源自包括所述3D点云的所述数据流的第一组数据点与源自所述操作规范数据的第二组数据点进行比较。

5.根据权利要求1所述的物料搬运系统，其中所述处理器被配置为：

基于由所述机器学习模型分析所述数据流和所述操作规范数据来识别与所述物料搬运环境内的所述机器和所述操作员中的至少一者相关联的安全问题；以及

生成指示所述安全问题的警报。

6.根据权利要求5所述的物料搬运系统，其中所述安全问题对应于以下中的至少一者：

所述物料搬运环境中的机器人操纵器的机器人臂以异常速度的移动；

在所述物料搬运环境中由托盘堆跺机以易于导致多个容器中的一个或多个容器掉落的方式堆叠所述多个容器；

所述物料搬运环境中的自动化导向车辆（AGV）所遵循的路径；以及

所述物料搬运环境中的传送机的传送带以易于引起在所述传送带上传送的物品的碰撞的速度的运动。

7.根据权利要求1所述的物料搬运系统，其中所述处理器被配置为：

基于所述机器学习模型对所述操作规范数据和所述数据流的分析，确定与所述物料搬运环境中的所述机器、所述操作员和待执行的工作流程中的至少一者的操作相关联的新关键性能指示符；以及

通过将所述新关键性能指示符包括在标准操作规程数据中来修改所述操作规范数据。

8.根据权利要求7所述的物料搬运系统，其中所述新关键性能指示符与以下中的至少一者相关联：

与所述物料搬运环境中的搬运箱、容器、托盘、纸箱中的至少一者相关联的结构特性；

由所述操作员在执行物品挑选工作流时挑选第一物品所遵循的路线；

通过传送机的一部分传送的搬运箱的对准；

第三物品在运输通过所述传送机的一部分时的取向；以及

进入自动化存储和检索系统的区中的容器的尺寸。

9.根据权利要求1所述的物料搬运系统，还包括：

人机界面，所述人机界面耦接到所述处理器，所述人机界面包括显示单元，所述显示单元被配置为显示以下中的至少一者：

由所述视觉系统捕获的所述数据流的回放；

仪表板，所述仪表板包括由所述处理器基于所述数据流监测的与所述机器和所述操作员中的至少一者相关联的多个关键性能指示符；

视觉指示器，所述视觉指示器指示由所述处理器基于所述数据流识别的所述物料搬运环境中的阻塞点；

警报，所述警报指示由所述处理器基于所述数据流识别的与所述机器和所述操作员中的至少一者相关联的安全问题；以及

审计报告，所述审计报告用于可视化与在所述物料搬运环境中执行的一个或多个活动相关联的生产数据、操作数据、编排数据中的至少一者。

10.根据权利要求1所述的物料搬运系统，其中所述处理器被配置为：

生成指示与预定义效率水平的偏差的程度的第一反馈；以及

生成指示待执行的动作的第二反馈，使得所述动作的执行致使所述操作的执行满足所述效率水平。

11.一种在物料搬运环境中监测操作的方法，所述方法包括：

使用来自基于 LiDAR 的传感器的输出获得表示物料搬运环境中的目标区域的 3D 扫描的数据流；

从仓库执行系统获得操作规范数据，所述操作规范数据包括标准操作规程 (SOP) 数据和预定义启发法，所述预定义启发法与所述物料搬运环境中待由机器和操作员中的至少一者执行的操作相关联；

通过使用所述数据流和所述操作规范数据作为输入以训练机器学习模型来生成所述机器学习模型；以及

通过使用所述机器学习模型来确定与所述至少一个机器的操作的执行效率相关联的性能状态，

通过使用所述机器学习模型，根据所述性能状态来确定与至少一台机器的操作的执行相关联的新关键性能指标；以及

通过将新的关键性能指标包含在SOP数据中，根据所述新关键性能指标来修改所述操作规范数据，其中所述新的关键性能指标与先前未知的用例相关联。

12.根据权利要求11所述的方法，包括：

由基于LiDAR的传感器扫描所述物料搬运环境的所述目标区域；和

生成数据流，所述数据流包括与机器、操作员和所述物料搬运环境的区段中的至少一者相关联的三维（3D）点云。

13.根据权利要求11所述的方法，进一步包括：

分析所述数据流以识别与所述物料搬运环境中的操作相关联的阻塞点，其中所述阻塞点指示与物料搬运环境中的机器和由操作员执行的工作流中的至少一者的操作员相关联的故障状况；和

生成指示以下项中的至少一者的消息：阻塞点和待执行以解决所述阻塞点的补救动作。

14.根据权利要求11所述的方法，进一步包括：

基于由所述机器学习模型对操作规范数据和数据流的分析，确定与所述物料搬运环境中的所述机器、所述操作员和待执行的工作流程中的至少一者的操作相关联的新关键性能指示符；以及

通过将所述新关键性能指示符包括在标准操作规程数据中来修改所述操作规范数据。

15.根据权利要求11所述的方法，进一步包括显示以下中的至少一项：

数据流的回放；

仪表板，所述仪表板包括基于数据流进行监测的与所述机器和所述操作员中的至少一者相关联的多个关键性能指示符；

视觉指示器，所述视觉指示器指示由处理器基于所述数据流识别的所述物料搬运环境中的阻塞点；

警报，所述警报指示与所述机器和所述操作员中的至少一者相关联的安全问题，所述警报由所述处理器基于所述数据流识别；和

审计报告，所述审计报告用于可视化与在所述物料搬运环境中执行的一个或多个活动相关联的生产数据、操作数据、编排数据中的至少一者。

16.一种在其上存储有计算机可执行指令的非暂态计算机可读介质，响应于处理器的执行，所述计算机可执行所述指令来执行操作，包括：

使用来自基于LiDAR的传感器的输出来获得表示物料搬运环境中的目标区域的3D扫描的数据流；

从仓库执行系统获得操作规范数据，所述操作规范数据包括标准操作规程（SOP）数据和预定义启发法，所述预定义启发法与所述物料搬运环境中待由机器和操作员中的至少一者执行的操作相关联；

通过使用所述数据流和所述操作规范数据作为输入以训练机器学习模型来生成所述机器学习模型；以及

通过使用所述机器学习模型来确定与所述至少一个机器的操作的执行相关联的性能状态，其中所述性能状态与所述操作的执行效率相关联，

通过使用所述机器学习模型，根据所述性能状态来确定与至少一台机器的操作的执行相关联的新关键性能指标；以及

通过将新的关键性能指标包含在SOP数据中，根据所述新关键性能指标来修改所述操作规范数据，其中所述新的关键性能指标与先前未知的用例相关联。

17.根据权利要求16所述的非暂时性计算机可读介质，其中所述数据流包括对应于由所述物料搬运环境中的以下中的至少一者执行的操作的监测的数据：传送机、分拣系统、分离单元、机器人操纵器、升降机、托盘千斤顶、自动化导向车辆（AGV）和操作员。

18.根据权利要求16所述的非暂时性计算机可读介质，其中所述计算机可执行指令响应于处理器的执行来执行以下操作，进一步包括：

生成指示偏离预定效率水平的程度的第一反馈；和

生成指示要执行的动作的第二反馈，从而使得所述动作的执行使操作的执行满足效率水平。

19.根据权利要求16所述的非暂时性计算机可读介质，其中所述计算机可执行指令响应于由处理器执行来执行以下操作，进一步包括：

分析所述数据流以识别与所述物料搬运环境中的操作相关联的阻塞点，其中所述阻塞点指示与操作的执行相关联的故障状况；和

生成指示以下中的至少一者的消息：阻塞点和待执行以解决所述阻塞点的校正动作。

20.根据权利要求16所述的非暂时性计算机可读介质，其中所述计算机可执行指令响应于由处理器执行来执行以下操作，进一步包括：

基于由机器学习模型对所述操作规范数据和数据流的分析，确定与所述物料搬运环境中的所述机器、所述操作员和待执行的工作流程中的至少一者的操作相关联的新关键性能指示符；和

通过将所述新关键性能指示符包括在标准操作规程数据中来修改所述操作规范数据。