CN115016634A - 用于物料搬运车辆的辅助系统和方法 - Google Patents

Abstract

系统和方法为物料搬运车辆的操作者提供辅助。训练强化辅助设备，该训练强化辅助设备具有支撑光学系统的框架，该光学系统被配置为用于在显示器上显示虚拟内容，并且用于实现对周围环境的至少部分的观看；成像仪，该成像仪可操作地与框架耦合；加速度计，该加速度计可操作地与框架耦合，并被配置为用于检测框架的取向；眼跟踪单元，该眼跟踪单元可操作地与框架耦合，并被配置为用于检测操作者的观看方向；以及控制器，该控制器可操作地与成像仪和显示器耦合。控制器从成像仪、加速度计或眼跟踪单元中的至少一者接收环境信息，并叠加环境的图像，以辅助操作者基于物料搬运车辆的车辆运动学操纵物料搬运车辆。

Description

用于物料搬运车辆的辅助系统和方法

相关申请的交叉引用

本申请基于2021年3月4日提交的题为“Assistance Systems and Methods for aMaterial Handling Vehicle(用于物料搬运车辆的辅助系统和方法)”的美国临时专利申请第63/156,505号，要求该申请的优先权，并且通过引用将该申请以其整体并入本文。

关于联邦资助研究的声明

不适用。

背景技术

已开发出用于将货物装载到一般标准化的运输平台上的物料搬运车辆。例如，叉车通常用于抬升被装载到托盘上的货物。托盘通常具有连接到顶部的垂直支撑，因此限定了通道。某些已知的叉车被配置为用于接近托盘并将双锡叉插入到处于垂直支撑之间并在顶部下方的通道中。然后，托盘和装载的货物可以用叉抬升。组合的托盘和装载的货物可以被称为负载。

对于某些类型的车辆，存在各种政府机构、法律、法规和条例规定的训练要求。例如，美国劳工部职业安全与健康管理局(OSHA)规定雇主有义务训练和监督各种类型的物料搬运车辆的操作者。还要求每三年重新认证一次。在某些实例中，在需要时应当向操作者提供相关主题的进修培训。在所有实例中，在任何动作的执行期间，操作者维持对物料搬运车辆的控制。此外，仓库管理员维持对仓库环境内的物料搬运车辆的车队的控制。仓库管理员提供的对操作者的训练和监督要求有适当的操作实践等，包括操作者维持对物料搬运车辆的控制、注意操作环境、以及始终看向行驶方向等。

发明内容

本公开总体上涉及增强车辆反馈，并且更具体地涉及结合在仓库环境中操作的物料搬运车辆使用的增强现实系统和方法。

在一个方面，本公开提供一种系统，该系统包括：训

练强化辅助设备，该训练强化辅助设备具有框架，该框架支撑光学系统，其中，该光学系统被配置为用于在显示器上显示虚拟内容，并且被配置为用于实现对周围环境的至少部分的观看；成像仪，该成像仪可操作地与框架耦合，并且被配置为用于产生该成像仪的环境的图像；加速度计，该加速度计可操作地与框架耦合，并被配置为用于检测该框架的取向；眼跟踪单元，该眼跟踪单元可操作地与框架耦合，并且被配置为检测操作者的观看方向；以及控制器，该控制器可操作地与成像仪和显示器耦合；其中，该控制器被配置为用于从成像仪、加速度计或眼跟踪单元中的至少一者接收环境信息，并且被配置为用于叠加环境的图像，以辅助操作者在操作者通过光学系统的视线范围内、基于物料搬运车辆的车辆运动学操纵物料搬运车辆。

在另一方面，本公开提供了一种系统，该系统通过光学系统向物料搬运车辆的操作者提供叠加的图像，该系统包括：训练强化辅助设备，该训练强化辅助设备具有框架，该框架支撑成像仪和显示器，该显示器可操作地与光学系统耦合；控制器，该控制器与框架耦合；控制单元，该控制单元可操作地与物料搬运车辆耦合并通信地与该控制器耦合；以及第一基准，该第一基准位于物料搬运车辆上，成像仪被配置为用于检测该基准以相对于物料搬运车辆对框架进行取向；其中，显示器被配置为用于基于框架的位置和至少一个车辆运动学来生成图像。

在另一方面，本公开提供一种系统，该系统包括：训练强化辅助设备，该训练强化辅助设备具有框架，该框架支撑光学系统，其中，该光学系统被配置为用于显示虚拟内容并且实现对周围环境的至少部分的观看；眼跟踪单元，该眼跟踪单元可操作地与框架耦合，并且被配置为用于检测操作者的观看方向；以及控制器，该控制器可操作地与成像仪和显示器耦合；其中，控制器被配置为用于基于操作者的注视轴计算光学系统提供的图像的位置，该图像被配置为用于在操作物料搬运车辆时提供辅助。

在另一方面，本公开提供了一种用于通过光学系统为物料搬运车辆的操作者提供计算的路径的系统，该系统包括：训练强化辅助设备，该训练强化辅助设备具有框架，该框架支撑成像仪和显示器，该显示器可操作地与光学系统耦合；控制器，该控制器与该框架耦合；控制单元，该控制单元可操作地与物料搬运车辆耦合，并且与控制器耦合；成像仪，该成像仪可操作地与框架耦合，并且被配置为用于产生该成像仪的环境的图像；以及加速度计，该加速度计可操作地与框架耦合，并被配置为用于检测该框架的取向；其中，控制器被配置为从成像仪和加速度计中的至少一者接收环境信息，并且被配置为用于标识负载位置，并且被配置为用于规划路径，并且被配置为用于在操作者控制油门命令的同时执行用于物料搬运车辆的转向命令。

在另一方面，本公开提供一种系统，该系统包括：训练强化辅助设备，该训练强化辅助设备具有框架，该框架支撑光学系统，其中，该光学系统被配置为用于在显示器上显示虚拟内容，并且被配置为用于实现对周围环境的至少部分的观看；成像仪，该成像仪可操作地与框架耦合，并且被配置为用于产生该成像仪的环境的图像；加速度计，该加速度计可操作地与框架耦合，并被配置为用于检测该框架的取向；眼跟踪单元，该眼跟踪单元可操作地与框架耦合，并且被配置为用于检测操作者的观看方向；以及控制器，该控制器可操作地与成像仪和显示器耦合；其中，该控制器被配置为用于从成像仪、加速度计或眼跟踪单元中的至少一者接收环境信息，并且被配置为用于叠加环境的图像，以辅助操作者在操作者通过光学系统的视线范围内、基于物料搬运车辆的车辆运动学操纵物料搬运车辆。物料搬运车辆包括至少一个叉，并且图像被定位在通过光学系统感知的至少一个叉上。

在另一方面，本公开提供一种系统，该系统包括：物料搬运车辆、训练强化辅助设备，该训练强化辅助设备具有框架，该框架支撑光学系统。光学系统被配置为用于显示虚拟内容，并且实现对周围环境的至少部分的观看。系统进一步包括：成像仪，该成像仪可操作地与框架耦合并被配置为产生关于周围环境的至少部分的叠加图像；以及控制器，该控制器可操作地与成像仪和光学系统耦合。控制器被配置为基于框架在物料搬运车辆内的位置来计算叠加图像的位置。叠加图像包括由物料搬运车辆限定的枢轴点。

本公开的先前以及其他方面和优点将根据以下描述而显现。在说明书中，参考了形成其一部分且在其中通过图示的方式示出了本公开的优选配置的附图。然而，此类配置并不一定表示本公开的全部范围，并因此参考权利要求书和本文以解释本公开的范围。

附图说明

当考虑到本发明的以下具体实施方式时，本发明将会更好地被理解，并且除了上文阐述的那些特征、方面和优点之外的特征、方面和优点将变得显而易见。此类具体实施方式参考了以下附图。

图1是根据本公开的各方面的物料搬运车辆(MHV)的侧向透视图。

图2是根据本公开各方面的MHV和训练强化辅助设备的平面图。

图3是图2的训练强化辅助设备的侧向透视图。

图4是图2的训练强化辅助设备和MHV的框图。

图5是根据本公开各方面的MHV和训练强化辅助设备的侧视图。

图6是示出根据本公开的一些方面的彼此通信地耦合的训练强化辅助设备、MHV和远程计算机的框图。

图7是根据本公开的一些方面的MHV和训练强化辅助设备生成的示例叠加图像的侧向透视图。

图8是根据本公开的一些方面的MHV和训练强化辅助设备以多条轨迹线的形式生成的示例叠加图像的侧向透视图。

图9是根据本公开的一些方面的MHV和向MHV后方延伸的、由训练强化辅助设备生成的示例叠加图像的侧向透视图。

图10是根据本公开的一些方面的MHV和示例叠加图像的侧向透视图，该示例叠加图像由训练强化辅助设备生成、采用向MHV后方延伸的多个轨迹线的形式。

图11是根据本公开的一些方面的正面有叠加图像并且旁边有存储架的MHV的侧向透视图。

图12是根据本公开的一些方面的MHV和图11的叠加图像的俯视图。

图13是根据本公开的一些方面的靠近存储架的MHV的俯视图。

图14是根据本公开的一些方面的面向图13的存储架的MHV的俯视图。

图15是根据本公开的一些方面的靠近存储架的具有预期放下位置的叠加图像的MHV的俯视图。

图16是根据本公开的一些方面的面向图15的存储架的MHV的俯视图。

图17是根据本公开的一些方面的接近存储架的MHV的俯视图。

图18是根据本公开的一些方面的邻近存储架中的开口的MHV的俯视图。

图19是根据本公开的一些方面的MHV和存储架上突出显示的托盘的前向透视图。

图20是根据本公开的一些方面的、MHV可以采取来接近存储架上的托盘的移动模式的图示示例。

图21是根据本公开的一些方面的、MHV可以采取来接近存储架上的托盘的另一移动模式的图示示例。

图22是根据本公开的一些方面的、MHV可以采取来接近存储架上的托盘的又一移动模式的图示示例。

具体实施方式

在详细解释本发明的任意方面之前，应当理解，本发明在本申请中不限于在下面说明书中阐述或在附图中示出的构造细节和部件布置。本发明能够应用于其他方面，并且能够以各种方式实施或执行。而且，应当理解的是，本文所使用的措辞和术语是为了描述的目的并且不应被视为限制性的。在本文中，“包括(including)”、“包括(comprising)”或“具有(having)”及其变体的使用意味着涵盖之后列出的条目和它们的等效物以及附加的条目。除非另外指定或限制，否则术语“安装”、“连接”、“支撑”和“耦合”及其变体被广泛地使用，并且涵盖直接和间接的安装、连接、支撑和耦合。此外，“连接”和“耦合”不限于物理的或机械的连接或耦合。

提供以下讨论以使本领域技术人员制作和使用本发明的实施例。对所示出的实施例的各种修改对于本领域的技术人员而言将容易地是显而易见的，并且在不脱离本发明的实施例的情况下，本文中的一般原理可以应用于其他实施例和应用。因此，本发明的实施例不旨在受限于所示出的实施例，而是应当符合与本文公开的原则和特征一致的最宽范围。参考附图阅读以下具体实施方式，其中不同附图中的相同要素具有相同的附图标记。附图描绘了所选实施例并且不旨在限制本发明实施例的范围，附图不必是按比例的。本领域技术人员将认识到，本文中提供的示例具有许多有用的替代方案并且落入本发明实施例的范围内。

还应当理解，物料搬运车辆(MHV)被设计为各种类别和配置以执行各种任务。对于本领域技术人员将显而易见的是，本公开不限于任何特定的MHV，并且还可以被提供有各种其他类型的MHV类别和配置(包括例如，升降车、叉车、前伸式卡车、SWING

车辆、转塔式卡车、侧装卡车、平衡重式卡车、托盘堆垛机卡车、订单分拣机、转运车和人工卡车(man-up truck))，并且可以常见于仓库、工厂、船厂，以及可能通常需要将托盘、大包装或货物负载从一个地方运输到另一个地方的任何地方。本文中所公开的各种系统和方法适合用于以下各项中的任一项：操作者控制的物料搬运车辆、行人控制的物料搬运车辆、远程控制的物料搬运车辆、以及自主控制的物料搬运车辆。

图1示出了MHV 10(此处示出为前伸式卡车)，该MHV 10包括主体12，主体12具有多个车轮14并限定包括一个或多个控制设备和/或显示器的操作舱16。主体12可以容纳电池18或其他电源，并且可以容纳一个或多个电机。MHV 10包括耦合到主体12的桅杆20，用于升高和降低叉组件22(或在其他实施例中，平台、驾驶室或其他组件)。即，桅杆20可以是伸缩桅杆的形式，其上附接有叉组件22，使得叉组件22可以通过桅杆20选择性地升高和降低。叉组件22可包括一个或多个叉24，该叉24用于接合托盘或其他负载、以及支撑组件26。图示的叉组件22可以包括一对叉24。在各种示例中，叉组件22可以通过前伸式致动器28耦合到桅杆20。

如图2所示，MHV 10可以由操作者30操作，操作者30可以由安全带32固定，并且能够拾取、放置、运输或以其他方式操纵负载34(可能包括托盘36)。在各示例中，操作者30控制MHV 10，使得叉组件22的叉24与承载负载34的托盘36接合。这样，操作者30可以伸出或缩回前伸式致动器28，以拾取、放置、接合或以其他方式操纵负载34。即，前伸式致动器28可以被配置为用于将叉组件22远离于桅杆20伸出，并将叉组件22朝着桅杆20缩回。进一步地，叉组件22(并且由此，负载34)可以通过桅杆20升高或降低。一旦负载34位于叉组件22上，操作者30可以根据需要将负载34移动到另一个位置。在某些实施例中，人类操作者30可由自动化控制器代替，以包括全自动化系统(即，自主引导的物料搬运车辆)。

一般地，训练强化辅助设备与物料搬运车辆通信，以形成驾驶员训练强化辅助系统。在一些示例中，MHV 10与训练强化辅助设备38通信，以形成用于MHV 10的操作者30的驾驶员训练强化辅助系统41(参见例如图2-图4)。例如，在各示例中，训练强化辅助设备38可以被配置为头戴式设备、平视设备、可穿戴设备，训练强化辅助设备38可以位于衣服下方或上方，和/或集成到眼镜中。在训练强化辅助设备38被配置为可穿戴设备的示例中，可穿戴设备可以包括图像显示器74，该图像显示器74足够靠近操作者30的眼部，使得显示的图像充满或几乎充满与眼相关联的视场并表现为正常大小的图像，诸如可能在传统显示器上显示的正常大小的图像。相关技术可以被称为“近眼显示器”。训练强化辅助设备38可以被配置为例如眼镜、护目镜、头盔、帽子、遮阳板、头带，或者可采用可以被支撑在操作者30的头部上或被操作者30的头部支撑的其他形式。训练强化辅助设备38还可以被配置为向操作者30的双眼显示图像。替代地，训练强化辅助设备38可以仅向一只眼(左眼或右眼)显示图像。

在一些示例中，诸如图3和图4中所示出的，训练强化辅助设备38可包括可以由框架40支撑的几个不同的部件和子系统。例如，耦合到训练强化辅助设备38或者被包括在训练强化辅助设备38中的部件可以包括眼跟踪系统42、定位系统44、光学系统46、电源48、控制器50、操作者接口51、无线收发器52和/或一个或多个外围设备，该一个或多个外围设备诸如各种附加传感器54、扬声器或麦克风。训练强化辅助设备38的部件可以被配置成用于以彼此互连和/或与耦合至相应系统的其他部件互连的方式工作。例如，电源48可以向训练强化辅助设备38的所有部件供电，并且可以包括例如可充电锂离子电池。附加地和/或替代地，电源48可以远离训练强化辅助设备38设置。例如，训练强化辅助设备38可以由车辆的电池供电，而不是提供其自身的电源。

控制器50可以从眼跟踪系统42、定位系统44、光学系统46和外围设备中的任何外围设备接收信息，并且控制眼跟踪系统42、定位系统44、光学系统46和外围设备中的任何外围设备。控制器50包括处理器56，该处理器56可以被配置为用于执行存储在存储器60中的(多个)操作例程59。控制器50包括适合用于控制本文所描述的训练强化辅助设备38的各种部件的软件和/或处理电路的任何组合，包括但不限于处理器、微控制器、专用集成电路、可编程门阵列、和任何其他数字和/或模拟部件，以及前述各项的组合，连同用于处理控制信号、驱动信号、功率信号、传感器信号等的输入和输出。所有此类计算设备和环境旨在落入如本文所使用的术语“控制器”或“处理器”的含义之内，除非不同的含义被明确提供或者以其他方式在上下文中明确。

眼跟踪系统42可以包括硬件，诸如相机62和至少一个光源64。眼跟踪系统42可以利用相机62来捕获操作者30的眼的图像。这些图像可以包括视频图像或静止图像。例如，通过确定操作者30的眼瞳孔的位置，由相机62获得的关于操作者30的眼的图像可以帮助确定操作者30可以看向训练强化辅助设备38的视场内的何处。相机62可以包括具有红外波长中的感测能力的可见光相机。

光源64可以包括一个或多个红外发光二极管或红外激光二极管，该一个或多个红外发光二极管或红外激光二极管可以照亮观看位置，即操作者30的眼。因此，训练强化辅助设备38的操作者30的一只或两只眼可以由光源64照亮。光源64可以连续地照亮观看位置，或者可以在离散的时段被打开。

除了可以由处理器56执行的指令外，存储器60还可以存储数据，该数据可以包括经校准的操作者眼瞳孔位置的集合和过去的眼瞳孔位置的集合。因此，存储器60可以用作与注视方向相关的信息的数据库。经校准的操作者眼瞳孔位置可以包括，例如，关于眼瞳孔移动(右/左和向上/向下)的限度或范围的信息，以及操作者30的眼相对于训练强化辅助设备38的相对位置。例如，可以存储训练强化辅助设备屏幕的中心和角落相对于操作者30的眼瞳孔的注视方向或注视角度的相对位置。此外，可以在存储器60上存储训练强化辅助设备38上显示的移动对象的路径的、或静态路径(例如，半圆、Z形等)的起始点和结束点或航点的位置或坐标。

定位系统44可包括陀螺仪66、全球定位系统(GPS)68、加速度计70、成像仪72和/或用于确定位置的任何其他可行设备。定位系统44可以被配置为用于向处理器56提供与训练强化辅助设备38的位置和取向相关联的信息。例如，陀螺仪66可以包括微机电系统(MEMS)陀螺仪或光纤陀螺仪。陀螺仪66可以被配置为用于向处理器56提供取向信息。GPS单元68可以包括从GPS卫星获取时钟和其他信号的接收器，并且可以被配置为用于向处理器56提供实时位置信息。定位系统44可以进一步包括加速度计70，加速度计70被配置为用于向处理器56提供运动输入数据。

在一些示例中，本文所描述的成像仪72和/或相机62可各自包括区域型图像传感器(诸如CCD或CMOS图像传感器)和图像捕获光学器件，图像捕获光学器件捕获由该图像捕获光学器件所限定的成像视场的图像。在一些实例中，可以捕获连续图像来创建视频。

在各示例中，成像仪72产生的图像可用于监测操作者30周围的环境和/或跟踪任何基准78，该基准78可被定义为定位在预定义位置的视觉标记。在一些示例中，基准78被定位在MHV 10的各个部分上。在操作中，基准78中的一个或多个可以在成像视场内。基于哪些基准78在成像视场内，控制器50可以能够确定训练强化辅助设备38的位置和/或取向，并且因此确定操作者30相对于MHV 10上所定义的位置的位置和/或取向。在一些示例中，除了预定义基准78之外或代替预定义基准78，可以参考设施的视觉地图来定义成像仪72产生的图像或视频，以定位训练强化辅助设备38的位置。

光学系统46可包括被配置为用于向观看位置(即操作者30的眼)提供图像的部件。这些部件可以包括显示器74和光学器件76。这些部件可以彼此光学地和/或电学地耦合，并且可以被配置为用于在观看位置提供可观看的图像。可以在训练强化辅助设备38中提供一个或两个光学系统46。换句话说，操作者30可以用一只或两只眼观看如由一个或多个光学系统46所提供的图像。此外，(多个)光学系统46可包括耦合到显示器74的不透明显示器和/或透明显示器，其可以允许在提供重叠虚拟图像或叠加图像的同时观看真实世界环境。在一些示例中，透明显示器形成在训练强化辅助设备38的透镜上。耦合到眼跟踪系统42的相机62可以集成到光学系统46中。

训练强化辅助设备38可以进一步包括用于向操作者30提供信息或接收来自操作者30的输入的操作者接口51。操作者接口51可以与例如显示的图像、触摸板、小键盘、按钮、麦克风和/或其他外围输入设备相关联。控制器50可以基于通过操作者接口51接收的输入来控制训练强化辅助设备38的功能。例如，控制器50可以利用来自操作者接口51的操作者输入来控制训练强化辅助设备38如何在视场内显示图像，或者可以确定训练强化辅助设备38可以显示什么图像。

进一步参考图4，在一些示例中，训练强化辅助设备38可以通过对应的收发器52、收发器80经由有线和/或无线通信与MHV 10进行通信。通信可以通过有线(例如，电缆和光纤)和/或无线通信协议和任何期望网络拓扑(或当利用多个通信机制时，多个拓扑)的任何期望组合中的一种或多种组合而发生。示例性无线通信网络包括蓝牙模块、ZIGBEE收发器、Wi-Fi收发器、IrDA收发器、RFID收发器等，包括局域网(LAN)和/或广域网(WAN)(包括互联网、蜂窝、卫星、微波和射频)，从而提供数据通信服务。

MHV收发器80可以进一步与MHV 10的控制单元82通信。控制单元82配置有用于处理存储在存储器88中的一个或多个操作例程86的处理器84和/或模拟和/或数字电路。来自训练增强辅助设备38或MHV 10的其他部件的信息可以经由MHV 10的通信网络被提供给控制单元82，该通信网络可以包括控制器局域网(CAN)、本地互连网络(LIN)或其他协议。应当理解，除了任何其他可想到的车载或非车载车辆控制系统之外，控制单元82可以是独立的专用控制器，或者可以是与训练强化辅助设备38或MHV 10的另一部件集成的共享控制器。

参考图4所示的MHV 10的实施例，可由定位设备90向控制单元82提供附加的车辆相关信息，该定位设备90诸如位于MHV 10上的全球定位系统(GPS)和/或训练强化辅助设备38上的GPS 68。附加地，控制单元82可与惯性系统92通信，惯性系统92包括一个或多个陀螺仪94和/或加速度计96，以测量MHV 10的位置、取向、方向和/或速度。

在一些实例中，MHV 10的控制单元82可以进一步被配置为与各种车辆装备通信。例如，MHV 10的控制单元82可以与MHV 10的转向系统98耦合，以操作MHV 10的转向轮14。转向系统98可包括转向角度传感器100。在一些实施例中，MHV 10的方向盘58可与MHV 10的转向轮14机械地耦合，使得方向盘58经由内部扭矩或连杆与转向轮14协同移动。在此类实例中，转向系统98可包括扭矩传感器102，该扭距传感器102感测指示操作者30手动干预的方向盘58上的扭矩(例如，紧握和/或转动)。

MHV 10的控制单元82还可以与MHV 10的车辆制动控制系统104通信，以接收车辆速度信息，诸如MHV 10的各个轮速。附加地或替代地，除其他可想到的技术外，还可以通过推进驱动系统106和/或车辆速度传感器134向控制单元82提供车辆速度信息。推进驱动系统106可以提供用于使MHV 10以受控的速度在指定行驶方向上移动的动力。

MHV 10可以进一步包括操纵工作元件或功能(诸如图1中总体地示出的叉组件22)的工作元件系统108。在各示例中，工作元件系统108可以发送命令信号来控制与液压回路连接的提升电机，该液压回路形成用于升高、降低或以其他方式操纵工作元件的提升组件。在一些示例中，位置传感器向控制单元82提供指示工作元件的高度的信号。类似地，可以在工作元件上提供重量传感器。也可以在MHV 10上安装负载存在传感器(诸如例如射频识别(RFID)标签读取器或者条形码读取器)以标识正在运输的货物。在一些示例中，工作元件系统108可以操纵和/或包括前伸式致动器28、提升电机和/或桅杆倾斜致动器。

通过与转向系统98、车辆制动控制系统104、推进驱动系统106和/或工作元件系统108的交互，可以确定MHV 10和/或工作元件的各种运动学和位置数据。利用各种运动学和位置数据，训练增强辅助设备38的操作者30同时观察周围环境和由光学系统46产生的叠加图像。训练强化辅助设备38的控制器50和/或MHV 10的控制单元82可以使用来自本文所描述的各种部件的数据来确定要由操作者30观看的显示的叠加或虚拟图像。叠加或虚拟图像可重叠在一离散位置，以辅助操作者30操纵MHV 10和/或MHV 10的工作元件。例如，虚拟图像可以是定位在两个叉24的臂之间(参见例如图11)和/或定位在通过光学系统46感知的至少一个叉24上的十字准线。在此类示例中，当操作者30移动时，训练强化辅助设备38的定位系统44可以重新校准虚拟图像的位置，以基于经更新的数据动态更新图像位置。类似地，眼跟踪系统42可以跟踪操作者30的眼或眼瞳孔。当操作者30的眼或眼瞳孔移动时，眼跟踪系统42可以跟踪与眼或眼瞳孔移动相关联的路径。控制器50可以从眼球跟踪系统42接收与关联于眼移动的路径相关联的信息，并且基于操作者的眼方向更新虚拟图像的位置。

在各示例中，每次操作者30在移除训练强化辅助设备38后佩戴训练强化辅助设备38时，包括该训练强化辅助设备38的眼镜在操作者30的耳朵和鼻子上的放置可能略有不同。例如，眼相对于耦合到眼跟踪系统42的相机62的相对位置、或者与眼相关联的注视轴相对于与训练强化辅助设备38相关联的参考轴的相对位置可能有所不同。因此，为了校准眼跟踪系统42，控制器50可以启动校准程序。

此外，在使用时，训练强化辅助设备38上的成像仪72可用于标识仓库中的状况，诸如接近交叉口、在行人附近行驶以及接近其他车辆10。这些条件可以由系统存储，并且各种数据挖掘技术(诸如机器学习)可以分析这些状况。诸如成像仪72和眼跟踪系统42之类的传感器可以确认操作者30在这些状况内显示了特定的活动，诸如与行人进行目光接触，以及在进入交叉口之前向两边看。系统41可以组合来自MHV 10和训练强化辅助设备38的数据，以确定当操作者30没有看向行驶方向时的情况。例如，如果MHV 10传送其已经驾驶了超过一定距离、并且如通过视觉定位所确定眼跟踪系统42确认操作者30并非看向行驶方向(例如，通过基于场景中被跟踪像素的移动推断相机62的移动，或者通过参考来自车辆跟踪系统(诸如实时定位系统(“RTLS”)的信息)，则系统41可以确定操作者30并非看向行驶方向。替代地，通过将车辆数据与训练加强辅助设备38提供的视觉定位数据进行比较，可以仅在训练加强辅助设备38上本地进行此类确定。在一些示例中，系统41还可以通过验证车辆速度在交叉口归零以及验证喇叭按钮被按至少一次来监测操作者30是否已在交叉口完全停止并且在适当时鸣响喇叭。

在一些实例中，使用本文所提供的训练强化辅助设备38可鼓励操作者30继续保持MHV 10所需的操作习惯，即使在正式训练期结束后、以及在整个仓库内而不仅仅是仓库管理员可以观察MHV 10使用情况的地点，MHV 10所需的操作习惯也可被加强。此外，训练强化辅助设备38可以标识某些活动并使操作者30和/或仓库管理员注意这些活动。因此，可想象操作者30将减轻某些活动，因为他们知道其他人正在监测他们的动作。为此，仓库管理员可以看到仓库中操作者行为的代表性样本。这样，训练强化辅助设备38可以用作在事件发生之前标识活动的指示器。

根据一些示例，控制单元82可以与车辆指示系统110进行通信，车辆指示系统110可以在某些状况被确定的情况下提出视觉、听觉和触觉指示。例如，MHV 10和/或训练强化辅助设备38上的一个或多个光源可以提供视觉指示，并且车辆喇叭和/或扬声器可以提供听觉指示。附加地，MHV 10和/或训练强化辅助设备38可提供触觉或触感反馈，以向操作者30指示某些状况被确定。

一些示例中，诸如图4和图5中所示的那些示例中，除了训练强化辅助设备38上的显示器74之外和/或代替于训练强化辅助设备38的显示器74，MHV 10还可以包括平视显示器112(参见图5)。平视显示器112可以被配置为平视显示器、液晶显示器(LCD)、有机发光二极管(OLED)显示器、平板显示器、固态显示器、发光二极管(LED)、白炽灯泡或任何其他类型的显示器。平视显示器112可以被定位在操作者30与工作元件(例如，叉组件22、前伸式致动器28、桅杆20等)之间，并基于本文提供的各种状况提供叠加图像。

在一些实例中，平视显示器112可能是车辆人机接口(HMI)114或独立显示器的部分，并且可被配置为可用于通过车窗116将信息投射到视图中以使得叠加的图像可以看起来位于车窗116的前面的平视显示器112。相应地，利用平视显示器112，虚拟图像可以被生成以辅助MHV 10的操作者30。在各示例中，平视显示器112可以被配置为用于将来自投影仪118的图像投影到窗116上，窗116用作反射表面并将投影图像反射到观看者。替代地，平视显示器112可以使用布置在操作者30与MHV 10的挡风玻璃或桅杆防护设备之间的单独的组合器屏幕，其中组合器屏幕用作反射表面，并将投影仪118生成的图像反射到操作者30，操作者30将叠加图像感知成位于组合器屏幕后面，如他们所观看到的，通常也位于挡风玻璃或桅杆防护设备(被布置在组合器屏幕后面)后面、作为叠加图像。

在平视显示器112被实现的实例中，训练强化辅助设备38可以继续为平视显示器112提供指令。附加地或者替代地，训练强化辅助设备38的各种特征可被并入MHV 10中，用于检测操作者30的各种状况。例如，眼跟踪系统42可以集成到MHV 10中，并且平视显示器112提供的虚拟图像可以基于从眼跟踪系统42接收到的信息进行更新。

参考图6，在一些示例中，MHV 10、训练强化辅助设备38和/或远程计算机120可以经由网络/云124与一个或多个远程站点(诸如远程服务器122)通信地耦合。网络/云124表示一个或多个系统，MHV 10、训练强化辅助设备38和/或远程计算机120可通过该一个或多个系统与远程服务器122通信。相应地，网络/云124可以是各种有线或无线通信机制中的一个或多个，包括有线和/或无线通信机制的任何期望组合和任何期望的网络拓扑(或者，当利用多个通信机制时，多个拓扑)。示例性通信网络124包括无线通信网络(例如，使用蓝牙、IEEE 802.11等)、局域网(LAN)和/或广域网(WAN)，包括蜂窝网络、卫星网络、微波网络、射频网络、因特网和Web，它们都可提供数据通信服务和/或云计算服务。因特网通常是全球数据通信系统，其为硬件和软件基础设施，提供计算机之间的连接。相比之下，Web通常是经由因特网传送的服务中的一个。Web通常是通过超链接和URL链接的互连的文档和其他资源的集合，。在许多技术图示中，当因特网资源的精确位置或相互关系被一般地图示时，诸如因特网之类的扩展网络通常被描绘为云(例如，图6中的124)。口头形象已经在新的云计算的概念中正式化。美国国家标准与技术研究所(NIST)将云计算定义为“用于实现到共享可配置计算资源(例如网络、服务器、存储、应用程序和服务)池的方便的、按需的网络访问的可以通过最小的管理工作或服务提供商交互快速调配和发布的模型。”尽管因特网、Web和云计算并不完全相同，但这些术语在本文中通常可互换地使用，并且它们可以统称为网络/云124。

服务器122可以是一个或多个计算机服务器，其中每个计算服务器可以包括至少一个处理器和至少一个存储器，存储器存储处理器可执行的指令，包括用于执行各种步骤和过程的指令。服务器122可以包括数据存储126或者可以通信地耦合到数据存储126，该数据存储126用于存储收集的数据以及用于操作MHV 10、控制单元82、训练强化辅助设备38、训练强化辅助设备38的控制器50等的指令，该指令可以在有或者没有来自操作者30和/或远程计算机120的干预的情况下，被定向到MHV 10和/或训练强化辅助设备38和/或由MHV10和/或训练强化辅助设备38实现。

在一些示例中，指令可以通过远程计算机120输入，并被中继到服务器122。那些指令可以存储在服务器122和/或数据存储126中。在各种预定义的时段和/或时间，MHV 10和/或训练强化辅助设备38可以通过网络/云124与服务器122通信，以获得所存储的指令(如果存在任何指令)。在接收到所存储的指令时，MHV 10和/或训练增强辅助设备38可以实现这些指令。服务器122可以附加地存储与多个训练增强辅助设备38、MHV 10、路线等相关的信息，并且在有或者没有来自操作者30和/或远程计算机120的干预的情况下，结合存储的信息操作MHV 10和/或训练强化辅助设备38和/或向MHV 10和/或训练强化辅助设备38提供指令。相应地，在一些示例中，训练强化辅助设备38的操作例程59包含在网络/云124中，并且训练强化辅助设备38被配置为流送用于操作训练强化辅助设备38的数据。

在一些示例中，在整个轮班中，训练强化辅助设备38能够通过监测MHV 10上的传感器和装备来识别诸如拾取和放置负载之类的任务。例如，系统41可以在记录到以下模式后确定负载被从地板上拾取：MHV 10在一个或多个叉24上没有重量，叉24被定位于靠近地板，叉24被升高，以及叉24上的重量增加。类似地，系统41可以在记录到以下模式后确定负载被放置在架上：MHV 10在一个或多个叉24上具有重量，叉24被提升，叉24被降低，以及一个或多个叉24上的重量被减少。通过将这些传感器模式中的每一个分类为诸如“从地板拾取负载”和“在高处放置负载”之类的事件，系统41可以将事件的组合组合成任务。例如，“从地板拾取负载”后接“在高处放置负载”可能构成单个托盘36从地板位置离开被放置到架上。替代地，“从高处拾取负载”后接“将负载放置在地板上”可能构成从架上取下托盘36。该数据可以转换为生产力度量，并且被传送到服务器。

进一步参考图6，服务器122通常还可以实现使得MHV 10和/或训练强化辅助设备38能够与基于云的应用128通信的特征。来自MHV 10的通信可以在有或者没有网络设备132(诸如路由器和/或调制解调器)的情况下被定向为通过网络/云124到达服务器122和/或基于云的应用128。附加地，即使来自基于云的应用128的通信可以指示MHV 10和/或远程计算机120中的一个作为预期接收者，这些通信也可以被定向到服务器122。基于云的应用128通常是可通过网络/云124的任何部分访问并且可以能够与MHV 10和/或远程计算机120交互的任何适当的服务或应用128。

在各示例中，训练强化辅助设备38在通信能力方面可以是功能丰富的，即具有访问网络/云124和访问基于云的应用128中的任何一个的内置能力，或者可以被加载有或被编程为具有此类能力。训练强化辅助设备38还可以通过行业标准的有线或无线接入点、手机单元或网络节点来访问网络/云124的任何部分。在一些示例中，操作者30可以通过训练强化辅助设备38注册使用远程服务器122，这可以提供对MHV 10和/或远程计算机120的访问，和/或由此允许服务器122直接或间接地与MHV 10和/或远程计算机120通信。在各实例中，除了与服务器122通信或通过服务器122通信之外，MHV 10和/或远程计算机120还可以直接或间接地与远程计算机120或基于云的应用128中的一个基于云的应用128通信。根据一些示例，MHV 10和/或远程计算机120可以在制造时被预先配置有通信地址(例如，URL、IP地址等)以用于与服务器122通信，并且可以具有或可以不具有升级、更改、添加预配置的通信地址的能力。

仍然参考图6，当新的基于云的应用128被开发和引入时，服务器122可以升级为能够接收新的基于云的应用128的通信，并且能够在新协议与MHV 10和/或远程计算机120使用的协议之间对通信进行转换。当前服务器技术的灵活性、可扩展性和可升级性使得向服务器122添加新的基于云的应用协议的任务相对快速且容易。

此外，在各示例中，在使用过程中，可以对各种事件和操作者30对MHV 10的操纵记录日志，并将这些事件和操作传送至服务器以供进行数据分析和报告。到MHV 10的连接可以兼作与这些中央服务器和/或远程通信系统的通信桥梁。在各示例中，训练强化辅助设备38可以通过面部识别、徽章扫描、PIN号或经由到MHV 10的针对登录凭证的通信来标识操作者30。训练强化辅助设备38的使用可在轮班的起始时开始。在一些示例中，训练强化辅助设备38中的智能可以确认操作者30正在检查和/或验证某些项目。例如，成像仪72可以确认操作者30在回答关于车轮状况的问题时正看着车轮14。

在一些示例中，训练强化辅助设备38也可用于性能跟踪，并且训练强化辅助设备38可允许性能的被动监测，而无需对操作者30的部位的任何工作。这可以提高准确性，并且不会使操作者30远离生产活动。此外，训练强化辅助设备38可以存储来自成像仪72的图像(或视频)，和/或图像(或视频)可以被发送到云并被存储在服务器上。这些视频可提供实况馈送或先前的任务，该实况馈送或先前的任务可以提供对MHV 10的任务或操纵的洞察。训练强化辅助设备38还可以评估操作者30在负载搬运过程的每个步骤(行驶、提升、侧移叉24、多次尝试对准叉24等)中花费的时间或任何其他数据。仓库管理员可以使用这些信息将操作者30和与他们身份相同的人进行对比，并标识哪些操作者30可以使用附加的训练以及在哪些领域。

此外，在各示例中，可以利用经编译的数据向操作者30提供有针对性的训练来提高他们的技能。可以考虑到起始和结束位置为每个托盘36移动创建工程劳动标准，以使每个移动的所需的可变工作水平规范化。经编译的数据以及对经编译的数据的分析可以提供操作者表现的度量，同时还能够捕获操作者轮班期间影响生产力但难以捕获和量化的可变或随机事件。例如，在交叉口处等待、等待行人和等待其他车辆10可在操作期间发生，但可被视为可以被记录和优化的非增值任务。

参考图7-图10，如本文所提供的，基准或基准标记78可定位在MHV 10上。在一些示例中，MHV 10可以将关于其几何形状(包括相对于主体12的基准78)的参数传送给训练强化辅助设备38。例如，在一些实例中，基准78可以被配置作为对静态车辆几何信息进行编码的一个或多个条形码，并将其传送至训练强化辅助设备38。此外，使用一个或多个条形码可以编码唯一的车辆ID，该车辆ID可以在数据库中被交叉引用，以查找相关的静态车辆信息。作为响应，MHV 10可以将其唯一ID、转向角度和速度传送至中央服务器。在一些示例中，任何拥有训练强化辅助设备38的人都可以查看MHV 10，读取唯一ID，并看到叠加在如相对于该MHV 10取向的他们的视图上的该MHV 10的投影的路径。此外，远程操作者30还可以连接到特定的强化训练辅助设备38和MHV 10组合，并能够通过成像仪72和/或由强化训练辅助设备38生成并由MHV 10的操作者30看到的叠加图像从强化训练辅助设备38远程地观看工作环境。在一些实例中，远程观看者还可以通过远程计算机120改变训练强化辅助设备38和/或MHV 10的各种功能。

在一些示例中，控制单元82和/或网络/云124可以将关于MHV 10的附加信息(诸如，轮基距、总宽度等等)传送至训练强化辅助设备38的控制器50。MHV 10还可以将车辆运动学信息(诸如转向角度或推进驱动系统106状况)传送至控制器50。作为响应，控制器50可以向显示器74提供用于在预定义位置提供虚拟图像的指令。预定义位置也可以考虑由眼跟踪系统42感测的操作者30的瞳孔轴。在一些示例中，虚拟图像可被配置为呈现给操作者30的叠加图像，其包括静态和/或动态轨迹线130，以帮助操作者30将MHV 10操纵到目标位置。当操作者30转动方向盘时，转向角度传感器100可以向控制单元82和/或控制器50发送方向盘角度数据。控制器50可以分析来自转向角传感器100的数据、以及其他车辆数据(包括传动比、轮基距大小、车轮半径和车辆速数据)，并计算要作为叠加被显示在显示器74上的静态和/或动态轨迹线130的大小和方向。在一些实例中，叠加图像可被配置为一个或多个动态和/或静态轨迹线130。例如，轨迹线130包括总体上与MHV 10的中心纵轴对准的第一线130a(例如，参见图7)。在这些实例中，当MHV 10包括在平行于纵轴的方向上延伸的叉24时，第一线130a可布置在叉24之间。在一些实例中，轨迹线130可以包括第一线130a和一对外部线130b，这对外部线130b总体上与MHV 10的主体12的外部宽度(或者主体12向外的预定义距离)对准(参见例如图8)。通常，该对外部线130b可以被定义为与第一线130a相同的形状、方向和长度。

显示的动态轨迹线130可以具有可以响应于方向盘角度的变化以及与轮基距、半径和传动比相关的其他车辆数据来确定的方向。计算动态轨迹线130的每个步骤都取决于MHV 10的转弯半径和当前方向盘角度，因此轨迹线130可以随着方向盘角度的改变而改变。当操作者30转动方向盘时，方向盘移动的每个步骤和方向都可以反映在如所显示的轨迹线方向上。每次转向角改变时，可以显示替换的动态轨迹线130的集合。在这方面，动态轨迹线130可以显示MHV 10的真实路径，使得操作者30可以得到对在他们转动方向盘并接近其期望目的地时MHV 10驶向何处的感测。如本文所使用的，“动态轨迹线”意味着轨迹线130可以基于改变的车辆位置和/或运动学进行更新。

当方向盘角度从中心位置移动时，不仅动态轨迹线130的方向可以被调整，而且轨迹线130的长度也可相应地被调整。例如，当方向盘被转动离开中心时，轨迹线长度可被增加。当方向盘朝中心转动时，轨迹线130的长度可被减少。动态轨迹线130在距离中心最远的方向盘角度下具有最大长度，并且在处于中心处的方向盘角度下具有最小长度。

对于方向盘角度的每次变化，控制器50可以重新计算并且显示经调整的角度和长度下的动态轨迹线130。在中心左侧或右侧的最大角度下，轨迹线130可以延伸到最大长度尺寸。动态轨迹线130可以提供精确的投影车辆路径。基于方向盘角度位置和车辆轮基距信息，可以向操作者30提供MHV 10驶向何处的真实指示。与到目标的车辆路径相对，真实车辆路径可以为操作者30提供到达期望位置的能力，通过显示器74上显示的轨迹线130了解MHV10驶向的方向，轨迹线130可以作为叠加图像140提供。

在各示例中，还可由MHV 10的一个或多个传感器感测附加的因素(诸如车轮打滑、轮胎磨损、轮胎变形、负载和/或电池重量、转向角度测量公差或者车辆维护或维修)，和/或可以手动输入附加的车辆数据，以进一步更新轨迹线130。在一些示例中，处于车辆路径的中心的第一轨迹线130可通过训练强化辅助设备38被投影，以供操作者30参考(参见例如图7)。附加地和/或替代地，可在显示器74上提供一对轨迹线130作为叠加，该叠加指示车辆的包络加上可在真实空间中相对于MHV 10的已知几何形状(如通过MHV 10上的基准78传送到训练强化辅助设备38)定位的裕度的路径。

在各示例中，MHV 10包括布置在MHV 10的主体12上的基准78。在所示示例中，基准78包括布置在主体12上的四个基准78。在其他示例中，MHV 10可以包括多于或少于四个基准78。在所示示例中，基准78布置在车辆主体12的第一面向操作者的表面或结构79上。也就是说，基准78被布置在当操作者的视场被定向在第一或前向行驶方向(例如，朝向叉24的方向)时由相机62和/或成像仪72是可见的车辆主体12的第一面向操作者的表面79上。

参考图9和图10，在一些示例中，MHV 10可以在多于一个方向上操作。附加地，考虑到车辆的几何结构、转向角和其他运动学，MHV 10在每个操作方向上的转向特性可以是已知的和可预测的。利用该信息，MHV 10的转弯半径可以被确定并且被传送到操作者，因而他们更好地理解MHV 10在第一方向或相对的第二方向上操作时可以采取的路径。相应地，MHV10包括位于允许训练强化辅助设备38基于训练强化辅助设备38通过成像仪72识别的基准78来确定训练强化辅助设备38相对于MHV 10的方向的各种位置的基准78。例如，MHV 10包括布置在第一面向操作者的表面79上的基准78(参见例如图7和图8)，并且包括布置在车辆主体12的第二面向操作者的表面或结构81上的附加基准78。当操作者的视场被定向在第二或逆向行驶方向(例如，远离叉24的方向)时，布置在第二面向操作者表面81上的基准78是相机62和/或成像仪72可见的。

附加地和/或替代地，训练强化辅助设备38可利用其中的任何其他部件来确定训练强化辅助设备38相对于MHV 10的方向和位置。进一步地，控制器50、控制单元82和/或远程服务器可以包括可用于基于来自训练强化辅助设备38和/或MHV 10的输入来标识MHV 10相对于训练强化辅助设备38的位置的机器学习算法。

无论MHV的行驶方向如何，一旦基准78被训练强化辅助设备38上的成像仪72定位，训练强化辅助设备38相对于车辆主体12的位置就可以被计算，使得车辆路径(即轨迹线130)可以通过光学系统46叠加，同时考虑各种车辆驾驶状况，诸如转向角、车辆速和方向等。如本文所提供的，训练强化辅助设备38的控制器50、MHV 10的控制单元82、和/或远程数据库可以执行各种计算，以确定轨迹线130，以投影和变换图像140，从而为操作者30提供正确的透视图，使得操作者30看到基于当前车辆状况和/或操作者位置对MHV 10预期要去的地方进行投影的轨迹线130。因此，操作者30可能能够看到由一条或多条轨迹线130指示的MHV 10的投影路径，这可以辅助对MHV 10的引导，因为无论他们是否熟悉MHV 10的驾驶特性，操作者都将例如在训练期间学习MHV的驾驶特性，。此外，各种操作者30可以看到MHV 10的投影路径，并更高效地学习操纵MHV 10来执行任务，诸如拾取或放置负载。

参考图11-图22，在一些示例中，图像140或全息图叠加在MHV 10的工作元件(诸如叉24)上，以帮助操作者30将MHV 10与预定义位置(诸如托盘36的开口)对准。叠加图像140可以用作使得操作者30能够将MHV 10定位在预定义位置以搬运负载并最小化通道宽度要求的夹具(jig)。在一些示例中，本文所提供的驾驶员辅助系统41可以在操作者30适当定位MHV 10之后的直角堆叠事件期间临时控制转向。在此类实例中，操作者30可以控制油门，MHV 10可以自动操纵转向角，使得MHV 10采用理想化路径来完成任务，诸如拾取或放置负载。操作者30可以以任何方式在任何动作的执行期间保持对MHV 10的控制。

在各示例中，MHV 10可以向训练强化辅助设备38提供叉24的位置，包括相对于车辆主体12的高度、倾斜、侧移和可及范围。附加地或替代地，MHV 10还可以传送MHV 10的各种尺寸和/或运动学，诸如轮基距、总宽度和车辆的转向角度。在一些情况下，通过知道轮基距、方向盘位置和转向角度，车辆路径可以是已知的或可以被计算的。利用该已知或计算出的路径，训练强化辅助设备38可以在MHV 10的部分或任何其他可行位置上显示表示地板上的路径的图像140。附加地或替代地，图像140还可以表示车辆投影路径的包络，当接近托盘36以供进行直角堆叠时，该包络可以偏移目标距离。

在各种示例中，显示器74提供的图像140可以由特定于MHV几何形状、搬运特性和指定负载大小的几何形状组成。例如，当处于最大转向角处时，叠加图像140可以以车辆绕其枢转的点为中心。一些实例中，可以从该点绘制两个半径：一个表示空叉24的扫掠，而另一个表示指定负载大小的扫掠。叠加图像140的宽度可以通过针对特定MHV类型在直角堆叠时接近托盘36或者任何其他操纵期间的MHV 10的特定控制的制造商的推荐距离来确定。

如图11和图12所示，图像140可以包括特定于车辆几何形状的一个或多个参考标记144，并且可以被配置为用于辅助操作者30将MHV 10定位在预定义位置。例如，叠加图像140可以包括由两条垂直相交的线所示的枢轴点145。枢轴点145被定义为当转向角度被设置为最大转向角度时MHV 10围绕其转动的点。一般地，枢轴点145可以辅助操作者将MHV 10的叉24定位在预期托盘36的中心区域、参考标记144测量出的距离处。一个或多个参考标记144进一步包括两个横向延伸的线147，这些线147沿着与枢轴点145相交的线向外延伸。线147开始于从叉24横向向外的点，并向外延伸超过MHV 10的最外边缘或最外侧一距离，该距离限定外半径149。边界线146在线147中的每一条线147上的最外点处与线147中的每一条线147相交，并且在垂直于线147的方向上(例如，在平行于叉24或MHV 10侧面的方向上)延伸。外半径149通常与当MHV沿最大转向角枢转时叉24上的负载或托盘的最外点扫掠的半径相对应。外半径149在线147和边界线146的交点之间延伸。参考标记144进一步包括内半径151、面向前的线153。内半径151与当MHV沿最大转向角枢转时叉24的最外点扫掠的半径相对应。面向前的153在平行于叉24的方向上向外延伸，并在与枢轴点145相交的方向上延伸。

转向图13和图14，叠加在训练强化辅助设备38的显示器74上的图像140可以帮助操作者30训练并执行负载或托盘36的直角拾取。例如，操作者30可以指令MHV 10接近包括托盘36的架结构37。操作者30可以将MHV 10定位成使得参考标记144定位MHV 10以接合和拾取托盘36。例如，当接近架结构37时，操作者30可以参考外半径149来评估转动MHV 10时所需的间隙。操作者30还可以将MHV 10定位成使得线147中的至少一条线147(即，从MHV 10的邻近架结构37的一侧延伸的线)与托盘36的中心对准(例如，线147可以与托盘36上的中心纵梁对准或平行)。这样，图像140可以帮助操作者30将枢轴点145与托盘36的中心对准。然后，操作者30可以将方向盘转动到最大转向角，并使MHV 10枢转，直到面向前的线153与托盘36的中心纵梁对准。然后，操作者30可以使转向变正并且拾取托盘36。在拾取托盘36后，操作者30可以参考外半径149来估计转动MHV 10时所需的间隙。

参考图15和图16，在各示例中，在将托盘36在架结构37上放好期间，可以以几乎相同的方式使用叠加图像140。例如，当将托盘36放置在预定义位置时，操作者30可以将叠加图像140内提供的参考标记144与预期放下位置148的中心对准，而不是与托盘36的中心纵梁对准。具体地，当接近架结构37时，操作者30可以参考外半径149来评估转动MHV 10时所需的间隙。操作者30还可以将MHV 10定位成使得线147中的至少一条线147(即，从MHV 10的临近架结构37的一侧延伸的线)与预期放下位置148的中心对准。这样，图像140可以帮助操作者30将枢轴点145与预期放下位置148的中心对准。然后，操作者30可以将方向盘转动到最大转向角，并使MHV 10枢转，直到面向前的线153与预期放下位置148的中心对准。然后，操作者30可以使转向变正，并将托盘36下落在架结构37上、在预期放下位置148中。在放置托盘36后，操作者30可以参考外半径149来估计转动MHV 10时所需的间隙。

在一些示例中参考图17，显示器74提供的叠加图像140可以包括与地板对准的路径投影，以指示MHV的偏移包络的预期路径，以帮助操作者在MHV 10从一定距离接近目标托盘36或货架结构37时定位MHV 10。例如，投影路径可以包括第一路径线155和第二路径线157。在一些示例中，除了本文所描述的轨迹线130外，第一路径线155和第二路径线157也可以被包括在叠加图像140中。在一些示例中，第一路径线155和第二路径线157可以代替于一对外部线130b而被包括在叠加图像140中，或者可以采取外部线130b的形式。在示出的示例中，第一路径线155和第二路径线157与MHV 10的侧面间隔开一距离，该距离对应于内半径151与外半径149之间的差(即，第一路径线155和第二路径线157大体上与参考标记144的线147对准并延伸通过参考标记144的线147)。

如本文所描述的，训练强化辅助设备38可以被提供有MHV 10的性能和几何特性，或固有地知道MHV 10的性能和几何特性。以这种方式，例如，训练强化辅助设备38可以调整叠加图像140以调整参考标记144，以计及MHV几何形状和MHV类型的变化。例如，如图18所示，在直立平衡MHV的情况下，枢轴点145可以靠近驱动轮轴的中心，并且叠加图像140可以基于枢轴点145的位置调整以计及车辆运动学，并且内半径151和外半径149相应地被调整。

参考图19，叠加图像140可以包括指示符150，诸如平行于要与架结构37上的一个或多个架直立39对准的MHV 10的行驶的主方向的线。叠加图像140还可以突出显示要由MHV10操纵的、可在真实空间中表示的对象的预定义或预期位置。例如，叠加图像140可以提供显示准备好被搬运的托盘36位置的轮廓152。在所示示例中，轮廓152被限定为围绕托盘36的外周。MHV 10还可以将车辆类型和几何结构传送到训练强化辅助设备38，使得叠加图像140可以针对特定MHV 10准确定位(例如，基于枢轴点145和相关联的参考标记144)。

在一些示例中，轮廓152可用于向操作者传送哪个托盘36被作为自动化、半自动化或辅助型搬运的目标。轮廓152可以表示放置在相对于车辆框架的固定位置的轮廓(例如，在叉的第一且横方向上的偏移)，使得通过将预期托盘与该轮廓152对准，车载或非车载车辆控制系统(诸如相机和/或机器学习计算机)可以缩小收窄其用于标识待搬运托盘的空间位置的搜索区域。车载或非车载车辆控制系统可以持续搜索和标识符合什么构成待搬运负载的标准的模式。具有机器学习的车载或非车载车辆控制系统可以传送其已标识的负载的位置，因而该位置可以通过训练强化辅助设备38可视化。可以使用相机(例如相机62)来标识负载，并且该相机在车辆上具有已知的位置和取向，并且因此，所标识的负载的轮廓152可以相对于MHV 10被表示。该位置可以被传送到训练强化辅助设备38，该训练强化辅助设备38可以通过使用基准78定位自身来在相对于MHV 10的相同位置上可视化轮廓152。然后，操作者可以简单地通过看着要搬运的预期负载来选择该预期负载。来自训练强化辅助设备38的眼跟踪与训练强化辅助设备38的取向耦合可以作为一个向量或一对向量(例如，每只眼一个向量)被传送至具有机器学习的车辆控制系统。然后，可以使用该一个或多个向量与所标识的负载的轮廓的三维位置的交点来选择要搬运的负载。

一旦负载已被选择用于进行自动化、半自动化或辅助型搬运，则车载或非车载车辆控制系统可以规划能够通过车辆的特定几何形状执行的、用于与负载进行对接的路径。路径规划后，当操作者遵循设定的路径驾驶车辆时，运动控制算法可以操纵车辆的转向角度。

通常，叠加图像140可以包括轨迹线130、参考标记144、指示符150和/或轮廓152的任意组合。在一些示例中，训练强化辅助设备38可以根据MHV 10正在执行的任务或训练练习来适应性地改变叠加图像140的内容。

参考图20-图22，示出了MHV 10对托盘36进行直角堆叠可以采取的各种示例路径。每个路径(使用虚线示出)可以在任务分配之前、任务的操作期间和/或基于先前的任务的效率数据进行选择。此外，要显示为叠加图像140的路径可以由操作者30、驾驶员辅助系统41的远程操作者确定，和/或由系统自动地确定。此外，路径可由MHV 10的几何形状和类型确定。

在图20所示的示例中，MHV 10的操纵可以通过两个动作来执行，这两个动作可以自主地、半自主地和/或由操作者30完成。操作者30可以任何方式在任何动作的执行期间保持对MHV 10的控制。自动化转向算法可以与放下位置或托盘148对接，放下位置或托盘148位于MHV 10前方设定距离处、并在MHV 10一侧、旋转90度。在该示例中，车载或非车载车辆控制系统可以表征负载的空间位置，并具有执行针对该负载相对于车辆的位置定制的路径规划的智能。在一些实例中，当从如叠加图像140所指定的已知参考点开始时，自动化转向算法可以操纵MHV 10以弧形移动，以将其负载轮轴(枢轴点)的中心定位在与由从枢轴点到定义的标准负载的角的距离加上裕度(即外半径)所限定的半径相等的距离处。从这一点开始，MHV 10可以转到其最大转向角度，并围绕该枢轴点枢转，直到其面向与其原始取向成90度的方向。在该点，自动化转向算法可以使方向盘变正，使操作者30被对准，以笔直向架驾驶。

图21示出了可以用于接近托盘或放下位置148的替代路径，该路径具有降低的通道宽度。在该实例中，路径可以由单个圆弧组成，该单个圆弧的半径等于从枢轴点到基脚的外侧的距离。与图20中所示的路径相比，该路径可能具有减小的通道宽度要求。

取决于与训练强化辅助设备38结合操作的MHV 10，各种路径可以被计算。例如，直立平衡车辆的几何形状可以利用与图20和图21中所示的路径略微不同的路径。如图22所示，替代的路径可以由枢转转动所遵循的弧形路径组成，该弧形路径使MHV 10相对于目标位置居中。如本文所提供的，通过训练强化辅助设备38和/或MHV 10的各种部件，本文所提供的驾驶员辅助系统41可以基于操作中的MHV 10或向MHV 10的操作者30提供附加信息的任何其他偏好来更新路径或任何其他叠加图像140。

对于某些类型的车辆，存在各种政府机构、法律、法规和条例规定的训练要求。例如，美国劳工部职业安全与健康管理局(OSHA)规定雇主有义务训练和监督各种类型的物料搬运车辆的操作者。还要求每三年重新认证一次。在某些情况下，在需要时应当向操作者提供相关主题的进修培训。在所有实例中，在任何动作的执行期间，操作者维持对物料搬运车辆的控制。此外，仓库管理员维持对仓库环境内的物料搬运车辆的车队的控制。对操作者的训练和仓库管理员提供的监督要求有适当的操作实践等，包括操作者维持对物料搬运车辆的控制、注意操作环境、以及始终看向行驶方向等。

尽管可使用诸如顶、底、较低、中、横向、水平、垂直、前等等之类的各种空间和方向术语来描述本公开的示例，但理解此类术语仅仅相对于附图中所示出的取向来使用。取向可以反转、旋转或以其他方式改变，使得上部是下部并且反之亦然，水平变为垂直，等等。

在本说明书内，已经以使得能够书写清楚且简洁的说明书的方式描述了实施例，但是旨在并将被理解的是，实施例可以是以不同方式组合的或分离的而不背离本发明。例如，将理解，本文所描述的所有优选特征都可适用于本文所描述的本发明的所有方面。

因此，虽然已经结合特定实施例和示例描述了本发明，但是本发明不必受如此限制，并且许多其他实施例、示例、使用、修改以及对所述实施例、示例和使用的偏离旨在被所附权利要求所涵盖。本文引述的每一项专利和出版物的全部公开内容通过引用并入本文，如同每一项此类专利或出版物通过引用单独并入本文。

在所附权利要求中阐述了本发明的各种特征和优点。

Claims (20)

1.一种系统，所述系统包括：

训练强化辅助设备，所述训练强化辅助设备具有框架，所述框架支撑光学系统，其中，所述光学系统被配置为用于在显示器上显示虚拟内容，并且被配置为用于实现对周围环境的至少部分的观看；

成像仪，所述成像仪可操作地与所述框架耦合，并且所述成像仪被配置为用于产生所述成像仪的环境的图像；

加速度计，所述加速度计可操作地与所述框架耦合，并且所述加速度计被配置为用于检测所述框架的取向；

眼跟踪单元，所述跟踪单元可操作地与所述框架耦合，并且所述眼跟踪单元被配置为用于检测操作者的观看方向；以及

控制器，所述控制器可操作地与所述成像仪和所述显示器耦合，

其中，所述控制器被配置为用于从所述成像仪、所述加速度计或所述眼跟踪单元中的至少一者接收环境信息，并且被配置为用于叠加所述环境的图像，以辅助所述操作者在所述操作者通过所述光学系统的视线内、基于所述物料搬运车辆的车辆运动学来操纵所述物料搬运车辆，其中，所述物料搬运车辆包括至少一个叉，并且所述图像被定位在通过所述光学系统感知的所述至少一个叉上。

2.如权利要求1所述的系统，进一步包括：

设备收发器，所述设备收发器可操作地与所述控制器耦合；

其中，所述设备收发器被配置为用于在所述设备收发器与物料搬运车辆收发器彼此配对时与所述物料搬运车辆收发器通信，所述物料搬运车辆收发器进一步耦合到所述物料搬运车辆的控制单元。

3.如权利要求1所述的系统，其中，所述图像包括特定于所述物料搬运车辆的几何形状的参考标记，并被配置为用于辅助所述操作者将所述物料搬运车辆定位在预定义位置。

4.权利要求3所述的系统，其中，所述一个或多个参考标记包括由所述物料搬运车辆限定的枢轴点。

5.如权利要求4所述的系统，其中，所述枢轴点被限定在当转向角度被设置为最大转向角度时所述物料搬运车辆枢转所围绕的点处。

6.如权利要求3所述的系统，其中，所述一个或多个参考标记包括内半径，所述内半径与所述物料搬运车辆沿最大转向角度枢转时所述物料搬运车辆上的至少一个叉的最外点扫掠的半径相对应。

7.如权利要求3所述的系统，其中，所述一个或多个参考标记包括外半径，所述外半径与所述物料搬运车辆沿最大转向角度枢转时所述物料搬运车辆上的至少一个叉上的负载位置的最外点扫掠的半径相对应。

8.如权利要求1所述的系统，其中，所述车辆运动学包括以下各项中的至少一项：至少一个叉相对于所述物料搬运车辆的基底的高度、所述至少一个叉相对于所述基底的倾斜、所述至少一个叉相对于所述基底的侧移位置、所述至少一个叉相对于所述基底的可及范围、所述物料搬运车辆的转向角度、所述物料搬运车辆的轮基距、或所述物料搬运车辆的总宽度。

9.如权利要求1所述的系统，其中，所述成像仪被配置为用于检测一个或多个基准，以相对于所述物料搬运车辆对所述训练强化辅助设备的所述框架进行取向和定位。

10.如权利要求9所述的系统，其中，所述基准被安装在所述物料搬运车辆的车辆主体上、在从操作间可见的表面上。

11.如权利要求1所述的系统，其中，所述图像包括基于所述物料搬运车辆的当前转向角度和速度的所述物料搬运车辆的路径投影。

12.一种用于通过光学系统向物料搬运车辆的操作者提供叠加图像的系统，所述系统包括：

训练强化辅助设备，所述训练强化辅助设备具有框架，所述框架支撑成像仪和显示器，所述显示器可操作地与所述光学系统耦合；

控制器，所述控制器与所述框架耦合；

控制单元，所述控制单元可操作地与所述物料搬运车辆耦合并通信地与所述控制器耦合；以及

第一基准，所述第一基准被定位在所述物料搬运车辆上，所述成像仪被配置为用于检测所述第一基准以相对于所述物料搬运车辆对所述框架进行取向，

其中，所述显示器被配置为用于基于所述框架的位置和至少一个车辆运动学来生成图像。

13.如权利要求12所述的系统，其中，所述图像包括基于所述物料搬运车辆的当前转向角度和速度的所述物料搬运车辆的路径投影。

14.如权利要求12所述的系统，进一步包括被定位在所述物料搬运车辆上的第二基准，其中，当所述操作者被取向成按第一方向时，所述第一基准处于所述成像仪的视场内，并且当所述操作者被取向成按相反的第二方向时，所述第二基准处于所述视场内。

15.如权利要求12所述的系统，其中，所述图像包括特定于所述物料搬运车辆的几何形状的一个或多个参考标记。

16.如权利要求15所述的系统，其中，所述一个或多个参考标记包括枢轴点，所述枢轴点被限定在当转向角度被设置为最大转向角度时所述物料搬运车辆枢转所围绕的点处。

17.如权利要求15所述的系统，其中，所述一个或多个参考标记包括内半径和外半径，所述内半径与所述物料搬运车辆沿最大转向角度枢转时所述物料搬运车辆上的至少一个叉的最外点扫掠的半径相对应，并且所述外半径与所述物料搬运车辆沿最大转向角度枢转时所述物料搬运车辆的至少一个叉上的负载位置的最外点扫掠的半径相对应。

18.一种系统，所述系统包括：

物料搬运车辆；

训练强化辅助设备，所述训练强化辅助设备具有框架，所述框架支撑光学系统，其中，所述光学系统被配置为用于显示虚拟内容并且实现对周围环境的至少部分的观看；

成像仪，所述成像仪可操作地与所述框架耦合，并且所述成像仪被配置为用于产生关于所述周围环境的至少部分的叠加图像；以及

控制器，所述控制器可操作地与所述成像仪和所述光学系统耦合，

其中，所述控制器被配置为用于基于所述框架在所述物料搬运车辆内的位置来计算所述叠加图像的位置，并且其中，所述叠加图像包括由所述物料搬运车辆限定的枢轴点。

19.如权利要求18所述的系统，进一步包括被定位在所述物料搬运车辆上的基准标记，所述成像仪被配置为用于检测所述基准标记，以相对于所述物料搬运车辆对所述框架进行取向并且确定所述框架的位置。

20.如权利要求17所述的系统，其中，所述一个或多个参考标记包括内半径和外半径，所述内半径与所述物料搬运车辆沿最大转向角度枢转时所述物料搬运车辆上的至少一个叉的最外点扫掠的半径相对应，并且所述外半径与所述物料搬运车辆沿最大转向角度枢转时所述物料搬运车辆的至少一个叉上的负载位置的最外点扫掠的半径相对应。

Images