CN118034265A - 用于工业车辆的旁观者姿态估计的系统和方法 - Google Patents

用于工业车辆的旁观者姿态估计的系统和方法 Download PDF

Info

Publication number
CN118034265A
CN118034265A CN202311510741.XA CN202311510741A CN118034265A CN 118034265 A CN118034265 A CN 118034265A CN 202311510741 A CN202311510741 A CN 202311510741A CN 118034265 A CN118034265 A CN 118034265A
Authority
CN
China
Prior art keywords
spectator
mhv
machine learning
sensor
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311510741.XA
Other languages
English (en)
Inventor
A·V·达科尔蒂
S·穆利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Raymond Corp
Original Assignee
Raymond Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Raymond Corp filed Critical Raymond Corp
Publication of CN118034265A publication Critical patent/CN118034265A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/247—Arrangements for determining position or orientation using signals provided by artificial sources external to the vehicle, e.g. navigation beacons
    • G05D1/249—Arrangements for determining position or orientation using signals provided by artificial sources external to the vehicle, e.g. navigation beacons from positioning sensors located off-board the vehicle, e.g. from cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075—Constructional features or details
    • B66F9/0755—Position control; Position detectors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/063—Automatically guided
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/22—Command input arrangements
    • G05D1/221—Remote-control arrangements
    • G05D1/225—Remote-control arrangements operated by off-board computers
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/22—Command input arrangements
    • G05D1/228—Command input arrangements located on-board unmanned vehicles
    • G05D1/2285—Command input arrangements located on-board unmanned vehicles using voice or gesture commands
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/243—Means capturing signals occurring naturally from the environment, e.g. ambient optical, acoustic, gravitational or magnetic signals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60—Intended control result
    • G05D1/69—Coordinated control of the position or course of two or more vehicles
    • G05D1/698—Control allocation
    • G05D1/6987—Control allocation by centralised control off-board any of the vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2101/00—Details of software or hardware architectures used for the control of position
    • G05D2101/10—Details of software or hardware architectures used for the control of position using artificial intelligence [AI] techniques
    • G05D2101/15—Details of software or hardware architectures used for the control of position using artificial intelligence [AI] techniques using machine learning, e.g. neural networks
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2101/00—Details of software or hardware architectures used for the control of position
    • G05D2101/22—Details of software or hardware architectures used for the control of position using off-board distributed computer resources for performing calculations, e.g. cloud-based
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2105/00—Specific applications of the controlled vehicles
    • G05D2105/20—Specific applications of the controlled vehicles for transportation
    • G05D2105/28—Specific applications of the controlled vehicles for transportation of freight
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2107/00—Specific environments of the controlled vehicles
    • G05D2107/70—Industrial sites, e.g. warehouses or factories
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2109/00—Types of controlled vehicles
    • G05D2109/10—Land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2111/00—Details of signals used for control of position, course, altitude or attitude of land, water, air or space vehicles
    • G05D2111/10—Optical signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Structural Engineering (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Mechanical Engineering (AREA)
  • Geology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Civil Engineering (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

用于增强的MHV操作的系统和方法，该系统和方法使用用于旁观者检测和旁观者姿态估计的自动处理系统来控制MHV的操作。

Description

用于工业车辆的旁观者姿态估计的系统和方法
相关申请的交叉引用
本申请要求于2022年11月11日提交的美国临时申请第63/424,748号的权益和优先权，该美国临时专利申请的全部内容出于所有目的通过引用并入本文。
背景技术
某些物料搬运车辆(MHV)(例如自动化MHV)可以配备有各种传感器。这些传感器可以用于确定MHV在给定环境内的位置和取向，以及其他目的。在一些示例中，MHV可以能够在给定环境内自主导航，例如，通过在诸如仓库或其他设施的区域内四处移动。MHV可以使用一个或多个传感器，例如，耦合到MHV或接近MHV、或远离MHV的传感器，以用于执行自主导航。MHV可能需要传感器数据处理(诸如图像处理、3D数据的处理等)、无线通信、和/或障碍物检测，以准确地自主导航。
另外，对于某些类型的车辆，存在各种政府机构、法律、法规和条例规定的训练要求。例如，OSHA规定雇主有义务训练和监督各种类型的物料搬运车辆的操作者。还要求每三年进行重新认证。在某些实例中，在需要时应当向操作者提供相关主题的进修训练。在所有实例中，在任何行动的执行期间，操作者维持对物料搬运车辆的控制。此外，仓库管理者维持对仓库环境内的物料搬运车辆车队的控制。对操作者的训练和仓库管理者提供的监督要求有适当的操作实践等，包括操作者维持对物料搬运车辆的控制、注意操作环境、以及始终看向行驶方向等。
发明内容
本公开描述新颖的自主MHV控制系统和方法。
在一些实施例中，一种用于具有传感器和车辆控制系统(VCS)的物料搬运车辆(MHV)的旁观者控制系统，该旁观者控制系统可以包括：自动处理系统(APS)，APS具有处理器和存储器，APS与传感器和VCS耦合并且具有存储在存储器中的机器学习控制程序，其中，APS被配置成用于：接收基于传感器输出的传感器数据；使用机器学习控制程序来处理传感器数据，其中，机器学习控制程序包括经训练的机器学习模型；基于经处理的传感器数据来生成输出，输出包括用于MHV的控制动作的指示；以及向VCS发送所生成的输出。
在一些实施例中，机器学习控制程序包括旁观者检测机器学习模型。
在一些实施例中，机器学习控制程序包括旁观者姿态估计机器学习模型。
在一些实施例中，机器学习控制程序包括旁观者检测机器学习模型和旁观者姿态估计机器学习模型，其中：处理传感器数据包括：使用旁观者检测机器学习模型来确定旁观者是否在MHV附近；以及使用旁观者姿态估计机器学习模型来确定旁观者的姿态；并且APS被配置成用于基于所确定的旁观者姿态来生成输出。
在一些实施例中，APS被配置成用于向第二MHV发送所确定的旁观者姿态的指示。
在一些实施例中，传感器包括至少一个第一类型的传感器和至少一个第二类型的传感器。
在一些实施例中，MHV在环境中操作，并且传感器数据包括传感器输出与环境的预定映射的比较。
在一些实施例中，一种用于物料搬运车辆(MHV)的用于旁观者控制的方法，该方法可以包括：由MHV的传感器生成指示MHV附近的环境的传感器数据；由MHV的自动处理系统(APS)接收传感器数据，APS具有处理器和存储器；由机器学习控制程序处理传感器数据，其中，机器学习控制程序包括经训练的机器学习模型；基于经处理的传感器数据来生成输出，输出包括用于MHV的控制动作的指示；以及向VCS发送所生成的输出。
在一些实施例中，机器学习控制程序包括旁观者检测机器学习模型。
在一些实施例中，机器学习控制程序包括旁观者姿态估计机器学习模型。
在一些实施例中，机器学习控制程序包括旁观者检测机器学习模型和旁观者姿态估计机器学习模型，其中：处理传感器数据包括：使用旁观者检测机器学习模型来确定旁观者是否在MHV附近；以及使用旁观者姿态估计机器学习模型来确定旁观者的姿态；并且生成输出是基于所确定的旁观者姿态的。
在一些实施例中，用于MHV的用于旁观者控制的方法可以进一步包括向第二MHV发送所确定的旁观者姿态的指示。
在一些实施例中，传感器包括至少一个第一类型的传感器和至少一个第二类型的传感器，并且其中，生成指示MHV附近的环境的传感器数据包括基于第一类型的第一传感器的输出来生成第一传感器数据以及基于第二类型的第二传感器的输出来生成第二传感器数据。
在一些实施例中，生成指示MHV附近的环境的传感器数据包括将传感器的输出与环境的预定映射进行比较。
本公开的先前以及其他方面和优点将根据以下描述而显现。在说明书中，参考了形成其一部分且在其中通过图示的方式示出了本公开的优选配置的附图。然而，此类配置并不一定表示本公开的全部范围，并因此参考权利要求书和本文以解释本公开的范围。
附图说明
当考虑到以下的具体实施方式时，本发明将会更好地被理解，并且除了上文阐述的那些特征、方面和优点之外的特征、方面和优点将变得显而易见。此类具体实施方式参考了以下附图。
图1是根据本公开的各个方面的包括示例MHV和自动处理系统的示例系统架构的框图。
图2A是根据本公开的各个方面的自动处理系统的示例输入和输出的简化框图。
图2B是示出根据本公开的各个方面的自动处理系统的多个示例输入和输出的简化框图。
图3是图示出根据本公开的各个方面的示例自动处理系统和车辆控制系统的示例部件的框图。
图4是图示出根据本公开的各个方面的用于检测障碍物和控制MHV的示例过程的流程图。
图5是根据本公开的各个方面的在环境中导航的MHV的俯视图。
具体实施方式
在详细解释本发明的任意方面之前，应当理解，本发明在本申请中不限于在下面说明书中阐述或在附图中示出的构造细节和部件布置。本发明能够应用于其他方面，并且能够以各种方式实施或执行。而且，应当理解的是，本文所使用的措辞和术语是为了描述的目的并且不应被视为限制性的。在本文中，“包括(including)”、“包括(comprising)”或“具有(having)”及其变体的使用意味着涵盖之后列出的项目和它们的等效物以及附加的项目。除非另外指定或限制，否则术语“安装”、“连接”、“支撑”和“耦合”及其变体被广泛地使用，并且涵盖直接和间接的安装、连接、支撑和耦合。进一步地，“连接”和“耦合”不限于物理或机械连接或耦合。
提供以下讨论以使本领域技术人员能够制作和使用本发明的实施例。对所示出的实施例的各种修改对于本领域的技术人员而言将容易地是显而易见的，并且在不脱离本发明的实施例的情况下，本文中的一般原理可以应用于其他实施例和应用。因此，本发明的实施例不旨在受限于所示出的实施例，而是应当符合与本文公开的原理和特征一致的最宽范围。参考附图阅读以下具体实施方式，其中，不同附图中的相同要素具有相同的附图标记。附图描绘了所选实施例并且不旨在限制本发明实施例的范围，附图不必是按比例的。本领域技术人员将认识到，本文中提供的示例具有许多有用的替代方案并且落入本发明实施例的范围内。
还应当理解，物料搬运车辆(MHV)被设计为各种类别和配置以执行各种任务。对于本领域技术人员将显而易见的是，本公开不限于任何特定的MHV，并且还可以被提供有各种其他类型的MHV类别和配置(包括例如，升降车、叉车、前伸式卡车、SWING 车辆、转塔式卡车、侧装卡车、平衡重式升降车、托盘堆垛机卡车、订单分拣机、转运车、牵引车和人工卡车(man-up truck))，并且可以常见于仓库、工厂、船厂，以及可能通常需要将托盘、大包装或货物负载从一个地方运输到另一个地方的任何地方。本文中所公开的各种系统和方法适合用于以下各项中的任一项：操作者控制的物料搬运车辆、行人控制的物料搬运车辆、远程控制的物料搬运车辆、以及自主控制的物料搬运车辆。进一步地，本文中公开的各种系统和方法适用于其他车辆，诸如汽车、公共汽车、火车、拖拉机拖车、农用车辆、工厂车辆等。
某些MHV(例如自动化MHV)可以配备有各种传感器，诸如接近度传感器、相机、雷达、光检测与测距传感器(LIDAR)、声纳等。在一些实施例中，传感器可以(通过传感器类型和/或与其他传感器类型组合)提供MHV周围区域的360度覆盖。传感器可以用于确定MHV在给定环境内的位置和取向、检测环境内的障碍物、自主地在环境内导航、以及其他目的。与传感器耦合的计算机可以基于各种传感器的输出来确定关于环境的信息，诸如预期障碍物(例如，已知的过道和墙壁)的存在、非预期的障碍物(例如，MHV的路径中的障碍物)、MHV的位置和取向等。
根据本公开的各个方面的系统和方法可以检测旁观者和/或旁观者姿态并预测旁观者的行为、移动等，并且可以增加MHV可用的决策和控制能力的数量和复杂性。根据本公开的各个方面的系统和方法因此可以增加在环境中操作的MHV的生产力。根据各种示例性实施例，自动化MHV(例如，经由与自动化MHV耦合的电子控制器)可以确定人类(在本文中也被称为“旁观者”或“行人”)是否存在于MHV的大致附近(例如，在一定距离内、在MHV的传感器的视场内、等等)。在一些实施例中，MHV可以确定旁观者的姿态(例如，旁观者位置、身体位置、手部信号、姿势、行进路径等)，并且相应地控制MHV的操作。控制MHV的操作可以包括实施限制或其他控制行为。例如，旁观者可以通过举起手部信号来抢先地停止MHV，或者停止MHV以从MHV取回东西，并且然后提供单独的手部信号以允许MHV继续。在另一示例中，MHV可以确定旁观者姿态并跟踪旁观者的位置，并且向环境中的其他MHV提供相关信息，以允许它们意识到通过环境移动的旁观者，并且更新它们的路线以避开旁观者的预期路径，从而减少生产力延迟。
根据本公开的各个方面的系统和方法可以包括基于旁观者姿态的确定进行操作的MHV。参考图1，用于MHV控制的系统100可以包括与自动处理系统(APS)110通信的MHV130。APS110可以确定旁观者的存在、姿态，并且向MHV 130提供控制指令。在一些实施例中，单独的MHV 130可以包括APS110，例如，集成到MHV 130电子/控制系统中，或以其他方式与MHV 130一起被物理地定位。通过将APS110包括在MHV 130中，可以减少与其他车载功能的通信延迟和/或可以提高连接质量和可靠性。然而，在其他实施例中，APS110可以与MHV分离地定位，例如，位于环境内的固定位置处、环境的外部(例如，在控制室、云计算服务器等中)等。这样的实现方式可以提供改进的处理能力。在一些实施例中，APS110可以位于墙壁、搁架单元、天花板等上。在一些实施例中，APS110可以包括多个APS，例如联网的APS。
在一些实施例中，APS110可以与网络120通信地耦合，通过该网络120，APS110可以与一个或多个其他MHV和/或其他APS(例如，分开的MHV 132的APS)通信。在一些实施例中，MHV可以通信地耦合到网络120，通过该网络120，MHV可以与一个或多个其他MHV 132和/或APS(例如，独立式APS或分开的MHV 132的APS)通信。
参考图2A和图2B，用于MHV控制的系统100可以进一步包括一个或多个传感器202。在一些实施例中，APS110可以接收一个或多个传感器202的输出。传感器202可以包括用于观察环境和确定(无论是单独地还是与其他传感器202组合地)关于旁观者的姿态信息的任何合适的传感器。传感器202可以包括可以提供足够的数据点来标识障碍物的位置和姿态的任何合适的传感器。例如，传感器202可以包括图像传感器、RGBD相机(RGB+深度相机，例如，使用立体成像、飞行时间等)、声呐传感器、飞行时间传感器、雷达传感器、LIDAR传感器等。在一些实施例中，传感器202可以在物理上与MHV 130、APS110一起定位，或者与MHV 130和APS110分离。在一些实施例中，传感器202可以位于墙壁、搁架单元、天花板等上。在一些实施例中，用于MHV控制的系统100可以包括用于感测的发射器，例如用于LIDAR的激光发射器、用于声呐的声学(例如，超声)发射器、用于IR波长成像的IR发射器等，该发射器可以位于任何合适的位置(例如，在MHV上或以其他方式在环境内)。
参考图2A，在一些实施例中，传感器202可以包括图像传感器，该图像传感器可以基于从观察到的环境接收的光来输出图像数据。在一些实施例中，传感器202可以包括LIDAR，该LIDAR可以输出表示观察到的环境的三维(3D)点映射。参考图2B，在一些实施例中，传感器202可以包括与LIDAR传感器组合的图像传感器。
在一些实施例中，APS110可以对多个传感器202的输出单独地进行操作，例如，从每个传感器输出单独地确定旁观者姿态信息。在一些实施例中，APS110可以对多个传感器202的输出的组合进行操作，例如，通过在确定旁观者姿态信息之前组合来自多个图像传感器的输出图像数据(例如，以创建180度视图、270度视图、360度视图等)。在一些实施例中，APS110可以对多个不同传感器类型的输出的组合进行操作，例如通过将来自LIDAR传感器的深度数据与来自图像传感器的图像数据进行组合。
在一些实施例中，MHV 130可以包括车辆控制系统210(VCS，VCS也可以被称为车辆管理器)，车辆控制系统210可以促进MHV 130的操作。VCS210可以接收来自不能直接访问MHV 130的控制系统的设备的控制请求，并且可以向MHV 130的各种系统发送适当的信号。例如，VCS210可以接收来自喇叭按钮、油门控制、灯开关、货叉控制等的控制请求，并且可以向MHV 130的诸如扬声器/喇叭设备、驱动单元、灯、货叉致动器等各种系统发送适当的信号。
APS110在对接收到的传感器202输出进行操作之后，可以向VCS 210发送一个或多个控制指令(例如，控制信号、经格式化的数据、所请求的动作等)，以限制或以其他方式控制MHV 130的操作。在一些实施例中，MHV 130最终可能不会根据控制指令采取行动。换句话说，APS110可以或可以不具有对MHV 130的操作的最终控制。
参考图3，VCS210可以包括适合用于控制MHV 130的操作的软件、电子部件、和/或处理电路的任何组合和/或与适合用于控制MHV 130的操作的软件、电子部件、和/或处理电路的任何组合通信地耦合。在一些实施例中，VCS210可以包括车辆制动控制系统、推进驱动系统和转向系统，这些系统被配置成用于执行相应的操作以控制MHV 130的移动。在一些实施例中，VCS 210可以包括位置检测系统和/或路线生成系统，以确定MHV 130的位置和/或MHV 130要遵循的路线。在一些实施例中，VCS210可以包括，或者可以以其他方式被配置成用于接收传感器302的输出，该传感器302可以由VCS210的各种系统中的一个或多个使用。例如，一个或多个传感器302可以由位置检测系统、车辆制动控制系统、路线生成系统等使用。在一些实施例中，VCS210可以包括通信和/或指示系统，该通信和/或指示系统被配置成用于例如向各种设备和/或旁观者提供对潜在接触的通知。在一些实施例中，VCS210可以包括收发器，例如，用于与通信网络120、APS110、其他MHV 132、其他计算机系统等进行有线或无线通信。
VCS210可以包括与VCS210的各种系统中的一个或多个通信的控制单元310。控制单元310可以被配置成用于向各种系统发送信息(例如，包括指令)和/或从各种系统接收信息(例如，包括指令)。控制单元310可以包括被配置成用于执行存储在存储器中的(多个)操作例程的处理电路。控制单元310可以包括，例如，处理器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)等、任何其他数字和/或模拟部件、以及前述部件的组合，并且可以进一步包括用于处理控制指令、控制信号、驱动信号、功率信号、传感器信号等的输入和输出。所有此类计算设备和环境旨在落入本文所使用的术语“控制器”、“控制单元”、“处理器”或“处理电路”的含义内，除非明确提供不同的含义或上下文中另有明确说明。术语“控制单元”不限于具有单个处理器的单个设备，而是可以涵盖在系统中链接的多个设备(例如，计算机)、具有多个处理器的设备、专用设备、具有各种外围设备以及输入和输出设备的设备、充当计算机或服务器的软件以及以上各项的组合。在一些实现方式中，控制单元310可以被配置成用于例如通过调用远程处理器来实现云处理。
此外，如本文所使用的，术语“处理器”可以包括一个或多个单独的电子处理器，该一个或多个单独的电子处理器中的每一个可以包括一个或多个处理核心、和/或一个或多个可编程的硬件元件。处理器可以是或包括任何类型的电子处理设备，包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、ASIC、FPGA、微控制器、数字信号处理器(DSP)、或能够执行软件指令的其他设备。当设备被称为“包括处理器”时，单独的电子处理器中的一个或所有可以在设备外部(例如，以实现云或分布式计算)。在设备具有多个处理器和/或多个处理核心的实现方式中，本文描述的单独的操作可以由微处理器或处理核心中的任何一个或多个以串行或并行、以任何组合来执行。
如本文所使用的，术语“存储器”可以是任何存储介质，包括非易失性介质，例如，磁介质或硬盘、光存储或闪存；易失性介质，诸如系统存储器，例如，随机存取存储器(RAM)，诸如动态RAM(DRAM)、同步动态RAM(SDRAM)、静态RAM(SRAM)、扩展数据输出(EDO)DRAM、极端数据速率动态(XDR)RAM、双倍数据速率(DDR)SDRAM等；片上存储器；和/或适当的安装介质，诸如软件介质，例如，CD-ROM或软盘，其上可以存储程序和/或可以缓冲数据通信。术语“存储器”还可以包括其他类型的存储器或它们的组合。为了避免疑问，在存储器的定义中构想了云存储。
APS110可以例如使用有线和/或无线通信与VCS210通信地耦合。APS110可以包括适合用于向MHV 130的各种部件(例如，向VCS210或通过VCS210)提供控制指令(例如，控制信号)的软件、电子部件、和/或处理电路的任何组合。在一些实施例中，APS110可以包括与VCS210相同的软件、电子部件、和/或处理电路。在一些实施例中，APS110可以包括传感器，或者可以以其他方式被配置成用于(诸如从传感器202)接收传感器输出。在一些实施例中，由APS110和VCS210使用的传感器可以包括相同的传感器。在一些实施例中，APS110可以包括类似于上面描述的VCS210通信和/或指示系统的通信和/或指示系统。在一些实施例中，APS110可以包括收发器，例如，用于与通信网络120、VCS210、其他MHV 132、其他计算机系统等进行有线或无线通信。
APS110可以包括与APS110的各种系统中的一个或多个通信的控制单元312。控制单元312可以被配置成用于向各种系统发送信息(例如，包括指令)和/或从各种系统接收信息(例如，包括指令)。无论是与另一计算设备(例如，VCS210的控制单元310)集成还是分离，APS110控制单元312都可以包括被配置成用于执行存储在存储器中的(多个)操作例程的处理电路。在一些实施例中，APS110控制单元312和VCS210控制单元310包括相同的控制单元。
参考图4，用于MHV控制的方法400可以包括：APS110从一个或多个传感器202接收信息；以及确定是否向MHV发送控制指令。在一些实施例中，用于MHV控制的方法400可以在APS110控制单元312中实现，例如，作为存储在存储器中的操作例程(例如，作为软件)。在一些实施例中，当MHV 130开启或以其他方式处于操作中时，用于MHV控制的方法400可以连续地操作。
在一些实施例中，APS110可以在步骤402处接收相机输出，例如，以图像数据的形式。在一些实施例中，APS110可以在步骤406处接收LIDAR传感器输出或任何其他合适的3D感测信息，诸如雷达传感器输出、声呐传感器输出、深度图像传感器输出等。在一些实施例中，APS110可以在步骤404处接收或其他方式具有环境的预定映射，并且可以在步骤408处将预定映射与接收到的感测信息进行比较，以标识实际传感器输出与基于预定映射的预期输出之间的差异。
在一些实施例中，用于MHV控制的方法400然后可以在步骤412处基于来自步骤402的所接收的传感器输出和/或来自步骤408的基于传感器输出标识的差异来确定是否检测到旁观者。在一些实施例中，APS110可以在步骤410处使用旁观者检测机器学习(ML)模型(例如，基于机器学习算法(例如，诸如深度学习算法))来执行该确定。如本文所使用的，ML算法可以包括在训练数据集上运行以创建ML模型的过程，并且ML模型被配置成用于接收新的输入数据并生成对新的输入数据的估计、预测、分类等。ML模型可以是预先训练的，和/或可以在潜在的旁观者(例如，将实现该系统的物理位置的员工)上进行训练。下面进一步提供附加的描述。在一些实施例中，旁观者检测ML模型可以包括神经网络，该神经网络被训练以找到旁观者在MHV的周围环境中的位置。在一些实施例中，旁观者检测可以包括机器/计算机视觉技术。
在一些实施例中，旁观者检测ML模型可以在步骤410处在APS110控制单元312中操作。旁观者检测ML模型可以存储在APS110控制单元312的存储器中。控制单元312处理电路可以执行包括旁观者检测ML模型的操作例程，并且可以基于来自步骤402或408的所接收到的传感器数据中的一个或多个来生成输出。在一些实施例中，旁观者检测ML模型可以包括用于估计旁观者是否在MHV 103的相关传感器的视野中的任何合适的ML模型。在一些实施例中，旁观者检测ML模型可以包括用于估计旁观者是否在MHV 130的某个附近的任何合适的ML模型，例如在环境内或MHV上的固定位置处具有传感器202的实施例中。
基于步骤410处的旁观者检测ML模型的输出，用于MHV控制的方法400然后在步骤412处确定是否检测到旁观者。在一些实施例中，步骤412处的旁观者检测确定可以仅基于来自步骤410的旁观者检测ML模型的输出，并且在其他实施例中，它可以在确定中包括其他因素。在一些实施例中，如果没有检测到旁观者，则APS110可以在步骤416处确定是否已经标识出潜在的障碍物。如果标识出障碍物，则APS110可以在步骤420处向MHV 130和/或其他MHV 132发送相关信息，诸如(多个)控制指令、障碍物的位置、障碍物的大小等。在一些实施例中，如果检测到旁观者，则用于MHV控制的方法400然后可以在步骤414处隔离传感器202输出的具有与旁观者有关的信息的部分。例如，图像数据可以被裁剪以聚焦于图像中具有旁观者的部分。
在一些实施例中，用于MHV控制的方法400然后可以在步骤418处确定检测到的旁观者的姿态。在一些实施例中，步骤418处的确定可以基于来自步骤402和/或408的所接收的传感器数据、隔离步骤414的输出、附加的传感器输出、前述的任何组合等。在一些实施例中，APS110可以在步骤418处使用姿态估计机器学习(ML)模型(例如，基于机器学习算法(例如，诸如深度学习算法))来执行该确定。旁观者姿态估计ML模型可以包括用于标识或以其他方式估计特定的旁观者姿态(诸如举起的手或手臂、手部信号、脚的位置、行走或站立、移动或静止、移动方向、面向方向等)的任何合适的ML模型。在一些实施例中，旁观者姿态估计ML模型可以包括被训练用于姿态估计的神经网络，诸如标识旁观者的腿和手臂相对于他们身体的其余部分的位置，以标识旁观者是否在移动、举起预定的手部信号等。在一些实施例中，旁观者姿态确定可以包括机器/计算机视觉技术。
如上面关于旁观者检测ML模型所描述的，在一些实施例中，姿态估计ML模型可以在APS110控制单元312中操作。在一些实施例中，旁观者检测ML模型和姿态估计模型可以包括同一ML模型。例如，ML算法可以被配置成用于训练ML模型来检测旁观者和旁观者的姿态两者。
在一些实施例中，一旦在步骤418处已经标识出旁观者姿态并且APS110了解了旁观者的特性(例如，行进的方向、是否已经给出了识别的手部信号等)，APS110就可以决定是否向MHV发送控制指令。例如，旁观者可以发信号让MHV沿着旁观者的行进路径停止，直到旁观者已经完成通过人行横道的行进，在这种情况下，APS110可以在步骤420处向VCS210发送控制指令以停止(例如，达一段时间、直到后续控制指令被发送等)。在另一示例中，旁观者可以发信号让MHV继续其路线，但是如果MHV当前静止并且没有路线，则可以不需要向VCS210发送控制信号。
在一些实施例中，基于在步骤418中确定的旁观者姿态，以及可能如上所述的是否发送控制指令的确定，用于MHV控制的方法400(例如，APS 110)然后可以向MHV 130(例如，向VCS210)发送一个或多个控制指令。例如，简要地参考图5，旁观者504可以能够通过举起手部信号来抢先地停止在过道506中(例如，在搁架单元502之间)移动的MHV 130，停止MHV130以取回他们需要的东西，然后可以使用单独的手部信号来让MHV 130继续前进，或者使用又另一个手部信号来指示MHV 130取回区域中的物体(例如，附近的托盘)。基于在步骤418处确定的旁观者姿态，APS110可以确定向VCS210发送什么控制指令。如果旁观者呈现在步骤418处确定的用以指示MHV 130停止的手部信号，则APS110可以向VCS210发送控制指令以停止。如果旁观者呈现在步骤418处(参见图4)确定的用以指示MHV 130继续前进的手部信号，则APS110可以向VCS210发送控制指令以恢复MHV 130的行进。如果APS110确定旁观者打算进入MHV的路径(有或者没有用信号通知这种意图)，则APS110可以向VCS210发送控制指令以停止、确定更新的路线，并且一旦继续移动是安全的就继续移动(例如，基于更新的路线)。VCS 210可以接收(多个)控制指令，并且可以对其采取行动，例如通过控制推进驱动系统、车辆制动控制系统、路线生成系统等。根据本文描述的系统和方法，旁观者可以通过姿态(诸如手部信号、移动、或其他姿势)来实施限制/控制行为。
在一些实施例中，基于在步骤418中确定的旁观者姿态，以及可能如上所述的是否发送控制指令的确定，用于MHV控制的方法400(例如，APS 110)可以在步骤422处向其他MHV132发送信息。例如，在一些实施例中，APS110(例如，使用旁观者姿态ML模型)可以被配置成用于跟踪通过环境(例如，图5中的示例设施510)移动的旁观者的位置。APS110可以(例如，经由网络/云120)向环境中的MHV 130和/或其他MHV 132传送该信息，例如包括(多个)控制指令。各种MHV可以使用例如VCS210路线生成系统来更新它们的路线以避开(多个)旁观者的预期路径，从而减少生产力延迟。在一些实施例中，MHV 130可以包括灯和/或其他指示器，以向旁观者指示MHV的行进特性。
上面讨论的ML模型的(多个)ML算法可以在任何合适的计算系统上实现。在一些实施例中，APS110控制单元312和/或VCS210控制单元310可以被配置成用于执行机器学习算法。在一些实施例中，分离的服务器(例如，在云120中)可以被配置成用于执行ML算法。ML算法可以被配置成用于基于训练数据集来构建ML模型。训练数据集可以包括示例输入及其实际输出(例如，分类)。生成的ML模型可以基于所提供的训练集将输入映射到输出。ML模型可以随着时间的推移而更新，例如，随着训练数据集变得更大、被改进、或以其他方式被更新而更新。在一些实施例中，APS110可以不时地被提供有更新的(多个)ML模型。
ML算法可以被配置成用于使用各种方法来执行机器学习，诸如决策树学习、关联规则学习、人工神经网络、递归人工神经网络、长短期记忆神经网络、归纳逻辑编程、支持向量机、聚类、贝叶斯网络、强化学习、表示学习、相似性和度量学习、稀疏字典学习、遗传算法、k-最近邻(KNN)等。
如上所述，ML算法被配置成用于执行特定的任务，例如，训练模型以标识是否存在旁观者，或者训练模型以标识或以其他方式估计特定的旁观者姿态，诸如举起的手或手臂、手部信号、脚的位置、行走或站立、面向方向等。针对其训练ML模型的任务可以基于以下因素而变化：例如，MHV的类型、ML模型可用的传感器输出的类型、到ML模型的经处理的传感器输出的可用性(例如，感测到的与已知环境的比较)、MHV 130操作的环境、相关传感器在MHV130上或以其他方式在环境中的位置等。
根据本公开的各个方面的系统和方法向旁观者提供了附加的控制功能，以在旁观者和/或MHV进入诸如过道的区域之前抢先停止卡车。根据本公开的各个方面的系统和方法还为MHV提供了基于旁观者在环境中的位置和移动来做出经计算的决策(例如，路线选择(routing))的能力。此外，如果MHV认为旁观者在或将在周围区域中，则提供的关于旁观者位置和姿态的附加信息可以促进MHV确定更大的停止场。估计旁观者姿态允许MHV确定旁观者是否例如只是沿着过道边行走，或者是否实际上要进入过道并阻碍MHV。因此，可以基于提供给MHV 130的附加数据来做出扩展的决策。
另外，对于某些类型的车辆，存在各种政府机构、法律、法规和条例规定的训练要求。例如，OSHA规定雇主有义务训练和监督各种类型的物料搬运车辆的操作者。还要求每三年进行重新认证。在某些实例中，在需要时应当向操作者提供相关主题的进修训练。在所有实例中，在任何行动的执行期间，操作者维持对物料搬运车辆的控制。此外，仓库管理者维持对仓库环境内的物料搬运车辆车队的控制。对操作者的训练和仓库管理者提供的监督要求有适当的操作实践等，包括操作者维持对物料搬运车辆的控制、注意操作环境、以及始终看向行驶方向等。
尽管可使用诸如顶、底、较低、中、横向、水平、垂直、前等等之类的各种空间和方向术语来描述本公开的示例，但理解此类术语仅仅相对于附图中所示出的取向来使用。取向可以反转、旋转或以其他方式改变，使得上部是下部并且反之亦然，水平变为垂直，等等。
在本说明书内，已经以使得能够书写清楚且简洁的说明书的方式描述了实施例，但是旨在并将被理解的是，实施例可以是以不同方式组合的或单独的而不背离本发明。例如，将领会，本文所描述的所有优选特征都可适用于本文中描述的所公开的技术的所有方面。
因此，虽然已经结合特定实施例和示例描述了所公开的技术，但是所公开的技术不必受如此限制，并且许多其他实施例、示例、使用、修改以及对所述实施例、示例和使用的偏离旨在被所附权利要求所涵盖。本文引述的每一项专利和出版物的全部公开内容通过引用并入本文，如同每一项此类专利或出版物通过引用单独并入本文那样。
在所附权利要求中阐述了所公开的技术的各种特征和优点。

Claims (15)

1.一种用于具有传感器和车辆控制系统(VCS)的物料搬运车辆(MHV)的旁观者控制系统，所述旁观者控制系统包括：
自动处理系统(APS)，所述APS具有处理器和存储器，所述APS与所述传感器和所述VCS耦合并且具有存储在所述存储器中的机器学习控制程序，其中，所述APS被配置成用于：
接收基于传感器输出的传感器数据；
使用所述机器学习控制程序来处理所述传感器数据，其中，所述机器学习控制程序包括经训练的机器学习模型；
基于经处理的传感器数据来生成输出，所述输出包括用于所述MHV的控制动作的指示；以及
向所述VCS发送所生成的输出。
2.如权利要求1所述的旁观者控制系统，其特征在于，所述机器学习控制程序包括旁观者检测机器学习模型。
3.如权利要求1所述的旁观者控制系统，其特征在于，所述机器学习控制程序包括旁观者姿态估计机器学习模型。
4.如权利要求1所述的旁观者控制系统，其特征在于，所述机器学习控制程序包括旁观者检测机器学习模型和旁观者姿态估计机器学习模型，其中：
处理所述传感器数据包括：
使用所述旁观者检测机器学习模型来确定旁观者是否在所述MHV附近；以及
使用所述旁观者姿态估计机器学习模型来确定所述旁观者的姿态；并且
所述APS被配置成用于基于所确定的旁观者姿态来生成所述输出。
5.如权利要求4所述的旁观者控制系统，其特征在于，所述APS被配置成用于向第二MHV发送所述所确定的旁观者姿态的指示。
6.如权利要求1所述的旁观者控制系统，其特征在于，所述传感器包括至少一个第一类型的传感器和至少一个第二类型的传感器。
7.如权利要求1所述的旁观者控制系统，其特征在于，所述MHV在环境中操作，并且所述传感器数据包括所述传感器输出与所述环境的预定映射的比较。
8.一种用于物料搬运车辆(MHV)的用于旁观者控制的方法，所述方法包括：
由所述MHV的传感器生成指示所述MHV附近的环境的传感器数据；
由所述MHV的自动处理系统(APS)接收所述传感器数据，所述APS具有处理器和存储器；
由机器学习控制程序处理所述传感器数据，其中，所述机器学习控制程序包括经训练的机器学习模型；
基于经处理的传感器数据来生成输出，所述输出包括用于所述MHV的控制动作的指示；以及
向车辆控制系统(VCS)发送所生成的输出。
9.如权利要求8所述的用于旁观者控制的方法，其特征在于，所述机器学习控制程序包括旁观者检测机器学习模型。
10.如权利要求8所述的用于旁观者控制的方法，其特征在于，所述机器学习控制程序包括旁观者姿态估计机器学习模型。
11.如权利要求8所述的用于旁观者控制的方法，其特征在于，所述机器学习控制程序包括旁观者检测机器学习模型和旁观者姿态估计机器学习模型，其中：
处理所述传感器数据包括：
使用所述旁观者检测机器学习模型来确定旁观者是否在所述MHV附近；以及
使用所述旁观者姿态估计机器学习模型来确定所述旁观者的姿态；并且
生成所述输出是基于所确定的旁观者姿态的。
12.如权利要求11所述的用于旁观者控制的方法，进一步包括向第二MHV发送所述所确定的旁观者姿态的指示。
13.如权利要求8所述的用于旁观者控制的方法，其特征在于，所述传感器包括第一类型的第一传感器和第二类型的第二传感器，并且其中，生成指示所述MHV附近的所述环境的传感器数据包括基于所述第一传感器的输出来生成第一传感器数据以及基于所述第二传感器的输出来生成第二传感器数据。
14.如权利要求8所述的用于旁观者控制的方法，其特征在于，生成指示所述MHV附近的所述环境的所述传感器数据包括将所述传感器的输出与所述环境的预定映射进行比较。
15.如权利要求8所述的用于旁观者控制的方法，其特征在于，所述机器学习控制程序存储在所述存储器中。
CN202311510741.XA 2022-11-11 2023-11-13 用于工业车辆的旁观者姿态估计的系统和方法 Pending CN118034265A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202263424748P 2022-11-11 2022-11-11
US63/424,748 2022-11-11

Publications (1)

Publication Number Publication Date
CN118034265A true CN118034265A (zh) 2024-05-14

Family

ID=88778860

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311510741.XA Pending CN118034265A (zh) 2022-11-11 2023-11-13 用于工业车辆的旁观者姿态估计的系统和方法

Country Status (5)

Country Link
US (1) US20240158216A1 (zh)
EP (1) EP4369136A1 (zh)
CN (1) CN118034265A (zh)
AU (1) AU2023263545A1 (zh)
CA (1) CA3219623A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107239728B (zh) * 2017-01-04 2021-02-02 赛灵思电子科技(北京)有限公司 基于深度学习姿态估计的无人机交互装置与方法
WO2020140271A1 (zh) * 2019-01-04 2020-07-09 珊口（上海）智能科技有限公司 移动机器人的控制方法、装置、移动机器人及存储介质
US11290856B2 (en) * 2020-03-31 2022-03-29 Toyota Motor North America, Inc. Establishing connections in transports
US20220043443A1 (en) * 2020-08-04 2022-02-10 Passion Mobility Ltd. Smart Navigation System
JP2022132905A (ja) * 2021-03-01 2022-09-13 本田技研工業株式会社 ジェスチャ認識装置、移動体、ジェスチャ認識方法、およびプログラム

Also Published As

Publication number Publication date
EP4369136A1 (en) 2024-05-15
CA3219623A1 (en) 2024-05-11
AU2023263545A1 (en) 2024-05-30
US20240158216A1 (en) 2024-05-16

Similar Documents

Publication Publication Date Title
EP3525992B1 (en) Mobile robot and robotic system comprising a server and the robot
US11363929B2 (en) Apparatus and methods for programming and training of robotic household appliances
US11645916B2 (en) Moving body behavior prediction device and moving body behavior prediction method
KR102298582B1 (ko) 센서 데이터를 이용하여 청소 동선을 결정하는 인공 지능 로봇 및 그 방법
US11747820B2 (en) Enhanced systems, apparatus, and method for improved automated and autonomous operation of logistics ground support equipment
US11747814B2 (en) Autonomous driving device
JP2019501072A5 (zh)
JP7479799B2 (ja) 情報処理装置、情報処理方法、プログラムおよびシステム
US11209822B2 (en) Techniques for contacting a teleoperator
CN114901537A (zh) 路径内障碍物检测和避让系统
KR20150076757A (ko) 이동 수단의 집단 제어를 위한 장치 및 방법
KR20210057886A (ko) 차량 충돌 방지 장치 및 그 방법
WO2020101942A1 (en) Rider selectable ride comfort system for autonomous vehicle
JP2022539557A (ja) テレオペレータに連絡するための技法
CN118034265A (zh) 用于工业车辆的旁观者姿态估计的系统和方法
CN112585616A (zh) 用于预测行人的至少一个将来的速度矢量和或将来的姿态的方法
JP2023522844A (ja) 協調的車両ガイダンスのための遠隔操作
JP6687313B1 (ja) 搬送システム
CN111949027B (zh) 自适应的机器人导航方法和装置
Song et al. Implementation of distributed architecture based on CAN networks for unmanned forklift
KR102595490B1 (ko) 무인 이동체 및 무인 이동체의 이동 경로 계획을 위한 코스트 결정 방법
WO2023127337A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US20240075620A1 (en) Apparatus and method for generating dynamic safety zone of mobile robot
EP4140844A2 (en) Persisting predicted objects for robustness to perception issues in autonomous driving
JP2024022888A (ja) 地図自動生成装置及び搬送車両システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication