CN115330055A - 针对各种任务的自主机械的分层规划 - Google Patents

针对各种任务的自主机械的分层规划 Download PDF

Info

Publication number
CN115330055A
CN115330055A CN202210968767.8A CN202210968767A CN115330055A CN 115330055 A CN115330055 A CN 115330055A CN 202210968767 A CN202210968767 A CN 202210968767A CN 115330055 A CN115330055 A CN 115330055A
Authority
CN
China
Prior art keywords
subtask
planner
excavator
task
base
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210968767.8A
Other languages
English (en)
Inventor
王励扬
叶志显
张良俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu USA LLC
Original Assignee
Baidu USA LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu USA LLC filed Critical Baidu USA LLC
Publication of CN115330055A publication Critical patent/CN115330055A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G06Q10/047—Optimisation of routes or paths, e.g. travelling salesman problem
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/205—Remotely operated machines, e.g. unmanned vehicles
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36—Component parts
    • E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
    • E02F3/435—Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like
    • E02F3/437—Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like providing automatic sequences of movements, e.g. linear excavation, keeping dipper angle constant
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36—Component parts
    • E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
    • E02F3/435—Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like
    • E02F3/439—Automatic repositioning of the implement, e.g. automatic dumping, auto-return
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • E02F9/265—Sensors and their calibration for indicating the position of the work tool with follow-up actions (e.g. control signals sent to actuate the work tool)
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0234—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • Mining & Mineral Resources (AREA)
  • General Physics & Mathematics (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Tourism & Hospitality (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Operations Research (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Quality & Reliability (AREA)
  • Electromagnetism (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Educational Administration (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Paleontology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Operation Control Of Excavators (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及针对各种任务的自主机械的分层规划。提供了一种计算机实现的方法。该方法包括：从用户接收用于挖掘机的任务和相关联的任务参数值；使用高级任务规划器模块将任务划分为一个或多个底座移动子任务和一个或多个材料移除子任务；使用底座移动子任务规划器来生成路线点的连续对之间的一个或多个路点的集合以在路线点之间引导挖掘机；使用材料移除子任务规划器来确定每个子任务区域的运动基元和相关参数值；使用运动基元、相关参数、挖掘机参数和感知模块数据作为关节移动基元模块的输入以生成关节轨迹，使用路点、挖掘机参数和感知模块数据作为底座移动基元模块的输入以生成底座轨迹；将关节轨迹和底座轨迹分别提供给关节控制器模块和底座控制器模块以生成控制器命令以控制挖掘机的设备。

Description

针对各种任务的自主机械的分层规划
相关申请的交叉引用
本专利申请与共同未决且共同拥有的于2021年8月13日提交的标题为“HIERARCHICAL PLANNING FOR AUTONOMOUS EXCAVATOR ON MATERIAL LOADING TASKS”并将Liyang Wang、Zhixian Ye和Liangjun Zhang列为发明人的美国专利申请No.63/233,194(案卷No.28888-2535P)相关并援引35USC§119要求其优先权益，该专利文献通过引用整体并入本文并用于所有目的。
技术领域
本公开一般而言涉及用于计算机学习的系统和方法，其可以提供改进的计算机性能、特征和用途。更特别地，本公开涉及自主机械。
背景技术
过去几年见证了与自主机械相关的研究和开发的急剧增加。自主机械已被研究用于多种用途，包括自主汽车、自主卡车、自主机器人、自主无人机和自主施工车辆。研究和开发自主车辆的理由因应用而异。例如，自驾驶汽车可以帮助通勤者和司机。自驾驶卡车降低了与运输货物相关联的成本。自主重型装备对于降低成本和减少人类在危险情况下工作的需要都是有用的。
一种已经看到自主研究的这样的车辆是挖掘机。自主挖掘机可能被广泛用于许多不同的应用，诸如移动土、岩石或其他材料。作为用途最广泛的重型装备之一，它在全球拥有广阔的市场。但是，熟练的挖掘机人类操作者要求大量训练。同时，许多作业地点位于基础设施不便的偏远地区。而且，危险的工作环境会影响现场人类操作者的健康和安全。
自主挖掘机具有解决这些挑战和改善整体工作条件的优势。近年来，学术界和工业界的研究人员越来越多地投入到自主挖掘机的开发上。
开发自主挖掘机的主要挑战是设计适用于广泛的现实世界任务的总体规划体系架构，诸如材料装载、沟槽掘出、卡车装载等任务。在大多数文献中，作者专注于为自主挖掘机开发关键的各个组件，包括高级任务规划器设计、挖掘轨迹生成算法和控制模块。虽然取得了这些进展，但很少有研究关注连接高级任务规划器、子任务规划器和自主挖掘机运动规划的规划体系架构。
因而，需要为自主机械提供分层规划的系统和方法。
发明内容
根据本公开实施例的第一方面，提供了一种计算机实现的方法，包括：从用户接收用于挖掘机的任务和相关联的任务参数值；给定所述任务、所述相关联的任务参数值、从感知模块接收的感知相关数据中的至少一些，使用包括一个或多个基于规则的模型的高级任务规划器模块将所述任务划分为一个或多个底座移动子任务和一个或多个材料移除子任务，其中所述一个或多个底座移动子任务包括路线点的序列，并且所述一个或多个材料移除子任务包括子任务区域的序列和每个子任务区域的目标；给定所述路线点的序列和状态信息，其中所述状态信息中的至少一些是从所述感知模块获得的，使用包括一个或多个模型的底座移动子任务规划器来生成路线点的连续对之间的一个或多个路点的集合以在路线点之间引导所述挖掘机；给定所述子任务区域的序列、相关联的目标和状态信息，其中所述状态信息中的至少一些是从所述感知模块获得的，使用包括一个或多个规划器模型的材料移除子任务规划器来确定用于每个子任务区域的运动基元和相关参数值，以实现那个子任务区域的所述目标；使用所述运动基元、相关参数、挖掘机参数和感知模块数据作为关节移动基元模块的输入以生成关节轨迹，并使用路点、挖掘机参数和感知模块数据作为底座移动基元模块的输入以生成底座轨迹；以及将所述关节轨迹和底座轨迹分别提供给(一个或多个)关节控制器模块和(一个或多个)底座控制器模块，以生成控制器命令以控制所述挖掘机的设备。
在一些实施例中，所述感知模块包括或接收来自一个或多个传感器的数据，所述一个或多个传感器包括：用于图像数据的相机；用于生成点云数据的LiDAR传感器；用于定位的实时运动传感器；以及一个或多个倾角传感器。
在一些实施例中，所述计算机实现的方法还包括使用矩形定义或基于扇形的定义以及包括区块中心摆动角、区块角度范围或宽度、近端距离和远端距离的参数值的集合确定局部底座区域。
在一些实施例中，所述子任务区域由所述高级规划器通过执行包括以下各项的步骤来确定：给定用于所述挖掘机的所述局部任务区域和要在其上执行所述任务的区块，确定至少覆盖所述区块的局部任务区域的数量。
在一些实施例中，给定所述子任务区域的序列、相关联的目标和从所述感知模块获得的状态信息，使用包括一个或多个模型的材料移除子任务规划器来确定用于每个子任务区域的运动基元和相关参数值，以实现那个子任务区域的所述目标的步骤，对于子任务包括：对于子任务区域，在所述子任务区域处根据与所述子任务相关联的材料移除子任务规划器模型实现一个或多个动作规划器的集合，直到实现所述子任务目标；以及响应于所述子任务区域的所述子任务目标在被实现并响应于所述子任务区域不是所述子任务区域的序列中的最后一个子任务区域，处理所述子任务区域的序列中的下一个子任务区域。
在一些实施例中，所述材料移除子任务规划器包括：攻击点(POA)规划器；掘进运动规划器；以及倾倒规划器。
在一些实施例中，所述掘进运动规划器利用的参数包括：
xb,yb,zb,其表示底座框架中的攻击点(POA)位置；
pd，其表示穿透深度；
pl，其表示穿透长度；
dl，其表示拖曳长度，以及
δ，其表示相对于水平面的整个掘进运动倾斜角。
在一些实施例中，用于所述底座移动子任务规划器的所述状态信息包括所述挖掘机的挖掘机关节状态、挖掘机底座姿态、以及工作区的一个或多个环境状态；以及用于所述底座移动子任务规划器的所述状态信息包括所述挖掘机的挖掘机底座姿态和工作区的一个或多个环境状态。
在一些实施例中，子任务目标的结束条件可以根据不同级别的严格性要求来定义。
根据本公开实施例的第二方面，提供了一种系统，包括：一个或多个处理器；以及一种或多种非暂时性计算机可读介质，包括一个或多个指令集，所述一个或多个指令集当由所述一个或多个处理器中的至少一个处理器执行时，使得执行根据本公开实施例的第一方面的计算机实现的方法。
根据本公开实施例的第三方面，提供了一种非暂时性计算机可读介质，包括一个或多个指令序列，所述一个或多个指令序列当由至少一个处理器执行时使得执行根据本公开实施例的第一方面的计算机实现的方法。
根据本公开实施例的第四方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现根据本公开实施例的第一方面的计算机实现的方法。
附图说明
将参考本公开的实施例，其示例可以在附图中示出。这些图旨在是说明性而非限制性的。虽然在这些实施例的上下文中一般性地描述了本公开，但应当理解的是，其并非旨在将本公开的范围限制于这些特定实施例。图中的项可能不是按比例的。
图1描绘了根据本公开的实施例的规划器体系架构。
图2描绘了根据本公开的实施例的使用规划器系统的示例方法。
图3描绘了根据本公开的实施例的挖掘机的传感器组件，该传感器组件可以经由一个或多个感知模块提供给规划器。
图4描绘了根据本公开的实施例的局部任务区域定义的示例。
图5描绘了根据本公开的实施例的挖沟任务高级规划的示例。
图6描绘了根据本公开的实施例的桩移除任务高级规划的示例。
图7描绘了根据本公开的实施例的大规模桩移除子任务区域分解的示例。
图8描绘了根据本公开的实施例的大规模桩移除子任务底座移动规划的示例。
图9描绘了根据本公开的实施例的用于开发规划信息的替代方法。
图10描绘了根据本公开的实施例的确定攻击点(POA)的方法。
图11描绘了根据本公开的实施例的示例掘进运动参数定义。
图12以图形方式描绘了根据本公开的实施例的用于挖掘机的示例独轮车模型。
图13描绘了根据本公开的实施例的挖沟实验。
图14描绘了根据本公开的实施例的桩移除实验设置。
图15描绘了根据本公开的实施例的桩移除实验过程。
图16A和16B描绘了根据本公开的实施例的大规模桩移除实验模拟。
图17描绘了根据本公开的实施例的计算设备/信息处置系统的简化框图。
具体实施方式
在以下描述中，出于解释的目的，阐述具体细节以提供对本公开的理解。但是，对于本领域的技术人员来说显而易见的是，可以在没有这些细节的情况下实践本公开。此外，本领域技术人员将认识到，下文描述的本公开的实施例可以以多种方式实现，诸如过程、装置、系统、设备或有形计算机可读介质上的方法。
图中所示的组件或模块是对本公开的示例性实施例的说明并且旨在避免混淆本公开。应该理解的是，在整个讨论中，组件可以被描述为分离的功能单元，这些功能单元可以包括子单元，但是本领域技术人员将认识到各种组件或其部分可以被划分为分离的组件或可以集成在一起，包括例如在单个系统或组件中。应当注意的是，本文讨论的功能或操作可以被实现为组件。组件可以以软件、硬件或其组合来实现。
此外，图中的组件或系统之间的连接不旨在限于直接连接。更确切地说，这些组件之间的数据可以由中间组件修改、重新格式化或以其他方式改变。而且，可以使用附加的或更少的连接。还应该注意的是，术语“耦合”、“连接”、“通信耦合”、“接合”、“接口”或其任何派生词应该被理解为包括直接连接、通过一个或多个中间设备的间接连接、以及无线连接。还应该注意的是，任何通信(诸如信号、响应、回复、确认、消息、查询等)都可以包括信息的一个或多个交换。
说明书中对“一个或多个实施例”、“优选实施例”、“一个实施例”、“实施例”等的引用意味着结合该实施例描述的特定特征、结构、特点或功能包括在本公开的至少一个实施例中并且可以包括在多于一个实施例中。而且，上述短语在说明书的各个地方的出现不一定都指相同的一个或多个实施例。
某些术语在说明书中的不同地方的使用是为了说明而不应当被解释为限制。服务、功能或资源不限于单个服务、功能或资源；这些术语的使用可以指一组相关的服务、功能或资源，这些服务、功能或资源可以是分布式的或聚合的。术语“包括”、“包含”或它们的任何变体都应被理解为开放式术语，并且随后的项目的任何列表都是示例项目并且不意味着限于所列项目。“层”可以包括一个或多个操作。词“最优”、“优化(optimize)”、“优化(optimization)”等是指结果或过程的改进，并且不要求指定的结果或过程已经达到“最优”或高峰状态。存储器、数据库、信息库、数据存储库、表、硬件、高速缓存等的使用可以在本文中用于指代可以输入或以其他方式记录信息的一个或多个系统组件。
在一个或多个实施例中，停止条件可以包括：(1)已经执行了设定次数的迭代；(2)已达到一定量的处理时间；(3)收敛(例如，连续迭代之间的差异小于第一阈值)；(4)发散(例如，性能恶化)；(5)已达到可接受的结果；以及(6)所有数据都已被处理。
本领域技术人员应当认识到：(1)可以可选地执行某些步骤；(2)步骤可以不限于本文阐述的具体次序；(3)某些步骤可以按不同的次序执行；以及(4)某些步骤可以并发进行。
本文使用的任何标题仅用于组织目的，并且不应被用于限制描述或权利要求的范围。这个专利文件中提及的每个参考文献/文件都通过引用整体并入本文。
应该注意的是，本文提供的任何实验和结果都以说明的方式提供并且是在使用一个或多个特定实施例的特定条件下进行的；因而，这些实验及其结果都不应被用于限制本专利文件的公开的范围。
还应该注意的是，虽然本文描述的实施例可以在挖掘机或重型装备的上下文中，但本公开的方面不限于此。因而，本公开的方面可以应用于或适于与其他机械或物体一起使用并且用在其他上下文中。
由于操作挖掘机的劳动力短缺和危险的工作环境，自主挖掘机近年来发展迅速。本文呈现的是用于诸如挖掘机之类的自主机器的新型分层规划系统的实施例。在一个或多个实施例中，整体规划系统包括用于任务划分和底座移动规划的高级任务规划器，以及具有运动基元的通用子任务规划器，在挖掘机的情况下，运动基元包括臂移动和底座移动两者。使用系统体系架构的实施例，对现实世界中的挖沟和桩移除任务以及模拟环境中的大规模材料装载任务执行了实验。结果表明，系统体系架构实施例和规划器方法实施例生成了在自主挖掘中表现良好的有效任务和运动规划。
A.一般介绍
如前所述，开发自主挖掘机的主要挑战是设计适于广泛的现实世界任务的总体规划体系架构，诸如材料装载、沟槽掘出、卡车装载。在大多数文献中，作者专注于为自主挖掘机开发关键的各个组件，包括高级任务规划器设计、挖掘轨迹生成算法和控制模块。
对于高级任务规划器的设计，一些研究已经覆盖了任务划分中的自主挖掘或底座移动路线规划。Seo等人(Jongwon Seo、Seungsoo Lee、Jeonghwan Kim和Sung-KeunKim.Task Planner Design for an Automated Excavation System.Automation inConstruction，20(7):954–966，2011，其通过引用整体并入本文)设计了一种任务规划器来为自动挖掘机创建优化的工作命令。挖掘任务规划器的一些重要组件可以是用于工作区分割和挖掘路径生成的模块。Kim等人，2012(Sung-Keun Kim，Jongwon Seo和Jeffrey SRussell.Intelligent Navigation Strategies for an Automated EarthworkSystem.Automation in Construction，21:132–147，2012，其通过引用整体并入本文)提出了智能导航策略，这对于自动土方工程系统有效地执行挖掘可能是有用的。Kim等人，2020(Jeonghwan Kim，Dong-eun Lee和Jongwon Seo.Task Planning Strategy and PathSimilarity Analysis for an Autonomous Excavator.Automation in Construction，112:103108，2020，其通过引用整体并入本文)据称通过考虑土方工程的特点而提出了一种完整的覆盖路径规划(CCPP)算法。而且，还提出了一种路径相似性分析方法来测试CCPP算法的有效性。
其他研究有助于开发挖掘机臂运动生成和控制器设计。Jud等人(Dominic Jud、Gabriel Hottiger、Philipp Leemann和Marco Hutter.Planning and Control forAutonomous Excavation.IEEE Robotics and Automation Letters，2(4):2151–2158，2017，其通过引用整体并入本文)提出了用于自主挖掘的规划和控制方法，其中关于末端执行器力-扭矩轨迹定义单个掘进周期。与铲斗运动的位置轨迹相比，它的优势是可以克服土壤相互作用力的局限性，这种相互作用力占主导地位并且很难预测或估计。Son等人(BukunSon、ChangU Kim、Changmuk Kim和Dongjun Lee.Expert-emulating excavationtrajectory planning for autonomous robotic industrial excavator.2020IEEE/RSJInternational Conference on Intelligent Robots and Systems(IROS)，第2656-2662页.IEEE，2020，其通过引用整体并入本文)提出了一种用于工业自主机器人挖掘机的挖掘轨迹规划框架，该框架模仿人类操作者的策略来优化不同类型土壤的挖掘，同时在实践中保持稳健性和安全性。
虽然取得了这些进展，但关注连接高级任务规划器、子任务规划器和自主机械(诸如挖掘机)的运动规划的规划体系架构的研究较少。Elezaby等人(Ahmed Adel Elezaby、Mohamed Abdelaziz和Sabri Cetinkunt.Operator model for constructionequipment.2008IEEE/ASME International Conference on Mechtronic and EmbeddedSystems and Applications，第582-585页.IEEE，2008年，其通过引用整体并入本文)提出了一种基于事件的有限状态机策略模型，该模型为轮式装载机任务周期选择了不同的运动基元。虽然它可以提供有前途的系统体系架构设计，但运动基元定义专门基于轮式装载机并且不能很好地泛化(即，不太适合挖掘机)。此外，已发表的著作中不存在相关的子任务定义，其中任务规划器的体系架构是通用的。上面提到的大多数研究主要集中在或者高级任务规划上或者运动基元的设计上。总体而言，没有针对如挖掘机的自主机械的自上而下的规划系统体系架构设计。
为了解决这些限制，在本专利文件中，提出了用于自主机械系统的新颖分层规划体系架构的实施例。应该注意的是，为了说明的目的，呈现了对挖掘机的应用，但是实施例的方面一般可以应用于其他自主机械。
在一个或多个实施例中，首先处置大量挖掘任务类型的问题，并且设计了用于挖掘任务划分和底座移动规划的高级任务规划器的实施例。然后，抽象出两种具有良好可移植性和通用性的子任务规划器，包括材料移除子任务规划器和底座移动子任务规划器。接下来，实施例封装运动基元并为它们提供合适的控制器以用于关节控制和底座控制。最后，实现实施例并在具有一系列挖掘机的真实世界实验和动态模拟环境中进一步验证该实施例。结果表明，系统体系架构实施例和规划器方法实施例能够生成有效的工作规划，该工作规划可以以一般方式馈送到自主挖掘系统中。
本专利文件如下组织。在B节中，提出了一种新颖的总体规划系统体系架构的实施例。在C节中，根据挖掘任务划分和底座移动规划呈现高级任务规划器的实施例。首先给出局部任务区域的定义。然后，详细介绍三个常见任务及其规划方案。D节重点在于子任务规划器的实现，包括臂移动和底座移动。那里也覆盖了它们相关的运动基元。E节中呈现了真实世界的实验结果和模拟结果两者。在F节中，得出了一些结论或观察。在G节中，呈现了一些计算系统实施例。
B.规划器体系架构实施例
本文呈现的是关于一般应用的分层规划器体系架构的实施例。图1描绘了根据本公开的实施例的用于挖掘机的规划器110的示例总体体系架构。注意的是，主要组件绘制在虚线框内。图2描绘了根据本公开的实施例的使用规划器系统100的示例方法。
在所描绘的体系架构中，存在两级任务规划器加上一级运动基元。从上到下，它们是高级任务规划器层或模块120、(一个或多个)子任务规划器层(例如，材料移除子任务区域规划器135和底座移动子任务规划器140)以及(一个或多个)运动基元层(例如，关节控制器175和底座控制器180)。在大多数场景下，挖掘机在其臂的运动以执行挖掘作业和将底座移动到期望位置之间交替进行。基于这一特点，在一个或多个实施例中，规划器可以将材料移除和底座移动分离成两个规划管道。
为了帮助实时确定规划和基元，各个层可以接收来自一个或多个感知模块185的输入，该输入可以包括未加工的传感器数据或经处理的传感器数据。在一个或多个实施例中，一个或多个基于规则和/或基于机器学习的模型可以被用于在将传感器数据提供给规划器110的组件之前对其进行预处理/处理。仅通过说明，图3描绘了可以与用于挖掘机的规划器110结合使用的传感器的一些示例。如图所描绘的，自主机器，如挖掘机305，可以配备传感器，传感器可以包括一个或多个相机310、LiDAR传感器315(其提供LiDAR点云数据)、实时运动学(RTK)320(其提供高准确性/高精度差分定位，其还可以使用来自全球定位系统(GPS)/全球导航卫星系统(GNSS)的信号)、一个或多个压力传感器325、以及一个或多个倾角传感器330。
在一个或多个实施例中，存在用户可以经由用户接口105选择的多种用户定义的任务(或用户可以定义的任务)。通过允许用户定义任务，实施例允许高度定制高级任务规划器。
在一个或多个实施例中，定义了两种类型的子任务，但是应注意的是，对于不同的机械或不同的应用，可以存在更多或更少的子任务。在一个或多个实施例中，最接近用户接口105的高级任务规划器实施例将用户任务作为(205)输入，然后将任务划分为这些类型的子任务，即，材料移除子任务和底座移动子任务。在一个或多个实施例中，用户还可以输入(或者它可以预先加载)一个或多个相关联的任务参数值，诸如要掘出的沟槽的尺寸和位置或者移除一堆污垢的位置和深度。在一个或多个实施例中，规划器实施例起到确定挖掘机应当移动到哪个位置以及挖掘机应当掘出材料的哪个区域的作用。在一个或多个实施例中，对于每个挖掘任务，高级规划器确定(210)挖掘机路线点的序列，并且在每个挖掘机路线点处，确定(210)掘进区域(子任务区域)的序列。一旦按照生成的序列完成了所有子任务，就可以认为用户指派的任务已完成。在一个或多个实施例中，对于臂移动任务，高级任务规划器实施例假设挖掘机底座是静止的，并且它计算挖掘机的臂在那个固定位置处可以到达的子任务区域(材料区域)。对于底座移动任务，规划器实施例可以要求挖掘机以给定的航向角到达期望的路线点。
在一个或多个实施例中，给定这个高级任务规划器及其子任务的结果，一个或多个子任务规划器提供实现短期目标的解决方案。通过路点规划，它引导挖掘机到达目标路线点。同时，它帮助挖掘机在固定的底座位置处高效且准确地完成子区域挖掘。为简单起见，材料移除子任务规划器的实施例可以被称为MRSP，并且底座移动子任务规划器的实施例可以被称为BMSP。在一个或多个实施例中，MRSP从高级任务规划器接收子任务区域并决定(220)运动基元并计算相关参数。在一个或多个实施例中，BMSP从高级任务规划器接收挖掘机路线点，并输出(215)两个路线点之间的路点和相关约束。
运动基元可以作为子任务规划器的结果被抽象，而不是直接的运动控制，主要是因为挖掘作业中有很多重复的、模块化的操作动作，这简化了子任务规划器的复杂度。当前，实施例包括掘进运动基元、倾倒运动基元和底座移动运动基元—但是应该注意的是，可以存在不同的和/或附加的基元，特别是对于不同类型的装备。除了任务规划结果，这些基元还可以使用若干外部挖掘参数(诸如来自感知模块185)和与挖掘机相关联的参数值，以生成(225)可行轨迹(例如，关节轨迹165和底座轨迹170)。挖掘参数的示例可以包括每个挖掘机连杆的长度、铲斗体积、材料移除子任务区域尺寸、期望的掘进深度和铲斗齿位置约束。在一个或多个实施例中，生成的轨迹可以是整个规划系统的输出，但是控制器(例如，关节控制器175和底座控制器180)要遵循的输入。控制器可以使用轨迹来生成控制器命令以控制挖掘机的设备(例如，马达、液压装置等)。
综上所述，高级任务规划器的实施例计算每个停靠站的全局停靠路线点、局部任务区域和局部任务目标。并且，在一个或多个实施例中，子任务规划器MRSP和BMSP通过调用封装的运动模块来处置这些子任务，这些模块是本文设计的运动基元。在一个或多个实施例中，运动基元最终为控制器生成轨迹。
如前所述，虽然在挖掘机的上下文中提供了一些实施例，但是应该注意的是，通用体系架构和方法可以应用于其他上下文。例如，在一个或多个实施例中，通用规划方法可以包括接收自主机器要执行的任务和与该任务相关的参数的集合作为输入。可以使用高级规划器来生成用于任务的子任务配置的集合，高级规划器包括用于任务的一个或多个模型并且使用来自与任务相关的参数的集合中的至少一个参数和与自主机器相关的一个或多个参数来生成子任务配置的集合，其中子任务配置的集合具有次序并且其中每个子任务配置可以具有相关联的类型。在一个或多个实施例中，对于每个子任务配置，使用与用于那个子任务配置的相关联的类型对应的子任务规划器来生成基元参数值，其中子任务规划器使用来自高级规划器的子任务配置、状态信息(其可以从一个或多个传感器或感知模块获得)以及一个或多个子任务模型。在一个或多个实施例中，对于基元，控制参考数据可以使用基元模型、来自与基元对应的子任务规划器的一个或多个基元参数以及与基元对应的一个或多个传感器输入来生成。最后，在一个或多个实施例中，控制参考数据可以被用于控制自主机器的一个或多个组件。
C.高级任务规划器实施例
在一个或多个实施例中，高级任务规划器将用户定义的任务作为输入并将任务划分给子任务规划器。因此，在本节中，这个划分是根据局部任务区域来覆盖的。而且，为了更好地理解高级任务规划器实施例的使用，开发了三个实际施工中的常见任务，它们是挖沟任务、桩移除任务和大规模桩移除任务，并仅作为说明而提供。
在此，定义了两种不同类型的基于移动方向和材料残渣的需求的挖掘任务：向前移动任务和向后移动任务。对于向前移动任务，目标材料在地表之上，这意味着材料移除的目标高度与地表高度相同。在挖掘机前面的材料被移除之后，挖掘机可以向前移动以继续。另一方面，对于向后移动任务，材料的目标高度低于地表，在移除较近的材料之后，挖掘机通常向后移动以继续。因此，挖沟任务是向后移动任务，而桩移除和大规模桩移除是向前移动任务。
对于给定的挖掘机运动学模型，局部安全可达范围是预先确定的。最大可达距离可以表示为rmax，最小可达距离可以表示为rmin。为了完全覆盖全局任务区，在一个或多个实施例中，设置局部任务区域重叠面积，表示为ro。
虽然下面针对挖掘机示例提供了具体的示例任务，但可以看出，基于任务和与任务相关联的参数值(例如，沟槽的尺寸、定义其局部区域的挖掘机的参数值等)，高级规划器生成使用其任务模型将任务划分为一个或多个底座移动子任务和一个或多个材料移除子任务，其中一个或多个底座移动子任务包括路线点的序列，并且一个或多个材料移除子任务包括子任务区域的序列和目标(例如，掘进到深度d)。
1.局部任务区域实施例
在介绍三个指定的常见任务之前，本节提供用于MRSP的局部任务区域的定义。MRSP的任务区域可以在挖掘机的底座坐标系中局部定义。局部任务区域可以使用四个参数来定义：1)区块中心摆动角α；2)区块角度范围或宽度β；3)近端距离rmin；以及4)远端距离rmax。提供了两种类型的局部任务区域。高级任务规划器实施例可以选择扇形区块或矩形区块作为局部任务区域。因此，参数β有两个定义。角度范围定义与扇形区块对应，而宽度定义与矩形区块对应。图4描绘了根据本公开的实施例的使用参数的两个局部任务区域定义。
关于局部任务区域，有两点需要注意。首先，rmin和rmax的选择应当基于挖掘机尺寸以确保铲斗可以到达局部任务区域。其次，在掘进和倾倒循环期间，挖掘机底座姿态与初始底座姿态相比会有微小的改变。如果局部任务区域没有更新，那么地图坐标系中的全局任务区会发生改变。为了解决这个问题，在一个或多个实施例中，MRSP最初将任务区域中心记录在地图坐标系中。在每个掘进-倾倒循环之前，MRSP可以使用来自感知模块的数据检查地图坐标系中的当前挖掘机底座姿态并且可以调整局部任务区域参数以确保局部任务区域不会在全局任务区中移位。
2.挖沟任务实施例
假定期望的沟槽的长度为l并且宽度为w。挖掘机的初始路线点沿着沟槽方向，位于距沟槽起点rmax米处。在每个子任务完成之后，挖掘机底座向后移动以进行下一个子任务。向后距离可以被定义为d＝rmax-rmin-ro。材料移除子任务执行的总数n为
Figure BDA0003795860790000091
为了满足沟槽长度要求，最后一个子任务的近端边界距离可以被定义为rmin+n·d-l。
一般而言，期望的沟槽宽度w相对窄。矩形被选为子任务区域形状。图5示出了根据本公开的实施例的用于挖沟任务的高级规划。图5的顶部部分表示用于挖沟任务的高级规划，并且底部部分表示图例。
3.桩移除任务实施例
桩移除任务和挖沟任务共享相似的定义并且具有相同的符号来描述规划器。不同之处在于挖沟任务是向后移动任务，而桩移除任务是向前移动任务。与挖沟任务类似，假定要移除的期望的桩的长度为l并且宽度为w。挖掘机的初始路线点沿着桩长度方向，位于距桩任务区起点后rmax米处。在一个或多个实施例中，在每个子任务完成之后，挖掘机底座向前移动以进行下一个子任务。向后距离d＝rmax-rmin-ro。材料移除子任务执行的总数n为
Figure BDA0003795860790000101
Figure BDA0003795860790000102
为了满足桩长度要求，最后一个子任务的远端边界距离为rmin+l-(n-1)·d。
桩任务区具有相对宽的宽度w。扇形被选择为子任务区域形状。如果应用矩形任务区域，那么挖掘机可能无法到达左上角或右上角。图6示出了根据本公开的实施例的用于桩移除任务的高级规划。图6的左侧部分表示用于桩移除任务的高级规划，并且右侧部分表示图例。
4.大规模桩移除任务实施例
大规模桩移除任务的任务区定义与桩移除任务类似。但是，任务区面积可以大于桩移除任务区，因此挖掘机路线路径不能是直线以完成任务。在一个或多个实施例中，桩移除任务的最大宽度可以表示为q。如果任务区的宽度w大于q，那么该任务是大规模的案例。否则，该任务被认为是桩移除任务，这在C.3节中有描述。在一个或多个实施例中，可以使用以下公式：
Figure BDA0003795860790000103
假定任务区宽度w大于q，在一个或多个实施例中，任务区可以被分成
Figure BDA0003795860790000104
列。对于每一列，可以使用180°扇形来覆盖区域。考虑到实际应用中LiDAR水平视场的限制，每个180°扇形可以进一步分解成更小角度范围的扇形。在一个或多个实施例中，彼此接近的扇形具有重叠面积以确保完全覆盖。在材料可能很厚的一些应用中，可以使用多个层来进行子任务划分。
图7描绘了根据本公开的实施例的大规模桩移除子任务区域分解的示例。在每个路线点处，180°扇形705可以被分解成6个部分，并且可以使用4个层710来覆盖整个材料——但是应该注意的是，部分和层的数量可以不同。在一个或多个实施例中，这个路线点的材料移除子任务序列被设定为完成第一层，以及从部分1到6的子区域。然后，移动到下一层，直到全部完成。
在一个或多个实施例中，在两个列之间，可以使用半圆弧来设计连接路径。由于挖掘机工作区通常有柔软的地面，因此使用小转弯半径会使得挖掘机沉入地面。图8示出了根据本公开的实施例的用于大规模桩移除任务的示例挖掘机底座路径规划。初始路线点805位于右下角。挖掘机直线移动到顶部以完成第一列。然后，挖掘机移动到由空心圆圈810标记的路线点，其表示与材料移除子任务无关联的路线点。之后，挖掘机沿着半圆弧815作为U形转弯到达第二列。最后，挖掘机直线向下移动到终点820以完成第二列。
D.子任务规划器和运动基元实施例
如B节中所提到的，实施例可以包括两个或更多个子任务规划器。在所示实施例中，材料移除子任务规划器的实施例规划掘进材料以达到期望的量并将它们倾倒到给定的位置，而底座移动子任务规划器的实施例将挖掘机导航以到达期望的位置和航向角。因而，在以下小节中，将呈现这些子任务规划器的设计细节。之后，呈现这些子任务规划器所基于的运动基元。
1.材料移除子任务规划器实施例
在一个或多个实施例中，MRSP的输入可以包括两个部分：(1)来自高级任务规划器的子任务配置；以及(2)用于在线/实时规划的状态信息。子任务配置可以包括局部任务区、目标材料高度和倾倒模式。挖掘机状态(诸如挖掘机关节状态和底座姿态)和环境状态(例如，LiDAR点云)可以被用作状态表示。在一个或多个实施例中，MRSP的输出是用于运动基元的运动参数的值。
方法1示出了材料移除子任务模块的过程的实施例。在一个或多个实施例中，MRSP首先加载子任务配置，其可以包括子任务区域信息、子任务目标和子任务模式。然后，MRSP使用对应的规划模型进行规划，在本例中是掘进和倾倒循环，直到局部任务区中的材料高度达到目标高度。可以根据倾倒模式决定倾倒位置。
方法1：材料移除子任务
Figure BDA0003795860790000111
图9描绘了根据本公开的实施例的用于开发子任务规划信息的MRSP实施例的替代方法。在一个或多个实施例中，MRSP接收(905)子任务配置，其可以包括子任务区域和子任务目标，但可以包括附加信息，其可以是用户指定的或子任务特定的。然后，MRSP可以使用材料移除子任务规划器模型来执行一个或多个规划动作的集合。例如，模型可以包括方法1中的第6-12行。可以执行一个或多个规划动作，直到达到(915)子任务目标。在一个或多个实施例中，如果达到目标，那么认为当前子任务完成并且继续到系统可以根据来自高级规划器的命令进行到下一个子任务，下一个子任务可以是相同类型或不同类型的。
a)攻击点规划实施例
在一个或多个实施例中，MRSP基于局部任务区内的LiDAR点云找到攻击点(POA)。在这种方法中，实施例可以基于具有前方偏移量的最高点来确定POA。图10示出了根据本公开的实施例的确定POA的方法。
在一个或多个实施例中，MRSP首先找到局部任务区的最高点和平均高度。然后，从底座连杆原点开始，确定连接最高点的直线。如顶视图中所示，可以将恒定距离偏移量添加到该线并确定POA的(x，y)。如侧视图中所示，POA的z可以被设定为等于平均高度。
b)掘进运动参数实施例
在一个或多个实施例中，掘进运动规划器首先获得用于铲斗齿端的POA以接触。然后，掘进运动可以划分为三个步骤。首先，铲斗以更接近底座原点的一定深度和距离穿入材料中。其次，铲斗向后拖曳到底座原点以将材料收集到铲斗中。最后，铲斗闭合，直到铲斗关节与齿平面变平，这防止后续运动中的材料泄漏。基于以上讨论，掘进运动可以由7个参数定义。在一个或多个实施例中，掘进运动参数可以表示为D＝[xb,yb,zb,pd,pl,dl,δ]，其中xb,yb,zb表示底座框架中的POA，pd表示穿透深度，pl表示穿透长度，dl表示拖曳长度，并且δ表示相对于水平面的整个掘进运动倾斜角。图11示出了根据本公开的实施例的示例掘进运动参数定义。
在一个或多个实施例中，这些参数可以根据可以从感知模块获得的地形形状来确定，以优化所收集的材料体积以匹配铲斗体积。最终的掘进运动轨迹可以基于挖掘机底座姿态进一步调整，以处置底座的侧倾角和俯仰角不为零的情况。
c)倾倒模式实施例
在一个或多个实施例中，为了通用性，MRSP提供三种不同的倾倒模式。第一种模式使用挖掘机的底座框架中的固定倾倒点。MRSP在每个掘进-倾倒周期都倾倒到同一个点。第二种模式在底座框架中使用浮动倾倒点。这个浮动倾倒点作为用于MRSP的高级任务规划器的输出被传递，其可以用在动态工作环境中。第三种模式是卡车倾倒模式。在这种模式下，MRSP将通过感知模块订阅卡车姿态，并自行计算适当的倾倒点。在一个或多个实施例中，为了使卡车均匀地装载材料，MRSP在卡车车厢内材料高度低的地方找到倾倒点来倾倒。
d)结束条件实施例
对于结束条件，MRSP可以被设计为具有三种停止条件，以有利于不同的任务挖掘严格性要求，即，“严格”、“常规”和“松散”。
目标高度可以被表示为g，子任务区中的当前最高点可以被表示为h，并且子任务区的当前平均高度可以被表示为a。对于“严格”模式，完成触发条件可以是h<g。对于“常规”模式，触发条件可以是a<g且h<g+b，其中b为正值，表示最高点的高度余量。对于“松散”模式，完成触发条件可以是a<g。
2.底座移动子任务规划器实施例
在一个或多个实施例中，底座移动子任务规划器将挖掘机移动导航到由高级任务规划器指派的目标姿态。与MRSP类似，底座移动子任务规划器的输入包括来自高级任务规划器的目标路线点和用于在线规划的状态信息两者。状态信息可以包括挖掘机底座姿态和LiDAR点云，而BMSP的输出可以是连续路线点(即，当前路线点和下一个路线点)之间的路点以及相关的步行约束。
BMSP实施例是基于2D(二维)假设开发的。2D目标姿态可以被表示为B＝[xm,ym,Θ]，其中(xm,ym)是地图框架中的目标位置，并且Θ是地图框架中的目标航向角。但是，应该注意的是，BMSP可以很容易地适用或应用于3D。
至于全局路径规划，路径规划器，诸如混合A*路径规划器方法(Karl Kurzer.Pathplanning in unstructured environments:A Real-Time Hybrid A*Implementation ForFast And Deterministic Path Generation For The KTH Research Concept Vehicle.硕士论文，KTH，Integrated Transport Research Lab，ITRL，2016，其通过引用整体并入本文)，可以在BMSP中应用。利用由LiDAR点云、当前底座姿态和目标底座姿态生成的占用地图，可以生成路点的平滑无碰撞路径。在一个或多个实施例中，独轮车模型，诸如在Alessandro De Luca、Giuseppe Oriolo和MarilenaVendittelli的Control Of WheeledMobile Robots:An Experimental Overview.Ramsete，第181-226页，2001(其通过引用整体并入本文)，可以被用作MPC(模型预测控制)控制器的挖掘机动力学模型。图12以图形方式描绘了根据本公开的实施例的用于挖掘机的示例独轮车模型。
3.运动基元实施例
在一个或多个实施例中，运动基元是从重复的挖掘机动作(诸如掘进、倾倒和移动底座)封装的。因此，为框架的实施例设计了掘进运动基元、倾倒运动基元和底座移动运动基元—尽管包括掘进和倾倒在内的关节移动基元使用如上文第D.1.b和D.1.c节中所述的运动参数或任务配置。这些关节移动基元计算用于比例-积分-微分(PID)控制器的关节轨迹，以遵循并最终得出关节速度控制命令。
另一方面，底座移动基元将由BMSP生成的路点的路径作为输入。并且该基元充当MPC控制器以生成底座控制命令。
对于低水平控制，速度和底座控制命令都可以使用查找表与挖掘机的液压系统的当前输入相匹配。
E.实验结果
应该注意的是，这些实验和结果是通过说明的方式提供的，并且是在使用一个或多个特定实施例的特定条件下执行的；因而，这些实验及其结果都不应被用于限制本专利文件的公开的范围。
挖沟任务和桩移除任务是在真实的挖掘机中执行的，并且大规模桩移除任务是在模拟中执行的。在实际测试中，所使用的挖掘机是XCMG490DK，其最大掘进半径为10.47m，最大掘进高度为10.12m，最大掘进深度为6.93m，并且作业重量为36.6吨。在模拟中，所使用的挖掘机是CAT365CL，其最大掘进半径是11.44m，最大掘进高度是11.90m，最大掘进深度是7.17m，并且作业重量是67.0吨。AGX Dynamics被用作模拟环境。
1.挖沟实验
实验中的目标沟槽长度为10.0m，宽度为1.5m，并且深度为2.0m。使用本文提出的体系架构和规划器的实施例，任务使用20分钟完成。基于沟槽尺寸，该实施例自动设定5个路线点和5个材料移除子任务。图13示出了根据本公开的实施例的现场挖沟实验。左侧的图像是挖沟任务开始之前。右侧的图像是挖沟任务完成之后。
2.桩移除实验
目标桩的长度为8.0m，宽度为5.6m，并且高度为0.5m。使用规划器实施例，任务在16分钟内完成。图14示出了根据本公开的实施例的现场桩移除实验设置。
图15示出了移除实验设置期间的4个时刻，其中底座位于不同的路线点。基于桩尺寸，该实施例自动设定4个路线点和4个材料移除子任务。
3.大规模桩移除实验
在模拟中执行了大规模桩移除实验。目标桩的长度为36.0m，宽度为22.5m，并且高度为0.5m。在AGX模拟器中，桩尺寸被设定为长度等于20.0m，宽度等于12.0m，并且高度保持0.5m。图16A和16B示出了根据本公开的实施例的模拟结果。左侧的图像(1605和1615)示出了初始模拟配置，并且右侧的图像(1610和1620)示出了模拟完成时的环境。
最初，挖掘机位于环境的右下方。它首先移动到第一个规划的路线点并开始对第一列进行操纵。一旦第一列完成，它就执行U形转弯，然后在第二列上工作。在RVIZ视图(图16B)中，外框示出了由用户指派的任务区，内框示出了在AGX模拟器中生成的实际桩。白色标记点表示未指派材料移除子任务的路线点，而较暗的标记点表示已指派材料移除子任务的路线点。RVIZ中示出的颜色基于土壤高度。在初始配置中，内框内部的颜色与外面的颜色有很大不同。当任务完成时，颜色均匀，这意味着任务很好地完成。由于土壤直接倾倒在地面上，因此在挖掘机底座移动轨迹上存在一些小桩。
F.一些结论或观察
本专利文件呈现了新颖的自主挖掘机规划系统设计的实施例。在一个或多个实施例中，高级任务规划包括任务划分和底座移动规划。本文还呈现了用运动基元设计的通用子任务规划器的实施例，该运动基元同时考虑臂移动和底座移动。基于实验结果，使用材料移除子任务规划器和底座移动子任务规划器的实施例，通用自主挖掘机规划系统体系架构的实施例能够适应不同的挖掘任务。
除了挖掘任务之外，挖掘机还用于诸如铺设地面和其他任务之类的任务。应该注意的是，体系架构实施例可以容易地扩展到其他新类型的任务。而且，底座移动规划是2D的；但是，在一些工作环境中，挖掘机可以在崎岖的地形表面上行驶。因此，本领域技术人员应该认识到的是，考虑到挖掘机平衡，实施例可以容易地扩展到3D底座移动规划。
G.计算系统实施例
在一个或多个实施例中，本专利文件的方面可以针对、可以包括一个或多个信息处置系统(或计算系统)或者可以在其上实现。信息处置系统/计算系统可以包括任何工具或工具的聚合，其可操作以计算、估算、确定、分类、处理、传输、接收、检索、发起、路由、切换、存储、显示、传送、显现、检测、记录、复制、处置或利用任何形式的信息、情报或数据。例如，计算系统可以是或可以包括个人计算机(例如，膝上型计算机)、平板计算机、移动设备(例如，个人数字助理(PDA)、智能电话、平板电话、平板电脑等)、智能手表、服务器(例如，刀片服务器或机架式服务器)、网络存储设备、相机或任何其他合适的设备，并且在尺寸、形状、性能、功能和价格方面可以有所不同。计算系统可以包括随机存取存储器(RAM)、诸如中央处理单元(CPU)或硬件或软件控制逻辑之类的一个或多个处理资源、只读存储器(ROM)和/或其他类型的存储器。计算系统的附加组件可以包括一个或多个驱动器(例如，硬盘驱动器、固态驱动器或两者)、用于与外部设备通信的一个或多个网络端口以及各种输入和输出(I/O)设备，诸如键盘、鼠标、触摸屏、触控笔、麦克风、相机、触控板、显示器等。计算系统还可以包括一个或多个总线，总线可操作以在各种硬件组件之间传输通信。
图17描绘了根据本公开的实施例的信息处置系统(或计算系统)的简化框图。将理解的是，为系统1700所示的功能可以操作以支持计算系统的各种实施例—但是应当理解计算系统可以被不同地配置并且包括不同的组件，包括具有比图17中所描绘的更少或更多的组件。
如图17中所示，计算系统1700包括一个或多个CPU 1701，其提供计算资源并控制计算机。CPU 1701可以用微处理器等实现，并且还可以包括一个或多个图形处理单元(GPU)1702和/或用于数学计算的浮点协处理器。在一个或多个实施例中，一个或多个GPU 1702可以结合到显示控制器1709内，诸如一个或多个图形卡的一部分。系统1700还可以包括系统存储器1719，其可以包括RAM、ROM或两者。
还可以提供多个控制器和外围设备，如图17中所示。输入控制器1703表示到各种输入设备1704的接口。计算系统1700还可以包括用于与一个或多个存储设备1708接合的存储控制器1707，每个存储设备1708包括诸如磁带或磁盘之类的存储介质，或可以用于记录操作系统的指令程序、实用程序和应用的光学介质，它们可以包括实现本公开的各个方面的程序的实施例。(一个或多个)存储设备1708还可以用于存储根据本公开已处理的数据或要处理的数据。系统1700还可以包括显示控制器1709，用于向显示设备1711提供接口，显示设备1711可以是阴极射线管(CRT)显示器、薄膜晶体管(TFT)显示器、有机发光二极管、电致发光面板、等离子体面板或任何其他类型的显示器。计算系统1700还可以包括用于一个或多个外围设备1706的一个或多个外围控制器或接口1705。外围设备的示例可以包括一个或多个打印机、扫描仪、输入设备、输出设备、传感器等。通信控制器1714可以与一个或多个通信设备1715接合，这使得系统1700能够通过各种网络中的任何一种或通过任何合适的电磁载波信号(包括红外信号)连接到远程设备，这些网络包括互联网、云资源(例如，以太网云、以太网上光纤通道(FCoE)/数据中心桥接(DCB)云等)、局域网(LAN)、广域网(WAN)、存储区域网络(SAN)。如所描绘的实施例中所示，计算系统1700包括一个或多个风扇或风扇托盘1718以及监视系统1700(或其组件)的(一个或多个)热温度并操作风扇/风扇托盘1718以帮助调节温度的一个或多个冷却子系统控制器1717。
在所示系统中，所有主要系统组件都可以连接到总线1716，总线1716可以表示多于一个物理总线。但是，各种系统组件可以彼此物理邻近，或者可以不物理邻近。例如，输入数据和/或输出数据可以从一个物理位置远程传输到另一个物理位置。此外，可以通过网络从远程位置(例如，服务器)访问实现本公开的各个方面的程序。这样的数据和/或程序可以通过各种机器可读介质中的任何一种来传送，机器可读介质包括例如：磁介质，诸如硬盘、软盘和磁带；光学介质，诸如光盘(CD)和全息设备；磁-光介质；以及专门配置用于存储或用于存储和执行程序代码的硬件设备，诸如专用集成电路(ASIC)、可编程逻辑设备(PLD)、闪存设备、其他非易失性存储器(NVM)设备(诸如基于3D XPoint的设备)以及ROM和RAM设备。
本公开的各方面可以被编码在一个或多个非暂时性计算机可读介质上，其具有用于一个或多个处理器或处理单元的指令以使得步骤被执行。应该注意的是，一个或多个非暂时性计算机可读介质应该包括易失性和/或非易失性存储器。应该注意的是，替代实施方式是可能的，包括硬件实施方式或软件/硬件实施方式。硬件实现的功能可以使用(一个或多个)ASIC、可编程阵列、数字信号处理电路等来实现。因而，任何权利要求中的“部件”术语旨在涵盖软件和硬件实施方式。类似地，本文使用的术语“一种或多种计算机可读介质”包括其上实施有指令程序的软件和/或硬件，或其组合。考虑到这些实现替代方案，应该理解的是，附图和随附描述提供了本领域技术人员编写程序代码(即软件)和/或制造电路(即，硬件)所需的功能信息以执行所需的处理。
应该注意的是，本公开的实施例还可以涉及具有在其上具有用于执行各种计算机实现的操作的计算机代码的非暂时性有形计算机可读介质的计算机产品。介质和计算机代码可以是为了本公开的目的而专门设计和构造的那些，或者它们可以是相关领域的技术人员已知或可获得的类型。有形计算机可读介质的示例包括例如：磁介质，诸如硬盘、软盘和磁带；光学介质，诸如CD和全息设备；磁-光介质；以及专门配置用于存储或用于存储和执行程序代码的硬件设备，诸如ASIC、PLD、闪存设备、其他非易失性存储器设备(诸如基于3DXPoint的设备)以及ROM和RAM设备。计算机代码的示例包括机器代码(诸如由编译器产生的)，以及包含由计算机使用解释器执行的更高级别代码的文件。本公开的实施例可以整体或部分地实现为机器可执行指令，这些指令可以在由处理设备执行的程序模块中。程序模块的示例包括库、程序、例程、对象、组件和数据结构。在分布式计算环境中，程序模块可以物理地位于本地、远程或两者的设置中。
本领域技术人员将认识到没有计算系统或编程语言对于本公开的实践是关键的。本领域技术人员还将认识到，上述多个元件可以在物理上和/或功能上分离成模块和/或子模块或组合在一起。
本领域技术人员将领会到的是，前述示例和实施例是示例性的并且不限制本公开的范围。旨在将本领域技术人员在阅读说明书和研究附图后显而易见的所有排列、增强、等效物、组合和改进都包括在本公开的真实精神和范围内。还应该注意的是，任何权利要求的元素可以不同地布置，包括具有多个依赖关系、配置和组合。

Claims (12)

1.一种计算机实现的方法，包括：
从用户接收用于挖掘机的任务和相关联的任务参数值；
给定所述任务、所述相关联的任务参数值、从感知模块接收的感知相关数据中的至少一些，使用包括一个或多个基于规则的模型的高级任务规划器模块将所述任务划分为一个或多个底座移动子任务和一个或多个材料移除子任务，其中所述一个或多个底座移动子任务包括路线点的序列，并且所述一个或多个材料移除子任务包括子任务区域的序列和每个子任务区域的目标；
给定所述路线点的序列和状态信息，其中所述状态信息中的至少一些是从所述感知模块获得的，使用包括一个或多个模型的底座移动子任务规划器来生成路线点的连续对之间的一个或多个路点的集合以在路线点之间引导所述挖掘机；
给定所述子任务区域的序列、相关联的目标和状态信息，其中所述状态信息中的至少一些是从所述感知模块获得的，使用包括一个或多个规划器模型的材料移除子任务规划器来确定用于每个子任务区域的运动基元和相关参数值，以实现那个子任务区域的所述目标；
使用所述运动基元、相关参数、挖掘机参数和感知模块数据作为关节移动基元模块的输入以生成关节轨迹，并使用路点、挖掘机参数和感知模块数据作为底座移动基元模块的输入以生成底座轨迹；以及
将所述关节轨迹和底座轨迹分别提供给(一个或多个)关节控制器模块和(一个或多个)底座控制器模块，以生成控制器命令以控制所述挖掘机的设备。
2.如权利要求1所述的计算机实现的方法，其中所述感知模块包括或接收来自一个或多个传感器的数据，所述一个或多个传感器包括：
用于图像数据的相机；
用于生成点云数据的LiDAR传感器；
用于定位的实时运动传感器；以及
一个或多个倾角传感器。
3.如权利要求1或2所述的计算机实现的方法，还包括使用矩形定义或基于扇形的定义以及包括区块中心摆动角、区块角度范围或宽度、近端距离和远端距离的参数值的集合确定局部底座区域。
4.如权利要求3所述的计算机实现的方法，其中所述子任务区域由所述高级规划器通过执行包括以下各项的步骤来确定：
给定用于所述挖掘机的所述局部任务区域和要在其上执行所述任务的区块，确定至少覆盖所述区块的局部任务区域的数量。
5.如权利要求1或2所述的计算机实现的方法，其中给定所述子任务区域的序列、相关联的目标和从所述感知模块获得的状态信息，使用包括一个或多个模型的材料移除子任务规划器来确定用于每个子任务区域的运动基元和相关参数值，以实现那个子任务区域的所述目标的步骤，对于子任务包括：
对于子任务区域，在所述子任务区域处根据与所述子任务相关联的材料移除子任务规划器模型实现一个或多个动作规划器的集合，直到实现所述子任务目标；以及
响应于所述子任务区域的所述子任务目标在被实现并响应于所述子任务区域不是所述子任务区域的序列中的最后一个子任务区域，处理所述子任务区域的序列中的下一个子任务区域。
6.如权利要求1或2所述的计算机实现方法，其中所述材料移除子任务规划器包括：
攻击点(POA)规划器；
掘进运动规划器；以及
倾倒规划器。
7.如权利要求6所述的计算机实现的方法，其中所述掘进运动规划器利用的参数包括：
xb,yb,zb,其表示底座框架中的攻击点(POA)位置；
pd，其表示穿透深度；
pl，其表示穿透长度；
dl，其表示拖曳长度，以及
δ，其表示相对于水平面的整个掘进运动倾斜角。
8.如权利要求1或2所述的计算机实现的方法，其中：
用于所述底座移动子任务规划器的所述状态信息包括所述挖掘机的挖掘机关节状态、挖掘机底座姿态、以及工作区的一个或多个环境状态；以及
用于所述底座移动子任务规划器的所述状态信息包括所述挖掘机的挖掘机底座姿态和工作区的一个或多个环境状态。
9.如权利要求1或2所述的计算机实现的方法，其中子任务目标的结束条件可以根据不同级别的严格性要求来定义。
10.一种系统，包括：
一个或多个处理器；以及
一种或多种非暂时性计算机可读介质，包括一个或多个指令集，所述一个或多个指令集当由所述一个或多个处理器中的至少一个处理器执行时，使得执行权利要求1至9中任一项所述的计算机实现的方法。
11.一种非暂时性计算机可读介质，包括一个或多个指令序列，所述一个或多个指令序列当由至少一个处理器执行时使得执行权利要求1至9中任一项所述的计算机实现的方法。
12.一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的计算机实现的方法。
CN202210968767.8A 2021-08-13 2022-08-12 针对各种任务的自主机械的分层规划 Pending CN115330055A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202163233194P 2021-08-13 2021-08-13
US63/233,194 2021-08-13
US17/879,278 US20230053964A1 (en) 2021-08-13 2022-08-02 Hierarchical planning for autonomous machinery on various tasks
US17/879,278 2022-08-02

Publications (1)

Publication Number Publication Date
CN115330055A true CN115330055A (zh) 2022-11-11

Family

ID=82899264

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210968767.8A Pending CN115330055A (zh) 2021-08-13 2022-08-12 针对各种任务的自主机械的分层规划

Country Status (3)

Country Link
US (1) US20230053964A1 (zh)
EP (1) EP4083335B1 (zh)
CN (1) CN115330055A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240131705A1 (en) * 2022-10-10 2024-04-25 Baidu Usa Llc Imitation learning and model integrated trajectory planning

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11746501B1 (en) 2022-08-29 2023-09-05 RIM Intelligent Machines, Inc. Autonomous control of operations of powered earth-moving vehicles using data from on-vehicle perception systems
US11898324B1 (en) 2022-12-19 2024-02-13 AIM Intelligent Machines, Inc. Adaptive control system for autonomous control of powered earth-moving vehicles

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6363632B1 (en) * 1998-10-09 2002-04-02 Carnegie Mellon University System for autonomous excavation and truck loading
US9476303B2 (en) * 2009-05-01 2016-10-25 The University Of Sydney Integrated automation system for regions with variable geographical boundaries
JP7080750B2 (ja) * 2018-06-29 2022-06-06 株式会社小松製作所 表示制御システム、遠隔操作システム、表示制御装置、および表示制御方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240131705A1 (en) * 2022-10-10 2024-04-25 Baidu Usa Llc Imitation learning and model integrated trajectory planning

Also Published As

Publication number Publication date
EP4083335B1 (en) 2024-02-21
US20230053964A1 (en) 2023-02-23
EP4083335A3 (en) 2023-01-18
EP4083335A2 (en) 2022-11-02

Similar Documents

Publication Publication Date Title
Zhang et al. An autonomous excavator system for material loading tasks
CN115330055A (zh) 针对各种任务的自主机械的分层规划
Jud et al. Autonomous free-form trenching using a walking excavator
Eraliev et al. Sensing, perception, decision, planning and action of autonomous excavators
JP7169328B2 (ja) 自律走行車両ためのニューラル・タスク計画部
US11713059B2 (en) Autonomous control of heavy equipment and vehicles using task hierarchies
Xu et al. A review on mechanical and hydraulic system modeling of excavator manipulator system
Flores et al. Workspace analysis and maximal force calculation of a face-shovel excavator using kinematical transformers
CN113605483A (zh) 一种挖掘机自动作业控制方法和装置
Makkonen et al. A 3D model based control of an excavator
Kim et al. Human-assisted obstacle avoidance system using 3D workspace modeling for construction equipment operation
Jud et al. Robotic embankment: Free-form autonomous formation in terrain with HEAP
Emter et al. Algorithm toolbox for autonomous mobile robotic systems
Elmakis et al. Vision-based uav-ugv collaboration for autonomous construction site preparation
Halbach et al. Job planning and supervisory control for automated earthmoving using 3D graphical tools
Nguyen et al. Robotic autonomous systems for earthmoving equipment operating in volatile conditions and teaming capacity: a survey
Alshaer et al. Modelling and control of an autonomous articulated mining vehicle navigating a predefined path
Borngrund et al. Deep-learning-based vision for earth-moving automation
Zhang et al. Toward autonomous mining: design and development of an unmanned electric shovel via point cloud-based optimal trajectory planning
CN114723020A (zh) 用于杂乱刚性对象的挖掘学习
US20240068202A1 (en) Autonomous Control Of Operations Of Powered Earth-Moving Vehicles Using Data From On-Vehicle Perception Systems
Dadhich A survey in automation of earth-moving machines
Elezaby Virtual autonomous operator model for construction equipment applications
Frese et al. An autonomous crawler excavator for hazardous environments: Ein autonomer Raupenbagger für menschenfeindliche Umgebungen
Wang et al. Hierarchical planning for autonomous excavator on material loading tasks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination