CN114303111A - 用于自动驾驶或远程控制车辆平台的控制系统和方法 - Google Patents

用于自动驾驶或远程控制车辆平台的控制系统和方法 Download PDF

Info

Publication number
CN114303111A
CN114303111A CN202080060069.7A CN202080060069A CN114303111A CN 114303111 A CN114303111 A CN 114303111A CN 202080060069 A CN202080060069 A CN 202080060069A CN 114303111 A CN114303111 A CN 114303111A
Authority
CN
China
Prior art keywords
vehicle
data
module
controller
task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080060069.7A
Other languages
English (en)
Inventor
理查德·康奈尔
迈克尔·米勒
约绍尔·罗森
瑟安什·塞柯思那
马修·李维尼
普拉泽麦什·奇尼
拉夫·博特里格
马修·格里森
雷曼·罗素
杰姆斯·凯特尔
赫曼·赫曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carnegie Mellon University
Deere and Co
Original Assignee
Carnegie Mellon University
Deere and Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carnegie Mellon University, Deere and Co filed Critical Carnegie Mellon University
Publication of CN114303111A publication Critical patent/CN114303111A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/029Location-based management or tracking services
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0015Planning or execution of driving tasks specially adapted for safety
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01BSOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B69/00Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
    • A01B69/001Steering by means of optical assistance, e.g. television cameras
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01BSOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B69/00Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
    • A01B69/007Steering or guiding of agricultural vehicles, e.g. steering of the tractor to keep the plough in the furrow
    • A01B69/008Steering or guiding of agricultural vehicles, e.g. steering of the tractor to keep the plough in the furrow automatic
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01MCATCHING, TRAPPING OR SCARING OF ANIMALS; APPARATUS FOR THE DESTRUCTION OF NOXIOUS ANIMALS OR NOXIOUS PLANTS
    • A01M7/00Special adaptations or arrangements of liquid-spraying apparatus for purposes covered by this subclass
    • A01M7/0089Regulating or controlling systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/028Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal
    • G05D1/0282Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal generated in a local control room
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01BSOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B79/00Methods for working soil
    • A01B79/005Precision agriculture
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01MCATCHING, TRAPPING OR SCARING OF ANIMALS; APPARATUS FOR THE DESTRUCTION OF NOXIOUS ANIMALS OR NOXIOUS PLANTS
    • A01M7/00Special adaptations or arrangements of liquid-spraying apparatus for purposes covered by this subclass
    • A01M7/0082Undercarriages, frames, mountings, couplings, tanks
    • A01M7/0085Tanks
    • B60W2420/408
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/14Yaw
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/18Roll
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/40Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]

Abstract

本发明公开一种用于车辆平台的控制系统和方法,所述系统包括:车载控制器和非车载控制器,它们协同工作以在部署车辆的田地或类似区域中提供自动驾驶导航、感知障碍物检测和规避;以及用于用户/车辆交互和控制的用户界面。

Description

用于自动驾驶或远程控制车辆平台的控制系统和方法
相关申请的交叉引用
本申请要求享有2019年8月30日提交的申请号为62/894,685的美国临时申请的权益,该美国临时申请在本申请中全文引用。
技术领域
本发明涉及一种用于车辆平台的控制系统和方法。具体地,本发明涉及一种可用于农业应用的自动驾驶或远程控制车辆平台的控制系统和方法。
背景技术
在一些现有技术中,农用车辆可以是大型平台,特别是因为它们必须包括带有相关手动控制装置的驾驶室。由于车辆体积大,这些类型的车辆可能与过度压实土壤的车轮相关,这会损害植物或作物的有利生长条件。这些农用车辆也可能缺乏集成控制系统,这可能导致大片经过处理的作物、彼此不平行的喷洒模式,或不跟踪目标路径计划(例如线性行段、等高线行段、曲线行段或螺旋行段等)的模式。此外,一些车辆可能不提供一种控制车辆进行自动或远程操作的系统和方法。因此,开发一种控制车辆平台的系统和方法将是有益的。
发明内容
根据本发明的一个实施例提出一种用于控制车辆平台的系统,其包括车载控制器和非车载控制器,它们协同工作,为车辆平台提供自动驾驶或远程控制的导航能力。
附图说明
图1A至图1B是用于自动驾驶或远程控制车辆的控制系统的框图。
图2是自动驾驶或远程控制车辆(例如洒水车)的一个实施例的示意图。
具体实施方式
根据本发明的一个实施例,提出一种用于控制车辆平台11的系统100,其包括车载控制器101和非车载控制器102。在一个实施例中,系统100还包括连接到数据总线152的数据处理器150、数据存储装置153和数据端口151。数据处理器150、数据存储装置153和数据端口151可以经由数据总线152彼此通信。非车载控制102可以经由无线链路154,例如一对无线收发器连接到数据端口151。与非车载控制器102相关联的用户界面155可以包括显示器、小键盘、触摸屏显示器、键盘、指向装置或支持操作员与车辆11远程交互的其他装置。
在一个实施例中,数据处理器150包括微控制器、微处理器、可编程逻辑阵列、逻辑装置、算术逻辑单元、数字信号处理器、专用集成电路或用于输入、输出、处理或操作数据的其他电子装置。数据存储装置153可以包括电子存储器、非易失性随机存取存储器、磁存储装置、磁盘驱动器、光存储装置、光盘驱动器或其他合适的存储装置或介质。数据存储装置153可以支持电子模块、存储软件指令或支持数据模块。例如,数据端口151可以包括收发器、收发器和缓冲存储器的组合、或者发射器和接收器。
如图1A中所示,车载控制器101的一个实施例包括接口控制模块103、姿态估计模块104、感知模块105、路径导航模块106、避障模块107和远程操作模块108。图1B中描绘的非车载控制器102包括任务配置模块110、静态任务模块111、机器状态模块112和超驰(override)控制模块113。
系统100可用于控制车辆,例如图2所示的车辆平台11。在本说明书公开的实施例中,车辆平台11可以包括自动机器人机器,该自动机器人机器能够在作物种植和出苗之前以及在作物出苗之后施加肥料、除草剂、杀虫剂、种子或其它作物护理投入。车辆平台11或车辆可被配置为轻型车辆,这非常适合在野外操作期间减少土壤压实,因为它消除了操作员和操作员驾驶室的重量。对于许多配置,机器人机器可以减轻气候控制系统、信息娱乐系统以及与驾驶室相关的各种操作员控制设备的重量。在一些配置中,车辆的履带组件可以提供小于5磅/每平方英寸(PSI)的地面压力,或者在某些配置中甚至可以提供低至3PSI的地面压力。减小的地面压力允许车辆平台11在土壤结构通常不允许进入田地的条件下操作,因为担心土壤压实或损坏。控制系统100不限于农用车辆并且可以用于控制其它车辆平台,例如建筑车辆、林用车辆和草坪车辆等。
在图2中所示的实例中,车辆平台11包括中心主体10,所述中心主体具有第一侧58(例如,前)以及与第一侧58间隔开固定的已知距离的第二侧60(例如,后)。多个可调节支腿12从中心主体10向下延伸。每个可调节支腿12具有对应的支腿致动器(例如线性致动器)、具有螺杆的电动马达,或具有电动液压接口的液压缸,以调节每个可调节支腿12的相应垂直高度。例如,支腿致动器可以用于根据以下任一个的测量值保持车辆的水平姿态:运动传感器、第一位置确定接收器62,或第二位置确定接收器64。
每个可调节支腿12终止于可旋转履带组件68(例如,可相对于垂直轴30旋转并且可相对于与驱动履带或皮带相关联的水平轴旋转)或可旋转轮。如果履带组件68可相对于垂直轴旋转以使车辆转向,则致动器(例如,液压致动器)或电动马达在两个或更多个履带组件68处或上方使用,使得(电动马达或致动器的)定子与支腿12的上部部分相关联,并且(电动马达或致动器的)转子连接到支腿12或相应履带式组件的下部部分。在一些配置中,履带组件68可以称为履带轮、连续履带坦克履带。每个履带组件68可独立地由驱动单元70(例如,电动马达或液压马达)驱动或旋转。此外,在一些配置中,可以通过相对于不同的履带单元向地面施加不同的旋转能量(例如,不同的旋转速度)来使车辆转向(例如,不同地转向)。
在一个实施例中,第一位置确定接收器62与车辆11顶部的第一侧58相关联或在所述第一侧58附近;第二位置确定接收器64与车辆11顶部的第二侧60相关联或在所述第二侧60附近。第一位置确定接收器62单独或与第二位置确定接收器64一起被配置成确定车辆或中心体10在地球的水平面上相对于参考角(例如,地磁北极)的位置或角度定位。例如,第一位置确定接收器62、第二位置确定接收器64或两者可以包括卫星导航接收器,例如全球导航卫星系统接收器(GNSS)或全球定位系统(GPS)接收器,其中卫星导航接收器可以具有用于接收校正信号,例如差分校正信号或精确点定位(PPP)信号的无线接收器。在一个实施例中,位置确定接收器(62、64)可以补充有额外的或补充的传感器,例如航位推测传感器、里程计、陀螺仪、加速度计、倾斜、滚动和偏航传感器、和/或惯性测量单元(IMU),以有助于结合位置确定接收器(62、64)确定位置或角度取向。在一些实施例中,可以使用额外的传感器,例如成像系统、至少一个立体相机、雷达、激光雷达以及获取关于车辆11周围的环境的数据的其它系统。
在图2所示的实施例中,中心主体10覆盖罐体36(例如大体圆柱形的罐体),罐体36用于容纳作物输入、待泵送的流体或加压流体(例如,无水氨)。作物可以具有可选的输入端口51,所述输入端口带有可以移除以填充罐体36的盖子。作物输入或流体是指肥料、杀真菌剂、杀虫剂、杀虫剂、除草剂、氮、钾、磷、矿物质、养分、土壤改良剂、化学品,或者植物、种子、根系或土壤的其它农艺处理。罐体36可以容纳加压流体,或将由泵39泵送的流体。在一个配置中,中心主体10具有与其下侧相关联的中心中空区域40,并且其中中心中空区域40适于可移除地接收罐体36,用于容纳流体,例如要喷洒的作物输入或要种植的种子。
多个供应管线42和管道61被布置成向相应喷嘴组件供应来自罐体36或与罐体36相关联的泵的泵送或加压流体。连接到垂直供应管线42的歧管44将泵送或加压流体分配、切换或引导至每个喷嘴组件的一个或多个喷嘴48或整个喷嘴组件。歧管44可以包含一个或多个阀门,例如机电阀或电磁阀,用于控制泵送或加压流体流向相应喷嘴48或喷嘴组件。例如,在一个配置中,每个喷嘴组件包含面向相反方向的一对喷嘴48。
此外,图2中示出可枢转臂组件14,所述可枢转臂组件包括第一臂24、第二臂26、垂直杆25、套环27、支撑梁21,以及用于支撑喷嘴组件的任选框架。支撑梁21在横向方向65上延伸,所述横向方向基本上垂直于车辆平台11的向前行进方向66上中心主体10的纵轴67。臂致动器22被布置成控制支撑梁21的横向位置。因此,在车辆11相邻地通过或穿过(例如,平行地穿过)田地期间,可以横向地调节喷嘴组件,而不横向地移动车辆11以将喷嘴组件与植物行对准。
车载控制器101可以从第一位置确定接收器62、第二位置确定接收器64、运动传感器或其它车辆传感器接收位置数据、运动数据和姿态数据(例如,偏航或航向)。例如,数据存储装置153可以存储从第一位置确定接收器62、第二位置确定接收器64和/或运动传感器观察到的(例如,标记时间戳的)位置数据、运动数据和姿态数据(例如,偏航或航向),用于经由数据端口151传送到数据处理器150或任何一个或多个模块。
车载控制器101生成命令数据或命令信号,以将转向命令发送到转向控制器122来跟踪路径计划、目标航向或目标偏航。转向控制器122进而与转向系统120,例如电动液压转向系统或电动转向系统通信。在一个实例中,转向系统120包括驱动一个或多个履带的电动马达,其中车辆的方向可以通过相对于履带的差动转向来控制,以根据由车载控制器101或数据处理器150提供的目标航向来转向或引导车辆。在另一实例中,转向系统120包括致动器,所述致动器使部分,例如相应支腿12的底部部分围绕垂直轴旋转,以根据由车载控制器101或数据处理器150提供的目标航向来转向或引导车辆11,以覆盖具有作物输入的田地或区域,所述目标航向与路径计划或任务一致。
车载控制器101可以经由一个或多个数据端口151或经由车辆数据总线152向转向控制器122、制动控制器126和推进控制器130发送命令数据或命令信号,使得车辆11跟踪路径计划。制动控制器126连接到制动系统124,例如电动液压制动系统、电制动系统或机械制动系统。制动控制器126连接到数据端口151。推进控制器130连接到推进单元128,例如一个或多个电动马达、内燃机,或向发电机或交流发电机提供旋转机械能的内燃机,所述发电机或交流发电机向一个或多个电动马达提供电能。推进控制器130连接到数据端口151。
再次参考图1A至图1B,在一个实施例中,系统100访问、创建或接收路径计划,以在一个或多个田地中执行喷洒、种植或另一任务时沿着目标路径引导车辆平台11。系统100还提供用于人车交互和控制的用户界面。在一个实施例中,经由非车载控制器102执行人工控制。车载控制器101是中央计算资源,其负责定位车辆11、实现障碍物检测的感知、动态路径生成和平滑、以及控制和监控车辆导航。
如图1A中所示,非车载控制器101包含:接口控制模块103,所述接口控制模块是与低级(low-level)机器控制器(120、122、124、126、128和130)的主要控制接口;以及车载控制器101和非车载控制器102的其它模块。接口控制模块103维护状态机,执行低级机器控制器(120、122、124、126、128和130)与高级控制器(101、102)之间的同步,以及通过数据总线152传输的数据的序列化和反序列化。接口控制模块的输出直接影响车辆11的状态和导航。
姿态估计模块104估计车辆11相对于全局坐标系的姿态。在一个实施例中,姿态估计使用假定为均匀速度模型的扩展卡尔曼滤波器(EKF)完成,并且相信状态估计使用差分位置更新生成。EKF的测量更新可以从由第一位置确定接收器62或第二位置确定接收器64提供的GPS数据获得。在替代实施例中,EKF还可以使用来自IMU的数据进行预测更新。姿态估计模块104还可以与车辆的不同运动模型轮廓,包括阿克曼转向和关节转向轮廓一起工作。
感知模块105建立基础以检查和了解车辆11运行的环境。此功能是安全自动驾驶操作的基础。例如,感知模块105允许车辆平台11随着时间的推移识别其环境中的正面和负面障碍物,并将关键的导航信息传递给系统的决策组件。为了实现此功能,感知模块105提供障碍物检测以:在几何空间中操作而不依赖图像特征,但不排除结合这种信息;在没有作物的情况下或在作物出苗的条件下,始终识别几类对象,包含人、车辆、建筑物和负面障碍物;并且不需要“监督学习”或基础模型的大量必要数据。
在一个实施例中,感知模块105检测如下目标:从至少一个立体相机(或可选地一对立体相机)和激光雷达点云计算深度信息,所述至少一个立体相机(一对立体相机)和激光雷达点云被投影到局部参考坐标系中。这些点在通过从姿态估计模块104接收的姿态提供的全局坐标系中随时间累积,以提供时间性内聚(temporal cohesion)和对临时阻断的(temporary occlusion)恢复力。接下来,使用两种方法中的一种对来自三维网格、来自地图的相关切片的体素或数据点进行聚类以获得目标分数。在第一方法中,从基于规则的任务中确定分数。在第二方法中使用机器学习过程,特征在三维点上计算并可包含密度、高度分布和位置(经验上优于法线、曲率、流形投影和边缘特征)。使用K++算法以及期望最大化(EM)算法迭代对高斯混合模型(GMM)重新居中以产生软聚类。通过最小化差异来合并聚类。使用任一方法,基于规则的非最大值抑制将点聚类分配给对象。如果对象当前不可见,则它们会随着时间的推移而衰减。返回的对象存在于当前轨迹的C空间扩展视图内的地图中,这些对象满足一组简单规则,例如与车辆11的距离、距地表的最小尺寸和最小观察次数。接下来,使用非障碍点更新地表模型。在一些实施例中,可以执行随机抽样一致性算法(RANSAC)和最小二乘(LS)优化。在替代实施例中,对假设的高斯分布族执行贝叶斯更新,使用发现的新的表面点进行更新。使用该进程,感知模块105提供障碍物路径的凸包,所述障碍物路径的凸包被记录并发送到避障模块107。
路径导航模块106和避障模块107提供路径规划和路径校正。路径导航模块106跟踪车辆11并将导航更新发送到接口控制模块103。此接口控制模块从非车载控制器102接收路点列表。也就是说,路径导航模块106执行路点簿记(bookkeeping)和跟踪。然后这些路点依次通过曲线检查测试,该测试计算出这些点所需的转弯半径。如果转弯半径小于机器的最小转弯半径,则将这些点传递给杜宾斯(Dubins)平滑路径生成器,所述杜宾斯平滑路径生成器返回可导航的路点。然后路径导航模块106向接口控制模块103发送路点的缓冲区以执行动作。
避障模块107实施规避障碍物的计划。例如,感知模块105提供障碍物的凸包和通行性的成本图,所述成本图由在体素图中检测到的障碍物和遮挡分数决定。成本图不考虑车辆11穿过的特定作物,例如,特定作物可具有比其它障碍物更低的通行性成本,但是这些信息对系统是可用的。如果障碍物在车辆11的路径中,则实施避免障碍物的两种规划方法。在第一方法或称为基于梯度下降的方法中,梯度下降被用于成本图,使用正则项确保车辆11的运动约束。在第二方法或称为混合A*(Hybrid A Star)规划方法中,成本图被视为使用运动更新将离散空间转换成持续图(continuous graph)。将车辆11无法执行的所有节点标记为高成本。使用杜宾斯运动更新,将子节点计算到父节点位置。在本实施例中,使用两种启发算法:(1)与行上的最近阈值点的欧几里得距离;(2)间隔启发法,其更倾向于这样的节点:实施单元宽度的固定空间因素、并且比相邻者分配的成本更低。每个路点的步骤都被视为统一成本。因此,由于图的一致性和可接受性,规划器确保最短路径。此外,规划器确保车辆11可以执行路径,因为它考虑到子节点探索的最小转弯半径。
远程操作模块108将机器状态和本地传感器(例如,图像)更新发送到远程非车载控制器102。远程操作模块108还负责通过执行任务来维护和连接到非车载控制器102。如果非车载控制器102遥不可及,则可以经由远程操作模块108停止车辆。如果停止,那么模块108尝试与非车载控制器102重新建立连接。在一个实施例中,远程操作模块108还可以确保车辆11保持在操作地理围栏内。如果于某种原因,车辆11离开地理围栏,则会触发停止消息并将警报发送到非车载控制器102。
车载控制器101还包含架构安全机制,所述架构安全机制用于提供车辆11的稳定和安全操作。例如,在一个实施例中,架构安全机制包含并行计算管线(pipeline),所述并行计算管线能够对系统计算进行冗余和/或检查。在另一实施例中,架构安全机制包含将本地组件抽象为模块化的设计,这允许对算法组件进行参数化。姿态过滤、地面建模和分类算法都是参数化组件的实例,子组件利用了相同的设计。架构安全机制的其它特征包含:跨分布式基础设施的低开销数据传输、对包括传感器数据在内的各种数据的日志支持以离线重建系统性能、用于图像流式传输到用户界面155的高速压缩(在此实施例中,算法对图像差异应用随机部分SVD,具有周期性关键帧以去除伪影,所述随机部分SVD通过调整分解的等级来实时平衡图像的保真度);全局状态机,其用于监控车辆11的自主状态,并结合具有低延迟的各个组件的准备情况;以及安全系统中的多个冗余级别,包含路径完整性、路径传输和数字围栏。
现在参考图1B,非车载控制器102负责开发任务的初始配置、静态路径规划以及监控车辆11的状态。与非车载控制器102相关联的用户界面155还允许用户手动地控制车辆11的过载。
为了发展任务,任务配置模块110允许用户选择用于执行导航的应用和任务参数的细节。该细节可包含地理围栏的识别、应用率、最大导航速度、车辆11上的工具宽度、车辆11的转弯阈值、加油的阈值条件以及启用/禁用数据记录能力。使用任务配置模块110,用户还可以在地图上定位加油站(或辅助站)的位置。例如,用户可以上传GPS坐标或在地图界面(例如谷歌地图)上手动地选择加油站的位置。任务配置模块110的输出定义导航限制以及车辆11要经过的区域的初始地图。用户可以通过上传shp文件(shape-file)或在内置于非车载控制器102的地图界面上手动地选择区域来定义应用区域。
静态任务模块111使用任务配置模块110的输出以生成自定义的路点,这些路点覆盖场地的所需区域以及潜在的加油路径或出口点。静态任务模块111具有两个组件,即覆盖组件和辅助组件。
静态任务模块111的覆盖组件使用多平面光栅扫描算法沿着应用区域生成路点。根据任务配置模块110所定义的应用单元宽度,将生成的多行的路点间隔开。在一个实施例中,用户还可使用覆盖组件定义一些要跳过的植物行。在一些实施例中,覆盖组件使用杜宾斯路径规划算法在每行植物的末端生成半圆形路径。半圆形路径考虑车辆11的最小转弯半径,以确保生成的路径可由车辆11安全地执行。可以检查和平滑化最终路点的列表以说明车辆11的运行轮廓。
静态任务模块111的辅助组件在导航图中的决策节点处生成路点列表。路点将车辆11从特定决策点引导到加油(辅助)位置。根据出口行位置和与辅助位置的欧几里得贴近度(Euclidean closeness),在应用地图上生成决策点。生成的路点使得在导航过程中,(例如当车辆11在一行的末端转弯时)最少的作物被碾压。成本启发法用于计算到特别的地头(headland)的合并点。辅助组件还可以定义加油后的返回行为。返回行为受制于可返回到最后一个工作行的导航区域。在一个实施例中,返回行为是“在地头转弯并返回”(使用戴克斯特拉算法(Dijkstra′s Algorithm)定义)的行为。在替代实施例中,返回行为是“灯泡转弯并返回”(使用戴克斯特拉算法定义)行为。静态任务模块111的输出是分类为“正常”点和“辅助”点的路点列表。可通过数据端口151和无线链路154,例如无线串行通信装置将路点列表发送到车辆11。
机器状态模块112能够使非车载控制器102向用户显示某些机器信息。车载控制器101通过远程操作模块108传输车辆11及其各种组件的基本状态信息。可以使用交互式标记和状态估计图形向用户显示状态信息。显示在用户界面155上的信息可以包含:车辆健康状态(例如,故障检查)、车辆状态估计(例如,燃料、组件温度、发动机诊断和类似数据)、任务状态(例如,完成状态、任务鸟瞰显示和车辆位置)、图像数据、以及其它传感器数据。机器状态模块112还确保非车载控制器102在任务执行期间连接到车辆11。如果存在任何通信中断,则机器状态模块112尝试重建连接。在其它实施例中,如果车辆11越过地理围栏,则机器状态模块112可发送求救信号,其中地理围栏定义车辆11应该在其中运行的区域。求救信号中断任务并发出停止信号。值得注意的是,这是一个冗余特征,因为车载控制器101执行类似的功能。
非车载控制器102还包括超驰控制模块113,超驰控制模块能够使用户超控自动驾驶操作。例如,用户可以超控自动驾驶控制以指示车辆11执行与核心操作、任务操作和路径校正操作相关的行为。对于核心操作,用户可以指示车辆启动任务、停止、暂停任务、关闭引擎和启动引擎。对于任务操作,用户可以指示车辆从最后记录的应用行恢复路径、从车辆的当前位置恢复任务、在下一个决策节点强制辅助、忽略来自感知模块105的输出、忽略障碍物、忽略状态机器状态、以及遵循面包屑导航(breadcrumbs)。在一个实施例中,将超驰控制消息作为16位消息发送到车载控制器101,其中重复地发送消息直到观察到超驰控制消息的正确执行。在替代实施例中,可以使用其它通信协议。对于路径校正操作,用户可以在地图上标记一般的路点供车辆11遵循并通过点击地图界面来选择路点。在激活“遵循面包屑导航”控制之后,向定义的路点分配最高执行优先级。在一个实施例中,通过杜宾斯路径规划算法传递路点,以确保所得路径平滑且可由车辆11执行。
尽管已经参考本公开的特定实施例详细地描述本公开,但是本领域技术人员将理解,在不脱离实施例的精神和范围的情况下可以在其中进行各种改变和修改。因此,本公开旨在覆盖本公开的修改和变化,只要它们落入所附的权利要求书以及其等效物的范围内。
此外,在以上描述或权利要求书或附图中公开、以其特定形式或根据用于执行所公开功能的方式或用于获得所公开结果的方法或过程表达的特征视情况可以单独地或以这些特征的任何组合来用于以它们的不同形式实现本发明。具体来说,本文所描述的任一个实施例的一个或多个特征可以与本文所描述的任何其它实施例的一个或多个特征组合。
还可以为结合本公开引用和/或通过引用合并的任何一个或多个公开文件中公开的任何特征寻求保护。

Claims (20)

1.一种用于控制具有至少一个传感器的自动驾驶车辆的系统,该传感器能够提供与所述车辆的环境相关的数据,所述系统包括:
车载控制器,所述车载控制器连接到所述车辆上的数据端口,用于接收所述数据并且制定导航计划,所述车载控制器包括:
接口控制模块,所述接口控制模块用于向低级控制器提供指令,以执行所述导航计划;
姿态估计模块,所述姿态估计模块用于估计所述车辆相对于全局坐标系的姿态;
感知模块,所述感知模块用于识别所述车辆附近的障碍物;
路径导航模块,所述路径导航模块用于跟踪所述车辆并将导航更新发送到所述接口控制模块;以及
避障模块,所述避障模块用于规划路径以避开由所述感知模块所识别的所述障碍物;
非车载控制器,所述非车载控制器用于将任务数据发送到所述车载控制器,其中所述车载控制器根据所述任务数据制定所述导航计划。
2.根据权利要求1所述的系统,其中所述非车载控制器包括:
任务配置模块,所述任务配置模块用于从用户接收任务细节以生成任务输出;
静态机器模块,所述静态机器模块用于接收所述任务输出并生成所述车载控制器用于制定所述导航计划的路点。
3.根据权利要求2所述的系统,其中所述非车载控制器还包括:
机器状态模块,所述机器状态模块用于从所述车辆接收状态数据,并在用户界面上显示所述状态数据。
4.根据权利要求2或3所述的系统,其中所述非车载控制器还包括:
超驰控制模块,所述超驰控制模块用于将超驰数据发送到所述车载控制器,其中所述超驰数据中断所述车辆的自动驾驶操作。
5.根据权利要求4所述的系统,其中所述超驰数据包括与所述任务数据相关的消息。
6.根据权利要求4所述的系统,其中所述超驰数据包括当被所述车载控制器接收到而导致所述车辆停止时的消息。
7.根据权利要求2至4中任一项所述的系统,其中所述车载控制器还包括:
远程操作模块,所述远程操作模块从所述至少一个传感器接收数据,并将所述数据传输至所述非车载控制器,以便显示在用户界面上。
8.根据权利要求1所述的系统,其中所述低级控制器选自由转向控制器、制动控制器和推进控制器组成的组。
9.根据权利要求1所述的系统,其中所述姿态估计模块通过使用扩展卡尔曼滤波器估计所述车辆的所述姿态,所述扩展卡尔曼滤波器假定一均匀速度模型。
10.根据权利要求9所述的系统,其中使用来自所述至少一个传感器的数据更新所述姿态。
11.根据权利要求1所述的系统,其中所述感知模块使用来自所述至少一个传感器的数据在全局坐标系中创建地图。
12.根据权利要求1所述的系统,其中所述感知模块不依赖图像特征而识别所述环境中的对象。
13.根据权利要求2所述的系统,其中所述任务细节选自由应用区域、应用率、导航速度、车辆宽度、车辆转弯阈值和加油阈值组成的组。
14.根据权利要求2所述的系统,其中所述路点包括辅助路点和正常路点。
15.根据权利要求1至14中任一项所述的系统,其中所述非车载控制器经由无线链路连接到所述数据端口。
16.根据权利要求1至15中任一项所述的系统,其中所述传感器选自由成像系统、立体相机、雷达系统、激光雷达系统、位置确定接收器、卫星导航接收器、航位推测传感器、里程计、陀螺仪、加速度计、惯性测量单元、以及倾斜、滚动和偏航传感器组成的组。
17.根据权利要求1至16中任一项所述的系统,其中所述数据包括位置数据、运动数据和姿态数据中的至少一个。
18.一种控制具有车载控制器的自动驾驶车辆的方法,所述方法包括:
使用非车载控制器生成任务数据,其中所述任务数据包括所述自动驾驶车辆将穿过的区域的初始地图;
根据所述任务数据生成路点;
在车载控制器上接收所述任务数据和路点;
使用所述任务数据和路点中的至少一个制定路径计划;
确定所述车辆的姿态;
通过跟踪所述路点来导航所述路径计划;以及
使用传感器检测所述路径计划内的对象,其中所述传感器提供关于所述车辆周围环境的信息。
19.根据权利要求18所述的方法,其中检测对象包括:
从立体相机和具有多个点的激光雷达点云计算深度信息,其中所述多个点被投影到局部参考坐标系中;
在所述姿态中识别的全局坐标系中,在一段时间内将所述多个点进行聚类;
从全局坐标系体素簇中对体素进行聚类;以及
根据所述体素簇确定目标分数。
20.根据权利要求19所述的方法,还包括:
使用所述目标分数识别对象。
CN202080060069.7A 2019-08-30 2020-06-30 用于自动驾驶或远程控制车辆平台的控制系统和方法 Pending CN114303111A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962894685P 2019-08-30 2019-08-30
US62/894,685 2019-08-30
PCT/US2020/040381 WO2021040884A1 (en) 2019-08-30 2020-06-30 System and method of control for autonomous or remote-controlled vehicle platform

Publications (1)

Publication Number Publication Date
CN114303111A true CN114303111A (zh) 2022-04-08

Family

ID=74680915

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080060069.7A Pending CN114303111A (zh) 2019-08-30 2020-06-30 用于自动驾驶或远程控制车辆平台的控制系统和方法

Country Status (7)

Country Link
US (1) US11420652B2 (zh)
EP (1) EP3997540A4 (zh)
CN (1) CN114303111A (zh)
AU (1) AU2020336151A1 (zh)
BR (1) BR112022003592B1 (zh)
CA (1) CA3150615C (zh)
WO (1) WO2021040884A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220092984A1 (en) * 2020-09-18 2022-03-24 Stoneridge Electronics Ab Curb detection system for commercial vehicles
US20220168899A1 (en) * 2020-11-30 2022-06-02 Massachusetts Institute Of Technology System and method for location determination and robot control
CN113291318B (zh) * 2021-05-28 2022-06-28 同济大学 基于部分可观测马尔科夫模型的无人车盲区转弯规划方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103562006A (zh) * 2011-05-19 2014-02-05 迪尔公司 采用操作员输入和自动控制器输入二者的协作车辆控制
US8761439B1 (en) * 2011-08-24 2014-06-24 Sri International Method and apparatus for generating three-dimensional pose using monocular visual sensor and inertial measurement unit
US9043072B1 (en) * 2013-04-04 2015-05-26 Google Inc. Methods and systems for correcting an estimated heading using a map
CN104943684A (zh) * 2014-03-31 2015-09-30 比亚迪股份有限公司 无人驾驶汽车控制系统和具有其的汽车
US20180329428A1 (en) * 2017-05-09 2018-11-15 Uber Technologies, Inc. Navigational constraints for autonomous vehicles
US20180328743A1 (en) * 2015-11-24 2018-11-15 Joseph Sullivan Method for Re-mapping Safe and Traversable Routes
US20180364739A1 (en) * 2017-06-19 2018-12-20 Cnh Industrial America Llc Choreographer system for autonomous off-road vehicles

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6907336B2 (en) * 2003-03-31 2005-06-14 Deere & Company Method and system for efficiently traversing an area with a work vehicle
US7854108B2 (en) * 2003-12-12 2010-12-21 Vision Robotics Corporation Agricultural robot system and method
DE102004027242A1 (de) * 2004-06-03 2005-12-22 Claas Selbstfahrende Erntemaschinen Gmbh Routenplanungssystem für landwirtschaftliche Arbeitsmaschinen
US8126642B2 (en) * 2008-10-24 2012-02-28 Gray & Company, Inc. Control and systems for autonomously driven vehicles
US8825265B1 (en) * 2012-03-16 2014-09-02 Google Inc. Approach for consolidating observed vehicle trajectories into a single representative trajectory
US9056395B1 (en) * 2012-09-05 2015-06-16 Google Inc. Construction zone sign detection using light detection and ranging
US9195914B2 (en) * 2012-09-05 2015-11-24 Google Inc. Construction zone sign detection
US9221461B2 (en) * 2012-09-05 2015-12-29 Google Inc. Construction zone detection using a plurality of information sources
KR102523426B1 (ko) * 2016-09-05 2023-04-20 가부시끼 가이샤 구보다 작업차 자동 주행 시스템, 주행 경로 관리 장치, 주행 경로 생성 장치, 주행 경로 결정 장치
WO2019079211A1 (en) * 2017-10-19 2019-04-25 DeepMap Inc. LIDAR-CAMERA CALIBRATION TO GENERATE HIGH DEFINITION MAPS
US10275689B1 (en) * 2017-12-21 2019-04-30 Luminar Technologies, Inc. Object identification and labeling tool for training autonomous vehicle controllers
US10649459B2 (en) * 2018-04-26 2020-05-12 Zoox, Inc. Data segmentation using masks
US10491885B1 (en) * 2018-06-13 2019-11-26 Luminar Technologies, Inc. Post-processing by lidar system guided by camera information
US10921817B1 (en) * 2018-06-29 2021-02-16 Zoox, Inc. Point cloud filtering with semantic segmentation
US10936902B1 (en) * 2018-11-27 2021-03-02 Zoox, Inc. Training bounding box selection
US11113959B2 (en) * 2018-12-28 2021-09-07 Intel Corporation Crowdsourced detection, identification and sharing of hazardous road objects in HD maps
US10929711B1 (en) * 2019-03-06 2021-02-23 Zoox, Inc. Time of flight data segmentation
US11402849B2 (en) * 2019-03-15 2022-08-02 Robo Industries, Inc. Automated material spreading system
US11482011B2 (en) * 2019-03-28 2022-10-25 Intel Corporation Acceleration of data processing for object detection
US11087494B1 (en) * 2019-05-09 2021-08-10 Zoox, Inc. Image-based depth data and localization

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103562006A (zh) * 2011-05-19 2014-02-05 迪尔公司 采用操作员输入和自动控制器输入二者的协作车辆控制
US8761439B1 (en) * 2011-08-24 2014-06-24 Sri International Method and apparatus for generating three-dimensional pose using monocular visual sensor and inertial measurement unit
US9043072B1 (en) * 2013-04-04 2015-05-26 Google Inc. Methods and systems for correcting an estimated heading using a map
CN104943684A (zh) * 2014-03-31 2015-09-30 比亚迪股份有限公司 无人驾驶汽车控制系统和具有其的汽车
US20180328743A1 (en) * 2015-11-24 2018-11-15 Joseph Sullivan Method for Re-mapping Safe and Traversable Routes
US20180329428A1 (en) * 2017-05-09 2018-11-15 Uber Technologies, Inc. Navigational constraints for autonomous vehicles
US20180364739A1 (en) * 2017-06-19 2018-12-20 Cnh Industrial America Llc Choreographer system for autonomous off-road vehicles

Also Published As

Publication number Publication date
WO2021040884A1 (en) 2021-03-04
US20210061307A1 (en) 2021-03-04
BR112022003592A8 (pt) 2022-11-16
CA3150615C (en) 2024-01-16
CA3150615A1 (en) 2021-03-04
US11420652B2 (en) 2022-08-23
BR112022003592A2 (pt) 2022-05-24
AU2020336151A1 (en) 2022-03-03
EP3997540A1 (en) 2022-05-18
EP3997540A4 (en) 2023-11-08
BR112022003592B1 (pt) 2022-12-13

Similar Documents

Publication Publication Date Title
US11006564B2 (en) Path planning system for autonomous off-road vehicles
Blender et al. Managing a mobile agricultural robot swarm for a seeding task
AU2017249162B2 (en) Line acquisition path generation
Bakker et al. Autonomous navigation using a robot platform in a sugar beet field
Han et al. Path-tracking simulation and field tests for an auto-guidance tillage tractor for a paddy field
Ball et al. Robotics for sustainable broad-acre agriculture
US8942893B2 (en) Predictive boom shape adjustment
Stentz et al. A system for semi-autonomous tractor operations
CA3150615C (en) System and method of control for autonomous or remote-controlled vehicle platform
US20180364739A1 (en) Choreographer system for autonomous off-road vehicles
BR102021003756A2 (pt) Método e sistema para estimar a rugosidade de superfície de um solo
BR102021003780A2 (pt) Método e sistema para estimar a rugosidade de superfície de um solo
US20200356096A1 (en) Autonomous agricultural working machine and method of operation
Jeon et al. Design and validation testing of a complete paddy field-coverage path planner for a fully autonomous tillage tractor
Wang et al. Autonomous maneuvers of a robotic tractor for farming
US11903379B2 (en) System and method for performing spraying operations with an agricultural sprayer
Hameed A coverage planner for multi-robot systems in agriculture
Zhao et al. An obstacle avoidance path planner for an autonomous tractor using the minimum snap algorithm
US20220211025A1 (en) System and method for performing spraying operations with an agricultural sprayer
Tian et al. Design and experiment of an integrated navigation system for a paddy field scouting robot
Zeno et al. A novel neurophysiological based navigation system
US20240111297A1 (en) Travel control system, travel control method, and computer program
Mengoli A robotic platform for precision agriculture and applications
WO2023095856A1 (ja) 自動運転を行う農業機械のための経路計画システム
Bak Vision-GPS fusion for guidance of an autonomous vehicle in row crops

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination