CN114391088A - 轨线规划器 - Google Patents

轨线规划器 Download PDF

Info

Publication number
CN114391088A
CN114391088A CN202080063683.9A CN202080063683A CN114391088A CN 114391088 A CN114391088 A CN 114391088A CN 202080063683 A CN202080063683 A CN 202080063683A CN 114391088 A CN114391088 A CN 114391088A
Authority
CN
China
Prior art keywords
sensor
obstacle
trajectory
processor
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080063683.9A
Other languages
English (en)
Other versions
CN114391088B (zh
Inventor
H·菲博
黄嘉维
D·F·伊塞尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of CN114391088A publication Critical patent/CN114391088A/zh
Application granted granted Critical
Publication of CN114391088B publication Critical patent/CN114391088B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/025—Active steering aids, e.g. helping the driver by actively influencing the steering system after environment evaluation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00272—Planning or execution of driving tasks using trajectory prediction for other traffic participants relying on extrapolation of current movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155—Bayesian classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B60W2520/105—Longitudinal acceleration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/021—Determination of steering angle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Algebra (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明提供一种能够进行轨线预测的自动汽车，该自动汽车可以包括第一传感器、第二传感器、处理器、轨线规划器、低水平控制器和汽车致动器。该第一传感器可以是第一传感器类型，并且可以检测障碍物和目标。该第二传感器可以是第二传感器类型，并且可以检测该障碍物和该目标。该处理器可以对由该第一传感器检测到的该障碍物和由该第二传感器检测到的该障碍物执行匹配，基于该匹配对该障碍物的存在概率进行建模，以及基于该存在概率和恒定速度模型来追踪该障碍物。该轨线规划器可以基于追踪的障碍物、该目标和非线性模型预测控制(NMPC)来为该自动汽车生成轨线。该低水平控制器可以通过驱动汽车致动器来为该自动汽车实现该轨线。

Description

轨线规划器
相关申请的交叉引用
本申请要求于2019年9月14日提交的名称为“TRAJECTORY PLANNER”的美国临时申请序列号62/900483(代理人案卷号HRA-46354)的权益；上述申请的全文以引用方式并入本文。
背景技术
机器人平台的一个用例是运输重的或其他有运输困难的有效负载。操作者可以在机器人自身在困难的未知动态环境中进行导航时对其进行导向。可以利用自动全地形汽车(AATV)作为机器人来运输重负载。机器人可能需要满足许多规范以在未知动态环境中进行操作。各种机器人平台可以利用一些形式的以下算法，包括轮椅、无人机、腿式机器人和滑动转向平台。
发明内容
根据一个方面，一种用于轨线预测的系统可以包括第一传感器、第二传感器、处理器、轨线规划器、低水平控制器和一个或多个汽车致动器。该第一传感器可以是第一传感器类型，并且可以检测障碍物和目标。该第二传感器可以是第二传感器类型，并且可以检测障碍物和目标。第二传感器类型可以不同于第一传感器类型。该处理器可以对由第一传感器检测到的障碍物和由第二传感器检测到的障碍物执行匹配。处理器可以基于匹配对障碍物的存在概率进行建模。处理器可以基于存在概率和恒定速度模型来追踪障碍物。该轨线规划器可以基于追踪的障碍物、目标和非线性模型预测控制(NMPC)来为自动汽车生成轨线。该低水平控制器可以通过驱动一个或多个汽车致动器来为自动汽车实现轨线。
第一传感器可以是图像捕获传感器，并且第二传感器可以是光检测和测距(LiDAR)传感器。可以基于匈牙利匹配来执行匹配。可以基于贝叶斯函数对存在概率进行建模。可以基于卡尔曼滤波来执行追踪。可以基于恒定初始时间、可变最终时间、状态、状态的数量、控制项、控制项的数量、期望初始状态矢量、初始状态公差向量、期望最终状态矢量、最终状态公差矢量、关于初始状态和终止状态的松弛变量的阵列以及权重的阵列来对NMPC进行建模。可以基于由第一传感器和第二传感器检测到的障碍物与由处理器追踪的障碍物之间的代价函数来执行匹配。可以基于恒定权重项、汽车位置坐标、目标坐标、与最小化奇异点相关联的数集、期望最终方位角、转向角、转向速率、纵向速度和纵向加速度来计算该代价函数。低水平控制器可以是比例-积分-微分(PID)控制器。自动汽车可以是前轮转向汽车。
根据一个方面，一种用于轨线预测的方法可以包括：使用第一传感器类型的第一传感器检测障碍物和目标；使用第二传感器类型的第二传感器检测该障碍物和该目标，第二传感器类型不同于第一传感器类型；经由处理器对由第一传感器检测到的障碍物和由第二传感器检测到的障碍物执行匹配；经由处理器基于匹配对障碍物的存在概率进行建模；以及经由处理器基于存在概率和恒定速度模型对障碍物进行建模，经由轨线规划器基于追踪的障碍物、目标和非线性模型预测控制(NMPC)来为自动汽车生成轨线，并经由低水平控制器通过驱动一个或多个汽车致动器来为自动汽车实现轨线。
第一传感器可以是图像捕获传感器，并且第二传感器可以是光检测和测距(LiDAR)传感器。可以基于匈牙利匹配来执行匹配。可以基于贝叶斯函数对存在概率进行建模。可以基于卡尔曼滤波来执行追踪。可以基于恒定初始时间、可变最终时间、状态、状态的数量、控制项、控制项的数量、期望初始状态矢量、初始状态公差向量、期望最终状态矢量、最终状态公差矢量、关于初始状态和终止状态的松弛变量的阵列以及权重的阵列来对NMPC进行建模。可以基于由第一传感器和第二传感器检测到的障碍物与由处理器追踪的障碍物之间的代价函数来执行匹配。可以基于恒定权重项、汽车位置坐标、目标坐标、与最小化奇异点相关联的数集、期望最终方位角、转向角、转向速率、纵向速度和纵向加速度来计算该代价函数。低水平控制器可以是比例-积分-微分(PID)控制器。
根据一个方面，一种能够进行轨线预测的系统可以包括第一传感器、第二传感器、处理器、轨线规划器、低水平控制器和一个或多个汽车致动器。该第一传感器可以是第一传感器类型，并且可以检测障碍物和目标。该第二传感器可以是第二传感器类型，并且可以检测障碍物和目标。第二传感器类型可以不同于第一传感器类型。该处理器可以对由第一传感器检测到的障碍物和由第二传感器检测到的障碍物执行匹配。处理器可以基于匹配对障碍物的存在概率进行建模。处理器可以基于存在概率和恒定速度模型来追踪障碍物。该轨线规划器可以基于追踪的障碍物、目标和非线性模型预测控制(NMPC)来为自动汽车生成轨线。该低水平控制器可以通过驱动一个或多个汽车致动器来为自动汽车实现轨线。
附图说明
图1是根据一个方面的用于轨线规划的系统的示例性部件图。
图2是根据一个方面的图1的用于轨线规划的系统的感知控制器的示例性部件图。
图3是根据一个方面的图2的用于轨线规划的系统的感知控制器的示例性部件图。
图4是根据一个方面的用于轨线规划的方法的示例性流程图。
图5是根据一个方面的示例性计算机可读介质或计算机可读装置的图示，该计算机可读介质或计算机可读装置包括被配置为体现本文阐述的规定中的一个或多个规定的处理器可执行指令。
图6是根据一个方面的示例性计算环境的图示，本文阐述的规定中的一个或多个规定在该计算环境中实现。
具体实施方式
以下包括本文采用的选定术语的定义。定义包括落入某个术语的范围内的并且可用于实施方式的部件的各种示例和/或形式。这些示例并非旨在进行限制。此外，本领域的普通技术人员将会知道，本文讨论的部件可以组合、省略或与其他部件组织或组织成不同架构。
如本文所用，“处理器”处理信号并且执行一般计算和算术功能。由处理器处理的信号可以包括数字信号、数据信号、计算机指令、处理器指令、消息、位、位流或可被接收、传输和/或检测的其他手段。一般来讲，处理器可以是多种处理器，包括多个单核和多核处理器和协处理器以及其他多个单核和多核处理器和协处理器架构。处理器可以包括各种模块以执行各种功能。
如本文所用的“存储器”可以包括易失性存储器和/或非易失性存储器。非易失性存储器可以包括例如ROM(只读存储器)、PROM(可编程只读存储器)、EPROM(可擦除PROM)和EEPROM(电可擦除PROM)。易失性存储器可以包括例如RAM(随机存取存储器)、同步RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双倍数据速率SDRAM(DDRSDRAM)和直接RAM总线RAM(DRRAM)。存储器可以存储控制或分配计算装置的资源的操作系统。
如本文所用的“盘”或“驱动器”可以是磁盘驱动器、固态磁盘驱动器、软盘驱动器、磁带驱动器、Zip驱动器、闪存存储器卡和/或存储棒。此外，盘可以是CD-ROM(压缩盘ROM)、CD可记录驱动器(CD-R驱动器)、CD可重写驱动器(CD-RW驱动器)和/或数字视频ROM驱动器(DVD-ROM)。盘可以存储控制或分配计算装置的资源的操作系统。
如本文所用，“总线”是指可互连的架构，其可操作地连接到在计算机内或在计算机之间的其他计算机部件。总线可以在计算机部件之间传输数据。总线可以是存储器总线、存储器控制器、外围总线、外部总线、纵横开关和/或本地总线等等。总线可还是使用诸如面向媒体的系统传送(MOST)、控制器局域网(CAN)、本地互连网络(LIN)等等协议来将在运载工具内的组件互连的运载工具总线。
如本文所用的“数据库”可以是指表、一组表和一组数据存储(例如，盘)和/或用于访问和/或操纵那些数据存储的方法。
“可操作的连接”或使实体“可操作地连接”的连接是可发送和/或接收信号、物理通信和/或逻辑通信的连接。可操作的连接可以包括无线接口、物理接口、数据接口和/或电接口。
如本文所用的“计算机通信”是指在两个或多个计算装置(例如，计算机、个人数字助理、蜂窝电话、网络装置)之间的通信，并且可以是例如网络传输、文件传输、小程序传输、电子邮件、超文本传输协议(HTTP)传输等。计算机通信可以跨例如无线系统(例如，IEEE802.11)、以太网系统(例如，IEEE 802.3)、令牌环系统(例如，IEEE802.5)、局域网(LAN)、广域网(WAN)、点对点系统、电路交换系统、分组交换系统等等发生。
如本文所用，“移动装置”可以是通常具有带有用户输入(例如，触摸、键盘)的显示屏和用于计算的处理器的计算装置。移动装置包括手持装置、便携式电子装置、智能电话、膝上型电脑、平板电脑和电子阅读器。
如本文所用，“运载工具”是指能够运载一个或多个人类乘员并且由任何形式的能量提供动力的任何移动运载工具。术语“运载工具”包括机器人、小汽车、卡车、货车、小型货车、SUV、摩托车、踏板车、船只、私人船艇和飞行器。在一些场景中，机动车辆包括一个或多个发动机。此外，术语“运载工具”可以是指由完全地或部分地由电池供电的一个或多个电动马达供电的电动汽车(EV)。EV可包括电池动力电动汽车(BEV)和插电式混合动力电动汽车(PHEV)。另外，术语“运载工具”可以是指由任何形式的能量提供动力的自动汽车和/或自行驾驶汽车。自动汽车可以运载或可以不运载一个或多个人类乘员。自动汽车可以是自动全地形汽车(AATV)，并且可以是前轮转向汽车或其它类型的转向汽车或机器人。
如本文所用的“汽车系统”可以是可用于加强汽车、驾驶和/或安全性的任何自动或手动系统。示例性汽车系统包括自动驾驶系统、电子稳定性控制系统、防抱死制动系统、制动辅助系统、自动制动预填充系统、低速跟随系统、巡航控制系统、碰撞警告系统、碰撞缓解制动系统、自动巡航控制系统、通道偏离警告系统、盲点指示器系统、通道保持辅助系统、导航系统、变速器系统、制动踏板系统、电子动力转向系统、视觉装置(例如，相机系统、接近传感器系统)、气候控制系统、电子预紧系统、监测系统、乘客检测系统、汽车悬架系统、汽车座椅配置系统、汽车车厢照明系统、音频系统、感觉系统等。
如本文所用，“障碍物”是指道路中的或沿着汽车行驶的路径的任何对象，并且可包括行人、其他汽车、动物、碎片、坑槽等。此外，障碍物可包括大多数任何交通状况、道路状况、天气状况、环境的特征等。障碍物的示例可包括但不一定限于其他汽车(例如，障碍物汽车)、建筑物、地标、道路中的障碍物、路段、交叉口等。因此，可发现、检测障碍物，或者将这些障碍物与沿着汽车正在行驶或预计沿其行驶的路线的路径、一个或多个路段等相关联。
本文讨论的方面可以在存储计算机可执行指令的非暂态计算机可读存储介质的上下文中描述和实现。非暂态计算机可读存储介质包括计算机存储介质和通信介质。例如，闪存存储器驱动器、数字通用盘(DVD)、压缩盘(CD)、软盘和磁带盒。非暂态计算机可读存储介质可以包括在用于信息(诸如计算机可读指令、数据结构、模块或其他数据)的存储的任何方法或技术中实现的易失性或非易失性、可移动和不可移动介质。
图1是根据一个方面的用于轨线规划的系统100的示例性部件图。根据一个方面，用于轨线规划的系统100可以被实现为能够进行轨线预测的自动汽车。在任何情况下，用于轨线规划的系统100可以包括处理器102、存储器104、存储驱动器106、传感器组110(例如，第一传感器、第二传感器等)、感知控制器120、轨线规划器130、一个或多个汽车编码器140、定位控制器150、低水平控制器160和一个或多个汽车致动器170。应当理解，本文描述的控制器中的任何控制器可以被实现为硬件或软件或者经由处理器102、存储器104、存储驱动器106等实现。
传感器组110可以包括第一传感器和第二传感器。第一传感器可以是第一传感器类型，并且第二传感器可以是第二传感器类型。第二传感器类型可以不同于第一传感器类型。例如，第一传感器可以是图像捕获传感器，诸如立体相机或单目相机，并且第二传感器可以是光检测和测距(LiDAR)传感器。图像捕获传感器可以安装在自动汽车的前部。LiDAR传感器可以安装在自动汽车的顶部和/或前部。第一传感器可以检测障碍物诸如行人，以及要跟随的目标诸如靶标或人类操作者。第一传感器可以是基于候选区域的对象检测器，该基于候选区域的对象检测器可以利用类似Faster-RCNN的结构。此外，可以在数据集上训练检测器或第一传感器检测以促进行人检测。第一传感器的输出可以包括检测到的行人或障碍物的一个或多个边界框位置以及到这些对应行人或障碍物的粗略估计距离。
第二传感器可以检测障碍物或与第一传感器和目标或人类操作者相同的障碍物。这样，第一传感器和第二传感器可以检测障碍物(或一个或多个障碍物)和目标。第二传感器可以被实现为捕获动态占用地图(DOM)。DOM的捕获可以包括使用安装在汽车上的两个或更多个LiDAR传感器，这些传感器可以检测汽车的范围内的障碍物。DOM的输出可以是每个检测到的障碍物的凸包的列表，其中每个凸包描述了障碍物的空间尺寸。
感知控制器120可以经由处理器102来实现，并且可以对由第一传感器检测到的障碍物和目标以及由第二传感器检测到的障碍物和目标执行匹配。换句话说，感知控制器120可以实现感知算法以处理来自第一传感器和第二传感器的数据，以生成针对目标和环境中的障碍物的估计值。这样，感知控制器120可以估计要跟随的人(例如，目标、靶标或操作者)的位置和速度、检测和/或确定机器人周围区域或操作环境中任何障碍物的位置和形状。例如，感知控制器120可以使用高于地平面>0.7m的任何对象等高度不等性来定义障碍物。
汽车编码器140可以将来自自动汽车的当前速度数据和当前转向数据提供给定位控制器150。定位控制器150可以使用来自转向和速度编码器140的数据来执行定位算法，以使用基于测程法的估计来估计汽车状态。
另外，处理器102可以基于匹配对障碍物的存在概率进行建模。可以基于贝叶斯函数对存在概率进行建模。
处理器102可以基于存在概率和恒定速度模型来追踪障碍物和目标。可以基于卡尔曼滤波来执行追踪。
轨线规划器130可以经由处理器102来实现，并且可以基于追踪的障碍物、目标或人类操作者以及非线性模型预测控制(NMPC)来为自动汽车生成轨线。可以基于恒定初始时间、可变最终时间、状态、状态的数量、控制项、控制项的数量、期望初始状态矢量、初始状态公差向量、期望最终状态矢量、最终状态公差矢量、关于初始状态和终止状态的松弛变量的阵列以及权重的阵列来对NMPC进行建模。如图1中所见，轨线规划器130接收来自传感器组110、感知控制器120、汽车编码器140和定位控制器150的输入，并且当被提供来自感知控制器120的δf目标和追踪的障碍物ux以及来自ε0定位控制器150的汽车状态时，生成自动汽车作为转向角的轨线。来自感知控制器120和定位控制器150两者的输出可以为轨线规划器130建立轨线。如上所述，轨线规划器130的输出可以是期望转向角δf和速度(speed)或速度(velocity)ux，该期望转向角和速度可以被馈送到低级控制器160。
由于轨线规划器130可以基于NMPC为自动汽车生成轨线，因此可以通过对NMPC进行建模来满足各种规范。例如，NMPC可以包括用于跟随目标(例如，人跟随或靶标跟随)的规范数据或算法、障碍物避免(例如，针对静态障碍物和动态障碍物的碰撞缓解)、适合于前轮转向汽车和/或差速驱动汽车的操作指令、同时或并发速度优化和转向优化以及控制工作量最小化。
汽车编码器140可以将来自自动汽车的当前速度数据和当前转向数据提供给定位控制器150。定位控制器150可以使用来自转向和速度编码器140的数据来执行定位算法，以使用基于测程法的估计来估计汽车状态。
低水平控制器160可以是比例-积分-微分(PID)控制器。低水平控制器160可以通过驱动自动汽车的汽车致动器170中的一个或多个汽车致动器来为自动汽车实现轨线，该自动汽车可以是前轮转向汽车。例如，自动汽车可以被配置为通过控制器局域网(CAN)总线接收自动命令消息。在任何情况下，例如，低水平控制器160可以控制与自动汽车的转向致动器和油门致动器等致动器相关联的电压。
这样，可以提供能够进行轨线规划的系统或自动汽车。根据一个方面，该系统或自动汽车对于前轮转向汽车可以是有效的，并且可以被设计为跟随靶标，诸如靶标人、个体或操作者，同时缓解与已知和/或未知操作环境内的静态障碍物和动态障碍物的碰撞。轨线规划器130可以优化自动汽车的速度和转向，同时通过实现NMPC使控制工作量最小化。因为可以利用NMPC，所以可以使用同时法来逼近潜在轨线优化问题。因此，能够进行轨线规划的系统或自动汽车可以适合于控制前轮转向自动汽车，以在越野、未知、动态环境中跟随操作者或靶标。
图2是根据一个方面的图1的用于轨线规划的系统100的感知控制器120的示例性部件图。如前所述，传感器组110可以包括图像捕获传感器112、图像捕获装置、LiDAR传感器114等。来自两种传感器的信息可以由感知控制器120融合，该感知控制器可以执行概率传感器融合，从而将来自两种传感器的数据进行融合，使得能够使用两个独立模块、系统或传感器来检测感兴趣的对象。这样，可以仅向图3的感知控制器120提供单个输入。图2的架构使得输入112、114能够被组合，使得可以使用感知控制器120将基于相机的对象或障碍物检测与基于LiDAR的动态占用地图融合。因为来自图像捕获传感器的数据可能不像LiDAR传感器那样位置准确，并且因为DOM可能不包括对象分类，所以来自这两种传感器的信息的融合可以实现更稳健的障碍物和目标检测。此外，由感知控制器120执行的融合可以包括对来自第一传感器和/或第二传感器中的任一者的噪声检测输入的遗漏或错误检测公差。
图3是根据一个方面的图2的用于轨线规划的系统100的感知控制器120的示例性部件图。图3示出了来自图1的用于轨线规划的系统100的传感器融合流水线架构的示例性图。
感知控制器120可以对由第一传感器检测到的障碍物和目标以及由第二传感器检测到的障碍物和目标执行匹配。换句话说，感知控制器120可以在传入检测(例如，检测到的目标或检测到的障碍物)与现有追踪的目标或追踪的障碍物之间执行匹配。可以基于匈牙利匹配或匈牙利算法来执行匹配302。可以基于由第一传感器和第二传感器检测到的障碍物与由处理器102追踪的障碍物之间的代价函数来执行匹配302。可以基于恒定权重项、汽车位置坐标、目标坐标、与最小化奇异点相关联的数集、期望最终方位角、转向角、转向速率、纵向速度和纵向加速度来计算该代价函数。
根据一个方面，可以在检测与追踪器之间如下定义代价函数：
LIDAR检测：检测中心和追踪器中心之间的欧几里得距离作为代价；
相机检测：追踪器在图像平面上的投影与边界框中心之间的像素距离作为代价。匹配可以产生三种类型的结果：
对于匹配的检测和追踪器，可以使用检测来更新追踪器；
对于不匹配的追踪器，可以利用阴性(例如，空)检测来更新这些追踪器；
对于不匹配的检测，这些检测可以生成新的追踪器。
为了无缝地融合来自第一传感器和第二传感器的两种类型的检测，P存在可以经由感知控制器120或处理器102针对每个追踪的对象对存在概率进行建模304。无论检测的来源如何，每个阳性(例如，匹配的)检测都可以增大对应追踪器的概率，而每个阴性检测可以降低对应追踪器的概率。通过应用贝叶斯法则，处理器102可以计算来自逆传感器模型的存在概率，P(存在j测量结构)。处理器102可以采用逆传感器模型，并为每个检测模块或传感器假设某些假阳性率和假阴性率。对于传感器的视野外部的对象，处理器102可以维持P存在，因此它不会改变。
该P存在可用于创建新追踪器并删除过时的追踪器。当对应P存在超过预定高阈值时，可以创建新追踪器。当对应P存在下降到低于预定低阈值时，可以删除追踪器。另外，可以使用具有恒定速度模型的卡尔曼滤波306来估计追踪的行人的位置和速度。这样，即使当对象、障碍物或目标离开传感器中的一个或多个传感器的视野时，感知控制器120也可以追踪308对象、障碍物和/或目标。
根据一个方面，轨线规划器130可以根据轨线优化问题(例如，最优控制问题)来构建312NMPC模型，该NMPC模型可以被构想为对前轮转向汽车有效、被设计用于跟随靶标或目标，同时缓解与已知和/或未知操作环境内的静态障碍物和动态障碍物的碰撞。可以将NMPC构建为适合于为NMPC定制的Bolza形式的单相、连续时间、最优控制问题，如在公式1至公式8中所给出：
求最小值
ξ(t),
Figure BDA0003539392240000101
tf
Figure BDA0003539392240000102
使其满足
Figure BDA0003539392240000103
Figure BDA0003539392240000104
Figure BDA0003539392240000105
Figure BDA0003539392240000106
ξ最小≤ξ(t)≤ξ最大 (6)
Figure BDA0003539392240000107
Figure BDA0003539392240000108
其中：t0是恒定初始时间，tf是可变最终时间，
Figure BDA0003539392240000111
是状态，并且nst是状态的数目，
Figure BDA0003539392240000112
是控制项，nctr是控制项的数目，ξ0是预期初始状态矢量，
Figure BDA0003539392240000113
是初始状态公差向量，ξf是预期最终状态矢量，
Figure BDA0003539392240000114
是最终状态公差向量，
Figure BDA0003539392240000115
和
Figure BDA0003539392240000116
分别是关于初始状态和终止状态的松弛变量的阵列，并且
Figure BDA0003539392240000117
和
Figure BDA0003539392240000118
是权重的阵列。
代价泛函
公式1的代价泛函可以在以下公式9中给出：
Figure BDA0003539392240000119
其中，wt、wg、whaf、wce、
Figure BDA00035393922400001110
w、
Figure BDA00035393922400001111
ws0、wsf是恒定权重项，x(t)和y(t)是汽车的位置坐标，xg和yg是目标的坐标，
Figure BDA00035393922400001112
为设置为0.01的小数，以避免奇异点，g是期望最终方位角，δf(t)和sr(t)分别为转向角和转向率，ux(t)是纵向速度，并且ax(t)是纵向加速度。
如上所示，在公式9内存在六个项。第一项wttf可以最小化最终时间。然而，在人或目标跟随系统中，如果汽车行驶太慢，则系统性能可能不如预期。如果轨线规划器130更新太快并且在执行范围期间控制信号的变化非常小，则汽车可能不会移动。因此，最小最终时间项使规划器计算出更激进的轨线，从而使汽车更有可能移动。第二项
Figure BDA00035393922400001113
有助于推动汽车的最终位置更靠近目标。第三项
Figure BDA00035393922400001114
Figure BDA0003539392240000121
有助于汽车以特定取向朝向目标行驶。若要实现这一点，以期望目标角度
Figure BDA0003539392240000122
穿过目标点xg,yg的线与汽车的x,y轨线之间的面积可以被最小化。第四项
Figure BDA0003539392240000123
使控制工作量最小化。第五项
Figure BDA0003539392240000124
最大化速度，在最小化最终时间的同时，该项有助于确保汽车移动。第六项ws0ξ0s+wsfξfs在初始条件和终止条件下增加松弛约束条件，以帮助缓解不可行的方案。
动力约束条件
可以使用非线性运动学圆形汽车模型对汽车进行建模。因为当汽车以低速移动时，预期汽车动力不会显著影响汽车的运动，所以可以使用运动学模型。根据一个方面，运动学自行车模型和/或动力学自行车模型可用于实现系统100的部件以用于轨线规划。然而，运动学模型的计算成本可以低于动力学模型。可以使用公式10的运动学汽车来定义公式2的动力约束条件：
Figure BDA0003539392240000125
Figure BDA0003539392240000126
Figure BDA0003539392240000127
ux(t)＝ax(t) (10)
其中，
Figure BDA0003539392240000128
可以是偏角，例如，la＝0.6m和lb＝0.6m可以是轮距。
路径约束条件
为了避免与静态障碍物和动态障碍物的碰撞，可以使用对汽车轨线的时变硬约束条件来确保汽车的规划轨线不与障碍物的预测轨线相交。公式3中的路径约束条件可以在公式11中给出：
Figure BDA0003539392240000131
其中，
Figure BDA0003539392240000132
描述时变安全裕度，x0obs[i]和x0obs[i]描述在时间t处第i个障碍物的中心的位置，aobs、以及bobs可以是障碍物的长半轴和短半轴的阵列，并且Q可以是障碍物的数量。
图4是根据一个方面的用于轨线规划的方法400的示例性流程图。用于轨线预测的方法400可以包括：使用第一传感器类型的第一传感器检测402障碍物；使用第二传感器类型的第二传感器检测404障碍物，第二传感器类型不同于第一传感器类型；经由处理器102对由第一传感器检测到的障碍物和由第二传感器检测到的障碍物执行匹配406；经由处理器102基于匹配对障碍物的存在概率进行建模408；以及经由处理器102基于存在概率和恒定速度模型对障碍物进行建模410，经由轨线规划器130基于追踪的障碍物和非线性模型预测控制(NMPC)来为自动汽车生成轨线412，并经由低水平控制器160通过驱动一个或多个汽车致动器170来为自动汽车实现轨线414。
又一方面涉及计算机可读介质，该计算机可读介质包括处理器可执行指令，该处理器可执行指令被配置为实现本文呈现的技术的一个方面。图5中示出了以这些方式设计的计算机可读介质或计算机可读装置的一方面，其中实施方式500包括计算机可读介质508，诸如CD-R、DVD-R、闪存驱动器、硬盘驱动器盘片等，计算机可读数据506在该计算机可读介质上进行编码。该编码的计算机可读数据506(诸如包括如506所示的多个零和一的二进制数据)又包括一组处理器可执行计算机指令504，该组指令被配置为根据本文阐述的原理中的一个或多个原理操作。在该实施方式500中，处理器可执行计算机指令504可以被配置为执行方法502，诸如图4的方法400。在另一方面，处理器可执行计算机指令504可以被配置为实现系统(诸如图1的系统100)。许多此类计算机可读介质可以由本领域的普通技术人员设计，其被配置为根据本文呈现的技术进行操作。
如本申请中所用，术语“部件”、“模块”、“系统”、“接口”等一般旨在是指计算机相关实体、硬件、硬件和软件的组合、软件或执行中的软件。例如，组件可以是但不限于是在处理器上运行的进程、处理单元、对象、可执行程序、执行线程、程序或计算机。作为说明，在控制器上运行的应用程序和控制器两者都可以是组件。驻留在进程或执行线程和组件内的一个或多个组件可以位于一台计算机上或分布在两台或更多台计算机之间。
此外，所要求保护的主题被实现为使用标准编程或工程技术以产生软件、固件、硬件或它们的任何组合来控制计算机实现所公开的主题的方法、设备或制品。如本文所用的术语“制品”旨在涵盖可从任何计算机可读装置、载体或介质访问的计算机程序。当然，在不脱离所要求保护的主题的范围或精神的情况下，可以对该配置做出许多修改。
图6和以下讨论提供了用于实现本文阐述的规定中的一个或多个规定的方面的合适的计算环境的描述。图6的操作环境仅是合适的操作环境的一个示例，并且并不旨在对操作环境的使用范围或功能提出任何限制。示例性计算装置包括但不限于个人计算机、服务器计算机、手持式或膝上型装置、移动装置(诸如移动电话、个人数字助理(PDA)、媒体播放器等)、多处理器系统、消费者电子装置、小型计算机、大型计算机、包括上述系统或装置中的任一个的分布式计算环境等。
一般来说，在“计算机可读指令”可由一个或多个计算装置执行的一般上下文中描述各方面。计算机可读指令可以经由计算机可读介质分发，如下面将讨论。计算机可读指令可以被实现为执行一个或多个任务或实现一个或多个抽象数据类型的程序模块，诸如函数、对象、应用程序编程接口(API)、数据结构等。通常，计算机可读指令的功能性根据需要在各种环境中组合或分布。
图6示出了包括被配置为实现本文提供的一个方面的计算装置612的系统600。在一种配置中，计算装置612包括至少一个处理单元616和存储器618。取决于计算装置的确切配置和类型，存储器618可以是易失性的(诸如RAM)、非易失性的(诸如ROM、闪存存储器等)或这两者的组合。该配置在图6中由虚线614示出。
在其他方面，计算装置612包括附加特征或功能。例如，计算装置612可以包括附加存储装置，诸如可移动存储装置或不可移动存储装置，包括但不限于磁性存储装置、光学存储装置等。此类附加存储装置在图6中由存储装置620示出。在一个方面，用于实现本文提供的一个方面的计算机可读指令在存储装置620中。存储装置620可以存储其他计算机可读指令以实现操作系统、应用程序等。例如，计算机可读指令可以加载到存储器618中以供处理单元616执行。
如本文所用的术语“计算机可读介质”包括计算机存储介质。计算机存储介质包括在用于存储信息(诸如计算机可读指令或其他数据)的任何方法或技术中实现的易失性和非易失性、可移动和不可移动介质。存储器618和存储装置620是计算机存储介质的示例。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存存储器或其他存储器技术、CD-ROM、数字通用盘(DVD)或其他光学存储装置、盒式磁带、磁带、磁盘存储装置或其他磁性存储装置或可用于存储期望的信息并且可由计算装置612访问的任何其他介质。任何此类计算机存储介质都是计算装置612的一部分。
术语“计算机可读介质”包括通信介质。通信介质通常以“经调制的数据信号”(诸如载波或其他传输机制)来体现计算机可读指令或其他数据并且包括任何信息传递介质。术语“经调制的数据信号”包括以对信号中的信息进行编码的方式设置或改变其特性中的一个或多个的信号。
计算装置612包括输入装置624，诸如键盘、鼠标、笔、语音输入装置、触摸输入装置、红外相机、视频输入装置或任何其他输入装置。输出装置622(诸如一个或多个显示器、扬声器、打印机或任何其他输出装置)可以被包括在计算装置612中。输入装置624和输出装置622可以经由有线连接、无线连接或它们的任何组合连接到计算装置612。在一个方面，来自另一计算装置的输入装置或输出装置可以用作计算装置612的输入装置624或输出装置622。例如，计算装置612可以包括通信连接626，以便于诸如通过网络628与一个或多个其他装置630进行通信。
尽管用特定于结构特征或方法动作的语言描述了本主题，但是应当理解，所附权利要求书的主题不一定限于上述具体特征或动作。相反，上述具体特征和动作是作为示例性方面被公开。
在本文提供了各方面的各种操作。描述操作中的一个或多个或全部的次序不应被解释为暗示这些操作必须是按次序的。将会基于该描述而知道替代排序。此外，并非所有操作都必须要存在于本文提供的每个方面中。
如本申请中所用，“或”旨在表示包括性“或”而非排他性“或”。此外，包含性“或”可以包括它们的任何组合(例如，A、B或它们的任何组合)。另外，除非另外指明或从上下文清楚指向单数形式，否则如本申请中所用的“一个”和“一种”一般被解释为表示“一个或多个”。另外，A和B中的至少一个和/或相似的表达一般表示A或B或A和B两者。此外，就“包括(includes)”、“具有(having)”、“具有(has)”、“带有”或它们的变体在详细描述或权利要求书中使用来说，此类术语旨在以与术语“包括(comprising)”类似的方式是包括性的。
此外，除非另有说明，否则“第一”、“第二”等并不表示暗示时间方面、空间方面、排序等。相反，此类术语仅用作特征、要素、项等的标识符、名称等。例如，第一信道和第二信道一般对应于信道A和信道B或两个不同或两个相同的信道、或同一信道。另外，“包括(comprising)”、“包括(comprises)”、“包括(including)”、“包括(includes)”等一般表示包括(comprising)或包括(including)但不限于。
应当理解，上面公开的特征和功能以及其他特征和功能中的各种特征和功能或它们的替代物或变体可以理想地组合到许多其他不同系统或应用中。此外，本领域的技术人员可以之后做出本文的各种目前无法预料或无法预期的替代、修改、变化或改进，这些也旨在涵盖在所附权利要求书中。

Claims (20)

1.一种用于轨线预测的系统，所述系统包括：
第一传感器类型的第一传感器，所述第一传感器检测障碍物和目标；
第二传感器类型的第二传感器，所述第二传感器检测所述障碍物和所述目标，其中所述第二传感器类型不同于所述第一传感器类型；
处理器，所述处理器对由所述第一传感器检测到的所述障碍物和由所述第二传感器检测到的所述障碍物执行匹配，
其中所述处理器基于所述匹配对所述障碍物的存在概率进行建模，并且
其中所述处理器基于所述存在概率和恒定速度模型来追踪所述障碍物；
轨线规划器，所述轨线规划器基于追踪的障碍物、所述目标和非线性模型预测控制(NMPC)为自动汽车生成轨线；和
低水平控制器，所述低水平控制器通过驱动一个或多个汽车致动器来为所述自动汽车实现所述轨线。
2.根据权利要求1所述的用于轨线预测的系统，其中所述第一传感器是图像捕获传感器，并且所述第二传感器是光检测和测距(LiDAR)传感器。
3.根据权利要求1所述的用于轨线预测的系统，其中所述匹配是基于匈牙利匹配执行的。
4.根据权利要求1所述的用于轨线预测的系统，其中基于贝叶斯函数对所述存在概率进行建模。
5.根据权利要求1所述的用于轨线预测的系统，其中所述追踪是基于卡尔曼滤波执行的。
6.根据权利要求1所述的用于轨线预测的系统，其中基于恒定初始时间、可变最终时间、状态、状态数量、控制项、控制项的数量、期望初始状态矢量、初始状态公差向量、期望最终状态矢量、最终状态公差矢量、关于初始状态和终止状态的松弛变量的阵列以及权重的阵列来对所述NMPC进行建模。
7.根据权利要求1所述的用于轨线预测的系统，其中基于由所述第一传感器和所述第二传感器检测到的障碍物和由所述处理器追踪的所述障碍物之间的代价函数来执行所述匹配。
8.根据权利要求7所述的用于轨线预测的系统，其中基于恒定权重项、汽车位置坐标、目标坐标、与最小化奇异点相关联的数集、期望最终方位角、转向角、转向速率、纵向速度和纵向加速度来计算所述代价函数。
9.根据权利要求1所述的用于轨线预测的系统，其中所述低水平控制器是比例-积分-微分(PID)控制器。
10.根据权利要求1所述的用于轨线预测的系统，其中所述自动汽车是前轮转向汽车。
11.一种用于轨线预测的方法，所述方法包括：
使用第一传感器类型的第一传感器检测障碍物和目标；
使用第二传感器类型的第二传感器检测所述障碍物和所述目标，其中所述第二传感器类型不同于所述第一传感器类型；
经由处理器对由所述第一传感器检测到的所述障碍物和由所述第二传感器检测到的所述障碍物执行匹配，
经由所述处理器基于所述匹配对所述障碍物的存在概率进行建模，以及
经由所述处理器基于所述存在概率和恒定速度模型追踪所述障碍物；
经由轨线规划器基于追踪的障碍物、所述目标和非线性模型预测控制(NMPC)为自动汽车生成轨线；以及
经由低水平控制器通过驱动一个或多个汽车致动器来为所述自动汽车实现所述轨线。
12.根据权利要求11所述的用于轨线预测的方法，其中所述第一传感器是图像捕获传感器，并且所述第二传感器是光检测和测距(LiDAR)传感器。
13.根据权利要求11所述的用于轨线预测的方法，其中所述匹配是基于匈牙利匹配执行的。
14.根据权利要求11所述的用于轨线预测的方法，其中基于贝叶斯函数对所述存在概率进行建模。
15.根据权利要求11所述的用于轨线预测的方法，其中所述追踪是基于卡尔曼滤波执行的。
16.根据权利要求11所述的用于轨线预测的方法，其中基于恒定初始时间、可变最终时间、状态、状态数量、控制项、控制项的数量、期望初始状态矢量、初始状态公差向量、期望最终状态矢量、最终状态公差矢量、关于初始状态和终止状态的松弛变量的阵列以及权重的阵列来对所述NMPC进行建模。
17.根据权利要求11所述的用于轨线预测的方法，其中基于由所述第一传感器和所述第二传感器检测到的障碍物和由所述处理器追踪的所述障碍物之间的代价函数来执行所述匹配。
18.根据权利要求17所述的用于轨线预测的方法，其中基于恒定权重项、汽车位置坐标、目标坐标、与最小化奇异点相关联的数集、期望最终方位角、转向角、转向速率、纵向速度和纵向加速度来计算所述代价函数。
19.根据权利要求11所述的用于轨线预测的方法，其中所述低水平控制器是比例-积分-微分(PID)控制器。
20.一种能够进行轨线预测的自动汽车，所述自动汽车包括：
第一传感器类型的第一传感器，所述第一传感器检测障碍物和目标；
第二传感器类型的第二传感器，所述第二传感器检测所述障碍物和所述目标，其中所述第二传感器类型不同于所述第一传感器类型；
处理器，所述处理器对由所述第一传感器检测到的所述障碍物和由所述第二传感器检测到的所述障碍物执行匹配，
其中所述处理器基于所述匹配对所述障碍物的存在概率进行建模，并且
其中所述处理器基于所述存在概率和恒定速度模型来追踪所述障碍物；
轨线规划器，所述轨线规划器基于追踪的障碍物、所述目标和非线性模型预测控制(NMPC)为所述自动汽车生成轨线；和
低水平控制器，所述低水平控制器通过驱动一个或多个汽车致动器来为所述自动汽车实现所述轨线。
CN202080063683.9A 2019-09-14 2020-09-08 轨线规划器 Active CN114391088B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962900483P 2019-09-14 2019-09-14
US62/900,483 2019-09-14
US16/903,976 2020-06-17
US16/903,976 US11932306B2 (en) 2019-09-14 2020-06-17 Trajectory planner
PCT/US2020/049666 WO2021050413A1 (en) 2019-09-14 2020-09-08 Trajectory planner

Publications (2)

Publication Number Publication Date
CN114391088A true CN114391088A (zh) 2022-04-22
CN114391088B CN114391088B (zh) 2024-06-18

Family

ID=74866667

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080063683.9A Active CN114391088B (zh) 2019-09-14 2020-09-08 轨线规划器

Country Status (3)

Country Link
US (1) US11932306B2 (zh)
CN (1) CN114391088B (zh)
WO (1) WO2021050413A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2598731B (en) * 2020-09-09 2023-03-29 Jaguar Land Rover Ltd Apparatus and method for controlling a vehicle
GB2612531B (en) * 2020-09-09 2023-09-27 Jaguar Land Rover Ltd Apparatus and method for controlling a vehicle
US20220314983A1 (en) * 2021-04-05 2022-10-06 Argo AI, LLC Counter-steering penalization during vehicle turns
CN113968245A (zh) * 2021-04-15 2022-01-25 上海丰豹商务咨询有限公司 适用于协同式自动驾驶系统的车载智能单元和控制方法
CN115246416B (zh) * 2021-05-13 2023-09-26 上海仙途智能科技有限公司 轨迹预测方法、装置、设备及计算机可读存储介质
US11608084B1 (en) * 2021-08-27 2023-03-21 Motional Ad Llc Navigation with drivable area detection
CN115214719B (zh) * 2022-05-30 2024-04-05 广州汽车集团股份有限公司 障碍物轨迹跟踪方法、装置、智能驾驶设备及存储介质
CN115083156B (zh) * 2022-06-14 2022-12-27 北京航空航天大学 一种基于Newell跟驰模型的车辆轨迹预测方法
DE102022122031A1 (de) 2022-08-31 2024-02-29 Cariad Se Verfahren zum Bereitstellen eines Zuverlässigkeitswerts für eine Objektinformation einer Landkarte
CN117806333B (zh) * 2024-02-29 2024-05-24 北京大学 复杂环境中保持可见性的目标追踪轨迹规划方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110085702A1 (en) * 2009-10-08 2011-04-14 University Of Southern California Object tracking by hierarchical association of detection responses
US20130096698A1 (en) * 2011-10-14 2013-04-18 PronetLabs Ltd. Self-organizing quantum robust control methods and systems for situations with uncertainty and risk
US20140032012A1 (en) * 2012-07-24 2014-01-30 Toyota Motor Eng. & Mftg. North America Tracking on-road vehicles with sensors of different modalities
US20140324339A1 (en) * 2013-04-30 2014-10-30 BASELABS GmbH Method and apparatus for the tracking of multiple objects

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030058111A1 (en) 2001-09-27 2003-03-27 Koninklijke Philips Electronics N.V. Computer vision based elderly care monitoring system
US7702420B2 (en) 2004-07-07 2010-04-20 Panasonic Corporation Method for making mobile unit accompany objective person
WO2007050407A1 (en) 2005-10-21 2007-05-03 Deere & Company Systems and methods for switching between autonomous and manual operation of a vehicle
KR100791382B1 (ko) * 2006-06-01 2008-01-07 삼성전자주식회사 로봇의 이동 경로에 따라 소정 영역의 특성에 관한 정보를수집하고 분류하는 방법 및 상기 영역 특성에 따라제어되는 로봇, 상기 영역 특성을 이용한 ｕｉ 구성 방법및 장치
US8244408B2 (en) 2009-03-09 2012-08-14 GM Global Technology Operations LLC Method to assess risk associated with operating an autonomic vehicle control system
KR20110003146A (ko) 2009-07-03 2011-01-11 한국전자통신연구원 제스쳐 인식 장치, 이를 구비한 로봇 시스템 및 이를 이용한 제스쳐 인식 방법
US20110026770A1 (en) 2009-07-31 2011-02-03 Jonathan David Brookshire Person Following Using Histograms of Oriented Gradients
AU2010290950B2 (en) 2009-09-07 2015-02-05 Bae Systems Plc Path determination
US20120316680A1 (en) 2011-06-13 2012-12-13 Microsoft Corporation Tracking and following of moving objects by a mobile robot
US9321173B2 (en) 2012-06-22 2016-04-26 Microsoft Technology Licensing, Llc Tracking and following people with a mobile robotic device
US10884417B2 (en) 2016-11-07 2021-01-05 Boston Incubator Center, LLC Navigation of mobile robots based on passenger following
KR101907548B1 (ko) 2016-12-23 2018-10-12 한국과학기술연구원 휴먼 추종을 위한 이동로봇의 주행 및 탐색방법
US10838067B2 (en) 2017-01-17 2020-11-17 Aptiv Technologies Limited Object detection system
KR102624560B1 (ko) 2017-01-31 2024-01-15 엘지전자 주식회사 청소기
US10303953B2 (en) 2017-04-17 2019-05-28 Intel Corporation Person tracking and privacy and acceleration of data using autonomous machines
WO2019147235A1 (en) 2018-01-24 2019-08-01 Ford Global Technologies, Llc Path planning for autonomous moving devices
US11467590B2 (en) 2018-04-09 2022-10-11 SafeAI, Inc. Techniques for considering uncertainty in use of artificial intelligence models
US10745011B2 (en) 2018-05-31 2020-08-18 Nissan North America, Inc. Predicting yield behaviors
US11740630B2 (en) 2018-06-12 2023-08-29 Skydio, Inc. Fitness and sports applications for an autonomous unmanned aerial vehicle
US10948907B2 (en) 2018-08-24 2021-03-16 Ford Global Technologies, Llc Self-driving mobile robots using human-robot interactions
WO2020132233A1 (en) 2018-12-20 2020-06-25 Augean Robotics, Inc. Collaborative autonomous ground vehicle
US11663550B1 (en) * 2020-04-27 2023-05-30 State Farm Mutual Automobile Insurance Company Systems and methods for commercial inventory mapping including determining if goods are still available
US20230252796A1 (en) * 2021-12-10 2023-08-10 Toyota Research Institute, Inc. Self-supervised compositional feature representation for video understanding
US20230252280A1 (en) * 2022-02-10 2023-08-10 Gm Cruise Holdings Llc Online learning by an instance of a deep learning model and sharing of learning with additional instances of the deep learning model

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110085702A1 (en) * 2009-10-08 2011-04-14 University Of Southern California Object tracking by hierarchical association of detection responses
US20130096698A1 (en) * 2011-10-14 2013-04-18 PronetLabs Ltd. Self-organizing quantum robust control methods and systems for situations with uncertainty and risk
US20140032012A1 (en) * 2012-07-24 2014-01-30 Toyota Motor Eng. & Mftg. North America Tracking on-road vehicles with sensors of different modalities
US20140324339A1 (en) * 2013-04-30 2014-10-30 BASELABS GmbH Method and apparatus for the tracking of multiple objects

Also Published As

Publication number Publication date
US11932306B2 (en) 2024-03-19
CN114391088B (zh) 2024-06-18
US20210078592A1 (en) 2021-03-18
WO2021050413A8 (en) 2021-10-14
WO2021050413A1 (en) 2021-03-18

Similar Documents

Publication Publication Date Title
CN114391088B (zh) 轨线规划器
EP3974270A1 (en) Device for determining safety state of a vehicle
US11126185B2 (en) Systems and methods for predicting vehicle trajectory
EP3885976A1 (en) Methods and devices for triggering vehicular actions based on passenger actions
US11645916B2 (en) Moving body behavior prediction device and moving body behavior prediction method
US10824155B2 (en) Predicting movement intent of objects
CN112149487B (zh) 一种用于自动驾驶的用于训练神经网络对象检测模型的用于确定锚框的方法
WO2022132416A1 (en) Object determination in an occluded region
US11648965B2 (en) Method and system for using a reaction of other road users to ego-vehicle actions in autonomous driving
US11618444B2 (en) Methods and systems for autonomous vehicle inference of routes for actors exhibiting unrecognized behavior
US11718290B2 (en) Methods and systems for safe out-of-lane driving
US12072678B2 (en) Systems and methods for providing future object localization
CN114074681A (zh) 基于概率的车道变更决策和运动规划系统及其方法
US20220366175A1 (en) Long-range object detection, localization, tracking and classification for autonomous vehicles
US11927674B2 (en) System and method for providing a comprehensive trajectory planner for a person-following vehicle
US20230415736A1 (en) Systems and methods for controlling longitudinal acceleration based on lateral objects
US20230415739A1 (en) Systems and methods for controlling longitudinal acceleration based on lateral objects
CN117022262A (zh) 无人车速度规划控制方法、装置、电子设备及存储介质
EP4141482A1 (en) Systems and methods for validating camera calibration in real-time
WO2023177969A1 (en) Method and system for assessing whether a vehicle is likely to leave an off-road parking area
US20230415781A1 (en) Systems and methods for controlling longitudinal acceleration based on lateral objects
US11970164B1 (en) Adverse prediction planning
JP2022544835A (ja) 進路変更の前の合流に対する車線処理
US12043289B2 (en) Persisting predicted objects for robustness to perception issues in autonomous driving
US20240075923A1 (en) Systems and methods for deweighting veering margins based on crossing time

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant