CN116149308A - 用于运载工具的方法、运载工具和存储介质 - Google Patents

用于运载工具的方法、运载工具和存储介质 Download PDF

Info

Publication number
CN116149308A
CN116149308A CN202210129313.1A CN202210129313A CN116149308A CN 116149308 A CN116149308 A CN 116149308A CN 202210129313 A CN202210129313 A CN 202210129313A CN 116149308 A CN116149308 A CN 116149308A
Authority
CN
China
Prior art keywords
vehicle
agent
trajectory
processor
generation point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210129313.1A
Other languages
English (en)
Inventor
Y·潘
黄佑丰
S·D·彭德尔顿
符国铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Motional AD LLC
Original Assignee
Motional AD LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Motional AD LLC filed Critical Motional AD LLC
Publication of CN116149308A publication Critical patent/CN116149308A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0016—Planning or execution of driving tasks specially adapted for safety of the vehicle or its occupants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0953—Predicting travel path or likelihood of collision the prediction being responsive to vehicle dynamic parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18159—Traversing an intersection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18163—Lane change; Overtaking manoeuvres
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097—Predicting future conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00274—Planning or execution of driving tasks using trajectory prediction for other traffic participants considering possible movement changes
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/027—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising intertial navigation means, e.g. azimuth detector
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/60—Software deployment
    • G06F8/65—Updates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Security & Cryptography (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明提供用于运载工具的方法、运载工具和存储介质。提供了用于预测假定智能体的运动的方法，该方法可以包括：接收传感器数据；生成指示至少一个被遮挡区域的分割掩模；生成至少一个假定智能体轨迹；确定至少一个智能体生成点；确定是否满足从至少一个智能体生成点到运载工具的阈值距离；生成至少一个智能体；规划运载工具的路径；以及根据所规划的路径来控制运载工具。还提供了系统和计算机程序产品。

Description

用于运载工具的方法、运载工具和存储介质
技术领域
本发明涉及用于运载工具的方法、运载工具和存储介质。
背景技术
自主运载工具可在具有诸如行人或运载工具等的一个或多于一个其他智能体的环境中操作。智能体可能突然出现在自主运载工具的视野中。智能体的突然出现会导致自主运载工具急剧地进行机动动作以避免与智能体碰撞。急剧的机动动作可能是危险的或者可能会打扰自主运载工具中的乘员。
发明内容
一种用于运载工具的方法，包括：使用至少一个处理器，接收指示所述运载工具周围的环境的传感器数据；使用所述至少一个处理器，生成指示至少一个被遮挡区域的分割掩模；使用所述至少一个处理器，基于所述至少一个被遮挡区域来生成至少一个假定智能体轨迹；使用所述至少一个处理器，基于至少一个智能体轨迹来确定至少一个智能体生成点；使用所述至少一个处理器，确定是否满足从所述至少一个智能体生成点到所述运载工具的阈值距离；使用所述至少一个处理器，基于确定为满足预定义的阈值距离，基于所述至少一个智能体生成点来生成与至少一个运动轮廓相关联的至少一个智能体；使用所述至少一个处理器，基于生成所述至少一个智能体来规划所述运载工具的路径；以及使用所述至少一个处理器，根据所规划的路径来控制所述运载工具。
一种运载工具，包括：至少一个处理器；以及至少一个非暂时性存储介质，其存储有指令，所述指令在由所述至少一个处理器执行时使所述至少一个处理器进行上述的方法。
至少一个非暂时性计算机可读存储介质，其存储有指令，所述指令在由至少一个处理器执行时使所述至少一个处理器进行上述的方法。
附图说明
图1是可以实现包括自主系统的一个或多于一个组件的运载工具的示例环境；
图2是包括自主系统的运载工具的一个或多于一个系统的图；
图3是图1和图2的一个或多于一个装置和/或一个或多于一个系统的组件的图；
图4是自主系统的某些组件的图；
图5是用于预测假定智能体的运动的处理的实现的框图；
图6A是用于生成并更新类似行人的假定智能体的处理。
图6B是例示与遮挡区过渡相关联的概率的曲线图。
图7是用于确定类似运载工具的假定智能体的智能体生成点的处理。
图8是用于预测假定智能体的运动的处理的流程图。
具体实施方式
在以下描述中，为了解释的目的，阐述了许多具体细节，以便提供对本公开的透彻理解。然而，本公开所描述的实施例可以在没有这些具体细节的情况下实施将是明显的。在一些实例中，众所周知的构造和装置是以框图形式例示的，以避免不必要地使本公开的方面模糊。
在附图中，为了便于描述，例示了示意要素(诸如表示系统、装置、模块、指令块和/或数据要素等的那些要素等)的具体布置或次序。然而，本领域技术人员将要理解，除非明确描述，否则附图中示意要素的具体次序或布置并不意在意味着要求特定的处理次序或序列、或处理的分离。此外，除非明确描述，否则在附图中包含示意要素并不意在意味着在所有实施例中都需要这种要素，也不意在意味着由这种要素表示的特征不能包括在一些实施例中或不能在一些实施例中与其它要素结合。
此外，在附图中，连接要素(诸如实线或虚线或箭头等)用于例示两个或更多个其它示意要素之间或之中的连接、关系或关联，没有任何此类连接要素并不意在意味着不能存在连接、关系或关联。换句话说，要素之间的一些连接、关系或关联未在附图中例示，以便不使本公开内容模糊。此外，为了便于例示，可以使用单个连接要素来表示要素之间的多个连接、关系或关联。例如，如果连接要素表示信号、数据或指令(例如，“软件指令”)的通信，本领域技术人员应理解，这种要素可以表示影响通信可能需要的一个或多个信号路径(例如，总线)。
尽管使用术语“第一”、“第二”和/或“第三”等来描述各种要素，但这些要素不应受这些术语的限制。术语“第一”、“第二”和/或第三”仅用于区分一个要素与另一要素。例如，在没有背离所描述的实施例的范围的情况下，第一触点可被称为第二触点，并且类似地，第二触点可被称为第一触点。第一触点和第二触点这两者都是触点，但它们不是相同的触点。
在本文所描述的各种实施例的说明书中使用的术语仅是为了描述特定实施例的目的而包括的，而不是意在限制。如在所描述的各种实施例的说明书和所附权利要求书中所使用的，单数形式“a”、“an”和“the”也意在包括复数形式，并且可以与“一个或多于一个”或者“至少一个”互换使用，除非上下文另有明确说明。还将理解的是，如本文所使用的术语“和/或”是指并且包括关联的列出项中的一个或多于一个的任何和所有可能的组合。还将理解的是，当在本说明书中使用术语“包括”、“包含”、“具备”和/或“具有”时，具体说明存在所陈述的特征、整数、步骤、操作、要素和/或组件，但并不排除存在或添加一个或多于一个其它特征、整数、步骤、操作、要素、组件和/或其群组。
如本文所使用的，术语“通信”和“进行通信”是指信息(或者由例如数据、信号、消息、指令和/或命令等表示的信息)的接收、收到、传输、传送和/或提供等中的至少一者。对于要与另一单元进行通信的一个单元(例如，装置、系统、装置或系统的组件、以及/或者它们的组合等)而言，这意味着该一个单元能够直接地或间接地从另一单元接收信息和/或向该另一单元发送(例如，传输)信息。这可以是指本质上为有线和/或无线的直接或间接连接。另外，即使可以在第一单元和第二单元之间修改、处理、中继和/或路由所传输的信息，两个单元也可以彼此进行通信。例如，即使第一单元被动地接收信息并且不主动地向第二单元传输信息，第一单元也可以与第二单元进行通信。作为另一示例，如果至少一个中介单元(例如，位于第一单元和第二单元之间的第三单元)处理从第一单元接收到的信息、并将处理后的信息传输至第二单元，则第一单元可以与第二单元进行通信。在一些实施例中，消息可以是指包括数据的网络分组(例如，数据分组等)。
如本文所使用的，取决于上下文，术语“如果”可选地被解释为意指“当…时”、“在…时”、“响应于确定为”和/或“响应于检测到”等。类似地，取决于上下文，短语“如果已确定”或“如果检测到[所陈述的条件或事件]”可选地被解释为意指“在确定…时”、“响应于确定为“或”在检测到[所陈述的条件或事件]时”和/或“响应于检测到[所陈述的条件或事件]”等。此外，如本文所使用的，术语“有”、“具有”或“拥有”等旨在是开放式术语。此外，除非另有明确说明，否则短语“基于”意在是意味着“至少部分基于”。
结合阈值来说明本发明的一些实施例。如本文所述，满足阈值可以指值大于阈值、多于阈值、高于阈值、大于或等于阈值、小于阈值、少于阈值、低于阈值、小于或等于阈值、以及/或者等于阈值等。
现在将详细参考实施例，其示例在附图中例示出。在以下的详细描述中，阐述了许多具体细节，以便提供对所描述的各种实施例的透彻理解。然而，对于本领域的普通技术人员来说将明显的是，可以在没有这些具体细节的情况下实施所描述的各种实施例。在其它情况下，尚未详细描述众所周知的方法、过程、组件、电路和网络，以便不会不必要地使实施例的方面模糊。
总体概述
在一些方面和/或实施例中，本文所述的系统、方法和计算机程序产品包括和/或实现预测假定智能体的运动。部分地基于遮挡假定智能体(例如，行人或运载工具)的对象的特征来预测假定智能体的存在和运动。通常，运载工具可以预测到智能体存在于遮挡的后方，并且生成该智能体的可能轨迹，以便为该智能体实际存在并且需要避开该智能体的情景做准备(例如，以防止与从遮挡的后方突然出现的智能体发生碰撞)。如果遮挡是“开放的”(例如，遮挡具有运载工具可见的入口点和出口点)，则运载工具可以更准确地预测对假定智能体的运动的约束。例如，除非智能体在通过开放的遮挡的后方之前对于运载工具而言是可见的，否则有可能智能体并未正在开放的遮挡的后方高速行驶。
借助于本文所述的系统、方法和计算机程序产品的实现，用于预测假定智能体的运动的技术具有以下优点。智能体的运动轮廓(motion profile)的分布确保了供运载工具在智能体存在的情况下避免与智能体发生碰撞用的更现实的约束。预期不可观察区中的智能体使得运载工具能够更安全地操作。仅当运载工具在智能体的假定路径的距离内时才生成智能体，从而使得运载工具能够节省计算资源。所引入的两类智能体(例如，行人和运载工具)使得运载工具能够规划不易发生碰撞的路径。
现在参考图1，例示示例环境100，在该示例环境100中，包括自主系统的运载工具以及不包括自主系统的运载工具进行操作。如所例示的，环境100包括运载工具102a-102n、对象104a-104n、路线106a-106n、区域108、运载工具到基础设施(V2I)装置110、网络112、远程自主运载工具(AV)系统114、队列管理系统116和V2I系统118。运载工具102a-102n、运载工具到基础设施(V2I)装置110、网络112、自主运载工具(AV)系统114、队列管理系统116和V2I系统118经由有线连接、无线连接、或者有线或无线连接的组合互连(例如，建立用于通信的连接等)。在一些实施例中，对象104a-104n经由有线连接、无线连接、或者有线或无线连接的组合与运载工具102a-102n、运载工具到基础设施(V2I)装置110、网络112、自主运载工具(AV)系统114、队列管理系统116和V2I系统118中的至少一者互连。
运载工具102a-102n(单独称为运载工具102且统称为运载工具102)包括被配置为运输货物和/或人员的至少一个装置。在一些实施例中，运载工具102被配置为与V2I装置110、远程AV系统114、队列管理系统116和/或V2I系统118经由网络112进行通信。在一些实施例中，运载工具102包括小汽车、公共汽车、卡车和/或火车等。在一些实施例中，运载工具102与本文所述的运载工具200(参见图2)相同或类似。在一些实施例中，一组运载工具200中的运载工具200与自主队列管理器相关联。在一些实施例中，如本文所述，运载工具102沿着相应的路线106a-106n(单独称为路线106且统称为路线106)行驶。在一些实施例中，一个或多于一个运载工具102包括自主系统(例如，与自主系统202相同或类似的自主系统)。
对象104a-104n(单独称为对象104且统称为对象104)例如包括至少一个运载工具、至少一个行人、至少一个骑车者和/或至少一个构造物(例如，建筑物、标志、消防栓等)等。各对象104(例如，位于固定地点处并在一段时间内)是静止的或(例如，具有速度且与至少一个轨迹相关联地)移动。在一些实施例中，对象104与区域108中的相应地点相关联。
路线106a-106n(单独称为路线106且统称为路线106)各自与连接AV可以导航所沿着的状态的一系列动作(也称为轨迹)相关联(例如，规定该一系列动作)。各个路线106始于初始状态(例如，与第一时空旷田野点和/或速度等相对应的状态)，并且结束于最终目标状态(例如，与不同于第一时空旷田野点的第二时空旷田野点相对应的状态)或目标区(例如，可接受状态(例如，终止状态)的子空间)。在一些实施例中，第一状态包括一个或多于一个个体将要搭载AV的地点，并且第二状态或区包括搭载AV的一个或多于一个个体将要下车的一个或多于一个地点。在一些实施例中，路线106包括多个可接受的状态序列(例如，多个时空旷田野点序列)，这多个状态序列与多个轨迹相关联(例如，限定多个轨迹)。在示例中，路线106仅包括高级别动作或不精确的状态地点，诸如指示在车行道交叉口处转换方向的一系列连接道路等。附加地或可替代地，路线106可以包括更精确的动作或状态，诸如例如车道区域内的特定目标车道或精确地点以及这些位置处的目标速率等。在示例中，路线106包括沿着具有到达中间目标的有限前瞻视界的至少一个高级别动作的多个精确状态序列，其中有限视界状态序列的连续迭代的组合累积地与共同形成在最终目标状态或区处终止的高级别路线的多个轨迹相对应。
区域108包括运载工具102可以导航的物理区域(例如，地理区)。在示例中，区域108包括至少一个州(例如，国家、省、国家中所包括的多个州中的单独州等)、州的至少一部分、至少一个城市、城市的至少一部分等。在一些实施例中，区域108包括至少一个已命名干道(本文称为“道路”)，诸如公路、州际公路、公园道路、城市街道等。附加地或可替代地，在一些示例中，区域108包括至少一个未命名道路，诸如行车道、停车场的一段、空旷田野和/或未开发地区的一段、泥路等。在一些实施例中，道路包括至少一个车道(例如，道路的运载工具102可以穿过的部分)。在示例中，道路包括与至少一个车道标记相关联的(例如，基于至少一个车道标记所识别的)至少一个车道。
运载工具到基础设施(V2I)装置110(有时称为运载工具到万物(Vehicle-to-Everything)(V2X)装置)包括被配置为与运载工具102和/或V2I基础设施系统118进行通信的至少一个装置。在一些实施例中，V2I装置110被配置为与运载工具102、远程AV系统114、队列管理系统116和/或V2I系统118经由网络112进行通信。在一些实施例中，V2I装置110包括射频识别(RFID)装置、标牌、照相机(例如，二维(2D)和/或三维(3D)照相机)、车道标记、路灯、停车计时器等。在一些实施例中，V2I装置110被配置为直接与运载工具102进行通信。附加地或可替代地，在一些实施例中，V2I装置110被配置为与运载工具102、远程AV系统114和/或队列管理系统116经由V2I系统118进行通信。在一些实施例中，V2I装置110被配置为与V2I系统118经由网络112进行通信。
网络112包括一个或多于一个有线和/或无线网络。在示例中，网络112包括蜂窝网络(例如，长期演进(LTE)网络、第三代(3G)网络、第四代(4G)网络、第五代(5G)网络、码分多址(CDMA)网络等)、公共陆地移动网络(PLMN)、局域网(LAN)、广域网(WAN)、城域网(MAN)、电话网(例如，公共交换电话网(PSTN))、专用网络、自组织网络、内联网、因特网、基于光纤的网络、云计算网络等、以及/或者这些网络中的一部分或全部的组合等。
远程AV系统114包括被配置为与运载工具102、V2I装置110、网络112、队列管理系统116和/或V2I系统118经由网络112进行通信的至少一个装置。在示例中，远程AV系统114包括服务器、服务器组和/或其它类似装置。在一些实施例中，远程AV系统114与队列管理系统116位于同一位置。在一些实施例中，远程AV系统114参与运载工具的组件(包括自主系统、自主运载工具计算和/或由自主运载工具计算实现的软件等)中的一部分或全部的安装。在一些实施例中，远程AV系统114在运载工具的寿命期间维护(例如，更新和/或更换)这些组件和/或软件。
队列管理系统116包括被配置为与运载工具102、V2I装置110、远程AV系统114和/或V2I基础设施系统118进行通信的至少一个装置。在示例中，队列管理系统116包括服务器、服务器组和/或其它类似装置。在一些实施例中，队列管理系统116与拼车公司(例如，用于控制多个运载工具(例如，包括自主系统的运载工具和/或不包括自主系统的运载工具)的操作等的组织)相关联。
在一些实施例中，V2I系统118包括被配置为与运载工具102、V2I装置110、远程AV系统114和/或队列管理系统116经由网络112进行通信的至少一个装置。在一些示例中，V2I系统118被配置为与V2I装置110经由不同于网络112的连接进行通信。在一些实施例中，V2I系统118包括服务器、服务器组和/或其它类似装置。在一些实施例中，V2I系统118与市政当局或私营机构(例如，用于维护V2I装置110的私营机构等)相关联。
提供图1所例示的要素的数量和布置作为示例。与图1例示的要素相比，可以存在附加的要素、更少的要素、不同的要素和/或不同布置的要素。附加地或可替代地，环境100的至少一个要素可以进行被描述为由图1的至少一个不同要素进行的一个或多于一个功能。附加地或可替代地，环境100的至少一组要素可以进行被描述为由环境100的至少一个不同组的要素进行的一个或多于一个功能。
现在参考图2，运载工具200包括自主系统202、动力总成控制系统204、转向控制系统206和制动系统208。在一些实施例中，运载工具200与运载工具102(参见图1)相同或类似。在一些实施例中，运载工具200具有自主能力(例如，实现如下的至少一个功能、特征和/或装置等，该至少一个功能、特征和/或装置使得运载工具200能够在无人类干预的情况下部分地或完全地操作，其包括但不限于完全自主运载工具(例如，放弃依赖人类干预的运载工具)和/或高度自主运载工具(例如，在某些情形下放弃依赖人类干预的运载工具)等)。对于完全自主运载工具和高度自主运载工具的详细描述，可以参考SAE国际标准J3016:道路上机动车自动驾驶系统相关术语的分类和定义(SAE International's standard J3016:Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle AutomatedDriving Systems)，其全部内容通过引用而被包含。在一些实施例中，运载工具200与自主队列管理器和/或拼车公司相关联。
自主系统202包括传感器套件，该传感器套件包括诸如照相机202a、LiDAR传感器202b、雷达(radar)传感器202c和麦克风202d等的一个或多于一个装置。在一些实施例中，自主系统202可以包括更多或更少的装置和/或不同的装置(例如，超声波传感器、惯性传感器、(以下论述的)GPS接收器、以及/或者用于生成与运载工具200已行驶的距离的指示相关联的数据的里程计传感器等)。在一些实施例中，自主系统202使用自主系统202中所包括的一个或多于一个装置来生成与本文所述的环境100相关联的数据。由自主系统202的一个或多于一个装置生成的数据可以由本文所述的一个或多于一个系统使用以观测运载工具200所位于的环境(例如，环境100)。在一些实施例中，自主系统202包括通信装置202e、自主运载工具计算202f和安全控制器202g。
照相机202a包括被配置为与通信装置202e、自主运载工具计算202f和/或安全控制器202g经由总线(例如，与图3的总线302相同或类似的总线)进行通信的至少一个装置。照相机202a包括用以捕获包括物理对象(例如，小汽车、公共汽车、路缘和/或人员等)的图像的至少一个照相机(例如，使用诸如电荷耦合器件(CCD)等的光传感器的数字照相机、热照相机、红外(IR)照相机和/或事件照相机等)。在一些实施例中，照相机202a生成照相机数据作为输出。在一些示例中，照相机202a生成包括与图像相关联的图像数据的照相机数据。在该示例中，图像数据可以指定与图像相对应的至少一个参数(例如，诸如曝光、亮度等的图像特性、以及/或者图像时间戳等)。在这样的示例中，图像可以采用格式(例如，RAW、JPEG和/或PNG等)。在一些实施例中，照相机202a包括配置在(例如，定位在)运载工具上以为了立体影像(立体视觉)的目的而捕获图像的多个独立照相机。在一些示例中，照相机202a包括生成图像数据并将该图像数据传输到自主运载工具计算202f和/或队列管理系统(例如，与图1的队列管理系统116相同或类似的队列管理系统)的多个照相机。在这样的示例中，自主运载工具计算202f基于来自至少两个照相机的图像数据来确定多个照相机中的至少两个照相机的视场中的到一个或多于一个对象的深度。在一些实施例中，照相机202a被配置为捕获在相对于照相机202a的距离(例如，高达100米和/或高达1千米等)内的对象的图像。因此，照相机202a包括为了感知在相对于照相机202a一个或多于一个距离处的对象而优化的诸如传感器和镜头等的特征。
在一些实施例中，照相机202a包括被配置为捕获与一个或多于一个交通灯、街道标志和/或提供视觉导航信息的其它物理对象相关联的一个或多于一个图像的至少一个照相机。在一些实施例中，照相机202a生成与一个或多于一个图像相关联的交通灯数据。在一些示例中，照相机202a生成与包括格式(例如，RAW、JPEG和/或PNG等)的一个或多于一个图像相关联的TLD数据。在一些实施例中，生成TLD数据的照相机202a与本文所述的包含照相机的其它系统的不同之处在于：照相机202a可以包括具有宽视场(例如，广角镜头、鱼眼镜头、以及/或者具有约120度或更大的视角的镜头等)的一个或多于一个照相机，以生成与尽可能多的物理对象有关的图像。
激光检测和测距(LiDAR)传感器202b包括被配置为与通信装置202e、自主运载工具计算202f和/或安全控制器202g经由总线(例如，与图3的总线302相同或类似的总线)进行通信的至少一个装置。LiDAR传感器202b包括被配置为从发光器(例如，激光发射器)发射光的系统。由LiDAR传感器202b发射的光包括在可见光谱之外的光(例如，红外光等)。在一些实施例中，在操作期间，由LiDAR传感器202b发射的光遇到物理对象(例如，运载工具)并被反射回到LiDAR传感器202b。在一些实施例中，由LiDAR传感器202b发射的光不会穿透该光遇到的物理对象。LiDAR传感器202b还包括至少一个光检测器，该至少一个光检测器在从发光器发射的光遇到物理对象之后检测到该光。在一些实施例中，与LiDAR传感器202b相关联的至少一个数据处理系统生成表示LiDAR传感器202b的视场中所包括的对象的图像(例如，点云和/或组合点云等)。在一些示例中，与LiDAR传感器202b相关联的至少一个数据处理系统生成表示物理对象的边界和/或物理对象的表面(例如，表面的拓扑结构)等的图像。在这样的示例中，该图像用于确定LiDAR传感器202b的视场中的物理对象的边界。
无线电检测和测距(雷达)传感器202c包括被配置为与通信装置202e、自主运载工具计算202f和/或安全控制器202g经由总线(例如，与图3的总线302相同或类似的总线)进行通信的至少一个装置。雷达传感器202c包括被配置为发射(脉冲的或连续的)无线电波的系统。由雷达传感器202c发射的无线电波包括预先确定的频谱内的无线电波。在一些实施例中，在操作期间，由雷达传感器202c发射的无线电波遇到物理对象并被反射回到雷达传感器202c。在一些实施例中，由雷达传感器202c发射的无线电波未被一些对象反射。在一些实施例中，与雷达传感器202c相关联的至少一个数据处理系统生成表示雷达传感器202c的视场中所包括的对象的信号。例如，与雷达传感器202c相关联的至少一个数据处理系统生成表示物理对象的边界和/或物理对象的表面(例如，表面的拓扑结构)等的图像。在一些示例中，该图像用于确定雷达传感器202c的视场中的物理对象的边界。
麦克风202d包括被配置为与通信装置202e、自主运载工具计算202f和/或安全控制器202g经由总线(例如，与图3的总线302相同或类似的总线)进行通信的至少一个装置。麦克风202d包括捕获音频信号并生成与该音频信号相关联(例如，表示该音频信号)的数据的一个或多于一个麦克风(例如，阵列麦克风和/或外部麦克风等)。在一些示例中，麦克风202d包括变换器装置和/或类似装置。在一些实施例中，本文所述的一个或多于一个系统可以接收由麦克风202d生成的数据，并基于与该数据相关联的音频信号来确定对象相对于运载工具200的位置(例如，距离等)。
通信装置202e包括被配置为与照相机202a、LiDAR传感器202b、雷达传感器202c、麦克风202d、自主运载工具计算202f、安全控制器202g和/或线控(DBW)系统202h进行通信的至少一个装置。例如，通信装置202e可以包括与图3的通信接口314相同或类似的装置。在一些实施例中，通信装置202e包括运载工具到运载工具(V2V)通信装置(例如，用于实现运载工具之间的数据的无线通信的装置)。
自主运载工具计算202f包括被配置为与照相机202a、LiDAR传感器202b、雷达传感器202c、麦克风202d、通信装置202e、安全控制器202g和/或DBW系统202h进行通信的至少一个装置。在一些示例中，自主运载工具计算202f包括诸如客户端装置、移动装置(例如，蜂窝电话和/或平板电脑等)和/或服务器(例如，包括一个或多于一个中央处理单元和/或图形处理单元等的计算装置)等的装置。在一些实施例中，自主运载工具计算202f与本文所述的自主运载工具计算400相同或类似。附加地或可替代地，在一些实施例中，自主运载工具计算202f被配置为与自主运载工具系统(例如，与图1的远程AV系统114相同或类似的自主运载工具系统)、队列管理系统(例如，与图1的队列管理系统116相同或类似的队列管理系统)、V2I装置(例如，与图1的V2I装置110相同或类似的V2I装置)和/或V2I系统(例如，与图1的V2I系统118相同或类似的V2I系统)进行通信。
安全控制器202g包括被配置为与照相机202a、LiDAR传感器202b、雷达传感器202c、麦克风202d、通信装置202e、自主运载工具计算202f和/或DBW系统202h进行通信的至少一个装置。在一些示例中，安全控制器202g包括被配置为生成和/或传输控制信号以操作运载工具200的一个或多于一个装置(例如，动力总成控制系统204、转向控制系统206和/或制动系统208等)的一个或多于一个控制器(电气控制器和/或机电控制器等)。在一些实施例中，安全控制器202g被配置为生成优先于(例如，覆盖)由自主运载工具计算202f生成和/或传输的控制信号的控制信号。
DBW系统202h包括被配置为与通信装置202e和/或自主运载工具计算202f进行通信的至少一个装置。在一些示例中，DBW系统202h包括被配置为生成和/或传输控制信号以操作运载工具200的一个或多于一个装置(例如，动力总成控制系统204、转向控制系统206和/或制动系统208等)的一个或多于一个控制器(例如，电气控制器和/或机电控制器等)。附加地或可替代地，DBW系统202h的一个或多于一个控制器被配置为生成和/或传输控制信号以操作运载工具200的至少一个不同的装置(例如，转向信号灯、前灯、门锁和/或挡风玻璃雨刮器等)。
动力总成控制系统204包括被配置为与DBW系统202h进行通信的至少一个装置。在一些示例中，动力总成控制系统204包括至少一个控制器和/或致动器等。在一些实施例中，动力总成控制系统204从DBW系统202h接收控制信号，并且动力总成控制系统204使运载工具200开始向前移动、停止向前移动、开始向后移动、停止向后移动、沿某方向加速、沿某方向减速、进行左转和/或进行右转等。在示例中，动力总成控制系统204使提供至运载工具的马达的能量(例如，燃料和/或电力等)增加、保持相同或减少，由此使运载工具200的至少一个轮旋转或不旋转。
转向控制系统206包括被配置为使运载工具200的一个或多于一个轮旋转的至少一个装置。在一些示例中，转向控制系统206包括至少一个控制器和/或致动器等。在一些实施例中，转向控制系统206使运载工具200的两个前轮和/或两个后轮向左或向右旋转，以使运载工具200左转或右转。
制动系统208包括被配置为使一个或多于一个制动器致动以使运载工具200减速和/或保持静止的至少一个装置。在一些示例中，制动系统208包括被配置为使与运载工具200的一个或多于一个轮相关联的一个或多于一个卡钳在运载工具200的相应转子上闭合的至少一个控制器和/或致动器。附加地或可替代地，在一些示例中，制动系统208包括自动紧急制动(AEB)系统和/或再生制动系统等。
在一些实施例中，运载工具200包括用于测量或推断运载工具200的状态或条件的性质的至少一个平台传感器(未明确例示出)。在一些示例中，运载工具200包括诸如全球定位系统(GPS)接收器、惯性测量单元(IMU)、轮速率传感器、轮制动压力传感器、轮转矩传感器、引擎转矩传感器和/或转向角传感器等的平台传感器。
现在参考图3，例示装置300的示意图。如所例示的，装置300包括处理器304、存储器306、存储组件308、输入接口310、输出接口312、通信接口314和总线302。在一些实施例中，装置300对应于：运载工具102的至少一个装置(例如，运载工具102的系统的至少一个装置)；运载工具200的至少一个装置(例如，运载工具200的系统的至少一个装置)；以及/或者网络112的一个或多于一个装置(例如，网络112的系统的一个或多于一个装置)。在一些实施例中，运载工具102的一个或多于一个装置(例如，运载工具102的系统的一个或多于一个装置)、运载工具200的一个或多于一个装置(例如，运载工具200的系统的一个或多于一个装置)、以及/或者网络112的一个或多于一个装置(例如，网络112的系统的一个或多于一个装置)包括至少一个装置300和/或装置300的至少一个组件。如图3所示，装置300包括总线302、处理器304、存储器306、存储组件308、输入接口310、输出接口312和通信接口314。
总线302包括许可装置300的组件之间的通信的组件。在一些实施例中，处理器304以硬件、软件、或者硬件和软件的组合来实现。在一些示例中，处理器304包括处理器(例如，中央处理单元(CPU)、图形处理单元(GPU)和/或加速处理单元(APU)等)、麦克风、数字信号处理器(DSP)、以及/或者可被编程为进行至少一个功能的任意处理组件(例如，现场可编程门阵列(FPGA)和/或专用集成电路(ASIC)等)。存储器306包括随机存取存储器(RAM)、只读存储器(ROM)、以及/或者存储供处理器304使用的数据和/或指令的另一类型的动态和/或静态存储装置(例如，闪速存储器、磁存储器和/或光存储器等)。
存储组件308存储与装置300的操作和使用相关的数据和/或软件。在一些示例中，存储组件308包括硬盘(例如，磁盘、光盘、磁光盘和/或固态盘等)、紧凑盘(CD)、数字多功能盘(DVD)、软盘、盒式磁带、磁带、CD-ROM、RAM、PROM、EPROM、FLASH-EPROM、NV-RAM和/或另一类型的计算机可读介质、以及相应的驱动器。
输入接口310包括许可装置300诸如经由用户输入(例如，触摸屏显示器、键盘、小键盘、鼠标、按钮、开关、麦克风和/或照相机等)等接收信息的组件。附加地或可替代地，在一些实施例中，输入接口310包括用于感测信息的传感器(例如，全球定位系统(GPS)接收器、加速度计、陀螺仪和/或致动器等)。输出接口312包括用于提供来自装置300的输出信息的组件(例如，显示器、扬声器和/或一个或多于一个发光二极管(LED)等)。
在一些实施例中，通信接口314包括许可装置300与其它装置经由有线连接、无线连接、或者有线连接和无线连接的组合进行通信的类似收发器那样的组件(例如，收发器和/或单独的接收器和发射器等)。在一些示例中，通信接口314许可装置300从另一装置接收信息和/或向另一装置提供信息。在一些示例中，通信接口314包括以太网接口、光接口、同轴接口、红外接口、射频(RF)接口、通用串行总线(USB)接口、
Figure BDA0003502000950000151
接口和/或蜂窝网络接口等。
在一些实施例中，装置300进行本文所述的一个或多于一个处理。装置300基于处理器304执行由诸如存储器306和/或存储组件308等的计算机可读介质所存储的软件指令来进行这些处理。计算机可读介质(例如，非暂时性计算机可读介质)在本文被限定为非暂时性存储器装置。非暂时性存储器装置包括位于单个物理存储装置内的存储空间或跨多个物理存储装置分布的存储空间。
在一些实施例中，经由通信接口314从另一计算机可读介质或从另一装置将软件指令读取到存储器306和/或存储组件308中。存储器306和/或存储组件308中所存储的软件指令在执行时，使处理器304进行本文所述的一个或多于一个处理。附加地或可替代地，代替软件指令或与软件指令组合使用硬连线电路以进行本文所述的一个或多于一个处理。因此，除非另外明确说明，否则本文所描述的实施例不限于硬件电路和软件的任何特定组合。
存储器306和/或存储组件308包括数据存储部或至少一个数据结构(例如，数据库等)。装置300能够从存储器306或存储组件308中的数据存储部或至少一个数据结构接收信息，将信息存储在该数据存储部或至少一个数据结构中，将信息通信至该数据存储部或至少一个数据结构，或者搜索该数据存储部或至少一个数据结构中所存储的信息。在一些示例中，该信息包括网络数据、输入数据、输出数据或其任何组合。
在一些实施例中，装置300被配置为执行存储在存储器306和/或另一装置(例如，与装置300相同或类似的另一装置)的存储器中的软件指令。如本文所使用的，术语“模块”是指存储器306和/或另一装置的存储器中所存储的至少一个指令，该至少一个指令在由处理器304和/或另一装置(例如，与装置300相同或类似的另一装置)的处理器执行时，使装置300(例如，装置300的至少一个组件)进行本文所述的一个或多于一个处理。在一些实施例中，模块以软件、固件和/或硬件等来实现。
提供图3所例示的组件的数量和布置作为示例。在一些实施例中，与图3所例示的组件相比，装置300可以包括附加的组件、更少的组件、不同的组件或不同布置的组件。附加地或可替代地，装置300的一组组件(例如，一个或多于一个组件)可以进行被描述为由装置300的另一组件或另一组组件进行的一个或多于一个功能。
现在参考图4，例示出自主运载工具计算400(有时称为“AV堆栈”)的示例框图。如所例示的，自主运载工具计算400包括感知系统402(有时称为感知模块)、规划系统404(有时称为规划模块)、定位系统406(有时称为定位模块)、控制系统408(有时称为控制模块)和数据库410。在一些实施例中，感知系统402、规划系统404、定位系统406、控制系统408和数据库410包括在运载工具的自动导航系统(例如，运载工具200的自主运载工具计算202f)中和/或在该自动导航系统中实现。附加地或可替代地，在一些实施例中，感知系统402、规划系统404、定位系统406、控制系统408和数据库410包括在一个或多于一个独立系统(例如，与自主运载工具计算400相同或类似的一个或多于一个系统等)中。在一些示例中，感知系统402、规划系统404、定位系统406、控制系统408和数据库41包括在位于运载工具中的一个或多于一个独立系统以及/或者如本文所述的至少一个远程系统中。在一些实施例中，自主运载工具计算400中所包括的系统中的任意和/或全部以软件(例如，存储器中所存储的软件指令)、计算机硬件(例如，通过微处理器、微控制器、专用集成电路(ASIC)和/或现场可编程门阵列(FPGA)等)、或者计算机软件和计算机硬件的组合来实现。还将理解，在一些实施例中，自主运载工具计算400被配置为与远程系统(例如，与远程AV系统114相同或类似的自主运载工具系统、与队列管理系统116相同或类似的队列管理系统116、以及/或者与V2I系统118相同或类似的V2I系统等)进行通信。
在一些实施例中，感知系统402接收与环境中的至少一个物理对象相关联的数据(例如，感知系统402检测至少一个物理对象所使用的数据)，并对该至少一个物理对象进行分类。在一些示例中，感知系统402接收由至少一个照相机(例如，照相机202a)捕获到的图像数据，该图像与该至少一个照相机的视场内的一个或多于一个物理对象相关联(例如，表示该一个或多于一个物理对象)。在这样的示例中，感知系统402基于物理对象(例如，自行车、运载工具、交通标志和/或行人等)的一个或多于一个分组来对至少一个物理对象进行分类。在一些实施例中，基于感知系统402对物理对象进行分类，感知系统402将与物理对象的分类相关联的数据传输到规划系统404。
在一些实施例中，规划系统404接收与目的地相关联的数据，并且生成与运载工具(例如，运载工具102)可以朝向目的地行驶所沿着的至少一个路线(例如，路线106)相关联的数据。在一些实施例中，规划系统404定期地或连续地从感知系统402接收数据(例如，上述的与物理对象的分类相关联的数据)，并且规划系统404基于感知系统402所生成的数据来更新至少一个轨迹或生成至少一个不同轨迹。在一些实施例中，规划系统404从定位系统406接收与运载工具(例如，运载工具102)的更新位置相关联的数据，并且规划系统404基于定位系统406所生成的数据来更新至少一个轨迹或生成至少一个不同轨迹。
在一些实施例中，定位系统406接收与运载工具(例如，运载工具102)在区域中的地点相关联(例如，表示该地点)的数据。在一些示例中，定位系统406接收与至少一个LiDAR传感器(例如，LiDAR传感器202b)所生成的至少一个点云相关联的LiDAR数据。在某些示例中，定位系统406从多个LiDAR传感器接收与至少一个点云相关联的数据，并且定位系统406基于各个点云来生成组合点云。在这些示例中，定位系统406将该至少一个点云或组合点云与数据库410中所存储的区域的二维(2D)和/或三维(3D)地图进行比较。然后，基于定位系统406将至少一个点云或组合点云与地图进行比较，定位系统406确定运载工具在区域中的位置。在一些实施例中，地图包括运载工具的导航之前生成的该区域的组合点云。在一些实施例中，地图包括但不限于车行道几何性质的高精度地图、描述道路网连接性质的地图、描述车行道物理性质(诸如交通速率、交通流量、运载工具和自行车交通车道的数量、车道宽度、车道交通方向或车道标记的类型和地点、或者它们的组合等)的地图、以及描述道路特征(诸如人行横道、交通标志或各种类型的其它行驶信号灯等)的空间地点的地图。在一些实施例中，基于感知系统所接收到的数据来实时地生成地图。
在另一示例中，定位系统406接收由全球定位系统(GPS)接收器所生成的全球导航卫星系统(GNSS)数据。在一些示例中，定位系统406接收与运载工具在区域中的地点相关联的GNSS数据，并且定位系统406确定运载工具在区域中的纬度和经度。在这样的示例中，定位系统406基于运载工具的纬度和经度来确定运载工具在区域中的位置。在一些实施例中，定位系统406生成与运载工具的位置相关联的数据。在一些示例中，基于定位系统406确定运载工具的位置，定位系统406生成与运载工具的位置相关联的数据。在这样的示例中，与运载工具的位置相关联的数据包括与对应于运载工具的位置的一个或多于一个语义性质相关联的数据。
在一些实施例中，控制系统408从规划系统404接收与至少一个轨迹相关联的数据，并且控制系统408控制运载工具的操作。在一些示例中，控制系统408从规划系统404接收与至少一个轨迹相关联的数据，并且控制系统408通过生成并传输控制信号以使动力总成控制系统(例如，DBW系统202h和/或动力总成控制系统204等)、转向控制系统(例如，转向控制系统206)和/或制动系统(例如，制动系统208)进行操作，来控制运载工具的操作。在示例中，在轨迹包括左转的情况下，控制系统408传输控制信号以使转向控制系统206调整运载工具200的转向角，由此使运载工具200左转。附加地或可替代地，控制系统408生成并传输控制信号以使运载工具200的其它装置(例如，前灯、转向信号灯、门锁和/或挡风玻璃雨刮器等)改变状态。
在一些实施例中，感知系统402、规划系统404、定位系统406和/或控制系统408实现至少一个机器学习模型(例如，至少一个多层感知器(MLP)、至少一个卷积神经网络(CNN)、至少一个递归神经网络(RNN)、至少一个自动编码器和/或至少一个变换器等)。在一些示例中，感知系统402、规划系统404、定位系统406和/或控制系统408单独地或与上述系统中的一个或多于一个结合地实现至少一个机器学习模型。在一些示例中，感知系统402、规划系统404、定位系统406和/或控制系统408实现至少一个机器学习模型作为管道(例如，用于识别位于环境中的一个或多于一个对象的管道等)的一部分。
数据库410存储传输至感知系统402、规划系统404、定位系统406和/或控制系统408的、从其接收到的、以及/或者由其更新的数据。在一些示例中，数据库410包括用于存储与操作相关的数据和/或软件、并使用自主运载工具计算400的至少一个系统的存储组件(例如，与图3的存储组件308相同或类似的存储组件)。在一些实施例中，数据库410存储与至少一个区域的2D和/或3D地图相关联的数据。在一些示例中，数据库410存储与城市的一部分、多个城市的多个部分、多个城市、县、州和/或国家(State)(例如，国家)等的2D和/或3D地图相关联的数据。在这样的示例中，运载工具(例如，与运载工具102和/或运载工具200相同或类似的运载工具)可以沿着一个或多于一个可驾驶区(例如，单车道道路、多车道道路、高速公路、偏僻道路和/或越野道路等)驾驶，并且使至少一个LiDAR传感器(例如，与LiDAR传感器202b相同或类似的LiDAR传感器)生成与表示该至少一个LiDAR传感器的视场中所包括的对象的图像相关联的数据。
在一些实施例中，数据库410可以跨多个装置来实现。在一些示例中，数据库410包括在运载工具(例如，与运载工具102和/或运载工具200相同或类似的运载工具)、自主运载工具系统(例如，与远程AV系统114相同或类似的自主运载工具系统)、队列管理系统(例如，与图1的队列管理系统116相同或类似的队列管理系统)中和/或V2I系统(例如，与图1的V2I系统118相同或类似的V2I系统)等中。
现在参考图5，例示用于预测假定智能体的运动的系统500的示例框图。系统500响应于开放的遮挡而对运载工具的操作、运动或行为施加约束。在一些情况下，这些约束会引起更保守和安全的操作或机动动作。通常，对运载工具的约束是对运载工具的操作、运动或行为的限制或修改。在实施例中，本技术响应于假定智能体而向运载工具应用约束。通常，假定智能体是尽管未观察到(例如，利用图2的传感器202未检测到)但假设存在的智能体。如果运载工具将会观察到在靠近假定智能体的遮挡外出现的智能体，则这将基本上证实了存在被遮挡挡住的看不见智能体这一假定。相反，观察到假定智能体所位于的先前被遮挡区域未被占用，这使得存在被遮挡阻挡的看不见智能体这一假定无效，其中在沿着规划轨迹前进之后可新观察到被遮挡区域。
被遮挡区域是运载工具不可观察到的区域(例如，被停放的运载工具挡住传感器视野的区域、在与系统500相关联的传感器的传感器范围外的区域、等等)。在一些实施例中，运载工具是自主运载工具。在这样的实施例中，自主运载工具与图2所示的运载工具200类似或相同。在一些实施例中，系统500包括感知系统502、规划系统504、分割掩模系统530、智能体轨迹系统540和智能体生成系统550。在一些实施例中，规划系统504与图4的规划系统404的一部分相同或类似。在一些实施例中，规划系统504是独立的外部或备用规划系统(例如，与控制系统408相同或类似的控制系统中所包括的规划系统等)。类似地，在一些实施例中，感知系统502与图4的感知系统402的一部分相同或类似。在一些实施例中，感知系统502是独立的外部或备用感知系统(例如，与控制系统408相同或类似的控制系统中所包括的规划系统等)。
在一些实施例中，系统500经由图3所示的处理器304来执行。在一些实施例中，系统500使用云计算环境中的远程处理器。在一些实施例中，感知系统502、规划系统504、分割掩模系统530、智能体轨迹系统540和智能体生成系统550可以与图3的装置300相同或类似(例如，可以包括与装置300的一个或多于一个组件相同或类似的一个或多于一个组件)。
感知系统502生成感知传感器数据512。在一些实施例中，感知系统502包括图2所示的照相机202a、LiDAR传感器202b和/或雷达传感器202c。感知系统502可以包括诸如声纳和/或触觉装置等的附加传感器。在一些实施例中，感知传感器数据512包括照相机数据、LiDAR数据或雷达数据。更一般地，感知传感器数据512是表示运载工具的周围环境的数据。将感知传感器数据512作为输入提供到分割掩模系统530。分割掩模系统530基于感知传感器数据512来生成指示至少一个被遮挡区域532(如果有的话)的位置的分割掩模。分割掩模是对关注区进行标记的图像。例如，在分割掩模中，与类似对象相对应的像素被指派相同的标签。在这样的示例中，在分割掩模中，将与运载工具相对应的像素标记为1，并且将与道路相对应的像素标记为2。可以在以下的论述中找到一些示例分割掩模。在一些实施例中，分割掩模系统530是感知系统502或定位系统406的一部分。
在一些实施例中，分割掩模系统530通过将最大传感器范围与所接收到的感知传感器数据512进行比较来生成分割掩模。在这样的实施例中，分割掩模可被表示为运载工具的周围环境的鸟瞰图。在一些实施例中，将分割掩模中的与最大传感器范围内的区域相对应但未被传感器数据点填充的单元格(例如，像素和/或像素组等)标记为被遮挡区域。在这样的实施例中，分割掩模是2D二值图像，其示出被遮挡区域532中的像素作为1并且示出非被遮挡区域中的像素作为0。
在一些实施例中，指示被遮挡区域532的分割掩模包括与被遮挡区域532有关的地点信息，诸如被遮挡区域532是公路(on-road)(例如，可驾驶道路等)还是非公路(off-road)(例如，人行道、未铺设区域、空旷田野等)等。在这样的实施例中，分割掩模是2D三值图像，其将公路的被遮挡区域532中的像素示出为1，将非公路的被遮挡区域532中的像素示出为2，并且将未被遮挡区域中的像素未出为0。可替代地或附加地，在这些实施例中，与公路的被遮挡区域532的分割掩模中的车道中心(例如，行驶车道的中心)相对应的像素被赋予不同的标签(例如，4)。
在一些实施例中，分割掩模系统530将平滑算法应用于分割掩模。平滑算法使得被遮挡区域532能够具有更平滑和更真实的边界。在一些实施例中，分割掩模系统530可以使用平滑算法来更新分割掩模的像素。
智能体轨迹系统540基于运载工具的初始轨迹522和/或在分割掩模上指示的(一个或多于一个)被遮挡区域532来针对不同类型的智能体生成智能体轨迹542。初始轨迹522是从规划系统504接收到的并且是运载工具要跟随的参考轨迹。通常，轨迹是指带时间戳的姿态的序列。带时间戳的姿态的序列包括除了传送空间地点之外还传送速度轮廓。与轨迹相关联的空间地点用于在智能体轨迹生成系统540处针对一个或多于一个假定智能体生成轨迹。在约束生成系统560处，评估与初始轨迹相关联的时间信息以确定对运载工具的约束，并且根据初始轨迹522修改最终执行的轨迹以避免与智能体轨迹发生碰撞。
在示例中，初始轨迹522是基于在周围环境中观察到的数据和预定目的地所生成的预定轨迹。例如，生成作为行人的假定智能体的轨迹，作为与初始轨迹522垂直并指向初始轨迹522的恒定航向路径。换句话说，假设假定的行人从被遮挡区域的最近部分通过可能的最短路径接近初始轨迹。被遮挡区域的最近部分是足够大以遮挡行人的最近部分。在实施例中，智能体轨迹系统针对每个遮挡产生一个假定行人轨迹。例如，在大量停放的小汽车遮挡区域的情况下，假定一个行人(例如，假定智能体)沿着运载工具正在导航的轨迹从各停放的小汽车的后方出现。
在一些实施例中，所生成的智能体轨迹542是开放遮挡轨迹。开放遮挡轨迹是包含至少一对遮挡入口和遮挡出口的假定智能体的轨迹。换句话说，开放遮挡轨迹包含被遮挡区域532中的区段、以及位于被遮挡区域532的边界的两个端部(例如，遮挡入口和遮挡出口)。遮挡入口是假定智能体进入被遮挡区域532的点，并且遮挡出口是假定智能体从被遮挡区域532出现并再次进入运载工具可观察到的区域的点。在一些实施例中，遮挡出口比遮挡入口离运载工具更近。
在一些实施例中，智能体轨迹542至少部分地基于智能体类型。如以上论述的，分割掩模包括与被遮挡区域532有关的地点信息，诸如被遮挡区域532是公路(例如，可驾驶道路等)还是非公路(例如，人行道、未铺设区域、空旷田野等)等。在被遮挡区域532是公路并且足够大以适合沿着车道的中心定位的标准大小小汽车时，则针对作为假定智能体的运载工具生成轨迹。在被遮挡区域532是公路或非公路且足够大以适合标准大小行人时，则针对作为假定智能体的行人生成轨迹。在示例中，在确定用于智能体轨迹的生成的智能体类型时考虑其他因素。例如，所生成的智能体轨迹可以是基于已知行人乱穿马路交通的非公路被遮挡区域中的、或者人行横道附近的、作为假定智能体的行人。以下在图6A和图6B以及图7中论述与针对不同类型的智能体生成智能体轨迹542有关的详情。
智能体生成系统550采用智能体轨迹542作为输入，并且生成智能体552的分布。在一些实施例中，智能体生成系统550沿着智能体轨迹542以预先确定的分辨率(例如，相隔5米)确定离散化的智能体生成点。智能体生成点是生成假定智能体的智能体轨迹上的离散化地点。例如，针对各智能体生成点，智能体生成系统550生成具有不同运动轮廓(例如，具有或不具有-0.5ms-2、0、0.5ms-2的加速度的0ms-1、0.5ms-1、...、2ms-1的速度)的智能体552(例如，模拟智能体)的分布。在示例中，智能体的正速度指示智能体正朝向运载工具移动。可以基于智能体的分布来生成不同的运动轮廓。例如，基于智能体的高斯分布来生成不同的运动轮廓。在一些实施例中，远离运载工具而移动的智能体被忽略(例如，由智能体生成系统550移除或消解)以节省计算资源。
在一些实施例中，使用各智能体生成点来生成智能体552一次。例如，在满足从智能体生成点到运载工具的阈值距离时，使用智能体生成点来生成智能体552。另外，在满足从被遮挡区域的最近点到运载工具的阈值距离时，使用智能体生成点来生成智能体552。在实施例中，阈值距离是预先确定的，诸如500米等。在实施例中，(例如，使用逻辑回归模型)基于感知系统502的范围计算阈值距离。在一些实施例中，重复地使用一些智能体生成点来生成再次出现的智能体552。以下在图6A和图6B以及图7中论述与在一些示例情景中生成智能体有关的详情。
将智能体552作为输入提供到约束生成系统560。在示例中，朝向运载工具或运载工具的规划路径行驶的假定智能体与对运载工具的行为的更严格约束相关联。在示例中，假设诸如行人等的假定智能体的行驶方向与AV路径垂直。通常，这表示假定智能体可能拦截AV的路径并导致碰撞的最坏情景。对运载工具行为的更严格约束包括在观察被遮挡区域期间对运载工具行为的限制。在示例中，约束生成系统560基于约束的在防止与假定智能体发生碰撞方面的可能性来生成约束。应用约束以使用启用运载工具操作的一个或多于一个系统来管理运载工具功能。例如，一个或多于一个约束是由控制系统或规划系统获得的并被应用于运载工具功能。
控制系统可以向速度、转向、油门和制动等应用限制。在假定智能体朝向运载工具行驶的示例中，控制系统可以向命令速度应用限制以避免假定智能体与运载工具发生碰撞的情景。相反，远离运载工具或运载工具的规划路径行驶的智能体与运载工具的规划路径相交或干扰的可能性更低，结果对运载工具的行为施加不太严格的约束。在假定智能体远离运载工具行驶的示例中，在假定智能体正远离运载工具的路径时，对运载工具行为的限制是不必要的。约束的示例是速率的增加或降低(包括到达完全停止)、以及可能导致路径改变的横向间隙阈值等。以下可以在图6A和图7中找到一些示例开放遮挡轨迹。
在示例中，规划系统可以至少部分地基于来自约束生成系统560的约束来向初始轨迹应用限制。在实施例中，将智能体552提供到规划系统(诸如规划系统504或图4的规划系统404等)。在一些实施例中，智能体552引入如由约束生成系统560确定的对运载工具行为的约束，并且规划系统评估智能体对规划路径的影响。规划系统更新运载工具的路径或轨迹，使得运载工具将进行机动动作以避免与智能体发生碰撞。在一些实施例中，通过控制系统408使用更新后的路径或轨迹来控制运载工具。
现在参考图6A，例示用于生成并更新假定智能体的示例情景600。在示例情景600中，假定智能体是模拟行人。在实施例中，按离散时间进行更新，其中可以在每次感知更新时(更新时间步长等同于连续观察之间的延迟)或不太频繁地更新假定智能体。以下论述提出两个时间步长即t和t+1。时间t可以表示先前时间步长，而时间t+1表示当前时间步长。然而，时间t和时间t+1可以表示任何时间步长和紧接之后的时间步长(例如，当前时间步长和将来时间步长)。
在时间t，运载工具610具有规划运载工具路径612a。在一些实施例中，规划运载工具路径612a是在先前时间生成的。在一些实施例中，运载工具610是包含系统500的运载工具200，并且规划运载工具路径612a是示例初始轨迹522。遮挡区620a被两辆停放的运载工具630a和630b挡住而不能被运载工具610观察到。遮挡区620a是示例被遮挡区域532。在一些实施例中，遮挡区620a是成熟(mature)遮挡区。成熟遮挡区是运载工具在足够长的持续时间内不可观察到的区，并且极有可能包含看不见的对象(例如，行人和/或骑自行车者等)。成熟遮挡区的示例包括被公共汽车、障碍物和/或电车等遮挡的区。
运载工具610通过运载工具610的分割掩模系统530所生成的分割掩模上的指示来识别遮挡区620a。在一些实施例中，针对分割掩模上的各单元格维持遮挡的成熟度。在一些实施例中，在分割掩模上指示的遮挡区620a不包括可驾驶道路的一部分。例如，成熟遮挡是被遮挡了大于阈值持续时间的遮挡。
在示例中，根据统计模型，遮挡区从可观察、过渡到新鲜(fresh)遮挡、到成熟遮挡、并且返回过渡到可观察遮挡。统计模型描述区被行人、自行车或运载工具占用的概率。在实施例中，统计模型是泊松过程。泊松过程是一系列离散事件的模型，其中事件之间的平均时间是已知的，但事件的确切定时是随机的。在图6A的示例中，假设在晴天的工作日的早晨，平均每10秒就有行人穿过街道。然后，一个或多于一个行人所占用的区域的概率是：
P(T<t)＝1-e-λ*t
其中：
Figure BDA0003502000950000261
图6B例示针对三个不同λ值的概率。对于较大的λ值，概率以更快的速率归于1。例如，在概率大于例如0.7(70％)时，被遮挡区域是成熟的。在图6B的示例中，这些λ值所需的过渡时间分别为2.4s、3.2s和4.8s。
再次参考图6A，运载工具610的智能体轨迹系统540基于遮挡区620a来针对假定智能体生成轨迹640a和650a。在该示例中，模拟智能体是行人，并且假定智能体轨迹640a和650a是开放遮挡轨迹。轨迹640a和650a从遮挡区620a内朝向规划运载工具路径612a延伸。轨迹640a和650a的方向指示沿着轨迹640a和650a行驶的假定智能体的速度和加速度的正方向。在一些实施例中，轨迹640a和650a与规划运载工具路径612a垂直以表示类似行人的假定智能体朝向运载工具610行驶的最短轨迹。在一些实施例中，轨迹640a和650a这两者在运载工具610可观察到的区域中都具有遮挡入口和遮挡出口。
考虑到轨迹640a和650a，运载工具610的智能体生成系统550确定沿着轨迹640a和650a的离散智能体生成点。沿着轨迹640a的示例智能体生成点是点642a，并且沿着轨迹650a的另一示例智能体生成点是点652a。由于点642a和点652a这两者在遮挡区620a中，因此在点642a或点652a处生成的智能体是假定智能体。
当运载工具610在相对于智能体生成点(例如，点642a或点652a)的阈值距离内时，智能体生成系统550使用该阈值距离内的点来生成具有变化的运动轮廓的智能体的分布。例如，在时间t，点642a在相对于运载工具的阈值距离内，但点652a不在该阈值距离内，智能体生成系统550使用点642a而不是点652a来生成智能体。在一些实施例中，用于生成智能体的变化的运动轮廓是来自分布函数(例如，高斯分布)。所生成的智能体将根据相应的运动轮廓传播到后面的时间(例如，时间t+1)。所生成的智能体被提供到运载工具610的规划系统404以更新规划运载工具路径612a，使得运载工具610将避免在将来时间(例如，在时间t+1)与智能体发生碰撞。
在一些实施例中，运载工具610跟随规划运载工具路径612a，并且在时间t+1具有当前状态(例如，时间t+1处的新姿态、新位置或新朝向)。一些先前遮挡空间变得可被运载工具610观察到，而一些先前可观察区域变得被遮挡。在示例中，遮挡区620b是保持被遮挡的先前遮挡空间，并且是成熟遮挡区。在示例中，遮挡区620c在时间t可被运载工具观察到，但在时间t+1不可被运载工具观察到，并且是最近被遮挡的。遮挡区620c被称为新鲜遮挡区。新鲜遮挡区表示运载工具610最近观察到的区域，并且包含看不见的对象的可能性极小。在一些实施例中，使用阈值持续时间来区分新鲜遮挡区和成熟遮挡区。为了简单起见，在以下的论述中，阈值持续时间是一个时间步长。例如，遮挡区620c(在时间t+1处为新鲜遮挡区)在下一时间步长(例如，时间t+2)处将变为成熟遮挡区。
在时间t+1，运载工具610的规划系统404基于时间t处的信息(其包括在时间t处生成的智能体)来生成新规划运载工具路径612b。在一些实施例中，运载工具跟随该新规划运载工具路径612b，直到下一时间步长(例如，时间t+2)为止。与更新规划运载工具路径612a类似，可以基于后面的信息来更新新规划运载工具路径612b。在一些实施例中，新规划运载工具路径612b是运载工具610的当前状态的一部分。
考虑到时间t+1处的遮挡区620b和620c，运载工具610的智能体轨迹系统540针对类似行人的假定智能体生成新开放遮挡轨迹。两个示例新遮挡轨迹640b和650b与新规划运载工具路径612b垂直。在一些实施例中，通过经由基于运载工具610的当前状态计算轨迹640a和650a的新位置以更新轨迹640a和650a来生成新遮挡轨迹640b和650b。
运载工具610的智能体生成系统550采用新遮挡轨迹640b和650b并且确定数个新的离散智能体生成点。两个示例新智能体生成点是沿着轨迹640b的点642b和沿着轨迹650b的点652b。在一些实施例中，新智能体生成点仅在成熟遮挡区620b中，而不在新鲜遮挡区620c中，因为新鲜遮挡区620c已被运载工具610观察为最近未被占用，并且不应产生假定智能体。
在一些实施例中，使用运载工具610的当前状态来确定新智能体生成点642b和652b是否与智能体生成点642a和652a相对应。在示例数据关联处理中，在智能体生成系统处使用运载工具610的当前状态，以基于运载工具610和点642a的时间t处的相对位置来计算智能体生成点642a的更新位置。如果智能体生成点642a的更新位置在新智能体生成点642b的小阈值距离内，则点642a和642b彼此对应。
为了简单起见，以下的论述假设点642b与点642a相对应并且点652b与点652a相对应。在时间t+1，假设运载工具610满足相对于点642b和652b的阈值距离。在一些实施例中，由于在时间t处使用了点642a来用于生成智能体，因此在时间t+1处不使用点642b来生成智能体。在这种情况下，智能体生成系统550仅使用点652b来生成跟随轨迹650b的智能体。这不允许智能体的重复集合，并且确保了智能体生成处理关于运载工具610的计算资源是高效的。在一些实施例中，智能体生成点之间的对应关系(诸如点642a和点642b之间的对应关系等)确保了即使在不同的时间(例如，按不同的时间步长)，也仅使用各智能体生成点一次来生成智能体。
在一些实施例中，智能体生成系统550确定遮挡区(例如，遮挡区620a或者遮挡区620b和620c的联合)的边界附近的一些智能体生成点以生成再次出现的智能体。再次出现的智能体表示不专心的类似行人的智能体(例如，不专心的行人、在道路附近滑冰的滑冰者或转圈的骑自行车者)。各再次出现智能体生成点也可用于生成再次出现的智能体的分布。再次出现智能体生成点可用于使用上述示例数据关联处理来建立对应关系。
在时间t+1，智能体生成器更新在时间t生成的智能体的位置和速度。在时间t生成的跟随其运动轮廓的智能体在时间t+1具有更新位置和更新速度。在一些实施例中，如果假定智能体停留在运载工具610的可观察区域中并持续足够的时间量(例如，0.3秒)，则经由智能体生成系统550删除或消解假定智能体来将该智能体从将来更新中移除。在一些实施例中，时间量是根据多个时间步长(例如，接下来的5个时间步长)定义的。该延迟可以减轻遮挡边界周围的感知的不确定性。更快的假定智能体将更早进入可视区，并且通常会施加更大的约束，但这些假定智能体也将更早终止。在被遮挡区域内存在更长时间的智能体表示滞后效应或略慢的类似行人的智能体(例如，骑自行车者、滑冰者和/或行人)。智能体的删除或消解释放了运载工具610的存储空间和计算资源。
在一些实施例中，如果智能体具有负速度并持续足够的时间量，则将具有负速度的智能体从将来更新中移除。具有负速度的智能体表示远离运载工具610的路径而移动的行人，因此对运载工具610的行为施加更不严格的约束。将这些智能体从将来更新中移除也释放了运载工具610的存储空间和计算资源。
现在参考图7，例示用于针对作为模拟运载工具的假定智能体确定智能体生成点的示例情景700。在一些实施例中，生成并更新作为模拟运载工具的假定智能体与上述的生成并更新类似行人的假定智能体相同或类似。在一些实施例中，处理700由运载工具710进行。在一些实施例中，运载工具710是包含系统500的运载工具200。在一些实施例中，运载工具710与运载工具610相同或类似。
在实施例中，运载工具710的自主系统702(其与图2的自主系统202相同或类似)通过运载工具710的分割掩模系统530所生成的分割掩模上的指示来识别被另一公路运载工具740挡住的遮挡区720。在一些实施例中，在分割掩模上指示的遮挡区720包括可驾驶道路的一部分。可驾驶道路包括车道中心730。在一些实施例中，车道中心730是可驾驶道路上所包括的行驶车道的中心。
运载工具710的系统702在遮挡区720中识别车道中心730。该识别是基于分割掩模上的指示，或者基于使用感知传感器数据512重建的环境的内插或外插，或这两者。
运载工具710的智能体轨迹系统540基于车道中心730来针对作为模拟运载工具的假定智能体生成新的开放遮挡轨迹。示例开放遮挡轨迹沿着车道中心730。在一些实施例中，不论行驶方向如何，开放遮挡轨迹都朝向运载工具710延伸。在这样的实施例中，类似运载工具的智能体可以表示具有异常行为(例如，逆行和/或倒车等)的运载工具。
运载工具710的智能体生成系统550采用新遮挡轨迹并且确定沿着开放遮挡轨迹的离散智能体生成点。作为模拟运载工具的假定智能体的示例智能体生成点是沿着车道中心730的点732。在一些实施例中，智能体生成系统550确定遮挡区720的可驾驶道路路段的边界附近的一些智能体生成点，以生成重复出现的模拟运载工具作为假定智能体。
现在参考图8，例示用于预测假定智能体的运动的示例处理800的流程图。在一些实施例中，针对处理800所述的步骤中的一个或多于一个步骤由运载工具610和/或运载工具710的处理器304(例如，完全地和/或部分地等)进行。附加地或可替代地，在一些实施例中，针对处理800所述的一个或多于一个步骤由与处理器304(诸如云计算环境中的远程处理器等)分开或者包括处理器304的另一装置或装置组(例如，完全地和/或部分地等)进行。
继续参考图8，接收指示运载工具周围的环境的传感器数据(框810)。例如，指示运载工具周围的环境的传感器数据可以由运载工具的系统(例如，与运载工具610和/或运载工具710相同或类似的运载工具的系统)接收。在一些实施例中，传感器数据是从图5所示的感知系统502生成的感知传感器数据512。在一些实施例中，运载工具是图6A所示的运载工具610。在一些实施例中，运载工具是图7所示的运载工具710。
继续参考图8，生成指示至少一个被遮挡区域的分割掩模(框820)。在一些实施例中，分割掩模是由图5所示的分割掩模系统530生成的。在一些实施例中，至少一个被遮挡区域是图5所示的被遮挡区域532。在一些实施例中，基于运载工具的当前状态来更新在来自先前时间的分割掩模上指示的至少一个被遮挡区域。在这样的实施例中，更新后的至少一个被遮挡区域是遮挡区620b-c至少之一。在一些实施例中，至少一个再次出现智能体生成点被确定为在至少一个被遮挡区域的边界附近(例如，在该边界内)。
继续参考图8，生成分割掩模上的至少一个被遮挡区域中的至少一个假定智能体轨迹(框830)。在一些实施例中，至少一个假定智能体轨迹是由图5所示的智能体轨迹系统540生成的。在一些实施例中，至少一个假定智能体轨迹是开放遮挡轨迹。在一些实施例中，至少一个假定智能体轨迹是基于或垂直于运载工具的规划路径，诸如开放的遮挡类似行人的假定智能体轨迹640a和650a等。在一些实施例中，至少一个假定智能体轨迹是基于或沿着行驶车道的中心，诸如沿着车道中心730的开放的遮挡类似运载工具的假定智能体轨迹等。在一些实施例中，基于更新运载工具的至少一个被遮挡区域和规划路径来更新至少一个假定智能体轨迹。在这样的实施例中，更新后的至少一个假定智能体轨迹是开放的遮挡类似行人的假定智能体轨迹640b和650b其中之一。
继续参考图8，确定沿着至少一个智能体轨迹的至少一个智能体生成点(框840)。在一些实施例中，至少一个智能体生成点是由图5所示的智能体生成系统550生成的。在一些实施例中，基于更新后的至少一个智能体轨迹来确定至少一个更新智能体生成点。在这样的实施例中，至少一个更新智能体生成点是点642b和点652b其中之一。在一些实施例中，确定为至少一个更新智能体生成点不与先前使用的智能体生成点相对应。在这样的实施例中，点642b与先前使用的智能体生成点642a相对应，并且不再使用。
继续参考图8，确定是否满足从至少一个智能体生成点到运载工具的阈值距离(框850)。在一些实施例中，从至少一个智能体生成点到运载工具的阈值距离是预先确定的。在一些实施例中，基于运载工具上所安装的传感器的感测范围来计算从至少一个智能体生成点到运载工具的阈值距离。
继续参考图8，基于确定为满足预定义的阈值距离，基于至少一个智能体生成点来生成与至少一个运动轮廓相关联的至少一个智能体(框860)。在一些实施例中，至少一个智能体是来自智能体的分布。在一些实施例中，所生成的智能体是图5所示的智能体552。在一些实施例中，至少一个智能体生成点是图6A、图6B和图7所示的智能体生成点642a-b、652a-b和732其中之一。在一些实施例中，基于确定至少一个再次出现智能体生成点来生成与至少一个运动轮廓相关联的至少一个再次出现的智能体。在一些实施例中，基于所生成的智能体的运动轮廓来更新其位置和速度。在这样的实施例中，将从将来更新中移除相对于预定阈值进入运载工具在足够的时间量内可观察到的区域的智能体。
继续参考图8，规划运载工具的路径以应对至少一个智能体(框870)。在一些实施例中，规划系统404规划运载工具的路径以避免与至少一个智能体发生碰撞。在一些实施例中，所规划的路径是规划运载工具路径612a-b其中之一。
继续参考图8，根据规划路径来控制运载工具(框880)。在一些实施例中，运载工具由控制系统408控制。
在先前描述中，已经参考许多具体细节描述了本公开的方面和实施例，这些具体细节可因实现而不同。因此，说明书和附图应被视为说明性的，而非限制性意义的。本发明范围的唯一且排他的指示、以及申请人期望是本发明范围的内容是以发布权利要求书的具体形式从本申请发布的权利要求书的字面和等同范围，包括任何后续修正。本文中明确阐述的用于被包括在此类权利要求中的术语的任何定义应当以此类术语如在权利要求书中所使用的意义为准。另外，当在先前的说明书或所附权利要求书使用术语“还包括”时，该短语的下文可以是附加的步骤或实体、或先前所述的步骤或实体的子步骤/子实体。

Claims (13)

1.一种用于运载工具的方法，包括：
使用至少一个处理器，接收指示所述运载工具周围的环境的传感器数据；
使用所述至少一个处理器，生成指示至少一个被遮挡区域的分割掩模；
使用所述至少一个处理器，基于所述至少一个被遮挡区域来生成至少一个假定智能体轨迹；
使用所述至少一个处理器，基于至少一个智能体轨迹来确定至少一个智能体生成点；
使用所述至少一个处理器，确定是否满足从所述至少一个智能体生成点到所述运载工具的阈值距离；
使用所述至少一个处理器，基于确定为满足预定义的阈值距离，基于所述至少一个智能体生成点来生成与至少一个运动轮廓相关联的至少一个智能体；
使用所述至少一个处理器，基于生成所述至少一个智能体来规划所述运载工具的路径；以及
使用所述至少一个处理器，根据所规划的路径来控制所述运载工具。
2.根据权利要求1所述的方法，还包括：
基于所述运载工具的当前状态，从先前时间更新在所述分割掩模上指示的至少一个被遮挡区域；
基于所述至少一个被遮挡区域的更新以及所述运载工具的初始轨迹来更新所述至少一个智能体轨迹；
基于更新后的至少一个智能体轨迹来确定至少一个更新智能体生成点；以及
确定为所述至少一个更新智能体生成点不与先前使用的智能体生成点相对应。
3.根据权利要求1或2所述的方法，还包括：
确定所述至少一个被遮挡区域的边界附近的至少一个再次出现智能体生成点；以及
基于确定所述至少一个再次出现智能体生成点来生成与至少一个运动轮廓相关联的至少一个再次出现的智能体。
4.根据权利要求1至3中任一项所述的方法，还包括：
基于所生成的智能体的运动轮廓来更新所生成的智能体的位置和速度。
5.根据权利要求4所述的方法，还包括：
确定为智能体进入由所述运载工具在足够的时间量内能够观察到的区域；以及
基于确定为所述智能体进入由所述运载工具在足够的时间量内能够观察到的区域，将所述智能体从将来更新中移除。
6.根据权利要求1至5中任一项所述的方法，其中，基于所述运载工具上所安装的传感器的感测范围来计算所述阈值距离。
7.根据权利要求1至6中任一项所述的方法，其中，所述至少一个智能体轨迹是开放遮挡轨迹。
8.根据权利要求1至7中任一项所述的方法，其中，基于所述运载工具的初始轨迹来生成所述至少一个智能体轨迹。
9.根据权利要求8所述的方法，其中，所述至少一个智能体轨迹与所述运载工具的初始轨迹垂直。
10.根据权利要求1至7中任一项所述的方法，其中，基于行驶车道的中心来生成所述至少一个智能体轨迹。
11.根据权利要求10所述的方法，其中，所述至少一个智能体轨迹沿着行驶车道的中心。
12.一种运载工具，包括：
至少一个处理器；以及
至少一个非暂时性存储介质，其存储有指令，所述指令在由所述至少一个处理器执行时使所述至少一个处理器进行根据权利要求1至11任一项所述的方法。
13.至少一个非暂时性计算机可读存储介质，其存储有指令，所述指令在由至少一个处理器执行时使所述至少一个处理器进行根据权利要求1至11任一项所述的方法。
CN202210129313.1A 2021-11-19 2022-02-11 用于运载工具的方法、运载工具和存储介质 Pending CN116149308A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/531,701 US20230159026A1 (en) 2021-11-19 2021-11-19 Predicting Motion of Hypothetical Agents
US17/531,701 2021-11-19

Publications (1)

Publication Number Publication Date
CN116149308A true CN116149308A (zh) 2023-05-23

Family

ID=80621315

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210129313.1A Pending CN116149308A (zh) 2021-11-19 2022-02-11 用于运载工具的方法、运载工具和存储介质

Country Status (5)

Country Link
US (1) US20230159026A1 (zh)
KR (1) KR20230074396A (zh)
CN (1) CN116149308A (zh)
DE (1) DE102022102186A1 (zh)
GB (1) GB2613037A (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3091370B1 (en) * 2015-05-05 2021-01-06 Volvo Car Corporation Method and arrangement for determining safe vehicle trajectories
WO2018165199A1 (en) * 2017-03-07 2018-09-13 nuTonomy Inc. Planning for unknown objects by an autonomous vehicle
CN109969191B (zh) * 2017-12-28 2022-05-31 奥迪股份公司 驾驶辅助系统和方法
US11574089B2 (en) * 2019-06-28 2023-02-07 Zoox, Inc. Synthetic scenario generator based on attributes
US11332132B2 (en) * 2019-08-30 2022-05-17 Argo AI, LLC Method of handling occlusions at intersections in operation of autonomous vehicle
US11866070B2 (en) * 2020-09-28 2024-01-09 Guangzhou Automobile Group Co., Ltd. Vehicle control method and apparatus, storage medium, and electronic device
US20220185267A1 (en) * 2020-12-16 2022-06-16 Zoox, Inc. Object determination in an occluded region

Also Published As

Publication number Publication date
KR20230074396A (ko) 2023-05-30
US20230159026A1 (en) 2023-05-25
DE102022102186A1 (de) 2023-05-25
GB2613037A (en) 2023-05-24
GB202201321D0 (en) 2022-03-16

Similar Documents

Publication Publication Date Title
US20230221128A1 (en) Graph Exploration for Rulebook Trajectory Generation
US11640562B1 (en) Counterexample-guided update of a motion planner
US11400958B1 (en) Learning to identify safety-critical scenarios for an autonomous vehicle
CN115808921A (zh) 用于运载工具的方法和系统
CN116149308A (zh) 用于运载工具的方法、运载工具和存储介质
US20240051568A1 (en) Discriminator network for detecting out of operational design domain scenarios
US11634158B1 (en) Control parameter based search space for vehicle motion planning
US11926342B2 (en) Autonomous vehicle post-action explanation system
US20230382427A1 (en) Motion prediction in an autonomous vehicle using fused synthetic and camera images
US20240123996A1 (en) Methods and systems for traffic light labelling via motion inference
US20230294741A1 (en) Agent importance prediction for autonomous driving
US20230373529A1 (en) Safety filter for machine learning planners
US20240051581A1 (en) Determination of an action for an autonomous vehicle in the presence of intelligent agents
US20230227032A1 (en) Vehicle Dynamics Classification for Collision and Loss of Control Detection
US20230063368A1 (en) Selecting minimal risk maneuvers
US20240025444A1 (en) Path generation based on predicted actions
US20240025395A1 (en) Path generation based on predicted actions
US20230331256A1 (en) Discerning fault for rule violations of autonomous vehicles for data processing
US20240038065A1 (en) Managing traffic light detections
US20240025443A1 (en) Path generation based on predicted actions
US20230322270A1 (en) Tracker Position Updates for Vehicle Trajectory Generation
CN116534047A (zh) 用于自主运载工具的方法、系统和存储介质
CN116803807A (zh) 用于运载工具的方法、系统和机器可读介质
WO2023028437A1 (en) Selecting minimal risk maneuvers
WO2024030384A1 (en) Object orientation determination from map and group parameters

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination