CN116674593A - 用于自主车辆的具有异常检测的安全增强规划系统 - Google Patents

用于自主车辆的具有异常检测的安全增强规划系统 Download PDF

Info

Publication number
CN116674593A
CN116674593A CN202310863245.6A CN202310863245A CN116674593A CN 116674593 A CN116674593 A CN 116674593A CN 202310863245 A CN202310863245 A CN 202310863245A CN 116674593 A CN116674593 A CN 116674593A
Authority
CN
China
Prior art keywords
obstacle
neural network
environment
trajectory
encoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310863245.6A
Other languages
English (en)
Inventor
姜舒
吴思皓
刘澔
曹昱
林玮曼
潘海伦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu USA LLC
Original Assignee
Baidu USA LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu USA LLC filed Critical Baidu USA LLC
Publication of CN116674593A publication Critical patent/CN116674593A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4041—Position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4042—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4046—Behavior, e.g. aggressive or erratic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/40—High definition maps
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B60W30/16—Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18163—Lane change; Overtaking manoeuvres

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Traffic Control Systems (AREA)

Abstract

系统基于多个传感器和地图数据感知自主驾驶车辆(ADV)的环境。系统确定所感知的环境中的障碍物是移动车辆，以及所述移动车辆是至左侧车道、至右侧车道、或在ADV前方。系统使用神经网络模型对障碍物进行推理，以确定障碍物的行为是否异常。系统基于所执行的推理确定障碍物是异常的。

Description

用于自主车辆的具有异常检测的安全增强规划系统
技术领域
本公开的实施例通常涉及操作自主驾驶车辆。更特别地，本公开的实施例涉及用于自主车辆的具有异常检测的安全增强规划系统。
背景技术
以自主模式(例如，无人驾驶)操作的车辆可以减轻乘坐者尤其是驾驶员的一些驾驶相关责任。当以自主模式操作时，车辆可以使用车载传感器导航到各种位置，从而允许车辆以最小的人机交互或者在没有任何乘客的一些情况下行驶。
运动规划和控制是自主驾驶的关键操作。然而，传统的运动规划操作主要从其曲率和速度来估计完成给定路径的难度，而不会考虑不同类型车辆的特征差异。相同的运动规划和控制被应用于所有类型的车辆，这在某些情况下可能不准确和平滑。
在真实世界的驾驶场景中，有少数“坏”驾驶员，他们的行为与正常驾驶员不同。“坏”驾驶员和他们的车辆可能被识别为对于周围车辆的高风险。当道路上的车辆被识别为高风险时，驾驶员可以选择改变车道或与不安全的车辆保持安全距离。
发明内容
根据本公开的第一方面，提供一种用于自主车辆的异常检测的方法，包括：基于多个传感器和地图数据感知自主驾驶车辆(ADV)的环境；确定所感知的环境中的障碍物是移动车辆，以及所述移动车辆是至左侧车道、至右侧车道、或在ADV前方；使用神经网络模型对所述障碍物进行推理，以确定所述障碍物的行为是否异常；以及基于所执行的推理确定所述障碍物是异常的。
根据本公开的第二方面，提供一种非暂时性机器可读介质，其中存储有指令，所述指令当由处理器执行时致使所述处理器执行如第一方面所述的方法的操作。
根据本公开的第三方面，提供一种数据处理系统，包括：处理器；以及存储器，其与所述处理器耦合以存储指令，所述指令当由所述处理器执行时致使所述处理器执行如第一方面所述的方法的操作。
根据本公开的第四方面，提供一种计算机程序产品，包括计算机程序，当所述计算机程序被处理器执行时，使得所述处理器执行如第一方面所述的方法的操作。
附图说明
本公开的实施例通过示例的方式示出并且不限于附图中的图，在附图中相同的附图标记表示相似的元件。
图1是示出根据一个实施例的联网系统的框图。
图2是示出根据一个实施例的自主驾驶车辆的示例的框图。
图3A-3B是示出根据一个实施例的与自主驾驶车辆一起使用的自主驾驶系统的示例的框图。
图4是示出根据一个实施例的异常模块的示例的框图。
图5是示出根据一个实施例的流水线化神经网络模型的示例的框图。
图6是示出根据一个实施例的环境编码器的示例的框图。
图7是示出根据一个实施例的向量化表示中的感知驾驶环境的示例的框图。
图8是示出根据一个实施例的障碍物轨迹编码器的示例的框图。
图9是示出根据一个实施例的条件变分自编码器(CVAE)的示例的框图。
图10是示出根据一个实施例的检测异常障碍物的方法的流程图。
具体实施方式
参考以下讨论的细节描述本公开的各个实施例和方面，并且附图将示出各个实施例。以下描述和附图是本公开的说明并且不应被解释为限制本公开。描述了许多具体细节以提供对本公开的各个实施例的全面理解。然而，在某些情况下，为了提供对本公开的实施例的简要讨论，没有描述公知或常规的细节。
说明书中对“一个实施例”或“实施例”的引用意味着结合该实施例描述的特定特征、结构或特性可包括在本公开的至少一个实施例中。在说明书中的各个地方出现的短语“在一个实施例中”不一定都指同一实施例。
根据一些实施例，自主驾驶车辆(ADV)的异常检测模块感知周围驾驶环境，并使用一个或多个神经网络模型识别邻近车辆的不稳定驾驶行为异常。
目前，自主驾驶车辆(ADV)按类型检测移动障碍物，并相应地与移动障碍物保持安全距离。一般的假设是，ADV必须考虑到所有类型的驾驶行为，但“坏”(或意外或异常)的驾驶行为没有被分类识别。坏驾驶员的行为与正常驾驶行为不同，给周围车辆带来了很高的风险。
实施例提出了一种基于学习的方法来检测周围车辆的不安全异常驾驶行为并相应地规划驾驶轨迹以避开这些不安全车辆。对不安全车辆的此检测和避免反过来又增强了自主驾驶车辆的安全性。
根据一个实施例，系统基于多个传感器和地图数据感知自主驾驶车辆(ADV)的环境。系统确定感知环境中的障碍物是移动车辆，以及移动车辆是至左侧车道、至右侧车道、或在自主驾驶车辆前方。系统使用神经网络模型对障碍物执行推理，以确定障碍物的行为是否异常。系统基于所执行的推理确定障碍物异常。
图1是示出根据本公开的一个实施例的自主驾驶网络配置的框图。参考图1，网络配置100包括自主驾驶车辆(ADV)101，自主驾驶车辆(ADV)101可以通过网络102通信连接到一个或多个服务器103-104。尽管示出一个ADV，但是多个ADV可以彼此连接和/或连接到网络102上的服务器103-104。网络102可以是任何类型的网络，诸如局域网(LAN)、诸如因特网的广域网(WAN)、蜂窝网络、卫星网络、或其组合，有线或无线的。服务器103-104可以是任何类型的服务器或服务器群集，诸如Web或云服务器、应用服务器、后端服务器或其组合。服务器103-104可以是数据分析服务器、内容服务器、交通信息服务器、地图和兴趣点(MPOI)服务器、或位置服务器等。
ADV指的是能够被配置为处于自主模式的车辆，在自主模式中，车辆在驾驶员很少或没有输入的情况下导航通过环境。这种ADV可包括具有一个或多个传感器的传感器系统，传感器被配置为检测关于车辆操作于其中的环境的信息。车辆及其相关联的控制器使用所检测的信息导航通过环境。ADV 101可以以手动模式、全自主模式或部分自主模式操作。
在一个实施例中，ADV 101包括但不限于自主驾驶系统(ADS)110、车辆控制系统111、无线通信系统112、用户界面系统113和传感器系统115。ADV 101还可包括在普通车辆中包括的某些常见组件，例如引擎、车轮、方向盘、变速器等，这些组件可以由车辆控制系统111和/或ADS 110使用各种通信信号和/或命令控制，诸如，例如加速信号或命令、减速信号或命令、转向信号或命令、制动信号或命令等。
组件110-115可以经由互连、总线、网络或其组合彼此通信连接。例如，组件110-115可以经由控制器局域网(CAN)总线彼此通信连接。CAN总线是一种车辆总线标准，其被设计为允许微控制器和设备在没有主计算机的应用中彼此通信。它是基于消息的协议，最初被设计用于车辆内的多路电气布线，但是也用于许多其它环境中。
现在参考图2，在一个实施例中，传感器系统115包括但不限于一个或多个相机211、全球定位系统(GPS)单元212、惯性测量单元(IMU)213、雷达单元214以及光检测和测距(light detection and range，LIDAR)单元215。GPS系统212可包括可操作以提供关于ADV的位置的信息的收发器。IMU单元213可基于惯性加速度感测ADV的位置和朝向变化。雷达单元214可以表示使用无线电信号感测ADV的局部环境内的对象的系统。在一些实施例中，除了感测对象之外，雷达单元214还可以额外地感测对象的速度和/或航向。LIDAR单元215可以使用激光感测ADV所处的环境中的对象。LIDAR单元215可包括一个或多个激光源、激光扫描器以及一个或多个检测器，以及其他系统组件。相机211可包括一个或多个设备以捕获ADV周围的环境的图像。相机211可以是静态相机和/或摄影机。相机可以是机械可移动的，例如通过将相机安装在旋转和/或倾斜的平台上。
传感器系统115还可包括其它传感器，诸如声纳传感器、红外传感器、转向传感器、油门传感器、制动传感器和音频传感器(例如麦克风)。音频传感器可以被配置为捕获来自ADV周围的环境的声音。转向传感器可以被配置为感测方向盘、车辆的车轮或其组合的转向角。油门传感器和制动传感器分别感测车辆的油门位置和制动位置。在一些情况下，油门传感器和制动传感器可以被集成为集成的油门/制动传感器。
在一个实施例中，车辆控制系统111包括但不限于转向单元201、油门单元202(也称为加速单元)和制动单元203。转向单元201用于调节车辆的方向或航向。油门单元202用于控制马达或引擎的速度，马达或引擎的速度转而控制车辆的速度和加速度。制动单元203通过提供摩擦力以使车辆的车轮或轮胎变慢来使车辆减速。注意，图2所示的组件可以以硬件、软件或其组合实现。
返回参考图1，无线通信系统112允许在ADV 101和诸如设备、传感器、其他车辆等外部系统之间的通信。例如，无线通信系统112可以直接或经由通信网络与一个或多个设备无线通信，诸如在网络102上的服务器103-104。无线通信系统112可以使用任何蜂窝通信网络或无线局域网(WLAN)，例如使用WiFi与另一组件或系统通信。无线通信系统112可以例如使用红外链路、蓝牙等，直接与设备(例如，乘客的移动设备、显示设备、车辆101内的扬声器)通信。用户界面系统113可以是在车辆101内实现的外围设备的一部分，包括例如键盘、触摸屏显示设备、麦克风和扬声器等。
ADV 101的一些或所有功能可以由ADS 110控制或管理，尤其是当以自主驾驶模式操作时。ADS 110包括必要的硬件(例如，处理器、存储器、存储设备)和软件(例如，操作系统、规划和路由程序)，以从传感器系统115、控制系统111、无线通信系统112和/或用户界面系统113接收信息，处理接收的信息，规划从起点到目的地点的路线或路径，然后基于规划和控制信息驾驶车辆101。可替代地，ADS 110可以与车辆控制系统111集成。
例如，作为乘客的用户可以例如经由用户界面指定行程的起始位置和目的地。ADS110获得行程相关数据。例如，ADS 110可以从MPOI服务器获得位置和路线数据，MPOI服务器可以是服务器103-104的一部分。位置服务器提供位置服务，以及MPOI服务器提供地图服务和某些位置的POI。可替代地，这种位置和MPOI信息可本地缓存在ADS 110的永久存储设备中。
在ADV 101沿着路线移动的同时，ADS 110还可以从交通信息系统或服务器(TIS)获得实时交通信息。注意，服务器103-104可以由第三方实体运营。可替代地，服务器103-104的功能可以与ADS 110集成。基于实时交通信息、MPOI信息和位置信息、以及由传感器系统115检测或感测的实时局部环境数据(例如，障碍物、对象、附近车辆)，ADS 110可以规划最佳路线，并且例如通过控制系统111根据规划路线驾驶车辆101，以安全且高效地到达指定目的地。
服务器103可以是用以执行用于各种客户端的数据分析服务的数据分析系统。在一个实施例中，数据分析系统103包括数据收集器121和机器学习引擎122。数据收集器121从各种车辆(ADV或者是由人类驾驶员驾驶的常规车辆)收集驾驶统计123。驾驶统计123包括指示发出的驾驶命令(例如，油门、制动、转向命令)和由车辆的传感器在不同的时间点捕获的车辆的响应(例如，速度、加速度、减速度、方向)的信息。驾驶统计123还可包括描述不同的时间点的驾驶环境的信息，诸如，例如路线(包括起始位置和目的地位置)、MPOI、道路状况、天气状况等。
基于驾驶统计123，机器学习引擎122为各种目的生成或训练一组规则、算法和/或预测模型124。在一个实施例中，算法124可以包括流水线化神经网络模型。流水线化神经网络模型可以包括具有环境编码器的条件变分自编码器和用于障碍物轨迹的轨迹编码器的组合。流水线化神经网络模型可以离线训练，并将训练好的流水线化神经网络模型上传到ADV，供ADV实时使用流水线化神经网络执行推理。
图3A和3B是示出根据一个实施例的与ADV一起使用的自主驾驶系统的示例的框图。系统300可以被实现为图1的ADV 101的一部分，包括但不限于ADS 110、控制系统111和传感器系统115。参考图3A-3B，ADS 110包括但不限于定位模块301、感知模块302、预测模块303、决策模块304、规划模块305、控制模块306和路由模块307、以及异常模块308。
模块301-308中的一些或全部可以以软件、硬件或其组合实现。例如，这些模块可被安装在永久存储设备352中，加载到存储器351中，并由一个或多个处理器(未示出)执行。注意，这些模块中的一些或全部可以通信连接到图2的车辆控制系统111的一些或全部模块或与之集成。模块301-308中的一些可以被集成在一起作为集成模块。
定位模块301确定ADV 300的当前位置(例如，利用GPS单元212)，并管理与用户的行程或路线有关的任何数据。定位模块301(也称为地图和路线模块)管理与用户的行程或路线有关的任何数据。用户可以例如经由用户界面登录并指定行程的起始位置和目的地。定位模块301与ADV 300的其他组件进行通信，诸如地图和路线信息311，以获得与行程有关的数据。例如，定位模块301可以从位置服务器以及地图和POI(MPOI)服务器获得位置和路线信息。位置服务器提供位置服务，以及MPOI服务器提供地图服务和某些位置的POI，它们可作为地图和路线数据311的一部分被缓存。在ADV 101沿着路线移动的同时，定位模块301还可以从交通信息系统或服务器获得实时交通信息。
基于由传感器系统115提供的传感器数据和由定位模块301获得的定位信息，由感知模块302确定对周围环境的感知。感知信息可以表示普通驾驶员在驾驶员正驾驶的车辆周围将感知到的情况。感知可包括车道配置、交通灯信号、另一车辆的相对位置、行人、建筑物、人行横道或其它交通相关标志(例如，停止标志、让行标志)等，例如以对象的形式。车道配置包括描述一个或多个车道的信息，诸如，例如车道的形状(例如，直的或弯曲的)、车道的宽度、道路中的车道数量、单向或双向车道、合并或分离车道、驶出车道等。
感知模块302可包括计算机视觉系统或计算机视觉系统的功能，以处理和分析由一个或多个相机捕获的图像，以便识别ADV的环境中的对象和/或特征。对象可包括交通信号、车行道边界、其他车辆、行人和/或障碍物等。计算机视觉系统可使用对象识别算法、视频跟踪和其它计算机视觉技术。在一些实施例中，计算机视觉系统可以映射环境、跟踪对象、以及估计对象的速度等。感知模块302还可基于由诸如雷达和/或LIDAR的其他传感器提供的其他传感器数据来检测对象。
对于每个对象，预测模块303预测对象将在环境下作出什么行为。鉴于一组地图/路线信息311和交通规则312，基于感知在此时间点处的驾驶环境的感知数据来执行预测。例如，如果对象是在相反方向上的车辆并且当前驾驶环境包括十字路口，则预测模块303将预测车辆将可能直线向前移动还是转弯。如果感知数据指示十字路口没有交通灯，则预测模块303可以预测车辆在进入十字路口之前可能必须完全停止。如果感知数据指示车辆当前处于仅左转弯车道或仅右转弯车道，则预测模块303可以预测车辆将更可能分别进行左转弯或右转弯。
对于每个对象，决策模块304作出关于如何处理该对象的决策。例如，对于特定对象(例如，在交叉路线中的另一车辆)以及描述该对象的元数据(例如，速度、方向、转向角)，决策模块304决定如何遇到该对象(例如，超车、让行、停止、经过)。决策模块304可根据一组规则，诸如交通规则或驾驶规则312，来作出这些决策，这组规则可存储于永久存储设备352中。
路由模块307被配置为提供从起点到目的地点的一条或多条路线或路径。对于例如从用户接收的从起始位置到目的地位置的给定行程，路由模块307获得路线和地图信息311并且确定从起始位置到达目的地位置的所有可能的路线或路径。路由模块307可以为其确定的从起始位置到达目的地位置的每条路线以地形图形式生成参考线。参考线是指没有来自诸如其它车辆、障碍物或交通状况等其它事物的任何干扰的理想路线或路径。也就是说，如果在道路上没有其它车辆、行人或障碍物，则ADV应该精确地或紧密地遵循该参考线。然后，地形图被提供给决策模块304和/或规划模块305。决策模块304和/或规划模块305检查所有可能的路线，以鉴于由其它模块提供的其它数据，诸如来自定位模块301的交通状况、由感知模块302感知的驾驶环境和由预测模块303预测的交通状况，选择和修正最佳路线中的一个。取决于在此时间点处的特定驾驶环境，用于控制ADV的实际路径或路线可以接近或不同于由路由模块307提供的参考线。
基于对于每个感知的对象的决策，规划模块305使用由路由模块307提供的参考线作为基础，规划用于ADV的路径或路线以及驾驶参数(例如，距离、速度和/或转向角)。也就是说，对于给定对象，决策模块304决定对该对象做什么，而规划模块305确定如何做。例如，对于给定对象，决策模块304可以决定经过对象，而规划模块305可以确定是在对象的左侧还是右侧经过。规划和控制数据由规划模块305生成，包括描述车辆101在下一个移动周期(例如，下一个路线/路径段)中将如何移动的信息。例如，规划和控制数据可指示车辆101以30英里每小时(mph)的速度移动10米，然后以25mph的速度改变到右车道。
基于规划和控制数据，控制模块306通过根据由规划和控制数据限定的路线或路径向车辆控制系统111发送适当的命令或信号来控制和驾驶ADV。规划和控制数据包括足够的信息以沿着路径或路线在不同的时间点使用适当的车辆设置或驾驶参数(例如，油门、制动、转向命令)将车辆从路线或路径的第一点驾驶到第二点。
在一个实施例中，规划阶段是在多个规划周期内执行的，规划周期也称为驾驶周期，诸如以每100毫秒(ms)的时间间隔。对于每个规划周期或驾驶周期，将基于规划和控制数据发出一个或多个控制命令。也就是说，对于每100ms，规划模块305规划下一个路线段或路径段，例如包括目标位置和ADV到达目标位置所需的时间。可替代地，规划模块305还可指定具体速度、方向和/或转向角等。在一个实施例中，规划模块305为下一预定的时间段，诸如5秒，规划路线段或路径段。对于每个规划周期，规划模块305基于在先前周期中规划的目标位置规划用于当前周期(例如，下一个5秒)的目标位置。然后控制模块306基于当前周期的规划和控制数据生成一个或多个控制命令(例如，油门、制动、转向控制命令)。
注意，决策模块304和规划模块305可以集成为集成模块。决策模块304/规划模块305可包括导航系统或导航系统的功能，以确定用于ADV的驾驶路径。例如，导航系统可以确定一系列速度和方向航向，以影响ADV沿着基本上避开所感知的障碍物的路径的移动，同时大体使ADV沿着通向最终目的地的基于道路的路径前进。目的地可以根据经由用户界面系统113的用户输入来设置。在ADV处于操作的同时，导航系统可以动态地更新驾驶路径。导航系统可以并入来自GPS系统的数据和一个或多个地图，以便确定用于ADV的驾驶路径。
图4是异常模块308的示例。异常模块308可以根据移动车辆的所感知的驾驶行为将移动车辆识别为异常。在一个实施例中，异常模块308包括环境感知模块401、环境编码模块402、移动障碍物确定模块403、障碍物轨迹生成模块404、障碍物轨迹编码模块405、推理模块406、异常确定模块407以及安全模块408。
环境感知模块401可以感知ADV的驾驶环境。可以使用地图数据(诸如图3A的地图和路线数据311)和/或ADV安装的传感器，诸如LIDAR、RADAR，以及成像传感器，来感知驾驶环境。环境编码模块402可以将所感知的环境编码为向量表示。编码减少了由ADV下游使用的存储器和处理量。移动障碍物确定模块403可以经由对象检测等方式识别邻近的移动障碍物(例如移动车辆至左侧、至右侧、以及在ADV前方)。障碍物轨迹生成模块404可为移动障碍物生成多个预测轨迹。与环境编码模块402类似，障碍物轨迹编码模块405可以将障碍物轨迹编码为向量表示。推理模块406可以使用神经网络模型执行推理以确定异常移动障碍物(例如，车辆)。异常确定模块407可以确定所执行的推理生成指示移动障碍物(车辆)异常的结果。对于识别出的异常车辆，安全模块408可以更新ADV使用的安全裕度或距离阈值，以保持与异常车辆的安全距离。在某些情况下，安全模块408可以指导ADV规划轨迹以超车异常车辆。所有或一些模块401-408可以使用包括两个或多个神经网络模型的流水线化神经网络模型来实现，如针对图5-9进一步所描述的。
术语向量化表示或多线是指地理实体(例如车道线、交通车道、交通灯、停车标志等)可以近似为的周围环境的图像表示。向量可以与起点、终点、指示由向量表示的对象的类型的语义属性(例如，人行横道、车道线、交通灯等)以及任何其他识别属性(诸如向量的标识(ID))相关联。多线是指向量的序列。例如，车道线、交通车道、行驶轨迹可以通过具有向量的序列的多线来表示。地图数据和/或所感知的移动障碍物(或移动智能体(agent))的多线表示可以存储为矩阵，诸如邻接矩阵。行驶轨迹也可以通过多线表示。行驶轨迹包括每个时间步长处的速度和路径信息，例如，位置和航向角与时间的关系，这些信息可以通过多线捕获。
图5是示出根据一个实施例的流水线化神经网络模型500的示例的框图。流水线化神经网络模型500可以作为图3A的算法/模型124的一部分。在一个实施例中，流水线化神经网络模型500包括条件变分自编码器(CVAE)505。CVAE 505是变分自编码器(VAE)，它以确定性约束表示为条件。约束可以通过标签设置，并且标签可以强制表示针对已学习数据的潜在空间的任何样本的确定性输出。自编码器是神经网络的编码器-解码器架构，用于学习未标签数据的有效编码(无监督学习)。通过尝试从该编码重新生成输入来验证和改良编码。VAE是自编码器，其编码分布在训练过程中被正则化，以确保其潜在空间中的值允许生成新数据的变化。也就是说，我们不是将输入编码为单个点，而是将其编码为CVAE的潜在空间上的分布。
在一个实施例中，CVAE 505接收来自环境编码器503和轨迹编码器504的输入。环境编码器503可以将由ADV感知的环境(地图数据、路线数据和/或传感器数据)编码为向量表示，每个向量具有语义属性以及与该向量相关联的识别属性。请注意，在本说明书中，多线和向量表示是同义使用的，因为多线是一个或多个向量的归组。
轨迹编码器504可以将移动智能体的历史轨迹编码为多线表示。例如，ADV可以识别与ADV邻近或在ADV的左侧、右侧或前方的阈值距离内的移动智能体(移动障碍物车辆)。然后，ADV捕获移动智能体的历史轨迹(直到当前规划周期)。轨迹编码器504可以将历史轨迹编码成要由CVAE 505接收的多线表示。CVAE 505可以接收移动智能体的环境多线信息和历史轨迹多线信息，并生成位于CVAE 505的潜在空间的学习分布内的轨迹分布。异常确定器模块407可以接收CVAE 505的轨迹分布，并在后续规划周期中接收移动智能体的实际轨迹。然后，异常确定器模块407可以将实际轨迹与轨迹分布进行比较。如果所接收的实际轨迹在轨迹分布之外，则在506处确定智能体的驾驶行为是异常的。如果所接收的实际轨迹在轨迹分布范围内，则在506处智能体的驾驶行为是正常的。
在一个实施例中，当ADV确定移动智能体异常时，ADV可以向ADV的操作员指示视觉或音频信号，向该操作员通知移动智能体异常。在另一个实施例中，当ADV确定移动智能体异常时，ADV可以增加与移动智能体的左/右安全距离阈值(例如，0.5米至1.5米)以及前方安全距离阈值(例如，5米至10米)，或规划轨迹以超越移动智能体。
图6是示出根据一个实施例的环境编码器503的示例的框图。环境编码器503可以编码感知环境和/或编码地图/路线数据，诸如图3A的地图和路线数据311。例如，环境编码器503可以包括对象检测器601、对象-向量转换器602和地图数据-向量转换器603。对象检测器601可以是卷积神经网络(CNN)或其他机器学习模型，其通过传感器数据检测和分类由ADV感知到的对象。经分类的对象可以通过对象-向量转换器602转换为向量表示。向量可以与语义属性(经分类的对象的类型的指示器，例如交通灯、车辆、行人、车道线等)和唯一标识向量的标识符相关联。地图数据-向量转换器603可以将地图数据转换成向量表示。
图7是示出根据一个实施例的向量化表示中的感知驾驶环境700的示例的框图。参考图7，人行横道701可以由四个向量702表示，其中向量702的属性表示这些向量归属于人行横道。向量703可以是表示停止标志的点向量(起点近似等于终点)。向量704可以对应表示三条车道线的三条多线。向量705可以对应于能够表示移动智能体的轨迹的多线。用于环境700的向量可以被存储为邻接矩阵以及图3A的邻接矩阵/属性125中的向量属性的名值对。邻接矩阵是描述与相邻的邻近节点的节点连接的矩阵。邻接矩阵和属性的名值对可以是环境编码器503的输出。
图8是示出根据一个实施例的障碍物轨迹编码器504的示例的框图。障碍物轨迹检测器/编码器504可以对用于移动智能体的轨迹信息进行编码，并且CVAE可以使用编码后的信息生成轨迹分布。参考图8，障碍物轨迹检测器/编码器504可以包括循环神经网络(RNN)、或长短期记忆(LSTM)单元、或门控循环单元(GRU)，以捕获移动智能体的轨迹的时间信息。在一个实施例中，障碍物轨迹检测器/编码器504包括使用历史轨迹训练的双层RNN、LSTM或GRU 801-802。例如，参考图8，时间t处的时间序列轨迹数据可以是x_t的输入。时间t处的隐藏状态是h1_t和h2_t。隐藏状态和输入轨迹用于生成时间t处的输出状态y_t。CVAE可以使用输出状态y_t作为起点来生成用于移动智能体的轨迹分布。
在这里，双层RNN/LSTM/GRU是一种深度循环学习结构，其可以提取轨迹的路径和时间特征，诸如速度、航向角、速度变化、航向角变化。虽然示出了RNN，但其他类型的神经网络也可以用于编码器，诸如基于Transformer(变换器)的神经网络编码器或基于Attention(注意力)的神经网络编码器。
图9是示出根据一个实施例的条件变分自编码器(CVAE)505的示例的框图。如前所述，CVAE可以使用ADV的历史驾驶数据进行无监督训练。训练后的CVAE可以用来生成改变CVAE的潜在空间的分布的新数据。在这种情况下，CVAE 505可以用于通过迭代遍及CVAE的潜在空间的分布来生成移动智能体的轨迹分布。然后，该轨迹分布可以作为输出数据906输出。
在一个实施例中，CVAE 505包括编码器902、潜在空间903、解码器904和标签905。编码器902可以接收移动智能体的环境和历史轨迹作为输入数据901。在一个实施例中，编码器902可与图5的编码器环境编码器503和轨迹编码器504组合。在一个实施例中，编码器902包括基于注意力的图神经网络(GNN)。在一个实施例中，CVAE和GNN组合表示条件图变分自编码器。在一个实施例中，图神经网络可以将驾驶环境的多线表示编码到潜在空间903中，例如，低维表示。潜在空间903可以表示解码器将会期望在低维表示中看到的输入分布。在一个实施例中，潜在空间903是二维空间。在一个实施例中，潜在空间903是由均值向量和标准差值向量表示的多维高斯分布。在一个实施例中，可以对分布潜在空间进行采样以获得轨迹分布。互补的解码器904可以对经采样的潜在空间进行解码并生成新的轨迹数据(例如，用于具有非异常行为的移动智能体的轨迹分布)。在这里，解码器904可以与编码器902互补。例如，如果编码器902包括GNN，则解码器904可以包括GNN。如编码器902包括双层GRU，则解码器904可以对应地包括双层GRU。
注意，编码器902的目标是将环境和轨迹的特征转换为低维表示。解码器904输入低维表示的变化，将对象约束为特定类型(例如，移动的障碍物)的标签905，并且解码器904对解码器904先前已训练用于预测的原始数据的变化进行重构。在这里，CVAE 505的编码器-解码器架构被训练以使在解码器904对原始数据的变化进行重构时的信息损失最小化。
图10是示出根据一个实施例的识别异常移动智能体的方法的流程图。过程1000可以通过处理逻辑来执行，该处理逻辑可以包括软件、硬件或其组合。例如，过程1000可以由图4的异常模块308执行。
在块1001，处理逻辑基于多个传感器和地图数据感知自主驾驶车辆(ADV)的环境。
在块1002，处理逻辑确定所感知的环境中的障碍物是移动车辆，以及该移动车辆是至左侧车道、至右侧车道、或在ADV前方。移动的障碍物可以使用图像检测算法、CNN或其他类型的机器学习模型来感知。
在块1003，处理逻辑使用神经网络模型对障碍物执行推理，以确定障碍物的行为是否异常。
例如，图5的流水线化神经网络模型500用于执行捕获障碍物轨迹的推理。该推理生成轨迹分布。
在块1004，处理逻辑基于所执行的推理确定障碍物是异常的。
例如，在后续的规划周期中，处理逻辑将轨迹分布与移动障碍物的实际轨迹进行比较，并确定实际轨迹是否在预期的轨迹分布之内。
在一个实施例中，神经网络模型包括两个或多个神经网络模型的流水线。例如，用于对象检测的CNN连接到双层GRU神经网络，而双层GRU神经网络连接到CVAE，如图5的模型500所示。
在一个实施例中，神经网络模型包括检测移动障碍物的异常行为的条件变分自编码器(CVAE)。
在一个实施例中，CVAE包括环境编码器和环境解码器，其中环境编码器或环境解码器包括将所感知的环境编码或解码为多线的图神经网络模型。
在一个实施例中，CVAE包括障碍物轨迹编码器和障碍物轨迹解码器，其中障碍物轨迹编码器或障碍物轨迹解码器包括用于对障碍物的历史轨迹进行编码的深度神经网络模型。
在一个实施例中，障碍物的历史轨迹包括对于多个规划周期的障碍物的速度和位置信息。
在一个实施例中，障碍物轨迹解码器的深度神经网络模型包括双层门控循环单元(GRU)、或双层长短期记忆(LSTM)单元、或双层循环神经网络(RNN)。
在一个实施例中，CVAE的潜在空间对应于轨迹分布。
在一个实施例中，响应于基于所执行的推理识别障碍物是异常的，处理逻辑进一步增加与障碍物的安全缓冲距离或超越障碍物。
注意，如上所示和所述的一些或所有组件可以用软件、硬件或其组合实现。例如，这些组件可以被实现为安装并存储在永久存储设备中的软件，软件可以由处理器(未示出)加载并执行在存储器中以执行贯穿本申请所述的过程或操作。可替代地，这些组件可被实现为被编程或嵌入到专用硬件中的可执行代码，专用硬件诸如集成电路(例如，专用IC或ASIC)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)，可执行代码可经由来自应用的对应驱动器和/或操作系统访问。此外，这些组件可以被实现为处理器或处理器内核中的特定硬件逻辑，作为经由一个或多个特定指令软件组件可访问的指令集的一部分。
已经关于对计算机存储器内的数据位的操作的算法和符号表示呈现了前述详细描述的一些部分。这些算法描述和表示是数据处理领域的技术人员用来最有效地将他们的工作实质传达给本领域的其他技术人员的方式。算法在这里并且通常被认为是导致期望结果的自洽操作序列。这些操作是需要对物理量进行物理操纵的那些操作。
然而，应当记住的是，所有这些和类似的术语都与适当的物理量相关联，并且仅仅是应用于这些量的方便的标记。除非特别声明，否则从以上讨论中显而易见的是，应当理解的是，在整个说明书中，使用诸如所附权利要求书中所阐述的术语的讨论指的是计算机系统或类似电子计算设备的动作和过程，所述计算机系统或类似电子计算设备将计算机系统的寄存器和存储器内的表示为物理(电子)量的数据操纵和变换成计算机系统存储器或寄存器或其它这样的信息存储、传输或显示设备内的类似地表示为物理量的其它数据。
本公开的实施例还涉及用于执行本文的操作的装置。这种计算机程序存储在非瞬态计算机可读介质中。机器可读介质包括用于以机器(例如，计算机)可读的形式存储信息的任何机制。例如，机器可读(例如，计算机可读)介质包括机器(例如，计算机)可读存储介质(例如，只读存储器(“ROM”)、随机存取存储器(“RAM”)、磁盘存储介质、光存储介质、闪存设备)。
在前述附图中描述的过程或方法可以由包括硬件(例如，电路、专用逻辑等)、软件(例如，体现在非暂时性计算机可读介质上)或两者的组合的处理逻辑来执行。尽管以上根据一些顺序操作描述了过程或方法，但是应当理解的是，可以以不同的顺序执行所述的一些操作。此外，一些操作可以并行地而不是顺序地执行。
本公开的实施例不是参考任何特别编程语言描述的。将了解，可使用各种编程语言实施如本文所述的本公开的实施例的教示。
在前述说明书中，已经参考本公开的具体示例性实施例描述了本公开的实施例。显然，在不背离如所附权利要求书中所阐述的本公开的更宽的精神和范围的情况下，可以对其进行各种修改。因此，说明书和附图应被认为是说明性的而不是限制性的。

Claims (12)

1.一种用于自主车辆的异常检测的方法，包括：
基于多个传感器和地图数据感知自主驾驶车辆(ADV)的环境；
确定所感知的环境中的障碍物是移动车辆，以及所述移动车辆是至左侧车道、至右侧车道、或在ADV前方；
使用神经网络模型对所述障碍物进行推理，以确定所述障碍物的行为是否异常；以及
基于所执行的推理确定所述障碍物是异常的。
2.根据权利要求1所述的方法，其中所述神经网络模型包括两个或多个神经网络模型的流水线。
3.根据权利要求1所述的方法，其中所述神经网络模型包括检测移动障碍物的异常行为的条件变分自编码器(CVAE)。
4.根据权利要求3所述的方法，其中所述CVAE包括环境编码器和环境解码器，其中所述环境编码器或所述环境解码器包括将所感知的环境编码或解码为多线的图神经网络模型。
5.根据权利要求3所述的方法，其中所述CVAE包括障碍物轨迹编码器和障碍物轨迹解码器，其中所述障碍物轨迹编码器或所述障碍物轨迹解码器包括用于对所述障碍物的历史轨迹进行编码的深度神经网络模型。
6.根据权利要求5所述的方法，其中所述障碍物的所述历史轨迹包括对于多个规划周期的所述障碍物的速度和位置信息。
7.根据权利要求5所述的方法，其中所述障碍物轨迹解码器的所述深度神经网络模型包括双层门控循环单元(GRU)、或双层长短期记忆(LSTM)单元、或双层循环神经网络(RNN)。
8.根据权利要求7所述的方法，其中所述CVAE的潜在空间对应于轨迹分布。
9.根据权利要求1所述的方法，进一步包括：
响应于基于所执行的推理识别所述障碍物是异常的，增加与所述障碍物的安全缓冲距离或超越所述障碍物。
10.一种非暂时性机器可读介质，其中存储有指令，所述指令当由处理器执行时使所述处理器执行如权利要求1-9中任一项所述的方法的操作。
11.一种数据处理系统，包括：
处理器；以及
存储器，所述存储器连接至所述处理器以存储指令，所述指令当由处理器执行时使所述处理器执行如权利要求1-9中任一项所述的方法的操作。
12.一种计算机程序产品，包括计算机程序，当所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1-9中任一项所述的方法的操作。
CN202310863245.6A 2022-07-21 2023-07-13 用于自主车辆的具有异常检测的安全增强规划系统 Pending CN116674593A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/870,742 US20240025445A1 (en) 2022-07-21 2022-07-21 Safety enhanced planning system with anomaly detection for autonomous vehicles
US17/870,742 2022-07-21

Publications (1)

Publication Number Publication Date
CN116674593A true CN116674593A (zh) 2023-09-01

Family

ID=87779393

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310863245.6A Pending CN116674593A (zh) 2022-07-21 2023-07-13 用于自主车辆的具有异常检测的安全增强规划系统

Country Status (2)

Country Link
US (1) US20240025445A1 (zh)
CN (1) CN116674593A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117520788A (zh) * 2024-01-05 2024-02-06 成都亚度克升科技有限公司 基于人工智能和大数据分析的音箱参数确定方法和系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117520788A (zh) * 2024-01-05 2024-02-06 成都亚度克升科技有限公司 基于人工智能和大数据分析的音箱参数确定方法和系统
CN117520788B (zh) * 2024-01-05 2024-03-22 成都亚度克升科技有限公司 基于人工智能和大数据分析的音箱参数确定方法和系统

Also Published As

Publication number Publication date
US20240025445A1 (en) 2024-01-25

Similar Documents

Publication Publication Date Title
CN113128326B (zh) 具有语义地图和lstm的车辆轨迹预测模型
US11345359B2 (en) Autonomous driving vehicles with dual autonomous driving systems for safety
US11372417B2 (en) Method for predicting exiting intersection of moving obstacles for autonomous driving vehicles
US11485360B2 (en) Dynamic speed limit adjustment system based on perception results
US11860634B2 (en) Lane-attention: predicting vehicles' moving trajectories by learning their attention over lanes
US20210300427A1 (en) Group and combine obstacles for autonomous driving vehicles
US11661085B2 (en) Locked pedestrian detection and prediction for autonomous vehicles
US20220003855A1 (en) Point clouds based lidar recalibration system for autonomous vehicles
US11713057B2 (en) Feedback based real time steering calibration system
CN113044058A (zh) 自动驾驶车辆三点转弯
CN113748059A (zh) 离线和在线解决方案相结合的停车轨迹生成方法
CN116674593A (zh) 用于自主车辆的具有异常检测的安全增强规划系统
US11787440B2 (en) Lane boundary and vehicle speed based nudge decision
US11663913B2 (en) Neural network with lane aggregation for lane selection prediction of moving objects during autonomous driving
EP4147936B1 (en) Drive with caution under uncertainty for an autonomous driving vehicle
CN113492848B (zh) 用于自主驾驶车辆安全操作员的前方碰撞告警警报系统
US11325529B2 (en) Early brake light warning system for autonomous driving vehicle
US20210370941A1 (en) Precautionary slowdown speed planning
EP3857327B1 (en) Implementation of dynamic cost function of self-driving vehicles
EP4140848A2 (en) Planning under prediction with confidence region for an autonomous driving vehicle
WO2024036618A1 (en) Dynamic signal transfer configuration for driverless vehicle remote monitoring
US11577644B2 (en) L3-level auto-emergency light system for ego vehicle harsh brake
US20240025442A1 (en) Trajectory planning in autonomous driving vehicles for unforeseen scenarios
US20240161512A1 (en) Training for image signal processing algorithm iterations for autonomous vehicles

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination