CN112700645B - 基于传感器覆盖区域确定风险分布的系统和方法 - Google Patents

基于传感器覆盖区域确定风险分布的系统和方法 Download PDF

Info

Publication number
CN112700645B
CN112700645B CN202011566008.6A CN202011566008A CN112700645B CN 112700645 B CN112700645 B CN 112700645B CN 202011566008 A CN202011566008 A CN 202011566008A CN 112700645 B CN112700645 B CN 112700645B
Authority
CN
China
Prior art keywords
sensor
coverage area
risk
mtbf
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011566008.6A
Other languages
English (en)
Other versions
CN112700645A (zh
Inventor
刘效东
曲宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu USA LLC
Original Assignee
Baidu USA LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu USA LLC filed Critical Baidu USA LLC
Publication of CN112700645A publication Critical patent/CN112700645A/zh
Application granted granted Critical
Publication of CN112700645B publication Critical patent/CN112700645B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0011—Planning or execution of driving tasks involving control alternatives for a single driving scenario, e.g. planning several paths to avoid obstacles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0025—Planning or execution of driving tasks specially adapted for specific operations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G01S7/4004—Means for monitoring or calibrating of parts of a radar system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93271—Sensor installation details in the front of the vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93272—Sensor installation details in the back of the vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)

Abstract

公开了基于传感器覆盖区域确定风险分布的系统和方法。方法包括对于由ADV的至少一个传感器覆盖的每个覆盖区域，获得覆盖该覆盖区域的传感器的MTBF数据。方法还包括基于传感器的MTBF数据来确定覆盖区域的平均故障间隔时间(MTBF)。方法还包括基于所确定的覆盖区域的MTBF来计算与覆盖区域相关联的性能风险。方法还包括基于所计算的与多个覆盖区域相关联的性能风险来确定风险分布。

Description

基于传感器覆盖区域确定风险分布的系统和方法
技术领域
本公开的实施例一般涉及操作自主车辆。更特别地，本公开的实施例涉及基于自主驾驶车辆的传感器系统的传感器覆盖区域来确定风险分布的系统和方法。
背景技术
以自主模式(例如，无人驾驶)操作的车辆可以减轻乘坐者，尤其是驾驶员的一些驾驶相关责任。当以自主模式操作时，车辆可以使用车载传感器导航到各种位置，从而允许车辆以最小的人机交互或者在没有任何乘客的一些情况下行驶。
自从SAE(Society of Automotive Engineers，汽车工程师学会)4级(L4)自从POC(proof of concept，概念验证)过渡到生产的关键里程碑以来，自主驾驶系统的安全性受到越来越多的关注。业界普遍采用的方法是设计具有来自传感器、硬件、软件等的冗余和多样性的系统。ISO 26262，即功能安全，可以适当地被使用以定量解决自主驾驶系统因内部随机硬件故障和系统软件故障而导致的风险。但是，尚需开发一种方法来定量估计由于自主驾驶系统部署在地理围栏的操作设计域(operational design domain，ODD)中时的性能极限而导致的自主驾驶系统的风险。
发明内容
在第一方面中，提供一种确定与由自主驾驶车辆ADV的多个传感器覆盖的多个覆盖区域相关联的风险分布的方法，所述方法包括：
对于ADV的至少一个传感器覆盖的每个覆盖区域，
获得覆盖所述覆盖区域的至少一个传感器的MTBF数据，
基于至少一个传感器的MTBF数据，确定所述覆盖区域的平均故障间隔时间(MTBF)，以及
基于确定的覆盖区域的MTBF，计算与覆盖区域相关联的性能风险；以及
基于所计算的与多个覆盖区域相关联的性能风险来确定风险分布。
在第二方面中，提供一种具有存储在其中的指令的非暂时性机器可读介质，所述指令在由处理器执行时使处理器执行如第一方面所述的确定与由自主驾驶车辆的多个传感器覆盖的多个覆盖区域相关联的风险分布的方法。
在第三方面中，提供一种数据处理系统，包括：
处理器；以及
与处理器耦接的存储器，用于存储指令，所述指令在由处理器执行时使处理器执行如第一方面所述的确定与由自主驾驶车辆的多个传感器覆盖的多个覆盖区域相关联的风险分布的方法。
在第四方面中，提供一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如第一方面所述的确定与由自主驾驶车辆的多个传感器覆盖的多个覆盖区域相关联的风险分布的方法。
根据本公开，可以有效地估计自主驾驶系统的风险。
附图说明
本公开的实施例通过示例的方式示出并且不限于附图中的图，在附图中相同的附图标记表示相似的元件。
图1是示出根据一个实施例的联网系统的框图。
图2是示出根据一个实施例的自主车辆的示例的框图。
图3A-3B是示出根据一个实施例的与自主车辆一起使用的感知和规划系统的示例的框图。
图4是示出根据一个实施例的安全冗余自主驾驶系统的示例的框图。
图5A是示出根据一个实施例的自主驾驶车辆的传感器系统布局的示例的框图。
图5B是示出根据一个实施例的与传感器系统布局相关联的绘制的风险分布的示例的框图。
图6是示出根据一个实施例的风险估计的示例方法的流程图。
图7是示出根据一个实施例的生成绘制的风险分布的示例方法的流程图。
图8是示出根据一个实施例的计算和更新传感器覆盖区域内的风险分布的示例方法的流程图。
图9是示出根据一个实施例的数据处理系统的框图。
具体实施方式
将参考以下讨论的细节描述本公开的各个实施例和方面，并且附图将示出各个实施例。以下描述和附图是本公开的说明并且不应被解释为限制本公开。描述了许多具体细节以提供对本公开的各个实施例的全面理解。然而，在某些情况下，为了提供对本公开的实施例的简要讨论，没有描述公知或常规的细节。
说明书中对“一个实施例”或“实施例”的引用意味着结合实施例描述的特定特征、结构或特性可包括在本公开的至少一个实施例中。在说明书中的各个地方出现的短语“在一个实施例中”不一定都指同一实施例。
根据一些实施例，公开了一种安全冗余自主驾驶系统(autonomous drivingsystem，ADS)。系统可以包括用于动态驾驶任务(dynamic driving task，DDT)的性能导向的主ADS和用于DDT后备的专注安全的备用ADS的限定系统能力。系统可用于演示如何根据各个传感器性能的MTBF(mean time between failure，平均故障间隔时间)确定传感器系统的风险。
在一个方面，描述了一种确定与由自主驾驶车辆(ADV)的传感器覆盖的覆盖区域相关联的风险分布的方法。方法包括对于由ADV的至少一个传感器覆盖的每个覆盖区域，获得覆盖该覆盖区域的传感器的MTBF数据。方法还包括基于传感器的MTBF数据来确定覆盖区域的平均故障间隔时间(MTBF)。方法还包括基于所确定的覆盖区域的MTBF来计算与覆盖区域相关联的性能风险。方法还包括基于计算出的与多个覆盖区域相关联的性能风险来确定风险分布。
在一个实施例中，方法还包括确定ADV是否以自主驾驶(AD)模式操作。响应于确定ADV在AD模式下操作，方法还包括启动AD模式计时器。方法还包括确定AD模式计时器是否到达覆盖区域的MTBF。方法还包括确定覆盖区域的MTBF是否已经超时。响应于确定覆盖区域的MTBF已经超时，方法还包括监视覆盖区域内的传感器的性能极限。
在一个实施例中，方法还包括确定是否检测到传感器的性能极限。响应于确定检测到一个或多个传感器的性能极限，方法进一步包括确定性能极限是否是永久的。响应于确定性能极限是永久的，方法还包括将覆盖区域标记为无效。否则，响应于确定性能极限不是永久的，方法还包括将覆盖区域标记为有效。
在一个实施例中，与覆盖区域相关联的性能风险是覆盖区域的MTBF的倒数。在一个实施例中，传感器可以包括以下中的至少一个：与ADV的主自主驾驶系统(ADS)通信的主传感器，与ADV的次ADS通信的冗余传感器，或与主ADS和次ADS通信的共享传感器。在另一个实施例中，传感器可以包括第一传感器和第二传感器，并且覆盖区域的MTBF是第一传感器的MTBF和第二传感器的MTBF的乘积，假设第一传感器和第二传感器不同时失效或经历极限。
在一个实施例中，传感器包括360度光探测和测距(light detection and range，LIDAR)单元、多个相机、多个侧LIDAR单元、前向雷达单元、后向雷达单元、和冗余前向LIDAR单元。相机和360度LIDAR单元可以仅由ADV的主自主驾驶系统(ADS)使用。侧LIDAR单元以及前向雷达单元和后向雷达单元可以在ADV的主ADS和次ADS之间共享。冗余前向LIDAR单元可以仅由次ADS使用。
图1是示出根据本公开的一个实施例的自主车辆网络配置的框图。参照图1，网络配置100包括可以通过网络102通信耦接到一个或多个服务器103-104的自主车辆101。尽管示出了一个自主车辆，但是多个自主车辆可以彼此耦接和/或通过网络102耦接到服务器103-104。网络102可以是任何类型的有线或无线网络，例如局域网(LAN)、广域网(WAN)(例如Internet)、蜂窝网络、卫星网络或其组合。服务器103-104可以是任何种类的服务器或服务器集群，例如Web或云服务器、应用程序服务器、后端服务器或其组合。服务器103-104可以是数据分析服务器、内容服务器、交通信息服务器、地图和兴趣点(MPOI)服务器或位置服务器等。
自主车辆是指可以配置为处于自主模式的车辆，在自主模式下，车辆在驾驶员很少或没有驾驶的情况下在环境中导航。这种自主车辆可以包括具有一个或多个传感器的传感器系统，一个或多个传感器被配置为检测关于车辆在其中运行的环境的信息。车辆及其关联的控制器使用检测到的信息在环境中导航。自主车辆101可以在手动模式、完全自主模式或部分自主模式下操作。
在一个实施例中，自主车辆101包括但不限于感知和规划系统110、车辆控制系统111、无线通信系统112、用户接口系统113和传感器系统115。自主车辆101还可包括在普通车辆中包括的某些通用部件，例如发动机、车轮、方向盘、变速器等，可以由车辆控制系统111和/或感知和规划系统110使用各种通信信号和/或命令，例如加速信号或命令、减速信号或命令、转向信号或命令、制动信号或命令等来控制这些部件。
组件110-115可以经由互连、总线、网络或其组合在通信上彼此耦接。例如，组件110-115可以经由控制器局域网(CAN)总线彼此通信耦接。CAN总线是一种车辆总线标准，被设计为允许微控制器和设备在没有主机的应用中相互通信。它是基于消息的协议，最初是为车辆内的多路电气布线而设计的，但也用于许多其他情况。
现在参考图2，在一个实施例中，传感器系统115包括但不限于一个或多个相机211、全球定位系统(GPS)单元212、惯性测量单元(IMU)213、雷达单元214以及光检测和测距(LIDAR)单元215。GPS系统212可以包括收发器，收发器可操作以提供关于自主车辆的位置的信息。IMU单元213可以基于惯性加速度来感测自主车辆的位置和方向改变。雷达单元214可以表示利用无线电信号来感测自主车辆的局部环境内的对象的系统。在一些实施例中，除了感测对象之外，雷达单元214还可以感测对象的速度和/或前进方向。LIDAR单元215可以使用激光感测自主车辆所处的环境中的对象。LIDAR单元215可以包括一个或多个激光源、激光扫描仪以及一个或多个检测器以及其他系统组件。相机211可以包括一个或多个设备以捕获自主车辆周围的环境的图像。相机211可以是静物照相机和/或摄像机。相机可以是机械可移动的，例如通过将相机安装在旋转和/或倾斜的平台上。
传感器系统115还可包括其他传感器，例如，声纳传感器、红外传感器、转向传感器、油门传感器、制动传感器和音频传感器(例如，麦克风)。音频传感器可以被配置为从自主车辆周围的环境捕获声音。转向传感器可以被配置为感测车辆的方向盘、车轮或其组合的转向角。油门传感器和制动传感器分别感测车辆的油门位置和制动位置。在某些情况下，油门传感器和制动传感器可以集成为集成的油门/制动传感器。
在一个实施例中，车辆控制系统111包括但不限于转向单元201、油门单元202(也称为加速单元)和制动单元203。转向单元201用于调整车辆的方向或行驶方向。油门单元202用于控制电动机或发动机的速度，进而控制车辆的速度和加速度。制动单元203通过提供摩擦以使车辆的车轮或轮胎减速来使车辆减速。注意，图2中所示的组件可以以硬件、软件或其组合来实现。
再次参考图1，无线通信系统112允许自主车辆101与外部系统(例如设备、传感器、其他车辆等)之间的通信。例如，无线通信系统112可以直接或通过通信网络与一个或多个设备无线通信，例如，通过网络102与服务器103-104通信。无线通信系统112可以使用任何蜂窝通信网络或无线局域网(WLAN)，例如使用WiFi与另一个组件或系统进行通信。无线通信系统112可以例如使用红外链路、蓝牙等与设备(例如，乘客的移动设备、显示设备、车辆101中的扬声器)直接通信。用户接口系统113可以是在车辆101内实现的外围设备的一部分，包括例如键盘、触摸屏显示设备、麦克风和扬声器等。
自主车辆101的某些或全部功能可以由感知和规划系统110控制或管理，特别是在以自主驾驶模式操作时。感知和规划系统110包括必要的硬件(例如，处理器、内存、存储器)和软件(例如，操作系统、规划和路由程序)，以从传感器系统115、控制系统111、无线通信系统112和/或用户接口系统113接收信息，处理接收到的信息，规划从起点到目的地点的路线或路径，然后基于规划和控制信息驾驶车辆101。可替代地，感知和规划系统110可以与车辆控制系统111集成。
例如，作为乘客的用户可以例如经由用户接口指定行程的起始位置和目的地。感知和规划系统110获得行程相关数据。例如，感知和规划系统110可以从MPOI服务器获得位置和路线信息，MPOI服务器可以是服务器103-104的一部分。位置服务器提供位置服务，MPOI服务器提供地图服务和某些位置的POI。可替代地，这样的位置和MPOI信息可以本地缓存在感知和规划系统110的永久性存储设备中。
当自主车辆101沿着路线行驶时，感知和规划系统110还可以从交通信息系统或服务器(TIS)获得实时交通信息。注意，服务器103-104可以由第三方实体操作。可替代地，服务器103-104的功能可以与感知和规划系统110集成。基于实时交通信息、MPOI信息和位置信息以及由传感器系统检测或感测的实时本地环境数据(例如，障碍物、对象、附近的车辆)，感知和规划系统110可以规划最佳路线，并例如经由控制系统111根据规划的路线驾驶车辆101以安全有效地到达指定目的地。
图3A和3B是示出根据一个实施例的与自主车辆一起使用的感知和规划系统的示例的框图。系统300可以被实现为图1的自主车辆101的一部分，包括但不限于感知和规划系统110、控制系统111和传感器系统115。参照图3A-3B，感知和规划系统110包括但不限于定位模块301、感知模块302、预测模块303、决策模块304、规划模块305、控制模块306、路由模块307和安全冗余监控模块308。
模块301-308中的一些或全部可以以软件、硬件或其组合来实现。例如，这些模块可以被安装在永久性存储设备352中、被加载到存储器351中，并且由一个或多个处理器(未示出)执行。注意，这些模块中的一些或全部可以通信耦接到图2的车辆控制系统111的一些模块或与之集成。模块301-308中的一些可以被集成在一起，作为集成模块。
定位模块301确定自主车辆300的当前位置(例如，利用GPS单元212)，并管理与用户的行程或路线有关的任何数据。定位模块301(也称为地图和路线模块)管理与用户的行程或路线有关的任何数据。用户可以例如通过用户接口登录并指定行程的开始位置和目的地。定位模块301与自主车辆300的其他组件通信，例如与地图和路线信息311通信，以获得与行程相关的数据。例如，定位模块301可以从位置服务器以及地图和POI(MPOI)服务器获得位置和路线信息。位置服务器提供位置服务，MPOI服务器提供地图服务和某些位置的POI，可以将其缓存为地图和路线信息311的一部分。当自主车辆300沿路线行驶时，定位模块301还可从交通信息系统或服务器获取实时交通信息。
基于传感器系统115提供的传感器数据和定位模块301获得的定位信息，感知模块302确定对周围环境的感知。感知信息可以表示与普通驾驶员在驾驶该车辆时对周围车辆的感知相同的信息。所述感知可包括例如车道配置、交通信号灯、另一车辆的相对位置、行人、建筑物、人行横道或其他与交通有关的标志(例如禁止通行标志、让路标志)等，例如以对象的形式。车道配置包括描述一个或多个车道的信息，例如，车道的形状(例如笔直或弯曲)、车道的宽度、道路中有多少个车道、单向或双向车道、合并或拆分车道以及出口车道等。
感知模块302可以包括计算机视觉系统或计算机视觉系统的功能，以处理和分析由一个或多个相机捕获的图像，以便识别自主车辆的环境中的对象和/或特征。对象可以包括交通信号、道路边界、其他车辆、行人和/或障碍物等。计算机视觉系统可以使用对象识别算法、视频追踪和其他计算机视觉技术。在一些实施例中，计算机视觉系统可以绘制环境、追踪对象并估计对象的速度等。感知模块302还可以基于由诸如雷达和/或LIDAR的其他传感器提供的其他传感器数据来检测对象。
对于每个对象，预测模块303预测在当前情况下对象将表现出什么。预测是基于感知数据根据一组地图/路线信息311和交通规则312进行的，感知数据感知在时间点处的驾驶环境。例如，如果对象是在相反方向行驶的车辆且当前驾驶环境包括交叉路口，则预测模块303将预测车辆是否将可能直线行驶或转弯。如果感知数据指示交叉路口没有交通灯，则预测模块303可以预测车辆可能必须在进入交叉路口之前完全停止。如果感知数据指示车辆当前位于仅左转车道或仅右转车道，则预测模块303可分别预测车辆将更可能左转或右转。
对于每个对象，决策模块304做出关于如何处理对象的决策。例如，对于特定对象(例如在十字路口中的另一辆车辆)及其描述对象的元数据(例如速度、方向、转弯角度)，决策模块304决定处理如何遇到该对象(例如超车、让路、停止、通过)。决策模块304可以根据可以存储在永久性存储设备352中的一组规则(诸如交通规则或驾驶规则312)做出这样的决策。
路由模块307被配置为提供从起点到目的地的一条或多条路线或路径。对于例如从用户接收到的从起始位置到目的地位置的给定行程，路由模块307获得路线和地图信息311，并确定从起始位置到达目的地位置的所有可能的路线或路径。路由模块307可以针对其确定的从起始位置到达目的地位置的每条路线生成地形图形式的参考线。参考线是指理想的路线或路径，不受其他车辆、障碍物或交通状况等其他因素的干扰。也就是说，如果道路上没有其他车辆、行人或障碍物，则ADV应该准确或紧密地遵循参考线。然后将地形图提供给决策模块304和/或规划模块305。决策模块304和/或规划模块305根据其他模块提供的其他数据，检测所有可能的路线以选择和修改最佳路线中的一个，其他模块提供的其他数据诸如来自定位模块301的交通状况，感知模块302感知的驾驶环境以及预测模块303预测的交通状况。根据时间点处的特定驾驶环境，用于控制ADV的实际路径或路线可以接近或不同于由路由模块307提供的参考线。
基于针对感知到的每个对象的决策，规划模块305利用路由模块307提供的参考线作为基础来规划自主车辆的路径或路线以及驾驶参数(例如距离、速度和/或转弯角度)。也就是说，对于给定的对象，决策模块304决定如何处理对象，而规划模块305确定怎么做。例如，对于给定的对象，决策模块304可以决定通过该对象，而规划模块305可以确定是在对象的左侧还是在右侧通过。规划和控制数据由规划模块305生成，规划和控制数据包括描述车辆300将如何在下一运动周期(例如下一路线/路径段)中移动的信息。例如，规划和控制数据可以指示车辆300以每小时30英里(mph)的速度移动10米，然后以25mph的速度改变到右车道。
基于规划和控制数据，控制模块306根据规划和控制数据所定义的路线或路径，通过向车辆控制系统111发送适当的命令或信号来控制和驾驶自主车辆。规划和控制数据包括足够的信息，以便在沿路径或路线的不同时间点使用适当的车辆设置或驾驶参数(例如，油门、制动、转向指令)将车辆从路线或路径的第一点驾驶到第二点。
在一个实施例中，在多个规划周期(也称为驾驶周期)中执行规划阶段，例如在每个100毫秒(ms)的时间间隔中。对于每个规划周期或驾驶周期，将基于规划和控制数据发出一个或多个控制命令。即，对于每100毫秒，规划模块305规划下一路线段或路径段，例如包括目标位置和ADV到达目标位置所需的时间。可替代地，规划模块305可以进一步指定特定的速度、方向和/或转向角等。在一个实施例中，规划模块305规划下一预定时间段(例如5秒)的路线段或路径段。对于每个规划周期，规划模块305基于在先前周期中规划的目标位置来规划当前周期(例如，接下来的5秒)的目标位置。然后，控制模块306基于当前周期的规划和控制数据来生成一个或多个控制命令(例如油门、制动、转向控制命令)。
注意，决策模块304和规划模块305可以被集成为集成模块。决策模块304/规划模块305可以包括导航系统或导航系统的功能，以确定用于自主车辆的驾驶路径。例如，导航系统可以确定一系列速度和前进方向，以在驱使自主车辆沿着通往最终目的地的基于道路的路径前进时，对沿着基本上避开感知到的障碍物的路径移动的自主车辆产生影响。可以根据经由用户接口系统113的用户输入来设置目的地。导航系统可以在自主车辆运行时动态地更新驾驶路径。导航系统可以合并来自GPS系统的数据和一个或多个地图，以便确定自主车辆的行驶路径。
继续参考图3A，传感器MTBF数据313可以包括传感器系统115中每个传感器(例如，相机211、雷达单元214、LIDAR 215、声纳传感器、红外传感器等)的MTBF信息。在一个实施例中，传感器MTBF数据313可以被预确定并预加载到永久存储设备352中。基于传感器MTBF数据313，风险估计模块308可以评估自主驾驶车辆101的风险承受能力。也就是说，在车辆101以自主驾驶(AD)模式操作期间，模块308可以在传感器系统115达到其MTBF之前连续实时地估计与传感器系统115相关联的性能风险。例如，对于传感器系统115内的每个传感器，模块308可以将与传感器相关联的性能风险量化地表示为(1/MTBF)。MTBF是指在传感器系统115(或系统115内的传感器)运行期间，传感器系统115(或系统115内的传感器)发生故障之间经过的时间。MTBF可以以小时、分钟、秒或任何合适的度量单位进行测量。估计的性能风险可以作为传感器性能风险314的一部分存储在永久存储设备352中。
基于传感器的估计的性能风险，当车辆101在AD模式下沿着路线行驶时，风险分布生成模块309可以在一段时间内生成风险分布315(可以存储在永久存储设备352或远程服务器，例如服务器103/104上)。例如，模块309可以使用传感器的估计的性能风险来计算与传感器所覆盖的不同覆盖区域相关联的性能风险。计算的区域相关联的风险可以用于生成风险分布315，这可以在车辆101以AD模式操作时被实时更新。在下文中参照图5B更详细地描述与风险分布315有关的方面。
图4是示出根据一个实施例的安全冗余ADS的示例的框图。参照图4，在一些实施例中，自主驾驶车辆101可以包括安装在其上的安全冗余ADS 400。如图所示，系统400包括主ADS 410(也称为DDT系统)和次ADS 411(也称为备用或DDT后备系统)，每个系统包括感知和规划系统110(如前所述)。在一个实施例中，主ADS 410用于为确保整体系统性能，而次ADS411用于专注于多样化的安全保证。
在一个实施例中，主ADS 410的感知和规划系统110可以从第一传感器系统115(其可以包括主传感器，诸如相机、雷达单元、LIDAR单元等)接收传感器数据，以及次ADS 411的感知和规划系统110可以从第二传感器系统115(其可以包括冗余传感器，诸如相机、雷达单元、LIDAR单元等)接收传感器数据。如图所示，主ADS 410和次ADS 411的感知和规划系统还可以从共享传感器401(例如，相机、雷达单元、LIDAR单元等)接收传感器数据。基于来自第一和第二系统115以及共享传感器401的传感器数据，主ADS 410和次ADS 411可以在内部相互通信以通过向控制系统111发送命令或信号(例如运动致动器命令)来驾驶车辆101。先前已经描述了系统110、111和115的方面，并且为了简洁起见，将不再描述。
图5A是示出根据一个实施例的自主驾驶车辆的传感器系统布局的示例的图。参照图5A，自主驾驶车辆101可以包括安装在其上的一个或多个传感器系统(例如，与系统410相关联的第一传感器系统115、与系统411相关联的第二传感器系统115以及图4的共享传感器401)。在图5A所示的车辆101的传感器系统布局中，相机和360度LIDAR单元可以由主ADS410单独使用，侧LIDAR单元和前向/后向雷达单元可以在主ADS 410和次ADS 411之间共享，冗余前向LIDAR单元可以仅由次ADS 411使用。作为示例，车辆101可以包括覆盖区域501的360度传感器(例如，第一传感器系统115的360度LIDAR单元)。区域502可以被后视侧传感器(例如，第一传感器系统115的后视侧相机)覆盖，区域503可以被后向共享传感器(例如，共享传感器401的共享雷达单元)覆盖，区域504可以被后向传感器(例如，第一传感器系统115的后向相机)覆盖，区域505可以被后视侧传感器(例如，第一传感器系统115的后视侧相机)覆盖，区域506可以被侧视共享传感器(例如，共享传感器401的侧视共享LIDAR单元)覆盖，区域507可以被前视侧传感器(例如，第一传感器系统115的前视侧相机)覆盖，区域508可以被前向冗余传感器(例如，第二传感器系统115的前向冗余LIDAR单元)覆盖，区域509可以被前向共享传感器(例如，共享传感器401的前向共享雷达单元)覆盖，区域510可以被前向传感器(例如，第一传感器系统115的前向相机)覆盖，区域511可以被前视侧传感器(例如，第一传感器系统115的前视侧相机)覆盖，区域512可以被侧视共享传感器(例如，共享传感器401的侧视共享LIDAR单元)覆盖。
图5A的前述传感器系统布局在一定程度上展示了冗余和多样化。但是，为了安全地部署具有这样的安全冗余ADS的SAE L4自主驾驶车辆，了解自主车辆周围的风险分布变得至关重要。如前所述，MTBF可用于得出与单个传感器及其算法相关的风险。但是，与MTBF相关联的故障并非来自ADS内部硬件故障。相反，这些故障来自暴露于ODD时传感器的性能极限，这种性能极限可以是永久性的也可以是暂时性的。每个传感器(连同其用于解释传感器数据的相应算法)具有其相应的MTBF来描述其性能。如前所述，在达到其MTBF之前，每个传感器具有相关的性能风险，这可以量化为(1/MTBF)。当达到MTBF时，传感器可能会遇到故障或极限，可以是永久性或暂时性的。如果没有其他安全措施，很难区分暂时性故障和永久性故障。因此，从那点开始连续使用传感器系统可能有出现单点故障的高风险。类似地，如果覆盖区域(或范围)被两个传感器(例如，传感器A和传感器B)覆盖，则可以将组合的MTBF计算为MTBF(组合)＝MTBF(A)*MTBF(B)。因此，可以将组合性能风险计算为1/(MTBF(A)*MTBF(B))。超出MTBF(组合)以外，如果没有采取额外的安全措施，则可能发生单点故障。
图5B是示出根据一个实施例的与图5A的传感器系统布局相关联的绘制的风险分布的示例的图。如图所示，在风险分布中，覆盖区域501-512中的每个与一个或多个性能风险(其可以包括组合的性能风险)相关联。例如，覆盖区域501与性能风险531相关联，性能风险531可以是360度LIDAR单元的性能风险。这样，风险531可以表示为10-l，其中l是小写的LIDAR的第一个字母。类似地，区域502与性能风险532相关联，并且由于区域502被360度传感器和后视侧传感器覆盖，因此风险532可以表示为(10-c x 10-l)，其中c是小写的camera的第一个字母。
覆盖区域503可分为三个子部分。区域503的第一子部分与风险536相关联，风险536可以是后向共享传感器与主ADS 410通信的性能风险。因此，风险536可以表示为10-r。区域503的第二子部分与风险537相关联，风险537可以是后向共享传感器与主ADS 410和次ADS 411通信的组合性能风险。因此，风险537可以表示为10-2r，其中r是小写的RADAR的首字母。类似于第一子部分，区域503的第三子部分与风险538相关联，风险538可以是后向共享传感器与主ADS 410通信的性能风险。因此，风险538也可以表示为10-r。
覆盖区域504也可以分为三个子部分。例如，区域504的第一子部分与风险533相关联，风险533可以是后向传感器(例如，相机)和360度传感器(例如，LIDAR单元)的组合性能风险。因此，风险533可以表示为(10-c x 10-l)。区域504的第二子部分与风险534相关联，风险534可以是后向传感器、360度传感器和后向共享传感器的组合风险。这样，风险534可以表示为(10-c x 10-l x 10-r)。区域504的第三子部分与风险535相关联，风险535可以是后向传感器和侧视共享传感器(例如，LIDAR单元)的组合风险。因此，风险535也可以表示为(10-cx 10-l)。
覆盖区域505与性能风险539相关联，性能风险539可以是后视侧传感器(例如，相机)和侧视共享传感器(例如，LIDAR单元)的组合性能风险。因此，风险539也可以表示为(10-c x 10-l)。区域506与风险541相关联，风险541可以是(i)侧视共享传感器和(ii)后视侧传感器或前视侧传感器的组合性能风险。因此，风险541可以表示为(10-c x 10-l)。覆盖区域507与风险540相关联，风险540可以是前视侧传感器和侧视共享传感器的组合性能风险。因此，风险540可以表示为(10-c x 10-l)。
覆盖区域508与风险542相关联，风险542可以是：(i)前向冗余传感器(例如，LIDAR单元)，(ii)两个前向传感器(例如，相机)，(iii)侧视共享传感器(例如，LIDAR单元)，以及(iv)前向共享传感器(例如，雷达单元)的组合风险。因此，风险542可以表示为(10-2c x 10-rx 10-2l)。
覆盖区域509可以被分成两个子部分。区域509的第一子部分可以与风险543相关联，风险543可以是(i)两个前向传感器(例如，相机)和(ii)前向共享传感器(例如，雷达单元)的组合性能风险。因此，风险543可以表示为(10-2c x 10-r)。区域509的第二子部分可以与风险544相关联，风险544可以是前向传感器(例如，相机)和前向共享传感器(例如，雷达单元)的组合性能风险。因此，风险544可以表示为(10-c x 10-r)。
最外面的区域510与风险545相关联，风险545可以是前向传感器(例如，相机)的性能风险。因此，风险545可以表示为10-c。覆盖区域511与风险546相关联，风险546可以是前视侧传感器(例如，相机)和侧视共享传感器(例如，LIDAR单元)的组合性能风险。因此，风险546可以表示为(10-c x 10-l)。覆盖区域512与风险547相关联，风险547可以是(i)侧视共享传感器(例如，LIDAR单元)和(ii)后视侧传感器(例如，相机)或前视侧传感器(例如相机)的组合性能风险。因此，风险547也可以表示为(10-c x 10-l)。注意，虽然未在图5B中示出，但是风险分布还可以包括在时间跨度内适当的(例如，不导致单点故障)性能风险。
在此，前述等式中的c、r和l是大于或等于0的整数值。例如，如果传感器(例如，相机、LIDAR单元、雷达单元)的MTBF以小时为单位并且传感器的ODD操作时间为1,000小时，则c(为相机而设)、r(为雷达单元而设)或l(为LIDAR单元而设)将等于3。
图6是示出根据一个实施例的风险估计的示例方法的流程图。方法600可以通过硬件、软件或两者的组合来执行。例如，方法600可以由图3A的风险估计模块308执行。
参照图6，在框610中，对于由ADV的至少一个传感器覆盖的每个覆盖区域，获得覆盖该覆盖区域的传感器的MTBF数据。在框620处，基于MTBF数据来估计(或计算)每个传感器的性能风险。
图7是示出根据一个实施例的生成绘制的风险分布的示例方法的流程图。方法700可以由硬件、软件或两者的组合来执行。例如，方法700可以由图3A的风险分布生成模块309执行。
参照图7，在框710，对于由ADV的至少一个传感器覆盖的每个覆盖区域，基于传感器的MTBF数据确定覆盖区域的MTBF。在框720处，基于所确定的覆盖区域的MTBF来计算与覆盖区域相关联的性能风险。在框730处，基于所计算的与覆盖区域相关联的性能风险来确定风险分布。
图8是示出根据一个实施例的计算和更新传感器覆盖区域内的风险分布的示例方法的流程图。方法800可以由硬件、软件或两者的组合来执行。例如，方法800可以由图3A的风险估计模块308和/或风险分布生成模块309执行。
参照图8，在框801处，加载传感器覆盖区域数据(例如，航空图像、土地覆盖数据、数字高程模型等)。在一些实施例中，传感器覆盖区域数据可以是规则或不规则网格、点云和/或网片的形式。在框802处，读取每个传感器的MTBF数据，并将MTBF数据与相关的传感器覆盖区域(或覆盖面积)相关联。在框803处，从传感器的MTBF数据计算传感器覆盖区域的MTBF和风险。在框804处，确定自主驾驶车辆(例如，图1的车辆101)是否以AD模式操作。如果是，则在框805处，启动AD模式计时器，或者如果先前已经启动，重新开始AD模式计时器。否则，方法800进行到框813。在框806处，对于每个传感器覆盖区域，确定AD模式计时器是否达到传感器覆盖区域的MTBF。在框807处，确定传感器覆盖区域的MTBF是否已超时。如果是，则方法800进行至框808。否则，方法800进行至框813。在框808处，监视传感器覆盖区域内的传感器性能极限。在框809处，确定是否检测到传感器的性能极限。如果是，则方法800进行到框810。否则，方法800进行到框813。在框810处，确定传感器的性能极限是否是永久的。如果是，则方法800进行到框811以将传感器覆盖区域标记为无效。否则，方法800进行到框812以将传感器覆盖区域标记为有效。在方框813，确定路线是否完成。如果是，则方法800结束。否则，方法800返回到框801。
注意，如上所示和所述的一些或所有组件可以用软件、硬件或其组合实现。例如，这些组件可以被实现为安装并存储在永久存储设备中的软件，软件可以由处理器(未示出)加载并执行在存储器中以执行贯穿本申请所述的过程或操作。可替换地，这些组件可被实现为被编程或嵌入到专用硬件中的可执行代码，专用硬件诸如集成电路(例如，专用IC或ASIC)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)，可执行代码可经由来自应用的对应驱动器和/或操作系统访问。此外，这些组件可以被实现为处理器或处理器内核中的特定硬件逻辑，作为经由一个或多个特定指令软件组件可访问的指令集的一部分。
图9为说明可与本发明的一个实施例一起使用的数据处理系统的示例的框图。例如，系统1500可以代表执行上述任何过程或方法的上述任何数据处理系统，例如感知和规划系统110或图1的服务器103-104中的任何一个。系统1500可以包括许多不同的组件。这些组件可以实现为集成电路(IC)，其部分，分立电子设备或适合于电路板的其他模块，例如计算机系统的主板或附加卡，或实现为以其他方式并入计算机机箱中的其他组件。
还应注意，系统1500旨在示出计算机系统的许多组件的高级视图。然而，应当理解，在某些实施方式中可以存在附加组件，此外，在其他实施方式中可以出现所示组件的不同布置。系统1500可以代表台式机、笔记本电脑、平板电脑、服务器、移动电话或图1的系统110-115中的任何一个。此外，虽然仅示出了单个机器或系统，但是术语“机器”或“系统”也应视为包括任何机器或系统的集合，单独或共同执行一组(或多组)指令，以执行此处讨论的任何一种或多种方法。
在一个实施例中，系统1500包括经由总线或互连1510连接的处理器1501、存储器1503和设备1505-1508。处理器1501可以表示单个处理器或具有包括的单个处理器核心或多个处理器核心的多个处理器。处理器1501可以代表一个或多个通用处理器，诸如微处理器、中央处理单元(CPU)，或类似的。更具体地，处理器1501可以是复杂指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令字(VLIW)微处理器、或实现其他指令集的处理器、或实现指令集组合的处理器。处理器1501也可以是一个或多个专用处理器，例如专用集成电路(ASIC)、蜂窝或基带处理器、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、网络处理器、图形处理器、通信处理器、密码处理器、协处理器、嵌入式处理器或能够处理指令的任何其他类型的逻辑。
处理器1501可以是低功率多核处理器插座，例如超低压处理器，它可以充当主处理单元和中央集线器，用于与系统的各个组件进行通信。可以将这种处理器实现为片上系统(SoC)。处理器1501用于为执行本文讨论的操作和步骤的指令。系统1500可以进一步包括与可选图形子系统1504通信的图形界面，可选图形子系统1504可以包括显示控制器、图形处理器和/或显示设备。
处理器1501可以与存储器1503通信，在一个实施例中，存储器可以经由多个存储器设备来实现，以提供给定数量的系统存储器。存储器1503可以包括一个或多个易失性存储(或存储器)设备，诸如随机存取存储器(RAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、静态RAM(SRAM)或其他类型的存储设备。存储器1503可以存储包括由处理器1501或任何其他设备执行的指令序列的信息。例如，各种操作系统的可执行代码和/或数据、设备驱动器、固件(例如，输入输出基本系统或BIOS)和/或应用程序可以被加载到存储器1503中并由处理器1501执行。可以是任何种类的操作系统，例如，机器人操作系统(ROS)、的/>操作系统、Apple的Mac/>的/>LINUX、UNIX或其他实时或嵌入式操作系统。
系统1500可以进一步包括诸如设备1505-1508之类的IO设备，包括网络接口设备1505、可选输入设备1506和其他可选IO设备1507。网络接口设备1505可以包括无线收发器和/或网络接口卡(NIC)。无线收发器可以是WiFi收发器、红外收发器、蓝牙收发器、WiMax收发器、无线蜂窝电话收发器、卫星收发器(例如，全球定位系统(GPS)收发器)或其他射频(RF)收发器、或其组合。NIC可以是以太网卡。
输入设备1506可以包括鼠标、触摸板、触敏屏幕(可以与显示设备1504集成)、诸如触笔的指示设备和/或键盘(例如，物理键盘或虚拟键盘作为触敏屏幕的一部分显示)。例如，输入设备1506可以包括耦接到触摸屏的触摸屏控制器。触摸屏和触摸屏控制器可以例如使用多种触摸敏感技术中的任何一种来检测其接触以及其移动或休息，包括但不限于电容、电阻、红外和表面声波技术、以及其他接近传感器阵列或其他元素，用于确定与触摸屏的一个或多个接触点。
IO设备1507可以包括音频设备。音频设备可以包括扬声器和/或麦克风，以启用语音的功能，例如语音识别、语音复制、数字记录和/或电话功能。其他IO设备1507可以进一步包括通用串行总线(USB)端口、并行端口、串行端口、打印机、网络接口、总线桥(例如，PCI-PCI桥)、传感器(例如，运动传感器，如加速计、陀螺仪、磁力计、光传感器、指南针、近距离传感器等)或其组合。设备1507可以进一步包括成像处理子系统(例如，相机)，其可以包括一个光学传感器，例如，电荷耦接器件(CCD)或互补金属氧化物半导体(CMOS)光学传感器，用于促进相机功能，例如记录照片和视频剪辑。取决于系统1500的特定配置或设计，某些传感器可以经由传感器中枢(未示出)耦接到互连1510，而诸如键盘或热传感器之类的其他设备可以由嵌入式控制器(未示出)控制。
为了提供诸如数据、应用程序、一个或多个操作系统等信息的永久存储，大容量存储(未示出)也可以耦接至处理器1501。在各种实施例中，以实现更薄更轻的系统设计，并改善系统响应能力方面，可以通过固态设备(SSD)来实现这种大容量存储。然而，在其他实施例中，主要可以使用具有较少数量的SSD存储的硬盘驱动器(HDD)来实现大容量存储，以用作SSD高速缓存，以在断电期间实现背景状态和其他此类信息的非易失性存储事件，以便在重新启动系统活动时可以快速启动。闪存设备也可以例如经由串行外围接口(SPI)耦接到处理器1501。闪存设备可以提供系统软件的非易失性存储，包括BIOS以及系统的其他固件。
存储设备1508可以包括计算机可访问存储介质1509(也称为机器可读存储介质或计算机可读介质)，其上存储了一组或多组指令或软件(例如，模块、单元、和/或逻辑1528)体现本文所述的任何一种或多种方法或功能。处理模块/单元/逻辑1528可以代表上述任何组件，例如规划模块305、控制模块306、风险评估模块308和风险分布生成模块309。处理模块/单元/逻辑1528可以在由数据处理系统1500执行时，它们也完全或至少部分地驻留在存储器1503内和/或处理器1501内，存储器1503和处理器1501也构成机器可访问的存储介质。处理模块/单元/逻辑1528还可以经由网络接口设备1505在网络上发送或接收。
计算机可读存储介质1509也可以用于永久地存储上述一些软件功能。尽管在示例性实施例中将计算机可读存储介质1509示为单个介质，但是术语“计算机可读存储介质”应理解为包括单个介质或多个介质(例如，集中式或分布式数据库，和/或关联的缓存和服务器)来存储一组或多组指令。术语“计算机可读存储介质”也应被认为包括任何介质，能够存储或编码一组指令，以由机器执行并且使机器执行本发明的任何一个或多个方法。因此，术语“计算机可读存储介质”应被认为包括但不限于固态存储器、光学和磁性介质、或任何其他非暂时性机器可读介质。
本文描述的处理模块/单元/逻辑1528、组件和其他特征可以被实现为分立的硬件组件，或者被集成在诸如ASICS、FPGA、DSP或类似设备的硬件组件的功能中。另外，处理模块/单元/逻辑1528可以被实现为硬件设备内的固件或功能电路。此外，处理模块/单元/逻辑1528可以以任何组合的硬件设备和软件组件来实现。
注意，尽管系统1500示出了具有数据处理系统的各种组件，但是其并不旨在表示互连这些组件的任何特定架构或方式；因为这样的细节与本公开的实施例没有关系。还应当理解，具有更少的组件或者也许更多的组件的网络计算机、手持式计算机、移动电话、服务器和/或其他数据处理系统也可以与本公开的实施例一起使用。
已经关于对计算机存储器内的数据位的操作的算法和符号表示呈现了前述详细描述的一些部分。这些算法描述和表示是数据处理领域的技术人员用来最有效地将他们的工作实质传达给本领域的其他技术人员的方式。算法在这里并且通常被认为是导致期望结果的自洽操作序列。这些操作是需要对物理量进行物理操纵的那些操作。
然而，应当记住的是，所有这些和类似的术语都与适当的物理量相关联，并且仅仅是应用于这些量的方便的标记。除非特别声明，否则从以上讨论中显而易见的是，应当理解的是，在整个说明书中，使用诸如所附权利要求书中所阐述的术语的讨论指的是计算机系统或类似电子计算设备的动作和过程，所述计算机系统或类似电子计算设备将计算机系统的寄存器和存储器内的表示为物理(电子)量的数据操纵和变换成计算机系统存储器或寄存器或其它这样的信息存储、传输或显示设备内的类似地表示为物理量的其它数据。
本公开的实施例还涉及用于执行本文的操作的装置。这种计算机程序存储在非瞬态计算机可读介质中。机器可读介质包括用于以机器(例如，计算机)可读的形式存储信息的任何机制。例如，机器可读(例如，计算机可读)介质包括机器(例如，计算机)可读存储介质(例如，只读存储器(“ROM”)、随机存取存储器(“RAM”)、磁盘存储介质、光存储介质、闪存设备)。
在前述附图中描述的过程或方法可以由包括硬件(例如，电路、专用逻辑等)、软件(例如，体现在非暂时性计算机可读介质上)或两者的组合的处理逻辑来执行。尽管以上根据一些顺序操作描述了过程或方法，但是应当理解的是，可以以不同的顺序执行所述的一些操作。此外，一些操作可以并行地而不是顺序地执行。
本公开的实施例不是参考任何特别编程语言描述的。将了解，可使用各种编程语言实施如本文所述的本公开的实施例的教示。
在前述说明书中，已经参考本公开的具体示例性实施例描述了本公开的实施例。显然，在不背离如所附权利要求书中所阐述的本公开的更宽的精神和范围的情况下，可以对其进行各种修改。因此，说明书和附图应被认为是说明性的而不是限制性的。

Claims (6)

1.一种确定与由自主驾驶车辆ADV的多个传感器覆盖的多个覆盖区域相关联的风险分布的方法，所述方法包括：
对于ADV的至少一个传感器覆盖的每个覆盖区域，
获得覆盖所述覆盖区域的至少一个传感器的平均故障间隔时间MTBF数据，
基于至少一个传感器的MTBF数据，确定所述覆盖区域的MTBF，其中，所述至少一个传感器包括第一传感器和第二传感器，并且所述覆盖区域的MTBF是所述第一传感器的MTBF和所述第二传感器的MTBF的乘积，以及
基于确定的覆盖区域的MTBF，计算与覆盖区域相关联的性能风险，其中，与所述覆盖区域相关联的性能风险是所述覆盖区域的MTBF的倒数；以及
基于所计算的与多个覆盖区域相关联的性能风险来确定风险分布，其中，所述风险分布示出各个覆盖区域与性能风险的关联关系；
所述方法还包括：
确定ADV是否以自主驾驶AD模式操作；
响应于确定ADV以AD模式操作，启动AD模式计时器；
确定AD模式计时器是否达到覆盖区域的MTBF；
确定覆盖区域的MTBF是否已超时；以及
响应于确定覆盖区域的MTBF已超时，监视覆盖区域内至少一个传感器的性能极限。
2.根据权利要求1所述的方法，还包括：
确定是否检测到至少一个传感器的性能极限；
响应于确定检测到至少一个传感器的性能极限，确定性能极限是否是永久的；
响应于确定性能极限是永久的，将覆盖区域标记为无效；
否则，响应于确定性能极限不是永久的，将覆盖区域标记为有效。
3.根据权利要求1所述的方法，其中，所述至少一个传感器包括以下中的至少一个：与所述ADV的主自主驾驶系统ADS通信的主传感器，与所述ADV的次ADS通信的冗余传感器，或与主ADS和次ADS通信的共享传感器。
4.根据权利要求1所述的方法，其中，
至少一个传感器包括360度光探测和测距LIDAR单元、多个相机、多个侧LIDAR单元、前向雷达单元、后向雷达单元以及冗余前向LIDAR单元，
多个相机和360度LIDAR单元仅由ADV的主自主驾驶系统ADS使用，
在ADV的主ADS和次ADS之间共享多个侧LIDAR单元以及前向雷达单元和后向雷达单元，以及
冗余前向LIDAR单元仅由次ADS使用。
5.一种具有存储在其中的指令的非暂时性机器可读介质，所述指令在由处理器执行时使处理器执行如权利要求1-4中任一项所述的确定与由自主驾驶车辆的多个传感器覆盖的多个覆盖区域相关联的风险分布的方法。
6. 一种数据处理系统，包括：
处理器；以及
与处理器耦接的存储器，用于存储指令，所述指令在由处理器执行时使处理器执行如权利要求1-4中任一项所述的确定与由自主驾驶车辆的多个传感器覆盖的多个覆盖区域相关联的风险分布的方法。
CN202011566008.6A 2020-04-22 2020-12-25 基于传感器覆盖区域确定风险分布的系统和方法 Active CN112700645B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/855,283 US11702104B2 (en) 2020-04-22 2020-04-22 Systems and methods to determine risk distribution based on sensor coverages of a sensor system for an autonomous driving vehicle
US16/855,283 2020-04-22

Publications (2)

Publication Number Publication Date
CN112700645A CN112700645A (zh) 2021-04-23
CN112700645B true CN112700645B (zh) 2024-01-12

Family

ID=74103846

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011566008.6A Active CN112700645B (zh) 2020-04-22 2020-12-25 基于传感器覆盖区域确定风险分布的系统和方法

Country Status (3)

Country Link
US (1) US11702104B2 (zh)
EP (1) EP3901662A1 (zh)
CN (1) CN112700645B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11851088B2 (en) * 2020-03-11 2023-12-26 Baidu Usa Llc Method for determining capability boundary and associated risk of a safety redundancy autonomous system in real-time
US11554783B2 (en) * 2020-04-15 2023-01-17 Baidu Usa Llc Systems and methods to enhance early detection of performance induced risks for an autonomous driving vehicle
US20220388530A1 (en) * 2021-06-07 2022-12-08 Toyota Motor North America, Inc. Transport limitations from malfunctioning sensors

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10445928B2 (en) * 2017-02-11 2019-10-15 Vayavision Ltd. Method and system for generating multidimensional maps of a scene using a plurality of sensors of various types
US20200039531A1 (en) * 2017-03-21 2020-02-06 Koito Manufacturing Co., Ltd. Sensor module, sensor system, and method of installing sensor system in vehicle
US11325600B2 (en) * 2017-04-04 2022-05-10 Nissan Motor Co., Ltd. Vehicle control method and vehicle control device
US11214273B2 (en) * 2017-06-23 2022-01-04 Nvidia Corporation Method of using a single controller (ECU) for a fault-tolerant/fail-operational self-driving system
US10551838B2 (en) 2017-08-08 2020-02-04 Nio Usa, Inc. Method and system for multiple sensor correlation diagnostic and sensor fusion/DNN monitor for autonomous driving application
US10861251B2 (en) * 2017-12-11 2020-12-08 Ford Global Technologies, Llc Vehicle maintenance operation
US10558897B2 (en) * 2017-12-27 2020-02-11 Intel Corporation Context-based digital signal processing
GB2576206B (en) 2018-08-10 2021-01-06 Jaguar Land Rover Ltd Sensor degradation
US11199379B1 (en) * 2018-09-28 2021-12-14 Bae Systems Information And Electronic Systems Integration Inc. EOIR and RF sensors fusion and tracking using a dual EKFs system
US11208111B2 (en) * 2018-12-11 2021-12-28 Waymo Llc Redundant hardware system for autonomous vehicles
JP2020104547A (ja) * 2018-12-26 2020-07-09 株式会社日立製作所 外界センサの故障検出装置、及び、外界センサの故障検出方法

Also Published As

Publication number Publication date
EP3901662A1 (en) 2021-10-27
US20210331700A1 (en) 2021-10-28
CN112700645A (zh) 2021-04-23
US11702104B2 (en) 2023-07-18

Similar Documents

Publication Publication Date Title
CN109489673B (zh) 用于自动驾驶车辆的数据驱动地图更新系统
CN110794823B (zh) 预测自动驾驶车辆的对象移动的方法和系统
CN110345955B (zh) 用于自动驾驶的感知与规划协作框架
CN110727267B (zh) 具有冗余超声雷达的自动驾驶车辆
CN110239562B (zh) 自动驾驶车辆的基于周围车辆行为的实时感知调整与驾驶调适
CN108137015B (zh) 用于自动驾驶车辆的侧滑补偿控制方法
CN110597243B (zh) 自动驾驶车辆的基于v2x通信的车辆车道系统
CN110096053B (zh) 用于自动驾驶车辆的驾驶轨迹生成方法、系统和机器可读介质
CN108622003B (zh) 用于自动驾驶车辆的碰撞预测以及安全气囊预先展开系统
CN108891417B (zh) 用于操作自动驾驶车辆的方法及数据处理系统
CN108733046B (zh) 用于自动驾驶车辆的轨迹重新规划的系统和方法
CN110349416B (zh) 用于自动驾驶车辆(adv)的基于密度的交通灯控制系统
CN110621541B (zh) 用于生成轨迹以操作自动驾驶车辆的方法和系统
CN110096054B (zh) 用于使用多个线程生成用于自动驾驶车辆的参考线的方法和系统
CN109491378B (zh) 自动驾驶车辆的基于道路分段的路线引导系统
CN108628298B (zh) 用于自动驾驶车辆的控制型规划和控制系统
CN112700645B (zh) 基于传感器覆盖区域确定风险分布的系统和方法
CN109085818B (zh) 基于车道信息控制自动驾驶车辆的车门锁的方法和系统
CN111857119A (zh) 用于停放自动驾驶车辆的停车管理架构
CN111830958B (zh) 用于操作自动驾驶车辆的方法、系统和机器可读介质
KR20210134853A (ko) 자율 주행 차량에 사용되는 터널에 기초한 계획 시스템
CN111830959A (zh) 用于操作自动驾驶车辆的方法、系统和机器可读介质
CN111328313B (zh) 用于自动驾驶车辆的控制占主导的三点转弯规划
CN111328385A (zh) 用于自动驾驶车辆的基于螺旋路径的三点转弯规划
EP3896490B1 (en) Systems and methods to enhance early detection of performance induced risks for an autonomous driving vehicle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant