CN110936959A - 车辆感知系统在线诊断和预测 - Google Patents

车辆感知系统在线诊断和预测 Download PDF

Info

Publication number
CN110936959A
CN110936959A CN201910454603.1A CN201910454603A CN110936959A CN 110936959 A CN110936959 A CN 110936959A CN 201910454603 A CN201910454603 A CN 201910454603A CN 110936959 A CN110936959 A CN 110936959A
Authority
CN
China
Prior art keywords
vehicle
sensor
data
controller
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910454603.1A
Other languages
English (en)
Other versions
CN110936959B (zh
Inventor
胡峣
W-c·林
佟维
P·E·克拉热夫斯基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN110936959A publication Critical patent/CN110936959A/zh
Application granted granted Critical
Publication of CN110936959B publication Critical patent/CN110936959B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205—Diagnosing or detecting failures; Failure detection models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/008—Registering or indicating the working of vehicles communicating information to a remotely located station
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0808—Diagnosing performance data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205—Diagnosing or detecting failures; Failure detection models
    • B60W2050/0215—Sensor drifts or sensor failures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明题为“车辆感知系统在线诊断和预测”。本发明公开了一种自主车辆感知系统的在线诊断和预测评估方法，该方法包括经由传感器检测车辆外部的对象的物理参数。该方法还包括经由传感器将表示物理参数的数据传送到电子控制器。该方法附加包括将来自传感器的数据与表示由地理源模型生成的物理参数的数据进行比较。该方法还包括将由感知软件在分析来自传感器的数据期间生成的结果与表示来自地理源模型的物理参数的标注进行比较。此外，该方法包括利用传感器数据与地理源模型数据的比较结果以及软件结果与地理源模型标注的比较结果，针对对象的物理参数生成地面实况的预测评估。本发明还公开了一种用于车辆感知系统的在线评估的系统。

Description

车辆感知系统在线诊断和预测
背景技术
本公开涉及用于自主车辆的感知系统的在线诊断和预测。
车辆自动化涉及使用机电一体化、人工智能和多智能体系统来辅助车辆驾驶员。可以将这些特征以及采用这些特征的车辆标记为是智能的。可以将利用自动化来执行复杂任务(尤其是导航)的车辆称为是半自动车辆。因此，将完全依赖于自动化的车辆称为机器人车辆或自主车辆。制造商和研究人员目前正在为汽车和其他车辆添加各种自动化功能。
通常将车辆的自主程度分为不同等级，诸如，1级-驾驶员辅助-在这种级别下，车辆在特定情况下可以自主控制转向或速度以辅助驾驶员；2级-部分自动化-在这种级别下，车辆在特定情况下可以自主控制转向和速度两者以辅助驾驶员；3级-有条件自动化-在这种级别下，车辆在正常环境条件下可以自主控制转向和速度两者，但需要驾驶员监督；4级-高度自动化-在这种级别下，车辆可以在正常环境条件下自主完成规定的行程，不需要驾驶员监督；以及5级-完全自主-在这种级别下，车辆可以在任何环境条件下自主完成规定的行程。
车辆自主需要越来越复杂的感知系统，该感知系统包括用于检测宿主车辆周围的对象和其他障碍物的各种光学设备和多个传感器，以及用于解译捕获数据的机载软件。此类设备和软件输出的实时诊断和验证对于建立关于车辆周围环境的地面实况(通过直接观察(即，经验证据)提供的信息)以及对自主车辆的可靠控制可能是有利的。
发明内容
一种自主车辆感知系统的在线诊断和预测评估方法包括经由传感器检测定位在车辆外部的对象的物理参数。该方法还包括经由传感器将表示物理参数的数据传送到包括感知软件的电子控制器。该方法附加包括将来自传感器的数据与表示由地理源模型生成的物理参数的数据进行比较。该方法还包括将由感知软件在分析来自传感器的数据期间生成的结果与表示来自地理源模型的物理参数的标注进行比较。此外，该方法包括：利用来自传感器的数据与来自地理源模型的数据的比较结果以及由软件生成的结果与来自地理源模型的标注的比较结果，针对对象的物理参数生成地面实况的预测评估。
该方法可以附加包括：经由控制器，根据由感知软件生成的结果和来自地理源模型的标注之间的一致性，对该结果和该标注进行分组和加权。
该针对对象的物理参数生成地面实况的预测评估的操作可以附加包括利用分组和加权来识别传感器和地理源模型的可信度。
该针对对象的物理参数生成地面实况的预测评估的操作可以附加包括使用所识别的传感器和地理源模型的可信度。
该方法可以附加包括：利用所生成的地面实况的预测评估，经由控制器评估传感器中故障的存在情况；以及确定来自传感器的数据与来自地理源模型的数据之间的误差。
该方法还可以包括：利用所生成的地面实况的预测评估，经由控制器评估软件中故障的存在情况；以及确定软件生成的结果与来自地理源模型的标注之间的误差。
对象的物理参数可以是对象类型、对象位置和对象尺寸或大小中的至少一者。
传感器可以包括布置在自主车辆上的车辆传感器和布置在自主车辆外部的非车辆传感器。
自主车辆可以是控制器和车辆传感器的宿主车辆，并且非车辆传感器可以布置在过客车辆上。
车辆传感器可以包括至少一个光学装置，并且该光学装置可以是光收集器(诸如，相机或激光传感器)或光发射器(诸如，LIDAR)。
还公开了一种用于采用上述方法的自主车辆在线感知系统的在线诊断和预测评估的系统。
在以下结合附图和所附权利要求对用于执行所述公开的一个或多个实施方案和一个或多个最佳模式的详细描述中，本公开的上述特征和优点以及其他特征和优点将变得显而易见。
附图说明
图1是根据本公开的采用感知系统的自主机动车辆的平面图，该感知系统具有电子控制器和用于感知系统的在线诊断和预测评估的系统，其中，诊断系统使用来自各种传感器和地理源的数据的比较结果。
图2是根据本公开的用于图1中所示的自主机动车辆感知系统的在线诊断和预测评估的系统的示意图。
图3是根据本公开的示出由感知系统软件生成的结果与来自由地理源生成的模型的标注的示例性比较和分析的流程图。
图4是根据本公开的基于针对对象的物理参数的地面实况的预测评估的分级感知系统软件结果和地理源模型标注的示例性表格。
图5是根据本公开的图1至图4中所示的自主车辆感知系统的在线诊断和预测评估方法的流程图。
具体实施方式
参考附图，其中类似的附图标记指代类似的部件，图1示出了自主机动车辆10的示意图。如本文所用的术语“自动”通常是指使用机电一体化、人工智能和多智能体系统来为车辆驾驶员控制主题车辆提供不同程度的辅助。此类自动化可以包括从车辆系统在特定环境下自主控制转向或速度以辅助驾驶员直到并包括避免驾驶员参与的完全自动化的整个辅助范围。
如图所示，自主机动车辆10具有车身12。车身12可以具有前侧或前端12-1、左侧车身12-2、右侧车身12-3、尾侧或后端12-4、顶侧或部分(诸如顶篷)12-5、以及底侧或底盘12-6。车辆10可以用于相对于一般景观或地形14通过路面。车辆10可以包括多个车轮16。尽管图1中示出了四个车轮16，但还设想了具有更少或更多车轮或者具有通过路面或地形14的其他部分的其他装置(诸如，履带(未示出))的车辆。
车辆10使用采用机电一体化、人工智能和多智能体系统来辅助车辆驾驶员的感知系统18。感知系统18可以采用用于执行复杂任务(尤其是导航)的此类特征和各种数据源，以半自主地操作车辆10，或者完全依靠自动化来操作车辆以使其具有机器人或完全自主的能力。如图1所示，作为感知系统18的一部分，多个车辆传感器20布置在车身12上并且用作促进车辆10的自动化操作的数据源。因此，可以将自主车辆10识别为一个或多个车辆传感器20的宿主车辆。此类车辆传感器20可以例如包括安装到车身12的声学或光学装置。图1中示出了通过相应标号20A和20B标识的光学装置的各种实施方案。具体地讲，此类光学装置可以是光发射器20A或光收集器/接收器20B。光学装置20的发射器20A实施方案或接收器20B实施方案可以安装到车身侧12-1、12-2、12-3、12-4、12-5和12-6中的一者。
具体地讲，如图1所示，光学装置20可以是用于光学雷达(LIDAR)系统的激光束源，并且具体地通过标号20A来标识。LIDAR是一种测量和遥感方法，该方法通过用脉冲激光(诸如，经由上述光学装置)照射目标并利用一个或多个嵌入式传感器21测量反射的脉冲来测量与目标的距离。然后可以利用激光返回时间和波长的差异来实现目标的数字3D表示。LIDAR通常用于制作高分辨率地图，以应用于各种科学学科，诸如地理信息学、地理学、大气物理学和激光制导。还经常将LIDAR技术用于自主车辆(诸如，车辆10)的控制和导航。LIDAR通常将激光束分成多个光束，以用于检测与源相距不同距离的对象。这种分离光束配置允许LIDAR实现对环境的空间检测和描述。因此，就LIDAR而言，光学装置是光发射器20A。
主题光学装置20的其他示例可以是用于自适应巡航控制系统的激光传感器或相机(同样在图1中示出)，具体地经由标号20B标识该激光传感器或相机。通常在机动车辆(诸如，车辆10)上使用自适应巡航控制来自动调节车辆速度，以与前方行驶的其他车辆保持安全距离。此类系统可以使用雷达或激光传感器和/或立体相机设置来检测车辆10何时接近前方行驶的另一车辆。主题系统的检测以及生成的信号允许车辆10及时制动并且然后在交通疏通或再次开始流通时加速，或者识别出现道路上或车辆10附近的对象。因此，就自适应巡航控制而言，光学装置是光收集器或接收器20B。一般来讲，车辆传感器20中的每一者均被配置为检测对象22的至少一个物理参数，该对象可以例如作为地形14的一部分定位在车辆10的外部。对象22可以是无生命物体(诸如树、建筑物、道路或交通标志)、动物或人。代表性对象22的示例性物理参数可以是对象类型、对象位置、定义对象大小和形状的对象尺寸、以及对象与车辆10的距离。车辆10附近的地形14可以包括多个对象(如图3所示)，诸如对象22，关于该对象的信息可以用于帮助识别一个或多个传感器20的可信度或可靠性。如本文所用的术语“可信度”通常是指硬件(例如传感器)和相关联软件在建立关于车辆周围环境的地面实况(即，可以通过直接观察或经验证据获得的信息)方面的可靠性。
每个传感器20还被配置为捕获表示对象22的一个或多个物理参数的数据，并且将数据传送到数据处理器，该数据处理器可以是下文将详细描述的电子控制器的一部分。另一传感器或另一组传感器200可以定位在自主车辆10的外部。具体地讲，如图1中所示，一个或多个传感器200可以布置在一个或多个车辆100上，该一个或多个车辆与自主车辆10不同并且因此定位在该自主车辆的外部。因此，当车辆100进入车辆10附近的区域(例如，车辆10周围的地形14的特定或预定区域)时，可以将一个或多个车辆100识别为过客车辆。因此，可以将一个或多个传感器200识别为相对于车辆10的一个或多个非车辆传感器，同时可以将自主车辆10识别为一个或多个车辆传感器20的宿主车辆。类似于一个或多个传感器20，每个传感器200被配置为捕获表示对象22的一个或多个物理参数的数据，并且传输该数据使得该数据可用于从一个或多个传感器20接收数据的相同数据处理器。
如图1所示，感知系统18还包括可编程电子控制器24。尽管控制器24被描绘为布置在自主车辆10上，使得车辆10是控制器24的宿主，但可以另选地相对于车辆远程布置主题控制器。控制器24包括有形且非暂态的存储器。存储器可以是参与提供计算机可读数据或处理指令的可记录介质。此类介质可以采用许多形式，包括但不限于非易失性介质和易失性介质。控制器24使用的非易失性介质可以包括例如光盘或磁盘以及其他永久存性储器。易失性介质可以包括例如动态随机存取存储器(DRAM)，该动态随机存取存储器可以构成主存储器。此类指令可以由一个或多个传输介质来传输，该一个或多个传输介质包括同轴电缆、铜线和光纤，光纤包括包括耦合到计算机的处理器的系统总线的线。控制器24的存储器还可以包括软盘、硬盘、磁带、其他磁介质、CD-ROM、DVD、其他光学介质等。控制器24可以配备有高速主时钟、必要的模数(A/D)和/或数模(D/A)电路、输入/输出电路和器件(I/O)、以及合适的信号调节和/或缓冲电路。控制器24所需的算法或可由其访问的算法可以存储在存储器中，并且自动执行以提供所需功能。
控制器24可以被配置为(即，被构造和编程为)从传感器20和200中的任一者接收指示对象22的一个或多个物理参数的数据信号并处理该数据信号。具体地用感知软件26对控制器24进行编程，该感知软件可以包括被配置为评估来自传感器20和200的传入数据的人工智能(AI)算法。感知软件26通常将被配置为分析和解译来自传感器20的物理参数数据。例如，感知软件26可以被配置为定义对象22在X-Y-Z坐标系(图1中所示)中的定位，并且利用预先训练的AI算法识别对象22。控制器24还与地理源28诸如Google地球计算机程序进行通信，该Google地球计算机程序基于由地球轨道卫星29(如图1所示)生成的图像呈现地球的模拟3D表示，该模拟3D表示具有表示地形14的数据模型，该数据模型包含表示对象22的物理参数的数据。控制器24被配置为使用地理源28，并且是用于增强和交叉核对从传感器20和200中任一者收集的数据的附加数据源。
另外，外部控制器24A和/或信息技术(IT)云平台24B(如图1所示)可以用于与控制器24进行通信，以协调和管理包括车辆10和100的车队的操作。通常，IT云平台是由提供商管理的硬件和软件套件。IT模式使得能够实现对可配置系统资源和更高级别服务的共享池的通用访问，可以利用最少的管理工作通常通过网络快速地提供该共享池。此外，云计算依赖于资源共享来实现一致性和规模经济，这类似于公共事业。
如图1所示，车辆10还包括用于自主车辆10感知系统18的在线诊断和预测评估的系统30。在本公开的上下文中，术语“在线”表示诊断和预测在感知系统18的常规操作(即，自主车辆10在路上执行常规任务)期间进行。此外，在本文中“在线”与用于诊断和预测的“离线”解决方案形成对照，该“离线”解决方案将与目标车辆的常规操作分开(即，在时间上分开)执行。控制器24、外部控制器24A和IT云平台24B中的每一者均可以是系统30的一部分。在此类实施方案中，外部控制器24A和IT云平台24B可以具体地被配置为接收所生成的表示来自传感器20和200的数据的传感信号。
控制器24、外部控制器24A和/或IT云平台24B之间的适当通信可以经由地球轨道卫星29来实现。系统30采用编程到控制器24中的算法，来将表示来自至少车辆传感器20以及任选的一个或多个传感器200的对象22的一个或多个物理参数的数据与表示由地理源28模型生成(即，模拟)的对象22的相同物理参数的数据进行比较。表示来自一个或多个传感器20和200的对象22的一个或多个物理参数的数据可以与由地理源28模型针对静止对象逐点生成的数据进行比较。
参考图3，控制器24还被配置或编程为将感知软件26在来自至少车辆传感器20的数据的分析和解译期间生成的结果20-1和任选的来自一个或多个传感器200的结果200-1与来自地理源28模型的表示主题物理参数的标注28-1进行比较。一般来讲，由于不同的传感器定位和自然产生的图像差异，可能无法直接对来自两个不同传感器的图像进行比较。可以直接对软件26生成的结果20-1、200-1进行比较，同时地理源28模型能够模拟对象22的图像或点位置。因此，由控制器24执行的比较使用传感器20、200的结果20-1、200-1和地理源28模型的标注28-1。控制器24还被编程为针对对象22的物理参数生成地面实况的预测评估。
利用来自至少一个或多个车辆传感器20或来自一个或多个车辆传感器20和一个或多个非车辆传感器200的数据与来自地理源28模型的数据的比较结果以及感知软件26生成的结果20-1、200-1与来自地理源模型的标注28-1的比较结果来实现地面实况的此类评估。此外，此类评估与识别到可以依赖于哪些传感器20、200、感知软件26和地理源28模型来实现针对对象22物理参数的地面实况的可信评估。除用于对象22的数据之外，系统30还可以使用用于车辆10附近(例如，相对于地形14)的其他对象(如图3所示)的数据，来辅助识别一个或多个传感器20、200、感知软件26和地理源28模型的可靠性。
为此，控制器24可以被进一步编程为根据两者间的一致性，对感知软件26针对相应一个或多个传感器20、200生成的结果20-1、200-1和来自地理源28模型的标注28-1进行分组和加权。具体地讲，控制器24可以从一个或多个传感器20、200的阵列、软件26和地理源28模型中选择源并对该资源进行分组，这些源的结果20-1、200-1和标注28-1一致，诸如在预定的数值范围内。另外，控制器24可以基于其相应源(即，一个或多个传感器20、200和地理源28模型)的可信度和可靠性将预定权重应用于结果20-1、200-1和标注28-1中的每一者。例如，一般来讲，相机20B具有比LIDAR 20A更高的分辨率，因此，将认为相机比LIDAR更准确。因此，与来自LIDAR 20A的结果20-1相比，来自相机20B的结果20-1将被分配更高的预定权重。在此类权重分配之后，将确定和评估具有彼此一致的结果的每组源的总权重。具有相应一致结果的一组源的较高总权重表示这组源具有更可信且更可靠的结果20-1、200-1和标注28-1。因此，来自具有最高总权重的组的结果20-1、200-1和标注28-1将被认为是最可信的，并且被确定为提供针对对象22的物理参数的地面实况的预测评估。
具体地讲，控制器24可以将相对较高的权重应用于其中上述分组结果与大多数其他结果一致(即，彼此一致)的组，因此该组被认为是可信的或可靠的。类似地，控制器24可以将相对较低的权重应用于其中结果20-1、200-1和标注28-1看起来是异常值(即，与大多数其他结果不一致)的组，因此该组被认为是可疑的。一般来讲，认为与地面实况的预测评估不一致的结果20-1、200-1和标注28-1是可疑的。基于上述对结果20-1、200-1和标注28-1的分组和加权，控制器24可以相对于所识别的对象22进一步执行对一个或多个所采用的传感器20、200和地理源28模型的可信度的评估。图3中描绘了此类分析的示例。通过对结果20-1、200-1和标注28-1进行分组和加权以识别和选择最可信或最可靠的数据源，控制器24可以针对相应对象22的物理参数执行地面实况的预测评估。
针对对象22的物理参数生成的地面实况的预测评估可以用于随后评估车辆传感器20或非车辆传感器200中故障的存在情况。此类故障评估可以包括：将来自此类传感器20、200的数据与来自地理源28模型的数据进行比较；以及确定来自主题传感器的数据与来自地理源模型的数据之间的误差或差异。如果来自主题传感器20或200的数据与来自地理源28模型的数据之间的确定误差超出了预定的允许误差范围，并且基于上述分组和加权确定标注28-1与地面实况的预测评估一致，则可以将该特定传感器识别为是可疑的。例如，如果相应传感器20或200的结果20-1或200-1与地理源28模型的标注28-1不同，则传感器20、200或地理源28模型可能是可疑的。因此，如果标注28-1在利用地面实况的预测评估所识别的组中，则标注28-1是可信的，并且因此传感器20也是可信的。此外，提供与标注28-1的结果不同的结果20-1、200-1的传感器20、200将被视为是可疑的。如果传感器20、200已经被识别为是可疑的，则无论感知软件26针对主题传感器生成的结果如何，来自该传感器的数据均可能不合格。在这种情况下，可以使用其余的被识别为可靠的一个或多个传感器20、200和/或地理源28模型来执行比较以及进一步的分析。
针对对象22的物理参数生成的地面实况的预测评估还可以用于随后评估感知软件26中故障的存在情况。此类故障评估可以包括：将软件26生成的结果20-1、200-1与来自地理源28模型的标注28-1进行比较；以及确定软件生成的结果与来自地理源模型的标注之间的差异。如上所述，这种故障评估还可以包括：对结果20-1、200-1和标注28-1进行分组和加权，以确定地面实况的预测评估。如果确定的软件26针对相应一个或多个传感器20、200生成的结果20-1、200-1与地面实况的预测评估之间的差异超出预定的允许误差范围，则感知软件26或特定传感器中可能存在故障。无论哪种方式，针对一个或多个主题传感器20、200的软件26结果20-1、200-1均可以被识别为是可疑的。
在生成的结果20-1、200-1可疑的情况下，如果来自特定传感器20、200的数据已经被识别为不可疑(即，可信)，则与生成可疑结果20-1、200-1的特定传感器20、200相关联的软件26可能被识别为是可疑的。如果来自特定传感器20、200的数据和软件结果均被识别为是可疑的，则主题传感器可能被取消用于进一步分析的资格。因此，系统30能够识别所确定的不准确性是源于传感器20、200(即，硬件)还是源于感知软件26。
如果通过分组和加权将结果20-1、200-1识别为与地面实况一致，但与来自地理源28模型的标注28-1不一致，则可以将该地理源模型标记为可疑，并且取消该地理源模型用于进一步分析的资格。可以将上述评估的结果统计在用于相应传感器20、200和地理源28模型的此类分级感知系统软件26结果20-1、200-1和标注28-1的表32中，例如，如图4所示。表32可以存储在控制器24、控制器24A或IT云平台24B中。然后，控制器24可以访问主题表32，以从一个或多个传感器20、200和地理源28中选择可靠的数据源，从而针对特定对象22的物理参数生成地面实况的预测评估。
图5描绘了自主车辆10感知系统18的在线诊断和预测评估方法300，如上文相对于图1至图4所描述的。方法300可以经由包括感知软件26并且用适当算法编程的电子控制器24来执行。方法300在框302中发起，其中，车辆10相对于包括对象22的地形14定位或物理穿过包括对象22的地形14。在框302之后，该方法前进至框304，其中该方法包括经由一个或多个传感器20、200检测定位在车辆10外部的对象22的物理参数。在框304中，该方法还包括经由一个或多个传感器20、200将表示主题物理参数的数据传送到电子控制器24。
在框304之后，该方法前进至框306。在框306中，该方法包括经由控制器24将表示来自一个或多个传感器20、200的物理参数的数据与表示由地理源28模型生成的相同物理参数的数据进行比较。在框306之后，该方法前进至框308。在框308中，该方法包括：经由控制器24将感知软件26在分析和解译来自一个或多个车辆传感器20、200的数据期间生成的结果20-1、200-1与到表示来自地理源28模型的物理参数的标注28-1进行比较。在框308之后，该方法可以前进至框310。在框310中，该方法包括：经由控制器24，根据两者间的一致性，对感知软件26生成的结果20-1、200-1和来自地理源28模型的标注28-1进行分组和加权，如相对于图1至图4所描述的。
在框308或框310之后，该方法前进至框312。在框312中，该方法包括：经由控制器24，利用来自一个或多个传感器20、200的数据与来自地理源28模型的数据的比较结果，来针对对象22的物理参数生成地面实况的预测评估。在框312中，针对对象22的物理参数的地面实况的预测评估还使用感知软件26生成的结果20-1、200-1与来自地理源28模型的标注28-1的比较结果。在框312中，如相对于图1至图2所描述的，针对对象22的物理参数生成地面实况的预测评估可以包括利用分组和加权来识别一个或多个传感器20、200和地理源28模型的可信度。
在框312中，针对对象22的物理参数生成地面实况的预测评估可以附加包括使用所识别的一个或多个传感器20、200和地理源28模型的可信度。如上文相对于图1至图4所描述的，除用于对象22的数据之外，该方法还可以使用用于车辆10附近(即，定位在地形14中)的其他对象(如图3所示)的数据，来辅助识别一个或多个传感器20、200、感知软件26和地理源28模型的可信度或可靠性。
在框312之后，该方法可以前进到框314或框316。
在框314中，针对对象22物理参数生成的地面实况的预测评估可以用于评估一个或多个传感器20、200中故障的存在情况并且用于确定来自传感器的数据与来自地理源28模型的数据之间的误差或差异。另外，在框316中，针对对象20物理参数生成的地面实况的预测评估可以用于评估软件26中故障的存在情况并且用于确定软件生成的结果与来自地理源模型的标注之间的误差。在框312、314或316中的一者之后，该方法可以返回到框304。
具体实施方式和附图是对本公开的支持和描述，但本公开的范围仅由权利要求来限定。尽管已经详细描述了用于执行要求保护的公开内容的一些最佳模式和其他实施方案，但存在用于实践所附权利要求中限定的本公开的各种替代设计和实施方案。此外，附图中示出的实施方案或本说明书中提到的各种实施方案的特征并非必须被理解为彼此独立的实施方案。而是，能够将实施方案的一个示例中描述的特征中每一者与来自其他实施方案的一个或多个其他期望特征组合，从而得到未以文字或通过参考附图描述的其他实施方案。因此，此类其他实施方案在所附权利要求的范围内。

Claims (10)

1.一种具有传感器的自主车辆感知系统的在线诊断和预测评估的方法，所述方法包括：
经由所述传感器检测定位在所述车辆外部的对象的物理参数；
经由所述传感器将表示所述物理参数的数据传送到包括感知软件的电子控制器；
经由所述控制器将来自所述传感器的所述数据与表示由地理源模型生成的所述物理参数的数据进行比较；
经由所述控制器将由所述感知软件在分析来自所述传感器的所述数据期间生成的结果与表示来自所述地理源模型的所述物理参数的标注进行比较；以及
利用来自所述传感器的所述数据与来自所述地理源模型的所述数据的比较结果以及由所述软件生成的所述结果与来自所述地理源模型的所述标注的比较结果，经由所述控制器针对所述对象的所述物理参数生成地面实况的预测评估。
2.根据权利要求1所述的方法，还包括：经由所述控制器，根据由所述感知软件生成的结果和来自所述地理源模型的标注之间的一致性，对所述结果和所述标注进行分组和加权。
3.根据权利要求2所述的方法，其中，所述针对所述对象的所述物理参数生成所述地面实况的所述预测评估附加包括利用所述分组和加权来识别所述传感器和所述地理源模型的可信度。
4.根据权利要求3所述的方法，其中，所述针对所述对象的所述物理参数生成所述地面实况的所述预测评估包括利用所识别的所述车辆传感器和所述地理源模型的可信度。
5.根据权利要求1所述的方法，还包括：利用所生成的所述地面实况的预测评估，经由所述控制器评估所述传感器中故障的存在情况；以及确定来自所述传感器的所述数据与来自所述地理源模型的所述数据之间的误差。
6.根据权利要求1所述的方法，还包括：利用所生成的所述地面实况的预测评估，经由所述控制器评估所述软件中故障的存在情况；以及确定由所述软件生成的所述结果与来自所述地理源模型的所述标注之间的误差。
7.根据权利要求1所述的方法，其中，所述对象的所述物理参数是对象类型、对象位置和对象尺寸中的至少一者。
8.根据权利要求1所述的方法，其中，所述传感器包括布置在所述自主车辆上的车辆传感器和布置在所述自主车辆外部的非车辆传感器。
9.根据权利要求8所述的方法，其中，所述自主车辆是所述控制器和所述车辆传感器的宿主车辆，并且所述非车辆传感器布置在过客车辆上。
10.根据权利要求1所述的方法，其中，所述传感器包括至少一个光学装置，并且其中所述光学装置是光收集器和光发射器中的一者。
CN201910454603.1A 2018-09-24 2019-05-28 车辆感知系统在线诊断和预测 Active CN110936959B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/139782 2018-09-24
US16/139,782 US10974730B2 (en) 2018-09-24 2018-09-24 Vehicle perception system on-line diangostics and prognostics

Publications (2)

Publication Number Publication Date
CN110936959A true CN110936959A (zh) 2020-03-31
CN110936959B CN110936959B (zh) 2023-04-25

Family

ID=69725637

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910454603.1A Active CN110936959B (zh) 2018-09-24 2019-05-28 车辆感知系统在线诊断和预测

Country Status (3)

Country Link
US (1) US10974730B2 (zh)
CN (1) CN110936959B (zh)
DE (1) DE102019114371A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11074539B2 (en) * 2018-10-02 2021-07-27 General Motors Llc Vehicle usage assessment of drivers in a car sharing service
CN111192378B (zh) * 2018-11-15 2022-01-28 中兴通讯股份有限公司 一种车辆移动识别方法、装置及车辆告警系统
US11037382B2 (en) * 2018-11-20 2021-06-15 Ford Global Technologies, Llc System and method for evaluating operation of environmental sensing systems of vehicles
DE102022206511A1 (de) 2022-06-28 2023-12-28 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Steuern eines Ego-Fahrzeugs

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030060939A1 (en) * 2001-09-27 2003-03-27 The Boeing Company Method and computer program product for estimating at least one state of a dynamic system
WO2004019293A2 (de) * 2002-08-23 2004-03-04 Ibeo Automobile Sensor Gmbh Verfahren und vorrichtung zur ueberwachung der umgebung eines gegenstandes mit einstellbaren ueberwachungskriterien
US20070067078A1 (en) * 2005-09-16 2007-03-22 Salman Mutasim A State-of-health monitoring and fault diagnosis with adaptive thresholds for integrated vehicle stability system
CN106482772A (zh) * 2015-08-28 2017-03-08 罗伯特·博世有限公司 识别至少一个第一交通运输工具的至少一个第一传感器的至少一个传感器故障的方法和设备
US20170169627A1 (en) * 2015-12-09 2017-06-15 Hyundai Motor Company Apparatus and method for failure diagnosis and calibration of sensors for advanced driver assistance systems
US20180025558A1 (en) * 2016-07-19 2018-01-25 GM Global Technology Operations LLC Detection and reconstruction of sensor faults
DE102016221440A1 (de) * 2016-11-02 2018-05-03 Robert Bosch Gmbh Verfahren zur Diagnose von Umfeld-Sensorsystemen in Fahrzeugen

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7660437B2 (en) * 1992-05-05 2010-02-09 Automotive Technologies International, Inc. Neural network systems for vehicles
US7769513B2 (en) * 2002-09-03 2010-08-03 Automotive Technologies International, Inc. Image processing for vehicular applications applying edge detection technique
US7738678B2 (en) * 1995-06-07 2010-06-15 Automotive Technologies International, Inc. Light modulation techniques for imaging objects in or around a vehicle
US9060164B2 (en) * 2012-09-12 2015-06-16 Xerox Corporation Intelligent use of scene and test pattern analyses for traffic camera diagnostics
US10311593B2 (en) * 2016-11-16 2019-06-04 International Business Machines Corporation Object instance identification using three-dimensional spatial configuration
US10296828B2 (en) * 2017-04-05 2019-05-21 Here Global B.V. Learning a similarity measure for vision-based localization on a high definition (HD) map
US10600257B2 (en) * 2017-08-28 2020-03-24 GM Global Technology Operations LLC Method and apparatus for monitoring of an autonomous vehicle

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030060939A1 (en) * 2001-09-27 2003-03-27 The Boeing Company Method and computer program product for estimating at least one state of a dynamic system
WO2004019293A2 (de) * 2002-08-23 2004-03-04 Ibeo Automobile Sensor Gmbh Verfahren und vorrichtung zur ueberwachung der umgebung eines gegenstandes mit einstellbaren ueberwachungskriterien
US20070067078A1 (en) * 2005-09-16 2007-03-22 Salman Mutasim A State-of-health monitoring and fault diagnosis with adaptive thresholds for integrated vehicle stability system
CN106482772A (zh) * 2015-08-28 2017-03-08 罗伯特·博世有限公司 识别至少一个第一交通运输工具的至少一个第一传感器的至少一个传感器故障的方法和设备
US20170169627A1 (en) * 2015-12-09 2017-06-15 Hyundai Motor Company Apparatus and method for failure diagnosis and calibration of sensors for advanced driver assistance systems
US20180025558A1 (en) * 2016-07-19 2018-01-25 GM Global Technology Operations LLC Detection and reconstruction of sensor faults
DE102016221440A1 (de) * 2016-11-02 2018-05-03 Robert Bosch Gmbh Verfahren zur Diagnose von Umfeld-Sensorsystemen in Fahrzeugen

Also Published As

Publication number Publication date
DE102019114371A1 (de) 2020-03-26
US20200094848A1 (en) 2020-03-26
CN110936959B (zh) 2023-04-25
US10974730B2 (en) 2021-04-13

Similar Documents

Publication Publication Date Title
CN110936959B (zh) 车辆感知系统在线诊断和预测
US10310087B2 (en) Range-view LIDAR-based object detection
CN111223135B (zh) 通过使用雷达和运动数据的单目相机来增强距离估计的系统和方法
CN107798699A (zh) 用立体图像进行深度图估计
CN110268413A (zh) 低电平传感器融合
WO2020123531A1 (en) Techniques for kinematic and dynamic behavior estimation in autonomous vehicles
JP2022513866A (ja) 領域外コンテキストを用いたオブジェクト分類
CN111742326A (zh) 车道线的检测方法、电子设备与存储介质
CN111398989A (zh) 驾驶辅助系统的性能分析方法和测试设备
KR20190001668A (ko) 차량의 주행 환경 인식 장치, 방법 및 시스템
EP3855205A1 (en) Perception performance evaluation of a vehicle adas or ads
RU2750243C2 (ru) Способ и система для формирования траектории для беспилотного автомобиля (sdc)
US11299169B2 (en) Vehicle neural network training
JP2018101295A (ja) 物体検知装置
US11820397B2 (en) Localization with diverse dataset for autonomous vehicles
CN114274972A (zh) 自主驾驶环境中的场景识别
US20230237783A1 (en) Sensor fusion
CN115249066A (zh) 分位数神经网络
US11983918B2 (en) Platform for perception system development for automated driving system
WO2023017625A1 (en) Drive device, vehicle, and method for automated driving and/or assisted driving
US11887317B2 (en) Object trajectory forecasting
CN115390868A (zh) 自动驾驶系统感知的开发
US11875615B2 (en) Odometry noise model fitting from fleet-scale datasets
US11166003B1 (en) Dynamic vibration sensor optics distortion prediction
US20230154313A1 (en) Sensor localization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant