CN112009483A - 用于高度和完全自动化驾驶的对象界面的冗余度信息 - Google Patents

用于高度和完全自动化驾驶的对象界面的冗余度信息 Download PDF

Info

Publication number
CN112009483A
CN112009483A CN202010475723.2A CN202010475723A CN112009483A CN 112009483 A CN112009483 A CN 112009483A CN 202010475723 A CN202010475723 A CN 202010475723A CN 112009483 A CN112009483 A CN 112009483A
Authority
CN
China
Prior art keywords
sensors
probability
sensor
vehicle
tracking unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010475723.2A
Other languages
English (en)
Inventor
T.B.古斯纳
T.V.基恩勒
J.C.穆勒
S.鲁特
O.F.施温特
A.埃尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN112009483A publication Critical patent/CN112009483A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0025Planning or execution of driving tasks specially adapted for specific operations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0043Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408Radar; Laser, e.g. lidar
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60Traffic rules, e.g. speed limits or right of way

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种用于车辆的驾驶员辅助或自动化驾驶的对象的可靠性的系统,所述系统包括多个传感器,其用于针对对象提供传感器数据,所述多个传感器包括一个或多个传感器模态。电子跟踪单元被配置成接收传感器数据以便:确定针对所述多个传感器中的每一个对于每个对象的检测概率(p_D),确定针对所述多个传感器中的每一个对于每个对象的存在概率(p_ex),并且基于针对所述多个传感器中的每个有贡献的传感器对于特定对象的存在概率(p_ex)来提供每个对象的向量。所述向量由电子跟踪单元提供,以用于在显示设备上显示为对象界面。所述向量独立于来自所述多个传感器的传感器数据。

Description

用于高度和完全自动化驾驶的对象界面的冗余度信息
相关申请的交叉引用
本申请要求2019年5月30日提交的美国临时申请62/854,729的优先权,该临时申请的公开内容通过引用以其整体并入本文中。
背景技术
在驾驶员辅助中和在自动化驾驶中,通常选择除其他之外以对象列表的形式的对车辆环境的表示。这些对象除其他之外描述了其他道路用户。在对象属性的基础上,一功能决定对其的反应是否应当出现以及应当如何出现。在该方面中的一个示例是当今的紧急制动系统(AEB系统),其识别与另一道路用户的碰撞是否即将发生,并且如果是,则相应地进行干预。由于环境感知可能是错误的,因此针对该对象来计算质量度量,并且由该功能使用质量度量来决定该对象是否足够可靠从而触发例如紧急制动。在当今驾驶员辅助系统(DA系统)或布置中使用的一种典型度量是对象存在概率。由于在AEB系统中必须避免假阳性干预,因此该功能通常仅对具有足够高的存在概率的对象作出反应,并且忽略所有其他对象。此外,在利用多个传感器来进行操作的AEB系统中,频繁地使用确认标志。仅当两个传感器都确认了该对象的情况下,才触发紧急制动。
由于必须避免假阳性和假阴性反应两者,因此对于自动化驾驶而言用于DA系统的该经尝试和测试的路径不再是可能的。不可以固定地选择假阳性(FP)与假阴性(FN)之间的权衡,而是该权衡取决于干预严重性。
由于自驾驶汽车具有冗余的传感器集合,因此对于每个对象,保持哪些传感器(例如雷达传感器、视频成像传感器、Lidar传感器)已经确认了所述对象的记录是可能的。取决于在FP与FN之间的权衡的适当表现(manifestation),仅考虑由一个传感器或由多个传感器看到的对象。
与此相关的进一步动机是,针对如依据来自国际标准协会的ISO 26262所定义的汽车安全完整性级别D(ASIL D)来评估的系统反应(例如,在高速减速的情况下从高速的紧急制动)。例如,包括从电气硬件错误的角度来看,单个ASIL B传感器的信息不足够可靠。
所描述的方法的缺点是时间方面。就这一点而言,可能发生的是,对象仅由这些传感器中的一个偶发地测量到,或者与该对象相关联的测量结果仅不确切地匹配(例如,偏离对象类型分类,在雷达传感器的情况下偏离多普勒速度)。特别地,在动态场景的情况下,感兴趣的内容不仅是对象的存在(也就是说,该对象是幻影对象还是真实对象),而且还有不同传感器已经多么一致地(consistently)测量到对象属性(特别是速度)。
发明内容
本文中的实施例描述了一种用于表示对象的可靠性的方法和系统,其具有以下属性:
1. 根据存在的传感器信号来估计对象的动态状态是多么的一致和可靠;
2. 使用概率性表示:不设置标志,而是计算连续值,取决于系统反应的临界状态(criticality),可以将不同的阈值固定到这些连续值;
3. 提供各种传感器配置,这是由于设想了不同数量的多样的传感器技术;
4. 对特定于传感器的知识进行封装,使得规划单元可以独立于关于所使用的传感器和传感器原理(principle)的知识来评估对象的冗余度/可靠性;
5. 为想要开发独立电子规划单元的客户提供对象界面。
出于该目的,在考虑到传感器对于每个对象的检测概率的情况下,计算特定于传感器类型的存在概率,并且随后将该概率转换成独立于传感器的存在概率向量。
此外,当评估对象的冗余度时,有必要考虑哪些传感器/测量原理实际上能够测量到对象(不仅是可见性范围,而且还有环境条件、传感器失明、退化、动态隐蔽性(concealment)等)。
在一个实施例中,一种通过检测被检测到的对象的可靠性的用于车辆的驾驶员辅助或自动化驾驶的系统包括:用于针对对象提供传感器数据的多个传感器,该多个传感器包括不同的传感器模态。该系统包括用于接收传感器数据的电子跟踪单元。电子跟踪单元被配置成处理传感器数据以便:确定针对该多个传感器中的每一个对于对象的检测概率(p_D),并且确定针对该多个传感器中的每一个对于对象的存在概率(p_ex)。电子跟踪单元还被配置成:基于针对该多个传感器中的每一个对于每个对象的存在概率(p_ex)来提供每个对象的向量,其中该向量包括针对该多个传感器中的所有有贡献的传感器对于每个对象的所有存在概率。该向量是独立于传感器的表示。
在另一个实施例中,提供了一种用于确定针对驾驶员辅助布置或自主车辆而检测到的对象的可靠性的系统。该系统包括:用于针对对象提供传感器数据的多个传感器,该多个传感器包括不同的传感器模态;以及用于接收传感器数据的电子跟踪单元。电子跟踪单元被配置成处理传感器数据以便:确定针对该多个传感器中的每一个对于每个对象的检测概率(p_D),确定针对该多个传感器中的每一个对于每个对象的存在概率(p_ex),并且基于针对该多个传感器中的所有有贡献的传感器对于每个对象的存在概率(p_ex)来提供每个对象的向量。显示设备将该向量显示为对象界面。
通过对详细描述和附图的考虑,其他方面、特征和实施例将变得清楚。
附图说明
图1图示了根据一个实施例的配备有车辆系统的车辆的框图。
图2图示了根据一个实施例的被设置在车辆周围的对象的对象界面。
图3图示了根据图2在不同时间处的被设置在车辆周围的对象的对象界面。
具体实施方式
在详细解释任何实施例之前,应当理解的是,本公开不意图在其应用方面被限制于在以下描述中阐述的或在以下附图中图示的组件的构造和布置的细节。实施例能够具有其他配置,并且能够以各种方式被实践或被执行。
可以使用多个基于硬件和软件的设备、以及多个不同的结构组件来实现各种实施例。此外,实施例可以包括硬件、软件和电子组件或模块,出于讨论的目的,它们可以被图示和描述为好像大多数组件仅以硬件来实现。然而,本领域普通技术人员并且基于对该详细描述的阅读而将认识到,在至少一个实施例中,可以以可由一个或多个电子控制器执行的软件(例如,被存储在非暂时性计算机可读介质上)来实现本发明的基于电子的方面。例如,说明书中描述的“单元”、“控制单元”和“控制器”可以包括一个或多个电子控制器、包括非暂时性计算机可读介质的一个或多个存储器、一个或多个输入/输出接口、一个或多个专用集成电路(ASIC)和其他电路、以及连接各种组件的各种连接(例如,导线、印刷迹线和总线)。
图1示出了用于跟踪对象、以及用于确定车辆附近的对象存在的可靠性的车辆系统20的框图。车辆系统20包括电子跟踪单元30。电子跟踪单元30包括连接到通信总线40的电子处理器34、存储器36和输入/输出(I/O)接口38。存储器36包括随机存取存储器(RAM)和只读存储器(ROM)中的至少一个或两者。电子跟踪单元30的电子处理器34被配置成执行如下阐述的用于跟踪对象的程序。
图1中所示的通信总线40是在多个控制单元、传感器和其他设备之间的flex-ray总线、CAN总线或其他类型的通信链路。图1中所示的用户接口44使得用户能够向车辆系统20中的各种设备提供输入。显示设备48向用户提供信息的视觉显示。在一个实施例中,显示设备48和用户接口44被组合在触摸屏中。在另一个实施例中,用户接口44包括用于接收输入的键盘。在一个实施例中,设想了用于显示对象界面的显示设备48。在另一个实施例中,用户接口44包括用于接收语音命令或输入的麦克风和语音分析器。
图1示出了诸如视频相机之类的多个视频成像传感器50,其用于提供车辆周围的对象的视频图像。提供了多个雷达传感器54,以用于提供对车辆周围的对象的雷达感测。此外,提供了多普勒感测来确定被检测到的对象的相对速度。还提供了多个光探测和测距(Lidar)传感器60,以用于检测车辆周围的对象及其距离。在一个实施例中,Lidar传感器60被安装在车辆车顶上方的Lidar感测单元中,并且Lidar传感器可旋转以用于在车辆周围进行扫描。
图1中的车辆系统20包括车辆速度传感器64,以用于向各个单元提供车辆速度。提供了全球定位信号(GPS)接收器66来接收GPS信号,以确定车辆的位置,并且用于测绘(mapping)以及用于其他目的。提供了收发器68以用于与其他远程设备进行远程双向无线通信。
图1的车辆系统20在一个实施例中包括用于提供驾驶辅助的电子规划单元70,并且在另一个实施例中包括车辆的自主控制。电子规划单元70包括连接到通信总线40的电子处理器74、存储器76和输入/输出(I/O)接口78。存储器76包括随机存取存储器(RAM)和只读存储器(ROM)中的至少一个或两者。电子处理器74被配置成执行用于规划自主车辆的控制、或者规划驾驶员控制的车辆的驾驶员辅助的程序。
图1的车辆系统20包括用于控制车辆的转向(steer)方向的转向控制单元80和用于控制车辆的加速的加速器控制单元84。车辆系统20包括制动控制单元86,以用于选择性地控制车辆的制动。车辆系统20进一步包括用于确定车辆的转向角位置的转向角传感器90和用于确定车辆的横摆率(yaw rate)的横摆率传感器94。在一个实施例中,车辆系统20包括数据事件记录器96,以用于记录车辆数据以供未来使用。在自主车辆控制实施例中,GPS接收器66接收信号以对车辆的位置进行测绘,并且电子规划单元70的电子处理器74根据车辆测绘、来自电子跟踪单元30的向量以及其他数据来确定在哪里控制转向控制单元80、以及如何控制加速器控制单元84和/或制动控制单元86,来将车辆引导至预定的所存储的目的地。
操作
一种方法涉及电子跟踪单元30的电子处理器34,以用于根据以下各项来针对每个传感器模态计算单独的对象存在概率p_ex:a)对象的检测概率p_D;b)不正确测量结果的概率;c)测量结果可能性,也就是说相关联的测量结果与目标估计匹配得多好;以及d)对象在先前周期中的存在概率。独立于使用哪种类型的传感器来执行测量以更新对象,由电子处理器34在每个周期中执行所声明的可靠性表示的计算。存在概率值p_ex在0与1之间,其中0值意指未检测到对象。在另一个实施例中,在传感器预处理中计算p_D,而不是由电子跟踪单元30来计算p_D。
在该方法中,由电子跟踪单元30针对一个或多个传感器模态来计算单独的存在概率。例如,在包含雷达传感器54、Lidar传感器60和视频成像传感器50的传感器集合的情况下,计算存在概率p_ex,R(针对雷达)、存在概率p_ex,L(针对Lidar)和存在概率p_ex,V(针对视频)。这对于表示其他道路用户的动态对象而言是有利的实施例,这是因为可以用所有的传感器模态来标识这些对象。在其他实施例中,一些传感器模态不标识这些对象。
该方法可以应用于相关的一个或多个对象的属性,这些属性仅可以用特定的传感器模态来标识,但是反过来由该传感器的多个实例来标识。一个示例是交通灯的标识。交通灯状态(红色、黄色、绿色、……)仅可以由视频成像传感器50测量到。在一些实施例中,收发器68是用于接收交通灯状态的Car2X收发器。如果使用多个相机来确定交通灯的颜色,那么针对每一个相机来计算单独的存在概率是有利的,该存在概率也就是说例如p_ex,V1(第一相机)、p_ex,V2(第二相机)、p_ex,V3等。在这里不存在对三个值的限制。换言之,以一般化的方式,用N个值p_ex,i来计算存在概率的向量。在这里的这N个值反映了意图对哪种类型的冗余度(也就是说,借助于不同传感器模态进行的对象测量的冗余度,借助于不同视频成像传感器50进行的交通灯状态测量的冗余度)进行建模。
仅利用相应传感器类型的测量结果来更新相应的存在概率p_ex,i,例如仅在集成了雷达测量结果的情况下更新p_ex,R。
除了具有存在概率的向量之外,电子跟踪单元30还确定具有检测概率p_D,i的相同大小的向量。该向量表示针对其而言对象可见的传感器模态(或在交通灯标识的情况下的视频成像传感器50)。基于传感器数据、以及在某些情况下基于当前环境模型、以及在某些情况下通过使用针对每个对象的每个测量周期中的地图数据,来使检测概率作为来自传感器的信息而可获得。在这种情况下,考虑了例如隐蔽性、传感器可见性范围、对象类别、对象属性等,但是还考虑传感器故障、传感器失明等。此外,在p_D的计算中考虑信号路径上的特定电气硬件错误也是可能的。例如,当视频成像传感器50、诸如相机中的去马赛克有缺陷时,该相机的p_D减小。然后,该测量结果不一定需要被丢弃。传感器可以测量到对象的概率越高,p_D的相应值就越接近于1。具有检测概率的向量的每个条目通常表示多个传感器实例,诸如所有的Lidar传感器60。因此,在每个处理步骤中,由电子跟踪单元30来形成属于向量条目的所有检测概率p_D的最大值。如果在处理步骤中没有接收到测量结果并且因此没有接收到传感器模态的p_D,i,则使用来自先前周期的对应条目,并且使该对应条目以如下值减小:该值取决于相对于最后测量值的时间差。作为示例,针对周期k的值p_D,i然后可以由电子跟踪单元30计算如下:
p_D,i(k) = p_D,i(k-1) – ΔT * 常数。
以这种方式,每个对象都包含关于在哪个测量原理的情况下当前可以看到该对象、以及关于相应的传感器测量结果与对象估计多么一致地匹配的信息。
无视频传感器运行示例
在一个操作中,电子跟踪单元30的电子处理器34从传感器50、54、60接收传感器数据,并且确定车辆对象包含或对应于以下值:
p_D,Radar= 0.9,p_D,Video= 0.1,p_D,Lidar= 0.8
p_ex,Radar= 0.1,p_ex,Video= 0,p_ex,Lidar= 0.99
此刻,该对象实际上仅可以由雷达传感器54和Lidar传感器60测量到(例如,这是因为视频成像传感器50被污染(soil))。然而,雷达传感器54仅非常不可靠地测量到该对象(p_ex,Radar非常低),而Lidar传感器60非常可靠地测量到该对象。因此,在由电子跟踪单元30进行的计算中,上述值主要依赖于Lidar传感器60。
四个视频成像传感器示例
车辆已经安装了诸如相机之类的四个视频成像传感器50,以用于标识交通灯的状态。由电子跟踪单元30确定交通灯对象针对相机1-4具有以下值:
p_D,1 = 0.1,p_D,2 = 0.3,p_D,3 = 0.9,p_D,4 = 0.9
p_ex,1 = 0,p_ex,2 = 0.1,p_ex,3 = 0.8,p_ex,4 = 0.7
在四个相机的该实例中,仅相机#3和#4可以可靠地看到(一个或多个)交通灯(例如,由于相机#1和#2的使用范围/距离较小)。电子跟踪单元30确定来自第三和第四相机的测量结果与交通灯估计匹配得非常好,并且后者的测量结果是一致的。首先根据有多少像素将表示交通灯来标识出交通灯,并且确定灯的颜色。
在由电子跟踪单元30进行的方法的进一步计算步骤中,提取特定于传感器的部分,以便能够针对电子规划单元70来确定用于通用对象界面的向量。
出于该目的,首先由电子跟踪单元30形成针对其而言p_D,i超过了阈值的所有p_ex,i的子集。由电子跟踪单元30选择实际上可以在当前时间点处测量到对象的传感器模态。在一个实施例中,阈值p_D,th被选择为0.3。在这之后,计算剩余的p_ex,i、最大值p_ex,max、最小值p_ex,min和中值p_ex,med。这三个值被使得作为用于向量和用于对象界面的冗余度信息而可获得。因此,电子跟踪单元30被配置成感测交通灯的存在及其颜色。
雷达/视频/Lidar示例
用于多个不同的传感器模态的另一组示例如下。三个传感器模态(雷达、视频、Lidar)一致地测量到对象;该对象对于所有传感器模态都是可见的。在这种情况下,p_ex,max、p_ex,med、p_ex,min全部都非常接近于1。因此,该对象具有完全的冗余度,并且如果有必要的话,可以针对该对象来执行ASIL D操纵(例如,紧急制动)。所有的三个值都非常高是非退化系统中针对在SDC紧邻处的对象、例如针对前方车辆的正常情况。因此,电子跟踪单元30被配置成:基于针对该多个传感器中的每一个对于每个对象的存在概率(p_ex)来提供定义了每个感测到的对象的向量的存在概率集合。
传感器污染示例
三个传感器模态测量到对象,但是这些传感器之一的测量结果与整个对象估计仅不良地匹配,或者该对象仅偶发地被测量到(原因可能是例如该传感器的未检测到的污染)。所有传感器模态都具有高p_D,也就是说,这些传感器都能够测量到该对象。在这种情况下,p_ex,max、p_ex,med接近于1,但是p_ex,min低(例如在0.4处)。
三个传感器模态中的两个的示例
三个可用的传感器模态中仅两个能够测量到对象(例如,这是因为传感器原理中的一个的可见性范围小于其他传感器原理的可见性范围,并且该对象对应地在远处);这两者一致地且可靠地测量到该对象。在这种情况下,p_ex,max、p_ex,med、p_ex,min都非常接近于1。这是与较早示例中相同的冗余度级别,并且示出了该方法能够对关于所使用的传感器设置的知识进行封装,该知识诸如例如在至电子规划单元70的接口处的传感器的个体可见性范围。
幻影对象示例
仅一个传感器一致地测量到并且确认对象;所有其他传感器没有确认该对象,即使它在可见性范围内并且未被遮挡。在这种情况下,p_ex,max接近于1,但是p_ex,med和p_ex,min为0(或接近于0)。这里大概涉及一幻影对象,作为对其的响应,在某些情况下,不应当触发严重的干预。然而,为了使任何风险最小化,例如在交叉路口处,在安全停止状态下等待将仍然继续,直到具有低冗余度级别的该对象已经驾驶通过。当规划例如在其他对象周围的规避(evasive)轨迹时,也将考虑这种对象。
在可替代的实施例中,可以通过输出可变长度的向量、而不是存在概率的最小值、最大值和中值来使该方法一般化。该向量可以包含例如所有有贡献的传感器模态的所有存在概率。对于三个有贡献的传感器模态(例如,视频、雷达、Lidar),该向量则与所描述的方法相同,该所描述的方法使用针对传感器模态的每个对象最小值、最大值和中值的存在概率最大值(p_ex,max)、存在概率最小值(p_ex,min)和存在概率中值(p_ex,med)。
对象界面
图2和图3示出了利用三个传感器模态(视频成像传感器50、雷达传感器54、Lidar传感器60)的实现方式的结果。主体车辆被标记为主体对象102。被感测为正在移动的具有高冗余度的对象被标记为104(p_ex,min、p_ex,max、p_ex,med全部都接近于1),具有低冗余度的对象被标记为幻影对象110(仅p_ex,max接近于1),并且仅由三个传感器之中的两个测量到的对象被标记为对象114(p_ex,min接近于0,p_ex,med和p_ex,max接近于1)。静态对象被标记为静态对象120。对象界面100的对象均对应于不同的向量。因此,这些向量对应于对象界面,其中这些向量中的每一个包括针对该多个传感器中的所有有贡献的传感器对于对应对象的所有存在概率。当然,对于一个传感器而言,不同的存在概率可以对应于不同的对象,这取决于它们离传感器的距离或者它们在从传感器50、54、60的视场中的位置。因此,在确定与对象相对应的向量的存在概率时,忽略不同的传感器。
图2示出了相对于主体对象102的在右侧前方处的幻影对象110。传感器50、54、60之一没有标识出作为幻影对象110的前方车辆。
以完全的冗余度来标识所有的真实对象。多个对象均对应于由电子跟踪单元30确定的被显示的单独的向量。然而,图3示出了主体对象102的左侧的前方处的幻影对象110,该幻影对象110由于传感器50、54、60之一中的错误而生成,但是没有被其他传感器模态确认。
每当对象界面朝向外部可见的时候,该实施例就是直接可见的,并且因此可在对象界面100、150上演示。对象界面100、150当在以下情况时朝向外部可见:a)当被递送到用于开发电子规划单元或用于其他目的的一个或多个第三方时(原始装备制造商(OEM)访问供应商的对象界面100);b)当在车辆中的不同电子控制单元之间、诸如在电子跟踪单元30与电子规划单元70之间被发送时;c)当作为相关界面被记录在数据事件记录器96中时;或d)当经由收发器68传输至遥控操作位置时。在另一个实施例中,将该对象界面从电子跟踪单元30提供至来自包括以下各项的组的至少一项:车辆中的电子规划单元70;数据事件记录器96;以及由收发器68无线传输至远程遥控操作位置。
在一个实施例中,车辆的控制表示从包括以下各项的组中选择的至少一项:使车辆加速、使车辆减速、以及使车辆转向。
在以下权利要求中阐述了各种特征、优点和实施例。

Claims (20)

1.一种用于确定被感测到以供在车辆的驾驶员辅助或自动化驾驶中使用的对象的可靠性的系统,所述系统包括:
多个传感器,其用于针对被感测到的对象提供传感器数据,所述多个传感器包括一个或多个传感器模态;
电子跟踪单元,其用于接收传感器数据,所述电子跟踪单元被配置成处理传感器数据以便:
确定针对所述多个传感器中的每一个对于每个对象的检测概率(p_D),
确定针对所述多个传感器中的每一个对于每个对象的存在概率(p_ex)。
2.根据权利要求1所述的系统,其中所述电子跟踪单元被配置成:基于针对所述多个传感器中的每一个对于每个对象的存在概率(p_ex)来提供定义了每个感测到的对象的向量的存在概率集合。
3.根据权利要求2所述的系统,其中所述向量包括针对所述多个传感器中的所有有贡献的传感器对于每个对象的所有存在概率,并且其中所述向量是独立于传感器的表示。
4.根据权利要求2所述的系统,其中所述向量由所述电子跟踪单元提供,以在显示设备上显示为对象界面。
5.根据权利要求4所述的系统,包括电子规划单元,其中所述规划单元被配置成接收所述向量并且控制所述车辆。
6.根据权利要求5所述的系统,其中所述电子规划单元对从包括以下各项的组中选择的至少一项进行控制:使所述车辆加速、使所述车辆减速、以及使所述车辆转向。
7.根据权利要求1所述的系统,其中所述多个传感器包括Lidar传感器、雷达传感器和视频成像传感器。
8.根据权利要求7所述的系统,其中所述电子跟踪单元被配置成确定针对每个传感器模态的存在概率,以针对每个感测到的对象提供所述Lidar传感器的存在概率(p_ex,L)、所述雷达传感器的存在概率(p_ex,R)和所述视频成像传感器的存在概率(p_ex,V)。
9.根据权利要求8所述的系统,其中所述存在概率(p_ex,L)、所述存在概率(p_ex,R)和所述存在概率(p_ex,V)均具有来自0与1之间的值,其中0值意指未检测到对象。
10.根据权利要求1所述的系统,其中所述电子跟踪单元被配置成感测交通灯的存在和交通灯的颜色,
其中所述多个传感器包括四个视频成像传感器,
其中所述四个视频成像传感器具有用于感测交通灯的检测概率值p_D,并且所述电子跟踪单元被配置成向用于所述车辆的控制的规划单元提供存在概率值p_ex,以及
其中所述车辆是自主车辆。
11.根据权利要求1所述的系统,其中所述电子跟踪单元被配置成:基于针对所述多个传感器中的所有有贡献的传感器对于每个对象的存在概率(p_ex)来提供每个对象的向量,其中所述向量由所述电子跟踪单元提供,以用于在显示设备上显示为对象界面。
12.根据权利要求11所述的系统,其中将所述对象界面提供至第三方,以用于独立电子规划单元的开发。
13.根据权利要求11所述的系统,其中将所述对象界面从所述电子跟踪单元提供至来自包括以下各项的组的至少一个:所述车辆中的电子规划单元;数据事件记录器;以及传输至远程遥控操作位置。
14.一种用于确定针对驾驶员辅助布置或自主车辆而感测到的对象的可靠性的系统,所述系统包括:
多个传感器,其用于针对对象提供传感器数据,所述多个传感器包括一个或多个传感器模态;
电子跟踪单元,其用于接收传感器数据,所述电子跟踪单元被配置成处理传感器数据以便:
确定针对所述多个传感器中的每一个对于每个对象的检测概率(p_D),
确定针对所述多个传感器中的每一个对于每个对象的存在概率(p_ex),
基于针对所述多个传感器中的所有有贡献的传感器对于每个对象的存在概率(p_ex)来提供每个对象的向量,
以及
显示设备,其用于将所述向量显示为对象界面。
15.根据权利要求14所述的系统,其中将所述对象界面提供至第三方,以用于电子规划单元的开发。
16.根据权利要求14所述的系统,其中所述存在概率(p_ex)包括:存在概率最大值(p_ex,max)、存在概率最小值(p_ex,min)和存在概率中值(p_ex,med),它们被提供作为用于所述对象界面的冗余度信息。
17.根据权利要求16所述的系统,其中所述多个传感器包括Lidar传感器、雷达传感器和视频成像传感器,它们均具有不同的传感器模态。
18.一种通过确定被感测到的对象的可靠性的用于车辆的驾驶员辅助或自动化驾驶的系统,所述系统包括:
多个传感器,其用于针对对象提供传感器数据,所述多个传感器包括一个或多个传感器模态;以及
电子跟踪单元,其用于接收传感器数据,所述电子跟踪单元被配置成处理传感器数据以便:
确定针对所述多个传感器中的每一个对于每个对象的检测概率(p_D),
确定针对所述多个传感器中的每一个对于每个对象的存在概率最大值(p_ex,max),
确定针对所述多个传感器中的每一个对于每个对象的存在概率最小值(p_ex,min),以及
确定针对所述多个传感器中的每一个对于每个对象的存在概率中值(p_ex,med)。
19.根据权利要求18所述的系统,其中所述电子跟踪单元被配置成:基于针对所述多个传感器中的每一个对于每个对象的存在概率最大值(p_ex,max)、存在概率最小值(p_ex,min)和存在概率中值(p_ex,med)来提供每个对象的向量,所述向量对应于对象界面,其中所述向量中的每一个包括所述多个传感器中的所有有贡献的传感器对于对应对象的所有存在概率。
20.根据权利要求19所述的系统,包括将所述对象界面提供至来自包括以下各项的组的至少一项:车辆中的电子规划单元,所述规划单元被配置成评估每个对象的冗余度/可靠性;数据事件记录器;以及经由无线传输至远程遥控操作位置。
CN202010475723.2A 2019-05-30 2020-05-29 用于高度和完全自动化驾驶的对象界面的冗余度信息 Pending CN112009483A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201962854729P 2019-05-30 2019-05-30
US62/854729 2019-05-30

Publications (1)

Publication Number Publication Date
CN112009483A true CN112009483A (zh) 2020-12-01

Family

ID=73265005

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010475723.2A Pending CN112009483A (zh) 2019-05-30 2020-05-29 用于高度和完全自动化驾驶的对象界面的冗余度信息

Country Status (3)

Country Link
US (1) US11798291B2 (zh)
CN (1) CN112009483A (zh)
DE (1) DE102020206755A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113840765A (zh) * 2019-05-29 2021-12-24 御眼视觉技术有限公司 用于车辆导航的系统和方法
DE102019210801A1 (de) * 2019-07-22 2021-01-28 Robert Bosch Gmbh Verfahren, Vorrichtung, Computerprogramm und maschinenlesbares Speichermedium zur Detektion eines Objekts
DE102021201011A1 (de) 2021-02-04 2022-08-04 Zf Friedrichshafen Ag Unüberwachte Optimierung von Odometriemodellen
DE102022208164A1 (de) 2022-01-18 2023-07-20 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Bestimmung der Zuverlässigkeit von Objekten

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7720580B2 (en) 2004-12-23 2010-05-18 Donnelly Corporation Object detection system for vehicle
DE102005046045A1 (de) * 2005-09-27 2007-03-29 Robert Bosch Gmbh Verfahren und Vorrichtung zur Steuerung mindestens eines Objektdetektionssensors
EP2291836B1 (de) 2008-05-21 2018-09-12 ADC Automotive Distance Control Systems GmbH Fahrerassistenzsystem zur vermeidung von kollisionen eines fahrzeugs mit fussgängern
US8799201B2 (en) 2011-07-25 2014-08-05 Toyota Motor Engineering & Manufacturing North America, Inc. Method and system for tracking objects
JPWO2015174178A1 (ja) 2014-05-15 2017-04-20 本田技研工業株式会社 移動支援装置
JP6307383B2 (ja) * 2014-08-07 2018-04-04 日立オートモティブシステムズ株式会社 行動計画装置
US20170329332A1 (en) 2016-05-10 2017-11-16 Uber Technologies, Inc. Control system to adjust operation of an autonomous vehicle based on a probability of interference by a dynamic object
US10315649B2 (en) 2016-11-29 2019-06-11 Ford Global Technologies, Llc Multi-sensor probabilistic object detection and automated braking
JP2021536599A (ja) * 2018-08-14 2021-12-27 モービルアイ ビジョン テクノロジーズ リミテッド 安全な距離でナビゲートするためのシステム及び方法

Also Published As

Publication number Publication date
US20200377121A1 (en) 2020-12-03
DE102020206755A1 (de) 2020-12-03
US11798291B2 (en) 2023-10-24

Similar Documents

Publication Publication Date Title
US11798291B2 (en) Redundancy information for object interface for highly and fully automated driving
US10933883B2 (en) Driving control apparatus and method for vehicle
CN106864462B (zh) 用于高级驾驶辅助系统用传感器的故障诊断和校准的装置和方法
US9165198B2 (en) Method for identifying a vehicle during vehicle-to-vehicle communication
US20220177005A1 (en) Method for checking a surroundings detection sensor of a vehicle and method for operating a vehicle
KR102158497B1 (ko) 자율주행 평가시스템
CN108137054A (zh) 传感器测量数据的替换
KR20210076139A (ko) 자동차 제어 설정들을 생성하는 방법
US10438492B2 (en) Method for evaluating a hazardous situation which is sensed by at least one sensor of a vehicle, method for controlling reproduction of a hazard warning and method for reproducing a hazard warning
CN110949379A (zh) 用于半自主车辆的操控信号的确定
US20220139128A1 (en) Travel storage system, travel storage method, and video recording system
CN112540555A (zh) 用于远程控制机动车的方法
US11335141B2 (en) Checkpoint-based tracing for monitoring a robotic system
US11580861B2 (en) Platooning controller, system including the same, and method thereof
US11741920B2 (en) Vehicle display system and vehicle display method
JP7368596B2 (ja) 周囲のエリア内で車両を位置特定するための方法およびデバイス
US11488481B2 (en) Method for assisting a motor vehicle
US20220083051A1 (en) System for safe teleoperated driving
KR20180119344A (ko) 영역 감시 장치 및 이에 의한 영역 감시 방법
CN112009496B (zh) 用于自主车辆控制的安全架构
US20230251652A1 (en) Autonomous vehicle, method for requesting control remotely thereof
CN111315625B (zh) 诊断自身车辆和/或周围车辆的错误的方法
CN117087685A (zh) 用于车辆中的环境感知的方法、计算机程序以及设备
CN115107761A (zh) 一种车辆爆胎的智能控制方法及相关装置
JP2024029977A (ja) 表示制御装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination