CN109421731B - 可信度检验模块、驾驶辅助系统和校准传感器的方法 - Google Patents

可信度检验模块、驾驶辅助系统和校准传感器的方法 Download PDF

Info

Publication number
CN109421731B
CN109421731B CN201811030253.8A CN201811030253A CN109421731B CN 109421731 B CN109421731 B CN 109421731B CN 201811030253 A CN201811030253 A CN 201811030253A CN 109421731 B CN109421731 B CN 109421731B
Authority
CN
China
Prior art keywords
module
vehicle
sensor
driving assistance
assistance system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811030253.8A
Other languages
English (en)
Other versions
CN109421731A (zh
Inventor
M·多尔戈夫
T·米哈尔凯
F·维尔德许特
H·富克斯
I·L·马蒂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN109421731A publication Critical patent/CN109421731A/zh
Application granted granted Critical
Publication of CN109421731B publication Critical patent/CN109421731B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/0083—Setting, resetting, calibration
    • B60W2050/0088—Adaptive recalibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种用于车辆(50)的驾驶辅助系统(49)的可信度检验模块(3)，该驾驶辅助系统包括至少一个传感器和至少一个KI模块，由通过该传感器提供的传感器数据(11)来对车辆周围环境中的对象(52)进行分类，该可信度检验模块构造用于，接收由其他车辆(60)和/或基础设施(70)提供的关于车辆周围环境中的对象的参考信息(53)，将该参考信息与通过所述KI模块分类的结果(24)进行比较，在通过该比较确定存在偏差时发起至少一个措施，以便如此匹配KI模块的处理链的参数，使得在类似情况下减小该偏差。本发明还涉及一种驾驶辅助系统(49)、一种用于校准传感器的方法以及一种所配属的计算机程序产品。

Description

可信度检验模块、驾驶辅助系统和校准传感器的方法
技术领域
本发明涉及一种借助驾驶辅助系统中的传感器来识别对象的改善方案，该改善方案能够用于支持人类驾驶员，以及也能够用于至少部分自动化的行驶。
背景技术
为了在道路交通中引导车辆，必须对车辆的周围环境中的对象(例如障碍物、其他车辆、行车道标记或交通标志)作出反应。因此，“由通过传感器提供的传感器数据可靠地识别对象”是许多用于支持人类驾驶员的驾驶辅助系统的非常重要的部分并且是至少部分自动化行驶的核心方面。
GB 2 484 795 A公开一种用于运行传感器的方法，在该方法中，一方面由通过传感器提供的传感器数据求取所识别的对象的位置，另一方面由对象自身发送的消息求取所识别的对象的位置。根据这两个位置的比较来自动地校准传感器。
US 9,459,113公开一种导航系统，该导航系统借助箭头向驾驶员发出转向的指令。为了使箭头处于正确的位置中，借助在周围环境中识别到的对象来校准系统中所包含的摄像机。
US 2016/223 643 A1公开一种用于识别对象的雷达系统，该雷达系统除了自身的雷达信号以外还使用由其他车辆发送的雷达信号。
US 2009/005 929 A1公开一种系统，该系统分析处理关于车辆的行驶行为的信息，以便支持在地图上定位车辆。
在US 2015/161 456 A1和KR 2013 113 102 A中说明用于校准传感器的其他常见的现有技术。
发明内容
在本发明的范畴内已经研发出一种可信度检验模块，该可信度检验模块用于车辆的驾驶辅助系统。该驾驶辅助系统包括至少一个传感器以及至少一个KI模块，该至少一个传感器用于检测车辆的周围环境。该驾驶辅助系统例如可以是用于支持人类驾驶员的系统，或者例如是用于至少部分自动化行驶的系统。
KI模块构造用于借助通过参数确定的内部处理链由通过传感器提供的传感器数据来对车辆的周围环境中的对象进行分类。
该对象例如可以是交通标志、行车道标记或其他车辆。
KI模块例如可以包括人工神经网络(例如卷积神经网络，CNN)作为内部处理链。KI模块例如也可以基于根据Viola Jones法的机器学习。
在人工神经网络情况下，内部处理链的参数例如可以包括网络的不同层之间的连接被占据的权重或概率。
可信度检验模块构造用于接收由其他车辆和/或基础设施提供的关于车辆的周围环境中的对象的参考信息。
配备联网行驶的陌生(fremd)车辆例如可以将其位置发送给周围环境中的其他车辆(“车对车”通信，V2V)或也发送给基础设施(“车对基础设施”通信，V2I)。基础设施可以转发这种参考信息并且例如还可以附加地以关于交通标志或行车道标记的信息来丰富(anreichern)该参考信息。因此，可信度检验模块能够有利地与无线电接口连接，该无线电接口可以获得所提到的参考信息(“车对X”，V2X)。如果该参考信息例如涉及的是车辆，则该参考信息除了位置之外还可以包含准确的车辆类型、车辆尺寸和/或关于所安装的配件的信息。
该可信度检验模块构造用于将参考信息与通过KI模块的分类的结果进行比较。
在这种比较中，尤其可以检查：参考信息所表明的(ausweislich)存在于车辆周围环境中的任何对象究竟是否已经由KI模块识别为存在。接下来可以检查：该对象是否已经被正确地分类——即例如被分类为相应于参考信息的车辆类型或被分类为相应于参考信息的车辆模型。
可信度检验模块构造用于，在通过比较确定存在偏差的情况下发起至少一个措施，以便如此匹配KI模块的处理链的参数，使得在类似情况下减小偏差。
已经认识到，如果以在建立系统时未识别到的对象来丰富交通景观(Verkehrslandschaft)，则以这种方式也可以确保驾驶辅助系统的可靠性和运行安全性。
因此，在市场上例如不断推出新的车辆模型，这些车辆模型有时正是在视觉上与目前已知的模型特别明显地不同，以创造独特卖点。然后可能出现如下情况：该车辆甚至不再由KI模块识别为车辆，或者甚至从KI模块所识别的对象集合中完全缺失。
此外，立法者不断创造出新的交通标志或者改变现有的标志。例如，在2009年，替代交通标志“带闸门的铁道路口”和“不带闸门的铁道路口”，引入一种用于标记铁道路口的新的统一交通标志。
根据目前的现有技术，在这种情况下，车辆用户依赖于驾驶辅助系统的制造商，以便系统能够识别出这些对于安全重要的对象并且相应地作出反应。因此，首先制造商有义务及时纳入相应变化，然后用户有义务适应这些变化。然而，大量新车辆类型的补充(Fülle)使KI模块难以甚至无法从中心点出发在这方面一直保持更新。而且，在IT安全领域内不断重复出现的、基于已知安全漏洞的大规模攻击表明：并非所有由制造商提供的更新都在所有系统上实现。使用者通常意识不到他们在这方面的职责(Holschuld)。
与此相反，可信度检验模块能够使KI模块的更新自动化和分散化(dezentralisieren)。由此尤其可以避免完全错过更新。这又对驾驶辅助系统的许可
Figure BDA0001789543460000031
产生积极影响。对于驾驶员有更新可供使用的情况，主管部门能够对不进行更新的情况加以制约。例如可以在等待时间之后强制性禁用驾驶辅助系统。
可信度检验模块可以包含在KI模块中，但是该可信度检验模块也可以是单独的模块。后者对于后续安装(Nachrüstung)是特别有利的。如果KI模块例如是自学习的，则该KI模块可能在交付给用户之后取得了其他学习进展，这些学习进展存储在该KI模块的内部处理链的参数中。这些参数无法被轻易地移植到另一类型的KI模块上；因此，更换KI模块可能意味着学习进展丢失。
在本发明的一种特别有利的构型中，可信度检验模块所采取的措施至少在于：将KI模块置于学习模式中，以及给KI模块提供传感器数据作为针对其输入参量的学习值，并且给KI模块提供参考信息作为针对其输出参量的学习值。然后可以在如下方面训练该KI模块：在将来存在相同的或基本上类似的传感器数据时正确地识别对象。
训练KI模块是计算密集型(rechenintensive)任务，该任务借助车载可用的计算能力可能需要很长时间才能完成。此外，该KI模块在交付状态中可能仅包含处理链的从工厂学到的参数，然而不包含从其获得这些参数的学习数据。因此，通常例如借助数万个图像来训练KI模块识别图像中的对象，对于这些图像来说，在车辆上的车载控制设备中可能没有足够的存储空间可供使用。
因此在本发明的另一特别有利的构型中，所述措施至少在于：将传感器数据和参考信息报告给外部服务器，该外部服务器构造用于考虑将该报告用作学习信息，该学习信息用于计算KI模块的处理链的更新的参数。
这还提供其他优点：可以由多个车辆对关于新对象的信息进行汇总。组合和混合形式也是可能的。例如可以首先触发KI模块的自主学习过程，以便借助车载装置尽可能改进新对象的识别。随后，可以基于在更全面的学习过程中已经在外部服务器上获得的参数来优化这种识别。
此外，以这种方式可以非常快速地获得用于再训练(nachtrainieren)KI模块的训练数据，从而与在使用经典方案来生成训练数据的情况下相比，可以快得多地提供用于KI模块的软件更新。根据目前的现有技术，工程师必须检查：KI模块在识别新的车辆类型或其他新类型的对象时是否遇到困难。如果是这种情况，则必须通过手动标记图像来产生必要的“地面实况(ground truth)”。只有这样才可以再训练KI模块并且分配相应的软件更新。这需要相应地耗费更长时间，这又可能导致新的车辆模型或其他新类型的对象长时间没有被KI模块识别到。
无论是内部执行还是外部执行，KI模块的学习过程都可能耗费一些时间，在这段时间内还无法确保通过KI模块识别新对象。有利地，可信度检验模块附加地构造用于，在通过比较确定存在偏差的情况下操纵车辆的声学的和/或光学的警报装置，以便向车辆的驾驶员指示所述偏差。然后驾驶员例如可以对此作出反应，其方式是：该驾驶员自身警惕地观察周围环境，并且在准备好在驾驶辅助系统出现功能故障时亲自进行干预。
在本发明的范畴内也已经研发出用于车辆的驾驶辅助系统。该驾驶辅助系统包括至少一个传感器以及至少一个KI模块，该至少一个传感器用于检测车辆的周围环境。该KI模块构造用于借助通过参数确定的内部处理链由通过传感器提供的传感器数据来对车辆周围环境中的对象进行分类。
在此，“驾驶辅助系统”的概念不仅包括仅用于支持人类驾驶员的系统，而且也包括用于至少部分自动化行驶的系统。
现在设置至少两个KI模块。在此，第一KI模块的处理链的参数是不可变的，而第二KI模块的处理链的参数能够通过由可信度检验模块发起的措施而改变。
最迟在驾驶辅助系统不仅通知驾驶员而且干预车辆控制时，该系统需要官方许可。在用于识别新对象的学习过程范畴内改变处理链参数时，取决于所使用的KI模块的类型，现在虽然不一定可能、但原则上可能会使识别其他对象变差。未发生这种情况的证据可能难以掌握。将对象识别划分成两个KI模块能够实现：在一方面官方批准的对象识别与另一方面仅为改进目的而添加的、新训练的对象识别之间进行明确分离。
为此目的，在本发明的另一特别有利的构型中，该驾驶辅助系统构造用于，将由通过两个KI模块所分类的对象构成的总集合(Vereinigungsmenge)评估为存在于车辆周围环境中的对象的集合。如果一对象已经由两个KI模块一致地识别出，或者如果该对象仅仅已经由一个KI模块识别出，则例如可以将该对象添加到存在于车辆周围环境中的对象的数量中。例如可以通过将由两个KI模块求取的针对分类的置信度值进行加权组合来解决两个KI模块之间的不一致(Widerspruch)。例如如果第一KI模块不完全可靠(也就是说，由第一KI模块求取的置信度值不高，但也不是很低)，而同时第二KI模块是非常可靠的(也就是说，由第二KI模块求取的置信度值是高的)，则可以使由第二KI模块求取的分类所占的权重明显更大。例如可以通过与阈值进行比较来作出最终决定。然而替代地或组合地，两个KI模块之间的不一致例如也可以如此解决，使得在不一致的情况下，第一KI模块具有优先权。例如可以存在如下监管规定：官方认证的第一KI模块必须优先于(überstimmen)后续训练的第二KI模块。
在本发明的另一特别有利的构型中，第二KI模块是不必要的。为此，至少一个KI模块构造用于根据k近邻算法(k-
Figure BDA0001789543460000061
-Nachbarn-Verfahren)来对对象进行分类。
在这种方法中，在KI模块的输入参量的多维空间中，每个学习数据组或其预处理形式由一个点代表，并且给该点分配输出参量的所配属的学习值。例如可以通过不直接用于对象识别和分类的卷积神经网络(convolutional neural network，CNN)来将图像简化成几个重要特征。然后可以将这种代表理解成k近邻算法的参考点。
如果现在要在连续运行中对传感器数据的数据组进行分类，则借助特定于相应应用的距离度量来确定：配属于学习数据组的哪k个点最接近相应于传感器数据的当前数据组的点。分配给这些点中的大多数的分类也被分配给相应于当前数据组的点。然后可以实现自学习效果，其方式是：新的点在所述多维空间中被持续标记，并且该新的点在其他数据组的分类时被一并纳入。
已经看出，该原理允许对新对象的识别进行增量学习(inkrementellesHinzulernen)，而不会使对系统已经已知对象的识别变差。特别是如果有对象未被识别出，则这意味着，配属于所涉及的传感器数据的点远离如下点：这些点与系统已经已知的对象的识别重要相关。相应地，如果如此对另一组传感器数据进行分类，以确定对象是否涉及已经已知的这个或那个对象，则给新对象添加的点不是k最近邻之一。因此，可以以合理的方式掌握许可相关的证据，使得即使在进一步学习的情况下，对官方批准的对象识别也被完整保留。
在学习新对象时的对象识别的可靠性和学习进展取决于由通过传感器提供的传感器数据的质量。只有存在于这些传感器数据中的信息才能被进一步分析处理。为此，正确地校准传感器是重要的。
因此，本发明还涉及一种用于校准传感器的方法，该传感器用于检测车辆的周围环境。在该方法中，首先由通过传感器提供的传感器数据来对车辆的周围环境中的至少一个对象进行分类。接下来，从可以本地存储在车辆中或例如存储在云端的数据库中调用如下参考信息：该参考信息关于在传感器数据中名义上反映出来的分类对象的至少一个特征。最后，如此优化传感器的至少一个调节参量和/或后续的数据处理的至少一个调节参量，使得传感器数据中和/或分类的结果中的特征的表现与参考信息一致。
如果该传感器例如是摄像机，则该特征可以是特定于相应对象的视觉特征。如果该对象例如是陌生车辆，则例如可以考虑将尾灯之间的距离、车窗角点之间的距离或其他特征尺寸用作视觉特征。用作传感器的摄像机的固有调节参量例如是：焦距、透镜的失真参数以及曝光参数。非固有调节参量的示例是车辆中的摄像机的安装角和摆动角。
如果该传感器例如是雷达系统，则可以借助相应的测量模型来计算：参考信息所表明的、以确定姿态存在于空间内的确定位置处的对象将会导致哪些雷达反射。如果实际获得的雷达反射在较长时间段上偏离于期望模式，则可以由此推断出，测量模型是不准确的。然后可以如此匹配该测量模型，使得减少偏差。
已经看出，这种类型的校准可以利用与可信度检验模块相同的组件和信号路径。尤其可以使用相同的参考信息。
在本发明的一种特别有利的构型中，将陌生车辆选为分类对象。根据车辆类型来调用参考信息，该车辆类型由陌生车辆和/或基础设施通过无线接口传递。因此，可以使用能够通过V2X通信获得的相同的“地面实况”，该“地面实况”也用于对象识别的可信度检验并且用于接下来的新对象学习。无线接口的接收部分例如可以存在于可信度检验模块中，但是也可以存在于驾驶辅助系统中的其他位置处。
参考信息例如可以嵌入到通过V2X传输的“协同感知消息(英语CooperativeAwareness Message，CAM)”中，该“协同感知消息”目前包含位置数据和速度数据。扩展的CAM例如可以包括车辆类型，该车辆类型包括车身颜色、几何形状和载荷、可能安装的配件(例如尾部的拖车或自行车支架)或者包括关于位置数据、姿态数据和速度数据的(例如协方差形式的)置信度。这些信息例如可以嵌入到CAM的“低频”容器中。以这种方式，车辆例如还可以彼此交换关于分别由它们所识别的对象和相应位置的信息，这进一步增大了数据库。
车辆可以进一步协同工作并且支持V2X数据与探测到的车辆的明确关联。为此，车辆例如可以改变尾灯的强度，或者车辆可以借助确定的代码来进行人类驾驶员不可见的尾灯调制，该代码可以通过V2X达成(aushandeln)。最初，这种协同方案可以在唯一的制造商的车队内实施，通过提高传感器数据的质量，并且通过随之改善车辆对周围环境的感知，可以给该制造商的客户带来能够感受到的益处。此外，车辆可以以轨迹的形式传递其未来计划的行驶路线和速度。借此，现在能够实现将V2X发送器唯一明确地配属于通过车载传感装置测量的对象，因为可以事后(ex-post)将所规划的并且通过V2X发送的轨迹与被测车辆的实际行驶轨迹进行比较。如果存在轻微偏差，则已进行配属。
可信度检验模块、驾驶辅助系统以及该方法尤其可以完全地或部分地以软件实现。所述软件是一种能够独立出售的产品，该产品尤其也能够作为对现有模块、驾驶辅助系统或具有传感器的系统的更新或升级被出售。因此，本发明也涉及一种具有机器可读的指令的计算机程序产品，当该指令在计算机和/或控制设备上运行时，该指令使计算机和/或控制设备升级成由本发明提供的可信度检验模块和/或由本发明提供的驾驶辅助系统，和/或促使该计算机和/或控制设备实施由本发明提供的方法。同样，本发明也涉及一种机器可读的数据载体或一种具有该计算机程序的下载产品。
附图说明
以下借助附图与本发明的优选实施例的描述一起进一步示出改善本发明的其他措施。
附图示出：
图1示出用于车辆50的驾驶辅助系统49中的可信度检验模块3的示例性功能；
图2示出方法100的示例性流程；
图3示出分类的结果24与参考信息53之间的示例性差异。
具体实施方式
根据图1，驾驶辅助系统49包括传感器1，该传感器观察车辆50的周围环境51并且在此还检测在图1中示例性示出的对象52。传感器数据11被传送给KI模块2、2a、2b，并且从输入层——在该输入层中传感器数据形成输入参量23——出发穿行通过(durchwandern)处理链21，以便最后为了得出分类的结果而在输出层中被处理成输出参量24。处理链21由参数22确定，该参数在图1的示意图中相应于在此表示为人工神经网络的处理链21的不同水平层之间的连接的强度或概率。
分类的结果24与传感器数据11一起被传送到可信度检验模块3上。可信度检验模块3通过其无线接口31从其他车辆60和/或基础设施70获得关于对象52的参考信息53。
如果可信度检验模块3确定分类的结果24与参考信息53之间存在差异，则可信度检验模块3首先操纵喇叭54以使车辆50的驾驶员认识到：驾驶辅助系统49目前正以不一致的信息工作。然后，可信度检验模块3将KI模块2、2a、2b置于学习模式中，并且该可信度检验模块将传感器数据11作为针对输入参量23的学习值以及将参考信息53形式的“标定真实数据(ground truth)”作为针对输出参量24的学习值传递到KI模块2、2a、2b上。学习值的输入端示出在层23或24的左侧，在这些层中存在输入参量23或输出参量24。
替代地或组合地，如在图1中以虚线示出那样，传感器数据11和参考信息53由可信度检验模块3传递到外部服务器80上。在外部服务器80上，可以由多个这种新学习数据计算出用于KI模块2、2a、2b的处理链21的新参数22。
图2示例性示出方法100的流程。与图1类似，通过传感器1记录车辆50的周围环境51的传感器数据11，以用于识别对象52。在图1中示出的示例中，唯一示出的对象52具有显著的、能够在视觉上识别的特征52a。
在步骤110中，在对象52的存在性方面对传感器数据11进行分类。在步骤120中，根据分类的结果24中所包含的对象52的类型52c，尤其从外部数据库90中调用涉及对象52的显著特征52a的参考信息53。在步骤130中，将这些参考信息53与直接由传感器数据11求取的特征52a的表现52b进行比较。现在如此优化传感器11的调节参量12，使得特征52a的表现52b与参考信息53一致。
可以借助与相应应用相关的任意品质度量(Gütemaβ)来确定一致性。如果传感器数据11中的和/或分类的结果24中的特征52a在如下空间位置处被识别到：该空间位置与该特征根据参考信息53应存在的空间位置相同，则这种品质度量是有益的。如果例如存在空间偏移，则可以借助调节参量12如此操控传感器1的(在图2中未示出的)摆动机构，使得该偏移最小化。替代地或组合地，也可以在算法上考虑该偏移，其方式是：如此对由传感器1提供的输出数据进行数学变换，使得该偏移被补偿。调节参量12不必直接物理地作用到传感器1上，而是也可以作用到后续的数学变换上。替代地或组合地，可以通过调节参量12来匹配固有的和非固有的传感器参数，并且因此可以在线校准这些传感器参数，以便补偿偏移。
然而，该质量标准例如也可以有益于特征52a的可见性，在低可见性的情况下，可以借助调节参量12来操控传感器1的曝光设置，以改善可见性。
图3以交通标志作为对象52的示例示出分类的结果24与参考信息53之间的可能差异。
在图3中示出的示例中，基础设施70可以通过V2I通信报告如下参考信息53：在图3中未示出的车辆50的周围环境51中存在三个对象52——即交通标志521“注意先行权”、交通标志522“铁路道口”和交通标志523“先行权道路”。KI模块2、2a、2b不是最新的并且不知道交通标志522“铁路道口”的最新变化，该交通标志之前示出非写实的蒸汽机车。因此，周围环境51中的对象52的分类的结果24仅包含交通标志521“注意先行权”和交通标志523“先行权道路”，而不包含交通标志522“铁路道口”。借助图3中未示出的可信度检验模块3可以识别出这种差异，并且可以采取措施，以使KI模块2、2a、2b将来也能识别出交通标志522“铁路道口”。

Claims (10)

1.一种可信度检验模块(3)，其用于车辆(50)的驾驶辅助系统(49)，其中，所述驾驶辅助系统包括至少一个传感器(1)以及至少一个KI模块(2，2a，2b)，所述至少一个传感器用于检测所述车辆(50)的周围环境(51)，其中，所述KI模块(2，2a，2b)构造用于借助通过参数(22)确定的内部的处理链(21)由通过所述传感器(1)提供的传感器数据(11)来对所述车辆(50)的周围环境(51)中的对象(52)进行分类，其特征在于，所述可信度检验模块(3)构造用于，
接收由其他车辆(60)和/或基础设施(70)提供的关于所述车辆(50)的周围环境(51)中的对象(52)的参考信息(53)，
将所述参考信息(53)与通过所述KI模块(2，2a，2b)的分类的结果(24)进行比较，
在通过所述比较确定存在偏差的情况下发起至少一个措施，以便如此匹配所述KI模块(2，2a，2b)的处理链(21)的参数(22)，使得在类似情况下减小所述偏差。
2.根据权利要求1所述的可信度检验模块(3)，其特征在于，所述措施至少在于：将所述KI模块(2，2a，2b)置于学习模式中，以及给所述KI模块(2，2a，2b)提供所述传感器数据(11)作为针对所述KI模块的输入参量(23)的学习值，并且给所述KI模块提供所述参考信息(53)作为针对所述KI模块的输出参量(24)的学习值。
3.根据权利要求1至2中任一项所述的可信度检验模块(3)，其特征在于，所述措施至少在于：将所述传感器数据(11)和所述参考信息(53)报告给外部服务器(80)，所述外部服务器构造用于考虑将所述报告用作学习信息，所述学习信息用于计算所述KI模块(2，2a，2b)的处理链(21)的更新的参数(22)。
4.根据权利要求1至2中任一项所述的可信度检验模块(3)，其特征在于，所述可信度检验模块(3)附加地构造用于，在通过所述比较确定存在偏差的情况下操纵所述车辆(50)的声学的和/或光学的警报装置(54)，以便向所述车辆(50)的驾驶员指示所述偏差。
5.一种用于车辆(50)的驾驶辅助系统(49)，所述驾驶辅助系统包括至少一个传感器(1)以及至少一个KI模块(2，2a，2b)，所述至少一个传感器用于检测所述车辆(50)的周围环境(51)，其中，所述KI模块(2，2a，2b)构造用于借助通过参数(22)确定的内部的处理链(21)由通过所述传感器(1)提供的传感器数据(11)来对所述车辆(50)的周围环境(51)中的对象(52)进行分类，其特征在于，所述驾驶辅助系统(49)包括根据权利要求1至4中任一项所述的可信度检验模块(3)，并且设置至少两个KI模块(2，2a，2b)，其中，第一KI模块(2a)的处理链(21)的参数(22)是不可变的，而第二KI模块(2b)的处理链(21)的参数(22)能够通过由所述可信度检验模块(3)发起的措施而改变。
6.根据权利要求5所述的驾驶辅助系统(49)，其特征在于，所述驾驶辅助系统(49)构造用于将由通过两个KI模块(2，2a，2b)所分类的对象(52)构成的总集合评估为存在于所述车辆(50)的周围环境(51)中的对象(52)的集合，其中，在不一致的情况下，所述第一KI模块(2a)具有优先权，和/或，形成由所述两个KI模块(2，2a，2b)求取的用于分类的置信度值的加权组合。
7.一种用于车辆(50)的驾驶辅助系统(49)，所述驾驶辅助系统包括至少一个传感器(1)以及至少一个KI模块(2，2a，2b)，所述至少一个传感器用于检测所述车辆(50)的周围环境(51)，其中，所述KI模块(2，2a，2b)构造用于借助通过参数(22)确定的内部的处理链(21)由通过所述传感器(1)提供的传感器数据(11)来对所述车辆(50)的周围环境(51)中的对象(52)进行分类，其特征在于，所述驾驶辅助系统(49)包括根据权利要求1至4中任一项所述的可信度检验模块(3)，并且所述KI模块(2，2a，2b)构造用于根据k近邻算法来对所述对象(52)进行分类。
8.一种用于校准传感器(1)的方法(100)，所述传感器用于检测车辆(50)的周围环境(51)，所述方法具有如下步骤：
由通过所述传感器(1)提供的传感器数据(11)来对车辆(50)的周围环境(51)中的至少一个对象(52)进行分类(110，24)；
从数据库(90)中调用(120)如下参考信息(53)：所述参考信息关于在所述传感器数据(11)中名义上反映出来的所分类的对象(52)的至少一个特征(52a)；
如此优化(130)所述传感器(1)的至少一个调节参量(12)和/或后续的数据处理的至少一个调节参量，使得所述传感器数据(11)中和/或所述分类的结果(24)中的所述特征(52a)的表现(52b)与所述参考信息(53)一致。
9.根据权利要求8所述的方法(100)，其特征在于，将陌生的车辆(60)选为所分类的对象(52)，并且根据车辆类型来调用所述参考信息(53)，所述车辆类型由所述陌生的车辆(60)和/或由基础设施(70)通过无线接口(31)传递。
10.一种机器可读的存储介质，在所述存储介质上存储有计算机程序，其包括机器可读的指令，当所述指令在计算机上和/或在控制设备上运行时，所述指令使所述计算机和/或所述控制设备升级成根据权利要求1至4中任一项所述的可信度检验模块(3)和/或根据权利要求5至7中任一项所述的驾驶辅助系统(49)，和/或所述指令促使所述计算机和/或所述控制设备实施根据权利要求8至9中任一项所述的方法。
CN201811030253.8A 2017-09-05 2018-09-05 可信度检验模块、驾驶辅助系统和校准传感器的方法 Active CN109421731B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017215552.3A DE102017215552A1 (de) 2017-09-05 2017-09-05 Plausibilisierung der Objekterkennung für Fahrassistenzsysteme
DE102017215552.3 2017-09-05

Publications (2)

Publication Number Publication Date
CN109421731A CN109421731A (zh) 2019-03-05
CN109421731B true CN109421731B (zh) 2023-05-26

Family

ID=65363690

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811030253.8A Active CN109421731B (zh) 2017-09-05 2018-09-05 可信度检验模块、驾驶辅助系统和校准传感器的方法

Country Status (3)

Country Link
US (1) US10755119B2 (zh)
CN (1) CN109421731B (zh)
DE (1) DE102017215552A1 (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10757485B2 (en) 2017-08-25 2020-08-25 Honda Motor Co., Ltd. System and method for synchronized vehicle sensor data acquisition processing using vehicular communication
AU2019202088A1 (en) 2018-03-26 2019-10-10 Cohda Wireless Pty Ltd Systems and methods for automatically training neural networks
US11181929B2 (en) 2018-07-31 2021-11-23 Honda Motor Co., Ltd. System and method for shared autonomy through cooperative sensing
US11163317B2 (en) 2018-07-31 2021-11-02 Honda Motor Co., Ltd. System and method for shared autonomy through cooperative sensing
JP7082545B2 (ja) * 2018-08-01 2022-06-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理方法、情報処理装置およびプログラム
DE102018126212A1 (de) * 2018-10-22 2020-04-23 Avi Systems Gmbh Verfahren zur Ausrichtung einer Kamera nach ihren extrinsischen Parametern
US11198443B2 (en) * 2019-03-11 2021-12-14 Toyota Jidosha Kabushiki Kaisha Message content selection based on uncertainty for cooperative vehicular systems
DE102019206720B4 (de) * 2019-05-09 2021-08-26 Volkswagen Aktiengesellschaft Überwachung eines KI-Moduls einer Fahrfunktion eines Fahrzeugs
EP3805998A1 (de) * 2019-10-11 2021-04-14 Elektrobit Automotive GmbH Verarbeitung von sensordaten in einem kraftfahrzeug
EP3819811A1 (en) * 2019-11-06 2021-05-12 Ningbo Geely Automobile Research & Development Co. Ltd. Vehicle object detection
CN110996286A (zh) * 2019-11-28 2020-04-10 的卢技术有限公司 一种基于无线传感器的车辆控制方法和系统
US11494939B2 (en) 2019-12-02 2022-11-08 Toyota Research Institute, Inc. Sensor self-calibration in the wild by coupling object detection and analysis-by-synthesis
IL294243A (en) * 2019-12-30 2022-08-01 Waymo Llc Identification of proxy calibration targets for a fleet of vehicles
DE102020104899A1 (de) 2020-02-25 2021-08-26 Bayerische Motoren Werke Aktiengesellschaft Informieren eines Fahrers eines Kraftfahrzeugs
DE102020205831A1 (de) 2020-05-08 2021-11-11 Zf Friedrichshafen Ag System zur Täuschungserkennung, -vermeidung und -schutz von ADAS Funktionen
DE102020205825A1 (de) 2020-05-08 2021-11-11 Zf Friedrichshafen Ag System zur Täuschungserkennung, -vermeidung und -schutz von ADAS Funktionen
ES2894200A1 (es) * 2020-08-05 2022-02-11 Univ Rovira I Virgili Dispositivo y procedimiento para comunicacion vehiculo-infraestructura y vehiculo-vehiculo
DE102020213661A1 (de) 2020-10-30 2022-05-05 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Analysieren eines Umfelds eines Kraftfahrzeugs
US11877217B2 (en) * 2021-02-01 2024-01-16 Toyota Motor Engineering & Manufacturing North America, Inc. Message processing for wireless messages based on value of information
US20220256347A1 (en) * 2021-02-09 2022-08-11 Qualcomm Incorporated Context Dependent V2X Misbehavior Detection
DE102021117177A1 (de) 2021-07-02 2023-01-05 Bayerische Motoren Werke Aktiengesellschaft Kompatibilitätsmodul, Vorrichtung, Verfahren sowie ein Computerprogramm zur Erweiterung und/oder Nachrüstung eines Funktionsumfangs eines Fahrzeugs
DE102022113744A1 (de) * 2022-05-31 2023-11-30 ASFINAG Maut Service GmbH Verfahren zum Erzeugen eines Datensatzes

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4427759B2 (ja) 2007-06-29 2010-03-10 アイシン・エィ・ダブリュ株式会社 車両挙動学習装置及び車両挙動学習プログラム
DE102008002401A1 (de) * 2008-06-12 2009-12-17 Robert Bosch Gmbh Verfahren und Vorrichtung für die Steuerung eines Fahrerassistenzsystems
US9459113B2 (en) 2008-11-21 2016-10-04 GM Global Technology Operations LLC Visual guidance for vehicle navigation system
US8170725B2 (en) * 2009-02-18 2012-05-01 GM Global Technology Operations LLC Vehicle stability enhancement control adaptation to driving skill based on highway on/off ramp maneuver
DE102010021591B4 (de) * 2010-05-26 2024-02-01 Audi Ag Verfahren zur Steuerung des Betriebs eines vollautomatischen, zur unabhängigen Fahrzeugführung ausgebildeten Fahrerassistenzsystems eines Kraftfahrzeugs und Kraftfahrzeug
DE102010049093A1 (de) 2010-10-21 2012-04-26 Gm Global Technology Operations Llc (N.D.Ges.D. Staates Delaware) Verfahren zum Betreiben zumindest eines Sensors eines Fahrzeugs und Fahrzeug mit zumindest einem Sensor
US20130197736A1 (en) * 2012-01-30 2013-08-01 Google Inc. Vehicle control based on perception uncertainty
KR101490819B1 (ko) 2012-04-05 2015-02-06 삼성탈레스 주식회사 차량용 레이더의 수평 정렬 보정 방법 및 보정 장치
US8948995B2 (en) * 2012-06-28 2015-02-03 Toyota Motor Engineering & Manufacturing North America, Inc. Preceding vehicle state prediction
AT514754B1 (de) * 2013-09-05 2018-06-15 Avl List Gmbh Verfahren und Vorrichtung zur Optimierung von Fahrassistenzsystemen
FR3014553A1 (fr) 2013-12-11 2015-06-12 Parrot Procede de calibration angulaire de la position d'une camera video embarquee dans un vehicule automobile
DE102014014295A1 (de) * 2014-09-25 2016-03-31 Audi Ag Verfahren zur Überwachung einer Kalibrierung mehrerer Umgebungssensoren eines Kraftfahrzeugs und Kraftfahrzeug
DE102014221803A1 (de) * 2014-10-27 2016-04-28 Robert Bosch Gmbh Verfahren und Vorrichtung zum Bestimmen einer momentan vorliegenden Fahrsituation
US20160223643A1 (en) 2015-01-28 2016-08-04 Wenhua Li Deep Fusion of Polystatic MIMO Radars with The Internet of Vehicles for Interference-free Environmental Perception
EP3159853B1 (en) * 2015-10-23 2019-03-27 Harman International Industries, Incorporated Systems and methods for advanced driver assistance analytics
DE102016001101A1 (de) * 2016-02-02 2017-08-03 Audi Ag Verfahren zur Erkennung und Identifikation eines Fahrmanövers eines Verkehrsteilnehmers und Kraftfahrzeug
US10332320B2 (en) * 2017-04-17 2019-06-25 Intel Corporation Autonomous vehicle advanced sensing and response

Also Published As

Publication number Publication date
DE102017215552A1 (de) 2019-03-07
CN109421731A (zh) 2019-03-05
US10755119B2 (en) 2020-08-25
US20190073545A1 (en) 2019-03-07

Similar Documents

Publication Publication Date Title
CN109421731B (zh) 可信度检验模块、驾驶辅助系统和校准传感器的方法
CN108137052B (zh) 驾驶控制装置、驾驶控制方法和计算机可读介质
CN108137050B (zh) 驾驶控制装置、驾驶控制方法
CN104853972B (zh) 利用板载车辆平台中的图像处理支持扩增车辆的adas特征
CN113811473A (zh) 自主交通工具系统
US20090228172A1 (en) Vehicle-to-vehicle position awareness system and related operating method
WO2020079698A1 (en) Adas systems functionality testing
US11704912B2 (en) Label-free performance evaluator for traffic light classifier system
US11897511B2 (en) Multi-hypothesis object tracking for automated driving systems
US20200047751A1 (en) Cooperative vehicle safety system and method
US11900811B2 (en) Crowdsourcing road conditions from abnormal vehicle events
CN111409455A (zh) 车辆的速度控制方法及装置、电子设备、存储介质
CN116391161A (zh) 在自主载具运行期间模拟情景的载具内操作
CN110636964A (zh) 用于确定行驶指令的方法
US20230343108A1 (en) Systems and methods for detecting projection attacks on object identification systems
US20210323565A1 (en) Vehicle control device, automated driving vehicle development system, vehicle control method, and program
US11610412B2 (en) Vehicle neural network training
CN113112838A (zh) 利用当地习惯行为实现行驶功能的方法、控制器和存储介质
Ravishankaran Impact on how AI in automobile industry has affected the type approval process at RDW
EP4361991A1 (en) Peer-to-peer vehicular provision of artificially intelligent traffic analysis
US20240144695A1 (en) Peer-to-peer vehicular provision of artificially intelligent traffic analysis
US20220405573A1 (en) Calibration for a distributed system
US20240046619A1 (en) Holographic display calibration using machine learning
CN117993438A (zh) 公平神经网络
KR20230157514A (ko) 차량의 제어 장치용 소프트웨어의 평가 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant