CN109415057A - 用于通过驾驶员辅助系统更好的识别对象的方法 - Google Patents

用于通过驾驶员辅助系统更好的识别对象的方法 Download PDF

Info

Publication number
CN109415057A
CN109415057A CN201780041630.5A CN201780041630A CN109415057A CN 109415057 A CN109415057 A CN 109415057A CN 201780041630 A CN201780041630 A CN 201780041630A CN 109415057 A CN109415057 A CN 109415057A
Authority
CN
China
Prior art keywords
data
driver assistance
sorting algorithm
training
assistance system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780041630.5A
Other languages
English (en)
Other versions
CN109415057B (zh
Inventor
E·布伦斯
C·耶尔维斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Audi AG
Original Assignee
Audi AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi AG filed Critical Audi AG
Publication of CN109415057A publication Critical patent/CN109415057A/zh
Application granted granted Critical
Publication of CN109415057B publication Critical patent/CN109415057B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7753—Incorporation of unlabelled data, e.g. multiple instance learning [MIL]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54—Audio sensitive means, e.g. ultrasound
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种用于运行机动车的驾驶员辅助系统的方法，所述方法包括以下步骤以便通过驾驶员辅助系统来改进对由测得的其他传感器数据表示的对象的识别(8)：检测(1)由驾驶员辅助系统的传感器装置测得且具有缺失的类别属性信息的传感器数据的第一数据项，其中所述类别属性信息涉及由传感器数据表示的对象；在考虑第一数据项的情况下预训练(3)驾驶员辅助系统的分类算法，用于改进所述分类算法的对象分辨；生成(5)模拟的传感器数据的第二数据项，所述模拟的传感器数据根据预先规定的规程具有至少一个相应的类别属性信息；在考虑第二数据项的情况下熟练(6)驾驶员辅助系统的分类算法，用于改进分类算法的为由该分类算法分辨的对象所做出的特性分配。

Description

用于通过驾驶员辅助系统更好的识别对象的方法
技术领域
本发明涉及一种用于运行机动车的驾驶员辅助系统的方法，以便通过驾驶员辅助系统更好地识别对象。
背景技术
在现代机动车中，驾驶员辅助系统用于无人驾驶、即自动或半自动驾驶的许多功能都基于机器学习。为了相应驾驶员辅助系统的学习，需要相应大量的数据量或数据项。虚拟产生的、即模拟的数据或传感器数据对于机器学习而言是一种对否则必需手动准备的所记录的、即测得的真实数据或传感器数据的的更便宜且全面的替代。此外，对于一些目标数据或目标场景、例如道路曲率而言，几乎不能手动准备或生成数据。而模拟数据由于所基于的模拟过程的不完善，可能与真实的或测得的数据有系统性的差别。因此在将仅利用模拟数据进行训练的算法或分类算法应用于真实数据时，即使用或利用该算法来识别由传感器数据所表示的对象时，将表示出降低的成果，即降低的识别率。由此影响模拟数据对于通过机器学习改善相应算法的可用性。
在这方面，文献DE 10 2013 012 781 A1公开了一种用于训练对图像数据中的确定图案进行识别的算法的方法，所述图像数据由机动车的摄像机提供。
文献DE 10 2013 018 543公开了一种用于车辆的驾驶员辅助系统，具有拍摄单元、计算单元和显示单元。计算单元在此适用于评估所述拍摄单元的数据且在此还利用学习算法。
文献DE 10 2014 106 506 A1公开了一种用于诊断机动车摄像机系统的方法，其中以至少两种不同方式对探测到的车辆外部的对象分类且将相应的分类结果进行比较以用于实施诊断。
发明内容
本发明的任务是，通过机动车的驾驶员辅助系统改善对由测得的传感器数据所表示的对象的识别，即尤其是提高驾驶员辅助系统的相应的识别率。
该任务通过独立权利要求的主题实现。有利的实施方案由从属权利要求、说明书和附图得出。
本发明涉及一种用于运行机动车的驾驶员辅助系统的方法。该方法在此具有一系列步骤。
一个步骤是：检测由驾驶员辅助系统的传感器装置测得的、即真实的传感器数据的第一数据项，所述传感器数据具有缺失的类别属性信息或者尤其是不具有类别属性信息。所述第一数据项因此包括多个所测得的传感器数据。在此，传感器数据分别具有缺失的类别属性信息或都不具有类别属性信息。类别属性信息也可以被称作所谓的标签，该标签在此涉及由传感器数据所表示的对象。该对象尤其可以是车辆外部的对象或行驶状况。例如标签可以说明：在传感器数据中表示的对象是路牌。标签也可以包含其他信息且例如确定一图像区域，在该图像区域中布置有相应的对象，在此是所述路牌。对于摄像机的传感器数据而言，可能的标签例如是“在右上方的四分之一图像区域中的让行路牌”。
接下来的步骤是：在考虑第一数据项的前提下预训练驾驶员辅助系统的分类算法，用于改进分类算法的对象分辨或对象分类。尤其是该预训练还可以通过驾驶员辅助系统的控制装置进行。在此的目的是，学到在数据的统计学特性方面有意义的且稳定的表示。例如，找到边缘或对象边界。在预训练中学到的表示可以因此例如是基本几何形状，例如圆形、三角形或类似形状。因此在上述的路牌示例中，可以通过“三角形”或“尖角朝下的三角形”的基本形状来学到对路牌的表示。这在例如要识别对象、例如交通标志的含义的情况下对于后续的熟练是有益的。因而在此的目的是，通过分类算法学到对象在传感器数据中的表示方式或多个表示可能性。
另一个步骤是：生成模拟的、即虚拟的传感器数据的第二数据项，所述传感器数据按照预先规定的模拟规程具有至少一个相应的类别属性信息。接着的下一个步骤是：在考虑第二数据项的前提下熟练驾驶员辅助系统的分类算法，用于改进分类算法的特性分配或特性分类，尤其是对于由分类算法进行分辨的对象，即已分类的或待分类的对象。因此在完成预训练之后、即至少实施了一次预训练之后进行所述熟练。在此的目的是，学到由类别属性信息针对不同对象所预先规定的目标任务，例如学到确定的交通标志的含义或学到例如能够从关于路牌的标准化的标准尺寸的知识中推导出的距离。因此能够将对象的表示，例如上面所述的“尖角朝下的三角形”与“让行”含义相关联。由于已经通过真实数据学习了“尖角朝下的三角形”这一表示，所以之后在实际环境中识别这种对象的识别率也特别高。
整体上通过预训练和熟练的组合改进了通过驾驶员辅助系统对由测得的其他传感器数据所表示的对象的识别或分类，利用熟练之后的分类算法分析所述其他传感器数据。也就是说，分类算法的分类空间通过预训练和熟练的组合得到扩充和/或改进。这可以例如通过测量分类算法的识别率或与相应已知的分类算法的识别率相比较来检查。
所述方法还可以包括如下步骤：通过机动车的驾驶员辅助系统在使用分类算法的情况下识别由测得的、即真实的其他传感器数据所表示的对象。
这具有的优势是，通过预训练的影响，为分类算法寻找到能够更好地广泛用于真实数据的解决方案，即结构和/或权重。在分类算法中通过所述预训练这样影响在分类算法中进行的对象分辨，使得该分类算法能够更好地分辨在真实的传感器数据中或通过真实的传感器数据所表示的对象。通过利用模拟数据的所述熟练能够进一步改进分类算法的特征分类且还可以改进分类算法的对象分辨。因为通过该预先学习已经为所述熟练规定或设置了良好的、即贴近现实情况的初始点，例如初始学习权重，所以相比于传统方法可以利用熟练更快速或更准确地实现预先规定的目标任务，例如针对预先规定的场景或对象的预先规定的识别率。
因而根据本发明的预训练和熟练的组合以最优方式结合了各单个不同类型的训练的优点。由于已经预训练过的分类算法是熟练的初始点，所以在此提供了另外的增值/附加值。通过所述熟练不仅可以改进分类算法的特性分配，而且还可以改进对象分辨。例如可以这样改进在预训练中完成的、可以在圆形和多边形对象之间进行区分的对象分辨，即例如将具有不同的规定、例如不同的速度规定的圆形路牌分类为不同的对象。整体上因而提供了一种分类算法，该分类算法能够以减小的时间和经济成本更好地识别在真实的传感器数据中表示的对象且同时能够以几乎任意精细的方式被熟练。
在一种有利的实施方式中提出，所测得的和/或模拟的传感器数据包括图像数据和/或距离数据，尤其是雷达数据和/或超声波数据，和/或声学数据，尤其是来自从人所能够听见的范围，和/或车辆内部的传感器数据，尤其是速度和/或车轮转速和/或动力设备转速和/或纵向加速度和/或横向加速度等。由此得到的优势是，对象、尤其是车辆外部的对象或包括车辆外部对象的对象能够被特别可靠地识别。
在一种另外的实施方式中，重复地进行预训练以及尤其是还有检测，和/或重复地进行熟练以及尤其是还有生成。所述方法步骤因而可以反复实施。在此无论是预训练还是熟练都多次相继重复，还在多次的熟练中的一次熟练之后再次进行预训练。这具有的优势是，能够特别容易的实现分类算法的预先规定的质量，即例如分类算法的预先规定的识别率。此外可以通过确定质量、例如识别率检测算法的相应中间状态或最终结果，且例如在进展不令人满意时，例如识别率变差时再次采用另一个训练方式，即在熟练之后采用预训练或在预训练之后采用熟练。因此还可以预防可能的漏学(Entlernen)。
在另一有利的实施方式中，所述分类算法用于通过驾驶员辅助装置识别或分类在道路交通中的行驶状况和/或对象。因此所识别的对象既可以是车辆外部的对象又可以是在道路交通中的行驶状况或行驶场景。所述待识别的对象可以例如是车辆或例如路牌或路面标志线等对象。这具有的优点是，驾驶员辅助装置能够非常好地辅助相应机动车的驾驶员。
此外可以提出的是，所述预训练在熟练之前进行。尤其是可以在或仅在熟练之前进行至少一次预训练。这具有的优势是，提前在后来所期望的方向上形成确实要通过真实的传感器数据发挥作用的分类算法。通过分类算法的训练可以因此禁止不切实际的对象划分。
在特别有利的实施方式中提出，所述预训练包括无监督的学习过程。尤其是所述预训练还不包括有监督的学习过程。无监督的学习过程在此尤其是利用深度学习(所谓的Deep Learning(深度学习))的算法和表示学习(所谓的Representation Learning(表示学习))的算法。这具有的优势是，能够学习对象的区别，而无需分别针对不同的对象提前了解或规定特有的特性。因此不必手动准备真实的传感器数据或不必例如以费事的手动操作为真实的传感器数据设置类别属性信息。因此实现了分类算法的“无特性分辨”，该分类算法能够基于相关性分辨对象。但所述分类算法在此仍让无法对与驾驶员辅助系统的干预或功能有关的特性、例如对象的含义或距离作出相应论断。
在其他特别有利的实施方式中提出，所述熟练包括有监督的学习过程。尤其是所述有监督的学习过程使用梯度法。这具有的优势是，通过提供相应对象的特性来为学习预先规定一个方向作为识别目标。通过虚拟的传感器数据在细化规定之后以最小的人工耗费可以预先规定该方向。
在另一实施方式中提出，在预训练之前利用模拟的传感器数据对所述第一数据项加以扩充或补充。这具有的优势是，即使是不包含在真实的数据中的场景或对象在预训练时也被考虑到。因此可以例如人为地加入例如偶见的、但重要的事件或对象，且由此例如减少用于检测所述第一数据项的耗费。在第一数据项中，模拟的传感器数据占总的传感器数据的优选不超过百分之40，特别优选不超过百分之20，或不超过百分之10或百分之5。由此避免了，模拟过程的不完善以会降低对象识别的方式影响所述预训练。
在一种特别有利的实施方式中提出，所述分类算法基于神经网络。这具有的优势是，无论预训练还是熟练都能够特别容易地实现，且在此能够采用大量经过验证的无监督或有监督的学习算法。此外可以因此实现特别接近人类感知或行为的分类或识别行为。
在此可以提出，所述预训练仅涉及神经网络的第一部分，所述熟练涉及神经网络的较大的第二部分或涉及整个神经网络。例如可以利用无监督的学习方法将所述第一部分训练为降噪自动编码器。较大的第二部分可以例如利用梯度法来熟练。因此可以减小整体上用于训练神经网络所需的时间成本，而在此不会使对象识别的精度变差。
前面在说明书中所述特征和特征组合以及下面在附图说明中所述的和/或在附图中单独示出的特征和特征组合在不脱离本发明范围的情况下不仅可以在相应给出的组合中使用，也可以在其他组合中使用。因此本发明的如下实施方案也应被视作是为本发明所包括和所公开：这些实施方案在附图中未明确示出和论述，但能够通过从所述各实施方案分离出的特征组合得知和产生。因此不具有原始表述的独立权利要求全部特征的实施方案和特征组合也应被视作是已公开。此外超出于在权利要求的援引中所论述的特征组合的或与之有偏差的实施方式和特征组合尤其是通过上面所论述的实施方式也应被视作是已公开。
附图说明
下面借助示意图详述本发明实施例。在此唯一的附图示出用于通过驾驶员辅助系统更好地识别对象的方法的示例性实施方式的示意性流程图。
具体实施方式
在所示的方法中，第一步骤是由通过驾驶员辅助系统的传感器装置测得的传感器数据检测1第一数据项。例如，传感器数据可以是机动车摄像机的图像数据，该图像数据被传递给驾驶员辅助系统。在此所述第一数据项在所示示例中仅包含图像数据，而不包含与在图像数据中所表示的在机动车环境中的对象有关的其他信息。因而在此向驾驶员辅助系统仅传递图像。在接下来的步骤中，即在扩充2步骤中，在此除了所测得的真实传感器数据外还向第一数据项添加模拟的传感器数据。模拟的传感器数据在所示示例中也不具有与在传感器数据中所表示的对象有关的类别属性信息，但在其他实施方式中可以具有该类别属性信息。
接下来的步骤是：在考虑到所述扩充的第一数据项的前提下预训练3驾驶员辅助系统的分类算法，用于改进分类算法的对象分辨。这在此借助于无监督的学习过程进行，且目的是，学习传感器数据的在传感器数据的统计学特性方面稳定的表示。在此可以例如学习找到边缘或对象边界。
在预训练3之后进行检查4，在此检查分类算法的质量，这例如通过测量识别率实现。如果算法不满足预先规定的质量标准，则在此重复所述预训练3。
如果所述分类算法满足了质量标准，则可以在由模拟的传感器数据生成5第二数据项之后在考虑第二数据项的前提下进行分类算法的熟练6。在生成5步骤中，在此生成模拟的传感器数据，所述模拟的传感器数据分别根据预先规定的规程具有至少一个相应的类别属性信息。例如为模拟的图像文件配备其中所表示的对象和与相应在不同图像区域中存在的对象的种类和特性有关的其他信息的坐标。该类别属性信息然后在所示的例子中在利用有监督的学习过程进行熟练6时被用于改进分类算法针对由该分类算法分辨的对象所实现的特性分配。在熟练6之后在所示的例子中对分类算法的质量进行进一步检查7。如果质量符合预先规定的质量标准，则在此通过驾驶员辅助系统识别8在其他传感器数据中所表示的对象。如果进一步的检查7给出了否定结果，则在所示的例子中首先以上面所述的已知结论再次进行检查4，即必要时重复预训练3。替代地可以规定，在进一步检查7的步骤中否定的检查结果仅导致再次重复熟练6。
也可以规定，在相应重复预训练3或熟练6之前再次相应地检测1或生成5为训练所使用的相应数据项。

Claims (10)

1.一种用于运行机动车的驾驶员辅助系统的方法，具有以下步骤以便通过驾驶员辅助系统来改进对由测得的其他传感器数据所表示的对象的识别(8)：
-检测(1)传感器数据的第一数据项，所述传感器数据由驾驶员辅助系统的传感器装置测得且具有缺失的类别属性信息，其中所述类别属性信息涉及由传感器数据表示的对象；
-在考虑第一数据项的情况下预训练(3)驾驶员辅助系统的分类算法，用于改进所述分类算法的对象分辨；
-生成(5)模拟的传感器数据的第二数据项，所述模拟的传感器数据根据预先规定的规程具有至少一个相应的类别属性信息；
-在考虑第二数据项的情况下熟练(6)驾驶员辅助系统的分类算法，用于改进分类算法的为由该分类算法分辨的对象所进行的特性分配。
2.根据权利要求所述的方法1，其特征在于，
所述传感器数据包括图像数据和/或距离数据和/或声学数据和/或车辆内部的传感器数据。
3.根据上述权利要求之一所述的方法，其特征在于，
所述预训练(3)以及尤其是还有所述检测(1)都重复地进行，和/或所述熟练(6)以及尤其是还有所述生成(5)都重复地进行。
4.根据上述权利要求之一所述的方法，其特征在于，
所述分类算法用于通过驾驶员辅助装置识别(8)在道路交通中的行驶状况和/或对象。
5.根据上述权利要求之一所述的方法，其特征在于，
所述预训练(3)在熟练(6)之前进行。
6.根据上述权利要求之一所述的方法，其特征在于，
所述预训练(3)包括无监督的学习过程，所述无监督的学习过程尤其是利用深度学习和/或表示学习的算法。
7.根据上述权利要求之一所述的方法，其特征在于，
所述熟练(6)包括有监督的学习过程，所述有监督的学习过程尤其是利用梯度法。
8.根据上述权利要求之一所述的方法，其特征在于，
在预训练(3)之前利用模拟的传感器数据扩充所述第一数据项。
9.根据上述权利要求之一所述的方法，其特征在于，
所述分类算法基于神经网络。
10.根据权利要求所述的方法9，其特征在于，
所述预训练(3)仅涉及神经网络的第一部分，所述熟练(6)涉及神经网络的较大的第二部分或整个神经网络。
CN201780041630.5A 2016-07-06 2017-06-23 用于通过驾驶员辅助系统更好的识别对象的方法 Active CN109415057B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102016008218.6A DE102016008218A1 (de) 2016-07-06 2016-07-06 Verfahren zum verbesserten Erkennen von Objekten durch ein Fahrerassistenzsystem
DE102016008218.6 2016-07-06
PCT/EP2017/065563 WO2018007171A1 (de) 2016-07-06 2017-06-23 Verfahren zum verbesserten erkennen von objekten durch ein fahrerassistenzsystem

Publications (2)

Publication Number Publication Date
CN109415057A true CN109415057A (zh) 2019-03-01
CN109415057B CN109415057B (zh) 2019-09-27

Family

ID=59270006

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780041630.5A Active CN109415057B (zh) 2016-07-06 2017-06-23 用于通过驾驶员辅助系统更好的识别对象的方法

Country Status (5)

Country Link
US (1) US10913455B2 (zh)
EP (1) EP3393875B1 (zh)
CN (1) CN109415057B (zh)
DE (1) DE102016008218A1 (zh)
WO (1) WO2018007171A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3435295A1 (de) * 2017-07-26 2019-01-30 Siemens Aktiengesellschaft Vorverarbeitung für einen klassifikationsalgorithmus
DE102018203082A1 (de) * 2018-03-01 2019-09-05 Siemens Aktiengesellschaft Automatisches Konfigurationssystem für ein Wahrnehmungssystem, Verfahren zum Betreiben eines automatischen Konfigurationssystems, autonomes System mit einem Wahrnehmungssystem sowie Computerprogrammprodukt
DE102018216172A1 (de) * 2018-09-21 2020-03-26 Audi Ag Verfahren zum automatischen Erzeugen eines Labels zum Trainieren eines selbstlernenden Systems sowie Kraftfahrzeug
AT521607B1 (de) * 2018-10-24 2020-03-15 Avl List Gmbh Verfahren und Vorrichtung zum Testen eines Fahrerassistenzsystem
WO2021056327A1 (en) * 2019-09-26 2021-04-01 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for analyzing human driving behavior

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7046822B1 (en) * 1999-06-11 2006-05-16 Daimlerchrysler Ag Method of detecting objects within a wide range of a road vehicle
US20110184895A1 (en) * 2008-04-18 2011-07-28 Holger Janssen Traffic object recognition system, method for recognizing a traffic object, and method for setting up a traffic object recognition system
CN103810699A (zh) * 2013-12-24 2014-05-21 西安电子科技大学 基于无监督深度神经网络的sar图像变化检测方法
DE102013012781A1 (de) * 2013-07-31 2015-02-05 Connaught Electronics Ltd. Verfahren zum Trainieren eines Algorithmus zum Erkennen von vorbestimmten Mustern in Bilddaten, Kamerasystem und Kraftfahrzeug
WO2015169636A1 (en) * 2014-05-08 2015-11-12 Valeo Schalter Und Sensoren Gmbh Method for performing diagnosis of a camera system of a motor vehicle, camera system and motor vehicle

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008033439A2 (en) * 2006-09-13 2008-03-20 Aurilab, Llc Robust pattern recognition system and method using socratic agents
DE102010013943B4 (de) * 2010-04-06 2018-02-22 Audi Ag Verfahren und Vorrichtung für eine Funktionsprüfung einer Objekt-Erkennungseinrichtung eines Kraftwagens
US8509982B2 (en) * 2010-10-05 2013-08-13 Google Inc. Zone driving
DE102013018543A1 (de) 2013-11-05 2015-05-07 Mekra Lang Gmbh & Co. Kg Fahrerassistenzsystem für Fahrzeuge, insbesondere Nutzfahrzeuge
US20170039469A1 (en) * 2015-08-04 2017-02-09 Qualcomm Incorporated Detection of unknown classes and initialization of classifiers for unknown classes

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7046822B1 (en) * 1999-06-11 2006-05-16 Daimlerchrysler Ag Method of detecting objects within a wide range of a road vehicle
US20110184895A1 (en) * 2008-04-18 2011-07-28 Holger Janssen Traffic object recognition system, method for recognizing a traffic object, and method for setting up a traffic object recognition system
DE102013012781A1 (de) * 2013-07-31 2015-02-05 Connaught Electronics Ltd. Verfahren zum Trainieren eines Algorithmus zum Erkennen von vorbestimmten Mustern in Bilddaten, Kamerasystem und Kraftfahrzeug
CN103810699A (zh) * 2013-12-24 2014-05-21 西安电子科技大学 基于无监督深度神经网络的sar图像变化检测方法
WO2015169636A1 (en) * 2014-05-08 2015-11-12 Valeo Schalter Und Sensoren Gmbh Method for performing diagnosis of a camera system of a motor vehicle, camera system and motor vehicle

Also Published As

Publication number Publication date
EP3393875B1 (de) 2019-03-13
EP3393875A1 (de) 2018-10-31
DE102016008218A1 (de) 2018-01-11
CN109415057B (zh) 2019-09-27
WO2018007171A1 (de) 2018-01-11
US20200384989A1 (en) 2020-12-10
US10913455B2 (en) 2021-02-09

Similar Documents

Publication Publication Date Title
CN109415057B (zh) 用于通过驾驶员辅助系统更好的识别对象的方法
CN104573646B (zh) 基于激光雷达和双目相机的车前行人检测方法及系统
EP3223196B1 (en) A method and a device for generating a confidence measure for an estimation derived from images captured by a camera mounted on a vehicle
CN109948684B (zh) 激光雷达点云数据标注质量的质检方法、装置及设备
CN108009475A (zh) 驾驶行为分析方法、装置、计算机可读存储介质及电子设备
US10235629B2 (en) Sensor data confidence estimation based on statistical analysis
CN107909010A (zh) 一种道路障碍物检测方法与装置
JP7380019B2 (ja) データ生成システム、学習装置、データ生成装置、データ生成方法及びデータ生成プログラム
CN102620766B (zh) 地下道路交通标志动态视认性测试方法
US11797858B2 (en) Translation of training data between observation modalities
Ito et al. Predicting traffic congestion using driver behavior
CN106250913B (zh) 一种基于局部典型相关分析的分类器集成车牌识别方法
CN112307840A (zh) 指示灯检测方法、装置、设备及计算机可读存储介质
JP4754440B2 (ja) 車種判別装置、車種判別システム、車種判別方法及び車種判別プログラム
CN109344829A (zh) 一种高速铁路列车的车号识别方法及装置
JP2005115569A (ja) 信号識別装置および信号識別方法
KR102337034B1 (ko) 자율 주행 상황 인지 프로그램 성능 테스트 방법 및 동일 방법을 수행하기 위한 자율 주행 상황 인지 프로그램 성능 테스트 장치
Jaworek-Korjakowska et al. SafeSO: interpretable and explainable deep learning approach for seat occupancy classification in vehicle interior
JP2004354111A (ja) 物体検査方法及びその装置
CN106682604A (zh) 一种基于深度学习的模糊图像检测方法
US20220405536A1 (en) Method and device for generating combined scenarios
CN115577953A (zh) 基于全要素数据的场地驾驶能力数字化评估方法及装置
CN113298007B (zh) 一种小样本sar图像目标识别方法
CN105740783B (zh) 基于姿态检测与衣帽特征的交警检测方法和系统
CN106415602A (zh) 一种成对车道线的检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant