CN111492320B - 环境传感器的行为模型 - Google Patents
环境传感器的行为模型 Download PDFInfo
- Publication number
- CN111492320B CN111492320B CN201880083021.0A CN201880083021A CN111492320B CN 111492320 B CN111492320 B CN 111492320B CN 201880083021 A CN201880083021 A CN 201880083021A CN 111492320 B CN111492320 B CN 111492320B
- Authority
- CN
- China
- Prior art keywords
- data
- sensor
- environmental sensor
- test run
- environmental
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007613 environmental effect Effects 0.000 title claims abstract description 108
- 238000012360 testing method Methods 0.000 claims abstract description 92
- 238000000034 method Methods 0.000 claims abstract description 60
- 238000013528 artificial neural network Methods 0.000 claims abstract description 36
- 238000013507 mapping Methods 0.000 claims abstract description 13
- 238000012549 training Methods 0.000 claims abstract description 13
- 238000004088 simulation Methods 0.000 claims description 51
- 238000004364 calculation method Methods 0.000 claims description 19
- 210000002569 neuron Anatomy 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 4
- 230000007547 defect Effects 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 description 15
- 238000012545 processing Methods 0.000 description 15
- 230000003287 optical effect Effects 0.000 description 7
- 230000006399 behavior Effects 0.000 description 6
- 238000011161 development Methods 0.000 description 4
- 230000005855 radiation Effects 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000009833 condensation Methods 0.000 description 1
- 230000005494 condensation Effects 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000002285 radioactive effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
- G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
- G05B19/0423—Input/output
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B17/00—Systems involving the use of models or simulators of said systems
- G05B17/02—Systems involving the use of models or simulators of said systems electric
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/10—Geometric CAD
- G06F30/15—Vehicle, aircraft or watercraft design
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/20—Pc systems
- G05B2219/23—Pc programming
- G05B2219/23446—HIL hardware in the loop, simulates equipment to which a control module is fixed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Geometry (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Automation & Control Theory (AREA)
- Artificial Intelligence (AREA)
- Computer Hardware Design (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Abstract
本发明涉及用于训练人工神经元网络以模拟驾驶员辅助系统的环境传感器的计算机辅助方法，其优选具有以下工作步骤：读取试车的交通场景；从交通场景中推导试车数据以及需由环境传感器发送的传感器数据；生成映射出自环境传感器角度的交通场景的数据流、特别是图像流；通过以下方式发送数据流，即，使得环境传感器能基于该数据流生成传感器数据并且能在数据接口上提供该传感器数据，试车数据和需发送的传感器数据也在该数据接口上被提供；以及将提供的数据读取到人工神经元网络中。
Description
技术领域
本发明涉及用于训练人工神经元网络以模拟驾驶员辅助系统的环境传感器的方法。本发明还涉及用于分析这种环境传感器的方法以及用于模拟这种环境传感器的方法。
背景技术
由于当今机动车辆的复杂性，存在如下的需求，即，其构件可以在研发时在尽可能早的研发阶段得到共同测试。这样的不同构件相互作用的测试可以在有样机之前或通过构件在试验台上的模拟运行进行，或者甚至仅通过至少部分基于模型的模拟或完全基于模型的模拟进行。在这种基于模型的模拟中，至少一个构件的运行借助模型来模拟。
基于模型模拟的构件通常由物理模型建模。为此特别是当构件涉及在模型中应映射虚拟传感器的传感器时，需要相当高的抽象水平。
此外，对于一些构件还困难的是：获得精确的规格。特别是在传感器中，进而在属于驾驶员辅助系统或构造在这些驾驶员辅助系统中的传感器中，供货方常常不提供必要的数据，这些数据对于参数化或甚至对于建立物理模型来说是必要的。这样的传感器、特别是环境传感器优选具有传感器硬件和数据处理装置，其中优选为了驾驶员辅助系统的进一步处理，测量信号借助数据处理算法被编辑。
文献US 2009/0112334 A1涉及用于机器的控制系统的方法。该方法可以包括创建虚拟传感器模型，该虚拟传感器模型表示至少一个借助传感器检测的参数与多个测量的关于机器的参数之间的相互关系的特征。
发明内容
本发明的目的是：提供一种方法，借助该方法可以改善驾驶员辅助系统的环境传感器的模拟。特别地，本发明的目的是：能够精确地模拟传感器的运行，使得由模拟模型发送的数据适于用于测试虚拟或真实驾驶员辅助系统的虚拟试车。
所述目的通过根据权利要求1的用于训练人工神经元网络的方法、根据权利要求2的用于分析环境传感器的方法、根据权利要求4的用于模拟环境传感器的方法以及通过根据权利要求10的用于训练人工神经元网络的设备、根据权利要求11的用于分析驾驶员辅助系统的环境传感器的设备和根据权利要求12的用于模拟驾驶员辅助系统的环境传感器的设备得以实现。有利的设计方案在从属权利要求中被要求保护。权利要求的教导明确属于说明书的组成部分。
本发明的第一方面涉及用于训练人工神经元网络以模拟驾驶员辅助系统的环境传感器的方法，该方法优选具有以下工作步骤：
读取试车的交通场景；
从所述交通场景中推导试车数据以及需由环境传感器发送的传感器数据；
生成数据流、特别是图像流，其映射出自环境传感器的角度的交通场景；
通过以下方式发送数据流，即，使得环境传感器能够基于该数据流生成传感器数据并且可以在数据接口上提供这些传感器数据，试车数据和需发送的传感器数据也在该数据接口上被提供；以及
将提供的数据读取到人工神经元网络中。
本发明的第二方面涉及相应的用于训练人工神经元网络以模拟驾驶员辅助系统的环境传感器的系统，该系统优选具有：
用于读取试车的交通场景的接口；
用于从交通场景中推导试车数据以及需由环境传感器发送的传感器数据的器件；
用于生成数据流、特别是图像流的器件、特别是显卡，所述数据流映射出自环境传感器的角度的交通场景；
用于通过以下方式发送数据流的接口、特别是显示器，即，使得环境传感器能够基于数据流生成传感器数据；以及
数据接口，在该数据接口上，生成的传感器数据、试车数据以及需发送的传感器数据可以提供给人工神经元网络。
本发明的第三方面涉及用于分析驾驶员辅助系统的环境传感器的方法，该方法优选具有以下工作步骤：
读取多个试车的交通场景；
从交通场景中推导试车数据以及需由环境传感器发送的传感器数据；
生成数据流、特别是图像流，其映射出自环境传感器的角度的交通场景；
将所述数据流发送给所述环境传感器，该环境传感器基于所述数据流生成传感器数据；
借助基于试车数据、需发送的传感器数据和由环境传感器生成的传感器数据的人工神经元网络执行平差计算；以及
应用基于平差计算的模拟模型，其中，所述模拟模型设置为，基于试车的数据流来模拟并发送传感器数据。
本发明的第四方面涉及相应的用于分析驾驶员辅助系统的环境传感器的系统，该系统优选具有：
用于读取多个试车的交通场景的接口；
用于从所述交通场景中推导试车数据以及需由环境传感器发送的传感器数据的器件；
用于生成数据流、特别是图像流的器件、特别是显卡，所述数据流映射出自环境传感器的角度的交通场景；
用于将数据流发送给环境传感器的接口、特别是显示器，所述环境传感器基于所述数据流生成传感器数据；
用于借助基于试车模拟数据、需发送的传感器数据和由环境传感器生成的传感器数据的人工神经元网络来执行平差计算的器件；
用于借助基于平差计算的模拟模型来确定传感器数据的器件，其中，所述模拟模型设置为，基于任意试车的数据流、特别是图像流来模拟传感器数据；以及
用于发送借助模拟模型确定的传感器数据的数据接口。
本发明的第五方面涉及用于模拟驾驶员辅助系统的环境传感器的方法，该方法优选具有以下工作步骤：
检测映射出自环境传感器的角度的试车的数据流；
借助模拟模型来确定传感器数据，所述模拟模型设置为，基于试车的数据流来模拟传感器数据，其中，所述模拟模型以借助人工神经元网络的平差计算为基础，所述人工神经元网络基于多个不同试车的试车数据和数据流以及基于在这些试车中由环境传感器生成的传感器数据；以及
发送借助所述模拟模型确定的传感器数据。
本发明的第六方面涉及相应的用于模拟驾驶员辅助系统的环境传感器的系统，该系统优选具有：
用于检测映射出自环境传感器的角度的试车的数据流的接口、特别是相机；
用于借助模拟模型来确定传感器数据的器件，所述模拟模型设置为，基于任意试车的数据流模拟传感器数据，其中，所述模拟模型以借助人工神经元网络的平差计算为基础，所述人工神经元网络基于多个不同试车的试车数据和数据流以及基于在这些试车(R)中由环境传感器生成的传感器数据；以及
用于发送借助模拟模型确定的传感器数据的数据接口。
本发明意义中的环境传感器优选设置为，检测具有驾驶员辅助系统的车辆的环境的信息。该信息优选涉及以下特性组别中的至少一个特性：温度、图像，特别是光学、红外线或雷达图像、距离、湿度、气压、动压、电磁辐射、放射性辐射、亮度、视距。
在此，环境传感器优选构造为硬件和/或软件。环境传感器优选具有数据处理算法。可选地或附加地，环境传感器具有用于检测信息的设备。
本发明意义中的试车数据优选是关于承载有驾驶员辅助系统的车辆的环境数据。在此，环境数据是环境的优选未被需模拟的环境传感器检测的特性。可选地或附加地，试车数据包括静态数据，这些静态数据具有车辆的尺寸和特性，但是特别还具有街道的尺寸。附加地或可选地，试车数据具有所谓的自我数据(Egodaten)，所述自我数据包括承载有驾驶员辅助系统的车辆的动态特性，例如闪光信号、速度、加速度和/或倾斜、侧滑或滚动运动。
本发明意义中的数据流优选包含信息。数据流进一步优选是光学信号、电磁信号、湿度值、气压值、动压值、辐射值、温度值或亮度值。数据流优选涉及与时间和/或驶过的距离有关的信息值的序列。
本发明意义中的数据接口优选是人工神经元网络的或设备的和/或计算机程序的一部分，所述人工神经元网络或设备和/或计算机程序分别实施根据本发明的方法。数据接口在此优选可以包括多个子接口，这些子接口分别由硬件和/或软件构成。
本发明意义中的器件优选硬件和/或软件技术地构造，特别是具有优选与存储器系统和/或总线系统数据或者信号连接的、特别是数字的处理单元，特别是微处理器单元(CPU)和/或一个或多个程序或程序模块。CPU可以为此构造为，对作为保存在存储器系统中的程序得到执行的命令进行处理、检测来自数据总线的输入信号和/或将输出信号发给数据总线。存储系统可以具有一个或多个特别是不同的存储媒介，特别是光学的、磁性的固态和/或其它非易失性媒介。所述程序可以设计成，使得所述程序能够体现或执行此处所述的方法，使得CPU可以执行这种方法的步骤并且因此特别可以确定关于至少一个车辆类别的车辆的耐用性的目标变量值。
本发明意义中的交通场景优选是在路面、特别是街道的区域和影响环境中的交通参与者和对象的状况。交通场景还优选包括一个或多个时间上依次跟随的交通场景。
本发明特别以通过所谓的行为模型(英语：behavioral model)模仿驾驶员辅助系统的传感器的方案为基础。这种行为模型通常基于深度学习(英语：deep learning)的方法。
借助以行为模型为基础的模拟模型，特别可能的是：在不认识精确规格的情况下对传感器建模。这既适于关于传感器的可能硬件构件的规格，也适于可能存在的数据处理算法，该数据处理算法优选是环境传感器的一部分、特别是环境传感器的数据处理装置的一部分。为了获得对传感器的模拟的特别精确的结果，通过数据流来训练模拟模型，该模拟模型再现出自相应环境传感器的视角或角度的试车。此外，模型被供应测试数据和实际上需由传感器发送的传感器数据。
需由需模拟的环境传感器发送的传感器数据同样从相应试车的交通场景中获得。在模拟或虚拟的试车中，这些数据已经可以由模拟环境提供，在基于真实试车的交通场景中，可以使用估值算法亦或手动的人工估值。
人工神经元网络可以通过读取输入变量(试车数据、发送的传感器数据)和需发送的输出变量(需发送的传感器数据)逐渐建立。
根据本发明的方法步骤的特征特别在于，可以利用关于环境传感器的相应安装地点的实际数据来训练传感器模型。
基于人工神经元网络的模拟模型还具有的优点是：可以实时模仿真实传感器的实际行为。因此可以基于模拟环境传感器的数据为驾驶员辅助系统实时实施试车。
基于人工神经元网络的模拟模型还具有的优点是：在相同的交通场景下但是在诸如不同的环境条件、特别是天气条件和/或环境传感器(US)的硬件缺陷、例如镜头的像差亦或因镜头的潮气或污染导致的镜头表面凝水的像差下，其可以真实可靠地模拟需模拟的环境传感器的行为或输出变化。如果传感器生成例如对象列表，则在发生这种故障时的对象列表可以明显不同于不发生这种故障所生成的对象列表。随着参数的变化，情况相似，这些参数对于通过需模拟的环境传感器来感知交通场景而言是相对重要的，但是需模拟的环境传感器本身不被其检测。
这根据本发明通过以下方式实现，即，借助需在一个时间点发送的传感器数据、也就是说通过环境传感器对驾驶场景的理想感知、在该时间点发送的传感器数据、也就是说实际存在的通过环境传感器对驾驶场景的感知以及试车数据来训练模拟模型。
本发明第七方面涉及用于分析驾驶员辅助系统的方法，其中，所述驾驶员辅助系统在真实试车或模拟试车期间被供应借助根据本发明第一、第三或第五方面发送的传感器数据以及其它虚拟或真实传感器的数据，所述其它虚拟或真实传感器的数据优选提供在车辆的数据网络内、特别是识别网络内。借助这种方法可以测试包括驾驶员辅助系统以及模拟环境传感器和必要情况下另外的传感器的总系统的性能。模拟传感器以及另外的模拟或真实传感器的数据的汇总特别可以借助传感器融合来进行。
在根据本发明第一方面和第三方面的方法的有利的设计方案中，利用不同的试车来重复所述工作步骤，直到所述人工神经元网络尽可能精确地映射传感器的功能，特别是直到需发送的数据与已发送的数据针对在平差计算时未被考虑的试车有95％、优选98％的一致性。
在根据本发明第五方面的方法的有利的设计方案中，该方法还具有以下工作步骤：
生成数据流、特别是图像流，该数据流特别是基于交通场景来映射出自环境传感器视角的试车。
相应地，根据本发明第六方面的用于模拟环境传感器的设备在一种有利的设计方案中具有用于生成数据流、特别是图像流的器件，该数据流特别是基于试车的交通场景来映射出自环境传感器视角的试车。
在一种有利的设计方案中，根据本发明各方面中的一个方面的方法还包括以下工作步骤：
使所述数据流、特别是所述图像流劣化、特别是失真，其中，优选考虑天气条件和/或所述环境传感器的硬件的缺陷。借助这种有利的设计方案可以自我检查传感器的亦或驾驶员辅助系统的数据处理算法的能力，以规避错误的传感器数据或在运行中补偿这些错误的传感器数据。
在根据本发明各方面中的一个方面的方法的另一有利的设计方案中，优选借助前述可能性的组合在试验台上或基于模型地模拟或真实地执行一个或多个所述试车。以这种方式，环境传感器或驾驶员辅助系统可以在研发周期的每个阶段得到测试。
附图说明
另外的特征和优点从下面参照附图描述的优选实施例中得出。
至少部分示意性地示出：
图1示出了根据本发明第二方面的设备的实施例；
图2示出了根据本发明第一方面的方法的实施例；
图3示出了根据本发明第三方面的设备的实施例；
图4示出了根据本发明第三方面的方法的实施例以及根据本发明第五方面的方法的实施例；
图5示出了根据本发明第六方面的设备的实施例。
具体实施方式
图1示出了根据本发明的用于训练人工神经元网络KNN以模拟驾驶员辅助系统的环境传感器US的设备的第一实施例。
下面针对所有实施例借助光学相机作为环境传感器US来描述本发明。然而原则上也可以借助所描述的方法和系统来模仿和分析其它构件、特别是其它(环境)传感器。对此，示例性地但不穷尽地是激光雷达传感器、雷达传感器、超声波传感器、温度传感器、湿度传感器、辐射传感器等。
可以利用系统10实施的相应的方法100在图2中示出。
试车R的数据或在该试车R上遇到的交通场景被提供给系统10或被系统10读取101。
该试车可以是模拟的试车R或模拟的交通场景，所述试车例如使用IPG的/>软件创建。可选地，试车R或其交通场景也可以在车辆的真实运行期间记录。
借助器件11从试车R的交通场景中提取或者推导102试车数据以及实际的需由环境传感器US识别并发送的“真实的”传感器数据。如果交通场景由诸如的模拟软件提供，则提取基本上包括鉴别对系统10或者方法100来说必要的试车数据以及对于需模拟的环境传感器来说重要的数据。
关于光学相机，这例如可以是需创建的对象列表。“真实”的对象列表可以从模仿软件、如直接推导102。在记录的真实试车的交通场景中，通常必须借助所谓的标签工具来确定对象的数量。这可以自动实现，但是通常必须由人来检查数据是否正确。
进而从交通场景中推导102的试车数据例如是环境数据、特别是其它传感器的数据，例如需研究的环境传感器US的数据、静态数据、特别是车辆以及街道的尺寸和自我数据、特别是车辆的动态数据，以及车辆的其它状态数据，例如闪光或打开车灯。所述推导在此可以借助用于推导的器件12来执行。
同样基于试车R的交通状况、借助器件13来生成103数据流、特别是图像流，该数据流映射出自环境传感器US的视角的交通场景。
在图像流的情况下，在此可以优选使用商业上通用的显卡13或用于这种显卡的专用的图像软件作为器件13。
这样生成的图像流在作为接口的显示器14上发送105给相机US。
可选地在所述发送之前存在的可能性是：劣化图像流、特别是伪装104-1天气条件。由此可以实现或检查环境传感器US的反应或在这些情况下由环境传感器US确定的传感器数据的质量。
在可选的实施方式中，映射出自环境传感器US视角的交通场景的数据流被直接发送给传感器的物理部分的模型、即传感器硬件的模型。在光学相机的情况下，传感器硬件的、即相机硬件的模型基本上映射镜头和图像传感器。
可选地或附加地还可能的是：在通过环境传感器US的数据处理算法、在本示例中为相机的对象识别算法处理之前，劣化104-2、204-2来自相机硬件或来自相机硬件的模型的数据流，并且然后才将其发送105'，205'给对象识别算法。可能由相机硬件或相机硬件的模型引起或模拟的图像流或数据流的可能劣化例如是镜头的映射错误或在图像传感器上的错误或污染。
基于所发送的来自传感器硬件或传感器硬件的模型的图像流或劣化的图像流或数据流，对象识别算法生成传感器数据，这些传感器数据经由另外的接口14'又被读取到系统10中并且经由另外的数据接口15与推导的试车数据和需发送的实际传感器数据一起被提供。
这些数据，也就是传感器数据、推导的试车数据和需发送的实际传感器数据可以读取106到人工神经元网络KNN中用以对其进行训练。
优选利用不同的试车并因此分别利用其它用于训练人工神经元网络KNN的交通场景来长时间地重复这些工作步骤，直到人工神经元网络KNN尽可能精确地映射环境传感器US的功能为止。
精确度例如可以通过以下方式确定，即，训练后的人工神经元网络KNN对照不是用于训练的未知的试车R'的数据并基于该数据对实际需发送的传感器数据与由人工神经元网络KNN生成的传感器数据进行比较。优选在方法100结束之前，需发送的传感器数据与借助人工神经元网络KNN生成的传感器数据应以至少95％、优选大于98％的精确度匹配。
借助人工神经元网络KNN来实施平差计算，该平差计算的结果是环境传感器US的模拟模型。人工神经元网络KNN映射整个环境传感器US还是只映射环境传感器US的数据处理算法、特别是相机的对象识别算法而不映射传感器硬件，取决于传感器硬件、在本实施例中为相机硬件在此是用于训练人工神经元网络KNN还是通过传感器硬件的模型被模拟。
根据图3和4阐明系统20以及借助该系统20可实施的方法200，它们用于分析根据本发明的驾驶员辅助系统的环境传感器US。
图3和4特别涉及本发明第三方面的方法以及根据本发明第四方面的相应的系统。
方法步骤基本上对应于关于本发明第一和第二方面的图1和2所示出的方法步骤。
多个试车的交通场景经由接口21读取201到用于分析驾驶员辅助系统的环境传感器US的系统中。借助用于推导的器件22从交通场景中推导202试车数据和需由环境传感器US发送的传感器数据。
显卡23生成图像流，该图像流基于交通场景映射出自环境传感器US的视角的试车。借助接口24、24'、特别是显示器将图像流发送给环境传感器US，该环境传感器基于数据流生成205；205'传感器数据。
在方法200的可选实施方式中也可能的是：将映射出自环境传感器US的视角的交通场景的数据流直接发送给传感器的物理部分的模型、即传感器硬件的模型。在光学相机US的情况下，传感器硬件的、即相机硬件的模型基本上映射镜头和图像传感器。
在方法200中也可能的是：要么在图像流或数据流被照相机硬件或照相机硬件的模型检测之前通过模拟环境条件204-1、要么在图像或数据流被供应给对象识别算法之前通过相机硬件的或相机硬件的模型自身的模拟错误204-2，来劣化图像流或数据流。
最后，将所有数据、也就是所述传感器数据、所述推导的试车数据和需发送的实际传感器数据供应给特别是基于人工神经元网络KNN的平差计算，其中，优选利用相应的用于数据处理的器件25来实施206该平差计算。以这种方式，优选可以训练人工神经元网络KNN。
与系统10不同，系统20现在还具有用于借助模拟模型确定传感器数据的器件26。如果使用207这种优选包含经训练的人工神经元网络KNN的模拟模型，则可以基于数据流通过任意的试车R’来模拟环境传感器的传感器数据。该模拟的传感器数据最终可以经由数据接口27发送。同样，在该实施例中，模拟模型映射整个传感器还是仅映射数据处理算法、特别是对象识别算法而不映射传感器硬件，取决于传感器硬件、在本实施例中为相机硬件是用于生成传感器数据还是在此通过传感器硬件的模型被模拟。
最后，同样参考图4和5描述根据本发明第五方面的用于模拟驾驶员辅助系统的环境传感器的方法以及根据本发明第六方面的相应的系统30。
如图5所示，系统30包括用于生成图像流或数据流的器件31，所述图像流或数据流映射301出自环境传感器US的视角的试车。
优选借助相机或数据接口32来检测302所述图像流或数据流。检测到的图像流或数据流的信息被供应给模拟模型。
基于检测到的图像流或数据流，借助用于数据处理的器件33通过模拟模型来模拟传感器数据，该模拟模型优选以借助人工神经元网络KNN的平差计算为基础303，所述人工神经元网络基于试车数据和多个不同试车的数据流以及在这些试车中由环境传感器US或仅由环境传感器US的数据处理算法生成的传感器数据。
优选地，模拟模型分别对应可以借助本发明第一和第三方面的方法生成的不同模拟模型中的一个模拟模型。
借助模拟模型确定的传感器数据最终经由数据接口34发送304。
借助根据本发明的模拟模型模拟的传感器数据特别适于所谓的用于测试驾驶员辅助系统或车辆的传感器融合。
在此，环境传感器US的模拟的传感器数据与另外的模拟环境传感器的另外的传感器数据或还与真实传感器的真实发送汇总，以便能够在不同的研发阶段中在尽可能真实的条件下测试驾驶员辅助系统或车辆。
在这里要指出的是：实施例仅是示例，它们不应以任何方式限制保护范围、应用和结构。更确切地说，通过前面的描述给予本领域技术人员用于转化至少一个实施例的指南，其中，可以进行各种改变、特别是鉴于所描述的组成部分的功能和设置，而不会背离通过权利要求以及其等效的特征组合获得的保护范围。
Claims (22)
1.用于训练人工神经元网络以模拟驾驶员辅助系统的环境传感器(US)在交通场景中的行为的计算机辅助方法(100)，所述计算机辅助方法具有以下工作步骤：
读取(101)试车(R)的交通场景；
从所述交通场景中推导(102)试车数据和需由所述环境传感器(US)发送的传感器数据；
生成(103)数据流，该数据流映射出自所述环境传感器(US)的角度的交通场景；
通过以下方式发送(105；105’)所述数据流，即，使得所述环境传感器(US)能基于所述数据流生成传感器数据并且能够在数据接口(15)上提供所述传感器数据，试车数据和需发送的传感器数据也在所述数据接口上提供；以及
将提供的数据读取(106)到所述人工神经元网络中。
2.根据权利要求1所述的方法，其中，所述环境传感器(US)是相机，所述传感器数据是对象列表，所述数据流是图像流。
3.用于分析驾驶员辅助系统的环境传感器(US)的计算机辅助方法(200)，所述计算机辅助方法具有以下工作步骤：
读取(201)多个试车(R)的交通场景；
从所述交通场景中推导(202)试车数据以及需由所述环境传感器(US)发送的传感器数据；
生成(203)数据流，该数据流映射出自所述环境传感器(US)的角度的交通场景；
将所述数据流发送(205；205')给所述环境传感器(US)，所述环境传感器基于所述数据流生成传感器数据；
借助基于试车数据、需发送的传感器数据和由环境传感器(US)生成的传感器数据的人工神经元网络来实施平差计算(206)；以及
应用(207)基于平差计算的模拟模型，其中，所述模拟模型设置为，基于任意的试车(R')的数据流来模拟并发送传感器数据。
4.根据权利要求3所述的方法(200)，其中，所述数据流是图像流。
5.根据权利要求3所述的方法(200)，其中，利用不同的试车重复所述工作步骤，直到所述人工神经元网络精确地映射所述环境传感器(US)的功能为止。
6.根据权利要求5所述的方法(200)，其中，利用不同的试车重复所述工作步骤，直到需发送的传感器数据与已发送的传感器数据针对在平差计算时未被考虑的试车(R')有95％的一致性为止。
7.根据权利要求5所述的方法(200)，其中，利用不同的试车重复所述工作步骤，直到需发送的传感器数据与已发送的传感器数据针对在平差计算时未被考虑的试车(R')有98％的一致性为止。
8.用于模拟驾驶员辅助系统的环境传感器(US)在交通场景中的行为的计算机辅助方法(300)，所述计算机辅助方法具有以下工作步骤：
检测(302)数据流，该数据流映射出自所述环境传感器(US)的角度的试车(R')；
借助环境传感器(US)的基于所检测的数据流的模拟模型来确定(303)传感器数据，所述模拟模型设置为，基于任意的试车(R')的数据流来模拟传感器数据，并且所述模拟模型以借助人工神经元网络的平差计算为基础，所述人工神经元网络基于多个不同的试车(R)的试车数据和数据流以及基于在这些试车(R)中由环境传感器(US)生成的传感器数据；以及
发送(304)借助所述模拟模型确定的传感器数据。
9.根据权利要求8所述的方法，其中，所述环境传感器(US)是相机，所述传感器数据是对象列表，所述数据流是图像流。
10.根据权利要求8所述的方法(300)，其中，还基于用于模拟的试车(R')的试车数据来模拟所述传感器数据。
11.根据权利要求8或10所述的方法(300)，还具有以下工作步骤：
生成(301)数据流，该数据流映射出自所述环境传感器(US)的角度的试车(R')。
12.用于分析驾驶员辅助系统的计算机辅助方法，其中，在真实的或模拟的试车期间向所述驾驶员辅助系统供应借助根据权利要求2-11中任一项所述的方法发送的传感器数据以及其它虚拟或真实的传感器的数据，所述其它虚拟或真实的传感器的数据提供在车辆的数据网络内。
13.根据权利要求12所述的方法，其中，所述数据网络是CAN网络。
14.根据权利要求12所述的方法，所述方法还具有以下工作步骤：
使所述数据流劣化(104-1、104-2；204-1、204-2)，考虑天气条件和/或所述环境传感器(US)的硬件的缺陷。
15.根据权利要求14所述的方法，其中，所述数据流是图像流。
16.根据权利要求12所述的方法，其中，在试验台上或基于模型地模拟实施或真实实施一个或多个所述试车。
17.用于训练人工神经元网络以模拟驾驶员辅助系统的环境传感器(US)的系统(10)，所述系统具有：
用于读取试车(R)的交通场景的接口(11)；
用于从所述交通场景中推导试车数据以及需由所述环境传感器(US)发送的传感器数据的器件(12)；
用于生成数据流的器件(13)，所述数据流映射出自所述环境传感器(US)的角度的交通场景；
用于通过以下方式发送所述数据流的接口(14)，即，使得所述环境传感器(US)能够基于所述数据流生成传感器数据；以及
数据接口(15)，在所述数据接口上能够将生成的传感器数据、试车数据以及需发送的传感器数据提供给所述人工神经元网络。
18.根据权利要求17所述的系统(10)，其中，所述数据流是图像流，所述器件(13)是显卡，所述接口(14)是显示器。
19.用于分析驾驶员辅助系统的环境传感器(US)的系统(20)，所述系统具有：
用于读取多个试车(R)的交通场景的接口(21)；
用于从所述交通场景中推导试车数据以及需由所述环境传感器(US)发送的传感器数据的器件(22)；
用于生成数据流的器件(23)，所述数据流映射出自所述环境传感器的角度(US)的交通场景；
用于将所述数据流发送给环境传感器(US)的接口(24、24')，所述环境传感器基于所述数据流生成传感器数据；
用于借助人工神经元网络实施平差计算的器件(25)，所述人工神经元网络基于试车模拟数据、需发送的传感器数据和由所述环境传感器(US)生成的传感器数据；
用于借助基于平差计算的模拟模型来确定传感器数据的器件(26)，其中，所述模拟模型设置为，基于任意的试车(R')的数据流来模拟传感器数据；以及
用于发送借助所述模拟模型确定的传感器数据的数据接口(27)。
20.根据权利要求19所述的系统(20)，其中，所述数据流是图像流，所述器件(23)是显卡，所述接口(24、24')是显示器。
21.用于模拟驾驶员辅助系统的环境传感器(US)的系统(30)，所述系统具有：
用于检测映射出自所述环境传感器(US)的角度的试车(R')的数据流的接口(32)；
用于借助模拟模型来确定传感器数据的器件(33)，所述模拟模型设置为，基于任意的试车(R')的数据流来模拟传感器数据，其中，所述模拟模型以借助人工神经元网络的平差计算为基础，所述人工神经元网络基于多个不同的试车(R)的试车数据和数据流以及基于在这些试车(R)中由所述环境传感器(US)生成的传感器数据；以及
用于发送借助所述模拟模型确定的传感器数据的数据接口(34)。
22.根据权利要求21所述的系统(30)，其中，所述接口(32)是相机US或数据接口。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| ATA51070/2017A AT520781A2 (de) | 2017-12-22 | 2017-12-22 | Verhaltensmodell eines Umgebungssensors |
| ATA51070/2017 | 2017-12-22 | ||
| PCT/AT2018/060311 WO2019119011A1 (de) | 2017-12-22 | 2018-12-20 | Verhaltensmodell eines umgebungssensors |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111492320A CN111492320A (zh) | 2020-08-04 |
| CN111492320B true CN111492320B (zh) | 2024-05-24 |
Family
ID=65019218
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201880083021.0A Active CN111492320B (zh) | 2017-12-22 | 2018-12-20 | 环境传感器的行为模型 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US11636684B2 (zh) |
| EP (1) | EP3729213B1 (zh) |
| JP (1) | JP2021508634A (zh) |
| KR (1) | KR20200101441A (zh) |
| CN (1) | CN111492320B (zh) |
| AT (1) | AT520781A2 (zh) |
| WO (1) | WO2019119011A1 (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112572458B (zh) * | 2020-12-21 | 2022-06-10 | 东软睿驰汽车技术（沈阳）有限公司 | 一种车辆速度控制器的性能估计方法和装置 |
| CN113256976B (zh) * | 2021-05-12 | 2022-08-05 | 中移智行网络科技有限公司 | 一种车路协同系统、模拟仿真方法、车载设备和路侧设备 |
| US20230056233A1 (en) * | 2021-08-20 | 2023-02-23 | Motional Ad Llc | Sensor attack simulation system |
| DE102022110843A1 (de) * | 2022-05-03 | 2023-11-09 | Dspace Gmbh | Verfahren und Vorrichtung zum Konfigurieren eines Moduls zur Simulation zumindest eines Sensors |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010026845A (ja) * | 2008-07-22 | 2010-02-04 | Yokogawa Electric Corp | 車載カメラ用電子ユニットの評価システム |
| CN103824452A (zh) * | 2013-11-22 | 2014-05-28 | 银江股份有限公司 | 一种轻量级的基于全景视觉的违章停车检测装置 |
| CN105975915A (zh) * | 2016-04-28 | 2016-09-28 | 大连理工大学 | 一种基于多任务卷积神经网络的前方车辆参数识别方法 |
| CN106575473A (zh) * | 2014-08-22 | 2017-04-19 | 业纳遥控设备有限公司 | 用于对车辆进行非接触式计轴的方法和计轴设备以及用于道路交通的计轴系统 |
| CN107492069A (zh) * | 2017-07-01 | 2017-12-19 | 国网浙江省电力公司宁波供电公司 | 基于多镜头传感器的图像融合方法 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7593804B2 (en) | 2007-10-31 | 2009-09-22 | Caterpillar Inc. | Fixed-point virtual sensor control system and method |
| US8606724B2 (en) * | 2008-11-06 | 2013-12-10 | International Business Machines Corporation | Policy evolution with machine learning |
| EP2950175B1 (de) * | 2014-05-27 | 2021-03-31 | dSPACE digital signal processing and control engineering GmbH | Verfahren und Vorrichtung zum Testen eines Steuergerätes |
| US10229363B2 (en) | 2015-10-19 | 2019-03-12 | Ford Global Technologies, Llc | Probabilistic inference using weighted-integrals-and-sums-by-hashing for object tracking |
| US10496766B2 (en) | 2015-11-05 | 2019-12-03 | Zoox, Inc. | Simulation system and methods for autonomous vehicles |
| US10055675B2 (en) | 2016-06-15 | 2018-08-21 | Ford Global Technologies, Llc | Training algorithm for collision avoidance using auditory data |
| CN109643125B (zh) * | 2016-06-28 | 2022-11-15 | 柯尼亚塔有限公司 | 用于训练自动驾驶系统的逼真的3d虚拟世界创造与模拟 |
| US20180025640A1 (en) * | 2016-07-19 | 2018-01-25 | Ford Global Technologies, Llc | Using Virtual Data To Test And Train Parking Space Detection Systems |
| US10592805B2 (en) * | 2016-08-26 | 2020-03-17 | Ford Global Technologies, Llc | Physics modeling for radar and ultrasonic sensors |
| DE102016218277B4 (de) * | 2016-09-22 | 2021-08-12 | Benjamin May | Verfahren zur Funktionsprüfung eines Fahrassistenzsystems sowie Kontrolleinheit und Referenzeinrichtung für ein Fahrassistenzsystem |
| US11042155B2 (en) * | 2017-06-06 | 2021-06-22 | Plusai Limited | Method and system for closed loop perception in autonomous driving vehicles |
| US10861189B2 (en) * | 2017-12-21 | 2020-12-08 | Magna Electronics Inc. | Vehicle camera model for simulation using deep neural networks |
-
2017
- 2017-12-22 AT ATA51070/2017A patent/AT520781A2/de not_active Application Discontinuation
-
2018
- 2018-12-20 JP JP2020534437A patent/JP2021508634A/ja active Pending
- 2018-12-20 US US16/956,915 patent/US11636684B2/en active Active
- 2018-12-20 WO PCT/AT2018/060311 patent/WO2019119011A1/de active Search and Examination
- 2018-12-20 EP EP18833596.2A patent/EP3729213B1/de active Active
- 2018-12-20 CN CN201880083021.0A patent/CN111492320B/zh active Active
- 2018-12-20 KR KR1020207021403A patent/KR20200101441A/ko not_active Application Discontinuation
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010026845A (ja) * | 2008-07-22 | 2010-02-04 | Yokogawa Electric Corp | 車載カメラ用電子ユニットの評価システム |
| CN103824452A (zh) * | 2013-11-22 | 2014-05-28 | 银江股份有限公司 | 一种轻量级的基于全景视觉的违章停车检测装置 |
| CN106575473A (zh) * | 2014-08-22 | 2017-04-19 | 业纳遥控设备有限公司 | 用于对车辆进行非接触式计轴的方法和计轴设备以及用于道路交通的计轴系统 |
| CN105975915A (zh) * | 2016-04-28 | 2016-09-28 | 大连理工大学 | 一种基于多任务卷积神经网络的前方车辆参数识别方法 |
| CN107492069A (zh) * | 2017-07-01 | 2017-12-19 | 国网浙江省电力公司宁波供电公司 | 基于多镜头传感器的图像融合方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021508634A (ja) | 2021-03-11 |
| CN111492320A (zh) | 2020-08-04 |
| WO2019119011A1 (de) | 2019-06-27 |
| US20210056318A1 (en) | 2021-02-25 |
| AT520781A2 (de) | 2019-07-15 |
| US11636684B2 (en) | 2023-04-25 |
| EP3729213B1 (de) | 2022-02-09 |
| KR20200101441A (ko) | 2020-08-27 |
| EP3729213A1 (de) | 2020-10-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111492320B (zh) | 环境传感器的行为模型 | |
| CN107481292B (zh) | 车载摄像头的姿态误差估计方法和装置 | |
| CN108508881B (zh) | 自动驾驶控制策略调整方法、装置、设备及存储介质 | |
| CN111178454A (zh) | 自动驾驶数据的标注方法、云端控制平台及存储介质 | |
| KR101689805B1 (ko) | Obd, gps 및 블랙박스 영상정보를 이용한 교통사고 현장 재현시스템 및 그 방법 | |
| CN109726426A (zh) | 一种车辆自动驾驶虚拟环境构建方法 | |
| US11299169B2 (en) | Vehicle neural network training | |
| CN112668603A (zh) | 产生识别传感器数据中的对象的识别模型用的训练数据的方法和设备、训练方法和操控方法 | |
| US10913455B2 (en) | Method for the improved detection of objects by a driver assistance system | |
| Reway et al. | Test method for measuring the simulation-to-reality gap of camera-based object detection algorithms for autonomous driving | |
| Roth et al. | Analysis and validation of perception sensor models in an integrated vehicle and environment simulation | |
| US11270164B1 (en) | Vehicle neural network | |
| CN110954111A (zh) | 定量表征对象的对象属性误差的至少一个时间序列的方法 | |
| KR101272571B1 (ko) | 지능형 자동차의 스테레오 비전 시스템에 대한 시뮬레이션 장치 및 이를 이용한 카메라 교정 방법 | |
| Krajewski et al. | Using drones as reference sensors for neural-networks-based modeling of automotive perception errors | |
| US11327878B2 (en) | Method for rating a software component of an SiL environment | |
| CN117079238A (zh) | 道路边沿检测方法、装置、设备及存储介质 | |
| Wagener et al. | Automated scenario generation for testing advanced driver assistance systems based on post-processed reference laser scanner data | |
| CN114008683A (zh) | 用于运行车辆的驾驶员辅助系统的方法和车辆的驾驶员辅助系统 | |
| CN114358038B (zh) | 一种基于车辆高精度定位的二维码坐标标定方法及装置 | |
| Rohde et al. | Model-based derivation of perception accuracy requirements for vehicle localization in urban environments | |
| EP3618013A1 (en) | System for generating vehicle sensor data | |
| CN111862146A (zh) | 一种目标对象的定位方法及装置 | |
| CN115956190A (zh) | 用于提供高分辨率数字地图的方法和设备 | |
| CN111914412B (zh) | 一种基于错误注入器的自动驾驶性能局限测试系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |