CN112313665A - 对物理测量数据的更逼真的仿真 - Google Patents
对物理测量数据的更逼真的仿真 Download PDFInfo
- Publication number
- CN112313665A CN112313665A CN201980044482.1A CN201980044482A CN112313665A CN 112313665 A CN112313665 A CN 112313665A CN 201980044482 A CN201980044482 A CN 201980044482A CN 112313665 A CN112313665 A CN 112313665A
- Authority
- CN
- China
- Prior art keywords
- domain
- density distribution
- point cloud
- measurement data
- simulated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004088 simulation Methods 0.000 title claims abstract description 14
- 238000000053 physical method Methods 0.000 title claims description 14
- 238000009826 distribution Methods 0.000 claims abstract description 98
- 238000005259 measurement Methods 0.000 claims abstract description 70
- 238000000034 method Methods 0.000 claims abstract description 51
- 238000012549 training Methods 0.000 claims abstract description 32
- 230000009466 transformation Effects 0.000 claims abstract description 23
- 230000000704 physical effect Effects 0.000 claims abstract description 6
- 238000004590 computer program Methods 0.000 claims abstract description 4
- 238000013528 artificial neural network Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 230000003042 antagnostic effect Effects 0.000 claims description 2
- 230000001131 transforming effect Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000000875 corresponding effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005293 physical law Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/40—Means for monitoring or calibrating
- G01S7/4052—Means for monitoring or calibrating by simulation of echoes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
- G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
一种用于对在域A中的仿真点云PA中被仿真的测量数据(2)施加通过物理测量所获得的包含在域B中的至少一个学习点云PL中的测量数据(1)所共同具有的物理特性(1a)的影响的方法(100),其中在点云PL和PA中的测量数据(1、2)分别代表坐标,所述方法具有步骤:•将仿真点云PA转变成域A中的密度分布ρA(110);•利用变换将密度分布ρA转变成域B中的密度分布ρB(120),其中所述变换被实行为使得在域B中不能区分直接在域B中给出的密度分布ρ是作为学习点云PL的密度分布ρL来被获得的还是作为密度分布ρA的变换结果pe来被获得的;•在域B中,产生与密度分布pe在统计上一致的结果点云PB(130);结果点云PB被评价为对在仿真点云PA中被仿真的测量数据(2)施加所希望的特性(1a)的影响的结果(140)。用于训练的方法(200)。利用方法(100)所获得的数据记录。经训练的KI模块或相对应的数据记录。用于识别对象(5a)和情况(5b)的方法(300)。所属的计算机程序。
Description
技术领域
本发明涉及一种用于对物理测量数据的更逼真的仿真的方法,该方法例如能被用于生成针对自主驾驶领域中的KI系统的训练数据。
背景技术
为了车辆可以至少部分地自动化地在道路交通中运动,需要检测车辆的周围环境并且如果即将发生与车辆的周围环境中的对象的碰撞则引入应对措施。对于安全的自动化驾驶来说也需要创建周围环境呈现和定位。
借助于雷达来检测对象与照明条件无关并且例如即使在夜晚在较大的距离上也是可能的,而对向交通不被远光灯炫目。此外,雷达作为唯一的传感器可以“看穿”前面行驶的车辆,其方式是通过护栏或其它对象处的反射来使雷达波绕过车辆传导。由此,比如在紧接在前行驶的车辆减速之前就已经可以识别出再前面的车辆的紧急制动。
US 8, 682, 821 B2公开了:借助于机器学习按照雷达信号是否由某些对象或非人类的动物的移动导致来对这些雷达信号进行分类。该认识可以被用于在监控区域是否有人类入侵时避免误报警,或者也可以被用于在至少部分地自动化驾驶时选择正确的行动来避免碰撞。
机器学习需要其在对象或动物方面的内容分别已知的学习场景的学习雷达数据。
发明内容
已经认识到:正是在借助于机器学习根据雷达信号进行对象识别时,所需的学习数据是一种短缺资源。用于根据摄像机图像进行对象识别的学习数据通常包括学习摄像机图像,这些学习摄像机图像已被人类按照在这些学习摄像机图像中在哪个位置包含哪些对象来予以注释(标记)。对对象的视觉识别恰好对于人类来说特别直观,使得对用于摄像机图像的注释的助手的要求比较低。而根据雷达信号来识别对象需要专业知识。此外,同一对象产生的雷达信号也取决于所使用的天线和传感器的特性,例如取决于传感器的调制模式或者取决于传感器在车辆上安装的位置和方式。信号可能由于多径传播而被改变,例如其方式是该信号已多次在(比如车道、护栏和/或墙壁的)不同的表面上被反射。最后,雷达信号也取决于材料。一些材料反射具有不同的取决于材料和形状的后向散射系数的雷达波,而其它材料被雷达波穿过,这接着又可能导致实际被遮住的对象突然出现在雷达信号中。
结果是,即一方面用于根据雷达信号进行对象识别的学习数据更加难以获得,而另一方面也需要比用于根据摄像机图像进行对象识别的情况更多的学习数据。为了减轻这种短缺,开发出了一种方法,该方法尤其能够生成更逼真的仿真(合成)的雷达数据。
由于雷达波的传播、吸收和反射遵循已知的物理定律,所以可以根据发射方、接收方和所要观测的场景的预先给定的布局来计算在接收方处所要预期的雷达信号。以这种方式,可以通过自动化方式产生其在对象方面的内容事先已知的场景的学习雷达数据。
不过,这些合成学习雷达数据通常在质量方面比可利用真实的物理测量来获得的雷达数据高得多。真实的传感器也总是给信号施加特殊的传感器特性。这样,真实测量的雷达反射表现出表征性的噪声,该噪声引起:反射可能在这些反射的位置方面有变化或者在个别测量中完全没有出现。该噪声尤其取决于对象距传感器的距离。这样,特别是在车辆附近,存在更强烈的噪声,该噪声由于雷达天线的布局而也可能还具有表征性的空间结构。另一表征性的雷达现象是重影(Ghosting),这意味着:对象例如由于雷达辐射在护栏上的反射而在这些对象根本不存在的位置被探测到。
因此,如果基于雷达数据的对象识别利用这种理想化的合成学习雷达数据来被训练,则存在在真实的行驶运行中在学习时不是问题的所提到的干扰和失真对对象识别的结果影响到何种程度方面的剩余不确定性。
为了减少该剩余不确定性,提出了一种用于对在域A中的仿真点云PA中被仿真的测量数据施加通过物理测量所获得的包含在域B中的至少一个学习点云PL中的测量数据所共同具有的物理特性的影响的方法。
在此,在该上下文中,术语“点云”十分一般性地包括矢量空间的点的集合,该集合通过包含在该集合中的点的空间坐标来描述。在这种点云中不存在如其例如在数字图像中通过像素之间的相邻关系预先给定的那样的被组织起来的空间结构。不同于在尺寸固定的图像中,在点云中也可以预先给定数目不固定的点。
例如,可以有利地将雷达测量数据呈现为点云。这样,例如可以针对单个雷达反射结合所确定的距反射对象的距离来检测相对于接收方的角位置。这种单个测量结果可以被视为空间内的点。如果例如通过角位置来说明该点的一个坐标而通过距离来说明另一个坐标,则该点位于二维空间中。附加地,较新的雷达或激光雷达设备检测针对反射的高度的第二角坐标。那么,代表反射的点位于三维空间中。现在,对车辆周围环境的完整的雷达测量包括在不同的角位置并且必要时在不同高度的大量反射,而且分别所形成的点可以被呈现为点云。
如果在测量过程中附加地还检测到其它测量参量、比如强度或其它空间坐标,则点云的各个点所位于的空间也还可包括更多维度。与维度的数目无关,真实的测量数据或被仿真的测量数据在点云PL或PA中分别代表坐标,如在二维或三维示例中所描述的那样。
在该上下文中,术语“域”十分一般性地表示共同具有预先给定的特性的元素的集合、这里是点云。即域A包括所有仿真点云PA,这些仿真点云包含被仿真的测量数据,而域B包括所有学习点云PL,这些学习点云包含通过物理测量所获得的测量数据。在此,点云PA和PL中的点尤其可位于相同空间中,也就是说每个被呈现为点的单个测量结果与它是真实的测量结果还是被仿真的测量结果无关地都可以包括同一组测量参量。
根据之前所描述的内容,其影响要被施加给被仿真的测量数据的仿真点云PA的物理特性尤其有利地可以是至少一种干扰或在对测量数据的物理测量时出现的伪影。然而,该方法并不限于这些特殊的物理特性。
在该方法中,将仿真点云PA转变成域A中的密度分布ρA。可选地,该密度分布可以被归一化。例如,对于通过神经网络的处理来说,归一化到区间[0; 1]是有利的。另一合理的可能性在于:将该密度分布归一化为使得该密度分布可以直接被解读为概率密度。为此,接着附加地要求在该分布内的积分等于1。
现在,利用变换将密度分布ρA转变成域B中的密度分布ρB。该变换被实行为使得在域B中不能区分直接在域B中给出的密度分布ρ是作为学习点云PL的密度分布ρL来被获得的还是作为密度分布ρA的变换结果ρB来被获得的。如稍后还予以描述的那样,这样的变换尤其例如可以利用机器学习来被获得,比如通过对“生成对抗网络(Generative AdversarialNetworks)”GAN的训练来被获得。然而,该变换在该方法的框架内的效果并不依赖于获得该变换的方式。
在域B中,产生与密度分布ρB在统计上一致的结果点云PB。这例如可通过如下方式来实现:随机确定域B中的候选点的坐标,并且以通过密度分布ρB给每个候选点的坐标分配的概率来接受该候选点。
结果点云PB被评价为对在仿真点云PA中被仿真的测量数据施加所希望的特性的影响的结果。
该方法的一个重要优点在于:不需要精确描述其影响应被施加给被仿真的测量数据的物理特性。当存在具有该物理特性的真实测量数据的足够大的集合时就足够了。
此外,并不需要被仿真的测量数据和通过物理测量所获得的测量数据涉及相同场景。即,以一个或多个学习点云PL为形式的学习数据可以是任意的真实数据,如其例如在车辆的正常行驶运行时产生的那样。对于学习来说,知道来自这两个域A和B中的独立示例就足够。
最后,也可以在密度分布ρA和ρB的层面上描述统计效果,比如在某些单个测量中出现并且紧接着又消失的附加的雷达反射。
在一个有利的设计方案中,确定域A中的密度分布ρA,其方式是将域A离散化成体素,其中仿真点云PA的每个点都明确地被分配给正好一个体素。在该上下文中,体素是“像素”的上位概念,该体素也被解释为用于超过两个维度。在此,用来使域A离散化的分辨率不必对于点的所有坐标方向来说都相同。如果例如角度和距离组合在一个点中,则域A例如可以关于角度方面比关于距离方面更精细地被离散化。对于每个体素来说,以这种方式形成的密度分布ρA说明了处在该体素中的点的数目。
用来使域A离散化的分辨率可以与在域B中以其可支配通过物理测量所获得的测量数据的分辨率无关地被选择。这样,例如可以在变换时将分辨率高的仿真数据映射到分辨率较低的真实数据上,或者反之亦然。
特别有利地,密度分布被解读为图像,在该图像中,每个体素都以强度值来代表一个像素,该强度值取决于被分配给该体素的点的数目。以这种方式,被设置用于处理图像的变换可以针对该方法被改变用途或被适配。例如,被用于图像的(比如在夏季图像与冬季图像之间、在苹果图像与橘子图像之间或者在照片与由某个艺术家绘制的图像之间的)域转化的深度神经网络可以被训练用于执行在该方法的框架内的变换。
有利地,属于不同点云PA的涉及同一测量对象的密度分布ρA作为不同的颜色通道被组合在一个图像中。以这种方式,这些点云PA可以同时被处理。如果对于该变换来说使用具有卷积滤波器的深度神经网络,则通过相对应地选择卷积滤波器的维度,也可以考虑各个通道之间的相关。对于通道的数目来说没有原则上的限制。
在此,不同的仿真点云PA尤其可以有利地涉及对测量对象所引起的不同物理对比度的仿真。例如,利用雷达、激光雷达和超声的比如同时的测量可以被仿真,并且相对应的密度分布ρA可以被编码成RGB颜色空间中的图像的红色、绿色和蓝色的颜色通道。类似地,例如可以将属于四次同时被仿真的测量的密度分布ρA编码成CMYK颜色空间中的图像的青色、品红色、黄色和黑色的颜色通道。然而,以此类推,各个通道不必对应于真实颜色。即,可以在人工的k维“颜色空间”中对任意数目的k个测量参量进行编码和处理。
根据之前所描述的内容,尤其有利地选择通过雷达传感器、通过激光雷达传感器和/或通过超声传感器进行的至少以角度和所属的距离为形式的对象定位,作为测量数据。恰好在这些类型的测量的情况下,在现实中常常出现难以分析地进行描述的干扰和伪影,使得存在给被仿真的测量数据施加相对应的作用的影响的需求。同时,恰好这些测量数据也不是作为有序图像而存在,而是作为没有有序相邻关系的点云而存在,使得关于密度分布所描述的方式特别有利。
在一个特别有利的设计方案中,利用KI模块来执行变换,该KI模块具有利用多个参数来被参数化的内部处理链,其中这些参数被设置为使得在域B中不能区分所给出的密度分布ρ是利用KI模块来产生的还是直接在域B中作为学习点云PL的密度分布ρL来被获得的。如稍后所描述的那样,这种KI模块例如可以通过如下方式被训练:该KI模块在“生成对抗网络”GAN中与鉴别器竞争,该鉴别器试图将由KI模块产生的密度分布与直接在域B中根据学习点云PL所获得的密度分布ρL区分开。
如之前所描述的那样,KI模块尤其可以包括至少一个基于卷积滤波器的深度神经网络。
本发明也涉及一种由多个具有被仿真的测量数据的点云PB构成的数据记录,给这些被仿真的测量数据施加未包含在仿真中的、物理上被观测到的特性,其中该数据记录是利用所描述的方法来被获得的。如开头所阐述的那样,在该数据记录中所包含的被仿真的测量数据能直接被用作为用于识别车辆的周围环境中的对象或情况的训练数据,而不需要对所包含的对象或情况的手动“标记”。在此,施加物理特性的影响引起:该特性在对该识别进行训练时一并被考虑。
就这方面来说,该数据记录是一种可独立出售的产品,其客户利益在于:对该识别的训练一方面在少量人工用于标记训练数据的情况下就足够而另一方面包括更全面的场景方案。尤其是,在该数据记录中,例如可以使某些场景发生的频率的权重适配。这样,例如针对罕见并且同时有危险的交通情况可以有针对性地将更多被仿真的测量数据加到该数据记录中。以这种方式,可以抵消在行驶运行时常常发生的场景在对该识别的训练时起主导作用并且“取代”很少发生的场景的趋势。
作为另一产品,可设想的是在经训练的状态下被用于该变换的KI模块。KI模块的经训练的状态同样可以体现在数据记录中,该数据记录包含内部处理链的参数。接着,根据特定变换被训练的KI模块可以被用户用于将自己的仿真转化成真实的测量数据的域,并且因此使将这些自己的仿真用于训练对对象或情况的识别变得容易。
根据之前所描述的内容,本发明也涉及一种用于训练深度神经网络以在所描述的方法中应用的方法。在此,深度神经网络作为生成器被纳入到生成对抗网络GAN中。与生成器交替地,对在域B中工作的鉴别器进行训练,其中鉴别器评估在域B中在何种程度上不能区分给出的密度分布ρ是利用生成器来产生的还是直接在域B中作为学习点云PL的密度分布ρL来被获得的。
在此,用于训练而给出的学习点云PL尤其例如可以以与如这之前针对仿真点云PA所描述的相同的方式被转变成密度分布ρL,即比如通过将域B离散化成体素并且分析每个体素的点的数目来被转变成密度分布ρL。
在此,可选地可以在训练之前对所获得的密度分布ρL进行模糊化。就此,可以抵消在学习点云PL具有很少的点的情况下(这些学习点云导致相对应地强烈本地化的密度分布ρL)密度分布ρA被变换到空的密度分布ρB上的趋势。从在训练时所使用的损失函数的角度来看,空的密度分布ρB可以是由少量点构成的分布ρL附近的局部最小值。
对“生成对抗网络”GAN的训练以在生成器与鉴别器之间的“猫鼠游戏”的方式进行。一开始,生成器产生密度分布ρB,这些密度分布与属于学习点云PL的密度分布ρL没有多大关系。当训练继续进行时,由生成器所产生的密度分布ρB变得与密度分布ρL越来越相似。然而,同时接着通过对鉴别器的训练来提高对该相似性的要求。
在另一特别有利的设计方案中,附加地对用于将域B中的密度分布ρB变换成域A中的密度分布ρA的第二生成器以及在域A中工作的第二鉴别器进行训练。第二鉴别器评估在域A中在何种程度上不能区分给出的密度分布ρ是利用第二生成器来产生的还是直接在域A中作为仿真点云PA的密度分布ρA来被获得的。
同样被训练的第二生成器可以被用于有关合理性和一致性来检查由第一生成器所提供的密度分布ρB。
例如,在另一特别有利的设计方案中,第一生成器和第二生成器可以附加地按如下地被优化:在域A中的密度分布ρA在应用第一生成器并且紧接着应用第二生成器之后尽可能相同地被再现;和/或在域B中的密度分布ρB在应用第二生成器并且紧接着应用第一生成器之后尽可能相同地被再现。这表明:利用从域A到域B的变换,只加入了所要施加的物理特性的影响,并且在从域B逆变换到域A时该影响又被剔除,而在测量数据中体现的有效内容并未发生变化。
根据之前所描述的内容,就产生更逼真的被仿真的测量数据而言所追求的最终目标是对车辆的周围环境中的对象和情况的经改善的识别。因而,本发明也涉及一种用于识别车辆的周围环境中的至少一个对象和/或至少一种情况的方法,其中该车辆包括至少一个传感器,用于从该车辆的周围环境的至少一部分中对测量数据的物理检测,而且其中物理检测到的测量数据由分类器模块按照在车辆的周围环境中存在哪些对象或情况来被分类。选择KI模块作为分类器模块,而且该KI模块利用训练数据来训练或被训练,这些训练数据包括之前所描述的具有被仿真的测量数据的数据记录。
有利地,作为对识别出至少一个对象或至少一种情况的响应,为了避免车辆与对象之间的碰撞和/或为了使车辆的速度和/或轨迹适配,操控车辆的对于车辆的驾驶员来说可感知到的物理报警装置、驱动系统、转向系统和/或制动系统。以所描述的方式进行的训练提高了体现在被仿真的测量数据中的对象和情况即使在真实的行驶运行时也根据通过物理测量所获得的测量数据正确地被分类并且触发所规定的反应的概率。
所描述的方法尤其可以分别在软件中实现,该软件不仅可以结合新式硬件被使用而且例如也可以被用作现有硬件的用于继续使用的附件(Add-On)、更新(Update)或升级(Upgrade)并且就这方面来说是一种具有客户利益的可单独出售的产品。因而,本发明也涉及一种计算机程序,该计算机程序包含机器可读指令,当这些机器可读指令在计算机上和/或在控制设备上被实施时,这些机器可读指令促使该计算机和/或该控制设备实施所描述的方法之一。同样,本发明也涉及一种具有该计算机程序的机器可读数据载体或者下载产品。
附图说明
在下文,其它改善本发明的措施共同利用依据附图对本发明的优选实施例的描述进一步予以呈现。
其中:
图1示出了方法100的实施例;
图2示出了具有所属的密度分布ρA和ρB的示例性的点云PA和PB;
图3示出了将点云PA转换成密度分布ρA的图像;
图4示出了方法200的实施例;
图5示出了方法300的实施例。
具体实施方式
图1示出了方法100的实施例。在图1中所示出的示例中,按照步骤105,已选择通过雷达传感器进行的对象定位作为测量数据1、2,并且按照步骤108,已选择在对雷达数据1进行物理记录时所形成的干扰和伪影作为物理测量数据1的特性1a,该特性应被施加给被仿真的测量数据2。能从中得知特性1a的物理测量的测量数据1形成学习点云PL并且位于域B中。被仿真的测量数据2形成仿真点云PA并且位于域A中。
按照步骤110,将仿真点云PA转变成域A中的密度分布ρA。为此,按照步骤112,将域A离散化成体素,并且按照步骤114,将仿真点云PA的每个点明确地分配给正好一个体素。可选地,按照步骤116,可以将密度分布ρA解读为图像,其中尤其是按照步骤118可以将属于多个仿真点云PA的密度分布ρA组合在一个图像中。为了阐明,在图1中将密度分布ρA描绘为图像。
按照步骤120,将密度分布ρA转变成域B中的密度分布ρB。按照步骤122,该变换利用KI模块来被执行,该KI模块被训练为产生如下这种密度分布ρB,所述密度分布ρB不能与根据学习点云PL所获得的密度分布ρL区分开。域B中的密度分布ρB同样作为图像被阐明。
根据密度分布ρB来获得域B中的结果点云PB。原来的被仿真的测量数据2这里以修改后的版本2'存在。该修改归因于特性1a的影响,该特性现在存在于修改后的测量数据2'处。因而,按照步骤140,结果点云PB被评价为对在仿真点云PA中被仿真的测量数据2施加特性1a的影响的结果。
图2a示出了被仿真的雷达反射。图2b示出了域A中的所属的密度分布ρA。图2c示出了被变换到域B中的密度分布ρB。
根据图2c中的密度分布ρB的图示,已经可以推测出在真实的物理测量时的测量数据经历哪些变化。一般来说,雷达反射显得明显更加模糊。此外,特别是在车辆附近,即有关较短的距离,在密度分布ρB中出现在密度分布ρA中不存在的分量。而在距离较大的情况下,仍存在于密度分布ρA中的该分量在密度分布ρB中消失。
尤其是在密度分布ρB中出现的附加的分量仅基于原来的被仿真的点云PA难以被仿真或者完全不能被仿真,因为这些分量最初来自于雷达传感器而不是来自于车辆周围环境中的现实条件,这些现实条件是仿真的一部分。
还更明显地,在图2d中的结果点云PB的图示中出现所提到的区别。与图2a相比,不仅每个雷达反射本身显得模糊,而且相关联的更大反射也被分成多个较小的反射。此外,在许多位置出现附加的反射,其中该特性在很大程度上取决于距车辆的距离d。该距离d越小,出现的附加的反射就越多。
图3阐明了仿真点云PA用于将所属的密度分布ρA解读为图像的方式。图3a示出了在二维域A中的仿真点云PA。仿真点云PA的点分别通过两个坐标x1和x2的值来限定。
按照步骤112,将域A离散化成体素,而且按照步骤114,将仿真点云PA的每个点都分配给正好一个体素。图3b示出了结果,其中体素在这里被呈现为方块。
图3c示出了在体素的层面上被离散化的密度分布ρA。这里,为每个体素添上被分配给该体素的点的数目。
按照步骤116,将密度分布ρA解读为图像,其中为被分配给每个体素的点的数目添上与此对应的像素的强度值。因此,根据点云PA最终形成灰度图像,该灰度图像能被通过原来打算用于图像的深度神经网络进行的处理接触到。在图3中示例性地通过不同的阴影只示出了四种不同的灰度。
图4示出了方法200的实施例。按照步骤210,用于从域A变换到域B中的深度神经网络作为生成器被纳入到生成对抗网络GAN中。在步骤220中,对该生成器进行训练。此外,在步骤230中,对在域B中工作的鉴别器进行训练。该鉴别器评估由生成器产生的密度分布ρB与直接在域B中根据学习点云PL所产生的密度分布ρL不能区分到何种程度。对生成器的训练220和对鉴别器的训练230在不断的交替中进行,也就是说每个迭代步骤不仅有助于对生成器的训练220而且有助于对鉴别器的训练230。
按照步骤250,对第二生成器进行训练,用于逆变换到域A中。附加地,按照步骤260,对在域A中工作的第二鉴别器进行训练。按照步骤270,该第二鉴别器评估:利用第二生成器所产生的在域A中的密度分布与直接在域A中根据仿真点云PA所产生的密度分布ρA不能区分到何种程度。对第二生成器的训练250和对第二鉴别器的训练260也在不断的交替中进行,也就是说每个与此相关的迭代步骤不仅有助于对第二生成器的训练250而且有助于对第二鉴别器的训练260。
按照步骤280,两个生成器附加地按如下地被优化:给出的密度分布在变换到相应另一域中之后并且在逆变换到原来的域中之后尽可能相同地被再现。如果情况不是在足够的程度上如此(真值0),则分岔回到之前的训练220、230、250或260之一。而如果该自洽条件被充分满足(真值1),则结束该训练。
当然,在每次训练220、230或250之后还可以规定进一步检查如下条件:该训练是否带来了足够的成功。为了清楚起见,这些进一步检查在图4中未绘出。
图5示出了方法300的实施例。在其上应用方法300的车辆4拥有传感器,用于从车辆周围环境41的至少一部分41a中对测量数据42a的物理检测。在步骤330中,由分类器43来进行对在测量数据42a中体现出哪些对象5a或情况5b的分类。按照步骤320,已选择之前在步骤310中利用训练数据43a来训练的KI模块作为分类器43。
作为对识别出了某个对象5a或某种情况5b的响应,按照步骤340,操控车辆4的报警装置44a、驱动系统44b、转向系统44c和/或制动系统44d,以便避免与对象5a的碰撞或以便避免在情况5b中对车辆4的驾驶员或者对其它交通成员的不利之处。
Claims (17)
1.一种用于对在域A中的仿真点云PA中被仿真的测量数据(2)施加通过物理测量所获得的包含在域B中的至少一个学习点云PL中的测量数据(1)所共同具有的物理特性(1a)的影响的方法(100),其中在点云PL和PA中的测量数据(1、2)分别代表坐标,所述方法具有如下步骤:
• 将所述仿真点云PA转变成所述域A中的密度分布ρA(110);
• 利用变换将所述密度分布ρA转变成所述域B中的密度分布ρB(120),其中所述变换被实行为使得在所述域B中不能区分直接在所述域B中给出的密度分布ρ是作为学习点云PL的密度分布ρL来被获得的还是作为密度分布ρA的变换结果ρB来被获得的;
• 在所述域B中,产生与所述密度分布ρB在统计上一致的结果点云PB(130);
• 所述结果点云PB被评价为对在所述仿真点云PA中被仿真的测量数据(2)施加所希望的特性(1a)的影响的结果(140)。
2.根据权利要求1所述的方法(100),其中确定所述域A中的密度分布ρA(110),其方式是将所述域A离散化成体素(112),其中所述仿真点云PA的每个点明确地被分配给正好一个体素(114)。
3.根据权利要求2所述的方法(100),其中所述密度分布ρA被解读为图像(116),在所述图像中,每个体素都以强度值来代表一个像素,所述强度值取决于被分配给所述体素的点的数目。
4.根据权利要求3所述的方法(100),其中属于不同点云PA的涉及同一测量对象的密度分布ρA作为不同的颜色通道被组合在图像中(118)。
5.根据权利要求4所述的方法(100),其中不同的仿真点云PA涉及对所述测量对象所引起的不同物理对比度的仿真。
6.根据权利要求1至5中任一项所述的方法(100),其中选择通过雷达传感器、通过激光雷达传感器和/或通过超声传感器进行的至少以角度和所属的距离为形式的对象定位作为测量数据(1、2)(105)。
7.根据权利要求1至6中任一项所述的方法(100),其中选择在对测量数据(1)进行物理测量时出现的至少一种干扰或伪影作为特性(1a)(108),所述特性应被施加给被仿真的测量数据(2)的仿真点云PA。
8.根据权利要求1至7中任一项所述的方法(100),其中利用KI模块来执行所述变换(120)(122),所述KI模块具有利用多个参数来被参数化的内部处理链,其中所述参数被设置为使得在所述域B中不能区分所给出的密度分布ρ是利用所述KI模块来产生的还是直接在所述域B中作为学习点云PL的密度分布ρL来被获得的。
9.根据权利要求8所述的方法(100),其中选择如下KI模块(124),所述KI模块包括至少一个基于卷积滤波器的深度神经网络。
10.一种由多个具有被仿真的测量数据(2)的点云PB构成的数据记录,给所述被仿真的测量数据施加未包含在仿真中的、物理上被观测到的特性(1a),所述数据记录利用根据权利要求1至9中任一项所述的方法(100)来被获得。
11.一种被训练用于执行根据权利要求8或9所述的方法的KI模块和/或一种数据记录,所述数据记录包含这种被训练的KI模块的内部处理链的参数。
12.一种用于训练深度神经网络以在根据权利要求9所述的方法中应用的方法(200),其中所述深度神经网络作为生成器被纳入到生成对抗网络GAN中(210),其中与所述生成器(220)交替地,对在域B中工作的鉴别器进行训练(230),而且其中所述鉴别器评估(240):在所述域B中在何种程度上不能区分给出的密度分布ρ是利用所述生成器来产生的还是直接在所述域B中作为学习点云PL的密度分布ρL来被获得的。
13.根据权利要求12所述的方法(200),其中附加地对用于将所述域B中的密度分布ρB变换成域A中的密度分布ρA的第二生成器(250)以及在所述域A中工作的第二鉴别器(260)进行训练,其中所述第二鉴别器评估(270):在所述域A中在何种程度上不能区分给出的密度分布ρ是利用所述第二生成器来产生的还是直接在所述域A中作为仿真点云PA的密度分布ρA来被获得的。
14.根据权利要求13所述的方法(200),其中第一生成器和第二生成器附加地按如下地被优化(280):在所述域A中的密度分布ρA在应用所述第一生成器并且紧接着应用所述第二生成器之后尽可能相同地被再现;和/或在所述域B中的密度分布ρB在应用所述第二生成器并且紧接着应用所述第一生成器之后尽可能相同地被再现。
15.一种用于识别在车辆(4)的周围环境(41)中的至少一个对象(5a)和/或至少一种情况(5b)的方法(300),其中所述车辆(4)包括至少一个传感器(42),用于从所述车辆(4)的周围环境(41)的至少一部分(41a)中对测量数据(42a)的物理检测,而且其中物理检测到的测量数据(42a)由分类器模块(43)按照在所述车辆(4)的周围环境(41)中存在哪些对象(5a)或情况(5b)来被分类(330),其中KI模块被选择作为分类器模块(43)(320)并且利用训练数据(43a)来训练或被训练(310),所述训练数据包括根据权利要求10所述的数据记录。
16.根据权利要求15所述的方法(300),其中作为对识别(330)出至少一个对象(5a)或至少一种情况(5b)的响应,为了避免所述车辆(4)与所述对象(5a)之间的碰撞、为了避免在所述情况(5b)中的不利之处和/或为了使所述车辆(4)的速度和/或轨迹适配,操控所述车辆(4)的对于所述车辆(4)的驾驶员来说可感知到的物理报警装置(44a)、驱动系统(44b)、转向系统(44c)和/或制动系统(44d)(340)。
17.一种计算机程序,所述计算机程序包含机器可读指令,当所述机器可读指令在计算机上和/或在控制设备上被实施时,所述机器可读指令促使所述计算机和/或所述控制设备实施根据权利要求1至9或11至15中任一项所述的方法(100、200、300)。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102018210937.0A DE102018210937A1 (de) | 2018-07-03 | 2018-07-03 | Realistischere Simulation physikalischer Messdaten |
DE102018210937.0 | 2018-07-03 | ||
PCT/EP2019/064870 WO2020007566A1 (de) | 2018-07-03 | 2019-06-06 | Realistischere simulation physikalischer messdaten |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112313665A true CN112313665A (zh) | 2021-02-02 |
Family
ID=66821256
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980044482.1A Pending CN112313665A (zh) | 2018-07-03 | 2019-06-06 | 对物理测量数据的更逼真的仿真 |
Country Status (4)
Country | Link |
---|---|
EP (1) | EP3818467A1 (zh) |
CN (1) | CN112313665A (zh) |
DE (1) | DE102018210937A1 (zh) |
WO (1) | WO2020007566A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113822892A (zh) * | 2021-11-24 | 2021-12-21 | 腾讯科技(深圳)有限公司 | 仿真雷达的评测方法、装置、设备及计算机程序产品 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111461437B (zh) * | 2020-04-01 | 2023-11-07 | 北京工业大学 | 基于生成对抗网络的数据驱动人群运动仿真方法 |
CN111768493B (zh) * | 2020-06-22 | 2022-08-05 | 浙江大学 | 一种基于分布参数编码的点云处理方法 |
DE102020212147A1 (de) | 2020-09-28 | 2022-03-31 | Robert Bosch Gesellschaft mit beschränkter Haftung | Datenbasierte Fortschreibung des Trainings von Klassifikatornetzwerken |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
SU1302431A1 (ru) * | 1985-06-27 | 1987-04-07 | Институт Электроники И Вычислительной Техники Ан Литсср | Способ измерени динамической погрешности аналого-цифровых преобразователей |
EP1785899A2 (en) * | 2005-11-10 | 2007-05-16 | IDEXX Laboratories Inc | Methods for identifying discrete populations (e.g. clusters) of data within a flow cytometer multi-dimensional data set |
DE102005063273A1 (de) * | 2005-12-29 | 2007-07-05 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Generieren stochastischer Zufallsvariablen |
CN103983255A (zh) * | 2013-02-08 | 2014-08-13 | 赫克斯冈技术中心 | 用于测量和远程控制的移动场控制器 |
CN104931970A (zh) * | 2015-06-16 | 2015-09-23 | 航太信息科技(上海)有限公司 | 一种基于机载气象雷达仿真的三维云场生成方法 |
CN105093925A (zh) * | 2015-07-15 | 2015-11-25 | 山东理工大学 | 一种基于被测地形特点的机载激光雷达参数实时自适应调整方法与装置 |
CN105241377A (zh) * | 2015-09-16 | 2016-01-13 | 中国农业大学 | 基于云镜摄系统参数和视频帧的植物三维测量方法和系统 |
CN105513051A (zh) * | 2015-11-26 | 2016-04-20 | 福州华鹰重工机械有限公司 | 一种点云数据处理方法和设备 |
CN107103153A (zh) * | 2017-05-17 | 2017-08-29 | 南怀方 | 一种基于三维激光扫描技术的矿产资源消耗量评估方法 |
CN107831497A (zh) * | 2017-09-26 | 2018-03-23 | 南京大学 | 一种利用三维点云数据定量刻画森林聚集效应的方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8682821B2 (en) | 2011-08-08 | 2014-03-25 | Robert Bosch Gmbh | Method for detection of movement of a specific type of object or animal based on radar signals |
DE102016120166A1 (de) * | 2016-10-24 | 2018-04-26 | Connaught Electronics Ltd. | Steuern eines Fahrzeugs in Abhängigkeit von der Umgebung |
DE102017008678A1 (de) * | 2017-09-14 | 2018-03-01 | Daimler Ag | Verfahren zur Adaption einer Objekterkennung durch ein Fahrzeug |
-
2018
- 2018-07-03 DE DE102018210937.0A patent/DE102018210937A1/de active Pending
-
2019
- 2019-06-06 EP EP19729735.1A patent/EP3818467A1/de active Pending
- 2019-06-06 WO PCT/EP2019/064870 patent/WO2020007566A1/de unknown
- 2019-06-06 CN CN201980044482.1A patent/CN112313665A/zh active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
SU1302431A1 (ru) * | 1985-06-27 | 1987-04-07 | Институт Электроники И Вычислительной Техники Ан Литсср | Способ измерени динамической погрешности аналого-цифровых преобразователей |
EP1785899A2 (en) * | 2005-11-10 | 2007-05-16 | IDEXX Laboratories Inc | Methods for identifying discrete populations (e.g. clusters) of data within a flow cytometer multi-dimensional data set |
DE102005063273A1 (de) * | 2005-12-29 | 2007-07-05 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Generieren stochastischer Zufallsvariablen |
CN103983255A (zh) * | 2013-02-08 | 2014-08-13 | 赫克斯冈技术中心 | 用于测量和远程控制的移动场控制器 |
CN104931970A (zh) * | 2015-06-16 | 2015-09-23 | 航太信息科技(上海)有限公司 | 一种基于机载气象雷达仿真的三维云场生成方法 |
CN105093925A (zh) * | 2015-07-15 | 2015-11-25 | 山东理工大学 | 一种基于被测地形特点的机载激光雷达参数实时自适应调整方法与装置 |
CN105241377A (zh) * | 2015-09-16 | 2016-01-13 | 中国农业大学 | 基于云镜摄系统参数和视频帧的植物三维测量方法和系统 |
CN105513051A (zh) * | 2015-11-26 | 2016-04-20 | 福州华鹰重工机械有限公司 | 一种点云数据处理方法和设备 |
CN107103153A (zh) * | 2017-05-17 | 2017-08-29 | 南怀方 | 一种基于三维激光扫描技术的矿产资源消耗量评估方法 |
CN107831497A (zh) * | 2017-09-26 | 2018-03-23 | 南京大学 | 一种利用三维点云数据定量刻画森林聚集效应的方法 |
Non-Patent Citations (4)
Title |
---|
MO WENXIONG等: "Cyber-physical joint simulation on small interference stability of power grid", 2017 IEEE CONFERENCE ON ENERGY INTERNET AND ENERGY SYSTEM INTEGRATION (EI2), 4 January 2018 (2018-01-04), pages 1 - 5 * |
TIM A等: "Deep Stochastic Radar Models", 2017 IEEE INTELLIGENT VEHICLES SYMPOSIUM (IV), 31 July 2017 (2017-07-31), pages 47 - 53 * |
吴倩倩;蔡艳;: "基于高斯过程回归与马尔科夫随机场的三维深度图像重构算法", 应用激光, no. 06, 15 December 2017 (2017-12-15), pages 123 - 129 * |
王建军等: "机载激光雷达姿态角补偿及其效果验证", 光学精密工程, vol. 26, no. 4, 30 April 2018 (2018-04-30), pages 788 - 795 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113822892A (zh) * | 2021-11-24 | 2021-12-21 | 腾讯科技(深圳)有限公司 | 仿真雷达的评测方法、装置、设备及计算机程序产品 |
Also Published As
Publication number | Publication date |
---|---|
EP3818467A1 (de) | 2021-05-12 |
DE102018210937A1 (de) | 2020-01-09 |
WO2020007566A1 (de) | 2020-01-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112313665A (zh) | 对物理测量数据的更逼真的仿真 | |
US20230177819A1 (en) | Data synthesis for autonomous control systems | |
CN111868803B (zh) | 产生合成雷达信号 | |
US10915793B2 (en) | Method and system for converting point cloud data for use with 2D convolutional neural networks | |
US11455565B2 (en) | Augmenting real sensor recordings with simulated sensor data | |
US11487988B2 (en) | Augmenting real sensor recordings with simulated sensor data | |
JP7090105B2 (ja) | 珍しい事例の分類 | |
CN101929867B (zh) | 使用道路模型的畅通路径检测 | |
CN103814306B (zh) | 深度测量质量增强 | |
CN106503653A (zh) | 区域标注方法、装置和电子设备 | |
Liu et al. | “seeing is not always believing”: Detecting perception error attacks against autonomous vehicles | |
US20240125934A1 (en) | Annotation cross-labeling for autonomous control systems | |
KR20210060535A (ko) | 동적 공간 시나리오의 분석 | |
EP3572986A1 (en) | Improving the training of artificial intelligence modules for use in vehicles | |
US20220230418A1 (en) | Computer-implemented method for training a computer vision model | |
CN113156434A (zh) | 根据雷达数据对仰角信息的重建 | |
CN113283457A (zh) | 用于施加数据等方差的生成器神经网络的训练方法 | |
CN112651405B (zh) | 目标检测方法及装置 | |
Ngo | A methodology for validation of a radar simulation for virtual testing of autonomous driving | |
Papp et al. | Multi-agent based HIL simulator with high fidelity virtual sensors | |
CN113869100A (zh) | 在相对于对象大小的等变性或不变性下在图像中识别对象 | |
Bendjaballah et al. | A classification of on-road obstacles according to their relative velocities | |
US11682140B1 (en) | Methods and apparatus for calibrating stereo cameras using a time-of-flight sensor | |
Liu | Development of a vision-based object detection and recognition system for intelligent vehicle | |
Nobis | Autonomous driving: Radar sensor noise filtering and multimodal sensor fusion for object detection with artificial neural net-works |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |