CN112444822A - 合成激光雷达信号的产生 - Google Patents
合成激光雷达信号的产生 Download PDFInfo
- Publication number
- CN112444822A CN112444822A CN202010920771.8A CN202010920771A CN112444822A CN 112444822 A CN112444822 A CN 112444822A CN 202010920771 A CN202010920771 A CN 202010920771A CN 112444822 A CN112444822 A CN 112444822A
- Authority
- CN
- China
- Prior art keywords
- lidar
- generator
- point cloud
- dimensional point
- machine learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010801 machine learning Methods 0.000 claims abstract description 43
- 238000000034 method Methods 0.000 claims abstract description 37
- 238000012545 processing Methods 0.000 claims abstract description 26
- 239000002131 composite material Substances 0.000 claims abstract description 23
- 238000009434 installation Methods 0.000 claims abstract description 15
- 238000009826 distribution Methods 0.000 claims abstract description 10
- 239000013598 vector Substances 0.000 claims abstract description 7
- 238000004519 manufacturing process Methods 0.000 claims abstract description 5
- 238000012549 training Methods 0.000 claims description 9
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 230000005258 radioactive decay Effects 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims 1
- 238000005259 measurement Methods 0.000 description 5
- 238000000053 physical method Methods 0.000 description 5
- 239000000463 material Substances 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000013442 quality metrics Methods 0.000 description 3
- 238000013213 extrapolation Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000002310 reflectometry Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000001429 visible spectrum Methods 0.000 description 2
- 206010034960 Photophobia Diseases 0.000 description 1
- 238000004873 anchoring Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 208000013469 light sensitivity Diseases 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Electromagnetism (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Medical Informatics (AREA)
- Traffic Control Systems (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及从利用物理激光雷达传感器测量的一组激光雷达信号中产生合成激光雷达信号的两维或多维频率表示的发生器,包括随机发生器和第一机器学习系统,其从随机发生器获得随机值的向量或张量作为输入,并且将每个向量或张量通过内部处理链映射成合成激光雷达信号的两维或多维频率表示,其中内部处理链利用多个参数被参数化,并且参数被设置为使得两维或多维频率表示和/或至少一个从频率表示中导出的特征参量对于合成激光雷达信号基本上具有与对于所测量的激光雷达信号相同的分布。此外本发明涉及制造发生器的方法、在车辆的环境中识别对象和/或无特定类型的对象的空间的方法以及优化激光雷达传感器的至少一个安装参数或运行参数的方法。
Description
技术领域
本发明涉及合成激光雷达信号的产生,所述合成激光雷达信号尤其可以用作用于借助于机器学习在激光雷达信号中识别对象的训练数据。
背景技术
为了车辆能够至少部分自动化地在街道交通中运动,需要检测车辆的环境,并且如果即将发生与车辆环境中的对象碰撞,则引入对策。环境代表的创建和定位(Lokalisierung)对于安全的自动化驾驶也是必要的。
此外,对象的速度和距离直接从激光雷达数据中得知。这些信息对于评判是否可能发生与对象的碰撞是重要的。但是,不能直接从激光雷达信号中识别是什么类型的对象。这种识别当前通过从数字信号处理计算属性来解决,并且最后以三维点云的形式来表示。
发明内容
激光雷达信号可以包括3D点云,所述3D点云在相对于传感器面的可预给定角度的情况下通过测量从传感器到第一反射面的间距来确定。从而,激光雷达传感器可以产生其邻近的周围环境的3D地图。
在本发明的范围中,开发了一种用于从利用物理激光雷达传感器测量的一组激光雷达信号中产生合成激光雷达信号的发生器。该发生器包括随机发生器和第一机器学习系统,所述第一机器学习系统从随机发生器获得随机值的向量或张量作为输入,并且通过内部处理链将每个这样的向量或每个这样的张量映射成合成激光雷达信号的直方图。
直方图表示可以包括时间空间中的表示。通过随时间探测光子来实现直方图表示。
第一机器学习系统的内部处理链利用多个参数被参数化。这些参数被设置为使得激光雷达信号的直方图表示和/或从该表示导出的至少一个特征参量对于合成激光雷达信号基本上具有与对于所测量的激光雷达信号相同的分布。
已认识到,恰好在借助于机器学习从激光雷达信号中识别对象时,必要的学习数据是短缺资源。用于从摄像机图像中识别对象的学习数据通常包括学习摄像机图像,所述学习摄像机图像已被人类如下评论(kommentieren)(标记):即在所述学习摄像机图像中在什么位置包含哪些对象。对象的视觉识别对于人类来说恰好是特别直观的,使得对用于评论摄像机图像的助力(Hilfskräfte)的要求比较低。
而从激光雷达信号中识别对象需要原始数据和专业知识的更高后处理耗费。这与以下方面有关:对象在可能处于可见光谱之外(例如在850nm至1600nm范围内)的激光雷达波长情况下的反射率经常与可见光谱中的反射率不一致。此外可能的是,所反射的激光雷达信号仅在多次反射之后才返回到传感器(例如在护栏、墙壁或道路表面处)。天气条件(尤其是雨或雾)可能经常以实在难以预测的方式影响激光雷达信号的传播。因此,借助射线追踪(Ray-Traycing)对激光雷达信号进行模拟是非常耗费的,并且有时与实际行为(Verhalten)具有偏差。
此外,同一个对象生产的激光雷达信号也取决于所使用的激光器和探测器的特性,例如取决于激光器的脉冲序列和波长或取决于探测器的光敏度。信号可以通过多径传播被改变,例如其方式是在不同的表面(例如行车道、护栏和/或墙壁)处多次被反射。最后,激光雷达信号也与材料有关。一些材料以不同的强度反射所发射的激射光,而另外的材料几乎完全吸收激射光,这于是又可能导致存在的对象非常差地或根本不被识别。
因此,一方面更加难以获得用于从激光雷达信号识别对象的学习数据,并且另一方面也需要与用于从摄像机图像识别对象相比更多的学习数据。
可以通过发生器减轻这种短缺。通过第一机器学习系统的参数被设置为使得从物理测量的激光雷达信号中可以看出的分布以合成激光雷达信号来代表,并且通过附加地每个所生成的激光雷达信号在实在难以与真实激光雷达信号区分开的意义上切合实际地起作用,可以产生任意多个切合实际地起作用的激光雷达信号,而为此不需要评论原始的物理测量的激光雷达信号。因此例如传感器制造商和OEM在试车时利用激光雷达传感器为了对象识别而常规性地执行的测量可以作为数据库被二次使用(zweitverwertet)。
特征参量可以是从激光雷达信号的直方图表示中导出的任意参量。如果该特征参量例如在由物理激光雷达传感器测量的激光雷达信号之间变化,则所述特征参量通过在此情况下得出的分布使这些激光雷达信号相关联。例如,特征参量可以包括来自点云的各个元素,给所述各个元素分配有相对于物理激光雷达传感器的距离和速度。于是可以经由与相同或至少一个相似的场景有关的这样的激光雷达信号来构成特征参量的一致分布。
可以由发生器本身学习内部处理链的参数。为此,发生器仅需要如下无论如何造成(geartetes)的反馈:当前参数在何种程度上引向(auf…führen)直方图或与所测量的激光雷达信号相配的特征参量的分布。
在一种特别有利的构型中,第一机器学习系统获得至少一个边界条件作为输入。内部处理链的参数被设置为使得直方图表示和/或特征参量对于合成激光雷达信号基本上具有与对于满足边界条件的那些所测量的激光雷达信号相同的分布。
例如,利用这种扩展,可以将对于所测量的激光雷达信号存在的评论转移到发生器中。边界条件例如可以在于:根据现有评论将所测量的激光雷达信号分配给特定类别。于是可以对于每个类别单独地产生任意多个合成激光雷达信号,所述合成激光雷达信号补充所测量的和同时所评论的激光雷达信号的原始库存。从而可以创造用于基于激光雷达信号的对象识别的监控式学习的足够大数据库。
但是,例如也可以使用边界条件,用以以辅助方式根据存在的所测量的激光雷达信号对于不存在测量的情形估计激光雷达信号。因此例如,原始的测量组可以包含响应于在特定背景光情况下入射到对象上的光波而从特定对象已获得的激光雷达信号。边界条件例如可以在于,对于背景光采用非测量的中间值或很少出现的最大值。于是,发生器在一定程度上(gleichsam)对针对背景光的所述中间值或最大值得出的激光雷达信号进行内插或外推。
例如,也可以有针对性地对于所谓的极端情况产生合成激光雷达信号,所述极端情况在现实中很少发生,但是对于对象识别特别重要。这些极端情况可能例如涉及特别危险并且其中因此需要用于至少部分自动化驾驶的系统或驾驶辅助系统的完美功能的情形。
在此,为了锚定(Verankerung)合成激光雷达信号,在现实中不需要物理场景的3D模型,而是特征参量的分布与所测量的激光雷达信号相配就足够了。同样,与在射线追踪(Ray-Tracing)模拟情况下不同,不需要关于激光雷达传感器、其安置位置、材料、形状和要识别的对象的反散射系数的详细知识。
此外可以使用边界条件,用以利用另一传感器的输出、例如利用摄像机、雷达传感器、其他激光雷达传感器或超声波传感器阵列的输出来过滤(filtern)激光雷达信号。
在一个特别有利的构型中,第一机器学习系统包括人工神经网络,其内部处理链具有至少一个全网络化层和/或至少一个卷积层。人工神经网络的主要长处是所述人工神经网络可以消除在输入和输出之间的维数的非常大的差异。具有随机值的向量或张量可以例如包含大约(in der Größenordnung)100个元素,而三维点云具有明显更高的维数。
随机发生器有利地是物理随机发生器,所述物理随机发生器从至少一个器件的热或电子噪声中和/或从不稳定同位素的放射性衰变的时间序列中产生随机值。以这种方式避免伪随机发生器的伪影(Artefakte)与由发生器产生的合成激光雷达信号叠加。
本发明还涉及由利用发生器制造的合成激光雷达信号的多个三维点云组成的数据组,并且涉及一种用于利用发生器产生这些合成激光雷达信号的方法。例如,该数据组可以直接被用作用于对象识别的监控式学习的训练数据,并且就此而言是具有客户利益的可独立销售的产品。发生器越好地工作,就越难以将由该发生器产生的合成激光雷达信号本身(per se)与物理测量的激光雷达信号区分开。但是,如果一方面给出激光雷达信号的三维点云,而另一方面给出发生器,则可以确定针对通过该发生器产生了所述激光雷达信号的至少一个概率。
本发明还涉及一种用于制造发生器的方法。在这种方法情况下,将所测量的激光雷达信号的三维点云与合成激光雷达信号的由发生器产生的三维点云联合在池中。利用分类器对池中包含的三维点云进行如下分类:所述三维点云是属于所测量的激光雷达信号还是属于合成激光雷达信号。鉴于分类器的尽可能差的分类品质对发生器中的机器学习系统的处理链的参数进行优化。
因此,分类器的分类品质用作用于学习发生器中的第一机器学习系统的内部处理链中的参数的反馈。该反馈可以例如是分类器的误差信号,或者例如也可以是在分类器中生成的置信度度量(Konfidenzmaß)。尤其是,分类器和发生器可以被交替地训练并且因此在一定程度上用作相互的陪练伙伴。
例如,发生器中的机器学习系统首先可以利用用于参数的标准值或随机值来初始化。如果现在将来自随机发生器的随机值提交给机器学习系统的输入端,则所生成的合成激光雷达信号以高概率与所测量的激光雷达信号没有很大关系。与此相应地,分类器将能够从三维点云的池中以大的置信度将属于合成激光雷达信号的三维点云与属于所测量的激光雷达信号的三维点云区分开。在机器学习系统的处理链中越多地优化参数,对于分类器而言该区分就变得越困难。这可以表现为:在更大数量的情况下分类是不正确的和/或进行分类所利用的置信度降低。
分类器可以是任何结构类型的。例如,所述分类器可以是静态分类器,该静态分类器通过检验特定特征或者也利用统计方法将三维点云分类为测量的或合成生成的。如果为发生器预给定了边界条件,则也对于分类器预给定相同的边界条件。
在一个特别有利的构型中,选择第二机器学习系统作为分类器。该第二机器学习系统具有另外的内部处理链,该另外的内部处理链利用多个参数被参数化。这些参数鉴于分类器的尽可能好的分类品质被优化。
于是例如可以同时或者也可以交替地训练两个机器学习系统。以这种方式,在第一机器学习系统和第二机器学习系统之间触发一种类型竞赛。第一机器学习系统不断地如下学习:即“伪造”切合实际的激光雷达信号,而第二机器学习系统如下学习:即识别“伪造”。最后,竞争导致:所获得的合成激光雷达信号几乎精确地模仿原始的物理测量的激光雷达信号,并且可以与这些激光雷达信号一起被用作用于对象识别的监控式学习的学习数据。
本发明还涉及一种用于在车辆的环境中识别对象和/或无预给定类型的对象的空间的方法。该车辆具有至少一个用于检测环境的至少一部分的激光雷达传感器。通过激光雷达传感器检测的激光雷达信号的三维点云由第三机器学习系统如下分类:即在车辆的环境中存在哪些对象。第三机器学习系统利用已经至少部分地利用根据本发明的发生器产生的训练数据得以训练或被训练。训练数据尤其可以部分地来自物理测量并且部分地来自发生器。
以这种方式,在识别对象时可以使用激光雷达技术的开头所提到的优点,而这不强制性地用以下来换取:与纯光学对象识别相比,明显更难以获得用于训练对象识别的学习数据。通过发生器可以将相对小的物理测量的激光雷达信号组丰富到为构建安全的对象识别所需要的量。
有利地,为了避免在所述车辆和对象之间碰撞的目的和/或为了适配所述车辆的速度和/或轨迹的目的,响应于对至少一个对象和/或无特定类型的对象的空间的识别,对所述车辆的对于所述车辆的驾驶员可感知的物理警告装置、驱动系统、转向系统和/或制动系统进行操控。这些目的是根本地力求对象识别的主要原因。
如先前所阐述的,对发生器预给定边界条件也使得能够从给定的所测量的场景组到还不存在测量的场景的内插或外推(Extrapolation)。这不仅可以用于在物理测量之后对激光雷达信号进行评估,而且用于改善物理测量本身。与是纯被动传感器的摄像机相比,激光雷达传感器是主动传感器,即由传感器本身辐射的光波用作测量信号。因此,激光雷达传感器的安装参数和运行参数对所获得的激光雷达信号在何种程度上适合于最终的对象识别有明显的影响。
因此,本发明还涉及一种用于优化用于在车辆的环境中识别对象和/或无特定类型的对象(72a,72b)的空间的激光雷达传感器的至少一个安装参数或运行参数的方法。在所述方法情况下,对于所述安装参数或运行参数的不同值,分别利用根据本发明的发生器产生和/或从先前由这样的发生器产生的数据组调用合成激光雷达信号的至少一个三维点云。在所述合成激光雷达信号的三维点云中以品质度量来评价对象的识别。如下改变所述安装参数或运行参数,使得所述品质度量采用极限值。
发明人已经认识到,在安全的对象识别的最终目的方面有利的是不仅考虑对所记录的激光雷达信号的分析,而且考虑物理数据记录本身,在所记录的物理激光雷达信号中不再能够识别的信息也不再能够通过仍如此好的分析被评估。例如,当传感器的测量范围由于对比度特别强的对象而不敏感地出现使得对比度弱的人类沉没在噪声中时,可能会发生这样的情况。如果从整体上观察并且优化物理数据记录和后续分析,则可以从而更进一步地改善最终获得的对象识别。
在此,经由品质度量尤其使得能够为特定的对象设置对象识别,并且在目标冲突时设置优先级。没有任何一组安装参数或运行参数可能对于所有可能发生的事是完美的。例如,对行人、骑自行车者或其他较弱的交通参与者的安全识别可能相比于对混凝土系缆柱的识别具有优先地位。如果对较弱交通参与者的改善的识别现在具有最高优先级,则可能出现以下情况:即这仅以有损于其他方面的方式才是可能的,例如,以未识别到一些混凝土系缆柱为代价。
尽管所述发生器和所述方法分别利用硬件,并且有针对性地使用相应优化的硬件分别是有利的,但是也从而存在发生器和方法的使用已经存在的硬件足够的有效实施方式。因此,提供根据本发明的功能可以全部或部分地以软件实现,所述软件以不同方式操控硬件。该软件可以例如作为对现有硬件的更新或升级被销售,并且就此而言是独立产品。因此,本发明还涉及一种具有机器可读指令的计算机程序,当所述机器可读指令在计算机上和/或在控制设备上被实施时,所述机器可读指令将计算机和/或控制设备升值为根据本发明的发生器,和/或促使所述计算机和/或控制设备实施根据本发明的方法。同样,本发明还涉及具有计算机程序的下载产品或机器可读数据载体。
下面与根据图对本发明的优选实施例的描述一起更详细地示出对本发明进行改善的其他措施。
附图说明
图1示出发生器1的实施例;
图2示出用于制造的方法100的实施例;
图3示出用于识别对象的方法200的实施例;
图4示出用于优化的方法300的实施例。
具体实施方式
按照图1,发生器1包括随机发生器2和带有内部处理链4的机器学习系统3。随机发生器2将随机值21作为输入馈送到机器学习系统3中,所述机器学习系统接着在考虑同样所输入的边界条件31的情况下产生三维点云13。这些三维点云13对应于合成激光雷达信号12。
机器学习系统3包含神经网络或通过神经网络给出,其内部处理链4具有两个卷积层42a和42b、两个全网络化层(vollvernetzte Schichten)43a和43b以及一个上采样(Upsampling)层44。内部处理链4利用多个参数41a-41c被参数化。
然而,其他架构也是可能的,所述其他架构例如包括仅一个卷积层42a、42b并且不包括全网络化层43a、43b,或者包括仅一个全网络化层43a、43b并且不包括卷积层42a、42b,并且其中缺少上采样层44。
可以从由发生器1产生的三维点云13中导出特征参量14。也可以从由物理激光雷达传感器9测量的雷达信号10的三维点云11中导出模拟(analoge)特征参量14,其中这里也选择与预给定的边界条件31相配的那些点云11。
发生器1的机器学习系统3中的内部处理链4的参数41a-41c被设置为使得三维点云11、13和/或特征参量14对于合成激光雷达信号12基本上具有与对于所测量的激光雷达信号10相同的分布。
利用发生器1产生的多个三维点云13被汇总在数据组(Datensatz)13a中。例如,利用该数据组13a可以放大用于基于激光雷达信号的对象识别的监控式学习的数据库。
图2示出用于制造发生器1的方法100的实施例。该方法100的主要目的是获取用于发生器1中的机器学习系统3的内部处理链4的参数41a-41c。
类似于图1,由发生器1在注意边界条件31的情况下产生合成激光雷达信号12的三维点云13。在该方法100的步骤110中,将这些三维点云与物理测量的激光雷达信号10的三维点云11一起聚集在池(Pool)15中,所述物理测量的激光雷达信号的三维点云11与相同的边界条件31相配。
在该方法100的步骤120中,包含在池15中的三维点云11、13由分类器5如下分类:所述三维点云是属于所测量的激光雷达信号10还是属于合成激光雷达信号12。对于所述分类,可以说明分类品质5a,所述分类品质可以包含例如分类的正确性和/或置信度。
现在在该方法100的步骤130中,鉴于分类器5的尽可能差的分类品质5a对发生器1的机器学习系统3中的内部处理链4的参数41a-41c进行优化。
在此,分类器5原则上可以是静态分类器,所述静态分类器不进一步学习(dazulernen)。然而,在图2中所示的实施例中,分类器5被构造为第二机器学习系统,并且具有另外的内部处理链6,该另外的内部处理链6利用多个参数61a-61c被参数化。在该方法100的步骤140中,鉴于分类器5的尽可能好的分类品质5a对这些参数61a-61c进行优化。
例如,步骤130和140可以同时而或者也可以交替地被实施。
图3示出用于在车辆7的环境71中识别对象72a、72b和/或无特定类型的对象72a、72b的空间的方法200的实施例。使用激光雷达传感器73作为用于识别的数据源,所述激光雷达传感器将所测量的激光雷达信号的三维点云11提供给第三机器学习系统74。该第三机器学习系统74已经利用训练数据74a得以训练,所述训练数据74a包括由发生器1产生的数据组13a。除了数据组13a之外,训练数据74a尤其还可以包括物理测量,使得数据组13a最终对物理测量进行补充。第三机器学习系统74也只有在该方法200的步骤210中才能相应地被训练。
在该方法200的步骤220中,第三机器学习系统74如下对三维点云11分类,即哪些对象72a、72b存在于车辆7的所检测的环境71中。在图3中,作为示例性对象绘出了行人72a和混凝土系缆柱72b。
在该方法200的步骤230中,使用分类的结果,用以为了避免与所识别的对象72a、72b碰撞的目的和/或为了适配车辆7的速度和/或轨迹(Trajektorie)的目的而操控车辆7的用于车辆7的驾驶员的警告装置75a、驱动系统75b、转向系统75c和/或制动系统75d。例如,可以将速度调节到额定值和/或驾驶助理(Fahrassistent)可以选择车道(Fahrspur)。除了激光雷达信号之外,对于这些任务也还可以考虑其他传感器、诸如摄像机、雷达或超声波的附加信息。
通过激光雷达传感器73的物理数据记录(Datenaufnahme)尤其受安装参数73a、在这里例如激光雷达传感器73a的安装位置以及运行参数73b、在这里例如所发出的光波的波长λ影响。因此,安装参数73a和运行参数73b是可以被优化用以改善对象识别或诸如车道引导(Spurführung)之类的其他应用的最终结果的其他自由度。
图4概述用于该优化的方法300的实施例。根据安装参数73a和/或运行参数73b的值,在该方法300的步骤310a中利用发生器1产生合成激光雷达信号12的三维点云,和/或在该方法300的步骤310b中从先前由发生器1产生的数据组13a中调用这样的三维点云13。
利用在实际使用时也应该在车辆7中使用的第三机器学习系统74,如下对三维点云13进行分类:即在这一方面可以识别哪些对象72a、72b。在该方法300的步骤320中以品质度量(Gütemaß)来评价对象72a、72b的这种识别。在该方法300的步骤340中检验:该品质度量是否如所期望的那样采用极限值。如果这是这种情况(真值1),则认为安装参数73a或运行参数73b的所测试的值是最佳的。而如果不采用期望的极限值(真值0),则在该方法300的步骤330中改变安装参数73a或运行参数73b,以便更近地接近所期望的极限值或在下一过程时达到该所期望的极限值。
Claims (12)
1.一种用于从利用物理激光雷达传感器(9)测量的一组激光雷达信号(10)中产生合成激光雷达信号(12)的三维点云(13)的发生器(1),所述发生器包括随机发生器(2)和第一机器学习系统(3),所述第一机器学习系统从所述随机发生器(2)获得随机值(21)的向量或张量作为输入,并且将每个这样的向量或每个这样的张量通过内部处理链(4)映射成合成激光雷达信号(12)的三维点云(13),其中所述第一机器学习系统(3)的内部处理链(4)利用多个参数(41a-41c)被参数化,并且其中所述参数(41a-41c)被设置为使得所述激光雷达信号(10; 12)的三维点云(11; 13)和/或至少一个从所述点云(11;13)中导出的特征参量(14)对于所述合成激光雷达信号(12)基本上具有与对于所测量的激光雷达信号(10)相同的分布。
2.根据权利要求1所述的发生器(1),其中所述特征参量(14)包括所述点云的一个或多个元素,给所述一个或多个元素分配有相对于所述物理激光雷达传感器(9)的距离和速度。
3.根据权利要求1至2中任一项所述的发生器(1),其中所述第一机器学习系统(3)此外获得至少一个边界条件(31)作为输入,并且其中所述内部处理链(4)的参数(41a-41c)被设置为使得所述三维点云(11; 13)和/或所述特征参量(14)对于所述合成激光雷达信号(12)基本上具有与对于满足所述边界条件(31)的那些所测量的激光雷达信号(10)相同的分布。
4.根据权利要求1至3中任一项所述的发生器(1),其中所述第一机器学习系统(3)包括人工神经网络,其内部处理链(4)具有至少一个卷积层(42a,42b)和/或至少一个全网络化层(43a,43b)。
5.根据权利要求1至4中任一项所述的发生器(1),其中所述随机发生器(2)是物理随机发生器,所述物理随机发生器从至少一个器件的热或电子噪声中和/或从不稳定同位素的放射性衰变的时间序列中产生所述随机值。
6.一种用于创建合成激光雷达信号(12)的三维点云(13)的方法,其利用根据权利要求1至5中任一项所述的发生器(1)制造。
7.一种用于制造根据权利要求1至5中任一项所述的发生器(1)的方法(100),其中将所测量的激光雷达信号(10)的三维点云(11)与所述合成激光雷达信号(1)的由所述发生器(1)产生的三维点云(13)联合(110)在池(15)中,其中利用分类器(5)如下对所述池(15)中的三维点云(11、13)进行分类(120):所述三维点云是属于所测量的激光雷达信号(10)还是属于合成激光雷达信号(12),其中鉴于所述分类器(5)的尽可能差的分类品质(5a)优化(130)所述发生器(1)中的机器学习系统(3)的处理链(4)的参数(41a-41c)。
8.根据权利要求7所述的方法(100),其中选择第二机器学习系统作为分类器(5),其中所述第二机器学习系统具有另外的内部处理链(6),所述另外的内部处理链利用多个参数(61a-61c)被参数化,其中鉴于所述分类器(5)的尽可能好的分类品质(5a)优化(140)所述参数(61a-61c)。
9.一种用于在车辆(7)的环境(71)中识别对象(72a,72b)和/或无特定类型的对象(72a,72b)的空间的方法(200),其中所述车辆(7)具有至少一个用于检测所述环境(71)的至少一部分的激光雷达传感器(73),并且其中通过所述激光雷达传感器(73)检测的激光雷达信号(10)的三维点云(11)由第三机器学习系统(74)如下分类(220):在所述车辆(7)的环境(71)中存在哪些对象(72a,72b),其中所述第三机器学习系统(210)利用借助于根据权利要求6所述的方法产生的训练数据(74a)得以训练或被训练(210)。
10.根据权利要求9所述的方法(200),其特征在于,为了避免在所述车辆(7)和所述对象(72a,72b)之间的碰撞的目的和/或为了适配所述车辆(7)的速度和/或轨迹的目的,响应于对至少一个对象(72a,72b)和/或无特定类型的对象(72a,72b)的空间的识别(220),对所述车辆(7)的对于所述车辆(7)的驾驶员可感知的物理警告装置(75a)、驱动系统(75b)、转向系统(75c)和/或制动系统(75d)进行操控。
11.一种用于优化用于在车辆(7)的环境(71)中识别对象(72a,72b)和/或无特定类型的对象(72a,72b)的空间的激光雷达传感器(73)的至少一个安装参数(73a)或运行参数(73b)的方法(300),其中对于所述安装参数(73a)或运行参数(73b)的不同值,分别利用根据权利要求1至5中任一项所述的发生器(1)产生(310a)和/或从根据权利要求6所述的数据组(13a)调用(310b)合成激光雷达信号(12)的至少一个三维点云(13),其中在所述合成激光雷达信号(12)的三维点云(13)中以品质度量来评价(320)对象(72a,72b)的识别,并且其中如下改变(330)所述安装参数(73a)或运行参数(73b),使得所述品质度量采用(340)极限值。
12.一种包含机器可读指令的计算机程序,当在计算机上和/或在控制设备上实施所述机器可读指令时,所述机器可读指令将所述计算机和/或所述控制设备升值为根据权利要求1至5中任一项所述的发生器(1),和/或促使所述计算机和/或所述控制设备实施根据权利要求7至11中任一项所述的方法(100、200、300)。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102019213546.3 | 2019-09-05 | ||
DE102019213546.3A DE102019213546A1 (de) | 2019-09-05 | 2019-09-05 | Erzeugung synthetischer Lidarsignale |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112444822A true CN112444822A (zh) | 2021-03-05 |
Family
ID=74644764
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010920771.8A Pending CN112444822A (zh) | 2019-09-05 | 2020-09-04 | 合成激光雷达信号的产生 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20210072397A1 (zh) |
CN (1) | CN112444822A (zh) |
DE (1) | DE102019213546A1 (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11550325B2 (en) | 2020-06-10 | 2023-01-10 | Nvidia Corp. | Adversarial scenarios for safety testing of autonomous vehicles |
US11390301B2 (en) * | 2020-06-10 | 2022-07-19 | Nvidia Corp. | Tensor-based driving scenario characterization |
US11599745B2 (en) * | 2020-06-24 | 2023-03-07 | Denso International America, Inc. | System and method for generating synthetic training data |
CN115291198B (zh) * | 2022-10-10 | 2023-01-24 | 西安晟昕科技发展有限公司 | 一种雷达信号发射及信号处理方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102007008021A1 (de) * | 2007-02-15 | 2008-08-21 | Tecdata Ag | Verfahren zur Messung von Informationen |
US10678244B2 (en) * | 2017-03-23 | 2020-06-09 | Tesla, Inc. | Data synthesis for autonomous control systems |
US10788585B2 (en) * | 2017-09-15 | 2020-09-29 | Toyota Research Institute, Inc. | System and method for object detection using a probabilistic observation model |
US11275673B1 (en) * | 2019-06-24 | 2022-03-15 | Zoox, Inc. | Simulated LiDAR data |
-
2019
- 2019-09-05 DE DE102019213546.3A patent/DE102019213546A1/de active Pending
-
2020
- 2020-09-01 US US17/009,351 patent/US20210072397A1/en not_active Abandoned
- 2020-09-04 CN CN202010920771.8A patent/CN112444822A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
US20210072397A1 (en) | 2021-03-11 |
DE102019213546A1 (de) | 2021-03-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111868803B (zh) | 产生合成雷达信号 | |
CN111027401B (zh) | 一种摄像头和激光雷达融合的端到端目标检测方法 | |
CN112444822A (zh) | 合成激光雷达信号的产生 | |
CN107784151B (zh) | 雷达和超声传感器的物理建模 | |
JP7090105B2 (ja) | 珍しい事例の分類 | |
CN108780154B (zh) | 3d点云的处理方法 | |
WO2018119902A1 (zh) | 一种地面环境的检测方法和装置 | |
CN112668602A (zh) | 用于确定传感器的数据集的品质等级的方法、设备和机器可读的存储介质 | |
US11941888B2 (en) | Method and device for generating training data for a recognition model for recognizing objects in sensor data of a sensor, in particular, of a vehicle, method for training and method for activating | |
Dey et al. | VESPA: A framework for optimizing heterogeneous sensor placement and orientation for autonomous vehicles | |
US20230237783A1 (en) | Sensor fusion | |
CN116830164A (zh) | LiDAR去相关对象检测系统与方法 | |
EP3764124A1 (en) | Distance measuring apparatus, method for measuring distance, on-vehicle apparatus, and mobile object | |
US20220230418A1 (en) | Computer-implemented method for training a computer vision model | |
CN116703966A (zh) | 多对象跟踪 | |
US11900691B2 (en) | Method for evaluating sensor data, including expanded object recognition | |
US20220156517A1 (en) | Method for Generating Training Data for a Recognition Model for Recognizing Objects in Sensor Data from a Surroundings Sensor System of a Vehicle, Method for Generating a Recognition Model of this kind, and Method for Controlling an Actuator System of a Vehicle | |
US20240046614A1 (en) | Computer-implemented method for generating reliability indications for computer vision | |
CN111352111A (zh) | 对象的定位和/或分类 | |
US20230314169A1 (en) | Method and apparatus for generating map data, and non-transitory computer-readable storage medium | |
US20220262103A1 (en) | Computer-implemented method for testing conformance between real and synthetic images for machine learning | |
CN114581748B (zh) | 基于机器学习的多智能体感知融合系统及其实现方法 | |
US20220207884A1 (en) | Object recognition apparatus and object recognition program product | |
US20220237897A1 (en) | Computer-implemented method for analyzing relevance of visual parameters for training a computer vision model | |
CN115376107A (zh) | 用于智能驾驶的目标检测的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |