CN116508071A - 用于注释汽车雷达数据的系统和方法 - Google Patents
用于注释汽车雷达数据的系统和方法 Download PDFInfo
- Publication number
- CN116508071A CN116508071A CN202180070746.8A CN202180070746A CN116508071A CN 116508071 A CN116508071 A CN 116508071A CN 202180070746 A CN202180070746 A CN 202180070746A CN 116508071 A CN116508071 A CN 116508071A
- Authority
- CN
- China
- Prior art keywords
- radar
- image
- camera image
- camera
- optical detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 24
- 238000001514 detection method Methods 0.000 claims abstract description 77
- 230000003287 optical effect Effects 0.000 claims abstract description 64
- 230000011218 segmentation Effects 0.000 claims abstract description 14
- 238000005259 measurement Methods 0.000 claims abstract description 11
- 238000012546 transfer Methods 0.000 claims abstract description 5
- 238000001914 filtration Methods 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 2
- 238000006243 chemical reaction Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 5
- 238000011161 development Methods 0.000 description 5
- 230000018109 developmental process Effects 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000001105 regulatory effect Effects 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 238000001069 Raman spectroscopy Methods 0.000 description 1
- 240000007113 Rumex obtusifolius Species 0.000 description 1
- 206010047571 Visual impairment Diseases 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000003381 stabilizer Substances 0.000 description 1
- 238000013106 supervised machine learning method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
Abstract
一种用于注释汽车雷达数据的系统，所述系统包括：至少一个设置在汽车上的雷达，以用于通过雷达测量产生雷达图像；设置在所述汽车外部的至少一个光学检测系统，以用于产生摄像机图像；分割单元，所述分割单元设计用于对由所述光学检测系统产生的摄像机图像进行语义分割，以形成语义网格，以便将所述摄像机图像逐像素地与多个对象类别的中一个相关联；计算单元，所述计算单元设计用于将所述摄像机图像和/或所述雷达图像转移到共同的坐标系中，以进行配准；和注释单元，所述注释单元设计用于执行所述雷达图像的注释，即把对象类别分派至所述雷达图像的雷达目标，使得配准的摄像机图像的语义网格的那个对象类别被分派给相应的雷达目标，配准的雷达图像的雷达目标位于其中。
Description
技术领域
自主陆地交通工具在许多方面对道路交通产生积极的影响。为了在这种情况下达到三级自动化水平，即高度自动化驾驶或更高，越来越多地使用汽车雷达。
背景技术
为了评估和解释雷达数据，有利的是，使用所谓的人工智能(简称AI＝英语“artificial intelligence”)，因此机器学习算法是重要的研究重点。在此，对于监督式机器学习方法需要尽可能大的训练数据集，所述训练数据集以注释的形式提供期望的初始信息。这种注释的一个示例是对象类别与在雷达数据中探测到的目标如“人”或“自行车”的关联性。最终，这种训练数据集是AI的最重要和最具挑战性的方面之一，而获得这种数据集伴随着巨大的成本。因此，这种数据集的存在和拥有是极其有价值的并且代表了在高度自动化交通工具的发展中的重要的竞争优势。因此，训练数据集的质量有时也对要训练的人工智能所能达到的性能负有决定性的责任。
汽车雷达通常提供三维、四维或者甚至更高维度的雷达信号数据集，随后从中提取雷达点云，所述雷达点云从测量的所有雷达目标中产生。存在许多不同的雷达类型，借助所述雷达类型能够确定目标，其中但是对于本领域技术人员而言清楚的是，本发明不限于特定的雷达类型。雷达目标被理解为在雷达信号数据集中的局部最大值，所述局部最大值关于被反射的信号功率超出一定阈值。此外，所提及的提取出于内存减少的原因并且始终伴随着一定的信息损失。所提到的机器学习算法已经能够基于雷达点云获得好的结果，其中但是对于本领域技术人员清楚的是，访问整个雷达信号数据集将允许更高性能的结果，参见A.Palffy，J.Dong，J.F.P.Kooij and D.M.Gavrila,“CNN Based Road UserDetection Using the 3D Radar Cube”,IEEE Robotics and Automation Letters，第5卷，第2期，2020年，第1263-1270页。
在目前仅存在三个公开的汽车雷达数据集：
·Astyx HiRes2019(参见H.Caesar et al.,“nuScenes:A multimodaldatasetfor autonomous driving”，arXiv预印本：1903.11027，2019年)，
·nuScenes(参见M.Meyer and G.Kuschk，“Automotive Radar Dataset forDeep Learning Based 3D Object Detection”，in Proc.of 16th European RadarConference(EuRAD)，巴黎，法国，2019年)，以及
·Oxford Radar RobotCar(参见D.Barnes,M.Gadd,P.Murcutt,P.Newman andI.Posner,“The oxfordradar robotcar dataset:A radar extension to the oxfordrobotcar dataset”,in Proc.of International Conference on Robotics andAutomation(ICRA)，巴黎，法国，2020年)。
所述数据集中的每个数据集仅提供雷达点云并且具有不同的弱点。因此存在：Astyx HiRes 2019由少于600次测量构成，而没有对雷达目标进行任何注释。nuScenes虽然具有经注释的雷达目标，然而所使用的雷达不对应于现有技术，或者说其仅提供每个测量周期非常少的雷达目标。最后，Oxford Radar RobotCar仅具有标准测量技术，然而完全没有注释。此外，所述数据集基于安装在车顶上的雷达，所述雷达因此不对应于通行的市场要求。
因此存在对具有完整注释的公开的数据集的需求。因为在生成这种数据集时最耗时和最易于出错的子步骤是注释，所以尽可能高的自动化程度对此是特别有益的。
大量注释通过使雷达点云与位于自主交通工具的内部空间中的摄像机图像相匹配来实现。在这种情况下，自主交通工具是配备有雷达的交通工具，所述雷达的数据要被注释。因为摄像机和雷达一样都位于交通工具高度上，所以它们以与地面大致平行的视向或与地面形成小于10°的角度来观察交通工具的周围环境。
然而，将雷达数据与摄像机数据相匹配通常非常困难，因为摄像机提供相对差的距离信息甚至完全不提供距离信息。此外，摄像机仅检测具有直接视线连接的对象，而雷达在一些测量情况下能够探测到依次的对象，例如依次行驶的交通工具或在交通工具后方的人，从而不能保证完整的注释。这是特别不利的，因为因此在当前的训练数据集中，只能很困难地或者根本无法显示出雷达系统的特有优势，进而雷达数据的完整信息内容不能在常用的AI方法中使用。
此外，在现有技术中已知的是，通过将雷达点云与高分辨率的激光雷达点云相匹配来进行注释。除了这种激光雷达的非常高的成本之外，在此还产生与在室内摄像机中相同的问题，即无法探测到依次的对象。
在如下文章中：N.Scheiner，N.Appenrodt，J.Dickmann and B.Sick,“AutomatedGround Truth Estimation of Vulnerable Road Users in Automotive Radar DataUsing GNSS”,in Proc.of International Conference on Microwaves of IntelligentMobility,Detroit(MI),USA,2019，已提出一种方法，其中行人和自行车骑行者配备有移动卫星导航系统，从而可以自动地注释雷达点云的相应区域。除了所述方法的巨大成本之外，在这种情况下不注释未配备有这种系统的基础设施对象以及道路交通参与者尤其被证明为是不利的。
发明内容
此外，本发明的目的是，提供一种汽车雷达数据的改进的、但是仍可高度自动化的注释，以便能够克服上文列举的缺点。
这通过具有权利要求1的所有特征的系统或具有权利要求10的所有方法步骤的方法来实现。
因此，根据本发明的用于注释汽车雷达数据的系统包括：至少一个设置在汽车上的雷达，以用于通过至少一次雷达测量产生至少一个雷达图像；至少一个设置在汽车外部的光学检测系统，以用于产生摄像机图像；解释单元，所述解释单元设计用于评估由光学检测系统(4)产生的摄像机图像，以便能够在摄像机图像上定义不同对象类别的至少两个区域，其中解释单元优选是分割单元，所述分割单元设计用于将由光学检测系统产生的摄像机图像进行语义分割，以形成语义网格，以便将多个对象类别中的一个与摄像机图像逐像素地相关联；计算单元，所述计算单元设计用于将摄像机图像和/或雷达图像转移到共同的坐标系中，以进行配准；和注释单元，所述注释单元设计用于执行雷达图像的注释，即把对象类别分派至雷达图像的雷达目标，使得被分为不同的对象类别的、配准的摄像机图像的那个对象类别被分派给相应的雷达目标，配准的雷达图像的雷达目标位于其中。
该光学检测系统能够是：摄像机或立体摄像机，或飞行时间(time-of-flight)摄像机(可选地与摄像机一起)，或激光扫描器(可选地与摄像机一起)。光学检测单元的每个实施方案构成用于产生含有所拍摄的信息的摄像机图像。
此外能够提出，注释单元设计用于执行雷达图像的注释，即把对象类别分派至雷达图像的雷达目标，使得配准的摄像机图像的语义网格的那个对象类别被分派给相应的雷达目标，配准的雷达图像的雷达目标位于其中。
现在，本发明的亮点在于，将雷达目标自动地分配给雷达目标所处于的语义网格的相应的对象类别，其中所述语义网格基于从汽车外部拍摄的摄像机图像。
在相应地设置光学检测系统时，从汽车中不可见的对象能够被无错地分类并且也能够被注释，使得能够训练雷达系统的全部潜力。因此，现在能够很容易地在摄像机图像中识别例如从汽车不可见的、被第一交通工具光学遮蔽的第二交通工具。该第二交通工具现在被相应地分割，使得在将摄像机图像转换到与雷达图像共同的坐标系中之后，现在也能够注释以下雷达目标，所述雷达目标在汽车中的光学检测单元中保持被隐藏。
因此，首先通过解释单元对所拍摄的摄像机图像进行评估，以便将图像划分为至少两个不同的对象类别的区域。优选地，所拍摄的摄像机图像能够被转换为语义分割图(以下称为语义网格)。在该语义网格中，对象类别与摄像机图像逐像素地相关联，使得能够进行光学注释。该子步骤优选应借助人工神经网络执行，因为这是特别节省时间的。在这种情况下，在此适宜的是，根据以下的公开文献的样板来工作：I.Nigam,C.Huang andD.Ramanan,“Ensemble Knowledge Transfer for Semantic Segmentation”,in Proc.ofWinter Conference on Applications of Computer Vision,Lake Tahoe(NV),USA,2018年。
借助于两个图像之一或者两个图像的坐标转换，将雷达图像或者说从中推导出的雷达点云转移到语义网格中，使得对两个坐标系进行配准。
为了优化配准，能够事先将光学标记安置在自主交通工具上，所述光学标记的位置在交通工具坐标系中是已知的。因此，在交通工具坐标系中的精确坐标能够与在摄像机图像中由标记占据的像素连续地相关联(或者反之亦然)，由此能够推导出用于另外的像素的转换规则。如果在汽车(即自主交通工具)和光学检测系统之间不存在结构上的连接，而是它们是相互独立地构成的，那么这是尤其有利的。
如果摄像机图像和雷达图像存在于共同的坐标系中，那么现在能够以简单的方式和方法对包含在雷达图像中的雷达目标进行注释。在配准的图像中，雷达目标现在被分派有预设相应的雷达目标的部位上的语义网格的那个对象类别，其中在所述配准的图像中摄像机图像和雷达图像存在于共同的坐标系中。因此，在注释时，语义网格能够被视为一种模板，使得分布到配准的图像上的雷达目标与具有在相应的雷达目标的部位上的语义网格的那个对象类别相关联。该过程归结为简单的读取，所述读取能够非常快速地并且以少的计算性能执行。在雷达目标的范围中能够考虑雷达特定的测量不确定性。此外可行的是，基于与语义网格的几何关联性，对雷达信号数据集的整个距离-方位-标高相关的部分进行注释。对于本领域技术人员而言在此清楚的是，在几何分辨率不足的情况下，能够经由雷达信号数据集的与速度相关的部分进行进一步的空间分离。
根据本发明的一个可选的改进方案能够提出，用于产生摄像机图像的光学检测系统的视向与雷达图像的视向不平行地伸展，其中优选光学检测系统的视向与汽车的底座和/或雷达的视向形成至少45°的角度，优选至少67.5°的角度，并且特别优选至少75°的角度，和/或其中光学检测系统的视向与汽车的底座和/或雷达的视向垂直或近似垂直地伸展。
通过光学检测系统和雷达的不同的定向能够确保从与雷达图像不同的角度拍摄摄像机图像。如果例如光学检测系统设置在比雷达高得多(例如在雷达之上3米)的位置上，那么光学检测系统能够识别到在定位在与雷达相同或类似的部位上时会被光学遮盖的物体。通过改变视角，现在可行的是，光学检测系统产生摄像机图像，所述摄像机图像自身带有关于雷达检测区域的多得多的信息，就好像其在与雷达相似的部位处拍摄。尤其，至少部分地覆盖雷达检测区域的鸟瞰图的视角为雷达图像提供了多得多的深度信息，因为不存在从雷达观察到的、会影响远处可见度的视觉障碍，或者其仅以明显减少的程度存在。
此外，根据本发明能够提出，雷达和光学检测系统配置为，使得其检测区域至少部分地重叠。特别有利的是，光学检测系统检测雷达天线的或雷达阵列本身的区域，使得基于雷达能够注释在光学检测系统的检测区域内的所有对象。
根据本发明的一个可选的改进方案能够提出，光学检测系统设计用于产生立体摄像机图像或者说3D摄像机图像，其中优选为此设有至少两个相互间隔开的拍摄单元，更优选设有至少四个相互间隔开的拍摄单元。
立体摄像机图像的产生例如能够通过ToF摄像机或激光扫描器来实现。在使用ToF摄像机和/或激光扫描器时能够有利的是，除此之外使用常规的摄像机。
立体拍摄的优点是以下可能性：能够处理在摄像机图像中的高度信息，使得能够在相应的部位滤掉对于汽车不重要的信息。因此，对于汽车决定性的相关区域能够被限制在离地面小于5m或小于3m的高度上，使得注释仅发生在相关区域中，并且减少了错误分割或注释的概率。
此外，根据本发明能够提出，光学检测系统经由机械结构设置在汽车上的车顶上方，其中优选地，光学检测单元距车顶的竖直距离为至少1米，更优选为至少2米。
在此也能够提出，光学检测系统固定在可伸缩的装置上，所述可伸缩的装置向上远离汽车的车顶伸出。
光学检测单元能够设置在摄像机稳定器(Steadicam)中，从而使所获得的摄像机图像不会模糊，即使在有振动的情况下也能拍摄尽可能保持不变的图像细节。
对于本领域技术人员而言清楚的是，光学检测单元在结构上不必与自主交通工具即汽车连接。其例如也能够与此无关地设置在位置固定的柱等处。
此外，根据本发明的一个改进方案还能够提出，光学检测系统借助于至少一个无人飞行器以自由悬浮的方式引导，并且优选在产生摄像机图像时距汽车的车顶或底座的竖直距离为至少1米，优选至少2米，并且更优选至少5米。但是，在30至50m的范围内的高度也是可行的。该高度范围代表了无人机的正常飞行高度。
此外能够提出，无人机距地面的距离取决于雷达的视野。因此，对于部分地看到数百米远(例如150m远)的远程雷达使用与对于视野通常不超过100m(例如30m)的短程雷达不同的高度。在短程雷达的情况下采用比远程雷达低的飞行高度。
在此能够提出，光学检测系统具有多个拍摄单元，所述拍摄单元分别由相关的无人飞行器以自由悬浮的方式引导，其中优选地，通过无人飞行器携带的拍摄单元中的每个拍摄单元的检测区域至少部分地重叠。有利的是，多个无人飞行器彼此间相距至少4m，使得在拍摄立体图像时，不同的摄像机的基线是非常大的。
此外根据本发明的一个改进方案能够提出，借助于至少一个无人飞行器引导的光学检测系统具有调节装置，以便即使在汽车行驶期间其相对于汽车也保持预定的位置和取向。
这简化了由光学检测系统拍摄的图像的转换，因为在与汽车或者说雷达的相对位置已知时该转换保持不变。而如果光学检测系统相对于汽车的位置和取向发生变化，那么将所获得的图像转换到共同的坐标系中就必须始终适应这种情况，其中对此需要不断地精确跟踪汽车和无人机的两个位置和取向。此外在此还应注意的是，存在无人机的理想的位置，从该处起被无人机所携带的光学检测系统具有最佳的检测范围。因此，如果无人机的位置发生变化，那么检测范围就不再是最佳的。
优选地能够提出，至少一个无人飞行器中的每个构造为，使得存在适宜的测量机构和优选存在控制/调节装置，其确保：即使在自主交通工具行驶时，相对于自主交通工具(汽车)也具有预定的或至少已知的姿态(姿态＝位置和取向)。该姿态在下文中也称为工作点AP。AP优选能够选择为，使得摄像机系统看到尽可能大的区域，所述区域被自主交通工具的雷达的视野所覆盖。
保持相对于自主交通工具的工作点优选能借助适宜的调节装置来实现。为此需要自主交通工具的和UAV的精确的位置数据。作为用于确定位置的测量机构的优选的实施方案变型形式，以下变型形式是可设想的：
·全球导航卫星系统(GNSS)，例如DGPS，和在自主交通工具和(多个)无人机中的惯性传感装置，以及在自主交通工具和(多个)无人机之间的无线电通信，
·在(多个)无人飞行器中的GNSS和惯性传感装置从摄像机图像中推导出自主交通工具的位置，其中在自主交通工具上安置光学标记，
·(多个)无人飞行器和自主交通工具设有转发器，并且借助无线电定位系统检测彼此间的方位。
对于在计划中的无人机飞行轨迹中出现障碍物(例如桥梁或突出于车道的树)时，至少一个无人机必须具有相应的障碍物识别装置。在识别到障碍物时特别符合目的的是，最佳地并且实时地调整轨迹，使得尽可能快地再次返回至AP，并且同时将信息损失最小化。
根据本发明的另一可选的修改方案能够提出，所述系统还包括过滤单元，所述过滤单元设计用于在通过分割单元进行处理之前对摄像机图像进行过滤过程，以便将摄像机图像的相关区域限制到靠近地面的区域上，该区域延伸直至距地面约5米，优选距地面4米，并且更优选距地面3米。
在此适宜的是，摄像机图像是具有高度信息的立体图像。
对于技术人员而言清楚的是，上文阐述的单元，如分割单元、计算单元、注释单元和/或过滤单元不必强制性地是彼此不同的单元，而是也能够通过单个或多个单元例如处理器实施。
本发明还涉及一种用于注释汽车雷达数据的方法，优选借助根据上述方面之一所述的系统，其中在该方法中：通过设置在汽车上的至少一个雷达的雷达测量产生雷达图像，通过设置在汽车外部的至少一个光学检测系统产生摄像机图像，对摄像机图像进行评估，以用于在摄像机图像上形成不同的对象类别的至少两个区域，其中优选地，对摄像机图像进行语义分割，以形成语义网格，以便将摄像机图像与多个对象类别中的一个对象类别逐像素地相关联，将摄像机图像和/或雷达图像转移到共同的坐标系中，以进行配准，并且执行雷达图像的注释，即把对象类别分派至雷达图像的雷达目标，使得被分为不同的对象类别的、配准的摄像机图像的那个对象类别被分派给相应的雷达目标，配准的雷达图像的雷达目标位于其中。优选地能够提出，配准的摄像机图像的语义网格的那个对象类别被分派给相应的雷达目标，配准的雷达图像的雷达目标位于其中。
优选地，在此能够提出，摄像机图像的视向与雷达图像的视向不平行，其中优选地，摄像机图像的视向与汽车的底座或雷达的视向形成至少45°，优选至少67.5°，并且特别优选至少75°的角度，和/或其中摄像机图像的视向与汽车的底座或雷达的视向垂直或近似垂直地伸展。
根据该方法的一个可选的变型形式，摄像机图像能够至少部分地与雷达图像的覆盖区域重叠，在所述覆盖区域中存在至少一个雷达目标，其中有利的是，重叠区域尽可能大。因此提出，光学检测系统的检测区域完全覆盖雷达的检测区域。
此外能够提出，雷达图像源自多维的雷达信号数据集，从中优选获得所提取的雷达点云，所述雷达点云包括雷达测量的所有探测到的雷达目标。
根据所述方法的一个改进方案，执行摄像机图像的不同的对象类别的至少两个区域的形成，其方式为：摄像机图像的语义分割为每个像素分配对象类别，这优选借助于神经网络执行，其中多个对象类别能够被划分为以下非排他性的列举中的至少两个对象类别：未知、背景、建筑物、障碍物、街道、植物、人、汽车和/或自行车。
还能够提出，在形成摄像机图像的、优选语义网格的不同的对象类别的至少两个区域之前，对摄像机图像进行过滤过程，以便将摄像机图像的相关区域限制到靠近地面的区域上，所述靠近底面的区域延伸直至离地面约5米，优选离地面4米，更优选离地面3米。
附图说明
本发明的其它特征、细节和优点根据下面的附图说明变得清楚。在此示出：
图1示出带有光学检测系统的无人飞行器与设置在其下方的包含雷达的汽车的侧视图；
图2示出根据本发明的系统的俯视图，其中光学检测系统通过两个无人飞行器实施；
图3示出另一实施形式的根据本发明的系统的俯视图，其中光学检测系统通过四个无人飞行器实施；和
图4示出在初始状态下的摄像机图像和与其在语义上进行分割的图像的对比，雷达目标借助于坐标系转换插入所述图像中。
具体实施方式
图1示出带有光学检测系统4的无人飞行器5与设置在其下方的含有雷达3的汽车2(也称为自主交通工具)的侧视图。可看出，光学检测系统4具有与靠近地面设置的雷达3不同的视角。从这种情况来看能够在注释雷达目标时产生优点，因为从雷达3来看实际上被光学遮挡的对象能够由于光学检测系统4的不同的视角而被识别到，并且在注释时被正确分配。那么，在监督式学习时，能够向要训练的神经网络提供更好的训练数据，使得在所述数据的基础上受到训练的神经网络变得性能更好。
在此，至少一个无人飞行器5中的每个能够构造为，使得其包括适宜的测量机构和优选控制/调节装置，所述控制/调节装置确保：即使在自主交通工具行驶时，其也占据相对于自主交通工具2的预定的或至少已知的姿态(姿态＝位置和取向)。该姿态也称为工作点AP。AP优选能够选择为，使得光学检测系统4，例如摄像机系统，看到尽可能大的区域6，所述区域被自主交通工具的雷达3的视野所覆盖。
还可看出，交通工具2和光学检测系统都使用独立的坐标系。但是，如果知道无人飞行器5或者说固定在其上的摄像机4和自主交通工具2的相对的位置相关性(位置和取向)，那么所产生的图像就能够被转换到共同的坐标系中。
无人机5保持其相对于自主交通工具2的姿态恒定。由于问题的三维性，为此产生六个自由度，沿x、y、z的平移，以及偏航角、俯仰角和滚转角。借助对这两个姿态彼此间的了解，将摄像机坐标系转换为交通工具坐标系或者反之亦然是可行的。
图2示出根据本发明的系统的俯视图，其中光学检测系统4通过两个拍摄单元4实施。这两个拍摄单元4能够分别通过无人机5携带，其中但是也能够设想的是，这两个拍摄单元4经由机械结构与交通工具2连接。
因为汽车雷达几乎仅在靠近地基的区域中测量，即直至在地基之上约3米，因此有利的是，语义网格与地基相关。为此适宜的是，生成高度剖面，所述高度剖面优选从摄像机系统中推导出。通过使用由两个无人机5的两个摄像机4构成的立体摄像机，能够产生立体拍摄，使得那么能够滤掉在非相关的高度范围内的成分。在至少两个无人机5之间的间距b描述了在对于立体拍摄所需的两个摄像机4之间的基线。这在当前能够非常大地选择，使得立体拍摄具有好的质量。
图3示出另一实施形式的根据本发明的系统1的俯视图，其中光学检测系统4由四个无人飞行器5实施。
替选于或除了产生和使用高度剖面之外，还存在以下可能性：借助光学检测系统4的至少两个无人机5的每个摄像机拍摄分别创建语义网格，然后将所述语义网格叠加。在叠加时产生过滤过程，所述过滤过程涉及高于地基的对象。所叠加的语义网格因此提供了对于雷达注释更好的基础。图3图解示出无人机5的为了该目的的有利布置，其中着重突出无人机5的相应的摄像机拍摄的叠加的检测区域7。
图4示出在原始状态中的摄像机图像和与其在语义上分割的图像的对比，雷达目标借助于坐标转换插入所述图像中。该图像基于以下照片，所述照片取自文章：I.Nigam，C.Huang和D.Ramanan,“Ensemble Knowledge Transfer for Semantic Segmentation”,inProc.of Winter Conference on Applications of Computer Vision,Lake Tahoe(NV),USA,2018年。
左侧的摄像机图像由无人机5拍摄，并且随后转换为右侧的语义网格。借助于坐标转换，对转换为语义网格的雷达目标的注释以及此外对整个雷达信号数据集的注释是简单的读取。
在语义分割时，将不同的对象类别与摄像机拍摄的各个像素或像素区域相关联。因此这样识别并且这样逐像素地辨认街道。相同内容适用于汽车或人。为了使语义分割在视觉上更容易表达，不同的结构以不同的方式着重突出。
如果现在例如将雷达目标转换到光学检测系统4的坐标系中，即转换到已经进行语义分割的左侧图像的视图中，那么获得右侧图像。现在，在那里可见的点是雷达目标，其强度已经超过一定的阈值。
如果现在看右侧图像，那么可看出，通过将语义网格的对象类别在相应的雷达目标的部位上与雷达目标关联，能够非常简单地执行雷达目标的注释。
这种注释非常易于实施并且能够通过相应的处理器高度自动化地进行处理。
Claims (15)
1.一种用于注释汽车雷达数据的系统(1)，所述系统包括：。
至少一个设置在汽车(2)上的雷达(3)，以用于通过至少一次雷达测量产生至少一个雷达图像；
设置在所述汽车(2)外部的光学检测系统(4)，以用于产生至少一个摄像机图像；
解释单元，所述解释单元设计用于评估由所述光学检测系统(4)产生的摄像机图像，以便在所述摄像机图像上定义不同的对象类别的至少两个区域，其中所述解释单元优选是分割单元，所述分割单元设计用于对由所述光学检测系统(4)产生的摄像机图像进行语义分割，以形成语义网格，以便将多个对象类别中的一个对象类别与摄像机图像逐像素地相关联；
计算单元，所述计算单元设计用于将所述至少一个摄像机图像和/或所述雷达图像转移到共同的坐标系中，以进行配准；和
注释单元，所述注释单元设计用于执行所述雷达图像的注释，即把对象类别分派至所述雷达图像的雷达目标，使得被分为不同的对象类别的、配准的摄像机图像的那个对象类别被分派给相应的雷达目标，配准的雷达图像的雷达目标位于其中。
2.根据权利要求1所述的系统，其中用于产生所述摄像机图像的光学检测系统(4)的视向与所述雷达图像的视向不平行地伸展，其中优选地，所述光学检测系统(4)的视向与所述汽车(2)的底座和/或所述雷达(3)的视向形成至少45°的角度，优选至少67.5°的角度，并且特别优选至少75°的角度，和/或其中所述光学检测系统(4)的视向与所述汽车(2)的底座或所述雷达(3)的视向垂直或近似垂直地伸展。
3.根据上述权利要求中任一项所述的系统(1)，其中所述雷达(3)和所述光学检测系统(4)配置为，使得其检测区域至少部分地重叠，其中优选地，所述光学检测系统的检测区域完全覆盖所述雷达的检测区域。
4.根据上述权利要求中任一项所述的系统(1)，其中所述光学检测系统(4)设计用于产生立体摄像机图像，其中优选地，为此设有至少两个相互间隔开的拍摄单元，更优选设有至少四个相互间隔开的拍摄单元。
5.根据上述权利要求中任一项所述的系统(1)，其中所述光学检测系统(4)经由机械结构设置在所述汽车(2)上的车顶上方，其中优选地，所述光学检测单元距所述车顶的竖直距离为至少1米，更优选为至少2米。
6.根据上述权利要求1至4中任一项所述的系统(1)，其中所述光学检测系统(4)借助于至少一个无人飞行器(5)以自由悬浮的方式引导，并且在产生所述摄像机图像时与所述汽车(2)的车顶的竖直距离为至少1米，优选至少2米，并且更优选至少5米。
7.根据上述权利要求中任一项所述的系统(1)，其中所述光学检测系统(4)具有多个拍摄单元，在所述多个拍摄单元中，至少一个拍摄单元由所属的无人飞行器(5)以自由悬浮的方式引导，和/或在所述多个拍摄单元中，至少一个拍摄单元经由机械结构设置在所述汽车(2)上的车顶上方，其中通过所述无人飞行器(5)携带的至少一个拍摄单元中的每个拍摄单元的检测区域和/或保持在所述机械结构上的至少一个拍摄单元至少部分地重叠。
8.根据权利要求6或7所述的系统(1)，其中借助于至少一个无人飞行器引导的光学检测系统(4)具有调节装置，以便即使在所述汽车(2)行驶期间其相对于所述汽车(2)也保持预定的位置和取向。
9.根据上述权利要求中任一项所述的系统(1)，所述系统还包括过滤单元，所述过滤单元设计用于在通过所述解释单元进行处理之前对所述摄像机图像进行过滤过程，以便将所述摄像机图像的相关区域限制到靠近地面的区域上，所述靠近地面的区域延伸直至距所述地面约5米，优选距所述地面4米，并且更优选距所述地面3米。
10.一种用于注释汽车雷达数据的方法，优选借助根据上述权利要求中任一项所述的系统(1)，其中在所述方法中：
通过设置在汽车(2)上的至少一个雷达(3)的至少一个雷达测量产生至少一个雷达图像，
通过设置在所述汽车(2)外部的至少一个光学检测系统(4)产生至少一个摄像机图像，
对所述摄像机图像进行评估，以用于在所述摄像机图像上形成不同的对象类别的至少两个区域，其中优选地，对所述摄像机图像进行语义分割，以形成语义网格，以便将所述摄像机图像与多个对象类别中的一个对象类别逐像素地相关联，
将所述摄像机图像和/或所述雷达图像转移到共同的坐标系中，以进行配准，和
执行所述雷达图像的注释，即把对象类别分派至所述雷达图像的雷达目标，使得被分为不同的对象类别的、配准的摄像机图像的那个对象类别被分派给相应的雷达目标，配准的雷达图像的雷达目标位于其中。
11.根据权利要求10所述的方法，其中所述摄像机图像的视向与所述雷达图像的视向不平行，其中优选地，所述摄像机图像的视向与所述汽车(2)的底座或所述雷达(3)的视向形成至少45°的角度，优选至少67.5°的角度，并且特别优选至少75°的角度，和/或其中所述摄像机图像的视向与所述汽车(2)的底座或所述雷达(3)的视向垂直或近似垂直地伸展。
12.根据上述权利要求10或11所述的方法，其中所述摄像机图像至少部分地与所述雷达图像的如下覆盖区域重叠，在所述覆盖区域中存在至少一个雷达目标。
13.根据上述权利要求10至12中任一项所述的方法，其中所述雷达图像源自多维雷达信号数据集，从中优选获得所提取的雷达点云，所述雷达点云包括所述雷达测量的所有雷达目标。
14.根据上述权利要求10至13中任一项所述的方法，其中执行所述摄像机图像的不同的对象类别的至少两个区域的形式，其方式为：所述摄像机图像的语义分割为每个像素分配对象类别，并且优选借助于神经网络执行，其中多个所述对象类别能够被划分为以下非排他性的列举中的至少两个对象类别：未知、背景、建筑物、障碍物、街道、植物、人、汽车和/或自行车。
15.根据上述权利要求10至14中任一项所述的方法，其中对所述摄像机图像的不同的对象类别的至少两个区域的摄像机图像优选在形成所述语义网格之前进行过滤过程，以便将所述摄像机图像的相关区域限制到靠近地面的区域上，所述靠近底面的区域延伸直至离所述地面约5米，优选离所述地面4米，更优选离所述地面3米。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102020127315.0 | 2020-10-16 | ||
| DE102020127315.0A DE102020127315B4 (de) | 2020-10-16 | 2020-10-16 | System und Verfahren zum Annotieren von Automobilradardaten |
| PCT/EP2021/078438 WO2022079162A1 (de) | 2020-10-16 | 2021-10-14 | System und verfahren zum annotieren von automobilradardaten |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116508071A true CN116508071A (zh) | 2023-07-28 |
Family
ID=78179428
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202180070746.8A Pending CN116508071A (zh) | 2020-10-16 | 2021-10-14 | 用于注释汽车雷达数据的系统和方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20230386175A1 (zh) |
| EP (1) | EP4229549A1 (zh) |
| CN (1) | CN116508071A (zh) |
| DE (1) | DE102020127315B4 (zh) |
| WO (1) | WO2022079162A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102022205505A1 (de) | 2022-05-31 | 2023-11-30 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zum Erzeugen eines Datensatzes |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11009590B2 (en) | 2018-08-29 | 2021-05-18 | Aptiv Technologies Limited | Annotation of radar-profiles of objects |
-
2020
- 2020-10-16 DE DE102020127315.0A patent/DE102020127315B4/de active Active
-
2021
- 2021-10-14 EP EP21791365.6A patent/EP4229549A1/de active Pending
- 2021-10-14 US US18/031,621 patent/US20230386175A1/en active Pending
- 2021-10-14 CN CN202180070746.8A patent/CN116508071A/zh active Pending
- 2021-10-14 WO PCT/EP2021/078438 patent/WO2022079162A1/de active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| EP4229549A1 (de) | 2023-08-23 |
| US20230386175A1 (en) | 2023-11-30 |
| DE102020127315A1 (de) | 2022-04-21 |
| WO2022079162A1 (de) | 2022-04-21 |
| DE102020127315B4 (de) | 2022-06-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | Vehicle tracking and speed estimation from roadside lidar | |
| US10192113B1 (en) | Quadocular sensor design in autonomous platforms | |
| US20220026232A1 (en) | System and method for precision localization and mapping | |
| CN108647646B (zh) | 基于低线束雷达的低矮障碍物的优化检测方法及装置 | |
| US10437252B1 (en) | High-precision multi-layer visual and semantic map for autonomous driving | |
| US10794710B1 (en) | High-precision multi-layer visual and semantic map by autonomous units | |
| US10496104B1 (en) | Positional awareness with quadocular sensor in autonomous platforms | |
| Zhu et al. | 3d lidar point cloud based intersection recognition for autonomous driving | |
| CN113485441A (zh) | 结合无人机高精度定位和视觉跟踪技术的配网巡检方法 | |
| Erbs et al. | Moving vehicle detection by optimal segmentation of the dynamic stixel world | |
| US20200302237A1 (en) | System and method for ordered representation and feature extraction for point clouds obtained by detection and ranging sensor | |
| CN112346463B (zh) | 一种基于速度采样的无人车路径规划方法 | |
| US11430199B2 (en) | Feature recognition assisted super-resolution method | |
| CN113865580A (zh) | 构建地图的方法、装置、电子设备及计算机可读存储介质 | |
| CN115049700A (zh) | 一种目标检测方法及装置 | |
| CN114325634A (zh) | 一种基于激光雷达的高鲁棒性野外环境下可通行区域提取方法 | |
| Li et al. | Visual map-based localization for intelligent vehicles from multi-view site matching | |
| Gálai et al. | Crossmodal point cloud registration in the Hough space for mobile laser scanning data | |
| CN116508071A (zh) | 用于注释汽车雷达数据的系统和方法 | |
| Majdik et al. | Micro air vehicle localization and position tracking from textured 3d cadastral models | |
| CA3122868A1 (en) | Method and system for generating an environment model for positioning | |
| Borgmann et al. | Pedestrian detection and tracking in sparse MLS point clouds using a neural network and voting-based approach | |
| CN114782639A (zh) | 一种基于多传感器融合的快速式差速潜伏式agv稠密三维重建方法 | |
| Yan et al. | RH-Map: Online Map Construction Framework of Dynamic Object Removal Based on 3D Region-wise Hash Map Structure | |
| Liu et al. | A lightweight lidar-camera sensing method of obstacles detection and classification for autonomous rail rapid transit |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |