CN114266282A - 用于自动标记雷达数据的方法和系统 - Google Patents

用于自动标记雷达数据的方法和系统 Download PDF

Info

Publication number
CN114266282A
CN114266282A CN202110881242.6A CN202110881242A CN114266282A CN 114266282 A CN114266282 A CN 114266282A CN 202110881242 A CN202110881242 A CN 202110881242A CN 114266282 A CN114266282 A CN 114266282A
Authority
CN
China
Prior art keywords
radar
lidar
camera
data
trustworthiness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110881242.6A
Other languages
English (en)
Inventor
S·T·伊泽勒
M·P·席林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dr Ing HCF Porsche AG
Original Assignee
Dr Ing HCF Porsche AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dr Ing HCF Porsche AG filed Critical Dr Ing HCF Porsche AG
Publication of CN114266282A publication Critical patent/CN114266282A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G01S13/726—Multiple target tracking
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87—Combinations of radar systems, e.g. primary radar and secondary radar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G01S7/4004—Means for monitoring or calibrating of parts of a radar system
    • G01S7/4021—Means for monitoring or calibrating of parts of a radar system of receivers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G01S7/4004—Means for monitoring or calibrating of parts of a radar system
    • G01S7/4026—Antenna boresight
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/932—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using own vehicle data, e.g. ground speed, steering wheel direction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

自动标记传感器数据的方法，车辆包括雷达探测手段、摄像机和激光雷达，各视场在重叠区域中至少部分重叠，提供一组雷达点、一组图像数据和一组激光雷达数据，自动为各雷达点指派可信度标记，方式是：校正图像数据，在摄像机和激光雷达的视场重叠区域中借助激光雷达数据校准基于摄像机的、由神经网络生成的深度估计，借此根据二维图像信息计算三维点云表现形式，用k近邻算法将三维点云表现形式与雷达点关联且将激光雷达数据与雷达点相关联以得出雷达/激光雷达可信度和雷达/摄像机可信度且将其合并为基于光学的可信度，借助用里程数据的跟踪为雷达点指派雷达/跟踪可信度，将其与基于光学的可信度组合且分配可信度标记。还提出实施该方法的系统。

Description

用于自动标记雷达数据的方法和系统
技术领域
本发明涉及一种用于在车辆中自动对从雷达探测手段获得的雷达数据或雷达点进行标记的方法，该车辆至少以辅助方式具有自动驾驶特性或者还可以为开发这种特性被用作数据采集器。此外，还提出一种实施该方法的系统。
背景技术
标记(Labeling)或标注是对数据或动态和静态类型的、表示为数据的对象和环境特征作的记号。在机器学习中、尤其是监控型学习中，标记是分析例如从雷达中获得的原始数据的必要步骤。可设想的雷达信号的标注在此为探测结果所对应的可信度，以便从探测结果区分出伪影。雷达伪影可被理解为诸如测量噪声、多次反射和错误探测之类的效应。而具有高可信度的点表示例如车辆周围环境、诸如墙壁之类的建筑结构以及柱子和其他在交通环境中的限制物的可靠雷达反射。探测层面上的雷达数据只能以非常复杂、耗时和昂贵的方式手动标记为点云数据(例如每个测量周期有几百个点，而每个测量周期可能处于两位数的毫秒范围内)。手动操作在此为误差或不一致性提供了很大的空间。此外，不存在可以实现该目的的自动标记过程。
在文献DE 10 2017 203 344 A1中描述了相对于本车(Host-Fahrzeug)对长形对象进行的检测，其中通过多个对象检测装置对这些对象进行检测并且在检测数据中识别出对应于这些长形对象的图案。检测数据在此由已由多个对象检测装置中的至少两个对象检测装置合并而成的数据组成。
欧洲文献EP 3 293 669 A1公开了一种具有摄像机的对象识别系统，该摄像机提供的输出具有有关可能出现的对象的信息。处理器基于至少一个另外的探测器(非摄像机)的信息，来选择摄像机输出中可能包含该可能出现的对象的部分并且确定该部分的对象附着性。
在文献WO 2019/161300 A1中示出了一种方法，其中将来自至少一个传感器的视场的传感器数据馈送给第一神经网络并且将所得对象数据指派给具有所探测的对象的相应位置。至少部分基于这些相应位置，将所探测对象处的集群特性馈送至第二神经网络并且由此获得置信值，其中，该置信值表示该集群与周围环境中的对象对应的可能性。
发明内容
在此背景下，本发明的目的在于，提出一种在探测层面运行的方法，用于自动对直接从雷达探测手段获得的雷达点进行标记。此外，应提供一种能实施该方法的系统。
为了实现上述目的，提出一种用于自动对所观察的场景的传感器数据进行标记的方法，其中，车辆包括雷达探测手段和作为光学传感器的至少一个摄像机以及激光雷达(LiDAR)并且所观察的场景例如是车辆周围环境，其中，雷达探测手段、摄像机和激光雷达分别具有该车辆的周围环境的至少一部分作为视场并且相应的视场至少部分地在相应的重叠区域中重叠。在一时间步长序列中，针对每个时间步长t，由雷达探测手段提供一组本身三维的雷达点、由至少一个摄像机提供一组本身二维的图像数据并且由激光雷达提供一组本身三维的激光雷达数据。针对每个时间步长，自动为各个雷达点指派相应的可信度标记，其方式为：
·通过图像校正和随后的透视变换对所述图像数据进行校正，来实现场景的直视图；
·在摄像机和激光雷达的视场的重叠区域中，借助于激光雷达数据来校准基于摄像机的、通过神经网络生成的深度估计；
·借助于基于摄像机(并且考虑固有摄像机参数——例如焦距)的深度估计，根据二维图像信息来计算三维点云表现形式/点云表示
Figure BDA0003192422800000031
·通过使用k近邻算法，不仅将三维点云表现形式与雷达点相关联还将激光雷达数据与雷达点相关联，由此在考虑欧几里得距离和不确定性的情况下，针对视场的重叠区域得出雷达/激光雷达可信度和雷达/摄像机可信度；
·将考虑相应视场情况下的雷达/激光雷达可信度和雷达/摄像机可信度合并为经组合的、基于光学的可信度；
·与之并行地，借助于在考虑该车辆的里程表数据的情况下进行的跟踪，为每个雷达点指派雷达/跟踪可信度；
·将基于光学的可信度和雷达/跟踪可信度组合并且随后分配二进制可信度标记，该二进制可信度标记表征相应的雷达探测手段是描述伪影还是描述真实可信的反射。
通过必然不会存在于二维图像中的深度估计可以进行到三维点云表现形式的换算。这种转换也对应于投影。
k近邻(kNN)算法围绕能够获取k个近邻的第一点在二维中张成圆并且在三维中张成球体，它们相应的半径增长到直至数量k个邻点位于该相应的半径之内。通过在逐像素遍历图像数据或三维点云表现形式以及激光雷达数据时进行相应k近邻搜索，可以将相应的点选择与雷达探测手段相关联。
按升序排列的雷达信号等级是：1.频谱中的原始数据。2.呈3D点的形式的探测数据。3.跟踪的聚集的对象清单。借助根据本发明的方法有利地尚在探测层面上时(即，紧接在获取/组合来自频谱中的原始数据的雷达点之后)并且在数据尚未被传递给上级应用之前进行关于雷达点的可信度的标记。因此，与三维雷达点一起将相应指派的可信度作为二进制可信度标记、例如值为0(伪影)或1(真实可信的反射)提供给上级应用。该上级应用例如可以是自主驾驶的功能或自动驾驶仪。因此，根据本发明的方法提供一种自动化的管线/流水线(Pipeline)，用于自动计算来自相应光学传感器(在此来自具有雷达、激光雷达和至少一个摄像机的所谓的车载传感装置)的雷达信息的最明显或最可能的相关性。根据本发明的方法在英文中也可被称为“Radar Artifact Labeling Framework(雷达伪影标记框架)”，缩写为RALF。
在根据本发明的方法的一个实施方式中，为了对雷达点的雷达/跟踪可信度进行在时间方面的点追踪，使用了来自该车辆的里程表数据的偏航角的角速度和平移速度。这种雷达/跟踪可信度与经组合的、基于光学的可信度合并。里程表是另外的车载传感装置，其经由CAN总线提供其数据。
在根据本发明的方法的另一个实施方式中，雷达探测手段由多个雷达传感器构成。各个雷达传感器通常可以布置在车辆的各个拐角处和车辆的侧面上。同样，例如至少一个摄像机中的多个摄像机可以居中地布置在车辆的所有侧面上。
在根据本发明的方法的还又一个实施方式中，在激光雷达和摄像机的各个重叠区域中，针对相应视场的相应相同点检查相应可信度之间的一致性。这种图像数据和激光雷达数据中的信息之间的相互验证提高了可信度标记分配的可靠性。此外，由此有利地实现：至少一个摄像机的图像数据中的深度估计处于与根据所测量的激光雷达距离得出的同一标度下。
此外，要求保护一种用于自动对场景的传感器数据进行标记的系统，其中，车辆包括雷达探测手段和作为光学传感器的至少一个摄像机以及激光雷达。雷达探测手段、摄像机和激光雷达分别具有该车辆的周围环境的至少一部分作为视场，其中，相应的视场至少部分地在相应的重叠区域中重叠。在一时间步长序列中，针对每个时间步长t，由雷达探测手段能提供或准备一组本身三维的雷达点、由至少一个摄像机能提供或准备一组本身二维的图像数据并且由激光雷达能提供或准备一组本身三维的激光雷达数据。针对每个时间步长，为各个雷达点自动地指派或能够指派相应的可信度标记。该系统被配置成：
·通过图像校正和随后的透视变换对所述图像数据进行校正，来实现场景的直视图，
·在摄像机和激光雷达的视场的重叠区域中，借助于激光雷达数据来校准基于摄像机的、通过神经网络生成的深度估计，
·借助于基于摄像机的深度估计，根据二维图像信息来计算三维点云表现形式，
·通过使用k近邻算法，不仅将三维点云表现形式与雷达点相关联还将激光雷达数据与雷达点相关联，由此在考虑欧几里得距离和不确定性的情况下，针对视场的重叠区域得出雷达/激光雷达可信度和雷达/摄像机可信度，
·将雷达/激光雷达可信度和雷达/摄像机可信度合并为经组合的、基于光学的可信度，
·与之并行地，借助于在考虑该车辆的里程表数据的情况下进行的跟踪，来为每个雷达点指派雷达/跟踪可信度，
·将基于光学的可信度和雷达/跟踪可信度进行组合并且随后分配二进制可信度标记，该二进制可信度标记表征相应的雷达探测手段是描述伪影还是描述真实可信的反射。
在根据本发明的系统的一个设计方案中，该系统被配置成：为了对雷达点的雷达/跟踪可信度进行在时间方面的点追踪，使用来自该车辆的里程表数据的偏航角的角速度和平移速度，并且将雷达/跟踪可信度与经组合的、基于光学的可信度合并。
在根据本发明的系统的另一个设计方案中，雷达探测手段由围绕车辆分布的多个雷达传感器构成。
在根据本发明的系统的又一个设计方案中，该系统被配置成：在激光雷达和摄像机的各个重叠区域中，针对相应视场的相应相同点检查相应可信度之间的一致性并由此提高标记分配的可靠性。
本发明的其他优点和设计方案从说明书和附图得出。
不言而喻，在不脱离本发明范围的情况下，以上提到的特征以及仍将在以下说明的特征不仅能够在相应给出的组合中使用，而且还可以在其他组合中或者单独地使用。
附图说明
图1示意性地示出了根据本发明的方法的一个实施方式的结构架构。
图2示出了根据本发明的系统的一个设计方案的摄像机图像以及叠加有激光雷达数据的可信度标记的视图。
具体实施方式
图1示意性地示出了根据本发明的方法的一个实施方式的结构架构100。针对时间步长t，通过光学传感器(如一方面通过激光雷达111，另一方面通过观察车辆周围环境的摄像机112)来进行光学观察110。由摄像机112记录的图像数据相应地在校正模块113中进行校正。根据来自激光雷达111的激光雷达数据项Plidar,t101，将深度信息用于对图像数据进行深度估计114并且计算三维点云表现形式。在激光雷达匹配模块115中，通过使用k近邻算法将激光雷达数据项Plidar,t101与雷达数据项Pradar,t105相关联并生成雷达/激光雷达可信度wlm(pi,t)102。在摄像机匹配模块116中，通过使用k近邻算法将三维点云表现形式与雷达数据项Pradar,t105相关联并生成雷达/摄像机可信度wcm(pi,t)103。雷达/激光雷达可信度wlm(pi,t)102和雷达/摄像机可信度wcm(pi,t)103在组合模块117中合并成经组合的、基于光学的可信度wopt(pi,t)104，其中，也考虑激光雷达111和摄像机112的视场的非重叠区域，其中，非重叠区域表示相应其他光学传感器的盲角。此外，针对时间步长t，进行对雷达传感器121在时间方面的信号分析120，通过该信号分析在对雷达传感器121的原始数据进行汇集122之后得出雷达点Pradar,t105。同时根据车辆的里程表130以偏航角的角速度
Figure BDA0003192422800000062
和平移速度vt存在里程表数据106。借助于里程表数据106，通过跟踪模块123执行对雷达/跟踪可信度wtr(pi,t)107的在时间方面的追踪。根据经组合的、基于光学的可信度wopt(pi,t)104与雷达/跟踪可信度wtr(pi,t)107的合并，获得用于在伪影与对象之间进行区分的二进制可信度标记
Figure BDA0003192422800000061
(pi,t)来作为结果108。
图2中示出了根据本发明的系统的一个设计方案的摄像机图像210以及叠加有激光雷达数据201的可信度标记202、203的视图220。在此它们分别为相同的观察场景。
附图标记列表
100 方法的结构架构
101 Plidar,t(时间点t的激光雷达数据项)
102 wlm(pi,t)(雷达/激光雷达可信度)
103 wcm(pi,t)(雷达/摄像机可信度)
104 wopt(pi,t)(经组合的雷达/激光雷达可信度与雷达/摄像机可信度)
105 Pradar,t(时间点t的雷达数据项)
106
Figure BDA0003192422800000081
(偏航角的角速度和平移速度)
107 wtr(pi,t)(时间点t的点追踪可信度)
108
Figure BDA0003192422800000082
(pi,t)(对点pi,t的可信度标记
Figure BDA0003192422800000084
)
110 光学观察
111 激光雷达
112 周围环境摄像机
113 图像校正和透视变换
114 深度估计
115 激光雷达匹配模块
116 摄像机匹配模块
117 非重叠视场的组合
120 在时间方面的信号分析
121 雷达传感器
122 汇集
123 跟踪模块
130 里程表(行驶距离测量/位置/方位)
140 合并与标记
210 摄像机图像220叠加有激光雷达的可信度标记的视图
201 激光雷达
202 雷达伪影(可信度标记
Figure BDA0003192422800000083
)
203 真实可信的雷达探测(可信度标记
Figure BDA0003192422800000091
)

Claims (8)

1.一种用于自动对场景的传感器数据进行标记的方法(100)，其中，车辆包括雷达探测手段(121)和作为光学传感器的至少一个摄像机(112)以及激光雷达(111)，其中，雷达探测手段(121)、摄像机(112)和激光雷达(111)分别具有该车辆的周围环境的至少一部分作为视场，并且相应的视场至少部分地在相应的重叠区域中重叠，其中，在一时间步长序列中，针对每个时间步长t，由雷达探测手段(121)提供一组三维雷达点(105)、由所述至少一个摄像机提供一组二维图像数据(210)并且由所述激光雷达(111)提供一组三维激光雷达数据(101，201)，并且其中，针对每个时间步长，自动地为各个雷达点指派相应的可信度标记(108，202，203)，其方式为：
·通过图像校正(113)和随后的透视变换对所述图像数据(210)进行校正，来实现场景的直视图，
·在摄像机(112)和激光雷达(111)的视场的重叠区域中，借助于激光雷达数据(101，201)来校准基于摄像机的、通过神经网络生成的深度估计(114)，
·借助于基于摄像机的深度估计(114)，根据二维图像信息来计算三维点云表现形式，
·通过使用k近邻算法，不仅将三维点云表现形式与雷达点(105)相关联还将激光雷达数据(101，201)与雷达点(105)相关联，由此在考虑欧几里得距离和不确定性的情况下，针对视场的重叠区域得出雷达/激光雷达可信度(102)和雷达/摄像机可信度(103)，
·将雷达/激光雷达可信度(102)和雷达/摄像机可信度(103)合并为经组合的、基于光学的可信度(104)，
·与之并行地，借助于在考虑该车辆的里程表数据(106)的情况下进行的跟踪，来为每个雷达点指派雷达/跟踪可信度(107)，
·将基于光学的可信度(104)和雷达/跟踪可信度(107)进行组合并且随后分配二进制可信度标记(108)，该二进制可信度标记表征相应的雷达探测手段是描述伪影(202)还是描述可信的反射(203)。
2.根据权利要求1所述的方法，其中，为了对雷达点(105)的雷达/跟踪可信度(107)进行在时间方面的点追踪，使用了来自该车辆的里程表数据(106)的偏航角的角速度和平移速度，并且将雷达/跟踪可信度(107)与经组合的、基于光学的可信度(104)合并(140)。
3.根据前述任一权利要求所述的方法，其中，雷达探测手段(121)由多个雷达传感器构成。
4.根据前述任一权利要求所述的方法，其中，在激光雷达(111)和摄像机(112)的各个重叠区域中，针对相应视场的相应相同点检查相应可信度(102，103)之间的一致性并由此提高标记分配(140)的可靠性。
5.一种用于自动对场景的传感器数据进行标记的系统，其中，车辆包括雷达探测手段(121)和作为光学传感器的至少一个摄像机(112)以及激光雷达(111)，其中，雷达探测手段(121)、摄像机(112)和激光雷达(111)分别具有该车辆的周围环境的至少一部分作为视场，并且相应的视场至少部分地在相应的重叠区域中重叠，其中，在一时间步长序列中，针对每个时间步长t，由雷达探测手段(121)能提供或准备一组三维雷达点(105)、由至少一个摄像机能提供或准备一组二维图像数据(210)并且由激光雷达(111)能提供或准备一组三维激光雷达数据(101，201)，并且其中，针对每个时间步长，为各个雷达点自动地指派或能指派相应的可信度标记(108，202，203)，其中，该系统被配置成：
·通过图像校正(113)和随后的透视变换对所述图像数据(210)进行校正，来实现场景的直视图，
·在摄像机(112)和激光雷达(111)的视场的重叠区域中，借助于激光雷达数据(101，201)来校准基于摄像机的、通过神经网络生成的深度估计(114)，
·借助于基于摄像机的深度估计(114)，根据二维图像信息来计算三维点云表现形式，
·通过使用k近邻算法将三维点云表现形式与雷达点(105)相关联并且将激光雷达数据(101，201)与雷达点(105)相关联，由此在考虑欧几里得距离和不确定性的情况下，针对视场的重叠区域得出雷达/激光雷达可信度(102)和雷达/摄像机可信度(103)，
·将雷达/激光雷达可信度(102)和雷达/摄像机可信度(103)合并为经组合的、基于光学的可信度(104)，
·与之并行地，借助于在考虑该车辆的里程表数据(106)的情况下进行的跟踪，来为每个雷达点指派雷达/跟踪可信度(107)，
·将基于光学的可信度(104)和雷达/跟踪可信度(107)进行组合并且随后分配二进制可信度标记(108)，该二进制可信度标记表征相应的雷达探测手段是描述伪影(202)还是描述真实可信的反射(203)。
6.根据权利要求5所述的系统，该系统被配置成：为了对雷达点(105)的雷达/跟踪可信度(107)进行在时间方面的点追踪，使用来自该车辆的里程表数据(106)的偏航角的角速度和平移速度，并且将雷达/跟踪可信度(107)与经组合的、基于光学的可信度(104)合并(140)。
7.根据权利要求5或6所述的系统，其中，雷达探测手段(121)由围绕车辆分布的多个雷达传感器构成。
8.根据权利要求5至7中任一项所述的系统，该系统被配置成：在激光雷达(111)和摄像机(112)的各个重叠区域中，针对相应视场的相应相同点检查相应可信度(102，103)之间的一致性并由此提高标记分配(140)的可靠性。
CN202110881242.6A 2020-09-15 2021-08-02 用于自动标记雷达数据的方法和系统 Pending CN114266282A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020123920.3 2020-09-15
DE102020123920.3A DE102020123920B3 (de) 2020-09-15 2020-09-15 Verfahren und System zum automatischen Labeling von Radardaten

Publications (1)

Publication Number Publication Date
CN114266282A true CN114266282A (zh) 2022-04-01

Family

ID=77061100

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110881242.6A Pending CN114266282A (zh) 2020-09-15 2021-08-02 用于自动标记雷达数据的方法和系统

Country Status (4)

Country Link
US (1) US20220083841A1 (zh)
KR (1) KR102604453B1 (zh)
CN (1) CN114266282A (zh)
DE (1) DE102020123920B3 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11453348B2 (en) * 2020-04-14 2022-09-27 Gm Cruise Holdings Llc Polyhedral sensor calibration target for calibrating multiple types of sensors
US20220163630A1 (en) * 2020-11-23 2022-05-26 Zendar Inc. Systems and methods for radar detection
US11521348B2 (en) * 2021-03-08 2022-12-06 GM Global Technology Operations LLC Transforming sensor data to train models used with different sensor configurations
US11807271B2 (en) * 2021-07-30 2023-11-07 Ford Global Technologies, Llc Method, system, and computer program product for resolving level ambiguity for radar systems of autonomous vehicles
CN114095801A (zh) * 2021-10-20 2022-02-25 重庆钢铁股份有限公司 一种基于5g技术的煤仓3d物料状态自动巡检系统
US20230202395A1 (en) * 2021-12-23 2023-06-29 Stoneridge Electronics Ab Camera monitor system including integrated range sensor
CN114782556B (zh) * 2022-06-20 2022-09-09 季华实验室 相机与激光雷达的配准方法、系统及存储介质
CN115622571B (zh) * 2022-12-16 2023-03-10 电子科技大学 一种基于数据处理的雷达目标识别方法
CN116309962B (zh) * 2023-05-10 2023-09-26 倍基智能科技(四川)有限公司 一种激光雷达点云数据的标注方法、系统及应用

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10317522B2 (en) 2016-03-01 2019-06-11 GM Global Technology Operations LLC Detecting long objects by sensor fusion
US10366310B2 (en) 2016-09-12 2019-07-30 Aptiv Technologies Limited Enhanced camera object detection for automated vehicles
DE102017210156B4 (de) 2017-06-19 2021-07-22 Zf Friedrichshafen Ag Vorrichtung und Verfahren zum Ansteuern eines Fahrzeugmoduls
US10163017B2 (en) 2017-09-01 2018-12-25 GM Global Technology Operations LLC Systems and methods for vehicle signal light detection
WO2019161300A1 (en) 2018-02-18 2019-08-22 Nvidia Corporation Detecting objects and determining confidence scores
KR102090487B1 (ko) * 2018-03-13 2020-03-18 재단법인대구경북과학기술원 융합 센서를 이용한 오브젝트 탐지 장치 및 방법
KR102545105B1 (ko) * 2018-10-10 2023-06-19 현대자동차주식회사 차량용 허위 타겟 판별 장치 및 그의 허위 타겟 판별 방법과 그를 포함하는 차량
KR20200087354A (ko) * 2019-01-02 2020-07-21 현대모비스 주식회사 자율주행용 데이터 라벨링 장치 및 방법

Also Published As

Publication number Publication date
KR102604453B1 (ko) 2023-11-22
KR20220036348A (ko) 2022-03-22
DE102020123920B3 (de) 2021-08-19
US20220083841A1 (en) 2022-03-17

Similar Documents

Publication Publication Date Title
CN114266282A (zh) 用于自动标记雷达数据的方法和系统
CN110411441B (zh) 用于多模态映射和定位的系统和方法
CN112734852B (zh) 一种机器人建图方法、装置及计算设备
JP6682833B2 (ja) 物体認識アルゴリズムの機械学習のためのデータベース構築システム
Jeong et al. The road is enough! Extrinsic calibration of non-overlapping stereo camera and LiDAR using road information
US20160104047A1 (en) Image recognition system for a vehicle and corresponding method
CN109059902A (zh) 相对位姿确定方法、装置、设备和介质
US11568654B2 (en) Object recognition method and object recognition device performing the same
US10789488B2 (en) Information processing device, learned model, information processing method, and computer program product
US10860034B1 (en) Barrier detection
JP2000357233A (ja) 物体認識装置
US10564282B2 (en) Method for improving a detection of at least one object in surroundings of a motor vehicle by way of an indirect measurement by sensors, controller, driver assistance system, and motor vehicle
CN110197106A (zh) 物件标示系统及方法
WO2019208101A1 (ja) 位置推定装置
CN114758504B (zh) 一种基于滤波校正的网联车超速预警方法及系统
US20200341150A1 (en) Systems and methods for constructing a high-definition map based on landmarks
CN112997093A (zh) 用于确定关于车辆环境中的物体的信息的方法和处理单元
JP6552448B2 (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
CN111507327A (zh) 一种目标检测方法及装置
EP4213128A1 (en) Obstacle detection device, obstacle detection system, and obstacle detection method
JP2021120255A (ja) 距離推定装置及び距離推定用コンピュータプログラム
US20220332327A1 (en) Method and Apparatus for Fusing Sensor Information and Recording Medium Storing Program to Execute the Method
WO2020113425A1 (en) Systems and methods for constructing high-definition map
CN111862208B (zh) 一种基于屏幕光通信的车辆定位方法、装置及服务器
JP2020077293A (ja) 区画線検出装置及び区画線検出方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination