CN114072697B - 一种模拟连续波lidar传感器的方法 - Google Patents

一种模拟连续波lidar传感器的方法 Download PDF

Info

Publication number
CN114072697B
CN114072697B CN201980098264.6A CN201980098264A CN114072697B CN 114072697 B CN114072697 B CN 114072697B CN 201980098264 A CN201980098264 A CN 201980098264A CN 114072697 B CN114072697 B CN 114072697B
Authority
CN
China
Prior art keywords
signal
ray
light
rays
contribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980098264.6A
Other languages
English (en)
Other versions
CN114072697A (zh
Inventor
迈克尔·菲利普斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Industry Software NV
Original Assignee
Siemens Industry Software NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Industry Software NV filed Critical Siemens Industry Software NV
Publication of CN114072697A publication Critical patent/CN114072697A/zh
Application granted granted Critical
Publication of CN114072697B publication Critical patent/CN114072697B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/30—Circuit design
    • G06F30/36—Circuit design at the analogue level
    • G06F30/367—Design verification, e.g. using simulation, simulation program with integrated circuit emphasis [SPICE], direct methods or relaxation methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/006—Theoretical aspects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/06—Ray-tracing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/08—Probabilistic or stochastic CAD

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Remote Sensing (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Evolutionary Computation (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Electromagnetism (AREA)
  • Computer Graphics (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明涉及一种用于模拟连续波CW光探测和测距lidar传感器的传感器数据的方法，包括以下步骤：基于CW信号51生成包括至少一条光线的光线集，光线集中的每条光线都具有发射开始时间(t_0)和发射持续时间(T)；对于光线集中的每条光线，在包括至少一个物体的模拟场景中对光线进行传播；针对光线集中的每条光线计算传播光线在模拟场景中探测位置处的信号贡献71；基于将CW信号51与光线集中光线的计算出的信号贡献混合，产生输出信号73；以及进行输出信号的存储和输出至少其中之一。本发明提供了对应于CW lidar传感器的全波形信号的模拟数据。所提供的传感器数据还使得能够确定附加信息，比如物体形状和物体类别，以及物体定向。此外，传感器数据还包括存在于真实lidar数据中的伪影，其源自lidar传感器和环境的物理特性并且在点云类型数据中不存在，例如lidar光束的多次反射。因此，还可以通过将该伪像考虑在内来改进传感器开发。本发明准确地模拟了真实CW lidar传感器如何工作并且因此准确地再现了真实CW lidar传感器的输出。所提供的高质量数据对于真实世界既完整又准确，对于开发信号处理算法、训练神经网络、虚拟验证等也具有很高价值。

Description

一种模拟连续波lidar传感器的方法
技术领域
本发明涉及一种模拟连续波CW光探测和测距lidar传感器的传感器数据的方法。本发明还涉及一种用于模拟CW lidar传感器的传感器数据的装置。
背景技术
lidar是一种基于激光的用于测量到目标距离的技术，其可以提供周围环境的高分辨率三维表示。自动驾驶辅助系统中的lidar系统服务应用ADAS提供所谓的环境模型，用于停车辅助、碰撞警报和自动驾驶应用。lidar系统被广泛用于多个领域中，包括大地测量学、地震学、机载激光条带测绘和激光测高。
lidar传感器有不同的类型。例如，脉冲lidar传感器发射短激光脉冲并测量激光脉冲从发射到返回lidar传感器的飞行时间。测量的飞行时间可被用于计算到反射目标的距离。
另一种类型的lidar传感器使用连续波CW信号。在这种情况下，连续发射光线。可以通过调幅连续波AMCW方法中的幅度调制或通过调频连续波FMCW方法中的频率调制对光源进行调制。在许多应用中，CW方法优于脉冲lidar传感器方法，因为其准确性和鲁棒性。
许多应用要求lidar系统获得的传感器数据具有高精度。因此，开发新的lidar应用可能需要对lidar传感器(包括物理传感器)进行大量测试。为了降低生产成本，需要能够尽可能准确地再现正在开发的lidar传感器的输出的模拟数据。许多其他领域也需要lidar模拟数据，包括开发信号处理算法、训练神经网络、虚拟验证等。
在A.Kim等人的“Simulating full-waveform lidar(模拟全波形lidar)”(会议记录SPIE 7684,激光雷达技术与应用XV,2010)和A.Kim的“Simulating full-waveformLIDAR(模拟全波形LIDAR)”(蒙特利,加利福尼亚.海军研究院,2009的论文)两文中对提供lidar传感器数据建模脉冲lidar传感器进行了讨论。
DE102016100416A1处理在虚拟环境内测试虚拟传感器。这可能包括不同的传感器类型，包括LIDAR。
EP3260875A1公开了机动车测试方法。该方法包括响应于雷达激励信号获取雷达传感器数据的步骤。
US2016/005209A1处理照片级真实成像和图片生成，重点在于照明设计。
已知的用于提供lidar传感器数据的方法包括用单条模拟光线模拟理想点云。光线的传播是使用光线追踪计算的，直到与表面最近的交点，因此只考虑镜面反射。因此，每条光线只计算一个距离。此外，每束多条光线可以提供多个点。在此类模拟中，仅提供点数据作为输出，但不会生成有关结果信号的信息。相比之下，真实的lidar传感器会产生时变电信号，必须对其进行处理才能在模拟场景中产生点。时变信号包含许多关于模拟场景的附加信息，包括物体形状、物体类别、多次反射等。如果仅提供点云作为输出，则不可避免地会丢失此类信息。
此外，时变信号包含由lidar传感器和环境的物理特性产生的特征，包括光束形状、光束之间的物体运动、天气对信号的影响等。这些特征会导致lidar数据中的伪影，在开发传感器和基于其输出的算法时必须考虑到这些伪影。
因此，在开发过程中点云可能不足以模拟lidar传感器，并且可能需要更真实的数据。
发明内容
所以，本发明的目的是提供一种用于提供真实连续波lidar数据的方法和装置。
该目的由独立权利要求的主题解决。在从属权利要求中阐述了优势实施例。
根据第一方面，本发明提供一种如权利要求1陈述的模拟连续波CW光探测和测距lidar传感器的传感器数据的方法。根据第二方面，本发明提供了一种如权利要求10所述的用于模拟CW lidar传感器的传感器数据的装置。根据第三方面，本发明提供了如权利要求14陈述的计算机程序产品。根据第四方面，本发明提供了如权利要求15陈述的非暂时性计算机可读存储介质。
根据第一方面，本发明提供一种用于模拟连续波CW光探测和测距lidar传感器的传感器数据的方法，其中基于CW信号生成包括至少一条光线的光线集。光线集中的每条光线都具有发射开始时间和发射持续时间。光线集中的每条光线都在包括至少一个物体的模拟场景中进行传播。对于光线集中的每条光线，计算传播光线在模拟场景中探测位置处的信号贡献。基于将CW信号与光线集中光线的计算出的信号贡献混合来生成输出信号是。该方法还提供存储和/或输出该输出信号。
根据第二方面，本发明提供了一种用于模拟CW lidar传感器的传感器数据的装置，包括处理单元以及存储单元和输出单元中的至少一个。处理单元基于CW信号产生包括至少一条光线的光线集，光线集的每条光线都具有发射开始时间和发射持续时间。处理单元在包括至少一个物体的模拟场景中对光线集中的每条光线进行传播。处理单元针对光线集中的每条光线计算传播光线在模拟场景中探测位置处的信号贡献。处理单元还基于将CW信号与光线集中光线的计算出的信号贡献混合来生成输出信号。存储单元适于存储该输出信号并且输出单元适于输出该输出信号。
根据第三方面，本发明提供一种包括可执行程序代码的计算机程序产品，该执行程序代码被配置为在由计算装置执行时执行模拟连续波传感器的传感器数据的方法。
根据第四方面，本发明提供了一种包括可执行程序代码的非暂时性计算机可读存储介质，该可执行程序代码被配置为在由计算装置执行时执行模拟CW lidar传感器的传感器数据的方法。
本发明提供了对应于CW lidar传感器的全波形信号的模拟数据。不是只提供模拟场景的“完美”点云类型表示，而是保留了全部信号信息。因此，所提供的包括输出信号的传感器数据还使得能够确定附加信息，比如物体形状和物体类别，以及物体定向。此外，传感器数据还包括存在于真实lidar数据中的伪影，这些伪影源自lidar传感器和环境的物理特性，而在点云类型的数据中不存在，例如lidar光束的多次反射。因此，还可以通过将该伪像考虑在内来改进传感器的开发。
本发明准确地模拟了真实CW lidar传感器的工作方式，因此准确地再现了真实CWlidar传感器的输出。所提供的高质量数据对于现实世界而言既完整又准确，对于开发信号处理算法、训练神经网络、虚拟验证等也具有很高的价值。
根据方法的一实施例，光线集正好包括一条光线。然而，通常优选的是，光线集包括多条光线。例如，光线集可以包括至少2条、优选地至少100条、更优选地至少500条并且最优选地至少1000条光线。光线的上限数量也可能受到限制。例如，光线集可以包括至多100000条、优选至多10000条、更优选至多5000条并且最优选至多2000条光线。
根据该方法的优选实施例，光线集中的每条光线包括模拟场景中的空间原点和模拟场景中的发射方向。因此，在空间和时间上对光线进行采样。空间采样包括确定空间原点和发射方向，并且时间采样包括将CW信号的一部分分配给光线。发射方向可对应于模拟场景中的单个向量，表明光线在哪个方向上发射。
根据方法的优选实施例，传播光线包括基于光线的空间原点、基于光线的发射方向和基于光线在模拟场景中的物体上的反射来确定光线的光路。此外，计算沿光路到达探测位置的光线的通量。基于计算出的通量来计算信号贡献。根据实施例，可以仅考虑单次反射。然而，通常也可以考虑来自物体的光线的多次反射。可以限制反射次数，即仅考虑小于预定阈值的反射次数。
根据方法的优选实施例，对于光线集中的每条光线，基于信号贡献与CW信号之间的信号偏移将CW信号与光线的计算出的信号贡献混合。根据光线的发射开始时间和光线的光路来确定信号偏移。
根据方法的优选实施例，随机选择每条光线的发射方向。也可以统一选择光线的发射方向。一般而言，选择发射方向以考虑lidar传感器所发射的激光束的有限范围。通常，激光束可以用具有束腰w_0的高斯光束来描述，但是激光束也可以具有任意形状。在这种情况下，可以用某个立体角来描述整个光束的发射方向。此外，可以调整lidar传感器的发射方向。例如，lidar传感器可以包括微反射镜，其适于偏转发射的激光，从而扫描特定空间区域。
根据方法的另一实施例，光线集包括多条光线。随机选择各光线的发射开始时间。也可以统一选择发射时间。一般而言，选择光线的发射时间使得所有时间点都被充分采样以产生准确的输出信号。可以根据重要性采样方法对不同光线的贡献进行加权。例如，可以用不同的权重对光线的信号贡献进行加权。
根据方法的优选实施例，CW信号是调频连续波FMCW信号。CW信号也可以是调幅连续波AMCW信号。
根据方法的优选实施例，生成光线集包括将CW信号的一部分分配给每条光线。光线对应于无限时间CW信号的一部分，该部分开始于发射开始时间并且长度等于发射持续时间。换言之，CW信号是无限时间信号，即激光连续地发射，每条光线对应于一定时间间隔内的CW信号的一部段。光线幅度的时间相关性等于CW信号的相应部段的时间相关性。
根据方法的优选实施例，生成输出信号包括针对光线集中的每条光线计算通过将CW信号与光线的计算出的信号贡献混合而获得的混合信号贡献。进一步地，通过将光线集中所有光线的混合信号贡献相加来生成输出信号。因此，在将所有信号贡献与CW信号混合后生成输出信号。
根据装置的优选实施例，光线集包括多条光线，处理单元适于以随机或统一的方式确定光线的发射起始时间。
根据装置的优选实施例，处理单元适于通过将CW信号的一部分分配给每条光线来生成光线集。CW信号的分配给光线的一部分开始于发射开始时间并延续发射持续时间。
根据装置的优选实施例，处理单元适于通过针对光线集中的每条光线计算通过将CW信号与光线的计算出的信号贡献混合而获得的混合信号贡献来生成输出信号，并且通过将光线集中所有光线的混合信号贡献相加来生成输出信号。
附图说明
计算装置以及系统的一些或所有部件可以包括硬件和软件部件。硬件部件可以包括微控制器、中央处理单元(CPU)、图形处理单元(GPU)、存储器和存储装置中的至少一种。
将参考附图中描绘的示例性实施例更详细地说明本发明。
包含附图用于提供对本发明的进一步理解且并入且构成本说明书的一部分。附图示出了本发明的实施例并与说明书一起用于说明本发明的原理。
通过参考以下详细描述将更好地理解本发明的其他实施例和本发明的许多预期优点。应当理解，将方法步骤编号以便于参考，但是除非另有明确或隐含的描述，否则该编号不一定意味着按该顺序执行步骤。具体而言，步骤也可以按照不同于它们的编号所指示的顺序来执行。一些步骤可以同时或以交迭的方式执行。
图1示意性地示出了根据本发明实施例的用于模拟CW lidar传感器的传感器数据的装置的框图。
图2示意性地示出了操作期间的lidar传感器的图示；
图3示意性地示出了具有分配给光线的部段的CW信号；
图4示意性地示出了从发射器向接收器传播光线；
图5示意性地示出了从接收器向发射器传播光线；
图6示意性地示出了基于将CW信号与光线的信号贡献混合而产生输出信号；
图7示出了根据本发明实施例的用于CW lidar传感器的传感器数据的方法的流程图；
图8示意性地示出了根据本发明实施例的计算机程序产品的框图；和
图9示意性地示出了根据本发明的实施例的非暂时性计算机可读存储介质的框图。
具体实施方式
图1示意性地示出了用于模拟CW lidar传感器的传感器数据的装置1。在更详细地说明装置1的不同部件之前，参考图2对CW lidar传感器的工作原理进行描述。
如图2所示，lidar传感器的激光生成连续波CW信号101。控制激光使得幅度根据时间变化。在这种情况下，lidar系统用于调幅连续波AMCW方法。然而，尽管在下文中描绘的信号具有变化的幅度，但是lidar系统也可以适用于调频连续波FMCW方法。在这种情况下，CW信号的频率根据时间变化。lidar系统的发射器Tx发射CW信号。该CW信号被场景102中的一个或多个物体反射并且至少部分地被lidar系统的接收器Rx接收。通过lidar系统的混合单元103将接收到的信号与原始CW信号混合。以这种方式获得的信号作为输出信号104发射。
在下文中对用于模拟CW lidar传感器的传感器数据的装置1的部件进行更详细的描述。
装置1包括接口4，其适于从外部装置接收数据并将数据发送到外部装置。因此，接口4可被布置为输入单元和输出单元并且可以是任何一种能够将信息传达至另一系统(例如WLAN、蓝牙、ZigBee、Profibus、ETHERNET等)或用户(显示器、打印机、扬声器等)的端口或链接或接口。
装置1还包括适于处理从接口4接收的数据的处理单元2。处理单元2可以是中央处理单元CPU或图形处理单元GPU，如微控制器μC、集成电路IC、专用集成电路ASIC、特殊应用标准产品ASSP，数字信号处理器DSP、现场可编程门阵列FPGA等。
处理单元2包括与接口4通信的光线集生成单元21、与光线集生成单元21通信的光线传播单元22、与光线传播单元22通信的信号贡献计算单元23以及与信号贡献计算单元23通信的输出信号生成单元24。模块21至24可以是处理单元2的一部分或者可以在处理单元2上或在与处理单元2通信连接的单独单元上实现。
装置1还包括与输出信号生成单元24通信的存储单元3。存储单元3可以是或包括数据存储器，如磁存储设备或存储器，例如磁芯存储器、磁带、磁卡、硬盘驱动器、软盘或可移动存储设备。存储单元3还可以是或包括光学存储设备或存储器，例如全息照相存储器、光带、激光视盘、Phasewriter、Phasewriter Dual PD、光盘CD、数字化视频光盘DVD、高清DVD HD DVD、蓝光光盘BD或超密度光盘UDO。存储单元3还可以是磁光存储设备或存储器，例如迷你光盘或磁光盘MO-Disk、易失性半导体或固态存储器，例如随机存取存储器RAM、动态RAM DRAM或静态RAM SRAM；非易失性半导体/固态存储器，例如只读存储器ROM、可编程ROMPROM、可擦除PROM EPROM、电EPROM EEPROM、闪存-EEPROM，例如U盘、铁电RAM FRAM、磁阻RAMMRAM或相变RAM；或数据载体/介质。
装置1可以经由接口4接收某些输入参数，例如时间相关CW信号的波形或描述CW信号的其他参数，例如与CW信号的相位或幅度有关的参数。输入参数还可以包括由光线生成单元21生成的光线的最大数量或最小数量。而且，装置1可以接收关于模拟场景的信息，比如模拟场景中物体的数量、方向和特性。模拟场景对应于要模拟的lidar传感器的人工环境。lidar传感器发出的激光束被布置在模拟场景中的物体反射。
光线生成单元21适于生成包括至少一条、优选多条光线的光线集。在下文中，对生成多条光线的情况进行更详细的描述。然而，本发明原则上也适用于仅包括一条光线的光线集。
光线生成单元21针对光线集中的每条光线定义发射开始时间、发射持续时间、模拟场景中的空间原点和发射方向。可以从相同的空间原点省略所有光线。然而，不同光线的空间原点也可以不同。可以随机选择发射开始时间。因此，光线生成单元21可以包括(伪)随机数生成器。然而，光线生成单元21也可以根据确定性或预定分布来选择发射开始时间。
光线生成单元21为每条光线分配CW信号的某个部段，该部段开始于发射开始时间并延续发射持续时间。
接着，光线传播单元22在模拟场景传播光线集中的所有光线。光线传播单元22适于使用本领域已知的光线追踪方法。
光线追踪是计算机图形学中一种用于在虚拟场景中进行几何采样的方法。在计算机图形学中，光线追踪用于通过从相机拍摄光线并在传感器像素上瞬时累积光线来创建图像，即不考虑有限的传播时间。相反，根据本发明的光线追踪也考虑了有限的传播时间。
通过计算当前光线(即原始发射光线或已经散射的光线)与模拟场景中最近物体的交点，在模拟场景中对每条光线进行传播，并使用合适的物理模型根据物体的特性计算反射参数。通过确定每条光线的(可能的多次)反射，光线传播单元22计算模拟场景中每条光线的光路。光线的反射可能有在探测位置仅接收部分能量的附加效果。因此，光线传播单元22除了计算光路本身之外，还计算沿光路到达探测位置的光线的通量。
信号贡献计算单元23适于计算光线集中每条传播光线在模拟场景中探测位置处的信号贡献。信号贡献计算单元23计算从光线的空间原点到探测位置的光线的光路总长度。信号贡献计算单元23还基于作为换算系数的光速c，由对应光路总长度计算每条光线的传播时间，即传播时间或飞行时间。
信号贡献计算单元23基于分配给光线的CW信号的部分来计算每条光线的信号贡献，其中根据计算出的对应于光线的光路的传播时间，相对于原始CW信号对分配给光线的CW信号的部分进行相移。相移导致信号贡献和CW信号之间出现信号偏移。此外，可以根据计算出的通量来调整光线的信号贡献的幅度。
输出信号生成单元24通过将原始CW信号与计算出的光线的信号贡献混合，针对光线集中的每条光线计算混合信号贡献。输出信号生成单元24进一步通过将光线集中所有光线的混合信号贡献相加来生成输出信号。
输出信号生成单元24可以适于经由接口4向用户提供输出信号。另外或可选地，输出信号可以存储在存储单元3中。
将参考图3至图6对用于模拟CW lidar传感器的传感器数据的装置1的一些方面进行更详细的描述。
图3示出了示例性CW信号5，其用于生成光线集和用于通过将CW信号5与计算出的光线信号贡献混合来生成输出信号。如图3所示，对CW信号的幅度进行调制，即CW信号5是调幅连续波AMCW信号。根据不同的实施例，也可以对CW信号5进行调频，即调频连续波FMCW信号。
对于光线集中的示例性光线，设置发射开始时间t_0，例如相对于0纳秒的预定初始时间测量的46纳秒。此外，设置发射持续时间T，从发射开始时间t_0开始并且终止于发射结束时间t_1。将发射开始时间t_0与发射结束时间t_1之间的CW信号5的对应部分分配给光线。
如图4所示，光线可以从模拟场景6中模拟lidar传感器的发射器Tx开始在模拟场景中传播，发射器Tx位于模拟场景6中光线的空间原点。光线由第一物体61反射并进一步由第二物体62反射，然后到达对应于模拟lidar传感器的接收器Rx的探测位置。
如图5所示，传播光线也可以反向进行。即，可以从位于模拟lidar传感器的接收器Rx位置处的光线的空间原点追踪光线，首先由第二物体62反射，然后由第一物体61反射，直到光线到达模拟场景中模拟lidar传感器的发射器Tx位置对应的探测位置。
参考图6，光线集生成单元21将CW信号5的某个部分分配给光线，如上面参考图3更详细地描述的。在光线传播单元22传播光线通过模拟场景之后，信号贡献计算单元23计算光线的对应信号贡献71。输出信号生成单元24包括混合单元72，用于混合光线的信号贡献71和CW信号的一部分51，该信号部分始于在探测位置接收到光线的时间t_2。时间t_2对应于光线的发射开始时间和光线的传播时间之和。CW信号5的部分51通常与分配给光线的CW信号部分(始于发射开始时间)的不同之处在于对应于光线的传播时间的相移。此外，光线的真实信号贡献也可能受到光线沿光路的通量的影响。
通过将CW信号与计算出的光线信号贡献混合，输出信号生成单元24生成混合信号贡献73。对于光线集中的多条光线，输出信号生成单元24通过将光线集中所有光线的混合信号贡献73相加来生成输出信号。
图7示出了一种模拟CW lidar传感器的传感器数据的方法的流程图。
在第一方法步骤S1中，生成包括至少一条光线、优选多条光线的光线集。光线集中的光线数量可以是固定的。光线集中的光线数量也可以随机选择。光线集中的光线数量可以选择为大于预定的最小数量。例如，光线集可以包括至少2条、优选地至少100条、更优选地至少500条并且最优选地至少1000条光线。光线集中的光线数量也可以选择为小于预定的最大数量。例如，光线集可以包括至多100000条、优选至多10000条、更优选至多5000条并且最优选至多2000条光线。
对于每条光线，相对于某个预定时间原点，例如0纳秒，确定发射开始时间。此外，确定光线的发射持续时间。所有光线的发射持续时间可以相等，但不同光线的发射持续时间也可以不同。光线的发射持续时间也可以遵循预定分布。进一步地，确定模拟场景中的每条光线的空间原点。对于光线集中的所有光线，空间原点(对应于光线的发射点)可以相同。然而，不同的光线也可以包括不同的空间原点。进一步地，确定每条光线的发射方向。
发射方向和/或发射开始时间和/或发射持续时间可以随机选择，也可以统一选择或采样。优选地，以产生准确输出信号的方式对发射开始时间进行采样。尤其是，选择发射开始时间使得分配给光线的CW信号的部分覆盖CW信号的至少一整个相位。可以使用采样理论，例如重要性采样来调整各条光线的贡献。
在方法步骤S2中，在模拟场景中传播光线集中的每条光线。模拟场景包括多个具有预定几何形状和物理特性的物体。模拟场景中物体的位置和/或物理特性可以是固定的，也可以随时间变化。传播光线是使用本领域已知的光线追踪算法来进行的。对于每条光线，基于光线的空间原点、光线的发射方向以及光线在模拟场景中的物体上的反射来确定光线的光路。此外，计算沿光路到达探测位置的光线的通量。
在方法步骤S3中，针对光线集中的每条光线计算传播光线在场景中探测位置处的信号贡献。基于计算出的通量和基于光线的传播时间计算信号贡献。可以根据光线的光路长度计算光线的传播时间。光线的最终传播时间导致信号贡献与CW信号之间出现信号偏移。基于光线的发射开始时间和沿光线的光路的传播时间确定信号偏移。
在方法步骤S4中，每个计算出的信号贡献与CW信号混合以计算对应光线的混合信号贡献。基于信号偏移将CW信号与计算出的信号贡献混合。将所有光线的混合信号贡献相加以生成输出信号。
在方法步骤S5中，将输出信号存储在存储器存储单元3中。附加地或可选地，将输出信号输出到输出单元4，例如显示器或打印机。
图8示意性地示出了包括可执行程序代码PC的计算机程序产品P的框图。可执行程序代码PC被配置为在被执行时(例如由计算装置)执行根据本发明的模拟CW lidar传感器的传感器数据的方法。
图9示意性地示出了包括可执行程序代码MC的非暂时性计算机可读存储介质M的框图，可执行程序代码MC被配置为在被执行时(例如由计算装置)执行模拟CW lidar传感器的传感器数据的方法。
应当理解，关于用于模拟CW lidar传感器的传感器数据的装置的实施例，本文和前述描述的所有有利选项、修改的变化可以同等地应用于用于模拟CW lidar传感器的传感器数据的方法的实施例，反之亦然。
在前述详细描述中，为了简化本公开的目的，在一个或多个实例中将各种特征组合在一起。应理解，以上描述旨在说明性而非限制性。它旨在涵盖替代方案、修改方案和等同方案。在阅读上述说明书后，许多其他实例对于本领域技术人员来说将是显而易见的。
尽管本文已经示出和描述了特定实施例，但是本领域普通技术人员将理解还存在多种替代和/或等同实现方式。应当理解，一个或多个示例性实施例仅是实例，并不旨在以任何方式限制范围、适用性或配置。相反，前述发明内容和具体实施方式将为本领域技术人员提供用于实现至少一个示例性实施例的便利指南，应当理解，可以在不脱离所附权利要求书及其法律等同物所阐述的范围的情况下对示例性实施例中描述的元件的功能和布置进行各种改变。通常，本申请旨在涵盖本文讨论的特定实施例的任何修改或变化。
前述说明书中使用的特定命名法用于提供对本发明的透彻理解。然而，根据本文提供的说明书，对于本领域技术人员来说显而易见的是，为了实践本发明不需要具体细节。因此，本发明的特定实施例的前述描述是出于说明和描述的目的而呈现的。它们并非穷举或将本发明限制为所公开的精确形式；显然，鉴于上述教导，许多修改和变化是可能的。选择和描述实施例是为了最恰当地说明本发明的原理及其真实应用，从而使本领域的其他技术人员能够最恰当地利用本发明和具有适合预期的特定用途的各种修改的各种实施例。在整个说明书中，术语“包括(including)”和“其中(in which)”分别用作相应术语“包括(comprising)”和“其中(wherein)”的简单英语等同物。此外，“第一”、“第二”、“第三”等术语仅作为标签使用，并非对其对象的重要性强加数字要求或建立某种重要性等级。在本说明书和权利要求书的上下文中，连词“或”应理解为包括(“和/或”)而不是唯一的(“或者……或”)。

Claims (14)

1.一种模拟连续波CW光探测和测距lidar传感器的传感器数据的方法，包括以下步骤：
基于CW信号(5)生成包括至少一条光线的光线集，所述光线集中的每条光线都具有发射开始时间和发射持续时间；
对于所述光线集中的每条光线，在包括至少一个物体的模拟场景(6)中对所述光线进行传播；
针对所述光线集中的每条光线，计算传播光线在所述模拟场景(6)中探测位置处的信号贡献(71)；
基于将所述CW信号与所述光线集中光线的计算出的信号贡献混合，生成输出信号，其中，所述CW信号与所述光线集中的光线的计算出的信号贡献(71)通常不同在于对应于所述光线的传播时间的相移；以及
进行所述输出信号(104)的存储和输出中的至少一个。
2.根据权利要求1所述的方法，其中，所述光线集中的每条光线都包括所述模拟场景(6)中的空间原点和所述模拟场景(6)中的发射方向。
3.根据权利要求2所述的方法，其中，传播所述光线包括：
基于所述光线的空间原点、所述光线的发射方向和所述光线在所述模拟场景(6)中的物体(61、62)上的反射来确定所述光线的光路；以及
计算沿所述光路到达所述探测位置的所述光线的通量；并且
其中基于计算出的通量来计算所述信号贡献(71)，
其中所述光线的通量与由所述光线沿着所述光路反射引起的在所述探测位置处接收的能量的部分相关。
4.根据权利要求2或3所述的方法，其中，对于所述光线集中的每条光线，基于所述信号贡献(71)与所述CW信号(5)之间的信号偏移将所述CW信号(5)与所述光线的计算出的信号贡献(71)混合，其中基于所述光线的发射开始时间和所述光线的光路来确定所述信号偏移。
5.根据权利要求2或3所述的方法，其中，随机地选择或统一地选择所述发射方向。
6.根据权利要求1至3中任一项所述的方法，其中，所述光线集包括多条光线，其中随机地选择或统一地选择所述光线的所述发射开始时间。
7.根据权利要求1至3中任一项所述的方法，其中，所述CW信号(5)是调频连续波FMCW信号或调幅连续波AMCW信号。
8.根据权利要求1至3中任一项所述的方法，其中，生成光线集包括将所述CW信号的一部分分配给每条光线，其中所述CW信号的所述一部分始于所述发射开始时间并且长度等于所述发射持续时间。
9.根据权利要求1至3中任一项所述的方法，其中，生成所述输出信号(104)包括以下步骤：
对于所述光线集中的每条光线，通过将所述CW信号(5)与所述光线的计算出的信号贡献(71)混合来计算混合信号贡献(73)；以及
通过将所述光线集中所有光线的所述混合信号贡献(73)相加来生成所述输出信号(104)。
10.一种用于模拟连续波CW光探测和测距lidar传感器的传感器数据的装置(1)，包括：
处理单元(2)，其适于：
-基于CW信号(5)生成包括至少一条光线的光线集，所述光线集中的每条光线都具有发射开始时间和发射持续时间；
-对于所述光线集中的每条光线，在包括至少一个物体的模拟场景(6)中对所述光线进行传播；
-针对所述光线集中的每条光线，计算传播光线在所述模拟场景(6)中探测位置处的信号贡献(71)；
-基于将所述CW信号(5)与所述光线集中光线的计算出的信号贡献(71)混合，生成输出信号(104)，其中，所述CW信号(5)与所述光线集中的光线的计算出的信号贡献(71)通常不同在于对应于所述光线的传播时间的相移；以及
适于存储所述输出信号(104)的存储单元(3)和适于输出所述输出信号(104)的输出单元(4)中的至少一个。
11.根据权利要求10所述的装置，其中，所述光线集包括多条光线，其中所述处理单元(2)适于以随机或统一的方式来确定所述光线的发射开始时间。
12.根据权利要求10或11所述的装置，其中，所述处理单元(2)适于通过将所述CW信号的一部分分配给每条光线来生成所述光线集，其中所述CW信号的所述一部分始于所述发射开始时间并且长度等于所述发射持续时间。
13.根据权利要求10或11所述的装置，其中，所述处理单元(2)适于通过以下步骤生成所述输出信号(104)：
对于所述光线集中的每条光线，通过将所述CW信号(5)与所述光线的计算出的信号贡献(71)混合来计算混合信号贡献(73)；以及
通过将所述光线集中所有光线的所述混合信号贡献(73)相加来生成所述输出信号(104)。
14.一种包括可执行程序代码(MC)的非暂时性计算机可读存储介质(M)，所述可执行程序代码被配置为在由计算装置(1)执行时执行根据权利要求1至9中任一项所述的方法。
CN201980098264.6A 2019-07-09 2019-07-09 一种模拟连续波lidar传感器的方法 Active CN114072697B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2019/068388 WO2021004626A1 (en) 2019-07-09 2019-07-09 A method to simulate continuous wave lidar sensors

Publications (2)

Publication Number Publication Date
CN114072697A CN114072697A (zh) 2022-02-18
CN114072697B true CN114072697B (zh) 2023-03-24

Family

ID=67480160

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980098264.6A Active CN114072697B (zh) 2019-07-09 2019-07-09 一种模拟连续波lidar传感器的方法

Country Status (6)

Country Link
US (1) US11460562B2 (zh)
EP (1) EP3969936B1 (zh)
JP (1) JP7293488B2 (zh)
KR (1) KR102464236B1 (zh)
CN (1) CN114072697B (zh)
WO (1) WO2021004626A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230080540A1 (en) * 2021-09-16 2023-03-16 Aurora Operations, Inc. Lidar simulation system
CN114898037B (zh) * 2022-04-24 2023-03-10 哈尔滨方聚科技发展有限公司 激光三维动态场景建模系统及建模方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101604022A (zh) * 2008-06-13 2009-12-16 西门子公司 在连续波雷达系统中测距和传输数据的方法
CN102901970A (zh) * 2012-11-08 2013-01-30 天津理工大学 一种单调制连续波激光测距装置与测距方法
CN104199019A (zh) * 2014-08-01 2014-12-10 中国科学院上海微系统与信息技术研究所 一种连续波探测器测试系统
CN105807630A (zh) * 2015-01-21 2016-07-27 福特全球技术公司 虚拟传感器试验台
EP3260875A1 (en) * 2016-06-24 2017-12-27 TASS International Software and Services B.V. An automotive testing method, system and computer program product

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4342514A (en) * 1980-08-11 1982-08-03 The United States Of America As Represented By The Secretary Of The Army Means and method for testing laser range finders
GB2112241B (en) 1981-12-23 1985-04-03 Detras Training Aids Ltd Pulsed laser range finder training or test device
JP2795263B2 (ja) * 1996-05-31 1998-09-10 日本電気株式会社 測距シミュレータ
US5825464A (en) * 1997-01-03 1998-10-20 Lockheed Corp Calibration system and method for lidar systems
ATE291762T1 (de) * 1998-09-29 2005-04-15 Univ London Verfahren zur energieübertragungsmodellierung
JP2006039704A (ja) 2004-07-23 2006-02-09 Matsushita Electric Ind Co Ltd プレイリスト生成装置
DE102007008806C5 (de) * 2006-10-27 2010-05-06 Sick Ag Optoelektronische Überwachung mit Test durch Dynamisierung
WO2009046717A2 (en) * 2007-10-09 2009-04-16 Danmarks Tekniske Universitet Coherent lidar system based on a semiconductor laser and amplifier
DE102007057372A1 (de) * 2007-11-27 2009-05-28 Bayerische Motoren Werke Aktiengesellschaft Testsystem für Lidarsensoren
US8228367B2 (en) * 2009-04-09 2012-07-24 Telefonaktiebolaget Lm Ericsson (Publ) Three-dimensional reconstruction of scenes and objects
CN104049259B (zh) 2014-07-01 2017-06-16 南京大学 基于虚拟仪器的激光雷达三维成像系统
US20160005209A1 (en) * 2014-07-07 2016-01-07 Karlsruher Institut für Technologie Method and system for light transport path manipulation
CN104268323A (zh) * 2014-09-17 2015-01-07 西安电子科技大学 基于光线跟踪的激光雷达场景仿真方法
KR20170138648A (ko) 2016-06-08 2017-12-18 엘지전자 주식회사 차량용 라이다 장치 및 차량
JP2018084545A (ja) * 2016-11-25 2018-05-31 三菱重工業株式会社 模擬目標発生装置および模擬目標発生方法
DE102017110794B4 (de) * 2017-05-18 2024-03-21 Konrad Gmbh Simulationsvorrichtung für ein rotierendes LiDAR-Lichtmesssystem und Verfahren
JP6809996B2 (ja) * 2017-07-21 2021-01-06 三菱重工業株式会社 模擬目標発生装置および模擬目標発生方法
JP7039948B2 (ja) 2017-11-17 2022-03-23 株式会社デンソー 測距センサ
US11567209B2 (en) * 2018-01-23 2023-01-31 Innoviz Technologies Ltd. Distributed LIDAR systems and methods thereof
EP3775983A1 (en) * 2018-04-09 2021-02-17 Innoviz Technologies Ltd. Lidar systems and methods with internal light calibration
US11543528B2 (en) * 2018-11-30 2023-01-03 University Of South Florida System and method of dynamic light source control
CN109917402B (zh) * 2019-04-11 2020-08-11 西南交通大学 一种车载激光雷达仿真模块仿真精度测定方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101604022A (zh) * 2008-06-13 2009-12-16 西门子公司 在连续波雷达系统中测距和传输数据的方法
CN102901970A (zh) * 2012-11-08 2013-01-30 天津理工大学 一种单调制连续波激光测距装置与测距方法
CN104199019A (zh) * 2014-08-01 2014-12-10 中国科学院上海微系统与信息技术研究所 一种连续波探测器测试系统
CN105807630A (zh) * 2015-01-21 2016-07-27 福特全球技术公司 虚拟传感器试验台
EP3260875A1 (en) * 2016-06-24 2017-12-27 TASS International Software and Services B.V. An automotive testing method, system and computer program product

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
simulating full-waveform lidar;Angela M. Kim 等;《Laser Radar Technology and Applications XV》;20100901;第7684卷;768411-1-748411-10 *

Also Published As

Publication number Publication date
KR20220021041A (ko) 2022-02-21
CN114072697A (zh) 2022-02-18
US20220128673A1 (en) 2022-04-28
KR102464236B1 (ko) 2022-11-07
JP7293488B2 (ja) 2023-06-19
EP3969936B1 (en) 2023-06-07
EP3969936C0 (en) 2023-06-07
JP2022531627A (ja) 2022-07-07
EP3969936A1 (en) 2022-03-23
WO2021004626A1 (en) 2021-01-14
US11460562B2 (en) 2022-10-04

Similar Documents

Publication Publication Date Title
Hanke et al. Generation and validation of virtual point cloud data for automated driving systems
CN105378506B (zh) 移动成像平台校准
Schlager et al. State-of-the-art sensor models for virtual testing of advanced driver assistance systems/autonomous driving functions
EP2402784A2 (en) Apparatus and method for generating depth image
CN110458778A (zh) 一种深度图像去噪方法、装置及存储介质
CN112433934B (zh) 仿真测试方法、装置、计算机设备和存储介质
CN103400003B (zh) 基于gpu编程实现激光雷达场景仿真方法
US11208110B2 (en) Method for modeling a motor vehicle sensor in a virtual test environment
US10133834B2 (en) Method for simulating wave propagation; simulator, computer program and recording medium for implementing the method
CN114072697B (zh) 一种模拟连续波lidar传感器的方法
CN112652045A (zh) 一种面向自动驾驶虚实融合测试的点云融合方法及其应用
WO2020133230A1 (zh) 雷达仿真方法、装置及系统
Rosenberger et al. Benchmarking and functional decomposition of automotive lidar sensor models
Rossmann et al. A real-time optical sensor simulation framework for development and testing of industrial and mobile robot applications
US11941888B2 (en) Method and device for generating training data for a recognition model for recognizing objects in sensor data of a sensor, in particular, of a vehicle, method for training and method for activating
Rosenberger et al. Analysis of real world sensor behavior for rising fidelity of physically based lidar sensor models
CN115731350A (zh) 车辆的虚拟激光雷达的仿真方法及其装置
Jasiński A generic validation scheme for real-time capable automotive radar sensor models integrated into an autonomous driving simulator
CN114690160A (zh) 用于仿真lidar传感器的回波信号的系统和方法
JPWO2021004626A5 (zh)
EP3637138A1 (en) Simulation of light detection and ranging beams
US20230057655A1 (en) Three-dimensional ranging method and device
Feilhauer et al. A real-time capable multi-sensor model to validate ADAS in a virtual environment
Ngo A methodology for validation of a radar simulation for virtual testing of autonomous driving
EP3637139A1 (en) Simulation of light detection and ranging beams

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20221125

Address after: Belgian cooler

Applicant after: SIEMENS INDUSTRY SOFTWARE N.V.

Address before: Eindhoven

Applicant before: Siemens Industrial Software Netherlands Ltd.

GR01 Patent grant
GR01 Patent grant