CN117724065A - 训练车辆雷达系统神经网络的高分辨率雷达模拟 - Google Patents

训练车辆雷达系统神经网络的高分辨率雷达模拟 Download PDF

Info

Publication number
CN117724065A
CN117724065A CN202310511335.9A CN202310511335A CN117724065A CN 117724065 A CN117724065 A CN 117724065A CN 202310511335 A CN202310511335 A CN 202310511335A CN 117724065 A CN117724065 A CN 117724065A
Authority
CN
China
Prior art keywords
neural network
radar system
high resolution
obtaining
hypotheses
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310511335.9A
Other languages
English (en)
Inventor
O·比亚勒
Y·海特曼
D·利瓦伊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN117724065A publication Critical patent/CN117724065A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/588—Velocity or trajectory determination systems; Sense-of-movement determination systems deriving the velocity value from the range measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/505—Systems of measurement based on relative movement of target using Doppler effect for determining closest range to a target or corresponding time, e.g. miss-distance indicator
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/583—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves and based upon the Doppler effect resulting from movement of targets
    • G01S13/584—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves and based upon the Doppler effect resulting from movement of targets adapted for simultaneous range and velocity measurements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G01S7/4052—Means for monitoring or calibrating by simulation of echoes
    • G01S7/4082—Means for monitoring or calibrating by simulation of echoes using externally generated reference signals, e.g. via remote reflector or transponder
    • G01S7/4095—Means for monitoring or calibrating by simulation of echoes using externally generated reference signals, e.g. via remote reflector or transponder the external reference signals being modulated, e.g. rotating a dihedral reflector or modulating a transponder for simulation of a Doppler echo
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Electromagnetism (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

一种系统包括用于发射发射信号的雷达系统的发射器，以及基于一个或多个物体对一个或多个发射信号的反射来接收接收信号的雷达系统的接收器。该系统还包括处理器，该处理器利用通过模拟比雷达系统更高分辨率的雷达系统获得的参考数据来训练神经网络，以获得训练的神经网络。经训练的神经网络基于获得和处理车辆中接收的信号来增强对一个或多个物体的检测。基于对一个或多个物体的检测来控制车辆的一个或多个操作。

Description

训练车辆雷达系统神经网络的高分辨率雷达模拟
技术领域
本主题公开涉及用于训练车辆雷达系统神经网络的高分辨率雷达模拟。
背景技术
车辆(例如，汽车、摩托车、建筑设备、农场设备、自动化工厂设备)包括多个传感器，以提供用于控制其操作方面的信息。一些传感器(例如惯性测量单元、转向角传感器)提供关于车辆的信息，而其他传感器(例如雷达系统、激光雷达系统、相机)提供关于车辆周围物体的信息。雷达系统指示其视野内物体的距离、角度和相对速度。因此，期望提供高分辨率雷达模拟来训练车辆雷达系统神经网络。
发明内容
在一个示例性实施例中，一种系统包括发射发射信号的雷达系统的发射器，以及基于一个或多个物体对一个或多个发射信号的反射来接收接收信号的雷达系统的接收器。该系统还包括处理器，该处理器利用通过模拟比雷达系统更高分辨率的雷达系统获得的参考数据来训练神经网络，以获得训练的神经网络。经训练的神经网络基于获得和处理车辆中接收的信号来增强对一个或多个物体的检测。基于对一个或多个物体的检测来控制车辆的一个或多个操作。
除了这里描述的一个或多个特征之外，处理器模拟更高分辨率的雷达系统，以包括比雷达系统跨越更宽孔径的更多天线或更紧密间隔的天线。
除了这里描述的一个或多个特征之外，处理器模拟更高分辨率的雷达系统，以包括比雷达系统更多的发射信号或更紧密间隔的发射信号。
除了这里描述的一个或多个特征之外，处理器模拟更高分辨率的雷达系统，以包括比雷达系统更高的带宽。
除了这里描述的一个或多个特征之外，处理器通过使用反射点上的雷达系统的参数获得模拟的接收信号，以及通过使用高分辨率雷达系统的高分辨率参数获得模拟的高分辨率接收信号，来训练神经网络。
除了这里描述的一个或多个特征之外，处理器通过从激光雷达系统获得反射点来训练神经网络。
除了这里描述的一个或多个特征之外，处理器通过生成反射点来训练神经网络。
除了这里描述的一个或多个特征之外，处理器通过以下来训练神经网络：通过处理模拟的接收信号，以获得指示第一组距离(range)、第一组多普勒频率假设和第一组角度假设处的强度的数据立方体，以及通过处理模拟的高分辨率接收信号来获得指示第二组距离、第二组多普勒频率假设和第二组角度假设处的强度的高分辨率数据立方体，第二组距离、第二组多普勒频率假设和第二组角度假设的数量大于第一组距离、第一组多普勒频率假设和第一组角度假设的数量。
除了这里描述的一个或多个特征之外，处理器通过向神经网络提供数据立方体并获得神经网络输出来训练神经网络。
除了这里描述的一个或多个特征之外，处理器通过获得指示神经网络输出和高分辨率数据立方体之间的匹配的度量并基于该度量更新神经网络的参数来训练神经网络。
在另一示例性实施例中，非暂时性计算机可读介质存储指令，当由一个或多个处理器处理时，该指令使得一个或多个处理器实现一种方法。该方法包括获得由雷达系统的发射器发射的一个或多个发射信号被一个或多个物体反射并由雷达系统的接收器接收该接收信号而产生的接收信号。该方法还包括利用通过模拟比雷达系统更高分辨率的雷达系统获得的参考数据训练神经网络，以获得训练的神经网络。经训练的神经网络基于获得和处理车辆中接收的信号来增强对一个或多个物体的检测。基于对一个或多个物体的检测来控制车辆的一个或多个操作。
除了这里描述的一个或多个特征之外，该方法还包括模拟更高分辨率的雷达系统，以包括比雷达系统跨越更宽孔径的更多天线或更紧密间隔的天线。
除了这里描述的一个或多个特征之外，该方法还包括模拟更高分辨率的雷达系统，以包括比雷达系统更多的发射信号或更紧密间隔的发射信号。
除了这里描述的一个或多个特征之外，该方法还包括模拟更高分辨率的雷达系统，以包括比雷达系统更高的带宽。
除了这里描述的一个或多个特征之外，该方法还包括通过使用反射点上的雷达系统的参数获得模拟的接收信号，以及通过使用高分辨率雷达系统的高分辨率参数获得模拟的高分辨率接收信号，来训练神经网络。
除了这里描述的一个或多个特征之外，该方法还包括通过从激光雷达系统获得反射点来训练神经网络。
除了这里描述的一个或多个特征之外，该方法还包括通过生成反射点来训练神经网络。
除了这里描述的一个或多个特征之外，该方法还包括通过处理模拟的接收信号以获得指示第一组距离、第一组多普勒频率假设和第一组角度假设处的强度的数据立方体，以及通过处理模拟的高分辨率接收信号以获得指示第二组距离、第二组多普勒频率假设和第二组角度假设处的强度的高分辨率数据立方体，来训练神经网络，第二组距离、第二组多普勒频率假设和第二组角度假设的数量大于第一组距离、第一组多普勒频率假设和第一组角度假设的数量。
除了这里描述的一个或多个特征之外，该方法还包括通过向神经网络提供数据立方体并获得神经网络输出来训练神经网络。
除了这里描述的一个或多个特征之外，该方法还包括通过获得指示神经网络输出和高分辨率数据立方体之间的匹配的度量来训练神经网络，并基于该度量更新神经网络的参数。
当结合附图时，从以下详细描述中，本公开的上述特征和优点以及其他特征和优点将变得显而易见。
附图说明
其他特征、优点和细节仅通过示例的方式出现在以下详细描述中，详细描述参考附图，在附图中:
图1是根据一个或多个实施例的实现使用高分辨率雷达模拟训练的雷达系统神经网络的车辆的框图；
图2是根据一个或多个实施例的使用高分辨率雷达模拟来训练雷达系统神经网络的方法的流程图；和
图3示出了根据一个或多个实施例的由雷达系统神经网络实现的过程。
具体实施方式
以下描述本质上仅是示例性的，并不旨在限制本公开、其应用或用途。应当理解，在所有附图中，相应的附图标记表示相同或相应的部件和特征。
这里详述的系统和方法的实施例涉及训练车辆雷达系统神经网络的高分辨率雷达模拟。如前所述，雷达系统可以提供车辆周围一个或多个物体的距离和角度，以及多普勒频率，多普勒频率指示物体相对于车辆的相对速度。通常，雷达系统发射能量，其中一些能量被其视野中的一个或多个物体反射。对反射能量进行处理，并进行物体检测，以获得距离、角度和多普勒频率。
对处理后的反射使用神经网络可以增强物体检测，并提高估计距离、角度和多普勒频率的精度。也可以提高物体之间的区分度。训练神经网络通常包括迭代地比较参考结果和神经网络结果，以调整神经网络内的参数(例如，权重)。训练雷达系统神经网络的现有方法包括使用来自其他传感器(例如，激光雷达系统、相机)的处理数据作为参考结果。然而，用其他类型的传感器获得的数据与雷达系统获得的反射强度不同。此外，其他类型传感器的分辨率通常远高于雷达系统的分辨率，导致这些传感器的参考结果与基于雷达数据的神经网络输出之间存在较大差距。这些因素对利用来自其他类型传感器的参考结果正确训练雷达系统神经网络提出了挑战。
根据一个或多个实施例，对高分辨率雷达系统进行模拟，以获得用于训练雷达系统神经网络的参考结果，该高分辨率雷达系统具有比汽车雷达系统可行的更高分辨率的硬件参数。也就是说，更高分辨率的雷达系统不是物理制造的，而是使用更高分辨率的硬件参数(例如，天线的数量和布置、带宽、载波频率、脉冲重复间隔)来生成合成参考结果。使用来自模拟的高分辨率雷达系统的参考结果来训练雷达系统神经网络导致比常规训练更好的性能。因为参考结果是模拟的，所以参考结果的分辨率(即，模拟的高分辨率雷达系统的分辨率)可以在训练期间逐渐增加，以改善训练结果。连续或在线学习，指的是雷达系统神经网络的连续训练，即使在它在车辆中部署和运行之后，也可以减轻雷达天线随时间的变化或退化。
根据示例性实施例，图1是实现雷达系统神经网络的车辆100的框图。图1所示的示例性车辆100是汽车101。根据一个或多个实施例，可以使用高分辨率雷达模拟来训练雷达系统神经网络。训练可以离线(即，在雷达系统110在车辆100中运行之前在车辆100外部)或在线(即，在雷达系统110在车辆100中部署和运行之后)执行。
示例性车辆100被示为包括具有一个或多个发射器115和一个或多个接收器125的雷达系统110。发射器115发射发射信号116，接收器125接收作为接收信号126的反射，该接收信号126是由一个或多个物体160反射来自发射信号116的一些射频能量而产生的。图1所示的示例性物体160包括静态物体160(即，标志)和移动物体160(即，另一辆车)。雷达系统110还包括控制器120，其可以实现雷达系统神经网络，并且还可以实现雷达系统神经网络的训练。
车辆100可以包括额外的传感器，例如相机140和激光雷达系统150。在替代实施例中，雷达系统110、相机140和激光雷达系统150的数量和位置不旨在限制传感器的数量和位置。车辆100还包括车辆控制器130，车辆控制器130可以基于来自传感器(例如雷达系统110)的信息来控制车辆100的一个或多个操作。雷达系统110的控制器120可以与车辆控制器130通信，并且直接或经由车辆控制器130还与外部控制器170通信。
雷达系统110的控制器120、车辆控制器130和外部控制器170可以包括处理电路，该处理电路可以包括专用集成电路(ASIC)、电子电路、执行一个或多个软件或固件程序的(共享的、专用的或成组的)处理器和存储器、组合逻辑电路和/或提供所述功能的其他合适的部件。处理电路的存储器可以包括存储指令的非暂时性计算机可读介质，当由处理电路的一个或多个处理器处理时，所述指令实现这里讨论的过程。例如，外部控制器170可以实现雷达系统神经网络的离线训练，并将雷达系统神经网络的参数传送给雷达系统110的控制器120以供使用。雷达系统110的控制器120可以实施在线训练。
图2是根据一个或多个实施例的使用高分辨率雷达模拟来训练雷达系统神经网络的方法200的流程图。这些过程可以由外部控制器170作为雷达系统神经网络的离线训练来实现。附加地或替代地，这些过程可以由雷达系统110的控制器120或车辆控制器130来执行。在训练期间，模拟高分辨率雷达和雷达系统110。也就是说，可以模拟雷达系统110和假设的高分辨率雷达系统的雷达参数215、225，以便训练雷达系统神经网络，如详细所述的。
在框205处，根据替代方法，生成反射可以来自真实或模拟场景。根据示例性实施例，激光雷达系统150可以从真实世界场景获得反射点。根据替代实施例，可以模拟场景，并且可以从模拟的场景中获得反射点。在任一情况下，所产生的反射点模拟了由一个或多个物体160反射发射信号116所产生的能量。
在框210处，在雷达系统110处获取接收信号基于雷达系统110的雷达参数215。结果模拟了雷达系统110的接收器125在真实世界操作条件下的输出。在框220处，在高分辨率雷达模拟中获得接收信号S是基于高分辨率雷达参数225。如前所述，高分辨率雷达模拟的分辨率可以在训练过程中增加。也就是说，高分辨率雷达参数225可以在训练过程中改变(例如，改进)。
在训练过程中模拟的雷达系统110的雷达参数215的值可以是物理雷达系统110的值。示例性的雷达参数包括天线的数量及其位置。在这点上，高分辨率雷达参数225可以通过模拟跨越更宽孔径的更多数量的天线来促进更高的角度分辨率。另一个示例性雷达参数包括带宽。带宽指的是在发射信号116中发射的频率范围。例如，每个发射信号116可以是线性调频连续波(即啁啾)，其频率从77到78千兆赫(GHz)线性增加。在这种情况下，带宽为1GHz。高分辨率雷达参数225可以包括更高的带宽，甚至是物理上不可行的带宽。这样，高分辨率雷达参数225可以促进更高的距离分辨率。另一个示例性雷达参数包括脉冲重复间隔(PRI),其定义了发射信号116中的一个啁啾与下一个啁啾的接近程度。高分辨率雷达参数225可以包括更小的PRI(或更高的载波频率或更高数量的啁啾),并且可以有助于更高的多普勒分辨率。
在框230处，对接收的信号S执行处理(即，在框210处获得的雷达系统110的接收器125的模拟输出)涉及对使用高分辨率雷达参数225获得(在框220处)的接收信号S执行的相同处理。然而，基于雷达系统110的雷达参数215和高分辨率雷达模拟的高分辨率雷达参数225之间的差异以及分别在框230和240处输入的接收信号和S之间的结果差异，框230和240的处理结果是不同的。
在框230和240处执行的信号处理是已知的，并在此简要描述。对于每个发射信号116，在一组距离间隔上执行快速傅立叶变换(FFT),该距离间隔被称为距离仓(range bin)R。例如，距离仓R可以以规则的间隔跨越雷达系统110的检测范围。这导致距离图，该距离图指示每个距离仓R和每个发射信号116的能量水平。与框230处的处理相比，在框240处距离仓的数量R可以更高(对于模拟的高分辨率雷达)，使得基于模拟的高分辨率雷达的距离分辨率更高。
然后在多普勒频率上执行第二FFT，称为多普勒假设D，其与产生接收信号126的一个或多个物体160的潜在相对速度有关。与框230处的处理相比，根据框240处的处理，模拟的高分辨率雷达系统可以具有更多数量的多普勒假设D(即，更高的多普勒分辨率)。对于每个距离仓R，组合该组发射信号116上的距离图结果。该第二FFT产生距离多普勒图，该距离多普勒图指示距离仓R和多普勒假设D上的能量水平。
在称为波束形成的过程中，然后考虑一组方位假设az。每个方位假设az是相对于雷达系统110的方位角，一个或多个反射点可能源自该方位角。与框230相比，框240处的方位假设的数量az可以更高，使得模拟的高分辨率雷达系统的角度分辨率更高。这产生了一个数据立方体(来自框230)和数据立方体C(来自框240),其指示一组距离仓R、多普勒假设D和方位假设az中的每一个的能量水平，如所指示的。为了清楚起见，数据立方体/>(来自框230)的大小和数据立方体C(来自框240)的大小可以基于距离仓R、多普勒假设D和方位假设az的不同数量而不同。通常，基于信号处理结果的雷达系统110中的物体检测指的是识别例如与超过阈值的能量水平相关联的距离仓R、多普勒假设D和方位假设az。
根据一个或多个实施例，在检测之前，在框250处，通过使用雷达系统神经网络增强数据立方体(来自框230)。结果是增强的数据图/>参考图3进一步讨论雷达系统神经网络的操作(在框250处)。在框260处，计算损失是指对照从模拟的高分辨率雷达系统获得的结果(在框240处)检查雷达系统神经网络结果(来自框250),并获得反映两个结果之间匹配的度量。具体地，将由增强数据图/>指示的每个距离仓R和方位假设az处的能量水平(即，强度)与由数据立方体C指示的每个距离仓R和方位假设az处的参考能量水平(即，强度)进行比较。
在框260处，可基于为增强数据图和数据立方体C的每个距离仓R和方位假设az确定强度水平指示检测的概率和强度水平不指示检测的概率来确定损失。为了使处理更有效，对于数据立方体C的每个距离仓R和方位假设az对，可以仅使用与最高强度相关联的多普勒假设D。然后，对于每个距离仓R和方位假设az对，p0指示强度水平指示物体160的检测的概率，p1指示强度水平不指示物体160的检测的概率。
此外，如参考图3所述，在增强数据图中，作为框250处处理的一部分，多普勒单元被压缩。然后，对于距离仓R和方位假设az的每个组合，/>指示强度水平指示物体160的检测的概率，并且/>指示强度水平不指示物体160的检测的概率。交叉熵损失可以计算如下：
根据等式1计算的低损失值表示由雷达系统神经网络输出的增强数据图和由高分辨率雷达模拟输出的数据立方体C之间的匹配比高的损失值更高。
如图2所示，损失值被提供给框250，用于更新雷达系统神经网络参数。例如，基于所计算的损失(在框260处)低于阈值，可以认为雷达系统神经网络准备好部署(在框255处)在车辆100中。部署后，雷达系统神经网络的参数可以使用图2所示的过程来更新或连续训练。
图3示出了根据示例性实施例的由雷达系统神经网络在框250处实现的过程。同样如在图2中所示的，数据立方体(来自框230)被输入到雷达系统神经网络。雷达系统神经网络可以是深度神经网络(即，包括多于三层，包括输入和输出层)。在框310处，可以在多普勒维度上减少数据立方体/>这可以用几种不同的方法来完成。例如，对于与每个距离仓R和方位假设az相关联的多个(例如，256个)多普勒假设D，可以仅保留具有最高强度的多普勒假设D和围绕具有最高强度的多普勒假设D的指定数量的多普勒假设D。或者，可以仅保留与最高强度相关联的特定数量(例如，3个)的多普勒假设D。与数据立方体/>相比，结果是减少了多普勒假设D的数量。
在框320处，该过程包括实现二维卷积神经网络(CNN)。根据雷达系统神经网络的处理架构的替代实施例，可以使用自关注架构，其涉及从输入数据立方体计算关键查询和值特征(来自框230)。可以基于关键字和查询特征之间的相关性对值特征的组合进行加权。在框330处，增加方位分辨率包括例如实现转置卷积运算。在框340处，检测和多普勒回归产生增强的数据图/>检测指的是反射强度水平超过检测阈值的概率p0，并且指示检测到物体160。这种检测是根据距离仓R和方位假设az的组合。多普勒回归指的是在与检测相关联的距离仓R和方位假设az的每个组合处估计的多普勒频率。该估计的多普勒频率可以是与检测相关联的距离仓R和方位假设az的每个组合中的最大多普勒。估计的多普勒频率可以替代地用另一个训练的神经网络获得。如图3所示，增强的数据图/>表示距离仓R和方位假设az的每个组合的雷达反射强度。该结果还可以包括每个距离仓R和方位假设az组合的估计多普勒频率。
虽然已经参考示例性实施例描述了上述公开，但是本领域技术人员将理解，在不脱离其范围的情况下，可以进行各种改变并且等同物可以替代其元件。此外，在不脱离本公开的实质范围的情况下，可以进行许多修改以使特定的情况或材料适应本公开的教导。因此，意图是本公开不限于所公开的特定实施例，而是将包括落入其范围内的所有实施例。
术语“一(a)”和“一个(an)”并不表示数量的限制，而是表示存在至少一个所引用的项目。术语“或”是指“和/或”,除非上下文另有明确说明。在整个说明书中对“一方面”的引用意味着结合该方面描述的特定元素(例如，特征、结构、步骤或特性)被包括在这里描述的至少一个方面中，并且可以存在或不存在于其他方面中。此外，应当理解，所描述的元素可以在各个方面以任何合适的方式进行组合。除非另有定义，否则这里使用的技术和科学术语具有与本公开所属领域的技术人员通常理解的相同的含义。

Claims (10)

1.一种系统，包括:
雷达系统的发射器，该发射器被配置为发射发射信号；
雷达系统的接收器，该接收器被配置为基于一个或多个发射信号被一个或多个物体反射来接收接收信号；和
处理器，该处理器被配置为利用通过模拟比雷达系统更高分辨率的雷达系统获得的参考数据来训练神经网络，以获得训练的神经网络，其中训练的神经网络基于获得和处理车辆中接收的信号来增强一个或多个物体的检测，并且基于一个或多个物体的检测来控制车辆的一个或多个操作。
2.根据权利要求1所述的系统，其中所述处理器被配置为模拟所述更高分辨率的雷达系统，以包括比所述雷达系统跨越更宽孔径的更多天线或更紧密间隔的天线。
3.根据权利要求1所述的系统，其中所述处理器被配置为模拟所述更高分辨率的雷达系统，以包括比所述雷达系统更多的发射信号或更紧密间隔的发射信号。
4.根据权利要求1所述的系统，其中所述处理器被配置为模拟所述更高分辨率的雷达系统，以包括比所述雷达系统更高的带宽。
5.根据权利要求1所述的系统，其中所述处理器被配置为通过使用反射点上的雷达系统的参数获得模拟的接收信号以及通过使用高分辨率雷达系统的高分辨率参数获得模拟的高分辨率接收信号，来训练所述神经网络，并且处理器被配置成通过从激光雷达系统获得反射点来训练神经网络，或者处理器被配置成通过生成反射点来训练神经网络，或者处理器被配置成通过以下来训练神经网络：通过处理模拟的接收信号以获得指示第一组距离、第一组多普勒频率假设和第一组角度假设处的强度的数据立方体，以及通过处理模拟的高分辨率接收信号以获得指示第二组距离、第二组多普勒频率假设和第二组角度假设处的强度的高分辨率数据立方体，第二组距离、第二组多普勒频率假设和第二组角度假设的数量大于第一组距离、第一组多普勒频率假设和第一组角度假设的数量，处理器被配置为通过向神经网络提供数据立方体并获得神经网络输出来训练神经网络，并且处理器被配置为通过获得指示神经网络输出和高分辨率数据立方体之间的匹配的度量并基于该度量更新神经网络的参数来训练神经网络。
6.一种被配置成存储指令的非暂时性计算机可读介质，所述指令当被一个或多个处理器处理时，使得所述一个或多个处理器实现一方法，该方法包括:
获得由一个或多个物体反射由雷达系统的发射器发射的一个或多个发射信号以及由雷达系统的接收器接收该接收信号而产生的接收信号；和
利用通过模拟比雷达系统更高分辨率的雷达系统获得的参考数据来训练神经网络，以获得训练的神经网络，其中训练的神经网络基于获得和处理车辆中接收的信号来增强一个或多个物体的检测，并且基于一个或多个物体的检测来控制车辆的一个或多个操作。
7.根据权利要求6所述的非暂时性计算机可读介质，其中所述方法还包括模拟更高分辨率的雷达系统，以包括比所述雷达系统跨越更宽孔径的更多天线或更紧密间隔的天线。
8.根据权利要求6所述的非暂时性计算机可读介质，其中所述方法还包括模拟更高分辨率的雷达系统，以包括比雷达系统更多的发射信号或更紧密间隔的发射信号。
9.根据权利要求6所述的非暂时性计算机可读介质，其中所述方法还包括模拟较高分辨率雷达系统，以包括比所述雷达系统更高的带宽。
10.根据权利要求6所述的非暂时性计算机可读介质，其中该方法还包括通过使用反射点上的雷达系统的参数获得模拟的接收信号以及通过使用高分辨率雷达系统的高分辨率参数获得模拟的高分辨率接收信号，来训练神经网络，并且该方法还包括通过从激光雷达系统获得反射点来训练神经网络，或者该方法还包括通过生成反射点来训练神经网络，或者所述方法还包括通过以下来训练神经网络：通过处理模拟的接收信号以获得指示第一组距离、第一组多普勒频率假设和第一组角度假设处的强度的数据立方体，以及通过处理模拟的高分辨率接收信号以获得指示第二组距离、第二组多普勒频率假设和第二组角度假设处的强度的高分辨率数据立方体，第二组距离、第二组多普勒频率假设和第二组角度假设的数量大于第一组距离、第一组多普勒频率假设和第一组角度假设的数量，通过向神经网络提供数据立方体并获得神经网络输出，以及通过获得指示神经网络输出和高分辨率数据立方体之间的匹配的度量并基于该度量更新神经网络的参数。
CN202310511335.9A 2022-09-19 2023-05-08 训练车辆雷达系统神经网络的高分辨率雷达模拟 Pending CN117724065A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/947,298 US20240094377A1 (en) 2022-09-19 2022-09-19 High resolution radar simulation to train vehicle radar system neural network
US17/947,298 2022-09-19

Publications (1)

Publication Number Publication Date
CN117724065A true CN117724065A (zh) 2024-03-19

Family

ID=90062568

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310511335.9A Pending CN117724065A (zh) 2022-09-19 2023-05-08 训练车辆雷达系统神经网络的高分辨率雷达模拟

Country Status (3)

Country Link
US (1) US20240094377A1 (zh)
CN (1) CN117724065A (zh)
DE (1) DE102023110315A1 (zh)

Also Published As

Publication number Publication date
DE102023110315A1 (de) 2024-03-21
US20240094377A1 (en) 2024-03-21

Similar Documents

Publication Publication Date Title
US11899099B2 (en) Early fusion of camera and radar frames
CN111521989B (zh) 用于雷达系统中的超分辨率的深度学习
Brodeski et al. Deep radar detector
CN110662982B (zh) 具有方位和高度之高角分辨率的紧凑型雷达切换/mimo阵列天线
CN112639519B (zh) 雷达系统中的两阶段信号处理的装置和方法
CN108089167B (zh) 一种合成孔径雷达跨脉冲干扰信号检测方法
CN111521998B (zh) 用于去混叠和配置雷达系统的深度学习
KR20200144862A (ko) 레이더의 해상도 향상 방법 및 장치
KR102275960B1 (ko) 딥러닝 기반의 레이다 표적 탐지 시스템 및 그 방법
CN110806580B (zh) 移动平台上的雷达系统中的振动减轻
CN110618426A (zh) 雷达系统中的天线间距和目标角度估计的联合优化
US10830883B2 (en) Method for filtering the ground and/or sea clutter echoes intercepted by an airborne radar, and radar implementing such a method
US20230139751A1 (en) Clustering in automotive imaging
CN105044721A (zh) 机载正前视扫描雷达角超分辨方法
US11428782B2 (en) Neural network-based object surface estimation in radar system
CN114791592B (zh) 一种合成孔径雷达对抗模拟方法、装置、电子设备及介质
CN117724065A (zh) 训练车辆雷达系统神经网络的高分辨率雷达模拟
US20230041793A1 (en) Method and processor circuit for operating a radar system comprising multiple antennas, radar system and motor vehicle
EP4177634A1 (en) Machine-learning-based super resolution of radar data
CN110832341A (zh) 车速计算方法、系统、设备及存储介质
Kim et al. Deep-learning based multi-object detection and tracking using range-angle map in automotive radar systems
KR20210114199A (ko) 딥러닝 기반 레이다 목표물 식별 방법 및 장치
CN112835006A (zh) 一种基于帧间积累的跟踪雷达海上小目标检测方法及系统
CN114859337A (zh) 数据处理方法、装置、电子设备、计算机存储介质
Stevens et al. Automated gain control through deep reinforcement learning for downstream radar object detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination