CN111521989B - 用于雷达系统中的超分辨率的深度学习 - Google Patents

用于雷达系统中的超分辨率的深度学习 Download PDF

Info

Publication number
CN111521989B
CN111521989B CN202010078264.4A CN202010078264A CN111521989B CN 111521989 B CN111521989 B CN 111521989B CN 202010078264 A CN202010078264 A CN 202010078264A CN 111521989 B CN111521989 B CN 111521989B
Authority
CN
China
Prior art keywords
resolution
time samples
data cube
radar system
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010078264.4A
Other languages
English (en)
Other versions
CN111521989A (zh
Inventor
Y.埃谢特
I.比利克
O.比亚勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN111521989A publication Critical patent/CN111521989A/zh
Application granted granted Critical
Publication of CN111521989B publication Critical patent/CN111521989B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/583—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves and based upon the Doppler effect resulting from movement of targets
    • G01S13/584—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves and based upon the Doppler effect resulting from movement of targets adapted for simultaneous range and velocity measurements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

一种使用用于雷达系统中的超分辨率的深度学习的系统及方法，包括从基于多个频率调制信号的第一分辨率雷达系统的发射的反射中获得第一分辨率时间样本。第一分辨率雷达系统包括多个发射元件和多个接收元件。该方法还包括：降低第一分辨率时间样本的分辨率以获得第二分辨率时间样本；在第一分辨率时间样本上实施匹配滤波器以获得第一分辨率数据立方体，并且在第二分辨率时间样本上实施匹配滤波器以获得第二分辨率数据立方体；用神经网络处理第二分辨率数据立方体，以获得第三分辨率数据立方体；以及基于通过将第一分辨率数据立方体与第三分辨率数据立方体进行比较而获得的第一损失来训练神经网络。将神经网络与第二分辨率雷达系统一起使用以检测一个或多个物体。

Description

用于雷达系统中的超分辨率的深度学习
技术领域
本主题公开涉及用于雷达系统中的超分辨率的深度学习。
背景技术
无线电检测和测范围(雷达)系统正在越来越多地用于检测或跟踪各种应用中的物体。例如，雷达系统可以部署在车辆(例如汽车、卡车、建筑设备、农用设备、自动化工厂设备)中，以检测物体并促进车辆操作的增强或自动化。给定雷达系统可以检测物体所具有的分辨率取决于雷达系统的设计选择，但是设计选择可能会受到诸如大小、成本和重量等因素的限制。因此，期望为雷达系统中的超分辨率提供深度学习。
发明内容
在一示例性实施例中，一种使用用于雷达系统中的超分辨率的深度学习的方法包括从基于多个频率调制信号的第一分辨率雷达系统的发射的反射中获得第一分辨率时间样本。第一分辨率雷达系统包括多个发射元件和多个接收元件。该方法还包括：降低第一分辨率时间样本的分辨率以获得第二分辨率时间样本；在第一分辨率时间样本上实施匹配滤波器以获得第一分辨率数据立方体，并且在第二分辨率时间样本上实施匹配滤波器以获得第二分辨率数据立方体；用神经网络处理第二分辨率数据立方体，以获得第三分辨率数据立方体；以及基于通过将第一分辨率数据立方体与第三分辨率数据立方体进行比较而获得的第一损失来训练神经网络。将神经网络与第二分辨率雷达系统一起使用以检测一个或多个物体。
除了本文描述的一个或多个特征之外，该方法还包括将第二分辨率雷达系统设置在车辆中。
除了本文描述的一个或多个特征之外，该方法还包括使用第一分辨率数据立方体并且使用第三分辨率数据立方体来执行一个或多个物体的检测。
除了本文描述的一个或多个特征之外，训练神经网络基于通过将使用第一分辨率数据立方体执行的检测结果与使用第三分辨率数据立方体执行的检测结果进行比较而获得的第二损失。
除了本文描述的一个或多个特征之外，该方法还包括反演(inverting)第三分辨率数据立方体以获得第三分辨率时间样本。
除了本文描述的一个或多个特征之外，训练神经网络基于通过将第一分辨率时间样本与第三分辨率时间样本进行比较而获得的第三损失。
除了本文描述的一个或多个特征之外，降低分辨率包括使用仅由多个频率调制信号的子集产生的所有第一分辨率时间样本。
除了本文描述的一个或多个特征之外，降低分辨率包括仅使用由所有多个频率调制信号产生的第一分辨率时间样本的子集。
除了本文描述的一个或多个特征之外，降低分辨率包括使用仅由第一分辨率雷达系统的多个发射元件和多个接收元件的子集产生的第一分辨率时间样本。
除了本文描述的一个或多个特征之外，降低分辨率包括以与由第二分辨率雷达系统提供的时间样本相同的分辨率获得第二分辨率时间样本。
在另一示例性实施例中，一种使用用于雷达系统中的超分辨率的深度学习的系统包括第一分辨率雷达系统，以从基于多个频率调制信号的发射的反射中获得第一分辨率时间样本。第一分辨率雷达系统包括多个发射元件和多个接收元件。该系统还包括处理器，以降低第一分辨率时间样本的分辨率以获得第二分辨率时间样本，在第一分辨率时间样本上实施匹配滤波器以获得第一分辨率数据立方体，并且在第二分辨率时间样本上实施匹配滤波器以获得第二分辨率数据立方体，用神经网络处理第二分辨率数据立方体，以获得第三分辨率数据立方体，并且基于通过将第一分辨率数据立方体与第三分辨率数据立方体进行比较而获得的第一损失来训练神经网络。第二分辨率雷达系统使用神经网络以检测一个或多个物体。
除了本文描述的一个或多个特征之外，第二分辨率雷达系统位于车辆中。
除了本文描述的一个或多个特征之外，处理器还配置为使用第一分辨率数据立方体并且使用第三分辨率数据立方体来执行一个或多个物体的检测。
除了本文描述的一个或多个特征之外，处理器还配置为基于通过将使用第一分辨率数据立方体执行的检测结果与使用第三分辨率数据立方体执行的检测结果进行比较而获得的第二损失来训练神经网络。
除了本文描述的一个或多个特征之外，处理器还配置为反演第三分辨率数据立方体以获得第三分辨率时间样本。
除了本文描述的一个或多个特征之外，处理器还配置为基于通过将第一分辨率时间样本与第三分辨率时间样本进行比较而获得的第三损失来训练神经网络。
除了本文描述的一个或多个特征之外，处理器还配置为通过使用仅由多个频率调制信号的子集产生的所有第一分辨率时间样本来降低第一分辨率时间样本的分辨率。
除了本文描述的一个或多个特征之外，处理器还配置为通过仅使用由所有多个频率调制信号产生的第一分辨率时间样本的子集来降低第一分辨率时间样本的分辨率。
除了本文描述的一个或多个特征之外，处理器还配置为通过使用仅由第一分辨率雷达系统的多个发射元件和多个接收元件的子集产生的第一分辨率时间样本来降低第一分辨率时间样本的分辨率。
除了本文描述的一个或多个特征之外，处理器还配置为降低分辨率，从而以与由第二分辨率雷达系统提供的时间样本相同的分辨率获得第二分辨率时间样本。
当结合附图考虑时，根据以下详细描述，本公开的以上特征和优点以及其他特征和优点将显而易见。
附图说明
在下面的详细描述中，仅通过示例的方式出现其他特征、优点和细节，该详细描述参考附图，其中：
图1是根据一个或多个实施例的可以执行用于雷达系统中的超分辨率的深度学习的车辆的框图；
图2是根据一个或多个实施例的用于执行用于雷达系统中的超分辨率的深度学习的神经网络的训练过程的示例性一般过程流程；
图3示出了根据示例性实施例的与用于雷达系统中的超分辨率的深度学习相关的训练过程流程；
图4示出了根据示例性实施例的与用于雷达系统中的超分辨率的深度学习相关的实现流程；
图5示出了根据一个或多个实施例的降低多普勒分辨率以实现用于雷达系统中的超分辨率的深度学习；
图6示出了根据一个或多个实施例的减小范围分辨率以实现用于雷达系统中的超分辨率的深度学习；以及
图7示出了根据一个或多个实施例的减小角分辨率以实现用于雷达系统中的超分辨率的深度学习。
具体实施方式
以下描述本质上仅是示例性的，并不旨在限制本公开、其应用或用途。应当理解，在所有附图中，相应的附图标记表示相同或相应的部件和特征。
如前所述，雷达系统可以用于各种应用。例如，雷达系统可以提供用于增强或自动化车辆操作的信息。例如，车辆雷达系统可以是具有多个发射元件和单个接收元件的单输入多输出(SIMO)系统或者是具有多个发射元件和多个接收元件的多输入多输出(MIMO)系统。另外，车辆雷达系统可以发射线性调频连续波(LFMCW)信号，例如也称为线性调频脉冲。雷达系统的设计选择会影响雷达分辨率的不同方面。例如，角分辨率(即检测到物体的方位角所具有的分辨率)受天线的数量和间隔的影响。范围分辨率(即检测到物体的范围所具有的分辨率)受带宽(即线性调频脉冲频率跨度)的影响。多普勒分辨率(即检测到物体的相对速度所具有的分辨率)受由接收器处理的帧的持续时间的影响。
本文详述的系统和方法的实施例涉及用于雷达系统中的超分辨率的深度学习。超分辨率是指从低分辨率图像或其他输入中获取高分辨率图像或其他输出的过程。深度学习是一种机器学习，其学习数据的分层表示并且可以是有监督的或无监督的。监督学习需要地面真相注释的努力。根据示例性实施例，使用自我监督的方法，其中注释在数据本身中被继承。根据实施例，尽管以给定雷达系统的给定分辨率获得数据，但是可以通过深度学习来增加该分辨率。因此，实施例包括学习方面和实施方面。此外，如所详述的，可以在由雷达系统获得的数据的处理的不同阶段实现学习和分辨率的提高。
根据示例性实施例，图1是可以执行用于雷达系统110中的超分辨率的深度学习的车辆100的框图。图1中示出的车辆100是汽车101。示例性车辆100包括雷达系统110，并且可以另外包括其他传感器140(例如激光雷达、相机)，以检测和跟踪诸如图1所示的行人155之类的物体150。车辆100还包括一个或多个车辆控制器130(例如电子控制单元(ECU))。基于来自雷达系统110的信息，车辆控制器130可以控制车辆100的操作的各个方面或者可以控制车辆100的自动化。所示的雷达系统110具有天线元件115阵列，这些天线元件由距离d隔开，以及雷达控制器120。
雷达控制器120可以包括产生线性调频脉冲的振荡器。基于雷达系统110的视场中的物体150对发射的线性调频脉冲的反射，雷达系统110所接收的反射信号可以由雷达控制器120、车辆控制器130或两者的组合来处理。雷达控制器120和车辆控制器130都可以包括处理电路和其他部件。处理电路可以包括专用集成电路(ASIC)、电子电路、处理器(共享的、专用的或组)和执行一个或多个软件或固件程序的存储器、组合逻辑电路和/或提供所述功能的其他合适部件。
如前所述，根据一个或多个实施例，车辆100使用深度学习来从雷达系统110获得超分辨率。具体地，雷达控制器120、车辆控制器130或两者的组合可用于本文详述的过程。根据深度学习过程，比实际部署在车辆100中的雷达系统110分辨率更高的雷达系统用于训练神经网络。一旦被训练，神经网络可以与较低分辨率的雷达系统110一起使用，以提供比雷达系统110否则可以提供的更高分辨率的输出(即超分辨率)。因此，单个高分辨率雷达系统可以用于训练要与对应车辆中的许多较低分辨率雷达系统110一起使用的神经网络。虽然较高和较低的分辨率用于以相对的术语描述系统，但是详细说明了影响分辨率的雷达系统110的特定特性。
分辨率可以涉及角分辨率(即可以确定相对于物体150的方位角或仰角所具有的精度)、范围分辨率(即可以确定至物体150的范围所具有的精度)或多普勒分辨率(即可以确定物体150的径向速度所具有的精度)。角分辨率受到天线元件115的数量的影响(例如，在保持半波长间隔的同时，更多个天线元件115提供更高的角分辨率)。范围分辨率受带宽影响，带宽是发射的线性调频脉冲的频率范围(例如，更高的带宽对应更高的范围分辨率)。多普勒分辨率受处理的帧的持续时间影响(例如，较长的帧导致较高的多普勒分辨率)。因此，仅通过雷达系统110获得更高的分辨率(角、范围或多普勒)存在硬件或处理成本。根据本文详细描述的实施例，然而，基于如详述的训练神经网络，具有建议给定水平的角分辨率、范围分辨率和多普勒分辨率的特征的雷达系统110可以用于获得具有更高分辨率(超分辨率)的物体150的检测。
图2是根据一个或多个实施例的用于神经网络的训练过程的示例性一般过程流程200，该神经网络用于执行用于雷达系统110中的超分辨率的深度学习。在框210处，过程流程200的过程包括向神经网络提供输入。基于在框220处的神经网络对输入的处理，在框230处获得输出。在框240处，获得针对在框230处所获得的输出的地面真相有助于在框250处将神经网络的输出与地面真相数据进行比较。根据在框250处的比较，该差异有助于在框260处向神经网络提供损失。在训练期间，在框220处将该损失反向传播并用于更新神经网络权重。
在参考图3进行详细描述的示例性实施例中，在框210处提供的输入是低分辨率数据，并且基于在框220处的神经网络处理而在框230处获得的输出是高分辨率数据。在框250处，将该高分辨率输出与在框240处从比雷达处110更高分辨率雷达系统获得的地面真相数据进行比较。根据一个或多个实施例，在雷达系统110与神经网络一起部署时，更高分辨率的雷达系统用于神经网络的训练，以便获得超分辨率。在雷达网络110的训练中，更高分辨率的雷达系统用于训练神经网络。在框260处，根据从神经网络获得的高分辨率数据与地面真相数据的比较所提供的损失用于改善神经网络处理。具体地，神经网络内的权重将基于损失进行修改。如图3的讨论所示，根据一个或多个实施例，可以在三个不同域中的一个或多个处获得用于训练神经网络的损失。
图3示出了根据示例性实施例的与用于雷达系统110中的超分辨率的深度学习相关的训练过程流程300。训练过程流程300提供了比图2所示的一般过程流程200更详细的图示。训练过程流程300指示在多个域中可用于训练神经网络的多个损失源。如前所述，图3中所示的过程可以由雷达控制器120、车辆控制器130或它们的组合来执行。在框310处，获得高分辨率雷达输出是指基于高分辨率雷达系统获得反射信号的高分辨率样本HS。如前所述，高分辨率雷达系统具有使得能够提供比雷达系统110更高的分辨率数据的硬件和处理方面。作为一示例，在框310处获得的高分辨率雷达输出可以在保持半波长间隔的同时基于比雷达系统110更多的天线元件115。在框315处，可以以多种方式来实现降低在框310处获得的高分辨率样本HS(也表示为C)的分辨率，如参考图5-7详细描述。框315处的处理结果是低分辨率样本LS。HS-LS对的生成是自我监督学习的形式。
在框320处，将匹配滤波器应用于从框315处的过程获得的低分辨率样本LS导致低分辨率四维数据立方体LC。在框335处，将匹配滤波器应用于在框310处获得的高分辨率样本HS导致高分辨率四维数据立方体HC(也表示为A)。高分辨率样本HS和低分辨率样本LS在时域中(即每个发射的线性调频脉冲的时间样本)。现有的匹配滤波器处理涉及二维快速傅里叶变换(FFT)和波束形成过程。具体地，范围FFT提供了范围线性调频脉冲图，该范围线性调频脉冲图指示了在每个接收通道和发射通道的每个发射的线性调频脉冲的范围值上的能量分布。多普勒FFT结合了范围FFT产生的范围线性调频脉冲图的每个范围区间的线性调频脉冲。所得的范围多普勒图表示每个检测到的物体的相对速度和范围。在范围多普勒图上执行的波束成形过程则为每个检测到的物体提供方位角和仰角。因此，在低分辨率四维数据立方体LC和高分辨率四维数据立方体HC中，这四个维度是范围、多普勒、方位角和仰角。
在框330处，通过神经网络对低分辨率四维数据立方体LC的处理导致超分辨率四维数据立方体SC(也表示为A')。如图2指示，神经网络的输出(框230)与地面真相(框240)的比较(在框250处)在框260处提供了损失，该损失可被提供为反馈以改善神经网络的深度学习。在训练过程流程300中，存在三组比较，且因此具有可在神经网络的深度学习中组合或单独考虑的三个损失源(在框330处)。第一比较可以是A和A'。即，可以将在框335处由匹配滤波器输出的高分辨率四维数据立方体HC与在框330处由神经网络输出的超分辨率四维数据立方体SC进行比较。
可以将差异loss_A作为反馈提供给神经网络。由于数据立方体的类似图像的结构，该损失loss_A可被视为数据立方体“图像”损失。例如，loss_A可以是重建损失(使用L1/L2范数的HC和SC之间的元素方式差异)、感知损失(通过使用诸如Visual Graphics Group(VGG)网络之类的预训练深度神经网络处理数据立方体而生成的HC和SC的“深度”特征之间的差异)以及对抗性损失(使用Generative-Adversarial网络架构，添加鉴别器网络，目的是确定数据立方体是由高分辨率雷达产生的(例如在框335处是HC)还是由神经网络产生的(即在框330处是SC))的组合。
第二比较可以是B和B'。在框345处，对在框335处由匹配滤波器输出的高分辨率四维数据立方体HC执行检测得到指示对每个检测到的物体的范围、多普勒、方位角和仰角的检测信息(即高分辨率检测信息HD，也表示为B)。类似地，在框340处，对在框330处由匹配滤波器输出的超分辨率四维数据立方体SC执行检测得到指示对每个检测到的物体的范围、多普勒、方位角和仰角的检测信息(即超分辨率检测信息SD，也表示为B')。通过将高分辨率检测信息HD(B)与超分辨率检测信息SD(B')进行比较而产生的差异loss_B可以作为反馈提供给神经网络。该损失loss_B可被视为输出点云损失，这些点是雷达检测(即四个维度(三个维度和多普勒)中的点)。例如，比较是基于成对点距离、最近邻点搜索或密度匹配的两个点云。该损失直接测量雷达最终输出的质量，并且可用于确保超分辨率过程产生真实且有意义的数据。
第三比较可以是C和C'。如图3所示，在框350处，可以提供由神经网络在框330处输出的超分辨率四维数据立方体SC以进行反演。在框350处，反演是指将超分辨率四维数据立方体SC转换回C'所示的时域样本。如前所述，高分辨率样本HS也被表示为C。可以将高分辨率样本HS(C)与在框350处通过反演得到的样本C'进行比较所得到的差异loss_C作为反馈提供给神经网络。该损失loss_C可被视为时间样本损失。根据示例性实施例，可以通过神经网络在深度学习中一起使用所有三个损失loss_A、loss_B和loss_C。例如，加权损失loss_w可以计算为：
XX[方程1]
在方程1中，α、β和γ是分别应用于损失_A、损失_B和损失_C的权重。使用超参数搜索过程优化权重。
图4示出了根据示例性实施例的与用于雷达系统110中的超分辨率的深度学习相关的实现流程400。图4所示的过程使用雷达系统110，并且参考图4讨论的反射的处理可以由雷达控制器120、车辆控制器130或它们的组合来执行。参考框330(图3)讨论的并且根据参考图3讨论的过程流程300训练的神经网络被实施(在框430处)，以增加利用雷达系统110获得的信息的分辨率。
在框410处，获得低分辨率雷达输出是指使用雷达系统110获得时间样本。该数据被称为低分辨率雷达输出，因为雷达系统110是比根据过程流程300(图3)的用于训练神经网络的系统分辨率更低的系统。在框420处，实施匹配滤波器指的是从时间样本(在框410处获得)获得四维数据立方体。在框430处，实施神经网络导致从由匹配滤波器(在框420处)输出的四维数据立方体获得超分辨率四维数据立方体。在框440处，对由神经网络(在框430处)输出的超分辨率四维数据立方体使用检测算法，而不是由匹配滤波器(在框420处)输出的四维数据立方体。因此，与采用基于使用神经网络的雷达系统110相比，可以以更高分辨率获得对任何检测到的物体的方位角、仰角、范围和多普勒值。
图5-7示出了在框315处(图3)用于降低分辨率的过程的示例性实施例。图5示出了根据一个或多个实施例的降低多普勒分辨率以实现用于雷达系统110中的超分辨率的深度学习。图5示出了沿轴510的线性调频脉冲和沿轴520的时间样本。如示例性线性调频脉冲子阵列530、540指示，在框315处(图3)降低分辨率可以包括使用所有时间样本，但仅来自线性调频脉冲的子集(例如仅使用子阵列530或540)，以获得低分辨率样本LS。
图6示出了根据一个或多个实施例的减小范围分辨率以实现用于雷达系统110中的超分辨率的深度学习。图6示出了沿轴510的线性调频脉冲和沿轴520的时间样本。如示例性样本子阵列610、620指示，在框315处(图3)降低分辨率可以包括仅使用来自每个线性调频脉冲的时间样本的子集(例如子阵列610或620)，以获得低分辨率样本LS。
图7示出了根据一个或多个实施例的减小角分辨率以实现用于雷达系统110中的超分辨率的深度学习。在框310处(图3)，用于获得高分辨率雷达输出的MIMO雷达系统的天线元件115的完整阵列在图7中表示为700。图7还指示了两个示例性MIMO子阵列710、720。在框315处(图3)降低分辨率可以包括仅使用天线元件115的子集(例如仅子阵列710或720)来获得低分辨率样本LS。在准确地确定在降低分辨率中(在框315处)使用哪些子集时，可以考虑实际的雷达系统110。即，例如，雷达系统110的天线元件115的实际数量可以用于选择用于在框315处(图3)降低分辨率的子集的尺寸。通过使用与雷达系统110的分辨率匹配的降低的分辨率来训练神经网络(在图3的框330处)，与训练不考虑实际雷达系统110的情况相比，实施神经网络(在图4的框430处)可能会提供更好的结果。可以迭代地执行参照图3讨论的训练过程。在不同的迭代中，可以使用参照图5-7讨论的过程之一从同一雷达帧(在框310处获得)中选择(在框315处)不同的子阵列。
尽管已经参考示例性实施例描述了以上公开，但是本领域技术人员将理解，在不脱离其范围的情况下，可以进行各种改变并且可以用等同物代替其元件。另外，在不脱离本公开的实质范围的情况下，可以做出许多修改以使特定情况或材料适应本公开的教导。因此，意图是本公开不限于所公开的特定实施例，而是将包括落入其范围内的所有实施例。

Claims (12)

1.一种使用用于雷达系统中的超分辨率的深度学习的方法，该方法包括：
从基于多个频率调制信号的第一分辨率雷达系统的发射的反射中获得第一分辨率时间样本，其中，该第一分辨率雷达系统包括多个发射元件和多个接收元件；
降低第一分辨率时间样本的分辨率以获得第二分辨率时间样本；
在第一分辨率时间样本上实施匹配滤波器以获得第一分辨率数据立方体，并且在第二分辨率时间样本上实施匹配滤波器以获得第二分辨率数据立方体；
用神经网络处理第二分辨率数据立方体，以获得第三分辨率数据立方体；
基于通过将第一分辨率数据立方体与第三分辨率数据立方体进行比较而获得的第一损失来训练神经网络；以及
将神经网络与第二分辨率雷达系统一起使用以检测一个或多个物体。
2.根据权利要求1所述的方法，还包括将所述第二分辨率雷达系统设置在车辆中。
3.根据权利要求1所述的方法，还包括使用所述第一分辨率数据立方体并且使用所述第三分辨率数据立方体来执行一个或多个物体的检测，其中，训练神经网络基于通过将使用第一分辨率数据立方体执行的检测结果与使用第三分辨率数据立方体执行的检测结果进行比较而获得的第二损失。
4.根据权利要求1所述的方法，还包括反演所述第三分辨率数据立方体以获得第三分辨率时间样本，其中，训练神经网络基于通过将第一分辨率时间样本与第三分辨率时间样本进行比较而获得的第三损失。
5.根据权利要求1所述的方法，其中，降低分辨率包括：仅使用由所有多个频率调制信号产生的第一分辨率时间样本的子集。
6.根据权利要求5所述的方法，其中，降低分辨率包括：使用仅由多个频率调制信号的子集产生的所有第一分辨率时间样本，使用仅由第一分辨率雷达系统的多个发射元件和多个接收元件的子集产生的第一分辨率时间样本，或者以与由第二分辨率雷达系统提供的时间样本相同的分辨率获得第二分辨率时间样本。
7.一种使用用于雷达系统中的超分辨率的深度学习的系统，该系统包括：
第一分辨率雷达系统，其配置为从基于多个频率调制信号的发射的反射中获得第一分辨率时间样本，其中，该第一分辨率雷达系统包括多个发射元件和多个接收元件；
处理器，其配置为降低第一分辨率时间样本的分辨率以获得第二分辨率时间样本，在第一分辨率时间样本上实施匹配滤波器以获得第一分辨率数据立方体，并且在第二分辨率时间样本上实施匹配滤波器以获得第二分辨率数据立方体，用神经网络处理第二分辨率数据立方体，以获得第三分辨率数据立方体，并且基于通过将第一分辨率数据立方体与第三分辨率数据立方体进行比较而获得的第一损失来训练神经网络；以及
第二分辨率雷达系统，其配置为使用神经网络以检测一个或多个物体。
8.根据权利要求7所述的系统，其中，所述第二分辨率雷达系统位于车辆中。
9.根据权利要求7所述的系统，其中，所述处理器还配置为使用所述第一分辨率数据立方体并且使用所述第三分辨率数据立方体来执行一个或多个物体的检测，并且基于通过将使用第一分辨率数据立方体执行的检测结果与使用第三分辨率数据立方体执行的检测结果进行比较而获得的第二损失来训练神经网络。
10.根据权利要求7所述的系统，其中，所述处理器还配置为反演所述第三分辨率数据立方体以获得第三分辨率时间样本，并且基于通过将第一分辨率时间样本与第三分辨率时间样本进行比较而获得的第三损失来训练神经网络。
11.根据权利要求7所述的系统，其中，所述处理器配置为通过仅使用由所有多个频率调制信号产生的第一分辨率时间样本的子集来降低第一分辨率时间样本的分辨率。
12.根据权利要求11所述的系统，其中，所述处理器配置为通过使用仅由多个频率调制信号的子集产生的所有第一分辨率时间样本来降低第一分辨率时间样本的分辨率，通过使用仅由第一分辨率雷达系统的多个发射元件和多个接收元件的子集产生的第一分辨率时间样本，或者以与由第二分辨率雷达系统提供的时间样本相同的分辨率获得第二分辨率时间样本。
CN202010078264.4A 2019-02-01 2020-02-03 用于雷达系统中的超分辨率的深度学习 Active CN111521989B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/264,807 2019-02-01
US16/264,807 US10976412B2 (en) 2019-02-01 2019-02-01 Deep learning for super resolution in a radar system

Publications (2)

Publication Number Publication Date
CN111521989A CN111521989A (zh) 2020-08-11
CN111521989B true CN111521989B (zh) 2023-12-29

Family

ID=71615470

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010078264.4A Active CN111521989B (zh) 2019-02-01 2020-02-03 用于雷达系统中的超分辨率的深度学习

Country Status (3)

Country Link
US (1) US10976412B2 (zh)
CN (1) CN111521989B (zh)
DE (1) DE102020100286A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11428782B2 (en) * 2019-05-02 2022-08-30 GM Global Technology Operations LLC Neural network-based object surface estimation in radar system
US11354914B1 (en) 2019-06-06 2022-06-07 Zoox, Inc. Optimizing data levels for processing, transmission, or storage based on location information
US11454976B1 (en) 2019-06-06 2022-09-27 Zoox, Inc. Optimizing data levels for processing,transmission, or storage
US11157768B1 (en) * 2019-06-06 2021-10-26 Zoox, Inc. Training a machine learning model for optimizing data levels for processing, transmission, or storage
KR102695526B1 (ko) * 2019-06-19 2024-08-14 삼성전자주식회사 레이더의 해상도 향상 방법 및 장치
KR20210061597A (ko) * 2019-11-20 2021-05-28 삼성전자주식회사 참조 데이터를 이용한 레이더 데이터 처리 장치 및 방법
KR20210065259A (ko) * 2019-11-26 2021-06-04 삼성전자주식회사 레이더 장치 및 그 동작 방법
US12066518B2 (en) * 2020-01-31 2024-08-20 Bdcm A2 Llc GAN-based data synthesis for semi-supervised learning of a radar sensor
DE102020213057A1 (de) * 2020-10-15 2022-04-21 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Überprüfen eines beim teilautomatisierten oder vollautomatisierten Steuern eines Fahrzeugs verwendeten KI-basierten Informationsverarbeitungssystems
CN112394354B (zh) * 2020-12-02 2021-07-30 中国人民解放军国防科技大学 基于元学习的不同极化方式hrrp融合目标小样本识别方法
US12066530B2 (en) * 2021-06-16 2024-08-20 The Boeing Company Radar-based method and apparatus for generating a model of an object relative to a vehicle
US20230140890A1 (en) * 2021-11-09 2023-05-11 Aptiv Technologies Limited Machine-Learning-Based Super Resolution of Radar Data
US20240012109A1 (en) * 2022-07-11 2024-01-11 Luca Rigazio Radar identification of persons via vital signs
CN116385318B (zh) * 2023-06-06 2023-10-10 湖南纵骏信息科技有限公司 一种基于云桌面的图像画质增强方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5602964A (en) * 1993-05-21 1997-02-11 Autometric, Incorporated Automata networks and methods for obtaining optimized dynamically reconfigurable computational architectures and controls
CN104537393A (zh) * 2015-01-04 2015-04-22 大连理工大学 一种基于多分辨率卷积神经网络的交通标志识别方法
US9129190B1 (en) * 2013-12-04 2015-09-08 Google Inc. Identifying objects in images
CN107451619A (zh) * 2017-08-11 2017-12-08 深圳市唯特视科技有限公司 一种基于感知生成对抗网络的小目标检测方法
CN108596836A (zh) * 2018-05-09 2018-09-28 大国创新智能科技(东莞)有限公司 基于顶层生成深度学习的数据转换方法、系统、介质和设备
CN108734660A (zh) * 2018-05-25 2018-11-02 上海通途半导体科技有限公司 一种基于深度学习的图像超分辨率重建方法及装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7982666B2 (en) * 2009-03-10 2011-07-19 Lockheed Martin Corporation System and method for increasing spectral resolution
US8508403B2 (en) * 2010-08-26 2013-08-13 Lawrence Livermore National Security, Llc Spatially adaptive migration tomography for multistatic GPR imaging
JP6548376B2 (ja) * 2014-10-06 2019-07-24 日本電産株式会社 レーダシステム、レーダ信号処理装置、車両走行制御装置および方法、ならびにコンピュータプログラム
JP6567832B2 (ja) * 2015-01-29 2019-08-28 日本電産株式会社 レーダシステム、レーダ信号処理装置、車両走行制御装置および方法、ならびにコンピュータプログラム
US10234543B2 (en) * 2016-04-20 2019-03-19 The United States Of America As Represented By The Secretary Of The Army Methods and systems for locating targets using non linear radar with a matched filter which uses exponential value of the transmit signal
US20180149730A1 (en) * 2016-11-26 2018-05-31 Wenhua Li Cognitive MIMO Radar with Multi-dimensional Hopping Spread Spectrum and Interference-Free Windows for Autonomous Vehicles
US10198655B2 (en) * 2017-01-24 2019-02-05 Ford Global Technologies, Llc Object detection using recurrent neural network and concatenated feature map
US20190187251A1 (en) * 2017-12-14 2019-06-20 Vathys, Inc. Systems and methods for improving radar output
US10928500B2 (en) * 2018-01-22 2021-02-23 Src, Inc. Distributed clutter motion suppression through multiple moving transmit phase centers
US10761187B2 (en) * 2018-04-11 2020-09-01 Infineon Technologies Ag Liquid detection using millimeter-wave radar sensor
US11002819B2 (en) * 2018-04-24 2021-05-11 The Boeing Company Angular resolution of targets using separate radar receivers
US10962637B2 (en) * 2018-06-25 2021-03-30 Texas Instruments Incorporated Radar data processing using neural network classifier and confidence metrics
US11614514B2 (en) * 2020-03-27 2023-03-28 Intel Corporation Apparatus, system and method of generating radar perception data

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5602964A (en) * 1993-05-21 1997-02-11 Autometric, Incorporated Automata networks and methods for obtaining optimized dynamically reconfigurable computational architectures and controls
US9129190B1 (en) * 2013-12-04 2015-09-08 Google Inc. Identifying objects in images
CN104537393A (zh) * 2015-01-04 2015-04-22 大连理工大学 一种基于多分辨率卷积神经网络的交通标志识别方法
CN107451619A (zh) * 2017-08-11 2017-12-08 深圳市唯特视科技有限公司 一种基于感知生成对抗网络的小目标检测方法
CN108596836A (zh) * 2018-05-09 2018-09-28 大国创新智能科技(东莞)有限公司 基于顶层生成深度学习的数据转换方法、系统、介质和设备
CN108734660A (zh) * 2018-05-25 2018-11-02 上海通途半导体科技有限公司 一种基于深度学习的图像超分辨率重建方法及装置

Also Published As

Publication number Publication date
CN111521989A (zh) 2020-08-11
DE102020100286A1 (de) 2020-08-06
US10976412B2 (en) 2021-04-13
US20200249314A1 (en) 2020-08-06

Similar Documents

Publication Publication Date Title
CN111521989B (zh) 用于雷达系统中的超分辨率的深度学习
CN111521998B (zh) 用于去混叠和配置雷达系统的深度学习
US11506776B2 (en) Method and device with improved radar resolution
US11719811B2 (en) Method and device to improve radar data using reference data
US11982732B2 (en) Method and apparatus for processing radar signal by correcting phase distortion
US10338216B2 (en) Object detection in multiple radars
US20180128916A1 (en) Object detection in multiple radars
US20210018593A1 (en) Methods and systems for processing radar reflections
US10345439B2 (en) Object detection in multiple radars
US11327170B2 (en) Azimuth and elevation radar imaging with single-dimension antenna arrays of radar system
US20190086512A1 (en) Method and apparatus for vehicular radar calibration
US20210018609A1 (en) Method and system for object detection
US10605892B2 (en) System and method for pseudo randomized chirp scheduling for interference avoidance
US20200041610A1 (en) Mitigating vibration in a radar system on a moving platform
CN109521426A (zh) 基于汽车雷达获取目标的角度的方法及其装置
KR20200071289A (ko) Fmcw 레이다의 신호를 활용하여 표적의 형상을 추정하는 장치 및 그 방법
CN114720969A (zh) 用于压缩雷达数据的方法和系统
CN116113843A (zh) 调频连续波雷达系统中的多普勒处理
US20180128912A1 (en) Object detection in multiple radars
CN112689773B (zh) 雷达信号处理方法和雷达信号处理装置
CN110832341B (zh) 车速计算方法、系统、设备及存储介质
Kang et al. Deep learning-based motion compensation for automotive SAR imaging
CN112912754B (zh) 具有收发器运动补偿的信号积分
Wang et al. System parameter optimisation for moving target detection and imaging in multi‐band synthetic aperture radar based on genetic algorithm
US20240094377A1 (en) High resolution radar simulation to train vehicle radar system neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant