CN114442088A - 基于雷达的目标组生成 - Google Patents

基于雷达的目标组生成 Download PDF

Info

Publication number
CN114442088A
CN114442088A CN202111274777.3A CN202111274777A CN114442088A CN 114442088 A CN114442088 A CN 114442088A CN 202111274777 A CN202111274777 A CN 202111274777A CN 114442088 A CN114442088 A CN 114442088A
Authority
CN
China
Prior art keywords
target
radar
targets
fully
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111274777.3A
Other languages
English (en)
Inventor
A·桑特拉
L·雷蒙
M·斯特凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Infineon Technologies AG
Original Assignee
Infineon Technologies AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Infineon Technologies AG filed Critical Infineon Technologies AG
Publication of CN114442088A publication Critical patent/CN114442088A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/28—Details of pulse systems
    • G01S7/285—Receivers
    • G01S7/295—Means for transforming co-ordinates or for evaluating data, e.g. using computers
    • G01S7/2955—Means for determining the position of the radar coordinate system for evaluating the position data of the target in another coordinate system
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G01S13/44—Monopulse radar, i.e. simultaneous lobing
    • G01S13/449—Combined with MTI or Doppler processing circuits
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/583—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves and based upon the Doppler effect resulting from movement of targets
    • G01S13/584—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves and based upon the Doppler effect resulting from movement of targets adapted for simultaneous range and velocity measurements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/35—Details of non-pulse systems
    • G01S7/352—Receivers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/35—Details of non-pulse systems
    • G01S7/352—Receivers
    • G01S7/356—Receivers involving particularities of FFT processing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/418—Theoretical aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/08—Systems for measuring distance only
    • G01S13/32—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S13/34—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal
    • G01S13/343—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal using sawtooth modulation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/027—Constructional details of housings, e.g. form, type, material or ruggedness
    • G01S7/028—Miniaturisation, e.g. surface mounted device [SMD] packaging or housings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Electromagnetism (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本公开的实施例涉及基于雷达的目标组生成。在一个实施例中，一种使用雷达生成目标组的方法包括：使用雷达生成多个雷达图像；利用卷积编码器接收多个雷达图像；以及基于卷积编码器的输出使用多个全连接层生成目标组，其中目标组的每个目标具有关联的第一坐标和第二坐标。

Description

基于雷达的目标组生成
技术领域
本公开总体上涉及一种电子系统和方法，并且在特定实施例中，涉及基于雷达的目标组生成。
背景技术
由于硅锗(SiGe)和精细几何互补金属氧化物半导体(CMOS)工艺等低成本半导体技术的快速发展，毫米波频率范围的应用在过去几年中获得了极大的关注。高速双极和金属氧化物半导体(MOS)晶体管的可用性导致对用于毫米波应用的集成电路的需求不断增长，例如24GHz、60GHz、77GHz和80GHz以及100GHz以上。例如，此类应用包括汽车雷达系统和多千兆位通信系统。
在一些雷达系统中，通过发送频率调制信号、接收频率调制信号的反射(也称为回波)以及基于频率调制信号的发送和接收之间的时间延迟和/或频率差，来确定雷达和目标之间的距离。因此，一些雷达系统包括用于发射射频(RF)信号的发射天线和用于接收反射的射频信号的接收天线，以及用于生成发射信号和接收射频信号的相关射频电路。在某些情况下，多个天线可以用于使用相控阵技术实现定向波束。具有多个芯片组的多输入多输出(MIMO)配置也可用于执行相干和非相干信号处理。
发明内容
根据一个实施例，一种使用雷达生成目标组的方法，该方法包括：使用雷达生成多个雷达图像；利用卷积编码器接收多个雷达图像；以及基于卷积编码器的输出使用多个全连接层生成目标组，其中目标组的每个目标具有关联的第一坐标和第二坐标。
根据一个实施例，一种训练用于生成目标组的神经网络的方法，该方法包括：将训练数据提供至神经网络；利用神经网络生成预测目标组，其中预测目标组中的每个预测目标具有关联的第一和第二坐标；使用有序最小分配将每个预测目标分配给参考目标的对应参考目标以生成有序参考目标组，其中参考目标组的每个参考目标包括第一和第二参考坐标；使用基于距离的损失函数来确定预测目标组和有序参考目标组之间的误差；和更新所述神经网络的参数以最小化确定的误差。
根据一个实施例，一种雷达系统包括：毫米波雷达传感器，包括：发射天线，被配置为发射雷达信号；第一和第二接收天线，被配置为接收反射的雷达信号；模数转换器ADC，被配置为在ADC的输出处基于反射的雷达信号生成原始数字数据；和处理系统，被配置为使用神经网络处理原始数字数据以生成目标组，其中目标组的每个目标具有关联的第一和第二坐标，并且其中神经网络包括：第一全连接层，耦合到ADC的输出，转置层，所述转置层具有的输入耦合到全连接层的输出，以及第二全连接层，所述第二全连接层具有的输入耦合到转置层的输出，其中第一和第二全连接层包括非均匀离散傅立叶变换系数。
附图说明
为了更完整地理解本发明及其优点，现结合附图参考以下描述，其中：
图1示出了根据本发明实施例的毫米波雷达系统的示意图；
图2示出了根据本发明实施例的由图1的发射器天线发射的一系列线性调频脉冲(chirp)；
图3示出了用于处理原始数字数据以执行目标检测的示例性方法的流程图；
图4示出了根据本发明实施例的用于处理雷达图像以执行目标检测的实施例处理链的框图；
图5A示出了根据本发明实施例的图4的卷积编码器和多个全连接层的可能实现的框图；
图5B示出了根据本发明实施例的图5A的卷积编码器的残差层的可能实现的框图；
图6示出了根据本发明实施例的用于处理雷达图像以执行目标检测的实施例处理链的框图；
图7示出了根据本发明实施例的用于训练用于执行目标检测的处理链参数的实施例方法的流程图；
图8示出了根据本发明实施例的用于执行图7的方法的误差确定步骤的实施例方法的流程图；
图9示出了根据本发明实施例的用于将预测位置与地面实况位置匹配的匈牙利分配和有序最小分配的示例；
图10示出了根据本发明的实施例，当使用匈牙利分配和有序最小分配执行图7的方法时，比较F1分数与历元数的波形；
图11-13示出了根据本发明实施例的用于处理雷达图像以执行目标检测的实施例处理链的框图；和
图14示出了根据本发明实施例的毫米波雷达系统的示意图。
除非另有说明，不同图中对应的数字和符号通常指相应的部件。附图是为了清楚地说明优选实施例的相关方面而绘制的，并不一定按比例绘制。
具体实施方式
下文将详细讨论所公开实施例的制作和使用。然而，应当理解，本发明提供了许多可适用的发明概念，这些概念可以在各种具体环境中实施。所讨论的具体实施例仅是制造和使用本发明的具体方式的说明，并不限制本发明的范围。
以下描述说明了各种具体细节，以根据描述提供对若干示例实施例的深入理解。实施例可以在没有一个或多个特定细节的情况下获得，或者通过其他方法、组件、材料等获得。在其他情况下，未详细示出或描述已知的结构、材料或操作，以免模糊实施例的不同方面。本说明书中对“实施例”的提及表明，至少一个实施例中包含关于该实施例描述的特定配置、结构或特征。因此，可能出现在本说明书不同点的短语如“在一个实施例中”不一定指同一实施例。此外，在一个或多个实施例中，特定的构造、结构或特征可以以任何适当的方式组合。
将在特定上下文中描述本发明的实施例，基于深度学习并在毫米波范围内操作的基于雷达的目标列表生成。本发明的实施例可以在其他频率范围内操作。
在本发明的实施例中，深度神经网络用于基于毫米波雷达传感器的数字输出来检测并提供多个目标的中心位置。在一些实施例中，由深度神经网络实现的非均匀离散傅立叶变换用于生成雷达图像，该雷达图像被深度神经网络用于目标检测。
在一些实施例中，通过使用监督学习来训练深度神经网络。在一些实施例中，在训练期间应用损失函数之前，使用分配算法，例如匈牙利分配或有序最小分配，将由深度神经网络生成的预测与与地面实况关联的标签匹配。在一些实施例中，训练期间使用的损失函数是基于距离的损失函数。
雷达、例如毫米波雷达可以用于检测目标，例如人、汽车等。例如，图1示出了根据本发明实施例的毫米波雷达系统100的示意图。毫米波雷达系统100包括毫米波雷达传感器102和处理系统104。
在正常操作期间，毫米波雷达传感器102作为调频连续波(FMCW)雷达传感器操作并且使用发射器(TX)天线114向场景120发射多个TX雷达信号106，例如线性调频脉冲。使用RF和模拟电路130生成雷达信号106。雷达信号106可以在20GHz到122GHz的范围内。
场景120中的物体可以包括一个或多个静态和移动物体，例如汽车、摩托车、自行车、卡车和其他车辆、闲置和移动的人和动物、家具、机器、机械结构、墙壁和其他类型的结构。其他物体也可能出现在场景120中。
雷达信号106被场景120中的物体反射。也称为回波信号的反射的雷达信号108被接收器(RX)天线116a和116b接收。RF和模拟电路130使用例如带通滤波器(BPF)、低通滤波器(LPF)、混频器、低噪声放大器(LNA)和/或中频(IF)放大器以本领域已知的方式处理接收到的反射雷达信号108，以生成模拟信号xouta(t)和xoutb(t)。
使用模数转换器ADC 112将模拟信号xouta(t)和xoutb(t)转换为原始数字数据xout_dig(n)。原始数字数据xout_dig(n)由处理系统104处理以检测目标及其位置。在一些实施例中，处理系统104还可用于识别、分类和/或跟踪场景120中的一个或多个目标。
虽然图1示出了具有两个接收器天线116的雷达系统，但是应当理解，也可以使用多于两个的接收器天线116，例如三个或更多。
虽然图1示出了具有单个发射器天线114的雷达系统，但是应当理解，也可以使用多于一个发射器天线114，例如两个或更多个。
在一些实施例中，处理系统104的输出可以被其他系统用于进一步处理。例如在一个实施例中，其中毫米波雷达系统100在汽车中被实施，处理系统104的输出可由汽车的中央控制器使用以支持高级驾驶辅助系统(ADAS)、自适应巡航控制(ACC)、自动驾驶、碰撞警告(CW)和/或其他汽车技术。
控制器110控制毫米波雷达传感器102的一个或多个电路，例如RF和模拟电路130和/或ADC 112。例如，控制器110可以被实现为例如定制的数字或混合信号电路。控制器110也可以以其他方式实现，例如使用通用处理器或控制器。在一些实施例中，处理系统104实现控制器110的一部分或全部。
处理系统104可以用通用处理器、控制器或数字信号处理器(DSP)来实现，其包括例如耦合到存储器的组合电路。在一些实施例中，处理系统104可以实现为专用集成电路(ASIC)。在一些实施例中，处理系统104可以用例如ARM、RISC或x86架构来实现。在一些实施例中，处理系统104可以包括人工智能(AI)加速器。一些实施例可以使用在DSP或通用微控制器上运行的硬件加速器和软件的组合。其他实现也是可能的。
在一些实施例中，毫米波雷达传感器102和处理系统104的一部分或全部可以在同一集成电路(IC)内实现。例如，在一些实施例中，毫米波雷达传感器102和处理系统104的一部分或全部可以在集成在同一封装中的相应半导体衬底中实现。在其他实施例中，毫米波雷达传感器102和处理系统104的一部分或全部可以在同一单片半导体衬底中实现。其他实现也是可能的。
作为非限制性示例，RF和模拟电路130可以被实现，例如如图1所示。在正常操作期间，压控振荡器VCO 136生成雷达信号，例如线性频率线性调频脉冲(例如，从57GHz到64GHz，或从76GHz到77GHz)，其由发射天线114发射。VCO 136由锁相环PLL 134控制，PLL134从参考振荡器132接收参考时钟信号(例如，80MHz)。PLL 134由包括分频器138和放大器140的回路控制。
由发射天线114发射的TX雷达信号106被场景120中的物体反射，并被接收天线116a和116b接收。由接收天线116a和116b接收的回波分别利用混频器146a和146b与由发射天线114发射的信号的副本混合，以生成相应的中频(IF)信号xIFa(t)xIFb(t)(也称为作为差拍信号)。在一些实施例中，差拍信号xIFa(t)xIFb(t)具有在10kHz和1MHz之间的带宽。带宽低于10kHz或高于1MHz的差拍信号也是可能的。
差拍信号xIFa(t)xIFb(t)利用相应的低通滤波器(LPF)148a和148b滤波，然后由ADC112采样。ADC 112有利地能够以远小于由接收天线116a和116b接收的信号频率的采样频率对滤波后的差拍信号xouta(t)xoutb(t)进行采样。因此，在一些实施例中，使用FMCW雷达有利地允许ADC 112的紧凑且低成本的实现。
原始数字数据xout_dig(n)在一些实施例中包括滤波后的差拍信号xouta(t)和xoutb(t)的数字化版本，该原始数字数据被(例如暂时)存储在例如每个接收器天线116的Nc x Ns的矩阵中，用于由处理系统104进一步处理，其中Nc是帧中考虑的线性调频脉冲数，Ns是每个线性调频脉冲的发射样本数。
在一些实施例中，ADC 112是具有多个输入的12位模数转换器ADC。也可以使用具有较高分辨率(例如14位或更高)或具有较低分辨率(例如10位或更低)的ADC。在一些实施例中，可以使用每个接收器天线一个ADC。其他实现也是可能的。
图2示出了根据本发明实施例的由TX天线114发射的一系列线性调频脉冲106。如图2所示，线性调频脉冲106被组织在多个帧中并且可以实现为上线性调频脉冲。一些实施例可以使用下线性调频脉冲或上线性调频脉冲和下线性调频脉冲的组合，例如上-下线性调频脉冲和下-上线性调频脉冲。也可以使用其他波形形状。
如图2所示，每个帧可以包括多个线性调频脉冲106(通常也称为脉冲)。例如，在一些实施例中，一帧中的脉冲数为16。一些实施例可包括每帧多于16个脉冲，例如20个脉冲、32个脉冲或更多，或每帧少于16个脉冲，例如10个脉冲、8个脉冲、4个脉冲或更少。在一些实施例中，每一帧仅包括单个脉冲。
每FT时间，帧重复一次。在一些实施例中，FT时间是50ms。也可以使用不同的FT时间，例如大于50ms，例如60ms、100ms、200ms或更多，或小于50ms，例如45ms、40ms或更少。
在一些实施例中，FT时间被选择为使得帧n的最后一个线性调频脉冲的开始和帧n+1的第一个线性调频脉冲的开始之间的时间等于PRT。其他实施例可以使用或导致不同的时序。
帧的线性调频脉冲之间的时间通常称为脉冲重复时间(PRT)。在一些实施例中，PRT是5ms。也可以使用不同的PRT，例如小于5ms，例如4ms、2ms或更少，或超过5ms，例如6ms或更多。
线性调频脉冲的持续时间(从开始到结束)通常称为线性调频脉冲时间(CT)。在一些实施例中，线性调频脉冲时间可以是例如64μs。也可以使用更高的线性调频脉冲时间，例如128μs或更高。也可以使用较低的线性调频脉冲时间。
在一些实施例中，线性调频脉冲带宽可以是例如4GHz。更高的带宽(例如6GHz或更高)或更低的带宽(例如2GHz、1GHz或更低)也是可能的。
在一些实施例中，毫米波雷达传感器102的采样频率可以是例如1MHz。更高的采样频率、例如2MHz或更高，或更低的采样频率、例如500kHz或更低，也是可能的。
在一些实施例中，用于生成线性调频脉冲的样本数可以是例如64个样本。也可以使用更高数量的样本、例如128个样本，或更多或更少的样本，例如32个样本或更少。
图3示出了用于处理原始数字数据xout_dig(n)以执行目标检测的示例性方法300的流程图。
在步骤302a和302b期间，接收原始ADC数据xout_dig(n)。如图所示，原始ADC数据xout_dig(n)包括来自多个(例如，图3所示示例中的2个)天线的独立基带雷达数据。在步骤304a和304b期间，对相应天线116的原始ADC数据执行信号调节、低通滤波和背景去除。原始ADC数据xout_dig(n)雷达数据被滤波，直流DC分量被去除以例如去除Tx-Rx自干扰，并且可选地对干扰有色噪声进行预滤波。滤波可以包括去除与其他相邻距离门(range-gate)测量值明显不同的数据离群值。因此，这种滤波还用于从雷达数据中去除背景噪声。
在步骤306a和306b期间，2D移动目标指示(MTI)滤波器被分别应用于在步骤304a和304b期间生成的数据，以去除来自静态目标的响应。MTI滤波器可以通过以下来执行：减去沿快时间(内部线性调频脉冲时间)平均值以去除扰乱前几个距离单元(range bins)的发射器-接收器泄漏，然后减去沿慢时间(间线性调频脉冲时间)的平均值以去除来自静态物体(或零多普勒目标)的反射。
在步骤308a和308b期间，对分别在步骤306a和306b期间生成的滤波后的雷达数据执行一系列FFT。对于数据帧中预定数量的线性调频脉冲中的每个线性调频脉冲，沿着每个波形计算具有线性调频脉冲长度的第一加窗快速傅氏变换FFT。每个线性调频脉冲波形的FFT可以称为“距离FFT”。多个连续周期内跨每个距离单元计算出第二个FFT，以提取多普勒信息。在步骤308a和308b期间执行每个2D FFT之后，分别生成距离-多普勒图像。
在步骤310期间，最小方差无失真响应(MVDR)技术，也称为Capon，用于根据距离和来自不同天线的多普勒数据确定到达角。在步骤310期间生成距离角图像(RAI)。
在步骤312期间，使用有序统计(OS)恒定虚警率(OS-CFAR)检测器来检测目标。通过将RAI的功率水平与阈值进行比较，高于阈值的点被标记为目标(“一”)，而低于阈值的点被标记为非目标(“零”)，CFAR检测器生成检测图像，其中例如“一”代表目标，“零”代表非目标，例如基于RAI的功率水平。
在步骤314期间，通过使用具有噪声的基于密度的聚类应用(DBSCAN)算法，对在步骤312期间生成的检测图像中存在的目标聚类，以将来自检测图像的目标关联到集群。DBSCAN的输出是将所检测的点分组为特定目标。DBSCAN是一种流行的无监督算法，它使用最小点和最小距离标准来聚类目标。
图4示出了根据本发明的实施例的用于处理雷达图像(例如，RDI)以执行目标检测的实施例处理链400的框图。处理链400可以由处理系统104实现。
如图4所示，可以例如通过执行步骤302、304、306和308来生成雷达图像。用于生成雷达图像的其他方法也是可能的。
如图4所示，处理链400包括卷积编码器402和多个全连接(密集)层404。卷积编码器402接收与每个天线116关联的雷达图像。在一些实施例中，卷积编码器执行基于接收的雷达图像进行目标检测，以及对目标进行聚焦、剔除噪声和虚假目标并进行特征提取，诸如距离信息等。在一些实施例中，卷积编码器402对来自不同天线的数据单独操作，并保留相位信息(其可由多个全连接层404使用，例如用于角度估计和x、y位置估计)。在一些实施例中，卷积编码器402的输出是8x2xNum_AntxNum_Chan的向量，其中Num_Ant是天线的数量(例如，在图4所示的实施例中为2，在图6所示的实施例中为3)，并且Num_Chan是例如卷积编码器402的最后一层(在压平层之前)的通道数量。在一些实施例中，由卷积编码器402(例如，由残差块层)生成的多维向量然后在将输出提供给多个全连接层404之前被压平。在一些实施例中，残差块层是卷积编码器层402的最后一层。
多个全连接层404接收卷积编码器402的输出，并例如通过使用天线之间的、例如来自每个天线的已处理雷达图像(例如，由卷积编码器402单独输出)的相位信息来执行角度估计，并且例如通过执行将从卷积转换器402提取的特征映射到目标位置来执行x、y位置估计。多个全连接层404例如经由重塑层生成具有每个检测目标的坐标的输出向量。例如，在一个实施例中，多个全连接层404包括第一(例如552)和第二(例如554)全连接层，每个全连接层都具有整流线性单元(ReLU)激活，随后是具有线性激活(无激活)的第三(例如556)全连接层，因此输出可以采用任何正数或负数。在一些实施例中，第三全连接层的输出被重塑，具有重塑层(例如528)，例如从具有单列和2*max_targets行的向量到具有max_targets行和两列的向量(每列代表相应的坐标，例如x，y)，其中max_targets是同时可检测目标的最大数量。
在图4所示的实施例中，输出向量包括与每个检测目标的中心关联的(x，y)笛卡尔坐标列表。例如，在场景120中存在两个检测目标的实施例中，输出向量Stargets可以由下式给出
Figure BDA0003329766330000101
其中(x1，y1)是target1中心的笛卡尔坐标，(x2，y2)是target1中心的笛卡尔坐标。在一些实施例中，也可以使用其他坐标系，例如极坐标。
在一些实施例中，输出向量具有固定大小(例如，3x2、4x2、5x2、7x2、10x2或不同)。在这样的实施例中，可以通过预定义值(例如，检测空间之外的值，诸如负值)来识别非目标。在一些实施例中，预定义值在检测空间之外但靠近检测空间。例如，在一些实施例中，与预定义值(例如，(-1，-1))关联的位置和最接近与预定义值关联的位置(例如，(0，0))的检测空间的点之间的欧几里得距离保持较低(例如，低于检测空间边缘之间最大距离的10％)，这例如是因为损失函数可以考虑预定义值，并且预定义值和检测空间之间的距离越大、与非目标相关的误差的权重就越大。例如，在检测空间从(0，0)到(12，12)，并且向量Stargets的固定大小为5x2(max_targets＝5)的实施例中，“-1”的预定值可以用于识别非目标。例如，对应于场景120中两个检测目标的输出向量可以由下式给出
Figure BDA0003329766330000111
其中x1、y1、x2、y2均在0到12之间。
在一些实施例中，卷积编码器402可以被实现为深度卷积神经网络DCNN。例如，图5A示出了根据本发明实施例的卷积编码器402和多个全连接层404的可能实现的框图。图5B示出了根据本发明实施例的残差层560的框图。残差层560是残差层504、508、512、516和520的可能实施方式。
如图5A所示，卷积编码器402可以用DCNN实现，该DCNN包括：用于从相应天线116接收雷达图像的输入层502；三维(3D)卷积层506、510、514、518；3D残差层504、508、512、516、520；压平层522，多个全连接层404包括全连接层552、554和556。重塑层528可用于生成输出向量，例如具有(x，y)坐标。
在一些实施例中，3D卷积层(506、510、514、518)的内核大小是3x3。在一些实施例中，每个3D卷积层(506、510、514、518)具有与对应的3D残差层(508、512、516、520)的输入相同数量的通道，并使用ReLU作为激活函数。在一些实施例中，每个3D卷积层(506、510、514、518)在不同的天线上单独工作。在一些实施例中，残差层之间耦合的3D卷积层具有(2，2，1)的步幅。
在一些实施例中，3D残差层504、508、512、516、520都具有相同的架构(例如，每个包括相同数量的层)。
在一些实施例中，卷积编码器402可以用更多的层、用更少的层和/或用不同类型的层来实现。
在一些实施例中，全连接层552和554各自具有ReLU激活函数。全连接层556具有线性激活函数，因此输出可以采用任何正数或负数。在一些实施例中，全连接层556的输出被重塑，使用重塑层528，例如从具有单列和维度*max_targets行的向量到具有max_targets行和维度列的向量(每一列用于表示各自的坐标，其中max_targets是允许同时检测的最大目标数量)。例如，在具有2维(如图4所示)的实施例中，全连接层输出具有单列和2*max_targets行的向量，并且重塑层528将这种向量映射到具有max_targets行和2列的向量，例如，对于(x，y)坐标。在具有3个维度(例如图6中所示)的实施例中，全连接层输出具有单列和3*max_targets行的向量，并且重塑层528将这种向量映射到具有max_targets行和3列的向量，例如对于(x，y，z)坐标。
在一些实施例中，多个全连接层404可以用不同数量的层(例如，2、4、5或更多)来实现。
在一些实施例中，在每个卷积层(例如，506、510、514、518)中，卷积层的输入利用Num_Chan滤波器(例如，大小为3x3x1)滤波以生成Num_Chan输出特征图。在一些实施例中，通道数量Num_Chan是例如超参数，其可以例如在每个跨步卷积层中例如以1.8的速率增加。例如，卷积层510的通道数量Num_Chan510可由Round(1.8*(Num_Chan506))给出，其中Num_chan506为卷积层506的通道数量，Round()为round函数。在一些实施例中，也可以使用Floor函数(向下舍入)或Ceiling函数(向上舍入)。在一些实施例中，通道的增加率可以高于1.8，例如1.85、1.9、2或更高，或低于1.8，例如1.65、1.6或更低。在一些实施例中，每个卷积层的通道数量可以单独选择并且不受特定(例如，线性)增加率的影响。
作为非限制性示例，在一些实施例中：
输入层502的输出具有128个距离单元(例如，样本数除以2)、32个多普勒单元(例如，一帧中的线性调频脉冲数量)、2个天线和2个通道(例如，实数和虚数)；
3D残差层504的输出具有128个距离单元、32个多普勒单元、2个天线和2个通道；
卷积层506的输出具有64个距离单元、16个多普勒单元、2个天线和4个通道(例如，使用1.8的增加率)，其中卷积层506具有4个滤波器，滤波器内核大小为3x3x1，步长为2x2x1，并使用ReLU作为激活函数；
3D残差层508的输出具有64个距离单元、16个多普勒单元、2个天线和4个通道；
卷积层510的输出具有32个距离单元、8个多普勒单元、2个天线和7个通道(例如，使用1.8的增加率)，其中卷积层510具有7个滤波器，滤波器内核大小为3x3x1，步长为2x2x1，并使用ReLU作为激活函数；
3D残差层512的输出具有32个距离单元、8个多普勒单元、2个天线和7个通道；
卷积层514的输出具有16个距离单元、4个多普勒单元、2个天线和13个通道(例如，使用1.8的增加率)，其中卷积层514具有13个滤波器，滤波器内核大小为3x3x1，步长为2x2x1，并使用ReLU作为激活函数；
3D残差层516的输出有16个距离单元、4个多普勒单元、2个天线和13个通道；
卷积层518的输出具有8个距离单元、2个多普勒单元、2个天线和23个通道(例如，使用1.8的增加率)，其中卷积层518具有23个滤波器，滤波器内核大小为3x3x1，步长为2x2x1，并使用ReLU作为激活函数；
3D残差层520的输出有8个距离单元、2个多普勒单元、2个天线和23个通道；
压平层522的输出大小为736(8*2*2*23＝736)；
全连接层552的输出大小为128，其中全连接层552实现为具有128个神经元的密集层并使用ReLU作为激活函数；
全连接层552的输出大小为128，其中全连接层552实现为具有128个神经元的密集层并使用ReLU作为激活函数；
全连接层554的输出大小为32，其中全连接层554实现为具有32个神经元的密集层并使用ReLU作为激活函数；
全连接层556的输出大小为10(当max_targets＝5时)，其中全连接层556实现为具有max_targets*2个神经元的密集层并使用线性激活函数；
其中残差层504、508、512、516和520被实现为残差层560，具有各自具3x3x1的滤波器内核大小的卷积层562、566，卷积层570具有1x1x1的滤波器内核大小，并且每个卷积层562、566和570具有1x1x1的步幅，并使用ReLU作为激活函数，并且批归一化层568和卷积层570的输出通过添加层572相加。
如等式1和2所示，在一些实施例中，输出向量包括用于每个目标的两个坐标。在一些实施例中，输出向量包括引用每个检测目标的三个坐标。例如，图6示出了根据本发明的实施例的用于处理雷达图像(例如，RDI)以执行目标检测的实施例处理链600的框图。处理链600可由处理系统104实现。
在一些实施例中，卷积编码器602和多个全连接层604可以被实现为卷积编码器402和全连接层404，例如，如图5A所示，例如适用于三个维度。
如图6所示，可以例如通过对与三个接收器天线116关联的数据执行步骤302、304、306和308来生成雷达图像。用于生成雷达图像的其他方法也是可能的。
如图4和图6所示，输出向量包括有关检测目标中心的信息。在一些实施例中，例如基于在网络训练期间使用的标签，可以使用检测目标的不同部分，例如最靠近雷达的检测目标的点的坐标。
在一些实施例中，处理链的参数、例如卷积编码器(例如，402、602、1104、1304)和/或全连接层(例如，404、604、1106、1306)的参数可以通过使用预先标记有地面实况的训练数据组进行训练。例如，在一些实施例中，训练数据组的雷达图像(例如，RDI)被提供给卷积编码器。将全连接层的相应输出与地面实况进行比较，并更新卷积编码器和全连接层的参数，以减少全连接层的输出与地面实况的误差。例如，图7示出了根据本发明的实施例的用于训练用于执行目标检测的处理链参数的实施例方法700的流程图。方法700可由处理系统104实施。
在步骤702期间，将训练数据提供给处理链(例如，400、600、1100、1200、1300)。例如，在一些实施例中，训练数据包括雷达图像(例如，RDI)，并且处理链包括卷积编码器(例如，402、602)和多个全连接层(例如，404、604)。
在一些实施例中，处理链包括用于执行雷达图像生成的处理元件，例如用于执行步骤302、306和306的处理元件(或神经网络1102)。在一些这样的实施例中，训练数据包括来自雷达传感器(例如102)的原始数字数据(例如xout_dig(n))。
在步骤704期间，从处理链的输出中获得预测目标的(例如，中心)位置。例如在一些实施例中，为每个预测目标获得2D笛卡尔坐标。在一些实施例中，为每个预测目标获得3D笛卡尔坐标。在一些实施例中，使用其他类型的坐标，例如极坐标。在一些实施例中，坐标对应于预测目标的中心。在一些实施例中，坐标对应于预测目标的不同参考点。
在步骤706期间，为了比较的目的，提供与参考目标(也称为地面实况)关联的位置数据(例如坐标)。作为非限制性示例，训练数据组的一部分可以与两个目标相关联。两个目标的实际位置是已知的(例如，可以使用摄像机和/或使用方法300和/或使用其他方法计算/确定实际位置或地面实况)。在步骤706期间，提供两个目标的实际坐标(参考坐标)用于比较目的。
在步骤708期间，确定预测目标位置(例如，由处理链预测的坐标)和参考目标坐标(与实际目标关联的标记坐标)之间的误差。例如，如果两个检测目标的预测坐标为
Figure BDA0003329766330000161
并且两个目标的实际(参考)坐标是
Figure BDA0003329766330000162
在步骤708期间应用损失函数L来确定p和
Figure BDA0003329766330000164
之间的误差。在一些实施例中，无预测目标、单个预测目标、两个预测目标或多于两个预测目标可以在训练数据组的不同部分期间获得。
在一些实施例中，损失函数是确定预测目标和参考目标的坐标之间的距离(例如，欧几里得、马哈拉诺比斯等)的函数。例如，在一些实施例中，损失函数可以由下式给出
Figure BDA0003329766330000163
这里|| ||是欧几里得距离函数。例如，在一些实施例中，损失函数L等于每个预测目标和对应参考目标之间的个体误差的总和。当没有预测目标时，预测值可以等于预定值，例如(-1，-1)，并且使用这些值计算损失函数。因此，一些实施例受益于具有在可检测空间之外但接近可检测空间的预定值，使得由损失函数生成的误差(例如，在预测的非目标和实际参考目标之间，或预测的虚假目标和参考非目标之间)不会获得不成比例的权重。例如，在一些实施例中，预定值可以具有到可检测空间的例如欧几里得距离，其低于到可检测目标的最大距离的10％。
在一些实施例中，存在与地面实况和/或雷达测量相关联的噪声。在一些实施例中，当使用损失函数确定误差值时，允许在预测和地面实况之间存在一些误差。例如，在一些实施例中，损失函数可以由下式给出
Figure BDA0003329766330000171
其中Dthres是距离阈值，例如0.2m(也可以使用其他值)。使用距离阈值，例如等式4中所示，有利地允许在预测足够接近地面实况时避免进一步优化，这例如因为这种进一步优化可能不一定改进模型(因为它可能在系统的噪声之内)。
在一些实施例中，使用基于距离的损失函数，例如等式3和4中所示，有利地允许训练期间更快的收敛。
在一些实施例中，损失函数还使用不同于预测坐标和参考坐标之间的距离的其他参数。例如，在一些实施例中，损失函数可以由下式给出
Figure BDA0003329766330000172
其中IoU是一个检测评价函数，可以由下式给出
Figure BDA0003329766330000173
其中Bp和
Figure BDA0003329766330000174
分别是与预测坐标和地面实况坐标关联的边界框向量，其中每个边界框向量包括围绕(例如，对称地)相应目标的中心位置的相应边界框(例如，每个边界框的4个角的坐标)。
在步骤710期间，更新处理链的参数，例如卷积编码器和多个全连接层的参数，使得误差L最小化。例如，在一些实施例中，在步骤710期间更新卷积层506、510、514和518和全连接层552、554和556的所有权重和偏差，以及用于每个3D残差层(504、508、512、516、520)的卷积层562、566和570的所有权重和偏差。
在一些实施例中，对于训练数据组的训练数据的多个历元重复步骤702、704、706、708和710，例如，直到达到收敛(达到局部或全局最小值)直到最小达到误差，或者直到使用预定数量的历元已经用于训练。
在从处理链的输出预测(检测)的目标组中具有多个目标的实施例中，参考目标组中的参考目标可能不一定以与该预测目标组中的预测目标相同的方式排序。例如，预测目标和参考目标可能出现乱序。例如，在一个实施例中，一组预测目标p1和一组参考目标y1可以由下式给出
Figure BDA0003329766330000181
将损失函数(例如，等式3、5或5中的任何一个)应用于无序组p1和y1可能会提供不正确的误差值。因此，在一些实施例中，步骤708包括执行重新排序步骤。例如，图8示出了根据本发明实施例的用于执行步骤708的实施例方法800的流程图。
在步骤802期间，从处理链的输出接收一组预测坐标。在一些实施例中，该组预测坐标可以包括非目标，其可以被标记为例如“-1”。一组预测坐标的非限制性示例是p1。
在步骤804期间，从训练数据组接收一组参考坐标。例如，在一些实施例中，训练数据组包括与训练数据组中表示的目标的地面实况位置关联的标签。在步骤804期间接收这样的参考坐标。在一些实施例中，该组参考坐标可以包括非目标，其可以被标记为例如“-1”。一组参考坐标的非限制性示例是y1。
在步骤806期间，参考坐标组被重新排序以匹配预测坐标组的顺序。例如，重新排序后的组y1，可以由下式给出
Figure BDA0003329766330000182
这里
Figure BDA0003329766330000183
是重新排序的参考坐标组。在一些实施例中，对预测坐标组而不是参考坐标组进行重新排序。在一些实施例中，两个组都被重新排序以使得它们匹配。
在步骤808期间，将损失函数(例如，等式3、4或5)应用于对组进行匹配。
在一些实施例中，通过应用匈牙利分配算法来执行重新排序步骤(步骤806)。在其他实施例中，重新排序步骤(步骤86)是通过应用有序最小分配算法来执行的。也可以使用其他分配算法。
例如，匈牙利分配算法侧重于最小化总误差(预测目标和参考目标之间所有误差的总和)。有序最小分配侧重于将预测目标与其各自最近的参考目标进行匹配。图9示出了根据本发明实施例的用于将预测位置与地面实况位置匹配的匈牙利分配和有序最小分配的示例。根据匈牙利分配，曲线图902分别示出了预测904、906和908与标签914、916和918之间的分配。曲线952根据有序的最小分配分别示出了预测904、906和908与标签914、916和918之间的分配。
如图9所示，与分配924、926和928关联的距离总和低于与分配954、956和958关联的距离总和。还如图9所示，使用有序最小分配，预测908被分配给标签914而不是标签918，预测904被分配给标签918而不是标签914。因此，在某些情况下，有序最小分配与匈牙利分配的不同之处在于：最接近的目标是匹配的(例如，分配958)导致其他分配(例如分配954)中的较大误差。尽管在使用有序最小分配而不是匈牙利分配时总误差可能更大，但是一些实施例使用有序最小分配有利地实现了更好的性能，例如，因为噪声或损坏的测量可能导致单个预测偏离(off)，而不是所有的预测都略有偏离。
例如，图10示出了根据本发明的实施例，当使用匈牙利分配(曲线1002)和有序最小分配(曲线1004)执行方法700时，比较F1分数与历元数的波形1000。如图10所示，在一些实施例中，与使用匈牙利分配相比，使用有序最小分配有利地实现更快的训练收敛和/或更好的F1总分。
在一些实施例中，应用匈牙利分配包括：
计算成本矩阵C，其中ci,j是根据度量F(例如，欧几里得距离、马氏距离等)预测点pi和参考点yj之间的成本，并且可以由下式给出ci，j＝F(pi，yj) (7)
找到最小化C和A之间的元素乘积的分配矩阵A，例如，通过
Figure BDA0003329766330000201
并根据分配矩阵A中的那些对标签向量y重新排序，以生成有序向量
Figure BDA0003329766330000202
在一些实施例中，应用有序的最小分配包括：
计算成本矩阵C(例如，使用等式7)；
当C不为空时，寻找最小成本条目(找到具有最小成本ci,j的条目)并保存与该最小成本条目关联的索引，并删除成本矩阵C中对应的行和列；以及
在成本矩阵C为空后，根据保存的索引对标签向量y中的点重新排序。
例如，如果max_targets为3，则成本矩阵C为3x3。如果保存的索引是c2,3、c1,2和c3,1，重新排序会改变标签顺序，使得第三标签行与第二预测行匹配，第二标签行与第一预测行匹配，第一标签行行与第三预测行匹配。
在一些实施例中，使用非均匀离散傅立叶变换(DFT)(NUDFT)来生成提供给卷积编码器的雷达图像。通过使用非均匀DFT，一些实施例能够有利地集中于感兴趣的距离多普勒特征同时保持低存储器和计算要求。
图11示出了根据本发明实施例的用于处理雷达图像(例如，非均匀RDI)以执行目标检测的实施例处理链1100的框图。处理链1100可以由处理系统104实现。卷积编码器1104可以以与卷积编码器402类似的方式实现，并且全连接层1106可以以与全连接层406类似的方式实现，例如，如图所示在图5A中。重塑层528可用于生成输出向量，例如，具有(x，y)坐标。
如图11所示，处理链1100实施2D非均匀DFT(步骤1102a和1102b)以生成2D非均匀雷达图像，例如非均匀RDI。在一些实施例中，也可以使用其他非均匀雷达图像，例如非均匀DAI或非均匀RAI。
NUDFT可以被理解为一种DFT，其中信号以不等距的点和/或频率被采样。因此，在生成NURDI的实施例中，在步骤1102a和1102b期间，对数据帧中预定数量的线性调频脉冲中的每一个执行第一非均匀范围DFT。在多个连续周期内跨每个非均匀距离单元(距离单元之间的间距不均匀)计算出第二非均匀DFT，以提取多普勒信息。在执行每个2D NUDFT之后，将为每个天线生成非均匀距离多普勒图像。
在一些实施例中，采样点在时间上等距间隔开，但DFT不是等距采样。
鉴于距离域和多普勒域中的非均匀采样，所得NURDI的能量分布是非均匀的。因此，一些实施例有利地准确地聚焦于感兴趣的距离多普勒特征，同时保持较低的存储器和计算要求。在一些实施例中，例如在具有多个天线的一些实施例中，节省存储器变得特别有利，因为存储器要求可以随着天线数量的增加而增加，例如线性增加。
在一些实施例中，通过训练神经网络来学习非均匀采样。例如，在一些实施例中，NUDFT将N个复数x0、x1、...xN-1的序列变成另一复数序列X0、X1、...XN-1，例如由下式给出
Figure BDA0003329766330000211
其中fk是非均匀频率。这种非均匀频率fk可以例如通过执行方法700来获知。因此，一些实施例有利地允许聚焦和散焦距离单元和/或多普勒单元，否则如果使用均匀DFT，它们将被平均地强调。
图12示出了根据本发明的实施例的用于处理雷达图像(例如，非均匀RDI)以执行目标检测的实施例处理链1200的框图。处理链1200可以由处理系统104实现。处理链1200以与处理链1100类似的方式操作并且实现具有全连接层1202和1206以及转置层1204的神经网络1102。
在一些实施例中，全连接层1202a、1202b以及1206a和1206b是参数层，其执行等式9中所示的计算，并且仅具有作为(可学习的)参数的频率fk。在一些实施例中，全连接层1202a等同于全连接层1202b并且共享相同的参数；并且全连接层1206a等于全连接层1206b并且共享相同的参数。在一些实施例中，全连接层1204a等于全连接层1204b。
如图12所示，对于每个天线116，神经网络1102可以用全连接层1202、接着是转置层1204、接着是全连接层1206来实现。通过沿ADC数据为帧中的每个线性调频脉冲应用学习的NUDFT，全连接层1202执行范围变换。在一些实施例中，全连接层1202的输出可由下式给出
Figure BDA0003329766330000221
其中PN是一帧中的线性调频脉冲数，W1表示学习到的NUDFT矩阵。
转置层1204转置全连接层1202的输出，例如，作为
Figure BDA0003329766330000222
全连接层1206通过沿每个距离单元的线性调频脉冲应用学习的NUDFT来执行多普勒变换。在一些实施例中，全连接层1206的输出可由下式给出
Figure BDA0003329766330000223
其中BN是范围单元的数量，W2表示学习到的NUDFT矩阵。
在一些实施例中，NUDFT矩阵W1和W2是层1202、1204和1206的可学习参数并且可以例如通过执行方法700来学习。例如，在一些实施例中，NUDFT矩阵W1和W2在步骤710期间更新损失函数(例如，基于等式3、4或5)生成的误差。
在一些实施例中，例如为了改善副瓣电平抑制的目的，沿着ADC数据(等式10)和PN线性调频脉冲(等式12)应用附加的(例如，固定的)加权函数。在一些实施例中，通过与层1202、1204和1206并联耦合的全连接层的自注意网络被实现，用于适应加权函数以模仿变迹函数以实现低副瓣电平。
图13示出了根据本发明实施例的用于处理雷达图像(例如，非均匀RDI)以执行目标检测的实施例处理链1300的框图。处理链1300可由处理系统104实施。处理链1300以与处理链1200类似的方式操作。然而，处理链1300从三个接收器天线116接收数据并生成输出向量，该输出向量包括三个坐标，用于每个检测目标。
在一些实施例中，置信水平与输出向量Stargets相关联。例如，在一些实施例中，与卷积编码器(例如，402、602、1104、1304)接收的雷达图像关联的全局信噪比(SNR)用于确定与对应输出向量Stargets关联的置信水平。高SNR(例如，20dB或更高)与高置信度关联，而低SNR(例如，低于20dB)与低置信度关联。在一些实施例中，低置信度输出向量被忽略(例如，不用于进一步处理、例如用于后续卡尔曼滤波器)，而进一步处理高置信度输出向量。
在一些实施例中，与每个检测目标关联的置信水平可以不同。例如，在一些实施例中，除了每个目标的坐标之外，输出向量Stargets还包括与每个目标关联的相应SNR值。可以基于卷积编码器接收到的雷达图像中目标位置处的峰值功率与相邻基底水平之间的差异来计算每个检测目标的SNR值。因此，在一些实施例中，检测目标的坐标可以具有高置信度(并且被进一步处理)，而相同输出向量的另一个检测目标具有低置信度(并且被忽略)。例如，作为非限制性示例，等式13的输出向量包括三个检测目标的(x，y，SNR)值。位于(1，1)中的第一检测目标具有20dB的SNR，因此具有高置信水平。第二和第三检测目标位于(3，2)和(2，6)中，并且具有低置信水平。
Figure BDA0003329766330000231
在等式13所示的实施例中，全局SNR低于20dB，并且依赖全局SNR的一些实施例可以忽略所有三个检测目标。依赖于与每个目标关联的SNR值的实施例可以进一步处理位于等式13的(1，1)处的第一目标，同时忽略其他两个目标。因此，一些实施例有利地在低SNR环境中产生对至少一些目标的准确检测。
虽然在所示示例中高置信度和低置信度之间的截止SNR值是20dB，但是应当理解，不同的SNR值也可以用作截止SNR值。
在一些实施例中，每个检测目标的峰值和基底水平的SNR值和位置可用于确定用在等式6中的边界框的坐标Bp和
Figure BDA0003329766330000241
图14示出了根据本发明实施例的毫米波雷达系统1400的示意图。毫米波雷达系统以与毫米波雷达系统100类似的方式运行，并使用耦合到处理器1406的人工智能(AI)加速器1402来实现处理系统104。
如图14所示，AI加速器1402使用直接从雷达传感器(例如，102)。处理器1406实现后处理步骤，例如目标跟踪，例如使用卡尔曼滤波器。
在一些实施例中，AI加速器1402被设计成加速人工智能应用，例如人工神经网络和机器学习，并且可以以本领域已知的任何方式实现。
在一些实施例中，处理器1406可以以本领域已知的任何方式实现，例如通用处理器、控制器或数字信号处理器(DSP)，其包括例如耦合到存储器的组合电路。
一些实施例的优点包括最小化雷达系统的数据流。例如，在雷达系统1400中，数据从毫米波雷达102流到AI加速器1402(例如，用于目标检测)，然后到处理器1406(用于后处理)。实现实施例处理链400的方法将改为展示从毫米波雷达102到处理器1406(用于执行步骤304、306、308)，然后到AI加速器1402(例如，用于使用402、404的目标检测)的数据流，然后返回到处理器1406(用于后处理)。
这里总结了本发明的示例实施例。其他实施例也可以从说明书和在此提交的权利要求的整体来理解。
示例1.一种使用雷达生成目标组的方法，该方法包括：使用雷达生成多个雷达图像；利用卷积编码器接收多个雷达图像；以及基于卷积编码器的输出使用多个全连接层生成目标组，其中目标组的每个目标具有关联的第一坐标和第二坐标。
示例2.示例1的方法，其中目标组的每个目标具有关联的信噪比SNR值。
示例3.示例1或2的方法，其中与所述目标组的第一目标关联的SNR值不同于与所述目标组的第二目标关联的SNR值。
示例4.示例1至3之一的方法，其中目标组的每个目标的第一和第二坐标对应于关联目标的中心位置。
示例5.示例1至4之一的方法，其中目标组的每个目标具有关联的第三坐标。
示例6.示例1至5之一的方法，其中第一、第二和第三坐标分别对应于x、y和z轴。
示例7.示例1至6之一的方法，其中多个雷达图像中的每个雷达图像均是距离多普勒图像。
示例8.示例1至7之一的方法，还包括使用相应天线生成多个雷达图像中的每个雷达图像。
示例9.示例1至8之一的方法，其中生成多个雷达图像包括使用非均匀离散傅立叶变换。
示例10.根据示例1至9之一的方法，其中生成所述多个雷达图像包括：使用所述雷达的雷达传感器发射多个雷达信号；使用所述雷达，接收对应于多个发射的雷达信号的多个反射雷达信号；将多个发射的雷达信号的副本与多个接收的反射雷达信号混合以生成中频信号；使用模数转换器基于中频信号生成原始数字数据；使用第一全连接层接收原始数字数据；以及基于第一全连接层的输出生成多个雷达图像。
示例11.根据示例1至10之一的方法，其中生成多个雷达图像还包括：接收带有转置层的第一个全连接层的输出；接收具有第二全连接层的转置层的输出；以及使用第二全连接层生成多个雷达图像，其中第二全连接层的输出耦合到卷积编码器的输入。
示例12.示例1至11之一的方法，其中生成所述多个雷达图像还包括：使用第一全连接层对帧中的每个线性调频脉冲沿原始数字数据应用第一非均匀离散傅立叶变换系数，以生成第一矩阵；使用转置层对第一矩阵进行转置，以生成第二矩阵；和沿第二矩阵的每个距离单元的线性调频脉冲，应用第二非均匀离散傅立叶变换系数，以生成多个雷达图像。
示例13.根据示例1至12之一的方法，还包括通过以下项生成所述第一和第二非均匀离散傅立叶变换系数：将原始数字训练数据提供至第一全连接层；生成具有多个全连接层的预测目标组；将预测目标组与参考目标组进行比较；使用损失函数来确定预测目标组和参考目标组之间的误差；以及更新第一和第二非均匀离散傅立叶变换系数，以最小化确定的误差。
示例14.示例1至13之一的方法，其中所述损失函数是基于距离的损失函数。
示例15.示例1至14之一的方法，其中所述损失函数还基于检测评价函数。
示例16.示例1至15之一的方法，其中所述损失函数通过确定与每个目标关联的第一和第二坐标和与参考目标组的每个对应参考目标关联的第一和第二坐标之间的欧几里得距离来确定误差。
示例17.示例1至16之一的方法，其中将预测目标组与参考目标组进行比较包括：将预测目标组的每个预测目标分配给参考目标组的对应参考目标，并将每个预测目标与分配的参考目标进行比较。
示例18.示例1至17之一的方法，其中将每个预测目标分配给对应的参考目标是基于有序最小分配。
示例19.示例1至18之一的方法，其中所述卷积编码器包括多个三维卷积层，随后是多个密集层。
示例20.根据示例1至19之一所述的方法，还包括使用卡尔曼滤波器跟踪所述目标组的目标。
示例21.示例1至20之一的方法，其中雷达是毫米波雷达。
示例22.一种训练用于生成目标组的神经网络的方法，该方法包括：将训练数据提供至神经网络；利用神经网络生成预测目标组，其中预测目标组中的每个预测目标具有关联的第一和第二坐标；使用有序最小分配将每个预测目标分配给参考目标的对应参考目标以生成有序参考目标组，其中参考目标组的每个参考目标包括第一和第二参考坐标；使用基于距离的损失函数来确定预测目标组和有序参考目标组之间的误差；和更新所述神经网络的参数以最小化确定的误差。
示例23.示例22的方法，其中损失函数由
Figure BDA0003329766330000271
给出，其中Dthres是距离阈值，代表欧几里得距离函数，p代表预测目标组，并且
Figure BDA0003329766330000272
代表有序参考目标组。
示例24.示例22或23的方法，其中更新所述神经网络的参数包括更新非均匀离散傅立叶变换系数。
示例25.示例22至24之一的方法，其中将所述训练数据提供至所述神经网络包括：将原始数字训练数据提供至所述神经网络的第一全连接层，其中所述神经网络包括具有耦合到所述第一全连接层的输入并且耦合到第二全连接层的输出的转置层，并且其中更新非均匀离散傅立叶变换系数包括更新第一和第二全连接层的系数。
示例26.一种雷达系统，包括：毫米波雷达传感器，包括：发射天线，被配置为发射雷达信号；第一和第二接收天线，被配置为接收反射的雷达信号；模数转换器ADC，被配置为在ADC的输出处基于反射的雷达信号生成原始数字数据；和处理系统，被配置为使用神经网络处理原始数字数据以生成目标组，其中目标组的每个目标具有关联的第一和第二坐标，并且其中神经网络包括：第一全连接层，耦合到ADC的输出，转置层，所述转置层具有的输入耦合到全连接层的输出，以及第二全连接层，所述第二全连接层具有的输入耦合到转置层的输出，其中第一和第二全连接层包括非均匀离散傅立叶变换系数。
示例27.示例26的雷达系统，其中所述处理系统包括人工智能AI加速器，所述AI加速器具有的输入耦合到所述ADC的输出，并且所述AI加速器被配置为使用所述神经网络处理所述原始数字数据以生成所述目标组；和处理器，所述处理器具有的输入耦合到AI加速器的输出并且被配置为接收目标组。
虽然已经参考说明性实施例描述了本发明，但是该描述并不旨在被解释为限制性的。参考说明书，本领域技术人员将清楚说明性实施例以及本发明的其他实施例的各种修改和组合。因此，所附权利要求旨在涵盖任何此类修改或实施例。

Claims (27)

1.一种用于使用雷达生成目标组的方法，所述方法包括：
使用雷达生成多个雷达图像；
利用卷积编码器接收多个雷达图像；以及
基于卷积编码器的输出，使用多个全连接层生成目标组，其中目标组的每个目标具有关联的第一坐标和第二坐标。
2.根据权利要求1所述的方法，其中所述目标组的每个目标具有关联的信噪比SNR值。
3.根据权利要求2所述的方法，其中与所述目标组的第一目标关联的SNR值不同于与所述目标组的第二目标关联的SNR值。
4.根据权利要求1所述的方法，其中所述目标组的每个目标的所述第一坐标和所述第二坐标对应于关联的所述目标的中心位置。
5.根据权利要求1所述的方法，其中所述目标组的每个目标具有关联的第三坐标。
6.根据权利要求5所述的方法，其中所述第一坐标、所述第二坐标和所述第三坐标分别对应于x、y和z轴。
7.根据权利要求1所述的方法，其中所述多个雷达图像中的每个雷达图像均是距离多普勒图像。
8.根据权利要求1所述的方法，还包括使用相应的天线生成所述多个雷达图像中的每个雷达图像。
9.根据权利要求1所述的方法，其中生成所述多个雷达图像包括使用非均匀离散傅立叶变换。
10.根据权利要求1所述的方法，其中生成所述多个雷达图像包括：
使用所述雷达的雷达传感器发射多个雷达信号；
使用所述雷达，接收对应于多个发射的雷达信号的多个反射雷达信号；
将多个发射的雷达信号的副本与多个接收的反射雷达信号混合以生成中频信号；
使用模数转换器基于中频信号生成原始数字数据；
使用第一全连接层接收原始数字数据；以及
基于第一全连接层的输出生成多个雷达图像。
11.根据权利要求10所述的方法，其中生成所述多个雷达图像还包括：
接收带有转置层的第一个全连接层的输出；
接收具有第二全连接层的转置层的输出；以及
使用第二全连接层生成多个雷达图像，其中第二全连接层的输出耦合到卷积编码器的输入。
12.根据权利要求10所述的方法，其中生成所述多个雷达图像还包括：
使用第一全连接层对帧中的每个线性调频脉冲沿原始数字数据应用第一非均匀离散傅立叶变换系数，以生成第一矩阵；
使用转置层对第一矩阵进行转置，以生成第二矩阵；以及
沿第二矩阵的每个距离单元的线性调频脉冲，应用第二非均匀离散傅立叶变换系数，以生成多个雷达图像。
13.根据权利要求12所述的方法，还包括通过以下项生成所述第一非均匀离散傅立叶变换系数和所述第二非均匀离散傅立叶变换系数：
将原始数字训练数据提供至第一全连接层；
生成具有多个全连接层的预测目标组；
将预测目标组与参考目标组进行比较；
使用损失函数来确定预测目标组和参考目标组之间的误差；以及
更新所述第一非均匀离散傅立叶变换系数和所述第二非均匀离散傅立叶变换系数，以最小化确定的误差。
14.根据权利要求13所述的方法，其中所述损失函数是基于距离的损失函数。
15.根据权利要求14所述的方法，其中所述损失函数还基于检测评价函数。
16.根据权利要求14所述的方法，其中所述损失函数通过确定与每个目标关联的第一坐标和第二坐标以及与参考目标组的每个对应参考目标关联的第一坐标和第二坐标之间的欧几里得距离来确定误差。
17.根据权利要求13所述的方法，其中将预测目标组与参考目标组进行比较包括：将预测目标组的每个预测目标分配给参考目标组的对应参考目标，并将每个预测目标与分配的参考目标进行比较。
18.根据权利要求17所述的方法，其中将每个预测目标分配给对应的参考目标是基于有序最小分配。
19.根据权利要求1所述的方法，其中所述卷积编码器包括多个三维卷积层，随后是多个密集层。
20.根据权利要求1所述的方法，还包括使用卡尔曼滤波器跟踪所述目标组的目标。
21.根据权利要求1所述的方法，其中所述雷达是毫米波雷达。
22.一种训练用于生成目标组的神经网络的方法，所述方法包括：
将训练数据提供至神经网络；
利用神经网络生成预测目标组，其中预测目标组中的每个预测目标具有关联的第一坐标和第二坐标；
使用有序最小分配将每个预测目标分配给参考目标的对应参考目标以生成有序参考目标组，其中参考目标组的每个参考目标包括第一参考坐标和第二参考坐标；
使用基于距离的损失函数来确定预测目标组和有序参考目标组之间的误差；以及
更新所述神经网络的参数以最小化确定的误差。
23.根据权利要求22所述的方法，其中损失函数由
Figure FDA0003329766320000031
给出，其中Dthres是距离阈值，|| ||代表欧几里得距离函数，p代表预测目标组，并且
Figure FDA0003329766320000032
代表有序参考目标组。
24.根据权利要求22所述的方法，其中更新所述神经网络的参数包括更新非均匀离散傅立叶变换系数。
25.根据权利要求24所述的方法，其中将所述训练数据提供至所述神经网络包括：将原始数字训练数据提供至所述神经网络的第一全连接层，其中所述神经网络包括具有耦合到所述第一全连接层的输入并且耦合到第二全连接层的输出的转置层，并且其中更新非均匀离散傅立叶变换系数包括更新所述第一全连接层和所述第二全连接层的系数。
26.一种雷达系统，包括：
毫米波雷达传感器，包括：
发射天线，被配置为发射雷达信号；
第一接收天线和第二接收天线，被配置为接收反射的雷达信号；
模数转换器ADC，被配置为在ADC的输出处基于反射的雷达信号生成原始数字数据；和
处理系统，被配置为使用神经网络处理原始数字数据以生成目标组，其中目标组的每个目标具有关联的第一坐标和第二坐标，并且其中神经网络包括：
第一全连接层，耦合到ADC的输出，
转置层，所述转置层具有的输入耦合到全连接层的输出，以及
第二全连接层，所述第二全连接层具有的输入耦合到转置层的输出，其中所述第一全连接层和所述第二全连接层包括非均匀离散傅立叶变换系数。
27.根据权利要求26所述的雷达系统，其中所述处理系统包括人工智能AI加速器，所述AI加速器所具有的输入耦合到所述ADC的输出，并且所述AI加速器被配置为使用所述神经网络处理所述原始数字数据以生成所述目标组；和
处理器，所述处理器所具有的输入耦合到AI加速器的输出并且被配置为接收目标组。
CN202111274777.3A 2020-10-30 2021-10-29 基于雷达的目标组生成 Pending CN114442088A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/085,448 2020-10-30
US17/085,448 US11719787B2 (en) 2020-10-30 2020-10-30 Radar-based target set generation

Publications (1)

Publication Number Publication Date
CN114442088A true CN114442088A (zh) 2022-05-06

Family

ID=78621682

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111274777.3A Pending CN114442088A (zh) 2020-10-30 2021-10-29 基于雷达的目标组生成

Country Status (3)

Country Link
US (1) US11719787B2 (zh)
EP (1) EP3992661B1 (zh)
CN (1) CN114442088A (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112505648B (zh) * 2020-11-19 2023-06-30 西安电子科技大学 基于毫米波雷达回波的目标特征提取方法
EP4264499A1 (en) * 2020-12-21 2023-10-25 Citrix Systems, Inc. Multimodal modelling for systems using distance metric learning
WO2022139783A1 (en) * 2020-12-21 2022-06-30 Intel Corporation High end imaging radar
US20220334243A1 (en) * 2021-03-31 2022-10-20 Massachusetts Institute Of Technology Systems and methods for detection of concealed threats
US20240061079A1 (en) * 2022-08-22 2024-02-22 Nec Laboratories America, Inc. Scalable biometric sensing using distributed mimo radars
CN115542282B (zh) * 2022-11-28 2023-04-07 南京航空航天大学 基于深度学习的雷达回波检测方法、系统、设备及介质
CN116908808B (zh) * 2023-09-13 2023-12-01 南京国睿防务系统有限公司 一种基于rtn的高分辨一维像目标识别方法
CN117233725B (zh) * 2023-11-15 2024-01-23 中国空气动力研究与发展中心计算空气动力研究所 基于图神经网络多特征融合的相干雷达目标检测方法
CN117292439B (zh) * 2023-11-27 2024-03-22 南昌大学 一种基于室内毫米波雷达的人体姿态识别方法及系统

Family Cites Families (135)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4241347A (en) 1978-06-28 1980-12-23 International Telephone And Telegraph Corporation PRC/FM CW Radar system
GB2247799A (en) 1990-09-04 1992-03-11 Gec Ferranti Defence Syst Radar based navigation aid
US6147572A (en) 1998-07-15 2000-11-14 Lucent Technologies, Inc. Filter including a microstrip antenna and a frequency selective surface
JP3393204B2 (ja) 1999-10-06 2003-04-07 株式会社ホンダエレシス マルチビームレーダ装置
ATE403166T1 (de) 2000-06-06 2008-08-15 Altratek Inc Sensorsystem und verfahren zum detektieren und verfolgen von zielen
DE10037099A1 (de) 2000-07-28 2002-02-07 Wienand Hans Theo Personenzählvorrichtung
JP3680029B2 (ja) 2001-08-08 2005-08-10 三菱重工業株式会社 金属薄膜の気相成長方法およびその気相成長装置
US7176506B2 (en) 2001-08-28 2007-02-13 Tessera, Inc. High frequency chip packages with connecting elements
US7948769B2 (en) 2007-09-27 2011-05-24 Hemisphere Gps Llc Tightly-coupled PCB GNSS circuit and manufacturing method
KR100477647B1 (ko) 2002-06-01 2005-03-23 삼성전자주식회사 영상의 움직임 보정 장치 및 방법
US6963259B2 (en) 2002-06-27 2005-11-08 Harris Corporation High efficiency resonant line
JP3833606B2 (ja) 2002-12-19 2006-10-18 三菱電機株式会社 車載レーダ装置
US7119745B2 (en) 2004-06-30 2006-10-10 International Business Machines Corporation Apparatus and method for constructing and packaging printed antenna devices
WO2006017265A2 (en) 2004-07-12 2006-02-16 Signal-Labs, Inc. System and method for detection and tracking of targets
US7057564B2 (en) 2004-08-31 2006-06-06 Freescale Semiconductor, Inc. Multilayer cavity slot antenna
US7615856B2 (en) 2004-09-01 2009-11-10 Sanyo Electric Co., Ltd. Integrated antenna type circuit apparatus
US7692684B2 (en) 2004-09-27 2010-04-06 Point Grey Research Inc. People counting systems and methods
JP2006234513A (ja) 2005-02-23 2006-09-07 Toyota Central Res & Dev Lab Inc 障害物検出装置
US8066642B1 (en) 2005-05-03 2011-11-29 Sonosite, Inc. Systems and methods for ultrasound beam forming data control
US7596241B2 (en) 2005-06-30 2009-09-29 General Electric Company System and method for automatic person counting and detection of specific events
US8228382B2 (en) 2005-11-05 2012-07-24 Ram Pattikonda System and method for counting people
EP1791277A1 (de) 2005-11-28 2007-05-30 Siemens Aktiengesellschaft Verfahren und Anordnung zur Kalibrierung von Sendepfaden eines Antennensystems
US20070210959A1 (en) 2006-03-07 2007-09-13 Massachusetts Institute Of Technology Multi-beam tile array module for phased array systems
WO2008094172A2 (en) 2006-06-01 2008-08-07 University Of Florida Research Foundation, Inc. Radar microsensor for detection, tracking, and classification
US7873326B2 (en) 2006-07-11 2011-01-18 Mojix, Inc. RFID beam forming system
DE102006032539A1 (de) 2006-07-13 2008-01-17 Robert Bosch Gmbh FMCW-Radarsensor
US7889147B2 (en) 2007-02-23 2011-02-15 Northrop Grumman Systems Corporation Modular active phased array
US7525474B2 (en) 2007-03-30 2009-04-28 Honeywell International Inc. Integrated distance measuring equipment and transponder system and method
US7675465B2 (en) 2007-05-22 2010-03-09 Sibeam, Inc. Surface mountable integrated circuit packaging scheme
US8237259B2 (en) 2007-06-13 2012-08-07 Infineon Technologies Ag Embedded chip package
JP4415040B2 (ja) 2007-09-18 2010-02-17 三菱電機株式会社 レーダ装置
US7880677B2 (en) 2007-12-12 2011-02-01 Broadcom Corporation Method and system for a phased array antenna embedded in an integrated circuit package
US8134425B2 (en) 2007-12-13 2012-03-13 Broadcom Corporation Method and system for filters embedded in an integrated circuit package
JP4861303B2 (ja) 2007-12-27 2012-01-25 株式会社日立製作所 レーダセンサ
KR20110042194A (ko) 2008-07-24 2011-04-25 코닌클리케 필립스 일렉트로닉스 엔.브이. 3-차원（３­ｄ） 영상 캡처링
DE102008054570A1 (de) 2008-12-12 2010-06-17 Robert Bosch Gmbh FMCW-Radarsensor für Kraftfahrzeuge
EP2396887A4 (en) 2009-02-13 2012-08-29 Freescale Semiconductor Inc INTEGRATED CIRCUIT COMPRISING A FREQUENCY GENERATION CIRCUITRY FOR CONTROLLING A FREQUENCY SOURCE
US20100207805A1 (en) 2009-02-19 2010-08-19 Agd Systems Limited Obtaining an indication of a number of moving objects passing speed detection apparatus
EP2417475B1 (de) 2009-04-06 2013-08-21 Conti Temic microelectronic GmbH Radarsystem mit anordnungen und verfahren zur entkopplung von sende- und empfangssignalen sowie unterdrückung von störeinstrahlungen
CN201438747U (zh) 2009-05-18 2010-04-14 幻音科技(深圳)有限公司 耳塞式耳机
CN101585361A (zh) 2009-05-25 2009-11-25 郭文艺 汽车防碰撞防车道偏离控制装置
EP2443774A1 (en) 2009-06-17 2012-04-25 Telefonaktiebolaget LM Ericsson (publ) A method for antenna calibration in a wideband communication system
EP2452258B1 (en) 2009-07-07 2019-01-23 Elliptic Laboratories AS Control using movements
DE102009055262A1 (de) 2009-12-23 2011-06-30 Endress + Hauser GmbH + Co. KG, 79689 Verfahren zur Ermittlung und Überwachung des Füllstands eines Mediums in einem Behälter nach einem Laufzeitmessverfahren
WO2011106881A1 (en) 2010-03-05 2011-09-09 University Of Windsor Radar system and method of manufacturing same
US8725085B2 (en) 2010-06-03 2014-05-13 Broadcom Corporation RF front-end module
US9569003B2 (en) 2010-09-30 2017-02-14 Broadcom Corporation Portable computing device including a three-dimensional touch screen
JP5549560B2 (ja) 2010-11-26 2014-07-16 富士通株式会社 Ｆｍ−ｃｗレーダ装置、ペアリング方法
JP2012168156A (ja) 2011-02-11 2012-09-06 National Univ Corp Shizuoka Univ 車載用のマルチビーム方式レーダ装置、マルチビーム方式レーダ方法およびマルチビーム方式レーダプログラム
US8988299B2 (en) 2011-02-17 2015-03-24 International Business Machines Corporation Integrated antenna for RFIC package applications
US20120280900A1 (en) 2011-05-06 2012-11-08 Nokia Corporation Gesture recognition using plural sensors
DE102011100907A1 (de) 2011-05-09 2012-01-12 Daimler Ag Vorrichtung und Verfahren zur Ermittlung eines Fahrbahnzustands
DE102011075725A1 (de) 2011-05-12 2012-11-15 Robert Bosch Gmbh Verfahren zum Erkennen von Gesten
US8860532B2 (en) 2011-05-20 2014-10-14 University Of Central Florida Research Foundation, Inc. Integrated cavity filter/antenna system
US9183686B2 (en) 2011-07-12 2015-11-10 Tyco Fire & Security Gmbh Method and system for people counting using passive infrared detectors
WO2013059801A1 (en) 2011-10-20 2013-04-25 Waveconnex, Inc. Low-profile wireless connectors
EP2788838A4 (en) 2011-12-09 2015-10-14 Nokia Technologies Oy METHOD AND APPARATUS FOR IDENTIFYING A GESTURE AFTER THE FUSION OF MULTIPLE SENSOR SIGNALS
US9202105B1 (en) 2012-01-13 2015-12-01 Amazon Technologies, Inc. Image analysis for user authentication
ITTO20120417A1 (it) * 2012-05-09 2013-11-10 St Microelectronics Srl Procedimento e dispositivi per elaborare segnali radar, ad esempio per sistemi di sicurezza stradale, relativo prodotto informatico
CN102788969B (zh) 2012-07-04 2015-01-28 中国人民解放军海军航空工程学院 基于短时分数阶傅里叶变换的海面微动目标检测和特征提取方法
US9678573B2 (en) 2012-07-30 2017-06-13 Microsoft Technology Licensing, Llc Interaction with devices based on user state
US20140070994A1 (en) 2012-09-13 2014-03-13 Toyota Motor Engineering & Manufacturing North America, Inc. 3d short range detection with phased array radar
US9196951B2 (en) 2012-11-26 2015-11-24 International Business Machines Corporation Millimeter-wave radio frequency integrated circuit packages with integrated antennas
CN102967854B (zh) 2012-12-07 2014-08-13 中国人民解放军海军航空工程学院 Frft域海杂波中目标的多重分形检测方法
CN104871295B (zh) 2012-12-26 2018-07-06 日立化成株式会社 扩展方法、半导体装置的制造方法、及半导体装置
US8836596B2 (en) 2013-01-15 2014-09-16 Cubic Corporation Filter antenna
US9413079B2 (en) 2013-03-13 2016-08-09 Intel Corporation Single-package phased array module with interleaved sub-arrays
KR101480348B1 (ko) 2013-05-31 2015-01-09 삼성에스디에스 주식회사 사람 검출 장치 및 방법과 사람 계수 장치 및 방법
US9459339B2 (en) 2013-06-13 2016-10-04 Texas Instruments Incorporated Kalman filter for indoor positioning
CN103529444A (zh) 2013-09-27 2014-01-22 安徽师范大学 一种车载毫米波雷达动目标识别器及识别方法
CN107041169B (zh) 2013-10-07 2019-05-03 Gn奈康有限公司 具有光学传感器的耳机设备
US9753131B2 (en) 2013-10-09 2017-09-05 Massachusetts Institute Of Technology Motion tracking via body radio reflections
US9759807B2 (en) 2013-10-25 2017-09-12 Texas Instruments Incorporated Techniques for angle resolution in radar
US9773742B2 (en) 2013-12-18 2017-09-26 Intel Corporation Embedded millimeter-wave phased array module
US20150181840A1 (en) 2013-12-31 2015-07-02 i4c Innovations Inc. Ultra-Wideband Radar System for Animals
JP2015141109A (ja) 2014-01-29 2015-08-03 富士通テン株式会社 レーダ装置、及び、信号処理方法
US9704769B2 (en) 2014-02-27 2017-07-11 STATS ChipPAC Pte. Ltd. Semiconductor device and method of forming encapsulated wafer level chip scale package (EWLCSP)
CN203950036U (zh) 2014-03-12 2014-11-19 肖令军 一种基于毫米波雷达测距的有人无人直升机避撞系统
US9921657B2 (en) 2014-03-28 2018-03-20 Intel Corporation Radar-based gesture recognition
CN106415454A (zh) 2014-04-30 2017-02-15 Lg伊诺特有限公司 触控设备、具有该触控设备的可穿戴设备及触控识别方法
US9575560B2 (en) 2014-06-03 2017-02-21 Google Inc. Radar-based gesture-recognition through a wearable device
US9666553B2 (en) 2014-06-16 2017-05-30 Texas Instruments Incorporated Millimeter wave integrated circuit with ball grid array package including transmit and receive channels
WO2015200710A2 (en) 2014-06-25 2015-12-30 University Of Washington Devices, systems, and methods for detecting gestures using multiple antennas and/or reflections of signals transmitted by the detecting device
US10627480B2 (en) 2014-07-17 2020-04-21 Texas Instruments Incorporated Distributed radar signal processing in a radar system
US9921660B2 (en) 2014-08-07 2018-03-20 Google Llc Radar-based gesture recognition
US9811164B2 (en) 2014-08-07 2017-11-07 Google Inc. Radar-based gesture sensing and data transmission
US10094920B2 (en) 2014-08-27 2018-10-09 Texas Instruments Incorporated Range resolution in FMCW radars
US9784828B2 (en) 2014-08-27 2017-10-10 Texas Insturments Incorporated FMCW doppler processing algorithm for achieving CW performance
US9600080B2 (en) 2014-10-02 2017-03-21 Google Inc. Non-line-of-sight radar-based gesture recognition
US10539669B2 (en) 2014-10-08 2020-01-21 Texas Instruments Incorporated Three dimensional (3D) tracking of objects in a radar system
US10634778B2 (en) 2014-10-21 2020-04-28 Texas Instruments Incorporated Camera assisted tracking of objects in a radar system
US20160118353A1 (en) 2014-10-22 2016-04-28 Infineon Techologies Ag Systems and Methods Using an RF Circuit on Isolating Material
KR20160058594A (ko) 2014-11-17 2016-05-25 삼성전자주식회사 로봇 청소기, 단말장치 및 그 제어 방법
US9733340B2 (en) 2014-11-21 2017-08-15 Texas Instruments Incorporated Techniques for high arrival angle resolution using multiple nano-radars
US9829566B2 (en) 2014-11-25 2017-11-28 Texas Instruments Incorporated Controlling radar transmission to enable interference mitigation
US20160306034A1 (en) 2014-12-23 2016-10-20 Infineon Technologies Ag RF System with an RFIC and Antenna System
US10317512B2 (en) 2014-12-23 2019-06-11 Infineon Technologies Ag RF system with an RFIC and antenna system
US9921295B2 (en) 2014-12-30 2018-03-20 Texas Instruments Incorporated Multiple chirp generation in a radar system
US9696359B2 (en) 2014-12-31 2017-07-04 Texas Instruments Incorporated Dynamic measurement of frequency synthesizer noise spurs or phase noise
JP6567832B2 (ja) 2015-01-29 2019-08-28 日本電産株式会社 レーダシステム、レーダ信号処理装置、車両走行制御装置および方法、ならびにコンピュータプログラム
US10622694B2 (en) 2015-02-12 2020-04-14 Texas Instruments Incorporated Dielectric waveguide radar signal distribution
US9817109B2 (en) 2015-02-27 2017-11-14 Texas Instruments Incorporated Gesture recognition using frequency modulated continuous wave (FMCW) radar with low angle resolution
US10168785B2 (en) 2015-03-03 2019-01-01 Nvidia Corporation Multi-sensor based user interface
EP3270762B1 (en) 2015-03-16 2019-01-23 Duepuntozero S.r.l. Device for tracheal intubation
US10067221B2 (en) 2015-04-06 2018-09-04 Texas Instruments Incorporated Interference detection in a frequency modulated continuous wave (FMCW) radar system
US9835714B2 (en) 2015-04-09 2017-12-05 Texas Instruments Incorporated Circuit and method for impedance detection in millimeter wave systems
US10139916B2 (en) 2015-04-30 2018-11-27 Google Llc Wide-field radar-based gesture recognition
KR102236958B1 (ko) 2015-04-30 2021-04-05 구글 엘엘씨 제스처 추적 및 인식을 위한 rf―기반 마이크로―모션 추적
US9853365B2 (en) 2015-05-05 2017-12-26 Texas Instruments Incorporated Dynamic programming of chirps in a frequency modulated continuous wave (FMCW) radar system
US10613208B2 (en) 2015-05-15 2020-04-07 Texas Instruments Incorporated Low complexity super-resolution technique for object detection in frequency modulation continuous wave radar
US20160349845A1 (en) 2015-05-28 2016-12-01 Google Inc. Gesture Detection Haptics and Virtual Tools
US9806040B2 (en) 2015-07-29 2017-10-31 STATS ChipPAC Pte. Ltd. Antenna in embedded wafer-level ball-grid array package
US10048354B2 (en) 2015-08-13 2018-08-14 Texas Instruments Incorporated Chirp frequency non-linearity mitigation in radar systems
US20170054449A1 (en) 2015-08-19 2017-02-23 Texas Instruments Incorporated Method and System for Compression of Radar Signals
US10555256B2 (en) 2015-09-08 2020-02-04 Texas Instruments Incorporated Re-sampling with reduced power consumption and complexity
US10078131B2 (en) 2015-09-15 2018-09-18 Texas Instruments Incorporated Method and apparatus for FMCW radar processing
US9886095B2 (en) 2015-09-24 2018-02-06 Stmicroelectronics Sa Device and method for recognizing hand gestures using time-of-flight sensing
US10061015B2 (en) 2015-09-30 2018-08-28 Texas Instruments Incorporated Multi-chip transceiver testing in a radar system
US10234542B2 (en) 2015-09-30 2019-03-19 Texas Instruments Incorporated Measurement of transceiver performance parameters in a radar system
US10718852B2 (en) 2015-10-23 2020-07-21 Texas Instruments Incorporated RF/mm-wave peak detector with high-dynamic range calibration
US9759808B2 (en) 2015-11-12 2017-09-12 Texas Instruments Incorporated Buffer sample size control for variable chirp radar
WO2017084700A1 (de) 2015-11-17 2017-05-26 Vega Grieshaber Kg Antennenvorrichtung und verfahren zum senden und/oder empfangen eines signals
KR102427185B1 (ko) 2015-12-09 2022-08-01 삼성전자 주식회사 스위치 운용 방법 및 이를 지원하는 전자 장치
US10746851B2 (en) 2015-12-18 2020-08-18 Texas Instruments Incorporated Circuits and methods for determining chirp signal linearity and phase noise of a FMCW radar
US10599518B2 (en) 2015-12-31 2020-03-24 Texas Instruments Incorporated Protecting data memory in a signal processing system
US10530053B2 (en) 2016-01-13 2020-01-07 Infineon Technologies Ag System and method for measuring a plurality of RF signal paths
US9965043B2 (en) 2016-01-27 2018-05-08 Wipro Limited Method and system for recommending one or more gestures to users interacting with computing device
US10514770B2 (en) 2016-06-17 2019-12-24 Texas Instruments Incorporated Hidden Markov model-based gesture recognition with FMCW radar
US20180046255A1 (en) 2016-08-09 2018-02-15 Google Inc. Radar-based gestural interface
CN106980362A (zh) 2016-10-09 2017-07-25 阿里巴巴集团控股有限公司 基于虚拟现实场景的输入方法及装置
US10949736B2 (en) * 2016-11-03 2021-03-16 Intel Corporation Flexible neural network accelerator and methods therefor
US9935065B1 (en) 2016-12-21 2018-04-03 Infineon Technologies Ag Radio frequency device packages and methods of formation thereof
US10795012B2 (en) 2018-01-22 2020-10-06 Infineon Technologies Ag System and method for human behavior modelling and power control using a millimeter-wave radar sensor
CN111433627B (zh) * 2018-04-05 2023-09-22 谷歌有限责任公司 使用机器学习执行角估计的基于智能设备的雷达系统
US10775482B2 (en) 2018-04-11 2020-09-15 Infineon Technologies Ag Human detection and identification in a setting using millimeter-wave radar

Also Published As

Publication number Publication date
US11719787B2 (en) 2023-08-08
EP3992661A1 (en) 2022-05-04
US20220137181A1 (en) 2022-05-05
EP3992661B1 (en) 2024-10-23

Similar Documents

Publication Publication Date Title
CN114442088A (zh) 基于雷达的目标组生成
US12032089B2 (en) FMCW radar with interference signal suppression using artificial neural network
Waldschmidt et al. Automotive radar—From first efforts to future systems
CN110316148B (zh) 控制对车辆的访问的系统、方法及计算机存储介质
US11885903B2 (en) FMCW radar with interference signal suppression using artificial neural network
CN111157981B (zh) 多入多出调频连续波雷达系统
US11907829B2 (en) FMCW radar with interference signal suppression using artificial neural network
EP3812791B1 (en) Integration of tracking with classifier in mmwave radar
CN107450070B (zh) 基于目标跟踪的相控阵雷达波束和驻留时间联合分配方法
Alizadeh et al. Low-cost low-power in-vehicle occupant detection with mm-wave FMCW radar
Santra et al. Deep learning applications of short-range radars
CN114545389A (zh) 用于目标感测的基于雷达的跟踪器
EP4047391B1 (en) Radar-based target tracker
EP3971603A1 (en) Radar interference mitigation
Davoli et al. Machine learning and deep learning techniques for colocated MIMO radars: A tutorial overview
WO2022139843A1 (en) Radar apparatus, system, and method
EP3864434A1 (en) Resolving radar angle ambiguities using a multiple hypothesis tracker
Jin et al. Design and implementation of FMCW surveillance radar based on dual chirps
CN113325410B (zh) 一种雷达天线信号处理方法、装置、控制设备及存储介质
Ninos et al. Multi-user macro gesture recognition using mmwave technology
EP4130782A2 (en) Scene-adaptive radar
EP4300132A1 (en) Radar device and method of operating a radar device
EP4417998A1 (en) Fine-near-range estimation method for automotive radar applications
US20240134008A1 (en) Frequency modulated continuous wave radar system with object classifier
CN117741603A (zh) 基于雷达的分段存在检测

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination