CN113970743A - 对车辆附近的对象进行检测的方法和系统 - Google Patents

对车辆附近的对象进行检测的方法和系统 Download PDF

Info

Publication number
CN113970743A
CN113970743A CN202110843128.4A CN202110843128A CN113970743A CN 113970743 A CN113970743 A CN 113970743A CN 202110843128 A CN202110843128 A CN 202110843128A CN 113970743 A CN113970743 A CN 113970743A
Authority
CN
China
Prior art keywords
computer
data
implemented method
radar
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110843128.4A
Other languages
English (en)
Inventor
M·莫伊特
J·库里安
苏煜
J·西格蒙德
牛志恒
S·莱斯曼
S·哈利利·德科尔迪
F·卡斯特纳
I·科萨茨基
S·拉布施
A·格鲁姆佩
M·舒尔勒
M·卢塞克
朱维檬
A·贝克
D·斯帕塔
K·科莱克
M·博朗
S·罗斯勒
A·森纳摩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aptiv Technologies Ltd
Original Assignee
Aptiv Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aptiv Technologies Ltd filed Critical Aptiv Technologies Ltd
Publication of CN113970743A publication Critical patent/CN113970743A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87—Combinations of radar systems, e.g. primary radar and secondary radar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/28—Details of pulse systems
    • G01S7/285—Receivers
    • G01S7/295—Means for transforming co-ordinates or for evaluating data, e.g. using computers
    • G01S7/2955—Means for determining the position of the radar coordinate system for evaluating the position data of the target in another coordinate system
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本公开涉及对车辆附近的对象进行检测的方法和系统。一种对车辆附近的对象进行检测的计算机实现方法包括由计算机硬件部件执行的以下步骤：从雷达传感器获取雷达数据；基于雷达数据来确定多个特征；将所述多个特征提供给单个检测头；以及基于单个检测头的输出来确定对象的多个特性。

Description

对车辆附近的对象进行检测的方法和系统
技术领域
本公开涉及对车辆附近的对象进行检测的方法和系统。
背景技术
对象检测是各种任务的必要先决条件，特别是在自动驾驶车辆中。
因此，需要提供高效且可靠的对象检测。
发明内容
本公开提供了计算机实现方法、计算机系统和非暂时性计算机可读介质。在说明书和附图中给出了实施方式。
在一方面，本公开涉及一种对车辆附近的对象进行检测的计算机实现方法，所述方法包括由计算机硬件部件执行的以下步骤：从雷达传感器获取雷达数据；基于雷达数据来确定多个特征；将多个特征提供给单个检测头；以及基于单个检测头的输出来确定对象的多个特性。
利用这样的结构，特征被提供给恰好一个层(即，只提供给一个层，而不是超过一个层)，并且该层的输出恰好被提供给随后的一个层，依此类推，并且最后层的输出提供了要确定的特性。
根据另一方面，特征中的各个特征(换言之：与特征相对应的数据线)连接至单个检测头的输出端。已经发现，利用这样的结构，特征可以对特性中的各个特性产生影响，使得可以使用单个检测头来确定所有特性。
根据另一方面，单个检测头包括顺序地布置的多个层。可以将特征提供给第一层，并且可以将第一层的输出提供给第二层，以此类推。最后层的输出可以提供所确定的特性。所述层中的一个或更多个(或所有)层可以是卷积层。
根据另一方面，单个检测头不具有并行布置的多个层。并行的层可以导致分开的检测路径，其中，一个层的输出可能不会连接至并行结构中的后续层。与此相反，根据各种实施方式，单个检测头不具有这样的并行层，使得一个层的每一输出都可能影响后续层(即使可以训练零(0)的权重，使得输出实际上没有任何影响)。
根据另一方面，特征是使用人工神经网络确定的。将理解，用于确定特征的人工神经网络可以与单个检测头分开提供(使得单个检测头提供分开的人工神经网络)或与单个检测头组合(使得用于确定特征的人工神经网络和单个检测头提供单个组合人工神经网络)。
根据另一方面，单个检测头是同时针对特性中的所有特性训练的。此外，可以与确定特征的人工神经网络同时训练单个检测头。
根据另一方面，多个特性包括对象的类、对象的大小或对象的偏航角中的至少两项。将理解，可以确定所需的任何其它特性；然后可以使用合适的训练数据(例如，示出了雷达检测结果和标记检测结果的数据，其中，可以手动地或通过监督学习来提供标记检测结果)对特征进行检测来训练检测头和这些特征。
根据另一方面，所述计算机实现方法还包括由计算机硬件部件执行的以下步骤：基于雷达数据来确定雷达数据立方体；将雷达数据立方体提供给神经网络的多个层；将多个层的输出重采样至车辆坐标系；以及基于经重采样的输出来确定多个特征。已经发现，将统一检测头应用于雷达网提供了增强的检测结果和降低的计算复杂度。
根据另一方面，所述计算机实现方法还包括由计算机硬件部件执行的以下步骤：融合来自多个雷达传感器的数据；其中，多个特征是基于所融合的数据确定的。已经发现，还使用来自另外的雷达传感器的数据(即，多个雷达传感器的数据)来确定特征可以增强检测结果。
根据另一方面，所述计算机实现方法还包括由计算机硬件部件执行的以下步骤：从摄像头获取摄像头数据；其中，多个特征是进一步基于摄像头数据确定的。已经发现，还使用摄像头数据来确定特征可以增强检测结果。
根据另一方面，所述计算机实现方法还包括由计算机硬件部件执行的以下步骤：从激光雷达传感器获取激光雷达数据；其中，多个特征是进一步基于激光雷达数据确定的。已经发现，还使用激光雷达数据来确定特征可以增强检测结果。
根据另一方面，所述计算机实现方法还包括由计算机硬件部件执行的以下步骤：基于雷达数据来确定到达角。
在另一方面，本公开涉及一种对车辆附近的对象进行检测的计算机实现方法，所述方法包括由计算机硬件部件执行(换言之：进行)的以下步骤：从雷达传感器获取雷达数据；基于雷达数据来确定雷达数据立方体；将雷达数据立方体提供给神经网络的多个层(例如，卷积(al)层或内积)；将多个层的输出重采样至车辆坐标系；以及基于经重采样的输出来检测对象。
换言之，可以在各种域中获取雷达数据和处理雷达数据，并且可以将各种域中的数据用于对象检测。
根据另一方面，所述计算机实现方法还包括由计算机硬件部件执行的以下步骤：融合来自多个雷达传感器的数据；以及基于所融合的数据来检测对象。
根据另一方面，所述计算机实现方法还包括由计算机硬件部件执行的以下步骤：从摄像头获取摄像头数据；其中，还基于摄像头数据来检测对象。
根据另一方面，所述计算机实现方法还包括由计算机硬件部件执行的以下步骤：从激光雷达传感器获取激光雷达数据；其中，还基于激光雷达数据来检测对象。
根据另一方面，所述计算机实现方法还包括由计算机硬件部件执行的以下步骤：基于雷达数据立方体来确定到达角。
根据另一方面，其中，到达角是使用具有多个层(例如，多个全连接层)的人工网络来检测(换言之：确定)的。
使用人工网络允许从校准到特定传感器布置和可能的传感器未对准的结果的独立性。
根据另一方面，其中，人工神经网络还包括脱落(dropout)层。脱落层可以增加处理的鲁棒性。
根据另一方面，还基于回归子网来检测对象。回归网络可以组合来自摄像头、激光雷达传感器和各种雷达域的数据。
根据另一方面，回归子网包括U形网络和LSTM中的至少一者。
根据另一方面，回归子网包括自我运动补偿模块。自我运动补偿可以假设在回归子网中组合的数据是在同一坐标系中提供的，即使来自各种时间步长的数据被组合。
根据另一方面，自我运动补偿模块对前一时间步长的循环网络的输出进行自我运动补偿，并且将自我运动补偿的结果输入到当前时间步长的循环网络中。
根据另一方面，自我运动补偿模块执行插值，其中，插值包括最近邻居插值并且还包括对移动的其余部分进行记录。这可以避免位置随时间推移的漂移(由于位置误差的累积)。
在另一方面，本公开涉及一种计算机系统，所述计算机系统包括多个计算机硬件部件，所述多个计算机硬件部件被配置成执行本文所述的计算机实现方法的多个或全部步骤。所述计算机系统可以是车辆的一部分。
所述计算机系统可以包括多个计算机硬件部件(例如，处理器(例如，处理单元或处理网络)、至少一个存储器(例如，存储器单元或存储器网络)和至少一个非暂时性数据存储部)。将理解，可以提供另外的计算机硬件部件并将其用于在计算机系统中执行计算机实现方法的步骤。非暂时性数据存储部和/或存储器单元可以包括计算机程序，所述计算机程序用于指示计算机例如使用处理单元和至少一个存储器单元来执行本文所述的计算机实现方法的多个或全部步骤或方面。
在另一方面，本公开涉及一种包括计算机系统和雷达传感器的车辆。
在另一方面，本公开涉及一种非暂时性计算机可读介质，所述非暂时性计算机可读介质包括用于执行本文所述的计算机实现方法的多个或全部步骤或方面的指令。计算机可读介质可以被配置成：光学介质，诸如光盘(CD)或数字通用盘(DVD)；磁性介质，诸如硬盘驱动器(HDD)；固态驱动器(SSD)；只读存储器(ROM)，诸如闪存等。此外，计算机可读介质可以被配置成可经由诸如互联网连接的数据连接访问的数据存储部。计算机可读介质可以例如是在线数据存储库或云存储部。
本公开还涉及一种计算机程序，所述计算机程序用于指示计算机执行本文所述的计算机实现方法的多个或全部步骤或方面。
附图说明
本文结合以下附图描述本公开的示例性实施方式和功能，附图示意性地示出了：
图1是根据各种实施方式的RaDOR.Net的结构；
图2是根据各种实施方式的多域到达方向估计神经网络的第一实施方式的例示图；
图3是根据各种实施方式的多域到达方向估计神经网络的第二实施方式的例示图；
图4是静止数据集和移动对象数据集的结果的例示图；
图5是经典预处理角度寻找之后和根据各种实施方式的通过机器学习进行角度寻找之后的占用网格映射的例示图；
图6是占用网格图场景的例示图；
图7是根据各种实施方式的循环神经网络中的自我运动补偿的流水线(pipeline)的例示图；
图8是例示了根据各种实施方式的对车辆附近的对象进行检测的方法的流程图；
图9是具有多个计算机硬件部件的计算机系统，所述多个计算机硬件部件被配置为执行根据各种实施方式的用于对象检测的计算机实现方法的步骤；
图10是根据各种实施方式的针对雷达数据执行的处理的例示图；
图11是根据各种实施方式的多天线FMCW雷达布置的例示图；
图12是根据各种实施方式的如何确定数据立方体的例示图；
图13是根据各种实施方式的用于雷达的深度网络的例示图；
图14是根据各种实施方式的网络输入的例示图；
图15是根据各种实施方式的Rador net的概述的例示图；
图16是根据各种实施方式的用于角度寻找的神经网络的例示图；
图17是根据各种实施方式的距离变化率压缩的例示图；
图18是根据各种实施方式的坐标转换的例示图；
图19是根据各种实施方式的传感器融合的例示图；
图20是根据各种实施方式的时间融合的例示图；
图21是根据各种实施方式的时间融合的例示图；
图22是根据各种实施方式的金字塔结构的例示图；
图23是根据各种实施方式的Rador net的布局的例示图；
图24是非统一检测头的例示图；
图25是根据各种实施方式的统一检测头的例示图；以及
图26是例示了根据各种实施方式的对车辆附近的对象进行检测的方法的流程图。
具体实施方式
雷达信号处理在其核心方面与图像处理有许多相似之处。可以使用FFT(快速傅立叶变换)来生成距离多普勒图，其中在旁瓣抑制之后，使用可变阈值来识别高于局部噪声级的峰值。这些波束向量可以随后被滤波，并且最终可以应用超分辨率角度寻找方法。
图10示出了针对雷达数据(例如，针对FMCW雷达(调频连续波雷达))执行的处理的例示图1000。FMCW雷达是有源传感器，其根据出射波与入射波之间的时间差来测量距离。FMCW雷达生成具有交替频率(换言之：频率斜坡1002，其可以称为啁啾)的连续波。对发送的信号和接收的信号进行下混合(downmix)产生IF(中频)信号。快速时间(1啁啾的持续时间)IF信号的频率与目标距离(换言之：距离)成正比。在长时间(慢时间)内测量的沿着多个啁啾的相位变化与由反射器径向移动引起的相对径向多普勒频移成正比。因此，接收的信号可以被变换到多普勒距离图1004中，其中每天线一个平面。
图11示出了多天线FMCW雷达布置的例示图1100。例示了多个天线1102。反射波1104以不同相位命中(hit)不同天线1102。相移引起天线阵列上的频率，该频率与到达方向(DOA)的cos成正比。
2D FFT(快速傅立叶变换)可以将各个天线的输入信号分解为频率分量，从而分解为距离和多普勒。目标在综合的距离多普勒图中可以表现为峰值，高于特定能量级的峰值可以用FFT/DOA估计方法处理，并且可以用于检测具有特定距离多普勒值的目标的到达方向。可以提取能量(rcs)，从而重新缩放以缩放到输出单元系统，并且可以提供外观类型(looktype)补偿、检测点云生成以及跟踪和对象假设生成，如本文更详细描述的。
图12示出了如何确定数据立方体的例示图1200。
可以针对形成检测列表的其余峰值生成外观类型补偿多普勒和距离值以及RCS(雷达截面)值。检测列表可以被变换为笛卡尔坐标，并且可以由跟踪器对测量值进行处理，该跟踪器对错误进行过滤，并根据闪烁的检测结果以及边界框来创建时间稳定的轨迹。深度(人工神经)网络可以用于图像处理、语言处理和其它领域。深度架构已被证明向之前的手工算法、特征工程和分类传送卓越的结果。问题是如何进行以下操作：
·将经典的处理形式平移到深度网络；
·如何在环境图上生成边界框；
·寻找波束向量的角度；
·使高级框假设生成算法访问低级数据；
·融合多个雷达的数据；以及
·解决域问题(雷达在RD空间中工作)。
可以提供外观类型来处理采样问题：信号的采样需要遵守Nyquist采样定理，并且违反Nyquist采样定理将导致重构信号中的歧义。可以通过低通滤波去除高于fsampling/2的频率来针对距离求解该问题。关于多普勒，将不同分辨率用于不同扫描(外观类型)会产生不同歧义结果，然后可以使用时间融合方法(例如，跟踪)通过使用同一对象的至少两个检测来求解歧义。在该上下文中，距离外观类型是指距离的不同分辨率，使得也可以获得更精细的分辨率(每第n帧)。例如，数据立方体可以包括不同分辨率，例如，四个不同分辨率(换言之：四个外观类型)。
根据各种实施方式，可以提供可以称为RaDOR.Net(雷达深度对象识别网络)的网络来解决这些问题。
与传统方法相比，各种实施方式可以允许优异的性能并且可以提供数据驱动的性能增益。
图1示出了根据各种实施方式的RaDOR.Net的结构100，其可以允许使用来自不同域(例如，CDC域118、极域120、VCS(车辆坐标系)传感器域122和VCS融合域124)的输入，例如在预处理模块114中对雷达数据112进行预处理到网络102使用。网络102可以包括可以接收摄像头数据104的摄像头子网络106、可以接收激光雷达数据108的激光雷达子网络110以及可以从各种域接收数据的雷达子网络116。
在完整的端到端流水线中，仅可以使用来自CDC域118的输入。
作为输入，可以使用3D压缩数据立方体(CDC)112。该立方体可以是稀疏的，因为可以抑制低于CFAR(恒定误报率)水平的所有波束向量。可以对波束向量中的缺失的天线要素进行插值。可以应用校准并且可以根据雷达方程来缩放bin值。根据各种实施方式，可以使用未经压缩的数据立方体，并且可以利用基于ML(机器学习)的bin抑制方法。
来自CDC域118的数据可以用在CDC域子网126中。在CDC域子网126中，在距离多普勒图的各个波束向量上，应用角度寻找网络。该网络可以是MLP(多层感知器)，其可以跨所有波束向量共享相同参数，或者更复杂，如下面更详细描述的。CDC域子网络126可以创建随后可以用卷积层处理以对输入进行过滤的距离、角度、多普勒立方体。
来自极域120的数据可以被提供给极域子网128。在极域子网120中，可以根据角度bin(自我速度的不同投影)对多普勒bin进行自我运动补偿。
可以使用编码器子网络将多普勒分量压缩成多个特征图。重采样层可以将不同外观类型映射至公共表示，并且坐标转换重采样层可以将特征平面从极坐标转换至笛卡尔特征平面输出。为了减轻插值伪影的问题，可以将两个对话组合成一个步骤。
这种变换背后的想法是处理特征空间中的另外的信息，其中针对平移，对象形状是不变的(例如，可以在该空间的不同空间位置应用相同的卷积)。
可以提供外观类型变换器130、极坐标系到车辆坐标系变换器132和自我运动变换器134。
来自VCS传感器域122的数据可以被提供给VCS传感器域子网136。在VCS传感器域子网136中，可以应用最大池化来融合不同雷达的结果，以生成对来自所有雷达的观察特征平面进行组合的特征平面。在另外的实施方式中，可以应用其它融合方法(如选通融合)。可以提供传感器融合模块138。
来自VCS融合域124的数据可以被提供给VCS融合域子网140。
各种域子网126、128、136、140可以称为雷达子网116。
在回归子网络142中，可以接收来自摄像头子网络106、激光雷达子网络110和雷达子网络116的数据。
回归子网络142可以包括U形网络144、LSTM(长短期记忆)146和自我运动变换器148，并且可以提供输出150。
可以使用U形网络144来检测对象。可以使用自我运动补偿循环网络(如LSTM146)来将多个时间步长组合成一个结果。
下面将更详细地描述自我运动变换。变换可以不是在网络内估计的，而是可以在网络外生成的。
根据各种实施方式的RaDor.Net可以以端到端的方式连接来自一个雷达或来自多个雷达的数据立方体输入和对象输出。
根据各种实施方式，可以提供多域到达方向估计神经网络。
使用雷达系统定位环境中的对象的非常重要的步骤可以是准确地估计接收的从关注的对象反射的电磁信号的入射角。连同距离信息的使用，可以使用该角度来计算对象的位置。由于各种限制(诸如接收的信号中的噪声和多个不需要的反射以及硬件的约束)，角度信息的估计可能是非常具有挑战性的任务。
用于估计到达方向的方法可以使用神经网络架构作为角度估计方法。可以注意到，所有经典的信号处理方法在某种程度上依赖于预定义的模型来估计参数，而根据各种实施方式的神经网络可以是完全数据相关的。该模型还可以包括空间域中均匀采样数据的可用性(例如，基于DFT(离散傅立叶变换)的方法)，这可能需要均匀线性阵列(ULA)或另选地在不满足均匀性的情况下需要插值算法来填充缺失的阵列位置。在其它情况下，可以使用不均匀的传感器阵列布局，但可能需要阵列中要素的精确位置，并且通常必须执行校准处理以校正该要求的不理想情况(包括随时间推移的劣化)。根据各种实施方式的方法在其可以应用于任何阵列几何形状并且甚至可应用于未经校准的阵列的意义上处理该特定问题。
常用的方法主要受到以下事实的影响：当使用允许实时处理数据的基于DFT的方法时，所述常用的方法严重受限于可用硬件的分辨率来估计角度信息。为了克服该限制，通常采用高分辨率方法，所述高分辨率方法计算成本高并且需要一些假设(诸如数据中的已知模型阶数或噪声模型)，所述假设在估计时通常不可用或不可靠。为此，这些技术的性能通常是折衷的。例如，在最大似然估计器中，必须知道或以某种方式(例如，源枚举算法)估计影响阵列的源的数量。此外，根据所使用的方法，这些算法的输出是对应于功率的频谱/伪频谱。相比之下，根据各种实施方式的方法在这个意义上是完全灵活的并且可以被训练以产生各种输出，诸如各个相应角扇区中的占用的概率。
根据各种实施方式的网络可以仅由几个完全连接的(换言之：密集的)层组成。与任何监督神经网络一样，网络性能的组成部分可能是要使用的训练数据。根据各种实施方式，可以使用训练数据来获得数据的各个阵列快照的地面真实角度，这完全独立于快照本身并使用多普勒信息来准确地估计角度。然后使用该地面真实来训练网络，这比阵列硬件所允许的分辨率限制更准确，因此即使已知是有缺陷的，该方法也比使用DFT处理产生更好的分辨率。这也意味着网络可以从快照中的信息学习缺陷，而不会生成关于获得地面真实的误差。
根据各种实施方式，可以在不具有任何预处理的情况下使用输入快照并因此可以获得输入数据的非常低的维度。根据各种实施方式，提供了一种方法，其中通过在网络的早期阶段使用初始化内核，可以将数据变换到功率/能量域以及输出概率的可能性。
在生成用于训练所得网络的地面真实数据方面，来自环境中的静止对象的多普勒信息可以用作关于与基于FFT的方法相关联的分辨率限制问题的途径。然而，通过使用迁移学习方法来训练网络，使用网络的经训练的权重来非常有效地估计所有类型的目标(包括非静止目标)的角度。这很重要，因为可能无法使用多普勒值估计非静止目标的角度，因此对这些目标的训练必须使用直接来自数据快照的有限分辨率。
可以使用根据各种实施方式的网络架构来产生不同域中的输出。可以使用两个稍微不同的网络来训练以输出各个相应角扇区中的占用的概率或能量/功率谱。
图2示出了根据各种实施方式的多域到达方向估计神经网络的第一实施方式的例示图200。由多个密集层204、206、210组成的多层感知器(MLP)可以与批量归一化和整流线性单元(ReLU)结合用作用于除最后层210之外的各个层的激活函数。输入202可以是波束向量或利用该波束向量计算的自相关矩阵。在应用最后密集层210之前，可以使用脱落层208来使训练更加鲁棒。最后层210可以使用sigmoid激活来针对各个输出神经元创建概率。各个输出神经元212可以表示角度bin并且该值指示该角度区域被占用的概率。该架构的优点是它可以用于改变不同输入波束向量中的目标的数量。
将理解，即使图2示出了三个FC(全连接)层204、206、210，也可以提供任何其它数量的全连接层。
图3示出了根据各种实施方式的多域到达方向估计神经网络的第二实施方式的例示图300。
在第二实施方式中，不仅期望知道由雷达检测到的目标的角度，而且还期望取回与各个目标反射的能量的量有关的信息。这意味着网络的输出不再表示各个角度bin被占用的概率。相反，各个神经元表示来自对应角区域的能量的量。因此，在第二实施方式的网络中，在提供输出314的最后层312中去除了(即，不存在)sigmoid激活。因为这种频谱的欧几里德范数与输入波束向量的欧几里德范数相同，所以可能期望强制网络保留输入的能量。为此，可以将附加激活正则化项引入损失函数，该损失函数由输入与输出的范数之间的绝对差组成。该项是用可调整的超参数加权的，并且可以应用于整个网络的输入和输出，也可以应用于各层的输入和输出。在后一种情况下，将不同层的误差相加。网络设计的另一变化是使用一维卷积层作为接收输入数据302的非常第一层304。该层可以表示离散傅立叶变换(DFT)的可学习版本。这意味着该层可以被构造为具有可以用DFT的原子初始化的复值权重。另外，可以在不具有激活和偏置的情况下使用该层。在该卷积层304之后，可以计算该复值输出张量的绝对值306，因为该值表示经典DFT中的幅度。网络的其余部分像在第一实施方式中一样对实值进行操作，使得在确定绝对值306之后，提供全连接层308和脱落层310。
已经在针对SRR4的不同数据集上实现并测试了根据各种实施方式的网络。这可能不仅包括来自消声室校准测量值的干净训练数据，还包括根据移动主体(如汽车的保险杠)的静止场景的多普勒生成的真实场景的训练数据，这有助于还概括关于角度寻找的其它未知影响。由于转移学习方法，所以测试也可以在静止对象和移动对象上进行。因此，已经创建了移动对象的角度寻找数据集，其通过速度过滤从移动目标中挑选波束向量，并将超分辨率技术用于角度寻找(如最大似然估计)来计算角度地面真实(gt)。针对定量分析，分析了精度、召回率(recall)和均方根误差(RMSE)(如
表1中所列的)，针对定性分析，测试了对后续模块(如占用网格映射)的影响。
RMSE 精度 召回率
2层网络 1.3804bin 0.9964 0.9927
3层网络 1.3033bin 0.9982 0.9976
表1
针对这两个数据集，即使在真实场景(图4也描绘了该真实场景)中，经过60次训练后，都取得了良好的性能结果。
为了对后续模块(如占用网格映射)进行测试，网络的角度预测已被引入到SRR4重新模拟方法中，并在图4和图5中进行了可视化。根据各种实施方式的角度寻找网络能够针对预处理数据产生类似结果。
图4示出了关于静止数据集(左；402)和移动对象数据集(右；404)的结果的例示图400。例示了预测角度(即，根据各种实施方式的网络的结果)和地面真实(gt)，并且可以看出，实现了良好的一致性。
图5示出了经典预处理角度寻找之后(左；502)和根据各种实施方式的通过机器学习进行角度寻找之后(右；504)的占用网格映射的例示图500。
图6从后面示出了与图5的图相对应的占用网格图场景的例示图600。
多域到达方向估计神经网络可以独立于阵列数据来估计地面真实、针对阵列错误校准和模型缺陷的鲁棒性、输出域表示的各种可能性、非常低复杂性的网络和架构的简单性以及在输入级使用各种数据表示的能力。
此外，由于极低的计算和复杂性，所以多域到达方向估计神经网络可以适用于嵌入式硬件。可以非常经济有效地执行用于训练网络的数据生成。根据各种实施方式的网络可以用于任意阵列几何形状(这可以简化和放宽硬件设计的限制)，并且可以被训练以在输出端处输出各种类型的频谱(这简化了到其它网络(诸如端到端网络)的集成)。可以扩展网络，以估计仰角和方位角。
根据各种实施方式，可以提供一种用于循环网络中的自我运动补偿的方法。
占用网格是用于随时间推移累积和融合信息的公知工具。建立占用网格一方面需要创建逆传感器模型，并且另一方面需要随时间推移组合信息，通常通过自我运动补偿过去传感器数据并将过去传感器数据和当前传感器数据相加。
根据各种实施方式，在深度网络中，用于传感器信息预处理的一些层可以与循环神经元网络组合。隐藏状态可以是自我运动补偿的，从而允许网络在本地将过去数据和当前数据彼此相关，并训练占用网格的预期输出，例如，使用激光雷达。这种架构可以允许学习传感器模型以及最佳组合方法和数据加权适用于实际情况。
图7示出了根据各种实施方式的循环神经网络中的自我运动补偿的流水线的例示图700。
如图7所示，针对每一个时间步长，预处理网络704(针对时间步长T-1)、712(针对时间步长T)根据原始数据生成中间表示(例如，按照特征通道格式化)并将其输入至循环网络(NW)，例如，LSTM 702(针对时间步长T-1)、710(针对时间步长T)。循环网络702、710可以处理该输入并与其隐藏状态(先前时间步长的记忆)组合，然后更新隐藏状态。经更新的隐藏状态可以传递至下一时间步长，以进行进一步处理。在该处理中，关键部分可以是如何组合经处理的输入(IT)和从前一时间步长传递的隐藏状态(HT-1)。通常它们在不同坐标系中，因为自我车辆正在移动。
根据各种实施方式，HT-1可以(例如通过自我补偿模块706)迁移至时间步长T的坐标系，然后可以与IT组合。然后可以通过例如卷积来处理所组合的表示，以提供经更新的隐藏状态HT。HT-1的变换可以在时间步长T由自我运动708确定，其可以来自外部输入或经处理的数据。变换可以被格式化为网格，该网格可以具有与隐藏状态相同的空间大小，并且可以告知如何将隐藏状态的每一个要素移动至当前坐标系。
为了将隐藏状态的要素移动至新的位置，可能需要插值。可以使用双线性插值，这给出平滑的输出。然而，平滑可能会导致大量有用信息的丢失。例如，如果要素包括移动对象的速度信息，则对该速度值进行平滑没有任何意义，并且这种拖尾效应(smearingeffect)可能会影响对象检测的性能。通过使用最近邻居插值，可以避免拖尾效应，但可能导致移动不再准确。这种位置误差可能会随时间推移而累积，这可能会在一些时间步长后导致错误的移动。根据各种实施方式，可以采用最近邻居插值，并且可以记录移动的其余部分。针对每一个时间步长，可以组合来自当前帧的变换网格和来自前一帧的其余部分，以给出准确的移动，并将新的其余部分传递至下一时间步长。
图8示出了流程图800，该流程图例示了根据各种实施方式的对车辆附近的对象进行检测的方法。在802，可以从雷达传感器获取雷达数据。在804，可以基于雷达数据来确定雷达数据立方体。在806，可以将雷达数据立方体提供给(人工)神经网络的多个层。在808，可以将多个层的输出重采样至车辆坐标系。在810，可以基于经重采样的输出来检测对象。
根据各种实施方式，可以融合来自多个雷达传感器的数据，并且还可以基于所融合的数据来检测对象。
根据各种实施方式，可以从摄像头获取摄像头数据，并且还可以基于摄像头数据来检测对象。
根据各种实施方式，可以从激光雷达传感器获取激光雷达数据，并且还可以基于激光雷达数据来检测对象。
根据各种实施方式，可以基于雷达数据立方体来确定到达角。
根据各种实施方式，可以使用具有多个层(例如，多个全连接层)的人工网络来检测到达角。
根据各种实施方式，人工神经网络还可以包括脱落层。
根据各种实施方式，还可以基于回归子网来检测对象。
根据各种实施方式，回归子网可以包括U形网络和LSTM中的至少一者。
根据各种实施方式，回归子网可以包括自我运动补偿模块。
根据各种实施方式，自我运动补偿模块可以对前一时间步长的循环网络的输出进行自我运动补偿，并且可以将自我运动补偿的结果输入到当前时间步长的循环网络。
根据各种实施方式，自我运动补偿模块可以执行插值，其中，插值包括最近邻居插值并且还包括对移动的其余部分进行记录。
步骤802、步骤804、步骤806、步骤808、步骤810中的每一者以及上述另外的步骤可以由计算机硬件部件来执行。
图9示出了具有多个计算机硬件部件的计算机系统900，所述多个计算机硬件部件被配置为执行根据各种实施方式的用于对象检测的计算机实现方法的步骤。计算机系统900可以包括处理器902、存储器904和非暂时性数据存储部906。至少一个摄像头908、至少一个激光雷达传感器910和至少一个雷达传感器912可以被提供为计算机系统900的一部分(如图9所示)，或者可以提供在计算机系统900的外部。
处理器902可以执行在存储器904中提供的指令。非暂时性数据存储部906可以存储计算机程序，所述计算机程序包括可以传送至存储器904然后由处理器902执行的指令。
处理器902、存储器904和非暂时性数据存储部906可以例如经由电气连接914(例如，如电缆或计算机总线)或经由用于交换电气信号的任何其它合适的电气连接彼此联接。至少一个摄像头908、至少一个激光雷达传感器910和/或至少一个雷达传感器912可以例如经由外部接口联接至计算机系统900，或者可以作为计算机系统的多个部分提供(换言之：在计算机系统内部，例如经由电气连接914联接)。
用语“联接”或“连接”旨在分别包括直接“联接”(例如，经由物理链接)或直接“连接”以及间接“联接”或间接“连接”(例如，经由逻辑连接)。
将理解，针对上述方法中的一者描述的内容可以类似地适用于计算机系统900。
图13示出了根据各种实施方式的用于雷达的深度网络(其可以称为Rador net)的例示图1300。可以使用2D FFT(1304)来处理雷达数据1302(例如，原始雷达数据)，以获得阈值化的数据立方体1306(例如，如图10和图11所示)。如下面将更详细地描述的，深度神经网络(NN)架构1308可以提供处理、融合和/或跟踪，以获得对象轨迹边界框1310、行人轨迹边界框1312和/或语义分割图或护栏分割1314。
根据各种实施方式，Rador net可以提供基于端到端机器学习的解决方案，包括雷达预处理、多个雷达传感器的融合、对象边界框生成和时间融合。“端到端”在这方面可以意味着可以输入雷达数据并且可以在无需提供任何中间学习或参考数据的情况下获得输出(并且可以相应地训练对应网络)。
根据各种实施方式的机器学习解决方案大幅度地优于手动方法并且在最终优化目标上优化各个块而不是指定人为定义的中间结果。
图14示出了根据各种实施方式的网络输入的例示图1400。例示了距离方向1402、距离变化率方向1404、天线方向1406。用于固定距离和固定距离变化率的数据栈(包括各种天线的数据)可以称为波束向量1408(也可以称为数据立方体)。换言之，数据立方体包括阵列中所有天线的复值响应。
输入数据可以是数据立方体或阈值化的数据立方体(也可以称为压缩数据立方体或CDC)。CDC可以只包括所有天线的总和超过噪声阈值(例如，CFAR)的波束向量(及其邻域)。
图15示出了Rador net的概述的例示图1500。可以将数据立方体1502提供给波束向量归一化1504(这可以去除距离依赖性)，接着是NN角度寻找1506(这可以获得大的立方体)，接着是距离变化率压缩1508(这可以使用编码器网络来减少压缩，其中多普勒数据被变换为特征层)，然后是极卷积1510(这可以包括按照极坐标的卷积)，然后是笛卡尔重采样到VCS 1512(例如，在与距离和角度相关的维度上关于向前方向)，接着是传感器融合1514，接着是LSTM时间融合1516，接着是金字塔方法1518，接着是锚估计头1520(这可以针对各个像素估计是否存在对象)，以提供目标1522(例如，其可以包括位置或针对角度、宽度或长度的边界框回归)。
图16示出了用于角度寻找(换言之：用于估计到达方向)的神经网络的例示图1600。可以将复值波束向量1602提供给MLP或另一网络1604，以提供实值角概率谱1606。网络1604可以是学习从源自各个天线的复值信号到实值角度谱的变换的小型网络，该实值角度谱表示各个潜在到达角的目标存在机会(大致对应于FFT，然后是频率到角度变换)。可能不需要对间隙、插值或模型顺序进行特定建模。相同的网络系数可以用于各个距离-多普勒bin并且可以用于将距离-多普勒-天线立方体变换成距离-多普勒-角度立方体1608(其中，例如可以按照1度的分辨率提供角度方向)。
图17示出了根据各种实施方式的距离变化率压缩的例示图1700。距离变化率向量1702可以被重采样到与外观类型无关的频谱1704。可以将距离变化率向量1702或经重采样的向量提供给压缩网络1706，以获得经压缩的距离变化率1708。因此，压缩网络(其可以是编码器网络)可以减少(换言之：压缩)例如512个距离变化率条目、128个距离条目和150个角度条目的数据立方体(其可能太大而无法计算)，以沿着距离变化率维度减少/压缩立方体大小。
例如，未经压缩的立方体可以具有512个距离变化率条目、108个距离条目和150个角度条目，而对应的经压缩的立方体可以具有20个经压缩的距离变化率/特征条目、108个距离条目和150个角度条目。
根据各种实施方式，可以使用网络来直接转换为具体的距离变化率值和权重。
关于根据各种实施方式的极卷积，2d卷积层可以用于极立方体中的信号处理。针对层中的某些层，可以使用不同卷积内核来处理具有不同外观类型的数据。
图18示出了根据各种实施方式的坐标转换(例如，到VCS坐标的转换)的例示图1800。示出了可视区域1802，其中例示了传感器坐标系(按照距离1804和角度1806)。车辆1808可以定义VCS中的坐标(按照x方向1810和y方向1812)。
可以在网络结构内提供从传感器坐标系到车辆坐标系(VCS)的转换。VCS可以是固定在车辆的参考点处的笛卡尔2d/3d坐标系(x轴，y轴，z轴)。传感器坐标系可以是传感器位置处的极坐标系(距离，角度)。
针对从传感器坐标系到车辆坐标系的转换，可以使用双线性插值将各个(多普勒)特征通道重采样到笛卡尔VCS网格。可以在中间步骤中使用高分辨率以避免子采样问题，然后是最大池化分辨率降低。转换的结果可以是笛卡尔数据立方体。
图19示出了根据各种实施方式的传感器融合的例示图1900。VCS特征图1902、1904、1906(每一个来自不同传感器)可以融合(1908)到所融合的VCS特征图1910。
fi(j，x，y)可以表示来自传感器i的j特征图。特征图可以来自不同的经处理的多普勒通道或不同传感器。针对各个j,x,y单元，可以使用ffused(j，x，y)＝fk(j，x，y)来生成所融合的通道ffused(j，x，y)，其中
Figure BDA0003179595860000161
另选地，可以使用其它融合方法，例如，如
Figure BDA0003179595860000162
根据各种实施方式，如MLP网络、关注(attention)和选通机制或其它复杂的传感器融合网络机制的方法可以用于传感器融合。
图20示出了根据各种实施方式的时间融合的例示图2000。来自时间步长t的数据2002可以被提供给LSTM 2008，LSTM 2008也可以涉及来自时间步长t-1的数据2004和来自更先前的时间步长的数据(诸如来自时间步长t-n的数据2006)，所述数据可以向系统提供记忆。LSTM 2008可以在时间步长t输出数据2010。输入数据可以作为笛卡尔输入层提供，并且输出可以作为笛卡尔输出层提供。
利用根据各种实施方式的时间融合，虽然一次雷达扫描可能是嘈杂的和稀疏的，但是可以应用循环神经元网络来融合/聚合来自多个时间步长的信息2002、2004、2006，以生成一个输出2010。卷积LSTM块2008可以用作循环神经元网络结构，以允许对时间步长之间的空间关系和位移进行编码，并避免梯度消失问题。
根据各种实施方式，可以提供自我运动补偿，以改进缓慢移动的目标和静止目标的提取。
图21示出了根据各种实施方式的时间融合的例示图2100。时间T-1(2102)时的汽车可能会看到相对于其自身位置的位置(2106)处的目标(由星星表示)，而时间T(2104)时的同一汽车可能会在时间T在相对于其自身位置的不同位置(2110)处看到同一目标。自我运动补偿块2108(其可以在Rador net的整个网络中提供)可以补偿汽车在各种时间步长之间的运动。
例如，自我运动变换器可以在存储器单元上工作，并且网络可以按照笛卡尔车辆中心坐标表示信息层。因此，如果车辆移动，则也可以通过(例如使用双线性插值)将存储器单元变换到当前时间步长的坐标系来更新存储器特征图的坐标系。
图22示出了根据各种实施方式的金字塔结构的例示图2200。金字塔结构可以包括可以通过池化和上采样获得的各种层2202、2204、2206、2208、2210、2212，并且可以使用金字塔结构来提取上下文特征。各种头2214、2218、2222可以连接至某些金字塔级并且执行特定任务2216、2220、2224，例如，目标分类或边界框回归。
针对各个点，Rador net的输出可以包括该点是行人、车辆还是卡车的中心点的分类。此外，输出可以包括边界框角度一热向量方向分类。可以执行回归，以获得边界框宽度和高度以及速度向量。
针对分类，可以应用焦点损失(focal loss)。
图23示出了Rador net的布局的例示图2300。示出了各种块。第一部分2302中的块与角度寻找相关。第二部分2304中的块与外观类型相关，顶部是外观类型无关卷积，底部是外观类型相关卷积。第三部分2306与笛卡尔处理相关，提供了上采样。第四部分2308与雷达网相关并且向提供特征金字塔网络的第五部分2310提供输入。
第六部分2312提供用于回归和分类的子网络。
将理解，尽管参考RadDOR-Net描述了各种实施方式和方面，但这些实施方式或方面可以在没有RadDOR-Net的组成部分(例如，多域到达方向估计神经网络和/或循环网络中自我运动补偿的方法)的情况下提供。
根据各种实施方式，可以提供用于rador net的后网络(back-network)设计。
根据各种实施方式，可以提供统一的网络头，以提高对象检测的准确度和效率，如下面将描述的。
如上所述，深度学习可以使用适当的架构将原始数据(例如，雷达数据)与高级结果连接。对象检测的目标可以是对场景中的对象进行定位和分类。另外，可以预测另外的对象特性(诸如大小和旋转)。针对该任务的整体网络架构通常是利用共享主干网络构建的，该共享主干网络充当特征提取器。主干部分后面可以有多个并行预测和回归分支，所述多个并行预测和回归分支在考虑到所提取的特征的情况下预测所需的特性(如类和大小)。
可以使用具有自己的可学习参数集的分开的神经网络来实现这些分支中的各个分支。这种架构设计源于基于图像的计算机视觉领域，并取得了巨大的成功。然而，在处理笛卡尔坐标系中自上而下投影的雷达数据时，不同预测目标(如对象的大小和类型)之间可能存在高相关性。该架构设计没有利用高相关性，这导致对可学习参数和计算的需求增加，因为必须在主干部分中学习共享特性。然后必须通过各个相关网络分支(单独)传播这些共享特性。在基于图像的计算机视觉中，输出空间通常并入了立体、缩放和扭曲，并且在这些特性之间通常不存在相关性，因为它不在规则网格上工作。
图24示出了这种非统一检测头的例示图2400。多个特征2402可以(并行地)提供给多个卷积层序列。例如，可以将特征2402提供给卷积层2404、2406、2408、2410的序列，并且基于这些卷积层2404、2406、2408、2410的计算，可以确定对象的一个(并且只有一个)特性(例如，对象的类2412)。同样地，可以将特征2402提供给卷积层2414、2416、2418、2420的序列，并且基于这些卷积层2414、2416、2418、2420的计算，可以确定对象的一个(并且只有一个)特性(例如，对象的大小2422)。此外，可以将特征2402提供给卷积层2424、2426、2428、2430的序列，并且基于这些卷积层2424、2426、2428、2430的计算，可以确定对象的一个(并且只有一个)特性(例如，对象的偏航(角度)2432)。
根据各种实施方式，可以利用新的后台网络设计来扩展rador net网络。扩展的核心是统一先前分开的网络架构，以增加特征共享、减少参数并降低计算复杂度(在训练期间和经训练的网络的应用期间)。
Rador net网络可以在笛卡尔网格中定位和预测对象、该对象的类以及边界框大小、速度向量和取向。所述目标中的目标可以具有高相关性。例如，卡车通常比汽车大得多。因此，在该示例中，对象类型与边界框大小有很强的相关性。速度也是如此；例如，步行的行人通常速度不高。
根据各种实施方式，可以通过新的统一的输出分支来解决不利用不同对象特性之间的高相关性的问题。统一的分支可以替代先前的并行网络设计(例如，图24的非共享预测网络2400)。
图25示出了根据各种实施方式的但是具有统一的方法(即，具有统一的检测头)的网络2500(其可以等同于图24的网络2400)。代替非共享的分开的计算，根据各种实施方式，在同一网络分支(例如，包括顺序地布置的卷积层2504、2506、2508、2510，并且其中，第一卷积层2504提供有特征2502，例如，如本文所述的各种特征图中的一个或更多个特征图)上计算所有输出目标2512(换言之：特性)。
根据各种实施方式的结构(例如，如图25所示)可以为不同目标(换言之：特性)提供高度的特征共享并且允许对象特性的高度交织计算。针对各个目标特性，网络可以使用所有可用信息。同时，这减少了工程师的超参数空间，因为不需要手动平衡不同分支与目标特性之间的权重和计算，这是因为现在可以学习这种平衡(当训练包括图25的结构的人工网络时)。
另外，利用根据各种实施方式的结构，可以更高效地使用参数，因为先前负责通过不同分支(或并行提供的不同层)传输信息的那些参数现在可以用于其它计算。可以尽早组合相关特性，并且不需要优化器(在训练人工神经网络时使用该优化器)来将任何相关计算移动到主干部分中。
为了进一步补偿由于去除分支这一事实而直接导致的参数减少，统一分支中的参数可以比旧架构中的单个分支具有更高的复杂性。然而，由于增加了特征共享，所以参数的数量仍然可以保持低于以前。此外，该过程不仅减少了参数和计算，而且还共同提高了边界框回归和分类准确度。
将理解，虽然已经针对对象检测领域描述了所述架构，但是所述架构也可以应用于其它主题。
图26示出了流程图2600，该流程图例示了根据各种实施方式的对车辆附近的对象进行检测的方法。在2602，可以从雷达传感器获取雷达数据。在2604，可以基于雷达数据来确定多个特征。在2606，可以将多个特征提供给单个检测头。在2608，可以基于单个检测头的输出来检测对象的多个特性。
根据各种实施方式，特征中的各个特征可以连接至单个检测头的输出端。
根据各种实施方式，单个检测头可以包括或可以是顺序地布置的多个层。
根据各种实施方式，单个检测头可以不具有并行布置的多个层。
根据各种实施方式，特征可以是使用人工神经网络确定的。
根据各种实施方式，单个检测头可以是同时针对特性中的所有特性训练的。
根据各种实施方式，多个特性可以包括或可以是对象的类、对象的大小或对象的偏航角中的至少两项。
根据各种实施方式，所述方法还可以包括以下步骤：基于雷达数据来确定雷达数据立方体；将雷达数据立方体提供给神经网络的多个层；将多个层的输出重采样至车辆坐标系；以及基于经重采样的输出来确定多个特征。
根据各种实施方式，所述方法还可以包括以下步骤：融合来自多个雷达传感器的数据；其中，多个特征是基于所融合的数据确定的。
根据各种实施方式，所述方法还可以包括以下步骤：从摄像头获取摄像头数据；其中，多个特征是进一步基于摄像头数据确定的。
根据各种实施方式，所述方法还可以包括以下步骤：从激光雷达传感器获取激光雷达数据；其中，多个特征是进一步基于激光雷达数据确定的。
根据各种实施方式，所述方法还可以包括以下步骤：基于雷达数据来确定到达角。
步骤2602、步骤2604、步骤2606、步骤2608中的每一者以及上述另外的步骤可以由计算机硬件部件来执行。
以下示例涉及另外的实施方式。
在示例1中，一种对车辆附近的对象进行检测的计算机实现方法包括由计算机硬件部件执行的以下步骤：从雷达传感器获取雷达数据；基于所述雷达数据来确定雷达数据立方体；将所述雷达数据立方体提供给神经网络的多个层；将所述多个层的输出重采样至车辆坐标系；以及基于经重采样的输出来检测对象。
在示例2中，示例1所述的计算机实现方法还包括由所述计算机硬件部件执行的以下步骤：融合来自多个雷达传感器的数据；以及还基于所融合的数据来检测所述对象。
在示例3中，示例1和2中的至少一个所述的计算机实现方法还包括由所述计算机硬件部件执行的以下步骤：从摄像头获取摄像头数据；其中，还基于所述摄像头数据来检测所述对象。
在示例4中，示例1至示例3中的至少一个所述的计算机实现方法还包括由所述计算机硬件部件执行的以下步骤：从激光雷达传感器获取激光雷达数据；其中，还基于所述激光雷达数据来检测所述对象。
在示例5中，示例1至示例4中的至少一个所述的计算机实现方法还包括由所述计算机硬件部件执行的以下步骤：基于所述雷达数据立方体来确定到达角。
在示例6中，示例5所述的计算机实现方法还包括以下步骤：使用具有多个层的人工网络来确定所述到达角。
在示例7中，示例6所述的计算机实现方法还包括：人工神经网络还包括脱落层。
在示例8中，示例1至示例7中的至少一个所述的计算机实现方法还包括以下步骤：还基于回归子网来检测所述对象。
在示例9中，示例8所述的计算机实现方法还包括：所述回归子网包括U形网络和LSTM中的至少一者。
在示例10中，示例8或示例9中的至少一个所述的计算机实现方法还包括：所述回归子网包括自我运动补偿模块。
在示例11中，示例10所述的计算机实现方法还包括以下步骤：所述自我运动补偿模块对前一时间步长的循环网络的输出进行自我运动补偿，以及将所述自我运动补偿的结果输入到当前时间步长的循环网络。
在示例12中，示例10或11中的至少一个所述的计算机实现方法还包括以下步骤：所述自我运动补偿模块执行插值，其中，所述插值包括最近邻居插值并且还包括对移动的其余部分进行记录。
在示例13中，一种计算机系统包括多个计算机硬件部件，所述多个计算机硬件部件被配置为执行示例1至12中的至少一个所述的计算机实现方法的步骤。
在示例14中，一种车辆包括根据示例13所述的计算机系统和雷达传感器。
在示例15中，一种非暂时性计算机可读介质包括用于执行示例1至12中的至少一个所述的计算机实现方法的指令。
附图标记列表
100 根据各种实施方式的RaDOR.Net的结构
102 网络
104 摄像头数据
106 摄像头子网络
108 激光雷达数据
110 激光雷达子网络
112 雷达数据
114 预处理模块
116 雷达子网络
118 CDC域
120 极域
122 VCS传感器域
124 VCS融合域
126 CDC域子网
128 极域子网
130 外观类型变换器
132 变换器极->VCS
134 变换器自我运动
136 VCS传感器域子网
138 传感器融合模块
140 VCS融合域子网
142 回归子网络
144 U形网络
146 LSTM
148 自我运动变换器
150 输出
200 根据各种实施方式的多域到达方向估计神经网络的第一实施方式的例示图
202 输入
204 密集层
206 密集层
208 脱落层
210 密集层
212 输出神经元
300 根据各种实施方式的多域到达方向估计神经网络的第二实施方式的例示图
302 输入数据
304 第一层
306 绝对值
308 全连接层
310 脱落层
312 最后层
314 输出
400 结果的例示图
402 关于静止数据集的结果的例示图
404 关于移动对象数据集的结果的例示图
500 占用网格映射的例示图
502 经典预处理角度寻找之后的占用网格映射的例示图
504 根据各种实施方式的通过机器学习进行角度寻找之后的占用网格映射的例示图
600 占用网格图场景的例示图
700 根据各种实施方式的循环神经网络中的自我运动补偿的流水线的例示图
702 针对时间步长T-1的循环网络
704 针对时间步长T-1的预处理网络
706 自我补偿模块
708 自我补偿
710 针对时间步长T的循环网络
712 针对时间步长T的预处理网络
800 例示了根据各种实施方式的用于对象检测的方法的流程图
802 从雷达传感器获取雷达数据的步骤
804 基于雷达数据来确定雷达数据立方体的步骤
806 将雷达数据立方体提供给神经网络的多个层的步骤
808 将多个层的输出重采样至车辆坐标系的步骤
810 基于经重采样的输出来检测对象的步骤
900 根据各种实施方式的计算机系统
902 处理器
904 存储器
906 非暂时性数据存储部
908 摄像头
910 激光雷达传感器
912 雷达传感器
914 连接
1000 针对雷达数据执行的处理的例示图
1002 频率斜坡
1004 多普勒-距离图
1100 多天线FMCW雷达布置的例示图
1102 天线
1104 反射波
1200 如何确定数据立方体的例示图
1300 用于雷达的深度网络的例示图
1302 雷达数据
1304 2D FFT
1306 阈值化的数据立方体
1308 深度神经网络(NN)架构
1310 对象轨迹边界框
1312 行人轨迹边界框1312
1314 语义分割图或护栏分割
1400 根据各种实施方式的网络输入的例示图
1402 距离方向
1404 距离变化率方向
1406 天线方向
1408 波束向量
1500 Rador net的概述的例示图
1502 数据立方体
1504 波束向量归一化
1506 NN角度寻找
1508 距离变化率压缩
1510 极卷积
1512 笛卡尔重采样到VCS
1514 传感器融合
1516 LSTM时间融合
1518 金字塔方法
1520 锚估计头
1522 目标
1600 用于角度寻找的神经网络的例示图
1602 复值波束向量
1604 另一网络
1606 实值角概率谱
1608 距离-多普勒-角度立方体
1700 根据各种实施方式的距离变化率压缩的例示图
1702 距离变化率向量
1704 与外观类型无关的频谱
1706 压缩网络
1708 经压缩的距离变化率
1800 根据各种实施方式的坐标转换的例示图
1802 可视区域
1804 距离
1806 角度
1808 车辆
1810 x方向
1812 y方向
1900 根据各种实施方式的传感器融合的例示图
1902 基于第一传感器的VCS特征图
1904 基于第二传感器的VCS特征图
1906 基于第n传感器的VCS特征图
1908 融合
1910 所融合的VCS特征图
2000 根据各种实施方式的时间融合的例示图
2002 来自时间步长t的数据
2004 来自时间步长t-1的数据
2006 来自时间步长t-n的数据
2008 LSTM
2010 在时间步长t输出数据
2100 根据各种实施方式的时间融合的例示图
2102 时间T-1时的汽车
2104 时间T时的汽车
2106 相对于时间T-1时的汽车的位置的位置
2108 自我运动补偿块
2110 相对于时间T时的汽车的位置的位置
2200 根据各种实施方式的金字塔结构的例示图
2202 金字塔结构中的层
2204 金字塔结构中的层
2206 金字塔结构中的层
2208 金字塔结构中的层
2210 金字塔结构中的层
2212 金字塔结构中的层
2214 头
2216 任务
2218 头
2220 任务
2222 头
2224 任务
2300 Rador net的布局的例示图
2302 第一部分
2304 第二部分
2306 第三部分
2308 第四部分
2310 第五部分
2312 第六部分
2400 非统一检测头的例示图
2402 多个特征
2404 卷积层
2406 卷积层
2408 卷积层
2410 卷积层
2412 对象的类
2414 卷积层
2416 卷积层
2418 卷积层
2420 卷积层
2422 对象的大小
2424 卷积层
2426 卷积层
2428 卷积层
2430 卷积层
2432 对象的偏航
2500 根据各种实施方式的具有统一检测头的网络
2502 卷积层
2504 卷积层
2506 卷积层
2508 卷积层
2510 卷积层
2512 所有特性
2600 例示了根据各种实施方式的对车辆附近的对象进行检测的方法的流程图
2602 从雷达传感器获取雷达数据的步骤
2604 基于雷达数据来确定多个特征的步骤
2606 将多个特征提供给单个检测头的步骤
2608 基于单个检测头的输出来确定对象的多个特性的步骤

Claims (15)

1.一种对车辆附近的对象进行检测的计算机实现方法，所述计算机实现方法包括由计算机硬件部件执行的以下步骤：
从雷达传感器获取(2602)雷达数据；
基于所述雷达数据来确定(2604)多个特征；
将所述多个特征提供(2606)给单个检测头；以及
基于所述单个检测头的输出来确定(2608)对象的多个特性。
2.根据权利要求1所述的计算机实现方法，其中，所述多个特征中的各个特征连接至所述单个检测头的输出端。
3.根据权利要求1或2所述的计算机实现方法，其中，所述单个检测头包括顺序地布置的多个层。
4.根据权利要求1至3中的至少一个所述的计算机实现方法，其中，所述单个检测头不具有并行布置的多个层。
5.根据权利要求1至4中的至少一个所述的计算机实现方法，其中，所述多个特征是使用人工神经网络确定的。
6.根据权利要求1至5中的至少一个所述的计算机实现方法，其中，所述单个检测头是同时针对所述多个特性中的所有特性训练的。
7.根据权利要求1至6中的至少一个所述的计算机实现方法，其中，所述多个特性包括所述对象的类、所述对象的大小以及所述对象的偏航角中的至少两项。
8.根据权利要求1至7中的至少一个所述的计算机实现方法，所述计算机实现方法还包括由所述计算机硬件部件执行的以下步骤：
基于所述雷达数据来确定雷达数据立方体；
将所述雷达数据立方体提供给神经网络的多个层；
将所述多个层的输出重采样至车辆坐标系；以及
基于经重采样的输出来确定所述多个特征。
9.根据权利要求1至8中的至少一个所述的计算机实现方法，所述计算机实现方法还包括由所述计算机硬件部件执行的以下步骤：
融合来自多个雷达传感器的数据；
其中，所述多个特征是基于所融合的数据确定的。
10.根据权利要求1至9中的至少一个所述的计算机实现方法，所述计算机实现方法还包括由所述计算机硬件部件执行的以下步骤：
从摄像头获取摄像头数据；
其中，所述多个特征是进一步基于所述摄像头数据确定的。
11.根据权利要求1至10中的至少一个所述的计算机实现方法，所述计算机实现方法还包括由所述计算机硬件部件执行的以下步骤：
从激光雷达传感器获取激光雷达数据；
其中，所述多个特征是进一步基于所述激光雷达数据确定的。
12.根据权利要求1至11中的至少一个所述的计算机实现方法，所述计算机实现方法还包括由所述计算机硬件部件执行的以下步骤：
基于所述雷达数据来确定到达角。
13.一种计算机系统(900)，所述计算机系统(900)包括多个计算机硬件部件，所述多个计算机硬件部件被配置为执行根据权利要求1至12中的至少一个所述的计算机实现方法的步骤。
14.一种车辆，所述车辆包括根据权利要求13所述的计算机系统(900)和雷达传感器(912)。
15.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质包括用于执行权利要求1至12中的至少一个所述的计算机实现方法的指令。
CN202110843128.4A 2020-07-24 2021-07-26 对车辆附近的对象进行检测的方法和系统 Pending CN113970743A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
EP20187674.5 2020-07-24
EP20187674.5A EP3943968A1 (en) 2020-07-24 2020-07-24 Methods and system for detection of objects in a vicinity of a vehicle
EP21159039.3A EP3943970A1 (en) 2020-07-24 2021-02-24 Methods and systems for detection of objects in a vicinity of a vehicle
EP21159039.3 2021-02-24

Publications (1)

Publication Number Publication Date
CN113970743A true CN113970743A (zh) 2022-01-25

Family

ID=71786833

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110843128.4A Pending CN113970743A (zh) 2020-07-24 2021-07-26 对车辆附近的对象进行检测的方法和系统

Country Status (3)

Country Link
US (1) US20220026568A1 (zh)
EP (2) EP3943968A1 (zh)
CN (1) CN113970743A (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020213057A1 (de) * 2020-10-15 2022-04-21 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Überprüfen eines beim teilautomatisierten oder vollautomatisierten Steuern eines Fahrzeugs verwendeten KI-basierten Informationsverarbeitungssystems
EP4194885A1 (en) 2021-12-09 2023-06-14 Aptiv Technologies Limited Method for determining the mobility status of a target object
EP4254267A1 (en) * 2022-03-30 2023-10-04 Aptiv Technologies Limited Methods and systems for object tracking
CN114915727B (zh) * 2022-05-12 2023-06-06 北京国基科技股份有限公司 一种视频监控画面构建方法及装置
EP4286884A1 (en) * 2022-06-03 2023-12-06 Infineon Technologies AG People counting based on radar measurement and data processing in a neural network
EP4310544A1 (en) 2022-07-18 2024-01-24 Aptiv Technologies Limited Computer implemented method to determine ego motion
CN115017467B (zh) * 2022-08-08 2022-11-15 北京主线科技有限公司 一种跟车目标的补偿方法、装置及存储介质
WO2024072988A1 (en) * 2022-09-28 2024-04-04 Motional Ad Llc Pre-processing radar images for ai engine consumption
EP4369028A1 (en) 2022-11-10 2024-05-15 Aptiv Technologies Limited Interface for detection representation of hidden activations in neural networks for automotive radar
CN115494472B (zh) * 2022-11-16 2023-03-10 中南民族大学 一种基于增强雷达波信号的定位方法、毫米波雷达、装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10330787B2 (en) * 2016-09-19 2019-06-25 Nec Corporation Advanced driver-assistance system
CN111149141A (zh) * 2017-09-04 2020-05-12 Nng软件开发和商业有限责任公司 用于收集并使用来自交通工具的传感器数据的方法和装置
WO2019195327A1 (en) * 2018-04-05 2019-10-10 Google Llc Smart-device-based radar system performing angular estimation using machine learning
US11217012B2 (en) * 2018-11-16 2022-01-04 Uatc, Llc System and method for identifying travel way features for autonomous vehicle motion control
US11927668B2 (en) * 2018-11-30 2024-03-12 Qualcomm Incorporated Radar deep learning
US11899099B2 (en) * 2018-11-30 2024-02-13 Qualcomm Incorporated Early fusion of camera and radar frames
DE102018222800A1 (de) * 2018-12-21 2020-06-25 Robert Bosch Gmbh Ortung und/oder Klassifikation von Objekten aus Radardaten mit verbesserter Verlässlichkeit bei unterschiedlichen Entfernungen
US20200217950A1 (en) * 2019-01-07 2020-07-09 Qualcomm Incorporated Resolution of elevation ambiguity in one-dimensional radar processing
EP3702802A1 (en) * 2019-03-01 2020-09-02 Aptiv Technologies Limited Method of multi-sensor data fusion
US11520037B2 (en) * 2019-09-30 2022-12-06 Zoox, Inc. Perception system
US20210208272A1 (en) * 2020-01-06 2021-07-08 Tal Lavian Radar target detection system for autonomous vehicles with ultra-low phase-noise frequency synthesizer
US11270170B2 (en) * 2020-03-18 2022-03-08 GM Global Technology Operations LLC Object detection using low level camera radar fusion

Also Published As

Publication number Publication date
US20220026568A1 (en) 2022-01-27
EP3943970A1 (en) 2022-01-26
EP3943968A1 (en) 2022-01-26

Similar Documents

Publication Publication Date Title
US20220026568A1 (en) Methods and Systems for Detection of Objects in a Vicinity of a Vehicle
Major et al. Vehicle detection with automotive radar using deep learning on range-azimuth-doppler tensors
Lim et al. Radar and camera early fusion for vehicle detection in advanced driver assistance systems
CN109100718A (zh) 基于贝叶斯学习的稀疏孔径isar自聚焦与横向定标方法
US20200003886A1 (en) Apparatus and method with ego motion estimation
US20220214441A1 (en) Methods and System for Compressing Radar Data
CN112997187A (zh) 基于鸟瞰图点云的二维对象边界框信息估计
Bilik et al. Radar target classification using Doppler signatures of human locomotion models
Armanious et al. An adversarial super-resolution remedy for radar design trade-offs
US20210018609A1 (en) Method and system for object detection
CN110325876B (zh) 用于车辆雷达系统的逆合成孔径雷达
Decourt et al. Darod: A deep automotive radar object detector on range-doppler maps
CN114708257B (zh) Sar运动舰船目标检测方法及装置
Popov et al. Nvradarnet: Real-time radar obstacle and free space detection for autonomous driving
CN113311430B (zh) 蜂群无人机数量估计和航迹生成方法
CN116681730A (zh) 一种目标物追踪方法、装置、计算机设备和存储介质
Choi et al. Doppler coherent focusing doa method for efficient radar map generation
EP3992665A1 (en) Methods and systems for determining a direction of arrival of a radar detection
Tilly et al. Road user detection on polarimetric pre-CFAR radar data level
US20240159870A1 (en) Interface for Detection Representation of Hidden Activations in Neural Networks for Automotive Radar
Thiruselvan et al. Underwater Target Tracking in Radar Images Using Exponential Competitive Swarm-based Deep Neuro Fuzzy Network
Mopidevi et al. RMap: Millimeter-Wave Radar Mapping Through Volumetric Upsampling
US20220269921A1 (en) Motion Compensation and Refinement in Recurrent Neural Networks
EP4170378A1 (en) Methods and systems for processing radar sensor data
Gerg et al. Synthetic Aperture Sonar Image Segmentation Using Adaptive, Learned Beam Steering

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Country or region after: Luxembourg

Address after: Luxembourg

Applicant after: Aptiv Technology (2) Co.

Address before: Babado J San Michael

Applicant before: Aptiv Technologies Ltd.

Country or region before: Barbados

CB02 Change of applicant information
TA01 Transfer of patent application right

Effective date of registration: 20240304

Address after: Luxembourg

Applicant after: Aptiv Manufacturing Management Services Co.

Country or region after: Luxembourg

Address before: Luxembourg

Applicant before: Aptiv Technology (2) Co.

Country or region before: Luxembourg

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240320

Address after: Schaffhausen

Applicant after: APTIV Technology Co.,Ltd.

Country or region after: Switzerland

Address before: Luxembourg

Applicant before: Aptiv Manufacturing Management Services Co.

Country or region before: Luxembourg

TA01 Transfer of patent application right