CN115201774A - 使用用于静止对象检测的机器学习模型的雷达系统 - Google Patents

使用用于静止对象检测的机器学习模型的雷达系统 Download PDF

Info

Publication number
CN115201774A
CN115201774A CN202210385859.3A CN202210385859A CN115201774A CN 115201774 A CN115201774 A CN 115201774A CN 202210385859 A CN202210385859 A CN 202210385859A CN 115201774 A CN115201774 A CN 115201774A
Authority
CN
China
Prior art keywords
range
time
distance
stationary object
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210385859.3A
Other languages
English (en)
Inventor
K·泰亚吉
张一航
J·柯克伍德
张珊
宋三灵
N·马努基安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anbofu Technology Co ltd
Original Assignee
Delphi Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Delphi Technologies Inc filed Critical Delphi Technologies Inc
Publication of CN115201774A publication Critical patent/CN115201774A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415—Identification of targets based on measurements of movement associated with the target
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/28—Details of pulse systems
    • G01S7/285—Receivers
    • G01S7/292—Extracting wanted echo-signals
    • G01S7/2923—Extracting wanted echo-signals based on data belonging to a number of consecutive radar periods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/414—Discriminating targets with respect to background clutter
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93271—Sensor installation details in the front of the vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/28—Details of pulse systems
    • G01S7/285—Receivers
    • G01S7/288—Coherent receivers
    • G01S7/2883—Coherent receivers using FFT processing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/35—Details of non-pulse systems
    • G01S7/352—Receivers
    • G01S7/356—Receivers involving particularities of FFT processing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G01S7/4052—Means for monitoring or calibrating by simulation of echoes
    • G01S7/4082—Means for monitoring or calibrating by simulation of echoes using externally generated reference signals, e.g. via remote reflector or transponder
    • G01S7/4091—Means for monitoring or calibrating by simulation of echoes using externally generated reference signals, e.g. via remote reflector or transponder during normal radar operation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Electromagnetism (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Neurology (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本文档描述了与使用用于静止对象检测的机器学习模型的雷达系统相关的技术和系统。雷达系统包括处理器，该处理器能够接收与电磁(EM)能量相关联的时间序列帧形式的雷达数据。处理器使用雷达数据来生成输入到机器学习模型的EM能量的距离时间图。机器学习模型能够接收从每个时间序列帧处的多个距离区间的距离时间图中提取的与静止对象相对应的特征作为输入。以此方式，所描述的雷达系统和技术能够准确地检测各种大小的静止对象并且提取与静止对象对应的关键特征。

Description

使用用于静止对象检测的机器学习模型的雷达系统
背景技术
许多交通工具使用雷达系统来检测静止对象。一些雷达系统使用雷达数据的点云表示来检测静止对象。点云数据通常与来自其他传感器(例如，相机或激光雷达系统)的数据相组合来更准确地检测静止对象。在沿着道路驾驶时，此类系统可以检测相对大的静止对象(例如，停靠的交通工具)，但是难以以足够的准确度和速度检测较小的静止对象，并依赖于此用于自主或半自主控制。即使检测到，这些系统可能无法标识出关于接近的静止对象的必要特征(例如，距离、角度、几何特征、基于强度的特征、与护栏的区别)，这可能导致不稳定或非预期的交通工具行为。
发明内容
本文档描述了与使用用于静止对象检测的机器学习模型的雷达系统相关的技术和系统。雷达系统包括处理器，该处理器能够接收与电磁(EM)能量相关联的时间序列帧形式的雷达数据。处理器使用雷达数据来生成输入到机器学习模型的EM能量的距离时间图。机器学习模型能够接收从每个时间序列帧处的多个距离区间的距离时间图中提取的与静止对象相对应的特征作为输入。以此方式，所描述的雷达系统和技术能够准确地检测各种大小的静止对象并且提取与静止对象对应的关键特征。
本文档还描述了由以上总结的技术和组件以及在本文中阐述的雷达系统的其他配置来执行的方法、以及用于执行这些方法的装置。
本发明内容介绍了与使用用于静止对象检测的机器学习模型的雷达系统相关的简化概念，其在具体实施方式和附图中进一步描述。本发明内容并非旨在标识出要求保护的主题的必要特征，也并非旨在用于确定要求保护的主题的范围。
附图说明
参考以下附图在本文档中描述了使用用于静止对象检测的机器学习模型的雷达系统的一个或多个方面的细节。贯穿附图通常使用相同的数字来引用相似的特征和部件：
图1示出了根据本公开内容的技术的、其中雷达系统能够使用用于静止对象检测的机器学习模型的示例环境；
图2示出了具有使用用于静止对象检测的机器学习模型的雷达系统的交通工具的示例配置；
图3示出了使用用于静止对象检测的机器学习模型的雷达系统的示例概念图；
图4A和图4B示出了从距离方位角图和经插值距离方位角图分别生成的用于静止对象检测的示例距离时间图；
图5示出了训练用于静止对象检测的机器学习模型的示例概念图；以及
图6示出根据本公开内容的技术的、使用用于静止对象检测的机器学习模型的雷达系统的示例方法的流程图。
具体实施方式
概述
雷达系统可以被配置为重要的感测技术，基于交通工具的系统依赖于该感测技术来获取有关周围环境的信息。例如，基于交通工具的系统能够使用雷达系统来检测道路中或道路附近的静止对象，并在必要时采取必要的行动(例如，降低速度、改变车道)以避免碰撞。雷达系统通常使用雷达数据(例如，检测水平数据)的点云表示来检测此类对象。在移动的交通工具上，此类系统通常能够检测相对大的静止对象，诸如停靠的交通工具，但是当该交通工具不是静止的并且高速行驶时，系统通常无法检测更小的静止对象。如果主交通工具在以非匀速行驶，这些雷达系统也可能难以将静止对象与移动对象区分开来。
雷达系统通常处理以相等时间间隔收集的一系列帧形式的雷达数据。为了对雷达数据进行预处理、标记并且从雷达数据中提取特征，这些雷达系统使用主交通工具的速度来跟踪和关联静止对象。由于交通工具速度的变化，交通工具在每个帧中的位移是不同的。交通工具速度的变化可能使得这些雷达系统难以准确地检测和标记静止对象。
为了提高雷达检测较小静止对象的准确度和速度，本文档描述了基于低水平雷达数据的、可供雷达系统用于静止对象检测的机器学习模型的技术和系统。低水平雷达数据(例如，距离多普勒图、距离方位角图、多普勒方位角图)相比点云表示提供了更多的信息。通过使用低水平雷达数据，所描述的机器学习模型能够准确地检测各种大小的静止对象并且更快地标识静止对象。
所描述的技术和系统还能够对低水平雷达数据进行插值，以使得每一帧都基于交通工具的速度被归一化。以此方式，经插值距离时间图将静止对象的潜在检测表示为45度直线。经插值距离时间图简化了静止对象检测，提高了它的准确度和置信度。
这只是所描述的使用用于静止对象检测的机器学习模型的雷达系统的技术和系统的一个示例。本文档描述了其他的示例和实现。
操作环境
图1示出了根据本公开内容的技术的、其中雷达系统使用用于静止对象检测的机器学习模型的示例环境100。在所描绘的环境100中，雷达系统104被安装到或被集成在在道路106上行驶的交通工具102内。在视场108内，雷达系统104能够检测交通工具102附近的一个或多个静止对象110。
尽管示出为卡车，但是交通工具102可以表示其他类型的机动交通工具(例如，汽车、摩托车、公共汽车、拖拉机、半挂车)、非机动交通工具(例如，自行车)、有轨交通工具(例如，火车)、水运工具(例如，船只)、飞行器(例如，飞机)、或航天器(例如，卫星)。通常，制造商可以将雷达系统104安装到任何移动平台，包括移动机械或机器人设备。
在所描绘的实现中，雷达系统104被安装在交通工具102的前部并照射静止对象110。雷达系统104能够从交通工具102的任何外表面检测静止对象110。例如，交通工具制造商可以将雷达系统104集成、安装或附接到前部、保险杠、侧视镜、前灯、尾灯、或静止对象110需要检测的任何其他内部或外部位置中。在一些情况下，交通工具102包括多个雷达系统104，诸如提供更大仪器视场108的第一雷达系统104和第二雷达系统104。一般而言，交通工具制造商可以将一个或多个雷达系统104的位置设计成提供包括感兴趣区域的特定视场108。示例视场108包括360度视场、一个或多个180度视场、一个或多个90度视场等，它们可以重叠成为特定大小的视场108。
静止对象110包括反射雷达信号的一种或多种材料。取决于应用，静止对象110可以表示感兴趣的目标。例如，静止对象110可以是停靠的交通工具、路边标志、道路障碍物或道路106上的碎片。
雷达系统104通过经由天线元件发射电磁(EM)信号或波形来发射EM辐射。在环境100中，雷达系统104能够通过发射和接收一个或多个雷达信号来检测和跟踪静止对象110。例如，雷达系统104能够发射在100和400千兆赫(GHz)之间、在4和100GHz之间、或在大约70和80GHz之间的EM信号。
雷达系统104可以包括发射器112，发射器112包括至少一个天线以发射EM信号。雷达系统104还可以包括接收器114，接收器114包括至少一个天线以接收EM信号的反射版本。发射器112包括用于发射EM信号的一个或多个部件。接收器114包括用于检测反射的EM信号的一个或多个部件。制造商可将发射器112和接收器114一起并入同一集成电路上(例如，配置成为收发器)或分开地并入不同的集成电路上。
雷达系统104还包括一个或多个处理器116(例如，能量处理单元)和计算机可读存储介质(CRM)118。处理器116可以是微处理器或片上系统。处理器116能够执行存储在CRM118中的计算机可执行指令。例如，处理器116能够处理由接收器114接收的EM能量并且使用静止对象检测模块120来确定静止对象110相对于雷达系统104的位置。静止对象检测模块120还能够检测静止对象110的各种特征(例如，距离、目标角度、速度)。
处理器116还能够为至少一个汽车系统生成雷达数据。例如，处理器116能够基于来自接收器114的经处理的EM能量来控制交通工具102的自主或半自主驾驶系统。例如，自主驾驶系统能够控制交通工具102的操作，以在静止对象110周围操纵、或者减速或者停下来以避免与静止对象110碰撞。作为另一示例，半自主驾驶系统能够警告交通工具102的操作者静止对象110在道路106中。
静止对象检测模块120接收雷达数据，例如与由接收器114接收的EM能量相关联的原始或时间序列帧，并且确定静止对象110是否在道路106中以及与静止对象110相关联的各种特征。静止对象检测模块120能够使用机器学习模型122以辅助所描述的操作和功能。雷达系统104能够将静止对象检测模块120和机器学习模块122实现成为CRM 118中的由处理器116执行的计算机可执行指令、硬件、软件或其组合。
机器学习模块122能够使用输入的距离时间图和提取的特征来执行针对静止对象110的静止对象检测。机器学习模型122能够使用神经网络(例如，长短期记忆(LSTM)模型)来检测静止对象110。机器学习模型122经过训练以接收距离时间图和提取的特征来执行静止对象检测。机器学习模型122的输出可以包括静止对象110的标识。
机器学习模型122可以是或者包括一个或多个各种类型的机器学习模型。在一些实现中，机器学习模型122能够执行分类、聚类、示踪和/或其他任务。对于分类，可以使用监督学习技术来训练机器学习模型122。例如，静止对象检测模块120能够使用训练数据(例如，真实数据)来训练机器学习模型122，该训练数据包括距离时间图和与静止对象相对应的提取特征，其中示例检测对象被标记为静止(或非静止)。标记可以由工程师手动应用或由其他技术提供(例如，基于来自其他传感器系统的数据)。训练数据集可以包括与在交通工具102的操作期间输入到机器学习模型122的那些距离时间图类似的距离时间图。
机器学习模型122可以离线训练，例如，在训练计算系统中，然后被提供以用于在一个或多个计算设备上存储和实现。例如，训练计算系统可以包括模型训练器。训练计算系统可以包括在实现机器学习模型122的计算设备中或与计算设备分离。参考图5更详细地描述了机器学习模型122的训练。
在一些实现中，机器学习模型122可以是一个或多个人工神经网络或包括一个或多个人工神经网络。神经网络可以包括被组织成一个或多个层的一组连接节点。包括多个层的神经网络可以被称为深度网络。深度网络可以包括输入层、输出层以及位于输入和输出层之间的一个或多个隐藏层。神经网络的节点可以是连接的或非完全连接的。
在其他实现中，机器学习模型122可以是一个或多个递归神经网络或包括一个或多个递归神经网络。在一些实例中，递归神经网络的至少一些节点能够形成循环。递归神经网络(例如，具有多个层的LSTM网络)对于处理本质上连续的输入数据(例如，雷达数据中的一系列帧)特别有用。具体而言，递归神经网络能够通过使用递归或定向循环节点连接，将信息从输入数据序列的先前部分(例如，初始帧)传递或保留到输入数据序列的后续部分(例如，后续帧)。
与使用压缩数据立方体(CDC)格式的雷达数据相比，通过使用低水平雷达数据，雷达系统104和静止对象检测模块120能够提取更多关于在距离、多普勒、方位角和仰角维度上的EM能量分布的信息。除了与静止对象110有关的距离、角度和多普勒特征之外，低水平雷达数据允许静止对象检测模块120捕获静止对象110的基于强度的特征或几何特征。
例如，图1示出了在道路106上行驶的交通工具102。雷达系统104检测静止对象110。雷达系统104还能够跟踪静止对象110并且提取与其相关联的特征。如上所述，交通工具102还可以包括依赖于来自雷达系统104的数据的至少一个汽车系统，诸如驾驶员辅助系统、自主驾驶系统或半自主驾驶系统。雷达系统104可以包括与依赖于该数据的汽车系统相接的接口。例如，处理器116经由该接口输出基于由接收器114接收的EM能量的信号。
通常，汽车系统使用由雷达系统104提供的雷达数据来执行功能。例如，驾驶员辅助系统能够提供盲点监测并且生成指示与静止对象110的潜在碰撞的警报。雷达数据还能够指示何时改变车道是安全的或不安全的。自主驾驶系统可以将交通工具102移动到道路106上的特定位置，同时避免与静止对象110的碰撞。由雷达系统104提供的雷达数据还能够提供与到静止对象110的距离和静止对象110的位置有关的信息，以使得自主驾驶系统能够执行紧急制动、执行车道改变、或调整交通工具102的速度。
图2示出了具有雷达系统104的交通工具102的示例配置，该雷达系统能够使用用于静止对象检测的机器学习模型122。如参考图1所描述的，交通工具102可以包括雷达系统104、处理器116、CRM 118、静止对象检测模块120和机器学习模块122。交通工具102还可以包括一个或多个通信设备202和一个或多个基于交通工具的系统210。
通信设备202可以包括传感器接口和基于交通工具的系统接口。例如，当静止对象检测模块120的单独部件集成在交通工具102内时，传感器接口和基于交通工具的系统接口可以在交通工具102的通信总线上传送数据。
静止对象检测模块120可以包括具有特征提取模块206的输入处理模块204。静止对象检测模块120还可以包括具有机器学习模块122的后处理模块208。输入处理模块204能够从接收器114接收雷达数据作为输入。总体上，雷达数据以低水平的时间序列数据的形式被接收。作为对比，一些雷达系统处理来自接收器114的呈云点表示的雷达数据。静止对象检测模块120能够处理低水平的时间序列数据，以提供更好的检测分辨率，并且提取与静止对象110相关联的特征。
输入处理模块204能够处理雷达数据，以生成经插值距离角度图，包括经插值距离方位角图和/或经插值距离仰角图。通过基于交通工具102的速度来设置距离，经插值距离方位角图将静止对象的潜在检测表示为具有45度角的直线。经插值距离方位角格式通过简化机器学习模型122对静止对象110的标记来提高静止对象检测模块120的准确度。
静止对象检测模块120或特征提取模块206能够处理经插值距离方位角图，以生成雷达数据的距离时间图。特征提取模块206能够将距离时间图输入到机器学习模型122中，以作出静止对象的预测。特征提取模块206还能够执行附加处理，以提取与静止对象110相关联的特征。
后处理模块208能够对静止对象的预测执行附加处理来移除噪声。然后，后处理器模块208能够将静止对象检测提供给基于交通工具的系统210。
交通工具102还包括基于交通工具的系统210，诸如辅助驾驶系统212和自主驾驶系统214，该系统210依赖于来自静止对象检测模块120的数据，以控制交通工具102的操作(例如，制动，变道)。总体上，基于交通工具的系统210能够使用由静止对象检测模块120提供的数据来控制交通工具102的操作并且执行特定的功能。例如，辅助驾驶系统212能够向驾驶员警告静止对象110并执行规避操纵以避免与静止对象110的碰撞。作为另一个示例，自主驾驶系统214能够将交通工具102导航到特定目的地，以避免与静止对象110的碰撞。
图3示出了雷达系统104的示例概念图300，该雷达系统104使用用于静止对象检测的机器学习模型122。如参考图2所描述的，交通工具102可以包括输入处理模块204、特征提取模块206和静止对象检测模块120的后处理模块208。概念图300示出了静止对象检测模块120的示例输入、输出和操作，但是静止对象检测模块120不一定限于本文所示的输入、输出和操作的顺序或组合。此外，可以重复、组合或重组任何一个或多个操作，以提供其他功能。
雷达系统104将EM能量的时间序列帧作为雷达数据302提供给输入处理模块204。雷达数据302是低水平雷达数据，相比一些雷达系统用于静止对象检测的点云数据，低水平雷达数据能够包括更多信息。由于静止对象检测模块120使用雷达数据302，所以它不需要来自其他传感器(例如，相机或激光雷达系统)的附加输入数据来检测静止对象。雷达数据302包括在多个维度中与静止对象110相关联的信息，包括距离空间、多普勒空间、仰角空间和方位角空间。雷达数据302可以包括波束向量，该波束向量包括所有距离和多普勒区间。在一些实现中，静止对象检测模块120可以仅使用雷达数据302的幅度信息，而不使用相位信息。以此方式，静止对象检测模块120可以假设非零横摆率不适用于检测静止对象110。
在操作304处，输入处理模块204对雷达数据302执行初始处理。输入处理模块204从雷达数据302生成静止的多普勒波束向量。波束向量可以包括所有距离和多普勒区间，并且包括与融合在一起的附近对象(例如，静止对象和移动对象两者)相关的强度数据。输入处理模块204对波束向量执行附加处理，以分离与各种检测到的对象相关的强度数据。
在操作306处，输入处理模块204跨方位角平面对静止的多普勒波束向量执行超分辨率。在其他实现中，超分辨率操作能够跨不同平面(例如，仰角平面)执行。超分辨率操作可以包括傅立叶变换和迭代自适应方法(IAA)。超分辨率被应用以通过折叠多普勒维度在每个距离区间产生方位角和/或仰角数据。对于静止对象，静止对象检测模块120聚焦于距离方位角谱，并且输入处理模块204生成雷达数据的每个时间帧的距离角度图，包括距离方位角图和/和距离仰角图。
考虑到静止对象检测模块120处理由雷达系统104在不同时间(例如，连续时间帧)收集的一系列距离方位角图。通常，当主交通工具(例如，交通工具102)和每个静止对象(例如，静止对象110)在数据捕获之间相对彼此移动恒定的距离(例如，距离)时，对象检测算法工作得最好。尽管数据捕获的时间间隔通常相等，但是主交通工具和静止对象的距离间隔并不总是相等，因为交通工具的速度在数据捕获之间可能会有所不同。
在操作308处，输入处理模块204对距离方位角图执行距离采样和插值。输入处理模块204能够通过对实际数据捕获或时间帧进行插值，来为交通工具102移动所通过的每个距离区间创建一组外观。对于给定的距离区间，输入处理模块204能够通过确定交通工具到达该距离区间时所处的时间(例如，“距离区间时间”)来生成经插值时间帧。然后，输入处理模块204选择具有等效于距离区间时间的时间帧的数据捕获(例如，“等效的数据捕获”)。确定交通工具102在等效的数据捕获处的距离位置。然后，输入处理模块204在距离维度中使等效的数据捕获移位，以使得交通工具102和静止对象110的位置与将要生成的经插值时间帧中的那些位置相匹配。可以使用基于等效的数据捕获和经插值时间帧之间的相对差异的加权平均来组合两个经移位外观中的强度。替代地，可以使用两个等效的数据捕获的经滤波强度值(例如，最小强度值、平均强度值或最大强度值)来创建经插值时间帧。该后一种方法能够抑制瞬变信号。输入处理模块204能够组合经插值时间帧，以生成雷达数据的经插值距离方位角图310。
在执行插值操作之前，输入处理模块204还能够执行距离下采样。距离方位角图可以按照给定的因子进行距离上的下采样。例如，输入处理模块204能够通过在N个连续的距离区间上的每个方位角点(或者在不同实现中为仰角点)处采取过滤的强度值(例如，最大强度、平均强度或最小强度)来执行距离下采样，其中N是正整数。以此方式，输入处理模块204在距离维度中以因子N有效地压缩距离方位角数据。距离区间大小和其他取决于距离的变量被乘以因子N。增加的距离区间大小导致输入处理模块204产生减少了因子N的经插值时间帧。再加上按照因子N的距离上的压缩，减少了因子N的经插值时间帧可以导致后续处理的运行时间减少大约N的平方(N2)。以此方式，即使使用雷达数据302或所接收的EM能量的时间序列帧作为输入，静止对象检测模块120的所述操作也能够实时或接近实时地被执行。类似地，机器学习模块122能够更快地处理雷达数据和/或具有更小的大小。
在操作312处，输入处理模块204对经插值距离方位角图310执行图像信号处理，以生成距离时间图314。输入处理模块204堆叠由经插值距离方位角图310生成的向量，以生成距离时间图314。由于静止对象110对于每个经插值时间帧移动一个距离区间，因此该插值使得静止对象110的潜在检测在距离时间图314中显示为具有45度的直线。将静止对象110描绘为45度直线简化并提高了机器学习模型122的标记精度。插值还确保静止对象110存在于距离时间图314中的每个距离区间和时间帧，这也简化了机器学习模型122对静止对象110的标记。由输入处理模块204执行的插值操作还导致静止对象的检测独立于交通工具102的速度。从距离方位角图和经插值距离方位角图生成的示例距离时间图分别参考图4A和图4B描述如下。
输入处理模块204处理距离时间图,以从方位角、仰角和距离变化率维度标识静止对象110，并且沿着这些维度折叠数据立方体。该数据立方体导致每个潜在静止对象110沿距离维度的能量分布向量。
在操作316处，特征提取模块206使用距离时间图314来提取静止对象110的特征并且标记静止对象110。如参考图5更详细地描述，类似的操作可以被执行来训练机器学习模型122。由于可能难以从接收到的其他对象(例如，护栏、移动的交通工具)的雷达反射中区分出静止对象，特征提取模块206执行若干步骤来标记和标识与静止对象110相关联的特征。使用滑动窗口处理距离时间图314，以产生基于窗口的距离时间图。例如，窗口可以包括每个距离区间处的期望的多普勒区间。然后，基于窗口的距离时间图被馈送到预训练的基于编码器的特征提取器。
然后，机器学习模型122能够生成关于静止对象110的预测检测318。机器学习模型122能够使用无环图模型来辅助静止对象检测。无环图模型标识并保留每个静止对象110的迹线。因此，对于时间序列信号中的给定值，离它较近的时间帧将比较远处的时间帧具有更显著的影响。
机器学习模型122可以包括卷积神经网络。机器学习模型122还可以使用卷积神经网络内的预训练深度学习模型，以提取特征并且将所提取的特征馈送到深度序列模型(例如，具有多个层的长短期记忆(LSTM)网络)，该模型被训练以检测静止对象的存在并且产生检测概率318。检测概率318提供距离时间概率图，距离时间概率图包括跨每个距离区间和每个时间帧的预测。
在操作320处，后处理模块208执行附加处理，来通过应用平滑函数并且生成检测322来使检测概率318变平滑(例如，移除噪声)。检测322可以包括静止对象110的每个时间帧的每个距离区间处的检测概率。在特定距离处生成检测322的最终输出概率的平滑函数由公式(1)给出：
Figure BDA0003593646950000111
其中p(t-1)表示机器学习模型122对于一组时间帧在每一距离处的预测概率，包括当前时间帧；p(t)表示后处理操作320的输出，该输出是在输入距离处检测到的对象的平滑伪概率；并且α和β表示控制平滑程度的参数。例如，后处理模块208能够设置α等于1且β等于
Figure BDA0003593646950000112
此时间帧是用于形成机器学习模型122的输入特征集的过去的强度值。后处理模块208能够对每一帧应用后处理，以给出检测322的平滑后概率值。该概率值表示检测322的置信水平。
图4A和图4B示出了静止对象110的检测402的示例距离时间图400和410，它们分别从距离方位角图和经插值距离方位角图生成。图400和410提供距离404作为y轴，以指示交通工具102和静止对象110之间的距离。
距离时间图400提供时间帧406作为x轴，以指示外观或数据捕获。形成对比，经插值距离时间图410提供经插值时间帧412作为x轴，以指示经插值的外观。基于参考图3所描述的插值操作，经插值的帧412在连续外观之间不具有恒定的间隔。换言之，经插值时间帧412在时间上是不等距的。
距离时间图400将静止对象110的检测402描绘为曲线。当它接近静止对象110时，交通工具102可以经历速度变化，并且到静止对象110的距离404将在时间帧406上非线性地变化。此外，在距离时间图400中的检测402的斜率将取决于交通工具102的速度，并且斜率的变化将取决于交通工具102的速度变化。与距离时间图400形成对比，由输入处理模块204进行的插值导致静止对象110的检测402在距离时间图410中表现为45度的直线，因为静止对象110对于每一经插值时间帧412移动一个距离区间。
图5示出了用于训练用于静止对象检测的机器学习模型122的示例概念图500。具体而言，概念图500示出了静止对象检测模块120的特征提取和标记过程，以用于训练机器学习模型122。概念图500示出了静止对象检测模块120的示例输入、输出和操作，但是静止对象检测模块120不一定限于本文所示的输入、输出和操作的顺序或组合。此外，可以重复、组合或重组任何一个或多个操作，以提供其他功能。
在操作502处，特征提取模块206从距离时间图314提取特征向量。特征向量表示在距离时间图中跨时间帧的各种距离的强度。特征提取模块206使用特征向量来表示距离时间图314中的内容以及特征出现在哪个距离处。为了确定距离时间图314中的内容，特征提取模块206对过去的特定时间帧采用沿45度线的强度值，并使用距离区间对其进行增强，以准确的知道目标出现在哪里。通过在特征向量中包括距离，即使当目标强度很弱时，机器学习模型122也能够检测远处的静止对象110。
特征集504取自距离时间图314中的45度线。由于距离时间图314中静止对象的潜在检测对于每一时间帧移动一个距离区间，并且由45度直线表示，因此特征提取模块206能够将每个静止对象110和非静止对象分别标记为“1”或“0”。一组距离时间图314中的每个目标通过特征提取和标记过程来获取，以为机器学习模型122准备训练数据集(例如，真实数据)。
机器学习模型122可以离线或在线进行训练。在离线训练中(例如，批学习)，机器学习模型122使用静态训练数据集进行训练。在在线训练中，机器学习模型122随着新的训练数据变得可用而被连续地训练(或重新训练)(例如，当机器学习模型用于执行静止对象检测时)。
可以执行多个机器学习模型122(例如，基于集中存储的数据集)的集中训练。在其他实现中，训练器能够使用去中心化训练技术，包括分布式训练或联合学习，以训练、更新或个性化机器学习模型122。
一旦训练完成，机器学习模型122能够被部署在推理阶段。在推理阶段中，机器学习模型122能够在距离时间图314的每个时间帧处接收多个距离区间作为输入，包括所有可用的距离区间。在推理阶段期间，雷达数据302被传递通过静止对象检测模块120，以由机器学习模型122生成预测。在推理阶段中，每个输入特征与经过训练的权重相乘，以在每个距离区间和每个时间帧处产生概率。
示例方法
图6示出了雷达系统104的示例方法600的流程图，该雷达系统104使用用于静止对象检测的机器学习模型122。方法600被示出为被执行的操作(或动作)集合，但不必限于在本文中示出操作的次序或组合。此外，可以重复、组合或重组任何一个或多个操作，以提供其他功能。在以下讨论的部分中，可以参考图1的环境100以及图1至图5中详述的实体，仅出于示例对它们作出参考该技术不限于由一个实体或多个实体执行。
在602处，模型被生成以处理雷达数据并且检测静止对象。例如，机器学习模型能够被生成以处理距离时间图并且标记静止对象。可以使用参考图1到图5所描述的技术和系统来生成机器学习模型。
在604处，模型可以经过训练以处理雷达数据并检测静止对象。例如，机器学习模型能够经过训练以处理雷达数据，包括距离时间图，并且检测和标记静止对象110。此外，机器学习模型能够经过训练以提取与静止对象110相关联的特征。框602和604是方法600的可选择操作，其可以由与框606到610不同的系统或组件，在不同时间和/或在不同位置被执行。
在606处，雷达系统的一个或多个处理器接收雷达数据，该雷达数据包括与EM能量相关联的时间序列帧。例如，雷达系统104的处理器116接收雷达数据，该雷达数据包括与EM能量相关联的时间序列帧。EM能量可以由雷达系统104的接收器114接收。EM能量是参考图3所描述的雷达数据302。处理器116还能够通过使用时间序列帧生成EM能量的一个或多个多普勒波束向量来处理EM能量。处理器116能够使用一个或多个多普勒波束向量和超分辨率操作来为每个时间序列帧生成EM能量的距离方位角图。使用参考图3更详细描述的插值操作，处理器116然后能够生成EM能量的经插值距离方位角图。在执行插值操作之前，处理器116还能够通过在多个连续的距离区间上的每个方位角点处采取最大强度来对距离方位图进行距离上的下采样，以有效地压缩距离方位角图。
在608处，一个或多个处理器使用雷达数据生成EM能量的距离时间图。例如，处理器116处理雷达数据302，以生成经插值距离方位角图310。在输入处理模块204对雷达数据302执行预处理、跨一个或多个平面(例如，方位角平面)的超分辨率、距离采样和/或插值之后，经插值距离方位角图310可以被生成。然后，输入处理模块204能够执行附加处理，以使用经插值距离方位角图310来生成距离时间图314。
在610处，一个或多个处理器使用机器学习模型来检测静止对象。机器学习模型被配置成用于输入从雷达数据的每个时间帧处的多个距离区间的距离时间图中提取的与静止对象相对应的特征。例如，处理器116能够将从距离时间图314中提取的与静止对象110相对应的特征输入到机器学习模型122，以检测静止对象110。机器学习模型122能够输入雷达数据的每个时间帧处的多个距离区间的提取的特征。提取的特征可以包括静止对象110的距离、目标角度、速度、几何特征以及基于强度的特征。
方法600可以返回至框604，以可选地使用附加的真实数据再训练或更新机器学习模型122。例如，机器学习模型122的实现可以基于在另一个计算系统和/或位置获得和处理的附加的或新的真实数据来更新。
示例
在以下部分中，提供了示例。
示例1.一种方法，包括：接收雷达数据，雷达数据包括与电磁(EM)能量相关联的时间序列帧；使用雷达数据生成EM能量的距离时间图；并且使用机器学习模型检测道路中的静止对象，机器学习模型被配置成用于输入从每个时间序列帧处的多个距离区间的距离时间图中提取的与静止对象相对应的特征。
示例2.示例1的方法，该方法进一步包括：通过在天线处接收到EM能量时，至少通过以下方式处理该EM能量来接收雷达数据：使用时间序列帧生成EM能量的多普勒波束向量；使用多普勒波束向量和超分辨率操作为每个时间序列帧生成EM能量的距离角度图，距离角度图的角度包括仰角或方位角；并且使用距离角度图和插值操作生成EM能量的经插值距离角度图。
示例3.示例2的方法，其中：角度是方位角；距离角度图是距离方位角图；经插值距离角度图是经插值距离方位角图；并且距离时间图将静止对象中的静止对象的潜在检测表示为45度直线。
示例4.示例3的方法，其中超分辨率操作可以包括傅立叶变换或迭代自适应方法中的至少一个，以在每个距离区间处产生方位角数据。
示例5.示例3或4的方法，其中插值操作包括：为距离方位角图内多个距离区间的每个距离区间确定距离区间时间，距离区间时间是交通工具到达距离区间时所处的时间序列帧，雷达系统被附接到交通工具的一部分；选择雷达数据中具有等效于距离区间时间的时间序列帧的数据捕获；确定交通工具在等效于距离区间时间的数据捕获处的距离位置；并且在距离维度中使等效于距离区间时间的数据捕获移位，以使得交通工具和静止对象的位置与插值的时间序列帧中的那些位置相匹配。
示例6.示例5的方法，其中在距离维度中使等效于距离区间时间的数据捕获移位包括：使用等效于距离区间时间的数据捕获的加权平均，加权平均基于等效于距离区间时间的数据捕获与经插值时间帧之间的相对差异；或选择等效于距离区间时间的数据捕获的经滤波强度值。
示例7.示例3到6的任一方法，其中处理由雷达系统的天线接收到的EM能量进一步包括：通过在一定数量的连续的距离区间上的每个方位角点处采取经滤波强度来对距离方位角图进行距离上的下采样，以便有效地压缩距离方位角图。
示例8.示例7的方法，其中处理由雷达系统的天线接收到的EM能量进一步包括：将距离区间大小乘以该数量，以使经插值时间帧的数量有效地减少该数量。
示例9.前述示例中的任一项的方法，其中时间序列帧包括多个维度中的与静止对象相关联的信息，该多个维度包括距离维度、多普勒维度、仰角角度维度和方位角角度维度中的至少三个。
示例10.前述示例中的任一项的方法，其中提取的特征包括静止对象的距离、目标角度、速度、几何特征或基于强度的特征中的至少两个。
示例11.前述示例中的任一项的方法，其中机器学习模型包括具有多个层的长短期记忆(LSTM)网络。
示例12.一种包括雷达系统的系统，该雷达系统包括一个或多个处理器，该一个或多个处理器被配置成用于通过执行前述示例中的任一项的方法来检测静止对象。
示例13.示例12的系统，其中雷达系统被配置为集成在交通工具中或安装在交通工具中。
示例14.示例12或13的系统，其中机器学习模型包括具有多个层的长短期记忆(LSTM)网络。
示例15.一种计算机可读存储介质，包括计算机可执行指令，计算机可执行指令在被执行时，使雷达系统的处理器执行示例1至示例11中任一项的方法。
结语
虽然在前述描述中描述并且在附图中示出了本公开的各种实施例，但应当理解，本公开不限于此，而是可以在接下来的权利要求的范围内以各种方式实施为实践。根据前述描述，将显而易见的是，可以做出各种更改而不偏离由所附权利要求所限定的本公开的范围。

Claims (20)

1.一种系统，包括：
包括一个或多个处理器的雷达系统,所述一个或多个处理器被配置成用于通过以下方式检测静止对象：
接收雷达数据，所述雷达数据包括与电磁EM能量相关联的时间序列帧；
使用所述雷达数据生成所述EM能量的距离时间图；并且
使用机器学习模型检测所述静止对象，所述机器学习模型被配置成用于输入从来自所述时间序列帧中的每一个时间序列帧处的多个距离区间的所述距离时间图中提取的与所述静止对象相对应的特征。
2.如权利要求1所述的系统，进一步包括：
天线，其中，所述一个或多个处理器被进一步配置成用于通过在所述天线处接收到所述EM能量时通过以下方式处理所述EM能量来接收所述雷达数据：
使用所述时间序列帧生成所述EM能量的多普勒波束向量；
使用所述多普勒波束向量和超分辨率操作生成所述时间序列帧中的每一个时间序列帧处的所述EM能量的距离角度图，所述距离角度图的角度包括仰角或方位角；并且
使用所述距离角度图和插值操作生成所述EM能量的经插值距离角度图。
3.如权利要求2所述的系统，其特征在于：
所述角度是所述方位角；
所述距离角度图是距离方位角图；
所述经插值距离角度图是经插值距离方位角图；以及
所述距离时间图将所述静止对象的静止对象的潜在检测表示为45度直线。
4.如权利要求3所述的系统，其特征在于，所述超分辨率操作能够包括傅立叶变换或迭代自适应方法中的至少一个，以在每个距离区间处产生方位角数据。
5.如权利要求3所述的系统，其特征在于，所述一个或多个处理器被配置用于通过以下方式执行所述插值操作：
为所述距离方位角图内多个距离区间的每个距离区间确定距离区间时间，所述距离区间时间是交通工具到达所述距离区间时所处的所述时间序列帧，所述雷达系统被附接到所述交通工具的一部分；
选择所述雷达数据中具有等效于所述距离区间时间的时间序列帧的数据捕获；
确定所述交通工具在等效于所述距离区间时间的数据捕获处的距离位置；并且
在距离维度中使等效于所述距离区间时间的所述数据捕获移位，以使得所述交通工具和所述静止对象的位置与插值的时间序列帧中的那些位置相匹配。
6.如权利要求5所述的系统，其特征在于，所述一个或多个处理器被配置成用于通过以下方式在所述距离维度中使等效于所述距离区间时间的所述数据捕获移位：
使用等效于所述距离区间时间的所述数据捕获的加权平均，所述加权平均基于等效于所述距离区间时间的所述数据捕获与所述经插值时间帧之间的相对差异；或
选择等效于所述距离区间时间的所述数据捕获的经滤波强度值。
7.如权利要求3所述的系统，其特征在于，所述一个或多个处理器被进一步配置成用于在所述天线处接收到所述EM能量时，通过以下方式处理所述EM能量：
通过在一定数量的连续的距离区间上的每个方位角点处采取经滤波强度来对所述距离方位角图进行距离上的下采样，以便有效地压缩所述距离方位角图。
8.如权利要求7所述的系统，其特征在于，所述一个或多个处理器被进一步配置成用于在所述天线处接收到所述EM能量时，通过以下方式处理所述EM能量：
将距离区间大小乘以所述数量，以使经插值时间帧的数量减少所述数量。
9.如权利要求1所述的系统，其特征在于，所述时间序列帧包括多个维度中的与所述静止对象相关联的信息，所述多个维度包括距离维度、多普勒维度、仰角维度和方位角维度中的至少三个。
10.如权利要求1所述的系统，其特征在于，所提取的特征包括所述静止对象的距离、目标角度、速度、几何特征或基于强度的特征中的至少两个。
11.如权利要求1所述的系统，其特征在于：
所述雷达系统被配置为集成或安装在交通工具中；以及
所述机器学习模型包括具有多个层的长短期记忆(LSTM)网络。
12.一种方法，所述方法包括：
接收雷达数据，所述雷达数据包括与电磁EM能量相关联的时间序列帧；
使用所述雷达数据生成所述EM能量的距离时间图；以及
使用机器学习模型检测道路中的静止对象，所述机器学习模型被配置成用于输入从所述时间序列帧中的每一个时间序列帧处的多个距离区间的所述距离时间图中提取的与所述静止对象相对应的特征。
13.如权利要求12所述的方法，所述方法进一步包括：
通过在天线处接收到所述EM能量时至少通过以下方式处理所述EM能量来接收所述雷达数据：
使用所述时间序列帧生成所述EM能量的多普勒波束向量；
使用所述多普勒波束向量和超分辨率操作生成所述时间序列帧中的每一个时间序列帧的所述EM能量的距离角度图，所述距离角度图的角度包括仰角或方位角；并且
使用所述距离角度图和插值操作生成所述EM能量的经插值距离角度图。
14.如权利要求13所述的方法，其特征在于：
所述角度是所述方位角；
所述距离角度图是距离方位角图；
所述经插值距离角度图是经插值距离方位角图；以及
所述距离时间图将所述静止对象中的静止对象的潜在检测表示为45度直线。
15.如权利要求14所述的方法，其特征在于，所述插值操作包括：
为所述距离方位角图内多个距离区间的每个距离区间确定距离区间时间，所述距离区间时间是交通工具到达所述距离区间时所处的所述时间序列帧，所述雷达系统被附接到所述交通工具的一部分；
选择所述雷达数据中具有等效于所述距离区间时间的时间序列帧的数据捕获；
确定所述交通工具在等效于所述距离区间时间的数据捕获处的距离位置；以及
在距离维度中使等效于所述距离区间时间的所述数据捕获移位，以使得所述交通工具和所述静止对象的位置与插值的时间序列帧中的那些位置相匹配。
16.如权利要求15所述的方法，其特征在于，在距离维度中使等效于所述距离区间时间的所述数据捕获移位包括：
使用等效于所述距离区间时间的所述数据捕获的加权平均，所述加权平均基于等效于所述距离区间时间的所述数据捕获与所述经插值时间帧之间的相对差异；或
选择等效于所述距离区间时间的所述数据捕获的经滤波强度值。
17.如权利要求14所述的方法，其特征在于，处理由所述雷达系统的所述天线接收到的所述EM能量进一步包括：
通过在一定数量的连续的距离区间上的每个方位角点处采取经滤波强度，来对所述距离方位角图进行距离上的下采样，以便有效地压缩所述距离方位角图。
18.如权利要求17所述的方法，其特征在于，处理由所述雷达系统的所述天线接收到的所述EM能量进一步包括：
将距离区间大小乘以所述数量，以使经插值时间帧的数量有效地减少所述数量。
19.如权利要求12所述的方法，其特征在于，所述时间序列帧包括多个维度中的与所述静止对象相关联的信息，所述多个维度包括距离维度、多普勒维度、仰角角度维度和方位角角度维度中的至少三个。
20.一种计算机可读存储介质，包括计算机可执行指令，所述计算机可执行指令在被执行时，使雷达系统的处理器用于：
接收雷达数据，所述雷达数据包括与电磁EM能量相关联的时间序列帧；
使用所述雷达数据生成所述EM能量的距离时间图；以及
使用机器学习模型检测静止对象，所述机器学习模型被配置成用于输入从所述时间序列帧中的每一个时间序列帧处的多个距离区间的所述距离时间图中提取的与所述静止对象相对应的特征。
CN202210385859.3A 2021-04-14 2022-04-13 使用用于静止对象检测的机器学习模型的雷达系统 Pending CN115201774A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/230,877 US20220335279A1 (en) 2021-04-14 2021-04-14 Radar System Using a Machine-Learned Model for Stationary Object Detection
US17/230,877 2021-04-14

Publications (1)

Publication Number Publication Date
CN115201774A true CN115201774A (zh) 2022-10-18

Family

ID=80786106

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210385859.3A Pending CN115201774A (zh) 2021-04-14 2022-04-13 使用用于静止对象检测的机器学习模型的雷达系统

Country Status (3)

Country Link
US (1) US20220335279A1 (zh)
EP (1) EP4075159A1 (zh)
CN (1) CN115201774A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230063224A1 (en) * 2021-08-24 2023-03-02 Infineon Technologies Ag Adaptive compression for radar data

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6300865B1 (en) * 1996-05-08 2001-10-09 Daimlerchrysler Ag Process for detecting the road conditions ahead for motor vehicles
EP3767332B1 (en) * 2019-07-18 2023-12-13 Aptiv Technologies Limited Methods and systems for radar object detection

Also Published As

Publication number Publication date
US20220335279A1 (en) 2022-10-20
EP4075159A1 (en) 2022-10-19

Similar Documents

Publication Publication Date Title
CN107609522B (zh) 一种基于激光雷达和机器视觉的信息融合车辆检测系统
EP3553551B1 (en) Method for the recognition of an object
US8812226B2 (en) Multiobject fusion module for collision preparation system
CN110361737B (zh) 识别移动的行人的方法
US11415670B2 (en) Object classification using low-level radar data
CN107103275B (zh) 使用雷达和视觉基于车轮进行的车辆检测和追踪
US20200249316A1 (en) Motion-based object detection in a vehicle radar using convolutional neural network systems
CN104635233A (zh) 基于车载毫米波雷达的前方物体运动状态估计及分类方法
US20220299626A1 (en) Tracking Different Sections of Articulated Vehicles
CN110632916B (zh) 行动预测装置以及自动驾驶装置
EP4177634A1 (en) Machine-learning-based super resolution of radar data
JP2024508909A (ja) 自動車グレードのレーダ信号においてオブジェクトを分類するための方法
CN114578382A (zh) 一种基于人工智能的汽车周围环境实时检测方法及系统
US20220308205A1 (en) Partially-Learned Model for Speed Estimates in Radar Tracking
CN115201774A (zh) 使用用于静止对象检测的机器学习模型的雷达系统
JP6668472B2 (ja) 物体分類を有する動力車両の周辺領域をキャプチャーする方法、制御装置、運転者支援システム、及び動力車両
CN110678776B (zh) 用于增强的对象跟踪的系统
Meis et al. Radar image acquisition and interpretation for automotive applications
CN116224232A (zh) 基于雷达的对象高度估计
Park et al. Ground reflection-based misalignment detection of automotive radar sensors
Stolz et al. Direction of movement estimation of cyclists with a high-resolution automotive radar
US20240134038A1 (en) Stationary Object Detection and Classification Based on Low-Level Radar Data
RU2809334C1 (ru) Беспилотное транспортное средство и способ управления его движением
RU2806452C1 (ru) Устройство и способ для определения объектов
RU2814813C1 (ru) Устройство и способ для отслеживания объектов

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20240401

Address after: Jiraum, Luxembourg, Luxembourg J. 12C Kroll Street

Applicant after: Anbofu Manufacturing Management Services Co.,Ltd.

Country or region after: Luxembourg

Address before: Babado J San Michaele

Applicant before: Delphi Technologies, Inc.

Country or region before: Barbados

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240428

Address after: 2 Pestaroz Street, Schaffhausen, Switzerland

Applicant after: Anbofu Technology Co.,Ltd.

Country or region after: Switzerland

Address before: Jiraum, Luxembourg, Luxembourg J. 12C Kroll Street

Applicant before: Anbofu Manufacturing Management Services Co.,Ltd.

Country or region before: Luxembourg

TA01 Transfer of patent application right