CN115128594A - 用于雷达跟踪中的速度估计的部分学习模型 - Google Patents

用于雷达跟踪中的速度估计的部分学习模型 Download PDF

Info

Publication number
CN115128594A
CN115128594A CN202210296558.3A CN202210296558A CN115128594A CN 115128594 A CN115128594 A CN 115128594A CN 202210296558 A CN202210296558 A CN 202210296558A CN 115128594 A CN115128594 A CN 115128594A
Authority
CN
China
Prior art keywords
radar
radial velocity
data
vehicle
velocity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210296558.3A
Other languages
English (en)
Inventor
S·罗斯勒
A·贝克
J·K·谢夫曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anbofu Technology Co ltd
Original Assignee
Delphi Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Delphi Technologies Inc filed Critical Delphi Technologies Inc
Publication of CN115128594A publication Critical patent/CN115128594A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66Radar-tracking systems; Analogous systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50Systems of measurement based on relative movement of target
    • G01S13/58Velocity or trajectory determination systems; Sense-of-movement determination systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50Systems of measurement based on relative movement of target
    • G01S13/58Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/583Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves and based upon the Doppler effect resulting from movement of targets
    • G01S13/584Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves and based upon the Doppler effect resulting from movement of targets adapted for simultaneous range and velocity measurements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66Radar-tracking systems; Analogous systems
    • G01S13/72Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G01S13/726Multiple target tracking
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/89Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415Identification of targets based on measurements of movement associated with the target
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/42Diversity systems specially adapted for radar
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Abstract

本文档描述了用于雷达跟踪中的速度估计的部分学习模型所使用的技术和系统。描述了确定交通工具的环境中的潜在检测的径向速度图的雷达系统。模型使用数据立方体来确定潜在检测的预测框。雷达系统使用预测框来确定与对应于预测框的潜在检测相关联的多普勒测量。多普勒测量用于确定基于对应的潜在检测的预测框的速度估计。这些速度估计可以比从数据立方体和模型中导出的速度估计更准确。由速度估计支持的驾驶决策可以导致更安全并且更舒适的交通工具行为。

Description

用于雷达跟踪中的速度估计的部分学习模型
背景技术
用于交通工具的感知系统(例如,高级安全或自动驾驶系统)可以依赖于雷达跟踪器的输出。用于多输入多输出(MIMO)雷达系统的雷达跟踪器可以将雷达跟踪输出到从复杂雷达数据(例如,数据立方体或数据清单)的分析中导出的对象,该复杂雷达数据描述了使用MIMO阵列在多个帧上检测到的雷达回波的特征。雷达跟踪器可以给感知系统提供估计的速度,以尽可能及时和准确地支持安全的交通工具操作。鉴于任务的复杂性,一些雷达跟踪器可能没有准确地报告关于在环境中被跟踪的对象的信息,或者如果准确,可能没有及时地报告信息,其可能未能在许多常见的驾驶场景中给交通工具提供足够的态势感知。
发明内容
本文档描述了用于雷达跟踪器中的速度估计的部分学习模型所使用技术和系统。在一个示例中,方法包括从雷达信号生成表示交通工具的环境的数据立方体,以及基于雷达信号或数据立方体确定环境中的潜在检测的径向速度图。方法进一步包括使用应用于数据立方体的模型,以确定预测框。还确定与与每个预测框相关联的潜在检测的组所关联的多普勒测量。与为每个预测框确定的潜在检测的组相关联的多普勒测量用于为每个预测框确定速度估计。将预测框的速度估计作为输入提供给在道路上操作交通工具的自主驾驶系统获辅助驾驶系统。通过将测量的径向速度合并到速度估计的确定中,改进了利用所描述模型执行的所描述方法的速度回归。以此方式,测量的径向速度数据以非学习方式被合并到所描述雷达系统的处理流水线中。
在另一个示例中,系统包括至少一个处理器,被配置成用于执行以上总结的方法。本文所述的其他示例针对系统和组件,包括具有用于执行这些方法的装置的系统。
本发明内容介绍了用于雷达系统中的速度估计的部分学习模型的简化概念,例如,需要对象跟踪以及对象跟踪的其他示例的汽车(例如,交通工具)应用,如具体实施方式和附图中进一步描述的。本发明内容并非旨在标识出要求保护的主题的必要特征,也并非旨在用于确定要求保护的主题的范围。
附图说明
本文档参考下列附图,描述了用于雷达跟踪器中的速度估计的部分学习模型的细节。贯穿附图通常使用相同的数字来引用类似的特征和组件,包括用连字符编号来表示之前示出的类似特征和组件的变化。
图1示出了根据本公开内容的技术的用于雷达系统中的速度估计的部分学习模型的示例环境;
图2示出了具有用于雷达系统中的速度估计的部分学习模型的交通工具的一部分的示例配置;
图3示出了根据本公开内容的技术的由用于雷达系统中的速度估计的部分学习模型执行的示例过程的流程图;
图4-1和4-2示出了根据本公开内容的技术的包括雷达系统中用于速度估计的部分学习模型的示例计算机架构的概念图;以及
图5示出了由不同置信阈值的模型输出的速度估计的平均绝对误差(MAE)的示例图。
具体实施方式
概述
感知系统可以依赖于雷达跟踪器来提供态势感知并且检测交通工具的环境中的感兴趣对象。雷达系统可以包括接口到单片微波集成电路(MMIC)的多输入多输出(MIMO)天线阵列,该单片微波集成电路(MMIC)获得由MIMO检测到的对象反射的雷达回波,并将那些雷达回波作为雷达数据传送。根据由MMIC输出的一帧的雷达数据,雷达处理器可以标识该帧的数据立方体和/或检测列表。
每个检测都包含用于导出检测对象的雷达反射部分的位置和距离变化率的信息。然而,数据立方体将由MIMO阵列从一帧获得的大多数(如果不是所有)雷达回波组织成雷达数据的二维(2D)数据立方体表示,MIMO阵列的每个接收信道都具有距离多普勒平面。这使得能够将MMIC输出的三维(3D)数据立方体表示形成为一维有效接收阵列,或者将MMIC输出的四维(4D)数据立方体表示形成为2D有效接收阵列。一些雷达处理器可以对接收信道执行附加处理,用于将1D角度响应测量值(例如,方位角或仰角)或2D角度响应测量值(例如,方位角或仰角)附加地包括进数据立方体中。除了形成数据立方体之外,还可以确定检测列表,并且在一些情况下,检测列表是从数据立方体的形成中导出的。在任何一种情况下,将雷达数据转换为检测是通常在传统雷达跟踪可以进行之前所需的预处理步骤。随着计算技术的进步,基于模型的跟踪器可以替代地直接分析这些复杂的数据立方体集合,以识别特定类别的对象,并且与使用检测来估计相比,能更快地估计对象测量。
基于模型的跟踪器可以包括经过训练以分析数据立方体的序列或其稀疏子集以用于识别环境中该网络经过训练以识别的特定类型或类别的对象的机器学习网络。基于模型的跟踪器报告模型化的测量(例如,机器学习的测量)的周期性列表,其中包含由机器学习网络通过直接分析数据立方体发现的整个对象的特定属性的估计。参考主交通工具,一些估计包括距离、角度和速度。此外,基于模型的跟踪器可以输出传送对象的位置、对象的取向以及网络可以从数据立方体推断出的其他信息的边界框。
许多基于交通工具的系统需要被跟踪对象的高分辨率的雷达数据(例如,距离、角度和速度)。如上所述,可以使用经过编程或训练以直接分析数据立方体的计算机模型(例如,机器学习网络)来提高一些雷达跟踪器的性能。尽管一些雷达系统出于这个目的可以使用神经网络(例如,雷达深度对象识别网络),但是神经网络通常从能够对应对象位移的连续帧中聚合特征。因此,神经网络可以在某种程度上预测对象速度,然而,这些估计值通常达不到用于安全驾驶的期望准确度。对象定位的准确度可能由于神经网络较差的跨范围分辨率而被损害。尽管一些雷达跟踪器可以通过分析雷达检测来公正和准确地测量对象的速度(例如,相对主交通工具的运动)的径向分量,但是包括神经网络在内的基于模型的跟踪器不能有效地使用数据立方体中的所有信息,并且可能难以从雷达信号中产生可靠的径向速度数据。
本文档描述了用于雷达跟踪中的速度估计的部分学习模型所使用的技术和系统。描述了使用数据立方体来确定交通工具的环境中的检测的径向速度图的雷达系统。模型使用数据立方体来确定潜在对象的预测框。雷达系统确定与在预测框边界内的位置处观察到的检测相关联的多普勒测量。多普勒测量用于确定潜在对象的速度估计,包括经修改或者与由模型推断的速度和速率不同的估计的速度和速率。由更准确的估计支持的驾驶决策可以导致更安全并且更舒适的交通工具行为。来自示例雷达系统的雷达输出通过直接并且以非学习的方式将检测的测量多普勒速度合并到执行模型的处理流水线,从而克服了较差的对象速度估计的问题。此外,示例雷达系统可以更准确地确定对象的速度。
提高雷达输出的准确度和保真而不增加延时或额外的硬件可以提高依赖于雷达输出的感知系统的操作。自主驾驶或辅助驾驶系统可以依赖于所描述雷达系统的输出,以安全地操纵交通工具。
操作环境
图1示出了根据本公开内容的技术的用于雷达系统中的速度估计的部分学习模型的示例环境100。在所描绘的环境100中,交通工具102在道路上行驶,在该道路上或附近各种各样的对象可以自由移动并影响驾驶。尽管示出为客车,但是交通工具102可以表示其他类型的机动交通工具(例如,汽车、摩托车、公共汽车、拖拉机、半挂车)、非机动交通工具(例如,自行车)、有轨交通工具(例如,火车)、水运工具(例如,船只)、飞行器(例如,飞机、航天器)等。交通工具102依赖于感知系统,包括雷达系统104,用于在环境100中驾驶交通工具102时避开其中的对象。
雷达系统104输出雷达数据,该雷达数据包括在视场106中检测到的对象的指示。例如,雷达数据可以向交通工具102的高级安全或自主驾驶系统警告在交通工具102的驾驶路径中存在的对象108。雷达系统104可以安装进、安装到或集成于交通工具102的任何部分,诸如交通工具102的前部、后部、顶部、底部或侧部、保险杠、侧视镜、前照灯和/或尾灯的一部分,或在交通工具102的任何其他内部或外部的需要使用雷达进行对象检测的位置。雷达系统104可以包括多个雷达设备或多个雷达系统,其相互协调以充当视场106的单个提供者。雷达系统104主要被描述为MIMO雷达系统,然而本文描述的雷达跟踪技术不必仅仅局限于MIMO雷达系统,可以应用其他种类的雷达系统用于雷达跟踪。
雷达系统104可以包括在其上硬件组件和软件组件的组合。例如,雷达系统104的计算机可读存储介质(CRM)可以存储机器可执行指令,当该机器可执行指令被处理器执行时,使得雷达系统104可以输出关于在视场106中检测到的对象的信息。雷达系统104的硬件和软件组件的一个示例组合包括MMIC112、至少一个处理器114、对象检测器模型116、以及输出管理器118。雷达系统104可以包括其他没有示出的组件。例如,为了附图的简洁,没有示出雷达系统104的天线,然而,雷达系统104被配置成用于耦合或包括天线,例如MIMO天线阵列。
MMIC 112处理雷达信号,该雷达信号可以包括下列各项中的一项或多项:用于模拟信号到雷达频率的上变频和上变频后的信号的功率放大而混合的信号混合,以及路由到天线(未在图1中示出)以用于传输的信号(例如,雷达信号110-1)。附加地或替代地,MMIC112通过天线的方式接收反射(例如,雷达回波110-2),将信号下变频为中频(IF)信号,然后将该IF信号路由到其他组件(例如,雷达处理器114)用于进一步处理和分析。
雷达系统104的MMIC 112包括到合适的天线的接口,并且在每一帧时间期间,MMIC112经由该天线发射雷达信号110-1以辐射视场106中的对象。MMIC 112经由该天线接收作为那一帧发射的雷达信号110-1的反射版本的雷达回波110-2。MMIC 112将雷达回波110-2转化成数字格式,以使得雷达系统104可以快速地建立对视场106中的对象的跟踪。
雷达处理器114(也被简称为“处理器114”),对象检测器模型116和输出管理器118被配置成用于处理由MMIC 112数字化为各种形式的其他雷达数据的雷达回波110-2,其中一些由雷达系统104维护以用于内部使用,而其中一些被生成以供交通工具102的(雷达系统104以外的)其他系统使用。雷达数据的形式可以包括数据立方体120、检测122、框预测124和速度估计126。雷达数据可以由雷达系统104使用,以生成一个或多个跟踪,例如,用于传送框预测124和/或对象108的速度估计126或视场106中的其他对象。
为了清楚起见,环境100将雷达处理器114示出为单个处理器,但是各种实现中可以包括多个处理器。为了说明,雷达处理器114可以包括用于不同的处理任务的单个处理器(SP)和数据处理器(DP)。作为一个示例的SP执行低级别处理,诸如快速傅里叶变化(FFT)、为DP识别感兴趣目标、生成距离多普勒图等,而DP执行高级别处理,诸如跟踪,显示更新、用户接口生成等。雷达处理器114处理数字微波和/或雷达信号(例如,IF信号)。这可以包括调度和配置雷达信号传输,以创建具有特定大小、形状和/或深度的视场(例如,视场106)。例如,雷达处理器114生成信号传输的数字表示,该信号传输被馈入数模转换器(DAC)并被上变频为雷达频率以用于传输。在各方面中,DAC(图1中未示出)可以与MMIC 112集成、作为SoC的一部分与雷达处理器114集成,或作为独立组件被包括在雷达系统104中。附加地或替代地,雷达处理器114利用模数转换器(ADC)接收并处理反射的雷达信号的数字化版本,例如由MMIC 112从雷达回波110-2生成的数字化IF信号。与DAC相似,ADC可以与MMIC 112集成、作为SoC的一部分与雷达处理器114集成,或作为独立组件被包括在雷达系统104中。
处理器114生成数据立方体120,其表示了与在一帧期间从MMIC 112获得的数字化雷达回波110-2相关的测量的集合。在该MIMO示例中,雷达系统104的接收信道被处理成为包括每个信道的距离多普勒平面的2D(二维)数据立方体120,其导致用于1D(一维)有效接收天线阵列的3D(三维)数据立方体120或者用于2D(二维)有效接收天线阵列的4D(四维)数据立方体120。数据立方体120还可以包含其他从进一步处理中获得的其他信息,例如关于特定1D或者2D角度响应(例如,仰角、方位角、仰角和方位角的组合)的信息。
此外,基于数据立方体120或直接基于从MMIC 112获得的数字化雷达回波110-2,处理器114生成检测122。单个检测或检测的组122可以指示到环境100中的对象108上的有效雷达回波110-2(散射)的径向距离率。检测122可能具有位置(例如,距离、方位角)上的误差,然而,大量的检测122指示用于跟踪的准确和高质量的径向距离率。处理器114可以通过与雷达回波110-2相关联的距离多普勒平面(例如,通过该平面中的峰值查找)中的雷达能量的阈值化和非最大化抑制,将检测122与假检测和噪声隔离。针对数据立方体120的每个距离区间,处理器114可以通过对多普勒区间进行平均来为雷达系统104估计噪声级别。检测阈值可以被用于将噪声和假警报与实际的或可能的检测分离。尽管该检测过程可能丢失一些来自雷达回波110-2和/或数据立方体120的信息,但是检测122数量的减少可以显著地降低由输出管理器118执行的处理的复杂度,这可以与雷达系统104的速度和响应性的提高相关联。
对象检测器模型116是经过编程或训练(例如,使用机器学习或神经网络技术)以从数据立方体120中识别对象的计算机模型,该对象包括框预测124和速度估计126,诸如与对象108相关联的那些。对象检测器模型116可以丢弃或忽略数据立方体120中不可识别的部分。对象检测器模型116可以是机器学习模型,诸如神经网络或回归神经网络,其经过训练以识别环境100中的对象108。在分析和报告框预测124时,对象检测器模型116允许输出管理器118将与检测122相关联的测量的径向速度与框预测124相结合,以提供与对象108相关联的更准确的速度估计126。
输出管理器118使用框预测124解析检测122,以改善最初从对象检测器模型116输出的速度估计126的分辨率或准确度。与检测122相关联的网格分割和点分割可以被确定。框预测124的边界处或附近的检测122可以由输出管理器118使用来提高被输出以供交通工具102使用的速度估计126的保真或严谨性。以这种方式,速度估计126可以在由对象检测器模型116输出之后被修改,以包括基于来自检测122的信息的更准确的估计,而不仅仅是来自处理数据立方体120的对象检测器模型116的信息。输出管理器118可以通过通信链路发送雷达跟踪,该通信链路将速度估计126和框预测124作为跟踪的值填充字段来传送。控制接口可以将速度估计126通信至基于交通工具的系统,以实现基于环境100中检测到的对象108的驾驶决策。
交通工具配置
图2示出了具有使用部分学习模型的雷达系统104-1中的速度估计的交通工具102-1的部分的示例配置交通工具102-1是图1中示出的交通工具102的示例。
包括在交通工具102-1中的是雷达系统104-1,雷达系统104-1是雷达系统104更详细地示出的示例。交通工具102-1还包括基于交通工具的系统200,系统200操作地和/或通信地经由链路202耦合到雷达系统104-1,链路202可以是一个或多个有线和/或无线链路,包括用于与交通工具102-1的组件互联的基于交通工具的网络通信。在一些示例中,链路202是交通工具的通信总线。
基于交通工具的系统200使用交通工具数据,包括链路202上由雷达系统104-1提供的雷达数据,以执行基于交通工具的功能,除了其他功能之外可以包括用于交通工具控制的功能。基于交通工具的系统200可以包括使用雷达数据来代表交通工具102-1的任何可构想的设备、装置、组件、模块、部件、子系统、例程、电路、处理器、控制器等。作为一些非限制性示例,基于交通工具的系统200可以包括用于自主控制的系统206-1、用于安全性的系统206-2、用于定位的系统206-3、用于交通工具对交通工具通信的系统206-4、用于作为乘员接口的系统206-5,以及用于作为多传感器跟踪器的系统206-6。在接收到雷达数据后,由基于交通工具的系统200提供的功能使用雷达数据的一部分,包括在视场106中检测到的对象的估计测量值,以配置交通工具102-1在不与检测到的对象碰撞的情况下安全地驾驶。
例如,具有传送速度估计126和/或框预测124的信息的字段的雷达跟踪是在链路202上输出到基于交通工具的系统200的雷达数据的示例。这个关于对象108的移动(诸如速度、位置等)的信息可以使得基于交通工具的系统200能够控制或辅助制动、转向和/或加速交通工具102-1,以避免与对象108发生碰撞。用于自主控制的系统206-1可以使用经由链路202接收的雷达输出,以自主或半自主地在道路上安全地驾驶交通工具102-1。用于作为乘员接口的系统206-5而使用的系统可以使用从雷达系统104-1输出的信息,以允许操作者或乘客具有态势感知,以做出驾驶决定或向用于提供更多缓冲的控制器提供操作者输入以避开对象。可以使用用于交通工具对交通工具或基础设施的通信206-4(例如,V2V、V2X)将链路202上的雷达数据输出提供给其他交通工具或基础设施,这样允许其他交通工具的操作者、乘客或控制器也可以避开被跟踪的对象或者确信交通工具102-1基于雷达数据的接收知道被跟踪对象的存在。通过使用来自雷达系统104-1的雷达数据来提高交通工具102-1和环境100中的其他交通工具的态势感知,交通工具102-1可以以安全的方式在手动、自主或半自主控制下进行驾驶。
雷达系统104-1包括MMIC 112-1,作为MMIC 112的示例。MMIC 112-1包括发射器/接收器元件210、定时/控制元件212以及模数转换器214。为了附图的简洁,在图2中省略了天线阵列(例如,MIMO天线阵列),该天线阵列也是雷达系统104-1的一部分并操作地耦合到发送器/接收器元件210。
发射器/接收器元件210被配置成用于使用一个或多个用于发射EM能量的组件来发射电磁(EM)信号。发射器/接收器元件210被配置成用于使用一个或多个用于接收EM能量的组件接收响应于反射所发射的EM能量的对象的反射。发射器/接收器元件210可以被配置为收发器,该收发器被配置成作为单个组件(例如,芯片)以执行发射和接收两者。例如,用于发射EM能量的组件使得视场106能够通过发射雷达信号110-1而被辐射。雷达回波110-2代表用雷达信号110-1辐射的EM能量的反射;用于接收EM能量的组件使得能够接收雷达回波110-2,其可以使得能够在视场106中检测和跟踪对象。
定时/控制元件212执行调整被发射的雷达信号110-1的特征(例如,频率、增益、相位、周期)的操作,或者用于以能够有效地使用特定天线和雷达设计进行雷达跟踪的方式接收雷达回波110-2的操作。例如,定时/控制元件212使得发射器/接收器元件210调整雷达系统104-1的大小、形状、天线图或其他特征以使用多个发射器发射雷达信号110-1,并且定时/控制元件212使多个接收器在每一帧期间从雷达回波110-2捕获更多信息,从而实现高分辨率雷达跟踪。
模数转换器214将从发射器/接收器元件210获取的雷达回波110-2转换为可以用于生成数字立方体、检测和实现其他雷达处理的数字格式。MMIC 112-1通过链路208输出数字化雷达回波110-2,该链路代表雷达系统104-1的组件之间的内部通信链路。链路208可以是有线或无线的,并且使得雷达数据的内部表示(例如,数据立方体120、检测122)能够在显示为链路202上的雷达输出或跟踪之前在雷达系统1041内进行交换。
雷达系统104-1操作地耦合到MMIC 112-1和链路208,雷达系统104-1还包括至少一个处理器114-1,该处理器114-1是雷达处理器114的一个示例。处理器114-1的一些示例包括控制器、控制电路、微处理器、芯片、系统、片上系统、设备、处理单元、数字信号处理单元、图形处理单元,以及中央处理单元。处理器114-1可以是配置成用于处理从MMIC 112-1获取的雷达回波110-2的数字化版本的帧来传递环境100中的对象的任何组件。处理器114-1可以包括多个处理器、一个或多个芯、嵌入式内存存储软件或固件、缓存或使得处理器114-1可以执行机器可读指令用于生成来自雷达系统104-1的输出的其他计算机元件。
由处理器114-1执行的机器可读指令可以由雷达系统104-1的计算机可读介质(CRM)204存储。CRM 204还可以用于存储在指令执行期间由处理器114-1管理的数据。在一些示例中,CRM 204和处理器114-1是单个组件,诸如包括CRM 204的片上系统,该CRM 204被配置成作为处理器114-1的专用存储器。在一些示例中,对CRM 204的访问由雷达系统104-1的其他组件(例如,MMIC 112-1)共享,该雷达系统104-1例如经由链路208连接到CRM 204。处理器114-1从CRM 204获得指令;指令的执行将处理器114-1配置成用于执行雷达操作,诸如雷达跟踪,这导致雷达输出(例如,雷达跟踪)在链路202上与基于交通工具的系统200和交通工具102-1的其他组件进行通信。
在这个示例中,CRM 204包括用于配置处理器114-1以生成数据立方体120和生成检测122的指令。例如,根据从MMIC 112-1的模数转换器214接收的雷达数据来确定数据立方体120,并且根据同样的数字化雷达数据或者对数据立方体120的进一步处理来确定检测120。
CRM进一步包括配置处理器114-1以执行对象检测器模型116-1的指令,该对象检测器模型116-1推断框预测124的边界和取向,作为从数据立方体120的输出识别的对象的指示。对象检测器模型116-1是对象检测器模型116的示例,当其由处理器114-1执行时,可以确定与每个框预测124相关联的估计速度,以用于最终包括在雷达系统104-1的输出中。由对象检测器模型116-1报告的速度估计可能不是高置信。在输出到基于交通工具的系统200的跟踪中报告框预测124之前,这些这些模型化的速度估计可以被修改。与框预测124一起被报告的估计速度126可以调整为比来自对象检测器模型116-1的估计值更准确,以促进依赖于它们的基于交通工具的系统200的安全操作。
CRM 204进一步包括用于配置处理器114-1以用于执行以下过程的指令:执行输出管理器118-1并使用来自检测122的信息修改模型化速度估计以生成速度估计126,该检测122是从外部导出或者独立于对象检测器模型116-1的执行而导出的。输出管理器118-1可以使用框预测124解析检测122,以改善从雷达系统104-1输出的速度估计126。
例如,当由处理器114-1执行时,对象检测器模块116-1接收数据立方体的序列,其包括数据立方体120。对象检测器模型116-1可以在链路208上输出框预测124,作为由处理器114-1管理并被存储在CRM204上的内部数据。框预测124是对象检测器模型116-1经过专门训练或编程以识别的特定对象类别或对象类型的对象定位中的每一个。框预测124可以包括指示对象类别、位置、大小、取向和形状的详细信息;并且准确度较低的、关于航向和速度(例如,速率)的信息包括在框预测124中。尽管对象检测器模型116-1可能无法识别一些类型的对象,但是关于被识别的框预测124的对象的信息由CRM 204维护以供生成诸如雷达跟踪的雷达输出的输出管理器118-1使用。
通常,至少一组检测122对应于框预测124中的每一个。检测122(或检测122的组)可以比对象检测器模型116-1能够从数据立方体120中辨别的对象数量要多得多。一些检测122或检测122的组传递噪声,而其他检测122是由对象检测器模型116-1可识别的类型或类别的对象的反射引起的。与框预测124相关联的对象的附加细节可以从对应的检测122中导出。例如,检测122可以包括对象检测器模型116-1在分析数据立方体120期间未考虑的信息。此基于检测的信息可以用于改善针对每个框预测124生成的速度估计126,该速度估计126由对象检测器模型116-1进行初始化。
输出管理器118-1接收框预测124和检测122。根据这些输入,输出管理器118-1生成速度估计126,其改善了从对象检测器模型116-1接收到的针对框预测124的模型化速度估计。通过比较其接收的输入,输出管理器120-1确定是否使用任何来自检测122的信息,以更新、校正或改善由对象检测器模型116-1针对每个框预测124估计的速度或方向(例如,速率)。
以这种方式,输出管理器118-1使得雷达系统104-1充分利用对象检测器模型116-1处理数据立方体120以快速且准确地确定对象类别、位置、大小和取向的高质量能力。此外,输出管理器118-1使得检测122的高质量距离变化率可以用于进一步改善环境100中的跟踪,包括通过使用由对象检测器模型116-1以其他方式忽略或不依赖的信息来改善检测到的对象的速度估计126(例如,速度矢量)。
当在处理器114-1处执行对象检测器模型116-1时,从反射雷达信号110-2产生的作为对象检测器模型116-1的输入的数据立方体120被维护在处理器114-1的存储器或寄存器中或CRM 204处。具体而言,雷达系统104-1发射雷达信号110-1并接收发射的雷达回波110-2。根据反射的雷达回波110-2生成数据立方体120,所以对象检测器模型116-1可以分析回波110-2。也根据雷达回波110-2或根据数据立方体120生成的是检测122,该检测122同样被维护在处理器114-1的存储器或寄存器中或CRM 204处。对象检测器模型116-1不接收这些检测122,然而,输出管理器118-1被赋予对检测122的访问权,以用于改善来自雷达系统104-1的输出,包括填充雷达跟踪的字段的框预测124的速度估计126。
对象检测器模型116-1检索数据立方体120,以产生框预测124。框预测124为环境100中的对象提供由对象检测器模型116-1估计的多普勒测量。这些以及检测122被提供给输出管理器118。
输出管理器118也在处理器114处执行。输出管理器118接收框预测124并推断出与检测122相关联的径向速度。输出管理器118可以将框预测124和径向速度融合,以确定与框预测124相关联的速度估计126,作为比由对象检测器模型116-1报告的框预测124的估计速度更准确的预测。
以此方式,雷达系统104针对环境100中的一个或多个对象108输出包括速度估计126的高准确度的雷达数据。雷达输出可以与其他雷达系统的输出类似;然而速度估计126可以更加准确。通过采用所述技术,可以在雷达处理期间考虑径向速度测量值,以增强神经网络(例如,对象检测器模型116和/或输出管理器118)的能力。以这种方式提高雷达输出的准确度和保真度可以改善依赖于该雷达输出的感知系统和基于交通工具的系统200的操作。交通工具102-1的基于交通工具的系统200可以依赖于雷达系统104-1和快速输出的高准确度的速度估计126,以安全地在道路上操纵交通工具102-1。由雷达系统104-1支持的驾驶决策可以导致安全并且舒适的交通工具行为。
示例过程
图3示出了根据本公开内容的技术的由用于雷达系统中的速度估计的部分学习模型执行的的示例过程的流程图。为了便于描述,过程300主要被描述在由图1中的雷达系统104执行的上下文中。过程300的操作(也被称为步骤)可以与图中所示的特定流程不同的方式重新布置、跳过、重复或执行。
在302处,根据雷达信号生成表示交通工具的环境的数据立方体。例如,处理器114可以根据反射的雷达回波110-2产生数据立方体120。数据立方体120表示交通工具102的环境100。数据立方体120总体上包括至少三个维度,诸如包括检测122的距离数据、角度数据和径向速度数据
在304处,基于雷达信号或数据立方体确定交通工具的环境中的潜在对象的径向速度图。径向速度图包括从雷达信号推导出的潜在对象的径向速度和多普勒数据。例如,处理器114可以使用反射的雷达回波信号110-2或数据立方体120,以产生检测122,包括每个检测122的径向速度分量。通过按照位置组织检测122,处理器114可以产生检测122的径向速度图。如参考图4更详细地描述的,径向速度图包括检测122的径向速度数据和多普勒数据。径向速度图可以是二维的,并且至少包括最大值和最大绝对值。处理器114还可以对检测122的径向速度图执行极坐标到笛卡尔坐标的转换,从而得到转换后的径向速度图。处理器114还可以为转换后的径向速度图生成坐标的融合。对于每个检测122,坐标的融合对给定的角度保持最大幅度的径向速度值。
在306处,使用应用于数据立方体的模型确定预测框。例如,对象检测器模型116可以产生框预测124来作为从数据立方体120导出的预测框。对象检测器模型116可以是神经网络、卷积神经网络、递归神经网络、模块化神经网络或长-短期记忆网络。每个框预测124可以代表由对象检测器模型116识别的唯一对象。在生成框预测124时,对象检测器模型116可以模型化对象测量,诸如大小、位置、取向和类别。其他属性可以被模型化,其中一些具有较低的准确度。
在308处,确定与每个预测框相关联的潜在检测的组所关联的多普勒测量。例如,输出管理器118可以确定与定位到框预测124的检测122的组相关联的多普勒测量。多普勒测量为每个框预测124导致测量的径向速度的列表,该列表独立于来自对象检测器模型116的输出而产生。输出管理器118还可以基于交通工具102的速度补偿测量的径向速度,以确定针对框预测124的经补偿的距离变化率。输出管理器118可以在单个笛卡尔图中生成或提供检测122的多普勒测量。输出管理器118可以通过应用框预测124和从对应的检测122组获得的径向速度数据的融合来提取对应于框预测124的检测122的多普勒测量。
在310处,使用与为每个预测框确定的潜在检测的组相关联的多普勒测量来确定每个预测框的速度估计。例如,输出管理器118可以使用检测122的多普勒测量确定检测122的速度估计126,该检测122被定位在由每个框预测124定义的区域内或附近的位置。例如,可以通过使用最小二乘算法来确定与该多普勒测量最匹配的笛卡尔速度,从而确定每个框预测124的速度估计126。速度估计126还可以使用由对象检测器模型116预测的框预测124的取向和经补偿的距离变化率来确定。
在312处,将预测框的速度估计作为输入提供给在道路上操作交通工具的自主驾驶系统获辅助驾驶系统。例如,输出管理器118或雷达系统104将框预测124的速度估计126提供给基于交通工具的系统200。
系统架构
图4-1示出了根据本公开内容的技术的包括雷达系统中用于速度估计的部分学习模型的计算机架构400-1的概念图。雷达系统可以分别是图1或图2中的雷达系统104或104-1。计算机架构400-1可以实现为硬件、软件或其组合。例如,计算机架构400-1的组件可以分布在交通工具102或102-1的硬件或软件组件上。计算机架构400-1是一个示例,在其他示例中,示出的组件可以被省略、组合、复制或以不同地方式排列。
计算机架构400-1包括处理器114-2,该处理器114-2是处理器114的示例。处理器114-2包括数据立方体生成器404,该数据立方体404被配置成用于从雷达数据402(例如,从MMIC 112-1接收的雷达数据402)中输出数据立方体120。数据立方体生成器404可以使用恒定误警报率(CFAR)级别来抑制雷达数据402中的波束矢量,从而产生作为数据立方体120的稀疏数据立方体。数据立方体生成器404或处理器114-2可以在数据立方体120的波束矢量中插值缺失的天线元件。根据在一些实现中的雷达方程,处理器114-2还可以缩放数据立方体120中的区间值。在其他实现中,未压缩的数据立方体可以被使用,并且依赖于数据立方体120的参与者(例如,对象检测器模型116-2)可以在处理数据立方体120时使用区间-抑制(bin-suppression)方法。
处理器114-2还可以使用快速傅里叶变换(FFT)(例如,2D FFT),以将每个天线的雷达数据402分解为数据立方体120的频率分量。然后,处理器114-2能够将频率分量转换为距离和多普勒数据。例如,处理器114-2可以将检测122标识为集成距离多普勒图中的峰。测角组件406使用FFT或DOA估计算法处理高于某一能量级别(例如,局部噪声级别)的峰,以确定具有特定距离多普勒值的对象(例如,对象108)的到达方向。测角组件406可以是多层感知器(MLP),该多层感知器可以在数据立方体120的每个波束矢量上共享相同的参数。
处理器114-2可以生成剩余峰的径向速度、距离和RCS值,以形成检测列表,该检测列表示出为检测122。数据立方体120能够具有多个维度(例如,
Figure BDA0003563593190000161
)。例如,处理器114-2能够确定单个检测122或检测122组的多普勒测量,包括径向速度408。处理器114-2可以使用后续层(例如,卷积层)来过滤雷达数据402。例如,处理器114-2能够将数据立方体120降低为测量的径向速度(例如,
Figure BDA0003563593190000162
其中
Figure BDA0003563593190000166
)和它们各自的幅度(例如,mag)的二维图,两个平面都是距离和角度的元素(例如,
Figure BDA0003563593190000163
)由方程(1)和(2)说明:
Figure BDA0003563593190000164
Figure BDA0003563593190000165
处理器114-2还能够从数据立方体120中提取能量(例如,雷达横截面(RCS)值),重新缩放以输出单位系统、生成监测点云并且生成对象假设。
处理器114-2还包括极坐标到笛卡尔坐标(P2C)转换器410。P2C转换器410可以将径向速度408的径向速度图转换为笛卡尔坐标系(例如,(r,θ)→(xvcs,yvcs)),其中vcs代表交通工具坐标系(例如,在交通工具102的x方向和y方向)。笛卡尔坐标系或交通工具坐标系可以是固定在交通工具102上或附近的参考点处的二维或三维的笛卡尔坐标系。P2C转换器410能够使用径向速度408的幅度来确定重叠区域中的检测122组的径向速度。对于从极坐标系到笛卡尔坐标系的转换,可以使用插值技术将每个特征信道(例如,多普勒特征信道)重新采样到笛卡尔网格,该插值技术包括,例如,双三次插值、最近邻插值、双线性插值等。P2C转换器410能够在中间步骤中使用高分辨率,以避免在最大池化分辨率降低之后出现的子采样问题。转换的结果可以是作为数据立方体输出的笛卡尔数据立方体。
处理器114-2还能够包括传感器融合器412。传感器融合器412能够应用最大池化,以融合不同雷达的结果。以此方式,传感器融合器412能够结合每个雷达的观察特征平面来生成特征平面。传感器融合器412还能够使用门控融合或其他复杂的传感器融合网络,以结合每个雷达的观察特征平面。由此,从处理器114-2输出并且由对象检测器模型116-2使用的如图所示的数据立方体120可以从传感器融合器412接收到,并且直接从数据立方体生成器404接收到。
计算机架构400-1还包括对象检测器模型116的示例,示出为对象检测器模型116-2,其经过训练以接收数据立方体120。对象检测器模型116使用应用于数据立方体120中的信息的机器学习技术来提供框预测124。对象检测器模型116-2能够在一个或多个雷达和雷达的一个或多个时间步骤、帧或扫描上操作,并且因此,可以处理一系列或多个数据立方体120。响应于解调雷达回波110-2(例如,由处理器114-2接收的雷达信号,以产生数据立方体120)或在雷达信号处理(例如,以数据立方体120的形式)之后,对象检测器模型116-2可以直接对从MMIC 112接收的雷达数据402进行操作,该雷达信号处理诸如通常在将雷达数据402以数据立方体的形式提供给对象检测器模型116-2之前执行的、距离多普勒快速傅里叶变化(FFT)处理、使用角度处理的距离多普勒FFT处理等。
对象检测器模型116-2是对象检测器模型116的示例,该对象检测器模型116使用机器学习技术进行训练而不是编程,以直接从作为输入提供的数据立方体120推导出框预测124。例如,对象检测器模型116-2可以包括一个或多个人工神经网络,每个人工神经网络包括一个多个人工神经元或节点的复杂(即,似乎有神经联系的)层。每个节点可以是具来自其他节点的一个或个输入的处理元件,这些其他节点将输入馈送到一个或多个附加节点。可以对每个节点的输入进行加权和求和。人工神经网络的多层可以包括输入层和输出层,它们将一个或多个隐藏层绑定在一起。隐藏层执行预测性建模,并且估计输出层上的节点的结果和输入层的节点的输入值之间的关系。在对象检测器模型116-2的上下文中,数据立方体120字段填充输入层上的节点,并且在输出层的节点中传送的是对象的一个或多个估计(例如,框预测124)(以及其相关联的似然估计和分数),隐藏层通过经训练的逻辑识别该对象的一个或多个估计。
为了启动对象检测器模型116-2,由对象检测器模型116-2接收训练数据,以配置并发展层、连接和节点(例如,用于生成框预测124的规则或逻辑)。训练数据能够包括其他交通工具或驾驶环境的已知数据立方体表示。对象检测器模型116-2能够使用训练数据来调整、连接并填充网络的节点,以训练网络,从而准确地将数据立方体的方面分类为对应于包括在训练数据中的对象的一个或多个特定类别。可以从训练数据训练的驾驶环境的示例包括邻近区域、城镇、高速公路、市中心、学校区、装载区、加油站或其中速度估计可以指示如何在环境100中安全地驾驶交通工具102的其他环境。
对象检测器模型116-2可以包括U形网络414、神经网络416-1和自我运动转换器418。U型网络414能够用于从数据立方体120中检测对象(例如,对象108)。神经网络416-1能够将多个时间步骤结合成为一个结果。例如,神经网络416-1可以是自我运动补偿的递归网络,包括LSTM或其他类型的递归网络。自我运动转换器418能够补偿主交通工具(例如,交通工具102)的速度或运动。自我运动转换器418能够提供在神经网络416-1或U型网络414中组合的数据,该数据被提供在相同的坐标系中,即使来自各种时间步骤的数据被组合。自我运动转换器418还能够对先前时间步骤的神经网络416-1的输出执行自我运动补偿并且将自我运动补偿的结果输入到当前时间步骤的神经网络416-1中。自我运动转换器418还能够执行插值以避免位置随时间的漂移(例如,由于位置误差的积累)。对象检测器模型116-2输出框预测124,该框预测124代表了对应于检测122组的对象的边界框。
计算机架构400-1进一步包括输出管理器118-2,其包括多普勒框融合器420和速度精化器422。框预测124和检测122的径向速度408被输入到多普勒框融合器420。使用来自对象检测器模型116-2的框预测124和在框预测124的区域内的检测122的径向速度408,多普勒融合器420能够提取检测的关联多普勒测量,并将关联多普勒测量作为单个笛卡尔图传递。结果是,多普勒框融合器420能够为每个框预测124生成测量的径向速度408
Figure BDA0003563593190000191
的列表。能够针对交通工具102的运动来补偿径向速度408,以确定经补偿的径向速度
Figure BDA0003563593190000192
速度精化器422能够通过应用最小二乘算法来找到与测量最匹配的笛卡尔速度,从而为每个框预测124确定速度估计126。该方法可能导致噪声的结果并翻转取向。为了克服这些问题,速度精化器422能够使用由对象检测器模型116-2预测的框预测124的取向来保持正确的取向。例如,速度精化器422能够包括在最小二乘算法中预测的取向以及经补偿的径向速度
Figure BDA0003563593190000193
以保持正确的取向,其在方程(3)到(6)中说明。
Figure BDA0003563593190000194
Figure BDA0003563593190000195
α=((HTH)-1HT)Y (5)
Figure BDA0003563593190000196
计算机架构400-1直接将检测122的测量的径向速度408以非学习的方式并入作用于数据立方体120的基于机器模型的处理流水线中。这是通过将径向速度408和由对象检测器模型116-2的神经网络416-1生成的框预测124融合来实现的。通过融合,可以使用以笛卡尔或径向方式与框预测124的区域对齐的检测122组的速度408来传递速度,而不是使用由对象检测器模型116-2直接从数据立方体120估计的速率或速度。以此方式,计算机架构400-1提供了改进的速度回归,以及将径向速度测量并入神经网络的方法。计算机架构400-1通过使用输出管理器118-2中的框预测124的取向,改善了神经网络的透明度。
图4-2示出了根据本公开内容的技术的包括雷达系统中用于速度估计的部分学习模型的另一个计算机架构400-2的概念图。雷达系统可以分别是图1或2中的雷达系统104或104-1。计算机架构400-2可以实现为硬件、软件或其组合。例如,计算机架构400-2的组件可以分布在交通工具102或102-1的硬件或软件组件上。计算机架构400-2是一个示例,在其他示例中,示出的组件可以被省略、组合、复制或以不同地方式排列。针对冗余或出于其他目的,可以将计算机架构400-2的各方面与计算机架构400-1的各方面相组合,以进一步在各种车辆中实现基于用于雷达的部分学习模型的速度估计。例如,与计算机架构400-1相比,计算机架构400-2将测角组件406合并到对象检测器模型116-3的神经网络(例如,神经网络416-2)中。
与计算机架构400-1类似,计算机架构400-2包括处理器114-3,该处理器114-3是处理器114的示例。处理器114-3包括数据立方体生成器404,该数据立方体404被配置成用于从雷达数据402(例如,从MMIC 112-1接收的雷达数据402)中输出数据立方体120。
与处理器114-2相似,处理器114-3还可以使用快速傅里叶变换(FFT)(例如,2DFFT),以将每个天线的雷达数据402分解为数据立方体120的频率分量。然后,处理器114-3能够将频率分量转换为距离和多普勒数据。例如,处理器114-3可以将检测122标识为集成距离多普勒图中的峰。
计算机架构400-2还包括对象检测器模型116的示例,示出为对象检测器模型116-3,其经过训练以接收数据立方体120。对象检测器模型116-3使用应用于数据立方体120中的信息的机器学习技术来提供框预测124。对象检测器模型116-3可以对跨越一个或多个时间步骤、帧或扫描并且从一个或多个雷达获得的雷达数据进行操作,并且因此可以处理一系列或多个数据立方体120。响应于解调雷达回波110-2(例如,由处理器114-2接收的用于产生数据立方体120的雷达信号)或在雷达信号处理(例如,以数据立方体120的形式)之后,对象检测器模型116-3可以直接对从MMIC 112接收的雷达数据402进行操作,该雷达信号处理诸如距离多普勒快速傅里叶变化(FFT)处理、使用角度处理的距离多普勒FFT处理等。
在计算机架构400-2中,测角组件406被集成在神经网络416-2中或者是神经网络416-2的一部分。如图所示,神经网络416-2还可以包括极坐标到笛卡尔坐标(P2C)转换器410和传感器融合器412。
通过将测角组件406集成到神经网络416-2中,测角组件406可能能够比根据计算机架构400-1布置时,更快地确定具有特定距离多普勒值的对象(例如,对象108)的到达方向。测角组件406可以是多层感知器(MLP),该多层感知器可以在数据立方体120的每个波束矢量上共享相同的参数。神经网络416-2或测角组件406能够基于检测到的峰的径向速度、距离、RCS值形成检测列表。神经网络416-2或测角组件406还能够从数据立方体120中提取能量(例如,雷达横截面(RCS)值),重新缩放以输出单位系统、生成监测点云并且生成对象假设。
神经网络416-2或测角组件406能够为单个检测或检测组确定包括径向速度408的多普勒测量。神经网络416-2或测角组件406可以使用后续层(例如,卷积层)来过滤雷达数据402。例如,数据立方体120能够具有多个维度(例如,
Figure BDA0003563593190000211
)。神经网络416-2或测角组件406能够将数据立方体120降低为测量的径向速度(例如,
Figure BDA0003563593190000212
其中
Figure BDA0003563593190000214
)和它们各自的幅度(例如,mag)的二维图,两个平面都是距离和角度的元素(例如,
Figure BDA0003563593190000213
),如先前由方程(1)和(2)说明。
对象检测器模型116-3是对象检测器模型116的示例,该对象检测器模型116使用机器学习技术进行训练而不是编程,以直接从作为输入提供的数据立方体120推导出框预测124。例如,对象检测器模型116-3可以包括一个或多个人工神经网络,每个人工神经网络包括一个多个人工神经元或节点的复杂(即,类似神经联系的)层。每个节点可以是具来自其他节点的一个或个输入的处理元件,这些其他节点将输入馈送到一个或多个附加节点。可以对每个节点的输入进行加权和求和。人工神经网络的多层可以包括输入层和输出层,它们将一个或多个隐藏层绑定在一起。隐藏层执行预测性建模,并且估计输出层上的节点的结果和输入层的节点的输入值之间的关系。在对象检测器模型116-3的上下文中,数据立方体120字段填充输入层上的节点,并且在输出层的节点中传递的是对象的一个或多个估计(例如,框预测124)(以及其相关联的似然估计和分数),隐藏层通过训练的逻辑识别该对象的一个或多个对象。
为了启动对象检测器模型116-3,由对象检测器模型116-3接收训练数据,以配置并发展层、连接和节点(例如,用于生成框预测124的规则或逻辑)。训练数据能够包括其他交通工具或驾驶环境的已知数据立方体表示。对象检测器模型116-3能够使用训练数据来调整、连接并填充网络的节点,以训练网络,从而准确地将数据立方体的方面分类为对应于包括在训练数据中的对象的一个或多个特定类别。可以从驾驶数据训练的驾驶环境的示例包括邻近区域、城镇、高速公路、市中心、学校区、装载区、加油站或其中速度估计可以指示如何在环境100中安全地驾驶交通工具102的其他环境。
与对象检测器模型116-2类似,对象检测器模型116-3还可以包括U型网络414和自我运动转换器418。U型网络414能够用于从数据立方体120中检测对象(例如,对象108)。神经网络416-2能够将多个时间步骤结合成为一个结果。例如,神经网络416-2可以是自我运动补偿的递归网络,包括LSTM或其他类型的递归网络。对象检测器模型116-3输出框预测124,该框预测124代表了对应于检测组的对象的边界框。
与计算机架构400-1相似,计算机架构400-2进一步包括输出管理器118-3,其包括多普勒框融合器420和速度精化器422。框预测124和径向速度408被输入到多普勒框融合器420。使用来自对象检测器模型116-3的框预测124和能够在框预测124的区域内的检测的径向速度408,多普勒融合器420能够提取检测的关联多普勒测量,并将关联多普勒测量作为单个笛卡尔图传递。结果是,多普勒框融合器420能够为每个框预测124生成测量的径向速度408
Figure BDA0003563593190000221
的列表。能够针对交通工具102的运动补偿径向速度408,以确定经补偿的径向速度
Figure BDA0003563593190000222
速度精化器422能够通过应用最小二乘算法来找到与测量最匹配的笛卡尔速度,从而为每个框预测124确定速度估计126。这种方法能够导致噪声结果并翻转取向。为了克服这些问题,速度精化器422能够使用由对象检测器模型116-3预测的框预测124的取向来保持正确的取向。例如,速度精化器422能够包括在最小二乘算法中预测的取向以及经补偿的径向速度
Figure BDA0003563593190000231
),以保持正确的取向,其由方程(3)到(6)表示。
计算机架构400-2直接将检测122的测量的径向速度408以非学习的方式并入作用于数据立方体120的基于机器模型的处理流水线中。这是通过将径向速度408和由对象检测器模型116-2的神经网络416-2生成的框预测124相融合来实现的。通过融合,可以使用以笛卡尔或径向方式与框预测124的区域对齐的检测122组的径向速度408来传递速度,而不是使用由对象检测器模型116-3直接从数据立方体120估计的速率或速度。以此方式,计算机架构400-2提供了改进的速度回归,以及将径向速度测量合并到神经网络的方法。计算机架构400-2通过使用输出管理器118-3中的框预测124的取向,提高了神经网络的准确度。图5示出了由不同置信阈值的模型输出的速度估计的平均绝对误差(MAE)的示例图500。图502和506描绘了由用于卡车的模型提供的速度估计的MAE。图504和508描绘了由用于汽车的模型提供的速度估计的MAE。图500将由图506和508中描述的部分学习模型(例如,图4-2中描述的)提供的速度估计的MAE与图502和504中未并入用于速度回归的径向速度测量的模型进行对比。如图所示,所描述的部分学习模型能够显著地降低检测的速度估计的MAE,导致改进的且更安全的自主驾驶和辅助驾驶系统。
附加的示例
具有由雷达检测增强的模型预测的雷达跟踪的一些附加示例包括如下:
示例1.一种方法,包括:从雷达信号生成表示交通工具的环境的数据立方体;基于雷达信号或数据立方体,确定交通工具的环境中的潜在检测的径向速度图,径向速度图包括潜在检测的径向速度和多普勒数据;使用应用于数据立方体的模型确定预测框;确定与与预测框中的每一个相关联的潜在检测的组所关联的多普勒测量;使用与为预测框中的每一个确定的潜在检测的组相关联的多普勒测量确定预测框中的每一个的速度估计;以及将预测框的速度估计作为输入提供给在道路上操作交通工具的自主驾驶系统或辅助驾驶系统。
示例2.如示例1的方法,其中确定交通工具的环境中的潜在检测的径向速度图是由模型执行的。
示例3.在前示例中任一项的方法,其中数据立方体包括至少三个维度,至少三个维度至少包括潜在对象的距离数据、角度数据和径向速度数据。
示例4.在前示例中任一项的方法,其中径向速度图是二维的,并且至少包括最大值和最大绝对值。
示例5.在前示例中任一项的方法,该方法进一步包括:对潜在检测的径向速度图执行极坐标到笛卡尔坐标的变换,得到变换后的径向速度图;以及为变换后的径向速度图生成坐标的融合,坐标的融合对于潜在检测中的每一个保持对于给定角度具有最大幅度的径向速度值。
示例6.在前示例中任一项的方法,其中模型包括神经网络、卷积神经网络、递归神经网络、模块化神经网络或长短期记忆网络。
示例7.在前示例中任一项的方法,其中多普勒测量导致由模型输出的预测框的测量的径向速度列表。
示例8.如示例7的方法,其中多普勒测量被提供在单个笛卡尔图中并且是从预测框和径向速度数据的融合中提取的。
示例9.如示例7的方法,该方法还包括基于交通工具的速度补偿测量的径向速度,以确定预测框的经补偿的距离变化率。
示例10.如示例9的方法,其中速度估计使用最小二乘算法来确定,以确定最匹配多普勒测量的笛卡尔速度。
示例11.如示例10的方法,其中速度测量还使用由模型预测的预测框的取向和经补偿的距离变化率来确定。
示例12.在前示例中任一项的方法,其中雷达信号由被配置成安装在汽车上的雷达系统生成。
示例13.一种雷达系统,包括一个或多个处理器,该一个或多个处理器被配置成用于:从雷达信号生成表示交通工具的环境的数据立方体;基于雷达信号或数据立方体,确定交通工具的环境中的潜在检测的径向速度图,径向速度图包括潜在检测的径向速度和多普勒数据;使用应用于数据立方体的模型确定预测框;确定与预测框中的每一个相关联的潜在检测的组所关联的多普勒测量;使用与为预测框中的每一个确定的潜在检测的组相关联的多普勒测量确定预测框中的每一个的速度估计;以及将预测框的速度估计作为输入提供给在道路上操作交通工具的自主驾驶系统或辅助驾驶系统。
示例14.如示例13的雷达系统,其特征在于,确定交通工具的环境中的潜在检测的径向速度图是由模型执行的。
示例15.如示例13或14中的一个的雷达系统,其中数据立方体包括至少三个维度,至少三个维度至少包括潜在对象的距离数据、角度数据和径向速度数据。
示例16.如示例13到15中的一个的雷达系统,其中径向速度图是二维的,并且至少包括最大值和最大绝对值。
示例17.如示例13到16中的一个的雷达系统,其中一个或多个处理器被进一步配置成用于:对潜在检测的径向速度图执行极坐标到笛卡尔坐标的变换,得到变换后的径向速度图;以及为变换后的径向速度图生成坐标的融合,坐标的融合对于潜在检测中的每一个保持对于给定角度具有最大幅度的径向速度值。
示例18.如示例13到17中的一个的雷达系统,其中模型包括神经网络、卷积神经网络、递归神经网络、模块化神经网络或长短期记忆网络。
示例19.如示例13到18中的一个的雷达系统,其中多普勒测量导致由模型输出的预测框的测量的径向速度列表。
示例20.如示例19的雷达系统,其中多普勒测量被提供在单个笛卡尔图中并且是从预测框和径向速度数据的融合中提取的。
示例21.如示例19的雷达系统,一个或多个处理器进一步被配置成用于基于交通工具的速度补偿测量的径向速度,以确定预测框的经补偿的距离变化率。
示例22.一种计算机可读介质,包括指令,该指令在被执行时,致使雷达系统的一个或多个处理器:从雷达信号生成表示交通工具的环境的数据立方体;基于雷达信号或数据立方体,确定交通工具的环境中的潜在检测的径向速度图,径向速度图包括潜在检测的径向速度和多普勒数据;使用应用于数据立方体的模型确定预测框;确定与预测框中的每一个相关联的潜在检测的组所关联的多普勒测量;使用与为预测框中的每一个确定的潜在检测的组相关联的多普勒测量确定预测框中的每一个的速度估计;以及将预测框的速度估计作为输入提供给在道路上操作交通工具的自主驾驶系统或辅助驾驶系统。
示例23.一种雷达系统,该系统包括被配置成用于执行示例1至12中的任一个的方法的一个或多个处理器。
示例24.一种非瞬态计算机可读存储介质,包括指令,该指令在被执行时,使雷达系统的一个或多个处理器执行示例1至示例12中任一项的方法。
结语
虽然在前述描述中描述并且在附图中示出了本公开的各种实施例,但应当理解,本公开不限于此,而是可以在接下来的权利要求的范围内以各种方式实施为实践。根据前述描述,将显而易见的是,可以做出各种更改而不偏离由所附权利要求所限定的本公开的范围。除了雷达系统之外,与对象识别相关的问题可出现在其他识别和处理来自各种传感器的跟踪的系统(例如,图像系统、激光雷达系统、超声波系统)中。因此,尽管被描述为改善雷达跟踪的方法,但是前述描述的技术可以适配和应用在其他问题,以使用其他类型的对象跟踪器来有效地检测和跟踪场景中的对象。
除非上下文另有明确规定,否则“或”和语法上相关的术语的使用表示无限制的非排他性替代方案。如本文所使用的,引述一列项目中的“至少一者”的短语是指这些项目的任何组合,包括单个成员。作为示例,“a、b或c中的至少一者”旨在涵盖:a、b、c、a-b、a-c、b-c、和a-b-c,以及具有多个相同元素的任何组合(例如,a-a、a-a-a、a-a-b、a-a-c、a-b-b、a-c-c、b-b、b-b-b、b-b-c、c-c、和c-c-c,或者a、b和c的任何其他排序)。

Claims (20)

1.一种方法,包括:
从雷达信号生成表示交通工具的环境的数据立方体;
基于所述雷达信号或所述数据立方体,确定所述交通工具的所述环境中的潜在检测的径向速度图,所述径向速度图包括所述潜在检测的径向速度和多普勒数据;
使用应用于所述数据立方体的模型确定预测框;
确定与所述预测框中的每一个相关联的所述潜在检测的组所关联的多普勒测量;
使用与为所述预测框中的每一个确定的所述潜在检测的组相关联的所述多普勒测量确定所述预测框中的每一个的速度估计;以及
将所述预测框的所述速度估计作为输入提供给在道路上操作所述交通工具的自主驾驶系统或辅助驾驶系统。
2.如权利要求1所述的方法,其特征在于,确定所述交通工具的所述环境中的所述潜在检测的所述径向速度图是由所述模型执行的。
3.如权利要求1所述的方法,其特征在于,所述数据立方体包括至少三个维度,所述至少三个维度至少包括所述潜在对象的距离数据、角度数据和径向速度数据。
4.如权利要求1所述的方法,其特征在于,所述径向速度图是二维的,并且至少包括最大值和最大绝对值。
5.如权利要求1所述的方法,其特征在于,所述方法进一步包括:
对所述潜在检测的所述径向速度图执行极坐标到笛卡尔坐标的变换,得到变换后的径向速度图;以及
为所述变换后的径向速度图生成坐标的融合,所述坐标的融合对于所述潜在检测中的每一个保持对于给定的角度具有最大幅度的径向速度值。
6.如权利要求1所述的方法,其特征在于,所述模型包括神经网络、卷积神经网络、递归神经网络、模块化神经网络或长短期记忆网络。
7.如权利要求1所述的方法,其特征在于,所述多普勒测量导致由所述模型输出的所述预测框的测量的径向速度列表。
8.如权利要求7所述的方法,其特征在于,所述多普勒测量被提供在单个笛卡尔图中并且是从所述预测框和所述径向速度数据的融合中提取的。
9.如权利要求7所述的方法,所述方法进一步包括,基于所述交通工具的速度补偿所述测量的径向速度,以确定所述预测框的经补偿的距离变化率。
10.如权利要求9所述的方法,其特征在于,所述速度估计是使用最小二乘算法来确定的,以确定最匹配所述多普勒测量的笛卡尔速度。
11.如权利要求10所述的方法,其特征在于,所述速度估计也是使用由所述模型预测的所述预测框的取向和所述经补偿的距离变化率来确定的。
12.如权利要求1所述的方法,其特征在于,所述雷达信号由被配置成安装在汽车上的雷达系统生成。
13.一种雷达系统,包括一个或多个处理器,所述一个或多个处理器被配置成用于:
从雷达信号生成表示交通工具的环境的数据立方体;
基于所述雷达信号或所述数据立方体,确定所述交通工具的所述环境中的潜在检测的径向速度图,所述径向速度图包括所述潜在检测的径向速度和多普勒数据;
使用应用于所述数据立方体的模型确定预测框;
确定与所述预测框中的每一个相关联的所述潜在检测的组所关联的多普勒测量;
使用与为所述预测框中的每一个确定的所述潜在检测的组相关联的所述多普勒测量确定所述预测框中的每一个的速度估计;以及
将所述预测框的所述速度估计作为输入提供给在道路上操作所述交通工具的自主驾驶系统或辅助驾驶系统。
14.如权利要求13所述的雷达系统,其特征在于,确定所述交通工具的所述环境中的所述潜在检测的所述径向速度图是由所述模型执行的。
15.如权利要求13所述的雷达系统,其特征在于,所述数据立方体包括至少三个维度,所述至少三个维度至少包括所述潜在对象的距离数据、角度数据和径向速度数据。
16.如权利要求13所述的雷达系统,其特征在于,所述径向速度图是二维的,并且至少包括最大值和最大绝对值。
17.如权利要求13所述的雷达系统,所述一个或多个处理器被进一步配置成用于:
对所述潜在检测的所述径向速度图执行极坐标到笛卡尔坐标的变换,得到变换后的径向速度图;以及
为所述变换后的径向速度图生成坐标的融合,所述坐标的融合对于所述潜在检测中的每一个保持对于给定的角度具有最大幅度的径向速度。
18.如权利要求13所述的雷达系统,其特征在于,所述模型包括神经网络、卷积神经网络、递归神经网络、模块化神经网络或长短期记忆网络。
19.如权利要求13所述的雷达系统,其特征在于,所述多普勒测量导致由所述模型输出的所述预测框的测量的径向速度列表。
20.一种非瞬态计算机可读介质,包括指令,所述指令在被执行时,致使雷达系统的一个或多个处理器用于:
从雷达信号生成表示交通工具的环境的数据立方体;
基于所述雷达信号或所述数据立方体,确定所述交通工具的所述环境中的潜在检测的径向速度图,所述径向速度图包括所述潜在检测的径向速度和多普勒数据;
使用应用于所述数据立方体的模型确定预测框;
确定与所述预测框中的每一个相关联的所述潜在检测的组所关联的多普勒测量;
使用与为所述预测框中的每一个确定的所述潜在检测的组相关联的所述多普勒测量确定所述预测框中的每一个的速度估计;以及
将所述预测框的所述速度估计作为输入提供给在道路上操作所述交通工具的自主驾驶系统或辅助驾驶系统。
CN202210296558.3A 2021-03-25 2022-03-24 用于雷达跟踪中的速度估计的部分学习模型 Pending CN115128594A (zh)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US202163166108P 2021-03-25 2021-03-25
US63/166,108 2021-03-25
US202163169038P 2021-03-31 2021-03-31
US63/169,038 2021-03-31
US202163265189P 2021-12-09 2021-12-09
US63/265,189 2021-12-09
US17/644,464 US20220308205A1 (en) 2021-03-25 2021-12-15 Partially-Learned Model for Speed Estimates in Radar Tracking
US17/644,464 2021-12-15

Publications (1)

Publication Number Publication Date
CN115128594A true CN115128594A (zh) 2022-09-30

Family

ID=80625092

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210296558.3A Pending CN115128594A (zh) 2021-03-25 2022-03-24 用于雷达跟踪中的速度估计的部分学习模型

Country Status (3)

Country Link
US (1) US20220308205A1 (zh)
EP (1) EP4063909A1 (zh)
CN (1) CN115128594A (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3739361A1 (en) * 2019-05-13 2020-11-18 Aptiv Technologies Limited Method and system for fusing occupancy maps
EP4012603B1 (en) * 2020-12-10 2023-12-06 Aptiv Technologies Limited Method for classifying a tracked object
US20230008015A1 (en) * 2021-07-12 2023-01-12 Teraki Gmbh Sensor fusion architecture for low-latency accurate road user detection

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8730092B2 (en) * 2010-05-04 2014-05-20 Raytheon Company Multistatic target detection and geolocation
US10175348B2 (en) * 2014-10-08 2019-01-08 Src, Inc. Use of range-rate measurements in a fusion tracking system via projections
US10338208B2 (en) * 2016-10-27 2019-07-02 GM Global Technology Operations LLC Object detection in multiple radars
EP3415948B1 (en) * 2017-06-12 2021-11-10 Aptiv Technologies Limited A method of determining the de-aliased range rate of a target
US20190107615A1 (en) * 2017-10-05 2019-04-11 GM Global Technology Operations LLC Method of tracking an object
DE102020115709B3 (de) * 2020-06-15 2021-10-28 Infineon Technologies Ag Automobilradaranordnung und verfahren zur objektdetektion durch ein fahrzeugradar
WO2022139783A1 (en) * 2020-12-21 2022-06-30 Intel Corporation High end imaging radar
US20220283288A1 (en) * 2021-03-02 2022-09-08 Indie Semiconductor, Inc. Methods for classifying objects in automotive-grade radar signals

Also Published As

Publication number Publication date
EP4063909A1 (en) 2022-09-28
US20220308205A1 (en) 2022-09-29

Similar Documents

Publication Publication Date Title
US11036237B2 (en) Radar-based system and method for real-time simultaneous localization and mapping
EP4063909A1 (en) Partially-learned model for speed estimates in radar tracking
KR20200139779A (ko) 위상 코히어런트 라이다 데이터를 사용하여 결정된 환경 객체 분류에 기반한 자율주행 차량 제어
CN113015922B (zh) 一种检测方法、检测装置以及存储介质
US20190339384A1 (en) System and method of radar-based obstacle avoidance for unmanned aerial vehicles
US20190086512A1 (en) Method and apparatus for vehicular radar calibration
CN109507646A (zh) 用于干扰减轻的多个雷达启动时间同步
EP4063910B1 (en) Radar tracking with model estimates augmented by radar detections
CN109799505A (zh) 用于多雷达系统中的连续追踪的方法和装置
CN110678776B (zh) 用于增强的对象跟踪的系统
US20230041793A1 (en) Method and processor circuit for operating a radar system comprising multiple antennas, radar system and motor vehicle
CN115629375A (zh) 使用交通工具对交通工具技术提高雷达数据预测的准确度
Todawat et al. A deep learning based approach on radar interference mitigation for autonomous vehicles
US20240019570A1 (en) Setting radar parameters for generating point clouds based upon raw radar data
EP4141472A1 (en) Computing architecture of an autonomous vehicle
CN115276727B (zh) 用于多输入多输出(mimo)系统的独立发射和接收信道校准
EP4258020A1 (en) Track associations at least partially based on low confidence detections
US20240094377A1 (en) High resolution radar simulation to train vehicle radar system neural network
US20230194705A1 (en) Movement Compensation for Multi-Dimensional Radar Signal Processing
US20240019569A1 (en) Generating point clouds with appended features for use in perception
EP4283327A1 (en) Super-resolution based on iterative multiple-source angle-of-arrival estimation
US20240027610A1 (en) Generating point clouds based upon radar tensors
EP4339647A1 (en) Multiple-target, simultaneous beamforming for four-dimensional radar systems
Frijters Adaptive recursive clustering and target tracking
EP3832349A1 (en) Associating radar detections with received data transmissions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240401

Address after: Jiraum, Luxembourg, Luxembourg J. 12C Kroll Street

Applicant after: Anbofu Manufacturing Management Services Co.,Ltd.

Country or region after: Luxembourg

Address before: Babado J San Michaele

Applicant before: Delphi Technologies, Inc.

Country or region before: Barbados

TA01 Transfer of patent application right

Effective date of registration: 20240428

Address after: 2 Pestaroz Street, Schaffhausen, Switzerland

Applicant after: Anbofu Technology Co.,Ltd.

Country or region after: Switzerland

Address before: Jiraum, Luxembourg, Luxembourg J. 12C Kroll Street

Applicant before: Anbofu Manufacturing Management Services Co.,Ltd.

Country or region before: Luxembourg