CN114387203A - 检测对象的方法及装置 - Google Patents

检测对象的方法及装置 Download PDF

Info

Publication number
CN114387203A
CN114387203A CN202111223865.0A CN202111223865A CN114387203A CN 114387203 A CN114387203 A CN 114387203A CN 202111223865 A CN202111223865 A CN 202111223865A CN 114387203 A CN114387203 A CN 114387203A
Authority
CN
China
Prior art keywords
geometry
neural network
spatial condition
stage
approximation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111223865.0A
Other languages
English (en)
Inventor
A·森纳摩
F·卡斯特纳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aptiv Technologies Ltd
Original Assignee
Aptiv Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aptiv Technologies Ltd filed Critical Aptiv Technologies Ltd
Publication of CN114387203A publication Critical patent/CN114387203A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G01S13/726—Multiple target tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种检测对象的方法及装置。提供了一种通过使用雷达传感器并且通过使用被配置为建立神经网络的装置来检测对象的方法。捕获多个原始雷达数据点。定义包括预定对象类型和用于包围对象的几何形状的至少一个对象类。经由神经网络的第一级，针对数据点执行关于对象类和背景的语义分割，并且针对各个数据点，估计几何形状的空间条件的粗略近似。基于该粗略近似，经由神经网络的第二级，基于语义分割选择数据点的子集，并且针对子集的各个数据点，估计几何形状的空间条件的细化近似以及该细化近似的置信度得分。

Description

检测对象的方法及装置
技术领域
本公开涉及基于雷达点云来检测对象的方法及装置。
背景技术
现代车辆通常包括摄像头、传感器和其他用于监测车辆环境的装置。例如，对于安装在车辆中的安全功能和驾驶员辅助系统而言，对车辆环境的可靠感知是非常重要的。在自主驾驶领域，对车辆环境的可靠感知是至关重要的问题。例如，必须检测和跟踪诸如其他车辆或行人之类的对象，以实现自主驾驶的正确性能。
在许多情况下，仅来自传感器(例如雷达和/或LIDAR传感器和摄像头)的噪声数据可用于检测和跟踪对象。例如，来自雷达传感器的数据可以作为形成所谓的点云的稀疏数据来提供，该点云包括由于属于某些对象(如其他车辆)或属于背景反射的雷达反射引起的数据点。因此，仅基于雷达数据正确检测不同的对象可能具有挑战性。
因此，已经提出了基于雷达点云来检测对象的机器学习方法。例如，Danzer etal.: "2D car detection in radar data with PointNets",2019IEEE IntelligentTransport Systems Conference,Auckland,New Zealand,New Zealand,Oct 27-30,2019描述了一种将对象分类与基于称为PointNet的神经网络架构的对象边界框估计相结合的方法(另请参见： Charles,R.Qi et al.:"PointNet:Deep Learning on Point Sets for3D Classification and Segmentation".2017IEEE Conference on Computer Visionand Pattern Recognition (CVPR),July 21-26,2017,Honolulu,HI,USA)。这种基本的神经网络架构在多个点之间共享全连接层，并在点特征间执行所谓的“最大池化”，以获得整个点云的全局签名 (global signature)。在上述方法中，应用于原始雷达点云的对象检测器以分层方式多次使用此基本神经网络架构以执行分类，即，仅提取属于某个对象的点，并且估计完全包围检测到的对象的边界框，因此定义了它的空间条件。
然而，这种方法需要大量的计算工作，因为它基于针对各个数据点的所谓“补丁建议(patch proposal)”。利用“锚框(anchor box)”进行边界框估计会增加计算工作量。此外，虽然现有的对象检测方法可以扩展到多个对象类，例如不同种类的车辆、行人等，但扩展到多个对象类将进一步增加计算工作量，因为例如将需要整个网络的副本。在分类期间，也可能执行冗余运算，这可能导致对象边界框的确定不一致。
因此，需要允许检测多个对象类并且需要低计算工作量的、基于雷达点云来检测对象的方法和装置。
发明内容
在一个方面，本公开涉及一种通过使用雷达传感器并且通过使用被配置为建立神经网络的装置来检测对象的计算机实现方法。根据该方法，经由雷达传感器捕获包括多个数据点的原始雷达点云，并且定义至少一个对象类，其中，各个对象类包括预定义对象类型以及被配置为包围预定义对象类型的对象的几何形状。经由神经网络的第一级，针对多个数据点执行关于至少一个对象类以及关于背景的语义分割，并且针对各个数据点，估计至少一个对象类的几何形状的空间条件的粗略近似。基于几何形状的空间条件的粗略近似，经由神经网络的第二级，基于语义分割来选择多个数据点的子集，并且针对该子集的各个数据点，估计对象类的几何形状的空间条件的细化近似，以及几何形状的空间条件的细化近似的置信度得分。
作为输入，该方法使用原始雷达点云，原始雷达点云可以基于被雷达传感器环境中的对象反射并由该传感器获取的雷达信号。
如果雷达传感器和用于建立神经网络的装置安装在车辆中，则至少一个对象类可以涉及车辆和/或行人，例如，在这种情况下，相应的对象类型可以是“车辆”和/或“行人”。至少一个对象类的合适几何形状的示例可以是完全包围对象的边界框、球体或圆柱体。对于这样的几何形状，空间条件可以至少由这样的几何形状(例如，球体)的中心位置来定义。此外，如果需要，空间条件可以包括用于定义例如几何对象的尺寸和取向的进一步参数。
为了执行语义分割，神经网络的层反映了点云的各个数据点属于至少一个对象类或属于背景的概率。因此，语义分割确定了数据点是否属于至少一个对象类。因此，经由语义分割，可以在神经网络的第二级内选择属于至少一个对象类的数据点。
此外，如果该方法要在车辆内实施，则可以定义两个或更多个对象类，即，不同类型的车辆作为对象类型和/或行人作为另外的对象类型。由于网络结构包括神经网络的两级，因此该方法可以扩展到多个对象类，但不会显著增加所需的计算工作量。这部分是由于原始数据点的子集的选择以及几何形状的空间条件近似的两个步骤。
由于该方法(即神经网络)的两级，还可以避免冗余运算，这再次减少了计算工作量。此外，可以分别训练神经网络的两级，这降低了应用该方法的要求。尽管该方法被描述为包括一个具有两级的神经网络，但实际上该神经网络可以包括彼此连接的两个或更多个单独的神经网络。
由于该方法得到了几何形状的空间条件的细化近似，因此待检测对象被定位在该几何形状内，例如，可以假设车辆位于通过该方法估计了空间条件的对应的边界框内。也就是说，通过估计例如包围该对象的几何形状的位置和取向来执行对象检测。此外，置信度得分定义了细化近似的可靠性，该细化近似可以包括对几何形状的位置和取向的最终估计。例如对于依赖于检测对象的方法的输出(即，依赖于几何形状的空间条件的细化近似)的车辆内的进一步应用而言，置信度得分很重要。
所述方法可以包括以下特征中的一项或更多项：
空间条件可以包括几何形状的中心，并且估计空间条件的粗略近似和细化近似可以包括针对各个数据点来估计相应的向量，该向量将相应数据点移向几何形状的中心。空间条件可以进一步包括几何形状的尺寸，并且估计所述空间条件的细化近似可以包括估计几何形状的尺寸。此外，空间条件可以进一步包括几何形状的取向，并且估计所述空间条件的细化近似可以包括估计所述几何形状的取向。估计几何形状的取向可以分解为对几何形状的角度信息进行回归的步骤以及对角度信息进行分类的步骤。
神经网络的第一级可以包括针对语义分割和针对空间条件的至少一个参数的相应输出路径，并且神经网络的第二级还可以包括针对置信度得分和针对空间条件的至少一个参数的细化的相应输出路径。神经网络的各个输出路径可以基于单独的目标函数进行训练。
可以通过定义几何形状的真值并通过确定相应数据点是否位于几何形状的真值内来训练语义分割的执行。神经网络的第一级可以被停用，同时神经网络的第二级被训练。
至少一个对象类的几何形状可以包括边界框，并且估计所述空间条件的细化近似可以包括估计边界框的尺寸和取向。此外，可以定义至少两个不同的对象类，并且至少两个不同的对象类可以包括不同的对象类型和不同的几何形状。
可以通过仅对多个数据点的所选择的子集进行最远点采样来估计几何形状的空间条件的细化近似。估计几何形状的空间条件的细化近似可以包括将所选择的子集的数据点分组，以关于局部结构来训练神经网络的第二级。
根据实施方式，空间条件可以包括几何形状的中心，并且估计空间条件的粗略近似和细化近似可以包括针对各个数据点估计相应的向量，该向量将相应数据点移向几何形状的中心。移位向量也可以被视为相应数据点的偏移向量。可以通过计算几何形状的中心的所有细化近似的平均值来确定几何形状的中心的最终估计。由于几何形状的中心的定位可以通过粗略和细化近似分两步进行，并且由于在细化近似之前丢弃了背景点，因此估计几何形状的中心所需的计算工作量可以减少。
此外，空间条件还可以包括几何形状的尺寸，并且估计空间条件的细化近似可以包括估计几何形状的尺寸。几何形状的尺寸可以包括例如对象的边界框的长度、宽度和高度、包围对象的球体的半径或者用于包围对象的圆柱体的半径和高度。另选地或附加地，空间条件可以进一步包括几何形状的取向，并且估计空间条件的细化近似可以包括估计几何形状的取向。几何形状的取向可以包括例如边界框的偏航角、滚转角和俯仰角。如果雷达传感器只提供二维数据，则几何形状的取向可以仅包括偏航角(例如，对于边界框的基本区域)。如果几何形状的空间条件可以由其中心、尺寸和取向来定义，则该方法提供了一种定位几何形状和检测对应的对象的直接方式。
另外，估计几何形状的取向可以分解为对几何形状的角度信息进行回归的步骤以及对角度信息进行分类的步骤。由于角度关于π或2π的周期性，对神经网络来说对角度进行回归可能很困难。因此，可以通过将此任务分解为回归步骤和分类步骤来改善关于几何形状的取向的回归的可靠性。例如，神经网络可以对边界框的最终偏航角的正弦和余弦的绝对值进行回归。对于分类，神经网络可以确定最终偏航角的正弦和余弦的符号(即，±1)。
根据进一步的实施方式，神经网络的第一级可以包括针对语义分割和针对空间条件的至少一个参数的相应输出路径，并且神经网络的第二级可以包括针对置信度得分和针对空间条件的至少一个参数的细化的相应输出路径。神经网络的各个输出路径可以基于单独的目标函数进行训练。由于单独的目标函数，可以减少训练神经网络的总工作量。此外，可以通过使相应的目标函数适应导致相应输出路径的任务来改善神经网络的最终估计或最终预测的可靠性。
可以通过定义几何形状的真值并通过确定相应数据点是否位于几何形状的真值内来训练语义分割的执行。因此，可以基于直接的先决条件(即，定义几何形状的真值的已知对象的定位)来执行语义分割。此外，过渡区域可以被定义为靠近例如定义真值的边界框的表面，即，在边界框内部但靠近其边界。这可以避免对远离由边界框的真值定义的真实中心的几何形状的中心的估计。
根据进一步的实施方式，在训练神经网络的第二级的同时，可以停用神经网络的第一级。换句话说，神经网络的两级可以彼此独立地训练。因此，可以再次减少训练神经网络的工作量。
此外，至少一个对象类的几何形状可以包括边界框，并且估计空间条件的细化近似可以包括对边界框的尺寸和取向进行估计。边界框可以是例如用于检测车辆作为另外对象的几何形状的直接表示。
根据进一步的实施方式，可以定义两个不同的对象类，并且至少两个不同的对象类可以包括不同的对象类型和不同的几何形状。由于神经网络的两级架构，该方法可以通过直接的方式扩展到至少两个不同的对象类，而不会显著增加计算工作量。为了检测车辆环境中的对象，两种不同的几何形状可以是表示车辆的边界框和表示行人的圆柱体。
可以通过仅对多个数据点的选择的子集进行最远点采样来估计几何形状的空间条件的细化近似。另选地或附加地，估计细化近似可以包括将所选择的子集的数据点分组，以关于局部结构来训练神经网络的第二级。由于这些步骤仅基于所选择的数据点子集，因此可以再次减少细化近似的工作量。
在另一方面，本公开涉及一种用于检测对象的装置。该装置包括雷达传感器，其获取被该雷达传感器环境中的对象反射的雷达信号并基于该雷达信号提供原始雷达点云，其中，原始雷达点云包括多个数据点。该装置还包括被配置为建立包括第一级和第二级的神经网络并定义至少一个对象类的模块，各个对象类包括预定义对象类型以及被配置为包围预定义对象类型的对象的几何形状。神经网络的第一级被配置为针对多个数据点执行关于所述至少一个对象类和关于背景的语义分割，并且针对各个数据点来估计各个对象类的几何形状的空间条件的粗略近似。基于几何形状的空间条件的粗略近似，神经网络的第二级被配置为基于语义分割选择多个数据点的子集，并针对子集中的各个数据点来估计对象类的几何形状的空间条件的细化近似并且估计几何形状的空间条件的细化近似的置信度得分。
如本文所用，术语“模块”可指代下列各项、下列各项的一部分或者包括下列各项：专用集成电路(ASIC)；电子电路；组合逻辑电路；现场可编程门阵列(FPGA)；执行代码的处理器(共享、专用或组)；提供所述功能的其他合适的组件；或者以上部分或全部的组合，例如在片上系统中。术语“模块”可以包括存储由处理器执行的代码的存储器(共享、专用或组)。
综上所述，根据本公开的装置包括雷达传感器和用于执行如上面针对对应方法所描述的步骤的模块。因此，上述方法的益处、优点和公开内容对于根据本公开内容的装置也是有效的。
在另一方面，本公开涉及一种计算机系统，所述计算机系统被配置为执行本文描述的计算机实现的方法的若干或所有步骤。
计算机系统可以包括处理单元、至少一个存储器单元和至少一个非暂时性数据存储部。非暂时性数据存储部和/或存储器单元可以包括用于指示计算机执行本文描述的计算机实现的方法的若干或所有步骤或方面的计算机程序。
在另一方面，本公开涉及一种非暂时性计算机可读介质，该非暂时性计算机可读介质包括用于执行本文所描述的计算机实现方法的若干或所有步骤或方面的指令。计算机可读介质可以被配置成：诸如光盘(CD)或数字通用盘(DVD)的光学介质；诸如硬盘驱动器(HDD)的磁性介质；固态驱动器(SSD)；诸如闪存存储器的只读存储器(ROM)；等等。此外，计算机可读介质可以被配置成经由诸如因特网连接的数据连接能够访问的数据存储部。计算机可读介质可以例如是在线数据存储库或云存储部。
本公开还涉及一种计算机程序，该计算机程序用于指示计算机执行本文所描述的计算机实现方法的若干或所有步骤或方面。
附图说明
本文结合示意性示出的以下附图描述本公开的示例性实施方式和功能：
图1a、图1b和图1c描绘了通过执行根据本公开的方法来检测对象的装置的示意图，
图2是应用于数据点的偏移向量的例示图，
图3描绘了图1中的装置的一部分的内部机制，
图4描绘了如图1所示的第二级中的应用于数据点的屏蔽步骤，
图5和图6描绘了通过如图1所示的装置基于原始数据点来确定边界框的空间条件的示例，以及
图7描绘了通过根据本公开的装置检测两种不同对象类型而确定的查准率和查全率的图。
具体实施方式
图1a、图1b和图1c描绘了用于检测对象的装置11的示意图。装置11包括雷达传感器13和模块17，雷达传感器13提供包括多个数据点15的原始雷达点云，模块 17被配置为建立包括第一级19和第二级21的神经网络。来自原始雷达点云的多个数据点15被用作模块17的输入，即，神经网络的第一级19和第二级21的输入。
雷达传感器13获取被雷达传感器13的环境中的对象反射的雷达信号。例如，装置11安装在宿主车辆20中(见图4)。在这种情况下，雷达信号被位于边界框61内的其他车辆和这些边界框61之外的其他对象反射(参见图4的上图)。因此，数据点云由多个二维数据点表示，这些数据点的x和y坐标相对于宿主车辆20的坐标系是已知的，即，相对于安装在宿主车辆20中的雷达传感器13是已知的。
图1a提供了装置11的高级别概览，而图1b示出了由模块17建立的神经网络的第一级19的内部结构，图1c示出了由模块17建立的神经网络的第二级21的内部结构。神经网络的第一级19接收多个数据点15作为输入，并且输出多个数据点15的语义分割23和各个数据点15的偏移25。第二级21接收来自雷达传感器13的多个数据点15以及来自第一级19的语义分割23和偏移25作为输入，并且输出边界框 61的参数27(见图2至图6)。参数27定义了边界框61的空间条件并因此定义了被这些边界框61包围的待检测对象的空间条件。
该方法在下面被描述为包括一个具有两级的神经网络。然而，该神经网络也可以被认为包括彼此连接的两个或更多个单独的神经网络。
图1b描绘了由模块17建立的神经网络的第一级19的内部结构。第一级19包括预处理模块29，该预处理模块29对多个数据点15中的各个数据点的雷达信息(例如x和y坐标、多普勒速度和雷达截面)进行编码，以便提供更深的特征向量。所述编码使被用作第一级19的输入的多个数据点15成为针对第一级19的任务的更好的表示，即，执行语义分割23并且确定偏移25。
预处理模块29的输出由被称为“PointNet++”的另一神经网络结构31接收，在Charles,R.Qi et al.:"PointNet++:Deep Hierarchical Feature Learning on PointSets in a Metric Space",arXiv:1706.02413v1[cs.CV]7Jun 2017中对其进行了详细描述。该神经网络结构31包括由所有数据点15共享的所谓的集合抽象层(set-abstractionlayer)和全连接层(fully connected layer)，下面在第二级21的上下文中对其进行了详细描述。神经网络的第一级19还包括用于执行语义分割23的第一输出路径以及用于确定多个数据点15中的各个数据点的偏移向量25的第二输出路径。
对于语义分割23，定义了对象类，其中，各个对象类包括预定对象类型以及被配置为包围预定对象类型的对象的几何形状。如果装置11被安装在宿主车辆20中(见图4)，则存在两个对象类，其中，第一对象类包括对象类型“车辆”，针对此对象类型使用边界框61(参见图4)作为几何形状，而第二对象类包括对象类型“行人”，针对此对象类型使用圆柱体作为几何形状。当执行语义分割23时，对于各个数据点 15，建立属于预定对象类之一(即车辆或行人)或属于背景的概率。详细地说，用于语义分割23的神经网络的层33的权重将反映各个数据点15属于对象类之一或属于背景的概率，并且层33将相应地对所有数据点15进行分类。未被分类为背景的数据点15将用作神经网络的第二级21内的边界框的中心建议(center proposal)。
为了学习语义分割23的任务，使用焦点分类损失(focal classification loss)作为目标函数。此外，定义了真值边界框，并且将来自多个数据点15的位于相应的真值边界框内的这些点被标注为正(positive)。此外，可以定义过渡区域，其中位于真值边界框内但靠近其边界的点被标记但不被标注为正。
被分类为属于对象类之一且未被分类为背景的数据点15将被用作神经网络的第二级21中的边界框中心的建议。如果在学习语义分割任务时使用过渡区域，则避免了远离边界框的真实中心的中心建议。
在第一级19的第二输出路径中，针对各个数据点15，确定将相应数据点15移向对象或其边界框的中心的相应偏移向量25。这在图2中示出，其中，五个数据点 15与相应的偏移向量25一起被示出。此外，边界框61被示出具有真实中心63。各个数据点15经由相应的偏移向量25而移位得更靠近中心63。
具体来说，偏移向量的x和y分量通过神经网络回归。该网络预测从-1到+1范围内的值，这些值被乘以合适的标量。该标量被选择得足够大，以便不限制网络的输出表示，即偏移向量25。然而，通过选择合适的标量，可以避免数据点15被移向属于另一对象的边界框的中心。为了学习确定偏移向量25的任务，使用平滑的L1回归损失作为目标函数。
因此，产生语义分割23和偏移向量25的两个输出路径由对应的目标函数独立地优化。然而，神经网络的PointNet++31的公共部分是通过使用这两个输出路径的目标函数来优化或训练的。
神经网络的第二级21的内部结构如图1c所示。第二级21接收数据点15以及由神经网络的第一级19输出的语义分割23和偏移向量25作为输入。在移位步骤35 中，数据点15各自被移位相应的偏移向量25，以便以移位的数据点37结束。移位的数据点37是神经网络的第二级21的另外的层39、47的输入。
图5和图6示出了应用于数据点15的移位步骤35的示例。针对形成由雷达传感器13提供的原始雷达点云的各个数据点15，相应的偏移向量25使数据点15在对应的边界框61的假定中心的方向上移动。也就是说，基于原始数据点15并且基于作为神经网络的第一级19的结果的偏移向量25，移位的数据点37被生成为第二级21的层的移位输入。因此，移位的数据点37可被视为用于估计边界框61的真实中心的第一近似。移位数据点37所表示的第一近似将由第二级21细化。
为了执行该细化，第二级21包括集合抽象层(SA层)39，其是PointNet++架构的基本要素。然而，该集合抽象层通过应用于移位的数据点37的屏蔽或选择步骤41 来增强。为了执行该屏蔽或选择41，使用作为由神经网络的第一级19输出的语义分割23的结果。
图4示出了屏蔽或选择步骤41的效果。在屏蔽或选择步骤41之前(上部)和之后(下部)描绘了包括数据点15的原始雷达点云。注意，图4的上部示出了在应用移位步骤35(也参见图5和图6)之前的整个点云。在屏蔽41之前，点云包括所有数据点，即，被分类为背景的数据点65以及被分类为车辆的数据点67和被分类为行人的数据点68。在屏蔽或选择步骤41之后，仅考虑被分类为属于车辆或行人的数据点67、68。
在利用移位的数据点37执行屏蔽或选择步骤41之后，对剩余的数据点应用所谓的最远点采样(FPS)43。最远点采样是指从n个点中选择m(n>m)个点的子集，使得来自该子集的各个点相对于该子集内的所有处理点(proceeding point)而言都是最远的点。由于最远点采样43，针对各个待检测对象采样了至少一个数据点。
在该采样步骤43之后，基于来自步骤43的针对移位数据点37的采样数据点执行分组或聚类步骤45。详细地，神经网络对位于相对于采样数据点而言的某一半径内的数据点进行聚类。图3在左侧描绘了分组步骤45的示例(层1)。利用具有围绕采样数据点64的某一预定半径的相应圆66对移位的数据点37进行分组或聚类。分组步骤45和整个集合抽象层39的输出是具有包含对象信息的深特征向量的采样点的列表，而不是在相关技术的对比方法中使用的抽象局部编码。最后，集合抽象层39 的输出由神经网络的另外的共享的全连接层47处理，以便使边界框61的参数27回归，即，以便估计这些边界框的空间条件。这在图3的左侧示出，其中，示出了经由另一层2从局部结构(即，从各个采样数据点的周围数据点)“学习”的结果。
神经网络的第二级21包括四个输出路径，各个输出路径对应于边界框的参数27之一。详细地说，四个输出路径对应于细化的偏移向量49、边界框尺寸(BB尺寸) 51、边界框偏航角(BB偏航)53和边界框置信度得分(BB得分)55。
按与第一级19中的偏移向量25非常类似的方式来确定细化的偏移向量49。也就是说，确定细化的向量49，其将移位和选择的数据点移动得更靠近边界框61的真实中心。然而，使用的标量是第一级的标量的一半。为了学习确定细化的偏移向量 49的任务，再次使用平滑的L1回归损失作为目标函数。
边界框尺寸51是指所考虑的边界框的宽度和长度。网络的全连接层47预测-1 到+1的范围内的值x，以便如下计算例如边界框的宽度w：
w＝s·ex (1)
其中，x是网络的预测值，s是另一标量。以车辆为例，标量s可以设置为6m，在这种情况下，神经网络能够预测车辆(作为待检测对象)的宽度(以及以同样的方式，长度)在2.2m到16m的范围内。
为了学习确定边界框尺寸51的任务，目标函数定义为：
Figure BDA0003308559590000101
其中，wpred是边界框的预测宽度，wgt是真值边界框的宽度。通过这样的目标函数，避免了对边界框尺寸51的过高估计。
第二级21的第三输出路径是指边界框的取向，该取向在二维原始雷达输入数据的情况下是边界框偏航角53。由于关于π或2π的周期性，角度回归对于神经网络来说是一项艰巨的任务，因此确定边界框取向的任务分解为回归步骤和分类步骤。对于回归步骤，神经网络使要确定的偏航角的正弦和余弦的绝对值进行回归。分类步骤确定该偏航角的正弦和余弦的符号，即±1。为了学习确定边界框偏航角53的任务，使用均方误差损失(MSE损失)作为学习回归任务的目标函数，并且将二元交叉熵损失用作分类任务的目标函数。
由于必须为两个任务合并损失目标，因此分类是动态加权的，其中，动态权重被计算为：
weight＝2·[1-max(sin2θgt,cos2θgt)] (3)
其中，θgt是真值偏航角。对于所有m(正整数或负整数或零)，权重函数在m·π/2 处具有最小值0，在(2m+1)·π/4处具有最大值1。通过这种加权，当真值偏航角在分类边界附近时，分类对确定取向的整个任务的影响较小。通过这种方式，即使对于不会导致显著错误的错误符号估计(由于分类)，神经网络也可以执行正弦和余弦的正确回归。
第二级21的第四输出路径是指边界框置信度得分55。如果在后处理步骤(图中未示出)中应用了非最大抑制，则为网络预测提供置信度得分很重要。如果必须将若干重叠的边界框估计合并为单个边界框估计，则可能需要这种后处理。
为了估计边界框置信度得分55，需要定义真值边界框，并且对于被确定了边界框参数27的所有边界框，计算所谓的交并比得分(Intersection over Union score，IoU 得分)。交并比得分对预测的边界框与真值边界框进行比较，并且被定义为预测边界框与真值边界框的交集或重叠与其并集之比。如果IoU得分高于给定的阈值，例如 0.35，则边界框的检测被认为是肯定的。为了避免网络中的混淆，IoU得分略低于此阈值(例如，在0.2到0.35的范围内)的边界框被屏蔽掉。
为了估计未对齐的边界框的边界框置信度得分55，使用经验近似。首先，确定预测的边界框的中心和真值边界框的中心。在这些中心周围，形成了具有估计大小或估计尺寸的边界框，并且两个边界框都旋转了真值偏航角。然后，计算这些对齐的框的交集。交集的值由角度误差的绝对余弦值加权，并重新缩放以适应从0.5到1的范围。然后，通过将近似交集除以并集面积(即，真值边界框和预测的边界框这两个框的面积之和减去近似交集)来计算最终的边界框置信度得分或IoU得分。
为了学习确定边界框置信度得分的任务，再次使用焦点分割损失作为目标函数。此外，第二级21的四个输出路径相对于它们的目标函数被独立地训练，并且通过使用所有目标函数来训练第二级21的公共部分(即，集合抽象层39)。此外，当训练第二级21时，停用或“冻结”第一级19。
在图5和图6中，第二级21的效果由细化的偏移向量49和边界框61示出。详细地，通过移位步骤35移位以在移位的数据点37处结束的数据点15是通过由图5 和图6中的内箭头或第二箭头表示的细化的偏移向量49而移动得更靠近边界框61 的中心的。在应用细化的偏移向量49之后，在“第二”箭头49的末端找到最终的中心建议69。对于边界框61，第二级21还确定边界框尺寸51(即，其长度和宽度) 以及边界框偏航角53，以便定义边界框的取向。因此，边界框61的空间条件是通过估计其中心、其尺寸和其偏航角来估计的。
一些数据点15在神经网络的第一级19中被分类为背景点65。对于这些背景点 65，由于基于语义分割23的屏蔽步骤41，神经网络的第二级21没有估计出细化的偏移向量49。换言之，背景点65在第二级21中被清理(sort out)。
为了测试根据本公开的装置11和方法，定义了两个对象类。第一对象类包括“车辆”作为对象类型并且包括上述边界框作为包围对象的几何形状。第二对象类包括“行人”作为对象类型并且包括圆柱体作为几何形状。对于第一对象类(车辆)，边界框参数27是经由神经网络的第二级21估计的。对于第二对象类(行人)，仅估计了细化的偏移向量49和边界框置信度得分55。对于作为几何形状的圆柱体，假设固定直径为0.5米，并且对于二维数据不需要确定偏航角。
此外，通过两种不同的设置配置对网络进行了测试。对于第一设置配置，来自单个雷达帧(1帧)的数据点15被用作估计边界框参数27的输入。对于第二配置，使用来自四个雷达帧(4帧)的数据点15，这些数据点被补偿以考虑宿主车辆20的自我运动。对于4帧设置，场景的四个测量值(即宿主车辆20的环境的测量值)被融合，并且为神经网络提供了附加层。
在图7中，示出了测试的结果，即，y轴上的查准率(precision)相对于x轴上的查全率(recall)。查准率和查全率是神经网络的典型品质因数。查准率描述了实际正确的肯定识别(positive identification)的部分，而查全率描述了正确地识别的实际肯定识别的部分。此外，查全率是神经网络稳定性的度量。理想的神经网络的查准率和查全率将在1的范围内，即，图7右上角的数据点。此外，4帧设置包含的浮点运算(FLOPS)数量高于1帧设置，如图7的右下角所示。
标注为73的十字是车辆对象类的1帧设置的结果，而标注为75的点是同一对象类(即“车辆”)的4帧设置的结果。此外，标注为77的十字是1帧设置和行人对象类的结果，而标注为79的点表示基于4帧设置的该行人对象类的结果。结果表明，神经网络能够以适合两种设置的方式来检测车辆和行人。
总之，4帧设置比1帧设置具有更好的表现。然而，如图7所示的结果表明根据本公开的装置11和方法允许性能与成本之间的合理折衷。
附图标记列表
11 用于检测对象的装置
13 雷达传感器
15 数据点
17 模块
19 第一级
20 宿主车辆
21 第二级
23 语义分割
25 偏移向量
27 边界框参数
29 预处理模块
31 PointNet++
33 全连接层
35 移位步骤
37 移位数据点
39 集合抽象层
41 屏蔽或选择步骤
43 最远点采样
45 分组和聚类步骤
47 全连接层
49 细化的偏移向量
51 边界框尺寸
53 边界框偏航角
55 边界框置信度得分
61 边界框
63 边界框中心
64 采样数据点
65 被分类为背景的数据点
66 圆
67 被分类为“车辆”的数据点
68 被分类为“行人”的数据点
69 最终中心建议
73 “车辆”、1帧设置的测试结果
75 “车辆”、4帧设置的测试结果
77 “行人”、1帧设置的测试结果
79 “行人”、4帧设置的测试结果。

Claims (15)

1.一种通过使用雷达传感器(13)并且通过使用被配置为建立神经网络的装置(11、17)来检测对象的计算机实现的方法，所述方法包括以下步骤：
经由所述雷达传感器(13)来捕获包括多个数据点(15)的原始雷达点云，
定义至少一个对象类，各个对象类包括预定对象类型以及被配置为包围所述预定对象类型的对象的几何形状，
i)经由所述神经网络的第一级(19)：
针对所述多个数据点(15)，执行关于所述至少一个对象类和背景的语义分割(23)，以及
针对各个数据点(15)，估计所述至少一个对象类的所述几何形状的空间条件的粗略近似(25)，以及
ii)基于所述几何形状的所述空间条件的所述粗略近似(25)，经由所述神经网络的第二级(21)：
基于所述语义分割(23)来选择所述多个数据点(15)的子集，以及
针对所述子集的各个数据点(15)：
估计所述对象类的所述几何形状的所述空间条件的细化近似(49、51、53)，以及
估计所述几何形状的所述空间条件的所述细化近似的置信度得分(55)。
2.根据权利要求1所述的方法，其中
所述空间条件包括所述几何形状的中心(63)，并且
估计所述空间条件的粗略近似(25)和细化近似(49、51、53)的步骤包括：针对各个数据点(15、37)估计相应的向量(25、49)，所述向量将所述数据点(15、37)移向所述几何形状的所述中心(63)。
3.根据权利要求2所述的方法，其中
所述空间条件还包括所述几何形状的尺寸(51)，并且
估计所述空间条件的细化近似(49、51、53)的步骤包括：估计所述几何形状的尺寸(51)。
4.根据权利要求2或3所述的方法，其中
所述空间条件还包括所述几何形状的取向(53)，并且
估计所述空间条件的细化近似(49、51、53)的步骤包括：估计所述几何形状的取向(53)。
5.根据权利要求4所述的方法，其中
估计所述几何形状的取向(53)的步骤被分解成对所述几何形状的角度信息进行回归的步骤以及对所述角度信息进行分类的步骤。
6.根据前述权利要求中任一项所述的方法，其中
所述神经网络的所述第一级(19)包括针对所述语义分割(23)以及针对所述空间条件的至少一个参数(27)的相应输出路径，
所述神经网络的所述第二级(21)包括针对所述置信度得分(55)以及针对所述空间条件的所述至少一个参数(27)的细化的相应输出路径，并且
所述神经网络的各个输出路径是基于单独的目标函数训练的。
7.根据前述权利要求中任一项所述的方法，其中
执行语义分割(23)的步骤是通过以下方式来训练的：定义所述几何形状的真值并且确定相应数据点(15)是否位于所述几何形状的所述真值内。
8.根据前述权利要求中任一项所述的方法，其中
在训练所述神经网络的所述第二级(21)的同时，停用所述神经网络的所述第一级(19)。
9.根据前述权利要求中任一项所述的方法，其中
所述至少一个对象类的所述几何形状包括边界框(61)，并且
估计所述空间条件的细化近似(49、51、53)的步骤包括：估计所述边界框(61)的尺寸(51)和取向(53)。
10.根据前述权利要求中任一项所述的方法，其中
定义了至少两个不同的对象类，并且
所述至少两个不同的对象类包括不同的对象类型和不同的几何形状。
11.根据前述权利要求中任一项所述的方法，其中
估计所述几何形状的所述空间条件的细化近似(49、51、53)的步骤是通过以下方式来执行的：仅对所述多个数据点(15)的所选择的子集进行最远点采样。
12.根据前述权利要求中任一项所述的方法，其中
估计所述几何形状的所述空间条件的细化近似(49、51、53)的步骤包括：将所选择的子集的数据点(15、37)分组，以关于局部结构来训练所述神经网络的所述第二级(21)。
13.一种检测对象的装置(11)，所述装置包括：
雷达传感器(13)，其获取被所述雷达传感器(13)的环境中的对象反射的雷达信号并且基于所述雷达信号提供原始雷达点云，其中，所述原始雷达点云包括多个数据点(15)，
模块(17)，其被配置为建立包括第一级(19)和第二级(21)的神经网络并且定义至少一个对象类，各个对象类包括预定对象类型以及被配置为包围所述预定对象类型的对象的几何形状，
其中，
i)所述神经网络的所述第一级(19)被配置为执行以下操作：
针对所述多个数据点(15)执行关于所述至少一个对象类和背景的语义分割(23)，并且
针对各个数据点(15)估计各个对象类的所述几何形状的空间条件的粗略近似(25)，以及
ii)所述神经网络的所述第二级(21)被配置为基于所述几何形状的所述空间条件的所述粗略近似(25)执行以下操作：
基于所述语义分割(23)来选择所述多个数据点(15)的子集，并且
针对所述子集的各个数据点(15)：
估计所述对象类的所述几何形状的所述空间条件的细化近似(49、51、53)，以及
估计所述几何形状的所述空间条件的所述细化近似的置信度得分(55)。
14.一种计算机系统，所述计算机系统被配置为执行根据权利要求1至12中任少一项所述的计算机实现的方法。
15.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质包括用于执行根据权利要求1至12中任一项所述的计算机实现的方法的指令。
CN202111223865.0A 2020-10-19 2021-10-18 检测对象的方法及装置 Pending CN114387203A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP20202567.2A EP3985411A1 (en) 2020-10-19 2020-10-19 Method and device for detecting objects
EP20202567.2 2020-10-19

Publications (1)

Publication Number Publication Date
CN114387203A true CN114387203A (zh) 2022-04-22

Family

ID=72943967

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111223865.0A Pending CN114387203A (zh) 2020-10-19 2021-10-18 检测对象的方法及装置

Country Status (3)

Country Link
US (1) US12055658B2 (zh)
EP (1) EP3985411A1 (zh)
CN (1) CN114387203A (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4012603B1 (en) * 2020-12-10 2023-12-06 Aptiv Technologies Limited Method for classifying a tracked object
US20230410530A1 (en) * 2022-05-30 2023-12-21 Ehsan Taghavi Systems and methods for enhancement of 3d object detection using point cloud semantic segmentation and attentive anchor generation
DE102022123465A1 (de) * 2022-09-14 2024-03-14 Gestigon Gmbh Verfahren und system zum trainieren eines auswertungsmodells zum erkennen eines sitzbelegungszustands einer sitzanordnung auf basis von radarpunktwolken

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10438371B2 (en) * 2017-09-22 2019-10-08 Zoox, Inc. Three-dimensional bounding box from two-dimensional image and point cloud data
US11443522B2 (en) * 2018-11-30 2022-09-13 Qualcomm Incorporated Processing sensor information for object detection
US11887323B2 (en) * 2020-06-08 2024-01-30 Ford Global Technologies, Llc Self-supervised estimation of observed vehicle pose

Also Published As

Publication number Publication date
US20220120858A1 (en) 2022-04-21
EP3985411A1 (en) 2022-04-20
US12055658B2 (en) 2024-08-06

Similar Documents

Publication Publication Date Title
CN114387203A (zh) 检测对象的方法及装置
US10474908B2 (en) Unified deep convolutional neural net for free-space estimation, object detection and object pose estimation
KR102108953B1 (ko) 센서 품질 저하에 강인한 딥러닝 기반 카메라, 라이더 센서 융합 인지 방법 및 시스템
Fu et al. Scattering-keypoint-guided network for oriented ship detection in high-resolution and large-scale SAR images
KR20200022001A (ko) 희귀 인스턴스 분류기들
CN1940591A (zh) 使用传感器融合进行目标跟踪的系统和方法
CN112651441B (zh) 细粒度非机动车特征检测方法、存储介质及计算机设备
WO2020127151A1 (en) Method for improved object detection
Ward et al. RGB-D image-based object detection: from traditional methods to deep learning techniques
US20220171975A1 (en) Method for Determining a Semantic Free Space
US12100221B2 (en) Methods and electronic devices for detecting objects in surroundings of a self-driving car
CN116704304A (zh) 一种混合注意力机制的多模态融合目标检测方法
Cheng et al. G-Fusion: LiDAR and Camera Feature Fusion on the Ground Voxel Space
KR20230119334A (ko) 레이더 클러터 제거를 위한 자가 집중 기법 적용 3차원 물체 검출 기술
CN114445371A (zh) 基于椭圆交并比的遥感图像目标检测方法及装置
Pu et al. Ulit-BiDet: An Ultra-lightweight Object Detector for SAR Images Based on Binary Neural Networks
Yatbaz et al. Run-time Monitoring of 3D Object Detection in Automated Driving Systems Using Early Layer Neural Activation Patterns
Yang et al. Traffic Conflicts Analysis in Penang Based on Improved Object Detection With Transformer Model
US20240134009A1 (en) Method and apparatus of filtering dynamic objects in radar-based ego-emotion estimation
Suzuki et al. Vision based far-range perception and traversability analysis using predictive probability of terrain classification
KR102559936B1 (ko) 단안 카메라를 이용하여 깊이 정보를 추정하는 방법 및 장치
Zhao et al. UniBEVFusion: Unified Radar-Vision BEVFusion for 3D Object Detection
CN118155038B (zh) 多目标轨迹检测方法、装置、设备和存储介质
Moussa et al. Automotive radar based lean detection of vehicles
Zhang et al. Optical resolution requirements for effective deep learning-based ship recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Country or region after: Luxembourg

Address after: Luxembourg

Applicant after: Aptiv Technology (2) Co.

Address before: Babado J San Michael

Applicant before: Aptiv Technologies Ltd.

Country or region before: Barbados

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240305

Address after: Luxembourg

Applicant after: Aptiv Manufacturing Management Services Co.

Country or region after: Luxembourg

Address before: Luxembourg

Applicant before: Aptiv Technology (2) Co.

Country or region before: Luxembourg

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240320

Address after: Schaffhausen

Applicant after: APTIV Technology Co.,Ltd.

Country or region after: Switzerland

Address before: Luxembourg

Applicant before: Aptiv Manufacturing Management Services Co.

Country or region before: Luxembourg