CN114624460A - 用于映射载具环境的系统和方法 - Google Patents

用于映射载具环境的系统和方法 Download PDF

Info

Publication number
CN114624460A
CN114624460A CN202111462842.5A CN202111462842A CN114624460A CN 114624460 A CN114624460 A CN 114624460A CN 202111462842 A CN202111462842 A CN 202111462842A CN 114624460 A CN114624460 A CN 114624460A
Authority
CN
China
Prior art keywords
grid
vehicle
occupancy
cell
reference frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111462842.5A
Other languages
English (en)
Other versions
CN114624460B (zh
Inventor
J·波尔贝斯基
K·科格特
M·罗泽维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aptiv Technologies Ltd
Original Assignee
Aptiv Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aptiv Technologies Ltd filed Critical Aptiv Technologies Ltd
Publication of CN114624460A publication Critical patent/CN114624460A/zh
Application granted granted Critical
Publication of CN114624460B publication Critical patent/CN114624460B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/84—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using probabilistic graphical models from image or video features, e.g. Markov models or Bayesian networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Automation & Control Theory (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开提供用于映射载具环境的系统和方法。一种用于映射载具环境的由计算机实现的方法，该方法包括：a)在具有第一坐标系的地球参考系中定义第一网格；b)初始化所述载具在所述第一网格中的位置和所述第一网格的第一组小区占用值；c)从所述载具上的一个或更多个传感器接收所述载具的周围环境的传感器数据；d)用至少部分地根据所述传感器数据计算的第二组小区占用值来更新所述第一网格；以及e)根据所述第一网格的小区占用值的变化来计算一个或更多个对象在所述地球参考系中的一个或更多个绝对速度。

Description

用于映射载具环境的系统和方法
技术领域
本公开涉及用于映射载具环境的方法，特别是用于生成载具环境中对象绝对速度的速度图的方法，以及用于执行该方法的机器可读存储介质和对象跟踪系统。
背景技术
诸如汽车的人工操作的载具通常设置有一个或更多个传感器，以感测和映射载具周围的环境，从而帮助驾驶员安全地操作载具。例如，载具可设置有传感器系统，该传感器系统被构造成检测载具周围环境中的静止和运动对象。为了适当地跟踪周围环境中的对象，应当相对于地球参考系而不是载具参考系来计算对象的速度，以确定哪些对象是静止的(并且因此形成载具运动通过的静止环境的一部分)，哪些是动态的(并且因此也运动通过静止环境)。
来自载具的传感器数据在载具参考系中获得，并且可以用于生成占用网格，该占用网格描述载具周围环境中的对象的位置。由于载具通常可以相对于地球运动，所以静止和动态对象两者都可以在传感器数据中具有相对速度。
用于根据载具的传感器数据(即根据载具参考系)来确定对象绝对速度以分析对象的相对速度来区分静止和动态对象的现有算法往往在计算上是很复杂的。测量两个时刻之间的占用变化的简单运动检测算法是不可用的，因为对于任何看起来在载具参考系中运动的对象(包括静止对象)都检测运动。
因此，需要提供一种测量载具周围环境中的对象的绝对速度的可靠的并且计算复杂性较低的方法。
发明内容
根据第一个方面，提供了一种用于映射载具环境的由计算机实现的方法，所述方法包括以下步骤：a)在具有第一坐标系的地球参考系中定义第一网格；b)初始化所述载具在所述第一网格中的位置和所述第一网格的第一组小区占用值；c)从所述载具上的一个或更多个传感器接收所述载具的周围环境的传感器数据；d)用至少部分地根据所述传感器数据计算的第二组小区占用值来更新所述第一网格；以及e)根据所述第一网格的小区占用值的变化来计算一个或更多个对象在所述地球参考系中的一个或更多个绝对速度。
所述方法可以还包括将所述一个或更多个绝对速度的位置坐标变换到载具参考系，并且可选地，所述载具参考系中的所述一个或更多个绝对速度可以显示在所述载具的显示装置上。
可以使用光流算法来生成所述一个或更多个绝对速度。
步骤c)至步骤e)可以被迭代地重复。
可以针对包含所述载具并跟随所述载具的位置的速度图网格中的一个或更多个对象计算所述一个或更多个绝对速度，并且，定义所述速度图网格的边界可以与定义所述第一网格的边界相距至少预定距离。
当所述载具运动到其中定义所述速度图网格的边界处于距定义所述第一网格的边界第二预定距离处或所述第二预定距离之内的位置时，可以在地球参考系中对所述第一网格进行重新定位，从而使得定义所述速度图网格的边界距定义所述第一网格的边界的距离超过所述第二预定距离。
可以用所述第一网格的先前位置中的交叠小区的占用值来初始化重新定位后的第一网格的小区。
所述速度图网格的边界可以平行于所述第一网格的边界。
可以至少部分地根据所述第一组小区占用值来计算所述第二组小区占用值，并且可选地，可以根据所述第一组小区占用值与根据所接收的传感器数据计算出的第三组小区占用值的融合来计算所述第二组小区占用值。可选地，所述融合可以是贝叶斯融合。
所述方法可以包括：如果对象的绝对速度大于预定阈值，则将该对象分类为动态的，否则将该对象分类为静止的。
根据第二个方面，提供了一种机器可读存储介质，所述机器可读存储介质存储计算机程序，所述计算机可读指令在由处理器执行时使所述处理器执行根据第一个方面所述的方法。
根据第三个方面，提供了一种用于载具的对象跟踪系统，所述对象跟踪系统被配置成执行根据第一个方面所述的方法。
附图说明
现在将参照以下描述的附图仅通过非限制性示例详细解释实施方式。
图1A示出了装配有用于映射载具环境的装置的载具的示意图；
图1B示出了载具坐标系的示意图；
图2示出了用于映射载具环境的装置的示意图；
图3示出了占用网格的示意图；
图4示出了用于映射载具环境的方法；
图5A至图5E示出了相对于根据本文公开的一个或更多个方法生成的第一网格处于不同位置的载具的示意图；
图6A至图6C示出跟随主载具的示例性占用网格；
图7A至图7C示出在地球参考系中的示例性占用网格；以及
图8示出了映射单元的示意图。
具体实施方式
图1A示出了根据本公开的一个或更多个实施方式的配备有用于映射载具10的环境的装置20的载具10。装置20可以具有在不同位置处安装在载具10上的各种部件，但是为了简单起见，装置20被描绘为安装在载具上的单个部件。装置20包括用于感测载具10的周围环境中的对象和/或空闲空间的一个或更多个传感器。例如，装置20包括用于检测载具10的周围环境中的对象的一个或更多个雷达传感器、激光雷达传感器、超声波传感器和/或成像传感器。装置20是对象跟踪系统，其被配置成根据本文公开的方法映射载具10的环境。
在装置20中，传感器安装在载具10上，使得它们能够感测载具周围环境的视场F内的对象，并且特别地感测在视场中从载具10沿多个方向到对象的距离。例如，传感器可以安装在载具10的前角处。视场被描绘为在载具10的向前方向上延伸，尽管视场可以在载具的任何方向上延伸。此外，视场可以是载具10周围环境的局部视图，或者可以是周围环境的整个全景视图。应当理解，可以选择装置20的传感器的数量、位置和定向，以实现期望的视场。
图1B示出了载具10的载具坐标系(VCS)的侧视图和平面图，但是应当理解，在不脱离本公开的范围的情况下，可以选择其他载具坐标系。在所例示的实施方式中，VCS可以是右旋轴系统，其在正常静止状态下以载具10的后轴的中心为中心。VCS的x轴与载具簧上重量中心线C对齐，并且y轴与后轮轴A的轴线对齐。附图标记Xv、Yv和Zv分别表示速度在x、y、z轴线上的投影。R表示轮半径。
图2示出了根据一个或更多个实施方式的用于映射载具10的环境的装置20的示意性框图。装置20包括一个或更多个传感器22、获取单元24、占用映射单元26和确定单元28。
一个或更多个传感器可以是包括一个或更多个雷达天线的雷达传感器，一个或更多个雷达天线被配置成发射雷达信号，例如经调制的雷达信号，诸如啁啾信号。可以在一个或更多个天线110处被获取或检测信号，并且通常被称为返回信号。返回信号可以由发射的雷达信号在障碍物上的反射产生。一个或更多个天线可以单独提供或作为天线阵列提供，其中一个或更多个天线中的至少一个天线发射雷达信号，并且所述一个或更多个天线中的至少一个天线检测返回信号。检测或获取的返回信号表示电磁场的幅度/能量随时间的变化。
另选地或附加地，一个或更多个传感器可以包括一个或更多个激光雷达或超声波传感器其被类似地配置成向该载具的周围环境发射信号并且检测来自该载具的周围环境的反射信号并且因此检测周围环境中的对象。一个或更多个传感器可以另选地或附加地包括立体摄像头，从该立体摄像头，可以通过立体算法来确定到立体摄像头的视场内的对象的距离。
获取单元24被配置成从一个或更多个传感器获取传感器数据(例如，距离和距离变化率数据)，并根据传感器数据计算载具周围环境中的一个或更多个对象的位置。具体地，对于包括雷达、激光雷达(lidar)或超声波传感器的实施方式，获取单元24可以获取返回信号(例如在一个或更多个天线处检测到的)并且可以对其应用模数转换(A/D)。获取单元24可以将发射信号与检测的返回信号之间的延迟转换成指示对象与载具10之间的距离的距离数据，并且还根据返回信号(例如，通过比较来自不同天线的多个信号)来计算对象的方向。可以通过使返回信号与发射的雷达信号相关来获取延迟，从而获取距离数据。另选地或附加地，获取单元24可以从一个或更多个立体摄像头获取图像数据，并对图像数据执行立体算法以计算到对象与载具10的距离。可以在VCS中校准传感器在载具10上的位置，并且获取单元24可以被配置成将距离数据转换为VCS中的位置坐标。如果使用具有交叠视场的多个不同类型的传感器，则可以将数据组合(例如通过对各个传感器的检测范围值求平均或类似)以在给定方向上确定对象位置。
注意，载具可以是任何载具，例如货车、卡车、农用车、摩托车、火车、公共汽车、飞机、无人机、小船、轮船等。
占用映射单元26被配置成获取由获取单元24计算出的检测对象或空闲空间的坐标，并且基于该数据计算地球参考系中的占用网格。更具体地，占用映射单元26包括传感器模型，该传感器模型将从获取单元24获取的检测数据作为输入，并根据该数据生成占用网格(应当理解，可以使用任何传感器模型，例如任何物理模型、确定性模型或逆传感器模型)。例如，占用映射单元26可以从获取单元接收多个检测结果，各个检测结果包括距离值和方位角(指示检测到的对象或空闲空间相对于载具的距离和方向)。然后可以将检测结果转换为对于占用网格中的小区的一组小区占用概率。
图3中示出了示例性占用网格。占用网格包括小区网格。使用占用网格坐标系定义了小区位置。该坐标系可以是右手坐标系，原点例如在网格的拐角处附接。右下小区的坐标是(0，0，0)，各个相邻小区的坐标在从第一小区的运动方向上增加1。例如，小区34具有坐标(7，1)或(7，1，0)(对于二维网格不需要包括z值)。在2D应用中定义了z轴以正确地定义旋转方向，但也可用于在对于3D应用定义小区在3D网格中的位置。可以在地球参考系、载具参考系或其他参考系中定义占用网格。例如，可以在载具参考系中生成占用网格，并且因此占用网格的坐标各自对应于载具参考系中的固定坐标。各个小区可以采用指示该位置是否被对象占用的占用值。例如，在所示示例中，黑色小区32指示该小区被对象占据(并且对应于对象被传感器检测到的位置)。另一方面，白小区34指示该小区未被对象占用。最后，灰色小区36表示不知道该小区的占用(例如，因为其他对象位于该小区和传感器之间，使得没有信号到达对应于该小区的位置)。根据获取单元24的检测结果计算各个小区的占用值。例如，基于检测结果的距离、方位角和不确定性，计算各个小区的占用证据，其描述了各个小区是检测结果的起源(即包含检测结果的位置)的概率。占用网格可以是贝叶斯占用网格，其中根据从对象和/或空闲空间检测结果获得的证据值来计算小区占用的概率，虽然在不脱离本公开的情况下可以使用任何类型的占用网格。例如，小区的占用概率可以由p(occ)＝0.5+0.5·p(c|d)给出，其中p(c|d)是在给定了对象检测结果d的情况下小区c的占用证据值。同样地，空闲空间概率可以由p(free)＝0.5+0.5·p(c|f)给出，其中p(c|f)是在给定了空闲空间检测结果f的情况下小区c的空闲空间证据值。在一些实施方式中，占用网格可以包括基于P(occ)值和/或P(free)值，各个小区被占用的概率网格。然后可以基于对象和/或空闲空间检测结果向各个小区赋予该小区被占用的概率值。例如，可以基于概率值(0是白/黑，1是黑/白)将占用网格呈现为灰度图像或类似物，并且如下面进一步详细描述的，可以在时间帧之间对灰度占用网格执行运动检测算法以检测对象速度。如果占用概率高于上阈值，则各个小区可以被赋予“占用”，或者如果占用概率低于下阈值，则被赋予“空闲”。占用网格可以相应地以两种颜色呈现，并且可以在时间帧之间对占用网格执行运动检测算法以检测对象速度。在一些实施方式中，可以对各个网格小区仅赋予“空闲”或“占用”。在其它实施方式中，当阈值不同时，如果占用概率在上阈值与下阈值之间，则还可以对小区赋予“未知”。应当理解，可以使用其它方法根据检测数据生成占用网格。例如，可以代之以使用登普斯特-谢弗(Dempster-Shafer)框架来生成占用网格。通过测量时间帧之间占用网格的占用值的变化，可以对在任何框架下生成的占用网格执行任何合适的运动检测算法。
最后，装置20包括确定单元28，其用于通过对占用网格执行运动检测算法，基于占用网格数据确定地球参考系中的对象绝对速度。
图4示出了用于映射载具环境的方法的流程图，该方法可以例如由载具10上的装置20执行。
在步骤S1中，在地球参考系中定义第一网格，例如由占用映射单元26进行。第一网格定义有限空间。
在步骤S2中，对载具在第一网格内的位置和第一组小区占用值两者进行初始化。载具在第一网格内的初始位置可以是预定位置，优选地是以下位置：载具传感器被配置成检测的载具周围区域被包含在第一网格内。第一组小区占用值可以取自对装置20已经可得的先前传感器数据(例如，由占用映射单元26根据先前时刻中的传感器数据生成)。例如，占用映射单元26可以在第一网格的坐标系中生成占用图，其可以被计算，因为载具在第一网格中的位置是已知的。如果第一网格的全部或部分的小区占用值不是容易可得的，则可以将小区占用值初始化为默认值(例如0.5通常用于贝叶斯网格，但是可以取其它值)。
图5A示出了包含载具10的第一网格42的示意图。在所例示的实施方式中，第一网格42小于由载具传感器感测的区域40，尽管在其他实施方式中可能不是这种情况。为了简单起见，省略了第一网格42的占用值，但是其类似于图3所示的占用值。通常，第一网格42可以具有大于、等于或小于区域40的面积，并且优选地，第一网格42大于区域40。
在步骤S3中，接收从载具上的一个或更多个传感器接收载具周围环境的传感器数据(例如，由获取单元24从传感器22接收)。图5B示出了当接收到传感器数据时处于第二位置的载具10的示例性示意图。应注意，装置20可以相反不包括传感器，并且传感器数据可由载具上的单独装置获得并被发送到装置20以根据图4的方法进行处理。
在步骤S4中，用至少部分地根据所接收的传感器数据计算的第二组小区占用值更新第一网格，例如由占用映射单元26进行。如图5B所示，由载具感测的区域40随载具10一起运动，因此传感器数据被变换回相对于地球保持静止的第一网格42的坐标系。可能只有一些占用值被更新，因为由载具10在新载具位置感测的区域40不覆盖第一网格42的整个区域。因此，仅更新第一网格42的交叠区域48(示出为图案区域)中的占用值，而可以不改变其它占用值。
可以通过根据传感器数据计算第二占用网格并用第二组小区占用值更新第一网格来更新第一网格。注意，由获取单元24接收的原始传感器数据是在载具参考系中，并且载具可能已经从第一网格中的初始化的载具位置运动了和/或围绕第一网格中的初始化的载具位置旋转了。因此，数据可以从载具坐标系变换到第一坐标系。该变换可以在生成第二组小区占用值之前由占用映射单元26对传感器数据执行，或者可以在载具坐标系中生成占用网格，然后将其变换到第一坐标系。可以跟踪载具在第一网格中的位置，例如通过各种载具系统，诸如载具的GPS系统和速度和转向测量系统，使得载具相对于初始化的位置的新位置和定向由占用映射单元26跟踪。
第一网格的更新后的占用值可以部分地基于第一网格的先前占用值并且部分地基于第二组小区占用值。例如，可以将交叠区域48中的第一网格的先前占用证据值或占用概率值与根据传感器数据计算的第二组小区占用证据值或占用概率值融合来更新第一网格，例如通过使用贝叶斯融合方法。对于给定小区，交叠区域中的新占用证据或概率值可以定义为：
Figure BDA0003389259750000081
其中pold是该小区的先前占用证据或概率值，并且pmeasured是根据新传感器数据计算的该小区的占用证据或概率值。应当理解，可以使用其他融合方法而不是贝叶斯融合方法，诸如最大策略、求和策略、即时融合、线性意见池、独立意见池、对数独立意见池、德摩根(De Morgan)、登普斯特-谢弗(Dempster Shafer)、德泽尔特-斯马兰达切(Dezert-Smarandache)等。如果没有接收到小区的新测量结果，则该小区可以采用相同的占用值。还应当注意，在不脱离本公开的范围情况下，可以用新占用值直接更新占用网格，即，没有进行任何数据融合。
在步骤S5中，根据第一网格的小区占用值的变化生成一个或更多个对象在地球参考系中的一个或更多个绝对速度，例如由确定单元28通过比较不同帧中的网格的占用值。当在地球参考系中提供第一网格时，可以直接根据第一网格的占用值的变化获得绝对速度。图5A和图5B示出了速度图网格44，在该速度图网格可以计算对象速度(虽然可以在整个网格42上计算，并且网格44可以具有相对于网格42的任何尺寸)。可以为在给定区域(例如44或42)中检测到的所有对象计算速度。
当接收到新传感器数据时，可以迭代地执行步骤S2至S4，其中基于第一网格的占用值的变化随着每次迭代而更新对象速度。用于每次迭代的传感器测量结果可以在时间上相隔任意时间段，例如0.1秒。
绝对速度可以使用任何运动检测算法来计算，例如光流算法(例如局部正则化和矢量化算法)、卢卡斯-卡纳德(Lucas-Kanade)算法或视频运动检测和跟踪算法等的任何算法。第一网格的每次迭代用作运动检测算法的图像输入。该方法可以包括应用诸如聚类算法这样的对象识别算法以将占用小区的组分类为对象，并且光流算法可以被应用于各个对象以估计对象的速度(例如通过对象中的各个小区的速度取平均或通过对象跟踪算法)。
上述方法有利地允许自由选择占用网格算法和运动检测算法来确定对象绝对速度。换言之，该方法使用在载具参考系中接收的传感器数据来更新地球参考系中的占用网格，该处理自动地忽略了环境中的静止对象。这允许直接根据占用网格计算绝对速度(相反，在载具参考系中执行运动检测算法需要额外的复杂性来区分运动和静止对象，运动和静止对象在载具参考系中是运动或静止的)。
图6A至图6C示出了在三个不同时刻在载具参考系中生成的占用网格。被占用的小区显示为黑色，空小区显示为白色。静止对象602看起来在占用网格中相对于载具运动，而运动对象604看起来不运动，因为其具有与载具相似的速度。图7A至图7C示出了在被变换到地球参考系时(即在第一网格上)图6A至图6C的各个相应帧。这可以计算，因为在第一网格中初始化了载具位置并且跟踪了载具从初始位置的运动被。因此，可以容易地将在载具参考系中生成的占用网格变换到地球参考系，并且可以用新占用数据来更新第一网格。在图7A到图7C中，可以看到静止对象602保持静止，而运动对象604在网格中运动。因此，可以在图7A到图7C所示的帧上执行任何运动检测算法，以直接检测对象相对于地球的速度(例如运动对象604)。该相对于地球的速度可以在载具中的显示装置上在载具参考系中显示，使得驾驶员可以绝对地看到周围环境中的哪些对象正在运动。
该方法还可以包括将一个或更多个绝对速度的位置坐标变换到载具参考系的步骤。如前所述，通过诸如GPS系统的载具系统来跟踪载具在第一网格中的位置和定向，使得一个或更多个绝对速度可以容易地变换到载具参考系(注意，速度本身不变换到载具参考系)。有利地，这可以允许载具的任何对象跟踪系统识别载具周围环境中的动态(非静止)对象。例如，载具可以包括高级驾驶员辅助系统，该高级驾驶员辅助系统被配置成预测载具附近的动态对象(诸如其他载具)的运动，以辅助驾驶员避免碰撞。绝对速度也可以显示在载具的显示装置上。显示装置可以帮助载具的驾驶员区分载具周围的动态对象和静止对象。
该方法还可以包括根据传感器数据生成第三组小区占用值；将第三组小区占用值变换到第一坐标系；用第三组小区占用值更新第一网格；以及根据第一网格的小区占用值的变化来计算更新后的对象速度。换言之，当载具在环境周围运动时，可以迭代地更新第一网格，并且相应地更新对象速度。图5C示出了处于第三位置的载具的示意图。由载具感测的区域40再次在载具参考系中运动，并且因此传感器数据被变换回相对于地球保持静止的第一网格42的坐标系。用新占用值更新定义由载具10感测的区域40与第一网格42之间的交叠的区域48。因此，可以在第一网格上执行运动检测算法以得到更新后的绝对速度。
对于跟随载具位置的速度图网格44(即，在该速度图网格44中，载具的位置坐标或VCS的原点是恒定的)，如图5A至图5C所示，优选地，计算一个或更多个对象速度，使得总是对于载具的相同周围区域生成对象速度。此外，速度图网格44的边界可以与定义第一网格42的边界相距至少预定距离。通过确保缓冲区46包含在第一网格42中并且因此在各个帧中具有占用值，该预定距离确保速度图能够可靠地计算出在速度图网格44的边缘处的对象速度。例如，如果允许速度图网格44与第一网格42邻接，则无法考虑在帧之间从缓冲区46运动到速度图网格44中的对象，如图5D所示，因为缓冲区46在第一网格42之外，因此没有被被赋予占用值。
当载具10运动到其中速度图网格44的边界处于距第一网格42的边界第二预定距离处或第二预定距离之内的位置时，可以在地球参考系中对第一网格42进行重新定位，从而定义速度图网格44的边界距定义第一网格42的边界的距离超过该第二预定距离。
图5E示出了当速度图网格44在距处于原始位置42a的第一网格预定距离处时载具10的示意图。此时，第一网格被重新定位到进一步远离速度图网格44的第二位置42b(即，至少部分地在载具10的运动方向上)，使得载具10在该方向上的进一步运动是可能的，而缓冲区46不延伸到第一网格42的外部。在重新定位后的第一网格中的载具位置可以被初始化，使得第一网格内的运动被跟踪以确定载具在任何时间的位置。在新位置42b的第一网格的占用值可以用默认值来初始化，并且第一网格的位置42a和42b之间的交叠区域中的小区可以采用第一位置42a中的相应小区的最后占用值(交叠区域由图案区域49表示)。通过步骤S3至S6，使用重新定位的第一网格作为新地球参考系，可以再次更新对象速度。有利地，第一网格可随着载具在环境中运动而被重新定位，同时还提供地球参考系，可以根据该地球参考系参考应用运动检测算法来确定对象的绝对速度。
注意，在图5A至图5E所示的示意图中，速度图网格44的边界保持平行于第一网格42的边界，而与载具10相对于地球参考系的方位(即VCS的方位)无关。这减少了需要移动第一网格42以维持速度图网格44的边界与第一网格42之间的最小距离的频率。在其它实施方式中，速度图网格44的边界可以不平行于第一网格42的边界，并且速度图网格44可以采取任何形状。速度图网格44还可以跟随载具10的位置和定向，使得其可以相对于第一网格42进行平移和旋转两者。
该方法可以包括：如果对象的绝对速度大于预定阈值，则将该对象分类为动态的，否则将该对象分类为静止的。有利地，对对象进行这样的分类可以帮助高级驾驶员系统识别哪些对象是动态的和静止的，这是用于碰撞避免系统的预测物体轨迹方面的重要区别。
图8示出了可以在一些实施方式中使用以实现本文所公开的任何方法的映射单元800的示意图，虽然在不脱离本公开的情况下，可以使用利用任何模型将传感器测量结果转换成占用网格的任何映射单元。
映射单元800被配置成从获取单元(例如获取单元24)接收所检测的对象或空闲空间测量结果802。映射单元包括建模单元804，其被配置成将检测结果802转换为针对各个小区的占用证据值808，占用证据值描述了各个小区是检测结果(对象和/或空闲空间)的起源的概率。占用证据值808基于传感器为每次检测提供的距离和方位角的不确定性。
映射单元800还被配置成接收载具位置测量结果812，并且包括定位模块814以计算载具在第一网格坐标系中的位置。
映射单元800还包括融合模块810，其将计算出的占用证据值与第一网格的现有占用证据值(例如来自先前迭代)融合。用于给定小区的新占用证据值可以定义为：
Figure BDA0003389259750000111
其中pold是小区的先前占用证据值，Pmeasured是根据新传感器数据计算的小区的占用证据值。可以理解，可以使用其它融合方法而不是贝叶斯融合方法。
最后，映射单元800被配置成根据输出的占用证据值生成在地球参考系中的更新后的占用网格818。可以以多个时间间隔连续地接收测量结果802和812，从而连续地更新占用网格。
确定单元28通过将不同时刻的网格818作为输入(例如通过测量时间帧之间在网格中检测到的对象的运动)，可以直接在占用网格818上实现任何运动处理算法，以计算对象绝对速度，对象绝对速度可以被连续更新。
虽然已经针对2D应用讨论了上述内容，但是可以将其应用于3D应用。特别地，传感器数据可以被配置成提供3D占用网格，并且第一网格可以被定义为地球参考系中的3D网格。载具(例如飞机或无人机)的3D位置可以使用GPS或类似物在第一网格中初始化和跟踪。
因此，本发明提供了一种使用简单的运动检测算法来计算载具周围环境中的对象的绝对速度的方法。
应注意，虽然本文所揭示的方法的步骤是以特定次序给出的，但除非特定步骤取决于先前步骤的结果，否则所述步骤不必须按所呈现的时间次序执行。
在前面的描述中，参照多个实施方式描述了多个方面。因此，说明书应被认为是说明性的，而不是限制性的。类似地，附图中示出了突出了实施方式的功能和优点的图，其是仅出于示例的目的而呈现的。实施方式的体系结构是足够灵活和可配置的，使得它可以以不同于附图中所示的方式来利用。
获取单元24、占用映射单元26和确定单元28可以包括用于执行本文描述的步骤的合适的软件和/或硬件。
在一个示例性实施方式中，本文所呈现的软件实施方式可以被提供为计算机程序或软件，诸如具有指令或指令序列的一个或更多个程序，其被包括或存储在诸如机器可访问或机器可读介质，指令存储或计算机可读存储设备的制品中，其每一个可以是非暂时的。非暂时机器可访问介质、机器可读介质、指令存储器或计算机可读存储设备上的程序或指令可用于对计算机系统或其它电子设备进行编程。机器或计算机可读介质，指令存储器和存储设备可以包括但不限于软盘、光盘和磁光盘或适于存储或传输电子指令的其它类型的介质/机器可读介质/指令存储器/存储设备。本文描述的技术不限于任何特定的软件配置。其可以在任何计算或处理环境中找到适用性。本文所使用的术语“计算机可读”、“机器可访问介质”、“机器可读介质”、“指令存储”和“计算机可读存储设备”应包括能够存储，编码或传输指令或指令序列以供机器、计算机或计算机处理器执行并使机器/计算机/计算机处理器执行本文所述方法中的任一种的任何介质。此外，本领域中通常以一种形式或另一种形式(例如，程序、过程、进程、应用、模块、单元、逻辑等)将软件称为采取动作或导致结果。这样的表述仅仅是陈述由处理系统执行软件使得处理器执行动作以产生结果的速记方式。
一些实施方式还可以通过准备专用集成电路、现场可编程门阵列，或通过互连常规组件电路的适当网络来实现。
一些实施方式包括计算机程序产品。计算机程序产品可以是具有存储在其上或其中的指令的存储介质或多个存储介质、一个或更多个指令存储或一个或更多个存储设备，这些指令可以用于控制或致使计算机或计算机处理器执行在此描述的示例性实施方式的任何程序。存储介质/指令存储/存储设备可以包括，例如但不限于光盘、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、闪存、闪存卡、磁卡、光卡、纳米系统、分子存储器集成电路、RAID、远程数据存储/存档/仓储、和/或适于存储指令和/或数据的任何其它类型的装置。
存储在计算机可读介质或多个介质，一个或更多个指令存储或一个或更多个存储设备中的任一个上的一些实现方式包括用于控制系统的硬件和用于使系统或微处理器能够利用本文所述的实施方式的结果与人类用户或其他机制交互的软件。这种软件可以包括但不限于设备驱动程序，操作系统和用户应用程序。最后，这种计算机可读介质或存储设备还包括用于执行如上所述的示例方面的软件。
包括在系统的编程和/或软件中的是用于实现这里描述的过程的软件模块。在本文的一些示例实施方式中，模块包括软件，虽然在本文的其他示例实施方式中模块包括硬件或硬件和软件的组合。
虽然上面已经描述了本公开的各种实施方式，但是应当理解，它们是作为示例而非限制来呈现的。对于相关领域的技术人员明显的是，可以在其中进行形式和细节上的各种改变。因此，本公开不应受任何上述示例性实施方式的限制，而应仅根据所附权利要求及其等同物来定义。
此外，摘要的目的是使专利局和公众，尤其是不熟悉专利或法律术语或措辞的本领域的科学家，工程师和从业者能够从粗略的检查中快速地确定本申请的技术公开的本质和本质。摘要不旨在以任何方式限制本文所呈现的实施方式的范围。还应当理解，在权利要求中叙述的任何过程不需要以所呈现的顺序执行。
虽然本说明书包含了许多特定实施方式细节，但不应将这些解释为对任何公开内容或可能要求保护的内容的范围的限制，而是作为对本文所述的特定实施方式的特定特征的描述。在单独实施方式的上下文中在本说明书中描述的某些特征也可以在单个实施方式中组合实现。相反，在单个实施方式的上下文中描述的各种特征也可以在多个实施方式中单独地或以任何合适的子组合来实现。此外，虽然特征可能在上文中被描述为在某些组合中起作用并且甚至最初被如此要求保护，但是来自所要求保护的组合的一个或更多个特征在某些情况下可以从该组合中删除，并且所要求保护的组合可以针对子组合或子组合的变体。
在某些情况下，多任务和并行处理可能是有利的。此外，上述实施方式中的各种要素的分离不应被理解为在所有实施方式中都需要这种分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中或封装到多个软件产品中。
现在已经描述了一些说明性的实施方式，很明显，上述内容是说明性的而非限制性的，已经通过示例的方式给出。特别地，虽然本文给出的许多示例涉及装置或软件元件的特定组合，但是这些元件可以以其它方式组合以实现相同的目的。仅结合一个实施方式讨论的动作，元件和特征不旨在被排除在其它实施方式或多个实施方式中的类似角色之外。
在不脱离其特征的情况下，在此描述的装置可以以其他具体形式实施。上述实施方式是说明性的而不是对所描述的系统和方法的限制。因此，这里描述的装置的范围由所附权利要求而不是前面的描述来指示，并且落入权利要求的等同物的含义和范围内的改变包含在其中。

Claims (12)

1.一种用于映射载具环境的由计算机实现的方法，所述方法包括以下步骤：
a)在具有第一坐标系的地球参考系中定义第一网格；
b)初始化所述载具在所述第一网格中的位置和所述第一网格的第一组小区占用值；
c)从所述载具上的一个或更多个传感器接收所述载具的周围环境的传感器数据；
d)用至少部分地根据所述传感器数据计算的第二组小区占用值来更新所述第一网格；以及
e)根据所述第一网格的小区占用值的变化来计算一个或更多个对象在所述地球参考系中的一个或更多个绝对速度。
2.根据权利要求1所述的方法，所述方法还包括：将所述一个或更多个绝对速度的位置坐标变换到载具参考系，可选地，其中，将所述载具参考系中的所述一个或更多个绝对速度显示在所述载具的显示装置上。
3.根据权利要求1或2所述的方法，其中，使用光流算法计算所述一个或更多个绝对速度。
4.根据权利要求1所述的方法，其中步骤c)至步骤e)被迭代地重复。
5.根据权利要求1所述的方法，其中，针对包含所述载具并跟随所述载具的位置的速度图网格中的一个或更多个对象计算所述一个或更多个绝对速度，并且其中，定义所述速度图网格的边界与定义所述第一网格的边界相距至少第一预定距离。
6.根据权利要求5所述的方法，其中，当所述载具运动到其中定义所述速度图网格的边界处于距定义所述第一网格的边界第二预定距离处或所述第二预定距离之内的位置时，在地球参考系中对所述第一网格进行重新定位，从而使得定义所述速度图网格的边界距定义所述第一网格的边界的距离超过所述第二预定距离。
7.根据权利要求6所述的方法，其中，用所述第一网格的先前位置中的交叠小区的占用值来初始化重新定位后的第一网格的小区。
8.根据权利要求5至7中任一项所述的方法，其中，所述速度图网格的边界平行于所述第一网格的边界。
9.根据权利要求1所述的方法，其中，至少部分地根据所述第一组小区占用值来计算所述第二组小区占用值，可选地，其中，根据所述第一组小区占用值与根据所接收的传感器数据计算出的第三组小区占用值的融合来计算所述第二组小区占用值，可选地，其中，所述融合是贝叶斯融合。
10.根据权利要求1所述的方法，所述方法包括：如果对象的绝对速度大于预定阈值，则将该对象分类为动态的，否则将该对象分类为静止的。
11.一种机器可读存储介质，所述机器可读存储介质存储计算机程序，所述计算机程序在由处理器执行时使所述处理器执行根据权利要求1至10中任一项所述的方法。
12.一种用于载具的对象跟踪系统，所述对象跟踪系统被配置成执行根据权利要求1至10中任一项所述的方法。
CN202111462842.5A 2020-12-14 2021-12-02 用于映射载具环境的系统和方法 Active CN114624460B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP20213858.2A EP4012347A1 (en) 2020-12-14 2020-12-14 System and method for mapping a vehicle environment
EP20213858.2 2020-12-14

Publications (2)

Publication Number Publication Date
CN114624460A true CN114624460A (zh) 2022-06-14
CN114624460B CN114624460B (zh) 2024-04-09

Family

ID=73835476

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111462842.5A Active CN114624460B (zh) 2020-12-14 2021-12-02 用于映射载具环境的系统和方法

Country Status (3)

Country Link
US (1) US20220187469A1 (zh)
EP (1) EP4012347A1 (zh)
CN (1) CN114624460B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3140699B1 (fr) * 2022-10-05 2024-08-23 Psa Automobiles Sa Procédé et dispositif de suivi de l’environnement d’un véhicule
GB2625735A (en) * 2022-12-22 2024-07-03 Jaguar Land Rover Ltd Apparatus and method for determining a representation of an environment
GB2625733A (en) * 2022-12-22 2024-07-03 Jaguar Land Rover Ltd Apparatus and method for determining a representation of an environment

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013217486A1 (de) * 2013-09-03 2015-03-05 Conti Temic Microelectronic Gmbh Verfahren zur Repräsentation eines Umfelds eines Fahrzeugs in einem Belegungsgitter
CN106571046A (zh) * 2016-11-11 2017-04-19 上海市政工程设计研究总院（集团）有限公司 基于路面网格体系的车路协同辅助驾驶方法
CN108268483A (zh) * 2016-12-30 2018-07-10 乐视汽车（北京）有限公司 生成用于无人车导航控制的网格地图的方法
US20190047439A1 (en) * 2017-11-23 2019-02-14 Intel IP Corporation Area occupancy determining device
CN111066064A (zh) * 2017-10-03 2020-04-24 英特尔公司 使用误差范围分布的网格占用建图
CN111353211A (zh) * 2018-12-21 2020-06-30 达索系统公司 用于大型环境的多实例化仿真

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5206752B2 (ja) * 2010-08-30 2013-06-12 株式会社デンソー 走行環境認識装置
DE102017216775A1 (de) * 2017-09-21 2019-03-21 Volkswagen Aktiengesellschaft Verfahren, Vorrichtung und computerlesbares Speichermedium mit Instruktionen zur Steuerung einer Anzeige einer Augmented-Reality-Head-Up-Display-Vorrichtung für ein Kraftfahrzeug
US20200020239A1 (en) * 2018-07-13 2020-01-16 Honeywell International Inc. Characteristics of graphical icons for presentation of traffic information
US10914813B2 (en) * 2018-08-21 2021-02-09 Aptiv Technologies Limited Classifying potentially stationary objects tracked by radar
DE112019004698T5 (de) * 2018-09-20 2021-06-24 Jaguar Land Rover Limited Steuerungssystem für ein fahrzeug
KR102699145B1 (ko) * 2018-12-10 2024-09-30 현대자동차주식회사 근거리 컷-인 차량 판단 장치 및 그의 판단 방법과 그를 이용하는 차량
US11250576B2 (en) * 2019-08-19 2022-02-15 Toyota Research Institute, Inc. Systems and methods for estimating dynamics of objects using temporal changes encoded in a difference map
US20210253103A1 (en) * 2020-02-17 2021-08-19 Wipro Limited Method, system, and device for determining overtaking trajectory for autonomous vehicles
DE102021112349A1 (de) * 2020-05-12 2021-11-18 Motional Ad Llc Fahrzeugbetrieb unter verwendung eines dynamischen belegungsrasters
US11753006B2 (en) * 2020-06-08 2023-09-12 Robert Bosch Gmbh Representing objects in a surrounding environment of a vehicle using a frenet coordinate system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013217486A1 (de) * 2013-09-03 2015-03-05 Conti Temic Microelectronic Gmbh Verfahren zur Repräsentation eines Umfelds eines Fahrzeugs in einem Belegungsgitter
CN106571046A (zh) * 2016-11-11 2017-04-19 上海市政工程设计研究总院（集团）有限公司 基于路面网格体系的车路协同辅助驾驶方法
CN108268483A (zh) * 2016-12-30 2018-07-10 乐视汽车（北京）有限公司 生成用于无人车导航控制的网格地图的方法
CN111066064A (zh) * 2017-10-03 2020-04-24 英特尔公司 使用误差范围分布的网格占用建图
US20190047439A1 (en) * 2017-11-23 2019-02-14 Intel IP Corporation Area occupancy determining device
CN111353211A (zh) * 2018-12-21 2020-06-30 达索系统公司 用于大型环境的多实例化仿真

Also Published As

Publication number Publication date
EP4012347A1 (en) 2022-06-15
US20220187469A1 (en) 2022-06-16
CN114624460B (zh) 2024-04-09

Similar Documents

Publication Publication Date Title
CN114624460B (zh) 用于映射载具环境的系统和方法
US10861176B2 (en) Systems and methods for enhanced distance estimation by a mono-camera using radar and motion data
CN112292711B (zh) 关联lidar数据和图像数据
US11543532B2 (en) Signal processing apparatus, signal processing method, program, and mobile object for map generation baded on LiDAR and image processing
CN107038723B (zh) 棒状像素估计方法和系统
US11948249B2 (en) Bounding box estimation and lane vehicle association
US11216673B2 (en) Direct vehicle detection as 3D bounding boxes using neural network image processing
US11475678B2 (en) Lane marker detection and lane instance recognition
US20170297488A1 (en) Surround view camera system for object detection and tracking
WO2020146428A1 (en) Resolution of elevation ambiguity in one-dimensional radar processing
US20210004566A1 (en) Method and apparatus for 3d object bounding for 2d image data
CN109804270A (zh) 机动车和用于360°环境检测的方法
US20100191391A1 (en) multiobject fusion module for collision preparation system
CN114599995A (zh) 根据静止路边对象的雷达回波估计面内速度
CN112997093B (zh) 用于确定关于车辆环境中的物体的信息的方法和处理单元
Wang et al. Vehicle detection and width estimation in rain by fusing radar and vision
US20230109473A1 (en) Vehicle, electronic apparatus, and control method thereof
EP3367121B1 (en) Inverted synthetic aperture radar for a vehicle radar system
Sakic et al. Camera-LIDAR object detection and distance estimation with application in collision avoidance system
CN115249066A (zh) 分位数神经网络
CN114942430A (zh) 传感器数据的基于多假设的融合
CN113064172A (zh) 基于毫米波雷达与机器视觉融合的汽车安全换道方法
US20230008457A1 (en) Occupancy Grid Calibration
Nguyen et al. Optimized grid-based environment perception in advanced driver assistance systems
US20230194700A1 (en) Fuzzy Labeling of Low-Level Electromagnetic Sensor Data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Country or region after: Luxembourg

Address after: Luxembourg

Applicant after: Aptiv Technology (2) Co.

Address before: Babado J San Michael

Applicant before: Aptiv Technologies Ltd.

Country or region before: Barbados

CB02 Change of applicant information
TA01 Transfer of patent application right

Effective date of registration: 20240301

Address after: Luxembourg

Applicant after: Aptiv Manufacturing Management Services Co.

Country or region after: Luxembourg

Address before: Luxembourg

Applicant before: Aptiv Technology (2) Co.

Country or region before: Luxembourg

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240320

Address after: Schaffhausen

Applicant after: APTIV Technology Co.,Ltd.

Country or region after: Switzerland

Address before: Luxembourg

Applicant before: Aptiv Manufacturing Management Services Co.

Country or region before: Luxembourg

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant