CN114719847A - 用于确定移动设备的位置和/或定向的变化的方法、装置 - Google Patents
用于确定移动设备的位置和/或定向的变化的方法、装置 Download PDFInfo
- Publication number
- CN114719847A CN114719847A CN202111675579.8A CN202111675579A CN114719847A CN 114719847 A CN114719847 A CN 114719847A CN 202111675579 A CN202111675579 A CN 202111675579A CN 114719847 A CN114719847 A CN 114719847A
- Authority
- CN
- China
- Prior art keywords
- data stream
- mobile device
- offset
- change
- orientation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008859 change Effects 0.000 title claims abstract description 128
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000004044 response Effects 0.000 claims abstract description 7
- 230000001133 acceleration Effects 0.000 claims description 16
- 238000001514 detection method Methods 0.000 description 10
- 238000012937 correction Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 3
- 230000002411 adverse Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 102100034112 Alkyldihydroxyacetonephosphate synthase, peroxisomal Human genes 0.000 description 1
- 101000799143 Homo sapiens Alkyldihydroxyacetonephosphate synthase, peroxisomal Proteins 0.000 description 1
- UFHFLCQGNIYNRP-UHFFFAOYSA-N Hydrogen Chemical compound [H][H] UFHFLCQGNIYNRP-UHFFFAOYSA-N 0.000 description 1
- 206010047531 Visual acuity reduced Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000000848 angular dependent Auger electron spectroscopy Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 229910052739 hydrogen Inorganic materials 0.000 description 1
- 239000001257 hydrogen Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/025—Services making use of location information using location based information parameters
- H04W4/027—Services making use of location information using location based information parameters using movement velocity, acceleration information
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
- G01C21/1652—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with ranging devices, e.g. LIDAR or RADAR
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
- G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/025—Services making use of location information using location based information parameters
- H04W4/026—Services making use of location information using location based information parameters using orientation information, e.g. compass
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本公开提供用于确定移动设备的位置和/或定向的变化的方法、装置。方法包括：获取第一数据流，第一数据流表示移动设备在多个时间帧中的各个时间帧中的位置和/或定向的第一估计变化；获取第二数据流，第二数据流表示所述移动设备在多个时间帧中的各个时间帧中的位置和/或定向的第二估计变化，其中，第一数据流具有比所述第二数据流高的准确性，并且第一数据流具有比第二数据流低的鲁棒性；并且响应于在多个时间帧中的各个时间帧中的第一表示的改变与第二表示的改变的比较，使用第一估计变化或第二估计变化来确定所述移动设备的位置和/或定向的变化。
Description
技术领域
本公开涉及用于确定移动设备的位置和/或定向的变化的方法、装置和计算机程序。该装置可以设置在移动设备中。
背景技术
诸如载具或机器人的移动设备或装置可以自主地移动通过环境。应当在各个时间点确定或估计移动设备的位置和定向，以确定移动设备在环境中移动时位置和定向的变化。这里，位置可以是指在2D坐标系中的二维位置或在3D坐标系中的三维位置。此外，定向可以指偏航角、滚转角和/或俯仰角中的一个或更多个。位置和定向的时间相关变化也可以称为移动设备的自我运动。
先前的自我运动估计算法依靠加速度传感器，加速度传感器记录所讨论的移动设备(诸如机器人或载具)的运动。另选地，移动设备还可以使用基于同时定位和映射(SLAM)的算法，该算法使用摄像头图像或LIDAR(光检测和测距)点云，例如与图像/点云配准方法相结合，以比较连续测量结果并确定移动设备在这些测量结果之间的位置和定向的变化。
这里，基于SLAM的算法可以使用关于例如激光和/或雷达扫描的一个或更多个传感器数据流，其提供移动设备周围的区域(点云)内的许多点的细节。这种点云的形状可以在各个步骤通过图像配准或图像识别来对准。
还尝试了将加速度传感器数据流和基于SLAM的数据流馈送到卡尔曼滤波器等中，以确定或估计载具的位置或定向的变化。这些尝试通常没有在位置或定向预测的准确性上提供显著的改进，这可能是由于卡尔曼滤波器对具有不同准确性和可靠性的两个独立数据流的操作难以控制。
通常，这些类型的算法可以通过环线闭合算法来微调，其中当移动设备(也称为自我实例)循环回到移动设备先前已经占用的位置时，将已经看到的区域被映射到相同的位置。这种微调允许传播通过所有先前的估计，并相应地调整位置和/或定向的各个变化以到达相同的位置。这种环线闭合算法可以被认为是后处理校正，其可以涉及：首先，将针对位置和/或定向中的变化的个别调整相加；与相加并行地，环线闭合在传感器频率下具有在存储器中形成过去的关键点以及位置和/或方向的所有变化的过去路径的图形模型。当以预定的确定性(例如，以大于95％的所需确定性)找到当前周围与过去的关键点的匹配时，可以递归地改变当前位置与最后关键点位置之间的整个图(即，所存储的位置和/或定向调整)以再次匹配其自身。这种环线闭合算法的示例在Kin Leong Ho et al.,“Loop closuredetection in SPALM by combining visual and spatial apperance”,Robotics andAutonomous Systems 54(2006).740–749中描述。
基于LIDAR的自我运动估计算法例如在Ji Zhang et al.,“LOAM:Lidar Odometryand Mapping in Real-time”,Conference:Robotics:Science and Systems Conference,2014,DOI:10.15607/RSS.2014.X.007,and Ji Zhang et al.,“Visual-lidar Odometryand Mapping:Low-drift,robust,and fast”,2015 IEEE International Conference onRobotics and Automation(ICRA),Seattle,Washington,2015中描述。
发明内容
技术问题
当对移动设备周围的环境的两个连续点云(例如基于LIDAR测量结果)相对于彼此进行旋转和平移以确定移动设备的位置和/或定向的变化时，基于SLAM的算法可以收敛到局部最小值。这有时导致收敛到局部最小值处，而该局部最小值不是正确的位置和/或定向。该误差可以累积并导致有错误的自我运动估计，有时甚至导致显著错误的自我运动。即，虽然基于SLAM的算法通常在估计位置和/或定向的变化方面具有高的准确性，但是有时预测是明显错误的(例如，估计了错误的方向)，这导致鲁棒性的降低。
大多数基于SLAM的算法依靠所记录的序列中的循环来校正自我运动估计中的偏移和误差。然而，汽车轨迹通常是从位置A到位置B，而没有在相同位置上的循环。因此，环线闭合不能用于校正算法部分中的错误。
不使用环线闭合的基于SLAM的算法可以添加连续变换，参见Shan et al.,“LeGO-LOAM:Lightweight and Ground-Optimized Lidar Odometry and Mapping on VariableTerrain”。这样，可能出现漂移，或者误差使算法无效，并且一旦出现误差就不能校正估计。其它基于SLAM的算法可以附加地使用GPS数据来定期地检查所确定的图(即，位置和/或定向随时间的变化)，并以类似于环线闭合的方式递归地校正估计，参见Shan et al.“LIO-SAM:Tightly-coupled Lidar Inertial Odometry via Smoothing and Mapping”。然而，GPS数据并不总是可用或足够可靠。
因此，需要提供改进方式来避免在收敛到错误局部最小值之后错误传播。
技术方案
根据第一个方面，提供了一种确定移动设备的位置和/或定向的变化的方法。所述方法包括以下步骤：获取第一数据流，所述第一数据流表示所述移动设备在多个时间帧中的各个时间帧中的位置和/或定向的第一估计变化；获取第二数据流，所述第二数据流表示所述移动设备在所述多个时间帧中的各个时间帧中的位置和/或定向的第二估计变化，其中，所述第一数据流具有比所述第二数据流高的准确性，并且所述第一数据流具有比所述第二数据流低的鲁棒性；以及响应于在所述多个时间帧中的各个时间帧中的所述第一估计变化与所述第二估计变化的比较，使用所述第一估计变化或所述第二估计变化来确定所述移动设备的位置和/或定向的变化。
根据第二个方面，所述第一数据流和所述第二数据流是独立获取的。
根据第三个方面，所述第一数据流是从基于SLAM的算法获取的，并且所述第二数据流是从所述移动设备的基于IMU的传感器或加速度传感器获取的。
根据第四个方面，所述第一估计变化表示关于所述移动设备的先前位置和/或先前定向的第一偏移，并且所述第二估计变化表示关于所述移动设备的先前位置和/或先前定向的第二偏移。
根据第五个方面，所述方法还包括：如果所述第一偏移与所述第二偏移之间的差大于或等于预定阈值，则使用所述第二估计变化；以及如果所述第一偏移与所述第二偏移之间的差小于所述预定阈值，则使用所述第一估计变化。
根据第六个方面，所述方法还包括：如果所述第一偏移与所述第二偏移之间的差大于或等于预定误差间隔，则使用所述第二估计变化；以及如果所述第一偏移与所述第二偏移之间的差小于所述预定误差间隔，则使用所述第一估计变化。
根据第七个方面，所述预定阈值是移动设备特定阈值。
根据第八个方面，所述预定误差间隔是移动设备特定误差间隔。
根据第九个方面，提供了一种确定移动设备的位置和/或定向的变化的装置。所述装置包括：获取单元，其被配置成：获取第一数据流，所述第一数据流表示所述移动设备在多个时间帧中的各个时间帧中的位置和/或定向的第一估计变化；以及获取第二数据流，所述第二数据流表示所述移动设备在所述多个时间帧中的各个时间帧中的位置和/或定向的第二估计变化，其中，所述第一数据流具有比所述第二数据流高的准确性，并且所述第一数据流具有比所述第二数据流低的鲁棒性；以及确定单元，其被配置成：响应于所述多个时间帧中的各个时间帧中的所述第一估计变化与所述第二估计变化的比较，使用所述第一估计变化或所述第二估计变化来确定所述移动设备的位置和/或定向的变化。
根据第十个方面，所述第一数据流和所述第二数据流是独立获取的。
根据第十一个方面，所述第一数据流是从基于SLAM的算法获取的，并且所述第二数据流是从所述移动设备的基于IMU的传感器或加速度传感器获取的。
根据第十二个方面，所述第一估计变化表示关于所述移动设备的先前位置和/或先前定向的第一偏移，并且所述第二估计变化表示关于所述移动设备的先前位置和/或先前定向的第二偏移。
根据第十三个方面，所述确定单元被进一步配置成：如果所述第一偏移与所述第二偏移之间的差大于或等于预定阈值，则使用所述第二估计变化；以及如果所述第一偏移与所述第二偏移之间的差小于预定阈值，则使用所述第一估计变化。
根据第十四个方面，所述确定单元被进一步配置成：如果所述第一偏移与所述第二偏移之间的差大于或等于预定误差间隔，则使用所述第二估计变化；以及如果所述第一偏移与所述第二偏移之间的差小于所述预定误差间隔，则使用所述第一估计变化。
根据第十五个方面，提供了一种移动设备，所述移动设备包括根据权利要求第九至第十四方面中的任一方面所述的装置。
根据第十六方面，一种计算机程序，包括指令，当该程序由计算机执行时，该程序使该计算机执行第一个方面至第八个方面中任一方面所述的方法。
附图说明
图1示出了根据本公开的实施方式的装置。
图2示出了根据本公开的优选实施方式的用于确定移动设备(载具)的位置和/或定向的变化的装置。
图3示出了根据本公开的实施方式的方法的流程图。
图4示出了根据本公开的优选实施方式的计算机。
图5a示出了根据时间帧在第一估计变化与第二估计变化之间的相对误差偏移的第一示例。
图5b示出了根据时间帧在第一估计变化与第二估计变化之间的相对误差偏移的第二示例。
图6a示出了根据(1)第一数据流(基于SLAM的算法)、(2)在具体实施方式中描述并在权利要求中限定的本方法、(3)第二数据流(基于本机(host)数据)和(4)基于GPS数据确定的位置来确定载具位置之间的比较的第一示例。
图6b示出了根据(1)第一数据流(基于SLAM的算法)、(2)在具体实施方式中描述并在权利要求中限定的本方法、(3)第二数据流(基于本机数据)和(4)基于GPS数据确定的位置来确定载具位置之间的比较的第二示例。
具体实施方式
现在将参照附图描述本公开的实施方式。在以下详细描述中，阐述了许多具体细节。这些具体细节仅用于提供对各种所述实施方式的透彻理解。此外，尽管可以使用术语第一、第二等来描述各种要素，但是这些要素不受到这些术语的限制。这些术语仅用于区分一个要素与另一要素。
图1示出了根据本公开的实施方式的用于确定移动设备的位置和/或定向的变化的装置100。装置100可以被提供给如图2所示的移动设备200(例如，载具)，并且可以朝向移动设备的驾驶方向被安装在移动设备200上。
本领域技术人员理解，不要求装置100朝向驾驶方向；装置100还可以朝向侧方向或朝向后方向，或者被放置在接收与传感器和/或算法有关的数据流的移动设备内的某处，这将在下面进一步解释。例如，装置100可以涉及LIDAR型传感器、LIDAR型模块、LIDAR型系统的一部分等。装置100可以具有多个检测区域，例如被定向为使得其具有如图2所示的前检测区域111、左检测区域111L和/或右检测区域111R。另外，检测区域(例如近场检测区域、远场检测区域)的扩展可以不同。本领域技术人员理解，这不是限制性配置，并且该装置还可以涉及360°旋转LIDAR传感器，优选地具有统一的水平分辨率，其提供移动设备(例如，自我载具)周围的连续检测区域。
移动设备200可以是由机器、电力或基于氢的动力移动的任何地面载具。这样的移动设备200也可以连接以漂浮、潜水或高空。附图将该移动设备200举例为设置有装置100的载具，例如小汽车。然而，本公开不限于此。因此，装置100还可以安装到例如机器人、货车、卡车、农用载具、摩托车、公共汽车、飞机、无人驾驶飞机、小船、轮船等。
如图1所例示，装置100包括获取单元120和确定单元130，并且可以附加地包括一个或更多个数据流生成单元110，但是该一个或更多个数据流生成单元也可以与装置100分开提供。这里，一个或更多个数据流生成单元可以与不同传感器和/或将算法(诸如基于SLAM的算法)应用于传感器数据的数据处理单元有关。
图3示出了由装置100执行的确定这种移动设备的位置和/或方向的变化的方法的步骤。如图3所例示，该方法包括步骤S100：由获取单元120在多个时间帧中的各个时间帧中获取第一数据流，该第一数据流表示移动设备的位置和/或定向的第一估计变化(换言之，移动设备的第一自我运动)。
这里，多个时间帧定义了各个时间点t1,t2,t3,…,tN，对于这些时间点，估计移动设备的位置和/或定向的变化；即，第一数据流以时间序列Δr1(t1),Δr1(t2),…,Δr1(tN)表示第一估计位置变化Δr1和/或以时间序列Δo1(t1),Δo1(t2),…,Δo1(tN)表示第一估计定向变化Δo1。各个时间点ti可以用相邻时间帧之间的预定时间间隔来定义，例如在ti至ti+1之间，该预定时间间隔可以等于或小于1s，从而定义至少1Hz的获取频率。
这不是限制性的。对于更大规模的应用，例如内陆运输或具有较慢的时间范围和更少的实时关注的一些其它应用，另选地，可以将该方法应用于具有较低频率(小于1Hz)的传感器流，只要各个时间点处于两个所利用的传感器流的较低频率以能够比较两个数据流。
该方法还包括步骤S200：获取单元120获取第二数据流，该第二数据流表示在多个时间帧中的各个时间帧中移动设备的位置和/或定向的第二估计变化。可以与第一数据流并行地获取第二数据流。这里，第二数据流以时间序列Δr2(t1),Δr2(t2),…,Δr2(tN)表示第二估计位置变化Δr2和/或以时间序列Δo2(t1),Δo2(t2),…,Δo2(tN)表示第二估计定向变化Δo2(换言之，移动设备的第二单独自我运动)。
这里，第一数据流可以具有比第二数据流高的准确性，并且第一数据流可以具有比第二数据流低的鲁棒性。第一数据流的示例是从对LIDAR型传感器系统的传感器数据进行操作的基于SLAM的算法输出的数据流。此外，第二数据流的示例是例如本机传感器的一个或更多个加速度传感器的传感器数据。本领域技术人员理解，这些示例用于描述本公开的构思，但是总体构思也可以应用于其它数据流源。
本领域技术人员可以理解，准确性可以被定义为所估计的位置和/或定向的变化与移动设备的位置和/或定向的实际变化的接近性。即，如果移动设备的位置和/或定向的实际变化分别被称为Δract和Δoact，则准确性定义估计值Δr1或Δr2与实际值Δract有多接近。理想地，位置变化的估计应当与位置的实际变化相同，即Δr1,2＝Δract(对于方向变化是类似的)。然而，在实际中，在Δr1,2与Δract之间存在偏差，并且在此该第一数据流总体上具有比该第二数据流高的准确性，这意味着该第一数据流与该实际值的偏差总体上小于该第二数据流与该实际值的偏差，例如，
|Δr1-Δract|≤|Δr2-Δract| (1)
|Δo1-Δoact|≤|Δo2-Δoact| (2)
这里，算式1和算式2中的表达式|·|是指绝对值。
本领域技术人员还理解，鲁棒性可以被定义为可靠性的度量，特别是即使在不利条件下仍提供关于位置和/或定向的变化的可靠估计的鲁棒性。这里，第一数据流的性质使得移动设备的不利环境条件可能导致以下的点云等的获取(例如在基于LIDAR的点云中)，其中对连续点云的处理可能导致不正确的局部最小值。这种情况很少发生或仅在特定情况下发生，但其效果是位置和/或定向的变化的估计明显不正确(例如估计了错误的方向等)。这意味着在这样的(罕见的)条件下，第一数据流与实际值的偏差变得比第二数据流与实际值的偏差大得多，例如，
|Δr1-Δract|>>|Δr2-Δract| (3)
|Δo1-Δoact|>>|Δo2-Δoact| (4)
该方法还包括由确定单元130执行的步骤S300，其中响应于在多个时间帧t1,t2,t3…,的各个时间帧中第一估计变化Δr1和/或Δo1与第二估计变化Δr2和/或Δo2的比较，使用第一估计变化或第二估计变化来确定移动设备的位置和/或定向的变化。也就是说，从原始位置r0和/或原始方向o0开始，确定第三数据流(r3，o3)，在第三数据流中通过使用第一估计变化或第二估计变化来确定移动设备在每个后续时间帧ti处的新位置和/或定向，从而得到例如针对移动设备的位置的第三数据序列：
r3:r0→r1(＝r0+Δr1)→r2(＝r1+Δr1)→r3(＝r2+Δr2)→…→ri+1(＝ri+Δr1)
其中，序列r3中在t2处的第二位置r2使用第二数据流所表示的位置变化来确定，而序列r3中的其他位置使用第一数据流所表示的位置变化来确定。本领域技术人员理解，该示例是非限制性示例，用于说明第一估计变化或第二估计变化的有利使用。
还应当注意，在可以使用第一数据流和第二数据流的不同组合的意义上，关于定向o3的第三数据流不必须跟随关于位置的第三数据流，从而导致例如在移动设备的定向的第三数据序列：
o3:o0→o1(＝o0+Δo1)→o2(＝o1+Δo2)→o3(＝o2+Δo2)→…→oi+1(＝oi+Δo1)
其中，序列o3中的t2处的第二定向o2和t3处第三定向的o3分别使用由第二数据流表示的定向变化来确定，而序列中的其他定向使用由第一数据流表示的定向变化来确定。本领域技术人员还理解，该示例是非限制性示例，用于说明第一估计变化或第二估计变化的有利使用。特别地，可以独立地控制针对每个后续时间帧ti第一数据流或第二数据流的独占使用，以确定移动设备的位置和定向变化。
通常，通过在各个时间帧将第一数据流(第一自我运动)与单独的第二数据流(第二自我运动)进行比较，并在当前时间帧使用较适当的(较准确的或较鲁棒的)数据流，从而解决了收敛到错误局部最小值之后的错误传播问题。
在图3中例示并且在上面进一步详细描述的方法可以是由装置100的计算机实现的方法。该方法可以作为计算机程序存储在计算机400的存储器410中，计算机400可以是移动设备(例如载具或机器人)的机载计算机、设备的计算机、雷达传感器、雷达系统、LIDAR传感器、LIDAR系统、本机传感器等，并且如图4所示，可以由计算机400的处理器420执行。
可以独立地获取第一数据流和第二数据流，例如可以从独立的或不同的数据源获取。例如，可以从移动设备的不同传感器获取第一数据流和第二数据流。第一数据流和第二数据流还可以从应用于不同传感器的传感器数据的不同算法获得。
例如，可以从基于SLAM的算法(应用于例如点云传感器数据)获取第一数据流，并且从移动设备的基于IMU的传感器或加速度传感器获取第二数据流。
例如，可以从移动设备内的简单IMU/加速度传感器或者从直接测量(例如方向盘角度和车轮旋转)中获取关于第二数据流的信息。该信息可以直接来自移动设备(例如载具或机器人)的CAN总线，并且通常是非常可靠/鲁棒的，因为该信息被提供给高级驾驶员辅助系统ADAS。
第二数据流因此也可以提供关于设备的速度、偏航、俯仰和滚转的信息。虽然这些信息流是非常可靠/鲁棒的，但是与使用基于SLAM的算法(第一数据流)的自我运动估计相比，精度导致较粗糙的自我运动估计。通常，第二数据流信息在它们在正确方向上行进时是非常鲁棒的(与可能在错误方向上行进的基于SLAM的算法相比，例如基于不适当的局部最小解)。但是第二数据流信息不如使用基于SLAM的算法的第一数据流信息精确。对于每个连续的时间步或时间帧，由于第二数据流而产生的自我运动更偏离移动设备的真实位置。然而，本发明人已经认识到，对于短期估计，可以有利地使用由第二数据流得到的结果自我运动(如下面将进一步解释的)，即使在几秒之后漂移累积到数米的偏移。
优选地，第一估计变化可以表示关于移动设备的先前位置和/或先前定向的第一偏移，并且第二估计变化可以表示关于移动设备的先前位置和/或先前定向的第二偏移。即，在时间帧ti+1处的估计变化可以被定义为相对于先前时间帧ti的相对偏移。
另选地，在时间帧ti+1处的估计变化可以在第三数据流中被定义为相对于先前时间帧ti的相对偏移(相对变化)，即：
Δr1＝r1(ti+1)–r3(ti) (5)
Δo1＝o1(ti+1)–o3(ti) (6)
Δr2＝r2(ti+1)–r3(ti) (7)
Δo2＝o2(ti+1)–o3(ti) (8)
根据优选实施方式，如果该第一偏移与该第二偏移之间的差(例如，由|Δr1-Δr2|给出)大于或等于(绝对)预定阈值，则将该第二估计变化用于该第三数据流，并且如果该第一偏移与该第二偏移之间的差小于该预定阈值，则将该第一估计变化用于第三数据流。
也就是说，假定第一数据流具有比第二数据流高的准确性，至少在平均上，第一偏移与第二偏移之间的差小于预定阈值，表示第一数据流提供关于位置和/或定向的变化的较准确的估计。这里，预定阈值可以基于第一数据流和第二数据流的估计准确性的差异，其可以依赖于第一数据流和第二数据流的不同数据源和/或用于生成第一数据流和第二数据流的不同算法，并且因此也可以依赖于移动设备的类型。
此外，假定第一数据流具有比第二数据流低的鲁棒性，例如在第一数据流是从基于SLAM的算法获取的并且第二数据流基于移动设备的传感器的加速度数据的情况下，在一些情况下(例如，在困难环境条件下)，第一偏移与第二偏移之间的差大于或等于预定阈值，例如如果第一数据流表示在错误方向上的估计变化。在这种情况下，将第二估计变化用于第三数据流。
根据另一优选实施方式，如果第一偏移与第二偏移之间的差大于或等于预定误差间隔(相对误差偏移)，则将第二估计变化用于第三数据流，而如果第一偏移与第二偏移之间的差小于预定误差间隔，则使用第一估计变化。根据该实施方式，可以相对于第一偏移与第二偏移中的一个来确定第一偏移和第二偏移之间的差。在非限制性示例中，预定误差间隔可以是±5％(反映0.1s的时间间隔)。
图5a示出了根据时间帧(这里称为帧)在第一估计变化与第二估计变化之间的相对误差偏移(预定误差间隔)的第一示例。在该示例中，第一数据流由载具的LIDAR传感器数据的基于SLAM的算法生成，而第二数据流由包括载具的加速度传感器在内的本机传感器生成。时间帧(SLAM帧)的时间间隔为0.1秒(对应于10Hz的收集频率)，相对误差偏移设定为±5％。如所例示的，对于初始时间帧，第一估计变化与第二估计变化之间的相对差大于±5％的相对误差偏移，并且对于剩余时间帧，保持低于该相对误差偏移。这意味着基于SLAM的第一数据流最初不用于估计载具的位置和/或定向，因为这些估计不够鲁棒。
图5b示出了根据时间帧的在第一估计变化与第二估计变化之间的相对误差偏移(预定误差间隔)的第二示例。如同在图5a中，第一数据流由载具的LIDAR传感器数据的基于SLAM的算法产生，而第二数据流由包括载具的加速度传感器在内的本机传感器产生。在该第二示例中，不仅对于初始时间帧，第一估计变化与第二估计变化之间的相对差大于±5％的相对误差偏移，而且特别是在大约140时间帧前后也是这样，并且对于随后的时间帧也可以再次变得更大(实际上，在大于和小于相对误差偏移的值之间波动)。这样，第一数据流的第一偏移和第二数据流的第二偏移之间的相对差可以动态地大于或小于预定误差间隔，并且因此第一估计变化或第二估计变化对移动设备的位置和/或定向的贡献(如在第三数据流中反映的)也动态地改变。
预定阈值或预定误差间隔可以是移动设备特定值，特别是反映了数据获取方法依赖于特定传感器类型(例如LIDAR、加速度传感器、惯性测量单元(IMU)传感器)和/或可以在不同类型的移动设备之间变化的特定算法。这里，预定阈值或预定误差间隔可以是基于为特定移动设备获取的实际实验数据系列而预定的。预定阈值或预定误差间隔也可以是关于特定地理区域而预定或学习的，反映了基于SLAM的算法在城市区域而不是非城市区域中可能较容易遇到错误局部最小值解的认识。
换言之，所有自我运动估计稍后具有偏移；甚至几乎完美的SLAM算法(用于产生第一数据流)也经历一定的漂移。通过比较，第二数据流经历较高的漂移，因此不适于长期自我运动估计。然而，本发明人已经认识到，可以有利地使用第二数据流来检查短期估计并确保其它估计在正确的方向上进行。
此外，装置100的确定单元130被配置成响应于在多个时间帧中的各个时间帧中第一估计变化与第二估计变化的比较，使用第一估计变化或第二估计变化来确定移动设备的位置和/或定向的变化。
这里，由于第二数据流的数据比第一数据流的数据可靠(鲁棒)，所以将第一数据流的所得自我运动(例如，基于SLAM算法)与第二数据流的所得自我运动进行短间隔的比较(预定时间间隔可以是1s或更小，导致至少1Hz的获取频率)。在优选实施方式中，可以假设两个自我运动估计从相同的位置开始。在时间间隔结束时，比较两个估计的偏移。如果第一数据流(例如，基于SLAM算法)具有小于预定误差间隔(例如，±5％)的位置和/或旋转偏移，则可以假设基于SLAM的算法按预期工作并产生好的结果，这比由第二数据流表示的自我运动估计好。
±5％的相对误差偏移是在10Hz校正中使用的误差间隔的示例。本领域技术人员理解，这是非限制性的示例，并且其它误差间隔可以应用于不同的校正频率(不同的时间帧间隔)。
如以上所解释的，如果偏移大于5％，则需要假设第一数据流(例如基于SLAM算法)在该间隔中的时间帧之一中已经收敛到错误最小值。因此，该时间间隔的相对自我运动被替换为根据相同间隔的第二数据流的相对自我运动估计。由于利用可忽略的附加计算量对给定时间间隔连续地进行比较，因此可以在线地(即，在移动设备内部实时地，特别是在没有附加使用卡尔曼滤波器等的情况下)有效地执行该定期确定，以连续地修正自我运动估计，并且当偏移太大时，用第二数据流替换第一数据(SLAM)流的一个或更多个区段，例如与SLAM自我运动估计同时。
图6a示出了根据(1)第一数据流(基于SLAM的算法)、(2)如上所述并在权利要求中限定的本方法、(3)第二数据流(基于本机数据(加速度传感器))和(4)基于GPS数据确定的位置来确定载具位置之间的比较的第一示例。该第一示例表示高速公路日志，其不提供用于基于SLAM的算法(例如LegoLOAM)的环线闭合步骤的环线。虽然与(3)第二数据流相比，(1)第一数据流(基于SLAM的算法)通常具有较低的漂移，但是从该示例中可以看出，与实际位置变化(这里基于GPS数据确定)相比，使用由第一数据流或第二数据流表示的所表示的变化的上述决定得到较准确地预测载具的位置变化。第一数据流和第二数据流的适当的替换组合因此使得能够非常接近地匹配真实的底层轨迹。
图6b示出了根据(1)第一数据流(基于SLAM的算法)，(2)如上所述并在权利要求中限定的本方法，(3)第二数据流(基于本机数据(加速度传感器))和(4)基于GPS数据确定的位置来确定载具位置之间的比较的第二示例。
该第二示例表示城市内部的情况，其也不提供用于基于SLAM的算法(例如LegoLOAM)的环线闭合步骤的环线。该第二示例示出了特定情况：与(3)第二数据流相比，(1)第一数据流(基于SLAM的算法)具有明显初始鲁棒性问题，其表示载具的明显错误方向。应注意的是，与实际位置变化(这里基于GPS数据确定)相比，使用由第一数据流或第二数据流表示的所表示的变化的上述决定仍然可以得到对载具的位置变化的较精确的预测，特别是，即使不存在环线，其也可以校正由基于SLAM的算法引入的误差。同样，虽然示出长期偏移的清楚迹象，经校正的自我运动比纯第二数据流自我运动或纯第一数据流自我运动接近地适合于真实路径。
虽然现有技术因此依靠记录数据中的环线的可用性，但是本公开使用单独的数据源，其提供了对第一数据流的基于SLAM的结果的在线可靠性检查。
本公开因此使得能够针对不提供环线闭合的移动(例如汽车或机器人)轨迹，在线地使用所有通用的基于SLAM的算法来校正自我运动估计。该校正因此不再限于具有显著界标的城市内部轨迹，而是可以可靠地扩展到对所有种类的道路或情形的自我运动估计。由于第二数据流的普遍性(由于加速度传感器等)，因此即使在不允许其他传感器源起类似作用的情况下(例如，GPS/DGPS不能在诸如隧道的遮挡区域中或在高层建筑物之间提供足够的数据，摄像头传感器易于出现不良的视觉情况，并且IMU模块必须集成到系统中，并且在系列生产中使用的成本太高)，也可以依靠该数据流。
所属领域的技术人员将明显的是，可在不脱离本发明的范围或精神的情况下对本发明的实体和方法以及本发明的构造作出各种修改和变化。
已经关于特定实施方式描述了本公开，这些特定实施方式在所有方面都旨在是说明性的而非限制性的。所属领域的技术人员将了解硬件、软件和/或固件的许多不同组合将适用于实践本发明。
此外，通过考虑这里公开的说明书和本公开的实践，本公开的其他实现对于本领域技术人员将是明显。说明书和实施方式仅是示例性的。为此，应当理解，发明性方面在于少于单个前述公开的实现或配置的所有特征。因此，本公开的真实范围和精神由所附权利要求指示。
Claims (15)
1.一种确定移动设备的位置和/或定向的变化的方法，所述方法包括以下步骤：
-获取第一数据流，所述第一数据流表示所述移动设备在多个时间帧中的各个时间帧中的位置和/或定向的第一估计变化；
-获取第二数据流，所述第二数据流表示所述移动设备在所述多个时间帧中的各个时间帧中的位置和/或定向的第二估计变化，其中，所述第一数据流具有比所述第二数据流高的准确性，并且所述第一数据流具有比所述第二数据流低的鲁棒性；以及
-响应于在所述多个时间帧中的各个时间帧中的所述第一估计变化与所述第二估计变化的比较，使用所述第一估计变化或所述第二估计变化来确定所述移动设备的位置和/或定向的变化。
2.根据权利要求1所述的方法，其中，所述第一数据流和所述第二数据流是独立获取的。
3.根据权利要求1至2中任一项所述的方法，其中，所述第一数据流是从基于SLAM的算法获取的，并且所述第二数据流是从所述移动设备的基于IMU的传感器或加速度传感器获取的。
4.根据权利要求1至3中任一项所述的方法，其中，所述第一估计变化表示关于所述移动设备的先前位置和/或先前定向的第一偏移，并且所述第二估计变化表示关于所述移动设备的先前位置和/或先前定向的第二偏移。
5.根据权利要求4所述的方法，所述方法还包括：
-如果所述第一偏移与所述第二偏移之间的差大于或等于预定阈值，则使用所述第二估计变化；以及
-如果所述第一偏移与所述第二偏移之间的差小于所述预定阈值，则使用所述第一估计变化。
6.根据权利要求4所述的方法，所述方法还包括：
-如果所述第一偏移与所述第二偏移之间的差大于或等于预定误差间隔，则使用所述第二估计变化；以及
-如果所述第一偏移与所述第二偏移之间的差小于所述预定误差间隔，则使用所述第一估计变化。
7.根据权利要求5所述的方法，其中，所述预定阈值是移动设备特定阈值。
8.根据权利要求6所述的方法，其中，所述预定误差间隔是移动设备特定误差间隔。
9.一种确定移动设备的位置和/或定向的变化的装置，所述装置包括：
-获取单元，其被配置成：
获取第一数据流，所述第一数据流表示所述移动设备在多个时间帧中的各个时间帧中的位置和/或定向的第一估计变化；以及
获取第二数据流，所述第二数据流表示所述移动设备在所述多个时间帧中的各个时间帧中的位置和/或定向的第二估计变化，其中，所述第一数据流具有比所述第二数据流高的准确性，并且所述第一数据流具有比所述第二数据流低的鲁棒性；以及
-确定单元，其被配置成：
响应于所述多个时间帧中的各个时间帧中的所述第一估计变化与所述第二估计变化的比较，使用所述第一估计变化或所述第二估计变化来确定所述移动设备的位置和/或定向的变化。
10.根据权利要求9所述的装置，其中，所述第一数据流和所述第二数据流是独立获取的。
11.根据权利要求9至10中任一项所述的装置，其中，所述第一数据流是从基于SLAM的算法获取的，并且所述第二数据流是从所述移动设备的基于IMU的传感器或加速度传感器获取的。
12.根据权利要求9至10中任一项所述的装置，其中，所述第一估计变化表示关于所述移动设备的先前位置和/或先前定向的第一偏移，并且所述第二估计变化表示关于所述移动设备的先前位置和/或先前定向的第二偏移。
13.根据权利要求12所述的装置，其中，所述确定单元被进一步配置成：
-如果所述第一偏移与所述第二偏移之间的差大于或等于预定阈值，则使用所述第二估计变化；以及
-如果所述第一偏移与所述第二偏移之间的差小于所述预定阈值，则使用所述第一估计变化。
14.根据权利要求12所述的装置，其中，所述确定单元被进一步配置成：
-如果所述第一偏移与所述第二偏移之间的差大于或等于预定误差间隔，则使用所述第二估计变化；以及
-如果所述第一偏移与所述第二偏移之间的差小于所述预定误差间隔，则使用所述第一估计变化。
15.一种移动设备，所述移动设备包括根据权利要求9至14中任一项所述的装置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP21150051.7 | 2021-01-04 | ||
| EP21150051.7A EP4024005A1 (en) | 2021-01-04 | 2021-01-04 | Method, device, and computer program for determining the change in position and/or orientation of the mobile apparatus |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114719847A true CN114719847A (zh) | 2022-07-08 |
Family
ID=74095732
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111675579.8A Pending CN114719847A (zh) | 2021-01-04 | 2021-12-31 | 用于确定移动设备的位置和/或定向的变化的方法、装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20220217499A1 (zh) |
| EP (1) | EP4024005A1 (zh) |
| CN (1) | CN114719847A (zh) |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3182373B1 (en) * | 2015-12-17 | 2019-06-19 | STMicroelectronics S.A. | Improvements in determination of an ego-motion of a video apparatus in a slam type algorithm |
| US10989542B2 (en) * | 2016-03-11 | 2021-04-27 | Kaarta, Inc. | Aligning measured signal data with slam localization data and uses thereof |
| US9977434B2 (en) * | 2016-06-23 | 2018-05-22 | Qualcomm Incorporated | Automatic tracking mode for controlling an unmanned aerial vehicle |
| CN109584295B (zh) * | 2017-09-29 | 2022-08-26 | 阿里巴巴集团控股有限公司 | 对图像内目标物体进行自动标注的方法、装置及系统 |
| US11202006B2 (en) * | 2018-05-18 | 2021-12-14 | Samsung Electronics Co., Ltd. | CMOS-assisted inside-out dynamic vision sensor tracking for low power mobile platforms |
| US10482674B1 (en) * | 2018-06-27 | 2019-11-19 | Beijing Jingdong Shangke Information Technology Co., Ltd. | System and method for mobile augmented reality |
| CN109917644B (zh) * | 2018-12-26 | 2022-06-14 | 达闼科技（北京）有限公司 | 一种提高视觉惯导系统鲁棒性的方法、装置和机器人设备 |
| EP3956633A1 (en) * | 2019-04-18 | 2022-02-23 | Telefonaktiebolaget LM Ericsson (PUBL) | Method of controlling a portable device and a portable device |
| US11280608B1 (en) * | 2019-12-11 | 2022-03-22 | Sentera, Inc. | UAV above ground level determination for precision agriculture |
| US11388564B2 (en) * | 2019-12-11 | 2022-07-12 | Nec Corporation | Infrastructure-free RF tracking in dynamic indoor environments |
| US11536857B2 (en) * | 2019-12-19 | 2022-12-27 | Trimble Inc. | Surface tracking on a survey pole |
| US10856253B1 (en) * | 2020-01-31 | 2020-12-01 | Dell Products, Lp | System and method for beamsteering acquisition and optimization in an enhanced reality environment |
| US11435185B2 (en) * | 2020-02-21 | 2022-09-06 | Microsoft Technology Licensing, Llc | Systems and methods for deep learning-based pedestrian dead reckoning for exteroceptive sensor-enabled devices |
| US20220161830A1 (en) * | 2020-11-23 | 2022-05-26 | Lyft, Inc. | Dynamic Scene Representation |
-
2021
- 2021-01-04 EP EP21150051.7A patent/EP4024005A1/en active Pending
- 2021-12-30 US US17/646,605 patent/US20220217499A1/en active Pending
- 2021-12-31 CN CN202111675579.8A patent/CN114719847A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| EP4024005A1 (en) | 2022-07-06 |
| US20220217499A1 (en) | 2022-07-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230194266A1 (en) | Vision-aided inertial navigation | |
| Spangenberg et al. | Pole-based localization for autonomous vehicles in urban scenarios | |
| Zhang et al. | LOAM: Lidar odometry and mapping in real-time. | |
| Rose et al. | An integrated vehicle navigation system utilizing lane-detection and lateral position estimation systems in difficult environments for GPS | |
| US11580364B2 (en) | Unsupervised learning of metric representations from slow features | |
| Alonso et al. | Accurate global localization using visual odometry and digital maps on urban environments | |
| US10838427B2 (en) | Vision-aided inertial navigation with loop closure | |
| Barczyk et al. | Invariant EKF design for scan matching-aided localization | |
| Chien et al. | Visual odometry driven online calibration for monocular lidar-camera systems | |
| US20190331496A1 (en) | Locating a vehicle | |
| Han et al. | Robust ego-motion estimation and map matching technique for autonomous vehicle localization with high definition digital map | |
| US20220205804A1 (en) | Vehicle localisation | |
| Lee et al. | LiDAR odometry survey: recent advancements and remaining challenges | |
| JP7234840B2 (ja) | 位置推定装置 | |
| Serov et al. | Visual-multi-sensor odometry with application in autonomous driving | |
| CN114719847A (zh) | 用于确定移动设备的位置和/或定向的变化的方法、装置 | |
| Emter et al. | Stochastic cloning and smoothing for fusion of multiple relative and absolute measurements for localization and mapping | |
| JPH1139464A (ja) | 車両用画像処理装置 | |
| Volden et al. | Development and experimental evaluation of visual-acoustic navigation for safe maneuvering of unmanned surface vehicles in harbor and waterway areas | |
| Vandrish et al. | Towards auv route following using qualitative navigation | |
| Burnett et al. | Continuous-Time Radar-Inertial and Lidar-Inertial Odometry using a Gaussian Process Motion Prior | |
| Tani et al. | Development and testing of a navigation solution for Autonomous Underwater Vehicles based on stereo vision | |
| Ölmez et al. | Metric scale and angle estimation in monocular visual odometry with multiple distance sensors | |
| Qayyum et al. | Seamless aiding of inertial-slam using Visual Directional Constraints from a monocular vision | |
| WO2023017624A1 (en) | Drive device, vehicle, and method for automated driving and/or assisted driving |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Country or region after: Luxembourg Address after: Luxembourg Applicant after: Aptiv Technology (2) Co. Address before: Babado J San Michael Applicant before: Aptiv Technologies Ltd. Country or region before: Barbados |
|
| CB02 | Change of applicant information | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240305 Address after: Luxembourg Applicant after: Aptiv Manufacturing Management Services Co. Country or region after: Luxembourg Address before: Luxembourg Applicant before: Aptiv Technology (2) Co. Country or region before: Luxembourg |
|
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240320 Address after: Schaffhausen Applicant after: APTIV Technology Co.,Ltd. Country or region after: Switzerland Address before: Luxembourg Applicant before: Aptiv Manufacturing Management Services Co. Country or region before: Luxembourg |
|
| TA01 | Transfer of patent application right |