CN117178272A - 多传感器导航 - Google Patents

多传感器导航 Download PDF

Info

Publication number
CN117178272A
CN117178272A CN202280029154.6A CN202280029154A CN117178272A CN 117178272 A CN117178272 A CN 117178272A CN 202280029154 A CN202280029154 A CN 202280029154A CN 117178272 A CN117178272 A CN 117178272A
Authority
CN
China
Prior art keywords
sensor
track
trajectory
spatial relationship
objective function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280029154.6A
Other languages
English (en)
Inventor
M·考克斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Commonwealth Scientific and Industrial Research Organization CSIRO
Original Assignee
Commonwealth Scientific and Industrial Research Organization CSIRO
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from AU2021903403A external-priority patent/AU2021903403A0/en
Application filed by Commonwealth Scientific and Industrial Research Organization CSIRO filed Critical Commonwealth Scientific and Industrial Research Organization CSIRO
Publication of CN117178272A publication Critical patent/CN117178272A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G01S7/4972—Alignment of sensor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/04—Adaptation of rangefinders for combination with telescopes or binoculars
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Analysis (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Operations Research (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Algebra (AREA)
  • Image Processing (AREA)
  • Navigation (AREA)

Abstract

本公开涉及一种由处理器执行以用于导航移动车辆穿过环境的方法。所述处理器用安装在所述移动车辆上的第一传感器捕获所述环境以产生第一传感器数据，且用安装在所述移动车辆上的第二传感器捕获所述环境以产生第二传感器数据。所述处理器随后确定所述第一传感器的第一轨迹和所述第二传感器的第二轨迹。所述处理器随后基于所述第一轨迹和所述第二轨迹估计所述第一传感器与所述第二传感器之间的空间关系，且使用所估计的空间关系将所述第一传感器数据与所述第二传感器数据组合为所述环境的组合多传感器表示。最后，所述处理器基于所述环境的所述组合多传感器表示为所述移动车辆导航。

Description

多传感器导航
相关申请的交叉参考
本申请要求2021年10月25日提交的第2021903403号澳大利亚临时专利申请的优先权，所述申请的内容以全文引用的方式并入本文中。
技术领域
本公开涉及使用多个传感器的导航，例如但不限于使用摄像机和LiDAR传感器导航。
背景技术
摄像机和光检测与测距(LiDAR)传感器(或简称为“LiDAR”)可安装在移动车辆上以提供关于车辆的环境的补充信息。虽然摄像机以彩色图像的形式捕获环境的大体2D像素表示，但LiDAR捕获3D点云，所述3D点云包括每一取样点在相应顶点和方位角处的距离信息。因此，LiDAR大体上提供可转换为笛卡尔坐标系的极坐标系中的周围环境的3D表示。然而，LiDAR通常不提供颜色信息，而是仅提供取样点的位置。
对于车辆的有效导航，需要从由摄像机和LiDAR产生的数据获得车辆相对于其环境的位置和定向。然而，摄像机与LiDAR之间的相对空间关系通常为未知的，这使得难以组合这两个数据源。
已包含在本说明书中的对文件、动作、材料、装置、物件等的任何论述不应由于其在所附权利要求中的每一个的优先权日期之前已存在而被视为承认这些内容中的任一个或全部形成现有技术基础的部分或者是与本公开相关的领域中的公知常识。
在整个本说明书中，词语“包括(comprise)”或者例如“包括(comprises)”或“包括(comprising)”的变化形式将被理解为暗示包含所陈述的元件、整数或步骤，或者元件、整数或步骤的群组，但不排除任何其它元件、整数或步骤，或者元件、整数或步骤的群组。
发明内容
本公开提供一种用于估计第一传感器(例如，摄像机)与第二传感器(例如，LiDAR)之间的空间关系的方法。此空间关系可随后用于组合来自两个传感器的数据。组合数据可随后用于导航或其它应用。重要的是，两个传感器之间的空间关系基于两个传感器的相应轨迹，所述相应轨迹可基于相应传感器数据而确定。
一种用于导航移动车辆穿过环境的方法，其包括：
用安装在移动车辆上的第一传感器捕获环境以产生第一传感器数据；
用安装在移动车辆上的第二传感器捕获环境以产生第二传感器数据；
使用第一传感器数据确定第一传感器随时间推移的第一轨迹，所述第一轨迹包括第一传感器相对于第一世界坐标系的多个位置；
使用第二传感器数据确定第二传感器随时间推移的第二轨迹，所述第二轨迹包括第二传感器相对于第二世界坐标系的多个位置；
基于第一轨迹和第二轨迹估计第一传感器与第二传感器之间的空间关系；
使用所估计的空间关系将第一传感器数据与第二传感器数据组合为环境的组合多传感器表示；以及
基于环境的组合多传感器表示为移动车辆导航。
一种用于估计第一传感器与第二传感器之间的空间关系的方法，其包括：
使用指示由相对于场景移动的第一传感器随时间推移捕获的场景的传感器数据确定第一传感器随时间推移的第一轨迹；
使用指示由相对于场景移动的第二传感器随时间推移捕获的场景的传感器数据确定第二传感器随时间推移的第二轨迹；以及
基于第一轨迹和第二轨迹计算第一传感器与第二传感器之间的空间关系。
由于计算基于两个轨迹，因此所述确定隐含地并入传感器相对于其环境的映射。
在一些实施例中，估计空间关系包括优化包含以下各者的目标函数：
第一轨迹的多个位置中的两个或更多个，
第二轨迹的多个位置中的两个或更多个，以及
空间关系。
在一些实施例中，参考变换将第一世界坐标系变换为第二坐标系，且目标函数与参考变换无关。
在一些实施例中，目标函数基于第一轨迹和第二轨迹在时间上对应的位置。
在一些实施例中，第一轨迹的第一位置在时间上对应于第二轨迹的第一位置，第一轨迹的第二位置在时间上对应于第二轨迹的第二位置；目标函数表示以下两者之间的差异：
从第一轨迹的第一点到第一轨迹的第二点的变换结果，以及
从第二轨迹上的第一点到第二轨迹上的第二点的变换结果，所述变换受制于所述空间关系。
在一些实施例中，目标函数多次表示其它时间上对应的位置的差异，以提高在噪声下的准确性。
在一些实施例中，方法进一步包括使第一传感器数据与第二传感器数据同步以确定在时间上对应的位置。
在一些实施例中，同步包括第一轨迹的内插。
在一些实施例中，内插基于第一轨迹的位置的四元数表示。
在一些实施例中，优化目标函数包括优化受制于等式约束的经修改目标函数。
在一些实施例中，通过在第二变换中用单一变量替换由空间关系变换的对象修改目标函数，且等式约束为对单一变量等于由空间关系变换的对象的约束。
在一些实施例中，优化目标函数包括反复执行以下步骤：
在给定单一变量的当前值的情况下优化更新空间关系的估计值的第一子问题；以及
在给定空间关系的当前估计值的情况下优化更新单一变量的估计值的第二子问题。
在一些实施例中，方法包括使用交替方向乘子法(ADMM)优化目标函数。
在一些实施例中，第一轨迹和第二轨迹各自包括多个欧几里得变换，所述多个欧几里得变换中的每一个包含表示位置中的一个的旋转和平移。
一种软件，其在由计算机执行时使计算机执行以上方法中的任一种。
一种系统，其包括：
第一传感器和第二传感器；以及
处理器，其配置成：
使用指示由相对于场景移动的第一传感器随时间推移捕获的场景的传感器数据确定第一传感器随时间推移的第一轨迹；
使用指示由相对于场景移动的第二传感器随时间推移捕获的场景的传感器数据确定第二传感器随时间推移的第二轨迹；以及
基于第一轨迹和第二轨迹计算第一传感器与第二传感器之间的空间关系。
上文作为方法的任选特征所公开的任选特征还为系统的任选特征。
附图说明
现将参考以下图式描述实例：
图1示出用于为移动车辆导航的系统。
图2为图1的简化表示。
图3示出用于导航移动车辆穿过环境的方法。
图4为各种变换之间的相等性的视觉表示。
图5示出用于估计第一传感器与第二传感器之间的空间关系且随后为车辆导航的计算机系统。
图6示出用于估计第一传感器与第二传感器之间的空间关系的方法。
具体实施方式
图1示出用于为移动车辆(为简单起见未展示)导航的系统100。系统100包括LiDAR101和摄像机102。LiDAR 101通过发射激光束且测量回到LiDAR 101的感测的反射光的飞行时间来捕获对象104的3D点云103。针对激光束的多个不同角度，重复此测量以产生点云103。
摄像机102通过捕获从对象106反射的照明光来捕获另一对象106的图像105。以此方式，摄像机102捕获一个图像105中的多个像素值。这些像素值可表示红/绿/蓝(RGB)通道、单一强度通道或其它通道，例如高光谱图像。
处理器107从LiDAR 101和摄像机102接收数据，且执行本文所公开的方法以确定LiDAR 101与摄像机102之间的空间关系。
当车辆移动时，LiDAR 101沿着LiDAR轨迹110移动，且摄像机102沿着摄像机轨迹120移动。轨迹110和轨迹120由相应的位置序列限定。
图2为图1的简化表示，且展示LiDAR轨迹110的第一位置111和LiDAR轨迹110的第二位置112。类似地，图2展示摄像机轨迹120的第一位置121及摄像机轨迹120的第二位置122。在此上下文中，术语‘第一’和‘第二’在时间意义上意味着LiDAR 101和摄像机102在到达第二位置之前处于第一位置。此处，LiDAR轨迹110的第一位置111与摄像机轨迹的第一位置121具有相同的时戳。这意味着已经同时捕获位置111和121。类似地，第二位置112和122具有相同的时戳，因为它们同时被捕获。在无法找到具有相同时戳的两个位置的情况下，可内插两个轨迹中的一个以生成丢失位置。
位置中的每一个都相对于相应的世界坐标系，也被称作“全局参考”。更确切地说，LiDAR位置111和112相对于世界LiDAR坐标系201，而摄像机位置121和122相对于世界摄像机坐标系202。应注意，在本文所公开的一些实例中，位置111、112、121、122被称为欧几里得变换或简称为变换。这些变换包含平移(移动)和旋转(定向)。对于位置112，例如，在203处指示平移，所述平移大体上将LiDAR世界坐标系201的原点变换到位置112上。还可存在旋转以反映LiDAR在位置112处的定向(观察方向)。类似地，变换204将摄像机世界坐标系202变换到位置122，潜在地包含表示摄像机的定向(观察方向)的旋转。
世界坐标系201和202是任意的且在执行方法开始时设置。举例来说，当最初打开LiDAR和摄像机时，可将世界坐标系的相应原点和定向设置为位置和定向。
轨迹110和轨迹120可分别基于由LiDAR 101和摄像机102生成的数据而确定。可通过将参考对象提供到相应传感器可容易地辨识的环境中来执行这些轨迹确定。参考对象可在环境中具有已知且静止的位置和定向，使得处理器107可分别基于点云和图像计算轨迹。应注意，两个传感器(例如，LiDAR 101和摄像机102)可捕获不同的参考对象以计算相应轨迹，这具有以下优势：对于每一传感器可选择最佳参考。
由于LiDAR 101和摄像机102安装在车辆(或另一移动平台)上，因此可假设LiDAR101和摄像机102彼此之间具有固定的空间关系。换句话说，存在欧几里得变换(在图2中的205处展示且在后文中被称为‘p’)，所述欧几里得变换将摄像机的第一位置121映射到LiDAR的第一位置111。当LiDAR 101和摄像机102沿着相应轨迹110和120移动时，此变换205应保持恒定。现旨在计算此变换205。在基本意义上，可以说，由于固定变换205，位置111与112之间的任何变化也应为位置121与122之间的变化。然而，在传感器数据中存在噪声的情况下，观测到的变化一般将不相等。因此，处理器107可优化目标函数以最小化两个变化(其可同样表示为相应变换)之间的差异。
为了完整性，还应注意，存在将LiDAR世界坐标系201映射到摄像机世界坐标系202的变换，所述摄像机世界坐标系在206处指示且在后文中被称为‘q’。
图3示出如由处理器107执行的用于导航移动车辆穿过环境的方法300。首先，处理器107用安装在移动车辆上的第一传感器(例如，LiDAR 101)捕获301环境以产生第一传感器数据，且用安装在移动车辆上的第二传感器(例如，摄像机102)捕获302环境以产生第二传感器数据。接着，处理器107使用第一传感器数据确定303第一传感器随时间推移的第一轨迹110。如上文所描述，第一轨迹110包括第一传感器101相对于第一世界坐标系201的多个位置111/112。处理器107进一步使用第二传感器数据确定304第二传感器随时间推移的第二轨迹120。同样如上文所描述，第二轨迹120包括第二传感器相对于第二世界坐标系202的多个位置。
基于第一轨迹110和第二轨迹120，处理器107估计第一传感器与第二传感器之间的空间关系205，且随后使用所估计的空间关系将第一传感器数据与第二传感器数据组合为环境的组合多传感器表示。最后，处理器107基于环境的组合多传感器表示为移动车辆导航。
以下说明提供方法300的更多数学描述：
预备知识
函数f(x；p)表示根据参数p的3D点x的欧几里得变换。这在位置111可被视为来自世界坐标系201的变换的意义上适用于变换203。这还适用于位置112、121、122且适用于变换205和206。此变换的数学公式为
f(x；p)＝R(p)x+t(p) (1)
其中R(p)为根据参数p计算正交3×3矩阵的函数，且t(p)为根据参数p计算长度向量3的函数。矩阵R(p)据称旋转3D点x，且t(p)据称平移(或移动)所述点。
参数向量p含有六个值p＝[θ1,θ2,θ3,tx,ty,tz]T，其中θ1、θ2和θ3表示旋转矩阵R(p)的参数，且t(p)＝[tx,ty,tz]T为3D平移。
可经由下式将变换f(x；p)一般化为由P个点组成的任意3D形状X＝[x1,x2,x3,...,xP]：
f(X；p)＝R(p)X+t(p)1T (2)
其中1T为仅含有一的长度的行向量P。按照定义，X具有尺寸3×P。
轨迹估计
如上文参考LiDAR轨迹110和摄像机轨迹120所陈述，术语轨迹表示传感器穿过3D空间的运动。其表示为在不同时间{τ1,...,τN}估计的欧几里得变换{p1,...,pN}的序列(包含111、112、121、122)。传感器移动穿过的3D空间被称为传感器的世界坐标系(201/202)，且每一欧几里得变换pi将传感器在时间τi观测到的形状变换到传感器的世界坐标系。
举例来说，假设具有方形尺寸20mm×20mm的棋盘图案在房间中的固定位置中。摄像机观测在时间τ1获取的图像中的图案，且使用算法计算棋盘在时间τ1相对于摄像机的3D形状g(τ1)。接着移动摄像机，且根据在时间τ2捕获的新图像计算棋盘的3D形状g(τ2)。由于棋盘在世界坐标系中处于固定位置，因此摄像机的轨迹{p1,p2}必须满足
f(g(τ1)；p1)＝f(g(τ2)；p2)。 (3)
在等式3中关于传感器的世界坐标系存在歧义。其可展示出
f(f(g(τ1)；p1)；q)＝f(f(g(τ2)；p2)；q) (4)
，对于指示世界坐标系是任意的所有欧几里得变换参数q。规定轨迹(例如，p1)中的一个欧几里得变换固定到恒等变换p1＝0。恒等变换具有性质f(X；p＝0)＝f(X；0)＝x，即其既不平移也不旋转输入形状X。
在p1＝0的情况下，可通过求解下式来计算p2：
f(g(τ1)；0)＝g(τ1)＝p(g(τ2)；p2) (5)
g(τ1)＝R(p2)g(τ2)+t(p2)1T。 (6)
实际上，由于3D形状g(τ1)的估计是有噪声的，所以等式6并不成立。在下者中概述的算法可用以针对p2求解噪声是否正常分布：Olga Sorkine-Hornung和MichaelRabinovich的使用SVD的最小二乘刚性运动(Least-squares rigid motion using SVD)，https://igl.ethz.ch/projects/ARAP/svd_rot.pdf，2017。
应注意，使用例如棋盘图案的校准目标是估计传感器的轨迹的许多方式中的一种。例如里程计估计或同时、定位与制图(SLAM)算法等替代性方法假设环境是固定的且识别相同结构的不同观测之间的对应性，同时对轨迹或观测结果做出假设，例如传感器平稳地移动穿过3D空间。SLAM算法的一个实例为澳大利亚的联邦科学与工业研究组织的Data61的Wildcat算法。
本公开提供一种方法，所述方法在假设传感器之间的变换对于所有时间都是恒定的且每一传感器轨迹的世界坐标系之间的变换未知的情况下使用传感器的轨迹的估计来对齐两个轨迹。
轨迹对齐
假设{ci}为摄像机120的轨迹。如前所述，每一ci表示欧几里得变换，例如121/122，其将由摄像机在时间τi观测到的形状变换为其在摄像机的世界坐标系中的位置。
假设{dj}为LiDAR 110的轨迹，其中每一dj表示欧几里得变换，例如111、112，其中由LiDAR进行的观测可变换为LiDAR的世界坐标系中的位置。
我们从等式4知道摄像机和LiDAR的世界坐标系通过未知欧几里得变换q 206相关。
假设摄像机102刚性地连接到LiDAR 101。刚性关系意味着摄像机102相对于LiDAR101的位置和定向是恒定的。在数学上，这被定义为在摄像机102的位置f(X；p)处始终观测到由LiDAR 101观测到的3D形状X。参数还被称为外部参数。
为了导出轨迹对齐算法，存在另一假设：由LiDAR 101观测到的3D形状X刚性地附接到LiDAR 101且附接到摄像机102，且表示3D形状的矩阵的等级X为3。
通过这些假设，现在有可能表明以下关系
f(f(X；di)；q)＝f(f(X；p)；ci) (7)
其适用于所有i。此处，f(f(X；di)；q)为使用未知变换参数q 206变换到摄像机轨迹的世界坐标系201的LiDAR轨迹的世界坐标系202中X的位置。值f(f(X；p)；ci)为使用未知外部参数p 205的摄像机轨迹的世界坐标系202中X的位置。
因此，在给定任意非平面形状X和轨迹{ci}和{di}的情况下，轨迹对齐需要针对p和q求解。
消除q
可通过考虑局部坐标系中的3D形状X在时间i如何变化来消除在时间j变换到局部坐标系的变换q 205。下文展示此公式如何消除欧几里得变换q。
证明需要以下符号规定：
f-1(X；a)＝f(X；a-1) (9)
证明在无噪声的情况下(方程7)开始。
f(f(X；di)；q)＝f(f(X；p)；ci) (12)
为简洁起见，引入和/>以表示两个变换的第k配对，给出
根据等式16，看到参数q已被消除。
图4示出等式16中的相等性，其使得能够计算p且将稍后形成优化问题的目标函数。等式16表明，在左侧，虚拟对象X在时间i从LiDAR的位置111变换401到LiDAR的世界坐标系201，且随后在时间j处变换回402本地LiDAR位置112。在右侧，相同对象X从LiDAR在时间i的视点111变换403到摄像机在时间i的视点121，且随后变换404到摄像机的世界坐标系202。虚拟对象X随后变换回405摄像机在时间j的视点122，且最后变换回406LiDAR在时间j的视点112。
在此意义上，现在清楚的是，计算空间关系使用具有第一轨迹110上的两个位置ci、cj 111、112、第二轨迹120上的两个位置di、dj 121、122和空间关系p自身的等式。再次，应注意，等式(16)独立于将LiDAR的世界坐标系201变换为摄像机的世界坐标系202的参数q。
各向同性高斯模型
在大多数现实世界应用中，由于存在于传感器轨迹和中的噪声，因此等式16将不成立。在此部分中，假设存在误差
其表示等式16的左侧与右侧之间的差异。换句话说，基于等式(16)的目标函数表示(a)从第一轨迹110上的第一点111到第二点112的变换结果与(b)从第二轨迹上的第一点121到第二点122的变换结果之间的差异，但所述变换受制于LiDAR 101与摄像机102之间的空间关系p。“受制于空间关系p”意味着此处对象首先变换403到局部摄像机视点121，且变换结果随后变换回406局部LiDAR视点，如上文所解释。
这展示空间关系的确定依赖于包含两个轨迹中的每一个上的两个位置的四个位置。在这四个位置与两个世界坐标系之间执行多个变换。这些变换大体上包含两组变换，这两组变换在理想情况下应产生相同端点。组合的第一组变换包含LiDAR轨迹和LiDAR世界坐标系201上的两个LiDAR位置，而第二组变换包含摄像机轨迹和摄像机世界坐标系202上的两个摄像机位置。第二组还包含LiDAR与摄像机之间的空间关系。由于包含来自两个轨迹的点，因此所述确定并入两个轨迹作为用于发现两个传感器之间的空间关系的基础。空间关系的确定现旨在最小化两组变换的结果之间的此差异。
进一步假设ek为可使用各向同性多变量高斯分布来建模的随机变量
其中对于所有k，已知标量λk>0。
因此，假设对应关系之间独立，所有对应关系的联合概率为
因此，外部参数p的最大似然解为
其中为平方Frobenius范数(squared Frobenius Norm)，其为被定义为其元素的绝对平方的总和的矩阵的矩阵范数。等式(20)大体上意味着两组变换之间的差异在其它时间上对应的位置(除111/121、112/122之外)上最小化以提高在噪声下的准确性。对于等式(20)的一个潜在困难为可能相对难以求解，因为可能难以强制执行旋转的正交性。
因此，可使用以下知识获得等效目标：
得出
使用ADMM的优化
将虚拟变量Y引入等式22中，得出
s.t.Y＝f(X；p)
其可使用如Stephen Boyd、Neal Parikh、Eric Chu、Borja Peleato和JonathanEckstein的经由交替方向乘子法的分布优化和统计学习(Distributed optimization andstatistical learning via the alternating direction method of multipliers)，Found.Trends Mach.Learn.，3(1):1-122，2011年1月中描述的交替方向乘子法(ADMM)优化。其它方法包含如对偶分解、乘子法、Douglas-Rachford分裂法、Spingarn的偏逆法(method of partial inverses)、Dykstra的交替投影、用于l1问题的Bregman迭代算法、近端法等。
ADMM采用分解-协调程序的形式，其中协调对较小局部子问题的解以发现对较大全局问题的解。ADMM可被视为将用于受限优化的对偶分解与增广拉格朗日法的益处混合的尝试。
当前问题的缩放的增广拉格朗日L如下：
子问题p
以下目标为变量p的子问题：
其中p表示用于迭代k的变量p，且p*表示用于迭代k+1的经更新变量。也就是说，所提出的算法通过反复计算对p的更新且接着反复计算对Y的更新来反复优化解(参见下文)。
此问题具有如Olga Sorkine-Hornung和Michael Rabinovich的使用SVD的最小二乘刚性运动，https://igl.ethz.ch/projects/ARAP/svd_rot.pdf，2017中所展示的闭合形式解。
子问题Y
以下是涉及变量Y的子问题：
同样，Y表示迭代k的变量，而Y*表示迭代k+1的变量Y。因此，所提出的算法计算更新p*，随后使用所述更新值来计算更新Y*，且使用所述更新值来计算更新p*，以此类推，以反复优化解，直到满足终止准则为止。
在计算p*和Y*之后，使用下式更新缩放的对偶变量Z*：
Z*＝Z+Y*-f(X；p*)。 (30)
ADMM算法重复等式(25)到(3)中的步骤直至收敛。用于收敛的终止准则可被调配为对原残差r*＝vec(Y*-f(X；p*))和对偶残差
的阈值，由此Pr*P2≤òpri且Ps*P2≤òdual。òpri的值通常极小以确保符合等式约束Y＝f(X；p)，从而留下òdual控制解p*的质量，其中两个ò的示例值为10-3或＝10-4。
算子计算矩阵A和B的克罗内克尔积。
选择λi
存在用于选择λi的值的许多策略。一个基本策略为λ1＝...＝λN＝1。不利的是，这会平等地对待每个对应关系，因此当少量对应关系出错时，可产生不合需要的结果。
为了处理离群值，可采用迭代策略，借此外部参数p的当前估计值用于计算λi的新值。一个此类策略是使用函数
其中σ为常数。
对以上策略的延伸是在每次迭代之后收缩σ
σ←cσ， (33)
其中0<c<1。c的典型值在范围0.95<c<1内。外部参数p的保收敛通过对σ强制执行下限来实现。
同步
上文所介绍的隐式假设是估计LiDAR变换di的时间ηi等于估计摄像机变换ci的时间τi。此在本文中被称为时间对应。不利的是，这意味着LiDAR和摄像机共享同一时钟，这可能是难以实现的。
由此，以组{(ci,τi)}表示轨迹，其中ci为第i个变换且τi为估计第i个变换的时戳。为了成功地执行轨迹对齐，处理器107使用一对轨迹{(ci,ηi)}和{(di,ηi)}，所述轨迹同步，即形成时间上对应的点，这是因为同一ηi用作两个变换中的时戳。
如果假设LiDAR时戳η与摄像机时戳τ之间的关系是已知的(即，对于一些函数g，τ＝g(η))，那么处理器107在时戳{g(ηi)}处对所获取的摄像机轨迹{(ci,τi)}进行取样以产生同步的摄像机轨迹
通过执行以下操作来实现在时间τ对轨迹{(ci,τi)}进行取样：
·找到具有最大时戳τα的变换cα，使得τα<τ。
·找到具有最小时戳τβ的变换cβ，使得τ<τβ。
·假设qα为变换cα的四元数表示。
·假设qβ为变换cβ的四元数表示。
·假设
·线性内插在qα与qβ之间以获得q，
q＝qα+λ(qβ-qα)。 (34)
·归一化q，使得PqP＝1，即q←PqP-1q。
·将q转换回在轨迹中使用的变换表示。
具有未知参数的时间关系
实际上，使LiDAR的时戳与摄像机时戳相关联的函数g具有未知参数Δη。例如
τ＝g(η；Δη)＝η+Δη。 (35)
这将涉及用于同步估计Δη与外部参数p的算法。典型存在对Δη的可能值的界限且已知可能值的公差/准确性。这允许产生离散数目个Δη的可能值，且随后可执行穷举搜索。
穷举搜索涉及将以下步骤应用于Δη的每一候选值：
·使用先前区段中描述的算法根据所获取的摄像机轨迹{(ci,τi)}产生同步摄像机轨迹
·根据第3节估计外部参数p。
·针对经优化的外部参数计算联合似然性(等式19)。
一旦完成，Δη的最优值是产生最大联合似然性的值。
计算机系统
图5示出用于估计第一传感器与第二传感器之间的空间关系且随后为车辆导航的计算机系统500。计算机系统500包括已在图1中表征出的处理器107，所述处理器连接到程序存储器501、数据存储器502、通信端口503和控制输出端口504。程序存储器501为非暂时性计算机可读媒体，例如硬盘驱动器、固态磁盘或CD-ROM。软件，即存储在程序存储器501上的可执行程序使处理器107执行图3和图4中的方法，即基于那些传感器的相应轨迹计算两个传感器之间的空间关系。术语“计算空间关系”是指计算指示空间关系的值。这还适用于相关术语。
处理器107可在数据存储装置502，例如RAM或处理器寄存器上存储传感器数据、轨迹和空间关系。处理器107还可经由通信端口503将确定的空间关系发送到服务器或其它计算机，例如中央控制室。
处理器107可从数据存储器502以及通信端口503接收数据，例如LiDAR和摄像机数据。在一个实例中，处理器107例如通过使用根据IEEE 802.11的Wi-Fi网络经由通信端口503从LiDAR 101和摄像机102接收传感器数据。Wi-Fi网络可以是分散化的自组织网络，使得不需要例如路由器的专用管理基础设施，也可以是具有管理网络的路由器或接入点的集中式网络。
在一个实例中，处理器107实时接收和处理传感器数据。这意味着每当从LiDAR101和摄像机102接收传感器数据时，处理器107计算或更新空间关系，且在LiDAR 101和摄像机102发送下一传感器数据更新之前完成此计算。
尽管通信端口503和控制端口504被展示为不同实体，但应理解，任何种类的数据端口可用于接收数据，例如网络连接、存储器接口、处理器107的芯片封装的引脚，或逻辑端口，例如存储在程序存储器104上且由处理器107执行的功能的IP套接字或参数。这些参数可存储在数据存储器502上，且可在源代码中按值或按参考，即作为指针处理。
处理器107可通过所有这些接口接收数据，所述接口包含易失性存储器(例如，高速缓存器或RAM)或非易失性存储器(例如，光盘驱动器、硬盘驱动器、存储服务器或云存储器)的存储器存取。可进一步在云计算环境内实施计算机系统500，例如托管动态数目个虚拟机的互连服务器的管理群组。
应理解，任何接收步骤可在处理器107确定或计算稍后接收的数据之前。举例来说，处理器107确定点云且将点云存储在数据存储器502，例如RAM或处理器寄存器中。处理器107随后例如通过连同存储器地址一起提供读取信号来向数据存储器502请求数据。数据存储器502提供数据作为物理位线上的电压信号，且处理器107经由存储器接口接收点云。
图3和图6应理解为软件程序的蓝图，且可逐步实施，使得图3和6中的每一步骤由例如C++或Java等编程语言中的函数表示。接着将所得源代码编译并存储为程序存储器501上的计算机可执行指令。
用于确定空间关系的方法
图6示出用于估计第一传感器与第二传感器之间的空间关系p 403的方法600。通常，处理器107执行方法600，且在所述意义上使用指示由相对于场景移动的第一传感器随时间推移捕获的场景的传感器数据确定601第一传感器(例如，LiDAR 101)随时间推移的第一轨迹。处理器107还使用指示由相对于场景移动的第二传感器随时间推移捕获的场景的传感器数据确定602第二传感器(例如，摄像机102)随时间推移的第二轨迹。最后，处理器107基于第一轨迹和第二轨迹计算603第一传感器与第二传感器之间的空间关系。
由于计算基于两个轨迹，因此所述确定隐含地并入传感器相对于其环境的映射。因此，计算准确且对传感器噪声具有稳健性。应注意，上文参考图3中的方法300，且明确地说参考等式(20)和(23)以及使用ADMM的优化所论述的更具体特征还适用于图6中的方法600。
所属领域的技术人员应了解，在不脱离本公开的广泛的一般范围的情况下，可对上述实施例进行许多改变和/或修改。因此，本发明的实施例应被视为在所有方面都是说明性而非限制性的。

Claims (30)

1.一种用于导航移动车辆穿过环境的方法，所述方法包括：
用安装在所述移动车辆上的第一传感器捕获所述环境以产生第一传感器数据；
用安装在所述移动车辆上的第二传感器捕获所述环境以产生第二传感器数据；
使用所述第一传感器数据确定所述第一传感器随时间推移的第一轨迹，所述第一轨迹包括所述第一传感器相对于第一世界坐标系的多个位置；
使用所述第二传感器数据确定所述第二传感器随时间推移的第二轨迹，所述第二轨迹包括所述第二传感器相对于第二世界坐标系的多个位置；
基于所述第一轨迹和所述第二轨迹估计所述第一传感器与所述第二传感器之间的空间关系；
使用所估计的空间关系将所述第一传感器数据与所述第二传感器数据组合为所述环境的组合多传感器表示；以及
基于所述环境的所述组合多传感器表示为所述移动车辆导航。
2.根据权利要求1所述的方法，其中估计所述空间关系包括优化包含以下各者的目标函数：
所述第一轨迹的所述多个位置中的两个或更多个，
所述第二轨迹的所述多个位置中的两个或更多个，以及
所述空间关系。
3.根据权利要求2所述的方法，其中
参考变换将所述第一世界坐标系变换为所述第二坐标系，并且
所述目标函数与所述参考变换无关。
4.根据权利要求2或3所述的方法，其中所述目标函数基于所述第一轨迹和所述第二轨迹在时间上对应的位置。
5.根据权利要求4所述的方法，其中
所述第一轨迹的第一位置在时间上对应于所述第二轨迹的第一位置，
所述第一轨迹的第二位置在时间上对应于所述第二轨迹的第二位置；
所述目标函数表示以下两者之间的差异：
从所述第一轨迹的第一点到所述第一轨迹的第二点的变换结果，以及
从所述第二轨迹上的第一点到所述第二轨迹上的第二点的变换结果，所述变换受制于所述空间关系。
6.根据权利要求2至5中任一项所述的方法，其中所述目标函数多次表示其它时间上对应的位置的差异，以提高在噪声下的准确性。
7.根据权利要求2至6中任一项所述的方法，其中优化所述目标函数包括优化受制于等式约束的经修改目标函数。
8.根据权利要求7所述的方法，其中通过在第二变换中用单一变量替换由所述空间关系变换的对象修改所述目标函数，且所述等式约束为对所述单一变量等于由所述空间关系变换的所述对象的约束。
9.根据权利要求8所述的方法，其中优化所述目标函数包括反复执行以下步骤：
在给定所述单一变量的当前值的情况下优化更新所述空间关系的估计值的第一子问题；以及
在给定所述空间关系的当前估计值的情况下优化更新所述单一变量的估计值的第二子问题。
10.根据权利要求2至9中任一项所述的方法，其中所述方法包括使用交替方向乘子法(ADMM)优化所述目标函数。
11.根据前述权利要求中任一项所述的方法，其进一步包括使所述第一传感器数据与所述第二传感器数据同步以确定时间上对应的位置。
12.根据权利要求11所述的方法，其中同步包括所述第一轨迹的内插。
13.根据权利要求12所述的方法，其中所述内插基于所述第一轨迹的所述位置的四元数表示。
14.根据前述权利要求中任一项所述的方法，其中所述第一轨迹和所述第二轨迹各自包括多个欧几里得变换，所述多个欧几里得变换中的每一个包含表示所述位置中的一个的旋转和平移。
15.一种用于估计第一传感器与第二传感器之间的空间关系的方法，所述方法包括：
使用指示由相对于场景移动的所述第一传感器随时间推移捕获的所述场景的传感器数据确定所述第一传感器随时间推移的第一轨迹；
使用指示由相对于场景移动的所述第二传感器随时间推移捕获的所述场景的传感器数据确定所述第二传感器随时间推移的第二轨迹；以及
基于所述第一轨迹和所述第二轨迹计算所述第一传感器与所述第二传感器之间的所述空间关系。
16.根据权利要求15所述的方法，其中估计所述空间关系包括优化包含以下各者的目标函数：
所述第一轨迹的多个位置中的两个或更多个，
所述第二轨迹的多个位置中的两个或更多个，以及
所述空间关系。
17.根据权利要求16所述的方法，其中
参考变换将第一世界坐标系变换为第二坐标系，并且
所述目标函数与所述参考变换无关。
18.根据权利要求16或17所述的方法，其中所述目标函数基于所述第一轨迹和所述第二轨迹在时间上对应的位置。
19.根据权利要求18所述的方法，其中
所述第一轨迹的第一位置在时间上对应于所述第二轨迹的第一位置，
所述第一轨迹的第二位置在时间上对应于所述第二轨迹的第二位置；
所述目标函数表示以下两者之间的差异：
从所述第一轨迹的第一点到所述第一轨迹的第二点的变换结果，以及
从所述第二轨迹上的第一点到所述第二轨迹上的第二点的变换结果，所述变换受制于所述空间关系。
20.根据权利要求16至19中任一项所述的方法，其中所述目标函数多次表示其它时间上对应的位置的差异，以改进在噪声下的准确性。
21.根据权利要求16至20中任一项所述的方法，其中优化所述目标函数包括优化受制于等式约束的经修改目标函数。
22.根据权利要求21所述的方法，其中通过在第二变换中用单一变量替换由所述空间关系变换的对象修改所述目标函数，且所述等式约束为对所述单一变量等于由所述空间关系变换的所述对象的约束。
23.根据权利要求22所述的方法，其中优化所述目标函数包括反复执行以下步骤：
在给定所述单一变量的当前值的情况下优化更新所述空间关系的估计值的第一子问题；以及
在给定所述空间关系的当前估计值的情况下优化更新所述单一变量的估计值的第二子问题。
24.根据权利要求16至23中任一项所述的方法，其中所述方法包括使用交替方向乘子法(ADMM)优化所述目标函数。
25.根据权利要求15至24中任一项所述的方法，其进一步包括使所述第一传感器数据与所述第二传感器数据同步以确定时间上对应的位置。
26.根据权利要求25所述的方法，其中同步包括所述第一轨迹的内插。
27.根据权利要求26所述的方法，其中所述内插基于所述第一轨迹的所述位置的四元数表示。
28.根据权利要求15至27中任一项所述的方法，其中所述第一轨迹和所述第二轨迹各自包括多个欧几里得变换，所述多个欧几里得变换中的每一个包含表示所述位置中的一个的旋转和平移。
29.一种软件，其在由计算机执行时使所述计算机执行根据前述权利要求中任一项所述的方法。
30.一种系统，其包括：
第一传感器和第二传感器；以及
处理器，其配置成：
使用指示由相对于场景移动的所述第一传感器随时间推移捕获的所述场景的传感器数据确定所述第一传感器随时间推移的第一轨迹；
使用指示由相对于场景移动的所述第二传感器随时间推移捕获的所述场景的传感器数据确定所述第二传感器随时间推移的第二轨迹；以及
基于所述第一轨迹和所述第二轨迹计算所述第一传感器与所述第二传感器之间的空间关系。
CN202280029154.6A 2021-10-25 2022-10-21 多传感器导航 Pending CN117178272A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
AU2021903403A AU2021903403A0 (en) 2021-10-25 Multi-Sensor Navigation
AU2021903403 2021-10-25
PCT/AU2022/051268 WO2023070147A1 (en) 2021-10-25 2022-10-21 Multi-sensor navigation

Publications (1)

Publication Number Publication Date
CN117178272A true CN117178272A (zh) 2023-12-05

Family

ID=86160221

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280029154.6A Pending CN117178272A (zh) 2021-10-25 2022-10-21 多传感器导航

Country Status (4)

Country Link
US (1) US20240045041A1 (zh)
CN (1) CN117178272A (zh)
AU (1) AU2022377418A1 (zh)
WO (1) WO2023070147A1 (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3545337A1 (en) * 2017-01-26 2019-10-02 Mobileye Vision Technologies Ltd. Vehicle navigation based on aligned image and lidar information
CN111492403A (zh) * 2017-10-19 2020-08-04 迪普迈普有限公司 用于生成高清晰度地图的激光雷达到相机校准
JP7448485B2 (ja) * 2018-05-01 2024-03-12 コモンウェルス サイエンティフィック アンド インダストリアル リサーチ オーガナイゼーション ポイントクラウドの着色において使用される方法及びシステム

Also Published As

Publication number Publication date
AU2022377418A1 (en) 2023-07-06
WO2023070147A1 (en) 2023-05-04
US20240045041A1 (en) 2024-02-08

Similar Documents

Publication Publication Date Title
Sola et al. Fusing monocular information in multicamera SLAM
JP6430064B2 (ja) データを位置合わせする方法及びシステム
Caron et al. Direct model based visual tracking and pose estimation using mutual information
US8837811B2 (en) Multi-stage linear structure from motion
WO2019161517A1 (zh) 基于云端的轨迹地图生成方法、装置、设备及应用程序
JP2005528707A (ja) データ組間の特徴マッピング
JP2009237845A (ja) 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
US8531505B2 (en) Imaging parameter acquisition apparatus, imaging parameter acquisition method and storage medium
US7333133B2 (en) Recursive least squares approach to calculate motion parameters for a moving camera
Raza et al. Comparing and evaluating indoor positioning techniques
US20210342589A1 (en) System and method for computing the 3d position of a semantic landmark in images from the real world
US20170108338A1 (en) Method for geolocating a carrier based on its environment
Mehralian et al. EKFPnP: extended Kalman filter for camera pose estimation in a sequence of images
US10346949B1 (en) Image registration
Liu et al. Semalign: Annotation-free camera-lidar calibration with semantic alignment loss
Ferreira et al. A real-time mosaicking algorithm using binary features for ROVs
Kottath et al. Inertia constrained visual odometry for navigational applications
Jung et al. A model-based 3-D tracking of rigid objects from a sequence of multiple perspective views
TWI822423B (zh) 運算裝置及模型產生方法
CN117178272A (zh) 多传感器导航
JP2023056466A (ja) グローバル測位装置及び方法
Belter et al. The importance of measurement uncertainty modelling in the feature-based RGB-D SLAM
Real-Moreno et al. Fast template match algorithm for spatial object detection using a stereo vision system for autonomous navigation
Ölmez et al. Metric scale and angle estimation in monocular visual odometry with multiple distance sensors
EP2245593A2 (en) A method of estimating a motion of a multiple camera system, a multiple camera system and a computer program product

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication