CN112184768A - 基于激光雷达的sfm重建方法、装置和计算机设备 - Google Patents

基于激光雷达的sfm重建方法、装置和计算机设备 Download PDF

Info

Publication number
CN112184768A
CN112184768A CN202011014828.4A CN202011014828A CN112184768A CN 112184768 A CN112184768 A CN 112184768A CN 202011014828 A CN202011014828 A CN 202011014828A CN 112184768 A CN112184768 A CN 112184768A
Authority
CN
China
Prior art keywords
camera
track
radar
constraint
plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011014828.4A
Other languages
English (en)
Other versions
CN112184768B (zh
Inventor
王成
刘海伟
丛林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Yixian Advanced Technology Co ltd
Original Assignee
Hangzhou Yixian Advanced Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Yixian Advanced Technology Co ltd filed Critical Hangzhou Yixian Advanced Technology Co ltd
Priority to CN202011014828.4A priority Critical patent/CN112184768B/zh
Publication of CN112184768A publication Critical patent/CN112184768A/zh
Application granted granted Critical
Publication of CN112184768B publication Critical patent/CN112184768B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请涉及一种基于激光雷达的SFM重建方法、装置、计算机设备和存储介质。所述方法包括：根据激光雷达数据获取雷达轨迹和雷达地图，根据相机图像数据和SFM算法获取相机轨迹和相机地图；根据雷达轨迹、雷达外参和相机外参获取相机在雷达地图的坐标系中的参考轨迹，根据参考轨迹对相机轨迹进行相似变换，得到相机真实尺度轨迹，根据所述相机真实尺度轨迹确定相机地图的真实尺度，根据轨迹约束和SFM算法的重投影误差约束，对相机地图的真实尺度进行非线性联合优化。采用本方法能够使得SFM算法重建的地图能够还原真实尺度。

Description

基于激光雷达的SFM重建方法、装置和计算机设备
技术领域
本申请涉及图像处理技术领域，特别是涉及一种基于激光雷达的SFM重建方法、装置、计算机设备和存储介质。
背景技术
运动恢复结构(structure-from-motion，简称SFM)的目标是能够利用两个场景或多个场景自动恢复相机运动和场景结构，是一种能够自动完成相机追踪与运动匹配的自校准技术。目前较为成熟的SFM算法有colmap、OpenMVG和CMVS-PMVS等。对于目前的SFM算法，输入参数一般为拍摄同一场景且无时间信息的一系列图像，输出参数则为每一张图像对应的相机位姿态和场景中的3D特征点。
然而，现有的重建技术中如colmap算法，由于输入图像一般为单目图像，因此无法恢复重建后地图的真实尺度。
针对相关技术中，SFM算法无法重建地图真实尺度的问题，目前尚未提出有效的解决方案。
发明内容
基于此，有必要针对上述技术问题，提供一种基于激光雷达的SFM重建方法、装置、计算机设备和存储介质。
第一方面，本申请实施例提供了一种基于激光雷达的SFM重建方法，所述方法包括：
根据激光雷达数据获取雷达轨迹和雷达地图，根据相机图像数据和SFM算法获取相机轨迹和相机地图；
根据所述雷达轨迹、雷达外参和相机外参获取所述相机在所述雷达地图的坐标系中的参考轨迹，根据所述参考轨迹对所述相机轨迹进行相似变换，得到相机真实尺度轨迹，其中，所述雷达外参指示所述雷达在世界坐标系中的位姿，所述相机外参指示所述相机在所述世界坐标系中的位姿；
根据轨迹约束和所述SFM算法的重投影误差约束，对所述相机地图的真实尺度进行非线性联合优化，所述相机的真实尺度根据所述相机真实尺度轨迹确定，所述轨迹约束指示所述相机真实尺度轨迹和所述参考轨迹的差值的平方。
在其中一个实施例中，还包括：对所述雷达地图进行平面检测，得到激光雷达点云平面；
根据所述轨迹约束、平面约束和所述运动恢复结构算法的重投影误差约束对所述相机地图的真实尺度进行非线性联合优化，其中，所述平面约束指示与所述激光雷达点云平面对应的视觉点云平面上的特征点到所述激光雷达点云平面的距离误差。
在其中一个实施例中，所述点云平面为多个，所述平面约束指示两个或者两个以上不同的视觉点云平面上的特征点到与所述视觉点云平面对应的激光雷达点云平面的距离误差之和。
在其中一个实施例中，所述根据所述轨迹约束、平面约束和所述SFM算法的重投影误差约束对所述相机地图的真实尺度进行非线性联合优化包括：
获取与所述轨迹约束对应的第一权重，以及与所述平面约束对应的第二权重；
根据所述轨迹约束、所述第一权重、所述平面约束、所述第二权重和所述运动恢复结构算法的重投影误差约束，对所述相机地图的真实尺度进行非线性最小二乘优化。
在其中一个实施例中，所述根据所述雷达轨迹、雷达外参和相机外参获取所述相机在所述雷达地图的坐标系中的参考轨迹包括：
根据雷达相机外参标定和所述雷达轨迹，获取所述相机在所述雷达地图的坐标系中真实尺度的参考轨迹，其中，所述雷达相机外参标定指示所述雷达和所述相机之间的相对位姿关系。
在其中一个实施例中，所述根据激光雷达数据获取雷达轨迹和雷达地图，根据相机图像数据和SFM算法获取相机轨迹和相机地图之前，所述方法包括：
对所述激光雷达数据和所述相机图像数据进行时间同步。
第二方面，本申请实施例还提供一种基于激光雷达的SFM重建装置，所述装置包括获取模块、相似变换模块和联合优化模块：
所述获取模块用于根据激光雷达数据和获取雷达轨迹和雷达地图，根据相机图像数据和SFM算法获取相机轨迹和相机地图；
所述相似变换模块用于获取所述相机在所述雷达地图的坐标系中的参考轨迹，根据所述参考轨迹对所述相机轨迹进行相似变换，得到相机真实尺度轨迹；
所述联合优化模块用于根据轨迹约束和所述SFM算法的重投影误差约束，对所述相机地图的真实尺度进行非线性联合优化，所述相机地图的真实尺度根据所述相机真实尺度轨迹确定，所述轨迹约束指示所述相机真实尺度轨迹和所述参考轨迹的差值的平方。
在其中一些实施例中，所述装置还包括平面模块，所述平面模块用于对所述雷达地图进行平面检测，得到激光雷达点云平面；所述联合优化模块还用于根据所述轨迹约束、平面约束和所述SFM算法的重投影误差约束对所述相机真实尺度轨迹进行非线性联合优化，其中，所述平面约束指示与所述激光雷达点云平面对应的视觉点云平面到所述激光雷达点云平面的距离误差。
第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于激光雷达的SFM重建方法。
第四方面，本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述基于激光雷达的SFM重建方法。
上述基于激光雷达的SFM重建方法、装置、计算机设备和存储介质，根据激光雷达数据获取雷达轨迹和雷达地图，根据相机图像数据和运动恢复结构SFM算法获取相机轨迹和相机地图；获取相机在雷达地图的坐标系中真实尺度的参考轨迹，根据参考轨迹对所述相机轨迹进行相似变换，得到相机真实尺度轨迹；根据轨迹约束和运动恢复结构算法的重投影误差约束对相机地图的真实尺度进行非线性联合优化，从而使得SFM算法重建的地图能够还原真实尺度。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是本发明实施例的基于激光雷达的SFM重建方法的终端的硬件结构框图；
图2是根据本发明一个实施例中基于激光雷达的SFM重建方法的流程图；
图3是根据本发明另一个实施例中基于激光雷达的SFM重建方法的流程图；
图4是根据本发明优选实施例中的基于激光雷达的SFM重建方法的示意图；
图5是根据本发明实施例中基于激光雷达的SFM重建装置的示意图；
图6是根据本发明实施例中基于激光雷达的SFM重建计算机设备的示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
本实施例提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。以运行在终端上为例，图1是本发明实施例的基于激光雷达的SFM重建方法的终端的硬件结构框图。如图1所示，终端10可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述终端的结构造成限定。例如，终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。其中，终端10可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，也可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的基于激光雷达的SFM重建方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括终端10的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
在一个实施例中，图2是根据本发明一个实施例中基于激光雷达的SFM重建方法的流程图，如图2所示，提供了一种基于激光雷达的SFM重建方法，以该方法应用于图1中的终端为例进行说明，包括以下步骤：
步骤S210，根据激光雷达数据获取雷达轨迹和雷达地图，根据相机图像数据和SFM算法获取相机轨迹和相机地图。在本步骤中，激光雷达和相机对同一个场景，通过相同的轨迹进行图像采集和三维重建。对于激光雷达数据的处理，可以通过成熟的激光雷达即时定位与地图构建(simultaneous localization andmapping，SLAM)方案，如cartographer、LOAM和Gampping等，根据上述SLAM方案获取雷达轨迹和雷达地图，即雷达重构的场景的三维点云。对于相机图像数据，则通过运动恢复结构(structure-from-motion，SFM)算法进行三维场景重建，SFM算法的目标是能够利用两个场景或多个场景自动恢复相机运动轨迹和场景结构，它是一种自校准的技术能够自动地完成相机追踪与运动匹配。通过SFM算法获取相机轨迹和相机地图，即相机重构的场景的三维点云。在一些实施例中，根据激光雷达数据获取雷达轨迹和雷达地图以及根据相机图像数据和SFM算法获取相机轨迹和相机地图之前，对激光雷达数据和相机图像数据进行时间同步。时间同步可以是在采集过程中进行的时间同步也可以在得到激光雷达数据和相机图像数据之后进行图像的时间同步，时间同步一方面可以提高地图重建的准确性，另一方面还可以提高传统SFM算法的图像匹配速度。
步骤S220，根据雷达轨迹、雷达外参和相机外参获取相机在雷达地图的坐标系中的参考轨迹，根据参考轨迹对相机轨迹进行相似变换，得到相机真实尺度轨迹。雷达外参指示雷达在世界坐标系中的位姿，相机外参指示所述相机在所述世界坐标系中的位姿，位姿(pose)是指相机和激光雷达在特定坐标系下的位置和姿态，其中位置可以用三维坐标表示，姿态则可以用旋转矩阵或四元数等方式进行表示。在本步骤中，雷达外参和相机外参都是相对于世界坐标系的，因此通过雷达外参和相机外参可以换算出相机与激光雷达之间的相对位置，从而通过两者的相对位置换算出在雷达地图中相机的运动轨迹，即参考轨迹。由于雷达地图能够反映真实尺度，因此上述参考轨迹也是反映了真实尺度的相机运动轨迹。以参考轨迹为参照，对相机轨迹进行相似变换，即可得到相机真实尺度轨迹。在一些实施例中，上述相似变换可以是sim3变换。
步骤S230，根据轨迹约束和SFM算法的重投影误差约束，对相机地图的真实尺度进行非线性联合优化。在步骤S220中，获取到的相机真实尺度轨迹，根据相机真实尺度轨迹可以确定相机地图的真实尺度，已经可以粗略地反映相机地图的真实尺度了，在本步骤中，利用SFM算法中的重投影误差(Bundleadjustment，BA)约束以及轨迹约束对相机地图的真实尺度进行进一步优化。其中，BA重投影误差约束是指传统视觉问题中的重投影误差eBA。轨迹约束则是相机真实尺度轨迹和参考轨迹之间的误差值的平方，记为etranslation。根据公式1所示的损失函数进行非线性联合优化可以得到优化后的相机地图的尺度。
Figure BDA0002698705610000071
在步骤S210至步骤S230中，根据激光雷达数据和激光雷达即时定位与地图构建算法Lidar-SLAM获取雷达轨迹和雷达地图，根据相机图像数据和运动恢复结构SFM算法获取相机轨迹和相机地图；获取相机在雷达地图的坐标系中真实尺度的参考轨迹，根据参考轨迹对所述相机轨迹进行相似变换，得到相机真实尺度轨迹；根据轨迹约束和BA约束对相机地图的真实尺度进行非线性联合优化，从而使得SFM算法重建的地图能够准确地还原真实尺度。
在一个实施例中，图3是根据本发明另一个实施例中基于激光雷达的SFM重建方法的流程图，如图3所示，在前述步骤S210和步骤S220之后，执行步骤S310和S320，从而在非线性联合优化过程中增加平面约束项，在本实施例中，基于激光雷达的SFM重建方法还包括：
步骤S310，对雷达地图进行平面检测，得到激光雷达点云平面；
步骤S320，根据轨迹约束、平面约束和运动恢复结构算法的重投影误差约束对相机地图的真实尺度进行非线性联合优化。其中，平面约束指示视觉点云平面上的特征点到激光雷达点云平面的距离误差。
在步骤S310至步骤S320中，在非线性联合优化过程中加入了平面约束。首先，通过对雷达地图进行点云平面检测，得到地图中的激光雷达点云平面，可选地，上述激光雷达点云平面可以选择检测和重建相对简单的平面例如地面或者墙面。然后，计算平面约束，即该激光雷达点云平面所对应的视觉点云平面，即通过相机图像数据得到的点云平面上的特征点到该激光雷达平面的距离误差，记为eplane。最后，将平面约束增加到联合优化的损失函数中，如公式2所示：
Figure BDA0002698705610000081
通过再联合优化的过程中增加平面约束，可以提高雷达地图的准确性，因此来提高雷达地图上的相机真实尺寸轨迹的准确性，从而提高相机地图的真实尺度的准确性。在一些实施例中，上述激光雷达点云平面可以是多个不同的点云平面。如果存在多个激光雷达点云平面，需要确定SFM中视觉点云平面上的3d点跟哪个平面关联，坐标对齐后，只需要找物理空间最近的激光雷达平面做关联，关联之后，距离误差就是参与约束的3d点到其对应的激光雷达平面的误差之和；理论上，平面约束可以支持任意多个平面。通过多个平面进行平面约束可以进一步提高雷达地图的准确性，从而进一步地提高相机地图的真实尺度准确性。
在一个实施例中，根据轨迹约束、平面约束和运动恢复结构算法的重投影误差约束对相机地图的真实尺度进行非线性联合优化包括：获取与轨迹约束对应的第一权重，以及与平面约束对应的第二权重；根据轨迹约束、第一权重、平面约束、第二权重和BA约束，对相机地图的真实尺度进行非线性最小二乘优化。在本实施中，在进行非线性联合优化的过程中还增加了损失函数中平面约束和轨迹约束的权重设置，并根据非线性最小二乘优化进行联合优化，本实施了中的损失函数可以如公式3所示：
Figure BDA0002698705610000091
在进行联合优化的过程中可以根据具体的应用场景进行权重的调整，从而使得优化后的相机地图的真实尺度更加准确。
在一个实施例中，根据雷达轨迹、雷达外参和相机外参获取相机在雷达地图的坐标系中的参考轨迹包括：根据雷达相机外参标定和雷达轨迹，获取相机在雷达地图的坐标系中真实尺度的参考轨迹，其中，雷达相机外参标定指示雷达和相机之间的相对位姿关系。在本实施例中，通过雷达相机的外参标定获取相机的参考轨迹，外参标定(extrinsiccalibration)是计算绑在同一刚体上的不同传感器之间的相对位姿关系。由于雷达和相机在采集图像的过程中可以是相互独立的两个设备，此时可以通过两者的外参获取两者之间的位置关系，也可以是两者设置在同一个刚体上，以固定的相对位置进行图像采集过程，在这种情况下，可以通过雷达相机外参标定获取两者之间的固定位姿关系，从而能够更加快速地计算出相机在雷达地图中的参考轨迹，提高参考轨迹的获取效率。
在一些实施例中，相机的数量可以不止一个，激光雷达可以与一组相机协作实现上述基于激光雷达的SFM重建方法。在相机数量不止一个的情况下，可以在激光雷达的地图中获取任意一个相机的相机轨迹，确定相机地图的真实尺度，再通过相机之间的地图重叠部分实现各个相机地图的尺度还原。
下面通过优选实施例对本申请实施例进行描述和说明。在优选实施例中，使用的硬件系统，同时采集相机和激光数据。相机和激光雷达已知外参，时间同步用机器人操作系统(Robot Operating System，ROS)实现。图4是根据本发明优选实施例中的基于激光雷达的SFM重建方法的示意图，如图4所示，该方法包括：
原始传感器数据处理，该处理过程包括激光雷达原始数据处理和相机原始数据处理。根据激光雷达采集的激光雷达数据，通过步骤1.1：Lidar-SLAM算法获取雷达轨迹和雷达地图，即雷达三维点云；根据相机采集的相机图像数据，通过步骤1.2：SFM算法获取无尺度的相机轨迹和相机地图，即相机三维点云。
雷达数据先验是通过步骤2.1：Lidar-Camera外参变换，获取相机在雷达地图坐标系中的真实尺度轨迹，即参考轨迹。此外，对雷达地图进行步骤2.2：点云平面检测，得到多个激光雷达点云平面，如墙面、地面等，可以用于后续平面约束的计算。基于激光雷达的SFM重建方法还包括步骤3：sim3变换，根据步骤1.2中得到的相机轨迹和步骤2.1得到的相机真实尺度轨迹，以相机真实尺度轨迹为参考，进行sim3变换，得到变换后的相机轨迹。
最后，通过联合优化算法进行非线性联合优化，联合优化算法中的约束包括步骤1.2中的SFM算法中的BA约束，根据步骤2.2中得到的多个平面计算的平面约束，以及步骤3中的轨迹约束。BA重投影误差约束是传统视觉问题中的重投影误差，即3D特征点到2D图像的投影点与该特征所在像素坐标之间的误差，BA约束如公式4所示：
eBA＝(ur,vr)-(uo,vo) 公式4
平面约束即视觉点云平面上的特征点到该平面对应的激光雷达点云平面的距离误差，其中平面方程表示为ax+by+cz+d，且系数已进行归一化，多个平面参数来自步骤2.2的输出，平面约束如公式5所示：
eplane＝ax+by+cz+d 公式5
轨迹约束中，(x,y,z)Cam sim3是步骤3的输出，(x,y,z)Cam traj是步骤2.1的输出，只用translation部分作约束，轨迹约束如公式6所示：
etranslation＝|(x,y,z)cam sim3-(x,y,z)Cam traj|2 公式6
最后，根据上述两项误差项设置相应权重，进行非线性最小二乘优化，损失函数如公式3所示。权重α和β分别为平面约束和轨迹约束的权重，可人工设置。
通过上述优选实施例，由于时间同步，可以加快SFM算法中图像匹配的速度和正确率，最终获得具有真实尺度的视觉特征地图，并进一步提高SFM算法的重建精度。解决了传统SFM算法无法恢复重建地图真实尺度的问题，提高了传统SFM算法的重建精度和低纹理区的表现，提高了传统SFM算法的图像匹配速度。
应该理解的是，虽然图2至图4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2至图4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，图5是根据本发明实施例中基于激光雷达的SFM重建装置的示意图，如图5所示，提供了一种基于激光雷达的SFM重建装置，包括获取模块52、相似变换模块54和联合优化模块56：
获取模块52用于根据激光雷达数据和获取雷达轨迹和雷达地图，根据相机图像数据和SFM算法获取相机轨迹和相机地图；
相似变换模块54用于获取相机在雷达地图的坐标系中的参考轨迹，根据参考轨迹对相机轨迹进行相似变换，得到相机真实尺度轨迹；
联合优化模块56用于根据轨迹约束和SFM算法的重投影误差约束，对相机地图的真实尺度进行非线性联合优化，相机地图的真实尺度根据所述相机真实尺度轨迹确定，轨迹约束指示相机真实尺度轨迹和参考轨迹的差值的平方。
在一个实施例中，该装置还包括平面模块，平面模块用于对雷达地图进行平面检测，得到激光雷达点云平面；联合优化模块56还用于根据轨迹约束、平面约束和SFM算法的重投影误差约束对相机真实尺度轨迹进行非线性联合优化，其中，平面约束指示与激光雷达点云平面对应的视觉点云平面上的特征点到激光雷达点云平面的距离误差。
关于基于激光雷达的SFM重建装置的具体限定可以参见上文中对于基于激光雷达的SFM重建方法的限定，在此不再赘述。上述基于激光雷达的SFM重建装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
图6是根据本发明实施例中基于激光雷达的SFM重建计算机设备的示意图，在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储基于激光雷达的SFM重建数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于激光雷达的SFM重建方法。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：根据激光雷达数据获取雷达轨迹和雷达地图，根据相机图像数据和SFM算法获取相机轨迹和相机地图；根据雷达轨迹、雷达外参和相机外参获取相机在雷达地图的坐标系中的参考轨迹，根据参考轨迹对相机轨迹进行相似变换，得到相机真实尺度轨迹，其中，雷达外参指示雷达在世界坐标系中的位姿，相机外参指示相机在世界坐标系中的位姿；根据轨迹约束和SFM算法的重投影误差约束，对相机地图的真实尺度进行非线性联合优化，相机的真实尺度根据相机真实尺度轨迹确定，轨迹约束指示相机真实尺度轨迹和参考轨迹的差值的平方。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：对雷达地图进行平面检测，得到激光雷达点云平面；根据轨迹约束、平面约束和运动恢复结构算法的重投影误差约束对相机地图的真实尺度进行非线性联合优化，其中，平面约束指示与激光雷达点云平面对应的视觉点云平面上的特征点到激光雷达点云平面的距离误差。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：平面约束指示两个或者两个以上不同的视觉点云平面上的特征点到与视觉点云平面对应的激光雷达点云平面的距离误差之和。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取与轨迹约束对应的第一权重，以及与平面约束对应的第二权重；
根据轨迹约束、第一权重、平面约束、第二权重和运动恢复结构算法的重投影误差约束，对相机地图的真实尺度进行非线性最小二乘优化。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据雷达相机外参标定和雷达轨迹，获取相机在雷达地图的坐标系中真实尺度的参考轨迹，其中，雷达相机外参标定指示雷达和相机之间的相对位姿关系。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：对激光雷达数据和相机图像数据进行时间同步。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：根据激光雷达数据获取雷达轨迹和雷达地图，根据相机图像数据和SFM算法获取相机轨迹和相机地图；根据雷达轨迹、雷达外参和相机外参获取相机在雷达地图的坐标系中的参考轨迹，根据参考轨迹对相机轨迹进行相似变换，得到相机真实尺度轨迹，其中，雷达外参指示雷达在世界坐标系中的位姿，相机外参指示相机在世界坐标系中的位姿；根据轨迹约束和SFM算法的重投影误差约束，对相机地图的真实尺度进行非线性联合优化，相机的真实尺度根据相机真实尺度轨迹确定，轨迹约束指示相机真实尺度轨迹和参考轨迹的差值的平方。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：对雷达地图进行平面检测，得到激光雷达点云平面；根据轨迹约束、平面约束和运动恢复结构算法的重投影误差约束对相机地图的真实尺度进行非线性联合优化，其中，平面约束指示与激光雷达点云平面对应的视觉点云平面上的特征点到激光雷达点云平面的距离误差。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：平面约束指示两个或者两个以上不同的视觉点云平面上的特征点到与视觉点云平面对应的激光雷达点云平面的距离误差之和。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取与所述轨迹约束对应的第一权重，以及与所述平面约束对应的第二权重；根据所述轨迹约束、所述第一权重、所述平面约束、所述第二权重和所述运动恢复结构算法的重投影误差约束，对所述相机地图的真实尺度进行非线性最小二乘优化。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据雷达相机外参标定和雷达轨迹，获取相机在雷达地图的坐标系中真实尺度的参考轨迹，其中，雷达相机外参标定指示雷达和相机之间的相对位姿关系。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：对激光雷达数据和相机图像数据进行时间同步。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于激光雷达的SFM重建方法，其特征在于，所述方法包括：
根据激光雷达数据获取雷达轨迹和雷达地图，根据相机图像数据和SFM算法获取相机轨迹和相机地图；
根据所述雷达轨迹、雷达外参和相机外参获取所述相机在所述雷达地图的坐标系中的参考轨迹，根据所述参考轨迹对所述相机轨迹进行相似变换，得到相机真实尺度轨迹，其中，所述雷达外参指示所述雷达在世界坐标系中的位姿，所述相机外参指示所述相机在所述世界坐标系中的位姿；
根据轨迹约束和所述SFM算法的重投影误差约束，对所述相机地图的真实尺度进行非线性联合优化，所述相机地图的真实尺度根据所述相机真实尺度轨迹确定，所述轨迹约束指示所述相机真实尺度轨迹和所述参考轨迹的差值的平方。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对所述雷达地图进行平面检测，得到激光雷达点云平面；
根据所述轨迹约束、平面约束和所述SFM算法的重投影误差约束对所述相机地图的真实尺度进行非线性联合优化，其中，所述平面约束指示与所述激光雷达点云平面对应的视觉点云平面上的特征点到所述激光雷达点云平面的距离误差。
3.根据权利要求2所述的方法，其特征在于，所述平面约束指示两个或者两个以上不同的视觉点云平面上的特征点到与所述视觉点云平面对应的激光雷达点云平面的距离误差之和。
4.根据权利要求2所述的方法，其特征在于，所述根据所述轨迹约束、平面约束和所述SFM算法的重投影误差约束对所述相机地图的真实尺度进行非线性联合优化包括：
获取与所述轨迹约束对应的第一权重，以及与所述平面约束对应的第二权重；
根据所述轨迹约束、所述第一权重、所述平面约束、所述第二权重和所述SFM算法的重投影误差约束，对所述相机地图的真实尺度进行非线性最小二乘优化。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述根据所述雷达轨迹、雷达外参和相机外参获取所述相机在所述雷达地图的坐标系中的参考轨迹包括：
根据雷达相机外参标定和所述雷达轨迹，获取所述相机在所述雷达地图的坐标系中真实尺度的参考轨迹，其中，所述雷达相机外参标定指示所述雷达和所述相机之间的相对位姿关系。
6.根据权利要求1至4任一项所述的方法，其特征在于，所述根据激光雷达数据获取雷达轨迹和雷达地图，根据相机图像数据和SFM算法获取相机轨迹和相机地图之前，所述方法包括：
对所述激光雷达数据和所述相机图像数据进行时间同步。
7.一种基于激光雷达的SFM重建装置，其特征在于，所述装置包括获取模块、相似变换模块和联合优化模块：
所述获取模块用于根据激光雷达数据和获取雷达轨迹和雷达地图，根据相机图像数据和SFM算法获取相机轨迹和相机地图；
所述相似变换模块用于获取所述相机在所述雷达地图的坐标系中的参考轨迹，根据所述参考轨迹对所述相机轨迹进行相似变换，得到相机真实尺度轨迹；
所述联合优化模块用于根据轨迹约束和所述SFM算法的重投影误差约束，对所述相机地图的真实尺度进行非线性联合优化，所述相机地图的真实尺度根据所述相机真实尺度轨迹确定，所述轨迹约束指示所述相机真实尺度轨迹和所述参考轨迹的差值的平方。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括平面模块，
所述平面模块用于对所述雷达地图进行平面检测，得到激光雷达点云平面；
所述联合优化模块还用于根据所述轨迹约束、平面约束和所述SFM算法的重投影误差约束对所述相机真实尺度轨迹进行非线性联合优化，其中，所述平面约束指示与所述激光雷达点云平面对应的视觉点云平面上的特征点到所述激光雷达点云平面的距离误差。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN202011014828.4A 2020-09-24 2020-09-24 基于激光雷达的sfm重建方法、装置和计算机设备 Active CN112184768B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011014828.4A CN112184768B (zh) 2020-09-24 2020-09-24 基于激光雷达的sfm重建方法、装置和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011014828.4A CN112184768B (zh) 2020-09-24 2020-09-24 基于激光雷达的sfm重建方法、装置和计算机设备

Publications (2)

Publication Number Publication Date
CN112184768A true CN112184768A (zh) 2021-01-05
CN112184768B CN112184768B (zh) 2023-10-31

Family

ID=73956549

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011014828.4A Active CN112184768B (zh) 2020-09-24 2020-09-24 基于激光雷达的sfm重建方法、装置和计算机设备

Country Status (1)

Country Link
CN (1) CN112184768B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113126117A (zh) * 2021-04-15 2021-07-16 湖北亿咖通科技有限公司 一种确定sfm地图绝对尺度的方法及电子设备
CN113256804A (zh) * 2021-06-28 2021-08-13 湖北亿咖通科技有限公司 一种三维重建尺度恢复方法、装置、电子设备及存储介质
CN113554712A (zh) * 2021-06-29 2021-10-26 北京百度网讯科技有限公司 自动驾驶车辆的配准方法、装置、电子设备和车辆
CN113625288A (zh) * 2021-06-15 2021-11-09 中国科学院自动化研究所 基于点云配准的相机与激光雷达位姿标定方法和装置
CN116503566A (zh) * 2023-06-25 2023-07-28 深圳市其域创新科技有限公司 一种三维建模方法、装置、电子设备及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201716533D0 (en) * 2017-10-09 2017-11-22 Nokia Technologies Oy Methods and apparatuses for depth rectification processing
CN108062769A (zh) * 2017-12-22 2018-05-22 中山大学 一种用于三维重建的快速深度恢复方法
US20190051056A1 (en) * 2017-08-11 2019-02-14 Sri International Augmenting reality using semantic segmentation
CN109461208A (zh) * 2018-11-15 2019-03-12 网易（杭州）网络有限公司 三维地图处理方法、装置、介质和计算设备
CN109597087A (zh) * 2018-11-15 2019-04-09 天津大学 一种基于点云数据的3d目标检测方法
US20190204434A1 (en) * 2017-12-31 2019-07-04 Elta Systems Ltd. System and method for integration of data received from gmti radars and electro optical sensors
US20190353784A1 (en) * 2017-01-26 2019-11-21 Mobileye Vision Technologies Ltd. Vehicle navigation based on aligned image and lidar information
CN110796683A (zh) * 2019-10-15 2020-02-14 浙江工业大学 一种基于视觉特征联合激光slam的重定位方法
CN111207774A (zh) * 2020-01-17 2020-05-29 山东大学 一种用于激光-imu外参标定的方法及系统
CN111402429A (zh) * 2020-06-08 2020-07-10 成都索贝数码科技股份有限公司 一种尺度还原、三维重建方法、系统、存储介质及设备
CN111538032A (zh) * 2020-05-19 2020-08-14 北京数字绿土科技有限公司 基于相机和激光雷达独立制图轨迹的时间同步方法和装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190353784A1 (en) * 2017-01-26 2019-11-21 Mobileye Vision Technologies Ltd. Vehicle navigation based on aligned image and lidar information
US20190051056A1 (en) * 2017-08-11 2019-02-14 Sri International Augmenting reality using semantic segmentation
GB201716533D0 (en) * 2017-10-09 2017-11-22 Nokia Technologies Oy Methods and apparatuses for depth rectification processing
CN108062769A (zh) * 2017-12-22 2018-05-22 中山大学 一种用于三维重建的快速深度恢复方法
US20190204434A1 (en) * 2017-12-31 2019-07-04 Elta Systems Ltd. System and method for integration of data received from gmti radars and electro optical sensors
CN109461208A (zh) * 2018-11-15 2019-03-12 网易（杭州）网络有限公司 三维地图处理方法、装置、介质和计算设备
CN109597087A (zh) * 2018-11-15 2019-04-09 天津大学 一种基于点云数据的3d目标检测方法
CN110796683A (zh) * 2019-10-15 2020-02-14 浙江工业大学 一种基于视觉特征联合激光slam的重定位方法
CN111207774A (zh) * 2020-01-17 2020-05-29 山东大学 一种用于激光-imu外参标定的方法及系统
CN111538032A (zh) * 2020-05-19 2020-08-14 北京数字绿土科技有限公司 基于相机和激光雷达独立制图轨迹的时间同步方法和装置
CN111402429A (zh) * 2020-06-08 2020-07-10 成都索贝数码科技股份有限公司 一种尺度还原、三维重建方法、系统、存储介质及设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HONGMIN LIU,XINCHENG TANG,ET.AL: "Depth-map completion for large indoor scene reconstruction", PATTERN RECOGNITION *
QUENTIN PENTEK,POL KENNEL,ET.AL: "A flexible targetless LiDAR-GNSS/INS-camera calibration method for UAV platforms", ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING, pages 66 *
张吴明，李丹，陈一铭等: "联合地基激光雷达与无人机摄影测量技术提取树高研究", 北京师范大学学报（自然科学版） *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113126117A (zh) * 2021-04-15 2021-07-16 湖北亿咖通科技有限公司 一种确定sfm地图绝对尺度的方法及电子设备
CN113126117B (zh) * 2021-04-15 2021-08-27 湖北亿咖通科技有限公司 一种确定sfm地图绝对尺度的方法及电子设备
CN113625288A (zh) * 2021-06-15 2021-11-09 中国科学院自动化研究所 基于点云配准的相机与激光雷达位姿标定方法和装置
CN113256804A (zh) * 2021-06-28 2021-08-13 湖北亿咖通科技有限公司 一种三维重建尺度恢复方法、装置、电子设备及存储介质
CN113554712A (zh) * 2021-06-29 2021-10-26 北京百度网讯科技有限公司 自动驾驶车辆的配准方法、装置、电子设备和车辆
CN116503566A (zh) * 2023-06-25 2023-07-28 深圳市其域创新科技有限公司 一种三维建模方法、装置、电子设备及存储介质
CN116503566B (zh) * 2023-06-25 2024-03-29 深圳市其域创新科技有限公司 一种三维建模方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN112184768B (zh) 2023-10-31

Similar Documents

Publication Publication Date Title
CN112184768A (zh) 基于激光雷达的sfm重建方法、装置和计算机设备
CN111598993B (zh) 基于多视角成像技术的三维数据重建方法、装置
US11010924B2 (en) Method and device for determining external parameter of stereoscopic camera
CN109683699B (zh) 基于深度学习实现增强现实的方法、装置及移动终端
US20170330375A1 (en) Data Processing Method and Apparatus
US11816810B2 (en) 3-D reconstruction using augmented reality frameworks
CN111127524A (zh) 一种轨迹跟踪与三维重建方法、系统及装置
CN111862299A (zh) 人体三维模型构建方法、装置、机器人和存储介质
CN111047622B (zh) 视频中对象的匹配方法和装置、存储介质及电子装置
CN112444798A (zh) 多传感器设备时空外参标定方法、装置以及计算机设备
CN111179309B (zh) 一种跟踪方法及设备
CN115546379A (zh) 一种数据处理方法、装置和计算机设备
CN115294280A (zh) 三维重建方法、装置、设备、存储介质和程序产品
CN110580737B (zh) 图像处理方法、系统以及具有存储功能的装置
CN113446933A (zh) 用于多三维传感器的外参标定方法、装置和系统
CN117437552B (zh) 视觉定位地图的构建方法及装置、设备及存储介质
CN112767484B (zh) 定位模型的融合方法、定位方法、电子装置
CN117351140B (zh) 融合全景相机和激光雷达的三维重建方法、装置及设备
US12002227B1 (en) Deep partial point cloud registration of objects
CN109949232B (zh) 图像与rtk结合的测量方法、系统、电子设备及介质
CN113781583B (zh) 相机自标定方法、装置、设备和介质
CN113920267B (zh) 三维场景模型构建方法、装置、设备及存储介质
CN111879306B (zh) 视觉惯性定位的方法、装置、系统和计算机设备
Li et al. Application of improved SFM adaptive threshold algorithm in automatic 3D reconstruction of remote sensing images
CA3239769A1 (en) System and methods for validating imagery pipelines

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant