CN111882655B - 三维重建的方法、装置、系统、计算机设备和存储介质 - Google Patents

三维重建的方法、装置、系统、计算机设备和存储介质 Download PDF

Info

Publication number
CN111882655B
CN111882655B CN202010565454.9A CN202010565454A CN111882655B CN 111882655 B CN111882655 B CN 111882655B CN 202010565454 A CN202010565454 A CN 202010565454A CN 111882655 B CN111882655 B CN 111882655B
Authority
CN
China
Prior art keywords
track
laser radar
acquiring
image capturing
dimensional reconstruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010565454.9A
Other languages
English (en)
Other versions
CN111882655A (zh
Inventor
王成
刘海伟
丛林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Yixian Advanced Technology Co ltd
Original Assignee
Hangzhou Yixian Advanced Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Yixian Advanced Technology Co ltd filed Critical Hangzhou Yixian Advanced Technology Co ltd
Priority to CN202010565454.9A priority Critical patent/CN111882655B/zh
Publication of CN111882655A publication Critical patent/CN111882655A/zh
Application granted granted Critical
Publication of CN111882655B publication Critical patent/CN111882655B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Abstract

本申请涉及一种三维重建的方法、装置、系统、计算机设备和存储介质，其中，该方法包括：根据第一摄像设备的内参标定，获取激光雷达和该第一摄像设备的外参标定；并获取该激光雷达、该第一摄像设备和第二摄像设备的同步时间戳；根据激光雷达的激光雷达轨迹，并根据外参标定获取该第一摄像设备的第一轨迹；根据同步时间戳和第一轨迹获取该第二摄像设备的第二轨迹，进而获取第一摄像设备和第二摄像设备之间的匹配对；根据匹配对获取特征匹配结果，并根据特征匹配结果，获取SFM算法的输出结果；根据输出结果和外参标定，确定激光雷达坐标系下真实尺度的三维重建，解决了三维重建的标定成本高，且设备灵活性差的问题。

Description

三维重建的方法、装置、系统、计算机设备和存储介质
技术领域
本申请涉及计算机视觉技术领域，特别是涉及三维重建的方法、装置、系统、计算机设备和存储介质。
背景技术
三维重建是指对三维物体建立适合计算机表示和处理的数学模型，是在计算机环境下对其进行处理、操作和分析其性质的基础，也是在计算机中建立表达客观世界的虚拟现实的关键技术。通过三维重建技术，可以获取包括结构、纹理、尺度等物体的完整三维信息。
在相关技术中，可以通过三维重建技术，对激光雷达和多相机组成的多传感器系统融合建图，建立的地图能够应用于无人机、导弹、探月机器人、扫地机器人或增强现实(Augmented Reality，简称为AR)等领域；然而，在相关技术的上述多传感器系统三维重建过程中，必须标定多个相机的内参、多个相机之间的外参，以及其中一个相机跟激光雷达之间的外参，因此标定工作繁琐，导致搭建一套三维重建设备时标定成本过高，且标定好的设备不允许随意拆卸，灵活性较差。
目前针对相关技术中三维重建的标定成本高，且三维重建设备灵活性差的问题，尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种三维重建的方法、装置、系统、计算机设备和存储介质，以至少解决相关技术中三维重建的标定成本高，且设备灵活性差的问题。
第一方面，本申请实施例提供了一种三维重建的方法，其特征在于，所述方法包括：
根据第一摄像设备的内参标定，获取激光雷达和所述第一摄像设备的外参标定；并获取所述激光雷达、所述第一摄像设备和第二摄像设备的同步时间戳；
根据所述激光雷达的激光雷达轨迹，并根据所述外参标定和所述同步时间戳获取所述第一摄像设备的第一轨迹；根据所述同步时间戳和所述第一轨迹获取所述第二摄像设备的第二轨迹；
根据所述第一轨迹和所述第二轨迹，获取所述第一摄像设备和所述第二摄像设备之间的匹配对；根据所述匹配对获取特征匹配结果，并根据所述特征匹配结果，获取通过运动恢复结构(structure from motion，简称为SFM)算法的输出结果；
根据所述输出结果和所述外参标定，获取尺度恢复和坐标对齐的校正结果，进而根据所述校正结果确定激光雷达坐标系下真实尺度的三维重建。
在其中一些实施例中，所述根据所述第一轨迹和所述第二轨迹，获取所述第一摄像设备和所述第二摄像设备之间的匹配对包括：
遍历所述第一轨迹和所述第二轨迹，确定所述第一摄像设备和所述第二摄像设备之间的距离信息；
在所述距离信息小于或者等于预设距离的情况下，确定所述匹配对。
在其中一些实施例中，所述根据所述匹配对获取特征匹配结果包括：
提取所述匹配对的特征点进行匹配，进而获取所述特征点的对应关系；根据所述对应关系确定所述特征匹配结果，并确定几何校验结果。
在其中一些实施例中，所述根据所述特征匹配结果，获取SFM算法的输出结果包括：
根据所述特征匹配结果和所述几何校验结果，利用光束平差BundleAdjustment技术获取所述输出结果。
在其中一些实施例中，所述第一摄像设备和所述第二摄像设备均包括以下至少之一：工业相机、运动相机、单反相机或手机；以及，所述第二摄像设备设置为可拆卸、可移动设备。
第二方面，本申请实施例提供了一种三维重建的装置，所述装置包括：标定模块、轨迹模块、重建模块和获取模块；
所述标定模块，用于根据第一摄像设备的内参标定，获取激光雷达和所述第一摄像设备的外参标定；所述标定模块获取所述激光雷达、所述第一摄像设备和第二摄像设备的同步时间戳；
所述轨迹模块，用于根据所述激光雷达的激光雷达轨迹，并根据所述外参标定和所述同步时间戳获取所述第一摄像设备的第一轨迹；所述轨迹模块根据所述同步时间戳和所述第一轨迹获取所述第二摄像设备的第二轨迹；
所述重建模块，用于根据所述第一轨迹和所述第二轨迹，获取所述第一摄像设备和所述第二摄像设备之间的匹配对；所述重建模块根据所述匹配对获取特征匹配结果，并根据所述特征匹配结果，获取SFM算法的输出结果；
所述获取模块，用于根据所述输出结果和所述外参标定，获取尺度恢复和坐标对齐的校正结果，进而根据所述校正结果确定激光雷达坐标系下真实尺度的三维重建。
第三方面，本申请实施例提供了一种三维重建的系统，所述系统包括：激光雷达、第一摄像设备、第二摄像设备和控制设备；
所述控制设备根据所述第一摄像设备的内参标定，获取所述激光雷达和所述第一摄像设备的外参标定；所述控制设备获取所述激光雷达、所述第一摄像设备和第二摄像设备的同步时间戳；
所述控制设备根据所述激光雷达的激光雷达轨迹，并根据所述外参标定获和所述同步时间戳取所述第一摄像设备的第一轨迹；所述控制设备根据所述同步时间戳和所述第一轨迹获取所述第二摄像设备的第二轨迹；
所述控制设备根据所述第一轨迹和所述第二轨迹，获取所述摄像设备和所述第二摄像设备之间的匹配对；所述控制设备根据所述匹配对，获取空间穷举的特征匹配，根据所述特征匹配，获取SFM算法的输出结果；
所述控制设备根据所述输出结果和所述外参标定，获取尺度恢复和坐标对齐的校正结果，进而根据所述校正结果确定激光雷达坐标系下真实尺度的三维重建。
在其中一些实施例中，所述第一摄像设备和所述第二摄像设备均包括以下至少之一：工业相机、运动相机、单反相机或手机；以及，所述第二摄像设备设置为可拆卸、可移动设备。
第四方面，本申请实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的三维重建的方法。
第五方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的三维重建的方法。
相比于相关技术，本申请实施例提供的三维重建的方法、装置、系统、计算机设备和存储介质，通过根据第一摄像设备的内参标定，获取激光雷达和该第一摄像设备的外参标定；并获取激光雷达、第一摄像设备和第二摄像设备的同步时间戳；根据激光雷达的激光雷达轨迹，并根据外参标定和同步时间戳获取该第一摄像设备的第一轨迹；根据同步时间戳和第一轨迹获取第二摄像设备的第二轨迹，进而获取第一摄像设备和第二摄像设备之间的匹配对；根据匹配对获取特征匹配结果，并根据特征匹配结果，获取SFM算法的输出结果；根据输出结果和外参标定，获取尺度恢复和坐标对齐的校正结果，根据校正结果确定激光雷达坐标系下真实尺度的三维重建，解决了三维重建的标定成本高，且设备灵活性差的问题。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为根据本申请实施例的三维重建应用场景的示意图；
图2为根据本申请实施例的三维重建方法的流程图一；
图3为根据本申请实施例的几何模型的示意图一；
图4为根据本申请实施例的几何模型的示意图二；
图5为根据本申请实施例的三维重建方法的流程图二；
图6为根据本申请实施例的三维重建方法的示意图；
图7为根据本申请实施例的三维重建装置的结构框图；
图8为根据本申请实施例的三维重建系统的结构框图；
图9为根据本申请实施例的计算机设备的硬件结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
在本实施例中，提供了一种三维重建方法的应用场景，图1为根据本申请实施例的三维重建应用场景的示意图，如图1所示，在该应用环境中，包括激光雷达和多个摄像设备；对于动态采集的“激光雷达-环视多相机-系统”，一般需要激光雷达和多个摄像设备绑在同一个刚体上；获取其中一个摄像设备的内参标定，根据该内参标定获取该摄像设备和激光雷达之间的外参标定；然后获取各摄像设备的轨迹，根据该轨迹利用空间穷举的方式进行特征匹配，并获取SFM算法的输出结果；最后根据该输出结果和该外参标定确定三维重建的结果。
在本实施例中，提供了一种三维重建的方法，图2为根据本申请实施例的三维重建方法的流程图一，如图2所示，该方法包括如下步骤：
步骤S202，根据第一摄像设备的内参标定，获取激光雷达和该第一摄像设备的外参标定；并获取该激光雷达、该第一摄像设备和第二摄像设备的同步时间戳；其中，该激光雷达和该第一摄像设备均可以通过ROS记录时间，该第二摄像设备可以通过互联网同步时间。
需要说明的是，内参标定是根据建好的第一摄像设备模型(如针孔相机或鱼眼相机等)，以及已知几何信息的标定板(如已知每个方格边长的黑白板)，使用第一摄像设备采集标定板的数据，求解第一摄像设备模型的参数。外参标定(extrinsic calibration)是指：绑在同一个刚体(rigid body)的不同传感器之间的相对位姿(pose)关系，称之为“外参(extrinsic)”，求解这个位姿(pose)的过程，称之为外参标定。其中，该第一摄像设备的数量不限定，而在本申请实施例中该第一摄像设备只需要设置一个即可，也就是说，本申请只需要获取一个内参标定和一个外参标定以进行三维重建。
步骤S204，通过雷达同时定位与建图(Lidar Simultaneous Localization AndMapping，简称为Lidar SLAM)算法得到激光雷达的3D激光雷达轨迹；根据该外参标定，以及该激光雷达与该第一摄像设备之间的同步时间戳差值，将该激光雷达轨迹转换为该第一摄像设备的第一轨迹，进而可以获取到该第一轨迹。
然后根据该第一摄像设备和该第二摄像设备之间的同步时间戳，以及该第一轨迹，获取该第二摄像设备的第二轨迹；即通过该同步时间戳找到最近的该第一摄像设备的两帧位姿，再通过插值算法，得到该第二摄像设备的位姿，该第二摄像设备可以为多个；由于此时没有标定过该第二摄像设备与该激光雷达之间的外参，而且该同步时间戳也有误差，因此获取到的该第二轨迹是较为粗糙的轨迹。
其中，获取同步时间戳的方式可以为：通过网络同步该摄像设备的时间，直接获取该同步时间戳；或者，也可以将互联网同步时间转成同一操作系统下的时间，例如linux系统时间或Windows系统时间。并且，在相关技术中各设备之间的时间误差会导致最终结果误差较大，故必须实现精确时间同步，而本申请三维重建的过程中只需要获取粗糙的第二轨迹即可，无需精确的时间同步；由于精确的时间同步都是通过硬件同步，因此与相关技术相比，本申请实施例可以有效节省硬件成本，降低硬件系统门槛。
步骤S206，根据该第一轨迹和该第二轨迹，获取该第一摄像设备和该第二摄像设备之间的匹配对，根据该匹配对获取特征匹配结果；其中，该匹配对为各个摄像设备两两之间的图像序列匹配对，可以通过两帧图像之间的特征描述子穷举匹配对；例如，在特征描述子之间的距离小于一定阈值的情况下可以认为这两个特征描述子匹配，则具有超过一定数目的特征描述子匹配的图像对则为特征匹配；然后根据该特征匹配结果，获取SFM算法的输出结果。
在其中一些实施例中，提取该匹配对的特征点进行匹配，进而获取该特征点的对应关系；根据该对应关系确定该特征匹配结果，并确定几何校验结果；其中，该几何校验结果可以通过基础矩阵(fundamental matrix)或者单应性矩阵(homography matrix)的几何约束算法进行几何校验获取。需要说明的是，在获取该特征匹配结果后，可以利用三角化技术恢复出该特征点的3D坐标；图3为根据本申请实施例的几何模型的示意图一，如图3所示，图中为带噪声的几何模型，求解得到的三维点与实际三维点之间存在由像素残差导致的误差；其中使用两帧图像的几何约束，对一对对应的像素点，并求解得到该对像素点对应的三维点位置，以及第二图像相对第一图像的位姿，以便获取三维重建输出结果。
在其中一些实施例中，根据该特征匹配结果和该几何校验结果，获取该第一摄像设备和该第二摄像设备之间的矩阵结果；该矩阵结果可以为基础矩阵(fundamentalmatrix)或单应性矩阵(homography matrix)。然后根据所述矩阵结果获取到位置关系，并根据该位置关系，利用BundleAdjustment技术获取该输出结果；其中，图4为根据本申请实施例的几何模型的示意图二，如图4所示，给定多张有共同视场的图像，以某一帧图像的位姿为参考坐标系，从所有图像中提取地标(landmark)特征，同时优化该特征在参考坐标系中的三维位置和图像在参考坐标系中三维位姿(pose)；并且，在光线约束的条件下可以通过优化平均误差，从而提高算法的准确性。
步骤S208，由于该输出结果中是任意尺度的三维重建，因此需要利用步骤S202中获得的外参标定，可以通过鲁棒性迭代最近点(Iterative Closest Point，简称为ICP)算法对该输出结果进行尺度恢复和坐标对齐，进而获取尺度恢复和坐标对齐的校正结果，并根据该校正结果确定激光雷达坐标系下真实尺度的三维重建。
在相关技术中，多传感器系统的三维重建需要标定的工作量非常大；其次在现成的环视多相机系统中，例如ladybug，对于用户来说可以简化标定流程，只需要标定ladybug的其中一个相机和激光雷达之间的外参，但是总的标定工作量仍然不变，只是厂商实现做好相机的标定，由厂商提供每个相机的内参和多相机之间的外参。
而本申请实施例通过上述步骤S202至步骤S208，只需要获取一个第一摄像设备的内参标定，以及一个该第一摄像设备与激光雷达之间的外参标定，然后通过空间穷举的方式匹配特征，进而利用外参标定对三维重建的输出进行尺度恢复和坐标对齐，计算获得激光雷达坐标系下真实尺度的三维重建，因此减少了三维重建中的总标定量；同时在相关技术中，绑在同一刚体的传感器标定后一般不允许拆卸，否则外参精度会有影响，而本申请实施例由于减少了总的标定工作量，因此允许各摄像设备拆卸，增加了设备的灵活性，从而解决了三维重建的标定成本高，且设备灵活性差的问题。
在其中一些实施例中，提供了一种三维重建的方法，图5为根据本申请实施例的三维重建方法的流程图二，如图5所示，该方法包括如下步骤：
步骤S502，遍历该第一轨迹和该第二轨迹，确定该第一摄像设备和该第二摄像设备之间的距离信息；可以理解的是，该距离信息可以为该第一摄像设备和该第二摄像设备之间的欧式距离。
其中，在该距离信息小于或者等于预设距离的情况下确定该匹配对；该预设距离可以为出厂设置，也可以由用户进行设置或修改；例如，该预设距离可以设置为3米，则在有两个摄像设备之间的欧式距离小于或等于3米的情况下，说明此时这两个摄像设备距离接近，可以将这两个摄像设备的图像序列作为匹配对。
通过上述步骤S502，通过空间遍历的方式检验各个摄像设备两两之间的距离，并选取距离较近时的图像作为匹配对，从而通过先验各摄像设备位置关系的方式，避免了特征匹配过程中遍历产生多余计算，减小了计算开销，进一步提高了三维重建方法的效率。
在其中一些实施例中，第一摄像设备和第二摄像设备均包括以下至少之一：工业相机、运动相机、单反相机或手机；以及，该第二摄像设备设置为可拆卸、可移动设备；其中，本申请实施例允许作为该第二摄像设备的工业相机、运动相机、单反相机或者手机拆卸，允许使用任意品牌的手机，对手机图像的分辨率也没有限制，并且每次拆卸都可以更改位置；其中，该拆卸的更改位置仅仅受限于设备；例如，由于图像匹配需要重叠视野，每次更换的位置都需要保证相邻两帧有一定的公共视野。
通过上述实施例，可以将该第一摄像设备和该第二摄像设备设置为手机，即使用功能更为丰富的普通手机替换工业相机、运动相机或单反相机等，因此可以增加设备利用率；同时，使用手机采集数据，所构建的地图更适配手机AR场景。此外，本申请实施例中该第二摄像设备可以任意拆卸和移动位置，使得配置更为灵活。
应该理解的是，虽然图2和图5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2和图5的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
下面结合实际应用场景对本发明的实施例进行详细说明，图6为根据本申请实施例的三维重建方法的示意图，如图6所示，根据获取的第一摄像设备Cam0的内参标定，确定Cam0和激光雷达Lidar之间的外参标定；通过Lidar SLAM算法获取Lidar轨迹；通过外参标定，以及Lidar和Cam0之间的同步时间戳差值获取精确的Cam0轨迹；通过Cam0和Cami之间的同步时间戳找到最近的Cam0前后两帧位姿，进行插值作为Cami的位姿，进而获取粗糙Cami轨迹；通过各轨迹进行空间穷举特征匹配，通过SFM算法获取任意尺度三维重建的输出结果；根据该输出结果和该外参标定最终确定Lidar坐标系下真实尺度的三维重建。
在本实施例中，提供了一种三维重建的装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图7为根据本申请实施例的三维重建装置的结构框图，如图7所示，该装置包括：标定模块72、轨迹模块74、重建模块76和获取模块78；该标定模块72，用于根据第一摄像设备的内参标定，获取激光雷达和该第一摄像设备的外参标定；该标定模块72获取该激光雷达、该第一摄像设备和该摄像设备的同步时间戳；该轨迹模块74，用于根据该激光雷达的激光雷达轨迹，并根据该外参标定获取该第一摄像设备的第一轨迹；该轨迹模块74根据该同步时间戳和该第一轨迹获取该第二摄像设备的第二轨迹。
该重建模块76，用于根据该第一轨迹和该第二轨迹，获取该第一摄像设备和该第二摄像设备之间的匹配对；该重建模块76根据该匹配对获取特征匹配结果，并根据该特征匹配结果获取SFM算法的输出结果；该获取模块78，用于根据该输出结果和该外参标定，获取尺度恢复和坐标对齐的校正结果，进而根据该校正结果确定激光雷达坐标系下真实尺度的三维重建。
通过上述实施例，第一轨迹模块72只需要获取一个第一摄像设备的内参标定，以及一个该第一摄像设备与激光雷达之间的外参标定，然后重建模块76通过空间穷举的方式匹配特征，进而利用外参标定对三维重建的输出进行尺度恢复和坐标对齐，获取模块78计算获得激光雷达坐标系下真实尺度的三维重建，因此减少了三维重建中的总标定量，并且增加的设备的灵活性，从而解决了三维重建的标定成本高，且设备灵活性差。
在其中一些实施例中，该重建模块76还用于遍历该第一轨迹和该第二轨迹，确定该第一摄像设备和该第二摄像设备之间的距离信息；该重建模块76在该距离信息小于或者等于预设距离的情况下，确定该匹配对。
在其中一些实施例中，该重建模块76还用于提取该匹配对的特征点进行匹配，进而获取该特征点的对应关系；该重建模块76根据该对应关系确定该特征匹配结果，并确定几何校验结果。
在其中一些实施例中，该获取模块78还用于根据该特征匹配结果和该几何校验结果，利用BundleAdjustment技术获取该输出结果。
在其中一些实施例中，该第一摄像设备和该第二摄像设备均包括以下至少之一：工业相机、运动相机、单反相机或手机；以及，该第二摄像设备设置为可拆卸、可移动设备。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
在本实施例，提供了一种三维重建的系统，图8为根据本申请实施例的三维重建系统的结构框图，如图8所示，该系统包括：激光雷达82、第一摄像设备84、第二摄像设备86和控制设备88。
该控制设备88根据该第一摄像设备84的内参标定，获取该激光雷达和该第一摄像设备84的外参标定；该控制设备88获取该激光雷达82、该第一摄像设备84和第二摄像设备86的同步时间戳；该控制设备88根据该激光雷达82的激光雷达轨迹，并根据该外参标定和该同步时间戳获取该第一摄像设备84的第一轨迹；该控制设备88根据该同步时间戳和该第一轨迹获取该第二摄像设备86的第二轨迹。
该控制设备88根据该第一轨迹和该第二轨迹，获取该摄像设备88和该第二摄像设备86之间的匹配对；该控制设备88根据该匹配对，获取空间穷举的特征匹配，根据该特征匹配，获取SFM算法的输出结果；该控制设备88根据该输出结果和该外参标定，获取尺度恢复和坐标对齐的校正结果，进而根据该校正结果确定激光雷达坐标系下真实尺度的三维重建。
通过上述实施例，控制设备88只需要获取一个第一摄像设备84的内参标定，以及一个该第一摄像设备84与激光雷达82之间的外参标定，然后通过空间穷举的方式匹配特征，进而利用外参标定对三维重建的输出进行尺度恢复和坐标对齐，计算获得激光雷达坐标系下真实尺度的三维重建，因此减少了三维重建中的总标定量，并且增加的设备的灵活性。
在其中一些实施例中，该控制设备88还用于遍历该第一轨迹和该第二轨迹，确定该第一摄像设备84和该第二摄像设备86之间的距离信息；该控制设备88在该距离信息小于或者等于预设距离的情况下，确定该匹配对。
在其中一些实施例中，该控制设备88还用于提取该匹配对的特征点进行匹配，进而获取该特征点的对应关系；该控制设备88根据该对应关系确定该特征匹配结果，并确定几何校验结果。
在其中一些实施例中，该控制设备88还用于根据该特征匹配结果和该几何校验结果，利用BundleAdjustment技术获取该输出结果。
在其中一些实施例中，该第一摄像设备84和该第二摄像设备86均包括以下至少之一：工业相机、运动相机、单反相机或手机；以及，该第二摄像设备86设置为可拆卸、可移动设备。
另外，结合图1描述的本申请实施例三维重建方法可以由计算机设备来实现。图9为根据本申请实施例的计算机设备的硬件结构示意图。
计算机设备可以包括处理器92以及存储有计算机程序指令的存储器94。
具体地，上述处理器92可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中，存储器94可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器94可包括硬盘驱动器(Hard Disk Drive，简称为HDD)、软盘驱动器、固态驱动器(SolidState Drive，简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(Universal SerialBus，简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器94可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器94可在数据处理装置的内部或外部。在特定实施例中，存储器94是非易失性(Non-Volatile)存储器。在特定实施例中，存储器94包括只读存储器(Read-Only Memory，简称为ROM)和随机存取存储器(RandomAccess Memory，简称为RAM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(Programmable Read-Only Memory，简称为PROM)、可擦除PROM(Erasable ProgrammableRead-Only Memory，简称为EPROM)、电可擦除PROM(Electrically Erasable ProgrammableRead-Only Memory，简称为EEPROM)、电可改写ROM(Electrically Alterable Read-OnlyMemory，简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器(Static Random-Access Memory，简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory，简称为DRAM)，其中，DRAM可以是快速页模式动态随机存取存储器(Fast Page Mode Dynamic Random Access Memory，简称为FPMDRAM)、扩展数据输出动态随机存取存储器(Extended Date Out Dynamic RandomAccess Memory，简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory，简称SDRAM)等。
存储器94可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器92所执行的可能的计算机程序指令。
处理器92通过读取并执行存储器94中存储的计算机程序指令，以实现上述实施例中的任意一种三维重建方法。
在其中一些实施例中，计算机设备还可包括通信接口96和总线98。其中，如图9所示，处理器92、存储器94、通信接口96通过总线98连接并完成相互间的通信。
通信接口96用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。通信端口96还可以实现与其他部件例如：外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。
总线98包括硬件、软件或两者，将计算机设备的部件彼此耦接在一起。总线98包括但不限于以下至少之一：数据总线(Data Bus)、地址总线(Address Bus)、控制总线(Control Bus)、扩展总线(Expansion Bus)、局部总线(Local Bus)。举例来说而非限制，总线98可包括图形加速接口(Accelerated Graphics Port，简称为AGP)或其他图形总线、增强工业标准架构(Extended Industry StandardArchitecture，简称为EISA)总线、前端总线(Front Side Bus，简称为FSB)、超传输(Hyper Transport，简称为HT)互连、工业标准架构(Industry Standard Architecture，简称为ISA)总线、无线带宽(InfiniBand)互连、低引脚数(Low Pin Count，简称为LPC)总线、存储器总线、微信道架构(Micro ChannelArchitecture，简称为MCA)总线、外围组件互连(Peripheral Component Interconnect，简称为PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(Serial AdvancedTechnology Attachment，简称为SATA)总线、视频电子标准协会局部(Video ElectronicsStandards Association Local Bus，简称为VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线98可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
该计算机设备可以基于获取到的外参标定，执行本申请实施例中的三维重建方法，从而实现结合图1描述的三维重建方法。
另外，结合上述实施例中的三维重建方法，本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种三维重建方法。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种三维重建的方法，其特征在于，所述方法包括：
根据第一摄像设备的内参标定，获取激光雷达和所述第一摄像设备的外参标定；并获取所述激光雷达、所述第一摄像设备和第二摄像设备的同步时间戳；
根据所述激光雷达的激光雷达轨迹，并根据所述外参标定和所述同步时间戳获取所述第一摄像设备的第一轨迹；根据所述同步时间戳和所述第一轨迹获取所述第二摄像设备的第二轨迹；
根据所述第一轨迹和所述第二轨迹，获取所述第一摄像设备和所述第二摄像设备之间的匹配对；根据所述匹配对获取特征匹配结果，并根据所述特征匹配结果，获取通过运动恢复结构SFM算法的输出结果；
根据所述输出结果和所述外参标定，获取尺度恢复和坐标对齐的校正结果，进而根据所述校正结果确定激光雷达坐标系下真实尺度的三维重建。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一轨迹和所述第二轨迹，获取所述第一摄像设备和所述第二摄像设备之间的匹配对包括：
遍历所述第一轨迹和所述第二轨迹，确定所述第一摄像设备和所述第二摄像设备之间的距离信息；
在所述距离信息小于或者等于预设距离的情况下，确定所述匹配对。
3.根据权利要求1所述的方法，其特征在于，所述根据所述匹配对获取特征匹配结果包括：
提取所述匹配对的特征点进行匹配，进而获取所述特征点的对应关系；根据所述对应关系确定所述特征匹配结果，并确定几何校验结果。
4.根据权利要求3所述的方法，其特征在于，所述根据所述特征匹配结果，获取SFM算法的输出结果包括：
根据所述特征匹配结果和所述几何校验结果，利用光束平差BundleAdjustment技术获取所述输出结果。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述第一摄像设备和所述第二摄像设备均包括以下至少之一：工业相机、运动相机、单反相机或手机；以及，所述第二摄像设备设置为可拆卸、可移动设备。
6.一种三维重建的装置，其特征在于，所述装置包括：标定模块、轨迹模块、重建模块和获取模块；
所述标定模块，用于根据第一摄像设备的内参标定，获取激光雷达和所述第一摄像设备的外参标定；所述标定模块获取所述激光雷达、所述第一摄像设备和第二摄像设备的同步时间戳；
所述轨迹模块，用于根据所述激光雷达的激光雷达轨迹，并根据所述外参标定和所述同步时间戳获取所述第一摄像设备的第一轨迹；所述轨迹模块根据所述同步时间戳和所述第一轨迹获取所述第二摄像设备的第二轨迹；
所述重建模块，用于根据所述第一轨迹和所述第二轨迹，获取所述第一摄像设备和所述第二摄像设备之间的匹配对；所述重建模块根据所述匹配对获取特征匹配结果，并根据所述特征匹配结果，获取SFM算法的输出结果；
所述获取模块，用于根据所述输出结果和所述外参标定，获取尺度恢复和坐标对齐的校正结果，进而根据所述校正结果确定激光雷达坐标系下真实尺度的三维重建。
7.一种三维重建的系统，其特征在于，所述系统包括：激光雷达、第一摄像设备、第二摄像设备和控制设备；
所述控制设备根据所述第一摄像设备的内参标定，获取所述激光雷达和所述第一摄像设备的外参标定；所述控制设备获取所述激光雷达、所述第一摄像设备和第二摄像设备的同步时间戳；
所述控制设备根据所述激光雷达的激光雷达轨迹，并根据所述外参标定和所述同步时间戳获取所述第一摄像设备的第一轨迹；所述控制设备根据所述同步时间戳和所述第一轨迹获取所述第二摄像设备的第二轨迹；
所述控制设备根据所述第一轨迹和所述第二轨迹，获取所述摄像设备和所述第二摄像设备之间的匹配对；所述控制设备根据所述匹配对，获取空间穷举的特征匹配，根据所述特征匹配，获取SFM算法的输出结果；
所述控制设备根据所述输出结果和所述外参标定，获取尺度恢复和坐标对齐的校正结果，进而根据所述校正结果确定激光雷达坐标系下真实尺度的三维重建。
8.根据权利要求7所述的系统，其特征在于，所述第一摄像设备和所述第二摄像设备均包括以下至少之一：工业相机、运动相机、单反相机或手机；以及，所述第二摄像设备设置为可拆卸、可移动设备。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述的三维重建的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至5中任一项所述的三维重建的方法。
CN202010565454.9A 2020-06-19 2020-06-19 三维重建的方法、装置、系统、计算机设备和存储介质 Active CN111882655B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010565454.9A CN111882655B (zh) 2020-06-19 2020-06-19 三维重建的方法、装置、系统、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010565454.9A CN111882655B (zh) 2020-06-19 2020-06-19 三维重建的方法、装置、系统、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN111882655A CN111882655A (zh) 2020-11-03
CN111882655B true CN111882655B (zh) 2023-07-18

Family

ID=73157967

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010565454.9A Active CN111882655B (zh) 2020-06-19 2020-06-19 三维重建的方法、装置、系统、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN111882655B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112444798B (zh) * 2020-11-27 2024-04-09 杭州易现先进科技有限公司 多传感器设备时空外参标定方法、装置以及计算机设备
CN112650422B (zh) * 2020-12-17 2022-07-29 咪咕文化科技有限公司 设备的ar交互方法、装置、电子设备及存储介质
CN113256804B (zh) * 2021-06-28 2021-10-22 湖北亿咖通科技有限公司 一种三维重建尺度恢复方法、装置、电子设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103279949A (zh) * 2013-05-09 2013-09-04 浙江大学 基于自定位机器人的多相机参数自动标定系统运行方法
CN107133987A (zh) * 2017-05-16 2017-09-05 西北工业大学 无重叠视场的相机阵列优化标定方法
CN108288292A (zh) * 2017-12-26 2018-07-17 中国科学院深圳先进技术研究院 一种三维重建方法、装置及设备
EP3382645A2 (en) * 2017-03-27 2018-10-03 3Dflow srl Method for generation of a 3d model based on structure from motion and photometric stereo of 2d sparse images
CN109345596A (zh) * 2018-09-19 2019-02-15 百度在线网络技术（北京）有限公司 多传感器标定方法、装置、计算机设备、介质和车辆
WO2019179200A1 (zh) * 2018-03-22 2019-09-26 深圳岚锋创视网络科技有限公司 多目相机的三维重建方法、vr相机和全景相机
CN110517216A (zh) * 2019-08-30 2019-11-29 的卢技术有限公司 一种基于多类型相机的slam融合方法及其系统
CN110517298A (zh) * 2019-08-27 2019-11-29 北京百度网讯科技有限公司 轨迹匹配方法和装置
CN111123912A (zh) * 2019-11-29 2020-05-08 苏州智加科技有限公司 行车定位坐标的标定方法和装置
CN111192331A (zh) * 2020-04-09 2020-05-22 浙江欣奕华智能科技有限公司 一种激光雷达和相机的外参标定方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9153025B2 (en) * 2011-08-19 2015-10-06 Adobe Systems Incorporated Plane detection and tracking for structure from motion
US10198858B2 (en) * 2017-03-27 2019-02-05 3Dflow Srl Method for 3D modelling based on structure from motion processing of sparse 2D images

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103279949A (zh) * 2013-05-09 2013-09-04 浙江大学 基于自定位机器人的多相机参数自动标定系统运行方法
EP3382645A2 (en) * 2017-03-27 2018-10-03 3Dflow srl Method for generation of a 3d model based on structure from motion and photometric stereo of 2d sparse images
CN107133987A (zh) * 2017-05-16 2017-09-05 西北工业大学 无重叠视场的相机阵列优化标定方法
CN108288292A (zh) * 2017-12-26 2018-07-17 中国科学院深圳先进技术研究院 一种三维重建方法、装置及设备
WO2019179200A1 (zh) * 2018-03-22 2019-09-26 深圳岚锋创视网络科技有限公司 多目相机的三维重建方法、vr相机和全景相机
CN109345596A (zh) * 2018-09-19 2019-02-15 百度在线网络技术（北京）有限公司 多传感器标定方法、装置、计算机设备、介质和车辆
CN110517298A (zh) * 2019-08-27 2019-11-29 北京百度网讯科技有限公司 轨迹匹配方法和装置
CN110517216A (zh) * 2019-08-30 2019-11-29 的卢技术有限公司 一种基于多类型相机的slam融合方法及其系统
CN111123912A (zh) * 2019-11-29 2020-05-08 苏州智加科技有限公司 行车定位坐标的标定方法和装置
CN111192331A (zh) * 2020-04-09 2020-05-22 浙江欣奕华智能科技有限公司 一种激光雷达和相机的外参标定方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A New Minimal Solution for the Extrinsic Calibration of a 2D LIDAR and a Camera Using Three Plane-Line Correspondences;Zhou L;IEEE Sensors Journal;第14卷(第2期);全文 *
基于SFM的移动机器人运动轨迹的计算方法研究;陈健;李晓明;苏必达;吴昊;;机电工程;第32卷(第11期);全文 *

Also Published As

Publication number Publication date
CN111882655A (zh) 2020-11-03

Similar Documents

Publication Publication Date Title
CN111882655B (zh) 三维重建的方法、装置、系统、计算机设备和存储介质
JP7143225B2 (ja) 三次元再構成方法及び三次元再構成装置
US10789765B2 (en) Three-dimensional reconstruction method
CN110264528B (zh) 一种鱼眼镜头双目像机快速自标定方法
JP7227969B2 (ja) 三次元再構成方法および三次元再構成装置
CN111127524A (zh) 一种轨迹跟踪与三维重建方法、系统及装置
CN111612731B (zh) 基于双目显微视觉的测量方法、装置、系统及介质
CN110825079A (zh) 一种地图构建方法及装置
CN114494388B (zh) 一种大视场环境下图像三维重建方法、装置、设备及介质
CN115035235A (zh) 三维重建方法及装置
WO2023005457A1 (zh) 位姿计算方法和装置、电子设备、可读存储介质
CN115471534A (zh) 基于双目视觉和imu的水下场景三维重建方法及设备
EP3189493B1 (en) Depth map based perspective correction in digital photos
CN112270748B (zh) 基于图像的三维重建方法及装置
CN111325828A (zh) 一种基于三目相机的三维人脸采集方法及装置
CN111383264B (zh) 一种定位方法、装置、终端及计算机存储介质
JP2008224323A (ja) ステレオ写真計測装置、ステレオ写真計測方法及びステレオ写真計測用プログラム
CN113129422A (zh) 一种三维模型构建方法、装置、存储介质和计算机设备
CN113763481B (zh) 一种移动场景中多相机视觉三维地图构建与自标定方法
JPWO2019211970A1 (ja) 三次元再構成方法及び三次元再構成装置
KR102225321B1 (ko) 복수 영상 센서로부터 취득한 영상 정보와 위치 정보 간 연계를 통한 도로 공간 정보 구축을 위한 시스템 및 방법
CN114387532A (zh) 边界的识别方法及其装置、终端、电子设备和无人设备
CN110148086B (zh) 稀疏深度图的深度补齐方法、装置及三维重建方法、装置
CN114494612A (zh) 构建点云地图的方法、装置和设备
WO2021167910A1 (en) A method for generating a dataset, a method for generating a neural network, and a method for constructing a model of a scene

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant