CN113888633B - 基于实时定位与建图算法的三维重建方法以及装置 - Google Patents

基于实时定位与建图算法的三维重建方法以及装置 Download PDF

Info

Publication number
CN113888633B
CN113888633B CN202111119229.3A CN202111119229A CN113888633B CN 113888633 B CN113888633 B CN 113888633B CN 202111119229 A CN202111119229 A CN 202111119229A CN 113888633 B CN113888633 B CN 113888633B
Authority
CN
China
Prior art keywords
point
result
dimensional
pose
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111119229.3A
Other languages
English (en)
Other versions
CN113888633A (zh
Inventor
张景利
蔡晔
赵仕奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qingshan Technology Co ltd
Original Assignee
Beijing Qingshan Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qingshan Technology Co ltd filed Critical Beijing Qingshan Technology Co ltd
Priority to CN202111119229.3A priority Critical patent/CN113888633B/zh
Publication of CN113888633A publication Critical patent/CN113888633A/zh
Application granted granted Critical
Publication of CN113888633B publication Critical patent/CN113888633B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/005—Tree description, e.g. octree, quadtree
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于实时定位与建图算法的三维重建方法以及装置。其中方法包括：步骤A：使用实时定位与建图算法获取三维点云地图及每时刻的位姿，同时在运行算法过程中采集渲染图片集并通过时间戳同步获得每张图像的位姿，最后通过标定算法得到相机内参；步骤B：使用PatchMatch算法将渲染图片集稠密化，得到稠密化结果；步骤C：使用泊松表面重建技术将稠密化结果网格化，得到网格化结果；步骤D：根据网格化结果、相机内参以及位姿，生成纹理图。本发明的基于实时定位与建图算法的三维重建方法和装置，可以有效解决大范围三维重建精度不高，运算时间缓慢等问题；同时可以有效地减轻复杂环境对三维重建效果的影响，具有高效、高鲁棒性的特点。

Description

基于实时定位与建图算法的三维重建方法以及装置
技术领域
本发明涉及计算机立体视觉技术领域，特别地涉及一种基于实时定位与建图(simultaneous localization and mapping，SLAM)算法的三维重建方法以及装置。
背景技术
三维重建技术在计算机图形学和计算机视觉技术领域中一直是热点话题。随着计算机硬件与软件的长足发展，凭借着中央处理器(CPU)和图形处理器(GPU)的卓越计算能力，三维重建技术的精度与逼真度也得到了极大地提升。同时，机器人、矿区以及建筑等领域也在三维重建的应用有了更加迫切的需求。三维重建技术以RGB图像作为输入，通过计算机图形学和计算机视觉技术计算出RGB图像在三维空间内的位姿并恢复出三维模型。三维重建技术的一个重点在于如何获取场景或者物体的深度信息。然而，传统基于图像的三维重建算法存在着可提取信息有限和计算复杂度过大的弊端，因而很难胜任结构复杂的地形或者是高精度的大范围三维重建。
针对三维重建，目前工业中多采取单目视觉方法，多目视觉方法以及基于深度相机的方法。单目视觉方法是指一种使用一台摄像机进行三维重建的方法。所使用的图片可为单视角的单幅或者多幅图像，也可为多视角的多幅图像。这种方式对设备要求简单可以满足大范围三维重建，但是存在图像的资源要求高，易受复杂环境干扰，运算量很大，三维重建的耗时较长的弊端。多目视觉方法原理上类似与单目视觉方法，但同样无法克服运算量大，重建运行时间长的问题。基于深度相机的方法可同时获取到RGB图像信息和深度信息，减少了纯视觉模型的深度估计时间，但仍存在数据量庞大导致的运行时间缓慢，深度数据存在误差导致的模型精度不高的问题。因此，亟需开发出高处理速度、高鲁棒性、高精度的三维重建方法和装置。
发明内容
有鉴于此，本发明提出高处理速度、高鲁棒性、高精度的基于实时定位与建图算法的三维重建方法和装置。
本发明第一方面提出基于实时定位与建图算法的三维重建方法，包括：
步骤A：使用实时定位与建图算法获取三维点云地图及每时刻的位姿，同时在运行算法过程中采集渲染图片集并通过时间戳同步获得每张图像的位姿，最后通过标定算法得到相机内参；
步骤B：使用PatchMatch算法将所述渲染图片集稠密化，得到稠密化结果；
步骤C：使用泊松表面重建技术将所述稠密化结果网格化，得到网格化结果；
步骤D：根据所述网格化结果、所述相机内参以及位姿，生成纹理图。
可选地，所述步骤A包括：
获取所述实时定位与建图算法生成的三维点云地图、相机内参K和位姿H，
通过统计滤波器去除所述三维点云地图中的飞点；
根据所述相机内参K、位姿H以及投影矩阵Projection，通过计算式(1)为去除飞点后的所述三维点云地图中的每一个点Pi分配对应可观测到该点的图像编号，以得到所述渲染图片集，其中投影矩阵Projection为
，计算式(1)为：
pi＝K·Projection·H·Pi
，pi为相机中的像素点坐标，Pi为世界坐标系中三维点的坐标，K为相机内参。
可选地，所述步骤B包括：
从所述渲染图片集依次取出连续两帧图像Ia和Ib，其图像的中心为Ca和Cb，对于两帧图像中的每一个像素点pi，在该点的视线viewray(Ca,pi)上，根据计算式(2)找到一个平面fpi使得与领域帧的聚合代价最小，在遍历图像内所有像素点后，得到每一帧图像中每一个像素点的深度并通过深度图融合，得到所述稠密化结果，
计算式(2)为：
其中fpi为最优平面，pi为图像内像素点，为视线viewray(Ca,pi)上所有有限大小平面的集合，argminx∈χf(x)表示在x的取值集合χ中使得函数f(x)值最小的x的值，m(·)为聚合代价函数，其对应的计算式(3)为：
其中，为一个以pi为中心的正方形窗口，w(pi，q)为权重函数，ρ(·)为相似性计算方程，/>和/>为构成平面/>的三个参数。
可选地，所述步骤C包括：
对所述稠密化结果中的每一个点Pi及其法向量ni采用自适应的空间网格划分方法，根据点集的位置定义八叉树，然后细分八叉树使得每一个采样点都在深度为D的叶节点；接着设置函数空间，对八叉树的每个节点设置空间函数F,F采用了盒滤波n维卷积；然后创建向量场，通过向量场V逼近指示函数的梯度；最后采用拉普拉斯矩阵迭代求解泊松方程，估计采样点的位置，然后用采样点的平均值进行等值面提取，然后用Marching Cubes算法得到等值面，以得到所述网格化结果，所述网格化结果中包括顶点V与面片Face，每一个顶点Vi由一组三维坐标确定，每一个面片Facei由三个顶点Vi,j,k的索引号组成。
可选地，所述步骤D包括：
根据所述网格化结果，根据渲染图片集中图像I，相机内参K及位姿H，生成每一个顶点Vi所对应的纹理坐标texcoordi以及该坐标所对应的纹理图，然后进行渲染，在渲染过程中每一个面片Facei通过视角选择来决定该面片由哪个特定的视角图像Ibest中的彩色信息作为显示，并将这一区域放入纹理图中，并记录该面片每个顶点对应的纹理坐标。
本发明第二方面提出基于实时定位与建图算法的三维重建装置，包括：
实时定位与建图模块，用于使用实时定位与建图算法获取高精度的三维点云文件，所述三维点云文件包括三维点云地图、相机内参以及位姿，然后根据所述三维点云文件得到渲染图片集；
稠密化处理模块，用于使用PatchMatch算法将所述渲染图片集稠密化，得到稠密化结果；
网络化处理模块，用于使用泊松表面重建技术将所述稠密化结果网格化，得到网格化结果；
纹理图生成模块，用于根据所述网格化结果、所述相机内参以及位姿，生成纹理图。
可选地，所述实时定位与建图模块还用于：
获取所述实时定位与建图算法生成的三维点云地图、相机内参K和位姿H，
通过统计滤波器去除所述三维点云地图中的飞点；
根据所述相机内参K、位姿H以及投影矩阵Projection，通过计算式(1)为去除飞点后的所述三维点云地图中的每一个点Pi分配对应可观测到该点的图像编号，以得到所述渲染图片集，其中投影矩阵Projection为
，计算式(1)为：
pi＝K·Projection·H·Pi
，pi为相机中的像素点坐标，Pi为世界坐标系中三维点的坐标，K为相机内参。
可选地，所述稠密化处理模块还用于：
从所述渲染图片集依次取出连续两帧图像Ia和Ib，其图像的中心为Ca和Cb，对于两帧图像中的每一个像素点pi，在该点的视线viewray(Ca,pi)上，根据计算式(2)找到一个平面使得与领域帧的聚合代价最小，在遍历图像内所有像素点后，得到每一帧图像中每一个像素点的深度并通过深度图融合，得到所述稠密化结果，
计算式(2)为：
其中fpi为最优平面，pi为图像内像素点，为视线viewray(Ca，pi)上所有有限大小平面的集合，argminx∈xf(x)表示在x的取值集合x中使得函数f(x)值最小的x的值，m(·)为聚合代价函数，其对应的计算式(3)为：
其中，为一个以pi为中心的正方形窗口，w(pi,q)为权重函数，ρ(·)为相似性计算方程，/>和/>为构成平面/>的三个参数。
可选地，所述网络化处理模块还用于：对所述稠密化结果中的每一个点Pi及其法向量ni构建八叉树，采用自适应的空间网格划分方法，根据点集的位置定义八叉树，然后细分八叉树使得每一个采样点都在深度为D的叶节点；接着设置函数空间，对八叉树的每个节点设置空间函数F，所有的节点函数F，基函数F采用了盒滤波n维卷积；然后创建向量场，通过向量场V逼近指示函数的梯度；最后采用拉普拉斯矩阵迭代求解泊松方程，估计采样点的位置，然后用采样点的平均值进行等值面提取，然后用Marching Cubes算法得到等值面，以得到所述网格化结果，所述网格化结果中包括顶点V与面片Face，每一个顶点Vi由一组三维坐标确定，每一个面片Facei由三个顶点Vi,j,k的索引号组成。
可选地，所述纹理图生成模块还用于：根据所述网格化结果，根据用于重建的图像I，相机内参K及位姿H，生成每一个顶点Vi所对应的纹理坐标texcoordi以及该坐标所对应的纹理图，然后进行渲染，在渲染过程中，每一个面片Facei通过视角选择来决定该面片由哪个特定的视角图像Ibest中的彩色信息作为显示，并将这一区域放入纹理图中，并记录该面片每个顶点对应的纹理坐标。
本发明的基于实时定位与建图算法的三维重建方法和装置，可以有效解决大范围三维重建精度不高，运算时间缓慢等问题；同时可以有效地减轻复杂环境对三维重建效果的影响，具有高效、高鲁棒性的特点。
附图说明
为了说明而非限制的目的，现在将根据本发明的优选实施例、特别是参考附图来描述本发明，其中：
图1是本发明实施方式的基于实时定位与建图算法的三维重建方法的流程示意图；以及
图2是本发明实施方式的基于实时定位与建图算法的三维重建装置的结构示意图。
具体实施方式
本发明实施方式中，可以选用Velodyne公司生产的VLP16线激光雷达，相机为单目相机，采用Filr公司的FFY-U3-16S2-DL相机，分辨率为1200*800，最高为20fps，惯性测量单元为Xsense公司生产的MTi-300。
图1是本发明实施方式的基于实时定位与建图算法的三维重建方法的流程示意图，主要包括步骤A至步骤D。
步骤A：使用实时定位与建图算法获取三维点云地图及每时刻的位姿，同时在运行算法过程中采集渲染图片集并通过时间戳同步获得每张图像的位姿，最后通过标定算法得到相机内参。该步骤A的目的是利用实时定位与建图生成高精度点云地图与图片及其位姿。具体过程如下。
将实时定位与建图(SLAM)生成的三维点云文件导入，再通过统计滤波器去除点云地图的飞点，然后根据相机的内参投影矩阵Projection为
，位姿通过计算式(1)为点云地图中的每一个点Pi分配对应可观测到该点的图像编号；
pi＝K·Projection·H·Pi
计算式(1)
其中，pi为相机中的像素点坐标，Pi为世界坐标系中三维点的坐标，Projection为投影矩阵，H为相机在世界坐标系中的位姿，K为相机内参。
步骤B：使用PatchMatch算法将渲染图片集稠密化，得到稠密化结果。
将上一步得到的图片集依次取出连续两帧图像Ia和Ib，其图像的中心为Ca和Cb，对于两帧图像中的每一个像素点pi，在该点的视线viewray(Ca，pi)上根据计算式(2)找到一个平面使得与领域帧的聚合代价最小。在遍历图像内所有像素点后，便可以得到每一帧图像中每一个像素点的深度并通过深度图融合稠密化三维点云；
计算式(2)
其中，为最优平面，pi为图像内像素点，/>为视线viewray(Ca,pi)上所有有限大小平面的集合，argminx∈xf(x)表示在x的取值集合x中使得函数f(x)值最小的x的值，m(·)为聚合代价函数；
计算式(3)
其中，为一个以pi为中心的正方形窗口，w(pi,q)为权重函数用于克服边界区域代价取值过大的问题，ρ(·)为相似性计算方程，/>和/>为构成平面/>的三个参数。
步骤C：使用泊松表面重建技术将稠密化结果网格化，得到网格化结果。
首先对得到的稠密点云中的每一个点Pi及其法向量ni构建八叉树，采用自适应的空间网格划分方法，根据点集的位置定义八叉树，然后细分八叉树使得每一个采样点都在深度为D的叶节点；接着设置函数空间，对八叉树的每个节点设置空间函数F，所有的节点函数F，基函数F采用了盒滤波n维卷积；然后创建向量场，通过向量场V逼近指示函数的梯度；最后采用拉普拉斯矩阵迭代求解泊松方程，估计采样点的位置，然后用采样点的平均值进行等值面提取，然后用Marching Cubes算法得到等值面。
步骤D：根据网格化结果、相机内参以及位姿，生成纹理图。
将上一步重建得到的三维网格，其中包括顶点V与面片Face，每一个顶点Vi由一组三维坐标确定，每一个面片Facei由三个顶点Vi,j,k的索引号组成，根据用于重建的图像I，相机内参K及其三维坐标H，生成每一个顶点Vi所对应的纹理坐标texcoordi以及该坐标所对应的纹理图。然后进行渲染，在渲染过程中，每一个面片Facei通过视角选择来决定该面片由哪个特定的视角图像Ibest中的彩色信息作为显示，并将这一区域放入纹理图中，并记录该面片每个顶点对应的纹理坐标。
图2是本发明实施方式的基于实时定位与建图算法的三维重建装置的结构示意图。如图2所示，该装置10包括实时定位与建图模块100、稠密化处理模块200、网络化处理模块300以及纹理图生成模块400。
实时定位与建图模块100，用于使用实时定位与建图算法获取高精度的三维点云文件，三维点云文件包括三维点云地图、相机内参以及位姿，然后根据三维点云文件得到渲染图片集。稠密化处理模块200用于使用PatchMatch算法将渲染图片集稠密化，得到稠密化结果。网络化处理模块300用于使用泊松表面重建技术将稠密化结果网格化，得到网格化结果。纹理图生成模块400用于根据网格化结果、相机内参以及位姿，生成纹理图。
本发明的基于实时定位与建图算法的三维重建方法和装置，可以有效解决大范围三维重建精度不高，运算时间缓慢等问题；同时可以有效地减轻复杂环境对三维重建效果的影响，具有高效、高鲁棒性的特点。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (6)

1.一种基于实时定位与建图算法的三维重建方法，其特征在于，包括：
步骤A：使用实时定位与建图算法获取三维点云地图及每时刻的位姿，同时在运行算法过程中采集渲染图片集并通过时间戳同步获得每张图像的位姿，最后通过标定算法得到相机内参；
步骤B：使用PatchMatch算法将所述渲染图片集稠密化，得到稠密化结果；
步骤C：使用泊松表面重建技术将所述稠密化结果网格化，得到网格化结果；
步骤D：根据所述网格化结果、所述相机内参以及位姿，生成纹理图；其中，所述步骤A包括：
获取所述实时定位与建图算法生成的三维点云地图、相机内参K和位姿H；
通过统计滤波器去除所述三维点云地图中的飞点；
根据所述相机内参K、位姿H以及投影矩阵Projection，通过计算式(1)为去除飞点后的所述三维点云地图中的每一个点Pi分配对应可观测到该点的图像编号，以得到所述渲染图片集，其中投影矩阵Projection为计算式(1)为：
pi＝K·Projection·H·Pi，pi为相机中的像素点坐标，Pi为世界坐标系中三维点的坐标，K为相机内参；
其中，所述步骤B包括：
从所述渲染图片集依次取出连续两帧图像Ia和Ib，其图像的中心为Ca和Cb，对于两帧图像中的每一个像素点pi，在该点的视线viewray(Ca,pi)上，根据计算式(2)找到一个平面使得与领域帧的聚合代价最小，在遍历图像内所有像素点后，得到每一帧图像中每一个像素点的深度并通过深度图融合，得到所述稠密化结果，
计算式(2)为：
其中为最优平面，pi为图像内像素点，/>为视线viewray(Ca,pi)上所有有限大小平面的集合，/>表示在x的取值集合χ中使得函数f(x)值最小的x的值，m(·)为聚合代价函数，其对应的计算式(3)为：
其中，为一个以pi为中心的正方形窗口，w(pi,q)为权重函数，ρ(·)为相似性计算方程，/>和/>为构成平面/>的三个参数。
2.根据权利要求1所述的方法，其特征在于，所述步骤C包括：
对所述稠密化结果中的每一个点Pi及其法向量ni采用自适应的空间网格划分方法，根据点集的位置定义八叉树，然后细分八叉树使得每一个采样点都在深度为D的叶节点；接着设置函数空间，对八叉树的每个节点设置空间函数F,F采用了盒滤波n维卷积；然后创建向量场，通过向量场V逼近指示函数的梯度；最后采用拉普拉斯矩阵迭代求解泊松方程，估计采样点的位置，然后用采样点的平均值进行等值面提取，然后用Marching Cubes算法得到等值面，以得到所述网格化结果，所述网格化结果中包括顶点V与面片Face，每一个顶点Vi由一组三维坐标确定，每一个面片Facei由三个顶点Vi,j,k的索引号组成。
3.根据权利要求2所述的方法，其特征在于，所述步骤D包括：
根据所述网格化结果，根据渲染图片集中图像I，相机内参K及位姿H，生成每一个顶点Vi所对应的纹理坐标texcoordi以及该坐标所对应的纹理图，然后进行渲染，在渲染过程中每一个面片Facei通过视角选择来决定该面片由哪个特定的视角图像Ibest中的彩色信息作为显示，并将这一区域放入纹理图中，并记录该面片每个顶点对应的纹理坐标。
4.一种基于实时定位与建图算法的三维重建装置，其特征在于，包括：
实时定位与建图模块，用于使用实时定位与建图算法获取高精度的三维点云文件，所述三维点云文件包括三维点云地图、相机内参以及位姿，然后根据所述三维点云文件得到渲染图片集；
稠密化处理模块，用于使用PatchMatch算法将所述渲染图片集稠密化，得到稠密化结果；
网络化处理模块，用于使用泊松表面重建技术将所述稠密化结果网格化，得到网格化结果；
纹理图生成模块，用于根据所述网格化结果、所述相机内参以及位姿，生成纹理图；其中，所述实时定位与建图模块还用于：
获取所述实时定位与建图算法生成的三维点云地图、相机内参K和位姿H，
通过统计滤波器去除所述三维点云地图中的飞点；
根据所述相机内参K、位姿H以及投影矩阵Projection，通过计算式(1)为去除飞点后的所述三维点云地图中的每一个点Pi分配对应可观测到该点的图像编号，以得到所述渲染图片集，其中投影矩阵Projection为计算式(1)为：
pi＝K·Projection·H·Pi，pi为相机中的像素点坐标，Pi为世界坐标系中三维点的坐标，K为相机内参；其中，所述稠密化处理模块还用于：
从所述渲染图片集依次取出连续两帧图像Ia和Ib，其图像的中心为Ca和Cb，对于两帧图像中的每一个像素点pi，在该点的视线viewray(Ca,pi)上，根据计算式(2)找到一个平面使得与领域帧的聚合代价最小，在遍历图像内所有像素点后，得到每一帧图像中每一个像素点的深度并通过深度图融合，得到所述稠密化结果，
计算式(2)为：
其中为最优平面，pi为图像内像素点，/>为视线viewray(Ca,pi)上所有有限大小平面的集合，/>表示在x的取值集合x中使得函数f(x)值最小的x的值，m(·)为聚合代价函数，其对应的计算式(3)为：
其中，为一个以pi为中心的正方形窗口，w(pi,q)为权重函数，ρ(·)为相似性计算方程，/>和/>为构成平面/>的三个参数。
5.根据权利要求4所述的装置，其特征在于，所述网络化处理模块还用于：对所述稠密化结果中的每一个点Pi及其法向量ni构建八叉树，采用自适应的空间网格划分方法，根据点集的位置定义八叉树，然后细分八叉树使得每一个采样点都在深度为D的叶节点；接着设置函数空间，对八叉树的每个节点设置空间函数F，所有的节点函数F，基函数F采用了盒滤波n维卷积；然后创建向量场，通过向量场V逼近指示函数的梯度；最后采用拉普拉斯矩阵迭代求解泊松方程，估计采样点的位置，然后用采样点的平均值进行等值面提取，然后用Marching Cubes算法得到等值面，以得到所述网格化结果，所述网格化结果中包括顶点V与面片Face，每一个顶点Vi由一组三维坐标确定，每一个面片Facei由三个顶点Vi,j,k的索引号组成。
6.根据权利要求5所述的装置，其特征在于，所述纹理图生成模块还用于：根据所述网格化结果，根据用于重建的图像I，相机内参K及位姿H，生成每一个顶点Vi所对应的纹理坐标texcoordi以及该坐标所对应的纹理图，然后进行渲染，在渲染过程中，每一个面片Facei通过视角选择来决定该面片由哪个特定的视角图像Ibest中的彩色信息作为显示，并将这一区域放入纹理图中，并记录该面片每个顶点对应的纹理坐标。
CN202111119229.3A 2021-09-24 2021-09-24 基于实时定位与建图算法的三维重建方法以及装置 Active CN113888633B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111119229.3A CN113888633B (zh) 2021-09-24 2021-09-24 基于实时定位与建图算法的三维重建方法以及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111119229.3A CN113888633B (zh) 2021-09-24 2021-09-24 基于实时定位与建图算法的三维重建方法以及装置

Publications (2)

Publication Number Publication Date
CN113888633A CN113888633A (zh) 2022-01-04
CN113888633B true CN113888633B (zh) 2024-05-31

Family

ID=79006356

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111119229.3A Active CN113888633B (zh) 2021-09-24 2021-09-24 基于实时定位与建图算法的三维重建方法以及装置

Country Status (1)

Country Link
CN (1) CN113888633B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108648270A (zh) * 2018-05-12 2018-10-12 西北工业大学 基于eg-slam的无人机实时三维场景重建方法
CN110728671A (zh) * 2019-10-15 2020-01-24 西安电子科技大学 基于视觉的无纹理场景的稠密重建方法
CN113178009A (zh) * 2021-04-19 2021-07-27 中国人民解放军陆军工程大学 一种利用点云分割和网格修补的室内三维重建方法
CN113345063A (zh) * 2021-08-05 2021-09-03 南京万生华态科技有限公司 基于深度学习的pbr三维重建方法、系统与计算机存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103914874B (zh) * 2014-04-08 2017-02-01 中山大学 一种无特征提取的紧致sfm三维重建方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108648270A (zh) * 2018-05-12 2018-10-12 西北工业大学 基于eg-slam的无人机实时三维场景重建方法
CN110728671A (zh) * 2019-10-15 2020-01-24 西安电子科技大学 基于视觉的无纹理场景的稠密重建方法
CN113178009A (zh) * 2021-04-19 2021-07-27 中国人民解放军陆军工程大学 一种利用点云分割和网格修补的室内三维重建方法
CN113345063A (zh) * 2021-08-05 2021-09-03 南京万生华态科技有限公司 基于深度学习的pbr三维重建方法、系统与计算机存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于超像素分割的实时单目三维重建;吴连耀;万旺根;;电子测量技术;20200608(第11期);全文 *

Also Published As

Publication number Publication date
CN113888633A (zh) 2022-01-04

Similar Documents

Publication Publication Date Title
CN110728671B (zh) 基于视觉的无纹理场景的稠密重建方法
WO2020206903A1 (zh) 影像匹配方法、装置及计算机可读存储介质
CN108053437B (zh) 基于体态的三维模型获取方法及装置
WO2018148924A1 (zh) 用于三维点云重建的方法和装置
CN107247834A (zh) 一种基于图像识别的三维环境模型重构方法、设备及系统
CN107990846B (zh) 基于单帧结构光的主被动结合深度信息获取方法
CN104376596A (zh) 一种基于单幅图像的三维场景结构建模与注册方法
CN111524233B (zh) 一种静态场景动态目标的三维重建方法
CN110503718B (zh) 三维工程模型轻量化显示方法
CN107358645B (zh) 产品三维模型重建方法及其系统
CN106846467A (zh) 基于每个相机位置优化的实体场景建模方法和系统
CN113362247A (zh) 一种激光融合多目相机的语义实景三维重建方法及系统
CN103606151A (zh) 基于影像点云的大范围虚拟地理场景自动构建方法
CN205451195U (zh) 一种基于多摄像机的实时三维点云重建系统
CN113643414B (zh) 一种三维图像生成方法、装置、电子设备及存储介质
CN116563493A (zh) 基于三维重建的模型训练方法、三维重建方法及装置
CN107203962B (zh) 一种利用2d图片制作伪3d图像的方法及电子设备
CN113034571A (zh) 一种基于视觉—惯性的物体三维尺寸测量方法
CN113052880A (zh) 一种sfm稀疏重建方法、系统及应用
US20220375164A1 (en) Method and apparatus for three dimensional reconstruction, electronic device and storage medium
CN112150518A (zh) 一种基于注意力机制的图像立体匹配方法及双目设备
CN116363290A (zh) 一种用于大规模场景三维重建的纹理贴图生成方法
CN117132737A (zh) 一种三维建筑模型构建方法、系统及设备
CN113888633B (zh) 基于实时定位与建图算法的三维重建方法以及装置
CN115063485B (zh) 三维重建方法、装置及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant