CN112862736B - 一种基于点的实时三维重建与优化方法 - Google Patents

一种基于点的实时三维重建与优化方法 Download PDF

Info

Publication number
CN112862736B
CN112862736B CN202110162947.2A CN202110162947A CN112862736B CN 112862736 B CN112862736 B CN 112862736B CN 202110162947 A CN202110162947 A CN 202110162947A CN 112862736 B CN112862736 B CN 112862736B
Authority
CN
China
Prior art keywords
point
points
global model
optimization
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110162947.2A
Other languages
English (en)
Other versions
CN112862736A (zh
Inventor
任重
翁彦琳
周昆
汪令野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202110162947.2A priority Critical patent/CN112862736B/zh
Publication of CN112862736A publication Critical patent/CN112862736A/zh
Application granted granted Critical
Publication of CN112862736B publication Critical patent/CN112862736B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)

Abstract

本发明公开了一种基于点的实时三维重建与优化方法，本发明将RGB‑D相机采集到的深度和颜色数据作为输入，使用基于点的表示方法来实时重建三维物体，同时利用颜色信息优化模型中每个点的位置和法向，以此得到高质量的三维模型。本发明扩展并改进了现有基于点的实时重建方法，并且在非结构化的点云数据上构建逆渲染问题，提出了针对点云的能量函数，能够同时优化每个点的位置、法向以及反照率。另外，根据每个点的状态和更新时间等信息选择不同的处理方式，从而有效地减少每次优化的参数数量。相比于现有的实时重建方法，本发明方法能够在实时重建物体的同时，让重建模型保留更多的高质量几何细节，具有更高的应用价值。

Description

一种基于点的实时三维重建与优化方法
技术领域
本发明涉及计算机图形学与计算机视觉中的三维重建和几何优化领域，尤其涉及一种使用RGB-D相机的实时三维重建和基于从明暗恢复形状的优化方法。
背景技术
随着低成本RGB-D相机以及移动设备上的深度摄像头的逐渐普及，人们可以在普通场景下简单、快速地获取到物体的三维模型，从而让三维重建技术逐渐从专业的工作室走入到实际的日常生活之中。目前，在教育、游戏、虚拟现实、人机交互等领域，利用RGB-D相机来进行实时三维重建已经成为许多工作和应用的基本需求。现有的实时三维重建算法本质上都是利用大量深度数据的加权平均，来近似出真实的物体三维表面，减少由低成本RGB-D设备的限制产生的深度噪声。但这样带来的问题是生成的三维表面通常过于平滑，缺少几何细节。然而，目前已有的针对三维重建模型的优化算法通常只能优化单帧深度数据，或者需要在获取到所有数据后离线优化整个三维模型，无法实时获取到拥有高质量细节的重建结果，从而限制了这类优化方法的实际应用。
发明内容
本发明的目的在于针对现有实时重建和几何优化方法的不足，提供一种基于点的实时三维重建与优化方法。本发明既能实时进行三维重建，又能得到高质量三维模型。
本发明的目的是通过以下技术方案来实现的：一种基于点的实时三维重建与优化方法，通过以下步骤得到：
(1)给定当前帧RGB-D相机采集到的原始深度图和颜色图，进行数据预处理。
(2)根据生成的顶点图和法向图，使用迭代最近点方法将当前帧与全局模型的预测数据进行对齐，估计出当前帧的相机位姿。
(3)根据当前帧的相机位姿渲染出全局模型的索引图，然后利用索引图寻找输入数据在全局模型中的对应点，进行数据融合，得到新的全局模型。
(4)利用全局模型的颜色信息和从明暗恢复形状方法，优化全局模型的表面几何细节。
(5)使用渲染方式生成全局模型在当前帧相机视角下的预测数据，以便用于下一帧数据的相机位姿估计。
进一步地，所述步骤1中，所述所述数据预处理包括：
(1.1)根据RGB摄像头和深度摄像头的内参，将输入的颜色图与深度图进行对齐；
(1.2)使用双边滤波方法深度图的平滑去噪，并且使用图像腐蚀算法进行边缘剔除；
(1.3)根据透视投影原理计算输入数据的顶点图和法向图。
进一步地，所述步骤3包括以下子步骤：
(3.1)使用投影方式寻找输入数据在全局模型中的对应点；
(3.2)根据输入点和对应的的置信度进行数据的加权平均；
(3.3)根据生成的对应点索引图，维护全局模型的领域数组。
进一步地，所述步骤4包括以下子步骤：
(4.1)利用球谐函数参数化环境光照，根据全局模型的颜色信息估计球谐系数。
(4.2)根据全局模型每个点的状态和更新时间，选择待优化的点。
(4.3)基于从明暗恢复形状方法原理，在点云数据上构建逆渲染问题，优化每个点的位置、法向和反照率。
(4.4)更新优化点的状态、置信度和优化权重。
(4.5)利用优化点进行全局模型的清理和去噪。
本发明的有益效果是：本发明提出了一种新的基于RGB-D相机的重建方法，能在进行实时三维重建的同时优化表面细节。本发明扩展了现有的基于点的实时重建算法，使其能够和表面细节优化算法相融合，从而让优化得到的几何细节能够在深度数据融合的过程中尽可能多地保留下来。本发明通过在点云上构建逆渲染问题，提出了针对性的优化方式和能量函数，能够克服点云数据的噪声较多和没有显式拓扑关系的缺点。本发明提出了一种适合于实时三维重建的高效优化策略，有效地减少每次优化的整体变量个数，从而提高了优化速度。实验结果表明，相比于之前的实时重建算法，本发明生成的重建结果拥有丰富的几何细节，并且能够在不损失几何精度的条件下提高模型表面的法向准确性，得到高质量的重建模型。在不同的光照条件和三维场景下，本发明都具有较好的鲁棒性，能够恢复出原始深度数据没有捕获到的微小几何细节，因此具有较大的应用空间。
附图说明
图1为本发明一种基于点的实时三维重建与优化方法的流程示意图；
图2为本发明步骤4表面优化阶段的流程示意图；
图3为本发明重建和优化结果的对比图；
图4为本发明步骤1数据预处理阶段的结果图；
图5为本发明与原始重建方法的结果对比图；
图6为本发明与原始重建方法的误差分析图。
具体实施方式
下面结合附图以及具体实施例对本发明做进一步说明，需要指出的是，以下所述实施例旨在便于对本发明的理解，而对其不起任何限定作用。
如图1所示，为本发明一种基于点的实时三维重建与优化方法的流程示意图，包括：
1、对当前帧输入的RGB-D数据进行预处理。
本步骤主要进行三种处理操作：颜色图和深度图的对齐，深度图的平滑去噪和边缘剔除，以及输入数据的顶点图和法向图的计算。
1.1、颜色图与深度图的对齐
通常，RGB-D相机每一帧采集到的数据有两种，分别是颜色图像和深度图像。由于RGB-D相机的RGB摄像头和深度摄像头的相机内参可能不一样，所以在使用每一帧输入数据之前，要将颜色图与深度图进行对齐。由于颜色图的分辨率通常大于深度图，为了减少算法计算量和所需存储空间，本发明选择将颜色图对齐到深度图。通常相机的内参包括相机的分辨率(长和宽)，x、y轴上的焦距fx、fy，以及主点px、py等参数。假设RGB摄像头和深度摄像头的外参相同，内参分别是intrRGB和intrDepth。对于深度图上某个像素点，其坐标是u＝(x，y)，那么根据RGB摄像头和深度摄像头的内参，可以得到它在颜色图像上对应的像素坐标v＝(X，Y)，其中
Figure BDA0002936232210000031
Figure BDA0002936232210000032
有了以上的公式，就能获取到深度图每个像素点对应的颜色值，从而将颜色图像和深度图像进行对齐。
1.2、深度图的平滑去噪和边缘剔除
由于低成本RGB-D相机采集到的深度数据噪声较多，特别是物体边缘部分的深度误差比较大，因此需要采取一些噪声过滤算法进行平滑和去噪。本发明例采用了双边滤波算法(Bilateral Filter)对原始深度图进行预处理，以便用于之后的法向计算和相机位姿估计。假设输入的深度图是D，某个像素坐标是u，D(u)是该像素的深度值，那么过滤后的深度值FD(u)公式如下：
Figure BDA0002936232210000033
其中，
Figure BDA0002936232210000034
W是归一化常量，Ω是u的邻域，σ是值域或者空间域标准差。除此之外本发明还使用了图像腐蚀算法去除深度图中误差较大的边缘深度，最后的结果如图4所示，其中左图是原始的深度图，中间和右边的图片分别展示了原始数据与使用双边滤波以及图像腐蚀处理后的点云渲染结果。
1.3、计算顶点图和法向图
由于之后进行相机位姿估计和创建Surfel时需要知道深度图每个像素点的三维顶点位置和法向，因此本发明选择在预处理阶段时使用过滤后的深度，计算输入数据的顶点图和法向图。对于深度图上某个像素点，假设其坐标是u＝(x，y)，该点的深度值为depth，顶点图为V，相机内参结构如(1-1)所述，那么其对应的三维坐标V(u)＝(X，Y，Z)如下：
Figure BDA0002936232210000041
由于深度相机采集到的数据是一个规则的二维网格，因此可以使用与u＝(x，y)相邻的顶点进行叉积，得到对应的法向N(u)，如下：
N(u)＝Norm((V(x+1，y)-V(x，y))×(V(x，y+1)-V(x，y)))
其中，Norm(x)＝x/||x||2。由于之后的相机位姿估计会使用多尺度的数据金字塔，因此本发明在预处理阶段还会使用下采样方法建立三层的深度图金字塔，再利用对应的深度图生成顶点图金字塔和法向图金字塔。
2、根据当前帧数据进行相机位姿估计。
本发明使用6自由度的变换矩阵表示每帧的相机位姿，假设当前帧是第i帧，其对应的位姿矩阵是Ti，表示将顶点从当前帧的局部坐标系变换到全局坐标系的刚体变换矩阵。对于当前帧的某个顶点，假设它在当前帧局部坐标系下的坐标是v，那么它对应的全局坐标为vg＝Tiv。
本发明采用层次迭代最近点算法将当前帧的顶点数据对齐到上一帧表面预测阶段的预测结果上，以此估计出当前帧的位姿矩阵Ti，因此使用的能量函数如下：
Eicp＝Eg+ωcEc
Figure BDA0002936232210000042
Figure BDA0002936232210000043
其中，Eg表示当前帧顶点与其在预测数据中的对应点的点到平面(point-to-plane)的几何误差，Ec表示当前帧顶点与其在预测数据中对应点的颜色误差，ωc是颜色误差的权重。vk表示当前帧某个像素对应的三维顶点位置，
Figure BDA0002936232210000044
和
Figure BDA0002936232210000045
表示其在全局模型的预测数据中对应点的位置和法向，不表示透视投影函数，Ti和Ti-1分别表示当前帧和上一帧的位姿矩阵，I表示当前帧的颜色强度图，
Figure BDA0002936232210000057
表示全局模型预测的颜色强度图，每个像素的颜色强度是根据它的rgb值实时计算得到的。为了解决这个非线性最小二乘问题，本发明使用了高斯牛顿法，并且利用三层的图像金字塔结构加快收敛速度，从粗到精地迭代优化当前帧的位姿矩阵。
3、使用当前帧输入数据和现有的全局模型进行数据融合。
本发明扩展了原始的基于点的表示的数据融合方法，尽可能减少当前帧的新数据对全局模型中已优化点的影响，从而尽量保留优化好的表面几何细节。
3.1、寻找对应点
本发明首先根据当前帧的相机位姿和已知的相机内参，将全局模型中每个合法点投影到当前帧相机视角下的图像空间中，每个点的序号会保存在对应的像素中，从而生成一张索引图。由于多个点可能会投影到同一个像素上，为了减少相邻点之间的相互遮挡，本发明使用的索引图的分辨率的长和宽都是输入深度图的5倍。之后本发明利用索引图来寻找新输入点在全局模型中的对应点，从而将输入数据融合到全局模型之中。
假设输入帧中某个像素的坐标是u，其对应的的三维顶点和法向分别是v和n。首先将输入帧的坐标u转换到索引图坐标下，得到U。然后在索引图中U的5×5邻域内，寻找一个与该输入点最相似的点，作为其对应点。本发明寻找对应点的规则如下：
1)假设邻域中某个点v在该像素视线方向上的距离是d，那么丢弃掉所有|d|＞δdepth的点。
2)假设邻域中某个点的法向为
Figure BDA0002936232210000051
那么丢弃掉所有
Figure BDA0002936232210000052
的点。
3)在剩下的点中选择状态值最大的点(本发明中模型每个点有四种状态，其值从大到小分别是：准确、稳定、不稳定、已删除)。
4)如果状态值最大的点有多个，那么选择其中位置最接近该像素视线方向的点。
3.2、点的加权平均
如果在索引图中寻找到满足以上条件的对应点，并且该对应点是稳定状态或者非稳定状态，就将输入点的数据与该对应点按照各自的置信度进行加权平均，新的值再赋给对应点，具体公式如下：
Figure BDA0002936232210000053
Figure BDA0002936232210000054
其中vg，ng，C分别是输入点在全局坐标系下的位置、法向以及输入点的颜色，而
Figure BDA0002936232210000055
分别是其在全局模型中对应点的位置、法向和颜色。α，β是输入点的深度置信度和颜色置信度，
Figure BDA0002936232210000056
则是对应点的深度置信度和颜色置信度。
本发明假设像素越靠近相机中心，其深度越准确，并且像素的法向与相机朝向的夹角越小，其颜色越可靠。因此对于每帧输入数据，本发明采用的置信度计算公式如下：
Figure BDA0002936232210000061
β＝(nTr)2/d2
其中γ是像素到相机中心的归一化径向距离，并且σ＝0.6。而n是像素的法向，r是当前相机的朝向，d是像素的深度值。
数据更新完成之后，对应点的更新时间会设置为当前帧的时间。当对应点的置信度大于稳定状态的阈值时，就将其状态变为稳定。如果没有找到对应点，就将输入点作为新的点加入到全局模型之中，此时该点的状态设置为非稳定。
3.3、维护邻域数组
因为在之后的表面优化阶段中，需要知道每个优化点的相邻点集，所以本发明会维护一个邻域数组，用来保存全局模型中每个点的相邻点索引，并且该邻域数组在每一帧都会进行更新。
首先根据之前每个输入点找到的对应点，生成一张对应点索引图，该图的分辨率与输入深度图相同，其中每个像素保存着该位置输入点在全局模型中找到的对应点序号。如果该输入点没有找到对应点，而是作为新的点直接加入到了全局模型中，就将该点的序号保存在该像素中。对于对应点索引图中的每个像素，本发明在其3×3邻域中寻找该对应点的相邻点，因此将每个点的最大相邻点数设为8。
假设对应点索引图中某个像素中的点为p，在每一帧采用以下方法来更新邻域数组：
1)首先将p的3×3邻域内的所有点，以及它在邻域数组中原来的所有相邻点找出来，组成一个数组A。
2)按照状态值从大到小对这个数组A进行排序，状态值相同的点按它与p的距离从小到大进行排序(每个点的状态值从大到小分别是：准确、稳定、不稳定、已删除)。
3)选择该数组A中前8个点作为p的新的相邻点集，将这些点的序号存储到邻域数组中。
4、利用全局模型的颜色信息和从明暗恢复形状方法，优化全局模型的表面几何细节，本步骤的流程示意图如图2所示。
4.1、光照估计
本发明假设要重建的物体表面材质是标准的朗伯模型，表面的反射即朗伯反射。对于朗伯反射，其入射的辐照度函数是平滑的，可以用低阶的球谐函数较为准确地参数化光照信息。本发明使用前九个球谐基函数(即三阶的球谐函数)来参数化环境光照，每个球谐基函数的系数则从全局模型中合法点的颜色强度数据估计出来。
假设全局模型中某个点的法向是n＝(nx，ny，nz)，反照率为a，其反射的辐照度是B，那么：
Figure BDA0002936232210000071
这是使用球谐函数和朗伯反射简化后的反射方程，为了提高优化效率，不考虑点的可见性。在该方程中，Hi是球谐基函数，li是对应的球谐系数，k是球谐函数的阶数(k＝3)。使用表面法向n＝(nx，ny，nz)作为输入的球谐基函数定义如下：
H0＝1.0，H1＝ny，H2＝nz，H3＝nx，H4＝nxny，
H5＝nynz，H6＝-nxnx-nyny+2nznz，
H7＝nznx，H8＝nxnx-nyny
根据以上的明暗生成模型，就能利用点的颜色数据计算相应的光照参数。每个点在刚加入全局模型的时候会被赋予一个固定的初始化反照率，以便让未优化过的点也能参与光照估计。
本发明通过最小化每个点计算出来的辐照度B与其采集到的颜色强度之间的差距，从而估计出球谐系数li，具体公式如下：
Figure BDA0002936232210000072
其中，m是全局模型中有效点的总个数，本发明只使用稳定点和准确点来估计光照。Bi是该点的辐照度，Ii是该点的颜色强度，Ii直接根据颜色实时计算出来。
4.2、优化点选择
在本发明中能够被选择为待优化的点需要满足以下所有条件：
1)该点是稳定点或者准确点。
2)该点的相邻点都是稳定点或者准确点，并且其相邻点的个数不少于4。
3)如果该点和它的相邻点都是准确点，那么它们中必须存在这样一个点，其更新时间大于优化时间，也就是在上一次优化后参与过数据融合与更新。
4.3、点云的表面细节优化
本发明不使用几何数据来直接计算表面法向，而是选择让法向和几何数据同时参与优。在使用明暗变化优化点云法向的同时，通过最小化相邻点到中心点切平面的距离来约束物体的几何数据，这其实类似于点云法向计算方法的反过程。除此之外，本发明将每个点的反照率也加入到优化的参数之中，从而让光照估计和法向优化更加准确。综上所述，最后每个点需要被优化的参数包括顶点位置、法向以及反照率。只有稳定和准确两种状态的点才能参与优化过程，不稳定状态的点只作为约束，不进行优化更新。并且点云中每个点之间的相邻关系在数据融合阶段进行计算，表面优化时保持固定。
假设当前模型中选择的优化点个数为N，那么需要优化的参数总个数是7N，第i个点的参数为：三维位置vi＝(xi，yi，zi)，法向ni＝(nxi，nyi，nzi)，反照率ai。为了得到高质量的表面细节，本发明通过最小化以下的能量函数来更新每个点的参数，
Figure BDA0002936232210000081
其中，Esh是明暗约束，Eg是几何约束，Es是表面平滑约束，Er是正则项约束，Ea是反照率约束，而ωsh，ωg，ωs，ωr，ωa是相应的优化权重。接下来将分别介绍各个约束项的具体内容和含义。
1)明暗约束：让根据法向计算得到的明暗B的变化尽可能接近实际采集到的颜色强度I的变化，以此来优化每个点的法向和反照率。
Figure BDA0002936232210000082
其中，Ni是第i个点的相邻点集，Bi，Bj是相应的明暗生成结果，Ii，Ij是对应的颜色强度。
2)几何约束：通过每个点的法向来带动其相邻点的三维位置，让局部区域的相邻点尽可能处于同一个平面上，也就是最小化相邻点到中心点切平面的距离，以此增加表面的几何细节。
Figure BDA0002936232210000083
其中，ni是第i个点的法向，vi是其三维位置，Ni是其相邻点集，vj是第j个点的三维位置。
3)平滑约束：保持表面局部区域的平滑性。
Figure BDA0002936232210000084
其中，第一项是拉普拉斯平滑项，用来保持模型几何的局部平滑性。第二项让相邻点的法向尽可能相同，从而保持局部区域法向的平滑。ωv，ωn是这两项对应的能量权重，ωj是归一化权重。
4)正则项约束：让点的位置和法向尽可能接近其优化前的值。
Figure BDA0002936232210000085
其中，
Figure BDA0002936232210000086
和
Figure BDA0002936232210000087
是第i个点的优化前的三维位置和法向，ωvr，ωnr是两者对应的能量权重。
5)反照率约束：使用相邻点的色度来约束它们之间的反照率。
Figure BDA0002936232210000091
其中，ai，aj是对应点的反照率，Γi，Γj是对应点的色度。每个点的色度由它的颜色和强度实时计算出来，即Γ＝C/I。而φ是增加鲁棒性的核函数，φ＝1/(1+trob·x)3。
4.4、优化点状态更新
优化完成后，增加优化点的置信度和优化权重。当某个点的优化权重大于阈值时，该点的状态就更新为准确状态，并且准确状态的点还是可能会参与下次优化。
4.5、全局模型去噪
每次优化完后，全局模型中可能会存在大量没有被优化到的非准确点，这些点往往含有较大的噪声，因此本发明通过已优化的点对全局模型进行清理和去噪。对于全局模型中每个没有被优化到的非准确点，如果满足以下任一条件就会被去除：
1)该点的三维位置和法向与某个优化点非常接近。
2)该点位于某个优化点的邻域内，并且该点在优化点切平面的正方向上。
5、使用全局模型和当前帧的相机位姿进行表面预测。
本发明利用数据生成方式，根据当前帧的相机位姿渲染全局模型中所有处于稳定状态和准确状态的点，而非稳定点和已删除点会被忽略掉。根据每个点的三维位置、法向和半径，将其张成彼此重叠的微小圆形面片，以此来近似模型的三维表面。然后通过渲染这些圆形面片来生成稠密的图像数据。预测生成的数据包括顶点图、法向图以及颜色图，其中顶点图和法向图都是位于全局坐标系下，以便用于下一帧的相机位姿估计。
本发明数据预处理阶段的结果如图4所示，重建和优化结果如图3所示，从中可以明显看出，在优化之后原始的重建模型增加了许多微小的几何细节，比如底部的字母。为了进一步证明本发明相比对之前方法的优势，本实施例在RGB-D相机采集的真实三维数据集上与原始的重建方法进行了实验对比。原始的重建方法是文献“Maik Keller，DamienLefloch，Martin Lambers，Shahram Izadi，Tim Weyrich，Andreas Kolb.Real-time 3dreconstruction in dynamic scenes using point-based fusion[C].In 2013International Conference on 3D Vision-3DV 2013.IEEE，2013，1-8”中所提出的方法。
如图5所示，该图主要对比了原始的重建方法和本发明的完整重建结果，本实施例在数据集中选择了一组数据，其颜色图片的分辨率是1280×1024。在图5中，最左列的图片是输入的颜色灰度图，每行的中间列图片展示了整体的重建结果，右列图片则展示了重建模型放大后的局部细节。从中可以较为明显的看出，本发明相比于原始的重建方法，能够让重建模型拥有许多高质量的微小几何细节。此外，由于本发明在重建过程中使用了优化后的点去除模型的噪声，相比于原始重建方法的去噪策略，本发明依赖于优化点的去噪方式更加鲁棒，效果也更好，因此最后的重建模型拥有更少的噪点。从输入的颜色灰度图可以看出，测试的数据是在普通光照环境下采集得到的，场景的光照条件和颜色分布各不相同，但是最后的重建模型具有较为明显的几何细节，这说明本发明在面对一般性的实验条件时具有一定的鲁棒性。
如图6所示，该图对原始重建方法的重建结果以及本发明的重建结果进行定量地分析，比较这两种方法的几何精度。本实施例使用了Artec扫描仪来采集真实人脸的几何模型，作为本次实验要对比的真值。本实施例还使用了基于立体匹配原理的RealSense d415相机来采集重建所需的真实人脸数据，采集时的光照环境没有受到严格控制，使之接近真实的应用场景。RealSense相机获取的深度数据和颜色数据的分辨率相同，都是640×480，并且深度数据没有使用其他相关算法进行预处理。在图6中，最左列是Artec的扫描结果，中间列图书是原始重建方法和本发明方法的几何重建模型，最右列是两种方法与真值的误差图。本实施例首先使用迭代最近点算法将两种方法重建好的模型与Artec的扫描结果进行对齐，然后计算模型中每个点到真值的误差距离，生成误差图。最终，原始重建方法的重建模型中所有点的平均误差距离是1.286mm，而本发明重建模型中所有点的平均误差距离是1.133mm。本发明结果的几何精度比原始重建方法稍微高一点，从误差图可以看出两者的误差大小相差不大，并且误差分布也比较接近，两者都具有较高的几何精度。但是从几何模型对比可以明显看出，本发明在几何精度接近的情况下，所得到的人脸模型具有更加丰富的几何细节。比如本发明的结果能够看出眼睛部分的准确轮廓，相比较而言，原始重建方法的结果显然过于平滑。
以上所述的实施例对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的具体实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于点的实时三维重建与优化方法，其特征在于，包括以下步骤：
(1)给定当前帧RGB-D相机采集到的原始深度图和颜色图，进行数据预处理；
(2)根据生成的顶点图和法向图，使用迭代最近点方法将当前帧与全局模型的预测数据进行对齐，估计出当前帧的相机位姿；
(3)根据当前帧的相机位姿渲染出全局模型的索引图，然后利用索引图寻找输入数据在全局模型中的对应点，进行数据融合，得到新的全局模型；
(4)利用全局模型的颜色信息和从明暗恢复形状方法，优化全局模型的表面几何细节；
(5)使用渲染方式生成全局模型在当前帧相机视角下的预测数据，以便用于下一帧数据的相机位姿估计。
2.根据权利要求1所述基于点的实时三维重建与优化方法，其特征在于，所述步骤(1)中，所述数据预处理包括：
(1.1)根据RGB摄像头和深度摄像头的内参，将输入的颜色图与深度图进行对齐；
(1.2)使用双边滤波方法深度图的平滑去噪，并且使用图像腐蚀算法进行边缘剔除；
(1.3)根据透视投影原理计算输入数据的顶点图和法向图。
3.根据权利要求1所述基于点的实时三维重建与优化方法，其特征在于，所述步骤(3)包括以下子步骤：
(3.1)使用投影方式寻找输入数据在全局模型中的对应点；
(3.2)将输入数据与对应点按照各自的置信度进行加权平均，新的值再赋给对应点；
(3.3)根据生成的对应点索引图，维护全局模型的领域数组。
4.根据权利要求1所述基于点的实时三维重建与优化方法，其特征在于，所述步骤(4)包括以下子步骤：
(4.1)利用球谐函数参数化环境光照，根据全局模型的颜色信息估计球谐系数；
(4.2)根据全局模型每个点的状态和更新时间，选择待优化的点；
(4.3)基于从明暗恢复形状方法原理，在点云数据上构建逆渲染问题，优化每个点的位置、法向和反照率；
(4.4)更新优化点的状态、置信度和优化权重；
(4.5)利用优化点进行全局模型的清理和去噪。
CN202110162947.2A 2021-02-05 2021-02-05 一种基于点的实时三维重建与优化方法 Active CN112862736B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110162947.2A CN112862736B (zh) 2021-02-05 2021-02-05 一种基于点的实时三维重建与优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110162947.2A CN112862736B (zh) 2021-02-05 2021-02-05 一种基于点的实时三维重建与优化方法

Publications (2)

Publication Number Publication Date
CN112862736A CN112862736A (zh) 2021-05-28
CN112862736B true CN112862736B (zh) 2022-09-20

Family

ID=75988646

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110162947.2A Active CN112862736B (zh) 2021-02-05 2021-02-05 一种基于点的实时三维重建与优化方法

Country Status (1)

Country Link
CN (1) CN112862736B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113763559B (zh) * 2021-07-01 2024-04-09 清华大学 一种拟合深度图像的几何运动细节重建方法
CN113706431B (zh) * 2021-08-26 2022-10-21 深圳市慧鲤科技有限公司 模型优化方法及相关装置、电子设备和存储介质
CN114972112B (zh) * 2022-06-17 2024-05-14 如你所视(北京)科技有限公司 用于图像逆渲染的方法、装置、设备和介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018129715A1 (zh) * 2017-01-13 2018-07-19 浙江大学 一种同时定位与稠密三维重建方法
US10038894B1 (en) * 2017-01-17 2018-07-31 Facebook, Inc. Three-dimensional scene reconstruction from set of two dimensional images for consumption in virtual reality
CN107564049B (zh) * 2017-09-08 2019-03-29 北京达佳互联信息技术有限公司 人脸模型重建方法、装置以及存储介质、计算机设备
CN109840940B (zh) * 2019-02-11 2023-06-27 清华-伯克利深圳学院筹备办公室 动态三维重建方法、装置、设备、介质和系统
CN110827397B (zh) * 2019-11-01 2021-08-24 浙江大学 一种面向rgb-d相机实时三维重建的纹理融合方法

Also Published As

Publication number Publication date
CN112862736A (zh) 2021-05-28

Similar Documents

Publication Publication Date Title
CN109872397B (zh) 一种基于多目立体视觉的飞机零件的三维重建方法
CN111968129B (zh) 具有语义感知的即时定位与地图构建系统及方法
CN112862736B (zh) 一种基于点的实时三维重建与优化方法
CN108510573B (zh) 一种基于深度学习的多视点人脸三维模型重建的方法
CN106910242B (zh) 基于深度相机进行室内完整场景三维重建的方法及系统
Furukawa et al. Accurate, dense, and robust multiview stereopsis
CN111325794A (zh) 一种基于深度卷积自编码器的视觉同时定位与地图构建方法
CN108876814B (zh) 一种生成姿态流图像的方法
Li et al. Detail-preserving and content-aware variational multi-view stereo reconstruction
Habbecke et al. Iterative multi-view plane fitting
CN113822993B (zh) 一种基于3d模型匹配的数字孪生方法和系统
Zhang et al. Critical regularizations for neural surface reconstruction in the wild
CN113298947B (zh) 一种基于多源数据融合的变电站三维建模方法介质及系统
Xu et al. Survey of 3D modeling using depth cameras
CN112767467B (zh) 一种基于自监督深度学习的双图深度估计方法
Li et al. Dense surface reconstruction from monocular vision and LiDAR
WO2018133119A1 (zh) 基于深度相机进行室内完整场景三维重建的方法及系统
Yin et al. Towards accurate reconstruction of 3d scene shape from a single monocular image
CN112085849A (zh) 基于航拍视频流的实时迭代三维建模方法、系统及可读介质
CN115423978A (zh) 用于建筑物重建的基于深度学习的图像激光数据融合方法
CN111860651A (zh) 一种基于单目视觉的移动机器人半稠密地图构建方法
CN114996814A (zh) 一种基于深度学习与三维重建的家具设计系统
Mihajlovic et al. Deepsurfels: Learning online appearance fusion
CN116452752A (zh) 联合单目稠密slam与残差网络的肠壁重建方法
CN116958420A (zh) 一种数字人教师三维人脸的高精度建模方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant