CN108550181B - 移动设备上在线跟踪与稠密重建方法、系统及设备 - Google Patents
移动设备上在线跟踪与稠密重建方法、系统及设备 Download PDFInfo
- Publication number
- CN108550181B CN108550181B CN201810201502.9A CN201810201502A CN108550181B CN 108550181 B CN108550181 B CN 108550181B CN 201810201502 A CN201810201502 A CN 201810201502A CN 108550181 B CN108550181 B CN 108550181B
- Authority
- CN
- China
- Prior art keywords
- depth image
- camera
- dimensional
- sub
- icp
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 239000013598 vector Substances 0.000 claims abstract description 34
- 238000005070 sampling Methods 0.000 claims abstract description 30
- 239000011159 matrix material Substances 0.000 claims abstract description 29
- 230000000007 visual effect Effects 0.000 claims abstract description 20
- 230000004927 fusion Effects 0.000 claims abstract description 14
- 238000009616 inductively coupled plasma Methods 0.000 claims description 34
- 230000006870 function Effects 0.000 claims description 15
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000009877 rendering Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims 1
- 238000004364 calculation method Methods 0.000 abstract description 5
- 238000007500 overflow downdraw method Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 7
- 238000013459 approach Methods 0.000 description 3
- 230000036544 posture Effects 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及计算机视觉领域的三维重建方法，具体涉及一种移动设备上在线跟踪与稠密重建方法、系统及设备，旨在实现移动设备上的在线稠密三维重建。本发明的三维重建方法包括：获取一帧当前的深度图像，计算各像素点在相机坐标系下的三维点和法向量，以及深度噪声标准差和梯度图；采用基于几何稳定性采样方法选择能够为ICP算法提供足够约束的点对，并采用一种基于ICP协方差矩阵条件数的视觉跟踪与IMU信息融合方法；在计算出相机姿态后，将深度图融合到TSDF模型中；将融合得到的体数据在计算出的相机姿态下进行光线投影得到表面点云。本方法鲁棒性强、计算速度快，最终得到的三维模型合理可靠。
Description
技术领域
本发明涉及计算机视觉领域的三维重建方法，具体涉及一种移动设备上在线跟踪与稠密重建方法、系统及设备。
背景技术
稠密且高精度的三维重建是计算机视觉的重要研究方向之一，其在机器人与增强现实等方面有着广泛的应用。伴随着移动手机和平板电脑等移动设备的流行，在移动设备上估计相机姿态并构建周围场景的三维模型越来越有意义。移动设备上的稠密在线室内三维重建开创很多新应用，比如对感兴趣物体的三维扫描和增强现实等。但是由于移动设备的计算资源有限，移动设备上的在线稠密三维重建依旧是一个待解决的问题。
现有的实时稠密三维重建大多基于帝国理工学院的Newcombe等提出的基于RGBD的稠密三维重建系统即KinectFusion。这种方法使得高质量、实时的稠密三维重建成为可能。尽管KinectFusion有很多的优点，但是它也存在较多的局限性。比如重建场景的尺寸是固定的，对相机的跟踪成功与否依赖于场景的几何特征丰富程度，即使跟踪成功也存在误差累积问题导致循环回路无法闭合，同时该系统并没有融合IMU数据。鉴于以上这些问题，许多学者提出了很多优化的方法。
Nieβner实现了基于哈希表的体数据分配区域检索和处理。这种方法不仅扩大了重建场景的尺寸，而且比基于层次化数据结构的方法速度更快。
在Nieβner哈希表方法的基础上对KinectFusion的多个环节做了优化，并且在跟踪环节引入了IMU数据，在Apple iPad Air 2上达到了20Hz的重建帧率，在Nvidia Titan X GPU上甚至达到910Hz。但是以上方法都没能解决在几何特征较少的场景中相机姿态估计不鲁棒的问题。
发明内容
为了解决现有技术中的上述问题，本发明提出了一种移动设备上在线跟踪与稠密重建方法、系统及设备，以实现在移动设备上的快速、鲁棒三维重建。
本发明的一方面，提出一种移动设备上在线跟踪与稠密重建方法，包括：
步骤S100，获取一帧当前的深度图像，计算所述当前的深度图像上各像素在相机坐标系下的三维点和法向量，以及各像素的深度噪声标准差；
步骤S200，根据所述各像素在相机坐标系下的三维点和法向量，通过ICP(Iterative Closest Point,迭代最近点)算法配准所述当前的深度图像和对三维模型在前一帧视角下进行光线投影生成的深度图像，从而得到所述当前的深度图像对应的相机姿态；
步骤S300，基于TSDF(truncated signed distance function，截断符号距离函数)算法，根据所述当前的深度图像对应的相机姿态，以及各像素对应的所述三维点坐标和法向量、所述深度噪声的标准差，将所述当前的深度图像融合到当前的三维模型中；
步骤S400，基于光线投影算法从当前的三维模型中抽取表面点集，并根据所述表面点集进行场景渲染；所述表面点集还用于计算下一帧深度图像对应的相机姿态。
优选地，步骤S100中“计算所述当前的深度图像上各像素在相机坐标系下的三维点和法向量”，具体为：
根据相机内参矩阵，以及所述当前的深度图像上各像素点的坐标及其深度值，分别计算出各像素点在相机坐标系下的三维点坐标及法向量。
优选地，步骤200中“根据所述各像素在相机坐标系下的三维点和法向量，通过ICP算法配准所述当前的深度图像和对三维模型在前一帧视角下进行光线投影生成的深度图像，从而得到所述当前的深度图像对应的相机姿态”，具体包括：
步骤S201，构建协方差矩阵：
其中，
步骤S202，计算所述方差矩阵H的最大特征值与最小特征值的比值，得到条件数c；
步骤S203，将所述当前的深度图像均分为多个子窗口，评价每个子窗口的几何稳定性，并基于其稳定性随机采样不同数目的三维点，共采集N个点；
步骤S204，根据所采集的N个点，在所述对三维模型在前一帧视角下进行光线投影生成的深度图像中找到对应的三维点，从而组成N个点对；根据所述N个点对，通过ICP配准得到所述当前的深度图像对应的相机姿态[RICP|tICP]。
优选地，步骤S300中“基于TSDF算法，根据所述当前的深度图像对应的相机姿态，以及各像素对应的所述三维点坐标和法向量、所述深度噪声的标准差，将所述当前的深度图像融合到当前的三维模型中”，具体包括：
步骤S301，计算各体素对应的SDF值：
sdfi＝di(u)-v(z)(u)
其中，i为所述当前的深度图像对应的采集时刻；v(u)为已分配且可见的体素vg(u)在相机坐标系下的坐标，v(u)＝Ti,gvg(u)；Ti,g为i时刻深度图像对应的相机姿态Tg,i的逆矩阵；u为与体素vg(u)对应的深度图像中的像素；di(u)为像素u的深度值；v(z)(u)表示向量v(u)的z分量；
步骤S302，计算各像素点对应的自适应截断距离：
其中，s为预设的体素分辨率，β为加权参数，σi(u)为像素u的所述深度噪声标准差；
步骤S303，若sdfi>-μ(u)，则计算各体素对应的TSDF值：
从而将所述当前的深度图像融合到TSDF表示的三维模型中；
其中，xi-1为i-1时刻体素vg(u)被观察到的次数。
优选地，应用一种哈希结构检索体素数据，具体包括：
定义体素块的数据结构，该数据结构由M×M×M个体素构成；将所述体素块的数据结构存储于堆空间中；
计算体素块的哈希值：
其中，(bx,by,bz)为体素块的整数坐标，(p1,p2,p3)为素数，p1＝73856093，p2＝19349669，p3＝83492791；K是哈希表所能存储的最大数；mod和
分别为取余和异或操作符；
根据所述体素块的哈希值构建哈希表，用于检索体素数据。
优选地，步骤S203中“评价每个子窗口的几何稳定性，并基于其稳定性随机采样不同数目的三维点，共采集N个点”，具体包括：
对每一个子窗口，根据该子窗口中的三维点计算该子窗口的局部条件数；
对每一个子窗口，根据该子窗口的局部条件数和该子窗口中像素点与相机的平均距离，计算该子窗口的加权函数；
对每一个子窗口，根据该子窗口加权函数的值从该子窗口中随机采样
个三维点，共采集N个点；
根据采集的N个点，得到该N个点在另一幅图像中对应的N个三维点，从而组成N个点对；
其中，
为归一化后的加权函数值。
优选地，“对每一个子窗口，根据该子窗口的局部条件数和该子窗口中像素点与相机的平均距离，计算该子窗口的加权函数”，具体为：
构建子窗口的加权函数：
对所述加权函数进行归一化：
其中，
ck为子窗口k的局部条件数；dk为子窗口k中各像素点的平均深度值；
为距离权重；
为稳定性权重；v、u均为指数因子，且u>0，v>u；Th为预设的条件数阈值；L为子窗口的总个数。
优选地，步骤S400中所述基于光线投影算法从当前的三维模型中抽取表面点集，具体为：
寻找各像素反投影射线与TSDF零值面的交点，从而得到所述表面点集。
优选地，所述移动设备上在线跟踪与稠密重建方法，在步骤S200之后，在步骤S300之前，还包括：
步骤S250，根据当前的IMU信息和前一帧深度图像对应的相机姿态，通过分析ICP协方差矩阵的条件数来融合视觉跟踪的结果和IMU信息。
优选地，步骤S250中，“根据当前的IMU信息和前一帧深度图像对应的相机姿态，通过分析ICP协方差矩阵的条件数来融合视觉跟踪的结果和IMU信息”，具体包括：
步骤S251，根据IMU信息计算帧间相对旋转ΔRIMU，并将所述帧间相对旋转ΔRIMU与前一帧相机姿态相乘，从而计算出ICP配准的旋转矩阵初值RIMU；
步骤S252，根据所述旋转矩阵初值RIMU，随机采样预设数量的三维点进行ICP配准，并计算其条件数c；
步骤S253，若c≤Tl，则转至步骤S254；否则，转至步骤S255；
步骤S254，得到所述当前的深度图像对应的相机姿态为[RICP|tICP]；
步骤S255，若Tl<c<Th，则转至步骤S256；否则，转至步骤S257；
步骤S256，进行稳定性采样并再次进行ICP配准，得到所述当前的深度图像对应的相机姿态为[R′ICP|t′ICP]；
步骤S257，若c≥Th，则进行稳定性采样，并在ICP迭代过程中固定旋转分量为RIMU，得到所述当前的深度图像对应的相机姿态为[RIMU|t″ICP]。
本发明的第二方面，提出一种存储设备，其存储有程序，所述程序适于由处理器加载并执行，以实现上面所述的移动设备上在线跟踪与稠密重建方法。
本发明的第三方面，提出一种处理设备，包括：处理器和存储器；
所述处理器，适于执行程序；
所述存储器，适于存储该程序；
所述程序适于由所述处理器加载并执行，以实现上面所述的移动设备上在线跟踪与稠密重建方法。
本发明的第四方面，提出一种移动设备上在线跟踪与稠密重建系统，包括：预处理模块、相机跟踪模块、体数据融合模块、表面估计模块；
所述预处理模块，配置为：获取一帧当前的深度图像，计算所述当前的深度图像上各像素在相机坐标系下的三维点和法向量，以及各像素的深度噪声标准差；
所述相机跟踪模块，配置为：根据所述各像素在相机坐标系下的三维点和法向量，通过ICP算法配准所述当前的深度图像和对三维模型在前一帧视角下进行光线投影生成的深度图像，从而得到所述当前的深度图像对应的相机姿态；
所述体数据融合模块，配置为：基于TSDF算法，根据所述当前的深度图像对应的相机姿态，以及各像素对应的所述三维点坐标和法向量、所述深度噪声的标准差，将所述当前的深度图像融合到当前的三维模型中；
所述表面估计模块，配置为：基于光线投影算法从当前的三维模型中抽取表面点集，并根据所述表面点集进行场景渲染；所述表面点集还用于计算下一帧深度图像对应的相机姿态。
优选地，所述移动设备上在线跟踪与稠密重建系统还包括：视觉跟踪与IMU信息融合模块；
所述视觉跟踪与IMU信息融合模块，配置为：根据当前的IMU信息和前一帧深度图像对应的相机姿态，通过分析ICP协方差矩阵的条件数来融合视觉跟踪的结果和IMU信息。
本发明的有益效果：
本发明所提出的移动设备上在线跟踪与稠密重建方法，能够根据场景中局部区域的几何稳定性采样用于ICP配准的三维点，并基于ICP的条件数融合视觉跟踪结果与IMU信息，最终实现在移动设备上的快速鲁棒三维重建。该方法首先分析ICP算法迭代时条件数的大小，之后通过选择不同的三维点对采样方式及视觉信息与IMU信息的融合方式，减小ICP算法的条件数，从而加快ICP算法的收敛速度并提高其计算的数值稳定性，能够有效的解决在几何特征不足的场景中的相机鲁棒跟踪。同时，借助Apple Metal的并行计算，加快该算法的计算速度。本方法对ICP配准鲁棒性强，计算速度快，最终得到的三维模型合理可靠。
附图说明
图1为本发明移动设备上在线跟踪与稠密重建方法实施例一的流程示意图；
图2(a)-(d)为本发明在线跟踪与稠密重建方法实施例一中，在ICL-NUIM数据集living room kt0-kt3序列上进行基于稳定性的采样前和采样后的ICP配准协方差矩阵条件数的比较；
图3为本发明移动设备上在线跟踪与稠密重建方法实施例二的流程示意图；
图4为在一组特定室内场景中，采用本发明在线跟踪与稠密重建方法实施例二得到的稠密三维模型示意图；
图5为本发明移动设备上在线跟踪与稠密重建系统实施例一的构成示意图；
图6为本发明移动设备上在线跟踪与稠密重建系统实施例二的构成示意图。
具体实施方式
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
本发明采用了一种几何稳定的采样方法，从而选择能够为ICP提供足够约束的三维点对，使得相机跟踪过程更加鲁棒。另外利用了视觉跟踪结果与IMU信息融合的方法，能够鲁棒的跟踪相机姿态并实现稠密三维重建，尤其在几何特征较少的场景中更为有效。本方法鲁棒性强，计算速度快，最终得到的三维模型合理可靠，能够实现移动设备上的在线稠密三维重建。
图1为本发明移动设备上在线跟踪与稠密重建方法实施例一的流程示意图。如图1所示，本实施例的在线跟踪与稠密重建方法，包括：
在步骤S100中，获取一帧当前的深度图像，计算所述当前的深度图像上各像素在相机坐标系下的三维点和法向量，以及各像素的深度噪声标准差。该步骤可以具体包括步骤S101-S103：
在步骤S101中，获取一帧当前时刻的深度图像。
在步骤S102中，根据相机内参矩阵，以及所述当前的深度图像上各像素点的坐标及其深度值，分别计算出各像素点在相机坐标系下的三维点坐标，以及每一个三维点的法向量。
在步骤S103中，根据深度传感器的噪声模型，计算用于表示深度噪声标准差的不确定性值。
在步骤S200中，根据所述各像素在相机坐标系下的三维点和法向量，通过ICP算法配准所述当前的深度图像和对三维模型在前一帧视角下进行光线投影生成的深度图像，从而得到所述当前的深度图像对应的相机姿态。该步骤可以具体包括步骤S201-S204：
在步骤S201中，构建协方差矩阵，如公式(1)、(2)所示：
其中，
为像素u在i-1时刻的对应像素；
为i时刻三维点vi(u)的齐次表示形式；
为i-1时刻通过光线投影算法抽取出的三维点的法向量；
为i时刻相机的姿态。
在步骤S202中，计算所述方差矩阵H的最大特征值与最小特征值的比值，得到条件数c；
在步骤S203中，将所述当前的深度图像均分为多个子窗口，评价每个子窗口的几何稳定性，并基于其稳定性随机采样不同数目的三维点，共采集N个点；该步骤具体包括步骤S2031-S2035：
在步骤S2031中，将所述当前的深度图像均分为多个子窗口。
在步骤S2032中，对每一个子窗口，根据该子窗口中的三维点计算该子窗口的局部条件数。
局部条件数是每个窗口内三维点的几何稳定性的一个表征。如果子窗口的局部条件数越大，采样点数就应该越少。除此之外，如果窗口距离相机越远，这意味着窗口内的噪声较大，相应的采样点数也应该越少。
在步骤S2033中，对每一个子窗口，根据该子窗口的局部条件数和该子窗口中像素点与相机的平均距离，构建子窗口的加权函数，如公式(3)所示：
其中，ck为子窗口k的局部条件数；dk为子窗口k中各像素点的平均深度值。
根据消费级深度相机的噪声模型，构建距离权重，如公式(4)所示：
稳定性权重由条件数c确定，如公式(5)所示：
其中，v、u均为指数因子，且u>0，v>u，u和v用来确定采样点的分布情况，这两个参数越大，采样点在图像中分布越集中；反之，这两个参数越小，采样点在图像中分布越均匀；Th为预设的条件数阈值。
再对所述加权函数进行归一化，如公式(6)所示：
L为子窗口的总个数。
在步骤S2034中，对每一个子窗口，根据该子窗口加权函数的值从该子窗口中随机采样
个三维点，共采集N个点。N的取值为总像素数的1％
在步骤S2035中，根据采集的N个点，得到该N个点在另一幅图像中对应的N个三维点，从而组成N个点对。
其中，
为归一化后的加权函数值。
在步骤S204中，根据所采集的N个点，在所述对三维模型在前一帧视角下进行光线投影生成的深度图像中找到对应的三维点，从而组成N个点对；根据所述N个点对，通过ICP配准得到所述当前的深度图像对应的相机姿态[RICP|tICP]。采样点在ICP每次迭代时均固定。
图2(a)-(d)表示在一组特定数据(ICL-NUIM数据集，living room kt0～kt3序列)上采样之前与采样之后ICP协方差矩阵的条件数比较。通过观察可以发现，通过在经过基于稳定性采样的三维点上进行ICP配准，能够有效的降低ICP配准的条件数，从而增加相机跟踪的鲁棒性。
在步骤S300中，基于TSDF算法，根据所述当前的深度图像对应的相机姿态，以及各像素对应的所述三维点坐标和法向量、所述深度噪声的标准差，将所述当前的深度图像融合到当前的三维模型中。该步骤可以具体包括步骤S301-S303：
在步骤S301中，计算各体素对应的SDF值，如公式(7)所示：
sdfi＝di(u)-v(z)(u) (7)
其中，i为所述当前的深度图像对应的采集时刻；v(u)为已分配且可见的体素vg(u)在相机坐标系下的坐标，v(u)＝Ti,gvg(u)；Ti,g为i时刻深度图像对应的相机姿态Tg,i的逆矩阵；u为与体素vg(u)对应的深度图像中的像素；di(u)为像素u的深度值；v(z)(u)表示向量v(u)的z分量。
在步骤S302中，计算各像素点对应的自适应截断距离，如公式(8)所示：
其中，s为预设的体素分辨率，β为加权参数，σi(u)为像素u的所述深度噪声标准差。通过控制β的大小来平衡分配的体素的数目与深度值的不确定性。
传统方法使用固定的截断距离，这不适于噪声较大的数据。
在步骤S303中，若sdfi>-μ(u)，则计算各体素对应的TSDF值，如公式(9)所示：
从而将所述当前的深度图像融合到TSDF表示的三维模型中。
其中，xi-1为i-1时刻体素vg(u)被观察到的次数。
在步骤S400中，基于光线投影算法从当前的三维模型中抽取表面点集，并根据所述表面点集进行场景渲染；所述表面点集还用于计算下一帧深度图像对应的相机姿态。
所述基于光线投影算法从当前的三维模型中抽取表面点集，具体为：寻找各像素反投影射线与TSDF零值面的交点，从而得到所述表面点集。
本实施例中，应用一种哈希结构检索体素数据，以便将本发明的三维重建方法用于存储空间有限的设备上，具体包括：
首先，定义体素块的数据结构，该数据结构由M×M×M个体素构成，通常M设为8；将所述体素块的数据结构存储于堆空间中；
其次，计算体素块的哈希值，如公式(10)所示：
其中，(bx,by,bz)为体素块的整数坐标，(p1,p2,p3)为素数，p1＝73856093，p2＝19349669，p3＝83492791；K是哈希表所能存储的最大数；mod和
分别为取余和异或操作符；
然后，根据所述体素块的哈希值构建哈希表，用于检索体素数据。通过使用哈希表而不是八叉树，体素能够更快的被索引。
图3为本发明移动设备上在线跟踪与稠密重建方法实施例二的流程示意图。如图3所示，本实施例的在线跟踪与稠密重建方法，与实施例一的区别在于：在步骤S200之后，在步骤S300之前，还包括：
步骤S250，根据当前的IMU信息和前一帧深度图像对应的相机姿态，通过分析ICP协方差矩阵的条件数来融合视觉跟踪的结果和IMU信息。
该步骤可以具体包括步骤S251-S257：
步骤S251，根据IMU信息计算帧间相对旋转ΔRIMU，并将所述帧间相对旋转ΔRIMU与前一帧相机姿态相乘，从而计算出ICP配准的旋转矩阵初值RIMU；
步骤S252，根据所述旋转矩阵初值RIMU，随机采样预设数量的三维点进行ICP配准，并计算其条件数c；
步骤S253，若c≤Tl，认为ICP算法约束已经足够，没有必要再对三维点采样，则转至步骤S254；否则，转至步骤S255；
步骤S254，得到所述当前的深度图像对应的相机姿态为[RICP|tICP]，也就是采用步骤S204得到的结果。
步骤S255，若Tl<c<Th，则转至步骤S256；否则，转至步骤S257；
步骤S256，进行稳定性采样并再次进行ICP配准，得到所述当前的深度图像对应的相机姿态为[R′ICP|t′ICP]；
步骤S257，若c≥Th，则认为ICP算法约束不够，借助IMU在短时间精度较高的特点，进行稳定性采样，并在ICP迭代过程中固定旋转分量为RIMU，得到所述当前的深度图像对应的相机姿态为[RIMU|t″ICP]。
其中，阈值Th与IMU精度有关，若IMU精度较高则减小Th；若IMU精度较低则加大Th。
图4为在一组特定室内场景(3m×5m的起居室)中，采用本发明在线跟踪与稠密重建方法实施例二得到的稠密三维模型示意图。
与现有技术相比，本发明能够充分借助场景中的几何信息进行鲁棒地稠密三维重建。借助几何稳定性进行参与ICP计算的三维点的采样，并融合ICP跟踪的相机姿态与IMU的信息。本发明通过多种类型的数据实验，比如公开数据集、使用Occipital StructureSensor采集的数据集等证明了它的高效率和鲁棒性。本发明主要针对解决现有方法在含有较少几何特征的场景中跟踪不鲁棒的情况，利用场景几何信息的多少来采样三维点并融合IMU信息，因此特别适合含有较少几何特征的场景的移动设备上快速鲁棒三维重建。
本发明的一种存储设备的实施例，其存储有程序，所述程序适于由处理器加载并执行，以实现上面所述的移动设备上在线跟踪与稠密重建方法。
本发明的一种处理设备，包括：处理器和存储器。
所述处理器，适于执行程序；所述存储器，适于存储该程序；所述程序适于由所述处理器加载并执行，以实现上面所述的移动设备上在线跟踪与稠密重建方法。
图5为本发明移动设备上在线跟踪与稠密重建系统实施例一的构成示意图。如图5所示，一种移动设备上在线跟踪与稠密重建系统，包括：预处理模块10、相机跟踪模块20、体数据融合模块30、表面估计模块40。
所述预处理模块10，配置为：获取一帧当前的深度图像，计算所述当前的深度图像上各像素在相机坐标系下的三维点和法向量，以及各像素的深度噪声标准差。
所述相机跟踪模块20，配置为：根据所述各像素在相机坐标系下的三维点和法向量，通过ICP算法配准所述当前的深度图像和对三维模型在前一帧视角下进行光线投影生成的深度图像，从而得到所述当前的深度图像对应的相机姿态
所述体数据融合模块30，配置为：基于TSDF算法，根据所述当前的深度图像对应的相机姿态，以及各像素对应的所述三维点坐标和法向量、所述深度噪声的标准差，将所述当前的深度图像融合到当前的三维模型中
所述表面估计模块40，配置为：基于光线投影算法从当前的三维模型中抽取表面点集，并根据所述表面点集进行场景渲染；所述表面点集还用于计算下一帧深度图像对应的相机姿态。
图6为本发明移动设备上在线跟踪与稠密重建系统实施例二的构成示意图。如图6所示，本实施例的在线跟踪与稠密重建系统，与实施例一的系统相比，还包括：视觉跟踪与IMU信息融合模块；
所述视觉跟踪与IMU信息融合模块50，配置为：根据当前的IMU信息和前一帧深度图像对应的相机姿态，通过分析ICP协方差矩阵的条件数来融合视觉跟踪的结果和IMU信息。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的方法步骤和模块、单元，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (14)
1.一种移动设备上在线跟踪与稠密重建方法，其特征在于，包括：
步骤S100，获取一帧当前的深度图像，计算所述当前的深度图像上各像素在相机坐标系下的三维点和法向量，以及各像素的深度噪声标准差；
步骤S200，根据所述各像素在相机坐标系下的三维点和法向量，通过ICP算法配准所述当前的深度图像和对三维模型在前一帧视角下进行光线投影生成的深度图像，从而得到所述当前的深度图像对应的相机姿态；
步骤S300，基于TSDF算法，根据所述当前的深度图像对应的相机姿态，以及各像素对应的所述三维点坐标和法向量、所述深度噪声的标准差，将所述当前的深度图像融合到当前的三维模型中；
步骤S400，基于光线投影算法从当前的三维模型中抽取表面点集，并根据所述表面点集进行场景渲染；所述表面点集还用于计算下一帧深度图像对应的相机姿态；
其中，所述ICP算法是迭代最近点算法，所述TSDF算法是截断符号距离函数算法。
2.根据权利要求1所述的在线跟踪与稠密重建方法，其特征在于，步骤S100中“计算所述当前的深度图像上各像素在相机坐标系下的三维点和法向量”，具体为：
根据相机内参矩阵，以及所述当前的深度图像上各像素点的坐标及其深度值，分别计算出各像素点在相机坐标系下的三维点坐标及法向量。
3.根据权利要求1所述的在线跟踪与稠密重建方法，其特征在于，步骤200中“根据所述各像素在相机坐标系下的三维点和法向量，通过ICP算法配准所述当前的深度图像和对三维模型在前一帧视角下进行光线投影生成的深度图像，从而得到所述当前的深度图像对应的相机姿态”，具体包括：
步骤S201，构建协方差矩阵：
其中，
步骤S202，计算所述方差矩阵H的最大特征值与最小特征值的比值，得到条件数c；
步骤S203，将所述当前的深度图像均分为多个子窗口，评价每个子窗口的几何稳定性，并基于其稳定性随机采样不同数目的三维点，共采集N个点；
步骤S204，根据所采集的N个点，在所述对三维模型在前一帧视角下进行光线投影生成的深度图像中找到对应的三维点，从而组成N个点对；根据所述N个点对，通过ICP配准得到所述当前的深度图像对应的相机姿态[RICP|tICP]。
4.根据权利要求1所述的在线跟踪与稠密重建方法，其特征在于，步骤S300中“基于TSDF算法，根据所述当前的深度图像对应的相机姿态，以及各像素对应的所述三维点坐标和法向量、所述深度噪声的标准差，将所述当前的深度图像融合到当前的三维模型中”，具体包括：
步骤S301，计算各体素对应的SDF值：
sdfi＝di(u)-v(z)(u)
其中，i为所述当前的深度图像对应的采集时刻；v(u)为已分配且可见的体素vg(u)在相机坐标系下的坐标，v(u)＝Ti，gvg(u)；Ti，g为i时刻深度图像对应的相机姿态Tg，i的逆矩阵；u为与体素vg(u)对应的深度图像中的像素；di(u)为像素u的深度值；v(z)(u)表示向量v(u)的z分量；
步骤S302，计算各像素点对应的自适应截断距离：
其中，s为预设的体素分辨率，β为加权参数，σi(u)为像素u的所述深度噪声标准差；
步骤S303，若sdfi＞-μ(u)，则计算各体素对应的TSDF值：
从而将所述当前的深度图像融合到TSDF表示的三维模型中；
其中，xi-1为i-1时刻体素vg(u)被观察到的次数。
5.根据权利要求4所述的在线跟踪与稠密重建方法，其特征在于，应用一种哈希结构检索体素数据，具体包括：
定义体素块的数据结构，该数据结构由M×M×M个体素构成；将所述体素块的数据结构存储于堆空间中；
计算体素块的哈希值：
其中，(bx，by，bz)为体素块的整数坐标，(p1，p2，p3)为素数，p1＝73856093，p2＝19349669，p3＝83492791；K是哈希表所能存储的最大数；mod和
分别为取余和异或操作符；
根据所述体素块的哈希值构建哈希表，用于检索体素数据。
6.根据权利要求3所述的在线跟踪与稠密重建方法，其特征在于，步骤S203中“评价每个子窗口的几何稳定性，并基于其稳定性随机采样不同数目的三维点，共采集N个点”，具体包括：
对每一个子窗口，根据该子窗口中的三维点计算该子窗口的局部条件数；
对每一个子窗口，根据该子窗口的局部条件数和该子窗口中像素点与相机的平均距离，计算该子窗口的加权函数；
对每一个子窗口，根据该子窗口加权函数的值从该子窗口中随机采样
个三维点，共采集N个点；
根据采集的N个点，得到该N个点在另一幅图像中对应的N个三维点，从而组成N个点对；
其中，
为归一化后的加权函数值，ck为子窗口k的局部条件数；dk为子窗口k中各像素点的平均深度值。
7.根据权利要求6所述的在线跟踪与稠密重建方法，其特征在于，“对每一个子窗口，根据该子窗口的局部条件数和该子窗口中像素点与相机的平均距离，计算该子窗口的加权函数”，具体为：
构建子窗口的加权函数：
对所述加权函数进行归一化：
其中，
ck为子窗口k的局部条件数；dk为子窗口k中各像素点的平均深度值；
为距离权重；
为稳定性权重；v、u均为指数因子，且u＞0，v＞u；Th为预设的条件数阈值；上为子窗口的总个数。
8.根据权利要求1所述的在线跟踪与稠密重建方法，其特征在于，步骤S400中所述基于光线投影算法从当前的三维模型中抽取表面点集，具体为：
寻找各像素反投影射线与TSDF零值面的交点，从而得到所述表面点集。
9.根据权利要求6所述的在线跟踪与稠密重建方法，其特征在于，在步骤S200之后，在步骤S300之前，还包括：
步骤S250，根据当前的IMU信息和前一帧深度图像对应的相机姿态，通过分析ICP协方差矩阵的条件数来融合视觉跟踪的结果和IMU信息。
10.根据权利要求9所述的在线跟踪与稠密重建方法，其特征在于，步骤S250中，“根据当前的IMU信息和前一帧深度图像对应的相机姿态，通过分析ICP协方差矩阵的条件数来融合视觉跟踪的结果和IMU信息”，具体包括：
步骤S251，根据IMU信息计算帧间相对旋转ΔRIMU，并将所述帧间相对旋转ΔRIMU与前一帧相机姿态相乘，从而计算出ICP配准的旋转矩阵初值RIMU；
步骤S252，根据所述旋转矩阵初值RIMU，随机采样预设数量的三维点进行ICP配准，并计算其条件数c；
步骤S253，若c≤Tl，则转至步骤S254；否则，转至步骤S255；
步骤S254，得到所述当前的深度图像对应的相机姿态为[RICP|tICP]；
步骤S255，若Tl＜c＜Th，则转至步骤S256；否则，转至步骤S257；
步骤S256，进行稳定性采样并再次进行ICP配准，得到所述当前的深度图像对应的相机姿态为[R′ICP|t′ICP]；
步骤S257，若c≥Th，则进行稳定性采样，并在ICP迭代过程中固定旋转分量为RIMU，得到所述当前的深度图像对应的相机姿态为[RIMU|t″ICP]。
11.一种存储设备，其存储有程序，其特征在于，所述程序适于由处理器加载并执行，以实现权利要求1-10中任一项所述的移动设备上在线跟踪与稠密重建方法。
12.一种处理设备，包括：处理器和存储器；
所述处理器，适于执行程序；
所述存储器，适于存储该程序；
其特征在于，所述程序适于由所述处理器加载并执行，以实现权利要求1-10中任一项所述的移动设备上在线跟踪与稠密重建方法。
13.一种移动设备上在线跟踪与稠密重建系统，其特征在于，包括：预处理模块、相机跟踪模块、体数据融合模块、表面估计模块；
所述预处理模块，配置为：获取一帧当前的深度图像，计算所述当前的深度图像上各像素在相机坐标系下的三维点和法向量，以及各像素的深度噪声标准差；
所述相机跟踪模块，配置为：根据所述各像素在相机坐标系下的三维点和法向量，通过ICP算法配准所述当前的深度图像和对三维模型在前一帧视角下进行光线投影生成的深度图像，从而得到所述当前的深度图像对应的相机姿态；
所述体数据融合模块，配置为：基于TSDF算法，根据所述当前的深度图像对应的相机姿态，以及各像素对应的所述三维点坐标和法向量、所述深度噪声的标准差，将所述当前的深度图像融合到当前的三维模型中；
所述表面估计模块，配置为：基于光线投影算法从当前的三维模型中抽取表面点集，并根据所述表面点集进行场景渲染；所述表面点集还用于计算下一帧深度图像对应的相机姿态。
14.根据权利要求13所述的在线跟踪与稠密重建系统，其特征在于，还包括：视觉跟踪与IMU信息融合模块；
所述视觉跟踪与IMU信息融合模块，配置为：根据当前的IMU信息和前一帧深度图像对应的相机姿态，通过分析ICP协方差矩阵的条件数来融合视觉跟踪的结果和IMU信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810201502.9A CN108550181B (zh) | 2018-03-12 | 2018-03-12 | 移动设备上在线跟踪与稠密重建方法、系统及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810201502.9A CN108550181B (zh) | 2018-03-12 | 2018-03-12 | 移动设备上在线跟踪与稠密重建方法、系统及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108550181A CN108550181A (zh) | 2018-09-18 |
| CN108550181B true CN108550181B (zh) | 2020-07-31 |
Family
ID=63516055
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810201502.9A Active CN108550181B (zh) | 2018-03-12 | 2018-03-12 | 移动设备上在线跟踪与稠密重建方法、系统及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108550181B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110064200B (zh) | 2019-04-25 | 2022-02-22 | 腾讯科技（深圳）有限公司 | 基于虚拟环境的物体构建方法、装置及可读存储介质 |
| CN110310362A (zh) * | 2019-06-24 | 2019-10-08 | 中国科学院自动化研究所 | 基于深度图及imu的高动态场景三维重建方法、系统 |
| CN110599518B (zh) * | 2019-08-15 | 2022-08-26 | 南京邮电大学 | 一种基于视觉显著度的超像素分割与条件数分块的目标跟踪方法 |
| CN110874864B (zh) * | 2019-10-25 | 2022-01-14 | 奥比中光科技集团股份有限公司 | 获取对象三维模型的方法、装置、电子设备及系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106875482A (zh) * | 2017-01-13 | 2017-06-20 | 浙江大学 | 一种同时定位与稠密三维重建方法 |
| CN106910242A (zh) * | 2017-01-23 | 2017-06-30 | 中国科学院自动化研究所 | 基于深度相机进行室内完整场景三维重建的方法及系统 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103456038A (zh) * | 2013-08-19 | 2013-12-18 | 华中科技大学 | 一种井下环境三维场景重建方法 |
| EP2886043A1 (de) * | 2013-12-23 | 2015-06-24 | a.tron3d GmbH | Verfahren zum Fortsetzen von Aufnahmen zum Erfassen von dreidimensionalen Geometrien von Objekten |
| CN106803267B (zh) * | 2017-01-10 | 2020-04-14 | 西安电子科技大学 | 基于Kinect的室内场景三维重建方法 |
| CN107292965B (zh) * | 2017-08-03 | 2020-10-13 | 北京航空航天大学青岛研究院 | 一种基于深度图像数据流的虚实遮挡处理方法 |
-
2018
- 2018-03-12 CN CN201810201502.9A patent/CN108550181B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106875482A (zh) * | 2017-01-13 | 2017-06-20 | 浙江大学 | 一种同时定位与稠密三维重建方法 |
| CN106910242A (zh) * | 2017-01-23 | 2017-06-30 | 中国科学院自动化研究所 | 基于深度相机进行室内完整场景三维重建的方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| An Adaptive Point Tracking Method Based on Depth Map for 2D-3D Video Conversion;Yangdong Liu et.al;《INTERNATIONAL SYMPOSIUM ON OPTOELECTRONIC TECHNOLOGY AND APPLICATION 2014: IMAGE PROCESSING AND PATTERN RECOGNITION》;20141231;第9301卷;1-9 * |
| 基于深度摄像机的三维场景表面重建关键技术研究;李阳;《中国博士学位论文全文数据库信息科技辑（月刊）》;20170315(第03期);I138-58 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108550181A (zh) | 2018-09-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108550181B (zh) | 移动设备上在线跟踪与稠密重建方法、系统及设备 | |
| CN109859296B (zh) | Smpl参数预测模型的训练方法、服务器及存储介质 | |
| CN104781849B (zh) | 单眼视觉同时定位与建图(slam)的快速初始化 | |
| KR100886439B1 (ko) | 물체 상태를 추정하는 추정 시스템, 추정 방법, 및 추정프로그램 | |
| CN111598998A (zh) | 三维虚拟模型重建方法、装置、计算机设备和存储介质 | |
| CN108564652B (zh) | 高效利用内存的高精度三维重建方法与系统及设备 | |
| JP5555207B2 (ja) | ３次元姿勢推定装置、３次元姿勢推定方法、及びプログラム | |
| US20040239756A1 (en) | Method and apparatus for computing error-bounded position and orientation of panoramic cameras in real-world environments | |
| CN110555908B (zh) | 基于室内移动目标背景修复的三维重建方法 | |
| CN113034652A (zh) | 虚拟形象驱动方法、装置、设备及存储介质 | |
| CN115294275A (zh) | 三维模型的重建方法、装置及计算机可读存储介质 | |
| CN112733641B (zh) | 物体尺寸测量方法、装置、设备及存储介质 | |
| US20210012568A1 (en) | Methods, devices and computer program products for gradient based depth reconstructions with robust statistics | |
| CN113409444B (zh) | 三维重建方法、装置、电子设备及存储介质 | |
| CN112766027A (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN113936090A (zh) | 三维人体重建的方法、装置、电子设备及存储介质 | |
| US10229508B2 (en) | Dynamic particle filter parameterization | |
| KR20120041086A (ko) | 아바타 생성을 위한 처리 장치 및 방법 | |
| JP2014085933A (ja) | ３次元姿勢推定装置、３次元姿勢推定方法、及びプログラム | |
| CN116563493A (zh) | 基于三维重建的模型训练方法、三维重建方法及装置 | |
| CN116170689A (zh) | 视频生成方法、装置、计算机设备和存储介质 | |
| CN111862278A (zh) | 一种动画获得方法、装置、电子设备及存储介质 | |
| CN114202454A (zh) | 图优化方法、系统、计算机程序产品以及存储介质 | |
| CN118071873A (zh) | 一种在动态环境下稠密高斯地图重建方法及系统 | |
| CN113886510A (zh) | 一种终端交互方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Gao Wei Inventor after: Liu Yangdong Inventor after: Hu Zhanyi Inventor before: Liu Yangdong Inventor before: Gao Wei Inventor before: Hu Zhanyi |