CN108564616A - 快速鲁棒的rgb-d室内三维场景重建方法 - Google Patents
快速鲁棒的rgb-d室内三维场景重建方法 Download PDFInfo
- Publication number
- CN108564616A CN108564616A CN201810213575.XA CN201810213575A CN108564616A CN 108564616 A CN108564616 A CN 108564616A CN 201810213575 A CN201810213575 A CN 201810213575A CN 108564616 A CN108564616 A CN 108564616A
- Authority
- CN
- China
- Prior art keywords
- camera
- rgb
- frame
- dimensional
- reconstructing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 31
- 230000004927 fusion Effects 0.000 claims abstract description 29
- 230000006870 function Effects 0.000 claims description 24
- 230000009466 transformation Effects 0.000 claims description 18
- 238000009432 framing Methods 0.000 claims description 10
- 230000033001 locomotion Effects 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000008878 coupling Effects 0.000 claims description 7
- 238000010168 coupling process Methods 0.000 claims description 7
- 238000005859 coupling reaction Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 6
- 230000003287 optical effect Effects 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 4
- 230000002452 interceptive effect Effects 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 2
- 238000007499 fusion processing Methods 0.000 claims description 2
- 230000009467 reduction Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000005457 optimization Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000002156 mixing Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 241000274965 Cyrestis thyodamas Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 239000013256 coordination polymer Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000000547 structure data Methods 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及三维重建领域，具体提出了一种快速鲁棒的RGB‑D室内三维场景重建方法，旨在解决解决室内三维场景重建效率不能满足需求的问题，本发明方法包括：采用RGB‑D相机实时扫描室内场景；基于点线融合相机跟踪算法进行相机实时跟踪；通过检测相机状态对相机轨迹进行约减；利用约减后的相机轨迹信息对RGB‑D图像进行多尺度体数据融合，生成完整的场景三维模型。本发明能够高效、准确地得到完整室内场景模型，系统具有良好的鲁棒性和扩展性。
Description
技术领域
本发明涉及三维重建领域，具体涉及一种快速鲁棒的RGB-D室内三维场景重建方法。
背景技术
室内场景三维重建是计算机视觉中具有挑战性的研究课题之一，涉及计算机视觉、计算机图形学、模式识别、最优化等多个领域的理论与技术。实现三维重建有多种途径，传统方法是采用激光、雷达等测距传感器或结构光技术来获取场景或物体表面的结构信息进行三维重建，但这些仪器大多价格昂贵并且不易携带，所以应用场合有限。随着计算机视觉技术的发展，研究者们开始研究使用纯视觉的方法进行三维重建，涌现出来了大量有益的研究工作。
消费级RGB-D相机Microsoft Kinect推出后，人们可以直接利用深度数据比较便捷地进行室内场景三维重建。Newcombe等人提出的KinectFusion算法利用Kinect来获取图像中各点的深度信息，通过迭代近似最近邻点(Iterative Closest Point,ICP)算法将三维点在当前帧相机坐标系下的坐标与在全局模型中的坐标进行对齐来估计当前帧相机的姿态，再通过曲面隐函数(Truncated Signed Distance Function,TSDF)迭代进行体数据融合，得到稠密的三维模型。虽然Kinect获取深度不受光照条件和纹理丰富程度的影响，但其深度数据范围只有0.5-4m，而且网格模型的位置和大小是固定的，所以只适用于局部、静态的室内场景。
基于消费级RGB-D相机进行室内场景三维重建，一般存在以下几个问题：(1)消费级RGB-D相机获取的深度图像分辨率小、噪声大使得物体表面细节难以保持，而且深度值范围有限不能直接用于完整场景三维重建；(2)室内弱纹理区域几何结构简单、可以提取的点特征比较少，基于ICP和特征法的相机定位比较困难；(3)利用装配RGB-D相机的机器人采集室内场景，会存在冗余重复的数据，影响建模速度和精度。
为了进行完整的室内场景三维重建，Whelan等人提出了Kintinuous算法，是对KinectFusion的进一步扩展。该算法使用Shifting TSDF Volume循环利用显存的方式解决大场景重建时网格模型显存消耗的问题，并通过DBoW寻找匹配的关键帧进行闭环检测，最后对位姿图和模型做优化，从而得到大场景三维模型。Choi和Zeng等人提出了局部-全局配准的思想，先将RGB-D数据流做分段，对每段单独做视觉里程计估计，从两两段间的点云数据中提取描述子寻找匹配进行闭环检测，最后利用优化后的相机姿态进行体数据融合。Elasticfusion使用Surfel模型来表示三维模型，该算法通过优化deformation graph的形式，提高重建和位姿估计的精度。Bunderfusion基于稀疏特征、密集几何特征和光度匹配的对应关系，来估计相机姿态，可以实时得到高质量的场景模型。但这些算法都需要依赖于高配置的计算资源才能达到实时或耗时比较久。
近年来基于特征法的RGB-D相机定位逐渐引起了关注。ORB-SLAM2是一套基于ORB特征进行定位，高精度、高效的稀疏SLAM(simultaneous localization and mapping)系统，可以实时运行在普通CPUs上，但在室内弱纹理区域很容易定位失败。由于室内场景中存在大量的线特征，不少系统基于直线特征进行相机定位以提高在弱纹理区域的相机定位鲁棒性，但是直线特征的提取和匹配都比较耗时。Edge VO直接采用边缘匹配，可以非常高效地进行相机跟踪，但定位精度很差。Edge SLAM在该算法的基础上对初始化做了优化，并加入了闭环控制，提高了定位精度，不过也降低了效率。
基于TSDF的体数据融合方法可以方便地将多幅RGB-D图像融合为完整的三维模型。Steinbrucker等人提出了采用八叉树数据结构存储TSDF值的算法，可以高效、实时的进行数据融合。Nissner等人采用哈希数据结构来压缩空间，可以实现体数据的实时读取与更新。不过这些算法没有考虑RGB-D相机的噪声特点和数据冗余的情况，并不能完全保证模型表面的几何细节。
发明内容
为了解决现有技术中的上述问题，即为了解决室内三维场景重建效率不能满足需求的问题，本发明提出了一种快速鲁棒的RGB-D室内三维场景重建方法，该方法包括：
采用RGB-D相机实时扫描室内场景；
基于点线融合相机跟踪算法进行相机实时跟踪；
通过检测相机状态对相机轨迹进行约减；
利用约减后的相机轨迹信息对RGB-D图像进行多尺度体数据融合，生成完整的场景三维模型。
在本发明的优选实施方式中，“基于点线融合相机跟踪算法进行相机实时跟踪”包括三个线程：跟踪线程、局部构图线程、闭环检测线程；
所述跟踪线程，基于RGB-D相机采集到的彩色图像与深度图像序列，进行初始姿态估计、跟踪局部地图、关键帧的判断；其中，所述初始状态估计通过松耦合的方式联合特征点跟踪与边缘跟踪，通过最小化能量函数估计相机姿态；
所述局部构图线程，用于对每个新的关键帧完成局部地图构建；
所述闭环检测线程，用于对局部地图构建过程中最后处理的关键帧进行闭环检测，并在确定闭环后进行闭环修正。
在本发明的优选实施方式中，所述初始状态估计中，通过松耦合的方式联合特征点跟踪与边缘跟踪估计相机姿态所采用的最小化能量函数为：
其中，ep是特征点的重投影误差，ee是边缘的几何距离误差，χC表示相邻帧的匹配集合，ρp和ρe是Huber函数，λ∈[0,1]是权重因子，B为相邻帧图像间的变换关系。
在本发明的优选实施方式中，特征点的重投影误差ep为：
ep＝X'-KBX
其中，X表示ORB特征点的三维坐标，X'表示匹配点的位置，K为相机内参矩阵，B为相邻帧图像间的变换关系；
边缘的几何距离误差ee为：
ee＝d(L',τ(K,B,L))
其中，L表示边缘上像素的坐标，L'表示匹配点的位置，d表示几何距离误差，τ(K,B,L)为边缘上像素的坐标L在相邻帧图像中对应的三维点坐标；
权重因子λ基于场景纹理的丰富程度进行取值：
其中，N表示每帧图像上提取的ORB特征数量，Nmax和Nmin是最大、最小阈值。
在本发明的优选实施方式中，所述初始状态估计中，进行边缘匹配之前设置有像素点深度值修正步骤，包括：
将像素点深度值与预设深度区间进行对比，如果该数值不在所述预设深度区间，则采用EKF进行深度估计，得到新的深度值。
在本发明的优选实施方式中，“通过检测相机状态对相机轨迹进行约减”，其方法为：
计算相邻帧之间相机运动的线速度；
如果线速度低于设定第一阈值则删除该帧位姿，否则计算该帧图像与闭环帧图像的相似度；
如果相似度低于设定第二阈值，则删除该帧位姿；
输出约减后的图像帧位姿。
在本发明的优选实施方式中，“计算该帧图像与闭环帧图像的相似度”，其方法为：
步骤301，根据像素点与空间三维点的投影关系、第i帧深度图像的深度值，计算深度图像上每个像素所对应的空间三维坐标，计算公式如下：
p＝π-1(x,z(x))
其中，xp是图像上的任一像素，对应的深度值和空间三维点分别为z(x)和p，π表示2D-3D投影变换关系；
步骤302，将步骤301计算得到空间三维点p从第i帧相机坐标系做旋转平移变换到世界坐标系下，得到新的三维点坐标q，计算公式为：
q＝Bip
其中，Bi为相机坐标系与世界坐标系的变换关系，p和q的坐标分别表示为p＝(px,py,pz)，q＝(qx,qy,qz)。
步骤303，将步骤302计算得到三维点q反投影到二维图像平面，得到新的深度图，计算公式为：
其中，xq是q对应的新得到深度图上的像素，(u0,v0)为相机主点，(fu,fv)为相机焦距；
步骤304，分别计算闭环帧深度图有效像素个数n0、第i帧新生成深度图上的有效像素个数ni，按照如下公式计算相似度ρ：
在本发明的优选实施方式中，“利用约减后的相机轨迹信息对RGB-D图像进行多尺度体数据融合”，其方法为：利用TSDF网格模型融合各帧的图像，使用分辨率为m的体素网格来表示三维空间；其中，m为空间被分割的块数。
在本发明的优选实施方式中，每个网格o存储两个值：截断符号距离函数fi(o)及其权重wi(o)；
截断符号距离函数fi(o)的公式为：
其中，fi(o)表示该网格到物体模型表面的距离，正、负分别表示该网格是在表面被遮挡一侧、可见一侧，过零点就是体素表面上的点；[]z表示z轴的取值；Φ是截断阈值，K为相机内参矩阵，zi(x)为第i个网格中像素x在深度图对应的深度值；
权重wi(o)的公式为：
其中，δ的取值为体素分辨率m的十分之一。
在本发明的优选实施方式中，在多尺度体数据融合过程中，采用多分辨率八叉树数据结构来存储TSDF值。
在本发明的优选实施方式中，八叉树数据结构中数据块的尺度sl为：
其中，pi(xi,yi,zi)表示空间三维点坐标，该点到光轴的平方距离为
在本发明的优选实施方式中，对于帧数为n的图像序列，进行多尺度体数据融合时，按照下式进行迭代：
F(o)和W(o)表示融合后体素o所对应的TSDF值及其权重。
本发明的有益效果：
本发明中，点线融合的相机跟踪算法可以提高系统的跟踪鲁棒性，轨迹约减算法能有效降低数据融合的速度和模型精度，多尺度体数据融合算法可以高效、准确地得到三维模型；基于CPUs的室内场景三维重建系统，能够高效、准确地得到完整室内场景模型，系统具有良好的鲁棒性和扩展性。
附图说明
图1是室内场景三维重建系统示意图；
图2是对彩色图进行ORB特征提取和边缘提取的效果比较图；
图3是轨迹约减算法流程示意图；
图4是轨迹约减前后体数据融合的时间比较示意图；
图5是室内场景数据轨迹约减前后的模型细节比较图示意图；
图6是空间三维点与多分辨率八叉树数据结构的关系对应图；
图7是在TUM RGB-D Dataset数据集上使用本方法得到的三维重建效果图；
图8是对Microsoft Kinect for Windows采集的场景三维重建的效果比较图。
具体实施方式
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
本发明实施例的快速鲁棒的RGB-D室内三维场景重建方法，如图1所示，包括以下步骤：
采用RGB-D相机实时扫描室内场景；
基于点线融合相机跟踪算法进行相机实时跟踪；
通过检测相机状态对相机轨迹进行约减；
利用约减后的相机轨迹信息对RGB-D图像进行多尺度体数据融合，生成完整的场景三维模型。
根据上述方法，可以将本发明分为相机跟踪阶段、轨迹约减阶段、多尺度体数据融合阶段三个阶段进行详细描述。
1、相机跟踪阶段
相机跟踪阶段分为三个线程：跟踪线程、局部构图线程、闭环检测线程。
(1)跟踪线程，基于RGB-D相机采集到的彩色图像与深度图像序列，进行初始姿态估计、跟踪局部地图、关键帧的判断；其中，所述初始状态估计通过松耦合的方式联合特征点跟踪与边缘跟踪，通过最小化能量函数估计相机姿态。
该线程的输入为RGB-D相机采集到的彩色图像与深度图像序列，输出为初始姿态估计和跟踪局部地图，并根据ORB-SLAM方法的间隔帧数、跟踪点数和视图变化要求，对当前帧进行关键帧的判断。其中，初始姿态估计包括边缘跟踪和特征点跟踪，通过最小化能量函数得到相机姿态。局部地图包含与当前帧有共同地图点的关键帧集合K1，以及在互见图(covisibility graph)中与K1相邻的关键帧集合K2。互见图的每个节点是一个关键帧，如果两个关键帧之间有共同看到的地图点，那么两者之间就会生成一条边，共同看到的地图点的个数就是该条边的权值。跟踪局部地图就是寻找与这些关键帧中地图点的匹配，通过motion-only BA进行位姿优化。跟踪局部地图、关键帧判断的方法在较多技术文献、论文中均有描述，此处不再赘述。
(2)局部构图线程，用于对每个新的关键帧完成局部地图构建。在跟踪线程插入关键帧后，优化局部地图中的点和位姿。在关键帧插入后，会结合局部地图内的另一帧创建新的地图点。局部构图线程的具体方法在较多技术文献、论文中均有描述，此处不再赘述。
(3)闭环检测线程：通过DBoW2字典树进行闭环检测，当检测到闭环时，计算闭环帧与当前帧的SE(3)变换，并通过位姿图的优化纠正累积误差和地图点的位置。闭环检测线程的具体方法在较多技术文献、论文中均有描述，此处不再赘述。
本发明实施例中为了提高初始化和边缘匹配的效率，我们使用深度图中的深度值进行辅助。由于基于结构光原理的消费级RGB-D相机在结构边缘处采集不到深度，所以可以在进行边缘匹配之前设置有像素点深度值修正步骤，将像素点深度值与预设深度区间进行对比，如果该数值在预设深度区间之内就直接用来做匹配；否则在采用EKF(ExtendedKalman Filter)估计新的像素点深度值，再用来做匹配。在该重建系统中预设深度区间为(0.5m，4m)。
2、轨迹约减阶段
轨迹约减阶段输入为相机跟踪阶段得到的所有图像帧的相机姿态，根据约减算法去除冗余帧的位姿，以提高建模精度和建模速度。约减算法流程如图2所示，包括速度检测和相似度检测两部分，分别处理运动缓慢和轨迹重复造成的数据冗余。具体包括以下步骤：
计算相邻帧之间相机运动的线速度；
如果线速度低于设定第一阈值则删除该帧位姿，否则计算该帧图像与闭环帧图像的相似度；
如果相似度低于设定第二阈值，则删除该帧位姿；
输出约减后的图像帧位姿。
3、多尺度体数据融合阶段
多尺度体数据融合阶段利用Volumetric method框架进行TSDF数据加权融合，TSDF数值的存储采用多分辨率八叉树数据结构，来进一步提高体数据融合效率。并根据RGB-D相机的噪声特点来定义TSDF的参数以实现物体表面几何细节的保持。
本发明实施例的三个阶段分别包含三个核心算法：点线融合的相机跟踪算法、轨迹约减算法、多尺度体数据融合算法，下面将具体展开进行说明。
1、点线融合的相机跟踪算法
点线融合的相机跟踪算法包括：特征点跟踪、边缘跟踪和点线融合跟踪。特征点跟踪我们统一采用ORB特征，通过最小化重投影误差来估计相机姿态。边缘跟踪的特点是寻找相邻帧边缘图的匹配函数，通过最小化边缘上匹配像素的几何距离误差来估计相机姿态。点线融合的相机跟踪采用松耦合的方式联合特征点跟踪与边缘跟踪，得到相机姿态。
边缘匹配的目标就是得到相邻帧图像间的变换关系B，我们用六维向量ξ参数化表示该变换，变换函数的推导步骤如下：
(1)通过反投影变换关系，计算第一帧边缘图上像素x＝(u,v)T对应的三维点p坐标如公式(1)所示：
其中，z(x)为像素x在深度图对应的深度值，π表示2D-3D投影变换关系，(u0,v0)为相机主点，(fu,fv)为相机焦距，K为相机内参矩阵：
(2)通过变换得到第二帧图像上对应三维点坐标为B(g(ξ),p，)其中g(ξ)表示SE(3)变换。相机观测该点得到的三维点坐标为q＝(qx,qy,qz)，所以我们得到变换关系如公式(2)所示：
联立公式(1)和(2)，最终得到变换函数如公式(3)所示：
τ(K,ξ,x)＝π(B(g(ξ),p))＝π(B(g(ξ),π-1(K,x,z(x)))) (3)
通过最小化第一帧图像上像素点和第二帧图像上匹配到的像素点之间的几何距离误差，来求解两帧之间的变换关系，几何距离误差定义如公式(4)所示：
其中，表示梯度方向。
(3)通过松耦合的方式联合特征点跟踪与边缘跟踪估计相机姿态所采用的最小化能量函数如式(5)所示：
其中，ep是特征点的重投影误差，ee是边缘的几何距离误差，χC表示相邻帧的匹配集合，ρp和ρe是Huber函数，λ∈[0,1]是权重因子。
特征点的重投影误差如公式(6)所示：
ep＝X'-KBX (6)
其中，X表示ORB特征点的三维坐标，X'表示匹配点的位置。
边缘的几何距离误差如公式(7)所示：
ee＝d(L',τ(K,B,L)) (7)
其中，L表示边缘上像素的坐标；L'表示匹配点的位置；d()表示几何距离误差,采用公式(4)计算；τ(K,B,L)为边缘上像素的坐标L在相邻帧图像中对应的三维点坐标，可以通过公式(3)进行计算。
权重因子λ基于场景纹理的丰富程度进行取值，如公式(8)所示：
其中，N表示每帧图像上提取的ORB特征数量，Nmax和Nmin是最大、最小阈值。
为了提高初始化和边缘匹配效率，我们使用深度图中的深度值进行辅助，具体如上述的像素点深度值修正步骤。
2、轨迹约减算法：
通过相机跟踪阶段，可以得到每帧图像对应的相机姿态以及相机坐标系与世界坐标系的变换矩阵Bi＝[Ri|ti]，其中Ri表示旋转关系，ti表示平移关系。对于输入为n帧的图像序列，轨迹约减算法流程为：首先检测每帧图像相对于上帧图像的运动状态，计算相邻帧之间相机运动的线速度；如果线速度低于设定第一阈值则删除该帧位姿，否则计算该帧图像与闭环帧图像的相似度；如果相似度低于设定第二阈值，则删除该帧位姿；最后输出约减后的图像帧位姿。
结合图3对轨迹约减算法流程进行详细说明如下：
步骤201，获取n个图像帧的位姿，定义变量i，进行初始化赋值i＝0；
步骤202，在i值小于n时，计算相邻帧之间相机运动的线速度，否则跳转步骤205；
步骤203，判断线速度是否小于设定第一阈值，若小于则删除该帧位姿并跳转步骤205，否则计算该帧图像与闭环帧图像的相似度；
步骤204，判断相似度是否小于设定第二阈值，若小于则删除该帧位姿并跳转步骤205，否则变量i＝i+1并返回步骤202继续下一个帧图像的判断；
步骤205，最后输出约减后的图像帧位姿。
相邻帧之间相机运动的线速度计算如公式(9)所示：
vi＝ti-ti-1 (9)
相似度计算包括四个步骤：
步骤301，根据像素点与空间三维点的投影关系、第i帧深度图像的深度值，计算深度图像上每个像素所对应的空间三维坐标，如公式(10)所示：
p＝π-1(x,z(x)) (10)
其中，x是图像上的任一像素，对应的深度值和空间三维点分别为z(x)和p；该公式中π变换隐含了相机参数矩阵K，相比于公式(1)无需在公式中显示K矩阵。
步骤302，将步骤301计算得到空间三维点p从第i帧相机坐标系做旋转平移变换到世界坐标系下，得到新的三维点坐标q，如公式(11)所示：
q＝Bip (11)
其中，p和q的坐标分别为p＝(px,py,pz)，q＝(qx,qy,qz)；
步骤303，将步骤302计算得到三维点q反投影到二维图像平面，得到新的深度图，如公式(12)所示：
其中，xq是q对应的新得到深度图上的像素。
步骤304，分别计算闭环帧深度图有效像素个数n0、第i帧新生成深度图上的有效像素个数ni，按照公式(13)计算相似度ρ：
图4是轨迹约减前后体数据融合的时间比较，横轴是图像序列的帧数，纵轴是数据融合用到的时间(秒s)。
图5是室内场景数据轨迹约减前后的模型细节比较图示意图，图中方框标出的区域是存在闭环和缓慢运动的区域。
3、多尺度体数据融合算法：
根据轨迹约减后的相机轨迹信息，利用TSDF网格模型融合各帧的图像，使用分辨率为m的体素网格来表示三维空间。其中，m为空间被分割的块数，每个网格o存储两个值：截断符号距离函数fi(o)及其权重wi(o)。
截断符号距离函数fi(o)的定义如公式(14)所示：
fi(o)＝max{min{Φ,|[K-1zi(x)[xT,1]T]z-[o]z|},-Φ} (14)
其中，fi(o)表示该网格到物体模型表面的距离，正、负分别表示该网格是在表面被遮挡一侧、可见一侧，过零点就是体素表面上的点；[]z表示z轴的取值，zi(x)为第i个网格中像素x在深度图对应的深度值；Φ是预设的截断阈值，其取值与相机参数有关。
权重wi(o)的计算如公式(15)所示：
其中，δ的取值在本实施例中可以为体素分辨率m的十分之一。
为了高效地进行体数据融合，结合消费级RGB-D相机的特点，采用多分辨率八叉树数据结构来存储TSDF值。空间三维点位置与八叉树数据结构的对应关系如图6所示，pi(xi,yi,zi)表示空间三维点坐标，该点到光轴的平方距离为di 2＝xi 2+yi 2，八叉树结构中数据块的尺度sl如公式(16)所示：
图6中示出了四个空间三维点坐标pr、py、pg、pb，对应的到光轴的具体为dr、dy、dg、db，可以看出深度值zb＝zg＞zy＞zr，距离db＞dg＞dy＝dr，得到的尺度sb＞sg＞sy＞sr，同一坐标点的距离和尺度在图中采用相同线型进行表示，重叠部份仅显示尺度较小的线型，如图6右图中不同线型构成的四个立方体。
对于帧数为n的图像序列，进行数据融合时，按照公式(17)进行迭代：
F(o)和W(o)表示融合后体素o所对应的TSDF值及其权重。
图7是在TUM RGB-D Dataset数据集上使用本方法得到的三维重建效果图；上图为fr3/structure_notexture_near序列，是带有结构特征的弱纹理近景场景；下图为fr3/structure_notexture_far序列，是带有结构特征的弱纹理远景场景；
图8是对Microsoft Kinect for Windows采集的场景三维重建的效果比较图，从上到下依次为Zhou方法的重建结果，运行时间：6000s on GPUs；Elasticfusion的重建结果，运行时间：135s on GPUs；本发明的重建结果，运行时间：51s on CPUs。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (12)
1.一种快速鲁棒的RGB-D室内三维场景重建方法，其特征在于，该方法包括：
采用RGB-D相机实时扫描室内场景；
基于点线融合相机跟踪算法进行相机实时跟踪；
通过检测相机状态对相机轨迹进行约减；
利用约减后的相机轨迹信息对RGB-D图像进行多尺度体数据融合，生成完整的场景三维模型。
2.根据权利要求1所述的快速鲁棒的RGB-D三维场景重建方法，其特征在于，“基于点线融合相机跟踪算法进行相机实时跟踪”包括三个线程：跟踪线程、局部构图线程、闭环检测线程；
所述跟踪线程，基于RGB-D相机采集到的彩色图像与深度图像序列，进行初始姿态估计、跟踪局部地图、关键帧的判断；其中，所述初始状态估计通过松耦合的方式联合特征点跟踪与边缘跟踪，通过最小化能量函数估计相机姿态；
所述局部构图线程，用于对每个新的关键帧完成局部地图构建；
所述闭环检测线程，用于对局部地图构建过程中最后处理的关键帧进行闭环检测，并在确定闭环后进行闭环修正。
3.根据权利要求2所述的快速鲁棒的RGB-D三维场景重建方法，其特征在于，所述初始状态估计中，通过松耦合的方式联合特征点跟踪与边缘跟踪估计相机姿态所采用的最小化能量函数为：
其中，ep是特征点的重投影误差，ee是边缘的几何距离误差，χC表示相邻帧的匹配集合，ρp和ρe是Huber函数，λ∈[0,1]是权重因子，B为相邻帧图像间的变换关系。
4.根据权利要求3所述的快速鲁棒的RGB-D三维场景重建方法，其特征在于，
特征点的重投影误差ep为：
ep＝X′-KBX
其中，X表示ORB特征点的三维坐标，X'表示匹配点的位置，K为相机内参矩阵，B为相邻帧图像间的变换关系；
边缘的几何距离误差ee为：
ee＝d(L',τ(K,B,L))
其中，L表示边缘上像素的坐标，L'表示匹配点的位置，d表示几何距离误差，τ(K,B,L)为边缘上像素的坐标L在相邻帧图像中对应的三维点坐标；
权重因子λ基于场景纹理的丰富程度进行分别取值：
其中，N表示每帧图像上提取的ORB特征数量，Nmax和Nmin是最大、最小阈值。
5.根据权利要求3所述的快速鲁棒的RGB-D三维场景重建方法，其特征在于，所述初始状态估计中，进行边缘匹配之前设置有像素点深度值修正步骤，包括：
将像素点深度值与预设深度区间进行对比，如果该数值不在所述预设深度区间，则采用EKF进行深度估计，得到新的深度值。
6.根据权利要求1所述的快速鲁棒的RGB-D三维场景重建方法，其特征在于，“通过检测相机状态对相机轨迹进行约减”，其方法为：
计算相邻帧之间相机运动的线速度；
如果线速度低于设定第一阈值则删除该帧位姿，否则计算该帧图像与闭环帧图像的相似度；
如果相似度低于设定第二阈值，则删除该帧位姿；
输出约减后的图像帧位姿。
7.根据权利要求6所述的快速鲁棒的RGB-D三维场景重建方法，其特征在于，“计算该帧图像与闭环帧图像的相似度”，其方法为：
步骤301，根据像素点与空间三维点的投影关系、第i帧深度图像的深度值，计算深度图像上每个像素所对应的空间三维坐标，计算公式如下：
p＝π-1(x,z(x))
其中，x是图像上的任一像素，对应的深度值和空间三维点分别为z(x)和p，π表示2D-3D投影变换关系；
步骤302，将步骤301计算得到空间三维点p从第i帧相机坐标系做旋转平移变换到世界坐标系下，得到新的三维点坐标q，计算公式为：
q＝Bip
其中，Bi为相机坐标系与世界坐标系的变换关系，p和q的坐标分别表示为p＝(px,py,pz)，q＝(qx,qy,qz)。
步骤303，将步骤302计算得到三维点q反投影到二维图像平面，得到新的深度图，像素坐标的计算公式为：
其中，xq是q对应的新得到深度图上的像素，(u0,v0)为相机主点，(fu,fv)为相机焦距；
步骤304，分别计算闭环帧深度图有效像素个数n0、第i帧新生成深度图上的有效像素个数ni，按照如下公式计算相似度ρ：
8.根据权利要求1所述的快速鲁棒的RGB-D三维场景重建方法，其特征在于，“利用约减后的相机轨迹信息对RGB-D图像进行多尺度体数据融合”，其方法为：利用TSDF网格模型融合各帧的图像，使用分辨率为m的体素网格来表示三维空间；其中，m为空间被分割的块数。
9.根据权利要求8所述的快速鲁棒的RGB-D三维场景重建方法，其特征在于，每个网格o存储两个值：截断符号距离函数fi(o)及其权重wi(o)；
截断符号距离函数fi(o)的公式为：
fi(o)＝max{min{Φ,|[K-1zi(x)[xT,1]T]z-[o]z|},-Φ},
其中，fi(o)表示该网格到物体模型表面的距离，正、负分别表示该网格是在表面被遮挡一侧、可见一侧，过零点就是体素表面上的点；[]z表示z轴的取值，Φ是截断阈值，K为相机内参矩阵，zi(x)为第i个网格中像素x在深度图对应的深度值；
权重wi(o)的公式为：
其中，δ的取值为体素分辨率m的十分之一。
10.根据权利要求9所述的快速鲁棒的RGB-D三维场景重建方法，其特征在于，在多尺度体数据融合过程中，采用多分辨率八叉树数据结构来存储TSDF值。
11.根据权利要求10所述的快速鲁棒的RGB-D三维场景重建方法，其特征在于，八叉树数据结构中数据块的尺度sl为：
其中，pi(xi,yi,zi)表示空间三维点坐标，该点到光轴的平方距离为di 2＝xi 2+yi 2。
12.根据权利要求11所述的快速鲁棒的RGB-D三维场景重建方法，其特征在于，
对于帧数为n的图像序列，进行多尺度体数据融合时，按照下式进行迭代：
F(o)和W(o)表示融合后体素o所对应的TSDF值及其权重。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810213575.XA CN108564616B (zh) | 2018-03-15 | 2018-03-15 | 快速鲁棒的rgb-d室内三维场景重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810213575.XA CN108564616B (zh) | 2018-03-15 | 2018-03-15 | 快速鲁棒的rgb-d室内三维场景重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108564616A true CN108564616A (zh) | 2018-09-21 |
| CN108564616B CN108564616B (zh) | 2020-09-01 |
Family
ID=63532686
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810213575.XA Active CN108564616B (zh) | 2018-03-15 | 2018-03-15 | 快速鲁棒的rgb-d室内三维场景重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108564616B (zh) |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109697753A (zh) * | 2018-12-10 | 2019-04-30 | 智灵飞（北京）科技有限公司 | 一种基于rgb-d slam的无人机三维重建方法、无人机 |
| CN109814572A (zh) * | 2019-02-20 | 2019-05-28 | 广州市山丘智能科技有限公司 | 移动机器人定位建图方法、装置、移动机器人和存储介质 |
| CN110009732A (zh) * | 2019-04-11 | 2019-07-12 | 司岚光电科技(苏州)有限公司 | 基于gms特征匹配的面向复杂大尺度场景三维重建方法 |
| CN110148217A (zh) * | 2019-05-24 | 2019-08-20 | 北京华捷艾米科技有限公司 | 一种实时三维重建方法、装置及设备 |
| CN110163915A (zh) * | 2019-04-09 | 2019-08-23 | 深圳大学 | 一种多rgb-d传感器的空间三维扫描方法及装置 |
| CN110223351A (zh) * | 2019-05-30 | 2019-09-10 | 杭州蓝芯科技有限公司 | 一种基于卷积神经网络的深度相机定位方法 |
| CN110276774A (zh) * | 2019-06-26 | 2019-09-24 | Oppo广东移动通信有限公司 | 物体的绘图方法、装置、终端和计算机可读存储介质 |
| CN110487274A (zh) * | 2019-07-30 | 2019-11-22 | 中国科学院空间应用工程与技术中心 | 用于弱纹理场景的slam方法、系统、导航车及存储介质 |
| CN110570473A (zh) * | 2019-09-12 | 2019-12-13 | 河北工业大学 | 一种基于点线融合的权重自适应位姿估计方法 |
| CN111127524A (zh) * | 2018-10-31 | 2020-05-08 | 华为技术有限公司 | 一种轨迹跟踪与三维重建方法、系统及装置 |
| CN111209965A (zh) * | 2020-01-06 | 2020-05-29 | 合肥工业大学 | 一种面向大规模三维重建的快速鲁棒特征跟踪方法 |
| CN111260775A (zh) * | 2020-01-23 | 2020-06-09 | 清华大学 | 基于遮挡信息多尺度感知的三维重建方法及装置 |
| CN111294584A (zh) * | 2020-02-21 | 2020-06-16 | 当家移动绿色互联网技术集团有限公司 | 三维场景模型的展示方法、装置、存储介质及电子设备 |
| CN111583332A (zh) * | 2020-05-18 | 2020-08-25 | 中国科学院自动化研究所 | 基于并行搜索2d-3d匹配的视觉定位方法、系统、装置 |
| CN112258633A (zh) * | 2020-10-23 | 2021-01-22 | 华中科技大学鄂州工业技术研究院 | 一种基于slam技术的场景高精度重建方法及装置 |
| CN113920254A (zh) * | 2021-12-15 | 2022-01-11 | 深圳市其域创新科技有限公司 | 一种基于单目rgb的室内三维重建方法及其系统 |
| CN114037804A (zh) * | 2022-01-12 | 2022-02-11 | 中国电子科技集团公司第二十八研究所 | 一种结合物体级特征约束的室内场景重构方法 |
| CN114495421A (zh) * | 2021-12-30 | 2022-05-13 | 山东奥邦交通设施工程有限公司 | 智能化开放式道路施工作业监测预警方法及系统 |
| CN115147536A (zh) * | 2021-03-31 | 2022-10-04 | 四川大学 | 基于层级位姿图优化的实时室内三维重建方法 |
| CN117893693A (zh) * | 2024-03-15 | 2024-04-16 | 南昌航空大学 | 一种密集slam三维场景重建方法及装置 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114742887B (zh) * | 2022-03-02 | 2023-04-18 | 广东工业大学 | 一种基于点线面特征融合的无人机位姿估计方法 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103150544A (zh) * | 2011-08-30 | 2013-06-12 | 精工爱普生株式会社 | 用于对象姿态估计的方法和设备 |
| CN103971409A (zh) * | 2014-05-22 | 2014-08-06 | 福州大学 | 一种利用rgb-d摄像机测量足部三维脚型信息及三维重建模型的方法 |
| CN104598890A (zh) * | 2015-01-30 | 2015-05-06 | 南京邮电大学 | 一种基于rgb-d视频的人体行为识别方法 |
| CN105187785A (zh) * | 2015-08-31 | 2015-12-23 | 桂林电子科技大学 | 一种基于动态选取显著特征的跨卡口行人识别系统与方法 |
| CN105654492A (zh) * | 2015-12-30 | 2016-06-08 | 哈尔滨工业大学 | 基于消费级摄像头的鲁棒实时三维重建方法 |
| CN105809681A (zh) * | 2016-03-04 | 2016-07-27 | 清华大学 | 基于单相机的人体rgb-d数据恢复与三维重建方法 |
| US20170064287A1 (en) * | 2015-08-24 | 2017-03-02 | Itseez3D, Inc. | Fast algorithm for online calibration of rgb-d camera |
| CN106875482A (zh) * | 2017-01-13 | 2017-06-20 | 浙江大学 | 一种同时定位与稠密三维重建方法 |
| CN106885574A (zh) * | 2017-02-15 | 2017-06-23 | 北京大学深圳研究生院 | 一种基于重跟踪策略的单目视觉机器人同步定位与地图构建方法 |
| CN106910242A (zh) * | 2017-01-23 | 2017-06-30 | 中国科学院自动化研究所 | 基于深度相机进行室内完整场景三维重建的方法及系统 |
| CN107478220A (zh) * | 2017-07-26 | 2017-12-15 | 中国科学院深圳先进技术研究院 | 无人机室内导航方法、装置、无人机及存储介质 |
-
2018
- 2018-03-15 CN CN201810213575.XA patent/CN108564616B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103150544A (zh) * | 2011-08-30 | 2013-06-12 | 精工爱普生株式会社 | 用于对象姿态估计的方法和设备 |
| CN103971409A (zh) * | 2014-05-22 | 2014-08-06 | 福州大学 | 一种利用rgb-d摄像机测量足部三维脚型信息及三维重建模型的方法 |
| CN104598890A (zh) * | 2015-01-30 | 2015-05-06 | 南京邮电大学 | 一种基于rgb-d视频的人体行为识别方法 |
| US20170064287A1 (en) * | 2015-08-24 | 2017-03-02 | Itseez3D, Inc. | Fast algorithm for online calibration of rgb-d camera |
| CN105187785A (zh) * | 2015-08-31 | 2015-12-23 | 桂林电子科技大学 | 一种基于动态选取显著特征的跨卡口行人识别系统与方法 |
| CN105654492A (zh) * | 2015-12-30 | 2016-06-08 | 哈尔滨工业大学 | 基于消费级摄像头的鲁棒实时三维重建方法 |
| CN105809681A (zh) * | 2016-03-04 | 2016-07-27 | 清华大学 | 基于单相机的人体rgb-d数据恢复与三维重建方法 |
| CN106875482A (zh) * | 2017-01-13 | 2017-06-20 | 浙江大学 | 一种同时定位与稠密三维重建方法 |
| CN106910242A (zh) * | 2017-01-23 | 2017-06-30 | 中国科学院自动化研究所 | 基于深度相机进行室内完整场景三维重建的方法及系统 |
| CN106885574A (zh) * | 2017-02-15 | 2017-06-23 | 北京大学深圳研究生院 | 一种基于重跟踪策略的单目视觉机器人同步定位与地图构建方法 |
| CN107478220A (zh) * | 2017-07-26 | 2017-12-15 | 中国科学院深圳先进技术研究院 | 无人机室内导航方法、装置、无人机及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| PRISACARIU V.A等: ""A Framework for Large-Scale 3D Reconstruction with Loop Closure"", 《ARXIV2017,ARXIV:1708.00783》 * |
| 袁梦等；: ""点线特征融合的单目视觉里程计"", 《激光与光电子学进展》 * |
Cited By (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111127524A (zh) * | 2018-10-31 | 2020-05-08 | 华为技术有限公司 | 一种轨迹跟踪与三维重建方法、系统及装置 |
| CN109697753A (zh) * | 2018-12-10 | 2019-04-30 | 智灵飞（北京）科技有限公司 | 一种基于rgb-d slam的无人机三维重建方法、无人机 |
| CN109697753B (zh) * | 2018-12-10 | 2023-10-03 | 智灵飞（北京）科技有限公司 | 一种基于rgb-d slam的无人机三维重建方法、无人机 |
| CN109814572A (zh) * | 2019-02-20 | 2019-05-28 | 广州市山丘智能科技有限公司 | 移动机器人定位建图方法、装置、移动机器人和存储介质 |
| CN109814572B (zh) * | 2019-02-20 | 2022-02-01 | 广州市山丘智能科技有限公司 | 移动机器人定位建图方法、装置、移动机器人和存储介质 |
| CN110163915A (zh) * | 2019-04-09 | 2019-08-23 | 深圳大学 | 一种多rgb-d传感器的空间三维扫描方法及装置 |
| CN110009732B (zh) * | 2019-04-11 | 2023-10-03 | 司岚光电科技(苏州)有限公司 | 基于gms特征匹配的面向复杂大尺度场景三维重建方法 |
| CN110009732A (zh) * | 2019-04-11 | 2019-07-12 | 司岚光电科技(苏州)有限公司 | 基于gms特征匹配的面向复杂大尺度场景三维重建方法 |
| CN110148217A (zh) * | 2019-05-24 | 2019-08-20 | 北京华捷艾米科技有限公司 | 一种实时三维重建方法、装置及设备 |
| CN110223351A (zh) * | 2019-05-30 | 2019-09-10 | 杭州蓝芯科技有限公司 | 一种基于卷积神经网络的深度相机定位方法 |
| CN110276774A (zh) * | 2019-06-26 | 2019-09-24 | Oppo广东移动通信有限公司 | 物体的绘图方法、装置、终端和计算机可读存储介质 |
| CN110276774B (zh) * | 2019-06-26 | 2021-07-23 | Oppo广东移动通信有限公司 | 物体的绘图方法、装置、终端和计算机可读存储介质 |
| CN110487274A (zh) * | 2019-07-30 | 2019-11-22 | 中国科学院空间应用工程与技术中心 | 用于弱纹理场景的slam方法、系统、导航车及存储介质 |
| CN110487274B (zh) * | 2019-07-30 | 2021-01-29 | 中国科学院空间应用工程与技术中心 | 用于弱纹理场景的slam方法、系统、导航车及存储介质 |
| CN110570473A (zh) * | 2019-09-12 | 2019-12-13 | 河北工业大学 | 一种基于点线融合的权重自适应位姿估计方法 |
| CN111209965A (zh) * | 2020-01-06 | 2020-05-29 | 合肥工业大学 | 一种面向大规模三维重建的快速鲁棒特征跟踪方法 |
| CN111260775B (zh) * | 2020-01-23 | 2022-05-20 | 清华大学 | 基于遮挡信息多尺度感知的三维重建方法及装置 |
| CN111260775A (zh) * | 2020-01-23 | 2020-06-09 | 清华大学 | 基于遮挡信息多尺度感知的三维重建方法及装置 |
| CN111294584A (zh) * | 2020-02-21 | 2020-06-16 | 当家移动绿色互联网技术集团有限公司 | 三维场景模型的展示方法、装置、存储介质及电子设备 |
| CN111583332A (zh) * | 2020-05-18 | 2020-08-25 | 中国科学院自动化研究所 | 基于并行搜索2d-3d匹配的视觉定位方法、系统、装置 |
| CN111583332B (zh) * | 2020-05-18 | 2024-02-13 | 中国科学院自动化研究所 | 基于并行搜索2d-3d匹配的视觉定位方法、系统、装置 |
| CN112258633A (zh) * | 2020-10-23 | 2021-01-22 | 华中科技大学鄂州工业技术研究院 | 一种基于slam技术的场景高精度重建方法及装置 |
| CN115147536A (zh) * | 2021-03-31 | 2022-10-04 | 四川大学 | 基于层级位姿图优化的实时室内三维重建方法 |
| CN113920254A (zh) * | 2021-12-15 | 2022-01-11 | 深圳市其域创新科技有限公司 | 一种基于单目rgb的室内三维重建方法及其系统 |
| CN114495421A (zh) * | 2021-12-30 | 2022-05-13 | 山东奥邦交通设施工程有限公司 | 智能化开放式道路施工作业监测预警方法及系统 |
| CN114495421B (zh) * | 2021-12-30 | 2022-09-06 | 山东奥邦交通设施工程有限公司 | 智能化开放式道路施工作业监测预警方法及系统 |
| CN114037804A (zh) * | 2022-01-12 | 2022-02-11 | 中国电子科技集团公司第二十八研究所 | 一种结合物体级特征约束的室内场景重构方法 |
| CN117893693A (zh) * | 2024-03-15 | 2024-04-16 | 南昌航空大学 | 一种密集slam三维场景重建方法及装置 |
| CN117893693B (zh) * | 2024-03-15 | 2024-05-28 | 南昌航空大学 | 一种密集slam三维场景重建方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108564616B (zh) | 2020-09-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108564616A (zh) | 快速鲁棒的rgb-d室内三维场景重建方法 | |
| Furukawa et al. | Dense 3d motion capture from synchronized video streams | |
| Morency et al. | Adaptive view-based appearance models | |
| CN103400409B (zh) | 一种基于摄像头姿态快速估计的覆盖范围3d可视化方法 | |
| EP2751777B1 (en) | Method for estimating a camera motion and for determining a three-dimensional model of a real environment | |
| CN102804231B (zh) | 三维场景的分段平面重建 | |
| Liu et al. | Continuous depth estimation for multi-view stereo | |
| Tomono | Robust 3D SLAM with a stereo camera based on an edge-point ICP algorithm | |
| Bódis-Szomorú et al. | Superpixel meshes for fast edge-preserving surface reconstruction | |
| CN107833270A (zh) | 基于深度相机的实时物体三维重建方法 | |
| CN109544677A (zh) | 基于深度图像关键帧的室内场景主结构重建方法及系统 | |
| CN110060277A (zh) | 一种多特征融合的视觉slam方法 | |
| CN109166149A (zh) | 一种融合双目相机与imu的定位与三维线框结构重建方法与系统 | |
| CN107240129A (zh) | 基于rgb‑d相机数据的物体及室内小场景恢复与建模方法 | |
| CN112001926B (zh) | 基于多维语义映射rgbd多相机标定方法、系统及应用 | |
| KR101257207B1 (ko) | 헤드 트래킹 방법, 장치 및 컴퓨터 판독 가능한 기록 매체 | |
| Liu et al. | Visual slam based on dynamic object removal | |
| Wang et al. | Plane-based optimization of geometry and texture for RGB-D reconstruction of indoor scenes | |
| CN113781525B (zh) | 一种基于原始cad模型的三维目标跟踪方法 | |
| Zhang et al. | A stereo SLAM system with dense mapping | |
| Zhu et al. | Variational building modeling from urban MVS meshes | |
| CN112146647B (zh) | 一种地面纹理的双目视觉定位方法及芯片 | |
| Yu et al. | Visual SLAM algorithm based on ORB features and line features | |
| Wen et al. | CD-SLAM: A Real-Time Stereo Visual-Inertial SLAM for Complex Dynamic Environments With Semantic and Geometric Information | |
| Sun et al. | An improved RGB-D SLAM algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |