CN107194984A - 移动端实时高精度三维建模方法 - Google Patents
移动端实时高精度三维建模方法 Download PDFInfo
- Publication number
- CN107194984A CN107194984A CN201610140167.7A CN201610140167A CN107194984A CN 107194984 A CN107194984 A CN 107194984A CN 201610140167 A CN201610140167 A CN 201610140167A CN 107194984 A CN107194984 A CN 107194984A
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- memory
- closed loop
- key frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种移动端实时高精度3D建模方法。该方法采用深度相机和移动端设备对场景和小物体进行重建，无需依赖性能强劲的GPU等硬件设备，运算时对内存需求小，可实时高精度重建任意大的场景以及物体级别的物体，并且即使出现空间耦合的情况下也能实现高精度的三维建模。
Description
技术领域
本文设计一种移动端高精度实时三维重建方法，属于机器视觉、三维重建与同步定位与地图构建领域。
背景技术
随着3D技术的快速发展，如何高精度、高效率、便捷地获得物体的三维结构信息成为3D数据获取技术的关键。微软公司Kinect体感传感器的推广，使得消费级的快速准确的三维重建技术走进了千家万户。随着消费级RGB-D相机的广泛使用和手机移动端计算性能的提升，利用移动端RGB-D相机进行三维重建成为现实。2014年Google公司发布了一项名为Project Tango的项目计划，希望打造一款带有RGB-D传感器、能够实时三维重建的手机原型，目前该项目产品已经正式上线。
基于RGB-D相机的三维建模方法在已经在国内外展开了不少的研究，例如NewcombeRichard在论文“Kinect Fusion：Real-time dense surface mapping and tracking”中提出，利用GPU加速技术实现目标的实时三维重建。该方法在PC端能够较好的对目标物进行重建，但是由于使用了高性能的GPU设备，该方法无法拓展至移动端，这也限制了三维建模技术的应用场景。毫无疑问，利用移动端的深度传感器更加便捷、快速的获取物体的三维结构信息，将成为消费级三维重建技术的下一个发展方向。因此提出一种移动端实时高精度三维建模方法，有着深远的意义。
发明内容
本发明是为了克服现有技术的上述不足，提出了一种移动端实时高精度3D建模方法，该方法克服了一般3D建模方法需要使用高性能GPU的问题，可以直接拓展至移动端进行三维建模。
为了实现上述目的，本发明采用的技术方案如下：
移动端实时高精度3D建模方法，包括如下步骤：步骤1，通过特征匹配或、直接稠密配准或者ICP算法跟踪RGB-D相机的位置和姿态，确定相机在三维世界中的位置和姿态；步骤2，对相邻关键帧采用基于贝叶斯滤波的方法进行闭环检测，如果没有检测到闭环，则进行步骤1操作，如果检测到闭环则进行步骤3；步骤3，将检测到闭环处的关键帧的位置和姿态加入到整个位姿图中，采用重投影误差最小化的方法进行图优化；步骤4，对关键帧进行高效的内存管理，如果步骤2中检测到闭环，则将该处的关键帧附近相邻关键帧移动到计算内存中的工作内存中，并将工作内存中的不常用的关键帧数据存储长期内存空间中，并对当前关键帧进行步骤5；步骤5，通过哈希映射定位内存区域，并对当前关键帧的点云数据与之前点云数据进行合并，并对整个点云数据进行曲面重建，获得当前所有点云数据的表面模型，并重新执行步骤1。
相比于以往方法，本发明移动端实时高精度三维建模方法具有以下有益效果：
(1)无需依赖性能强劲的GPU等硬件设备，可以直接在普通移动平台(如Pad，手机，PC端等)使用，在CPU上即可满足实时的高精度重建。
(2)内存需求小，重建任意大的空间对内存要求为256M即可。
(3)重建精度高，即使出现空间耦合的情况，也能够实现毫米级重建。能够准确、逼真的表达真实场景和目标物的3D结构和尺寸。
(4)扩大了场景的重建范围。无需限定扫描空间的体积大小，可实时高精度重建上至大型商场、体育馆、房间等大场景，下至办公空间等小环境的3D模型，大大提高了3D建模的灵活性。
(5)友好的建模体验。无需事先对场景、对象、物体进行打点标志，现场手持式自由操作即可。
附图说明
图1为本发明方法算法流程图。
图2为本发明方法重建出的商场区域三维模型。
图3为本发明方法重建出的精细人体模型。
具体实施方式
下面结合附图和实施例，对本发明方法的详细步骤作进一步说明。
1.跟踪深度相机的姿态
本发明方法通过三种策略对相机的姿态进行跟踪，包括特征匹配或、直接稠密配准或者ICP算法三种不同类型的算法跟踪RGB-D相机的位置和姿态，确定相机在三维世界中的位置和姿态。其中在基于特征匹配的算法进行相机跟踪时，采用SURF和FAST混合特征进行特征检测和匹配。其算法流程如图2所示。采用直接稠密配准的方法进行相机跟踪时，采用3D-2D计算重投影像素差最小化的方法进行相机跟踪，其计算公式为：
其中ξ是参考帧变化到当前帧的变换群，用一个六维向量表示，Iref(pi)表示参考帧在像素点pi处的像素值，I(w(pi，Dref(pi)，ξ))表示将参考帧像素位置变换到当前帧的位置处的像素值，并采用Levenberg-Marquardt算法求解上述目标函数。
2.进行闭环检测
对每一个关键帧进行SURF特征提取，并创建当前关键帧的视觉词典，将该视觉词典作为当前关键帧的“外观属性”。创建完属性之后，将当前关键帧的“外观属性”与工作内存中的所有关键帧的视觉词典进行相似度检测，如果两个关键帧之间的相似度概率达到了85％，那么认为两帧之间存在闭环，如果相似度概率小于85％，则说明不存在闭环。进行相似度检测时，采用贝叶斯滤波的方法进行概率计算，计算公式为：
其中p(St|Lt)表示闭环检测的后验概率，η是常量，Lt＝L_1，...，Lt，i＝-1，...，tn，tn是工作内存中最新图像数据的时间索引。
3.对所有相机的位姿图进行图优化
如果检测到闭环，则需要在整个位姿图中加入硬约束，即要将检测到的闭环处的关键帧的位姿加入到整个位姿图中，对所有的位姿图进行优化。如果没有检测到闭环，则需要将当前位姿加入软约束，即将当前关键帧位姿图加入到整个位姿图中进行局部优化。无论是加入到硬约束还是软约束，其统一的目标函数为：
其中x表示每一个待优化的位姿，是一个六维向量，Ωij表示xi与xj之间的信息矩阵，e(xi，xj，zij)表示xi与xj在满足zij约束下的误差向量。采用Gauss-Newton算法可求得上式(3)的最优解。
4.对系统进行高效的内存管理
在实际计算过程中，主要建立三个内存区域，分别是短期内存、工作内存和长期内存。短期内存中主要完成区域的权重更新以及贝叶斯滤波器的更新，一般短期内存设置为存储3-5个关键帧的数据量。工作内存中存放最新和经常使用的数据，主要进行闭环检测和图优化过程，并将权重较低的数据转移到长期内存，同时将检测到闭环的数据与长期内存中的相关数据建立索引，同步更新数据。长期内存中存放从工作内存转移出的数据，也可以再从其中进行检索回收到工作内存中，当在一个区域处确定存在闭环时，需要将该区域及其邻域的区域都从长期内存转移到工作内存中。如果工作内存中的存在不常用的数据，则将该数据从工作内存中转移到长期内存中。
5.进行高效的数据融合与曲面重建
在实际运算过程中，由于数据量的剧增会消耗大量的内存空间，并且降低了运行效率，因此在实际运算过程中，本发明方法对获取到的点云数据进行地址空间的索引，然后通过Hash映射进行内存空间的寻址，加速运算速度，同时也降低了内存消耗。通过Hash映射的方法进行点云数据寻址后，可以通过刚体变换快速的进行点云数据的融合，在进行点云融合过程中，本发明方法采用SIMD加速指令集进行。并对融合后的数据进行点云曲面重建，本发明方法采用Marching Cubes进行表面重建。
图2是根据本发明方法重建的商场区域，重建空间大小为25m×5m×4m，图3是根据本发明方法重建出人体精细表面模型。表1是本发明方法的一些性能指标。
表1
| 相机跟踪速度 | 曲面重建速度 | 建模精度 | 重建范围 | 内存需求 |
| 50帧/s | 45帧/s | 毫米级 | 不受限 | ＜256MB |
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步说明，所用理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.移动端实时高精度3D建模方法，其特征在于，包括如下步骤：
步骤1，通过特征匹配或、直接稠密配准或者ICP算法跟踪RGB-D相机的位置和姿态，确定相机在三维世界中的位置和姿态；
步骤2，对相邻关键帧采用基于贝叶斯滤波的方法进行闭环检测，如果没有检测到闭环，则进行步骤1操作，如果检测到闭环则进行步骤3；
步骤3，将检测到闭环处的关键帧的位置和姿态加入到整个位姿图中，采用重投影误差最小化的方法进行图优化；
步骤4，对关键帧进行高效的内存管理，如果步骤2中检测到闭环，则将该处的关键帧附近相邻关键帧移动到计算内存中的工作内存中，并将工作内存中的不常用的关键帧数据存储长期内存空间中，并对当前关键帧进行步骤5；
步骤5，通过哈希映射定位内存区域，并对当前关键帧的点云数据与之前点云数据进行合并，并对整个点云数据进行曲面重建，获得当前所有点云数据的表面模型，并重新执行步骤1。
2.根据权利要求1所述移动端实时高精度3D建模方法，其特征在于，所述步骤1的具体步骤为：
本发明方法通过三种策略对相机的姿态进行跟踪，包括特征匹配或、直接稠密配准或者ICP算法三种不同类型的算法跟踪RGB-D相机的位置和姿态，确定相机在三维世界中的位置和姿态。其中在基于特征匹配的算法进行相机跟踪时，采用SURF和FAST混合特征进行特征检测和匹配。其算法流程如图2所示。采用直接稠密配准的方法进行相机跟踪时，采用3D-2D计算重投影像素差最小化的方法进行相机跟踪，其计算公式为：
<mrow>
<mi>E</mi>
<mrow>
<mo>(</mo>
<mi>&xi;</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munder>
<mo>&Sigma;</mo>
<mi>i</mi>
</munder>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>I</mi>
<mrow>
<mi>r</mi>
<mi>e</mi>
<mi>f</mi>
</mrow>
</msub>
<mo>(</mo>
<msub>
<mi>p</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
<mo>-</mo>
<mi>I</mi>
<mo>(</mo>
<mi>w</mi>
<mo>(</mo>
<msub>
<mi>p</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>D</mi>
<mrow>
<mi>r</mi>
<mi>e</mi>
<mi>f</mi>
</mrow>
</msub>
<mo>(</mo>
<msub>
<mi>p</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
<mo>,</mo>
<mi>&xi;</mi>
<mo>)</mo>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
其中ξ是参考帧变化到当前帧的变换群，用一个六维向量表示，Iref(pi)表示参考帧在像素点pi处的像素值，I(w(pi，Dref(pi)，ξ))表示将参考帧像素位置变换到当前帧的位置处的像素值，并采用Levenberg-Marquardt算法求解上述目标函数。
3.根据权利要求1所述移动端实时高精度3D建模方法，其特征在于，所述步骤2的具体步骤为：
对每一个关键帧进行SURF特征提取，并创建当前关键帧的视觉词典，将该视觉词典作为当前关键帧的“外观属性”。创建完属性之后，将当前关键帧的“外观属性”与工作内存中的所有关键帧的视觉词典进行相似度检测，如果两个关键帧之间的相似度概率达到了85％，那么认为两帧之间存在闭环，如果相似度概率小于85％，则说明不存在闭环。进行相似度检测时，采用贝叶斯滤波的方法进行概率计算，计算公式为：
其中p(St|Lt)表示闭环检测的后验概率，η是常量，Lt＝L-1，...，Lt，i＝-1，...，tn，tn是工作内存中最新图像数据的时间索引。
4.根据权利要求1所述移动端实时高精度3D建模方法，其特征在于，所述步骤3的具体步骤为：
如果步骤3检测到闭环，则需要在整个位姿图中加入硬约束，即要将检测到的闭环处的关键帧的位姿加入到整个位姿图中，对所有的位姿图进行优化。如果步骤3没有检测到闭环，则需要将当前位姿加入软约束，即将当前关键帧位姿图加入到整个位姿图中进行局部优化。无论是加入到硬约束还是软约束，其统一的目标函数为：
<mrow>
<mi>E</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munder>
<mrow>
<mi>arg</mi>
<mi>min</mi>
</mrow>
<mrow>
<mi>x</mi>
<mo>*</mo>
</mrow>
</munder>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mo><</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>></mo>
<mo>&Element;</mo>
<mi>C</mi>
</mrow>
</munder>
<mi>e</mi>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>x</mi>
<mi>j</mi>
</msub>
<mo>,</mo>
<msub>
<mi>z</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<mo>)</mo>
</mrow>
<mi>T</mi>
</msup>
<msub>
<mi>&Omega;</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<mi>e</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>x</mi>
<mi>j</mi>
</msub>
<mo>,</mo>
<msub>
<mi>z</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
其中x表示每一个待优化的位姿，是一个六维向量，Ωij表示xi与xj之间的信息矩阵，e(xi，xj，zij)表示xi与xj在满足zij约束下的误差向量。采用Gauss-Newton算法可求得上式(3)的最优解。
5.根据权利要求1所述移动端实时高精度3D建模方法，其特征在于，所述步骤4的具体步骤为：
在实际计算过程中，主要建立三个内存区域，分别是短期内存、工作内存和长期内存。短期内存中主要完成区域的权重更新以及贝叶斯滤波器的更新，一般短期内存设置为存储3-5个关键帧的数据量。工作内存中存放最新和经常使用的数据，主要进行闭环检测和图优化过程，并将权重较低的数据转移到长期内存，同时将检测到闭环的数据与长期内存中的相关数据建立索引，同步更新数据。长期内存中存放从工作内存转移出的数据，也可以再从其中进行检索回收到工作内存中，当在一个区域处确定存在闭环时，需要将该区域及其邻域的区域都从长期内存转移到工作内存中。如果工作内存中的存在不常用的数据，则将该数据从工作内存中转移到长期内存中。
6.根据权利要求1所述移动端实时高精度3D建模方法，其特征在于，所述步骤5的具体步骤为：
在实际运算过程中，由于数据量的剧增会消耗大量的内存空间，并且降低了运行效率，因此在实际运算过程中，本发明方法对获取到的点云数据进行地址空间的索引，然后通过Hash映射进行内存空间的寻址，加速运算速度，同时也降低了内存消耗。通过Hash映射的方法进行点云数据寻址后，可以通过刚体变换快速的进行点云数据的融合，在进行点云融合过程中，本发明方法采用SIMD加速指令集进行。并对融合后的数据进行点云曲面重建，本发明方法采用Marching Cubes进行表面重建。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610140167.7A CN107194984A (zh) | 2016-03-14 | 2016-03-14 | 移动端实时高精度三维建模方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610140167.7A CN107194984A (zh) | 2016-03-14 | 2016-03-14 | 移动端实时高精度三维建模方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107194984A true CN107194984A (zh) | 2017-09-22 |
Family
ID=59870608
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610140167.7A Pending CN107194984A (zh) | 2016-03-14 | 2016-03-14 | 移动端实时高精度三维建模方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107194984A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108765556A (zh) * | 2018-05-21 | 2018-11-06 | 福州大学 | 一种基于改进粒子群算法的动态3d实时建模方法 |
| CN108961390A (zh) * | 2018-06-08 | 2018-12-07 | 华中科技大学 | 基于深度图的实时三维重建方法 |
| CN109855645A (zh) * | 2019-03-27 | 2019-06-07 | 小驴机器人(武汉)有限公司 | 一种agv小车混合视觉导航方法 |
| WO2019170164A1 (zh) * | 2018-03-05 | 2019-09-12 | 清华-伯克利深圳学院筹备办公室 | 基于深度相机的三维重建方法、装置、设备及存储介质 |
| CN110349253A (zh) * | 2019-07-01 | 2019-10-18 | 深圳前海达闼云端智能科技有限公司 | 一种场景的三维重建方法、终端和可读存储介质 |
| CN111951198A (zh) * | 2019-05-16 | 2020-11-17 | 杭州海康机器人技术有限公司 | 一种无人机航拍图像拼接优化的方法、装置和存储介质 |
| CN112087728A (zh) * | 2020-07-21 | 2020-12-15 | 华为技术有限公司 | 获取Wi-Fi指纹空间分布的方法、装置和电子设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104236548A (zh) * | 2014-09-12 | 2014-12-24 | 清华大学 | 一种微型无人机室内自主导航方法 |
| CN104992441A (zh) * | 2015-07-08 | 2015-10-21 | 华中科技大学 | 一种面向个性化虚拟试衣的真实人体三维建模方法 |
-
2016
- 2016-03-14 CN CN201610140167.7A patent/CN107194984A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104236548A (zh) * | 2014-09-12 | 2014-12-24 | 清华大学 | 一种微型无人机室内自主导航方法 |
| CN104992441A (zh) * | 2015-07-08 | 2015-10-21 | 华中科技大学 | 一种面向个性化虚拟试衣的真实人体三维建模方法 |
Non-Patent Citations (3)
| Title |
|---|
| MATHIEU LABBÉ 等: "Memory management for real-time appearance-based loop closure detection", 《2011 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS》 * |
| PETER HENRY 等: "RGB-D Mapping: Using Depth Cameras for Dense 3D Modeling of Indoor Environments", 《INTERNATIONAL JOURNAL OF ROBOTICS RESEARCH》 * |
| 朱祥鹏: "室内环境中单目视觉3D地图创建", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019170164A1 (zh) * | 2018-03-05 | 2019-09-12 | 清华-伯克利深圳学院筹备办公室 | 基于深度相机的三维重建方法、装置、设备及存储介质 |
| CN108765556A (zh) * | 2018-05-21 | 2018-11-06 | 福州大学 | 一种基于改进粒子群算法的动态3d实时建模方法 |
| CN108765556B (zh) * | 2018-05-21 | 2022-05-06 | 福州大学 | 一种基于改进粒子群算法的动态3d实时建模方法 |
| CN108961390A (zh) * | 2018-06-08 | 2018-12-07 | 华中科技大学 | 基于深度图的实时三维重建方法 |
| CN108961390B (zh) * | 2018-06-08 | 2020-05-19 | 华中科技大学 | 基于深度图的实时三维重建方法 |
| CN109855645A (zh) * | 2019-03-27 | 2019-06-07 | 小驴机器人(武汉)有限公司 | 一种agv小车混合视觉导航方法 |
| CN111951198A (zh) * | 2019-05-16 | 2020-11-17 | 杭州海康机器人技术有限公司 | 一种无人机航拍图像拼接优化的方法、装置和存储介质 |
| CN111951198B (zh) * | 2019-05-16 | 2024-02-02 | 杭州海康威视数字技术股份有限公司 | 一种无人机航拍图像拼接优化的方法、装置和存储介质 |
| CN110349253A (zh) * | 2019-07-01 | 2019-10-18 | 深圳前海达闼云端智能科技有限公司 | 一种场景的三维重建方法、终端和可读存储介质 |
| CN110349253B (zh) * | 2019-07-01 | 2023-12-01 | 达闼机器人股份有限公司 | 一种场景的三维重建方法、终端和可读存储介质 |
| CN112087728A (zh) * | 2020-07-21 | 2020-12-15 | 华为技术有限公司 | 获取Wi-Fi指纹空间分布的方法、装置和电子设备 |
| CN112087728B (zh) * | 2020-07-21 | 2022-01-14 | 华为技术有限公司 | 获取Wi-Fi指纹空间分布的方法、装置和电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6745328B2 (ja) | 点群データを復旧するための方法及び装置 | |
| CN107194984A (zh) | 移动端实时高精度三维建模方法 | |
| CN109214282B (zh) | 一种基于神经网络的三维手势关键点检测方法和系统 | |
| Strecha et al. | Dynamic and scalable large scale image reconstruction | |
| CN110135455A (zh) | 影像匹配方法、装置及计算机可读存储介质 | |
| US20200364554A1 (en) | Systems and methods for deep localization and segmentation with a 3d semantic map | |
| CN109544636A (zh) | 一种融合特征点法和直接法的快速单目视觉里程计导航定位方法 | |
| CN109166149A (zh) | 一种融合双目相机与imu的定位与三维线框结构重建方法与系统 | |
| CN104899918B (zh) | 一种无人机的三维环境建模方法及系统 | |
| CN103426165A (zh) | 一种地面激光点云与无人机影像重建点云的精配准方法 | |
| Pan et al. | Rapid scene reconstruction on mobile phones from panoramic images | |
| CN111860651B (zh) | 一种基于单目视觉的移动机器人半稠密地图构建方法 | |
| Song et al. | Fast estimation of relative poses for 6-dof image localization | |
| Gao et al. | Pose refinement with joint optimization of visual points and lines | |
| CN116662600A (zh) | 一种基于轻量结构化线地图的视觉定位方法 | |
| Guo et al. | Line-based 3d building abstraction and polygonal surface reconstruction from images | |
| CN102663812B (zh) | 基于变分光流的三维运动检测与稠密结构重建的直接方法 | |
| CN109443320A (zh) | 基于直接法和线特征的双目视觉里程计及测量方法 | |
| Park et al. | All-in-one mobile outdoor augmented reality framework for cultural heritage sites | |
| Vokhmintcev et al. | The new combined method of the generation of a 3d dense map of evironment based on history of camera positions and the robot’s movements | |
| Wang et al. | Tc-sfm: Robust track-community-based structure-from-motion | |
| Cao et al. | A tracking registration method for augmented reality based on multi-modal template matching and point clouds | |
| CN109118576A (zh) | 基于bds位置服务的大型场景三维重建系统及重建方法 | |
| CN115330861A (zh) | 基于物体平面共同表示和语义描述符匹配的重定位算法 | |
| Jang et al. | Practical modeling technique for large-scale 3D building models from ground images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| DD01 | Delivery of document by public notice |
Addressee: Zhang Liang Document name: Notification of Passing Examination on Formalities |
|
| DD01 | Delivery of document by public notice | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20170922 |
|
| WD01 | Invention patent application deemed withdrawn after publication |