CN117710469B - 一种基于rgb-d传感器的在线稠密重建方法及系统 - Google Patents
一种基于rgb-d传感器的在线稠密重建方法及系统 Download PDFInfo
- Publication number
- CN117710469B CN117710469B CN202410169875.8A CN202410169875A CN117710469B CN 117710469 B CN117710469 B CN 117710469B CN 202410169875 A CN202410169875 A CN 202410169875A CN 117710469 B CN117710469 B CN 117710469B
- Authority
- CN
- China
- Prior art keywords
- solution
- pose
- translation
- rotation
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000013519 translation Methods 0.000 claims abstract description 168
- 238000005070 sampling Methods 0.000 claims abstract description 35
- 238000011156 evaluation Methods 0.000 claims description 32
- 238000000605 extraction Methods 0.000 claims description 6
- 230000001131 transforming effect Effects 0.000 claims description 6
- 238000005457 optimization Methods 0.000 abstract description 25
- 230000008569 process Effects 0.000 abstract description 18
- 238000013209 evaluation strategy Methods 0.000 abstract description 3
- 238000012545 processing Methods 0.000 abstract description 3
- 230000014616 translation Effects 0.000 description 125
- 230000006870 function Effects 0.000 description 19
- 230000033001 locomotion Effects 0.000 description 7
- 230000008878 coupling Effects 0.000 description 5
- 238000010168 coupling process Methods 0.000 description 5
- 238000005859 coupling reaction Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000009897 systematic effect Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000012854 evaluation process Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种基于RGB‑D传感器的在线稠密重建方法及系统，应用于智能数据处理技术领域，方法包括：获取当前帧的RGB‑D数据，并以上一帧相机的位姿数据作为初始化数据；采样出多个旋转候选解和多个平移候选解；将旋转候选解和平移候选解进行组合形成多组相机位姿候选解；对相机位姿候选解进行评估，并选出最优旋转解和最优平移解；根据最优旋转解和最优平移解更新相机当前帧的位姿数据。本发明将旋转与平移的搜索过程解耦在各自的空间下，并且使用联合评估策略，保证旋转与平移的优化目标一致的同时，又使得每个旋转和平移的候选解都得以挖掘最佳潜在匹配，从而极大程度地减少了旋转误差与平移误差对彼此优化的干扰。
Description
技术领域
本发明涉及智能数据处理技术，具体涉及一种基于RGB-D传感器的在线稠密重建方法及系统。
背景技术
RGB-D稠密重建是计算机视觉（Computer Vision,CV）、计算机图形学（ComputerGraphics, CG）以及机器人等领域下的重要研究方向。其主要应用在增强现实、虚拟现实、机器人导航和交互、三维地图创建中，由于这些应用对于许多工业和研究领域都是重要的前提，因此RGB-D稠密重建受到了大量的关注。
RGB-D稠密重建的原理是使用搭载彩色相机（RGB）以及深度传感器（D）的设备，比如Kinect、Intel RealSense，扫描场景信息（包含彩色信息以及深度信息），从而构建扫描场景的三维模型。RGB-D稠密重建的关键步骤往往包括：
（1）数据采集：采集场景的彩色图像与对应的深度图像；
（2）数据预处理：由于设备采集到的数据往往包含较大的噪声，需要对采集到的彩色图像与深度图像进行滤波和去噪处理；
（3）相机位姿估计：估计采集每一帧图像（包括彩色图与深度图）时相机的位置和朝向，以方便后续的数据融合。常用的相机位姿估计方法有基于特征匹配的方法、基于迭代最近点（Iterative Closest Point,ICP）的方法以及基于随机优化的方法；
（4）模型重建：将多个视角下的深度数据融合成一个三维模型。常见的融合方法有基于体素化的截断符号距离函数（Truncated Signed Distance, TSDF）方法。
RGB-D稠密重建的关键步骤是相机的位姿估计，相机位姿包括旋转和平移两个部分（旋转对应着相机的朝向，平移对应着相机的位置）。位姿的准确性会直接影响重建质量。位姿估计得不准确，可能会导致三维模型出现不连贯、缝隙或者形状扭曲的现象。相机位姿估计往往是一个累积的过程，由于场景的相邻两帧的扫描区域重合度高，捕获的信息相似度高。因此传统算法往往通过求得相邻两帧间的相对相机运动来求得相机位姿。
基于特征匹配的位姿估计方法极度依赖彩色图像中特征点对的匹配准确性，在出现快速相机运动时，无法应对彩色图像出现运动模糊的问题。但是深度传感器受相机运动的影响较小。因此，在实际应用中，相机位姿估计往往采用基于几何信息的迭代优化算法，当有一帧新来帧时，其初始位姿为上一帧的位姿，然后迭代优化到一个局部最优解中，常见的迭代优化算法有：迭代最近点法（Iterative Closest Point,ICP）：ICP使用两个点云之间的匹配点对的欧氏距离作为误差模型，并通过最小化该误差求得一个最优的刚体变换。传统稠密重建算法往往使用高斯-牛顿法将误差模型线性化来求解该优化问题。随机优化：传统算法将群体优化算法引入位姿估计中。其原理是在6维位姿解空间中，通过采样大量6维位姿解的形式搜索最优解。为了克服计算密集型的采样与更新，传统算法会预先采样大量的6维解，并通过不断移动和缩放调整预采样解在6维解空间中的覆盖范围，从而能够覆盖并定位一个足够好的局部最优解。
基于迭代优化的算法（基于ICP以及随机优化的稠密筹建算法）将旋转与平移作为一个整体进行优化。然而，由于旋转与平移在三维空间中是相互独立且尺度不同的运动，将旋转与平移作为整体优化会带来两大挑战：
（1）优化干扰：系统误差会在两个分量间传播，使得两个分量的优化会相互干扰。例如如下情况：当某帧间相机运动仅存在旋转或者平移时。理论上，仅需优化发生变化的分量（旋转或平移）即可。但是传统算法会将对系统误差的优化共同作用在两分量上，导致由发生运动的分量造成的系统误差传播到另一分量上，旋转与平移将会同时得到优化，最终系统将陷入局部最优中。
（2）尺度差异：由于旋转与平移具有尺度差异，旋转与平移对系统误差的影响的敏感程度不同。这种尺度上的不匹配导致优化过程难以同时考虑它们的影响。
发明内容
为了至少克服现有技术中的上述不足，本申请的目的在于提供一种基于RGB-D传感器的在线稠密重建方法及系统。
第一方面，本申请实施例提供了一种基于RGB-D传感器的在线稠密重建方法，包括：
获取当前帧的RGB-D数据，并以上一帧相机的位姿数据作为初始化数据；
根据所述初始化数据在旋转空间内采样出多个旋转候选解，并根据所述初始化数据在平移空间内采样出多个平移候选解；所述平移空间和所述旋转空间为从所述相机的位姿空间中分解出的相互独立的空间；
将所述旋转候选解和所述平移候选解进行组合形成多组相机位姿候选解；
对所述相机位姿候选解进行评估，并选出最优旋转解和最优平移解；
根据所述最优旋转解和最优平移解更新相机当前帧的位姿数据。
本申请实施例实施时，RGB-D数据中需要包括RGB数据，即彩色相机采集的图像数据和D数据，即深度传感器采集的深度数据；而上一帧相机的位姿数据需要作为当前帧的位姿数据的推演参考。对于本申请实施例来说，通过将位姿的旋转和平移解耦处理，来提升迭代优化的稳定性。其基本思想是：将相机位姿解空间解耦成旋转空间与平移空间，并在各自的空间下搜索最优旋转解与最优平移解，以此来达到旋转与平移解耦优化的效果。
在本申请实施例中，对于新来帧的位姿优化，在每一次迭代中，算法首先对旋转和平移的当前估计值附近一定的搜索范围内进行采样，产生一系列旋转和平移的候选解，即旋转候选解和平移候选解，通过评估这些候选解，挑选出评估最优的旋转解与平移解，用以更新当前帧的位姿。这个过程会持续迭代，直到达到预设的迭代结束条件，如迭代次数上限。通过该方法，旋转和平移的优化耦合度极大程度的降低，减少了误差在旋转与平移间的传播，提高了整个优化过程的精确度和鲁棒性。
应当理解的是，在本申请实施例中，还可以包括以下步骤：
重复获取旋转候选解和平移候选解，并组合评估后更新相机当前帧的位姿数据直至满足预设次数要求。
示例的，为了能对相机位姿解精准评估，提供了一种基于截断符号距离的曲面对齐评估方法，该方法核心在于通过分析给定相机位姿下，当前帧的表面与全局表面的对齐程度来评估该位姿的质量。具体地，从场景中挑选出关键点集，随后测量这些点相对于在给定相机位姿下当前帧和全局模型表面的截断符号距离差值。此差值提供了一个定量基准，可用于判断相机位姿的适用性和精确度。同时，为了实现在各搜索空间下最优解的迅速与精确定位，还提供了一种从粗糙到精细的分级搜索策略。在每轮迭代中，围绕当前旋转和平移的评估值，在邻近的搜索空间内生成一批新的候选解。通过这种分级搜索策略，搜索区域的大小得到动态调整。宽阔的搜索区域帮助快速覆盖广泛的解空间，提高找到全局最优解的概率；较窄的搜索区域帮助更精确地定位最优解。这种层级搜索策略有效地权衡了搜索的效率与精度。
在一种可能的实现方式中，根据所述初始化数据在旋转空间内采样出多个旋转候选解包括：
从单位四元数的虚部中均匀抽取预设数量个单位四元数的虚部作为抽取虚部；所述单位四元数的虚部为在三维单位球体内进行均匀预采样获取；
根据预设的迭代次数循环旋转搜索范围层级形成搜索半径，并根据所述搜索半径对所述抽取虚部进行缩放形成缩放虚部集合；
将所述缩放虚部集合矩阵化并左乘当前帧的位姿数据中的旋转位姿数据形成所述旋转候选解。
在一种可能的实现方式中，根据所述RGB-D数据和所述初始化数据在平移空间内采样出多个平移候选解包括：
在所述平移空间中以所述初始化数据中的平移位姿数据为中心，根据预设的平移搜索步长在每个空间轴上产生最多为预设步数的偏移生成所述平移候选解；所述平移空间为欧式空间。
在一种可能的实现方式中，对所述相机位姿候选解进行评估，并选出最优旋转解和最优平移解包括：
根据所述相机位姿候选解将当前帧的顶点图中的顶点变换到体素中，并选取所有所述顶点所在的体素中心；
从体素中读取所述体素中心到全局表面的第一截断符号距离；
根据所述相机位姿候选解将所述体素中心投影到所述RGB-D数据的深度图像上，并记录投影坐标和投影位置的深度值；
根据所述深度值计算所述体素中心在所述投影坐标的光线上的投影相对于所述深度图像的深度作为深度数据；
计算所述深度数据和所述深度值的差值作为所述体素中心到所述相机位姿候选解下当前帧的表面的有符号距离，并根据所述有符号距离计算所述体素中心到所述相机位姿候选解下当前帧的表面的第二截断符号距离；
将所述体素中心中能够投影到所述深度图像的点数超过重合度阈值的所述相机位姿候选解作为有效搜索解位姿；
将所述有效搜索解位姿对应的体素中心的所述第二截断符号距离和第一截断符号距离的差值的平均值作为该有效搜索解位姿的误差函数值；
将最小的所述误差函数值作为所述有效搜索解位姿的评估值，并将所述评估值最小的所述有效搜索解位姿作为最优旋转解和最优平移解。
在一种可能的实现方式中，根据所述最优旋转解和最优平移解更新相机当前帧的位姿数据包括：
将所述最优旋转解更新到相机当前帧的位姿数据中的旋转部分；
将所述最优平移解更新到相机当前帧的位姿数据中的平移部分；
根据更新后的当前帧的位姿数据重复获取新的最优旋转解和最优平移解，并更新当前帧的位姿数据直至循环次数满足预设要求。
第二方面，本申请实施例提供了一种基于RGB-D传感器的在线稠密重建系统，包括：
获取单元，被配置为获取当前帧的RGB-D数据，并以上一帧相机的位姿数据作为初始化数据；
采样单元，被配置为根据所述初始化数据在旋转空间内采样出多个旋转候选解，并根据所述初始化数据在平移空间内采样出多个平移候选解；所述平移空间和所述旋转空间为从所述相机的位姿空间中分解出的相互独立的空间；
组合单元，被配置为将所述旋转候选解和所述平移候选解进行组合形成多组相机位姿候选解；
评估单元，被配置为对所述相机位姿候选解进行评估，并选出最优旋转解和最优平移解；
更新单元，被配置为根据所述最优旋转解和最优平移解更新相机当前帧的位姿数据。
在一种可能的实现方式中，所述采样单元还被配置为：
从单位四元数的虚部中均匀抽取预设数量个单位四元数的虚部作为抽取虚部；所述单位四元数的虚部为在三维单位球体内进行均匀预采样获取；
根据预设的迭代次数循环旋转搜索范围层级形成搜索半径，并根据所述搜索半径对所述抽取虚部进行缩放形成缩放虚部集合；
将所述缩放虚部集合矩阵化并左乘当前帧的位姿数据中的旋转位姿数据形成所述旋转候选解。
在一种可能的实现方式中，所述采样单元还被配置为：
在所述平移空间中以所述初始化数据中的平移位姿数据为中心，根据预设的平移搜索步长在每个空间轴上产生最多为预设步数的偏移生成所述平移候选解；所述平移空间为欧式空间。
在一种可能的实现方式中，所述评估单元还被配置为：
根据所述相机位姿候选解将当前帧的顶点图中的顶点变换到体素中，并选取所有所述顶点所在的体素中心；
从体素中读取所述体素中心到全局表面的第一截断符号距离；
根据所述相机位姿候选解将所述体素中心投影到所述RGB-D数据的深度图像上，并记录投影坐标和投影位置的深度值；
根据所述深度值计算所述体素中心在所述投影坐标的光线上的投影相对于所述深度图像的深度作为深度数据；
计算所述深度数据和所述深度值的差值作为所述体素中心到所述相机位姿候选解下当前帧的表面的有符号距离，并根据所述有符号距离计算所述体素中心到所述相机位姿候选解下当前帧的表面的第二截断符号距离；
将所述体素中心中能够投影到所述深度图像的点数超过重合度阈值的所述相机位姿候选解作为有效搜索解位姿；
将所述有效搜索解位姿对应的体素中心的所述第二截断符号距离和第一截断符号距离的差值的平均值作为该有效搜索解位姿的误差函数值；
将最小的所述误差函数值作为所述有效搜索解位姿的评估值，并将所述评估值最小的所述有效搜索解位姿作为最优旋转解和最优平移解。
在一种可能的实现方式中，所述更新单元还被配置为：
将所述最优旋转解更新到相机当前帧的位姿数据中的旋转部分；
将所述最优平移解更新到相机当前帧的位姿数据中的平移部分；
根据更新后的当前帧的位姿数据重复获取新的最优旋转解和最优平移解，并更新当前帧的位姿数据直至循环次数满足预设要求。
本发明与现有技术相比，具有如下的优点和有益效果：
1、本发明一种基于RGB-D传感器的在线稠密重建方法及系统，将旋转与平移的搜索过程解耦在各自的空间下，并且使用联合评估策略，保证旋转与平移的优化目标一致的同时，又使得每个旋转和平移的候选解都得以挖掘最佳潜在匹配，从而极大程度地减少了旋转误差与平移误差对彼此优化的干扰；
2、本发明一种基于RGB-D传感器的在线稠密重建方法及系统，对于不同的平移与旋转之间的尺度差异匹配，从而导致位姿估计结果的差异。本发明中，旋转与平移的采样与更新都处于各自的尺度空间下，因此本发明不会受到尺度差异的影响；
3、本发明一种基于RGB-D传感器的在线稠密重建方法及系统，相比于传统基于随机优化的位姿估计算法，本发明不仅在评估过程中，评估位姿解时，可以在位姿解间进行纵向对比，还可以在旋转与旋转，平移与平移间形成对比，因此这使得本发明的搜索过程高效且准确。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：
图1为本申请实施例方法步骤示意图；
图2为本申请实施例流程图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请实施例的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其它操作，也可以从流程图中移除一个或多个操作。
另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其它实施例，都属于本申请保护的范围。
请结合参阅图1，为本发明实施例所提供的一种基于RGB-D传感器的在线稠密重建方法的流程示意图，进一步地，所述一种基于RGB-D传感器的在线稠密重建方法具体可以包括以下步骤S1-步骤S5所描述的内容。
S1：获取当前帧的RGB-D数据，并以上一帧相机的位姿数据作为初始化数据；
S2：根据所述初始化数据在旋转空间内采样出多个旋转候选解，并根据所述初始化数据在平移空间内采样出多个平移候选解；所述平移空间和所述旋转空间为从所述相机的位姿空间中分解出的相互独立的空间；
S3：将所述旋转候选解和所述平移候选解进行组合形成多组相机位姿候选解；
S4：对所述相机位姿候选解进行评估，并选出最优旋转解和最优平移解；
S5：根据所述最优旋转解和最优平移解更新相机当前帧的位姿数据。
本申请实施例实施时，RGB-D数据中需要包括RGB数据，即彩色相机采集的图像数据和D数据，即深度传感器采集的深度数据；而上一帧相机的位姿数据需要作为当前帧的位姿数据的推演参考。对于本申请实施例来说，通过将位姿的旋转和平移解耦处理，来提升迭代优化的稳定性。其基本思想是：将相机位姿解空间解耦成旋转空间与平移空间，并在各自的空间下搜索最优旋转解与最优平移解，以此来达到旋转与平移解耦优化的效果。
在本申请实施例中，对于新来帧的位姿优化，在每一次迭代中，算法首先对旋转和平移的当前估计值附近一定的搜索范围内进行采样，产生一系列旋转和平移的候选解，即旋转候选解和平移候选解，通过评估这些候选解，挑选出评估最优的旋转解与平移解，用以更新当前帧的位姿。这个过程会持续迭代，直到达到预设的迭代结束条件，如迭代次数上限。通过该方法，旋转和平移的优化耦合度极大程度的降低，减少了误差在旋转与平移间的传播，提高了整个优化过程的精确度和鲁棒性。
示例的，为了能对相机位姿解精准评估，提供了一种基于截断符号距离的曲面对齐评估方法，该方法核心在于通过分析给定相机位姿下，当前帧的表面与全局表面的对齐程度来评估该位姿的质量。具体地，从场景中挑选出关键点集，随后测量这些点相对于当前帧和全局模型表面的截断符号距离差值。此差值提供了一个定量基准，可用于判断相机位姿的适用性和精确度。同时，为了实现在各搜索空间下最优解的迅速与精确定位，还提供了一种从粗糙到精细的分级搜索策略。在每轮迭代中，围绕当前旋转和平移的评估值，在邻近的搜索空间内生成一批新的候选解。通过这种分级搜索策略，搜索区域的大小得到动态调整。宽阔的搜索区域帮助快速覆盖广泛的解空间，提高找到全局最优解的概率；较窄的搜索区域帮助更精确地定位最优解。这种层级搜索策略有效地权衡了搜索的效率与精度。
在一种可能的实现方式中，根据所述初始化数据在旋转空间内采样出多个旋转候选解包括：
从单位四元数的虚部中均匀抽取预设数量个单位四元数的虚部作为抽取虚部；所述单位四元数的虚部为在三维单位球体内进行均匀预采样获取；
根据预设的迭代次数循环旋转搜索范围层级形成搜索半径，并根据所述搜索半径对所述抽取虚部进行缩放形成缩放虚部集合；
将所述缩放虚部集合矩阵化并左乘当前帧的位姿数据中的旋转位姿数据形成所述旋转候选解。
在一种可能的实现方式中，根据所述RGB-D数据和所述初始化数据在平移空间内采样出多个平移候选解包括：
在所述平移空间中以所述初始化数据中的平移位姿数据为中心，根据预设的平移搜索步长在每个空间轴上产生最多为预设步数的偏移生成所述平移候选解；所述平移空间为欧式空间。
在一种可能的实现方式中，对所述相机位姿候选解进行评估，并选出最优旋转解和最优平移解包括：
根据所述相机位姿候选解将当前帧的顶点图中的顶点变换到体素中，并选取所有所述顶点所在的体素中心；
从体素中读取所述体素中心到全局表面的第一截断符号距离；
根据所述相机位姿候选解将所述体素中心投影到所述RGB-D数据的深度图像上，并记录投影坐标和投影位置的深度值；
根据所述深度值计算所述体素中心在所述投影坐标的光线上的投影相对于所述深度图像的深度作为深度数据；
计算所述深度数据和所述深度值的差值作为所述体素中心到所述相机位姿候选解下当前帧的表面的有符号距离，并根据所述有符号距离计算所述体素中心到所述相机位姿候选解下当前帧的表面的第二截断符号距离；
将所述体素中心中能够投影到所述深度图像的点数超过重合度阈值的所述相机位姿候选解作为有效搜索解位姿；
将所述有效搜索解位姿对应的体素中心的所述第二截断符号距离和第一截断符号距离的差值的平均值作为该有效搜索解位姿的误差函数值；
将最小的所述误差函数值作为所述有效搜索解位姿的评估值，并将所述评估值最小的所述有效搜索解位姿作为最优旋转解和最优平移解。
本申请实施例实施时，通过设计误差函数，对每一个组合形成的位姿解进行评估。对于每一个旋转或平移的候选解，都会对应多个位姿解，因此也会对应多个评估值。为候选解选择对应的所有评估值中的最佳值作为最终评估值。根据各候选解的评估值挑选出从各分量的候选解中挑选出最优旋转解与最优平移解。通过这种评估策略，每个旋转和平移的候选解都以最佳潜在匹配的性能被评估，极大程度地减少了旋转误差与平移误差的相互干扰，提升了整体优化的精度和效率。
在一种可能的实现方式中，根据所述最优旋转解和最优平移解更新相机当前帧的位姿数据包括：
将所述最优旋转解更新到相机当前帧的位姿数据中的旋转部分；
将所述最优平移解更新到相机当前帧的位姿数据中的平移部分；
根据更新后的当前帧的位姿数据重复获取新的最优旋转解和最优平移解，并更新当前帧的位姿数据直至循环次数满足预设要求。
在一种可能的实现方式中，请参阅图2，示出了一个更具体的实施例中的流程图；在本申请实施例中包括以下步骤：
准备过程：
步骤1：旋转的预采样：使用单位四元数表示旋转，在三维单位球体内进行均匀预采样，生成大量的单位四元数的虚部，记为。
步骤2：为旋转搜索与平移搜索设置从大到小3级搜索范围，记为与。
步骤3：设置旋转解采样个数以及平移搜索步数/>。
步骤4：设置两个曲面的重合度阈值。
步骤5：获取深度传感器的相机内参以及图像分辨率。
数据预处理过程：
步骤6：使用深度传感器设备扫描场景，当前帧记为，其中C表示彩色图像，D表示深度图像。
步骤7：通过相机内参K，将深度图像D转换成对应的顶点图像V，转换过程为公知技术，故在此不再赘述。
候选解生成过程：
步骤8：初始化F的位姿为上一帧的位姿，其中R为旋转位姿，t为平移位姿。
步骤9：从Q中均匀抽取m=64个单位四元数的虚部，记为。根据迭代次数循环旋转搜索范围层级，得到搜索半径/>。对上述单位四元数的虚部进行缩放，生成/>。将缩放后的四元数虚部集合转换成旋转矩阵表达的形式，记为/>，单位四元数转旋转矩阵的转换过程为公知技术，故在此不再赘述。
步骤10：将步骤8中的旋转矩阵左乘R生成候选旋转解：
步骤11：平移的采样在欧式空间下进行，t为中心，按照此次迭代的平移搜索步长，在三个轴上产生最多n=1步的偏移，因此会产生/>个平移候选解，记为/>。
步骤12：将所有的候选旋转解与所有的候选平移解组合，生成个相机位姿。
候选解评估过程：
步骤13：对步骤11中的所有组合生成的相机位姿进行评估。在这里拿一个相机位姿举例：
j为位姿数量，Rj为第j个位姿中的旋转位姿，tj为第j个位姿中的平移位姿；
首先，将当前帧F的顶点图V中的顶点根据位姿变换到体素中，选取所有顶点所在的体素中心，记为/>。
对于每个点，本发明从体素中读取其到全局表面的截断符号距离/>。截断符号距离函数（Truncated Signed Distance Function, TSDF）为该领域下的公知技术，故在此不再赘述。
将根据位姿/>投影到深度图像D上，投影坐标为/>，投影计算为该领域下的公知技术，故在此不再赘述。读取投影位置的深度值/>。
计算在/>的光线上的投影相对于D的深度，计算公式为：
为相对于D的深度，/>和/>为计算中的参数。
计算与/>的差值，作为/>到位姿/>下F的表面的有符号距离。随后对该有符号距离进行TSDF操作，在此不再赘述，得到/>到位姿/>下F的表面的截断符号距离/>。
计数中能够投影到深度图像D的点数，判断是否超过重合度阈值γ，若超过，则为有效搜索解位姿，否则，为无效搜索位姿。
取所有的/>与/>差值的平均值作为/>的误差函数值/>，该误差描述了/>到两个表面的截断符号距离差异。当/>越小时，说明两个曲面重合度越高。
步骤14：在所有由候选解组合生成的相机位姿中，包含候选旋转解的相机位姿有27个，记为：
式中，为包含候选旋转解的相机位姿的集合，/>为第i个包含候选旋转解的相机位姿。
步骤15：对于一个候选旋转解，会对应多个相机位姿，因此也对应了多个误差函数值，本发明将最小的误差函数值作为该候选解的评估值。那么候选旋转解/>的评估值为：
式中为候选旋转解/>的评估值，/>为/>的误差函数值；/>在集合/>中且有效；
步骤16：挑选出包含平移解的相机位姿，有64个，记为：
式中，为包含平移解的相机位姿的集合，/>为第i个包含平移解的相机位姿；
步骤17：与步骤15相同，候选平移解的评估值为：
式中为候选平移解/>的评估值，/>为/>的误差函数值；/>在集合中且有效；
位姿更新过程：
步骤18：根据步骤15对所有候选旋转解的评估值，选取评估值最好，即误差函数值最小的候选旋转解作为此次迭代的最优旋转解。将该解更新到当前帧F的位姿s中的旋转部分。
步骤19：同步骤18相同，选取此次搜索中的最优平移解。将该解更新到当前帧的位姿s中的平移部分。
步骤20：判断迭代次数是否满足20次。若满足，则继续进行后续步骤；否则，返回步骤9；
模型重建过程：
步骤21：将当前帧的深度信息根据最终的位姿融合到全局TSDF中，该过程为领域内的公知技术，在此不再赘述。
基于上述同样的发明构思，本申请实施例还提供了一种基于RGB-D传感器的在线稠密重建系统，包括：
获取单元，被配置为获取当前帧的RGB-D数据，并以上一帧相机的位姿数据作为初始化数据；
采样单元，被配置为根据所述初始化数据在旋转空间内采样出多个旋转候选解，并根据所述初始化数据在平移空间内采样出多个平移候选解；所述平移空间和所述旋转空间为从所述相机的位姿空间中分解出的相互独立的空间；
组合单元，被配置为将所述旋转候选解和所述平移候选解进行组合形成多组相机位姿候选解；
评估单元，被配置为对所述相机位姿候选解进行评估，并选出最优旋转解和最优平移解；
更新单元，被配置为根据所述最优旋转解和最优平移解更新相机当前帧的位姿数据。
在一种可能的实现方式中，所述采样单元还被配置为：
从单位四元数的虚部中均匀抽取预设数量个单位四元数的虚部作为抽取虚部；所述单位四元数的虚部为在三维单位球体内进行均匀预采样获取；
根据预设的迭代次数循环旋转搜索范围层级形成搜索半径，并根据所述搜索半径对所述抽取虚部进行缩放形成缩放虚部集合；
将所述缩放虚部集合矩阵化并左乘当前帧的位姿数据中的旋转位姿数据形成所述旋转候选解。
在一种可能的实现方式中，所述采样单元还被配置为：
在所述平移空间中以所述初始化数据中的平移位姿数据为中心，根据预设的平移搜索步长在每个空间轴上产生最多为预设步数的偏移生成所述平移候选解；所述平移空间为欧式空间。
在一种可能的实现方式中，所述评估单元还被配置为：
根据所述相机位姿候选解将当前帧的顶点图中的顶点变换到体素中，并选取所有所述顶点所在的体素中心；
从体素中读取所述体素中心到全局表面的第一截断符号距离；
根据所述相机位姿候选解将所述体素中心投影到所述RGB-D数据的深度图像上，并记录投影坐标和投影位置的深度值；
根据所述深度值计算所述体素中心在所述投影坐标的光线上的投影相对于所述深度图像的深度作为深度数据；
计算所述深度数据和所述深度值的差值作为所述体素中心到所述相机位姿候选解下当前帧的表面的有符号距离，并根据所述有符号距离计算所述体素中心到所述相机位姿候选解下当前帧的表面的第二截断符号距离；
将所述体素中心中能够投影到所述深度图像的点数超过重合度阈值的所述相机位姿候选解作为有效搜索解位姿；
将所述有效搜索解位姿对应的体素中心的所述第二截断符号距离和第一截断符号距离的差值的平均值作为该有效搜索解位姿的误差函数值；
将最小的所述误差函数值作为所述有效搜索解位姿的评估值，并将所述评估值最小的所述有效搜索解位姿作为最优旋转解和最优平移解。
在一种可能的实现方式中，所述更新单元还被配置为：
将所述最优旋转解更新到相机当前帧的位姿数据中的旋转部分；
将所述最优平移解更新到相机当前帧的位姿数据中的平移部分；
根据更新后的当前帧的位姿数据重复获取新的最优旋转解和最优平移解，并更新当前帧的位姿数据直至循环次数满足预设要求。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显然本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网格设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于RGB-D传感器的在线稠密重建方法，其特征在于，包括：
获取当前帧的RGB-D数据，并以上一帧相机的位姿数据作为初始化数据；
根据所述初始化数据在旋转空间内采样出多个旋转候选解，并根据所述初始化数据在平移空间内采样出多个平移候选解；所述平移空间和所述旋转空间为从所述相机的位姿空间中分解出的相互独立的空间；
将所述旋转候选解和所述平移候选解进行组合形成多组相机位姿候选解；
对所述相机位姿候选解进行评估，并选出最优旋转解和最优平移解；
根据所述最优旋转解和最优平移解更新相机当前帧的位姿数据；
对所述相机位姿候选解进行评估，并选出最优旋转解和最优平移解包括：
根据所述相机位姿候选解将当前帧的顶点图中的顶点变换到体素中，并选取所有所述顶点所在的体素中心；
从体素中读取所述体素中心到全局表面的第一截断符号距离；
根据所述相机位姿候选解将所述体素中心投影到所述RGB-D数据的深度图像上，并记录投影坐标和投影位置的深度值；
根据所述深度值计算所述体素中心在所述投影坐标的光线上的投影相对于所述深度图像的深度作为深度数据；
计算所述深度数据和所述深度值的差值作为所述体素中心到所述相机位姿候选解下当前帧的表面的有符号距离，并根据所述有符号距离计算所述体素中心到所述相机位姿候选解下当前帧的表面的第二截断符号距离；
将所述体素中心中能够投影到所述深度图像的点数超过重合度阈值的所述相机位姿候选解作为有效搜索解位姿；
将所述有效搜索解位姿对应的体素中心的所述第二截断符号距离和第一截断符号距离的差值的平均值作为该有效搜索解位姿的误差函数值；
将最小的所述误差函数值作为所述有效搜索解位姿的评估值，并将所述评估值最小的所述有效搜索解位姿作为最优旋转解和最优平移解。
2.根据权利要求1所述的一种基于RGB-D传感器的在线稠密重建方法，其特征在于，根据所述初始化数据在旋转空间内采样出多个旋转候选解包括：
从单位四元数的虚部中均匀抽取预设数量个单位四元数的虚部作为抽取虚部；所述单位四元数的虚部为在三维单位球体内进行均匀预采样获取；
根据预设的迭代次数循环旋转搜索范围层级形成搜索半径，并根据所述搜索半径对所述抽取虚部进行缩放形成缩放虚部集合；
将所述缩放虚部集合矩阵化并左乘当前帧的位姿数据中的旋转位姿数据形成所述旋转候选解。
3.根据权利要求1所述的一种基于RGB-D传感器的在线稠密重建方法，其特征在于，根据所述RGB-D数据和所述初始化数据在平移空间内采样出多个平移候选解包括：
在所述平移空间中以所述初始化数据中的平移位姿数据为中心，根据预设的平移搜索步长在每个空间轴上产生最多为预设步数的偏移生成所述平移候选解；所述平移空间为欧式空间。
4.根据权利要求1所述的一种基于RGB-D传感器的在线稠密重建方法，其特征在于，根据所述最优旋转解和最优平移解更新相机当前帧的位姿数据包括：
将所述最优旋转解更新到相机当前帧的位姿数据中的旋转部分；
将所述最优平移解更新到相机当前帧的位姿数据中的平移部分；
根据更新后的当前帧的位姿数据重复获取新的最优旋转解和最优平移解，并更新当前帧的位姿数据直至循环次数满足预设要求。
5.一种基于RGB-D传感器的在线稠密重建系统，其特征在于，包括：
获取单元，被配置为获取当前帧的RGB-D数据，并以上一帧相机的位姿数据作为初始化数据；
采样单元，被配置为根据所述初始化数据在旋转空间内采样出多个旋转候选解，并根据所述初始化数据在平移空间内采样出多个平移候选解；所述平移空间和所述旋转空间为从所述相机的位姿空间中分解出的相互独立的空间；
组合单元，被配置为将所述旋转候选解和所述平移候选解进行组合形成多组相机位姿候选解；
评估单元，被配置为对所述相机位姿候选解进行评估，并选出最优旋转解和最优平移解；
更新单元，被配置为根据所述最优旋转解和最优平移解更新相机当前帧的位姿数据；
所述评估单元还被配置为：
根据所述相机位姿候选解将当前帧的顶点图中的顶点变换到体素中，并选取所有所述顶点所在的体素中心；
从体素中读取所述体素中心到全局表面的第一截断符号距离；
根据所述相机位姿候选解将所述体素中心投影到所述RGB-D数据的深度图像上，并记录投影坐标和投影位置的深度值；
根据所述深度值计算所述体素中心在所述投影坐标的光线上的投影相对于所述深度图像的深度作为深度数据；
计算所述深度数据和所述深度值的差值作为所述体素中心到所述相机位姿候选解下当前帧的表面的有符号距离，并根据所述有符号距离计算所述体素中心到所述相机位姿候选解下当前帧的表面的第二截断符号距离；
将所述体素中心中能够投影到所述深度图像的点数超过重合度阈值的所述相机位姿候选解作为有效搜索解位姿；
将所述有效搜索解位姿对应的体素中心的所述第二截断符号距离和第一截断符号距离的差值的平均值作为该有效搜索解位姿的误差函数值；
将最小的所述误差函数值作为所述有效搜索解位姿的评估值，并将所述评估值最小的所述有效搜索解位姿作为最优旋转解和最优平移解。
6.根据权利要求5所述的一种基于RGB-D传感器的在线稠密重建系统，其特征在于，所述采样单元还被配置为：
从单位四元数的虚部中均匀抽取预设数量个单位四元数的虚部作为抽取虚部；所述单位四元数的虚部为在三维单位球体内进行均匀预采样获取；
根据预设的迭代次数循环旋转搜索范围层级形成搜索半径，并根据所述搜索半径对所述抽取虚部进行缩放形成缩放虚部集合；
将所述缩放虚部集合矩阵化并左乘当前帧的位姿数据中的旋转位姿数据形成所述旋转候选解。
7.根据权利要求5所述的一种基于RGB-D传感器的在线稠密重建系统，其特征在于，所述采样单元还被配置为：
在所述平移空间中以所述初始化数据中的平移位姿数据为中心，根据预设的平移搜索步长在每个空间轴上产生最多为预设步数的偏移生成所述平移候选解；所述平移空间为欧式空间。
8.根据权利要求5所述的一种基于RGB-D传感器的在线稠密重建系统，其特征在于，所述更新单元还被配置为：
将所述最优旋转解更新到相机当前帧的位姿数据中的旋转部分；
将所述最优平移解更新到相机当前帧的位姿数据中的平移部分；
根据更新后的当前帧的位姿数据重复获取新的最优旋转解和最优平移解，并更新当前帧的位姿数据直至循环次数满足预设要求。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410169875.8A CN117710469B (zh) | 2024-02-06 | 2024-02-06 | 一种基于rgb-d传感器的在线稠密重建方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410169875.8A CN117710469B (zh) | 2024-02-06 | 2024-02-06 | 一种基于rgb-d传感器的在线稠密重建方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117710469A CN117710469A (zh) | 2024-03-15 |
| CN117710469B true CN117710469B (zh) | 2024-04-12 |
Family
ID=90150201
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410169875.8A Active CN117710469B (zh) | 2024-02-06 | 2024-02-06 | 一种基于rgb-d传感器的在线稠密重建方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117710469B (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105654492A (zh) * | 2015-12-30 | 2016-06-08 | 哈尔滨工业大学 | 基于消费级摄像头的鲁棒实时三维重建方法 |
| CN109387204A (zh) * | 2018-09-26 | 2019-02-26 | 东北大学 | 面向室内动态环境的移动机器人同步定位与构图方法 |
| CN111707281A (zh) * | 2020-06-30 | 2020-09-25 | 华东理工大学 | 一种基于光度信息和orb特征的slam系统 |
| CN111862316A (zh) * | 2020-07-28 | 2020-10-30 | 杭州深瞳科技有限公司 | 一种基于优化的imu紧耦合稠密直接rgbd的三维重建方法 |
| CN111950477A (zh) * | 2020-08-17 | 2020-11-17 | 南京大学 | 一种基于视频监督的单图像三维人脸重建方法 |
| CN113160411A (zh) * | 2021-04-23 | 2021-07-23 | 杭州电子科技大学 | 一种基于rgb-d传感器的室内三维重建方法 |
| WO2022002039A1 (zh) * | 2020-06-30 | 2022-01-06 | 杭州海康机器人技术有限公司 | 一种基于视觉地图的视觉定位方法、装置 |
| CN114419246A (zh) * | 2021-12-10 | 2022-04-29 | 上海航天控制技术研究所 | 一种空间目标即时稠密重建方法 |
| CN114723885A (zh) * | 2022-04-06 | 2022-07-08 | 浙江大学 | 一种基于rgbd图像稠密三维重建的植物耐寒性分析的方法 |
| CN115511952A (zh) * | 2022-09-20 | 2022-12-23 | 同济大学 | 一种基于深度相机的装配式铺面三维点云预处理方法 |
| CN116309880A (zh) * | 2023-03-27 | 2023-06-23 | 西安电子科技大学广州研究院 | 基于三维重建的物体位姿确定方法、装置、设备及介质 |
| CN116309813A (zh) * | 2022-11-28 | 2023-06-23 | 北京航空航天大学 | 一种固态激光雷达-相机紧耦合位姿估计方法 |
| CN116721231A (zh) * | 2023-05-17 | 2023-09-08 | 武汉大学 | 基于无人机机载定位的可扩展场景三维重建方法及系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3078935A1 (en) * | 2015-04-10 | 2016-10-12 | The European Atomic Energy Community (EURATOM), represented by the European Commission | Method and device for real-time mapping and localization |
| US11210805B2 (en) * | 2017-01-13 | 2021-12-28 | Zhejiang University | Simultaneous localization and dense three-dimensional reconstruction method |
-
2024
- 2024-02-06 CN CN202410169875.8A patent/CN117710469B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105654492A (zh) * | 2015-12-30 | 2016-06-08 | 哈尔滨工业大学 | 基于消费级摄像头的鲁棒实时三维重建方法 |
| CN109387204A (zh) * | 2018-09-26 | 2019-02-26 | 东北大学 | 面向室内动态环境的移动机器人同步定位与构图方法 |
| WO2022002039A1 (zh) * | 2020-06-30 | 2022-01-06 | 杭州海康机器人技术有限公司 | 一种基于视觉地图的视觉定位方法、装置 |
| CN111707281A (zh) * | 2020-06-30 | 2020-09-25 | 华东理工大学 | 一种基于光度信息和orb特征的slam系统 |
| CN111862316A (zh) * | 2020-07-28 | 2020-10-30 | 杭州深瞳科技有限公司 | 一种基于优化的imu紧耦合稠密直接rgbd的三维重建方法 |
| CN111950477A (zh) * | 2020-08-17 | 2020-11-17 | 南京大学 | 一种基于视频监督的单图像三维人脸重建方法 |
| CN113160411A (zh) * | 2021-04-23 | 2021-07-23 | 杭州电子科技大学 | 一种基于rgb-d传感器的室内三维重建方法 |
| CN114419246A (zh) * | 2021-12-10 | 2022-04-29 | 上海航天控制技术研究所 | 一种空间目标即时稠密重建方法 |
| CN114723885A (zh) * | 2022-04-06 | 2022-07-08 | 浙江大学 | 一种基于rgbd图像稠密三维重建的植物耐寒性分析的方法 |
| CN115511952A (zh) * | 2022-09-20 | 2022-12-23 | 同济大学 | 一种基于深度相机的装配式铺面三维点云预处理方法 |
| CN116309813A (zh) * | 2022-11-28 | 2023-06-23 | 北京航空航天大学 | 一种固态激光雷达-相机紧耦合位姿估计方法 |
| CN116309880A (zh) * | 2023-03-27 | 2023-06-23 | 西安电子科技大学广州研究院 | 基于三维重建的物体位姿确定方法、装置、设备及介质 |
| CN116721231A (zh) * | 2023-05-17 | 2023-09-08 | 武汉大学 | 基于无人机机载定位的可扩展场景三维重建方法及系统 |
Non-Patent Citations (4)
| Title |
|---|
| Dense 3D reconstruction combining depth and RGB information;Hailong Pan等;《Neurocomputing》;20151104;第175卷;第644-651页 * |
| 基于RGB-D数据的环境特征提取与场景重构;李庆华;《中国优秀硕士学位论文全文数据库 信息科技辑》;20150715(第（2015）07期);I138-901 * |
| 基于单目深度估计的室内稠密三维场景重建;徐光锴;《万方数据》;20231227;第1-76页 * |
| 基于双目视觉的工程车辆定位与行驶速度检测;同志学等;《中国机械工程》;20180228;第29卷(第4期);第423-428页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117710469A (zh) | 2024-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110264567B (zh) | 一种基于标记点的实时三维建模方法 | |
| CN106910242B (zh) | 基于深度相机进行室内完整场景三维重建的方法及系统 | |
| CN108369741A (zh) | 用于配准数据的方法和系统 | |
| Moussa et al. | An automatic procedure for combining digital images and laser scanner data | |
| Hitomi et al. | 3D scanning using RGBD imaging devices: A survey | |
| CN112419497A (zh) | 基于单目视觉的特征法与直接法相融合的slam方法 | |
| CN112396640A (zh) | 图像配准方法、装置、电子设备及存储介质 | |
| CN111981982A (zh) | 一种基于加权sfm算法的多向合作靶标光学测量方法 | |
| CN111060006A (zh) | 一种基于三维模型的视点规划方法 | |
| CN116309880A (zh) | 基于三维重建的物体位姿确定方法、装置、设备及介质 | |
| WO2023093739A1 (zh) | 一种多视图三维重建的方法 | |
| CN115375842A (zh) | 一种植株三维重建方法、终端及存储介质 | |
| CN111047631A (zh) | 一种基于单Kinect加圆盒的多视角三维点云配准方法 | |
| CN111798453A (zh) | 用于无人驾驶辅助定位的点云配准方法及其系统 | |
| CN114022542A (zh) | 一种基于三维重建的3d数据库制作方法 | |
| CN112465849A (zh) | 一种无人机激光点云与序列影像的配准方法 | |
| CN113963067B (zh) | 一种采用小靶标对大视场视觉传感器进行标定的标定方法 | |
| Yin et al. | Virtual reconstruction method of regional 3D image based on visual transmission effect | |
| CN117710469B (zh) | 一种基于rgb-d传感器的在线稠密重建方法及系统 | |
| CN111127613B (zh) | 基于扫描电子显微镜的图像序列三维重构方法及系统 | |
| CN112767459A (zh) | 基于2d-3d转换的无人机激光点云与序列影像配准方法 | |
| CN110969650B (zh) | 一种基于中心投影的强度图像与纹理序列间的配准方法 | |
| CN112819935A (zh) | 基于双目立体视觉实现工件三维重建的方法 | |
| CN117197333A (zh) | 基于多目视觉的空间目标重构与位姿估计方法及系统 | |
| Jisen | A study on target recognition algorithm based on 3D point cloud and feature fusion |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |