CN117496074A - 一种适应相机快速移动的高效三维场景重建方法 - Google Patents
一种适应相机快速移动的高效三维场景重建方法 Download PDFInfo
- Publication number
- CN117496074A CN117496074A CN202311854832.5A CN202311854832A CN117496074A CN 117496074 A CN117496074 A CN 117496074A CN 202311854832 A CN202311854832 A CN 202311854832A CN 117496074 A CN117496074 A CN 117496074A
- Authority
- CN
- China
- Prior art keywords
- camera
- pose
- dimensional
- particle swarm
- particle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000033001 locomotion Effects 0.000 title claims abstract description 24
- 239000002245 particle Substances 0.000 claims abstract description 124
- 238000011156 evaluation Methods 0.000 claims abstract description 26
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 23
- 238000005457 optimization Methods 0.000 claims abstract description 18
- 238000013507 mapping Methods 0.000 claims abstract description 16
- 238000005070 sampling Methods 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 8
- 230000002146 bilateral effect Effects 0.000 claims abstract description 7
- 238000000605 extraction Methods 0.000 claims abstract description 7
- 238000001914 filtration Methods 0.000 claims abstract description 7
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 238000010276 construction Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000006870 function Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20028—Bilateral filtering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Graphics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Geometry (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种适应相机快速移动的高效三维场景重建方法。所述方法包括：根据双边滤波方法对深度场景数据进行预处理，将过滤后的深度数据映射到一个预先定义的三维立体空间中，得到对应世界坐标系下的三维位置点；利用预先设计的优化后的粒子群算法对相机初始位姿进行数据处理，以相机初始位姿为中心在6D单位球中随机预采样多个粒子构建粒子群，设置粒子群优化的迭代步数和评估函数从粒子群中找到最优的相机位姿；根据最优的相机位姿和三维位置点进行模型构建，利用等值面提取方法对三维场景表面模型进行几何重建，得到三维场景重建结果。采用本方法能够提高三维场景重建的准确率和效率。
Description
技术领域
本申请涉及三维场景重建技术领域，特别是涉及一种适应相机快速移动的高效三维场景重建方法。
背景技术
随着商用的深度相机逐步走入人们的视野，三维重建技术得到了迅猛发展，目前同时定位与建图技术和运动恢复结构通常依赖于连续帧序列RGB图片特征的稳定性，容易受到光照强度变化、特征纹理稀少、快速运动模糊等因素影响而导致相机定位和场景重建的失败。而基于深度图体融合技术的稠密三维重建技术，如KinectFusion算法等，通过最小邻近点迭代算法来完成帧到帧、帧到模型的配准。为确保迭代初始解的可靠性，对相机的移动要求较高，通常只能通过专业人士手持相机缓慢移动完成对场景的扫描重建，效率极低。
然而，目前基于RGBD的实时重建算法一般要求相机缓慢的移动（<1m/s）。在相机快速移动（比如3m/s）时，目前主流的算法基本都会因为图像特征匹配不上而导致重建失败。相机的快速移动会带来两个方面的重大挑战：一是由于相机转动较大，图片序列帧与帧之间的重叠区域较少，基于非线性优化的相机位姿求解方法难度很大，可能产生较大的计算误差。二是快速移动下 RGB 图像容易出现运动模糊，使得基于图像特征匹配的算法失效。同时定位与建图（SLAM）技术通常采用 RGB 图片的视觉特征进行帧与帧的配准计算，然后通过光束平差法进行全局优化和调整，从而准确估计出相机的位姿和重建出稀疏的特征点云。而基于深度图的稠密三维重建方法通常同时利用RGB图片的特征匹配技术和基于场景3D几何结构的最小邻近点迭代（ICP）算法来对相机位姿进行估计。但是相机快速移动情况下，RGB图片容易出现运动模糊，并且基于最小邻近点迭代方法需要的初始解条件难以满足，造成相机位姿求解的误差较大，导致三维重建失败。对于一般的室内未知场景，光照、纹理变化都比较复杂，并且持续缓慢移动相机控制难度较大，导致现有三维重建算法的鲁棒性难以保证并且效率极低。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高三维场景重建的精确性和效率的适应相机快速移动的高效三维场景重建方法。
一种适应相机快速移动的高效三维场景重建方法，所述方法包括：
获取深度场景数据和相机初始位姿；根据双边滤波方法对深度场景数据进行预处理，得到过滤后的深度数据；
将过滤后的深度数据映射到一个预先定义的三维立体空间中，对三维立体空间的每个体素进行转化，得到对应世界坐标系下的三维位置点；
利用预先设计的优化后的粒子群算法对相机初始位姿进行数据处理，以相机初始位姿为中心在6D单位球中随机预采样多个粒子构建粒子群，设置粒子群优化的迭代步数和评估函数从粒子群中找到最优的相机位姿；
根据最优的相机位姿和三维位置点进行模型构建，得到三维场景表面模型；
利用等值面提取方法对三维场景表面模型进行几何重建，得到三维场景重建结果。
在其中一个实施例中，粒子群中的粒子表示待优化的相机位姿；利用预先设计的优化后的粒子群算法对相机初始位姿进行数据处理，以相机初始位姿为中心在6D单位球中随机预采样多个粒子构建粒子群，设置粒子群优化的迭代步数和评估函数从粒子群中找到最优的相机位姿，包括：
步骤1：以相机上一帧的位姿作为当前帧相机位姿的初始输入位姿，同时设最终优化后的位姿为/>；首先以/>为中心，在6D单位球中随机预采样/>个粒子，预采样粒子群表示为/>，设定粒子群优化迭代的步数/>，对位姿/>通过评估函数进行评估，评估值表示为/>；
步骤2：根据迭代步数开始循环迭代优化，设当前迭代步为，如果/>大于迭代步数，则终止迭代优化，输出最优的相机位姿；设当前粒子群为/>，且/>，先令，即将上一次最优位姿赋值给当前作为初值，而/>；将/>中的/>个相对位姿/>还原成相机绝对位姿/>；
步骤3：将相机绝对位姿中的每一个位姿/>都利用评估函数进行评估，记每一个粒子/>的评估值为/>；
步骤4：比较每一个粒子评估值与/>的大小，如果/>小于/>，说明/>对应的位姿要比/>对应的当前初始位姿要更精准，则将相对位姿粒子/>加入优势粒子群中，设优势粒子群为/>，同时以/>作为对应粒子的权重/>；
步骤5：判断是否为空，如果不为空，则计算/>中各粒子的加权平均，/>将作为本次迭代最优的相对位姿粒子，并通过/>更新/>结果，同时更新/>为中各粒子评估值的加权平均，如果/>为空，则通过第六步调整粒子群粒子值进入下一轮循环；
步骤6：根据调整/>中粒子的值，得到更新后的粒子群/>，并重新进入步骤2。
在其中一个实施例中，根据调整/>中粒子的值，得到更新后的粒子群/>，包括：
设，/>表示/>更新前后位姿变化方向，然后计算各个轴向上的缩放向量/>，最后将/>各维度上的值作为相乘系数作用到/>中每个粒子，得到最后的粒子群/>。
在其中一个实施例中，根据最优的相机位姿和三维位置点进行模型构建，得到三维场景表面模型，包括：
根据最优的相机位姿构建最优相机位姿矩阵，由/>左乘三维位置点得到在相机坐标系映射点；
利用相机内参矩阵反投影映射点，得到深度图像中的对应像素点；
根据对应像素点计算三维位置点沿投影光线到最近表面的距离，利用三维位置点沿投影光线到最近表面的距离进行计算，得到截断距离；
将当前帧得到的截断距离合并到已有的体空间中，通过将多帧合并成三维场景表面模型。
在其中一个实施例中，根据对应像素点计算三维位置点沿投影光线到最近表面的距离，包括：
根据对应像素点计算三维位置点沿投影光线到最近表面的距离为
；
其中，表示对应像素点，/>表示映射点，/>表示符号距离函数。
在其中一个实施例中，利用三维位置点沿投影光线到最近表面的距离进行计算，得到截断距离，包括：
利用三维位置点沿投影光线到最近表面的距离进行计算，得到截断距离为
；
其中，表示截断范围值。
在其中一个实施例中，将当前帧得到的截断距离合并到已有的体空间中，通过将多帧合并成三维场景表面模型，包括：
将当前帧得到的截断距离合并到已有的体空间中，通过将多帧合并成三维场景表面模型为
；
其中，表示当前帧需要更新的体素权重，/>表示当前帧计算前的体素权重。
上述一种适应相机快速移动的高效三维场景重建方法，首先采用联合双边滤波方法对深度数据进行预处理，去除噪声对深度数据的影响，提升深度场景中深度数据的质量，将过滤后的深度数据映射到一个预先定义的三维立体空间中，对三维立体空间的每个体素进行转化，得到对应世界坐标系下的三维位置点，并且通过对相机初始位姿进行数据处理，以相机初始位姿为中心在6D单位球中随机预采样多个粒子构建粒子群，预采样的粒子是相对于初始位姿构建的，可适应所有帧的相机初始位姿计算，可以缩短粒子群算法中粒子采样的中间流程，大大提高了算法的鲁棒性和最优的相机位姿的寻优效率，解决了相机快速移动下的位姿定位问题，进而提高后续三维重建的效率，根据最优的相机位姿和三维位置点进行模型构建，得到三维场景表面模型；利用等值面提取方法对三维场景表面模型进行几何重建，得到三维场景重建结果，通过构建三维场景表面模型来表征真实场景表面附近的区域，在后续进行三维场景重建时能够提高重建精确性。
附图说明
图1为一个实施例中一种适应相机快速移动的高效三维场景重建方法的流程示意图；
图2为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种适应相机快速移动的高效三维场景重建方法，包括以下步骤：
步骤102，获取深度场景数据和相机初始位姿；根据双边滤波方法对深度场景数据进行预处理，得到过滤后的深度数据。
利用相机获取深度场景数据，相机选用带深度的3D相机，比如消费级别的kinect。深度场景数据中包括深度图，kinect相机在深度图上往往存在噪声，出现数据噪点、空洞等问题，特别是在物体边缘处，容易产生不连续的过渡。为了更好地通过深度图进行高精度配准，本申请通过采用联合双边滤波方法对深度数据进行预处理，去除噪声对深度数据的影响，提升深度数据质量。
步骤104，将过滤后的深度数据映射到一个预先定义的三维立体空间中，对三维立体空间的每个体素进行转化，得到对应世界坐标系下的三维位置点。
将过滤后的深度数据映射到一个预先定义的三维立体空间中，对三维立体空间的每个体素进行转化，得到对应世界坐标系下的三维位置点便于后续进行三维场景模型构建。
步骤106，利用预先设计的优化后的粒子群算法对相机初始位姿进行数据处理，以相机初始位姿为中心在6D单位球中随机预采样多个粒子构建粒子群，设置粒子群优化的迭代步数和评估函数从粒子群中找到最优的相机位姿。
本申请通过对相机初始位姿进行数据处理，以相机初始位姿为中心在6D单位球中随机预采样多个粒子构建粒子群，预采样的粒子是相对于初始位姿构建的，可适应所有帧的相机初始位姿计算，可以缩短粒子群算法中粒子采样的中间流程，大大提高了算法的鲁棒性和最优的相机位姿的寻优效率，进而提高后续三维重建的效率。
步骤108，根据最优的相机位姿和三维位置点进行模型构建，得到三维场景表面模型；利用等值面提取方法对三维场景表面模型进行几何重建，得到三维场景重建结果。
通过构建三维场景表面模型来表征真实场景表面附近的区域，在后续进行三维场景重建时能够提高重建精确性。利用等值面提取方法对三维场景表面模型进行几何重建，得到三维场景重建结果是现有技术，在本申请中不做过多的赘述。
上述一种适应相机快速移动的高效三维场景重建方法中，首先采用联合双边滤波方法对深度数据进行预处理，去除噪声对深度数据的影响，提升深度场景中深度图的质量，将过滤后的深度数据映射到一个预先定义的三维立体空间中，对三维立体空间的每个体素进行转化，得到对应世界坐标系下的三维位置点，并且通过对相机初始位姿进行数据处理，以相机初始位姿为中心在6D单位球中随机预采样多个粒子构建粒子群，预采样的粒子是相对于初始位姿构建的，可适应所有帧的相机初始位姿计算，可以缩短粒子群算法中粒子采样的中间流程，大大提高了算法的鲁棒性和最优的相机位姿的寻优效率，解决了相机快速移动下的位姿定位问题，进而提高后续三维重建的效率，根据最优的相机位姿和三维位置点进行模型构建，得到三维场景表面模型；利用等值面提取方法对三维场景表面模型进行几何重建，得到三维场景重建结果，通过构建三维场景表面模型来表征真实场景表面附近的区域，在后续进行三维场景重建时能够提高重建精确性。
在其中一个实施例中，粒子群中的粒子表示待优化的相机位姿；利用预先设计的优化后的粒子群算法对相机初始位姿进行数据处理，以相机初始位姿为中心在6D单位球中随机预采样多个粒子构建粒子群，设置粒子群优化的迭代步数和评估函数从粒子群中找到最优的相机位姿，包括：
步骤1：以相机上一帧的位姿作为当前帧相机位姿的初始输入位姿，同时设最终优化后的位姿为/>；首先以/>为中心，在6D单位球中随机预采样/>个粒子，预采样粒子群表示为/>，设定粒子群优化迭代的步数/>，对位姿/>通过评估函数进行评估，评估值表示为/>；
步骤2：根据迭代步数开始循环迭代优化，设当前迭代步为，如果/>大于迭代步数，则终止迭代优化，输出最优的相机位姿；设当前粒子群为/>，且/>，先令，即将上一次最优位姿赋值给当前作为初值，而/>；将/>中的/>个相对位姿/>还原成相机绝对位姿/>；
步骤3：将相机绝对位姿中的每一个位姿/>都利用评估函数进行评估，记每一个粒子/>的评估值为/>；
步骤4：比较每一个粒子评估值与/>的大小，如果/>小于/>，说明/>对应的位姿要比/>对应的当前初始位姿要更精准，则将相对位姿粒子/>加入优势粒子群中，设优势粒子群为/>，同时以/>作为对应粒子的权重/>；
步骤5：判断是否为空，如果不为空，则计算/>中各粒子的加权平均，/>将作为本次迭代最优的相对位姿粒子，并通过/>更新/>结果，同时更新/>为中各粒子评估值的加权平均，如果/>为空，则通过第六步调整粒子群粒子值进入下一轮循环；
步骤6：根据调整/>中粒子的值，得到更新后的粒子群/>，并重新进入步骤2。
在其中一个实施例中，根据调整/>中粒子的值，得到更新后的粒子群/>，包括：
设，/>表示/>更新前后位姿变化方向，然后计算各个轴向上的缩放向量/>，最后将/>各维度上的值作为相乘系数作用到/>中每个粒子，得到最后的粒子群/>。
在具体实施例中，将相机位姿用6D向量来表示，其中/>分别表示空间中的三维坐标，/>分别表示沿着空间三个轴向的旋转；算法的输入是初始的6D位姿向量，输出是优化后的6D位姿向量；算法中每个粒子代表一个6D位姿向量，表示待优化的相机位姿；用/>表示评估函数，用来评估一个6D相机位姿的好坏程度，可根据场景制定；为提升效率，我们以相机初始位姿为中心，形成一个6D单位球，提前在6D单位球上进行相机位姿粒子的预采样，采样粒子数量为/>，预采样的相机粒子群表示为/>，由于预采样的粒子是相对于初始位姿构建的，可适应所有帧的相机初始位姿计算，可以缩短粒子群算法中粒子采样的中间流程。
在其中一个实施例中，根据最优的相机位姿和三维位置点进行模型构建，得到三维场景表面模型，包括：
根据最优的相机位姿构建最优相机位姿矩阵，由/>左乘三维位置点得到在相机坐标系映射点；
利用相机内参矩阵反投影映射点，得到深度图像中的对应像素点；
根据对应像素点计算三维位置点沿投影光线到最近表面的距离，利用三维位置点沿投影光线到最近表面的距离进行计算，得到截断距离；
将当前帧得到的截断距离合并到已有的体空间中，通过将多帧合并成三维场景表面模型。
在其中一个实施例中，根据对应像素点计算三维位置点沿投影光线到最近表面的距离，包括：
根据对应像素点计算三维位置点沿投影光线到最近表面的距离为
；
其中，表示对应像素点，/>表示映射点，/>表示符号距离函数。
在其中一个实施例中，利用三维位置点沿投影光线到最近表面的距离进行计算，得到截断距离，包括：
利用三维位置点沿投影光线到最近表面的距离进行计算，得到截断距离为
；
其中，表示截断范围值。
在具体实施例中，将体素的符号距离截断在内，符号距离超过这个范围的体素不用计算，直接得1或者-1。
在其中一个实施例中，将当前帧得到的截断距离合并到已有的体空间中，通过将多帧合并成三维场景表面模型，包括：
将当前帧得到的截断距离合并到已有的体空间中，通过将多帧合并成三维场景表面模型为
；
其中，表示当前帧需要更新的体素权重，/>表示当前帧计算前的体素权重。
在具体实施例中，将当前帧得到的截断距离合并到已有的体空间中，通过将多帧合并成三维场景表面模型既可以提升精度又可以补全单帧缺失的信息。对于需要更新的体素，没在视野内的体素设为0。
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图2所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种适应相机快速移动的高效三维场景重建方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图2中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (7)
1.一种适应相机快速移动的高效三维场景重建方法，其特征在于，所述方法包括：
获取深度场景数据和相机初始位姿；根据双边滤波方法对深度场景数据进行预处理，得到过滤后的深度数据；
将所述过滤后的深度数据映射到一个预先定义的三维立体空间中，对所述三维立体空间的每个体素进行转化，得到对应世界坐标系下的三维位置点；
利用预先设计的优化后的粒子群算法对所述相机初始位姿进行数据处理，以所述相机初始位姿为中心在6D单位球中随机预采样多个粒子构建粒子群，设置粒子群优化的迭代步数和评估函数从所述粒子群中找到最优的相机位姿；
根据所述最优的相机位姿和三维位置点进行模型构建，得到三维场景表面模型；
利用等值面提取方法对所述三维场景表面模型进行几何重建，得到三维场景重建结果。
2.根据权利要求1所述的方法，其特征在于，所述粒子群中的粒子表示待优化的相机位姿；利用预先设计的优化后的粒子群算法对所述相机初始位姿进行数据处理，以所述相机初始位姿为中心在6D单位球中随机预采样多个粒子构建粒子群，设置粒子群优化的迭代步数和评估函数从所述粒子群中找到最优的相机位姿，包括：
步骤1：以相机上一帧的位姿作为当前帧相机位姿的初始输入位姿，同时设最终优化后的位姿为/>；首先以/>为中心，在6D单位球中随机预采样/>个粒子，预采样粒子群表示为/>，设定粒子群优化迭代的步数/>，对位姿/>通过评估函数/>进行评估，评估值表示为/>；
步骤2：根据迭代步数开始循环迭代优化，设当前迭代步为，如果/>大于迭代步数，则终止迭代优化，输出最优的相机位姿；设当前粒子群为/>，且/>，先令/>，即将上一次最优位姿赋值给当前作为初值，而/>；将/>中的/>个相对位姿还原成相机绝对位姿/>；
步骤3：将相机绝对位姿中的每一个位姿/>都利用评估函数进行评估，记每一个粒子/>的评估值为/>；
步骤4：比较每一个粒子评估值与/>的大小，如果/>小于/>，说明/>对应的位姿要比对应的当前初始位姿要更精准，则将相对位姿粒子/>加入优势粒子群中，设优势粒子群为/>，同时以/>作为对应粒子的权重/>；
步骤5：判断是否为空，如果不为空，则计算/>中各粒子的加权平均/>，/>将作为本次迭代最优的相对位姿粒子，并通过/>更新/>结果，同时更新/>为/>中各粒子评估值的加权平均，如果/>为空，则通过第六步调整粒子群粒子值进入下一轮循环；
步骤6：根据调整/>中粒子的值，得到更新后的粒子群/>，并重新进入步骤2。
3.根据权利要求2所述的方法，其特征在于，根据调整/>中粒子的值，得到更新后的粒子群/>，包括：
设，/>表示/>更新前后位姿变化方向，然后计算各个轴向上的缩放向量/>，最后将/>各维度上的值作为相乘系数作用到中每个粒子，得到最后的粒子群/>。
4.根据权利要求1所述的方法，其特征在于，根据所述最优的相机位姿和三维位置点进行模型构建，得到三维场景表面模型，包括：
根据所述最优的相机位姿构建最优相机位姿矩阵，由/>左乘三维位置点得到在相机坐标系映射点；
利用相机内参矩阵反投影映射点，得到深度图像中的对应像素点；
根据所述对应像素点计算三维位置点沿投影光线到最近表面的距离，利用三维位置点沿投影光线到最近表面的距离进行计算，得到截断距离；
将当前帧得到的截断距离合并到已有的体空间中，通过将多帧合并成三维场景表面模型。
5.根据权利要求4所述的方法，其特征在于，根据所述对应像素点计算三维位置点沿投影光线到最近表面的距离，包括：
根据所述对应像素点计算三维位置点沿投影光线到最近表面的距离为
；
其中，表示对应像素点，/>表示映射点，/>表示符号距离函数。
6.根据权利要求5所述的方法，其特征在于，利用三维位置点沿投影光线到最近表面的距离进行计算，得到截断距离，包括：
利用三维位置点沿投影光线到最近表面的距离进行计算，得到截断距离为
；
其中，表示截断范围值。
7.根据权利要求6所述的方法，其特征在于，将当前帧得到的截断距离合并到已有的体空间中，通过将多帧合并成三维场景表面模型，包括：
将当前帧得到的截断距离合并到已有的体空间中，通过将多帧合并成三维场景表面模型为
；
其中，表示当前帧需要更新的体素权重，/>表示当前帧计算前的体素权重。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311854832.5A CN117496074B (zh) | 2023-12-29 | 2023-12-29 | 一种适应相机快速移动的高效三维场景重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311854832.5A CN117496074B (zh) | 2023-12-29 | 2023-12-29 | 一种适应相机快速移动的高效三维场景重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117496074A true CN117496074A (zh) | 2024-02-02 |
| CN117496074B CN117496074B (zh) | 2024-03-22 |
Family
ID=89669421
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311854832.5A Active CN117496074B (zh) | 2023-12-29 | 2023-12-29 | 一种适应相机快速移动的高效三维场景重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117496074B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108053443A (zh) * | 2017-11-20 | 2018-05-18 | 中国科学院空间应用工程与技术中心 | 一种基于粒子群优化的物体点云位姿估算方法和系统 |
| CN108876897A (zh) * | 2018-04-20 | 2018-11-23 | 杭州电子科技大学 | 快速运动下的场景三维重建方法 |
| CN108898630A (zh) * | 2018-06-27 | 2018-11-27 | 清华-伯克利深圳学院筹备办公室 | 一种三维重建方法、装置、设备和存储介质 |
| US20210110599A1 (en) * | 2018-03-05 | 2021-04-15 | Tsinghua University | Depth camera-based three-dimensional reconstruction method and apparatus, device, and storage medium |
| CN113256698A (zh) * | 2021-06-09 | 2021-08-13 | 中国人民解放军国防科技大学 | 一种具有深度预测的单目3d重建方法 |
| CN115049806A (zh) * | 2022-06-21 | 2022-09-13 | 北京理工大学 | 基于蒙特卡洛树搜索的人脸增强现实标定方法及装置 |
| US20220319031A1 (en) * | 2021-03-31 | 2022-10-06 | Auris Health, Inc. | Vision-based 6dof camera pose estimation in bronchoscopy |
| CN115187639A (zh) * | 2022-07-19 | 2022-10-14 | 中航沈飞民用飞机有限责任公司 | 一种基于改进粒子群算法的点云配准方法 |
| CN116721231A (zh) * | 2023-05-17 | 2023-09-08 | 武汉大学 | 基于无人机机载定位的可扩展场景三维重建方法及系统 |
| CN117115272A (zh) * | 2023-09-08 | 2023-11-24 | 中国人民解放军国防科技大学 | 用于降水粒子多角度成像的远心相机标定和三维重构方法 |
-
2023
- 2023-12-29 CN CN202311854832.5A patent/CN117496074B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108053443A (zh) * | 2017-11-20 | 2018-05-18 | 中国科学院空间应用工程与技术中心 | 一种基于粒子群优化的物体点云位姿估算方法和系统 |
| US20210110599A1 (en) * | 2018-03-05 | 2021-04-15 | Tsinghua University | Depth camera-based three-dimensional reconstruction method and apparatus, device, and storage medium |
| CN108876897A (zh) * | 2018-04-20 | 2018-11-23 | 杭州电子科技大学 | 快速运动下的场景三维重建方法 |
| CN108898630A (zh) * | 2018-06-27 | 2018-11-27 | 清华-伯克利深圳学院筹备办公室 | 一种三维重建方法、装置、设备和存储介质 |
| US20220319031A1 (en) * | 2021-03-31 | 2022-10-06 | Auris Health, Inc. | Vision-based 6dof camera pose estimation in bronchoscopy |
| CN113256698A (zh) * | 2021-06-09 | 2021-08-13 | 中国人民解放军国防科技大学 | 一种具有深度预测的单目3d重建方法 |
| CN115049806A (zh) * | 2022-06-21 | 2022-09-13 | 北京理工大学 | 基于蒙特卡洛树搜索的人脸增强现实标定方法及装置 |
| CN115187639A (zh) * | 2022-07-19 | 2022-10-14 | 中航沈飞民用飞机有限责任公司 | 一种基于改进粒子群算法的点云配准方法 |
| CN116721231A (zh) * | 2023-05-17 | 2023-09-08 | 武汉大学 | 基于无人机机载定位的可扩展场景三维重建方法及系统 |
| CN117115272A (zh) * | 2023-09-08 | 2023-11-24 | 中国人民解放军国防科技大学 | 用于降水粒子多角度成像的远心相机标定和三维重构方法 |
Non-Patent Citations (2)
| Title |
|---|
| BOGDAN KWOLEK: "Reconstruction of 3D human motion in real-time using particle swarm optimization with GPU-accelerated fitness function", JOURNAL OF REAL-TIME IMAGE PROCESSING, vol. 17, 1 October 2018 (2018-10-01), pages 821 - 838, XP037187055, DOI: 10.1007/s11554-018-0825-5 * |
| 李乐: "基于量子粒子群算法的电阻抗图像重构研究", 中国优秀硕士学位论文全文数据库 (信息科技辑), no. 03, 15 March 2013 (2013-03-15), pages 138 - 1514 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117496074B (zh) | 2024-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lin et al. | Photometric mesh optimization for video-aligned 3d object reconstruction | |
| WO2021174939A1 (zh) | 人脸图像的获取方法与系统 | |
| US11494915B2 (en) | Image processing system, image processing method, and program | |
| US11941831B2 (en) | Depth estimation | |
| US8433157B2 (en) | System and method for three-dimensional object reconstruction from two-dimensional images | |
| JP5108893B2 (ja) | ２次元画像から３次元パーティクル・システムを復元するためのシステムおよび方法 | |
| Li et al. | Detail-preserving and content-aware variational multi-view stereo reconstruction | |
| Habbecke et al. | Iterative multi-view plane fitting | |
| CN106846467B (zh) | 基于每个相机位置优化的实体场景建模方法和系统 | |
| EP3326156B1 (en) | Consistent tessellation via topology-aware surface tracking | |
| CN111127631B (zh) | 基于单图像的三维形状和纹理重建方法、系统及存储介质 | |
| Prisacariu et al. | Simultaneous 3D tracking and reconstruction on a mobile phone | |
| CN109584327B (zh) | 人脸老化模拟方法、装置以及设备 | |
| US11074752B2 (en) | Methods, devices and computer program products for gradient based depth reconstructions with robust statistics | |
| WO2007130122A2 (en) | System and method for three-dimensional object reconstruction from two-dimensional images | |
| CN113689578A (zh) | 一种人体数据集生成方法及装置 | |
| GB2566443A (en) | Cross-source point cloud registration | |
| CN114140510A (zh) | 一种增量式三维重建方法、装置以及计算机设备 | |
| CN113673400A (zh) | 基于深度学习的实景三维语义重建方法、装置及存储介质 | |
| CN116563493A (zh) | 基于三维重建的模型训练方法、三维重建方法及装置 | |
| Zhu et al. | I2-sdf: Intrinsic indoor scene reconstruction and editing via raytracing in neural sdfs | |
| CN117274349A (zh) | 基于rgb-d相机一致性深度预测的透明物体重建方法及系统 | |
| CN117496074B (zh) | 一种适应相机快速移动的高效三维场景重建方法 | |
| CN115564639A (zh) | 背景虚化方法、装置、计算机设备和存储介质 | |
| CN113744410A (zh) | 网格生成方法、装置、电子设备及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |