CN117496074B - 一种适应相机快速移动的高效三维场景重建方法 - Google Patents

一种适应相机快速移动的高效三维场景重建方法 Download PDF

Info

Publication number
CN117496074B
CN117496074B CN202311854832.5A CN202311854832A CN117496074B CN 117496074 B CN117496074 B CN 117496074B CN 202311854832 A CN202311854832 A CN 202311854832A CN 117496074 B CN117496074 B CN 117496074B
Authority
CN
China
Prior art keywords
camera
pose
dimensional
particle swarm
particle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311854832.5A
Other languages
English (en)
Other versions
CN117496074A (zh
Inventor
郑林涛
王文珂
李乐
吴佳妮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202311854832.5A priority Critical patent/CN117496074B/zh
Publication of CN117496074A publication Critical patent/CN117496074A/zh
Application granted granted Critical
Publication of CN117496074B publication Critical patent/CN117496074B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Graphics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Geometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种适应相机快速移动的高效三维场景重建方法。所述方法包括：根据双边滤波方法对深度场景数据进行预处理，将过滤后的深度数据映射到一个预先定义的三维立体空间中，得到对应世界坐标系下的三维位置点；利用预先设计的优化后的粒子群算法对相机初始位姿进行数据处理，以相机初始位姿为中心在6D单位球中随机预采样多个粒子构建粒子群，设置粒子群优化的迭代步数和评估函数从粒子群中找到最优的相机位姿；根据最优的相机位姿和三维位置点进行模型构建，利用等值面提取方法对三维场景表面模型进行几何重建，得到三维场景重建结果。采用本方法能够提高三维场景重建的准确率和效率。

Description

一种适应相机快速移动的高效三维场景重建方法
技术领域
本申请涉及三维场景重建技术领域，特别是涉及一种适应相机快速移动的高效三维场景重建方法。
背景技术
随着商用的深度相机逐步走入人们的视野，三维重建技术得到了迅猛发展，目前同时定位与建图技术和运动恢复结构通常依赖于连续帧序列RGB图片特征的稳定性，容易受到光照强度变化、特征纹理稀少、快速运动模糊等因素影响而导致相机定位和场景重建的失败。而基于深度图体融合技术的稠密三维重建技术，如KinectFusion算法等，通过最小邻近点迭代算法来完成帧到帧、帧到模型的配准。为确保迭代初始解的可靠性，对相机的移动要求较高，通常只能通过专业人士手持相机缓慢移动完成对场景的扫描重建，效率极低。
然而，目前基于RGBD的实时重建算法一般要求相机缓慢的移动（<1m/s）。在相机快速移动（比如3m/s）时，目前主流的算法基本都会因为图像特征匹配不上而导致重建失败。相机的快速移动会带来两个方面的重大挑战：一是由于相机转动较大，图片序列帧与帧之间的重叠区域较少，基于非线性优化的相机位姿求解方法难度很大，可能产生较大的计算误差。二是快速移动下 RGB 图像容易出现运动模糊，使得基于图像特征匹配的算法失效。同时定位与建图（SLAM）技术通常采用 RGB 图片的视觉特征进行帧与帧的配准计算，然后通过光束平差法进行全局优化和调整，从而准确估计出相机的位姿和重建出稀疏的特征点云。而基于深度图的稠密三维重建方法通常同时利用RGB图片的特征匹配技术和基于场景3D几何结构的最小邻近点迭代（ICP）算法来对相机位姿进行估计。但是相机快速移动情况下，RGB图片容易出现运动模糊，并且基于最小邻近点迭代方法需要的初始解条件难以满足，造成相机位姿求解的误差较大，导致三维重建失败。对于一般的室内未知场景，光照、纹理变化都比较复杂，并且持续缓慢移动相机控制难度较大，导致现有三维重建算法的鲁棒性难以保证并且效率极低。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高三维场景重建的精确性和效率的适应相机快速移动的高效三维场景重建方法。
一种适应相机快速移动的高效三维场景重建方法，所述方法包括：
获取深度场景数据和相机初始位姿；根据双边滤波方法对深度场景数据进行预处理，得到过滤后的深度数据；
将过滤后的深度数据映射到一个预先定义的三维立体空间中，对三维立体空间的每个体素进行转化，得到对应世界坐标系下的三维位置点；
利用预先设计的优化后的粒子群算法对相机初始位姿进行数据处理，以相机初始位姿为中心在6D单位球中随机预采样多个粒子构建粒子群，设置粒子群优化的迭代步数和评估函数从粒子群中找到最优的相机位姿；
根据最优的相机位姿和三维位置点进行模型构建，得到三维场景表面模型；
利用等值面提取方法对三维场景表面模型进行几何重建，得到三维场景重建结果。
在其中一个实施例中，粒子群中的粒子表示待优化的相机位姿；利用预先设计的优化后的粒子群算法对相机初始位姿进行数据处理，以相机初始位姿为中心在6D单位球中随机预采样多个粒子构建粒子群，设置粒子群优化的迭代步数和评估函数从粒子群中找到最优的相机位姿，包括：
步骤1：以相机上一帧的位姿作为当前帧相机位姿的初始输入位姿，同时设最终优化后的位姿为/>；首先以/>为中心，在6D单位球中随机预采样/>个粒子，预采样粒子群表示为/>，设定粒子群优化迭代的步数/>，对位姿/>通过评估函数进行评估，评估值表示为/>；
步骤2：根据迭代步数开始循环迭代优化，设当前迭代步为，如果/>大于迭代步数，则终止迭代优化，输出最优的相机位姿；设当前粒子群为/>，且/>，先令，即将上一次最优位姿赋值给当前作为初值，而/>；将/>中的/>个相对位姿/>还原成相机绝对位姿/>；
步骤3：将相机绝对位姿中的每一个位姿/>都利用评估函数进行评估，记每一个粒子/>的评估值为/>；
步骤4：比较每一个粒子评估值与/>的大小，如果/>小于/>，说明/>对应的位姿要比/>对应的当前初始位姿要更精准，则将相对位姿粒子/>加入优势粒子群中，设优势粒子群为/>，同时以/>作为对应粒子的权重/>；
步骤5：判断是否为空，如果不为空，则计算/>中各粒子的加权平均，/>将作为本次迭代最优的相对位姿粒子，并通过/>更新/>结果，同时更新/>为中各粒子评估值的加权平均，如果/>为空，则通过第六步调整粒子群粒子值进入下一轮循环；
步骤6：根据调整/>中粒子的值，得到更新后的粒子群/>，并重新进入步骤2。
在其中一个实施例中，根据调整/>中粒子的值，得到更新后的粒子群/>，包括：
设，/>表示/>更新前后位姿变化方向，然后计算各个轴向上的缩放向量/>，最后将/>各维度上的值作为相乘系数作用到/>中每个粒子，得到最后的粒子群/>。
在其中一个实施例中，根据最优的相机位姿和三维位置点进行模型构建，得到三维场景表面模型，包括：
根据最优的相机位姿构建最优相机位姿矩阵，由/>左乘三维位置点得到在相机坐标系映射点；
利用相机内参矩阵反投影映射点，得到深度图像中的对应像素点；
根据对应像素点计算三维位置点沿投影光线到最近表面的距离，利用三维位置点沿投影光线到最近表面的距离进行计算，得到截断距离；
将当前帧得到的截断距离合并到已有的体空间中，通过将多帧合并成三维场景表面模型。
在其中一个实施例中，根据对应像素点计算三维位置点沿投影光线到最近表面的距离，包括：
根据对应像素点计算三维位置点沿投影光线到最近表面的距离为
；
其中，表示对应像素点，/>表示映射点，/>表示符号距离函数。
在其中一个实施例中，利用三维位置点沿投影光线到最近表面的距离进行计算，得到截断距离，包括：
利用三维位置点沿投影光线到最近表面的距离进行计算，得到截断距离为
；
其中，表示截断范围值。
在其中一个实施例中，将当前帧得到的截断距离合并到已有的体空间中，通过将多帧合并成三维场景表面模型，包括：
将当前帧得到的截断距离合并到已有的体空间中，通过将多帧合并成三维场景表面模型为
；
其中，表示当前帧需要更新的体素权重，/>表示当前帧计算前的体素权重。
上述一种适应相机快速移动的高效三维场景重建方法，首先采用联合双边滤波方法对深度数据进行预处理，去除噪声对深度数据的影响，提升深度场景中深度数据的质量，将过滤后的深度数据映射到一个预先定义的三维立体空间中，对三维立体空间的每个体素进行转化，得到对应世界坐标系下的三维位置点，并且通过对相机初始位姿进行数据处理，以相机初始位姿为中心在6D单位球中随机预采样多个粒子构建粒子群，预采样的粒子是相对于初始位姿构建的，可适应所有帧的相机初始位姿计算，可以缩短粒子群算法中粒子采样的中间流程，大大提高了算法的鲁棒性和最优的相机位姿的寻优效率，解决了相机快速移动下的位姿定位问题，进而提高后续三维重建的效率，根据最优的相机位姿和三维位置点进行模型构建，得到三维场景表面模型；利用等值面提取方法对三维场景表面模型进行几何重建，得到三维场景重建结果，通过构建三维场景表面模型来表征真实场景表面附近的区域，在后续进行三维场景重建时能够提高重建精确性。
附图说明
图1为一个实施例中一种适应相机快速移动的高效三维场景重建方法的流程示意图；
图2为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种适应相机快速移动的高效三维场景重建方法，包括以下步骤：
步骤102，获取深度场景数据和相机初始位姿；根据双边滤波方法对深度场景数据进行预处理，得到过滤后的深度数据。
利用相机获取深度场景数据，相机选用带深度的3D相机，比如消费级别的kinect。深度场景数据中包括深度图，kinect相机在深度图上往往存在噪声，出现数据噪点、空洞等问题，特别是在物体边缘处，容易产生不连续的过渡。为了更好地通过深度图进行高精度配准，本申请通过采用联合双边滤波方法对深度数据进行预处理，去除噪声对深度数据的影响，提升深度数据质量。
步骤104，将过滤后的深度数据映射到一个预先定义的三维立体空间中，对三维立体空间的每个体素进行转化，得到对应世界坐标系下的三维位置点。
将过滤后的深度数据映射到一个预先定义的三维立体空间中，对三维立体空间的每个体素进行转化，得到对应世界坐标系下的三维位置点便于后续进行三维场景模型构建。
步骤106，利用预先设计的优化后的粒子群算法对相机初始位姿进行数据处理，以相机初始位姿为中心在6D单位球中随机预采样多个粒子构建粒子群，设置粒子群优化的迭代步数和评估函数从粒子群中找到最优的相机位姿。
本申请通过对相机初始位姿进行数据处理，以相机初始位姿为中心在6D单位球中随机预采样多个粒子构建粒子群，预采样的粒子是相对于初始位姿构建的，可适应所有帧的相机初始位姿计算，可以缩短粒子群算法中粒子采样的中间流程，大大提高了算法的鲁棒性和最优的相机位姿的寻优效率，进而提高后续三维重建的效率。
步骤108，根据最优的相机位姿和三维位置点进行模型构建，得到三维场景表面模型；利用等值面提取方法对三维场景表面模型进行几何重建，得到三维场景重建结果。
通过构建三维场景表面模型来表征真实场景表面附近的区域，在后续进行三维场景重建时能够提高重建精确性。利用等值面提取方法对三维场景表面模型进行几何重建，得到三维场景重建结果是现有技术，在本申请中不做过多的赘述。
上述一种适应相机快速移动的高效三维场景重建方法中，首先采用联合双边滤波方法对深度数据进行预处理，去除噪声对深度数据的影响，提升深度场景中深度图的质量，将过滤后的深度数据映射到一个预先定义的三维立体空间中，对三维立体空间的每个体素进行转化，得到对应世界坐标系下的三维位置点，并且通过对相机初始位姿进行数据处理，以相机初始位姿为中心在6D单位球中随机预采样多个粒子构建粒子群，预采样的粒子是相对于初始位姿构建的，可适应所有帧的相机初始位姿计算，可以缩短粒子群算法中粒子采样的中间流程，大大提高了算法的鲁棒性和最优的相机位姿的寻优效率，解决了相机快速移动下的位姿定位问题，进而提高后续三维重建的效率，根据最优的相机位姿和三维位置点进行模型构建，得到三维场景表面模型；利用等值面提取方法对三维场景表面模型进行几何重建，得到三维场景重建结果，通过构建三维场景表面模型来表征真实场景表面附近的区域，在后续进行三维场景重建时能够提高重建精确性。
在其中一个实施例中，粒子群中的粒子表示待优化的相机位姿；利用预先设计的优化后的粒子群算法对相机初始位姿进行数据处理，以相机初始位姿为中心在6D单位球中随机预采样多个粒子构建粒子群，设置粒子群优化的迭代步数和评估函数从粒子群中找到最优的相机位姿，包括：
步骤1：以相机上一帧的位姿作为当前帧相机位姿的初始输入位姿，同时设最终优化后的位姿为/>；首先以/>为中心，在6D单位球中随机预采样/>个粒子，预采样粒子群表示为/>，设定粒子群优化迭代的步数/>，对位姿/>通过评估函数进行评估，评估值表示为/>；
步骤2：根据迭代步数开始循环迭代优化，设当前迭代步为，如果/>大于迭代步数，则终止迭代优化，输出最优的相机位姿；设当前粒子群为/>，且/>，先令，即将上一次最优位姿赋值给当前作为初值，而/>；将/>中的/>个相对位姿/>还原成相机绝对位姿/>；
步骤3：将相机绝对位姿中的每一个位姿/>都利用评估函数进行评估，记每一个粒子/>的评估值为/>；
步骤4：比较每一个粒子评估值与/>的大小，如果/>小于/>，说明/>对应的位姿要比/>对应的当前初始位姿要更精准，则将相对位姿粒子/>加入优势粒子群中，设优势粒子群为/>，同时以/>作为对应粒子的权重/>；
步骤5：判断是否为空，如果不为空，则计算/>中各粒子的加权平均，/>将作为本次迭代最优的相对位姿粒子，并通过/>更新/>结果，同时更新/>为中各粒子评估值的加权平均，如果/>为空，则通过第六步调整粒子群粒子值进入下一轮循环；
步骤6：根据调整/>中粒子的值，得到更新后的粒子群/>，并重新进入步骤2。
在其中一个实施例中，根据调整/>中粒子的值，得到更新后的粒子群/>，包括：
设，/>表示/>更新前后位姿变化方向，然后计算各个轴向上的缩放向量/>，最后将/>各维度上的值作为相乘系数作用到中每个粒子，得到最后的粒子群/>。
在具体实施例中，将相机位姿用6D向量来表示，其中/>分别表示空间中的三维坐标，/>分别表示沿着空间三个轴向的旋转；算法的输入是初始的6D位姿向量，输出是优化后的6D位姿向量；算法中每个粒子代表一个6D位姿向量，表示待优化的相机位姿；用/>表示评估函数，用来评估一个6D相机位姿的好坏程度，可根据场景制定；为提升效率，我们以相机初始位姿为中心，形成一个6D单位球，提前在6D单位球上进行相机位姿粒子的预采样，采样粒子数量为/>，预采样的相机粒子群表示为/>，由于预采样的粒子是相对于初始位姿构建的，可适应所有帧的相机初始位姿计算，可以缩短粒子群算法中粒子采样的中间流程。
在其中一个实施例中，根据最优的相机位姿和三维位置点进行模型构建，得到三维场景表面模型，包括：
根据最优的相机位姿构建最优相机位姿矩阵，由/>左乘三维位置点得到在相机坐标系映射点；
利用相机内参矩阵反投影映射点，得到深度图像中的对应像素点；
根据对应像素点计算三维位置点沿投影光线到最近表面的距离，利用三维位置点沿投影光线到最近表面的距离进行计算，得到截断距离；
将当前帧得到的截断距离合并到已有的体空间中，通过将多帧合并成三维场景表面模型。
在其中一个实施例中，根据对应像素点计算三维位置点沿投影光线到最近表面的距离，包括：
根据对应像素点计算三维位置点沿投影光线到最近表面的距离为
；
其中，表示对应像素点，/>表示映射点，/>表示符号距离函数。
在其中一个实施例中，利用三维位置点沿投影光线到最近表面的距离进行计算，得到截断距离，包括：
利用三维位置点沿投影光线到最近表面的距离进行计算，得到截断距离为
；
其中，表示截断范围值。
在具体实施例中，将体素的符号距离截断在内，符号距离超过这个范围的体素不用计算，直接得1或者-1。
在其中一个实施例中，将当前帧得到的截断距离合并到已有的体空间中，通过将多帧合并成三维场景表面模型，包括：
将当前帧得到的截断距离合并到已有的体空间中，通过将多帧合并成三维场景表面模型为
；
其中，表示当前帧需要更新的体素权重，/>表示当前帧计算前的体素权重。
在具体实施例中，将当前帧得到的截断距离合并到已有的体空间中，通过将多帧合并成三维场景表面模型既可以提升精度又可以补全单帧缺失的信息。对于需要更新的体素，没在视野内的体素设为0。
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图2所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种适应相机快速移动的高效三维场景重建方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图2中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (5)

1.一种适应相机快速移动的高效三维场景重建方法，其特征在于，所述方法包括：
获取深度场景数据和相机初始位姿；根据双边滤波方法对深度场景数据进行预处理，得到过滤后的深度数据；
将所述过滤后的深度数据映射到一个预先定义的三维立体空间中，对所述三维立体空间的每个体素进行转化，得到对应世界坐标系下的三维位置点；
利用预先设计的优化后的粒子群算法对所述相机初始位姿进行数据处理，以所述相机初始位姿为中心在6D单位球中随机预采样多个粒子构建粒子群，设置粒子群优化的迭代步数和评估函数从所述粒子群中找到最优的相机位姿；
根据所述最优的相机位姿和三维位置点进行模型构建，得到三维场景表面模型；
利用等值面提取方法对所述三维场景表面模型进行几何重建，得到三维场景重建结果；
所述粒子群中的粒子表示待优化的相机位姿；利用预先设计的优化后的粒子群算法对所述相机初始位姿进行数据处理，以所述相机初始位姿为中心在6D单位球中随机预采样多个粒子构建粒子群，设置粒子群优化的迭代步数和评估函数从所述粒子群中找到最优的相机位姿，包括：
步骤1：以相机上一帧的位姿作为当前帧相机位姿的初始输入位姿，同时设最终优化后的位姿为/>；首先以/>为中心，在6D单位球中随机预采样/>个粒子，预采样粒子群表示为/>，设定粒子群优化迭代的步数/>，对位姿/>通过评估函数/>进行评估，评估值表示为/>；
步骤2：根据迭代步数开始循环迭代优化，设当前迭代步为，如果/>大于迭代步数，则终止迭代优化，输出最优的相机位姿；设当前粒子群为/>，且/>，先令/>，即将上一次最优位姿赋值给当前作为初值，而/>；将/>中的/>个相对位姿还原成相机绝对位姿/>；
步骤3：将相机绝对位姿中的每一个位姿/>都利用评估函数进行评估，记每一个粒子/>的评估值为/>；
步骤4：比较每一个粒子评估值与/>的大小，如果/>小于/>，说明/>对应的位姿要比/>对应的当前初始位姿要更精准，则将相对位姿粒子/>加入优势粒子群中，设优势粒子群为/>，同时以/>作为对应粒子的权重/>；
步骤5：判断是否为空，如果不为空，则计算/>中各粒子的加权平均/>，/>将作为本次迭代最优的相对位姿粒子，并通过/>更新/>结果，同时更新/>为/>中各粒子评估值的加权平均，如果/>为空，则通过第六步调整粒子群粒子值进入下一轮循环；
步骤6：根据调整/>中粒子的值，得到更新后的粒子群/>，并重新进入步骤2；
根据所述最优的相机位姿和三维位置点进行模型构建，得到三维场景表面模型，包括：
根据所述最优的相机位姿构建最优相机位姿矩阵，由/>左乘三维位置点得到在相机坐标系映射点；
利用相机内参矩阵反投影映射点，得到深度图像中的对应像素点；
根据所述对应像素点计算三维位置点沿投影光线到最近表面的距离，利用三维位置点沿投影光线到最近表面的距离进行计算，得到截断距离；
将当前帧得到的截断距离合并到已有的体空间中，通过将多帧合并成三维场景表面模型。
2.根据权利要求1所述的方法，其特征在于，根据调整/>中粒子的值，得到更新后的粒子群/>，包括：
设，/>表示/>更新前后位姿变化方向，然后计算各个轴向上的缩放向量/>，最后将/>各维度上的值作为相乘系数作用到/>中每个粒子，得到最后的粒子群/>。
3.根据权利要求1所述的方法，其特征在于，根据所述对应像素点计算三维位置点沿投影光线到最近表面的距离，包括：
根据所述对应像素点计算三维位置点沿投影光线到最近表面的距离为
；
其中，表示对应像素点，/>表示映射点，/>表示符号距离函数。
4.根据权利要求3所述的方法，其特征在于，利用三维位置点沿投影光线到最近表面的距离进行计算，得到截断距离，包括：
利用三维位置点沿投影光线到最近表面的距离进行计算，得到截断距离为
；
其中，表示截断范围值。
5.根据权利要求4所述的方法，其特征在于，将当前帧得到的截断距离合并到已有的体空间中，通过将多帧合并成三维场景表面模型，包括：
将当前帧得到的截断距离合并到已有的体空间中，通过将多帧合并成三维场景表面模型为
；
其中，表示当前帧需要更新的体素权重，/>表示当前帧计算前的体素权重。
CN202311854832.5A 2023-12-29 2023-12-29 一种适应相机快速移动的高效三维场景重建方法 Active CN117496074B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311854832.5A CN117496074B (zh) 2023-12-29 2023-12-29 一种适应相机快速移动的高效三维场景重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311854832.5A CN117496074B (zh) 2023-12-29 2023-12-29 一种适应相机快速移动的高效三维场景重建方法

Publications (2)

Publication Number Publication Date
CN117496074A CN117496074A (zh) 2024-02-02
CN117496074B true CN117496074B (zh) 2024-03-22

Family

ID=89669421

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311854832.5A Active CN117496074B (zh) 2023-12-29 2023-12-29 一种适应相机快速移动的高效三维场景重建方法

Country Status (1)

Country Link
CN (1) CN117496074B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108053443A (zh) * 2017-11-20 2018-05-18 中国科学院空间应用工程与技术中心 一种基于粒子群优化的物体点云位姿估算方法和系统
CN108876897A (zh) * 2018-04-20 2018-11-23 杭州电子科技大学 快速运动下的场景三维重建方法
CN108898630A (zh) * 2018-06-27 2018-11-27 清华-伯克利深圳学院筹备办公室 一种三维重建方法、装置、设备和存储介质
CN113256698A (zh) * 2021-06-09 2021-08-13 中国人民解放军国防科技大学 一种具有深度预测的单目3d重建方法
CN115049806A (zh) * 2022-06-21 2022-09-13 北京理工大学 基于蒙特卡洛树搜索的人脸增强现实标定方法及装置
CN115187639A (zh) * 2022-07-19 2022-10-14 中航沈飞民用飞机有限责任公司 一种基于改进粒子群算法的点云配准方法
CN116721231A (zh) * 2023-05-17 2023-09-08 武汉大学 基于无人机机载定位的可扩展场景三维重建方法及系统
CN117115272A (zh) * 2023-09-08 2023-11-24 中国人民解放军国防科技大学 用于降水粒子多角度成像的远心相机标定和三维重构方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537876B (zh) * 2018-03-05 2020-10-16 清华-伯克利深圳学院筹备办公室 三维重建方法、装置、设备及存储介质
US12087007B2 (en) * 2021-03-31 2024-09-10 Auris Health, Inc. Vision-based 6DOF camera pose estimation in bronchoscopy

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108053443A (zh) * 2017-11-20 2018-05-18 中国科学院空间应用工程与技术中心 一种基于粒子群优化的物体点云位姿估算方法和系统
CN108876897A (zh) * 2018-04-20 2018-11-23 杭州电子科技大学 快速运动下的场景三维重建方法
CN108898630A (zh) * 2018-06-27 2018-11-27 清华-伯克利深圳学院筹备办公室 一种三维重建方法、装置、设备和存储介质
CN113256698A (zh) * 2021-06-09 2021-08-13 中国人民解放军国防科技大学 一种具有深度预测的单目3d重建方法
CN115049806A (zh) * 2022-06-21 2022-09-13 北京理工大学 基于蒙特卡洛树搜索的人脸增强现实标定方法及装置
CN115187639A (zh) * 2022-07-19 2022-10-14 中航沈飞民用飞机有限责任公司 一种基于改进粒子群算法的点云配准方法
CN116721231A (zh) * 2023-05-17 2023-09-08 武汉大学 基于无人机机载定位的可扩展场景三维重建方法及系统
CN117115272A (zh) * 2023-09-08 2023-11-24 中国人民解放军国防科技大学 用于降水粒子多角度成像的远心相机标定和三维重构方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Reconstruction of 3D human motion in real-time using particle swarm optimization with GPU-accelerated fitness function;Bogdan Kwolek;Journal of Real-Time Image Processing;20181001;第17卷;821-838 *
基于量子粒子群算法的电阻抗图像重构研究;李乐;中国优秀硕士学位论文全文数据库 (信息科技辑);20130315(第03期);I138-1514 *

Also Published As

Publication number Publication date
CN117496074A (zh) 2024-02-02

Similar Documents

Publication Publication Date Title
WO2021174939A1 (zh) 人脸图像的获取方法与系统
Lin et al. Photometric mesh optimization for video-aligned 3d object reconstruction
US11941831B2 (en) Depth estimation
US8433157B2 (en) System and method for three-dimensional object reconstruction from two-dimensional images
Li et al. Detail-preserving and content-aware variational multi-view stereo reconstruction
JP5108893B2 (ja) ２次元画像から３次元パーティクル・システムを復元するためのシステムおよび方法
Habbecke et al. Iterative multi-view plane fitting
EP3326156B1 (en) Consistent tessellation via topology-aware surface tracking
US11074752B2 (en) Methods, devices and computer program products for gradient based depth reconstructions with robust statistics
WO2019035155A1 (ja) 画像処理システム、画像処理方法、及びプログラム
CN114140510B (zh) 一种增量式三维重建方法、装置以及计算机设备
CN111127631B (zh) 基于单图像的三维形状和纹理重建方法、系统及存储介质
CN109584327B (zh) 人脸老化模拟方法、装置以及设备
WO2007130122A2 (en) System and method for three-dimensional object reconstruction from two-dimensional images
Prisacariu et al. Simultaneous 3D tracking and reconstruction on a mobile phone
CN113689578B (zh) 一种人体数据集生成方法及装置
CN113673400A (zh) 基于深度学习的实景三维语义重建方法、装置及存储介质
Zhu et al. I2-sdf: Intrinsic indoor scene reconstruction and editing via raytracing in neural sdfs
CN113450396A (zh) 基于骨骼特征的三维/二维图像配准方法及装置
GB2566443A (en) Cross-source point cloud registration
CN116563493A (zh) 基于三维重建的模型训练方法、三维重建方法及装置
CN114387392B (zh) 一种根据人影重建三维人体姿态的方法
CN115564639A (zh) 背景虚化方法、装置、计算机设备和存储介质
CN117496074B (zh) 一种适应相机快速移动的高效三维场景重建方法
CN105339981A (zh) 用于使用一组基元配准数据的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant