CN109242873B - 一种基于消费级彩色深度相机对物体进行360度实时三维重建的方法 - Google Patents

一种基于消费级彩色深度相机对物体进行360度实时三维重建的方法 Download PDF

Info

Publication number
CN109242873B
CN109242873B CN201810984273.2A CN201810984273A CN109242873B CN 109242873 B CN109242873 B CN 109242873B CN 201810984273 A CN201810984273 A CN 201810984273A CN 109242873 B CN109242873 B CN 109242873B
Authority
CN
China
Prior art keywords
model
frame
camera
depth
pose
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810984273.2A
Other languages
English (en)
Other versions
CN109242873A (zh
Inventor
许威威
许佳敏
鲍虎军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201810984273.2A priority Critical patent/CN109242873B/zh
Publication of CN109242873A publication Critical patent/CN109242873A/zh
Application granted granted Critical
Publication of CN109242873B publication Critical patent/CN109242873B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于消费级彩色深度相机对物体进行360度实时三维重建的方法，属于三维重建领域，包括以下步骤：(1)自动分割目标物体，以此作为初始物体框，开始目标物体扫描重建过程；(2)逐帧跟踪物体框，提取物体深度数据；(3)将固定帧物体深度数据进行局部融合，间隔固定帧对所有局部融合的模型片段进行全局非刚体注册，构建一致的全局三维模型；(4)部分扫描完成后，翻转物体继续扫描，估计翻转前后的相机位姿变换；(5)360度扫描重建完成后，将所有关键帧彩色图像与模型对齐，对模型计算纹理贴图。本发明具有快速重建360度模型、结果鲁棒、纹理贴图质量高等特点。

Description

一种基于消费级彩色深度相机对物体进行360度实时三维重 建的方法
技术领域
本发明涉及三维重建领域，特别是涉及使用彩色深度相机进行单个物体的三维重建和纹理贴图领域的方法。
背景技术
三维重建技术是基于二维的输入重建三维物体的方法。包括使用一系列二维彩色图像重建稀疏三维点云或者稠密三维模型的StructureFromMotion(SfM)技术(Agarwal S，Snavely N，Simon I，et al.Building rome in a day Computer Vision，InternationalConference on.IEEE，2009：72-79.；Furukawa Y，Ponce J.Accurate，dense，and robustmultiview stereopsis，IEEE Transactions on Pattern Analysis and MachineIntelligence，2010，32(8)：1362-1376.)，基于二维彩色深度图像重建稠密三维模型的技术(Newcombe R A，Izadi S，Hilliges O，et al.KinectFusion：Real-time dense surfacemapping and tracking，Mixed and Augmented Reality(ISMAR)，2011：127-136.)。
基于二维彩色深度图像重建稠密三维模型的技术，按照模型存储方式的不同可以分为：1.基于Volume的表达，Volume中的每一个体素存储TSDF值，TSDF值表达截断的该体素到三维表面的距离(Newcombe RA，Izadi S，Hilliges O，et al.KinectFusion：Real-timedense surface mapping and tracking，Mixed and Augmented Reality(ISMAR)，2011：127-136.)；2.基于Surfel的表达，模型由一系列三维圆表示，每个圆包含了颜色、位置、法向、半径、置信度信息(WHELAN T.，LEUTENEGGER S.，SALAS-MORENO R.F.，GLOCKER B.，DAVISON A.J.：Elasticfusion：Dense SLAM without A posegraph.In Robotics：Scienceand Systems XI，Sapienza University of Rome，(2015).)。模型的正确融合依赖于准确相机位姿跟踪，包括回环检测和局部、全局相机位姿优化；(KERL C.，STURM J.，CREMERSD.：Dense visual slam for rgb-d cameras.In International Conference onIntelligent Robots and Systems，IROS，(Nov 2013)，pp.2100-2106.；ENDRES F.，HESSJ.，ENGELHARD N.，STURM J.，CREMERS D.，BURGARD W.：An evaluation of the RGB-DSLAM system.In International Conference on Robotics and Automation，ICRA，(2012)，pp.1691-1696.)通过在相机位姿估计中加入颜色信息和局部特征增加相机位姿估计的鲁棒性；(ZHOU Q.，MILLER S.，KOLTUN V.：Elastic fragments for dense scenereconstruction.In International Conference on Computer Vision，ICCV，(2013)，pp.473-480.；DAI A.，NIESSNER M.，ZOLLHOFER M.，IZADI S.，THEOBALT C.：Bundlefusion：real-time globally consistent 3d reconstruction using on-the-flysurface re-integration.ACM Transactions on Graphics，TOG，36，4(2017).)分别基于模型片段和基于帧进行回环检测和优化，在大场景的扫描中减少扫描过程中的相机位姿漂移、保证模型的一致性。
对于物体重建后计算纹理贴图，(ZHOU Q.，KOLTUN V.：Color map optimizationfor 3d reconstruction with consumer depth cameras.ACM TransactionsonGraphics，TOG，33，4(2014)，155：1-155：10.)利用关键帧彩色的一致性重新优化彩色相机，(BI S.，KALANTARI N.K.，RAMAMOORTHI R.：Patch-based optimization for image-basedtexture mapping.ACM Transactions on Graphics，TOG，36，4(2017)，106：1-106：11.)利用纹理合成的思想，将关键帧颜色一致性约束加到纹理合成步骤中，合成几何一致的各个视角彩色图像。
现有算法流程无法直接用于360度的物体重建，主要由于静态物体受到支撑面的遮挡，若对物体进行翻转，则物体和支撑平面的位置关系发生了改变。进一步的，在重建单个物体过程中，物体在场景中的占比较小，特征总量较少，容易受到场景特征的干扰，使得相机跟踪和全局优化算法容易收敛的局部最优解，难以获得全局一致的360度三维模型。
发明内容
本发明提供一种基于消费级彩色深度相机对物体进行360度实时三维重建的方法，可以实时的完成对单个物体的360度三维重建，然后离线进行网格的生成、纹理优化，从而快速获取高质量的物体三维模型和纹理贴图。
本发明解决其技术问题采用的技术方案：一种基于消费级彩色深度相机对物体进行360度实时三维重建的方法，包括以下步骤：
(1)自动分割目标物体，以此作为初始物体框，开始目标物体扫描重建过程；
(2)逐帧跟踪物体框，提取物体深度数据；
(3)将固定帧物体深度数据进行局部融合，间隔固定帧对所有局部融合的模型片段进行全局非刚体注册，构建一致的全局三维模型；
(4)部分扫描完成后，翻转物体继续扫描，估计翻转前后的相机位姿变换；
(5)360度扫描重建完成后，将所有关键帧彩色图像与模型对齐，对模型计算纹理贴图。
进一步的，所述步骤(1)包含以下步骤：
(1.1)对包含一个或多个物体的场景进行相机位姿估计和基于Surfel的融合，反投影融合的场景模型到当前相机位姿生成模型深度图；
(1.2)利用Sobel算子提取模型深度图中的深度边缘像素，使用位于模型深度图中心，大小为融合深度图1/2的窗口Bc估计有效深度范围[dmin，dmax]，将有效深度范围内的深度边缘像素依照连通区域聚类，对于每一个连通区域提取包围盒作为获选物体框；
(1.3)去除长或宽小于阈值的候选物体框，当用户对准某个候选物体框连续k帧后，即某个候选物体框位于图像中心一定时间后，将其作为目标物体的初始物体框B0，开始目标物体的跟踪、扫描、重建过程。
进一步的，所述步骤(2)包含以下步骤：
(2.1)对于每一帧的深度彩色图像It、Dt，利用前一帧的物体框Bt-1估计有效深度范围[dmin，dmax]，将有效深度范围内的深度边缘像素依照连通区域聚类，对于每一个连通区域提取包围盒作为获选物体框；
(2.2)将前一帧的窗口Bt-1四个方向分别扩展5个像素，得到扩展物体框
Figure BDA0001773814180000031
对It-1计算
Figure BDA0001773814180000032
内的ORB特征，对It计算ORB特征，利用海明距离(HAMMING)进行最近邻匹配，然后利用GMS算法过滤错误匹配；
(2.3)去除匹配特征点小于5个的候选物体框，将剩余候选物体框合并，获t时刻的物体框Bt；
(2.4)将物体框Bt左右各延展wlr，将延展部分下部b％记为
Figure BDA0001773814180000033
计算
Figure BDA0001773814180000034
中所有深度值对应的相机坐标下的三维点；
(2.5)计算
Figure BDA0001773814180000035
中所有三维点的均值和协方差矩阵，并且计算协方差矩阵最小特征值对应的特征向量，定义支撑平面为过上述均值、法向量为上述特征向量的平面；
(3.6)将Dt中位于
Figure BDA0001773814180000036
中且位于支撑平面上方的中所有像素的集合作为物体深度数据
Figure BDA0001773814180000037
进一步的，所述步骤(3)包含以下步骤：
(3.1)根据当前帧It、
Figure BDA0001773814180000038
惯性运动单元(IMU)的测量值、模型
Figure BDA0001773814180000039
估计当前相机位姿Tt；
(3.2)将当前帧It、
Figure BDA00017738141800000310
根据相机位姿Tt融合到最新的模型片段中；
(3.3)在扫描过程中构建由一系列局部融合的模型片段构成模型片段集合
Figure BDA00017738141800000311
用于表达整个模型，每个模型片段包含了Surfel的集合、对应的关键帧彩色图像、对应的关键帧相机位姿、Embedded Deformation(ED)图；
(3.4)每融合固定帧，对最新的模型片段提取关键帧，构建EMD图，基于所有模型片段的EMD图进行全局非刚体注册，相应调整所有关键帧相机位姿，构建一致的全局三维模型。
进一步的，所述步骤(4)包含以下步骤：
(4.1)暂停扫描，将目标物体翻转置于支撑平面上，继续扫描；
(4.2)对于暂停后的帧It、
Figure BDA0001773814180000041
在物体区域提取ORB特征和FPFH特征，对继续扫描后的帧It+1、模型反投影后的深度数据
Figure BDA0001773814180000042
在物体区域提取ORB特征和FPFH特征，进行最近邻匹配；
(4.3)基于RANSAC算法估计暂停前后的相机相对目标物体位姿变换，在匹配的特征中进行采样，估计相机相对位姿，重复重复采样和估计相对位姿的过程，直到最小误差小于阈值。
进一步的，所述步骤(5)包含以下步骤：
(5.1)利用泊松重建算法将
Figure BDA0001773814180000043
中的Surfel模型转换为网格模型；
(5.2)将网格模型投影到每一个关键帧相机位姿，生成关键帧模型深度图；
(5.3)将关键帧彩色图像和对应关键帧模型深度图分别提取边缘，分别对齐，使关键帧彩色图和模型边界一致；
(5.4)使用关键帧彩色图和关键帧相机位姿计算纹理贴图。
本发明的有益效果是：
(1)通过逐帧提取物体深度信息，减少非物体区域的深度对于重建的影响；同时，消除改变物体姿态继续扫描物体后支撑平面和物体相对位置变化带来的影响，保证物体的360度扫描重建；
(2)结合惯性运动单元提高基于RGBD的相机位姿估计的鲁棒性；
(3)在线将模型分为模型片段，局部融合；间隔固定帧进行基于GPU的快速全局非刚体注册，将相机跟踪误差、输入的非刚体误差在线修正，保证扫描过程中模型的全局一致性；
(4)将关键帧彩色图像和模型对齐，提高纹理贴图的质量。
附图说明
图1是本发明的技术方案流程图；
图2是自动分割目标物体示意图；
图3是提取物体深度数据示意图；
图4是全局非刚体注册示意图；
图5是几何结果和纹理结果示意图。
具体实施方式
下面结合附图对本发明作进一步说明：
如图1所示，本实施例提供一种基于消费级彩色深度相机对物体进行360度实时三维重建的方法，分为如下几个主要步骤：
(1)自动分割目标物体，以此作为初始物体框，开始目标物体扫描重建过程；
(2)逐帧跟踪物体框，提取物体深度数据；
(3)将固定帧物体深度数据进行局部融合，间隔固定帧对所有局部融合的模型片段进行全局非刚体注册，构建一致的全局三维模型；
(4)部分扫描完成后，翻转物体继续扫描，估计翻转前后的相机位姿变换；(5)重复步骤(1)-步骤(4)直至360度扫描重建完成，随后提取网格模型，将所有关键帧彩色图像与模型对齐，对模型计算纹理贴图。
下面结合实施例详细描述各个步骤：
1)提出一种根据用户简单交互自动分割目标物体的算法，通过获取融合场景模型的边缘，将场景中的物体在当前视角下作为候选物体框框出来，当用户将相机对准目标物体一定时间后，对应的候选物体框被提取作为目标物体框。具体为：
初始时，通过简单的用户交互选择目标物体，当用户将深度相机对准目标物体，并且保持一定时间，目标物体框B0被自动分割出来；具体的，基于全图的深度彩色数据进行相机位姿估计和融合，获得包含一个或多个物体的场景模型；将场景模型投影到当前相机位姿，生成模型深度图；使用位于模型深度中心，长宽分别为模型深度图1/2的窗口Bc，计算有效深度范围[dmin，dmax]，dmmin和dmax设定为：
dmmin＝minD(p)，p∈Bc
davg＝∑D(p)/|Bc|，p∈Bc
dmax＝2davg-dmin
其中：D(p)是指像素p的深度值；对于模型深度图，使用Sobel算子提取深度边缘像素，并且去除不在范围[dmin，dmax]中的边缘像素；对剩余边缘像素根据八邻域提取连通区域，对每个连通区域提取包围盒作为候选物体框，去除长或宽小于10个像素的候选物体框；当深度相机指向物体的时候并停留超过一定时间，模型深度图中心的候选物体框被选择，作为目标物体框B0；如图2所示。
2)提出了一种快速的目标物体跟踪提取算法，首先基于彩色深度信息逐帧进行目标物体的跟踪，然后在目标物体框内进一步去除支撑平面、获得目标物体深度数据。具体为：
在获得初始物体框B0之后，顺序的进行物体跟踪和物体提取；物体跟踪根据t-1时刻的物体框Bt-1、彩色图像It-1、t时刻的彩色图像It和深度图像Dt，计算t时刻的物体框Bt；首先将物体框Bt-1在4个方向各拓展5个像素得到物拓展物体框
Figure BDA0001773814180000061
将Bc替换为Bt-1，利用上述公式在Dt上计算有效深度范围[dmin，dmax]；对Dt使用Sobel算子提取深度边缘像素，并且去除不在范围[dmin，dmax]中的边缘像素，在剩余的像素上根据八邻域提取连通区域，对于每个连通区域提取包围盒作为候选物体框；对It-1提取
Figure BDA0001773814180000062
内ORB特征Ot-1，对It提取ORB特征Ot，将Ot-1和Ot海明(HAMMING)距离进行最近邻匹配，然后利用GMS(BIAN J.，LIN W.，MATSUSHITAY.，YEUNG S.，NGUYEN T.，CHENG M.：GMS：grid-based motion statistics for fast，ultra-robust feature correspondence.In IEEE Conference on Computer Vision andPattern Recognition，CVPR，(2017)，pp.2828-2837.)去除错误的匹配；对于每一个候选物体框，统计其中匹配点的个数，去除匹配点个数小于等于5的候选物体框，将所有保留的候选物体框合为一个物体框Bt。
使用物体框Bt、Dt进一步过滤支撑平面信息，获取物体深度数据
Figure BDA0001773814180000063
将拓展物体框
Figure BDA0001773814180000064
左右各延展25％，保留延展部分下部50％，记为
Figure BDA0001773814180000065
对于
Figure BDA0001773814180000066
中的每一个深度像素，计算对应相机坐标下的三维点
Figure BDA0001773814180000067
K为相机标定矩阵；对
Figure BDA0001773814180000068
内所有三维点进行平面拟合，平面过v(p)的均值，法向方向使用主成分分析(PCA)计算，为协方差矩阵最小特征值对应的特征向量；去除Dt中位于支撑平面之上的所有深度像素，获得当前帧物体深度数据
Figure BDA0001773814180000069
如图3所示。
3)在线的将模型表达为由一系列局部融合的模型片段组成，基于模型片段进行全局优化，相比于基于图像帧的优化，减少了优化变量的数量，并且保留了足够自由度。利用惯性运动单元(IMU)数据、物体深度数据、彩色图片进行相机位姿估计，利用惯性运动单元数据预估计相机位姿的变换，进一步利用基于彩色深度的frame-to-model注册，优化调整当前相机位姿变换，估计惯性运动单元数据的漂移(bias)，提高相机位姿估计的稳定性。在所有模型片段上建立了Embedded Deformation(ED)图，进行在线全局非刚体优化，保证扫描过程中模型片段的几何一致性和颜色一致性，每次优化后修正关键帧相机位姿，修正关键帧相机位姿、当前相机位姿。具体为：
在扫描过程中将所有帧按照每m帧一个段进行切分，段内物体深度数据、彩色数据进行相机位姿估计、局部融合，段间进行全局非刚体注册；在时刻t，当前模型由模型片段构成，用
Figure BDA0001773814180000071
表示
Figure BDA0001773814180000072
模型片段
Figure BDA0001773814180000073
包含了Surfel集合、Embedded Deformation(ED)图、关键帧彩色图像Ii和关键帧相机位姿
Figure BDA0001773814180000074
其中，Surfel集合由m帧物体深度
Figure BDA0001773814180000075
融合而成，融合过程参见WHELAN T.，LEUTENEGGER S.，SALAS-MORENO R.F.，GLOCKER B.，DAVISON A.J.：Elasticfusion：Dense SLAM without Aposegraph.InRobotics：Scienceand Systems XI，Sapienza University ofRome，(2015).；单个Surfel为空间中的一个圆，其属性可以被表示为五元组{v，n，color，radius，confidence}，分别为中心位置、法线向量、颜色(RGB)、半径、置信度；ED图构建与Surfel集合之上，由点云中的顶点到控制点图和控制点到控制点图构成，用于全局非刚体注册；点云中顶点的初始位置和法线向量用
Figure BDA0001773814180000076
和
Figure BDA0001773814180000077
表示，控制点是点云的顶点中采样获得，由控制点初始位置
Figure BDA0001773814180000078
控制点局部仿射变换
Figure BDA0001773814180000079
构成，点云中的顶点到控制点图采用4-近邻构建，每个顶点连接4个最近控制点，将4个最近控制点的变换插值用于变换顶点的三维位置和法线向量，
Figure BDA00017738141800000710
和
Figure BDA00017738141800000711
分别为变换后的三维位置和法线向量。
Figure BDA00017738141800000712
Figure BDA00017738141800000713
Figure BDA00017738141800000714
distmax是
Figure BDA00017738141800000715
到其除4近邻控制点外最近的控制点的距离，k为顶点编号，l表示k号顶点的4近邻控制点；控制点到控制点图采用8-近邻构建，用于约束ED图的非刚体形变。参见R.W.Sumner，J.Schmid，and M.Pauly.Embedded deformation for shapemanipulation.ACM Transactions on Graphics，26(3)：80，2007；关键帧彩色图像的提取依据是选取该段的时间间隔内彩色图像最清晰的帧，参见F.Crete，T.Dolmiere，P.Ladret，and M.Nicolas.The blur effect：perception and estimation with a new no-reference perceptual blur metric.Proceedings of SPIE.2007，用以进行后续的纹理贴图。
段内相机位姿估计基于物体深度数据、彩色数据和模型之间的刚体注册，此外，惯性运动单元(IMU)获取的局部角速度、局部加速度数据也被加入到相机位姿估计过程中，提高相机位姿估计鲁棒性；在t时刻，获取t-1帧和t帧之间的惯性运动单元读数
Figure BDA0001773814180000081
Figure BDA0001773814180000082
如果彩色深度图像设置为30fps，惯性运动单元设置为100fps，两者时间同步，t-1帧和t帧之间的惯性运动单元读数为3至4个；角速度观测值
Figure BDA0001773814180000083
和加速度观测值
Figure BDA0001773814180000084
直实值、传感器漂移、噪声组成：
Figure BDA0001773814180000085
Figure BDA0001773814180000086
其中，
Figure BDA0001773814180000087
为加速传感器漂移，
Figure BDA0001773814180000088
为角速度传感器漂移，na、nω为噪声，gw为世界坐标系下的重力；为了简化计算，噪声na、nω忽略不计，
Figure BDA0001773814180000089
在每两帧之间固定不变，改为
Figure BDA00017738141800000810
Figure BDA00017738141800000811
在读取加速度观测值
Figure BDA00017738141800000824
时提前去除重力分量；相机位姿估计依赖状态变量的更新，状态变量为五元组
Figure BDA00017738141800000812
陶成，分别为当前相机在世界坐标系下的速度、当前相机在世界坐标系下旋转方向、当前相机在世界坐标系下的位置、加速传感器漂移、角速度传感器漂移；状态变量为迭代优化目标，其初始值设置如下，
Figure BDA00017738141800000813
在上一轮迭代计算，
Figure BDA00017738141800000814
将其设为
Figure BDA00017738141800000815
的值(初始时设为0)，
Figure BDA00017738141800000816
在当前状态下通过mid-point积分计算：
Figure BDA00017738141800000817
Figure BDA00017738141800000818
Figure BDA00017738141800000819
同样的对
Figure BDA00017738141800000820
进行mid-point积分得
Figure BDA00017738141800000821
Figure BDA00017738141800000822
Figure BDA00017738141800000823
Figure BDA0001773814180000091
Figure BDA0001773814180000092
分别表示与位置、速度、旋转相关的统计量，可以直接积分获得，用于约束状态变量；估计相机位姿的能量方程为Etotal：
Etotal＝λrgbErgb+λicpEicp+λimuEimu
Figure BDA0001773814180000093
Figure BDA0001773814180000094
Figure BDA0001773814180000095
其中，λ为各能量项的权重，Eicp为几何约束项，
Figure BDA0001773814180000096
是当前坐标下的点，vk是最近邻对应点的位置，nk是最近邻对应点的法向量；Ergb为颜色约束项，K为相机标定矩阵，
Figure BDA0001773814180000097
Figure BDA0001773814180000098
Eimu为惯性运动单元约束；上述能量方程的优化变量是状态变量五元组，每个变量3个自由度，一共15个自由度；使用高斯牛顿法迭代优化，求得最优的状态变量
Figure BDA0001773814180000099
然后使用
Figure BDA00017738141800000910
积分获得
Figure BDA00017738141800000911
用于下一轮相机位姿估计。
在将相机位姿
Figure BDA00017738141800000912
表示为Tt，将
Figure BDA00017738141800000913
It融合到模型
Figure BDA00017738141800000914
中最新的模型片段
Figure BDA00017738141800000915
中；如果t是m的整数倍，则在进行相机跟踪和Surfel融合之后，还需要提取ED图、关键帧彩色图像
Figure BDA00017738141800000930
关键帧相机位姿
Figure BDA00017738141800000916
如果t＞1则进行
Figure BDA00017738141800000917
的全局非刚体优化，更新关键帧相机位姿
Figure BDA00017738141800000918
将
Figure BDA00017738141800000919
加入关系图
Figure BDA00017738141800000920
中，然后新建段
Figure BDA00017738141800000921
段的邻接关系图
Figure BDA00017738141800000922
中；ε表示
Figure BDA00017738141800000923
中模型片段之间的连接关系，如图3所示，有边表示其上具有参与优化的约束；构建
Figure BDA00017738141800000924
时，每次将和
Figure BDA00017738141800000925
的相机位姿的夹角接近的段加入
Figure BDA00017738141800000926
中，如图4所示：
arccos([Ti]3·[Tj]3)＜γ
其中[Ti]3表示Ti的第3列，γ指夹角阈值；
Figure BDA00017738141800000927
的整体优化旨在非刚体优化
Figure BDA00017738141800000928
中的每一片点云，并且更新
Figure BDA00017738141800000929
中所有的关键帧相机位姿；优化对象是所有的ED图中的控制点局部刚体变换，优化目标是最小化能量函数E：
E＝λgeoEgeo+λphotoEphoto+λsmoothEsmooth+λrotErot
Figure BDA0001773814180000101
Figure BDA0001773814180000102
Figure BDA0001773814180000103
Figure BDA0001773814180000104
其中，λ为各能量项的权重；上述优化目标是一个非线性最小二乘问题，使用高斯-牛顿迭代法进行求解，固定迭代步数为5；为了方便计算雅可比矩阵，将需要更新的法向量
Figure BDA0001773814180000105
和关键帧相机位姿
Figure BDA0001773814180000106
初始化为{n}和{T}，在每一轮迭代中假设
Figure BDA0001773814180000107
和
Figure BDA0001773814180000108
不变，在计算计算雅可比矩阵时不进行求导，然后在每一步迭代之后更新法向量
Figure BDA0001773814180000109
和关键帧相机位姿
Figure BDA00017738141800001010
其中
Figure BDA00017738141800001011
是第i段和第j段之间的匹配点对，使用近似最近邻算法(FLANN)查找，使用点对的法线和距离进行过滤，具体过滤规则如下：
M1＝arccos(n(v1)·n(v2))
M2＝||v1-v2||
M3＝arccos(n(v1)·(v1-v2))
M4＝arccos(n(v2)·(v1-v2))
如果点对M1＜30°并且M2＜0.005m，该点对被加入
Figure BDA00017738141800001012
中，如果0.005m＜M2＜0.05m并且M1＜30°、M3＜30°、M4＜30°该点对被加入
Figure BDA00017738141800001013
中。为了控制
Figure BDA00017738141800001014
中点对的数量，使用系统抽样算法对每个段内的点云进行采样，采样个数是512，保证
Figure BDA00017738141800001015
中对于固定i，j的匹配点数量上限是512(除去被过滤掉的)。
Figure BDA00017738141800001016
在迭代优化的每一步都需要重新进行最近邻查找、过滤。
对于上述提到的高斯-牛顿迭代法的每一步迭代，目标是求解下面的线性系统：
(JTJ)6x＝-JTr
x是由所有ED图中的所有控制点的局部仿射变换组成的数组，其维度是：
Figure BDA00017738141800001017
(段数量)*16(控制点数量)*6(刚体变换)。r表示所有约束的当前迭代步骤的残差值。使用预处理的共轭梯度法(PCG)求解上述线性系统，固定共轭梯度迭代步数，预处理矩阵使用diag(JTJ)-1；在每一步迭代求得δx后，使用公式x＝x+δx更新所有的控制点局部变换，并且重新插值获得所有的
Figure BDA0001773814180000111
更新所有关键帧相机位姿
Figure BDA0001773814180000112
关键帧相机位姿更新依据ED图中的局部变换，将所有K(K为16)个控制点的局部变化做平均，获得更新的关键帧相机位姿
Figure BDA0001773814180000113
Figure BDA0001773814180000114
Figure BDA0001773814180000115
在获得优化后的关键帧相机位姿之后，按照同样的方法更新
Figure BDA0001773814180000116
中最后一帧，即
Figure BDA0001773814180000117
It的相机位姿，用于下一帧的相机位姿估计。
4)提出了暂停、改变物体姿态、继续扫描的扫描流程，作为实现实时360度扫描重建的一种方案，通过特征匹配，估计暂停、继续扫描之后相机相对目标物体的位姿变换。具体为：
在扫描过程中，为了完成360度物体重建，用户需要暂停扫描、改变物体姿态、重新开始扫描；使用基于特征匹配的刚体注册估计相机相对于物体的位姿变换
Figure BDA0001773814180000118
令暂停前后的彩色图片分别为It-1、It，模型反投影深度图和物体深度数据分别为
Figure BDA0001773814180000119
在It-1、It上与
Figure BDA00017738141800001110
Figure BDA00017738141800001111
对应的区域分别提取ORB特征，在
Figure BDA00017738141800001112
Figure BDA00017738141800001113
上分别提取FPFH特征，对ORB特征基于海明距离进行最近邻匹配，对FPFH特征基于欧式距离进行最近邻匹配；基于RANSAC算法，在t时刻匹配的特征中进行采样，每次采样6个点，要求距离在图像上大于4个像素，利用这6个匹配点估计相机相对位姿，利用ICP算法最小化6个匹配点点到面的距离Eicp：
Figure BDA00017738141800001114
估计
Figure BDA00017738141800001115
后计算所有点到最近邻点(基于三维欧式距离)的点到面的平均距离，作为当前误差估计；重复上述采样、估计相机相对位姿、误差估计过程，直到最小误差小于阈值，将最小误差对应的相机位姿变换作为相机暂停前后相机相对于物体的位姿变换
Figure BDA00017738141800001116
5)提出了将所有关键帧彩色图像和模型投影深度图进行边缘对齐的算法，优化关键帧彩色图像相机位姿保证彩色和几何边缘的一致性，提高纹理贴图的质量。具体为：
在完成360度扫描重建之后，利用泊松重建算法(M.Kazhdan，M.Bolitho，andH.Hoppe.Poisson surface reconstruction.pages 61-70，2006)，将Surfel表达的模型转换为网格模型；由于相机本身深度误差、标定误差，关键帧彩色图像在关键帧相机位姿上并不能完全与模型对齐，需要将彩色图像与模型对齐；将网格模型投影到所有
Figure BDA00017738141800001117
个关键帧相机位姿上，生成模型深度图，使用Sobel算子分别对模型深度图和关键帧彩色图求边缘，对边缘进行高斯滤波，然后对每个关键帧彩色图像分别进行刚体优化，即以原来的彩色相机位置作为初始值，优化新的虚拟的彩色相机位置，使彩色相机和几何对齐：
Figure BDA0001773814180000121
其中EdgeI、EdgeD分别为高斯滤波后的彩色和深度边缘图像。
将
Figure BDA0001773814180000122
中的关键帧彩色图片按照关键帧相机位姿在网格上计算纹理贴图，关键帧彩色图片是高分辨率图片；该纹理不涉及材质，仅计算网格上每一个三角面片在关键帧集合{Ii}中的对应，将对应于关键帧集合{Ii}中的纹理打包成一张纹理贴图。参见WAECHTERM.，MOEHRLE N.，GOESELE M.：Let there be color！large-scale texturing of 3dreconstructions.In European Conference on Computer Vision，ECCV，(2014)，pp.836-850.；几何和纹理结果如图5所示。

Claims (4)

1.一种基于消费级彩色深度相机对物体进行360度实时三维重建的方法，其特征在于，包括以下步骤：
（1）自动分割目标物体，以此作为初始物体框，开始目标物体扫描重建过程；
（2）逐帧跟踪物体框，提取物体深度数据；
（3）将固定帧物体深度数据进行局部融合，间隔固定帧对所有局部融合的模型片段进行全局非刚体注册，构建一致的全局三维模型；
（4）部分扫描完成后，翻转物体继续扫描，估计翻转前后的相机位姿变换；
（5）重复步骤（1）-步骤（4）直至360度扫描重建完成，随后提取网格模型，将所有关键帧彩色图像与模型对齐，对模型计算纹理贴图；
其中，所述步骤（1）包含以下步骤：
（1.1）对包含一个或多个物体的场景进行相机位姿估计和基于Surfel的融合，反投影融合的场景模型到当前相机位姿生成模型深度图；
（1.2）利用Sobel算子提取模型深度图中的深度边缘像素，使用位于模型深度图中心， 大小为融合深度图1/2的窗口
Figure 728433DEST_PATH_IMAGE001
估计有效深度范围
Figure 635209DEST_PATH_IMAGE002
，将有效深度范围内的深度 边缘像素依照连通区域聚类，对于每一个连通区域提取包围盒作为获选物体框；
（1.3）去除长或宽小于阈值的候选物体框，当用户对准某个候选物体框连续
Figure 790247DEST_PATH_IMAGE003
帧后，即 某个候选物体框位于图像中心一定时间后，将其作为目标物体的初始物体框
Figure 731658DEST_PATH_IMAGE004
，开始目标 物体的跟踪、扫描、重建过程；
其中，所述步骤（2）包含以下步骤：
（2.1）对于每一帧的深度彩色图像
Figure 313949DEST_PATH_IMAGE005
、
Figure 973600DEST_PATH_IMAGE006
，利用前一帧的物体框
Figure 666750DEST_PATH_IMAGE007
估计有效深度范围
Figure 197088DEST_PATH_IMAGE002
，将有效深度范围内的深度边缘像素依照连通区域聚类，对于每一个连通区域 提取包围盒作为获选物体框；
（2.2）将前一帧的窗口
Figure 950281DEST_PATH_IMAGE007
四个方向分别扩展5个像素，得到扩展物体框
Figure 97228DEST_PATH_IMAGE008
，对
Figure 594069DEST_PATH_IMAGE009
计 算
Figure 244493DEST_PATH_IMAGE008
内的ORB特征，对
Figure 168587DEST_PATH_IMAGE005
计算 ORB特征，利用海明距离（HAMMING）进行最近邻匹配，然后利 用GMS算法过滤错误匹配；
（2.3）去除匹配特征点小于5个的候选物体框，将剩余候选物体框合并，获t时刻的物体 框
Figure 537251DEST_PATH_IMAGE010
；
（2.4）将物体框
Figure 572203DEST_PATH_IMAGE010
左右各延展
Figure 608292DEST_PATH_IMAGE011
，将延展部分下部
Figure 431849DEST_PATH_IMAGE012
%记为
Figure 287809DEST_PATH_IMAGE013
，计算
Figure 126452DEST_PATH_IMAGE013
中所有深度值对 应的相机坐标下的三维点；
（2.5）计算
Figure 485889DEST_PATH_IMAGE013
中所有三维点的均值和协方差矩阵，并且计算协方差矩阵最小特征值对 应的特征向量，定义支撑平面为过上述均值、法向量为上述特征向量的平面；
（2.6）将
Figure 17365DEST_PATH_IMAGE006
中位于
Figure 95042DEST_PATH_IMAGE014
中且位于支撑平面上方的中所有像素的集合作为物体深度数据
Figure 2955DEST_PATH_IMAGE015
。
2.根据权利要求1所述的基于消费级彩色深度相机对物体进行360度实时三维重建的方法，其特征是：所述步骤（3）包含以下步骤：
（3.1）根据当前帧
Figure 482478DEST_PATH_IMAGE005
、
Figure 919276DEST_PATH_IMAGE015
、惯性运动单元（IMU）的测量值、模型
Figure 484249DEST_PATH_IMAGE016
估计当前相机位姿
Figure 399116DEST_PATH_IMAGE017
；
（3.2）将当前帧
Figure 998724DEST_PATH_IMAGE005
、
Figure 606423DEST_PATH_IMAGE015
根据相机位姿
Figure 658693DEST_PATH_IMAGE017
融合到最新的模型片段中；
（3.3）在扫描过程中构建由一系列局部融合的模型片段构成模型片段集合
Figure 377250DEST_PATH_IMAGE016
，用于表 达整个模型，每个模型片段包含了Surfel的集合、对应的关键帧彩色图像、对应的关键帧相 机位姿、Embedded Deformation（ED）图；
（3.4）每融合固定帧，对最新的模型片段提取关键帧，构建EMD图，基于所有模型片段的EMD图进行全局非刚体注册，相应调整所有关键帧相机位姿，构建一致的全局三维模型。
3.根据权利要求1所述的基于消费级彩色深度相机对物体进行360度实时三维重建的方法，其特征是：所述步骤（4）包含以下步骤：
（4.1）暂停扫描，将目标物体翻转置于支撑平面上，继续扫描；
（4.2）对于暂停后的帧
Figure 96945DEST_PATH_IMAGE005
、
Figure 875545DEST_PATH_IMAGE015
在物体区域提取ORB特征和FPFH特征，对继续扫描后的帧
Figure 415110DEST_PATH_IMAGE018
、模型反投影后的深度数据
Figure 937359DEST_PATH_IMAGE019
在物体区域提取ORB特征和FPFH特征，进行最近邻匹 配；
（4.3）基于RANSAC算法估计暂停前后的相机相对目标物体位姿变换，在匹配的特征中进行采样，估计相机相对位姿，重复采样和估计相对位姿的过程，直到最小误差小于阈值。
4.根据权利要求1所述的基于消费级彩色深度相机对物体进行360度实时三维重建的方法，其特征是：所述步骤（5）包含以下步骤：
（5.1）利用泊松重建算法将
Figure 511559DEST_PATH_IMAGE016
中的Surfel模型转换为网格模型；
（5.2）将网格模型投影到每一个关键帧相机位姿，生成关键帧模型深度图；
（5.3）将关键帧彩色图像和对应关键帧模型深度图分别提取边缘，分别对齐，使关键帧彩色图和模型边界一致；
（5.4）使用关键帧彩色图和关键帧相机位姿计算纹理贴图。
CN201810984273.2A 2018-08-22 2018-08-22 一种基于消费级彩色深度相机对物体进行360度实时三维重建的方法 Active CN109242873B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810984273.2A CN109242873B (zh) 2018-08-22 2018-08-22 一种基于消费级彩色深度相机对物体进行360度实时三维重建的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810984273.2A CN109242873B (zh) 2018-08-22 2018-08-22 一种基于消费级彩色深度相机对物体进行360度实时三维重建的方法

Publications (2)

Publication Number Publication Date
CN109242873A CN109242873A (zh) 2019-01-18
CN109242873B true CN109242873B (zh) 2022-10-11

Family

ID=65069354

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810984273.2A Active CN109242873B (zh) 2018-08-22 2018-08-22 一种基于消费级彩色深度相机对物体进行360度实时三维重建的方法

Country Status (1)

Country Link
CN (1) CN109242873B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110009732B (zh) * 2019-04-11 2023-10-03 司岚光电科技(苏州)有限公司 基于gms特征匹配的面向复杂大尺度场景三维重建方法
CN110038302B (zh) * 2019-04-18 2020-09-01 成都四方伟业软件股份有限公司 基于Unity3D的网格生成方法及装置
CN110120013B (zh) * 2019-05-15 2023-10-20 深圳市凌云视迅科技有限责任公司 一种点云拼接方法及装置
CN110148217A (zh) * 2019-05-24 2019-08-20 北京华捷艾米科技有限公司 一种实时三维重建方法、装置及设备
CN110298914B (zh) * 2019-05-29 2023-05-09 江苏大学 一种建立果园中果树冠层特征地图的方法
CN110276317B (zh) * 2019-06-26 2022-02-22 Oppo广东移动通信有限公司 一种物体尺寸检测方法、物体尺寸检测装置及移动终端
US11217022B1 (en) * 2019-06-28 2022-01-04 Snap Inc. Light invariant pattern mapping
CN110688905B (zh) * 2019-08-30 2023-04-18 中山大学 一种基于关键帧的三维物体检测与跟踪方法
CN110598771A (zh) * 2019-08-30 2019-12-20 北京影谱科技股份有限公司 一种基于深度语义分割网络的视觉目标识别方法和装置
CN111127625B (zh) * 2019-10-08 2024-01-12 新拓三维技术(深圳)有限公司 一种足部扫描方法、系统及装置
CN110827397B (zh) * 2019-11-01 2021-08-24 浙江大学 一种面向rgb-d相机实时三维重建的纹理融合方法
CN111754573B (zh) * 2020-05-19 2024-05-10 新拓三维技术(深圳)有限公司 一种扫描方法及系统
CN111968238A (zh) * 2020-08-22 2020-11-20 晋江市博感电子科技有限公司 基于动态融合算法的人体彩色三维重建方法
CN112348939A (zh) * 2020-11-18 2021-02-09 北京沃东天骏信息技术有限公司 用于三维重建的纹理优化方法及装置
CN113689329B (zh) * 2021-07-02 2023-06-02 上海工程技术大学 一种用于稀疏点云增强的最短路径插值法
CN113674353B (zh) * 2021-08-18 2023-05-16 中国人民解放军国防科技大学 一种空间非合作目标精确位姿测量方法
CN113838051B (zh) * 2021-11-25 2022-04-01 之江实验室 一种基于三维点云的机器人闭环检测方法
CN114723885B (zh) * 2022-04-06 2024-06-21 浙江大学 一种基于rgbd图像稠密三维重建的植物耐寒性分析的方法
CN114897951B (zh) * 2022-05-30 2023-02-28 中国测绘科学研究院 聚合多视角深度信息的单张光场影像深度估计方法及系统
CN116778095B (zh) * 2023-08-22 2023-10-27 苏州海赛人工智能有限公司 一种基于人工智能的三维重建方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104423135A (zh) * 2013-08-23 2015-03-18 黄得锋 一种多维3d成像装置
CN108280856A (zh) * 2018-02-09 2018-07-13 哈尔滨工业大学 基于混合信息输入网络模型的未知物体抓取位姿估计方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9525862B2 (en) * 2011-08-31 2016-12-20 Metaio Gmbh Method for estimating a camera motion and for determining a three-dimensional model of a real environment
US9429743B2 (en) * 2011-10-12 2016-08-30 Ventana Medical Systems, Inc. Systems and methods of polyfocal hyperspectral imaging having a beam splitter with optical channels respectively corresponding to plural image planes
CN106643563B (zh) * 2016-12-07 2019-03-12 西安知象光电科技有限公司 一种桌面式大视场三维扫描装置及方法
CN107845134B (zh) * 2017-11-10 2020-12-29 浙江大学 一种基于彩色深度相机的单个物体的三维重建方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104423135A (zh) * 2013-08-23 2015-03-18 黄得锋 一种多维3d成像装置
CN108280856A (zh) * 2018-02-09 2018-07-13 哈尔滨工业大学 基于混合信息输入网络模型的未知物体抓取位姿估计方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
IMU-Aided 3D Reconstruction Based on Multiple Virtual Planes;Hadi Aliakbarpour等;《2010 International Conference on Digital Image Computing: Techniques and Applications》;20110117;474-479 *
Online Global Non-rigid Registration for 3D Object Reconstruction Using Consumer-level Depth Cameras;Jiamin Xu等;《Computer Graphics forum》;20181024;第37卷(第7期);1-12 *
扫描式激光三维测量系统的研究;段锁城;《中国优秀硕士学位论文全文数据库 (信息科技辑)》;20170315(第03期);I135-247 *

Also Published As

Publication number Publication date
CN109242873A (zh) 2019-01-18

Similar Documents

Publication Publication Date Title
CN109242873B (zh) 一种基于消费级彩色深度相机对物体进行360度实时三维重建的方法
CN109166149B (zh) 一种融合双目相机与imu的定位与三维线框结构重建方法与系统
US10553026B2 (en) Dense visual SLAM with probabilistic surfel map
CN107845134B (zh) 一种基于彩色深度相机的单个物体的三维重建方法
Menze et al. Object scene flow
US10360718B2 (en) Method and apparatus for constructing three dimensional model of object
Pradeep et al. MonoFusion: Real-time 3D reconstruction of small scenes with a single web camera
EP2751777B1 (en) Method for estimating a camera motion and for determining a three-dimensional model of a real environment
Ke et al. Transforming camera geometry to a virtual downward-looking camera: Robust ego-motion estimation and ground-layer detection
US8126273B2 (en) Method for reconstructing three-dimensional images from two-dimensional image data
US20160189419A1 (en) Systems and methods for generating data indicative of a three-dimensional representation of a scene
WO2006083297A2 (en) Method and apparatus for aligning video to three-dimensional point clouds
Li et al. Dense surface reconstruction from monocular vision and LiDAR
Wills et al. A feature-based approach for dense segmentation and estimation of large disparity motion
WO2018133119A1 (zh) 基于深度相机进行室内完整场景三维重建的方法及系统
Wang et al. Plane-based optimization of geometry and texture for RGB-D reconstruction of indoor scenes
Brodský et al. Structure from motion: Beyond the epipolar constraint
Yang et al. Noise-resilient reconstruction of panoramas and 3d scenes using robot-mounted unsynchronized commodity rgb-d cameras
CN115393519A (zh) 一种基于红外可见光融合图像的三维重构方法
Zhao et al. 3D object tracking via boundary constrained region-based model
Lerner et al. Direct method for video-based navigation using a digital terrain map
Nicosevici et al. Efficient 3D scene modeling and mosaicing
Nicosevici et al. Online robust 3D mapping using structure from motion cues
Song et al. Edge-guided depth map enhancement
Wang et al. Fully automatic structure from motion with a spline-based environment representation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20190118

Assignee: SHINING 3D TECH Co.,Ltd.

Assignor: ZHEJIANG University

Contract record no.: X2024980002979

Denomination of invention: A method for 360 degree real-time 3D reconstruction of objects based on consumer grade color depth cameras

Granted publication date: 20221011

License type: Common License

Record date: 20240319