CN109242873A - 一种基于消费级彩色深度相机对物体进行360度实时三维重建的方法 - Google Patents
一种基于消费级彩色深度相机对物体进行360度实时三维重建的方法 Download PDFInfo
- Publication number
- CN109242873A CN109242873A CN201810984273.2A CN201810984273A CN109242873A CN 109242873 A CN109242873 A CN 109242873A CN 201810984273 A CN201810984273 A CN 201810984273A CN 109242873 A CN109242873 A CN 109242873A
- Authority
- CN
- China
- Prior art keywords
- frame
- model
- depth
- camera
- degree
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 239000012634 fragment Substances 0.000 claims abstract description 23
- 238000013507 mapping Methods 0.000 claims abstract description 16
- 230000008569 process Effects 0.000 claims abstract description 15
- 230000009466 transformation Effects 0.000 claims abstract description 14
- 239000000284 extract Substances 0.000 claims abstract description 12
- 230000011218 segmentation Effects 0.000 claims abstract description 6
- 238000005096 rolling process Methods 0.000 claims abstract description 4
- 238000004422 calculation algorithm Methods 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 10
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 4
- 101150064138 MAP1 gene Proteins 0.000 claims description 2
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000005457 optimization Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 8
- 230000001133 acceleration Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 3
- 238000000844 transformation Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000004804 winding Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000002939 conjugate gradient method Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 108010071644 fragmentin Proteins 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
Abstract
本发明公开了一种基于消费级彩色深度相机对物体进行360度实时三维重建的方法，属于三维重建领域，包括以下步骤：(1)自动分割目标物体，以此作为初始物体框，开始目标物体扫描重建过程；(2)逐帧跟踪物体框，提取物体深度数据；(3)将固定帧物体深度数据进行局部融合，间隔固定帧对所有局部融合的模型片段进行全局非刚体注册，构建一致的全局三维模型；(4)部分扫描完成后，翻转物体继续扫描，估计翻转前后的相机位姿变换；(5)360度扫描重建完成后，将所有关键帧彩色图像与模型对齐，对模型计算纹理贴图。本发明具有快速重建360度模型、结果鲁棒、纹理贴图质量高等特点。
Description
技术领域
本发明涉及三维重建领域，特别是涉及使用彩色深度相机进行单个物体的三维重建和纹理贴图领域的方法。
背景技术
三维重建技术是基于二维的输入重建三维物体的方法。包括使用一系列二维彩色图像重建稀疏三维点云或者稠密三维模型的StructureFromMotion(SfM)技术(Agarwal S，Snavely N，Simon I，et al.Building rome in a day Computer Vision，InternationalConference on.IEEE，2009：72-79.；Furukawa Y，Ponce J.Accurate，dense，and robustmultiview stereopsis，IEEE Transactions on Pattern Analysis and MachineIntelligence，2010，32(8)：1362-1376.)，基于二维彩色深度图像重建稠密三维模型的技术(Newcombe R A，Izadi S，Hilliges O，et al.KinectFusion：Real-time dense surfacemapping and tracking，Mixed and Augmented Reality(ISMAR)，2011：127-136.)。
基于二维彩色深度图像重建稠密三维模型的技术，按照模型存储方式的不同可以分为：1.基于Volume的表达，Volume中的每一个体素存储TSDF值，TSDF值表达截断的该体素到三维表面的距离(Newcombe RA，Izadi S，Hilliges O，et al.KinectFusion：Real-timedense surface mapping and tracking，Mixed and Augmented Reality(ISMAR)，2011：127-136.)；2.基于Surfel的表达，模型由一系列三维圆表示，每个圆包含了颜色、位置、法向、半径、置信度信息(WHELAN T.，LEUTENEGGER S.，SALAS-MORENO R.F.，GLOCKER B.，DAVISON A.J.：Elasticfusion：Dense SLAM without A posegraph.In Robotics：Scienceand Systems XI，Sapienza University of Rome，(2015).)。模型的正确融合依赖于准确相机位姿跟踪，包括回环检测和局部、全局相机位姿优化；(KERL C.，STURM J.，CREMERSD.：Dense visual slam for rgb-d cameras.In International Conference onIntelligent Robots and Systems，IROS，(Nov 2013)，pp.2100-2106.；ENDRES F.，HESSJ.，ENGELHARD N.，STURM J.，CREMERS D.，BURGARD W.：An evaluation of the RGB-DSLAM system.In International Conference on Robotics and Automation，ICRA，(2012)，pp.1691-1696.)通过在相机位姿估计中加入颜色信息和局部特征增加相机位姿估计的鲁棒性；(ZHOU Q.，MILLER S.，KOLTUN V.：Elastic fragments for dense scenereconstruction.In International Conference on Computer Vision，ICCV，(2013)，pp.473-480.；DAI A.，NIESSNER M.，ZOLLHOFER M.，IZADI S.，THEOBALT C.：Bundlefusion：real-time globally consistent 3d reconstruction using on-the-flysurface re-integration.ACM Transactions on Graphics，TOG，36，4(2017).)分别基于模型片段和基于帧进行回环检测和优化，在大场景的扫描中减少扫描过程中的相机位姿漂移、保证模型的一致性。
对于物体重建后计算纹理贴图，(ZHOU Q.，KOLTUN V.：Color map optimizationfor 3d reconstruction with consumer depth cameras.ACM TransactionsonGraphics，TOG，33，4(2014)，155：1-155：10.)利用关键帧彩色的一致性重新优化彩色相机，(BI S.，KALANTARI N.K.，RAMAMOORTHI R.：Patch-based optimization for image-basedtexture mapping.ACM Transactions on Graphics，TOG，36，4(2017)，106：1-106：11.)利用纹理合成的思想，将关键帧颜色一致性约束加到纹理合成步骤中，合成几何一致的各个视角彩色图像。
现有算法流程无法直接用于360度的物体重建，主要由于静态物体受到支撑面的遮挡，若对物体进行翻转，则物体和支撑平面的位置关系发生了改变。进一步的，在重建单个物体过程中，物体在场景中的占比较小，特征总量较少，容易受到场景特征的干扰，使得相机跟踪和全局优化算法容易收敛的局部最优解，难以获得全局一致的360度三维模型。
发明内容
本发明提供一种基于消费级彩色深度相机对物体进行360度实时三维重建的方法，可以实时的完成对单个物体的360度三维重建，然后离线进行网格的生成、纹理优化，从而快速获取高质量的物体三维模型和纹理贴图。
本发明解决其技术问题采用的技术方案：一种基于消费级彩色深度相机对物体进行360度实时三维重建的方法，包括以下步骤：
(1)自动分割目标物体，以此作为初始物体框，开始目标物体扫描重建过程；
(2)逐帧跟踪物体框，提取物体深度数据；
(3)将固定帧物体深度数据进行局部融合，间隔固定帧对所有局部融合的模型片段进行全局非刚体注册，构建一致的全局三维模型；
(4)部分扫描完成后，翻转物体继续扫描，估计翻转前后的相机位姿变换；
(5)360度扫描重建完成后，将所有关键帧彩色图像与模型对齐，对模型计算纹理贴图。
进一步的，所述步骤(1)包含以下步骤：
(1.1)对包含一个或多个物体的场景进行相机位姿估计和基于Surfel的融合，反投影融合的场景模型到当前相机位姿生成模型深度图；
(1.2)利用Sobel算子提取模型深度图中的深度边缘像素，使用位于模型深度图中心，大小为融合深度图1/2的窗口Bc估计有效深度范围[dmin，dmax]，将有效深度范围内的深度边缘像素依照连通区域聚类，对于每一个连通区域提取包围盒作为获选物体框；
(1.3)去除长或宽小于阈值的候选物体框，当用户对准某个候选物体框连续k帧后，即某个候选物体框位于图像中心一定时间后，将其作为目标物体的初始物体框B0，开始目标物体的跟踪、扫描、重建过程。
进一步的，所述步骤(2)包含以下步骤：
(2.1)对于每一帧的深度彩色图像It、Dt，利用前一帧的物体框Bt-1估计有效深度范围[dmin，dmax]，将有效深度范围内的深度边缘像素依照连通区域聚类，对于每一个连通区域提取包围盒作为获选物体框；
(2.2)将前一帧的窗口Bt-1四个方向分别扩展5个像素，得到扩展物体框对It-1计算内的ORB特征，对It计算ORB特征，利用海明距离(HAMMING)进行最近邻匹配，然后利用GMS算法过滤错误匹配；
(2.3)去除匹配特征点小于5个的候选物体框，将剩余候选物体框合并，获t时刻的物体框Bt；
(2.4)将物体框Bt左右各延展wlr，将延展部分下部b％记为计算中所有深度值对应的相机坐标下的三维点；
(2.5)计算中所有三维点的均值和协方差矩阵，并且计算协方差矩阵最小特征值对应的特征向量，定义支撑平面为过上述均值、法向量为上述特征向量的平面；
(3.6)将Dt中位于中且位于支撑平面上方的中所有像素的集合作为物体深度数据
进一步的，所述步骤(3)包含以下步骤：
(3.1)根据当前帧It、惯性运动单元(IMU)的测量值、模型估计当前相机位姿Tt；
(3.2)将当前帧It、根据相机位姿Tt融合到最新的模型片段中；
(3.3)在扫描过程中构建由一系列局部融合的模型片段构成模型片段集合用于表达整个模型，每个模型片段包含了Surfel的集合、对应的关键帧彩色图像、对应的关键帧相机位姿、Embedded Deformation(ED)图；
(3.4)每融合固定帧，对最新的模型片段提取关键帧，构建EMD图，基于所有模型片段的EMD图进行全局非刚体注册，相应调整所有关键帧相机位姿，构建一致的全局三维模型。
进一步的，所述步骤(4)包含以下步骤：
(4.1)暂停扫描，将目标物体翻转置于支撑平面上，继续扫描；
(4.2)对于暂停后的帧It、在物体区域提取ORB特征和FPFH特征，对继续扫描后的帧It+1、模型反投影后的深度数据在物体区域提取ORB特征和FPFH特征，进行最近邻匹配；
(4.3)基于RANSAC算法估计暂停前后的相机相对目标物体位姿变换，在匹配的特征中进行采样，估计相机相对位姿，重复重复采样和估计相对位姿的过程，直到最小误差小于阈值。
进一步的，所述步骤(5)包含以下步骤：
(5.1)利用泊松重建算法将中的Surfel模型转换为网格模型；
(5.2)将网格模型投影到每一个关键帧相机位姿，生成关键帧模型深度图；
(5.3)将关键帧彩色图像和对应关键帧模型深度图分别提取边缘，分别对齐，使关键帧彩色图和模型边界一致；
(5.4)使用关键帧彩色图和关键帧相机位姿计算纹理贴图。
本发明的有益效果是：
(1)通过逐帧提取物体深度信息，减少非物体区域的深度对于重建的影响；同时，消除改变物体姿态继续扫描物体后支撑平面和物体相对位置变化带来的影响，保证物体的360度扫描重建；
(2)结合惯性运动单元提高基于RGBD的相机位姿估计的鲁棒性；
(3)在线将模型分为模型片段，局部融合；间隔固定帧进行基于GPU的快速全局非刚体注册，将相机跟踪误差、输入的非刚体误差在线修正，保证扫描过程中模型的全局一致性；
(4)将关键帧彩色图像和模型对齐，提高纹理贴图的质量。
附图说明
图1是本发明的技术方案流程图；
图2是自动分割目标物体示意图；
图3是提取物体深度数据示意图；
图4是全局非刚体注册示意图；
图5是几何结果和纹理结果示意图。
具体实施方式
下面结合附图对本发明作进一步说明：
如图1所示，本实施例提供一种基于消费级彩色深度相机对物体进行360度实时三维重建的方法，分为如下几个主要步骤：
(1)自动分割目标物体，以此作为初始物体框，开始目标物体扫描重建过程；
(2)逐帧跟踪物体框，提取物体深度数据；
(3)将固定帧物体深度数据进行局部融合，间隔固定帧对所有局部融合的模型片段进行全局非刚体注册，构建一致的全局三维模型；
(4)部分扫描完成后，翻转物体继续扫描，估计翻转前后的相机位姿变换；(5)重复步骤(1)-步骤(4)直至360度扫描重建完成，随后提取网格模型，将所有关键帧彩色图像与模型对齐，对模型计算纹理贴图。
下面结合实施例详细描述各个步骤：
1)提出一种根据用户简单交互自动分割目标物体的算法，通过获取融合场景模型的边缘，将场景中的物体在当前视角下作为候选物体框框出来，当用户将相机对准目标物体一定时间后，对应的候选物体框被提取作为目标物体框。具体为：
初始时，通过简单的用户交互选择目标物体，当用户将深度相机对准目标物体，并且保持一定时间，目标物体框B0被自动分割出来；具体的，基于全图的深度彩色数据进行相机位姿估计和融合，获得包含一个或多个物体的场景模型；将场景模型投影到当前相机位姿，生成模型深度图；使用位于模型深度中心，长宽分别为模型深度图1/2的窗口Bc，计算有效深度范围[dmin，dmax]，dmmin和dmax设定为：
dmmin＝minD(p)，p∈Bc
davg＝∑D(p)/|Bc|，p∈Bc
dmax＝2davg-dmin
其中：D(p)是指像素p的深度值；对于模型深度图，使用Sobel算子提取深度边缘像素，并且去除不在范围[dmin，dmax]中的边缘像素；对剩余边缘像素根据八邻域提取连通区域，对每个连通区域提取包围盒作为候选物体框，去除长或宽小于10个像素的候选物体框；当深度相机指向物体的时候并停留超过一定时间，模型深度图中心的候选物体框被选择，作为目标物体框B0；如图2所示。
2)提出了一种快速的目标物体跟踪提取算法，首先基于彩色深度信息逐帧进行目标物体的跟踪，然后在目标物体框内进一步去除支撑平面、获得目标物体深度数据。具体为：
在获得初始物体框B0之后，顺序的进行物体跟踪和物体提取；物体跟踪根据t-1时刻的物体框Bt-1、彩色图像It-1、t时刻的彩色图像It和深度图像Dt，计算t时刻的物体框Bt；首先将物体框Bt-1在4个方向各拓展5个像素得到物拓展物体框将Bc替换为Bt-1，利用上述公式在Dt上计算有效深度范围[dmin，dmax]；对Dt使用Sobel算子提取深度边缘像素，并且去除不在范围[dmin，dmax]中的边缘像素，在剩余的像素上根据八邻域提取连通区域，对于每个连通区域提取包围盒作为候选物体框；对It-1提取内ORB特征Ot-1，对It提取ORB特征Ot，将Ot-1和Ot海明(HAMMING)距离进行最近邻匹配，然后利用GMS(BIAN J.，LIN W.，MATSUSHITAY.，YEUNG S.，NGUYEN T.，CHENG M.：GMS：grid-based motion statistics for fast，ultra-robust feature correspondence.In IEEE Conference on Computer Vision andPattern Recognition，CVPR，(2017)，pp.2828-2837.)去除错误的匹配；对于每一个候选物体框，统计其中匹配点的个数，去除匹配点个数小于等于5的候选物体框，将所有保留的候选物体框合为一个物体框Bt。
使用物体框Bt、Dt进一步过滤支撑平面信息，获取物体深度数据将拓展物体框左右各延展25％，保留延展部分下部50％，记为对于中的每一个深度像素，计算对应相机坐标下的三维点K为相机标定矩阵；对内所有三维点进行平面拟合，平面过v(p)的均值，法向方向使用主成分分析(PCA)计算，为协方差矩阵最小特征值对应的特征向量；去除Dt中位于支撑平面之上的所有深度像素，获得当前帧物体深度数据如图3所示。
3)在线的将模型表达为由一系列局部融合的模型片段组成，基于模型片段进行全局优化，相比于基于图像帧的优化，减少了优化变量的数量，并且保留了足够自由度。利用惯性运动单元(IMU)数据、物体深度数据、彩色图片进行相机位姿估计，利用惯性运动单元数据预估计相机位姿的变换，进一步利用基于彩色深度的frame-to-model注册，优化调整当前相机位姿变换，估计惯性运动单元数据的漂移(bias)，提高相机位姿估计的稳定性。在所有模型片段上建立了Embedded Deformation(ED)图，进行在线全局非刚体优化，保证扫描过程中模型片段的几何一致性和颜色一致性，每次优化后修正关键帧相机位姿，修正关键帧相机位姿、当前相机位姿。具体为：
在扫描过程中将所有帧按照每m帧一个段进行切分，段内物体深度数据、彩色数据进行相机位姿估计、局部融合，段间进行全局非刚体注册；在时刻t，当前模型由模型片段构成，用表示
模型片段包含了Surfel集合、Embedded Deformation(ED)图、关键帧彩色图像Ii和关键帧相机位姿其中，Surfel集合由m帧物体深度融合而成，融合过程参见WHELAN T.，LEUTENEGGER S.，SALAS-MORENO R.F.，GLOCKER B.，DAVISON A.J.：Elasticfusion：Dense SLAM without Aposegraph.InRobotics：Scienceand Systems XI，Sapienza University ofRome，(2015).；单个Surfel为空间中的一个圆，其属性可以被表示为五元组{v，n，color，radius，confidence}，分别为中心位置、法线向量、颜色(RGB)、半径、置信度；ED图构建与Surfel集合之上，由点云中的顶点到控制点图和控制点到控制点图构成，用于全局非刚体注册；点云中顶点的初始位置和法线向量用和表示，控制点是点云的顶点中采样获得，由控制点初始位置控制点局部仿射变换构成，点云中的顶点到控制点图采用4-近邻构建，每个顶点连接4个最近控制点，将4个最近控制点的变换插值用于变换顶点的三维位置和法线向量，和分别为变换后的三维位置和法线向量。
distmax是到其除4近邻控制点外最近的控制点的距离，k为顶点编号，l表示k号顶点的4近邻控制点；控制点到控制点图采用8-近邻构建，用于约束ED图的非刚体形变。参见R.W.Sumner，J.Schmid，and M.Pauly.Embedded deformation for shapemanipulation.ACM Transactions on Graphics，26(3)：80，2007；关键帧彩色图像的提取依据是选取该段的时间间隔内彩色图像最清晰的帧，参见F.Crete，T.Dolmiere，P.Ladret，and M.Nicolas.The blur effect：perception and estimation with a new no-reference perceptual blur metric.Proceedings of SPIE.2007，用以进行后续的纹理贴图。
段内相机位姿估计基于物体深度数据、彩色数据和模型之间的刚体注册，此外，惯性运动单元(IMU)获取的局部角速度、局部加速度数据也被加入到相机位姿估计过程中，提高相机位姿估计鲁棒性；在t时刻，获取t-1帧和t帧之间的惯性运动单元读数 如果彩色深度图像设置为30fps，惯性运动单元设置为100fps，两者时间同步，t-1帧和t帧之间的惯性运动单元读数为3至4个；角速度观测值和加速度观测值直实值、传感器漂移、噪声组成：
其中，为加速传感器漂移，为角速度传感器漂移，na、nω为噪声，gw为世界坐标系下的重力；为了简化计算，噪声na、nω忽略不计，在每两帧之间固定不变，改为 在读取加速度观测值时提前去除重力分量；相机位姿估计依赖状态变量的更新，状态变量为五元组陶成，分别为当前相机在世界坐标系下的速度、当前相机在世界坐标系下旋转方向、当前相机在世界坐标系下的位置、加速传感器漂移、角速度传感器漂移；状态变量为迭代优化目标，其初始值设置如下，在上一轮迭代计算，将其设为的值(初始时设为0)，在当前状态下通过mid-point积分计算：
同样的对进行mid-point积分得
分别表示与位置、速度、旋转相关的统计量，可以直接积分获得，用于约束状态变量；估计相机位姿的能量方程为Etotal：
Etotal＝λrgbErgb+λicpEicp+λimuEimu
其中，λ为各能量项的权重，Eicp为几何约束项，是当前坐标下的点，vk是最近邻对应点的位置，nk是最近邻对应点的法向量；Ergb为颜色约束项，K为相机标定矩阵， Eimu为惯性运动单元约束；上述能量方程的优化变量是状态变量五元组，每个变量3个自由度，一共15个自由度；使用高斯牛顿法迭代优化，求得最优的状态变量然后使用积分获得用于下一轮相机位姿估计。
在将相机位姿表示为Tt，将It融合到模型中最新的模型片段中；如果t是m的整数倍，则在进行相机跟踪和Surfel融合之后，还需要提取ED图、关键帧彩色图像关键帧相机位姿如果t＞1则进行的全局非刚体优化，更新关键帧相机位姿将加入关系图中，然后新建段段的邻接关系图中；ε表示中模型片段之间的连接关系，如图3所示，有边表示其上具有参与优化的约束；构建时，每次将和的相机位姿的夹角接近的段加入中，如图4所示：
arccos([Ti]3·[Tj]3)＜γ
其中[Ti]3表示Ti的第3列，γ指夹角阈值；的整体优化旨在非刚体优化中的每一片点云，并且更新中所有的关键帧相机位姿；优化对象是所有的ED图中的控制点局部刚体变换，优化目标是最小化能量函数E：
E＝λgeoEgeo+λphotoEphoto+λsmoothEsmooth+λrotErot
其中，λ为各能量项的权重；上述优化目标是一个非线性最小二乘问题，使用高斯-牛顿迭代法进行求解，固定迭代步数为5；为了方便计算雅可比矩阵，将需要更新的法向量和关键帧相机位姿初始化为{n}和{T}，在每一轮迭代中假设和不变，在计算计算雅可比矩阵时不进行求导，然后在每一步迭代之后更新法向量和关键帧相机位姿其中是第i段和第j段之间的匹配点对，使用近似最近邻算法(FLANN)查找，使用点对的法线和距离进行过滤，具体过滤规则如下：
M1＝arccos(n(v1)·n(v2))
M2＝||v1-v2||
M3＝arccos(n(v1)·(v1-v2))
M4＝arccos(n(v2)·(v1-v2))
如果点对M1＜30°并且M2＜0.005m，该点对被加入中，如果0.005m＜M2＜0.05m并且M1＜30°、M3＜30°、M4＜30°该点对被加入中。为了控制中点对的数量，使用系统抽样算法对每个段内的点云进行采样，采样个数是512，保证中对于固定i，j的匹配点数量上限是512(除去被过滤掉的)。在迭代优化的每一步都需要重新进行最近邻查找、过滤。
对于上述提到的高斯-牛顿迭代法的每一步迭代，目标是求解下面的线性系统：
(JTJ)6x＝-JTr
x是由所有ED图中的所有控制点的局部仿射变换组成的数组，其维度是：(段数量)*16(控制点数量)*6(刚体变换)。r表示所有约束的当前迭代步骤的残差值。使用预处理的共轭梯度法(PCG)求解上述线性系统，固定共轭梯度迭代步数，预处理矩阵使用diag(JTJ)-1；在每一步迭代求得δx后，使用公式x＝x+δx更新所有的控制点局部变换，并且重新插值获得所有的更新所有关键帧相机位姿关键帧相机位姿更新依据ED图中的局部变换，将所有K(K为16)个控制点的局部变化做平均，获得更新的关键帧相机位姿
在获得优化后的关键帧相机位姿之后，按照同样的方法更新中最后一帧，即It的相机位姿，用于下一帧的相机位姿估计。
4)提出了暂停、改变物体姿态、继续扫描的扫描流程，作为实现实时360度扫描重建的一种方案，通过特征匹配，估计暂停、继续扫描之后相机相对目标物体的位姿变换。具体为：
在扫描过程中，为了完成360度物体重建，用户需要暂停扫描、改变物体姿态、重新开始扫描；使用基于特征匹配的刚体注册估计相机相对于物体的位姿变换令暂停前后的彩色图片分别为It-1、It，模型反投影深度图和物体深度数据分别为在It-1、It上与 对应的区域分别提取ORB特征，在 上分别提取FPFH特征，对ORB特征基于海明距离进行最近邻匹配，对FPFH特征基于欧式距离进行最近邻匹配；基于RANSAC算法，在t时刻匹配的特征中进行采样，每次采样6个点，要求距离在图像上大于4个像素，利用这6个匹配点估计相机相对位姿，利用ICP算法最小化6个匹配点点到面的距离Eicp：
估计后计算所有点到最近邻点(基于三维欧式距离)的点到面的平均距离，作为当前误差估计；重复上述采样、估计相机相对位姿、误差估计过程，直到最小误差小于阈值，将最小误差对应的相机位姿变换作为相机暂停前后相机相对于物体的位姿变换
5)提出了将所有关键帧彩色图像和模型投影深度图进行边缘对齐的算法，优化关键帧彩色图像相机位姿保证彩色和几何边缘的一致性，提高纹理贴图的质量。具体为：
在完成360度扫描重建之后，利用泊松重建算法(M.Kazhdan，M.Bolitho，andH.Hoppe.Poisson surface reconstruction.pages 61-70，2006)，将Surfel表达的模型转换为网格模型；由于相机本身深度误差、标定误差，关键帧彩色图像在关键帧相机位姿上并不能完全与模型对齐，需要将彩色图像与模型对齐；将网格模型投影到所有个关键帧相机位姿上，生成模型深度图，使用Sobel算子分别对模型深度图和关键帧彩色图求边缘，对边缘进行高斯滤波，然后对每个关键帧彩色图像分别进行刚体优化，即以原来的彩色相机位置作为初始值，优化新的虚拟的彩色相机位置，使彩色相机和几何对齐：
其中EdgeI、EdgeD分别为高斯滤波后的彩色和深度边缘图像。
将中的关键帧彩色图片按照关键帧相机位姿在网格上计算纹理贴图，关键帧彩色图片是高分辨率图片；该纹理不涉及材质，仅计算网格上每一个三角面片在关键帧集合{Ii}中的对应，将对应于关键帧集合{Ii}中的纹理打包成一张纹理贴图。参见WAECHTERM.，MOEHRLE N.，GOESELE M.：Let there be color！large-scale texturing of 3dreconstructions.In European Conference on Computer Vision，ECCV，(2014)，pp.836-850.；几何和纹理结果如图5所示。
Claims (6)
1.一种基于消费级彩色深度相机对物体进行360度实时三维重建的方法，其特征在于，包括以下步骤：
(1)自动分割目标物体，以此作为初始物体框，开始目标物体扫描重建过程；
(2)逐帧跟踪物体框，提取物体深度数据；
(3)将固定帧物体深度数据进行局部融合，间隔固定帧对所有局部融合的模型片段进行全局非刚体注册，构建一致的全局三维模型；
(4)部分扫描完成后，翻转物体继续扫描，估计翻转前后的相机位姿变换；
(5)重复步骤(1)-步骤(4)直至360度扫描重建完成，随后提取网格模型，将所有关键帧彩色图像与模型对齐，对模型计算纹理贴图。
2.根据权利要求1所述的基于消费级彩色深度相机对物体进行360度实时三维重建的方法，其特征是：所述步骤(1)包含以下步骤：
(1.1)对包含一个或多个物体的场景进行相机位姿估计和基于Surfel的融合，反投影融合的场景模型到当前相机位姿生成模型深度图；
(1.2)利用Sobel算子提取模型深度图中的深度边缘像素，使用位于模型深度图中心，大小为融合深度图1/2的窗口Bc估计有效深度范围[dmin，dmax]，将有效深度范围内的深度边缘像素依照连通区域聚类，对于每一个连通区域提取包围盒作为获选物体框；
(1.3)去除长或宽小于阈值的候选物体框，当用户对准某个候选物体框连续k帧后，即某个候选物体框位于图像中心一定时间后，将其作为目标物体的初始物体框B0，开始目标物体的跟踪、扫描、重建过程。
3.根据权利要求1所述的基于消费级彩色深度相机对物体进行360度实时三维重建的方法，其特征是：所述步骤(2)包含以下步骤：
(2.1)对于每一帧的深度彩色图像It、Dt，利用前一帧的物体框Bt-1估计有效深度范围[dmin，dmax]，将有效深度范围内的深度边缘像素依照连通区域聚类，对于每一个连通区域提取包围盒作为获选物体框；
(2.2)将前一帧的窗口Bt-1四个方向分别扩展5个像素，得到扩展物体框对It-1计算内的ORB特征，对It计算ORB特征，利用海明距离(HAMMING)进行最近邻匹配，然后利用GMS算法过滤错误匹配；
(2.3)去除匹配特征点小于5个的候选物体框，将剩余候选物体框合并，获t时刻的物体框Bt；
(2.4)将物体框Bt左右各延展wlr，将延展部分下部b％记为计算中所有深度值对应的相机坐标下的三维点；
(2.5)计算中所有三维点的均值和协方差矩阵，并且计算协方差矩阵最小特征值对应的特征向量，定义支撑平面为过上述均值、法向量为上述特征向量的平面；
(3.6)将Dt中位于中且位于支撑平面上方的中所有像素的集合作为物体深度数据
4.根据权利要求1所述的基于消费级彩色深度相机对物体进行360度实时三维重建的方法，其特征是：所述步骤(3)包含以下步骤：
(3.1)根据当前帧It、惯性运动单元(IMU)的测量值、模型估计当前相机位姿Tt；
(3.2)将当前帧It、根据相机位姿Tt融合到最新的模型片段中；
(3.3)在扫描过程中构建由一系列局部融合的模型片段构成模型片段集合用于表达整个模型，每个模型片段包含了Surfel的集合、对应的关键帧彩色图像、对应的关键帧相机位姿、Embedded Deformation(ED)图；
(3.4)每融合固定帧，对最新的模型片段提取关键帧，构建EMD图，基于所有模型片段的EMD图进行全局非刚体注册，相应调整所有关键帧相机位姿，构建一致的全局三维模型。
5.根据权利要求1所述的基于消费级彩色深度相机对物体进行360度实时三维重建的方法，其特征是：所述步骤(4)包含以下步骤：
(4.1)暂停扫描，将目标物体翻转置于支撑平面上，继续扫描；
(4.2)对于暂停后的帧It、在物体区域提取ORB特征和FPFH特征，对继续扫描后的帧It+1、模型反投影后的深度数据在物体区域提取ORB特征和FPFH特征，进行最近邻匹配；
(4.3)基于RANSAC算法估计暂停前后的相机相对目标物体位姿变换，在匹配的特征中进行采样，估计相机相对位姿，重复采样和估计相对位姿的过程，直到最小误差小于阈值。
6.根据权利要求1所述的基于消费级彩色深度相机对物体进行360度实时三维重建的方法，其特征是：所述步骤(5)包含以下步骤：
(5.1)利用泊松重建算法将中的Surfel模型转换为网格模型；
(5.2)将网格模型投影到每一个关键帧相机位姿，生成关键帧模型深度图；
(5.3)将关键帧彩色图像和对应关键帧模型深度图分别提取边缘，分别对齐，使关键帧彩色图和模型边界一致；
(5.4)使用关键帧彩色图和关键帧相机位姿计算纹理贴图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810984273.2A CN109242873B (zh) | 2018-08-22 | 2018-08-22 | 一种基于消费级彩色深度相机对物体进行360度实时三维重建的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810984273.2A CN109242873B (zh) | 2018-08-22 | 2018-08-22 | 一种基于消费级彩色深度相机对物体进行360度实时三维重建的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109242873A true CN109242873A (zh) | 2019-01-18 |
| CN109242873B CN109242873B (zh) | 2022-10-11 |
Family
ID=65069354
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810984273.2A Active CN109242873B (zh) | 2018-08-22 | 2018-08-22 | 一种基于消费级彩色深度相机对物体进行360度实时三维重建的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109242873B (zh) |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110009732A (zh) * | 2019-04-11 | 2019-07-12 | 司岚光电科技(苏州)有限公司 | 基于gms特征匹配的面向复杂大尺度场景三维重建方法 |
| CN110038302A (zh) * | 2019-04-18 | 2019-07-23 | 成都四方伟业软件股份有限公司 | 基于Unity3D的网格生成方法及装置 |
| CN110120013A (zh) * | 2019-05-15 | 2019-08-13 | 深圳市凌云视迅科技有限责任公司 | 一种点云拼接方法及装置 |
| CN110148217A (zh) * | 2019-05-24 | 2019-08-20 | 北京华捷艾米科技有限公司 | 一种实时三维重建方法、装置及设备 |
| CN110276317A (zh) * | 2019-06-26 | 2019-09-24 | Oppo广东移动通信有限公司 | 一种物体尺寸检测方法、物体尺寸检测装置及移动终端 |
| CN110298914A (zh) * | 2019-05-29 | 2019-10-01 | 江苏大学 | 一种建立果园中果树冠层特征地图的方法 |
| CN110598771A (zh) * | 2019-08-30 | 2019-12-20 | 北京影谱科技股份有限公司 | 一种基于深度语义分割网络的视觉目标识别方法和装置 |
| CN110688905A (zh) * | 2019-08-30 | 2020-01-14 | 中山大学 | 一种基于关键帧的三维物体检测与跟踪方法 |
| CN110827397A (zh) * | 2019-11-01 | 2020-02-21 | 浙江大学 | 一种面向rgb-d相机实时三维重建的纹理融合方法 |
| CN111127625A (zh) * | 2019-10-08 | 2020-05-08 | 新拓三维技术(深圳)有限公司 | 一种足部扫描方法、系统及装置 |
| CN111754573A (zh) * | 2020-05-19 | 2020-10-09 | 新拓三维技术(深圳)有限公司 | 一种扫描方法及系统 |
| CN111968238A (zh) * | 2020-08-22 | 2020-11-20 | 晋江市博感电子科技有限公司 | 基于动态融合算法的人体彩色三维重建方法 |
| CN112348939A (zh) * | 2020-11-18 | 2021-02-09 | 北京沃东天骏信息技术有限公司 | 用于三维重建的纹理优化方法及装置 |
| CN113674353A (zh) * | 2021-08-18 | 2021-11-19 | 中国人民解放军国防科技大学 | 一种空间非合作目标精确位姿测量方法 |
| CN113689329A (zh) * | 2021-07-02 | 2021-11-23 | 上海工程技术大学 | 一种用于稀疏点云增强的最短路径插值法 |
| CN113838051A (zh) * | 2021-11-25 | 2021-12-24 | 之江实验室 | 一种基于三维点云的机器人闭环检测方法 |
| US20220084293A1 (en) * | 2019-06-28 | 2022-03-17 | Snap Inc. | Light invariant pattern mapping |
| CN114897951A (zh) * | 2022-05-30 | 2022-08-12 | 中国测绘科学研究院 | 聚合多视角深度信息的单张光场影像深度估计方法及系统 |
| CN116778095A (zh) * | 2023-08-22 | 2023-09-19 | 苏州海赛人工智能有限公司 | 一种基于人工智能的三维重建方法 |
| CN111754573B (zh) * | 2020-05-19 | 2024-05-10 | 新拓三维技术(深圳)有限公司 | 一种扫描方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140252200A1 (en) * | 2011-10-12 | 2014-09-11 | Ventana Medical Systems, Inc. | Polyfocal interferometric image acquistion |
| US20140293016A1 (en) * | 2011-08-31 | 2014-10-02 | Metaio Gmbh | Method for estimating a camera motion and for determining a three-dimensional model of a real environment |
| CN104423135A (zh) * | 2013-08-23 | 2015-03-18 | 黄得锋 | 一种多维3d成像装置 |
| CN106643563A (zh) * | 2016-12-07 | 2017-05-10 | 西安知象光电科技有限公司 | 一种桌面式大视场三维扫描装置及方法 |
| CN107845134A (zh) * | 2017-11-10 | 2018-03-27 | 浙江大学 | 一种基于彩色深度相机的单个物体的三维重建方法 |
| CN108280856A (zh) * | 2018-02-09 | 2018-07-13 | 哈尔滨工业大学 | 基于混合信息输入网络模型的未知物体抓取位姿估计方法 |
-
2018
- 2018-08-22 CN CN201810984273.2A patent/CN109242873B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140293016A1 (en) * | 2011-08-31 | 2014-10-02 | Metaio Gmbh | Method for estimating a camera motion and for determining a three-dimensional model of a real environment |
| US20140252200A1 (en) * | 2011-10-12 | 2014-09-11 | Ventana Medical Systems, Inc. | Polyfocal interferometric image acquistion |
| CN104423135A (zh) * | 2013-08-23 | 2015-03-18 | 黄得锋 | 一种多维3d成像装置 |
| CN106643563A (zh) * | 2016-12-07 | 2017-05-10 | 西安知象光电科技有限公司 | 一种桌面式大视场三维扫描装置及方法 |
| CN107845134A (zh) * | 2017-11-10 | 2018-03-27 | 浙江大学 | 一种基于彩色深度相机的单个物体的三维重建方法 |
| CN108280856A (zh) * | 2018-02-09 | 2018-07-13 | 哈尔滨工业大学 | 基于混合信息输入网络模型的未知物体抓取位姿估计方法 |
Non-Patent Citations (3)
| Title |
|---|
| HADI ALIAKBARPOUR等: "IMU-Aided 3D Reconstruction Based on Multiple Virtual Planes", 《2010 INTERNATIONAL CONFERENCE ON DIGITAL IMAGE COMPUTING: TECHNIQUES AND APPLICATIONS》 * |
| JIAMIN XU等: "Online Global Non-rigid Registration for 3D Object Reconstruction Using Consumer-level Depth Cameras", 《COMPUTER GRAPHICS FORUM》 * |
| 段锁城: "扫描式激光三维测量系统的研究", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 * |
Cited By (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110009732B (zh) * | 2019-04-11 | 2023-10-03 | 司岚光电科技(苏州)有限公司 | 基于gms特征匹配的面向复杂大尺度场景三维重建方法 |
| CN110009732A (zh) * | 2019-04-11 | 2019-07-12 | 司岚光电科技(苏州)有限公司 | 基于gms特征匹配的面向复杂大尺度场景三维重建方法 |
| CN110038302A (zh) * | 2019-04-18 | 2019-07-23 | 成都四方伟业软件股份有限公司 | 基于Unity3D的网格生成方法及装置 |
| CN110120013A (zh) * | 2019-05-15 | 2019-08-13 | 深圳市凌云视迅科技有限责任公司 | 一种点云拼接方法及装置 |
| CN110120013B (zh) * | 2019-05-15 | 2023-10-20 | 深圳市凌云视迅科技有限责任公司 | 一种点云拼接方法及装置 |
| CN110148217A (zh) * | 2019-05-24 | 2019-08-20 | 北京华捷艾米科技有限公司 | 一种实时三维重建方法、装置及设备 |
| CN110298914A (zh) * | 2019-05-29 | 2019-10-01 | 江苏大学 | 一种建立果园中果树冠层特征地图的方法 |
| CN110276317A (zh) * | 2019-06-26 | 2019-09-24 | Oppo广东移动通信有限公司 | 一种物体尺寸检测方法、物体尺寸检测装置及移动终端 |
| US11682176B2 (en) * | 2019-06-28 | 2023-06-20 | Snap Inc. | Light invariant pattern mapping |
| US20220084293A1 (en) * | 2019-06-28 | 2022-03-17 | Snap Inc. | Light invariant pattern mapping |
| CN110688905A (zh) * | 2019-08-30 | 2020-01-14 | 中山大学 | 一种基于关键帧的三维物体检测与跟踪方法 |
| CN110598771A (zh) * | 2019-08-30 | 2019-12-20 | 北京影谱科技股份有限公司 | 一种基于深度语义分割网络的视觉目标识别方法和装置 |
| CN111127625A (zh) * | 2019-10-08 | 2020-05-08 | 新拓三维技术(深圳)有限公司 | 一种足部扫描方法、系统及装置 |
| CN111127625B (zh) * | 2019-10-08 | 2024-01-12 | 新拓三维技术(深圳)有限公司 | 一种足部扫描方法、系统及装置 |
| CN110827397A (zh) * | 2019-11-01 | 2020-02-21 | 浙江大学 | 一种面向rgb-d相机实时三维重建的纹理融合方法 |
| CN110827397B (zh) * | 2019-11-01 | 2021-08-24 | 浙江大学 | 一种面向rgb-d相机实时三维重建的纹理融合方法 |
| CN111754573A (zh) * | 2020-05-19 | 2020-10-09 | 新拓三维技术(深圳)有限公司 | 一种扫描方法及系统 |
| CN111754573B (zh) * | 2020-05-19 | 2024-05-10 | 新拓三维技术(深圳)有限公司 | 一种扫描方法及系统 |
| CN111968238A (zh) * | 2020-08-22 | 2020-11-20 | 晋江市博感电子科技有限公司 | 基于动态融合算法的人体彩色三维重建方法 |
| CN112348939A (zh) * | 2020-11-18 | 2021-02-09 | 北京沃东天骏信息技术有限公司 | 用于三维重建的纹理优化方法及装置 |
| CN113689329A (zh) * | 2021-07-02 | 2021-11-23 | 上海工程技术大学 | 一种用于稀疏点云增强的最短路径插值法 |
| CN113674353A (zh) * | 2021-08-18 | 2021-11-19 | 中国人民解放军国防科技大学 | 一种空间非合作目标精确位姿测量方法 |
| CN113674353B (zh) * | 2021-08-18 | 2023-05-16 | 中国人民解放军国防科技大学 | 一种空间非合作目标精确位姿测量方法 |
| CN113838051B (zh) * | 2021-11-25 | 2022-04-01 | 之江实验室 | 一种基于三维点云的机器人闭环检测方法 |
| CN113838051A (zh) * | 2021-11-25 | 2021-12-24 | 之江实验室 | 一种基于三维点云的机器人闭环检测方法 |
| CN114897951B (zh) * | 2022-05-30 | 2023-02-28 | 中国测绘科学研究院 | 聚合多视角深度信息的单张光场影像深度估计方法及系统 |
| CN114897951A (zh) * | 2022-05-30 | 2022-08-12 | 中国测绘科学研究院 | 聚合多视角深度信息的单张光场影像深度估计方法及系统 |
| CN116778095A (zh) * | 2023-08-22 | 2023-09-19 | 苏州海赛人工智能有限公司 | 一种基于人工智能的三维重建方法 |
| CN116778095B (zh) * | 2023-08-22 | 2023-10-27 | 苏州海赛人工智能有限公司 | 一种基于人工智能的三维重建方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109242873B (zh) | 2022-10-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109242873A (zh) | 一种基于消费级彩色深度相机对物体进行360度实时三维重建的方法 | |
| CN107845134B (zh) | 一种基于彩色深度相机的单个物体的三维重建方法 | |
| CN109166149B (zh) | 一种融合双目相机与imu的定位与三维线框结构重建方法与系统 | |
| CN110945565B (zh) | 利用概率面元地图的密集视觉slam | |
| EP2751777B1 (en) | Method for estimating a camera motion and for determining a three-dimensional model of a real environment | |
| Goldluecke et al. | The variational structure of disparity and regularization of 4D light fields | |
| US20060244757A1 (en) | Methods and systems for image modification | |
| Wu et al. | Full body performance capture under uncontrolled and varying illumination: A shading-based approach | |
| Ummenhofer et al. | Point-based 3D reconstruction of thin objects | |
| Huang et al. | Global temporal registration of multiple non-rigid surface sequences | |
| Xu et al. | Survey of 3D modeling using depth cameras | |
| CN109325444A (zh) | 一种基于三维几何模型的单目无纹理三维物体姿态跟踪方法 | |
| Sizintsev et al. | Spatiotemporal stereo and scene flow via stequel matching | |
| Wang et al. | Plane-based optimization of geometry and texture for RGB-D reconstruction of indoor scenes | |
| Hilsmann et al. | Realistic cloth augmentation in single view video under occlusions | |
| CN114782628A (zh) | 基于深度相机的室内实时三维重建方法 | |
| CN109613974A (zh) | 一种大场景下的ar家居体验方法 | |
| Ramirez et al. | Open challenges in deep stereo: the booster dataset | |
| Wang et al. | Terrainfusion: Real-time digital surface model reconstruction based on monocular slam | |
| Tykkälä et al. | A dense structure model for image based stereo SLAM | |
| CN109859255B (zh) | 大动作运动物体的多视角非同时采集与重建方法 | |
| CN110490973B (zh) | 一种模型驱动的多视图鞋模型三维重建方法 | |
| Luo et al. | Sparse rgb-d images create a real thing: a flexible voxel based 3d reconstruction pipeline for single object | |
| Mahmoud et al. | Fast 3d structure from motion with missing points from registration of partial reconstructions | |
| Cushen et al. | Markerless real-time garment retexturing from monocular 3d reconstruction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20190118 Assignee: SHINING 3D TECH Co.,Ltd. Assignor: ZHEJIANG University Contract record no.: X2024980002979 Denomination of invention: A method for 360 degree real-time 3D reconstruction of objects based on consumer grade color depth cameras Granted publication date: 20221011 License type: Common License Record date: 20240319 |
|
| EE01 | Entry into force of recordation of patent licensing contract |