CN107845134B - 一种基于彩色深度相机的单个物体的三维重建方法 - Google Patents

一种基于彩色深度相机的单个物体的三维重建方法 Download PDF

Info

Publication number
CN107845134B
CN107845134B CN201711104182.7A CN201711104182A CN107845134B CN 107845134 B CN107845134 B CN 107845134B CN 201711104182 A CN201711104182 A CN 201711104182A CN 107845134 B CN107845134 B CN 107845134B
Authority
CN
China
Prior art keywords
camera
point
frame
dimensional
edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711104182.7A
Other languages
English (en)
Other versions
CN107845134A (zh
Inventor
许威威
许佳敏
鲍虎军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201711104182.7A priority Critical patent/CN107845134B/zh
Publication of CN107845134A publication Critical patent/CN107845134A/zh
Application granted granted Critical
Publication of CN107845134B publication Critical patent/CN107845134B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Abstract

本发明公开了一种基于彩色深度相机的单个物体的三维重建方法，包括以下三个步骤，1、在扫描过程中对扫描的物体区域进行提取；2、根据彩色深度数据进行相机跟踪和深度数据的局部融合，然后对局部融合的数据进行全局的非刚体注册，逐步构建总体的三维模型和准确的关键帧相机位置；3、对融合模型进行网格提取，然后根据前面获取的关键帧相机位置和关键帧彩色图片，计算三维网格模型的纹理贴图。通过本文提出的方法框架可以保证重建单个物体时，即使在物体在图像中占比较小的情况下依然能进行高质量几何重建和纹理贴图。方法明确，速度较快，结果鲁棒。可用于虚拟现实场景构建等领域。

Description

一种基于彩色深度相机的单个物体的三维重建方法
技术领域
本发明涉及计算机视觉领域，特别是涉及使用彩色深度相机进行单个物体的三维重建和纹理贴图领域的方法。
背景技术
三维重建技术是基于二维的输入重建三维物体的方法。传统的三维重建方法包括StructureFromMotion(SfM)，主要通过大量彩色图像重建三维物体。近年来，随着Kinect等深度摄像头的发展和商品化，基于彩色深度图像的三维重建技术被广泛研究。基于彩色深度图像的三维重建技术可以被用于重建稠密、精细的物体模型，用于虚拟现实环境的构建，结合现在的虚拟现实、增强现实硬件和软件，提供三维的交互体验。
基于手持彩色深度相机的三维重建算法可用于生成高质量的模型，进一步的，用于计算高质量的纹理贴图。经典的KinectFusion算法使用Volume存储TSDF值表达物体(场景)，将每一幅深度图片中的深度信息依照跟踪的相机位置融合到Volume中，更新各个TSDF值。参见R.A.Newcombe,S.Izadi,O.Hilliges,D.Molyneaux,D.Kim,A.J.Davison,P.Kohi,J.Shotton,S.Hodges,and A.Fitzgibbon.Kinectfusion:Real-time dense surfacemapping and tracking.In Mixed and augmented reality(ISMAR),2011 10th IEEEinternational symposium on,pages 127–136.IEEE,2011。后续的很多方法将KinectFusion框架进行修改，包括提升鲁棒性、适应大的场景等。其中主要的修改包括两方面：1.修改表达方式，提高场景表达效率。2.提高相机位置的准确性，包括加入彩色信息进行相机跟踪还有进行局部和全局的相机位置优化。
现有算法在多物体或者复杂场景下，相机跟踪比较准确。这主要是由于复杂场景下特征比较密集，局部相机跟踪和全局优化比较容易收敛到最优解。但是，由于复杂场景下物体之间存在遮挡和相互影响，场景中单个物体容易出现误差和缺失，难以达到预期的精度。相对的，扫描单个物体可以避免遮挡，利于保留物体细节。但是由于普通相机设置下单个物体占比较小，其特征总量较小，相应的在相机跟踪和全局优化过程中占总能量比重也较小，导致现有重建算法在优化过程中容易收敛到错误的局部最优解。
发明内容
本发明提供了一种，使用彩色深度相机进行单个物体的三维重建和纹理贴图的方法，可以保证即使物体在图像中占比较小的情况下依然能进行高质量几何重建和纹理贴图。
为了达到上述目的，本发明采用以下技术方案，包括以下步骤：
(1)在扫描过程中对扫描的物体区域进行提取，具体为：以手工标注、物体检测或者显著性检测获得的物体框
Figure BDA0001463954690000029
作为初始物体框，顺序的进行物体跟踪和物体区域提取，即在t时刻对于每一个新的彩色帧和深度帧，用It和Dt表示，获取更新的物体框
Figure BDA00014639546900000210
和物体像素集合
Figure BDA00014639546900000211
对于连续的两帧，Dt和Dt+1，使用Sobel算子提取深度边缘像素，并且去除不在范围[dmin,dmax]中的边缘像素后，分别记为Edget和Edget+1，dmin和dmax设定为：
Figure BDA00014639546900000212
Figure BDA0001463954690000021
Figure BDA00014639546900000213
其中：D(pt)是指像素pt的深度值；进一步的，去除Edget中不在物体框
Figure BDA00014639546900000214
中的边缘像素。对于Edget和Edget+1中的边缘像素根据八邻域分别提取连通区域，然后对于在这些连通区域上提取一系列特征点
Figure BDA0001463954690000022
和
Figure BDA0001463954690000023
提取方法为每3个点采样一个点。之后，对这些特征点提取SIFT特征，然后对
Figure BDA0001463954690000024
中的每一个特征点在
Figure BDA0001463954690000025
找一个最近邻匹配。标记
Figure BDA0001463954690000026
中每一个匹配上的特征点，以此为依据删除Edget+1中的不稳定边缘连通区域，具体为：匹配特征点绝对数量小于3个或者相对数量小于该边缘连通区域总像素数量10％。然后根据剩余的连通区域像素计算包围盒，作为新的物体框
Figure BDA00014639546900000215
之后，在新的物体框
Figure BDA00014639546900000216
和深度图Dt+1的基础上，进一步的提取物体区域
Figure BDA00014639546900000217
具体为：首先对于物体框
Figure BDA00014639546900000218
高度不变，左右各延展25％，将延展的部分用
Figure BDA0001463954690000027
表示。
Figure BDA0001463954690000028
主要由支撑平面构成。对于深度图Dt+1中的每一个像素p，计算对应的三维点位置v(p)和对应的法线向量n(p)
v(p)＝D(pt)K-1[pT,1]T
Figure BDA0001463954690000031
pright和pdown分别是p在二维图像上的右边邻接像素和下边邻接像素，K是相机标定矩阵。对于延展区域
Figure BDA0001463954690000032
中的像素，计算其法向量的均值
Figure BDA0001463954690000033
作为该视角下的局部支撑平面朝向的估计，对于物体框
Figure BDA0001463954690000034
中的像素，计算其三维点位置的中位数
Figure BDA0001463954690000035
作为该视角下的局部物体中心的估计：
Figure BDA0001463954690000036
然后根据Dt+1中每个像素的三维点位置到估计的物体中心
Figure BDA0001463954690000037
的平行于支撑平面的距离进行像素筛选，具体筛选公式如下，其中I为单位矩阵，α设为1.5：
Figure BDA0001463954690000038
Figure BDA0001463954690000039
根据上述步骤可以迭代的获取每一个输入It和Dt的物体像素集合
Figure BDA00014639546900000310
在扫描过程中顺序的对扫描的物体区域进行提取。
(2)根据彩色深度数据进行相机跟踪和深度数据的局部融合，对局部融合的数据进行全局的非刚体注册，得到总体的三维模型和准确的相机位置。具体为：首先按照传统的方式，将初始相机位置设为世界坐标系原点，利用刚体ICP算法逐帧跟踪相机，并将It及物体像素集合
Figure BDA00014639546900000311
的深度
Figure BDA00014639546900000312
根据相机位置融合到以Surfel的形式表达的模型中。具体的融合方法参见T.Whelan,S.Leutenegger,R.F.Salas-moreno,B.Glocker,andA.J.Davison.ElasticFusion:Dense SLAM Without A Pose Graph Robotics:Scienceand Systems,2015(December),2015。模型被表达为一系列Surfel的集合，其中，单个Surfel可以被表示为六元组{v，n，color，radius，confidence}，分别为三维点位置、法线向量、颜色(RGB)、半径、置信度。同时，Surfel按时间顺序被分割入不同的段，用
Figure BDA00014639546900000313
表示：
Figure BDA00014639546900000314
t为当前时间，m为分段间隔，i为段编号，m可设为40。
Figure BDA0001463954690000041
包含了段内的所有Surfel，还包含Embedded Deformation(EMD)图、关键帧Ii和关键帧相机位姿Ti，
Figure BDA0001463954690000042
Figure BDA0001463954690000043
为Ti中的3×3的旋转分量，
Figure BDA0001463954690000044
为Ti中的3×1的平移分量；
EMD图用于后续的非刚体全局注册，具体由点云中的顶点到控制点图和控制点到控制点图构成；点云中顶点的初始位置和法线向量用
Figure BDA0001463954690000045
和
Figure BDA0001463954690000046
表示，控制点是点云的顶点中采样获得，由控制点初始位置
Figure BDA0001463954690000047
控制点局部仿射变换
Figure BDA0001463954690000048
构成，点云中的顶点到控制点图采用4-近邻构建，每个顶点连接4个最近控制点，将4个最近控制点的变换插值用于变换顶点的三维位置和法线向量，
Figure BDA0001463954690000049
和
Figure BDA00014639546900000418
分别为变换后的三维位置和法线向量。
Figure BDA00014639546900000410
Figure BDA00014639546900000411
Figure BDA00014639546900000412
distmax是
Figure BDA00014639546900000413
到其除4近邻控制点外最近的控制点的距离，k为顶点编号，l表示k号顶点的4近邻控制点；控制点到控制点图采用8-近邻构建，用于约束EMD图的非刚体形变。参见R.W.Sumner,J.Schmid,and M.Pauly.Embedded deformation for shapemanipulation.ACM Transactions on Graphics,26(3):80,2007。关键帧的提取依据是选取该段的时间间隔内彩色图像最清晰的帧。参见F.Crete,T.Dolmiere,P.Ladret,andM.Nicolas.The blur effect:perception and estimation with a new no-referenceperceptual blur metric.Proceedings of SPIE,2007。
整个三维重建过程关键是逐步构建
Figure BDA00014639546900000414
并逐步对
Figure BDA00014639546900000415
做优化的过程。具体的：在初始时刻，相机位于坐标零点，使用I0、
Figure BDA00014639546900000416
初始化
Figure BDA00014639546900000417
中的Surfel。在t时刻，如果t不是m的整数倍，则仅进行相机跟踪和Surfel融合。将当前
Figure BDA0001463954690000056
中所有Surfel投影到t-1时刻的相机位姿获得t-1时刻相机坐标系下的可见点云，利用刚体的ICP算法估计t-1到t时刻点云的位姿变换，以此作为相机的位姿变换，确定新的t时刻相机位姿。然后将It、
Figure BDA0001463954690000057
中的三维点信息、法线信息、颜色信息融合到最新的段
Figure BDA0001463954690000058
中，并且更新对应的半径radius和置信度confidence。如果t是m的整数倍，则在进行相机跟踪和Surfel融合之后，还需要提取EMD图、关键帧
Figure BDA0001463954690000059
关键帧相机位姿
Figure BDA00014639546900000510
如果t>1则还需进行
Figure BDA00014639546900000511
的整体优化后再进行后续操作，将
Figure BDA00014639546900000512
加入关系图
Figure BDA00014639546900000513
中，然后新建段
Figure BDA00014639546900000514
段的邻接关系图
Figure BDA00014639546900000515
用于后续整体优化，近邻关系集合用
Figure BDA00014639546900000516
表示，，存储
Figure BDA00014639546900000517
中各个段的近邻关系，构建
Figure BDA00014639546900000518
时，每次将和
Figure BDA00014639546900000519
的相机位姿的夹角接近的段加入
Figure BDA00014639546900000520
中：其中[Ti]3表示Ti的第3列，γ指夹角阈值；
arccos([Ti]3·[Tj]3)<γ
Figure BDA00014639546900000521
的整体优化旨在非刚体优化
Figure BDA00014639546900000522
中的每一片点云，并且更新
Figure BDA00014639546900000523
中所有的关键帧相机位姿。优化对象是所有的EMD图中的控制点局部仿射变换，优化目标是最小化能量函数E：
E＝λgeoEgeo+λphotoEphoto+λsmoothEsmooth+λrotErot
Figure BDA0001463954690000051
Figure BDA0001463954690000052
Figure BDA0001463954690000053
Figure BDA0001463954690000054
Figure BDA0001463954690000055
其中，λ为各能量项的权重，
Figure BDA00014639546900000524
为第i段和第j段点对的集合；在优化EMD图之后，将
Figure BDA00014639546900000525
中所有的Surfel按照EMD图的插值变换公式更新。相机位姿更新依据EMD图中的局部变换，将所有K个控制点的局部变化做平均，获得更新的关键帧相机位姿
Figure BDA0001463954690000064
其中
Figure BDA0001463954690000065
是正交矩阵，用如下形式表达：
Figure BDA0001463954690000061
Figure BDA0001463954690000062
Figure BDA0001463954690000063
在获得优化后的关键帧相机位姿之后，按照同样的方法更新
Figure BDA0001463954690000066
中最后一帧，即It、
Figure BDA0001463954690000067
的相机位姿，用于下一帧的相机跟踪。
(3)根据获取的关键帧相机位姿和关键帧彩色图片，计算三维网格模型的纹理贴图。首先使用泊松重建算法，使用
Figure BDA0001463954690000068
中所有的Surfel提取稠密网格。参见M.Kazhdan,M.Bolitho,and H.Hoppe.Poisson surface reconstruction.pages 61–70,2006。将
Figure BDA0001463954690000069
中的关键帧集合{Ii}按照关键帧相机位姿集合{Ti}在网格上计算纹理贴图，该纹理不涉及材质，仅计算网格上每一个三角面片在关键帧集合{Ii}中的对应，将对应于关键帧集合{Ii}中的纹理打包成一张纹理贴图。参见M.Waechter,N.Moehrle,and M.Goesele.Let there becolor！Large scale texturing of 3D reconstructions.Lecture Notes in ComputerScience(including subseries Lecture Notes in Artificial Intelligence andLecture Notes in Bioinformatics),8693LNCS(PART5):836–850,2014。
本发明的有益效果在于：
1、将物体区域提取出来，减少非物体区域的深度数据对于后面相机跟踪和整体优化的影响，减少优化到错误局部最优解的可能性；
2、在扫描过程中，将数据分段融合，基于EMD图进行非刚体全局注册，使用CUDA在GPU上快速求解，将相机跟踪过程中的误差、输入本身的畸变逐步修正；
3、使用修正的关键帧相机位置和关键帧图像计算高质量纹理贴图。
附图说明
图1为本发明的技术方案流程图；
图2为物体区域提取结果示意图；
图3为非刚体全局优化示意图；
图4为网格提取结果和纹理贴图结果示意图。
具体实施方式
如图1所示，使用彩色深度相机进行单个物体的三维重建和纹理贴图的方法，包括以下三个步骤，1、在扫描过程中对扫描的物体区域进行提取；2、根据彩色深度数据进行相机跟踪和深度数据的局部融合，对局部融合的数据进行全局的非刚体注册，通过迭代优化的方法，逐步构建总体的三维模型和准确的相机位置；3、根据前面获取的关键帧相机位置和关键帧彩色图片，计算三维网格模型的纹理贴图。
下面结合实例以及附图2-4对本发明进行详细说明。
现具体介绍本方法的三个步骤：
1)在扫描过程中对扫描的物体区域进行提取，如图2所示，具体为：以手工标注、物体检测或者显著性检测获得的物体框
Figure BDA0001463954690000074
作为初始物体框，顺序的进行物体跟踪和物体区域提取，即对于每一个新的彩色帧和深度帧，用It和Dt表示，获取更新的物体框
Figure BDA0001463954690000075
和物体像素集合
Figure BDA0001463954690000076
t为当前时间，T为最后一帧对应的时间，对于连续的两帧，Dt和Dt+1，使用Sobel算子提取深度边缘像素，并且去除不在范围[dmin,dmax]中的边缘像素，dmin和dmax设定为：
Figure BDA0001463954690000071
Figure BDA0001463954690000072
Figure BDA0001463954690000073
记为Edget和Edget+1。进一步的，去除Edget中不在物体框
Figure BDA0001463954690000077
中的边缘像素。对于Edget和Edget+1中的边缘像素根据八邻域分别提取连通区域，然后对于在这些连通区域上提取一系列特征点
Figure BDA0001463954690000078
和
Figure BDA0001463954690000079
提取方法为每3个点采样一个点。之后，对这些特征点提取SIFT特征，然后对
Figure BDA00014639546900000710
中的每一个特征点在
Figure BDA00014639546900000711
找一个最近邻匹配。标记
Figure BDA00014639546900000712
中每一个匹配上的特征点，以此为依据删除Edget+1中的不稳定边缘连通区域，具体为：匹配特征点绝对数量小于3个或者相对数量小于该边缘连通区域总像素数量10％。然后根据剩余的连通区域像素计算包围盒，作为新的物体框
Figure BDA0001463954690000085
之后，在新的物体框
Figure BDA0001463954690000086
和深度图Dt+1的基础上，进一步的提取物体区域
Figure BDA0001463954690000087
具体为：首先对于物体框
Figure BDA0001463954690000088
高度不变，左右各延展25％，将延展的部分用
Figure BDA0001463954690000089
表示。
Figure BDA00014639546900000810
主要由支撑平面构成。对于深度图Dt+1中的每一个像素p，计算对应的三维点位置v(p)和对应的法线向量n(p)
v(p)＝D(pt)K-1[pT,1]T
Figure BDA0001463954690000081
pright和pdown分别是p在二维图像上的右边邻接像素和下边邻接像素，K是相机标定矩阵。对于延展区域
Figure BDA00014639546900000811
中的像素，计算其法向量的均值
Figure BDA00014639546900000812
作为该视角下的局部支撑平面朝向的估计，对于物体框
Figure BDA00014639546900000813
中的像素，计算其三维点位置的中位数
Figure BDA00014639546900000814
作为该视角下的局部物体中心的估计：
Figure BDA0001463954690000082
然后根据Dt+1中每个像素的三维点位置到估计的物体中心的平行于支撑平面的距离进行像素筛选。具体筛选公式如下，α设为1.5：
Figure BDA0001463954690000083
Figure BDA0001463954690000084
根据上述步骤可以迭代的获取每一个输入It和Dt的物体像素集合
Figure BDA00014639546900000815
在扫描过程中顺序的对扫描的物体区域进行提取。
2)根据彩色深度数据进行相机跟踪和深度数据的局部融合，对局部融合的数据进行全局的非刚体注册，得到总体的三维模型和准确的相机位置。具体为：首先按照传统的方式，将初始相机位置设为世界坐标系原点，利用刚体ICP算法逐帧跟踪相机，并将It及物体像素集合
Figure BDA00014639546900000816
的深度
Figure BDA00014639546900000817
根据相机位置融合到以Surfel的形式表达的模型中。参见T.Whelan,S.Leutenegger,R.F.Salas-moreno,B.Glocker,andA.J.Davison.ElasticFusion:Dense SLAM Without A Pose Graph Robotics:Scienceand Systems,2015(December),2015。模型被表达为一系列Surfel的集合，其中，单个Surfel可以被表示为六元组{v，n，color，radius，confidence}，分别为三维点位置、法线向量、颜色、半径、置信度。同时，Surfel按时间顺序被分割入不同的段，用
Figure BDA0001463954690000096
表示：
Figure BDA0001463954690000091
t为当前时间，m为分段间隔，m设为40。
Figure BDA0001463954690000097
包含了段内的所有Surfel，还包含Embedded Deformation(EMD)图、关键帧Ii和关键帧相机位姿Ti，
Figure BDA0001463954690000092
Figure BDA0001463954690000098
为Ti中的3×3的旋转分量，
Figure BDA0001463954690000099
为Ti中的3×1的平移分量。
其中，EMD图用于后续的非刚体全局注册。具体由点云中的顶点到控制点图和控制点到控制点图构成。点云中顶点的初始位置和法线向量用
Figure BDA00014639546900000910
和
Figure BDA00014639546900000911
表示，控制点是点云的顶点中采样获得，控制点是点是点云中采样获得，由控制点位置
Figure BDA00014639546900000912
控制点局部变换
Figure BDA00014639546900000913
和
Figure BDA00014639546900000914
构成。EMD图采样16个控制点，采样使用简单的系统抽样(Systematic Sampling)算法。点云中的顶点到控制点图采用4-近邻构建，每个顶点连接4个最近控制点，将4个最近控制点的变换插值变换顶点的三维位置和法线向量。
Figure BDA00014639546900000915
和
Figure BDA00014639546900000916
分别为变换后的三维位置和法线向量。
Figure BDA0001463954690000093
Figure BDA0001463954690000094
Figure BDA0001463954690000095
distmax是
Figure BDA00014639546900000917
到其除4近邻控制点外最近的控制点的距离，k为顶点编号，l表示k号顶点的4近邻控制点。控制点到控制点图采用8-近邻构建，用于约束EMD图的非刚体形变。参见R.W.Sumner,J.Schmid,and M.Pauly.Embedded deformation for shapemanipulation.ACM Transactions on Graphics,26(3):80,2007。关键帧的提取依据是选取该段的时间间隔内彩色图像最清晰的帧。参见F.Crete,T.Dolmiere,P.Ladret,andM.Nicolas.The blur effect:perception and estimation with a new no-referenceperceptual blur metric.Proceedings of SPIE,2007。
整个三维重建过程关键是逐步构建
Figure BDA0001463954690000103
并逐步对
Figure BDA0001463954690000104
做优化的过程，如图3所示。具体的：在初始时刻，相机位于坐标零点，使用I0、
Figure BDA0001463954690000105
初始化
Figure BDA0001463954690000106
中的Surfel。在t时刻，如果t不是m的整数倍，则仅进行相机跟踪和Surfel融合。将当前
Figure BDA0001463954690000107
中所有Surfel投影到t-1时刻的相机位姿获得t-1时刻相机坐标系下的可见点云，利用刚体的ICP算法估计t-1到t时刻点云的位姿变换，以此作为相机的位姿变换，确定新的t时刻相机位姿。然后将It、
Figure BDA0001463954690000108
中的三维点信息、法线信息、颜色信息融合到最新的段
Figure BDA0001463954690000109
中，并且更新对应的半径radius和置信度confidence。如果t是m的整数倍，则在进行相机跟踪和Surfel融合之后，还需要提取EMD图、关键帧
Figure BDA00014639546900001010
关键帧相机位姿
Figure BDA00014639546900001011
如果t>1则还需进行
Figure BDA00014639546900001012
的整体优化后再进行后续操作，将
Figure BDA00014639546900001013
加入关系图
Figure BDA00014639546900001014
中，然后新建段
Figure BDA00014639546900001015
段的邻接关系图
Figure BDA00014639546900001016
用于后续整体优化，近邻关系集合用
Figure BDA00014639546900001017
表示，存储
Figure BDA00014639546900001018
中各个段的近邻关系，构建
Figure BDA00014639546900001019
时，每次将和
Figure BDA00014639546900001020
的相机位置夹角接近的段加入
Figure BDA00014639546900001021
中，γ为相机夹角阈值，设为120°。
arccos([Ti]3·[Tj]3<γ)
Figure BDA00014639546900001022
的整体优化旨在非刚体优化
Figure BDA00014639546900001023
中的每一片点云，并且更新
Figure BDA00014639546900001024
中所有的关键帧相机位姿。优化对象是所有的EMD图中的控制点局部变换，优化目标是最小化能量函数E：
E＝λgeoEgeo+λphotoEphoto+λsmoothEsmooth+λrotErot
Figure BDA0001463954690000101
Figure BDA0001463954690000102
Figure BDA0001463954690000111
Figure BDA0001463954690000112
Figure BDA0001463954690000113
其中，λ为各能量项的权重。上述优化目标是一个非线性最小二乘问题，使用高斯-牛顿迭代法进行求解，固定迭代步数为5。为了方便计算雅可比矩阵，将需要更新的法向量
Figure BDA0001463954690000115
和关键帧相机位姿
Figure BDA0001463954690000116
初始化为{n}和{T}，在每一轮迭代中假设
Figure BDA0001463954690000117
和
Figure BDA0001463954690000118
不变，在计算计算雅可比矩阵时不进行求导，然后在每一步迭代之后更新法向量
Figure BDA0001463954690000119
和关键帧相机位姿
Figure BDA00014639546900001110
其中
Figure BDA00014639546900001111
是第i段和第j段之间的匹配点对，使用近似最近邻算法(FLANN)查找，使用点对的法线和距离进行过滤，具体过滤规则如下：
M1＝arccos(n(v1)·n(v2))
M2＝||v1-v2||
M3＝arccos(n(v1)·(v1-v2))
M4＝arccos(n(v2)·(v1-v2))
如果点对M1<30°并且M2<0.005m，该点对被加入
Figure BDA00014639546900001112
中，如果0.005m<M2<0.05m并且M1<30°、M3<30°、M4<30°该点对被加入
Figure BDA00014639546900001113
中。为了控制
Figure BDA00014639546900001114
中点对的数量，使用系统抽样算法对每个段内的点云进行采样，采样个数是512，保证
Figure BDA00014639546900001115
中对于固定i,j的匹配点数量上限是512(除去被过滤掉的)。
Figure BDA00014639546900001116
在迭代优化的每一步都需要重新进行最近邻查找、过滤。
对于上述提到的高斯-牛顿迭代法的每一步迭代，目标是求解下面的线性系统：
Figure BDA0001463954690000114
(JTJ)δx＝-JTr
x是由所有EMD图中的所有控制点的局部仿射变换组成的数组，其维度是：
Figure BDA0001463954690000124
r表示所有约束的当前迭代步骤的残差值。雅可比矩阵J的维度是：
Figure BDA0001463954690000125
Figure BDA0001463954690000126
由于J的维度非常大且非常稀疏，对JTJ进行矩阵分解非常耗时，所以使用预处理的共轭梯度法(PCG)求解上述线性系统，固定共轭梯度迭代步数，预处理矩阵使用diag(JTJ)-1。
在每一步迭代求得δx后，使用公式x＝x+δx更新所有的控制点局部变换，并且重新插值获得所有的
Figure BDA0001463954690000127
更新所有关键帧相机位姿
Figure BDA0001463954690000128
关键帧相机位姿更新依据EMD图中的局部变换，将所有K(K为16)个控制点的局部变化做平均，获得更新的关键帧相机位姿
Figure BDA0001463954690000129
和
Figure BDA00014639546900001210
其中
Figure BDA00014639546900001211
是正交矩阵，用如下形式表达：
Figure BDA0001463954690000121
Figure BDA0001463954690000122
Figure BDA0001463954690000123
在获得优化后的关键帧相机位姿之后，按照同样的方法更新
Figure BDA00014639546900001212
中最后一帧，即It、
Figure BDA00014639546900001213
的相机位姿，用于下一帧的相机跟踪。
3)如图4所示，根据前面获取的关键帧相机位姿和关键帧彩色图片，计算三维网格模型的纹理贴图。首先使用泊松重建算法，使用
Figure BDA00014639546900001214
中所有的Surfel提取稠密网格。参见M.Kazhdan,M.Bolitho,and H.Hoppe.Poisson surface reconstruction.pages 61–70,2006。将
Figure BDA00014639546900001215
中的关键帧集合{Ii}按照关键帧相机位姿集合{Ti}在网格上计算纹理贴图，该纹理不涉及材质，仅计算网格上每一个三角面片在关键帧集合{Ii}中的对应，将对应于关键帧集合{Ii}中的纹理打包成一张纹理贴图。参见M.Waechter,N.Moehrle,andM.Goesele.Let there be color！Large scale texturing of 3Dreconstructions.Lecture Notes in Computer Science(including subseries LectureNotes in Artificial Intelligence and Lecture Notes in Bioinformatics),8693LNCS(PART5):836–850,2014。

Claims (1)

1.一种基于彩色深度相机的单个物体的三维重建方法，其特征在于，包括以下步骤：
1)在扫描过程中对扫描的物体区域进行提取；
2)根据彩色深度数据进行相机跟踪和深度数据的局部融合，然后对局部融合的数据进行全局的非刚体注册，逐步构建总体的三维模型和准确的关键帧相机位置；
3)对融合模型进行网格提取，然后根据步骤2)获取的关键帧相机位置和关键帧彩色图片，计算三维网格模型的纹理贴图；
所述的步骤1)具体为：
以手工标注、物体检测或者显著性检测获得的物体框
Figure FDA00026454085100000126
作为初始物体框，顺序的进行物体跟踪和物体区域提取，在t时刻对于每一个新的彩色帧和深度帧，用It和Dt表示，获取更新的物体框
Figure FDA0002645408510000011
和物体像素集合
Figure FDA0002645408510000012
对于连续的两帧，Dt和Dt+1，使用Sobel算子提取深度边缘像素，并且去除不在范围[dmin，dmax]中的边缘像素后，分别记为Edget和Edget+1，dmin和dmax设定为：
Figure FDA0002645408510000013
Figure FDA0002645408510000014
Figure FDA0002645408510000015
其中：D(pt)是指像素pt的深度值；进一步的，去除Edget中不在物体框
Figure FDA0002645408510000016
中的边缘像素，然后对于Edget和Edget+1中的边缘像素根据八邻域分别提取连通区域，对于在这些连通区域上提取一系列特征点
Figure FDA0002645408510000017
和
Figure FDA0002645408510000018
提取方法为每3个点采样一个点，之后，对这些特征点提取SIFT特征，然后对
Figure FDA0002645408510000019
中的每一个特征点在
Figure FDA00026454085100000110
找一个最近邻匹配，标记
Figure FDA00026454085100000124
中每一个匹配上的特征点，以此为依据删除Edget+1中的不稳定边缘连通区域，所述的不稳定边缘连通区域具体为：匹配特征点绝对数量小于3个或者相对数量小于该边缘连通区域总像素数量10％；然后根据剩余的连通区域像素计算包围盒，作为新的物体框
Figure FDA00026454085100000112
之后，在新的物体框
Figure FDA00026454085100000113
和深度图Dt+1的基础上，进一步的提取物体像素集合
Figure FDA00026454085100000114
具体为：首先对于物体框
Figure FDA00026454085100000115
高度不变，左右各延展25％，将延展的部分用
Figure FDA00026454085100000116
表示，
Figure FDA00026454085100000117
由支撑平面像素构成，对于深度图Dt+1中的每一个像素p，计算对应的三维点位置v(p)和对应的法线向量n(p)
v(p)＝D(pt)K-1[pT，1]T
Figure FDA00026454085100000118
pright和pdown分别是p在二维图像上的右边邻接像素和下边邻接像素，K是相机标定矩阵，对于延展区域
Figure FDA00026454085100000125
中的像素，计算其法向量的均值
Figure FDA00026454085100000119
作为当前视角下的局部支撑平面朝向的估计，对于物体框
Figure FDA00026454085100000120
中的像素，计算其三维点位置的中位数
Figure FDA00026454085100000121
作为当前视角下的局部物体中心的估计：
Figure FDA00026454085100000122
然后根据Dt+1中每个像素的三维点位置到估计的物体中心
Figure FDA00026454085100000123
的平行于支撑平面的距离进行像素筛选，具体筛选公式如下，其中I为单位矩阵，α设为1.5：
Figure FDA0002645408510000021
Figure FDA0002645408510000022
根据上述步骤可以迭代的获取每一个输入It和Dt的物体像素集合
Figure FDA0002645408510000023
在扫描过程中顺序的对扫描的物体区域进行提取；
所述的步骤2)具体为：
首先将初始相机位置设为世界坐标系原点，利用刚体ICP算法逐帧跟踪相机，并将It及物体像素集合
Figure FDA00026454085100000227
的深度
Figure FDA00026454085100000228
根据相机位置融合到以面元的形式表达的模型中；模型被表达为一系列面元的集合，其中，单个面元可以被表示为五元组{v，n，color，radius，confidence}，分别为三维点位置、法线向量、颜色、半径、置信度，同时，面元按时间顺序被分割入不同的段，用
Figure FDA0002645408510000024
表示：
Figure FDA0002645408510000025
t为当前时间，m为分段间隔，i为段编号；
Figure FDA0002645408510000026
包含了段内的所有面元，还包含Embedded Deformation图、关键帧Ii和初始关键帧相机位姿Ti，其中，
Figure FDA0002645408510000027
Figure FDA0002645408510000028
为Ti中的3×3的旋转分量，
Figure FDA0002645408510000029
为Ti中的3×1的平移分量；
EMD图用于后续的非刚体全局注册，具体由点云中的顶点到控制点图和控制点到控制点图构成；点云中顶点的初始位置和法线向量用
Figure FDA00026454085100000210
和
Figure FDA00026454085100000211
表示，控制点是点云的顶点中采样获得，由控制点初始位置
Figure FDA00026454085100000212
控制点局部仿射变换
Figure FDA00026454085100000213
构成，点云中的顶点到控制点图采用4-近邻构建，每个顶点连接4个最近控制点，将4个最近控制点的变换插值用于变换顶点的三维位置和法线向量，
Figure FDA00026454085100000214
和
Figure FDA00026454085100000215
分别为变换后的三维位置和法线向量；
Figure FDA00026454085100000216
Figure FDA00026454085100000217
Figure FDA00026454085100000218
distmax是
Figure FDA00026454085100000219
到其除4近邻控制点外最近的控制点的距离，k为控制点编号，l为k号顶点的4近邻控制点；控制点到控制点图采用8-近邻构建，用于约束EMD图的非刚体形变；
关键帧的提取依据是选取该段的时间间隔内彩色图像最清晰的帧；
整个三维重建过程关键是逐步构建
Figure FDA00026454085100000220
并逐步对
Figure FDA00026454085100000221
做优化的过程，具体的：在初始时刻，相机位于坐标零点，使用I0、
Figure FDA00026454085100000222
初始化
Figure FDA00026454085100000223
中的面元；在t时刻，如果t不是m的整数倍，则仅进行相机跟踪和面元融合；将当前
Figure FDA00026454085100000224
中所有面元投影到t-1时刻的相机位姿获得t-1时刻相机坐标系下的可见点云，利用刚体的ICP算法估计t-1到t时刻点云的位姿变换，以此作为相机的位姿变换，确定新的t时刻相机位姿，然后将It、
Figure FDA00026454085100000225
中的三维点信息、法线信息、颜色信息融合到最新的段
Figure FDA00026454085100000226
中，并且更新对应的半径radius和置信度confidence；如果t是m的整数倍，则在进行相机跟踪和面元融合之后，还需要提取EMD图、关键帧
Figure FDA00026454085100000328
关键帧相机位姿
Figure FDA00026454085100000329
如果t＞1则还需进行
Figure FDA0002645408510000031
的整体优化后再进行后续操作，将
Figure FDA0002645408510000032
加入关系图
Figure FDA0002645408510000033
中，然后新建段
Figure FDA0002645408510000034
段的邻接关系图
Figure FDA0002645408510000035
用于后续整体优化，近邻关系集合用
Figure FDA0002645408510000036
表示，存储
Figure FDA0002645408510000037
中各个段的近邻关系，构建
Figure FDA0002645408510000038
时，每次将和
Figure FDA0002645408510000039
的相机位姿的夹角接近的段加入
Figure FDA00026454085100000310
中，其中[Ti]3表示Ti的第3列，γ指夹角阈值：
arccos([Ti]3·[Tj]3)＜γ
Figure FDA00026454085100000311
的整体优化旨在非刚体优化
Figure FDA00026454085100000312
中的每一片点云，并且更新
Figure FDA00026454085100000313
中所有的关键帧相机位姿；优化对象是所有的EMD图中的控制点局部仿射变换，优化目标是最小化能量函数E：
E＝λgeoEgeo+λphotoEphoto+λsmoothEsmooth+λrotErot
Figure FDA00026454085100000314
Figure FDA00026454085100000315
Figure FDA00026454085100000327
Figure FDA00026454085100000316
Figure FDA00026454085100000317
其中，λ为各能量项的权重，
Figure FDA00026454085100000318
为第i段和第j段点对的集合；在优化EMD图之后，将
Figure FDA00026454085100000319
中所有的面元按照EMD图的插值变换公式更新；相机位姿更新依据EMD图中的局部变换，将所有K个控制点的局部变化做平均，获得更新的关键帧相机位姿
Figure FDA00026454085100000320
其中
Figure FDA00026454085100000321
是正交矩阵，用如下形式表达：
Figure FDA00026454085100000322
Figure FDA00026454085100000323
Figure FDA00026454085100000324
在获得优化后的关键帧相机位姿之后，按照同样的方法更新
Figure FDA00026454085100000325
中最后一帧，It、
Figure FDA00026454085100000326
的相机位姿，用于下一帧的相机跟踪。
CN201711104182.7A 2017-11-10 2017-11-10 一种基于彩色深度相机的单个物体的三维重建方法 Active CN107845134B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711104182.7A CN107845134B (zh) 2017-11-10 2017-11-10 一种基于彩色深度相机的单个物体的三维重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711104182.7A CN107845134B (zh) 2017-11-10 2017-11-10 一种基于彩色深度相机的单个物体的三维重建方法

Publications (2)

Publication Number Publication Date
CN107845134A CN107845134A (zh) 2018-03-27
CN107845134B true CN107845134B (zh) 2020-12-29

Family

ID=61681545

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711104182.7A Active CN107845134B (zh) 2017-11-10 2017-11-10 一种基于彩色深度相机的单个物体的三维重建方法

Country Status (1)

Country Link
CN (1) CN107845134B (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108805979B (zh) * 2018-02-05 2021-06-29 清华-伯克利深圳学院筹备办公室 一种动态模型三维重建方法、装置、设备和存储介质
CN108597009B (zh) * 2018-04-10 2022-03-25 上海工程技术大学 一种基于方向角信息进行三维目标检测的方法
CN108665530B (zh) * 2018-04-25 2021-12-14 厦门大学 基于单张图片的三维建模实现方法
CN108665537B (zh) * 2018-05-15 2020-09-25 清华大学 联合优化人体体态与外观模型的三维重建方法及系统
CN108776989B (zh) * 2018-06-08 2022-06-24 北京航空航天大学 基于稀疏slam框架的低纹理平面场景重建方法
CN108961390B (zh) * 2018-06-08 2020-05-19 华中科技大学 基于深度图的实时三维重建方法
CN108898630B (zh) * 2018-06-27 2020-12-15 清华-伯克利深圳学院筹备办公室 一种三维重建方法、装置、设备和存储介质
CN109147025B (zh) * 2018-07-11 2023-07-18 北京航空航天大学 一种面向rgbd三维重建的纹理生成方法
CN108965852A (zh) * 2018-08-14 2018-12-07 宁波工程学院 一种具有容错能力的半自动2d转3d的方法
CN109242873B (zh) * 2018-08-22 2022-10-11 浙江大学 一种基于消费级彩色深度相机对物体进行360度实时三维重建的方法
CN109360268B (zh) * 2018-09-29 2020-04-24 清华大学 重建动态物体的表面优化方法及装置
CN109584362B (zh) * 2018-12-14 2023-03-21 北京市商汤科技开发有限公司 三维模型构建方法及装置、电子设备和存储介质
CN109582811B (zh) * 2018-12-17 2021-08-31 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN110361006B (zh) * 2019-06-28 2022-07-19 哈尔滨工程大学 局部航迹分维度的选择性航迹状态估计融合方法
CN110517305B (zh) * 2019-08-16 2022-11-04 兰州大学 一种基于图像序列的固定物体三维图像重构方法
CN111862139B (zh) * 2019-08-16 2023-08-18 中山大学 一种基于彩色-深度相机的动态物体参数化建模方法
CN111127633A (zh) * 2019-12-20 2020-05-08 支付宝(杭州)信息技术有限公司 三维重建方法、设备以及计算机可读介质
CN111652901B (zh) * 2020-06-02 2021-03-26 山东大学 一种基于置信度和特征融合的无纹理三维物体跟踪方法
CN111882661B (zh) * 2020-07-23 2022-07-26 清华大学 一种视频的立体场景重建方法
CN111968238A (zh) * 2020-08-22 2020-11-20 晋江市博感电子科技有限公司 基于动态融合算法的人体彩色三维重建方法
CN112434659B (zh) * 2020-12-07 2023-09-05 深圳市优必选科技股份有限公司 反光特征点剔除方法、装置、机器人和可读存储介质
CN113223132B (zh) * 2021-04-21 2022-05-17 浙江大学 基于反射分解的室内场景虚拟漫游方法
CN113689539B (zh) * 2021-07-06 2024-04-19 清华大学 基于隐式光流场的动态场景实时三维重建方法
CN113902846B (zh) * 2021-10-11 2024-04-12 岱悟智能科技(上海)有限公司 一种基于单目深度相机和里程传感器的室内三维建模方法
CN116804865B (zh) * 2023-08-28 2023-12-08 成都飞机工业（集团）有限责任公司 一种三轴自动化程编特征识别与刀轨生成方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104008571A (zh) * 2014-06-12 2014-08-27 深圳奥比中光科技有限公司 基于深度相机的人体模型获取方法及网络虚拟试衣系统
CN106780592A (zh) * 2016-06-30 2017-05-31 华南理工大学 基于相机运动和图像明暗的Kinect深度重建算法
CN106856012A (zh) * 2017-01-12 2017-06-16 上海云拟科技有限公司 一种实时大规模场景三维扫描建模方法及系统
CN107240129A (zh) * 2017-05-10 2017-10-10 同济大学 基于rgb‑d相机数据的物体及室内小场景恢复与建模方法
CN107292965A (zh) * 2017-08-03 2017-10-24 北京航空航天大学青岛研究院 一种基于深度图像数据流的虚实遮挡处理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104008571A (zh) * 2014-06-12 2014-08-27 深圳奥比中光科技有限公司 基于深度相机的人体模型获取方法及网络虚拟试衣系统
CN106780592A (zh) * 2016-06-30 2017-05-31 华南理工大学 基于相机运动和图像明暗的Kinect深度重建算法
CN106856012A (zh) * 2017-01-12 2017-06-16 上海云拟科技有限公司 一种实时大规模场景三维扫描建模方法及系统
CN107240129A (zh) * 2017-05-10 2017-10-10 同济大学 基于rgb‑d相机数据的物体及室内小场景恢复与建模方法
CN107292965A (zh) * 2017-08-03 2017-10-24 北京航空航天大学青岛研究院 一种基于深度图像数据流的虚实遮挡处理方法

Also Published As

Publication number Publication date
CN107845134A (zh) 2018-03-27

Similar Documents

Publication Publication Date Title
CN107845134B (zh) 一种基于彩色深度相机的单个物体的三维重建方法
CN109242873B (zh) 一种基于消费级彩色深度相机对物体进行360度实时三维重建的方法
CN109872397B (zh) 一种基于多目立体视觉的飞机零件的三维重建方法
CN107833270B (zh) 基于深度相机的实时物体三维重建方法
Kawai et al. Diminished reality based on image inpainting considering background geometry
Brox et al. Large displacement optical flow
EP3182371B1 (en) Threshold determination in for example a type ransac algorithm
EP2656309B1 (en) Method for determining a parameter set designed for determining the pose of a camera and for determining a three-dimensional structure of the at least one real object
WO2015139574A1 (zh) 一种静态物体重建方法和系统
CN109325444B (zh) 一种基于三维几何模型的单目无纹理三维物体姿态跟踪方法
Prisacariu et al. Simultaneous 3D tracking and reconstruction on a mobile phone
Collins et al. [POSTER] realtime shape-from-template: System and applications
CN113178009A (zh) 一种利用点云分割和网格修补的室内三维重建方法
CN112085849A (zh) 基于航拍视频流的实时迭代三维建模方法、系统及可读介质
CN114782628A (zh) 基于深度相机的室内实时三维重建方法
CN110580715B (zh) 一种基于照度约束和格网变形的图像对齐方法
Petit et al. Augmenting markerless complex 3D objects by combining geometrical and color edge information
Wan et al. Drone image stitching using local mesh-based bundle adjustment and shape-preserving transform
CN115393519A (zh) 一种基于红外可见光融合图像的三维重构方法
JP2002163647A (ja) レンズ歪み係数算出装置および算出方法、レンズ歪み係数算出プログラムを記録したコンピュータ読み取り可能な記録媒体
CN110706332B (zh) 一种基于噪声点云的场景重建方法
Zhao et al. 3D object tracking via boundary constrained region-based model
CN109859255B (zh) 大动作运动物体的多视角非同时采集与重建方法
Mahmoud et al. Fast 3d structure from motion with missing points from registration of partial reconstructions
CN115984592A (zh) 基于SuperPoint+SuperGlue的点线融合特征匹配方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20180327

Assignee: SHINING 3D TECH Co.,Ltd.

Assignor: ZHEJIANG University

Contract record no.: X2024980002979

Denomination of invention: A 3D reconstruction method for a single object based on color depth camera

Granted publication date: 20201229

License type: Common License

Record date: 20240319

EE01 Entry into force of recordation of patent licensing contract