CN102592308A - 基于小波变换的单相机视频三维重建方法 - Google Patents

Abstract

本发明属于计算机多媒体技术领域。为提供一种精确鲁棒的单相机视频三维重建方法，更加精确地重建非刚性物体形状和相机运动，本发明采取的技术方案是，一种基于小波变换的单相机视频三维重建方法，包括以下步骤：1)手持一台相机围绕一个运动物体运动，同时采集一段视频；2)采用KLT特征点跟踪方法计算每一帧图像的对应特征点；3)选取跟踪时间最长即所对应的帧图像最多的n个对应特征点；4)计算由步骤3)得到的的n个对应特征点所在的帧图像，并依照所含对应特征点多、图像之间间隔均匀的原则选取m幅帧图像；5)建立观测矩阵

6)基于小波变换将观测矩阵W分解；7)计算各个时刻的三维点云。本发明主要应用于视频三维重建。

Description

基于小波变换的单相机视频三维重建方法

技术领域

本发明属于计算机多媒体技术领域，具体讲，涉及小波变换及单相机视频三维重建方法。

背景技术

为了给人们带来视觉上的沉浸感、立体感以及对对象的全方位认识(视角可变、外部光照可变等)，现有的场景捕获已经从原有的单视角采集方式发展到多视角采集方式。多视角采集可以通过分布在不同位置上的多摄像机的同步采集来实现，国际上多所著名大学与研究机构如：斯坦福、麻省理工、卡奈基梅隆、萨里大学、三菱电子、微软研究院、马克斯-普朗克信息研究所都搭建了多摄像机采集系统。然而，多摄像机的采集方式存在成本高、校准复杂、系统维护困难、图像分辨率有限等问题。为了降低成本和复杂度、提高图像采集分辨率，另一种基于单相机视频的多视角采集方式越来越受到欢迎，并在广播电视、城市建设、等领域有着广泛的应用前景。该方法采用单个相机围绕场景拍摄一段视频，然后根据所拍摄的视频联合重建三维场景结构和相机的运动。这种方法对于刚性静态物体取得了很好的结果(J.Fortuna and A.M.Martinez，Rigid Structure from Motion from a Blind Source SeparationPerspective，International Journal of Computer Vision，Vol.88，No.3，pp.404-424，2010.)，但是对于非刚性运动物体，尤其是复杂的变形物体，仍然存在一定难度。一些研究人员采用DCT变换对物体形状轨迹进行建模来重建非刚性运动物体的形状和相机运动(I.Akhter，Y.A.Sheikh，S.Khan，and T.Kanade.Nonrigid structure from motion in trajectory space.in Neural InformationProcessing Systems，December 2008.P.F.U.Gotardo and A.M.Martinez.Computing smoothtime-trajectories for camera and deformable shape in structure from motion with occlusion.IEEETrans.PAMI，2011.)，但是DCT对于非平滑轨迹的描述能力有限，因而精度很难提高。

发明内容

为克服现有技术的不足，提供一种精确鲁棒的单相机视频三维重建方法，更加精确地重建非刚性物体形状和相机运动，为达到上述目的，本发明采取的技术方案是，一种基于小波变换的单相机视频三维重建方法，包括以下步骤：

1)手持一台相机围绕一个运动物体运动，同时采集一段视频；

2)采用KLT特征点跟踪方法计算每一帧图像的对应特征点，KLT为Kanade-Lucas-Tomasi字头缩写；

3)选取跟踪时间最长即所对应的帧图像最多的n个对应特征点；

4)计算由步骤3)得到的的n个对应特征点所在的帧图像，并依照所含对应特征点多、图像之间间隔均匀的原则选取m幅帧图像；

5)建立观测矩阵

，其中矩阵每一列为一个对应特征点在m幅帧图像上的对应像素位置，矩阵每两行为一幅帧图像上n个特征点对应的像素坐标(x，y)；

6)基于小波变换将观测矩阵W分解为

的形式，其中为运动矩阵，为形状基矩阵，r为形状基的个数，

为W平均列向量，

为元素都为1的向量，

为对角矩阵，对角线元素为m个帧图像所对应视角的2×3的旋转矩阵，

为截断的小波基函数，d为截断后的小波基个数，

为形状轨迹在小波基表示下的系数，I₃为3×3的单位矩阵，

表示矩阵的Kronecker乘法，(·)^T表示矩阵的转置；

7)计算各个时刻的三维点云，即动态三维点云

基于小波变换分解观测矩阵的方法具体包括以下步骤：

6-1)计算观测矩阵W的平均列向量t；

6-2)迭代地采用PTA方法计算矩阵D，直到平均正交化误差没有变化为止，PTA是pointtrajectory approach的字头缩写：

$e\left(D\right)=\frac{1}{m}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{\left|\right|I_2-R_i{R}_i^T\left|\right|}_F^2---\left(1\right)$

其中，R_i为第i帧图像所对应的2×3的旋转矩阵，I₂为2×2的单位矩阵，||·||_F表示矩阵的Frobenius范数；

6-3)计算J级分解的Daubechies 10(db10)小波的基函数矩阵，即对m×m的单位矩阵求反变换；

6-4)对步骤6-2)得到的Daubechies 10小波基矩阵进行截断，即去掉最后的m-d列，形成新的m×d的小波基矩阵Ω；

6-5)初始化 $X=\left[\begin{array}{c}{I}_r\\ 0\end{array}\right];$

6-6)采用Damped-Newton非线性优化方法求解以下优化问题：

其中，w_j为矩阵W的第j列，

表示矩阵的伪逆；

6-7)使用步骤6-6)得到的X求解M和S：

本发明的方法的特点及效果：

本发明方法避免了DCT基函数对运动轨迹描述过于平滑等问题，利用小波基函数多分辨率分析的特点及其对细节描述的优越性，实现了由单相机视频的高精度的非刚性动态物体三维重建，在小波变换域对形状轨迹进行更好的描述，从而更加精确地重建非刚性物体形状和相机运动，具体具有以下特点：

1、程序简单，易于实现；

2、采用Daubechies 10小波基函数对形状运动轨迹进行精确描述和逼近；

3、可根据单相机拍摄的视频同时估计出相机的运动和所拍摄运动物体的动态形状；

4、重建的动态三维点云精度高、迭代次数少。

本发明可以采用单个相机实现动态场景的三维重建。所提出的方法具有很好的可扩展性：可以通过使用小波基函数对相机运动轨迹进行描述将本发明方法扩展到刚性静态物体的三维重建中。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例的基于小波变换的单相机视频三维重建方法流程图；

图2为本发明实施例采用DCT基函数和小波基函数对Shark数据集重建的第1时刻的三维点云在三个视角下观看的结果。

具体实施方式

本发明利用小波基函数多分辨率分析的特点及其对细节描述的优越性，对形状轨迹进行更好的描述，从而更加精确地重建非刚性动态物体的形状和相机的运动。所得结果具有效果好，精度高，迭代次数少的特点。

本发明的基于小波变换的单相机视频三维重建方法，其特征在于包括以下步骤：

1)手持一台相机围绕一个运动物体运动，同时采集一段视频；

2)采用Kanade-Lucas-Tomasi(KLT)特征点跟踪方法计算每一帧图像的特征点对应；

3)选取跟踪时间最长(所对应的帧图像最多)的n个特征点；

4)计算由步骤3)得到的的n个特征点所在的帧图像，并依照所含特征点多、图像之间间隔均匀的原则选取m幅帧图像；

5)建立观测矩阵

，其中矩阵每一列为一个特征点在m幅帧图像上的对应像素位置，矩阵每两行为一幅帧图像上n个特征点对应的像素坐标(x，y)；

6)基于小波变换将观测矩阵W分解为

的形式，其中为运动矩阵，为对角矩阵，对角线元素为m个帧图像所对应视角的2×3的旋转矩阵，

为截断的小波基函数，

为形状轨迹在小波基表示下的系数，为形状基矩阵，r为形状基的个数，

为W平均列向量，

为元素都为1的向量，

表示矩阵的Kronecker乘法。具体包括以下步骤：

6-1)计算观测矩阵W的平均列向量t；

6-2)迭代地采用PTA方法(I.Akhter，Y.A.Sheikh，S.Khan，and T.Kanade.Nonrigidstructure from motion in trajectory space.in Neural Information Processing Systems，December2008.)计算矩阵D，直到平均正交化误差没有变化为止：

$e\left(D\right)=\frac{1}{m}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{\left|\right|I_2-R_i{R}_i^T\left|\right|}_F^2---\left(1\right)$

其中，R_i为第i帧图像所对应的2×3的旋转矩阵；

6-3)计算J级分解的Daubechies 10(db10)小波的基函数矩阵，即对m×m的单位矩阵求反变换；

6-4)对步骤6-2)得到的Daubechies 10小波基矩阵进行截断，即去掉最后的m-d列，形成新的m×d的小波基矩阵Ω；

6-5)初始化 $X=\left[\begin{array}{c}{I}_r\\ 0\end{array}\right];$

6-6)采用Damped-Newton非线性优化方法求解以下优化问题：

其中，w_j为矩阵W的第j列；

6-7)使用步骤6-6)得到的X求解M和S：

7)计算各个时刻的三维点云，即动态三维点云

本发明提出了一种基于小波变换的单相机视频三维重建方法，结合附图及实施例详细说明如下：

实现本发明方法的系统实施例结构如图1所示，为本发明实施例的基于小波变换的单相机视频三维重建方法流程图，包括以下步骤：

1)手持一台相机围绕一个运动物体运动，同时采集一段视频；

2)采用Kanade-Lucas-Tomasi(KLT)特征点跟踪方法计算每一帧图像的特征点对应；

3)选取跟踪时间最长(所对应的帧图像最多)的91个特征点；

4)计算由步骤3)得到的的91个特征点所在的帧图像，并依照所含特征点多、图像之间间隔均匀的原则选取240幅帧图像；

5)建立观测矩阵

，其中矩阵每一列为一个特征点在240幅帧图像上的对应像素位置，矩阵每两行为一幅帧图像上91个特征点对应的像素坐标(x，y)；

6)基于小波变换将观测矩阵W分解为

的形式，其中形状基个数为3个，

为运动矩阵，

为对角矩阵，对角线元素为240个帧图像所对应视角的2×3的旋转矩阵，为截断的小波基函数，

为形状轨迹在小波基表示下的系数，

为形状基矩阵，

为W平均列向量，

为元素都为1的向量，

表示矩阵的Kronecker乘法，(·)^T表示矩阵的转置，I₃为3×3的单位矩阵。具体包括以下步骤：

6-1)计算观测矩阵W的平均列向量t；

6-2)迭代地采用PTA方法(I.Akhter，Y.A.Sheikh，S.Khan，and T.Kanade.Nonrigidstructure from motion in trajectory space.in Neural Information Processing Systems，December2008.)计算矩阵D，直到平均正交化误差没有变化为止：

$e\left(D\right)=\frac{1}{240}\underset{i=1}{\overset{240}{\mathrm{\Σ}}}{\left|\right|I_2-R_i{R}_i^T\left|\right|}_F^2---\left(1\right)$

其中，R_i为第i帧图像所对应的2×3的旋转矩阵；

6-3)计算J级分解的Daubechies 10(db10)小波的基函数矩阵，即对240×240的单位矩阵求反变换；

6-4)对步骤6-2)得到的Daubechies 10小波基矩阵进行截断，即去掉最后的240-24列，形成新的240×24的小波基矩阵Ω；

6-5)初始化 $X=\left[\begin{array}{c}{I}_3\\ 0\end{array}\right];$

6-6)采用Damped-Newton非线性优化方法求解以下优化问题：

其中，w_j为矩阵W的第j列；

6-7)使用步骤6-6)得到的X求解M和S：

7)计算各个时刻的三维点云，即动态三维点云

本实施例对Shark数据集重建的第1时刻的三维点云在三个视角下观看的结果及与采用DCT基函数表示的方法的比较如图2所示，其中(a)图为采用DCT基函数的方法(P.F.U.Gotardo and A.M.Martinez.Computing smooth time-trajectories for camera anddeformable shape in structure from motion with occlusion.IEEE Trans.PAMI，2011.)得到的三维点云结果；(b)图为采用本发明方法得到的三维点云结果。黑色实点为真值，红色空圈为方法计算的结果。下表给出了采用DCT基函数和小波基函数对Shark数据集重建动态三维点云的方法性能比较表：

基函数	迭代次数	RMSE	最大误差	点云误差
					DCT	6	0.0312	1.0163	0.0081
Db10	10	0.0001	0.0013	0.0000

其中RMSE(root-mean-square error)为恢复的观测矩阵与原始观测矩阵之间的均方根误差，最大误差为恢复的观测矩阵与原始观测矩阵对应元素的最大误差，点云误差为重建的三维点云与真值之间的平均欧氏距离。

Claims (2)

1.一种基于小波变换的单相机视频三维重建方法，其特征在于该方法包括以下步骤：：

1)手持一台相机围绕一个运动物体运动，同时采集一段视频；

2)采用KLT特征点跟踪方法计算每一帧图像的对应特征点，KLT为Kanade-Lucas-Tomasi字头缩写；

3)选取跟踪时间最长即所对应的帧图像最多的n个对应特征点；

4)计算由步骤3)得到的的n个对应特征点所在的帧图像，并依照所含对应特征点多、图像之间间隔均匀的原则选取m幅帧图像；

5)建立观测矩阵

，其中矩阵每一列为一个对应特征点在m幅帧图像上的对应像素位置，矩阵每两行为一幅帧图像上n个特征点对应的像素坐标(x，y)；

6)基于小波变换将观测矩阵W分解为

的形式，其中

为运动矩阵，

为形状基矩阵，r为形状基的个数，

为W平均列向量，为元素都为1的向量，为对角矩阵，对角线元素为m个帧图像所对应视角的2×3的旋转矩阵，

为截断的小波基函数，d为截断后的小波基个数，

为形状轨迹在小波基表示下的系数，I₃为3×3的单位矩阵，

表示矩阵的Kronecker乘法，(·)T表示矩阵的转置；

7)计算各个时刻的三维点云，即动态三维点云

2.如权利要求1所述方法，其特征是，基于小波变换分解观测矩阵的方法具体包括以下步骤：

6-1)计算观测矩阵W的平均列向量t；

6-2)迭代地采用PTA方法计算矩阵D，直到平均正交化误差没有变化为止，PTA是pointtrajectory approach的字头缩写：

$e\left(D\right)=\frac{1}{m}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{\left|\right|I_2-R_i{R}_i^T\left|\right|}_F^2---\left(1\right)$

其中，R_i为第i帧图像所对应的2×3的旋转矩阵，I₂为2×2的单位矩阵，||·||_F表示矩阵的Frobenius范数；

6-3)计算J级分解的Daubechies 10(db10)小波的基函数矩阵，即对m×m的单位矩阵求反变换；

6-4)对步骤6-2)得到的Daubechies 10小波基矩阵进行截断，即去掉最后的m-d列，形成新的m×d的小波基矩阵Ω；

6-5)初始化 $X=\left[\begin{array}{c}{I}_r\\ 0\end{array}\right];$

6-6)采用Damped-Newton非线性优化方法求解以下优化问题：

其中，w_j为矩阵W的第j列，

表示矩阵的伪逆；

6-7)使用步骤6-6)得到的X求解M和S：

Images