CN103927787A - 一种基于矩阵恢复的提高三维重建精度的方法及其装置 - Google Patents

Abstract

本发明开发了一种基于矩阵恢复的提高三维重建精度的方法及其装置，属于计算机视觉领域。该方法包括：使用基于深度合成的方法得到目标物体的点云；将点云转化为指定的数据矩阵；对数据矩阵进行矩阵恢复，使用APG算法提高计算速度；将矩阵恢复得到的结果矩阵转化为点云；应用泊松重建将点云重建出最终的三维表面模型。该装置包括：原始图像获取模块、标定模块、模型预处理模块、深度估计模块、数据矩阵生成模块、矩阵恢复模块、表面模型重建模块。本发明通过矩阵恢复的方法对三维重建中的点云模型进行优化，在保证效率的前提下大大提高了三维重建模型的精度。

Description

一种基于矩阵恢复的提高三维重建精度的方法及其装置

技术领域

本发明涉及计算机视觉领域，特别涉及一种提高多视点三维重建精度的方法及其装置。

背景技术

近年来，随着计算机视觉和虚拟现实技术的发展，三维建模逐渐在工业设计、影视制作、电子游戏、文化遗产保护以及电子商务等多个领域中扮演重要角色，如何根据目标物体精确高效地建立三维模型成为一个广泛关注的问题。基于图片的三维重建是这样一个过程，通过寻找两幅或者多幅图像之间的匹配像素点，然后将他们的2D位置转化到3D深度，从而估计出场景的一个3D模型。

基于图像序列的多视点三维重建方法是一种易于实现、高效率的三维建模方式，已提出的三维重建算法大体可以分为四大类：

第一类方法计算三维体积的代价函数，并根据这个体积提取表面。一种典型代表是像素着色法(voxel coloring algorithm)，这种算法对整个体积进行一个遍历，计算代价并使用低于一定阈值的代价重建体素。

第二类通过迭代展开表面来最小化代价方程。这类方法包括基于体素的、分级的和表面网格的算法。典型代表是空间雕刻算法(space carving methods)，这种算法逐渐从初始的形体上去除与图像冲突的体素，最终得到所求模型。

第三类是是通过计算每个视点图像空间上的深度图来重建模型，这种方法需要连续的图像以保证每个深度图的准确性，最终将所有深度图在一个空间中合成为三维模型。

第四类方法由两部分组成，首先提取并匹配出一系列特征点，而后根据这些特征生成合适的模型表面。

在以上这些算法中，基于深度图合成的方法以其在适应性和精度上的优势成为当今世界上认可度最高的方法之一。这种三维重建方法大体可以分为两步：首先，通过双目视觉计算出每个视点上图片对应的点云；而后，对所有的点云进行全局滤波和优化，最终合成为一个三维表面模型。

在实现发明的过程中，上述现有技术至少具有以下缺点：由于目标物体上的一处会被多个采集装置捕捉到，在合成多个视点的点云时将产生大量冗余。同时，双目视觉计算中产生的偏差点和异常点难以去除，导致合后的三维空间中的点云包含大量干扰点，这是三维重建结果精度受限的主要原因。

由于最终的3D模型是由点云生成的，去除点云中的异常点和错误匹配在提高3D模型精度上起到了重要作用。近年来很多用于点云优化的方法被提出，大体可以分为物理滤波方法和数学滤波方法两类。Bradley、Boubekeur和Heidrich发表的“Accurate multi-view reconstructionusing robust binocular stereo and surface meshing”(CVPR2008:1-8)中利用了归一化互相关系数(NCC)作为度量方法来精化点云。这种物理滤波方法易于实现，但对点云的优化效果有限。Campbell、Vogiatzis、Hernández和Cipolla在发表的论文“Using multiple hypotheses to improvedepth-maps for multi-view stereo”(ECCV2008:766-779)中通过对每个像素提取多个像素候选，而后使用全局的优化算法去除错误点，实现点云的平滑。Zach、Pock和Bischof在发表的论文“A duality based approach for realtime tv-l1optical flow”(Pattern Recognition2007:214-223)中使用全变分和L₁范数计算点云。邓岳和刘烨斌等发表的论文“Noisy depth maps fusion formultiview stereo via matrix completion”(Selected Topics in Signal Processing20126(5):566-582.)进一步提出了基于矩阵完备的噪声深度图融合方法，通过完备一个由可观察到点组成的秩为1的矩阵实现优化。这种数学滤波方法起到了一定效果，但是完备矩阵中包含了过多的丢失项，导致生成的3D模型精度并不够高。

发明内容

针对上述现有技术中存在的缺陷，为了提高三维重建模型的质量，本发明的目的是提供一种精确高效地重建关于目标物体三维模型的方法，在模型优化部分使用了矩阵恢复算法。本发明的另外一个目的是提供实现该方法的装置。

为了实现上述发明目的，本发明方法采用的技术方案如下：

一种基于矩阵恢复的提高三维重建精度的方法，包括如下步骤：

S1，将待处理的点云模型按照视点进行编组，设点云原有N个视点，编组满足以下要求：对于第N组点云，要求其包括以第N个视点得到的图片作为主图像或者参考图像时得到的所有空间点，也就是说，这些点均可以被第N个视点观察到；

S2，将一个编组中的所有点在世界坐标下的坐标值依次置入一个行向量中，按照x坐标、y坐标、z坐标的顺序，最终得到N个行向量；

S3，将上述N个行向量组成一个N列的数据矩阵D，没有元素的位置补0；

S4，整理数据矩阵D，根据图像光流计算中像素和点的对应关系，将同一个像素对应点的x坐标、y坐标、z坐标分别置于一列中，在没有出现该点的视图一行补0；

S5，将数据矩阵D表示为：D＝A+E，A表示由准确点的坐标构成的矩阵，E表示有错误或是冗余的点的坐标构成的矩阵；通过矩阵恢复算法计算出矩阵A，这里采用APG(accelerated proximal gradient)算法加快计算速度；

S6，将矩阵恢复得到的矩阵A转化为点云；

S7，使用泊松表面重建算法得到最终三维表面模型。

所述步骤S3中，数据矩阵D的组成方法为：首先将步骤S2中建立的N个行向量依次放置在一个矩阵的对角线上，也就是说该矩阵的每个列向量中最多只有一个元素为非零元素；而后，遍历N个视点对应的N个原始图像，根据图像上像素的对应关系，将对应点所在的列合并，即将表示同一点的坐标放在同一列上；由于基于深度图像估计和合成的三维重建算法中，每个有效的深度估计都对应一组图像中的一对匹配点，可以通过这种方法找到空间中某一表面点在多个原始图像中的映射点，这些映射点将处于同一列中，由此得到数据矩阵D。

所述步骤S5中，数据矩阵D由于每行中只有较少的点是错误的或是不准确的，是一个低秩的矩阵，因此，矩阵E的大部分元素是0或是接近于0的元素，即E是一个稀疏矩阵。这里将问题表示为：

$\begin{array}{c}\underset{A,E}{\min }\mathrm{rank}\left(A\right)+\mathrm{\λ}{\left|\right|E\left|\right|}_0\\ s.t.D=A+E\end{array}----\left(1\right)$

其中||·||₀表示l₀范数，λ是调节矩阵A和矩阵E所占比例的平衡因子；

采用凸松弛的方法，将上述问题转化为

$\begin{array}{c}\underset{A,E}{\min }{\left|\right|A\left|\right|}_{*}+\mathrm{\λ}{\left|\right|E\left|\right|}_1\\ s.t.D=A+E\end{array}---\left(2\right)$

其中||·||_*表示中心范数，||·||₁表示l₁范数，λ是平衡因子，取值为其中C是常数，上述问题的松弛化方法可以表示为：

$\underset{A,E}{\min }F\left(X\right)=\mathrm{\μ}{\left|\right|A\left|\right|}_{*}+\mathrm{\μ\λ}{\left|\right|E\left|\right|}_1+\frac{1}{2}{\left|\right|D-A-E\left|\right|}_F^2---\left(3\right)$

为了快速准确地解出上式中的A，迭代使用APG算法，基本的APG迭代形式为：

$\begin{array}{c}{A}_{k+1}=U{S}_{\frac{{\mathrm{\μ}}_k}{2}}\left[S\right]V^T\\ E_{k+1}=S_{\frac{{\mathrm{\λ\μ}}_k}{2}}\left[G_k^E\right]\end{array}---\left(4\right)$

其中USV^T表示的奇异分解，S_∈[x]是一个收缩算子，可表示为：

$S_{\&Element;}\left[x\right]=:\left\{\begin{array}{c}x-\&Element;\mathrm{ifx}>\&Element;\\ x+\&Element;\mathrm{ifx}<-\&Element;\\ \begin{array}{cc}0& \mathrm{otherwise}\end{array}\end{array}\right.---\left(5\right)$

其中x∈R，ε>0，

μ是一个小的正变量，首先设置μ为一个较大的初值μ₀，在每次迭代中几何性地减μ，直到达到一个固定值这种方法可以显著提高收敛速度，μ_k是一个单调递增的序列，即η>1。

本发明实现上述方法的一种提高三维重建精度的装置，具体包括如下模块：原始图像获取模块，用于捕捉目标物体的原始图像；标定模块，使用一种标定方法获得每个图像采集工具的标定参数；模型预处理模块，用于生成一种目标物体的粗略模型，表示出目标物体在世界坐标系下的空间范围；深度估计模块，计算出每幅图像的深度图；数据矩阵生成模块，将所有图像对应的深度图转化为所述数据矩阵D；矩阵恢复模块，对上述数据矩阵D进行矩阵恢复，应用APG算法加快运算速度；表面模型重建模块，将矩阵恢复得到结果转化为点云，通过泊松表面重建算法得到最终的三维表面模型。

本发明在保证效率的前提下，大大提升了三维重建结果的精确度和完整性，实验结果在公认的多视点三维重建评估排名(Middlebury MView Evaluation)中名列前茅。本发明可以应用于其他类似的大规模点云优化工作，可以有效去除噪点，提高点云的整体质量。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性的劳动前提下，还可以根据这些附图获得其他的附图。

图1是本发明提高三维重建精确度的方法的流程图；

图2是根据一个像素的光流估计推导出对应空间点坐标的示意图；

图3(a)、(b)、(c)、(d)是进行基于矩阵恢复的优化前后模型效果对比图；

图4是本发明提高三维重建精确度的装置的结构示意图。

具体实施方式

为使本发明的目的，技术方案和优点更加清楚，下面将结合附图对本发明实施方法作进一步地详细描述。

实施例1

本实施例提供了一种基于矩阵恢复的多视点三维重建方法，参见图1，具体包括：

(1)在N个不同视点设置图像采集装置，对这些采集装置进行标定，使用N个已标定的图像采集设备对目标物体采集图像，获得每个装置的内参数和外参数(拟合为针孔相机模型)。获取图像要求具有一定的连续性，以保证足够准确的光流估计。如在目标物体所在的平面上摆放所有图像采集装置，所有装置放置于以目标物体为环心得环上，采集方向指向目标物体。

(2)使用视觉外形(visual hull)算法计算出目标物体在空间中的可视外形，表示出物体所处的空间范围，作为后续计算的初值。

(3)分别以每一幅图像作为主图像，找到拍摄视点与其相近的图像作为参考图像，使用变分法估计得到每个主图像到参考图像的光流，进一步生成该视图对应的深度图。光流估计中使用步骤(2)中的得到的可视外形模型计算出主图像上每个像素的理论光流矢量，作为光流计算的初值，可以有效提升光流估计的稳定性。

由图像中一个像素点和它与参照图像中的光流计算空间点坐标的方法如图2所示。其中C₁和C₂分别表示两个图像对应的相机中心，它们在世界坐标系下的坐标可以由标定参数计算得到。p₁(x,y)是主图像上任意一个像素点，p₂是p₁在参考图像中的匹配点，P目标物体表面上与p₁、p₂对应的点。在已计算出光流o(u,v)的情况下，p₂可表示为p₂(x+u,y+v)。由此可以计算出向量e₁＝p₁-C₁；e₂＝p₂-C₂；e₃＝C₂-C₁。根据极线几何的知识，e₁、e₂、e₃处于一个平面上，解方程λ₁e₁-λe₂＝e₃可得到常数λ₁、λ₂，则世界坐标下点P可表示为C₁+λe₁，或C₂+λe₂。

(4)运用对极几何原理将光流图像进一步转化为世界坐标下的点云。当一个主要图像有多个参考图像时，将会得到多个关于该主图像的点云。我们将每个点按照其在原始图像上的像素位置分块，在对应块之间计算归一化互相关系数(NCC)。归一化互相关系数反应了点云块之间的相似程度，我们只保留NCC系数较高的点云块，融合为一个滤波后的点云。这里得到的点云一方面包含接近物体真实表面的有效点，另一方面包含大量冗余和异常点。冗余是来源于融合区域点云时的重复表示，由于物体表面的大部分区域往往能被多个视点的图像采集装置捕捉到，这些不同的视点的图像将生成针对同一区域的多个重复区块，产生大量的冗余。异常点产生的原因主要是因为步骤(3)中光流估计中的错误，由于目标物体的表面纹理、光照、外形等属性的不确定性，光流估计在部分区域会出现严重偏差，在后续处理中产生异常点。使用归一化互相关系数滤波的方法只能在一定程度上消去部分冗余和异常点。

(5)将上述点云转化为一个数据矩阵，转化的具体方法为：选择每个图像计算出的对应点云，将其中每个点记为一个三元行向量vec(d_i)，其中d_i表示点云中的一个点。设数据矩阵为D∈R^m×n，其中m表示区域点云的数量，即矩阵D的m行包含m个原始图像对应的所有点。矩阵D的每一行可以表示为：

D(j)＝[vec(d₁)^T,…,vec(d_imax)^T]

由于在步骤(4)中，每个有效的深度估计都对应一组图像中的一对匹配点，可以通过这种方法找到空间中某一表面点在多个原始图像中的映射点，这些映射点将处于同一列中，由此得到数据矩阵D。

(6)对数据矩阵D进行矩阵重建。将数据矩阵D表示为：D＝A+E。A表示由准确点的坐标构成的矩阵，E表示有错误或是冗余的点的坐标构成的矩阵，其中E是一个稀疏矩阵。

具体算法如下表所示：

输入：数据矩阵D∈R^m×n.

初始值：A₀＝A_-1＝0；E₀＝E_-1＝0；t₀＝t_-1＝1；μ₀>0；η<1；δ>1,

循环至收敛：

$Y_k^A\&LeftArrow;A_k+\frac{t_{k-1}-1}{t_k}(A_k-A_{k-1}),$ $Y_k^E\&LeftArrow;E_k+\frac{t_{k-1}-1}{t_k}(E_k-E_{k-1});$

$G_k^A\&LeftArrow;Y_k^A-\frac{1}{2}(Y_k^A-Y_k^E-D);$

$(U,S,V)\&LeftArrow;\mathrm{svd}\left(G_k^A\right),$ $A_{k-1}={\mathrm{US}}_{\frac{{\mathrm{\&mu;}}_k}{2}}\left[S\right]V^T;$

$G_k^E\&LeftArrow;Y_k^E-\frac{1}{2}(Y_k^A+Y_k^E-D);$

$E_{k-1}=S_{\frac{{\mathrm{\&lambda;\&mu;}}_k}{2}}\left[G_k^E\right];$

$t_{k+1}\&LeftArrow;\frac{1+\sqrt{{4t}_k^2+1}}{2};$

k＝k+1；

结束循环.

输出：(A,E)←(A_k,E_K).

以上算法设计符号分别表示为：D∈R^m×n生成的点云数据；A_k，E_k表示循环到k步得到的点云数据和噪声(outliers)数据；t_k，η，δ，分别为加速收敛因子；表示第k步得到关于A,E的拉格朗日乘子；svd表示的奇异分解，(U,S,V)分别是矩阵奇异值分解后的左奇异向量，奇异值，右奇异向量；是计算过程中间生成量的记号；S_∈[x]是一个收缩算子，具体形式前面已经给出。

(7)将矩阵恢复后得到的矩阵A转化为点云，具体方法为：

将矩阵的每一行中，每三个元素划分为一个组；以每一组的三个元素依次为x坐标、y坐标、z坐标建立一个点；将所有元素非零的组分别恢复为一个空间点，所有的点将表示一个整体的点云。

(8)通过泊松重建将上述点云转化为三维表面模型。图3展示了对两个目标模型重建的结果。

实施例2

参见图4，本发明实施例提供了一种基于矩阵恢复提高三维重建精度的装置，包括：

原始图像获取模块201，用于捕捉目标物体的原始图像；

图像采集工具可以为摄像机、照相机、数码相机等可以拍摄图像的工具。为保证重建质量，必须使图片序列具有一定的连续性，即从多组相近的视点获取目标物体的原始图像。

标定模块202，使用一种标定方法获得每个图像采集工具的标定参数；

具体的，以图像采集工具为数码相机为例，可以通过相机标定获得该相机的内参矩阵K和外参矩阵Rt，通过这些标定参数可以推导出投影矩阵P＝K×Rt。通常相机标定方法有传统相机标定法、主动视觉相机标定方法、相机自标定法，本实施例中不做具体限定。

模型预处理模块203，用于生成一种目标物体的粗略模型，表示出目标物体在世界坐标系下的空间范围；

本发明实施例使用了由J.S.Franco提供的vision tools代码，这是一个通过视觉外形算法(visual hull)计算出物体代替外形的开源代码，通过多个视点的图像轮廓和标定参数计算出目标物体的可视外形。

深度估计模块204，计算出每幅图像的深度图；

具体的，对每一张原始图像进行配对，找出拍摄视点相近的图像作为其参考图像，参考图像可以有多幅。应用303中得到的可视外形计算出光流初值，通过变分法估计该图像和其参考图像之间的光流，进而计算出深度图。对N个图像进行以上步骤，获得N个深度图。

数据矩阵生成模块205，将所有图像对应的深度图转化为数据矩阵，具体方法为：

将上述N个深度图转化为世界坐标系下的空间点云，每一个像素对应点云中的一个点。将这些点云分别置于数据矩阵中的N行，每一行包含一个深度图对应的所有点。根据光流计算中像素的匹配关系找出不同点云中点的对应关系，将对应置于一列中。

矩阵恢复模块206，对上述数据矩阵进行矩阵恢复，应用APG算法加快运算速度。

表面模型重建模块207，将矩阵恢复得到结果转化为点云，通过泊松表面重建得到最终的三维表面模型。

本发明实施例提供的上述技术方案的全部部分可以通过程序指令相关的硬件来完成，所述程序可以存贮在可读取的存取介质中，该存储介质包括：ROM，RAM，磁碟或者光盘中等各种可以存储程序代码的介质。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改，等同替换，改进等，均应包含在本发明的保护范围之中。

Claims (4)

1.一种基于矩阵恢复的提高三维重建精度的方法，其特征在于，包括如下步骤：

S1，将待处理的点云模型按照视点进行编组，设点云原有N个视点，编组满足以下要求：对于第N组点云，要求其包括以第N个视点得到的图片作为主图像或者参考图像时得到的所有空间点，也就是说，这些点均可以被第N个视点观察到；

S2，将一个编组中的所有点在世界坐标下的坐标值依次置入一个行向量中，按照x坐标、y坐标、z坐标的顺序，最终得到N个行向量；

S3，将上述N个行向量组成一个N列的数据矩阵D，没有元素的位置补0；

S4，整理数据矩阵D，根据图像光流计算中像素和点的对应关系，将同一个像素对应点的x坐标、y坐标、z坐标分别置于一列中，在没有出现该点的视图一行补0；

S5，将数据矩阵D表示为：D＝A+E，A表示由准确点的坐标构成的矩阵，E表示有错误或是冗余的点的坐标构成的矩阵；通过矩阵恢复算法计算出矩阵A，这里采用APG算法加快计算速度；

S6，将矩阵恢复得到的矩阵A转化为点云；

S7，使用泊松表面重建算法得到最终三维表面模型。

2.根据权利要求1所述的一种基于矩阵恢复的提高三维重建精度的方法，其特征在于，所述步骤S3中，数据矩阵D的组成方法为：

首先将步骤S2中建立的N个行向量依次放置在一个矩阵的对角线上，也就是说该矩阵的每个列向量中最多只有一个元素为非零元素；

而后，遍历N个视点对应的N个原始图像，根据图像上像素的对应关系，将对应点所在的列合并，即将表示同一点的坐标放在同一列上；由于基于深度图像估计和合成的三维重建算法中，每个有效的深度估计都对应一组图像中的一对匹配点，可以通过这种方法找到空间中某一表面点在多个原始图像中的映射点，这些映射点将处于同一列中，由此得到数据矩阵D。

3.根据权利要求1或2所述的一种基于矩阵恢复的提高三维重建精度的方法，其特征在于，所述步骤S5中，数据矩阵D由于每行中只有较少的点是错误的或是不准确的，是一个低秩的矩阵，因此，矩阵E的大部分元素是0或是接近于0的元素，即E是一个稀疏矩阵，这里将问题表示为：

$\begin{array}{c}\underset{A,E}{\min }\mathrm{rank}\left(A\right)+\mathrm{\&lambda;}{\left|\right|E\left|\right|}_0\\ s.t.D=A+E\end{array}----\left(1\right)$

其中||·||₀表示l₀范数，λ是调节矩阵A和矩阵E所占比例的平衡因子；

采用凸松弛的方法，将上述问题转化为

$\begin{array}{c}\underset{A,E}{\min }{\left|\right|A\left|\right|}_{*}+\mathrm{\&lambda;}{\left|\right|E\left|\right|}_1\\ s.t.D=A+E\end{array}---\left(2\right)$

其中||·||_*表示中心范数，||·||₁表示l₁范数，λ是平衡因子，取值为其中C是常数，上述问题的松弛化方法可以表示为：

$\underset{A,E}{\min }F\left(X\right)=\mathrm{\&mu;}{\left|\right|A\left|\right|}_{*}+\mathrm{\&mu;\&lambda;}{\left|\right|E\left|\right|}_1+\frac{1}{2}{\left|\right|D-A-E\left|\right|}_F^2---\left(3\right)$

为了快速准确地解出上式中的A，迭代使用APG算法，基本的APG迭代形式为：

$\begin{array}{c}{A}_{k+1}=U{S}_{\frac{{\mathrm{\&mu;}}_k}{2}}\left[S\right]V^T\\ E_{k+1}=S_{\frac{{\mathrm{\&lambda;\&mu;}}_k}{2}}\left[G_k^E\right]\end{array}---\left(4\right)$

其中USV^T表示的奇异分解，S_∈[x]是一个收缩算子，可表示为：

$S_{\&Element;}\left[x\right]=:\left\{\begin{array}{c}x-\&Element;\mathrm{ifx}>\&Element;\\ x+\&Element;\mathrm{ifx}<-\&Element;\\ \begin{array}{cc}0& \mathrm{otherwise}\end{array}\end{array}\right.---\left(5\right)$

其中x∈R，ε>0，

μ是一个小的正变量，首先设置μ为一个较大的初值μ₀，在每次迭代中几何性地减μ，直到达到一个固定值这种方法可以显著提高收敛速度，μ_k是一个单调递增的序列，即η>1。

4.一种基于矩阵恢复的提高三维重建精度的装置，其特征在于，具体包括如下模块：

原始图像获取模块，用于捕捉目标物体的原始图像；

标定模块，使用一种标定方法获得每个图像采集工具的标定参数；

模型预处理模块，用于生成一种目标物体的粗略模型，表示出目标物体在世界坐标系下的空间范围；

深度估计模块，计算出每幅图像的深度图；

数据矩阵生成模块，将所有图像对应的深度图转化为所述数据矩阵D；

矩阵恢复模块，对上述数据矩阵D进行矩阵恢复，应用APG算法加快运算速度；

表面模型重建模块，将矩阵恢复得到结果转化为点云，通过泊松表面重建算法得到最终的三维表面模型。