CN103325140B - 一种三维重建方法及系统 - Google Patents

Abstract

本发明提供了一种三维重建方法及系统，所述方法包括：在各个分辨率下对获取的图像采用动态均值技术进行基于一维相位相关的立体匹配；根据立体匹配结果和预存的双目摄像机的内外参数得到三维模型各点的三维坐标，进行处理上色并输出。本发明通过在不同分辨率下结合动态均值技术使用一维相位相关算法进行立体匹配，以较少的计算量提供了匹配的精度，并进一步在原始分辨率下的图片进行匹配前利用匹配度选择性进行匹配，进行匹配时对动态均值技术采用加权处理，使输出高精度三维模型的运算时间极大地减少，提高了匹配的效率，能够快速实现三维模型的重建。

Description

一种三维重建方法及系统

技术领域

本发明涉及图像处理领域，尤其涉及一种三维重建方法及系统。

背景技术

三维模型是物体的三维多边形表示，随着三维技术的发展，三维模型逐步被应用到各个领域中。三维重建作为获取三维信息的有效手段已经成为计算机图形学和计算机视觉领域的一个研究热点。基于立体视觉的被动式获取三维信息技术只需要简单的设备，如两个摄像头，其相对于昂贵的激光扫描仪和CT等主动式设备更能被大众接受。虽然被动式技术适合很多应用场合，但是较低的三维重建精度仍然是被动式三维重建技术的主要难题。

基于相位相关的立体匹配技术由于其抗噪性、健壮性和高精度的特性，相对于常见的基于区域匹配技术如误差绝对值求和(Sum of Absolute Differences，SAD)算法、平方差求和(Sum of Squared Differences，SSD)算法、正交化互相关(Normalized CrossCorrelation，NCC)算法等，在匹配精度上有了很大的提高。常规的基于相位相关的立体匹配技术是基于二维图像进行的二维相位相关运算，运算量较大，其基本原理如下：

设两幅N₁×N₂大小的图像f(n₁，n₂)和g(n₁，n₂)，其二维离散傅里叶变换(2DDFT)分别为：

$F(k_1,k_2)=\underset{n_1{n}_2}{\mathrm{\Σ}}f(n_1,n_2)W_{N_1}^{k_1{n}_1}{W}_{N_2}^{k_2{n}_2}=A_F(k_1,k_2)e^{{\mathrm{j\θ}}_F(k_1,k_2)}$

$G(k_1,k_2)=\underset{n_1{n}_2}{\mathrm{\Σ}}g(n_1,n_2)W_{N_1}^{k_1{n}_1}{W}_{N_2}^{k_2{n}_2}=A_G(k_1,k_2)e^{{\mathrm{j\θ}}_G(k_1,k_2)}$

式中n₁＝-M₁，…，M₁，n₂＝-M₂，…，M₂，且N₁＝2M₁+1，N₂＝2M₂+1； A_F(k₁，k₂)和A_G(k₁，k₂)为幅度部分，和为相位部分，则归一化后的相位差为

$\hat{R}(k_1,k_2)=\frac{F(k_1,k_2)\stackrel{\‾}{G(k_1,k_2)}}{\left|F(k_1,k_2)\stackrel{\‾}{G(k_1,k_2)}\right|}=e^{\mathrm{j\θ}(k_1,k_2)}$

式中代表G(k₁，k₂)的复数共扼，θ(k₁，k₂)＝θ_F(k₁，k₂)-θ_G(k₁，k₂)；而的2DIDFT为：

$\hat{r}(n_1,n_2)=\frac{1}{N_1{N}_2}\underset{k_1,k_2}{\mathrm{\Σ}}\hat{R}(k_1,k_2)w_{N_1}^{{-k}_1{n}_1}{w}_{N_2}^{{-k}_2{n}_2}$

当两幅图像相似时，将出现一个明显的峰值α，峰值的位置δ＝(δ₁，δ₂)即为两幅图像f(n₁，n₂)，g(n₁，n₂)的相对偏移。

而一维相位相关运算的运算量极大的减少，其基本原理如下：

设两个长为N的序列f(n)，g(n)，其一维离散傅里叶变换(1D DFT)分别为：

$F\left(k\right)=\underset{n=-M}{\overset{M}{\mathrm{\Σ}}}f\left(n\right)W_N^{\mathrm{kn}}=A_F\left(k\right)e^{{\mathrm{j\θ}}_F\left(k\right)}$

$G\left(k\right)=\underset{n=-M}{\overset{M}{\mathrm{\Σ}}}g\left(n\right)W_N^{\mathrm{kn}}=A_G\left(k\right)e^{{\mathrm{j\θ}}_G\left(k\right)}$

式中n＝-M，…，M且N＝2M+1；A_F(k)和A_G(k)为幅度部分，和为相位部分，则归一化后的相位差为

$\hat{R}\left(k\right)=\frac{F\left(k\right)\stackrel{\‾}{G\left(k\right)}}{\left|F\left(k\right)\stackrel{\‾}{G\left(k\right)}\right|}=e^{\mathrm{j\θ}\left(k\right)}$

式中代表G(k)的复数共扼，θ(k)＝θ_F(k)-θ_G(k)；而的1D IDFT为：

$\hat{r}\left(n\right)\frac{1}{N}\underset{n=-M}{\overset{M}{\mathrm{\Σ}}}\hat{R}\left(k\right)w_N^{-\mathrm{kn}}$

当两个序列相似时，将出现一个明显的峰值α，峰值的位置δ即为两个序列f(n)，g(n)间的相对偏移。

常规的基于二维相位相关算法计算量大，限制了它在手机等移动设备上的实现。利用一维相位相关较少的计算量，将其应用到立体匹配中可以在得到高精度模型的同时极大地减少运算时间。在文献S.Nagashima，K.Ito，T.Aoki，H.Ishii and K.Kobayashi，″High-accuracy estimation of image rotation using 1D phase-only correlation，″IEICE Transactions on Fundamentals of Electronics，Communications and ComputerSciences，vo1.E92-A，no.1，pp.235-243，2009中提出利用极线限制采用一维相位相关技术，并采用了均值技术提高了匹配精度，虽然这种方法提高了匹配速度，在作者的实验条件下也有较好的结果，但是该均值技术并不能适应图像的多分辨率结构，容易造成边缘的误匹配；而且同等地处理每条序列在一定程度上会影响匹配的精度和速度。

发明内容

有鉴于此，本发明的主要目的在于提供一种三维重建方法及系统，能够快速实现三维模型的重建。

为达到上述目的，本发明的技术方案是这样实现的：

一种三维重建方法，所述方法包括：

在各个分辨率下对获取的图像采用动态均值技术进行基于一维相位相关的立体匹配；

根据立体匹配结果和预存的双目摄像机的内外参数得到三维模型各点的三维坐标，进行处理上色并输出。

进一步地，所述在各个分辨率下对获取的图像采用动态均值技术进行基于一维相位相关的立体匹配之前，所述方法还包括：

对双目摄像机获取的图像进行校正和纹理增强的前处理。

其中，所述在各个分辨率下对获取的图像采用动态均值技术进行基于一维相位相关的立体匹配为：

在各个分辨率下对图像进行加窗处理；

利用各个分辨率之间的关系限制搜索范围，利用依据当前分辨率确定的动态均值进行峰值搜索，完成基于一维相位相关的立体匹配。

进一步地，在对获取的图像采用动态均值技术进行基于一维相位相关的立体匹配之前，所述方法还包括：

在原始分辨率下利用匹配度选择性对所述图像进行处理。

其中，所述对获取的图像采用动态均值技术进行基于一维相位相关的立体匹配为：

在原始分辨率下对所述确定的动态均值进行加权处理，利用处理得到的均值结合一维相位相关算法进行立体匹配。

一种三维重建系统，包括图像获取模块，所述系统还包括：立体匹配模块、三维模型输出模块；其中，

所述立体匹配模块，用于在各个分辨率下对获取的图像采用动态均值技术进行基于一维相位相关的立体匹配；

所述三维模型输出模块，用于根据立体匹配结果和预存的构成图像获取模块的双目摄像机的内外参数得到三维模型各点的三维坐标，进行处理上色并输出。

进一步地，所述系统还包括：图像校正模块，用于对双目摄像机获取的图像进行校正和纹理增强的前处理。

其中，所述立体匹配模块，具体用于在各个分辨率下对图像进行加窗处理；利用各个分辨率之间的关系限制搜索范围，利用依据当前分辨率确定的动态均值进行峰值搜索，完成基于一维相位相关的立体匹配。

进一步地，所述立体匹配模块，还用于在原始分辨率下利用匹配度选择性对所述图像进行处理。

其中，所述立体匹配模块，具体用于在原始分辨率下对所述确定的动态均值进行加权处理，利用处理得到的均值结合一维相位相关算法进行立体匹配。

本发明通过在不同分辨率下结合动态均值技术使用一维相位相关算法进行立体匹配，以较少的计算量提供了匹配的精度，并进一步在原始分辨率下的图片进行匹配前利用匹配度选择性进行匹配，进行匹配时对动态均值技术采用加权处理，使输出高精度三维模型的运算时间极大地减少，提高了匹配的效率，能够快速实现三维模型的重建。

附图说明

图1为本发明三维重建方法的实现流程示意图；

图2为本发明三维重建方法具体实施例的实现流程示意图；

图3为本发明三维重建系统的结构示意图。

具体实施方式

本发明的基本思想为：在各个分辨率下对获取的图像采用动态均值技术进行基于一维相位相关的立体匹配；根据立体匹配结果和预存的双目摄像机的内外参数得到三维模型各点的三维坐标，进行处理上色并输出。

为使本发明的目的、技术方案和优点更加清楚明白，以下举实施例并参照附图，对本发明进一步详细说明。

图1示出了本发明三维重建方法的实现流程，如图1所示，所述方法包括下述步骤：

步骤101，在各个分辨率下对获取的图像采用动态均值技术进行基于一维相位相关的立体匹配；

这里，在本步骤之前，所述方法还包括：

对双目摄像机获取的图像进行校正和纹理增强的前处理。

具体地，所述在各个分辨率下对获取的图像采用动态均值技术进行基于一维相位相关的立体匹配为：在各个分辨率下对图像进行加窗处理；利用各个分辨率之间的关系限制搜索范围，利用依据当前分辨率确定的动态均值进行峰值搜索，完成基于一维相位相关的立体匹配。

进一步地，在对获取的图像采用动态均值技术进行基于一维相位相关的立体匹配之前，所述方法还可以包括：在原始分辨率下利用匹配度选择性对所述图像进行处理。

相应地，所述对获取的图像采用动态均值技术进行基于一维相位相关的立体匹配为：在原始分辨率下对所述确定的动态均值进行加权处理，利用处理得到的均值结合一维相位相关算法进行立体匹配。

步骤102，根据立体匹配结果和预存的双目摄像机的内外参数得到三维模型各点的三维坐标，进行处理上色并输出。

相应地，所述根据立体匹配结果和预设的双目摄像机的内外参数得到三维模型各点的三维坐标，进行处理上色并输出具体可以为：根据动态均值技术结合一维相位相关算法立体匹配的结果，以及所述双目摄像机的内外参数，得到各点的三维坐标，根据原图像中点的颜色值进行上色，得到最终的三维模型并输出。

图2示出了本发明三维重建方法具体实施例的实现流程，如图2所示，所述实施例包括下述步骤：

步骤201，组成双目摄像机的两个摄像机同步获取图像；

具体地，利用两个摄像机搭建起横向平行的双目摄像机系统进行图像的获取，同时还保存双目摄像机的内外参数，具体包括中心点坐标、焦距、基线长度等。

步骤202，对获取的图像进行校正和纹理增强的前处理；

具体地，可以通过利用Matlab摄像机标定工具箱(Camera Calibration Toolboxfor Matlab)及双目摄像机的内外参数对双目摄像机拍摄的图片用立体图像对校正(rectify stereo pair)指令进行校正，并得到校正后内外参数；然后进行线性高通滤波。并根据预先设置的条件对由双目摄像机获得的左右两副图像匹配时，对每个分辨率下的图像采用由粗到精的方法，分l_max个等级进行逐级匹配，图像在l_max级的分辨率与匹配窗口的大小接近，这里每一等级的图像可以通过如下公式得到：

$f_l(x,y)=\frac{1}{4}\underset{i=0}{\overset{1}{\mathrm{\Σ}}}\underset{j=0}{\overset{1}{\mathrm{\Σ}}}{f}_{l-1}(2x+i,2y+j);$

其中，f_l(x，y)为第l级的图像，第l0级的图像为原始分辨率的图像。

步骤203，在各个分辨率下逐点采用动态均值技术进行基于一维相位相关的立体匹配；

首先对左图参考点为中心的块和右图以相应点为中心的块加窗技术降低边缘效应，这里，由于获取的图像与真实世界不符，具有边界，可以用一维汉宁(1D Hanning)窗来减少边界效应；

其次采用动态均值技术进行一维相位相关(POC)运算；

这里，POC运算如下：设两个长为N的序列f(n)，g(n)，其一维离散傅里叶变换(1DDFT)分别为：

$F\left(k\right)=\underset{n=-M}{\overset{M}{\mathrm{\Σ}}}f\left(n\right)W_N^{\mathrm{kn}}=A_F\left(k\right)e^{{\mathrm{j\θ}}_F\left(k\right)}$

$G\left(k\right)=\underset{n=-M}{\overset{M}{\mathrm{\Σ}}}g\left(n\right)W_N^{\mathrm{kn}}=A_G\left(k\right)e^{{\mathrm{j\θ}}_G\left(k\right)}$

式中n＝-M，…，M且N＝2M+1；A_F(k)和A_G(k)为幅度部分，和为相位部分，归一化后的相位差为：

$\hat{R}\left(k\right)=\frac{F\left(k\right)\stackrel{\‾}{G\left(k\right)}}{\left|F\left(k\right)\stackrel{\‾}{G\left(k\right)}\right|}=e^{\mathrm{j\θ}\left(k\right)}$

式中代表G(k)的复数共扼，θ(k)＝θ_F(k)-θ_G(k)；

而的一维离散傅立叶反变换(1D IDFT)为：

$\hat{r}\left(n\right)\frac{1}{N}\underset{n=-M}{\overset{M}{\mathrm{\Σ}}}\hat{R}\left(k\right)w_N^{-\mathrm{kn}}$

当两个序列相似时，将出现一个明显的峰值α，峰值的位置δ即为两个序列f(n)，g(n)间的相对偏移δ。

利用动态均值技术进行POC运算如下：

在目标序列f(n)的纵轴方向加L偏移得到f_L(n)，与对应的序列g_L(n)进行一维相位相关运算得到在其均值序列上搜索峰值，其中D为序列偏移的大小，D的值根据当前匹配层的分辨率确定，即相当于对加低通窗口后进行峰值搜索，能够限制峰值的搜索范围。

然后，利用低通滤波技术降低噪声信号，由于在图像匹配中频域的高频部分为不可靠信号，因此，可以通过对频域进行低通滤波来降低图像中的噪声信号。

具体地，本实施例中，对双目摄像机左右两个摄像机获取经过校正后图像进行匹配时采用由粗到精的方式，分lmax级进行逐级匹配，其中在l级的图像f_l由下式得到

$f_l(x,y)=\frac{1}{4}\underset{i=0}{\overset{1}{\mathrm{\Σ}}}\underset{j=0}{\overset{1}{\mathrm{\Σ}}}{f}_{l-1}(2x+i,2y+j).$

从最高级l＝l_max-1级开始，双目摄像机中左边摄像机的点m＝(m₁，m₂)在该级的横坐标坐标为认为双目摄像机中右边摄像机对应点的坐标相同，即

在l＝lmax-1级，点m在l＝lmax-1级的坐标为在l级左图以为中心的序列和l级右图以2q_l+1为中心的序列进行如上所述的一维相位相关运算，得到横轴方向的相对位移δ，则l级右图对应点横坐标坐标为纵坐标认为经过校正后相同。

步骤204，l＝l-1，并判断此时l是否小于1，当l小于1时，执行步骤205，否则，按步骤203，对l＝l-1级进行匹配修正。

步骤205，当l＝0时，此时的图像为原始分辨率的图像，在原始分辨率下利用匹配度选择性对所述图像进行处理；

具体地，在对l＝0级的图像进行匹配前，首先对l＝1级的匹配结果进行选择：若横轴方向的相对位移δ＝0则该点在l＝0级不进行匹配，其横坐标坐标为若横轴方向的相对位移δ≠0则执行步骤206。

步骤206，对依照步骤203确定的动态均值进行加权处理后，采用动态均值技术进行一维相位相关的立体匹配；

具体地，对边缘序列组求灰度均值得到新的序列和其中d越大，表示边缘序列越多；具体进行一维相位相关匹配时，将新的序列f_aveU(n)和f_aceD(n)分别同对应的g_aveU(n)和g_aveD(n)进行一维相位相关运算。

步骤207，利用上述结合动态均值技术的一维相位相关的立体匹配结果和双目摄像机的内外参数计算得到三维模型各点的三维坐标，进行处理上色并输出。

具体地，由立体匹配的结果(对应点的坐标)和双目摄像机的内外参数利用如下公式计算空间点的三维坐标：

$x=\frac{b(u_1-u_0)}{u_1-u_2},$

$y=\frac{{\mathrm{ba}}_x(v_1-v_0)}{a_y(u_1-u_2)},$

$z=\frac{{\mathrm{ba}}_x}{u_1-u_2},$

其中(u₁，v₁)，(u₂，v₂)为匹配点的图像坐标，x，y，z为空间点的三维坐标，b为摄像机的基线长度，u₁-u₂为视差，u₀，v₀，为双目摄像机的中心点坐标；a_x，a_y为双目摄像机的焦距；所述内外参数即是指中心点坐标、焦距、基线长度。

本发明还提供了一种三维重建的系统，如图3所示，所述系统包括：图像获取模块31、立体匹配模块32、三维模型输出模块33；其中，

所述立体匹配模块32，用于在各个分辨率下对获取的图像采用动态均值技术进行基于一维相位相关的立体匹配；

所述三维模型输出模块33，用于根据立体匹配结果和预存的构成图像获取模块31的双目摄像机的内外参数得到三维模型各点的三维坐标，进行处理上色并输出。

进一步地，所述系统还包括：图像校正模块34，用于对双目摄像机获取的图像进行校正和纹理增强的前处理。

其中，所述立体匹配模块32，具体用于在各个分辨率下对图像进行加窗处理；利用各个分辨率之间的关系限制搜索范围，利用依据当前分辨率确定的动态均值进行峰值搜索，完成基于一维相位相关的立体匹配。

其中，所述立体匹配模块32，还用于在原始分辨率下利用匹配度选择性对所述图像进行处理。

其中，所述立体匹配模块32，具体用于在原始分辨率下对所述确定的动态均值进行加权处理，利用处理得到的均值结合一维相位相关算法进行立体匹配。

利用上述三维重建方法，搭建实验平台对所获取图片进行测试，和基于二维相位相关方法相比，本发明结合动态均值技术使用了一维相位相关算法，并在对原始分辨率图片进行匹配前利用匹配度选择性进行匹配，进行匹配时对均值技术采用加权处理，使输出高精度三维模型的运算时间极大地减少。如此，本发明对基于双目视觉的三维重建具有良好的精度和极高的效率，有较强的移动硬件可行性。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (8)

1.一种三维重建方法，其特征在于，所述方法包括：

在各个分辨率下对获取的图像逐点采用动态均值技术进行基于一维相位相关的立体匹配；

根据立体匹配结果和预存的双目摄像机的内外参数得到三维模型各点的三维坐标，进行处理上色并输出；

所述在各个分辨率下对获取的图像逐点采用动态均值技术进行基于一维相位相关的立体匹配为：

在各个分辨率下逐点对图像进行加窗处理；

利用各个分辨率之间的关系限制搜索范围，利用依据当前分辨率确定的动态均值进行峰值搜索，完成基于一维相位相关的立体匹配。

2.根据权利要求1所述的方法，其特征在于，所述在各个分辨率下对获取的图像采用动态均值技术进行基于一维相位相关的立体匹配之前，所述方法还包括：

对双目摄像机获取的图像进行校正和纹理增强的前处理。

3.根据权利要求1或2所述的方法，其特征在于，在对获取的图像逐点采用动态均值技术进行基于一维相位相关的立体匹配之前，所述方法还包括：

在原始分辨率下利用匹配度选择性对所述图像进行处理。

4.根据权利要求3所述的方法，其特征在于，所述对获取的图像逐点采用动态均值技术进行基于一维相位相关的立体匹配为：

在原始分辨率下对所述确定的动态均值进行加权处理，利用处理得到的均值结合一维相位相关算法进行立体匹配。

5.一种三维重建系统，包括图像获取模块，其特征在于，所述系统还包括：立体匹配模块、三维模型输出模块；其中，

所述立体匹配模块，用于在各个分辨率下对获取的图像逐点采用动态均值技术进行基于一维相位相关的立体匹配；

所述三维模型输出模块，用于根据立体匹配结果和预存的构成图像获取模块的双目摄像机的内外参数得到三维模型各点的三维坐标，进行处理上色并输出；

所述立体匹配模块，具体用于在各个分辨率下逐点对图像进行加窗处理；利用各个分辨率之间的关系限制搜索范围，利用依据当前分辨率确定的动态均值进行峰值搜索，完成基于一维相位相关的立体匹配。

6.根据权利要求5所述的系统，其特征在于，所述系统还包括：图像校正模块，用于对双目摄像机获取的图像进行校正和纹理增强的前处理。

7.根据权利要求5或6所述的系统，其特征在于，所述立体匹配模块，还用于在原始分辨率下利用匹配度选择性对所述图像进行处理。

8.根据权利要求7所述的系统，其特征在于，所述立体匹配模块，具体用于在原始分辨率下对所述确定的动态均值进行加权处理，利用处理得到的均值结合一维相位相关算法进行立体匹配。