CN101369348B - 汇聚式相机的多视点采集/显示系统中新视点重建方法 - Google Patents

Abstract

本发明涉及一种汇聚式相机的多视点采集/显示系统中新视点重建方法。本发明针对汇聚型相机采集方式，首先建立了汇聚式相机的几何模型，综合考虑采集系统所涉及各项参数，通过信号采样理论分析得到无失真重建视点的最优条件，然后又对场景的FPI图像进行了谱分析，得出场景EPI光谱特性与场景深度变化范围的关系。根据上述分析确定采样图像数目，并设计视点重建滤波器，通过插值技术为重建新视点生成采样图像，最后根据汇聚模型设计绘制重建方法得到一定范围内三维场景的新视点。实验时分别对具有相似参数的模拟系统及实际系统进行验证，得到良好的重建质量。本发明对于其他相机阵列类型及视点重建系统也具有参考价值。

Description

汇聚式相机的多视点采集/显示系统中新视点重建方法

技术领域

本发明涉及一种新视点重建方法，特别是一种汇聚式相机的多视点采集/显示系统中新视点重建方法。

背景技术

近年来，三维电视和自由视点电视系统以其独特的立体感、沉浸感及漫游特性而备受关注。但是多视点采集及显示系统的构建需要涉及从采集、数据表示、压缩传输到交互显示的各项技术。在多视点采集及显示系统的应用中，若采用较大数目的相机阵列及稠密的采集安置，使得系统可以采用较简单的绘制重建方法就能无失真的重建三维光线数据(即新视点)，但是这种系统仅在理论上最优，在实际中很难实现；而若采用较小数目的相机阵列及稀疏的采集安置方法需要上采样插值过程来增加采样图像数据，这不仅会使绘制方法复杂，而且会使生成的新视点质量下降，严重影响观看者的立体感受。因此，如何在多视点采集\显示系统中使相机数目、相机间距与新视点绘制重建方法及三维重建质量中找到最优的平衡点是目前应用系统设计方面的难题之一。

针对上述问题，国外J.-X.Chai等人等学者作过初步研究，他们在分析光场数据的基础上提出了光场无失真重建的最小采样率的概念，并采用基于图像的绘制方法重建新视点，在此基础上给出了场景深度层次与重建所需采样图像数目的定性关系，揭示了图像空间与场景几何空间的内在联系。但是上述方法得出的最佳采样条件及系统设计方案仍是理想化的，所需最小的相机数目都在几百以上，很难在实际应用中实现。

发明内容

本发明的目的是提供一种汇聚式相机的多视点采集/显示系统中新视点重建方法。对比于之前的其他方法，本方法根据多视点采集系统参数、场景几何信息及光谱特性，设计视点重建滤波器，通过插值技术为重建新视点生成一定数目的采样图像，并设计绘制重建方法得到三维场景的新视点。

为达到上述目的，本发明的构思是：

首先针对汇聚型相机采集方式建立相机几何模型，然后根据采集系统参数、场景几何信息及光谱特性，设计视点重建滤波器，通过插值技术为重建新视点生成一定数目的采样图像，并设计绘制重建方法得到三维场景的新视点。

根据上述构思，本发明的技术方案是：

一种汇聚式相机的多视点采集/显示系统中新视点重建方法。其特征在于首先针对汇聚型相机采集方式，建立汇聚式相机的几何模型。接着根据采集系统所涉及的各项参数，通过信号采样理论分析得到无失真重建视点的最优条件。其次又对场景的EPI(Epipolar Image)图像进行谱分析，得出场景EPI光谱特性与场景深度变化范围的关系。然后根据上述分析设计视点重建滤波器，通过插值技术为重建新视点生成有效数目的采样图像。最后设计绘制重建方法得到有效范围内三维场景的新视点。其具体步骤是：

(1)建立相机几何模型：针对汇聚式相机及场景信息建立相机几何模型；

(2)信号无失真采样理论分析：根据采样定理得到无失真重建视点的最优条件；

(3)对场景的EPI图像进行谱分析：从场景的多视点图像获取其EPI图像，并进行谱分析，得到场景深度变化范围；

(4)设计视点重建滤波器：根据最优条件及场景深度范围确定视点插值重建滤波器的参数，确定采样图像数目；

(5)设计绘制重建方法：根据几何模型设计视点重建滤波器设计新视点绘制重建方法，生成新视点。

上述步骤(1)中的建立相机几何模型，是指对汇聚式相机及场景信息建立相机几何模型，其具体步骤是：

根据场景信息——场景几何信息、场景物体表面纹理、物体表面反射特性、景深，根据相机系统信息——相机分辨率、虚拟相机分辨率、相机镜头焦距、相机阵列摆放姿态和相机间距，量化相机几何模型参数。

上述步骤(2)中的信号无失真采样理论分析，即根据采样定理得到无失真重建视点的最优条件，其具体步骤是：

(a)根据相机几何模型确定从相机汇聚点可捕获到的场景的最高纹理信息f₀，假定场景纹理信息最高频率为其中Z_i为场景深度，f_i为纹理频率周期长度，L为相机汇聚点深度。则

(b)根据采样定理确定最低采样频率

其中L为相机汇聚点深度，即相机所在圆周半径长度，Δx为相机间距；

(c)根据采样定理得到无失真重建视点的最优条件，|f₀|＜f_nyq，即

(d)得到无失真重建视点时相机最大间距Δx_max及最佳重建深度L_opt。

$\mathrm{\Δ}{x}_{\max }=\frac{1}{f_{\mathrm{cam}}}\×\frac{Z_{\max }{Z}_{\max }}{Z_{\max }-Z_{\min }}$

$L_{\mathrm{opt}}=\frac{2Z_{\min }{Z}_{\max }}{Z_{\max }+Z_{\min }}$

其中Z_max和Z_min分别为场景的最大和最小深度，f_cam为采集相机分辨率上限。

上述步骤(3)中的对场景的EPI图像进行谱分析，得到场景深度变化范围，其具体步骤是：

(a)采用表面全光函数(Surface Plenoptic Function)表示三维空间多视点数据；

(b)根据相机几何模型中光线光路特性，结合表面全光函数和相机间夹角表示特定深度光线；

(c)在频域中表示该光线，分析其频域特性，分别假定单一深度层、多个深度层、遮挡等条件对其频谱特性进行分析；

(d)根据上述分析，得出场景深度范围与场景的EPI图像频谱特性的对应关系，进而推出在最佳重建深度时的相机最大间距ΔX′_max：

$\mathrm{\Δ}{X^{\′}}_{\max }=\frac{2}{K(\frac{1}{r_{\min }}-\frac{1}{r_{\max }})}$

其中r_max和r_min分别为场景物体表面的最大和最小深度。

上述步骤(4)中的设计视点重建滤波器，即根据最优条件及场景深度范围确定视点插值重建滤波器的参数，其具体步骤是：

(a)根据信号采样重建理论表示三维空间采样后多视点数据，设计插值重建滤波器，确定采样图像数目；

(b)分析插值重建滤波器时域及频域特性，根据场景频谱特性及相机最大间距参数化滤波器。

上述(步骤5)中的设计绘制重建方法，根据几何模型设计视点重建滤波器，确定采样图像数目，设计新视点绘制重建方法，生成新视点，其具体步骤是：

(a)根据相机模型及场景几何信息设计汇聚模型的新视点绘制重建方法；

(b)推导出新视点中光线集合于采样图像中光线集合的约束关系，合成新视点。

本发明与已有技术相比较，具有如下显而易见的实质性突出特点和显著优点：之前方法大多针对理想情况推导出系统最小采样间隔及重建算法，由于采样数目过大在实际应用中很难实现，而本发明则通过理论分析，根据采集相机姿态、重建方法及新视点质量间的关系确定出合适的采样图像数目，大大降低了重建新视点所需的采样图像数目，从而易于应用实现。实验时分别对具有相似参数的模拟系统及实际系统进行验证，得到良好的重建质量。虽然本发明提出的方法是针对汇聚型相机阵列及视点重建系统，但对于其他相机阵列类型及视点重建系统也具有参考价值。

附图说明

图1是本发明的汇聚式相机的多视点采集/显示系统中新视点重建方法流程框图。

图2是图1中的建立汇聚式相机几何模型的程序框图。

图3是图1中的信号无失真采样理论分析的程序框图。

图4是图1中的场景的EPI图像进行谱分析的程序框图。

图5是图1中的设计视点重建滤波器的程序框图。

图6是图1中的设计绘制重建方法的程序框图。

图7是视点重建结果图。

具体实施方式

本发明的一个实施例子结合附图详述如下：

本汇聚式相机的多视点采集/显示系统中新视点重建方法的具体步骤如图1流程框图所示。对于建模场景在计算机平台上编程实现；对于实际场景通过建立汇聚式相机采集及显示系统进行实验，图7给出视点重建结果。

参见图1，本汇聚式相机的多视点采集/显示系统中新视点重建方法，首先针对汇聚型相机采集方式建立相机几何模型，然后根据采集系统参数、场景几何信息及光谱特性，设计视点重建滤波器，内插出采样图像，从而绘制出三维场景的新视点。

其步骤是：

(1)建立相机几何模型：针对汇聚式相机及场景信息建立相机几何模型；

(2)信号无失真采样理论分析：根据采样定理得到无失真重建视点的最优条件；

(3)对场景的EPI图像进行谱分析：从场景的多视点图像获取其EPI图像，并进行谱分析，得到场景深度的变化范围；

(4)设计视点重建滤波器：根据上述(2)的最优条件及(3)的场景深度范围确定视点插值重建滤波器的参数；

(5)设计视点绘制重建方法：根据前述的几何模型及得到视点重建滤波器参数设计新视点绘制重建方法，生成新视点。

参见图2，上述步骤(1)的具体过程如下：

(a)根据场景信息(场景几何信息、场景物体表面纹理、物体表面反射特性、景深)，量化相机几何模型参数；

(b)根据相机系统信息(相机分辨率、虚拟相机分辨率、相机镜头焦距、相机阵列摆放姿态和相机间距)，量化相机几何模型参数；

(c)由(a)和(b)所得参数建立汇聚式相机几何模型，其场景及相机参数如表1所示。

表1

纹理频率	7812.5cycles/rad
		场景表面反射特性	Lambertian
场景深度范围	2.5m～3.5m
		相机系统视场角	1.63rad
捕获相机分辨率	640×480
		虚拟相机分辨率	640×480
相机阵列类型	1维弧形
		相机焦距	25mm
相机间距	68mm

纹理频率	7812.5cycles/rad
		相机角间距	0.23rad
相机总数	8

参见图3，上述步骤(2)的具体过程如下：

(a)根据相机几何模型确定从相机汇聚点可捕获到的场景的最高纹理信息f₀，设场景纹理信息最高频率为

其中Z_i为场景深度，f_i为纹理频率周期长度，L为相机汇聚点深度。则

(b)根据采样定理确定最低采样频率

其中L为相机汇聚点深度，即相机所在圆周半径长度，Δx为相机间距；

(c)根据采样定理得到无失真重建视点的最优条件，|f₀|＜f_nyq，即

(d)得到无失真重建视点时相机最大间距Δx_max及最佳重建深度L_opt。

$\mathrm{\Δ}{x}_{\max }=\frac{1}{f_{\mathrm{cam}}}\×\frac{Z_{\max }{Z}_{\min }}{Z_{\max }-Z_{\min }}$

$L_{\mathrm{opt}}=\frac{2Z_{\min }{Z}_{\max }}{Z_{\max }+Z_{\min }}$

其中Z_max和Z_min分别为场景的最大和最小深度，f_cam为采集相机分辨率上限。

根据上述导出公式结合实际场景参数(表1)，分别计算可得满足采样定理的相机最大间距Δx_max及最少的相机数目N_min分别为：

Δx_max＝1.12mm， N_min＝424

由于所得的相机最大间距Δx_max过小及最少的相机数目N_min相机数目过大，因而在实际应用中很难实现。因此需通过上述的步骤(3)对场景的频谱特性进行分析后优化得出最佳重建深度时的相机最大间距及最少数目。其具体过程如下(参见图4)：

(a)采用表面全光函数(Surface Plenoptic Function)表示三维空间多视点数据；

(b)根据相机几何模型中光线光路特性，结合表面全光函数和相机间夹角表示特定深度光线；

(c)在频域中表示该光线，分析单一深度层、多个深度层和存在遮挡的多个深度层这三种不同情况下的频谱特性；

(d)根据上述分析，得出场景深度范围与场景的EPI图像频谱特性的对应关系，进而推出在最佳重建深度时的相机最大间距Δx′_max：

$\mathrm{\Δ}{x^{\′}}_{\max }=\frac{2}{(F+L)(\frac{1}{r_{\min }}-\frac{1}{r_{\max }})}$

其中r_max和r_min分别为场景物体表面的最大和最小深度，F和L分别为相机焦距长度及汇聚相机所在圆周的半径长度。

根据上述导出公式结合实际场景参数(表1)，重新计算相机最大间距Δx′_max及最少的相机数目N′_min分别为：

Δx′_max＝5.52mm，N′_min＝86

参见图5，上述步骤(4)的具体过程如下：

(a)根据信号采样重建理论表示三维空间采样后的多视点数据，设计插值重建滤波器，确定采样图像数目；

(b)分析插值重建滤波器时域及频域特性，根据场景频谱特性及相机最大间距确定重建滤波器参数。

(c)选定滤波器参数Δt_max＝Δx′_max，根据所选的Δt_max参数化视点重建滤波器，其时域及频域特性分别为：

$R_0(x,y)=\left\{\begin{array}{cc}\frac{1}{{\left(\mathrm{\Δ}{t}_{\max }\right)}^2}& \left|x\right|\≤\frac{\mathrm{\Δ}{t}_{\max }}{2},\left|y\right|\≤\frac{\mathrm{\Δ}{t}_{\max }}{2}\\ 0& \mathrm{else}\end{array}\right.$

$R_{\mathrm{\ω}}({\mathrm{\ω}}_x,{\mathrm{\ω}}_y)={\left(\frac{\sin \frac{{\mathrm{\ω}}_x\mathrm{\Δ}{t}_{\max }}{2}}{\frac{{\mathrm{\ω}}_x\mathrm{\Δ}{t}_{\max }}{2}}\right)}^2$

参见图6，上述步骤(5)的具体过程如下：

(a)根据相机模型及场景几何信息设计汇聚模型的新视点绘制重建方法；

(b)导出新视点中光线集合于采样图像中光线集合的约束关系，生成新视点。所生成的新视点如图7所示。

图7中(a)、(b)、(c)、(d)分别为按照本发明所述方法生成的新视点图像。其中(a)(b)为针对实际场景生成的新视点图像，(c)(d)为针对建模场景生成的新视点图像。按照本发明所述方法，生成该新视点所需的采样图像数目从424降至86，并且由图中可以直观地看出图像的主观质量良好，因此验证了本发明的有效性及设计系统设计时的实用性。

Claims (1)

1.一种汇聚式相机的多视点采集/显示系统中新视点重建方法，其特征在于首先针对汇聚式相机采集方式，建立汇聚式相机的几何模型；接着综合考虑采集系统所涉及的各项参数，通过信号采样理论分析得到无失真重建视点的最优条件；其次对场景的Epipolar Image进行谱分析，得出场景Epipolar Image光谱特性与场景深度变化范围的关系；然后根据上述分析设计视点重建滤波器，通过插值技术为重建新视点生成有效数目的采样图像；最后设计绘制重建方法得到有效范围内三维场景的新视点；其具体步骤是：

步骤1建立相机几何模型：针对汇聚式相机及场景信息建立相机几何模型；

步骤.2信号无失真采样理论分析：根据采样定理得到无失真重建视点的最优条件；

步骤3对场景的Epipolar Image图像进行谱分析：从场景的多视点图像获取其EpipolarImage图像，并进行谱分析，得到场景深度变化范围；

步骤4设计视点重建滤波器：根据最优条件及场景深度范围确定视点插值重建滤波器的参数；

步骤5设计绘制重建方法：根据建立的几何模型设计及视点重建滤波器设计新视点绘制重建方法，生成新视点；

所述步骤1中的针对汇聚式相机及场景信息建立相机几何模型的具体步骤如下：

(a)综合考虑场景信息，即场景几何信息、场景物体表面纹理、物体表面反射特性、景深，量化相机几何模型参数；

(b)综合考虑相机系统信息，即相机分辨率、虚拟相机分辨率、相机镜头焦距、相机阵列摆放姿态和相机间距，量化相机几何模型参数；

(c)由步骤(a)和(b)所得参数建立汇聚式相机几何模型；

所述步骤2中的信号无失真采样理论分析，根据采样定理得到无失真重建视点的最优条件的具体步骤如下：

(a)根据相机几何模型确定从相机汇聚点捕获到的场景的最高纹理信息f₀，场景纹理信息最高频率为

其中Z_i为场景深度，f_i为纹理频率周期长度，L为相机汇聚点深度，则 $f_0=f_i\×\frac{Z_i-L}{Z_i};$

(b)根据采样定理确定最低采样频率

其中L为相机汇聚点深度，即相机所在圆周半径长度，Δx为相机间距；

(c)根据采样定理得到无失真重建视点的最优条件，|f₀|＜f_nyq，即

(d)得到无失真重建视点时相机最大间距Δx_max及最佳重建深度L_opt：

$\mathrm{\Δ}{x}_{\max }=\frac{1}{f_{\mathrm{cam}}}\×\frac{Z_{\max }{Z}_{\min }}{Z_{\max }-Z_{\min }}$

$L_{\mathrm{opt}}=\frac{2Z_{\min }{Z}_{\max }}{Z_{\max }+Z_{\min }}$

其中Z_max和Z_min分别为场景的最大和最小深度，f_cam为采集相机分辨率上限；所述步骤3中的对场景的Epipolar Image图像进行谱分析，得到场景深度变化范围的具体步骤如下：

(a)采用表面全光函数表示三维空间多视点数据；

(b)根据相机几何模型中光线光路特性，结合表面全光函数和相机间夹角表示特定深度光线；

(c)在频域中表示该光线，分析其频域特性，分别假定单一深度层、多个深度层、遮挡对其频谱特性进行分析；

(d)根据上述分析，得出场景深度范围与场景的Epipolar Image图像频谱特性的对应关系，进而导出在最佳重建深度时的相机最大间距Δx′_max：

$\mathrm{\Δ}{x}_{\max }^{\′}=\frac{2}{K(\frac{1}{r_{\min }}-\frac{1}{r_{\max }})}$

其中r_max和r_min分别为场景物体表面的最大和最小深度，K为F+L，F和L分别为相机焦距长度及汇聚相机所在圆周半径长度；

所述步骤4中的设计视点重建滤波器，即根据最优条件及场景深度范围确定视点插值重建滤波器的参数的具体步骤如下：

(a)根据信号采样重建理论表示三维空间采样后多视点数据，设计插值重建滤波器，确定采样图像数目；

(b)分析插值重建滤波器时域及频域特性，根据场景频谱特性及相机最大间距确定滤波器参数；

(c)选定滤波器参数Δt_max＝Δx′_max，根据所选的Δt_max参数化视点重建滤波器，其时域及频域特性分别为：

$R_0(x,y)=\left\{\begin{array}{cc}\frac{1}{{\left(\mathrm{\Δ}{t}_{\max }\right)}^2}\left|x\right|\≤\frac{\mathrm{\Δ}{t}_{\max }}{2},& \left|y\right|\≤\frac{\mathrm{\Δ}{t}_{\max }}{2}\\ 0& \mathrm{else}\end{array}\right.$

$R_{\mathrm{\ω}}({\mathrm{\ω}}_x,{\mathrm{\ω}}_y)={\left(\frac{\sin \frac{{\mathrm{\ω}}_x\mathrm{\Δ}{t}_{\max }}{2}}{\frac{{\mathrm{\ω}}_x\mathrm{\Δ}{t}_{\max }}{2}}\right)}^2$

所述步骤5中的设计绘制重建方法，根据几何模型及视点重建滤波器设计新视点绘制重建方法，生成新视点的具体步骤如下：

(a)根据相机模型及场景几何信息设计汇聚模型的新视点绘制重建方法；

(b)推导出新视点中光线集合与采样图像中光线集合的约束关系，合成新视点。

Images