CN110349246A

CN110349246A - 一种应用于光场绘制中降低视点的重构失真度的方法

Info

Publication number: CN110349246A
Application number: CN201910645273.4A
Authority: CN
Inventors: 刘燕; 祝常健; 曾艺君; 苏允菲; 卫慧; 吴琪芳
Original assignee: Guangxi Normal University
Current assignee: Guangxi Normal University
Priority date: 2019-07-17
Filing date: 2019-07-17
Publication date: 2019-10-18
Anticipated expiration: 2039-07-17
Also published as: CN110349246B

Abstract

本发明公开了一种应用于光场绘制中降低视点的重构失真度的方法，其特征是，包括如下步骤：1）构建有遮挡现象的3D场景；2）遮挡的量化描述；3）获取遮挡程度最小值的相机位置；4）重构任意位置和方向的新视点。这种方法能实现在实际复杂场景的数据采集和多视点绘制，能解决遮挡现象带来的计算成像和虚拟现实中边缘信息缺失的补偿，甚至是可以应用于3D视频技术的立体场景遮挡现象的量化描述，能提高3D视频技术的交互性和立体体验。

Description

一种应用于光场绘制中降低视点的重构失真度的方法

技术领域

本发明涉及计算成像和虚拟现实领域技术，具体是一种应用于光场绘制中提高视点质量，即降低视点的重构失真度的方法。

背景技术

随着社会的进步和科学技术的发展，计算成像和虚拟现实在人们生活中扮演着越来越重要的作用。计算成像和虚拟现实应用于3D视频技术中，可以提高成像的质量和增强立体体验感，因此，计算成像和虚拟现实技术可以应用于娱乐、国民生活、工业应用和军事等领域。光场绘制技术(light field rendering,简称LFR)是计算成像和虚拟现实的一种常用方法，它通过在平面摆放一组数量以及指向同一个方向的相机拍摄场景得到一组多视点图像，然后，使用这组多视点图像通过绘制方法绘制得到新的虚拟视点。这种方法的优点是计算简单，绘制效果好，容易系统实现，不需要复杂的场景建模过程，因此，光场绘制技术特别适用于在自然复杂场景的实时绘制中。

目前光场绘制技术的采样和重建理论都是基于场景没有遮挡现象的理想条件假设的场景下获得，主要原因是遮挡现象随场景和位置的变化异常复杂，而且没有规律可循，这给遮挡现象的数学量化建模带来困难，然而，在实际的立体场景中，遮挡现象总是以各种形式存在，基于没有遮挡的理想假设的光场绘制技术，通常难以满足实际应用的需求，使得在视点重构中总会存在一些失真现象。为了提高光场绘制技术的实用性和系统的视点绘制质量，有必要研究立体场景的遮挡现象的描述和量化方法，以补偿因为遮挡引起的缺失的场景信息。

发明内容

本发明的目的是针对现有技术的不足，一种应用于光场绘制中降低视点的重构失真度的方法。这种方法能实现在实际复杂场景的数据采集和多视点绘制，能解决遮挡现象带来的计算成像和虚拟现实中边缘信息缺失的补偿，甚至是可以应用于3D视频技术的立体场景遮挡现象的量化描述，能提高3D视频技术的交互性和立体体验。

实现本发明目的的技术方案是：

一种应用于光场绘制中降低视点的重构失真度的方法，与现有技术不同的是，包括如下步骤：

1)构建有遮挡现象的3D场景：使用3dMAX构造一个具有前景物体和后景物体的3D场景，前景物体在视觉上把后景物体部分进行遮挡，从而在场景信息捕获过程中引起后景物体出现部分遮挡边缘信息的缺失，在有遮挡现象的3D场景中，采用一组相机在不同位置拍摄这个场景，得到一组场景的多视点图像；

2)遮挡的量化描述：遮挡的量化描述包括：

(1)量化描述遮挡程度，依据光场绘制技术中只需要少量或者不需要几何信息的原理，同时结合场景表面几何形状的变化规律，将遮挡物体近似的看成斜面形状和柱状；

(2)使用光场的方法描述3D场景的信号：相机拍摄到的图像信息可以看成是由一簇光线组成，场景的立体信息可以使用光线来描述，在3D场景中，采用7维全光函数F(x,y,z,θ,φ,λ,t)来描述在时间为t、位置是(x,y,z)和方向是(θ,φ)、波长为λ的光线，对于这个7维的全光函数数学模型中，把变量λ和t看成常数，从而把7D的函数F(x,y,z,θ,φ,λ,t)简化到5D全光函数F(x,y,z,θ,φ)，在5D全光函数中，主要包括相机的位置参数(x,y,z)和方向参数(θ,φ)，只选择位置参数中的(x,y)和方向中的(θ)，其他的参数的特性在此基础上可以扩展得到，得到在平面x-y上变化的3D的全光函数F(x,y,θ)，此外，假设在平面x-y上相机的视角范围内包含N根光线，那么每一根光线的方程可以写为公式(1)：

其中，f是相机的焦距，v是第i^th根光线l_i在成像平面的交点，具有v＝f tan(θ)的关系，(x₀,y₀)表示相机的位置，假设在平面上相机视角范围内包含了N根光线，在有遮挡的场景中N根光线中有的光线被遮挡，令被遮挡的光线数量是K，被遮挡的光线组成一个遮挡区域，遮挡区域的面积与相机视角范围面积之比就是遮挡程度，同样，将遮挡区域的光线数量与相机视角范围内光线总数之比得到遮挡程度，得到遮挡程度的量化方程如公式(2)所示：

其中，α是比例因子，v_i+K,v_i表示光线在相机平面的交点即像素值，d_i,d_i＝K表示遮挡区域左右两边与光线的交点，θ_c是相机的视角大小，v_m是相机的成像平面的最大值，有

3)获取遮挡程度最小值的相机位置：假设使得遮挡程度最小值的相机位置参数，如公式(3)所示：

其中，P是场景其他属性对相机捕获场景信息的影响大小,表示最佳的相机位置参数，对于相机与场景的最佳距离y₀可以计算得到，即如公式(4)所示：

z_max,z_min为场景最大和最小深度值，最大的遮挡值是当相机的位置在遮挡物体的中心位置x→x_c，相机旋转角度为零的时候，即如公式(5)所示：

那么，在相机拍摄场景的时候，使得遮挡程度最小化表达式子为公式(6)所示：

结合公式(3)、公式(4)、公式(5)和公式(6)得到使得遮挡程度最小的拍摄位置；

4)重构任意位置和方向的新视点：依据步骤3)确定的相机的拍摄位置重新拍摄场景新的多视点图像，将新的多视点图像采用双线性插值的方法重构任意位置和方向的新视点，评价视点绘制质量，这里的视点绘制质量主要是评估视点失真程度，使用峰值信噪比PSNR(Peak Signal to Noise Ratio，简称PSNR)来量化评价，人眼看没有失真图像的PSNR最小值一般是28，这里的阈值可以设置大于等于28dB，如果不满足质量阈值则返回步骤3)，优化相机的拍摄位置，重新拍摄场景，获得一组新的多视点图像，用于下一次的视点绘制，直到满足质量阈值。

对于一个3D成像系统主要包括场景信息的捕获、视点信息的传输和视点的重构。本技术方案通过建立一个量化遮挡现象的数学模型，然后通过优化相机拍摄场景的位置获取更加丰富的信息，从而提高视点绘制质量，具体是在光场绘制中，首先需要使用相机围绕着场景在多个位置拍摄采集得到一组多视点图像；其次，在场景信息的拍摄过程中，遮挡现象会引起部分边缘信息缺失，通过对遮挡现象进行数学量化描述是补偿缺失信息的方法之一，本技术方案使用光场信号的方法描述立体场景的信号，根据立体场景中遮挡随着相机的位置和方向的变化，建立起遮挡程度随着场景和相机之间位置关系变化的量化方法，以便准确的描述相机捕获的信息随着场景变化而发生的变化规律；再次，可以使用拍摄到的多视点图像通过简单的插值方法实现视点重构；最后，在视点重构过程中可以通过利用迭代优化拍摄位置的方法适当的提高重构视点质量。

本技术方案具有以下效果：

1.本技术方案通过建立一个随着相机位置和方向变化的遮挡数学模型，根据相机视角覆盖范围和遮挡物体的覆盖范围的比值，考虑了少量的场景几何信息和相机的外部常数；

2.本技术方案中遮挡模型可以用来粗略量化存在复杂形状的场景相对于相机的遮挡程度，用于提高立体场景相关技术的视点绘制质量；

3.本技术方案中的遮挡模型可以补偿遮挡边缘引起的捕获场景过程中缺失的信息；

4.本技术方案中的遮挡模型可以更有效的描述相机捕获场景信息过程中随着场景和相机位置变化的关系。

这种方法能实现在实际复杂场景的数据采集和多视点绘制，能解决遮挡现象带来的计算成像和虚拟现实中边缘信息缺失的补偿，甚至是可以应用于3D视频技术的立体场景遮挡现象的量化描述，能提高3D视频技术的交互性和立体体验。

附图说明

图1为实施例的方法流程示意图；

图2为实施例中的场景信息捕获、遮挡现象量化和视点重构示意图；

图3为实施例中的遮挡物体的几何形状近似图；

图4为实施例中光场描述一个空间中的光线的7维全光函数示意图；

图5为实施例中的在立体空间中遮挡物体和相机视角范围示意图；

图6为实施例中的遮挡覆盖范围和相机视角覆盖范围图；

图7为实施例中的两个场景；

图8为实施例1中绘制的视点的EPI；

图9为实施例1中绘制的视点的PSNR值；

图10为实施例用到的三个场景；

图11为实施例2中绘制的视点的EPI；

图12为实施例2中绘制的视点的PSNR值。

具体实施方式

下面结合附图和实施例对本发明的内容作进一步的阐述，但不是对本发明的限定。

实施例1：

参照图1，一种应用于光场绘制中降低视点的重构失真度的方法，包括如下步骤：

1)构建有遮挡现象的3D场景：使用3dMAX构造一个具有前景物体和后景物体的3D场景，前景物体在视觉上把后景物体部分进行遮挡，从而在场景信息捕获过程中引起后景物体出现部分遮挡边缘信息的缺失，如图2中的前景的佛像把后景的树木遮挡，在有遮挡现象的3D场景中，采用一组相机在不同位置拍摄这个场景，得到一组场景的多视点图像，由于场景都会存在遮挡，当使用相机在不同位置拍摄场景的过程中，捕获的信息总会出现较大的差异，甚至是部分关键信息的缺失，因此，遮挡的现象会降低重构视点质量；

2)遮挡的量化描述：通过优化相机拍摄位置方法，是提高光场绘制视点的方法之一，遮挡的量化描述包括：

(1)量化描述遮挡程度，依据光场绘制技术中只需要少量或者不需要几何信息的原理，同时结合场景表面几何形状的变化规律，可以将遮挡物体近似的看成斜面形状和柱状；如图3所示，使用近似的遮挡形状，可以很好的量化遮挡在相机捕获场景信息过程中物体表面的几何形状变化；

(2)使用光场的方法描述3D场景的信号：相机拍摄到的图像信息可以看成是由一簇光线组成，这样场景的立体信息可以使用光线来描述，在3D场景中，采用7维全光函数F(x,y,z,θ,φ,λ,t)来描述在时间为t、位置是(x,y,z)和方向是(θ,φ)、波长为λ的光线，如图4所示，使用7维的全光函数数学模型完整的描述在立体场景中相机捕获场景的位置和方向，甚至是场景的深度信息，为了方便数学量化描述和公式的推导，把变量λ和t看成常数，从而把7D的全光函数F(x,y,z,θ,φ,λ,t)简化到5D全光函数F(x,y,z,θ,φ)，在5D全光函数中，主要包括相机的位置参数(x,y,z)和方向参数(θ,φ)，因此，为了简化计算，可以只选择位置参数中的(x,y)和方向中的(θ)，其他的参数的特性在此基础上可以扩展得到，如图5所示，得到在平面x-y上变化的3D的全光函数F(x,y,θ)，此外，假设在平面x-y上相机的视角范围内包含N根光线，那么每一根光线的方程可以写为公式(1)：

其中，f是相机的焦距，v是第i^th根光线l_i在成像平面的交点，具有v＝f tan(θ)的关系，(x₀,y₀)表示相机的位置，由于在平面上相机视角范围内包含了N根光线，在有遮挡的场景中N根光线中有的光线被遮挡，令被遮挡的光线数量是K，如图6所示，在图中，被遮挡的光线组成一个遮挡区域，直观地遮挡区域的面积与相机视角范围面积之比就是遮挡程度，同样，将遮挡区域的光线数量与相机视角范围内光线总数之比得到遮挡程度，那么基于以上光线的方程公式(1)，得到遮挡程度的量化方程如公式(2)所示：

3)获取遮挡程度最小值的相机位置：步骤2)中的公式(1)和公式(2)是描述遮挡程度随着相机的位置和方向变化的数学量化模型，在获取遮挡程度大小后，可以根据遮挡变化规律寻找遮挡最小的拍摄位置和方向，假设使得遮挡程度最小值的相机位置参数，如公式(3)所示：

z_max,z_min为场景的最大和最小深度值，而对于遮挡的最值计算，最大的遮挡值是当相机的位置在遮挡物体的中心位置x→x_c，相机旋转角度为零的时候，即如公式(5)所示：

结合公式(3)、公式(4)、公式(5)和公式(6)得到使得遮挡程度最小的拍摄位置，从而捕获场景最丰富的场景信息，达到提高视点绘制质量的目的；

4)重构任意位置和方向的新视点：依据步骤3)确定的相机的拍摄位置重新拍摄场景新的多视点图像，将新的多视点图像采用双线性插值的方法重构任意位置和方向的新视点，评价视点绘制质量，这里的视点绘制质量主要是评估视点失真程度，本例使用PSNR来量化评价，本例的阈值设置大于等于28dB，如果不满足质量阈值，则返回步骤3)，优化相机的拍摄位置，重新拍摄场景，获得一组新的多视点图像，用于下一次的视点绘制，直到满足质量阈值。

实施例2：

实施例1中的遮挡数学模型可以应用到涉及立体信息捕获和绘制的领域，特别是计算成像，计算视觉和虚拟现实等，本实例是把实施例1中的遮挡模型应用于光场采样的一个应用，首先，使用以下式子确定最佳的相机拍摄深度：

那么，就可以把实施例1中的遮挡量化模型应用于计算光场采样率中，即计算(t,v)的采样间隔，这里使用t来表示相机的位置，

对于给定的一个2D光场p(t,v)，它的傅立叶变换可以写为：

这里ω_t,ω_v分别是沿着相机位置轴t和成像平面轴v的频率，基于实施例1中的遮挡数学模型，在考虑了遮挡情况的光线表达式可以写为：

Φ(x,v)＝l(x,v)·O(x,v)

把考虑了遮挡的光线Φ(x,v)代入以上的频谱表达式，可以得到：

这里

的表达式中，是光线的成像频率和遮挡的成像频率的卷积形式，根据这个频率的表达式子，进一步的，可以推导得到在遮挡情况下频率轴关系，即：

(ω_v+arg max(O(x,ω_v)))f≈ω_tz(x).

那么沿着相机的位置t轴和成像v轴的频谱带宽分别可以写为：

根据上面的频谱带宽表达式子，在位置t轴和成像v轴分别为最大值的情况下，可以得到沿着这两个轴的最大频率值，分别是：

Ω_v＝ω_v+arg max(O(x,ω_v)).

在获取了频谱的最大值后，那么根据采样定理，可以得到相机沿着直线的相机最大间隔(即，最小采样率)的计算式子为：

这里z_min,z_max分别表示场景的最小和最大深度值。

为了验证上面应用的优化性能，使用3dmax构造两个存在遮挡的立体场景，分别命名为Castle-tree和Tractor-teapot，如图7所示。使用两种情况采集这两个场景，分别是：一使用实施例1中的遮挡数学量化模型优化相机拍摄场景信息(Considered occlusion，简称CSO)和优化拍摄位置；二，不考虑遮挡的影响(No considered occlusion，简称NCSO)，然后使用拍摄得到的图像分别重构200个视点，构造得到的200个多视点的极化平面图像(epipolar plane images，EPI)如图8所示，从Castle-tree场景的重构EPI图，可以看到NCSO的结果存在明显的失真现象，而如图9所示对应的重构的200个图像的PSNR值，也可以看到CSO的PSNR值比NCSO的PSNR值要好，对于Tractor-teapot场景也存在同样的现象，因此，从本例可以看到本发明的遮挡现象量化数学模型可以起到很好的优化视点绘制质量的作用。

此外，为了验证上面推导得到的采样率的性能，使用3dmax构造如图10所示的三个场景，buddha-tree,Diamonds-Lucy,Teapot-cube进行采样和视点重构实验，采集的相机距离分别考虑遮挡(BCOM)和没有考虑遮挡(USMM)两种情况，每一种方法和每一个场景都采集200个图像，然后使用采集到的图像绘制新的视点，每一种情况分别绘制200个新视点，得到的EPI图如图11所示，直观的看，发现图11(a1)、(b1)、(c1)的EPI图的失真比图11(a2)、(b2)、(c2)的要小很多，同样，统计他们的PSNR值，如图12所示，图11(a1)和(a2)的PSNRs分别是32.28和32.76dB；图11(b1)和(b2)的PSNRs分别是31.85dB和32.89dB；图11(c1)和(c2)的PSNRs分别是32.39和33.63dB。可以看出在考虑了遮挡后，基于实施例1中的的遮挡模型获取的采样率在同等条件下，可以提高视点的绘制质量。

Claims

1.一种应用于光场绘制中降低视点的重构失真度的方法，其特征是，包括如下步骤：

2)遮挡的量化描述：遮挡的量化描述包括：

(2)使用光场的方法描述3D场景的信号：在3D场景中，采用7维全光函数F(x,y,z,θ,φ,λ,t)来描述在时间为t、位置是(x,y,z)和方向是(θ,φ)、波长为λ的光线，在这个7维的全光函数数学模型中，把变量λ和t看成常数，从而把7D的函数F(x,y,z,θ,φ,λ,t)简化到5D全光函数F(x,y,z,θ,φ)，在5D全光函数中，包括相机的位置参数(x,y,z)和方向参数(θ,φ)，只选择位置参数中的(x,y)和方向中的(θ)，其他的参数的特性在此基础上可以扩展得到，得到在平面x-y上变化的3D的全光函数F(x,y,θ)，假设在平面x-y上相机的视角范围内包含N根光线，那么每一根光线的方程可以写为公式(1)：

其中，f是相机的焦距，v是第i^th根光线l_i在成像平面的交点，具有v＝ftan(θ)的关系，(x₀,y₀)表示相机的位置，假设在平面上相机视角范围内包含了N根光线，在有遮挡的场景中N根光线中有的光线被遮挡，令被遮挡的光线数量是K，被遮挡的光线组成一个遮挡区域，遮挡区域的面积与相机视角范围面积之比就是遮挡程度，同样，将遮挡区域的光线数量与相机视角范围内光线总数之比得到遮挡程度，得到遮挡程度的量化方程如公式(2)所示：

4)重构任意位置和方向的新视点：依据步骤3)确定的相机的拍摄位置重新拍摄场景新的多视点图像，将新的多视点图像采用双线性插值的方法重构任意位置和方向的新视点，评价视点绘制质量，视点绘制质量是评估视点失真程度，使用PSNR来量化评价，人眼看没有失真图像的PSNR最小值一般是28，阈值设置大于等于28dB，如果不满足质量阈值则返回步骤3)，优化相机的拍摄位置，重新拍摄场景，获得一组新的多视点图像，用于下一次的视点绘制，直到满足质量阈值。