CN111429513A - 一种可优化视觉遮挡场景的光场绘制的方法 - Google Patents

Abstract

本发明公开了一种可优化视觉遮挡场景的光场绘制的方法，其特征在于，包括如下步骤：1）定义遮挡概率模型；2）用遮挡数学模型描述遮挡大小随着相机位置和方向变化；3）计算概率密度函数；4）描述视觉遮挡随着相机的位置变量中的左右移动变量

的变化规律。这种方法能提高光场绘制的质量即降低光场绘制中视点失真度。

Description

一种可优化视觉遮挡场景的光场绘制的方法

技术领域

本发明涉及3D计算成像和交互式计算视觉领域，尤其涉及一种应用于提高光场新视点绘制质量即降低失真度的补偿遮挡引起缺失的场景信息的深度学习模型，具体是一种可优化视觉遮挡场景的光场绘制的方法。

背景技术

遮挡是3D场景中最常见的物体位置关系之一。遮挡会随着不同场景和不同观察位置的变化而发生不规则的变化。遮挡会引起光场信号的不连续和产生不可预知的突变，当相机捕获场景的时候产生随机的干扰和信息缺失，这些干扰和信息的缺失会引起光场采样率增加和光场绘制(Light field rendering，简称LFR)视点质量下降，因此，现有的一些基于没有遮挡的理想假设的光场采样和重构理论无法应用于真实场景。

为了提高光场绘制技术的应用性和重构的视点质量，需要研究遮挡随着场景和相机观察位置变化的规律，从而估计遮挡引起的干扰和补偿缺失的场景信息。在实际应用中，遮挡的描述/探测和估计都是一个具有很大挑战性的问题，因为场景表面的变化都是大量的结构化和不连续变化，因此，对于LFR技术而言以下问题就变得非常重要：如何数学量化遮挡现象从而提高光场绘制质量这个问题与多个因素有关，比如：照明变化、不连续性、形状变化、背景变化等。目前缺乏对遮挡现象进行数学量化的理论，大部分光场绘制技术都是基于没有遮挡现象的情况下进行研究，这对真实场景下的3D计算成像技术性能提出来更高的要求，而且还需要从遮挡模型的复杂度和可靠性等方面考虑技术的可实现性。

发明内容

本发明的目的是针对现有技术的不足，而提供一种可优化视觉遮挡场景的光场绘制的方法。这种方法能提高光场绘制的质量即降低光场绘制中视点失真度。

实现本发明目的的技术方案是：

一种可优化视觉遮挡场景的光场绘制的方法，包括如下步骤：

1)定义遮挡概率模型：采用7维的全光函数F(x，y，z，θ，φ，λ，t)描述在时间t，相机捕获场景的位置(x，y，z)和方向(θ，φ)，在一个静止的场景中，假定光线传输为均匀分布，那么可把7维的全光函数简化成5维全光函数，即F(x，y，z，θ，φ)则，相机捕获场景信息时遮挡覆盖的区域定义为函数A(x，y，z，θ，φ)表示，遮挡物体所占视觉的覆盖区域，用函数B(x，y,z,θ,φ)表示，其中，(x，y,z)表示相机的空间位置，(θ,φ)表示相机的方向，那么遮挡程度s(x,y,z,θ,φ)可表示为公式(1)：

遮挡程度也称为遮挡评分大小，用来衡量场景中受遮挡的严重程度，然而，相机视角的覆盖范围随着相机的位置和方向变化而随机变化，遮挡覆盖区域B(x,y,z,θ,φ)的体积计算与相机和场景有关，这是非常困难的事情，因此，基于遮挡程度评分模型，提出一个基于概率密度函数的遮挡数学模型；

2)用遮挡数学模型描述遮挡大小随着相机位置和方向变化：为了方便计算，选择5维全光函数中2维位置(x,z)和1维方向θ，即得到3维光场F(x，z，θ)，那么遮挡函数中选择两个位置变量(x，z)和一个方向变量(θ)进行推导数学量化模型，在得到这三个变量(x，z,θ)的遮挡模型基础上可扩展到六个变量(x,y,z,θ,φ)的遮挡数学模型，给定一个相机，当相机的方向没有旋转和固定不变的时候，改变相机的位置(x)，遮挡程度近似是一个高斯函数为公式(2)：

其中，o(x)是遮挡因子，当x≥0的时候，有o(x)＝1表示没有遮挡，当x＜0的时候，有o(x)＝0表示完全遮挡，x₀表示遮挡物体的中心；

当相机移动的距离为相机与物体之间的距离z的时候，遮挡程度近似是一个指数函数，可写为公式(3)：

p(z)＝o(κ-z)a^z (3)，

这里0＜a＜1且a由遮挡物体的大小决定；

当旋转相机方向的时候，遮挡程度函数可写为公式(4)：

这里θ₀是相机方向没有旋转的角度，以上遮挡程度函数可以粗略的描述遮挡随着相机位置和方向变化的规律，因此，基于以上数学函数模型，进一步建立能够同时描述相机位置和方向变化的遮挡概率模型；

3)计算概率密度函数：光线在物体表面传输和反射的时候，遮挡会产生随机的不连续和高频信号，当相机的位置和方向同时变化的时候，遮挡概率密度函数可写为公式(5)：

p(x,z,θ)＝∠(x,z,θ,∑) (5)，

这里∠(·)是逻辑函数，它可以表示为公式(6)：

为了方便描述，定义一个可见量化函数如公式(7)：

u＝[u(x,z,θ)],(x,z,θ)∈R (7)，

其中，u(x，z，θ)＝1表示可见，u(x，z，θ)＝0表示不可见，那么给定一个相机参数c＝[(x，z，θ)]，(x，z，θ)∈R，相机位置和方向的可见度概率密度函数可以写为p(u|c)，在这种情况下，相机可见度的概率密度函数p(u|c)可以写为公式(8)：

p(u|c)＝∠(x，z，θ，∑) (8)，

此外，根据条件概率密度函数性质，给定一个相机参数的情况下的遮挡概率函数可为公式(9)：

4)描述视觉遮挡随着相机的位置变量中的左右移动变量(x)的变化规律：视觉遮挡随着相机的位置变量中的左右移动变量(x)的变化规律呈现近似高斯函数，即：给定一个存在遮挡的场景，被遮挡的物体长度是L₂，遮挡物体的长度是L₁，观察位置到车的距离是d₁、到墙的距离是d₂，那么遮挡的评分大小可写为公式(10)：

这里，G₁是被遮挡物体表面几何形状，G₂是遮挡物体表面几何形状，O(x，z，θ)是遮挡计算函数，表达式为公式(11)：

这里Δd＝d₂-d₁，当相机移到物体中心x＝x₀，以及相机方向没有旋转θ＝0的时候，遮挡评分是最大的，即如公式(12)所示：

这个情况下，遮挡是最大的，那么遮挡概率函数如公式(13)所示：

最后，给定一个相机的位置和方向都发生变化的时候，遮挡评分和隐含层之间的联合概率如公式(14)所示：

两层之间的权重参数更新，即l^th隐含层和(l+1)^th隐含层之间的计算如下如公式(15)、(16)和(17)所示：

采用公式(15)、(16)和(17)的迭代运算，可以更新两层之间权重和遮挡评分参数。

本技术方案根据场景的遮挡现象随着相机的位置和方向变化的规律，使用概率密度函数的方法描述遮挡变化的大小，为了提高遮挡评分的精确度，使用遮挡深度模型通过学习的方法获取场景的遮挡评分，根据遮挡评分对遮挡引起的缺失信息进行补偿，从而提高视点绘制质量。

与现有技术相比，本技术方案具有如下特点：

1.当相机的位置和方向都随机变化的时候，在不同的场景中遮挡会发生随机的变化，本技术方案基于概率密度的遮挡评价模型，可以通过深度学习的方式不断修正遮挡的评分值，具有较高的评分精度；

2.采用本技术方案的基于概率密度的遮挡深度模型可以有效的补偿因遮挡引起的信息缺失，从而提高视点的绘制质量；

3.基于概率密度的遮挡深度模型需要一定数量的多视点图像作为训练数据，本技术方案这些多视点图像可以使用普通文理相机捕获得到，在训练数据保证的前提下可以保证遮挡深度模型参数的精确度，从而获取量化的遮挡评分和信息补偿。

这种方法能提高光场绘制的质量即降低光场绘制中视点失真度。

附图说明

图1为实施例中立体场景的数量模型示意图，其中，(a)为7维的全光函数示意图、(b)为描述2D相机位置和1D相机方向的3D光场示意图；

图2为实施例中遮挡程度随着相机的位置和方向变化的概率密度模型示意图，其中，(a)为遮挡模型示意图、(b)为遮挡随着相机位置变化的概率示意图、(c)是遮挡随着相机方向变化的概率示意图；

图3为实施例中遮挡评分大小示意图；

图4为实施例中三个合成场景buddha-tree、Diamonds-lucy和Teapot-cube绘制的视点图示意图。

具体实施方式

下面结合附图和实施例对本发明的内容作进一步的阐述，但不是对本发明的限定。

实施例：

一种可优化视觉遮挡场景的光场绘制的方法，其特征在于，包括如下步骤：

1)定义遮挡概率模型：采用7维的全光函数F(x,y,z,θ,φ,λ,t)描述在时间t，相机捕获场景的位置(x,y,z)和方向(θ,φ)，如图1(a)所示，在一个静止的场景中，假定光线传输为均匀分布，那么可把7维的全光函数简化成5维全光函数，即F(x，y,z,θ,φ)，则相机捕获场景信息时遮挡覆盖的区域定义为函数A(x,y,z,θ,φ)表示，遮挡物体所占视觉的覆盖区域，用函数B(x,y,z,θ,φ)表示，其中，(x，y，z)表示相机的空间位置，(θ，φ)表示相机的方向，那么遮挡程度s(x，y，z，θ，φ)可表示为公式(1)：

遮挡程度也称为遮挡评分大小，用来衡量场景中受遮挡的严重程度，然而，相机视角的覆盖范围随着相机的位置和方向变化而随机变化，遮挡覆盖区域B(x，y，z，θ，φ)的体积计算与相机和场景有关，这是非常困难的事情，因此，基于遮挡程度评分模型，提出一个基于概率密度函数的遮挡数学模型；

2)用遮挡数学模型描述遮挡大小随着相机位置和方向变化：为了方便计算，选择5维全光函数中2维位置(x，z)和1维方向θ，即得到3维光场F(x，z，θ)，如图1(b)所示，那么在遮挡函数中选择两个位置变量(x，z)和一个方向变量(θ)进行推导数学量化模型，在得到这三个变量(x，z，θ)的遮挡模型基础上可扩展到六个变量(x，y，z，θ，φ)的遮挡数学模型，如图2所示，给定一个相机，当相机的方向没有旋转和固定不变的时候，改变相机的位置(x)，遮挡程度近似是一个高斯函数，可写为公式(2)：

其中，o(x)是遮挡因子，当的x≥0时候，有o(x)＝1表示没有遮挡，当x＜0的时候，有o(x)＝0表示完全遮挡，x₀表示遮挡物体的中心；

当相机移动的距离为相机与物体之间的距离z的时候，遮挡程度近似是一个指数函数，可写为公式(3)：

p(z)＝o(κ-z)a^z (3)，

这里0＜a＜1且a由遮挡物体的大小决定；

当旋转相机方向的时候，遮挡程度函数可写为公式(4)：

这里θ₀是相机方向没有旋转的角度，以上遮挡程度函数可以粗略的描述遮挡随着相机位置和方向变化的规律，因此，基于以上数学函数模型，进一步建立能够同时描述相机位置和方向变化的遮挡概率模型；

3)计算概率密度函数：光线在物体表面传输和反射的时候，遮挡会产生随机的不连续和高频信号，当相机的位置和方向同时变化的时候，遮挡概率密度函数可写为公式(5)：

p(x,z,θ)＝∠(x,z,θ,∑) (5)，

这里∠(·)是逻辑函数，它可以表示为公式(6)：

为了方便描述，定义一个可见量化函数如公式(7)：

u＝[u(x,z,θ)],(x,z,θ)∈R (7)，

其中，u(x,z,θ)＝1表示可见，u(x,z,θ)＝0表示不可见，那么给定一个相机参数c＝[(x,z,θ)],(x,z,θ)∈R，相机位置和方向的可见度概率密度函数可以写为p(u|c)，在这种情况下，相机可见度的概率密度函数p(u|c)可以写为公式(8)：

p(u|c)＝∠(x,z,θ,∑) (8)，

此外，根据条件概率密度函数性质，给定一个相机参数的情况下的遮挡概率函数可为公式(9)：

4)描述视觉遮挡随着相机的位置变量中的左右移动变量(x)的变化规律：视觉遮挡随着相机的位置变量中的左右移动变量(x)的变化规律呈现近似高斯函数，即：给定一个存在遮挡的场景，如图3所示，被遮挡的物体长度是L₂，遮挡物体的长度是L₁，观察位置到车的距离是d₁、到墙的距离是d₂，那么遮挡的评分大小可写为公式(10)：

这里，G₁是被遮挡物体表面几何形状，G₂是遮挡物体表面几何形状，O(x,z,θ)是遮挡计算函数，表达式为公式(11)：

这里Δd＝d₂-d₁，当相机移到物体中心x＝x₀，以及相机方向没有旋转θ＝0的时候，遮挡评分是最大的，即如公式(12)所示：

这个情况下，遮挡是最大的，那么遮挡概率函数如公式(13)所示：

最后，给定一个相机的位置和方向都发生变化的时候，遮挡评分和隐含层之间的联合概率如公式(14)所示：

两层之间的权重参数更新，即l^th隐含层和(l+1)^th隐含层之间的计算如下如公式(15)、(16)和(17)所示：

p(u^L-1，u^L,s(x，z_opt，θ)^L)＝exp(u^L-1TW^L-1u^L+(s^L-1(x，z_opt，θ))^Tu^L-1)(17)，采用公式(15)、(16)和(17)的迭代运算，可以更新两层之间权重和遮挡评分参数。

本例采用3DMAX构造三个合成场景：buddha-tree、Diamonds-lucy和Teapot-cube然后采用本例方法绘制的光场图质量提高了约3dB，绘制的结果如图4所示，说明采用本例方法可以很好的评价在不同场景中遮挡随着相机位置和方向变化的规律，采用学习的方法获取遮挡评分大小，本例方法更加客观的评分场景的遮挡现象，从而可以应用于相机捕获路径的最优化，同时可以补偿遮挡引起的缺失信息，从而提高光场视点绘制质量。

Claims (1)

1.一种可优化视觉遮挡场景的光场绘制的方法，其特征在于，包括如下步骤：

1)定义遮挡概率模型：采用7维的全光函数F(x，y，z，θ，φ，λ，t)描述在时间t，相机捕获场景的位置(x，y，z)和方向(θ，φ)，在一个静止的场景中，假定光线传输为均匀分布，那么可把7维的全光函数简化成5维全光函数，即F(x，y，z，θ，φ)，则相机捕获场景信息时遮挡覆盖的区域定义为函数A(x，y，z，θ，φ)表示，遮挡物体所占视觉的覆盖区域，用函数B(x，y，z，θ，φ)表示，其中，(x，y，z)表示相机的空间位置，(θ，φ)表示相机的方向，那么遮挡程度s(x，y，z，θ，φ)可表示为公式(1)：

2)用遮挡数学模型描述遮挡大小随着相机位置和方向变化：选择5维全光函数中2维位置(x，z)和1维方向θ，即得到3维光场F(x，z，θ)，给定一个相机，当相机的方向没有旋转和固定不变的时候，改变相机的位置(x)，遮挡程度近似是一个高斯函数为公式(2)：

其中，o(x)是遮挡因子，当的x≥0时候，有o(x)＝1表示没有遮挡，当x＜0的时候，有o(x)＝0表示完全遮挡，x₀表示遮挡物体的中心；

当相机移动的距离为相机与物体之间的距离z的时候，遮挡程度近似是一个指数函数，可写为公式(3)：

p(z)＝o(κ-z)a^z (3)，

这里0＜a＜1且a由遮挡物体的大小决定；

当旋转相机方向的时候，遮挡程度函数可写为公式(4)：

这里θ₀是相机方向没有旋转的角度；

3)计算概率密度函数：当相机的位置和方向同时变化的时候，遮挡概率密度函数可写为公式(5)：

p(x，z，θ)＝∠(x，z，θ，∑) (5)，

这里∠(·)是逻辑函数，它可以表示为公式(6)：

定义一个可见重化函数如公式(7)：

u＝[u(x，z，θ)]，(x，z，θ)∈R (7)，

其中，u(x，z，θ)＝1表示可见，u(x，z，θ)＝0表示不可见，那么给定一个相机参数c＝[(x，z，θ)]，(x，z，θ)∈R，相机位置和方向的可见度概率密度函数可以写为p(u|c)，在这种情况下，相机可见度的概率密度函数p(u|c)可以写为公式(8)：

p(u|c)＝∠(x，z，θ，∑) (8)，

此外，根据条件概率密度函数性质，给定一个相机参数的情况下的遮挡概率函数可为公式(9)：

4)描述视觉遮挡随着相机的位置变量中的左右移动变量(x)的变化规律：视觉遮挡随着相机的位置变量中的左右移动变量(x)的变化规律呈现近似高斯函数，即：给定一个存在遮挡的场景，被遮挡的物体长度是L₂，遮挡物体的长度是L₁，观察位置到车的距离是d₁、到墙的距离是d₂，那么遮挡的评分大小可写为公式(10)：

这里，G₁是被遮挡物体表面几何形状，G₂是遮挡物体表面几何形状，O(x，z，θ)是遮挡计算函数，表达式为公式(11)：

这里Δd＝d₂-d₁，当相机移到物体中心x＝x₀，以及相机方向没有旋转θ＝0的时候，遮挡评分是最大的，即如公式(12)所示：

这个情况下，遮挡是最大的，那么遮挡概率函数如公式(13)所示：

最后，给定一个相机的位置和方向都发生变化的时候，遮挡评分和隐含层之间的联合概率如公式(14)所示：

两层之间的权重参数更新，即l^th隐含层和(l+1)^th隐含层之间的计算如下如公式(15)、(16)和(17)所示：

p(u^L_1，u^L，s(x，z_opt，θ)^L)＝exp(u^L-1TW^L-1u^L+(s^L-1(x，z_opt，θ))^Tu^L-1) (17)，采用公式(15)、(16)和(17)的迭代运算，可以更新两层之间权重和遮挡评分参数。

Images