CN106507096A - 一种具有超大视角的追踪式地面光场3d显示方法及系统 - Google Patents

Abstract

本发明提供一种具有超大视角的追踪式地面光场3D显示方法及系统，所述显示方法包括：S1.基于3D场景的视差图像，合成用于3D显示的合成图；S2.基于观察者的方位信息，判断并显示所述方位信息对应的所述合成图。本发明具有超大视角的追踪式地面显示3D显示方法在确保高分辨率的基础上很大程度上提高了视场角，实现了超大视角。本发明的显示系统结构简单、无需场境等辅助光学器件，系统中没有机械运动，不会产生振动、噪声和跳变等优点。

Description

一种具有超大视角的追踪式地面光场3D显示方法及系统

技术领域

本发明涉及3D显示技术领域，更具体地，涉及一种具有超大视角的追踪式地面光场3D显示方法及系统。

背景技术

随着当今科学技术的飞速发展，传统的二维平面显示技术已经远远无法满足目前各个行业领域对于深度数据与空间立体感的需求。越来越多的应用领域，如医学成像、科学研究、外太空探索、重要远程会议和军事等，要求能够实现3D场景的真实重建，从而使得观看者可以更加精确的捕获相关信息，准确的进行现场判断。

利用立体眼镜实现双目立体是目前最为普遍的3D显示技术，目前该技术主要应用于电影产业。平面自由立体显示技术的出现，让人们可以通过肉眼直接体验3D视觉，使3D与人们的生活更加贴近。

光场显示的代表是集成成像显示，它是由Lippmann提出的集成摄影术(integralphotography，IP)发展而来，该技术可以为观众提供全视差的自由立体效果。光场显示是一种重要的3D显示，观看者无需佩戴助视眼镜即可观看到立体图像。该3D显示可以完全还原真实3D场景，具有全视差、全彩色和视点连续的优点。但是目前普通光场显示中，存在高分辨率与超大视角两者之间相互制约的缺点，在提高分辨率的同时势必降低视场角。

发明内容

为了解决上述问题，在保证高分辨率的基础上，本发明提供一种具有超大视角的追踪式地面光场3D显示方法，所述显示方法包括：

S1.基于3D场景的视差图像，合成用于3D显示的合成图；

S2.基于观察者的方位信息，判断并显示所述方位信息对应的所述合成图。

优选地，所述S1包括如下步骤：

S11.基于透镜阵列的光场显示系统，确定光场显示系统参数；

S12.根据光场显示系统参数，利用相同参数设置拍摄设备阵列，采集3D场景的视差图像；

S13.对所述视差图像进行编码合成得到用于3D显示的合成图。

优选地，S11中所述光场显示系统包括显示面板、透镜阵列与具有散射功能的光学器件。

优选地，所述透镜阵列包括多个透镜，其中，每个透镜下覆盖一个图像像素组。

优选地，S12中采用虚拟相机矩阵，离轴拍摄，渲染得到视差图像序列。

优选地，所述拍摄设备阵列中拍摄设备的个数与一个像素组中像素的个数相同。

优选地，S11中所述参数包括透镜阵列的宽度D、所述光学器件的显示宽度W和透镜阵列与所述光学器件间的距离L；S12中采集的3D场景的宽度为D₀，拍摄设备阵列的总宽度为W₀，拍摄设备阵列拍摄的平面到拍摄阵列的距离为L₀，S12的采集参数满足以下关系：

优选地，S13中视差图像阵列数目与合成编码图像中每个子单元中像素数目相对应。

优选地，S2的具体步骤包括：

利用体感追踪设备对观察者进行追踪，实时获得观察者的空间方位信息；

判断观察者所处的观看视区，显示其对应的所述合成图。

本发明的另一方面，还提供了一种具有超大视角的追踪式地面光场3D显示系统，其特征在于，所述系统包括：

采集模块，用于采集3D场景的视差图像；

编码合成模块，用于将所述视差图像进行编码成合成图；

追踪模块，用于实时捕获观察者的方位信息；

显示模块，判断并显示对应的合成图。

优选地，显示模块包括光场显示系统。

其中，光场显示系统包括液晶显示面板、透镜阵列与具有散射功能的光学器件。

优选地，透镜阵列包括多个透镜，其中，每个透镜下覆盖一个图像像素组。

优选地，在采集模块包括使用离轴拍摄方式的虚拟相机矩阵阵列。

本发明通过提供一种具有超大视角的追踪式地面光场3D显示方法及其系统，解决了现有技术中针对地面式光场显示中所存在的高分辨率与超大视角两者之间相互制约的缺点，同时实现了在地面式光场显示中的高分辨率和超大视角。本发明的显示系统具有结构简单、无需场镜等辅助光学器件，系统中没有机械运动，不会产生振动、噪声和跳变等优点。

附图说明

图1为根据本发明实施例中追踪式地面光场3D显示方法的总体流程示意图；

图2为根据本发明一个优选实施例中基于透镜阵列的光场显示系统及注意参数示意图；

图3为根据本发明一个优选实施例中视差图像采集过程的示意图；

图4为根据本发明一个优选实施例中N*N相机阵列拍摄位置移动关系图；

图5为根据本发明一个优选实施例中视差图像序列编码合成图像过程的示意图；

图6为根据本发明一个优选实施例中观看者位于不同视区观看到不同合成图的示意图；

图7为根据本发明实施例中使用本发明的方法与传统方法所得到视场角的对比图；

图8为根据本发明实施例中追踪式地面光场3D显示系统的示意图；

图9为根据本发明一个优选实施例中基于液晶显示面板的地面光场3D显示系统示意图(a)正面二维示意图，(b)顶面一维示意图；

图10为根据本发明一个优选实施例中全息功能屏对实际透镜产生场曲的矫正作用的示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

本发明的具有超大视角的追踪式地面光场3D显示方法，如图1所示，包括：

S1.基于3D场景的视差图像，合成用于3D显示的合成图；

S2.基于观察者的方位信息，判断并显示所述方位信息对应的S1中合成图。

在地面光场显示方法中，通常选用含有透镜阵列的光场系统。

为了实现合成图之间无跳变切换，在S1采集图像的过程中，拍摄设备阵列与3D光场场景之间的参数关系应与光场显示系统参数设置相同。即，在本发明的一个优选的实施例中，所述S1包括如下步骤：

S11.基于透镜阵列的光场显示系统，确定光场显示系统参数；

S12.根据光场显示系统参数，利用相同参数设置拍摄设备阵列，采集3D场景的视差图像；

S13.对所述视差图像进行编码合成得到用于3D显示的合成图。

其中，所述光场显示系统包括显示面板、透镜阵列与具有散射功能的光学器件。

本发明中的显示面板泛指具有显示功能的器件，本领域中常用的具有上述功能的器件均可以用于本发明中。在本发明的具体实施方式中以液晶显示面板为例来详述本发明的技术方案。

具有散射功能的光学器件泛指可以将光线以一定的角度进行发散的器件，本领域中具有上述功能的光学器件均可以用于本发明中。在本发明的具体实施方式中以全息功能屏为例来详述本发明的技术方案。

在本发明的一个优选实施例中，在S11中，光场显示系统包括液晶显示面板、透镜阵列与全息功能屏三部分共同组成。

其中，透镜阵列包括多个透镜，其中，每个透镜下覆盖一个图像像素组。每个透镜下覆盖N*N个像素，这N*N个像素称为一个像素组。其中，透镜阵列优选矩形排列。

如图2所示，在距离透镜阵列L的位置上，液晶面板上所有的像素组经过它们对应的透镜中心的连线可以形成宽度为W的共同区域。透镜阵列的总体宽度为D。

为了在保持较高分辨率的前提下，使地面式光场能更好的实现超大视角，优选地，在S12中采用虚拟相机矩阵，离轴拍摄，渲染得到视差图像。

采用拍摄设备阵列进行视差图像采集。拍摄设备阵列指多台拍摄设备，为了得到更完整的图像，拍摄设备阵列中拍摄设备的个数与一个像素组中像素的个数相同。为了一次性快速精确得到大量视差图，本发明中使用虚拟相机阵列来作为拍摄设备，在下面的优选实施例中，均以虚拟相机阵列为例来详述本发明的优选技术方案。

在S12采集视差图像序列的步骤中，视差采集过程如图3所示，相机采集阵列的总宽度为W₀，采集相机的数目为N*N。每个相机采用离轴拍摄的方式，相机拍摄的公交面到相机阵列的距离为L₀，被采集的整个3D场景的宽度为D₀。

为了保证合成图之间无跳变切换，采集过程中其虚拟相机阵列与3D场景之间的参数关系与光场显示系统参数设置相对应。视差图像阵列的采集参数需要满足以下关系：

假设两虚拟相机间距为x，相机阵列的所有相机间距相等。

在本发明的一个实施例中，根据以上关系确定虚拟相机阵列的具体参数。

例如，本发明中，进行图像序列采集时可以按照如下方法设置相机阵列，如图4所示，在N*N相机阵列处于三维坐标原点位置的基础上，向X轴的正、负方向分别移动m₀x、m₁x...m_kx,Y轴的正、负方向分别移动n₀x、n₁x...n_k’x，则相机阵列的中心位于三维坐标系(±m_kx，±n_k’x，z)处分别进行虚拟拍摄，其中0≤m₀<m₁...<m_k<N(N指X方向的相机个数),m₀、m₁...m_k、k均为整数；0<n₀<n₁...<n_k’<N(N指Y方向的相机个数),n₀、n₁...n_k’、k’均为整数。

在S13对采集到的视差图像序列进行编码合成的步骤中，视差图像阵列数目优选与合成编码图像中每个子单元中像素数目相对应。即，以矩形排列的透镜阵列为例，因此视差图像阵列水平与竖直方向上的数目均为N，合成编码图像每个透镜对应的子单元中像素的数目为N*N。

在本发明的实施例中所提出的利用虚拟相机矩阵离轴拍摄的方式渲染，一次性快速、精确的得到大量视差序列图，再根据图像编码方式将多组视差图像序列合成多张用于光场显示的合成图。而传统的方法是利用单一相机多次拍摄3D场景，从而得到多张视差图。此文所述的方法较传统采集方法有明显优势，它可以快速精确、大量优质的得到用于光场显示的合成图。

其中，图像编码方式为本领域中常用的编码方式。在本发明的一个实施例中，以矩形排列的透镜阵列为例，以如下编码方式详述本发明：

在矩形排列的透镜阵列中，视差图像阵列水平与竖直方向上的数目均为N，合成编码图像每个透镜对应的子单元中像素的数目为N*N。视差图像阵列中每个图像的宽度与高度分别为w和h，合成编码图像的总宽度与高度分别为w_code和h_code。合成编码图像上任意位置(x，y)处的像素值可以用第(i，j)个视差图像中(x₀，y₀)处的像素值填充。i，j，x₀和y₀可以用公式(2)～公式(5)表示：

j＝x-(x-1)mod[N]·N (2)

i＝y-(y-1)mod[N]·N (3)

上式中(X)mod[N]表示X对N取模值，[X]表示对X取整数。

利用上述编码方式将渲染得到的多组视差图像序列分别合成多张合成图，如图5所示。

在S2中，利用体感追踪设备对观察者进行追踪，实时获得观察者的空间方位信息，判断观察者所处的观看视区，显示其对应的S1中合成图。

其中，将得到的用于3D地面光场显示的合成图预存于计算机中，利用体感追踪设备对观察者进行追踪，实时捕获观看者的空间方位，并判断观看者所处的观看视区，根据其对应的视区灵活调用预存于系统的合成图。在现有技术中，为了能实时捕获观看者的空间方位，通常是对观察者进行头部追踪，更优选地的是对观察者的眼睛的可视区进行追踪。

由于观察者位于的视区位置与相机阵列采集位置相一致，当观看者位于视区某一位置时，在液晶显示屏上对应调用与此位置一致的采集位置采集得到的序列图的合成图。

以下面一个优选的实施例来详述本发明的步骤S12，并将其效果与传统集成成像的效果相比较。

设传统集成成像在距离液晶显示屏为L处时，在X方向上的显示范围为X₀，Y方向上为Y₀，则采用本发明的追踪式地面光场3D显示方法时，在X方向显示范围为(1+2m_k/N)X₀,在Y方向显示范围为(1+2n_k’/N)Y₀。

当观看者位于视区(-X₀/2,X₀/2)∩(-Y₀/2,Y₀/2)时，液晶显示屏显示相机阵列中心位于(0,0，z)处采集得到的序列图的编码合成图；当观看者位于第一象限的视区{((1/2+m_k-1/N)X₀,(1/2+m_k/N)X₀)}∩{(1/2+n_k’-1/N)Y₀,(1/2+n_k’/N)Y₀}时，液晶显示屏显示相机阵列中心位于(m_kx,n_k’x，z)处采集得到的序列图的编码合成图；当观看者位于第二象限的视区{(-(1/2+m_k/N)X₀),-(1/2+m_k/N)X₀)}∩{(1/2+n_k’-1/N)Y₀,(1/2+n_k’/N)Y₀}时，液晶显示屏显示相机阵列中心位于(-m_kx,n_k’x，z)处采集得到的序列图的编码合成图；当观看者位于第三象限的视区{(-(1/2+m_k/N)X₀),-(1/2+m_k/N)X₀)}∩{-(1/2+n_k’/N)Y₀,-1/2+n_k’-1/N)Y₀}时，液晶显示屏显示相机阵列中心位于(-m_kx,-n_k’x，z)处采集得到的序列图的编码合成图；当观看者位于第四象限的视区{((1/2+m_k-1/N)X₀,(1/2+m_k/N)X₀)}∩{-(1/2+n_k’/N)Y₀,-1/2+n_k’-1/N)Y₀}时，液晶显示屏显示相机阵列中心位于(m_kx,-n_k’x，z)处采集得到的序列图的编码合成图。据上所述，观看者位于不同视区观看到不同的合成图，如图6所示。

由以上内容得知，如图7所示，用传统地面光场显示方法时，在X方向上显示视场角的范围为2arctan(X₀/2L)，同理，在Y方向上显示视场角的范围为2arctan(Y₀/2L)；而利用本发明的追踪式地面光场3D显示方法时，在X方向上显示视场角的范围为2arctan((1+2m_k/N)X₀/2L)，同理，在Y方向上显示视场角的范围为2arctan((1+2n_k’/N)X₀/2L)，明显在X、Y方向上均很大程度提高了视场角。

本发明的另一个方面还提供了一种具有高分辨率和超大视角的追踪式地面光场3D显示系统，系统包括：

采集模块，用于采集3D场景的视差图像；

编码合成模块，用于将所述视差图像进行编码成合成图；

追踪模块，用于实时捕获观察者的方位信息；

显示模块，用于判断并显示对应的所述合成图。

在本发明的一个实施例中，显示模块包括光场显示系统。

其中，光场显示系统包括液晶显示面板、透镜阵列与具有散射功能的光学器件。

其中，透镜阵列包括多个透镜，其中，每个透镜下覆盖一个图像像素组。

其中，追踪模块包括追踪设备，追踪设备用于实时捕获观察者的方位信息，判断并显示对应的所述合成图。

如图8所示，本发明所提供的追踪式地面光场3D显示系统包括：光场显示系统(显示模块)、处理器如计算机(编码合成模块)、和追踪设备(追踪模块)。其中，处理器中还包括虚拟相机阵列所构成的采集模块。

本发明的实施例中提出的光场显示系统包括：液晶显示面板、透镜阵列与全息功能屏(具有散射功能的光学器件)三部分，系统结构图如图9所示。

在该系统中，液晶显示面板是用于加载2D的编码图像，该图像经过透镜阵列与全息功能屏的调制作用可以实现三维光场的重建。液晶显示面板的分辨率越高，重建的信息就越完整，内容的精确度就越好。

在一般光场显示系统中，透镜阵列的间距与透镜焦距越大，视场角越大，本文利用大间距、大焦距的透镜阵列来实现在保证分辨率的基础上增大视场角。

由于全息功能屏具有扩散成像的作用，利用全息功能屏除了可将实际透镜成像内容的场曲矫正、减弱外，最重要的是可以利用它进行像素复用，从而提高空间分辨率，实现高分辨率的功能，如图10所示。

其中，在采集模块还包括使用离轴拍摄方式的虚拟相机矩阵阵列。

在本发明的实施例中，本发明提供的追踪式地面光地场3D显示方法及系统通过确定光场显示系统参数，利用对应比例的参数设置N﹡N的虚拟相机矩阵，利用离轴拍摄方式，一次性渲染得到N﹡N张视差序列图，并将其编码合成一张用于光场显示的合成图。根据需求设计，保持3D场景位置不变，平移虚拟相机矩阵，保证相机阵列与上次渲染位置有一定的重叠区域，利用同样方法渲染获得其他方位对应的视差序列图，并将其编码合成。将得到的全部合成图按照方位进行编号，且预存于计算机中，并将与此位置对应的合成图显示于显示装置上，在保持原有的高辨率的基础上实现了超大视角。另外，本发明的系统结果简单，无需场镜等辅助光学器件，系统中没有机械运动，不会产生振动、噪声和跳变等优点。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文涉及的技术术语如下：

1、编码图像：根据显示系统的参数，在液晶面板上加载的记录3D物体多方向信息的图像称为编码图像。

2、光场显示：利用显示设备与光学器件描述空间物点发出光线，并实现自由立体的显示方式称为光场显示。

3、视差图像：从不同角度对相同场景进行采集，获得的具有一定视差的图像序列组。

4、透镜阵列：将多透镜在2D方向上进行排列而形成的透镜矩阵。

5、全息功能屏：利用全息的方式制作的光学器件，可以将光线以一定的角度进行发散，本文中的全息功能屏泛指一切具有散射功能的光学器件。

6、视区：集成成像系统的透镜阵列的折射作用使得来源于不同视差图像的光线向不同方向传播，在空间中形成的视差图像观看区域，简称视区。

7、体感追踪：是指利用躯体感觉，如触觉、压觉、温觉、痛觉和本体感觉(关于肌肉和关节位置和运动、躯体姿势和运动以及面部表情的感觉)等对电子产品进行操作和控制。

8、发散角：一束平行光经过全息功能屏后展开的角度称为发散角。

9、离轴拍摄：成像设备的成像面与像面不平行的拍摄方式，对于一般相机成像面与光轴垂直离轴拍摄，也可定义为摄像机光轴与像面不平行的一种拍摄方式。

10、共交面：多个相机采用离轴拍摄方式拍摄物体时形成的公共交集平面。

最后，本申请的方法仅为较佳的实施方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种具有超大视角的追踪式地面光场3D显示方法，其特征在于，所述显示方法包括：

S1.基于3D场景的视差图像，合成用于3D显示的合成图；

S2.基于观察者的方位信息，判断并显示所述方位信息对应的所述合成图。

2.根据权利要求1所述的显示方法，其特征在于，所述S1包括如下步骤：

S11.基于透镜阵列的光场显示系统，确定光场显示系统参数；

S12.根据光场显示系统参数，采用相同参数设置拍摄设备阵列，采集3D场景的视差图像；

S13.对所述视差图像进行编码合成得到用于3D显示的合成图。

3.根据权利要求2所述的显示方法，其特征在于，S11中所述光场显示系统包括显示面板、透镜阵列与具有散射功能的光学器件。

4.根据权利要求3所述的显示方法，其特征在于，所述透镜阵列包括多个透镜，其中，每个透镜下覆盖一个图像像素组。

5.根据权利要求1-4中任一项所述的显示方法，其特征在于，S12中采用虚拟相机矩阵，离轴拍摄，渲染得到视差图像。

6.根据权利要求2-5中任一项所述的显示方法，其特征在于，S11中所述参数包括透镜阵列的宽度D、所述光学器件的显示宽度W和透镜阵列与所述光学器件间的距离L；S12中采集的3D场景的宽度为D₀，拍摄设备阵列的总宽度为W₀，拍摄设备阵列拍摄的平面到拍摄阵列的距离为L₀，S12的采集参数满足以下关系：

$\frac{D}{D_0}=\frac{W}{W_0}=\frac{L}{L_0}.$

7.根据权利要求2-6中任一项所述的显示方法，其特征在于，S13中视差图像阵列数目与合成编码图像中每个子单元中像素数目相对应。

8.根据权利要求1-7中任一项所述的显示方法，其特征在于，S2的具体步骤包括：

利用体感追踪设备对观察者进行追踪，实时获得观察者的空间方位信息；

判断观察者所处的观看视区，显示其对应的S1中合成图。

9.一种具有超大视角的追踪式地面光场3D显示系统，其特征在于，所述系统包括：

采集模块，用于采集3D场景的视差图像；

编码合成模块，用于将所述视差图像进行编码成合成图；

追踪模块，用于实时捕获观察者的方位信息；

显示模块，用于判断并显示对应的所述合成图。

10.根据权利要求9所述的系统，其特征在于，所述显示模块包括光场显示系统；

其中，光场显示系统包括液晶显示面板、透镜阵列与具有散射功能的光学器件。