CN113395510B - 三维显示方法及系统、计算机可读存储介质及程序产品 - Google Patents

Abstract

本发明公开一种三维显示方法、三维显示系统、计算机可读存储介质和计算机程序产品，其中，三维显示方法包括：启动跟踪设备捕获人眼瞳孔位置，以获得瞳孔位置信息；根据瞳孔位置信息，获得视域平面上的视点分布信息；视点分布信息包括与人眼瞳孔位置相对的第一分布区、及环绕第一分布区的第二分布区，第一分布区上的视点密度大于第二分布区上的视点密度；对采样位置采样，以获得采样图像；采样位置至少包括一个相对第一分布区设置的第一采样位置；以及视点分布信息和采样图像生成以供显示器显示的三维图像。本发明技术方案旨在提供一种高分辨率的三维显示方法，以提升三维显示系统的显示效果，从而提升用户的观看体验。

Description

三维显示方法及系统、计算机可读存储介质及程序产品

技术领域

本发明涉及三维显示领域，特别涉及一种三维显示方法、三维显示系统、计算机可读存储介质和计算机程序产品。

背景技术

几个世纪以来，三维显示一直是人们所追求的。权威机构Display Search曾预测，三维显示将具有数千亿美元的全球市场，并将派生一系列信息技术领域的新产业。为了真实地描述客观三维世界，人们努力用各种方法在空间里呈现出虚拟的三维场景。三维显示在传统二维显示的基础上通过光学调制器件提供各种生理和心理上的调节线索产生深度暗示，并通过大脑进行融合形成三维感知。然而，现有的三维显示系统受制于显示器件空间带宽积的限制以及处理器的运算能力，导致三维图像的分辨率很低，十分影响显示效果。

发明内容

本发明的主要目的是提出一种三维显示方法，旨在提供一种高分辨率的三维显示方法，以提升三维显示系统的显示效果，从而提升用户的观看体验。

为实现上述目的，本发明提出的三维显示方法，包括：

启动跟踪设备捕获人眼瞳孔位置，以获得瞳孔位置信息；

根据所述瞳孔位置信息，获得视域平面上的视点分布信息；所述视点分布信息包括与人眼瞳孔位置相对的第一分布区、及环绕所述第一分布区的第二分布区，所述第一分布区上的视点密度大于所述第二分布区上的视点密度；

对采样位置采样，以获得采样图像；所述采样位置至少包括一个相对所述第一分布区设置的第一采样位置；以及

根据所述视点分布信息和所述采样图像生成以供显示器显示的三维图像；所述三维图像投射于所述视域平面，能在所述第一分布区的视点处形成多个第一视点图像。

可选地，所述第一视点图像的视差为P，所述采样图像的视差为S，所述P的范围为[0,S]。

可选地，满足聚焦效应的密集视点三维采样图像的视差为S₀，所述P的范围为(0,S₀)。

可选地，所述第一采样位置设有多个，每两相邻所述第一采样位置的采样间距为d，所述瞳孔的半径为r，所述d的范围为[0,r]。

可选地，所述根据所述瞳孔位置信息，获得视域平面上的视点分布信息的步骤之前，所述三维显示方法还包括以下步骤：

判断跟踪设备是否成功捕获人眼瞳孔位置；

若是，则执行所述根据所述瞳孔位置信息，获得视域平面上的视点分布信息的步骤；

若否，则再次执行所述启动跟踪设备捕获人眼瞳孔位置，以获得瞳孔位置信息的步骤。

可选地，所述显示器包括显示器本体及透镜阵列，所述显示器本体上设有多个像素单元，所述透镜阵列用于调制并投射所述像素单元发出的光线，所述透镜阵列包括多个子透镜，每一所述子透镜投射的光线在所述视域平面形成一重复视域，以在所述视域平面形成多个所述重复视域，且用户两瞳孔跨设至少两所述重复视域。

可选地，所述跟踪设备用于实时捕获人眼瞳孔位置，并实时反馈瞳孔位置信息。

本发明还提出一种三维显示系统，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的三维显示程序，所述三维显示程序被所述处理器执行时实现前述的三维显示方法的步骤。

本发明还提出一种计算机可读存储介质，所述计算机可读存储介质存储有三维显示程序，所述三维显示程序被所述处理器执行时实现前述的三维显示方法的步骤。

本发明还提出一种计算机程序产品，包括三维显示程序，所述三维显示程序被所述处理器执行时实现前述的三维显示方法的步骤。

本发明技术方案通过将第一分布区设置为视点密集区，将第二分布区设置为视点稀疏区，第一分布区始终保持在人眼瞳孔附近，以在瞳孔附近获得高分辨率的三维画面，从而提升用户的观看体验。具体地，瞳孔所对的第一分布区的视点密集，并且瞳孔跨设至少两个所述重复视域，使得透镜阵列中的多个子透镜的尺寸减小，因而人眼可以看到高分辨率的三维画面，提升了三维显示效果；瞳孔外的第二分布区的视点稀疏，因而三维显示系统的计算量将大大下降，视点间的串扰也随之减少，最大程度上降低了串扰对景深的影响。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明三维显示方法一实施例的流程示意图；

图2为本发明三维显示方法一实施例的模块示意图；

图3为本发明三维显示方法一实施例的一密集视点显示示意图；

图4为本发明三维显示方法其他实施例的一密集视点显示示意图；

图5为本发明三维显示方法其他实施例的另一密集视点显示示意图；

图6为本发明三维显示方法一实施例的另一密集视点显示示意图；

图7为本发明三维显示方法一实施例的多重复视域显示示意图。

附图标号说明：

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明，若本发明实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

另外，若本发明实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，若全文中出现的“和/或”的含义为，包括三个并列的方案，以“A和/或B”为例，包括A方案，或B方案，或A和B同时满足的方案。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

本发明提出一种三维显示方法。

在本发明三维显示方法一实施例中，如图1所示，该三维显示方法，包括：

S100、启动跟踪设备10捕获人眼瞳孔位置，以获得瞳孔位置信息；

S300、根据所述瞳孔位置信息，获得视域平面上的视点分布信息；如图3所示，所述视点分布信息包括与人眼瞳孔位置相对的第一分布区a、及环绕所述第一分布区a的第二分布区b，所述第一分布区a上的视点密度大于所述第二分布区b上的视点密度；

S400、对采样位置采样，以获得采样图像；所述采样位置至少包括一个相对所述第一分布区a设置的第一采样位置；以及

S500、根据所述视点分布信息和所述采样图像生成以供显示器40显示的三维图像；所述三维图像投射于所述视域平面，能在所述第一分布区a的视点处形成多个第一视点图像。

可以理解，三维显示系统的设备支持的空间带宽积和计算量有限，若视域平面的视点过于密集，将导致三维图像的分辨率过低，大大影响用户的观看体验；而当视域平面的视点过于稀疏时，三维图像的聚焦深度暗示越弱，其与辐辏深度的冲突将更强，也对用户的观看体验有很大影响。

在本发明的三维显示方法中，瞳孔所对的第一分布区a的视点密集，能增强对用户的聚焦深度暗示，以调节用户的聚焦与辐辏冲突，提升了用户的观看体验；而瞳孔外的第二分布区b的视点稀疏，可使三维显示系统的计算量大大下降，三维图像的分辨率从而得到提升，视点间的串扰也将随之减少，以最大程度上降低串扰对景深的影响，进一步提升用户的观看体验。

不失一般性，本实施例中，采用虚拟相机20对采样位置采样，步骤S400具体为：控制虚拟相机20移动至采样位置采样，以获得采样图像。当然，本发明不限于此，在其他实施例中，还可以采用光线追踪的方式直接计算采样图像或者其它获得采样图像的方式。

进一步地，在本实施例中，所述第一视点图像的视差为P，所述采样图像的视差为S，所述P的范围为[0,S]。不失一般性，用户可根据实际需要自行设置P值。例如，如图4所示，可设置P＝S≠0，此时，焦点深度D1将等于辐辏深度D2，可在根本上解决辐辏与聚焦不一致带来的眩晕问题；如图6所示，也可设置P＝0，此时，焦点深度D1和辐辏深度D2的差值将达到最大，也即聚焦与辐辏冲突达到最大，但此时所需的计算量将最小，图像分辨率也将最高；如图5所示，还可设置0<P<S，此时，焦点深度D1和辐辏深度D2的差值能够适当减小，也即聚焦与辐辏冲突能够得到一定调节，此时的计算量和分辨率将保持在最高水平与最低水平之间。

因此，本发明的三维显示方法，可以通过调整P值，以形成不同视差值的第一视点图像，从而分别对三维显示系统的分辨率、计算量、景深、及聚焦与辐辏冲突等参数进行适应性调整，进而使该三维显示满足不同应用场景的需求。

进一步地，在本实施例中，满足聚焦效应的密集视点三维采样图像的视差为S₀，所述P的范围为(0,S₀)。可以理解，采样图像的视差S是可调的，具体可通过调整采样间距d或虚拟相机到物体间的距离等手段调整，在此不一一赘述。特别地，当以视差S₀采样时，能得到可用于满足聚焦效应三维显示的采样图像，即前文所述的满足聚焦效应的密集视点三维采样图像。本实施例中，第一视点图像的视差P的范围为(0,S₀)，以使用户看到的画面介于立体三维显示图像与满足聚焦效应的密集视点三维显示图像之间，如此，三维显示系统的分辨率、计算量、景深、及聚焦与辐辏冲突等参数能达到一个相对平衡的状态，以多维度优化用户的观看体验。

当然，在其他实施例中，第一视点图像的视差P也可设置为其他值，例如，在仅考虑分辨率这一单一维度参数时，也可以设置P＝0，以获得更高的分辨率，此时，用户看到的画面为立体三维显示图像；而当仅考虑聚焦与辐辏冲突这一单一维度参数时，还可设置P＝S₀，以解决聚焦与辐辏冲突，此时，用户看到的画面为满足聚焦效应的密集视点三维显示图像。

进一步地，在本实施例中，所述第一采样位置设有多个，每两相邻所述第一采样位置的采样间距为d，所述瞳孔的半径为r，所述d的范围为[0,r]。如此，第一采样位置可设有两个，如此，一虚拟相机20只需相对第一分布区捕获两个第一采样位置的图像，大大减小了虚拟相机20的工作量，三维显示系统的运算量也能进一步下降，三维图像生成的速率也能得到提升，该三维显示系统的响应效率将随之提升，用户的观看体验也能进一步得以提升。

进一步地，在本实施例中，步骤S300之前，所述三维显示方法还包括以下步骤：

S200、判断跟踪设备10是否成功捕获人眼瞳孔位置；

若是，则执行步骤S300；

若否，则再次执行步骤S100。

步骤S200具体为：

S210、判断获取的瞳孔空间位置是否在预设范围内；所述预设范围为视域平面的范围；

S220、若是，则执行步骤S300；

S230、若否，则执行步骤S100。

步骤S200用于确保跟踪设备10能够成功捕获人眼瞳孔位置，避免其获取错误的位置并向后端传递，导致最终无法生成三维图像，或者，生成错误的三维图像，影响用户的观看体验。

当然，在其他实施例中，步骤S230也可以是：

若否，则执行步骤S231、判断追踪设备是否开启；

若是，则执行步骤S232、控制追踪设备再次捕获人眼瞳孔位置，以获得新的瞳孔位置信息；

若否，则直接执行S100。

如此，可避免在追踪设备已开启的情况下重启追踪设备。

进一步地，在本实施例中，如图7所示，所述显示器40包括显示器本体及透镜阵列，所述显示器本体上设有多个像素单元，所述透镜阵列用于调制并投射所述像素单元发出的光线，所述透镜阵列包括多个子透镜41，每一所述子透镜41投射的光线在所述视域平面形成一重复视域M，以在所述视域平面形成多个所述重复视域M，且用户两瞳孔跨设至少两所述重复视域M。其中，透镜阵列可以是圆透镜阵列或柱状透镜阵列，透镜阵列可以设置于显示器前侧，也可以设置于显示器本体的背光光源和显示面板之间。具体地，本发明通过对子透镜41进行优化设计，减小重复视域M的大小，使得左右眼坐落在不同的重复视域M所对应的左右视域区域。不失一般性，本实施例中，通过减小子透镜41的尺寸来减小其形成的重复视域M的大小，如此，视点总数也将随之减小，而三维图像的空间分辨率将进一步提高。

进一步地，在本实施例中，所述跟踪设备10用于实时捕获人眼瞳孔位置，并实时反馈瞳孔位置信息。本实施例中，即使在用户移动时，跟踪设备10也能实时反馈瞳孔位置信息的变化，并即时生成新的三维图像，以最终在视域平面上动态实时生成视点图像。如此，用户可在预设范围内随意走动，以观看多视角的三维图像，从而获得更佳的视觉体验及三维沉浸感。

不失一般性，在本发明一实施例中，显示器本体采用显示单元为15.6寸3840×2160的液晶显示器40，其像素尺寸为0.09mm，透镜阵列选用柱状透镜阵列，其中，子透镜41尺寸为0.2836mm，倾斜角度为14度，透镜阵列到显示器40件间距为1.2mm，视域平面到透镜间距为500mm，瞳孔直径以5mm为例，初始视域宽度为130mm，跟踪设备10为彩色单目摄像头。

首先通过跟踪设备10获得人眼瞳孔的位置，假设人眼左右眼瞳孔的位置分别在距离视域中心35mm处。将左右眼瞳孔位置分别赋值给虚拟三维场景中的与左右眼相对应的两个虚拟相机20，控制虚拟相机20在相对人眼瞳孔中心的采样位置采样一次，并以人眼瞳孔位置为中心，在水平方向上向两侧以2.5mm对三维场景各采样一次，也即，每两相邻采样位置的采样间距d为2.5mm，等于瞳孔半径，如此，左右两个虚拟密集视点采样相机的采样数目能有效下降。由于采样数目大大降低，降低了三维场景的渲染时间以及密集视点三维映射的计算量，同时多视点间的串扰也大大降低，提高了三维显示的分辨率与景深。当观察者左右移动时，通过瞳孔跟踪设备10实时获取人眼的瞳孔位置并且实时对三维信息进行采样与计算，可以始终保持只在人眼瞳孔附近产生高密度的视点，以使人眼能看到高分辨率的三维图像，同时获得大视角的三维显示效果。

当然，本实施例中，还可对采样间距d及采样视差S进行调整。不失一般性，本实施例中，当d＝2.5mm时，采样视差S＝S₀，也即，此时，虚拟相机采样得到的采样图像可用于满足聚焦效应的密集视点三维显示。因此，当调整采样间距d以使d＝0时，在整个视域平面只有左右眼两个采样位置分布，此时，P＝0，为立体三维显示；当调整采样间距d以使d＝2.5mm时，对于一个用户而言，其视域共有4个第一视差图像分布，其中，左右眼处各两个视差为P的第一视点图像，此时，P＝S₀，为满足聚焦效应的密集视点三维显示；当0<d<2.5mm时，在保持视域共有4个第一视差图像分布，其中，左右眼处各两个视差为P的第一视点图像不变得情况下，仅改变视差图像使其0<P<S₀，三维显示效果在立体三维显示与满足聚焦效应的密集视点三维显示之间。因此，通过控制虚拟相机20的采样间距d，可以有效在立体三维显示与满足聚焦效应的密集视点三维显示之间进行切换。

进一步地，在本实施例中，还可通过利用重复视域M进一步提升高分辨率密集视点三维显示的分辨率，同时降低计算量与串扰。具体地，假设左右眼的瞳孔间距70mm，在观察距离、透镜阵列与显示器本体的间距距离不变的情况下，以左右眼的两瞳孔跨设两重复视域M为例，也即，左眼视域L宽度和右眼视域R均设计为23mm，整个视域的宽度为46mm，如此，应使透镜尺寸由之前的0.2836mm缩小到0.2142mm。此时，左眼在第一个视域的左眼视域L中心处，右眼则刚好坐落在第二个重复视域M的右眼视域R中心处。传统多视点三维显示要达到近似聚焦效应条件所需的视点数为52，即有两幅视差图像携带两根光线进入人眼。而在本实施例中，要达到聚焦效应的条件，所需的总视点数降低为18个，更多的信息将被用来提升三维显示的分辨率。

本发明还提出一种三维显示系统，包括存储器、处理器30及存储在所述存储器上并可在所述处理器30上运行的三维显示程序，所述三维显示程序被所述处理器30执行时实现前述的三维显示方法的步骤。该三维显示方法的具体步骤参照上述实施例，由于本三维显示系统采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。其中，所述处理器30可以是GPU(GraphicsProcessing Unit，图形处理器30)或FPGA(Field Programmable Gate Array，现场可编程逻辑门阵列)，ASIC(Application-specific integrated circuit,特殊应用集成电路),或其它适合本目的的处理器等。

进一步地，在本发明三维显示系统一实施例中，该三维显示系统还包括：

跟踪设备10，用于捕获人眼瞳孔位置，以获得瞳孔位置信息；

显示器40，包括显示器本体、位于显示器本体前侧的透镜阵列、及夹设于显示器本体与透镜阵列之间的隔离层；显示器本体包括显示驱动，所述显示驱动用于控制显示器40上像素点的开关；

具体地，在本实施例中，如图2所示，处理器30根据跟踪设备10反馈的瞳孔位置信息及虚拟相机20反馈的采样图像进行计算，求出每个子透镜41对应像素所发出的光线，在视域平面动态生成多个视点，且始终保证只在瞳孔附近产生高密度视点图像。

不失一般性，显示器40可以为液晶显示器40、OLED(Organic Light-EmittingDiode，有机发光显示器40)或Mico-LED(Mico-Light-Emitting Diode，微型发光显示器40)等；

隔离层可选用UV(Ultraviolet Rays，紫外光线)光敏胶、PET(Polyethyleneterephthalate，聚对苯二甲酸乙二酯)或玻璃等，其厚度可以大于透镜焦距或者小于透镜焦距；

跟踪设备10可以为红外摄像头、双目摄像头或者单目摄像头等。

所述方法不限于适用于单个人的人眼跟踪，通过其它跟踪方法和光学技术也可以实现多人观看情况下的所述高分辨率密集视点三维显示效果。

本发明还提出一种计算机可读存储介质，所述计算机可读存储介质存储有三维显示程序，所述三维显示程序被处理器执行时实现前述的三维显示方法的步骤。该三维显示方法的具体步骤参照上述实施例，由于本计算机可读存储介质采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。

本发明还提出一种计算机程序产品，包括三维显示程序，所述三维显示程序被处理器执行时实现前述的三维显示方法的步骤。该三维显示方法的具体步骤参照上述实施例，由于本计算机可读存储介质采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。

以上所述仅为本发明的可选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (7)

1.一种三维显示方法，其特征在于，包括：

启动跟踪设备捕获人眼瞳孔位置，以获得瞳孔位置信息；

根据所述瞳孔位置信息，获得视域平面上的视点分布信息；所述视点分布信息包括与人眼瞳孔位置相对的第一分布区、及环绕所述第一分布区的第二分布区，所述第一分布区上的视点密度大于所述第二分布区上的视点密度；

对采样位置采样，以获得采样图像；所述采样位置至少包括一个相对所述第一分布区设置的第一采样位置；以及

根据所述视点分布信息和所述采样图像生成以供显示器显示的三维图像；所述三维图像投射于所述视域平面，能在所述第一分布区的视点处形成多个第一视点图像；

其中，所述第一视点图像的视差为P，所述采样图像的视差为S，所述P的范围为(0,S)；所述显示器包括显示器本体及透镜阵列，所述显示器本体上设有多个像素单元，所述透镜阵列用于调制并投射所述像素单元发出的光线，所述透镜阵列包括多个子透镜，每一所述子透镜投射的光线在所述视域平面形成一重复视域，以在所述视域平面形成多个所述重复视域，且用户两瞳孔跨设至少两所述重复视域。

2.如权利要求1所述的三维显示方法，其特征在于，满足聚焦效应的密集视点三维采样图像的视差为S₀，所述P的范围为(0, S₀)。

3.如权利要求1所述的三维显示方法，其特征在于，所述第一采样位置设有多个，每两相邻所述第一采样位置的采样间距为d，所述瞳孔的半径为r，所述d的范围为[0, r]。

4.如权利要求1所述的三维显示方法，其特征在于，所述根据所述瞳孔位置信息，获得视域平面上的视点分布信息的步骤之前，所述三维显示方法还包括以下步骤：

判断跟踪设备是否成功捕获人眼瞳孔位置；

若是，则执行所述根据所述瞳孔位置信息，获得视域平面上的视点分布信息的步骤；

若否，则再次执行所述启动跟踪设备捕获人眼瞳孔位置，以获得瞳孔位置信息的步骤。

5.如权利要求1所述的三维显示方法，其特征在于，所述跟踪设备用于实时捕获人眼瞳孔位置，并实时反馈瞳孔位置信息。

6.一种三维显示系统，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的三维显示程序，所述三维显示程序被所述处理器执行时实现如权利要求1至5任一项所述的三维显示方法的步骤。

7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有三维显示程序，所述三维显示程序被处理器执行时实现如权利要求1至5任一项所述的三维显示方法的步骤。

Images