CN106940483B

CN106940483B - 一种光场显示装置及显示方法

Info

Publication number: CN106940483B
Application number: CN201710263154.3A
Authority: CN
Inventors: 张卓鹏; 魏一振
Original assignee: Hangzhou Light Grain Technology Co Ltd
Current assignee: Hangzhou Light Grain Technology Co Ltd
Priority date: 2017-04-20
Filing date: 2017-04-20
Publication date: 2019-08-13
Anticipated expiration: 2037-04-20
Also published as: CN106940483A

Abstract

本发明公开了一种光场显示装置及显示方法，光场显示装置包括：图像源，产生表征虚拟信息的光线；混合模块，虚拟信息的光线和外部环境光线经混合模块和透射型空间光调制器透射入人眼；透射型空间光调制器，根据控制模块的控制信号，对虚拟信息的光线和外部环境光线进行调制；控制模块，同步控制透射型空间光调制器和图像源，令透射型空间光调制器的不同独立单元被有序地打开或关闭，而图像源则有序地显示对应的图像。光场显示方法通过透射型空间光调制器快速有序地打开或关闭不同独立单元，构建所需呈现的虚拟信息的模拟光场，当人眼通过该模拟光场观察所需呈现的虚拟信息时，不存在辐辏调节冲突，从而避免了由此导致的人眼疲劳及其它生理不适。

Description

一种光场显示装置及显示方法

技术领域

本发明涉及虚拟现实与增强现实技术领域，尤其涉及一种基于光场原理的三维显示装置及显示方法。

背景技术

虚拟现实(Virtual Reality)技术是一种将虚拟信息更逼真地呈现在用户面前，并达到“以假乱真”的效果的显示技术，它通常屏蔽外界真实环境，使用户沉浸于虚拟世界中。增强现实(Augmented Reality)技术是一种将虚拟信息叠加到真实世界的显示技术，它使用户可以同时观察外界真实环境。这些技术可广泛应用于军事、医疗、教育、制造、娱乐等领域。随着相关技术的商用化推进，VR/AR设备越来越被大众所熟知，产品也逐渐往消费市场蔓延。其中，AR设备被认为具有更广阔的应用潜力，同时，当AR设备集成了可选择性遮挡现实世界光线的相关组件后，在某种程度上就兼具了VR设备的效果。因此，立足AR设备的特点，研究两者共通的三维显示技术，变得很有意义。

目前，市场上的AR眼镜设备种类繁多，其原理多是单深度的双目视差系统，即：通过一个半透半反的结构同时接收虚拟信息和真实世界场景；人眼在观看真实世界场景时，真实空间自带的三维信息给人眼提供了不同的深度线索，从而产生立体感；然而，在观察虚拟信息时，虚拟信息的画面其实是在同一个固定深度的平面上(单深度)，通过给双眼提供具有视差的两幅不同的画面(双目视差)达到立体效果，人眼调焦在该固定的深度位置接受虚拟信息，而无论虚拟信息是否包含了处于不同于该固定深度的虚拟点。在观察那些处于不同于该固定深度的虚拟信息时，由于左右眼聚焦的位置并不重合，造成了视觉辐辏调节冲突(vergence-accommodation conflict)。这种冲突会引起视疲劳、头痛等不良生理反应，限制了装备的长时间佩戴，体验欠佳。

而且，同一时刻该固定深度的平面必须提供清晰的视差图，因此其半透半反的结构既要承担对外部真实环境的通透，更要直接承担对图像源成清晰稳定的虚拟像面的功能，这种双重约束大大降低了光学设计的自由度，提高了设计工作的难度；尤其对于大视场角(Field of View)相关设备的设计，或要求半透半反结构的厚度进一步降低的设计，往往很难兼顾图像源成像质量的各种指标。

公开号为CN103487938A的中国专利公开了一种头戴显示装置，包括主体框架、透视式光学显示系统、主控系统和双目立体视觉系统，透视式光学显示系统包括图像显示模块、光学放大系统和微调机构；双目立体视觉系统拍摄人眼前方的目标物，利用视差原理测距的方法，获得目标物到人眼的距离；主控系统根据得到的目标物到人眼的距离，控制透视式光学显示系统自动调整虚像到人眼的距离，保证用户在使用这些图像显示器时用眼的舒适度，缓解视野疲劳。但是该装置结构复杂，调焦时涉及步进电机和传动机构，很难在高速、高精度、低能耗等方面取得平衡。

公开号为US201704574的美国专利公开了一种紧凑型头戴显示系统，包括一片结构复杂的波导镜片和成像棱镜，但其视场角较小。公开号为WO2016081664A1的专利公开了一种大视场角头戴显示系统，包含图像源和自由曲面反射镜面罩，但是体积庞大；公开号为CN101359089的中国专利公开了一种自由曲面棱镜头戴显示系统，包括微显示器及自由曲面棱镜，但其装置镜片较厚且需要补偿镜，不利于生产使用。

发明内容

本发明提供一种光场显示装置及显示方法，可以避免视觉辐辏调节冲突，缓解视疲劳，便于长时间使用，且其光学设计自由度较高。

一种光场显示装置，包括：

图像源，根据控制模块的控制信号产生表征虚拟信息的图像；

混合模块，用于调整图像源光线的光路和外部环境光线的光路；图像源光线经混合模块和透射型空间光调制器透射入人眼，形成虚拟信息光路；外部环境光线经混合模块和透射型空间光调制器透射入人眼，形成外部环境光路；

透射型空间光调制器，具有若干独立单元，所述的透射型空间光调制器根据控制模块的控制信号，有序地打开或关闭不同独立单元，形成对相应光线的不同程度的透射或遮挡，从而对将要进入人眼的图像源光线和外部环境光线进行调制；其中，“打开”指一系列状态，对应不同程度的透光率；其中，“关闭”指一种状态，对应某种程度的光遮挡率。

控制模块，基于透射型空间光调制器的不同独立单元、图像源显示的图像以及所需呈现的虚拟信息之间的映射关系，同步控制透射型空间光调制器和图像源，令透射型空间光调制器的不同独立单元被有序地打开或关闭，而图像源则有序地显示对应的图像，从而使光场显示装置对人眼呈现所需呈现的虚拟信息。

本发明中，所述的图像源由二维或三维像素阵列构成；优选的，所述的图像源的主体部分为面状显示器，如OLED、LCD、LCOS、DLP或其组合。

作为优选，所述的图像源由三维像素阵列构成；所述的三维像素阵列为多层透明面状显示器以堆叠的方式组合成的多层显示器。

所述的三维像素阵列可以是透明面状显示器如透明OLED与其它显示器及光学机构的组合，如以堆叠的方式组合成多层显示器，其目的是针对同一个混合模块形成多个面状显示器的等效位置，进而扩大这些等效位置的总体深度跨度。这样可以提高虚拟信息分辨率的优化自由度，特别是在较大的深度跨度下，使虚拟信息在不同深度的分辨率得到平衡或提高。对本发明光场显示装置的光场呈现效果具有增益效应。

图像源的尺寸为市面上能购买到的小型尺寸。

所述的混合模块可以是棱镜、波导、光栅等光电器件及其组合，其目的是使人眼同时能接收到来自图像源的虚拟信息和来自外部环境的真实信息。作为优选，所述的混合模块具有大视场角、大出瞳直径及长出瞳距的特点。对本发明光场显示装置的光场呈现效果具有增益效应。

所述的透射型空间光调制器含有许多独立单元，每个独立单元的尺寸较小。作为优选，所述的透射型空间光调制器的各个独立单元排列成单维阵列或多维阵列。

每个独立单元都可以独立地接受光学信号或电学信号的控制，利用各种物理效应(泡克尔斯效应、克尔效应、声光效应、磁光效应、半导体的自电光效应、光折变效应等)改变自身的光学特性，从而对照明在其上的光波进行调制。

进一步优选的，所述的透射型空间光调制器基于电致变透光率的材料或器件(如液晶)制成。其每个独立单元对任意自然光或非自然光(如特定波长、特定偏振态、特定相干性等)的光线可以形成电致可调的不同透过率，其透过率调节范围可以是完全范围，即上限100％(全透明)至下限0％(全遮挡)，也可以是不完全范围，即上限小于等于100％而下限大于等于O％，其调节方式可以是连续调节，也可以是离散(阶跃式)调节，可以是单次调节，也可以是按特定方案持续调节。

作为优选，所述的光场显示装置还包括眼球追踪系统，实现对透射型空间光调制器调制范围的动态优化。进一步提高虚拟信息的显示质量。

本发明还提供了一种光场显示方法，包括：

(1)控制模块根据所需呈现的虚拟信息，基于透射型空间光调制器打开的独立单元、图像源显示的图像以及所需呈现的虚拟信息之间的映射关系，同步控制透射型空间光调制器和图像源，令透射型空间光调制器的不同独立单元被有序地打开或关闭，而图像源则有序地显示对应的图像；

(2)图像源根据控制模块的控制信号产生的表征虚拟信息的图像光线，由混合模块调整其传播方向，并经过透射型空间光调制器调制后进入人眼，从而使光场显示装置对人眼呈现所需呈现的虚拟信息；外部环境光线透过混合模块和透射型空间光调制器后进入人眼。

所述的映射关系通过透射型空间光调制器打开的独立单元、图像源显示的图像以及所需呈现的虚拟信息之间的光学关系计算得到。

透射型空间光调制器打开的独立单元、图像源显示的图像以及所需呈现的虚拟信息之间具有一定的光学关系，三者之间通过图像源发出的表征虚拟信息的图像光线形成映射，且满足条件：(a)所需呈现的虚拟信息位于所述图像光线透入打开的独立单元前的最后一段直线传播路径的反向延长线上；(b)所需呈现的虚拟信息的颜色与对应图像源显示的图像颜色相同。具体的，某时刻透射型空间光调制器上打开的某一特定的独立单元的中心如果有表征虚拟信息的图像光线透过，则该图像光线集合内的任意特定的光线表征了虚拟信息中的某一特定的虚拟点，由于该特定的光线必定来源于图像源上的某一特定的像素，因此，该特定的独立单元、该特定的虚拟点、该特定的像素，三者通过该特定的光线形成映射，且符合如下条件：(1)虚拟点和对应的独立单元的中心的连线，与所述特定的光线部分重合，重合部分为该特定的光线在透入该独立单元前的最后一段直线传播路径；基于这个前提，通过虚拟信息光路的溯源追踪，可以找出该特定像素在图像源上的位置。(2)虚拟点的颜色与图像源上对应的像素的颜色相同；基于这个前提，可以决定该特定像素的在特定时刻的颜色。作为优选，控制模块通过查找事先存储的信息得到所述的映射关系，事先存储的信息为符合光学关系的透射型空间光调制器打开的独立单元、图像源显示的图像以及所需呈现的虚拟信息的集合。这样可以节省大量的计算时间，提高控制模块的响应速度。

人眼能感受到的图像刷新频率一般为30Hz，当刷新频率较高时(如不小于60Hz)，则察觉不到高频闪烁。当透射型空间光调制器以足够高的调制速度有序地打开或关闭不同独立单元时，表征某一虚拟点的光线有序地以不同方向射向人眼，这些光线对人眼的入射方向的反向延长线均交叉于该虚拟点，因此，当人眼聚焦到该交叉点时，该虚拟点在视网膜上成清晰且无法察觉其闪烁的像，否则，则成模糊的像。这与人眼观察真实世界时的视觉机制保持一致，即晶状体聚焦的点与大脑所认为的观察点保持一致；对于双眼而言，即左右眼聚焦的点为同一点，同为观察点。

作为优选，当控制模块有序地打开或关闭透射型空间光调制器的不同独立单元时，一个完整的调制周期不长于1/30秒。

每次打开或关闭透射型空间光调制器的单个或若干个不同独立单元，其数目和所在透射型空间光调制器上的位置由控制模块控制。

作为优选，控制模块针对人眼视网膜所能接收的光场区域进行透射型空间光调制器调制范围的优化和图像源图像的优化。进而提高虚拟信息的显示质量。

与现有技术相比，本发明的有益效果为：

本发明的光场显示装置通过透射型空间光调制器有序地快速打开/关闭不同独立单元，使射向人眼的虚拟信息光线均能反向延长至其所表征的相应的虚拟点，从而构建了虚拟信息的模拟光场，当人眼处于该模拟光场中观察其代表的虚拟信息时，不存在辐辏调节冲突(vergence-accommodation conflict)，从而避免了由此导致的人眼疲劳及其它生理不适，使得本发明的光场显示装置更符合人眼的视觉习惯，更易于被长时间佩戴。

本发明的光场显示装置通过混合模块调整图像源光线，但此种调整并不直接承担对图像源成清晰像面的功能，减轻了设计负担，增加了设计的自由度，相应地降低了其它设计需求(如FOV、体积等)所面临的约束条件。

附图说明

图1为本发明的光场显示装置的结构示意图；

图2为本发明的光场显示方法的原理示意图，其中：

图2(a)不同时刻的光场显示状态；

图2(b)一个完整的调制周期内人眼觉察到的光场显示状态；

图3为透射型空间光调制器上打开的独立单元、虚拟信息、图像源之间的映射关系示意图；

图4为单深度的双目视差系统与本发明的光场显示装置的显示原理对比图，其中：

图4(a)单深度的双目视差系统的显示原理示意图；

图4(b)本发明的光场显示装置的显示原理示意图；

图5为透射型空间光调制器输出的模拟光场示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步详细描述。

如图1所示，本发明的光场显示装置包括图像源5、混合模块4、透射型空间光调制器3以及控制模块6。图像源5为0.5英寸的LCD，可选择市售产品；混合模块4为半透半反的薄型平板；透射型空间光调制器3为液晶型空间光调制器并在靠近眼球一侧配备一片偏振片，厚度为1mm，尺寸与所采用的混合模块4一致并紧贴混合模块4放置，透射型空间光调制器3的各个独立单元排列成二维阵列。

图像源5产生的用于表征虚拟信息的图像光线的光路由混合模块4调整，并经过透射型空间光调制器3调制后射向人眼晶状体2，继而成像到人眼视网膜1；同时外部环境光线透过混合模块4和透射型空间光调制器3后射向人眼晶状体2，继而成像到人眼视网膜1；控制模块6同步控制透射型空间光调制器3和图像源5，使得某时刻透射型空间光调制器3上打开的独立单元9、图像源5显示的图像以及所需呈现的虚拟信息7之间满足特定的映射关系，如图3所示，使得透射型空间光调制器3对来自混合模块4的虚拟信息的光线进行持续调制后，输出表征所需呈现的虚拟信息7的模拟光场，如图5所示，模拟光场中透过晶状体2的光线成像在人眼视网膜1，与外界光线所成的像一起，形成增强现实视觉。

透射型空间光调制器3接收控制模块6的控制信号后，快速依次地打开或关闭不同独立单元，经过调制的虚拟信息的光线和外部环境光线透过透射型空间光调制器3射向人眼晶状体2，继而成像到人眼视网膜1。

如图2(a)、图2(b)、图3、图4(a)、图4(b)以及图(5)所示，虚拟信息7可以理解为若干虚拟点(如a、b、c)的集合，不同的虚拟信息即为不同的虚拟点的集合。

如图2(a)所示，在不同时刻：T(t₁)、T(t₂)、…T(t_j)，透射型空间光调制器3的不同独立单元被依次打开处于状态：On(t₁)、On(t₂)、…On(t_j)，选择性地使部分光线能被透过，从而对于需要呈现的虚拟信息7中的某个虚拟点a来说，眼球接收到表征该虚拟点的不同方向的光线：Ray(t₁，a)、Ray(t₂，a)、…Ray(t_j，a)，其反向延长线均交叉于同一点，即虚拟点a所在的位置，值得注意的是，这些光线继续延伸至图像源等效位置8后，则位于不同位置P(t₁，a)、P(t₂，a)、…P(t_j，a)，即由不同的图像源像素分时发光，这与单深度的双目视差系统中，表征同一个虚拟点的光线均同时来自同一个左眼图像源像素和右眼图像源像素，有着显著不同。如图4(a)所示，在单深度的双目视差系统中，表征虚拟点c的光线均同时来自同一个图像源像素：P_Left(c)(左眼图像源)和P_Right(c)(右眼图像源)；如图4(b)所示，而本发明的光场显示装置则使表征虚拟点c的光线分时来自不同的图像源像素：P_Left(t_i，c)、P_Left(t_j，c)、P_Left(t_k，c)(左眼图像源)和P_Right(t_i，c)、P_Right(t_j，c)、P_Right(t_k，c)(右眼图像源)。如图2(b)所示，当控制模块6针对虚拟信息7指定的一个完整的调制周期：结束后，虚拟信息7则被完整地表征了一次，即被呈现了一完整帧，其中n为虚拟信息7在该周期内被指定调制的次数，每一次代表虚拟信息7被分时地呈现了一分解帧；在持续调制的状态下，若任意一个完整的调制周期不长于1/30秒时，虚拟信息7被呈现的完整帧的帧率即达到30Hz以上，此时人眼视网膜1便无法分辨完整帧的高频闪烁，当人眼晶状体2聚焦到虚拟点a所在的空间位置时，虚拟点a在视网膜上成清晰且无法察觉其闪烁的像，而处于不同深度位置的虚拟点b则在视网膜上成模糊的像，这种视觉机制和效果与人眼观察真实世界时的视觉机制和效果保持一致，避免了辐辏调节冲突(vergence-accommodation conflict)，及由此导致的人眼疲劳和其它生理不适，使得本发明的光场显示装置更符合人眼的视觉习惯，更易于被长时间佩戴。

本发明还提供了一种光场显示方法，包括：

(1)控制模块根据所需呈现的虚拟信息，基于透射型空间光调制器打开的独立单元、图像源显示的图像以及所需呈现的虚拟信息之间的映射关系，同步控制透射型空间光调制器和图像源，令透射型空间光调制器的不同独立单元被依次地打开/关闭，而图像源则依次地显示对应的图像；

如图3所示，某时刻T(t_j)透射型空间光调制器3上开启的某一特定的独立单元9的中心如果有表征虚拟信息7的光线透过，则该光线集合{…Ray(t_j，a)，Ray(t_j，b)，Ray(t_j，c)，…}内的任意特定的光线，以Ray(t_j，a)为例，表征了虚拟信息中的某一特定的虚拟点a，由于该特定的光线Ray(t_j，a)必定来源于图像源上的某一特定的像素P(t_j，a)，因此，该特定的独立单元9、该特定的虚拟点a、该特定的像素P(t_j，a)，三者通过该特定的光线Ray(t_j，a)形成映射，且符合如下条件：(1)该虚拟点a与该独立单元9中心的连线，与该光线Ray(t_j，a)部分重合，重合部分为该光线在透入该独立单元前的最后一段直线传播路径。基于这个前提，通过对Ray(t_j，a)的虚拟信息光路的溯源追踪10，可以找出该特定像素在图像源上的位置。(2)该虚拟点的颜色对应了该像素的颜色，即Color(P(t_j，a))＝Color(a)。基于这个前提，可以决定该特定像素的在特定时刻的颜色。

将符合上述光学关系的虚拟点、打开的独立单元以及图像源上显示的像素的集合事先存储在控制模块中，根据所需显示的虚拟点，控制模块通过查找找出相应的需要打开的独立单元以及图像源上需要显示的像素。

人眼能感受到的图像刷新频率一般为30Hz，当刷新频率较高时(如不小于60Hz)，则察觉不到高频闪烁。如图2(a)和图2(b)所示，当透射型空间光调制器3以足够高的调制速度依次打开/关闭不同独立单元时，表征某一虚拟点，如a，的光线依次以不同方向射向人眼，这些光线对人眼的入射方向的反向延长线均交叉于该虚拟点a，因此，当人眼聚焦到该交叉点时，该虚拟点a在视网膜上成清晰且无法察觉其闪烁的像，否则，则成模糊的像。这与人眼观察真实世界时的视觉机制保持一致，即晶状体聚焦的点与大脑所认为的观察点保持一致；对于双眼而言，即左右眼聚焦的点为同一点，同为观察点，如图4(b)所示。

当控制模块依次打开/关闭透射型空间光调制器的不同独立单元时，一个完整的调制周期不长于1/30秒。

本发明的光场显示方法，如图5所示，L(x，y，θ，φ)描述了透射型空间光调制器3左侧表面的光场函数，x，y，为任意光线透过相应的空间光调制器3所在平面的空间坐标，θ，φ，为该任意光线的传播方向。控制模块6可以针对人眼视网膜1所能接收的光场区域进行透射型空间光调制器调制范围的优化，从而减少打开/关闭透射型空间光调制器3的不同独立单元的次数，缩短一个完整的调制周期的时间，进而提高虚拟信息被呈现的完整帧的帧率；光场显示装置集成眼球追踪系统，实现透射型空间光调制器调制范围的动态优化，进一步提高虚拟信息被呈现的完整帧的帧率。

以上所述的实施例对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的具体实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims

1.一种光场显示装置，其特征在于，包括：

透射型空间光调制器，具有若干独立单元，所述的透射型空间光调制器根据控制模块的控制信号，有序地打开或关闭不同独立单元，形成对相应光线的不同程度的透射或遮挡，从而对将要进入人眼的图像源光线和外部环境光线进行调制；

控制模块，基于透射型空间光调制器的不同独立单元、图像源显示的图像以及所需呈现的虚拟信息之间的映射关系，同步控制透射型空间光调制器和图像源，令透射型空间光调制器的不同独立单元被有序地打开或关闭，而图像源则有序地显示对应的图像，从而使光场显示装置对人眼呈现所需呈现的虚拟信息；

透射型空间光调制器打开的独立单元、图像源显示的图像以及所需呈现的虚拟信息满足条件：（a）所需呈现的虚拟信息位于所述图像光线透入打开的独立单元前的最后一段直线传播路径的反向延长线上；（b）所需呈现的虚拟信息的颜色与对应图像源显示的图像颜色相同。

2.根据权利要求1所述的光场显示装置，其特征在于，所述的图像源由二维或三维像素阵列构成。

3.根据权利要求1所述的光场显示装置，其特征在于，所述的图像源由三维像素阵列构成；所述的三维像素阵列为多层透明面状显示器以堆叠的方式组合成的多层显示器。

4.根据权利要求1所述的光场显示装置，其特征在于，所述的透射型空间光调制器的各个独立单元排列成单维或多维阵列。

5.根据权利要求1或4所述的光场显示装置，其特征在于，所述的透射型空间光调制器基于电致变透光率的材料或器件制成。

6.根据权利要求1所述的光场显示装置，其特征在于，还包括眼球追踪系统，实现对透射型空间光调制器调制范围的动态优化。

7.一种光场显示方法，其特征在于，包括：

（1）控制模块根据所需呈现的虚拟信息，基于透射型空间光调制器打开的独立单元、图像源显示的图像以及所需呈现的虚拟信息之间的映射关系，同步控制透射型空间光调制器和图像源，令透射型空间光调制器的不同独立单元被有序地打开或关闭，而图像源则有序地显示对应的图像；

透射型空间光调制器打开的独立单元、图像源显示的图像以及所需呈现的虚拟信息满足条件：（a）所需呈现的虚拟信息位于所述图像光线透入打开的独立单元前的最后一段直线传播路径的反向延长线上；（b）所需呈现的虚拟信息的颜色与对应图像源显示的图像颜色相同；

（2）图像源根据控制模块的控制信号产生的表征虚拟信息的图像光线，由混合模块调整其传播方向，并经过透射型空间光调制器调制后进入人眼，从而使光场显示装置对人眼呈现所需呈现的虚拟信息；外部环境光线透过混合模块和透射型空间光调制器后进入人眼。

8.根据权利要求7所述的光场显示方法，其特征在于，控制模块通过查找事先存储的信息得到所述的映射关系，事先存储的信息为符合光学关系的透射型空间光调制器打开的独立单元、图像源显示的图像以及所需呈现的虚拟信息的集合。

9.根据权利要求7所述的光场显示方法，其特征在于，当控制模块有序地打开或关闭透射型空间光调制器的不同独立单元时，一个完整的调制周期不长于1/30秒。