CN117795396A - 显示设备和显示方法 - Google Patents

Abstract

提供一种显示设备，所述显示设备能够在不限制视场的情况下以高分辨率和高深度再现性显示三维图像。按照本技术的显示设备包括视点组生成系统，所述视点生成系统包括与用户的双眼中的每只眼睛对应的多个三维图像显示设备，所述视点组生成系统使用从所述多个三维图像显示设备中的每一个射出的光线组为双眼中的对应眼睛生成视点组。本技术使得能够提供一种能够在不限制视场的情况下以高分辨率和高深度再现性显示三维图像的显示设备。

Description

显示设备和显示方法

技术领域

按照本公开的技术(在下文中也称为“本技术”)涉及显示设备和显示方法。

背景技术

传统上，已知一种将来自三维图像显示设备的光线组引导到用户的眼睛以显示三维图像的显示设备(例如，参见专利文献1)。

引文列表

专利文献

专利文献1：日本未经审查的专利申请公布No.2017-515162

发明内容

技术问题

然而，现有的显示设备在不限制视场的情况下，在以高分辨率和高深度再现性显示三维图像方面存在改进的空间。

因此，本技术的主要目的是提供一种显示设备，所述显示设备能够在不限制视场的情况下以高分辨率和高深度再现性显示三维图像。

问题的解决方案

本技术提供了一种包括视点组生成系统的显示设备，所述视点组生成系统包括与用户的双眼中的每只眼睛对应的多个三维图像显示设备，所述视点组生成系统使用从所述多个三维图像显示设备中的每一个射出的光线组针对所述双眼中的对应眼睛生成视点组。

有利地，多个所述视点组不重叠。

有利地，在所述眼睛上生成在多个所述视点组中包括的多个视点中的至少两个视点。

在多个所述视点组中的至少一个视点组的相邻的两个视点之间生成其他视点组的视点。

所述多个三维图像显示设备中的每一个可以包括元素图像显示设备和微透镜阵列。

所述多个三维图像显示设备中的每一个还可以包括位于所述元素图像显示设备和所述微透镜阵列之间的孔径阵列。

所述多个三维图像显示设备可以包括至少一对第一和第二三维图像显示设备，其中从所述第一三维图像显示设备射出所述光线组的方向和从所述第二三维图像显示设备射出所述光线组的方向相交，并且所述视点组生成系统可以包括引导来自所述多个三维图像显示设备中的每一个的所述光线组的光学系统。

所述光学系统可以包括第一光学元件，所述第一光学元件使第一光线组的行进方向与第二光线组的行进方向对准，所述第一光线组是来自所述第一三维图像显示设备的光线组，所述第二光线组是来自所述第二三维图像显示设备的光线组。

所述光学系统还可以包括第一中继光学系统和第二中继光学系统中的至少一个，所述第一中继光学系统布置在所述第一三维图像显示设备和所述第一光学元件之间以生成所述第一光线组的中间图像，所述第二中继光学系统布置在所述第二三维图像显示设备和所述第一光学元件之间，以生成所述第二光线组的中间图像。

所述多个三维图像显示设备可以包括所述一对第一和第二三维图像显示设备，并且所述第一光学元件可以将所述第一光线组和所述第二光线组的行进方向对准于朝向眼睛的方向。

所述第一光学元件可以是分束器。

所述光学系统还可以包括目镜光学元件，来自所述第一光学元件的所述第一光线组和所述第二光线组入射到所述目镜光学元件上。

所述第一光学元件可以是还充当目镜光学元件的自由曲面棱镜。

所述多个三维图像显示设备可以包括多对所述第一和第二三维图像显示设备；可以针对所述多对中的每一对设置所述第一光学元件；一对光线组的行进方向和另一对光线组的行进方向可以相交，所述一对光线组包括多个所述第一光学元件中的一个第一光学元件的第一和第二光线组，所述另一对光线组包括另一个第一光学元件的第一和第二光线组；并且所述光学系统还可以包括第二光学元件，所述第二光学元件使所述一对光线组的行进方向与所述另一对光线组的行进方向对准。

所述第一和第二光学元件中的至少一个可以是分束器。

所述光学系统还可以包括目镜光学元件，所述一对光线组和所述另一对光线组入射到所述目镜光学元件上，所述一对光线组和所述另一对光线组来自所述第二光学元件。

所述第二光学元件可以是还充当目镜光学元件的自由曲面棱镜。

所述光学系统还可包括第一中继光学系统和第二中继光学系统中的至少一个，所述第一中继光学系统布置在所述一个第一光学元件和所述第二光学元件之间，以生成来自所述一个第一光学元件的所述第一和第二光线组的中间图像，所述第二中继光学系统布置在所述另一个第一光学元件和所述第二光学元件之间，以生成来自所述另一个第一光学元件的所述第一和第二光线组的中间图像。

所述多个三维图像显示设备还可以包括第三三维图像显示设备；一对光线组的行进方向和第三光线组的行进方向可以相交，所述一对光线组包括来自所述第一光学元件的所述第一和第二光线组，所述第三光线组是来自所述第三三维图像显示设备的光线组；并且所述光学系统还可以包括第二光学元件，所述第二光学元件使所述一对光线组的行进方向与所述第三光线组的行进方向对准。

所述第一和第二光学元件中的至少一个可以是分束器。

所述显示设备还可以包括与所述用户的双眼中的每只眼睛对应的二维图像显示设备；从所述二维图像显示设备射出的光线组的行进方向和一对光线组的行进方向可以相交，所述一对光线组包括来自所述第一光学元件的所述第一和第二光线组；并且所述光学系统还可以包括第二光学元件，所述第二光学元件使所述光线组的行进方向与所述一对光线组的行进方向对准。

所述光学系统还可以包括中继光学系统，所述中继光学系统布置在所述第一和第二光学元件之间，以生成来自所述第一光学元件的所述第一和第二光线组的中间图像。

所述第二光学元件可以是还充当目镜光学元件的自由曲面棱镜。

所述多个三维图像显示设备中的每一个的所述元素图像显示设备可以包括显示器。

多个所述显示器可以被层叠。

所述多个三维图像显示设备可以共享所述微透镜阵列。

所述视点组生成系统可以包括目镜光学元件，来自多个所述显示器中的各个显示器的光线组入射到所述目镜光学元件上。

多个所述显示器中的至少一个可以包括光源和空间调制器。

所述多个显示器可以包括包含反射式空间调制器的第一显示器和包含透射式空间调制器的第二显示器，从所述反射式空间调制器射出光线组的方向和从所述透射式空间调制器射出光线组的方向可以相交，并且所述光学系统可以包括使来自所述反射式空间调制器的所述光线组的行进方向与来自所述透射式空间调制器的所述光线组的行进方向对准的光学元件。

所述空间调制器可以是液晶元件。

所述空间调制器可以是透射式的。

所述空间调制器可以是反射式的。

所述空间调制器可以是硅上铁电液晶(FLCOS)。

所述空间调制器可以是数字镜器件(DMD)。

多个所述显示器中的至少一个可以包括自发光显示元件。

所述显示元件可以包括发光二极管(LED)或有机发光二极管(OLED)。

本技术还可以包括视线检测系统，所述视线检测系统检测用户的视线；并且基于所述视线检测系统进行的检测的结果，所述视点组生成系统可以控制生成所述视点组的位置。

所述显示设备可以是头戴式显示设备。

本技术还提供一种显示设备，所述显示设备包括视点组生成系统，所述视点组生成系统包括三维图像显示设备和包含目镜光学元件的光学系统，所述三维图像显示设备和光学系统对应于用户的双眼中的每只眼睛，所述视点组生成系统使用从所述三维图像显示设备射出并经过所述光学系统的光线组为所述双眼中的对应眼睛生成视点组；和视线检测系统，所述视线检测系统检测用户的视线，所述视点组生成系统基于所述视线检测系统进行的检测的结果，控制生成所述视点组的位置。

多个三维图像显示设备中的每一个可以包括元素图像显示设备和微透镜阵列。

多个三维图像显示设备中的每一个还可以包括位于所述元素图像显示设备和所述微透镜阵列之间的孔径阵列。

所述视线检测系统可以包括射出不可见光的光源部，和接收由所述光源部射出并被所述双眼中的一只眼睛反射的不可见光的受光器。

所述视线检测系统可以设置到对应于所述一只眼睛的所述目镜光学元件。

所述视线检测系统可以设置到对应于所述一只眼睛的所述三维图像显示设备。

来自对应于所述一只眼睛的所述三维图像显示设备的所述光线组的射出方向和来自所述光源部的所述不可见光的射出方向可以相交，并且所述光学系统还可以包括使所述光线组的行进方向与所述不可见光的行进方向对准的光学元件。

由所述光源部射出的所述不可见光可按顺序经由所述光学元件和所述目镜光学元件以照射到所述一只眼睛上；并且所述受光器可以顺序经由所述目镜光学元件和所述光学元件接收被所述一只眼睛反射的所述不可见光。

所述光学元件可以是分束器。

来自对应于所述一只眼睛的所述三维图像显示设备的光线组的射出方向和来自所述光源部的所述不可见光的射出方向可以相交，并且所述目镜光学元件可以是使所述光线组的行进方向与所述不可见光的行进方向对准的自由曲面棱镜。

由所述光源部射出的所述不可见光可以经由所述目镜光学元件照射到所述一只眼睛上；并且所述受光器可以经由所述目镜光学元件接收被所述一只眼睛反射的所述不可见光。

所述显示设备可以是头戴式显示设备。

本技术还提供一种显示方法，所述显示方法包括使用光线组为用户的双眼中的每只眼睛生成视点组，所述光线组从与所述双眼中的每只眼睛对应的多个三维图像显示设备中的每一个射出。

本技术还提供一种显示方法，所述显示方法包括检测用户的视线；以及使用光线组为所述用户的双眼中的每只眼睛生成视点组，所述光线组从三维图像显示设备射出并经过包括目镜光学元件的光学系统，所述三维图像显示设备对应于所述双眼中的每只眼睛，生成所述视点组包括基于通过检测视线进行的检测的结果，控制生成所述视点组的位置。

附图说明

图1是用于描述辐辏调节冲突的示图。

图2的A和B是用于描述再现深度的方法的示图。

图3是用于描述光场的示图(引用的论文：Marc Levoy和Pat Hanrahan，1996，“Light Field Rendering”)。

图4的A和B是用于描述视点的示图。

图5的A和B是用于描述视点的示图。

图6的A和B是用于描述当存在两个视点时发生模糊的原理的示图。

图7是用于描述当存在多个视点时发生焦点调整模糊的原理的示图。

图8示意地图解说明集成成像(引用的论文：M.G.Lippman，1908，“EpreuvesReversibles Donnant la Sensation du Relief”)。

图9图解说明光场的虚拟像素大小。

图10是用于描述使用单个光场再现设备生成视点组的例子的示图。

图11是用于描述使用两个光场再现设备生成视点组的例子的示图。

图12的A和B是用于描述使用单个光场再现设备和眼球追踪设备的例子的示图。

图13的A和B是用于描述当只使用单个光场再现设备时的眼动框(eye-box)的大小的示图。

图14的A和B是用于描述当使用单个光场再现设备和眼球追踪设备时的眼动框的大小的示图。

图15是用于描述计算元素图像的中心位置的移位量的方法的示图。

图16图解说明本技术的实施例的第一例子的显示设备的构成。

图17图解说明本技术的实施例的第二例子的显示设备的构成。

图18图解说明本技术的实施例的第三例子的显示设备的构成。

图19图解说明本技术的实施例的第四例子的显示设备的构成。

图20图解说明本技术的实施例的第五例子的显示设备的构成。

图21图解说明本技术的实施例的第六例子的显示设备的构成。

图22是图解说明本技术的实施例的第六例子的显示设备的功能的框图。

图23是用于描述本技术的实施例的第六例子的显示设备的操作的流程图。

图24是用于描述本技术的实施例的第六例子的显示设备中的元素图像的移位的示图。

图25是用于描述本技术的实施例的第六例子的显示设备中的元素图像的移位的示图。

图26的A和B是用于描述比较例的显示设备的示图。

图27的A～C是用于描述包括眼球追踪设备的显示设备的操作的示图。

图28图解说明本技术的实施例的第七例子的显示设备的构成。

图29图解说明本技术的实施例的第八例子的显示设备的构成。

图30图解说明本技术的实施例的第九例子的显示设备的构成。

图31图解说明本技术的实施例的第十例子的显示设备的构成。

图32图解说明本技术的实施例的第十一例子的显示设备的构成。

图33图解说明本技术的实施例的第十二例子的显示设备的构成。

图34图解说明本技术的实施例的第十三例子的显示设备的构成。

图35图解说明本技术的实施例的第十四例子的显示设备的构成。

具体实施方式

下面将参考附图详细描述本技术的有利实施例。

注意，在说明书和附图中，功能构成实质相同的结构元件用相同的附图标记表示，以省略重复的描述。以下描述的实施例是本技术的代表性实施例的例子，并且本技术的范围不被解释为局限于这些实施例。即使在本文中描述了其中按照本技术的显示设备和显示方法各自提供多个效果的例子，按照本技术的显示设备和显示器方法各自提供所述多个效果中的至少一个效果也就足够了。记载在本文中的效果不是限制性的，而仅仅是说明性的，可以提供其他效果。

注意，描述是按以下顺序进行的。

1.简介

2.本技术的原理

3.本技术的实施例的显示设备

(1)第一例子的显示设备

(2)第二例子的显示设备

(3)第三例子的显示设备

(4)第四例子的显示设备

(5)第五例子的显示设备

(6)第六例子的显示设备

(7)第七例子的显示设备

(8)第八例子的显示设备

(9)第九例子的显示设备

(10)第十例子的显示设备

(11)第十一例子的显示设备

(12)第十二例子的显示设备

(13)第十三例子的显示设备

(14)第十四例子的显示设备

4.本技术的变形例

<1.简介>

近年来，用于以叠加在诸如用户眼前的现实场景之类的外界光景上的状态来显示图像(视频)的技术(增强现实，AR)，和用于以图像(视频)的形式显示与用户眼前的现实不同的虚拟空间的技术(虚拟现实，VR)已经引起了关注。近年来，由于小型显示器实现了显著更高的性能，向右眼和左眼显示各自的视差图像，并且是提供增强现实或虚拟现实的产品的头戴式显示器(HMD)已经投放市场。头戴式显示器通过穿戴在用户的头上来使用。

已知现有的头戴式显示器由于以下原因导致辐辏调节冲突(VAC)。现有的头戴式显示器向用户呈现视差图像。因此，诱发右眼和左眼的辐辏，但是焦点调节被固定在显示平面上(参见图1)。众所周知，VAC导致例如3D疾病、眼睛疲劳和头痛，因此存在关于使用年龄限制和使用时间的限制。

作为克服VAC的方法，已经报道了克服辐辏调节冲突的各种技术，比如再现光线信息的光场方法或超多视点方法、再现光波阵面的全息图方法以及在时间和空间上复用虚像面的虚像面复用方法。

光场方法是一种用于再现由光线的二维位置和二维方向表示的总共四个维度的四维信息的方法。当以HMD的形式使用光场方法时，通过以视频的形式表现五维眼睛信息可以再现五维信息。这使在理论上创建尽可能接近真实空间的虚拟空间成为可能。然而，为了再现四维光线信息，需要庞大的数据。现有技术在诸如显示器的分辨率之类的硬件性能以及诸如传输能力和计算能力之类的计算机性能方面不足。

为了克服VAC，需要增加再现目标光线的密度。这导致密度与二维分辨率或视场之间的折衷。此外，当以HMD的形式使用光场方法时，在再现目标光线的密度和眼动框的大小之间也存在折衷关系。考虑到例如眼球的旋转和穿戴HMD时的偏移，这导致光学设计变得困难。

专利文献1(日本未经审查的专利申请公布No.2017-515162)公开一种AR相关技术，该技术用于以叠加在真实世界上的状态来显示光场，所述光场通过接目镜再现。光场使用由用于显示元素图像的显示器和微透镜阵列提供的集成成像来再现。再现光场的区域被限制于视场的中心部分，这导致提供高视点密度(高深度再现性)和高分辨率。然而，例如，在VR中没有提供足够宽的视场，这导致很有可能不会提供沉浸感。换句话说，专利文献1导致在不限制视场的情况下，在以高分辨率和高深度再现性显示三维图像方面存在改进的空间。

引用文献1(日本未经审查的专利申请公布No.2015-521298)公开一种VR相关技术，该技术用于显示通过接目镜再现的光场。光场使用由用于显示元素图像的LED发射器和微透镜阵列提供的集成成像来再现。在LED发射器中布置非常小的LED光源，并且LED发射器可以用作显示器。使LED发射器在垂直于光轴的方向上与显示的图像同步地高速移动。这使显示高分辨率视频成为可能。然而，需要驱动部，这可能导致系统更大和更复杂。此外，为了通过时分显示视频，需要高刷新率。这可能导致巨大的传输成本和计算成本。

引用文献2(日本未经审查的专利申请公布No.2020-513595)公开包括布置的点光源、准直透镜、反射式空间调制器、分束器和接目镜。使用反射式空间调制器显示的视差图像与发光的光源的位置同步。因而，通过时分在用户的双眼的每个光瞳面的不同部分中生成视点。在双眼中的每只眼睛的光瞳面中高速生成大量视点使用户能够观看具有深度感的视频。该方法通过在时间方向上分散信息来提供高视点密度和高分辨率。然而，存在这种方法局限于使用能够提供高刷新率的空间调制器，最终的刷新率将较低，并且传输成本和计算成本巨大的可能性。

引用文献3(日本未经审查的专利申请公布No.2020-520475)公开一种与近眼显示相关，使用由用于显示元素图像的显示器和微透镜阵列提供的集成成像来再现光场的技术。视点密度和分辨率视点各自与对应于生成视点的范围的眼动框的大小具有折衷关系。该技术使用眼球追踪按照眼睛的位置再现光场。这导致使每帧的眼动框范围更小，从而能够提高分辨率和视点密度。然而，应用该技术的范围限于近眼显示，并且该技术不能在没有任何改变的情况下适用于使用目镜光学元件(比如接目镜)的HMD。

如上所述，光场的使用使克服VAC成为可能。然而，例如，归因于要再现的大量信息，牺牲了视点密度、分辨率、眼动框、刷新率、传输成本和计算成本中的一个。此外，眼球追踪的使用使针对每帧有效地确定眼动框范围成为可能。然而，在没有任何改变的情况下，难以将在引用文献3中公开的技术用于作为本技术的目标的HMD。

因此，发明人开发了一种显示设备和显示方法，以便进一步提高视点密度和分辨率，提供更大的沉浸感，并且进一步降低渲染成本和传输成本。

<2.本技术的原理>

这里，在进行立体显示时再现深度的方法被分类为在图2的A中图解所示的再现3D(x，y，z)的3D再现方法，和在图2的B中图解所示的再现4D(x，y，u，v)的4D再现方法。

在3D再现方法中，信息量可以被限制为(x，y，z)，并且可以提供高深度再现性和更高的分辨率。然而，这可能导致使设备尺寸更大，以便再现散焦。3D再现方法的具体例子包括虚像位置可变方法和虚像面复用方法。

在4D再现方法中，再现散焦、双向反射率分布函数(BRDF)和镜面分量。然而，信息量大，并且在高深度再现性和更高的分辨率之间存在折衷关系。4D再现方法的例子包括光场方法和全息图方法。

本技术采用光场方法。光场方法是一种使用表示位置和方向的四个参数(u，v，s，t)来表现光线的强度L的方法，如图3中图解所示。光场方法使得能够在可以忽略例如衰减和衍射的影响的环境中再现四个维度。当现有的二维图像显示设备用于光场方法时，需要增加与二个维度对应的信息量。这与例如分辨率、时间分辨率或视场具有折衷关系。

(光场的基本原理)

通常，无数的光线从物点入射到眼睛。首先，为了方便起见，只关注主光线(通过瞳孔的中心的光线)和边缘光线(通过瞳孔的边缘的光线)进行讨论，如在图4的A中图解所示。在图4的A中，眼睛E聚焦在点P上(来自点P的主光线和边缘光线聚集在视网膜上)。因此，在点Q和点R处出现模糊。

接下来，只关注主光线进行讨论，如在图4的B中图解所示。来自点P、点Q和点R的主光线聚集在眼睛E的瞳孔的中心(与麦克斯韦观察法的光路同等的光路)，并且它们的聚光点被视为一个视点。

同样地，只关注从点P、点Q和点R聚集到眼睛E的瞳孔的一个边缘的边缘光线进行讨论，如在图5的A中图解所示。它们的聚光点也被视为一个视点。

(光场中发生模糊的原理)

首先，描述当存在两个视点时发生模糊的原理。在图6的A中，眼睛E聚焦在物体P上。因此，在物体P在视网膜上的图像P'中不存在模糊，而在物体Q在视网膜上的图像Q”中存在模糊(图像Q”是双重模糊图像)。在图6的B中，眼睛E聚焦在物体Q上。因此，在物体Q在视网膜上的图像Q'中不存在模糊，而在物体P在视网膜上的图像P”中存在模糊(图像P”是双重模糊图像)。

接下来，描述当存在多个视点时发生模糊的原理。在图7中，眼睛E聚焦在物体P上。因此，在物体P在视网膜上的图像P'中不存在模糊，而在物体Q在视网膜上的图像Q”中存在模糊(图像Q”是多重模糊图像)。

图8图解说明用于通过集成成像再现光场的方法。通过使用微透镜阵列MLA的对应透镜，将来自照相干板的每个点(a)的光线组成像在视点A。这使得表示水平视差和垂直视差成为可能。代替照相干板，也可以使用元素图像显示设备(二维图像显示设备)通过集成成像来再现光场。

(光场的虚拟像素大小)

如下所示，光场的虚拟像素大小ΔZ(视点处的像素大小)使用从以像素大小Δs显示元素图像显示设备EIDD(元素图像显示装置)的每个像素的显示面到微透镜阵列MLA的光学表面的距离g，并且使用从微透镜阵列MLA的光学表面到生成与该像素对应的视点的平面的距离l来表示。

ΔZ＝l/g×Δs … (1)

从上述公式(1)可以看出，ΔZ可以随着l的变小而变小，因此分辨率可以变高。然而，需要减少使用下述公式(2)表示的视点数N_V。

[数学式1]

注意，在上述公式(2)中，d_v表示相邻视点的间距，P_MLA表示微透镜的间距，f_ep表示接目镜EP的焦距。

注意，上述公式(2)是从以下论文中引用的。

Hekun Huang和Hong Hua 2019,"Generalized methods and strategies formodeling and optimizing the optics of 3D head-mounted light field displays"

Hekun Huang和Hong Hua,2018,"High-performance integral-imaging-basedlight field augmented reality display using freeform optics"

从上述公式(1)可知，分辨率可以随着g的变大而变高。然而，需要减小使用下述公式(3)表示的眼动框大小D_v。

[数学式2]

注意，在上述公式(3)中，P_EI表示元素图像的间距。

注意，上述公式(3)是从以下论文中引用的。

Hekun Huang和Hong Hua 2019,"Generalized methods and strategies formodeling and optimizing the optics of 3D head-mounted light field displays"

图13～图15中图解说明了在上述公式(2)和(3)中使用的各个参数。

如上所述，应理解的是，在光场中，在视点数和分辨率之间存在折衷关系，并且在眼动框大小和分辨率之间存在折衷关系。

(使用单个光场再现设备生成多个视点的例子)

参考图10描述了使用单个光场再现设备通过集成成像再现光场，以生成多个视点的例子。

如图10中图解所示，光场再现设备LFPD包括元素图像显示设备EIDD、微透镜阵列MLA和接目镜EP。元素图像显示设备EIDD例如射出三个光线组RG1、RG2和RG3。每个光线组例如包括三条光线。

从在光场再现设备LFPD中包括的元素图像显示设备EIDD射出的光线组RG1的三条光线按顺序分别经过麦克风透镜阵列MLA的对应透镜和接目镜EP，以聚集在不同的三个视点POV上。

从在光场再现设备LFPD中包括的元素图像显示设备EIDD射出的光线组RG2的三条光线按顺序分别经过微透镜阵列MLA的对应透镜和接目镜EP，以聚集在不同的三个视点POV上。

从在光场再现设备LFPD中包括的元素图像显示设备EIDD射出的光线组RG3的三条光线按顺序分别经过微透镜阵列MLA的对应透镜和接目镜EP，以聚集在不同的三个视点POV上。

如上所述，每个视点POV由每个光线组的对应光线生成。因此，当用户的眼睛E位于各个视点POV时，用户可以观看通过各个光线组的光线重叠而获得的三维图像。

注意，在该例子中，使用单个光场再现设备来生成视点组。因此，为了增加视点数以实现高深度再现性，由光场再现设备生成的三维图像(光场)的分辨率不得不被降低。

(使用两个光场再现设备生成多个视点的例子)

参考图11描述了使用两个光场再现设备(第一和第二光场再现设备)通过集成成像再现光场，以生成多个视点的例子。

如图11中图解所示，第一光场再现设备LFPD1包括元素图像显示设备EIDD1、微透镜阵列MLA1和接目镜EP。元素图像显示设备EIDD1例如射出三个光线组RG1-1、RG2-1和RG3-1。每个光线组例如包括三条光线。

第二光场再现设备LFPD2包括元素图像显示设备EIDD2、微透镜阵列MLA2和接目镜EP。元素图像显示设备EIDD2例如射出三个光线组RG1-2、RG2-2和RG3-2。每个光线组例如包括三条光线。

从在第一光场再现设备LFPD1中包括的元素图像显示设备EIDD1射出的光线组RG1-1的三条光线按顺序分别经过麦克风透镜阵列MLA1的对应透镜和接目镜EP，以聚集在不同的三个视点POV1上。

从在第一光场再现设备LFPD1中包括的元素图像显示设备EIDD1射出的光线组RG2-1的三条光线按顺序分别经过麦克风透镜阵列MLA1的对应透镜和接目镜EP，以聚集在不同的三个视点POV1上。

从在第一光场再现设备LFPD1中包括的元素图像显示设备EIDD1射出的光线组RG3-1的三条光线按顺序分别经过麦克风透镜阵列MLA1的对应透镜和接目镜EP，以聚集在不同的三个视点POV1上。

如上所述，每个视点POV1由来自元素图像显示设备EIDD1的每个光线组的对应光线生成。因此，当用户的眼睛E位于各个视点POV1时，用户可以观看通过各个光线组的光线重叠而获得的三维图像。

从在第二光场再现设备LFPD2中包括的元素图像显示设备EIDD2射出的光线组RG1-2的三条光线按顺序分别经过麦克风透镜阵列MLA2的对应透镜和接目镜EP，以聚集在不同的三个视点POV2上。

从在第二光场再现设备LFPD2中包括的元素图像显示设备EIDD2射出的光线组RG2-2的三条光线按顺序分别经过麦克风透镜阵列MLA2的对应透镜和接目镜EP，以聚集在不同的三个视点POV2上。

从在第二光场再现设备LFPD2中包括的元素图像显示设备EIDD2射出的光线组RG3-2的三条光线按顺序分别经过麦克风透镜阵列MLA2的对应透镜和接目镜EP，以聚集在不同的三个视点POV2上。

如上所述，每个视点POV2由来自元素图像显示设备EIDD2的每个光线组的对应光线生成。因此，当用户的眼睛E位于各个视点POV2时，用户可以观看通过各个光线组的光线重叠而获得的三维图像。

在该例子中，使用两个光场再现设备来生成对应的两个视点组。因此，在不降低由各个光场再现设备生成的三维图像(光场)的分辨率的情况下，可以增加视点数以实现高深度再现性。

(使用单个光场再现设备和眼球追踪设备生成多个视点的例子)

在图12的A中图解所示的光场再现设备LFPD中，从元素图像显示设备EIDD射出以经过微透镜阵列MLA的光线组RG的每条光线经过接目镜EP聚集在眼睛E附近的对应视点上。这里，眼球E的定向由眼球追踪设备ETD检测，并且按照检测的结果控制由元素图像显示设备EIDD进行的元素图像的显示。因此，可以在不减少视点数的情况下提高由光场再现设备LFPD生成的三维图像的分辨率。

具体地，例如，EI1(参见图12的B)是当眼睛E面向前方时(当眼睛E面向光场再现设备LFPD时)显示的元素图像，而EI2(参见图12的B)则是当眼睛E旋转时，显示在随眼睛E在旋转后的位置而定的位置的元素图像。图12的A图解说明当显示该元素图像EI2时获得的眼动框EB2，其中当显示元素图像EI1时获得的眼动框EB1被移位整个图像以获得眼动框EB2。图12的B图解说明通过轻微移位(例如，移位量小于一个像素)元素图像EI1而获得的元素图像EI2。

(当只使用单个光场再现设备时的眼动框大小)

当不使用眼球追踪设备时，如在图13的A和B中图解所示，需要使眼动框EB的大小更大，使得无论眼睛E的定向如何，眼睛E的瞳孔都位于眼动框EB内。

(当使用单个光场再现设备和眼球追踪设备时的眼动框大小)

讨论了使用眼球追踪设备的情况。即使当眼睛E旋转以致瞳孔几乎超出眼动框EB时，如在图14的A中图解所示，也会在取决于眼球追踪设备检测到的眼睛E的定向的位置生成眼动框EB，如在图14的B中图解所示。因而，眼睛E的瞳孔可以位于眼动框EB内。

(如何获得取决于眼睛的旋转的元素图像的移位量)

如图15中图解所示，进行眼球追踪时，相对于眼睛E的移动量ΔY的元素图像的移位量Δy可以使用下述公式(4)获得。

[数学式3]

注意，在上述公式(4)中，f_ep表示接目镜EP的焦距。

<3.本技术的实施例的显示设备>

以下描述本技术的实施例的第一到第十四例子的显示设备。

(1)第一例子的显示设备

[显示设备的构成]

图16示意地图解说明了第一例子的显示设备101的基本构成。如图16中图解所示，显示设备101包括左眼显示设备101-L和右眼显示设备101-R。例如，显示设备1中的显示设备101-L和101-R是对称布置的。显示设备101例如是通过穿戴在用户的头上而使用的头戴式显示设备(HMD)。例如，显示设备101用于向用户提供VR。

显示设备101包括与用户的双眼中的每只眼睛对应的多个(例如，两个)三维图像显示设备。

特别地，显示设备101-L包括与用户的左眼50-L对应的第一和第二三维图像显示设备10-L和11-L。显示设备101-R包括与用户的右眼50-R对应的第一和第二三维图像显示设备10-R和11-R。

显示设备101包括视点组生成系统，每个视点组生成系统使用从与用户的双眼中的对应一只眼睛对应的多个(例如，两个)三维图像显示设备中的每一个射出的光线组为所述双眼中的对应眼睛生成视点组。

特别地，显示设备101-L的视点组生成系统使用从第一三维图像显示设备10-L射出的光线组为用户的左眼50-L生成第一视点组，该第一视点组包括多个视点S10-L。显示设备101-L的视点组生成系统使用从第二三维图像显示设备11-L射出的光线组为用户的左眼50-L生成第二视点组，该第二视点组包括多个视点S11-L。

显示设备101-R的视点组生成系统使用从第一三维图像显示设备10-R射出的光线组为用户的右眼50-R生成第一视点组，该第一视点组包括多个视点S10-R。显示设备101-R的视点组生成系统使用从第二三维图像显示设备11-R射出的光线组为用户的右眼50-R生成第二视点组，该第二视点组包括多个视点S11-R。

例如，显示设备101-L和101-R的视点组生成系统中的每一个的结构元件被设置在通过穿戴在用户的头上而使用的眼镜架中。

(三维图像显示设备)

显示设备101L的第一三维图像显示设备10-L包括元素图像显示设备10-1-L和微透镜阵列10-3-L。

显示设备101L的第二三维图像显示设备11-L包括元素图像显示设备11-1-L和微透镜阵列11-3-L。

显示设备101R的第一三维图像显示设备10-R包括元素图像显示设备10-1-R和微透镜阵列10-3-R。

显示设备101R的第二三维图像显示设备11-R包括元素图像显示设备11-1-R和微透镜阵列11-3-R。

换句话说，每个三维图像显示设备例如是通过集成成像方法再现光场的光场再现设备。

每个元素图像显示设备是二维图像显示设备，并且包括例如自发光显示元件。显示元件可以包括例如发光二极管(LED)阵列或有机发光二极管(OLED)阵列。

每个元素图像显示设备是二维图像显示设备，并且可以包括例如光源和空间调制器。光源例如可以是发光二极管(LED)、有机发光二极管(OLED)、有机电致发光(EL)元件或冷阴极管。空间调制器例如可以是液晶元件(比如液晶显示器(LCD))。空间调制器可以是透射式的(例如可以是透射式液晶元件)。

显示设备101L的第一三维图像显示设备10-L还包括布置在元素图像显示设备10-1-L和微透镜阵列10-3-L之间的孔径阵列10-2-L。

显示设备101L的第二三维图像显示设备11-L还包括布置在元素图像显示设备11-1-L和微透镜阵列11-3-L之间的孔径阵列11-2-L。

显示设备101R的第一三维图像显示设备10-R还包括布置在元素图像显示设备10-1-R和微透镜阵列10-3-R之间的孔径阵列10-2-R。

显示设备101L的第二三维图像显示设备11-R还包括布置在元素图像显示设备11-1-R和微透镜阵列11-3-R之间的孔径阵列11-2-R。

从显示设备101L的第一和第二三维图像显示设备10-L和11-L中的每一个的元素图像显示设备射出的光线组的每条光线经过对应的孔径阵列入射到对应的微透镜阵列上，并且这些光线被聚集到形成3D空间的无数点上。此后，光线入射到稍后描述的第一光学系统上。

从显示设备101R的第一和第二三维图像显示设备10-R和11-R中的每一个的元素图像显示设备射出的光线组的每条光线经过对应的孔径阵列入射到对应的微透镜阵列上，并且这些光线被聚集到形成3D空间的无数点上。此后，光线入射到稍后描述的第二光学系统上。

显示设备101-L的多个三维图像显示设备包括至少一对(例如一对)第一和第二三维图像显示设备10-L和11-L，其中从第一三维图像显示设备10-L射出光线组的方向和从第二三维图像显示设备11-L射出光线组的方向相交。具体地，第一射出方向，即，来自第一三维图像显示设备10-L的光线组的射出方向朝向左眼50-L，而第二射出方向，即，来自第二三维图像显示设备11-L的光线组的射出方向与第一射出方向大致正交。

显示设备101-R的多个三维图像显示设备包括至少一对(例如一对)第一和第二三维图像显示设备10-R和11-R，其中从第一三维图像显示设备10-R射出光线组的方向和从第二三维图像显示设备11-R射出光线组的方向相交。具体地，第三射出方向，即，来自第一三维图像显示设备10-R的光线组的射出方向朝向右眼50-R，而第四射出方向，即，来自第二三维图像显示设备11-R的光线组的射出方向与第三射出方向大致正交。

(光学系统)

显示设备101-L的视点组生成系统包括引导来自第一三维图像显示设备10-L的光线组和来自第二三维图像显示设备11-L的光线组的第一光学系统。

第一光学系统包括使第一光线组的行进方向与第二光线组的行进方向对准的光学元件30-L，第一光线组是来自第一三维图像显示设备10-L的光线组，第二光线组是来自第二三维图像显示设备11-L的光线组。光学元件30-L将入射的第一和第二光线组的行进方向对准于朝向左眼50-L的方向。例如，光学元件30-L是分束器。分束器例如是半透明反射镜。注意，例如，偏振分束器可以用作分束器。注意，在这种情况下，需要使来自第一三维图像显示设备10-L的光线组的偏振方向和来自第二三维图像显示设备11-L的光线组的偏振方向彼此正交。

注意，可以将非偏振光的光线组入射到偏振分束器上。在这种情况下，来自每个三维图像显示设备的光线组的50％透射通过偏振分束器或者从偏振分束器反射。

第一光学系统还包括目镜光学元件40-L，来自光学元件30-L的第一和第二光线组入射到目镜光学元件40-L上。目镜光学元件40-L例如是接目镜。

在第一光学系统中，来自第一三维图像显示设备10-L的第一光线组的透射通过光学元件30-L以经过目镜光学元件40-L的部分产生包括多个视点S10-L的第一视点组。

在第一光学系统中，来自第二三维图像显示设备11-L的第二光线组的从光学元件30-L反射以经过目镜光学元件40-L的部分产生包括多个视点S11-L的第二视点组。

显示设备101-R的视点组生成系统包括引导来自第一三维图像显示设备10-R的光线组和来自第二三维图像显示设备11-R的光线组的第二光学系统。

第二光学系统包括使第一光线组的行进方向和第二光线组的行进方向对准的光学元件30-R，第一光线组是来自第一三维图像显示设备10-R的光线组，第二光线组是来自第二三维图像显示设备11-R的光线组。光学元件30-R将入射的第一和第二光线组的行进方向对准于朝向右眼50-R的方向。例如，光学元件30-R是分束器。分束器例如是半透明反射镜。注意，例如，偏振分束器可以用作分束器。注意，在这种情况下，需要使来自第一三维图像显示设备10-R的光线组的偏振方向和来自第二三维图像显示设备11-R的光线组的偏振方向彼此正交。

注意，可以将非偏振光的光线组入射到偏振分束器上。在这种情况下，来自每个三维图像显示设备的光线组的50％透射通过偏振分束器或者从偏振分束器反射。

第二光学系统还包括目镜光学元件40-R，来自光学元件30-R的第一和第二光线组入射到目镜光学元件40-R上。目镜光学元件40-R例如是接目镜。

在第二光学系统中，来自第一三维图像显示设备10-R的第一光线组的透射通过光学元件30-R以经过目镜光学元件40-R的部分产生包括多个视点S10-R的第一视点组。

在第二光学系统中，来自第二三维图像显示设备11-L的第二光线组的从光学元件30-R反射以经过目镜光学元件40-R的部分产生包括多个视点S11-R的第二视点组。

这里，由显示设备101-L生成的第一和第二视点组不重叠。换句话说，第一和第二视点组由显示设备101-L在不同位置生成。具体地，第二视点组的视点S11-L在第一视点组的两个相邻视点S10-L之间生成。特别地，第一视点组的视点S10-L和第二视点组的视点S11-L是交替排列地生成的。注意，第一视点组和第二视点组不重叠即可，并且第一视点组的视点S10-L和第二视点组的视点S11-L不必是交替排列地生成的。

这里，第一视点组的多个视点S10-L中的视点S10-L按指定间距排列，并且第二视点组的多个视点S11-L中的视点S11-L按指定间距排列。这导致彼此相邻的视点S10-L和S11-L按恒定间距排列。然而，彼此相邻的视点S10-L和S11-L之间的间距不限于此。例如，彼此相邻的视点S10-L和S11-L不一定必须按恒定间距排列。在这种情况下，彼此相邻的视点S10-L和S11-L可以按规则或随机的间距排列。

同样，由显示设备101-R生成的第一和第二视点组不重叠。第一和第二视点组由显示设备101-R在不同位置生成。具体地，第一视点组的视点S10-R和第二视点组的视点S11-R是交替排列地生成的。注意，第一视点组和第二视点组不重叠即可，并且第一视点组的视点S10-R和第二视点组的视点S11-R不必是交替排列地生成的。

这里，第一视点组的多个视点S10-R中的视点S10-R按指定间距排列，并且第二视点组的多个视点S11-R中的视点S11-R按指定间距排列。这导致彼此相邻的视点S10-R和S11-R按恒定间距排列。然而，彼此相邻的视点S10-R和S11-R之间的间距不限于此。例如，彼此相邻的视点S10-R和S11-R不一定必须按恒定间距排列。在这种情况下，彼此相邻的视点S10-R和S11-R可以按规则或随机的间距排列。

显示设备101-L在与左眼50-L的瞳孔直径对应的范围内，生成在第一和第二视点组中包括的多个视点当中的至少两个视点S10-L和S11-L。

显示设备101-R在与右眼50-R的瞳孔直径对应的范围内，生成在第一和第二视点组中包括的多个视点当中的至少两个视点S10-R和S11-R。

[显示设备进行的操作]

在显示设备101L中，从第一三维图像显示设备10-L射出的第一光线组按顺序经过光学元件30-L和目镜光学元件40-L，以入射到用户的左眼50-L上。这里，第一光线组在左眼50-L的光瞳面中生成包括多个视点S10-L的第一视点组。

在显示设备101L中，从第二三维图像显示设备11-L射出的第二光线组按顺序经过光学元件30-L和目镜光学元件40-L，以入射到用户的左眼50-L上。这里，第二光线组在左眼50-L的光瞳面中生成包括多个视点S11-L的第二视点组。

在显示设备101R中，从第一三维图像显示设备10-R射出的第一光线组按顺序经过光学元件30-R和目镜光学元件40-R，以入射到用户的右眼50-R上。这里，第一光线组在右眼50-R的光瞳面中生成包括多个视点S10-R的第一视点组。

在显示设备101R中，从第二三维图像显示设备11-R射出的第二光线组按顺序经过光学元件30-R和目镜光学元件40-R，以入射到用户的右眼50-R上。这里，第二光线组在右眼50-R的光瞳面中生成包括多个视点S11-R的第二视点组。

如上所述，显示设备101用于进行包括使用光线组为用户的双眼中的每只眼睛生成视点组的显示方法，所述光线组从与所述双眼中的每只眼睛对应的第一和第二三维图像显示设备中的每个射出。

[显示设备提供的效果]

这里，通常，三维图像显示设备可以通过提高眼睛的光瞳面中的视点密度来实现在光场中再现的三维空间的高深度再现性。然而，在视点密度与三维空间的垂直方向和水平方向的分辨率之间存在折衷关系。因此，分辨率随着视点密度的提高而降低。

按照第一例子的显示设备101，通过与双眼中的每只眼睛对应的第一和第二三维图像显示设备在不同位置生成视点组。这使得可以降低由每个三维图像显示设备生成的视点组的视点密度，同时维持双眼中的对应一只眼睛的光瞳面中的高视点密度(同时维持高深度再现性)。此外，因此，可以提高由每个三维图像显示设备再现的光场的分辨率。

与专利文献1和引用文献1～3中公开的并且上面作为能够降低VAC的HMD描述的技术相比，第一例子的显示设备101可以用没有例如驱动部的相对简单的构成，在不限制视场的情况下同时实现高视点密度和高分辨率。此外，所显示的图像的分辨率最高为2倍左右。因此，可以在不影响刷新率的情况下降低传输成本和计算成本。

因此，第一例子的显示设备101使得可以在不限制视场的情况下以高分辨率和高深度再现性显示三维图像。

(2)第二例子的显示设备

[显示设备的构成]

图17示意地图解说明了第二例子的显示设备102的基本构成。显示设备102包括左眼显示设备102-L和右眼显示设备102-R。显示设备102中的显示设备102-L和102-R是对称布置的。显示设备102例如是通过穿戴在用户的头上而使用的头戴式显示设备(HMD)。例如，显示设备102用于向用户提供VR。

如图17中图解所示，除了显示设备102-L的光学系统(第一光学系统)包括第一中继光学系统20-L和第二中继光学系统21-L之外，以及除了显示设备102-R的光学系统(第二光学系统)包括第一中继光学系统20-R和第二中继光学系统21-R之外，第二例子的显示设备102具有与第一例子的显示设备101的构成类似的构成。

第一中继光学系统20-L布置在第一三维图像显示设备10-L和光学元件30-L之间，以生成来自第一三维图像显示设备10-L的第一光线组的中间图像。

第二中继光学系统21-L布置在第二三维图像显示设备11-L和光学元件30-L之间，以生成来自第二三维图像显示设备11-L的第二光线组的中间图像。

第一中继光学系统20-R布置在第一三维图像显示设备10-R和光学元件30-R之间，以生成来自第一三维图像显示设备10-R的第一光线组的中间图像。

第二中继光学系统21-R布置在第二三维图像显示设备11-R和光学元件30-R之间，以生成来自第二三维图像显示设备11-R的第二光线组的中间图像。

例如，显示设备102中的每个中继光学系统包括中继透镜，该中继透镜包括至少一个透镜元件。

[显示设备进行的操作]

在显示设备102-L中，从第一三维图像显示设备10-L射出的第一光线组按顺序经过第一中继光学系统20-L、光学元件30-L和目镜光学元件40-L，以入射到用户的左眼50-L上。这里，第一光线组在左眼50-L的光瞳面中生成包括多个视点S10-L的第一视点组。

在显示设备102-L中，从第二三维图像显示设备11-L射出的第二光线组按顺序经过第二中继光学系统21-L、光学元件30-L和目镜光学元件40-L，以入射到用户的左眼50-L上。这里，第二光线组在左眼50-L的光瞳面中生成包括多个视点S11-L的第二视点组。

在显示设备102-R中，从第一三维图像显示设备10-R射出的第一光线组按顺序经过第一中继光学系统20-R、光学元件30-R和目镜光学元件40-R，以入射到用户的右眼50-R上。这里，第一光线组在右眼50-R的光瞳面中生成包括多个视点S10-R的第一视点组。

在显示设备102-R中，从第二三维图像显示设备11-R射出的第二光线组按顺序经过第二中继光学系统21-R、光学元件30-R和目镜光学元件40-R，以入射到用户的右眼50-R上。这里，第二光线组在右眼50-R的光瞳面中生成包括多个视点S11-R的第二视点组。

如上所述，显示设备102用于进行包括使用光线组为用户的双眼中的每只眼睛生成视点组的显示方法，所述光线组从与所述双眼中的每只眼睛对应的第一和第二三维图像显示设备中的每个射出。

[显示设备提供的效果]

第二例子的显示设备102使得可以获得与第一例子的显示设备101所提供的效果类似的效果。此外，在每个三维图像显示设备和对应的光学元件之间设置中继透镜使得可以校正对于只使用接目镜无法校正的各种像差，尽管存在将使光学系统的尺寸变大的可能性。这导致能够向用户提供高质量的三维图像。此外，中继透镜的设置使得可以使光路更长，因此易于在光路中放置例如各种滤镜。

注意，显示设备102-L可以只包括第一中继光学系统20-L和第二中继光学系统21-L中的一个。显示设备102-R可以只包括第一中继光学系统20-R和第二中继光学系统21-R中的一个。

(3)第三例子的显示设备

[显示设备的构成]

图18示意地图解说明了第三例子的显示设备103的基本构成。显示设备103包括左眼显示设备103-L和右眼显示设备103-R。显示设备103中的显示设备103-L和103-R是对称布置的。显示设备103例如是通过穿戴在用户的头上而使用的头戴式显示设备(HMD)。例如，显示设备103用于向用户提供VR。

如图18中图解所示，在第三例子的显示设备103中，对应于左眼50-L的显示设备103-L包括多个三维图像显示设备，所述多个三维图像显示设备包括多对(例如，两对)第一和第二三维图像显示设备，并且对应于右眼50-R的显示设备103-R包括多个三维图像显示设备，所述多个三维图像显示设备包括多对(例如，两对)第一和第二三维图像显示设备。特别地，显示设备103-L包括一对第一和第二三维图像显示设备10-L和12-L，以及一对第一和第二三维图像显示设备13-L和11-L。显示设备103-R包括一对第一和第二三维图像显示设备10-R和12-R，以及一对第一和第二三维图像显示设备13-R和11-R。

例如，显示设备103L的第二三维图像显示设备12-L包括元素图像显示设备12-1-L、微透镜阵列12-3-L、以及布置在元素图像显示设备12-1-L和微透镜阵列12-3-L之间的孔径阵列10-2-L。

例如，显示设备103L的第一三维图像显示设备13-L包括元素图像显示设备13-1-L、微透镜阵列13-3-L、以及布置在元素图像显示设备13-1-L和微透镜阵列13-3-L之间的孔径阵列13-2-L。

例如，显示设备103R的第一三维图像显示设备12-R包括元素图像显示设备12-1-R、微透镜阵列12-3-R、以及布置在元素图像显示设备12-1-R和微透镜阵列12-3-R之间的孔径阵列12-2-R。

例如，显示设备103L的第二三维图像显示设备13-R包括元素图像显示设备13-1-R、微透镜阵列13-3-R、以及布置在元素图像显示设备13-1-R和微透镜阵列13-3-R之间的孔径阵列13-2-R。

在显示设备103-L中，为多对第一和第二三维图像显示设备中的每一对设置使来自第一三维图像显示设备的光线组的行进方向与来自第二三维图像显示设备的光线组的行进方向对准的第一光学元件。特别地，对于一对第一和第二三维图像显示设备10-L和12-L设置第一光学元件31-L，并且对于一对第一和第二三维图像显示设备13-L和11-L设置第一光学元件32-L。

显示设备103-L包括在第一三维图像显示设备10-L和第一光学元件31-L之间的第一中继光学系统20-L，包括在第二三维图像显示设备12-L和第一光学元件31-L间的第二中继光学系统22-L，包括在第一三维图像显示设备13-L和第一光学元件32-L之间的第一中继光学系统23-L、以及在第二三维图像显示设备11-L和第二光学元件32-L之间的第二中继光学系统21-L。

在显示设备103-R中，为多对第一和第二三维图像显示设备中的每一对设置使来自第一三维图像显示设备的光线组的行进方向与来自第二三维图像显示设备的光线组的行进方向对准的第一光学元件。特别地，对于一对第一和第二三维图像显示设备10-R和12-R设置第一光学元件31-R，并且对于一对第一和第二三维图像显示设备13-R和11-R设置第一光学元件32-R。

显示设备103-R包括在第一三维图像显示设备10-R和第一光学元件31-R之间的第一中继光学系统20-R，包括在第二三维图像显示设备12-R和第一光学元件31-R间的第二中继光学系统22-R，包括在第一三维图像显示设备13-R和第一光学元件32-R之间的第一中继光学系统23-R、以及在第二三维图像显示设备11-R和第二光学元件32-R之间的第二中继光学系统21-R。

在显示设备103-L中，一对光线组的行进方向和另一对光线组的行进方向相交，所述一对光线组包括来自多个(例如，两个)第一光学元件中的一个第一光学元件的第一和第二光线组，所述另一对光线组包括来自所述多个第一光学元件中的另一个第一光学元件的第一和第二光线组。显示设备103-L中的光学系统还包括第二光学元件，所述第二光学元件使所述一对光线组的行进方向与所述另一对光线组的行进方向对准。

特别地，在显示设备103-L中，包括来自第一光学元件31-L的第一和第二光线组的一对光线组的行进方向和包括来自第一光学元件32-L的第一和第二光线组的另一对光线组的行进方向相交(大致彼此正交)。显示设备103-L中的光学系统包括第二光学元件30-L，第二光学元件30-L使所述一对光线组的行进方向与所述另一对光线组的行进方向对准。

在显示设备103-R中，一对光线组的行进方向和另一对光线组的行进方向相交，所述一对光线组包括来自多个(例如，两个)第一光学元件中的一个第一光学元件的第一和第二光线组，所述另一对光线组包括来自所述多个第一光学元件中的另一个第一光学元件的第一和第二光线组。显示设备103-R中的光学系统还包括第二光学元件，所述第二光学元件使所述一对光线组的行进方向与所述另一对光线组的行进方向对准。

特别地，在显示设备103-R中，包括来自第一光学元件31-R的第一和第二光线组的一对光线组的行进方向和包括来自第一光学元件32-R的第一和第二光线组的另一对光线组的行进方向相交(大致彼此正交)。显示设备103-R中的光学系统包括第二光学元件30-R，第二光学元件30-R使所述一对光线组的行进方向与所述另一对光线组的行进方向对准。

例如，显示设备103中的每个第一光学元件和每个第二光学元件是上面描述的分束器(比如半透明反射镜或偏振分束器)。

显示设备103-L的光学系统还包括布置在第一光学元件31-L和第二光学元件30-L之间，以生成来自第一光学元件31-L的第一和第二光线组的中间图像的中继光学系统24-L，以及布置在第一光学元件32-L和第二光学元件30-L之间，以生成来自第一光学元件32-L的第一和第二光线组的中间图像的中继光学系统25-L。

显示设备103-R的光学系统还包括布置在第一光学元件31-R和第二光学元件30-R之间，以生成来自第一光学元件31-R的第一和第二光线组的中间图像的中继光学系统24-R，以及布置在第一光学元件32-R和第二光学元件30-R之间，以生成来自第一光学元件32-R的第一和第二光线组的中间图像的中继光学系统25-R。

例如，显示设备103中的每个中继光学系统包括中继透镜，所述中继透镜包括至少一个透镜元件。

显示设备103-L的光学系统还包括来自光学元件30-L的第一和第二光线组入射到其上的目镜光学元件40-L(例如，接目镜)。

显示设备103-R的光学系统还包括来自光学元件30-R的第一和第二光线组入射到其上的目镜光学元件40-R(例如，接目镜)。

[显示设备进行的操作]

在显示设备103-L中，从第一三维图像显示设备10-L射出的第一光线组按顺序经过第一中继光学系统20-L、第一光学元件31-L、中继光学系统24-L、第二光学元件30-L和目镜光学元件40-L，以入射到用户的左眼50-L上。这里，第一光线组在左眼50-L的光瞳面中生成包括多个视点S10-L的第一视点组。

在显示设备103-L中，从第二三维图像显示设备12-L射出的第二光线组按顺序经过第一中继光学系统22-L、第一光学元件31-L、中继光学系统24-L、第二光学元件30-L和目镜光学元件40-L，以入射到用户的左眼50-L上。这里，第二光线组在左眼50-L的光瞳面中生成包括多个视点S12-L的第二视点组。

在显示设备103-L中，从第一三维图像显示设备13-L射出的第一光线组按顺序经过第一中继光学系统23-L、第一光学元件32-L、中继光学系统25-L、第二光学元件30-L和目镜光学元件40-L，以入射到用户的左眼50-L上。这里，第一光线组在左眼50-L的光瞳面中生成包括多个视点S13-L的第三视点组。

在显示设备103-L中，从第二三维图像显示设备11-L射出的第二光线组按顺序经过第一中继光学系统21-L、第一光学元件32-L、中继光学系统25-L、第二光学元件30-L和目镜光学元件40-L，以入射到用户的左眼50-L上。这里，第二光线组在左眼50-L的光瞳面中生成包括多个视点S11-L的第四视点组。

在显示设备103-L中，上述第一到第四视点组在不同位置生成，并且不重叠。这里，生成第一到第四视点组，使得等间距地按顺序排列的一组视点S10-L、S11-L、S12-L和S13-L被重复排列多次(图18只图解说明了一组)。然而，第一到第四视点组的生成不限于此。例如，可以生成第一到第四视点组，使得四个视点S10-L、S11-L、S12-L和S13-L按其他规则性排列或随机排列。

在显示设备103-R中，从第一三维图像显示设备10-R射出的第一光线组按顺序经过第一中继光学系统20-R、第一光学元件31-R、中继光学系统24-L、第二光学元件30-R和目镜光学元件40-R，以入射到用户的右眼50-R上。这里，第一光线组在右眼50-R的光瞳面中生成包括多个视点S10-R的第一视点组。

在显示设备103-R中，从第二三维图像显示设备12-R射出的第二光线组按顺序经过第一中继光学系统22-R、第一光学元件31-R、中继光学系统24-R、第二光学元件30-R和目镜光学元件40-R，以入射到用户的右眼50-R上。这里，第二光线组在右眼50-R的光瞳面中生成包括多个视点S12-R的第二视点组。

在显示设备103-R中，从第一三维图像显示设备13-R射出的第一光线组按顺序经过第一中继光学系统23-R、第一光学元件32-R、中继光学系统25-R、第二光学元件30-R和目镜光学元件40-R，以入射到用户的右眼50-R上。这里，第一光线组在右眼50-R的光瞳面中生成包括多个视点S13-R的第三视点组。

在显示设备103-R中，从第二三维图像显示设备11-R射出的第二光线组按顺序经过第一中继光学系统21-R、第一光学元件32-R、中继光学系统25-R、第二光学元件30-R和目镜光学元件40-R，以入射到用户的右眼50-R上。这里，第二光线组在左眼50-L的光瞳面中生成包括多个视点S11-R的第四视点组。

在显示设备103-R中，上述第一到第四视点组在不同位置生成，并且不重叠。这里，生成第一到第四视点组，使得等间距地按顺序排列的一组视点S10-R、S11-R、S12-R和S13-R被重复排列多次(图18只图解说明了一组)。然而，第一到第四视点组的生成不限于此。例如，可以生成第一到第四视点组，使得四个视点S10-R、S11-R、S12-R和S13-R按其他规则性排列或随机排列。

如上所述，显示设备103用于进行包括使用光线组为用户的双眼中的每只眼睛生成视点组的显示方法，所述光线组从多对(例如，两对)第一和第二三维图像显示设备中的每一对的第一和第二三维图像显示设备的每一个射出，所述多对对应于用户的双眼中的所述每只眼睛。

[显示设备提供的效果]

第三例子的显示设备103使得可以获得与第二例子的显示设备102所提供的效果类似的效果。此外，分别对应于双眼的显示设备分别包括多对(例如，两对)第一和第二三维图像显示设备。这使得可以获得密度更高的视点数和更高的分辨率。

在显示设备103中，如图18中图解所示的中继光学系统的布置使得可以校正对于只使用接目镜无法校正的各种像差，尽管存在将使光学系统的尺寸变大的可能性。这导致能够向用户提供高质量的三维图像。此外，中继光学系统的设置使得可以使光路更长，因此易于在光路中放置例如各种滤镜。

在第三例子的显示设备103中，分别对应于双眼的显示设备分别包括四个三维图像显示设备。不限于此，显示设备可以分别包括三个三维图像显示设备，或者四个或更多的三维图像显示器设备。在这种情况下，中继光学系统(例如，中继透镜)可以适当地布置在三维图像显示设备和第一光学元件之间或者第一光学元件和第二光学元件之间。

在第三例子的显示设备103中，还充当目镜光学元件的自由曲面棱镜可以用作第二光学元件。自由曲面棱镜包括充当第二光学元件的分束器的功能，和充当目镜光学元件的接目镜的功能。

注意，显示设备103-L可以只包括中继光学系统24-L和25-L中的一个，或者可以两个都不包括。显示设备103-R可以只包括中继光学系统24-R和25-R中的一个，或者可以两个都不包括。

(4)第四例子的显示设备

[显示设备的配置]

图19示意地图解说明了第四例子的显示设备104的基本构成。如图19中图解所示，显示设备104包括左眼显示设备104-L和右眼显示设备104-R。显示设备104中的显示设备104-L和104-R是对称布置的。显示设备104例如是通过穿戴在用户的头上而使用的头戴式显示设备(HMD)。例如，显示设备104用于向用户提供VR。

显示设备104-L具有与第三例子的显示设备103-L(参见图18)的构成对应的构成，其中包括第一和第二三维图像显示设备10-L和12-L、第一和第二中继光学系统20-L和22-L、第一光学元件31-L和中继光学系统24-L的构成已经用左眼二维图像显示设备60-L替换，并且包括第二光学元件30-L和目镜光学元件40-L的构成已经用自由曲面棱镜41-L替换。

来自二维图像显示设备60-L的光线组透射通过自由曲面棱镜41-L以朝左眼50-L方向前进，并且来自第一光学元件32-L的第一和第二光线组从自由曲面棱镜41-L反射以朝左眼50-L方向前进。

显示设备104-R具有与第三例子的显示设备103-R(参见图18)的构成对应的构成，其中包括第一和第二三维图像显示设备10-R和12-R、第一和第二中继光学系统20-R和22-R、第一光学元件31-R和中继光学系统24-R的构成已经用右眼二维图像显示设备60-R替换，并且包括第二光学元件30-R和目镜光学元件40-R的构成已经用自由曲面棱镜41-R替换。

来自二维图像显示设备60-R的光线组透射通过自由曲面棱镜41-R以朝右眼50-R方向前进，并且来自第一光学元件32-R的第一和第二光线组从自由曲面棱镜41-R反射以朝向右眼50-R方向前进。

二维图像显示设备(二维显示器)可以分别在相应眼睛的视场的至少相应部分中显示二维视频，或者可以分别在相应眼睛的视场的至少相应部分中显示用于显示使用右眼和左眼之间的视差获得的立体视频的视差图像。

注意，包括第一和第二三维图像显示设备以及第一光学元件的构成的位置和二维图像显示设备的位置可以相对于自由曲面棱镜反转。

[显示设备进行的操作]

在显示设备104-L中，从第一三维图像显示设备13-L射出的第一光线组按顺序经过第一中继光学系统23-L、第一光学元件32-L、中继光学系统25-L和自由曲面棱镜41-L，以入射到用户的左眼50-L上。这里，第一光线组在左眼50-L的光瞳面中生成包括多个视点S13-L的第一视点组。

在显示设备104-L中，从第二三维图像显示设备11-L射出的第二光线组按顺序经过第二中继光学系统21-L、第一光学元件32-L、中继光学系统25-L和自由曲面棱镜41-L，以入射到用户的左眼50-L上。这里，第二光线组在左眼50-L的光瞳面中生成包括多个视点S11-L的第二视点组。

在显示设备104-R中，从第一三维图像显示设备13-R射出的第一光线组按顺序经过第一中继光学系统23-R、第一光学元件32-R、中继光学系统25-R和自由曲面棱镜41-R，以入射到用户的右眼50-R上。这里，第一光线组在右眼50-R的光瞳面中生成包括多个视点S13-R的第一视点组。

在显示设备104-R中，从第二三维图像显示设备11-R射出的第二光线组按顺序经过第二中继光学系统21-R、第一光学元件32-R、中继光学系统25-R和自由曲面棱镜41-R，以入射到用户的右眼50-R上。这里，第二光线组在右眼50-R的光瞳面中生成包括多个视点S11-R的第二视点组。

例如，在显示设备104中，每个二维图像显示设备可以在整个视场中显示使用右眼和左眼之间的视差获得的立体视频，并且对应的第一和第二三维图像显示设备可以使用光场在对应眼睛的视场的中心部分的有限范围内，显示包括深度信息并且诱发焦点调节的立体图像(立体视频)。由二维图像显示设备和三维图像显示设备分别提供的图像(视频)通过光学系统重叠，并且重叠的图像被用户看到。

如上所述，显示设备104用于进行包括使用光线组为用户的双眼中的每只眼睛生成视点组的显示方法，所述光线组从与所述双眼中的每只眼睛对应的第一和第二三维图像显示设备中的每一个射出。

[显示设备提供的效果]

与用于降低VAC的HMD的上述现有技术相比，第四例子的显示设备104可以以更简单的构成获得更宽的视场和更高的分辨率，并且可以降低渲染成本和传输成本。人类视觉在视场的中心区域中表现出高质量水平，而在除中心区域以外的区域中表现出低质量水平。因此，人类不容易注意到视场的周围区域中的图像质量的劣化。

利用这些特性，在视场的中心部分中显示包括深度信息的高分辨率三维图像(三维视频)，而在整个视场中显示具有宽视场的低分辨率二维图像(二维视频)。这使得可以获得为人类提供更大的沉浸感所必需的分辨率水平和视场大小。此外，对其中再现深度的视场的限制是有效的，以便利用有限的资源获得高深度再现性。此外，对其中显示三维图像(三维视频)的范围的限制使得可以减少渲染三维图像(三维视频)所需的计算成本和传输成本。

(5)第五例子的显示设备

[显示设备的构成]

图20示意地图解说明第五例子的显示设备105的基本构成。如图20中图解所示，显示设备105包括左眼显示设备105-L和右眼显示设备105-R。显示设备105中的显示设备105-L和105-R是对称布置的。显示设备105例如是通过穿戴在用户的头上而使用的头戴式显示设备(HMD)。例如，显示设备105用于向用户提供AR。

除了没有设置二维图像显示设备60-L和60-R(参见图19)之外，显示设备105具有与第四例子的显示设备104的构成类似的构成。

[显示设备进行的操作]

在显示设备105-L中，从第一三维图像显示设备13-L射出的第一光线组按顺序经过第一中继光学系统23-L、第一光学元件32-L、中继光学系统25-L和自由曲面棱镜41-L，以入射到用户的左眼50-L上。这里，第一光线组在左眼50-L的光瞳面中生成包括多个视点S13-L的第一视点组。

在显示设备105-L中，从第二三维图像显示设备11-L射出的第二光线组按顺序经过第二中继光学系统21-L、第一光学元件32-L、中继光学系统25-L和自由曲面棱镜41-L，以入射到用户的左眼50-L上。这里，第二光线组在左眼50-L的光瞳面中生成包括多个视点S11-L的第二视点组。

在显示设备105-L中，来自真实世界的光线经过自由曲面棱镜41-L，以入射到左眼50-L上。

在显示设备105-R中，从第一三维图像显示设备13-R射出的第一光线组按顺序经过第一中继光学系统23-R、第一光学元件32-R、中继光学系统25-R和自由曲面棱镜41-R，以入射到用户的右眼50-R上。这里，第一光线组在右眼50-R的光瞳面中生成包括多个视点S13-R的第一视点组。

在显示设备105-R中，从第二三维图像显示设备11-R射出的第二光线组按顺序经过第二中继光学系统21-R、第一光学元件32-R、中继光学系统25-R和自由曲面棱镜41-R，以入射到用户的右眼50-R上。这里，第二光线组在右眼50-R的光瞳面中生成包括多个视点S11-R的第二视点组。

在显示设备105-R中，来自真实世界的光线经过自由曲面棱镜41-R，以入射到右眼50-R上。

如上所述，显示设备105用于进行包括使用光线组为用户的双眼中的每只眼睛生成视点组的显示方法，所述光线组从与所述双眼中的每只眼睛对应的第一和第二三维图像显示设备中的每一个射出。

[显示设备提供的效果]

显示设备105使得可以获得与第一例子的显示设备101所提供的效果类似的效果。此外，由与双眼中的每只眼睛对应的第一和第二三维图像显示设备生成的立体图像(立体视频)被显示在例如眼睛的视场的中心部分的有限范围中，所述立体图像是包括深度信息并且诱发焦点调节的立体图像。然后，使立体图像重叠来自真实世界的光线。这使提供具有透视性能并且能够降低VAC的3D增强现实显示器成为可能。

(6)第六例子的显示设备

图21示意地图解说明了第六例子的显示设备106的基本构成。如图21中图解所示，显示设备106包括左眼显示设备106-L和右眼显示设备。显示设备106中的左眼显示设备106-L和右眼显示设备是对称布置的。因此，主要描述左眼显示设备106-L。显示设备106例如是通过穿戴在用户的头上而使用的头戴式显示设备(HMD)。例如，显示设备106用于向用户提供VR。

显示设备106-L包括视点组生成系统和视线检测系统。注意，显示设备106的右眼显示设备可以包括或者不一定必须包括视线检测系统。

显示设备106-L的视点组生成系统包括三维图像显示设备10-L和光学系统，所述光学系统包括目镜光学元件40-L(例如，接目镜)，三维图像显示设备10-L和光学系统对应于用户的左眼50-L。视点组生成系统使用从三维图像显示设备10-L射出以经过光学系统的光线组为左眼50-L生成视点组。这里，有利的是，在左眼50-L上生成在视点组中包括的多个视点中的至少两个。

可以使用显示设备106来进行显示方法，该显示方法包括检测用户的视线并使用光线组为用户的双眼中的每只眼睛生成视点组，所述光线组从与所述双眼的每只眼睛对应的三维图像显示设备射出，以经过包括所述目镜光学元件40-L的光学系统，所述生成视点组包括基于通过检测视线而进行的检测的结果，控制生成所述视点组的位置。

例如，显示设备106-L的三维图像显示设备10-L包括元素图像显示设备10-1-L、孔径阵列10-2-L和微透镜阵列10-3-L，并且通过集成成像再现光场。

显示设备106-L的视线检测系统包括眼球追踪设备70-L。

眼球追踪设备70-L包括检测左眼50-L的定向(视线)的摄像头70-1-L(受光器)和用于照明的光源70-2-L(光源部)。

例如，摄像头70-1-L和光源70-2-L设置到目镜光学元件40-L的外边缘以面对左眼50-L。

例如，摄像头70-1-L包括诸如图像传感器之类的受光元件(成像装置)。

例如，光源70-2-L射出不可见光(例如，红外光)。例如，可以使用发光二极管或激光器作为激光光源70-2-L。

在眼球追踪设备70-L中，使用摄像头70-1-L对由光源70-2-L射出以从左眼50-L反射的不可见光进行成像(接收)。

这里，“眼动框”是可以适当地观看光场的范围，并且是由三维图像显示设备生成视点的范围。

在显示设备106中，使用眼球追踪设备对于每帧在适当范围内生成眼动框。在图21中，附图标记E211-L和E210-L指示不同帧中的眼动框。在集成成像中，需要改变要显示为元素图像的图像(视频)，以便改变眼动框的位置。

在眼动框的大小与视点密度之间、在视点密度与分辨率之间以及在分辨率与眼动框的大小之间存在折衷关系。眼球追踪设备的使用使得可以将眼动框范围限制为仅仅瞳孔周围的区域，从而使范围更小。这导致能够在维持视点密度的水平的同时获得高分辨率。

图22是图解说明显示设备106的功能的框图。如图22中图解所示，显示设备106的视点组生成系统还包括控制设备1000，控制设备1000基于来自眼球追踪设备70-L的输出控制生成视点组的位置，所述输出对应于视线检测系统所进行的检测的结果。例如，控制设备1000由例如包括CPU和芯片集的硬件实现。

控制设备1000包括主控制器和元素图像移位信息计算器1000a。元素图像移位信息计算器1000a使用基于来自眼球追踪设备70-L的输出而获得的左眼50-L的定向来计算关于元素图像的移位信息(移位方向和移位量)，并将计算结果输出到元素图像显示设备10-1-L。元素图像显示设备10-1-L生成与所述移位信息相应的元素图像。

下面参考图23描述显示设备106的操作(使用显示设备106的显示方法)。图23中图解所示的流程图基于由控制设备1000的主控制器进行的处理算法。

在作为第一步骤的步骤S1中，主控制器将n设定为1。

在步骤S1之后的步骤S2中，主控制器确定要在第n帧中显示的视频内容。

在步骤S2之后的步骤S3中，主控制器识别用户的视线的方向。具体地，主控制器使用来自眼球追踪设备70-L的输出识别用户的左眼50-L的定向(视线的方向)，并将所识别的左眼50-L的定向发送到元素图像移位信息计算器1000a。

在步骤S3之后的步骤S4中，元素图像移位信息计算器1000a计算元素图像的移位方向和移位量。具体地，元素图像移位信息计算器1000a计算元素图像的移位方向和移位量，使得在取决于所识别的左眼50-L的定向的位置生成眼动框。例如，当在某帧中在图21中图解所示的眼动框E210-L的范围(其中左眼50-L面对三维图像显示设备10-L的范围)中生成视点时，显示在图24的A中图解所示的元素图像Y310-L。此外，当在另一帧中在图21中图解所示的眼动框E211-L的范围中生成视点时，例如，显示在图24中图解所示的通过使元素图像Y310-L移位而获得的元素图像Y311-L。

这里，图25中图解说明了上述公式(4)中的各个参数。上述公式(4)是仅表示Y方向的移位的公式。这同样适用于X方向的移位。(Δx,Δy)的计算使得可以确定元素图像的移位量和移位方向。

在步骤S4之后的步骤S5中，主控制器渲染元素图像。具体地，例如，主控制器生成通过从元素图像Y310-L移位元素图像Y311-L以便渲染而获得的视频数据，元素图像Y310-L的移位按使用上述公式(4)表示的移位量和移位方向进行。

在步骤S5之后的步骤S6中，主控制器使元素图像被显示。具体地，主控制器基于在步骤S5中生成的视频数据驱动元素图像显示设备10-1-L，以使元素图像被显示。这导致再现光场，并且导致例如在眼动框E211-L的范围中生成多个视点(参见图25)。

在步骤S6之后的步骤S7中，主控制器判定是否继续进行处理。具体地，当显示设备106关闭时，主控制器判定不连续地进行处理，而在其他情况下，主控制器判定连续地进行处理。当在步骤S7中做出肯定判定时，处理前进到步骤S8，而当在步骤S7中做出否定判定时，流程被终止。

在步骤S8中，主控制器将n增加1。换句话说，在下一帧中也进行步骤S2～S7中的一系列操作。当进行步骤S8的处理时，处理返回到步骤S2。

上述第六例子的显示设备106使得可以在不限制视场的情况下以高分辨率和高深度再现性显示三维图像。

(补充)

这里，在图26的A和B中图解所示的比较例的图像显示设备108-L包括三维图像显示设备10-L和目镜光学元件40-L(例如，接目镜)。当不使用眼球追踪设备时，考虑到例如眼球的旋转和穿戴HMD时的偏移，需要使眼动框范围的大小更大。在图26的A中，用户的左眼51-L面向前方，瞳孔位于眼动框范围E220-L内。这使用户能够适当地看到光场。在图26的B中，用户的左眼51-L旋转以面向左侧。然而，由于眼动框范围的大小较大，所以瞳孔位于眼动框范围E220-L内。这使用户能够适当地看到光场。然而，在该比较例中，眼动框具有较大的大小。因此，难以在维持视点密度的水平的同时提高光场的分辨率。

在图27的A～C中图解所示的图像显示设备110-L包括三维图像显示设备10-L、目镜光学元件40-L(例如，接目镜)和眼球追踪设备70-L。当使用眼球追踪设备70-L时，可以按照眼球的位置来确定眼动框的位置。这使得可以将眼动框范围限制为仅仅瞳孔周围的区域，从而使范围变小。在图27的A中，用户的左眼51-L面向前方，瞳孔位于眼动框范围E230-L内。这使用户能够适当地看到光场。另一方面，在图27的B中，用户的左眼51-L旋转，瞳孔位于眼动框范围E230-L外。这导致用户难以适当地看到光场。因此，需要按照眼睛的定向来改变眼动框范围。因此，使用眼球追踪设备识别眼睛的定向，并将眼动框移动到E231-L，如在图27的C中图解所示。这使用户能够看到适当的光场。如上所述，通过使用眼球追踪设备70-L，按照眼睛的位置改变眼动框范围。这使得可以使每帧地生成的眼动框范围的大小更小。这导致能够在维持视点密度的水平的同时提高光场的分辨率。

(7)第七例子的显示设备

图28示意地图解说明了第七例子的显示设备113的基本构成。如图28中图解所示，显示设备113包括左眼显示设备113-L和右眼显示设备。显示设备113中的左眼显示设备113-L和右眼显示设备是对称布置的。因此，主要描述左眼显示设备113-L。显示设备113例如是通过穿戴在用户的头上而使用的头戴式显示设备(HMD)。例如，显示设备113用于向用户提供VR。

除了来自对应于左眼50-L的三维图像显示设备10-L的光线组的射出方向和来自光源70-1-L(光源部)的不可见光的射出方向相交之外，以及除了包括目镜光学元件40-L(例如，接目镜)的光学系统还包括使该光线组的行进方向与该不可见光的行进方向对准的光学元件30-L之外，显示设备113具有与第六例子的显示设备106的构成类似的构成。例如，光学元件30-L是分束器(比如半透明反射镜、偏振分束器或二向色镜)。

例如，显示设备113中的眼球追踪设备70-L被设置到眼镜架的镜腿。

由光源70-1-L射出的不可见光按顺序经过光学元件30-L和目镜光学元件40-L，以照射到左眼50-L上。摄像头70-2-L(受光器)按顺序通过目镜光学元件40-L和光学元件30-L接收从左眼50-L反射的不可见光。

这里，例如，来自三维图像显示设备10-L的光线组透射通过光学元件30-L，并经过目镜光学元件40-L以生成视点组。来自光源70-1-L的不可见光被光学元件30-L反射，并经过目镜光学元件40-L照射到左眼50-L上。从左眼50-L反射的不可见光经过目镜光学元件40-L，并从光学元件30-L反射以入射到摄像头70-2-L上。

注意，三维图像显示设备10-L的位置和眼球追踪设备70-L的位置可以相对于光学元件30-L反转。

显示设备113使得可以获得与第六例子的显示设备106所提供的效果类似的效果。此外，光学元件30-L的使用使得可以使用摄像头70-2-L在目镜光学元件40-L的光轴上对来自光源70-1-L并且从左眼50-L反射的不可见光进行成像。在这种情况下，存在归因于目镜光学元件40-L的失真的影响，但是可以从前方观察眼睛。这使得能够高精度地进行眼球追踪。此外，例如，与当眼球追踪设备70-L被设置到目镜光学元件40-L的外边缘时相比，视场和眼距较少受到限制。

注意，代替光学元件30-L和目镜光学元件40-L，可以设置使来自三维图像显示设备10-L的光线组的行进方向与来自光源70-1-L的不可见光的行进方向对准的自由曲面棱镜。自由曲面棱镜包括分束器的功能和接目镜的功能。在这种情况下，由光源70-1-L射出的不可见光穿过自由曲面棱镜照射到左眼50-L上。摄像头70-2-L通过自由曲面棱镜接收从左眼50-L反射的不可见光。

(8)第八例子的显示设备

图29示意地图解说明了第八例子的显示设备114的基本构成。显示设备114包括左眼显示设备114-L和右眼显示设备。显示设备114中的左眼显示设备114-L和右眼显示设备是对称布置的。因此，主要描述左眼显示设备114-L。显示设备114例如是通过穿戴在用户的头上而使用的头戴式显示设备(HMD)。例如，显示设备114用于向用户提供VR。

除了例如眼球追踪设备70-L被设置到三维图像显示设备10-L的外边缘之外，显示设备114-L具有与第六例子的显示设备106的构成类似的构成。

在显示设备114-L中，眼球追踪设备70-L与三维图像显示设备10-L并排布置。由于这样的布置，存在归因于目镜光学元件40-L的失真的影响，但是与例如当眼球追踪设备被设置到目镜光学元件40L的外边缘时相比，视场和眼距较少受到限制。

(9)第九例子的显示设备

图30示意地图解说明了第九例子的显示设备115的基本构成。显示设备115包括左眼显示设备115-L和右眼显示设备。显示设备115中的左眼显示设备115-L和右眼显示设备是对称布置的。因此，主要描述左眼显示设备115-L。显示设备115例如是通过穿戴在用户的头上而使用的头戴式显示设备(HMD)。例如，显示设备115用于向用户提供VR。

除了包括眼球追踪设备70-L之外，显示设备115具有与第一例子的显示设备101的构成类似的构成。换句话说，显示设备115还包括视线检测系统，该视线检测系统包括眼球追踪设备70-L，视线检测系统检测用户的视线，并且显示设备115的视点组生成系统基于由视线检测系统进行的检测的结果，控制生成视点组的位置。

显示设备115-L使得可以通过使用第一和第二三维图像显示设备10-L和11-L以及眼球追踪设备70-L，实现更高的视点密度和更高的分辨率。

(10)第十例子的显示设备

图31示意地图解说明了第十例子的显示设备116的基本构成。显示设备116包括左眼显示设备116-L和右眼显示设备。显示设备116中的左眼显示设备116-L和右眼显示设备是对称布置的。因此，主要描述左眼显示设备116-L。显示设备116例如是通过穿戴在用户的头上而使用的头戴式显示设备(HMD)。例如，显示设备116用于向用户提供AR。

除了代替目镜光学元件40-L(例如，接目镜)，使用包括分束器的功能和接目镜的功能的自由曲面棱镜41-L之外，显示设备115具有与第六例子的显示设备106的构成大致相似的构成。

在显示设备116中，三维图像显示设备11-1-L被布置在面向左眼50-L的自由曲面棱镜41-L的侧面。因此，在显示设备116-L中，来自真实世界的光线经过自由曲面棱镜41-L入射到左眼50-L上。结果，在显示设备116-L中，在三维图像(三维视频)和来自真实世界的光线重叠的状态下进行显示。这使提供具有透视性能并且能够降低VAC的3D增强现实显示器成为可能。

(11)第十一例子的显示设备

图32示意地图解说明了第十一例子的显示设备117的基本构成。显示设备117包括左眼显示设备117-L和右眼显示设备。显示设备117中的左眼显示设备117-L和右眼显示设备是对称布置的。因此，主要描述左眼显示设备117-L。显示设备117例如是通过穿戴在用户的头上而使用的头戴式显示设备(HMD)。例如，显示设备117用于向用户提供VR。

显示设备117-L包括三维图像显示设备组14-L和目镜光学元件40-L(例如，接目镜)，三维图像显示设备组14-L包括一个或多个(例如，两个)三维图像显示设备。

三维图像显示设备组14-L的三维图像显示设备分别包括元素图像显示设备，并且包括共享孔径阵列14-2-L和共享微透镜阵列14-3-L，三维图像显示设备组14-L的三维图像显示设备通过集成成像再现光场。

例如，各个三维图像显示设备的元素图像显示设备分别包括显示器14-1-L，其中多个显示器14-1-L是被层叠的。

具体地，例如，各个三维图像显示设备的元素图像显示设备可以包括共享光源(例如，背光)，并且可以分别包括充当显示器14-1-L的透射式空间调制器。多个透射式空间调制器中的透射式空间调制器可以在光源发光的方向上(层叠地)并排排列。

例如，使用液晶元件(LCD)作为透射式空间调制器。

例如，各个三维图像显示设备的元素图像显示设备可以分别包括充当显示器14-1-L的自发光显示元件，并且多个显示元件中的显示元件可以在光线组的射出方向上(层叠地)并排排列。

例如，使用微LED阵列或OLED阵列作为显示元件。

例如，三维图像显示设备组14-L的三维图像显示设备中的一个的元素图像显示设备可以包括充当显示器14-1-L的透射式空间调制器和光源(例如，背光)，三维图像显示设备中的另一个可以包括充当显示器14-1-L的自发光显示元件，并且透射式空间调制器和显示元件可以被层叠。例如，使用液晶元件(LCD)作为透射式空间调制器。例如，使用微LED阵列或OLED阵列作为显示元件。

在具有上述构成的显示设备117-L中，从三维图像显示设备组14-L的三维图像显示设备射出的光线组经过目镜光学元件40-L入射到用户的左眼50-L上。这里，光线组在左眼50-L的光瞳面中在眼动框范围中生成视点组。

显示设备117-L使用分别包括层叠的显示器14-1-L(透射式空间调制器或显示元件)的多个三维图像显示设备14-L，并且如在引用文献4(Cascaded Displays:Spatiotemporal Superresolution using Offset Pixel Layers)中那样，这使显示设备117-L能够显示高分辨率元素图像并使用级联显示器来再现高分辨率光场。此外，如在引用文献4(日本未经审查的专利申请公布No.2020-521174)中那样，可以通过针对每个像素控制到达顶面显示器的光量来增强对比度。

(12)第十二例子的显示设备

图33示意地图解说明了第十二例子的显示设备118的基本构成。显示设备118包括左眼显示设备118-L和右眼显示设备。显示设备118中的左眼显示设备118-L和右眼显示设备是对称布置的。因此，主要描述左眼显示设备118-L。显示设备118例如是通过穿戴在用户的头上而使用的头戴式显示设备(HMD)。例如，显示设备118用于向用户提供VR。

除了代替第一三维图像显示设备10-L，设置包括多个(例如，两个)第一三维图像显示设备的第一三维图像显示设备组14-L之外，以及除了代替第二三维图像显示设备11-L，设置多个第二三维图像显示设备组15-L之外，显示设备118-L具有与第一例子的显示设备101-L(参见图16)的构成类似的构成。

第一三维图像显示设备组14-L的三维图像显示设备分别包括元素图像显示设备，并且包括共享孔径阵列14-2-L和共享微透镜阵列14-3-L，第一三维图像显示设备组14-L的三维图像显示设备通过集成成像再现光场。

例如，第一三维图像显示设备组14-L的各个三维图像显示设备的元素图像显示设备分别包括显示器14-1-L，其中多个显示器14-1-L是被层叠的。

第二三维图像显示设备组15-L的三维图像显示设备分别包括元素图像显示设备，并且包括共享孔径阵列15-2-L和共享微透镜阵列15-3-L，第二三维图像显示设备组15-L的三维图像显示设备通过集成成像再现光场。

例如，第二三维图像显示设备组15-L的各个三维图像显示设备的元素图像显示设备分别包括显示器15-1-L，其中多个显示器15-1-L是被层叠的。

具体地，例如，第一三维图像显示设备组14-L和第二三维图像显示设备组15-L中的每一个的各个三维图像显示设备的元素图像显示设备可以包括共享光源，并且可以分别包括充当显示器的透射式空间调制器。多个透射式空间调制器中的透射式空间调制器可以在光源发光的方向上(层叠地)并排排列。

例如，使用液晶元件(LCD)作为透射式空间调制器。

例如，第一三维图像显示设备组14-L和第二三维图像显示设备组15-L中的每一个的各个三维图像显示设备的元素图像显示设备可以分别包括充当显示器的自发光显示元件，并且多个显示元件可以在光线组的射出方向上(层叠地)并排排列。例如，使用微LED阵列或OLED阵列作为显示元件。

例如，第一三维图像显示设备组14-L和第二三维图像显示设备组15-L中的每一个的三维图像显示设备中的一个的元素图像显示设备可以包括充当显示器的透射式空间调制器和光源(例如，背光)，第一三维图像显示设备组14-L和第二三维图像显示设备组15-L中的对应一个的三维图像显示装备中的另一个可以包括充当显示器的自发光显示元件，并且透射式空间调制器和显示元件可以被层叠。例如，使用液晶元件(LCD)作为透射式空间调制器。例如，使用微LED阵列或OLED阵列作为显示元件。

在具有上述构成的显示设备118-L中，从第一三维图像显示设备组14-L射出的第一光线组和从第二三维图像显示设备组15-L射出的第二光线组均按顺序经过光学元件30-L和目镜光学元件40-L，入射到用户的左眼50-L上。这里，第一光线组在左眼50-L的光瞳面中生成包括多个视点S14-L的第一视点组，而第二光线组在左眼50-L的光瞳面中生成包括多个视点S15-L的第二视点组。

显示设备118-L使得可以获得由第一例子的显示设备101-L提供的效果和由第十一例子的显示设备117-L提供的效果。

(13)第十三例子的显示设备

图34示意地图解说明了第十三例子的显示设备119的基本构成。显示设备119包括左眼显示设备119-L和右眼显示设备。显示设备119中的左眼显示设备119-L和右眼显示设备是对称布置的。因此，主要描述左眼显示设备119-L。显示设备119例如是通过穿戴在用户的头上而使用的头戴式显示设备(HMD)。例如，显示设备119用于向用户提供VR。

除了显示设备119L包括包含眼球追踪设备70-L的视线检测系统之外，显示设备119L具有与第十一例子的显示设备117L(参见图32)的构成类似的构成。

例如，如在第六例子的显示设备106L的眼球追踪设备70-L的情况下一样，布置显示设备119L的眼球追踪设备70-L。

显示设备119L使得可以获得由第十一例子的显示设备117L提供的效果和由第六例子的显示设备提供的效果。

(14)第十四例子的显示设备

图35示意地图解说明了第十四例子的显示设备120的基本构成。如图35中图解所示，显示设备120包括左眼显示设备120-L和右眼显示设备。显示设备120中的左眼显示设备120-L和右眼显示设备是对称布置的。因此，主要描述左眼显示设备120-L。显示设备120例如是通过穿戴在用户的头上而使用的头戴式显示设备(HMD)。例如，显示设备120用于向用户提供VR。

在显示设备120-L中，包括在三维图像显示设备组16-L中的第一三维图像显示设备的元素图像显示设备包括光源16-1-L和反射式空间调制器16-5-L(比如DMD或FLCOS)，并且包括在三维图像显示设备组16-L中的第二三维图像显示设备的元素图像显示设备包括光源16-1-L和透射式空间调制器16-9-L(比如LCD)。

从反射式空间调制器16-5-L射出光线组的方向和从透射式空间调制器16-9-L射出光线组的方向相交(例如，大致彼此正交)，并且光学系统包括使来自反射式空间调制器16-5-L的光线组的行进方向与来自透射式空间调制器16-5-L的光线组行进方向对准的光学元件16-3-L。例如，光学元件16-3-L是偏振分束器。

此外，第一三维图像显示设备的元素图像显示设备包括位于光学元件16-3-L和反射式空间调制器16-5-L之间的四分之一波片16-4-L、位于从透射式空间调制器16-9-L到光学元件16-3-L的另一边的反射镜16-8-L、位于反射镜16-8-L和光学元件16-3-L之间的透镜16-6-L、以及位于反射镜16-8-L和透镜16-6-L之间的四分之一波片16-7-L。

第一和第二三维图像显示设备的相应元素图像显示设备包括位于光源16-1-L和光学元件16-3-L之间的共享起偏振片16-2-L。

第一和第二三维图像显示设备包括位于透射式空间调制器16-9-L和目镜光学元件40-L之间的共享微透镜阵列16-11-L，以及位于透射式空间调制器16-9-L和微透镜阵列16-11-L之间的共享孔径阵列16-10-L。

在显示设备120-L中，由光源16-1-L射出的光当中在指定偏振方向上偏振的第一线偏振光透射通过光学元件16-3-L入射到四分之一波片16-4-L上。入射到四分之一波片16-4-L上的第一线偏振光被变换成圆偏振光并入射到反射式空间调制器16-5-L上。光被反射式空间调制器16-5-L反射以生成其中光的圆偏振的旋转方向变为反向的光线组。该光由四分之一波片16-4-L变换为在与第一线偏振光的偏振方向正交的偏振方向上偏振的第二线偏振光，并且该光入射到光学元件16-3-L上。入射到光学元件16-3-L上的光线组被光学元件16-3-L反射，以朝透镜16-6-L方向前进。该光线组经过透镜16-6-L，由四分之一波片16-7-L变换为圆偏振光，并入射到反射镜16-8-L上。该光线组被反射镜16-8-L反射，并且光的圆偏振的旋转方向变为反向。光被四分之一波片16-7-L变换为第一线偏振光，并按顺序透射通过透镜16-6-L和光学元件16-3-L，入射到透射式空间调制器16-9-L上。通过透射式空间调制器16-9-L的光线组中的每条光线按顺序经过孔径阵列16-10-L、微透镜阵列16-11-L和目镜光学元件40-L，以聚集到对应视点。因而，生成视点组。

显示设备120-L使得可以获得与第十一例子的显示设备117(参见图32)提供的效果类似的效果。此外，与透射式空间调制器被层叠时相比，反射式空间调制器和透射式空间调制的组合使用使得可以实现更高的透射率。

<4.本技术的变形例>

可对本技术的上述例子和变形例的显示设备的构成适当地进行修改。

例如，在上面的例子和变形例中描述了通过集成成像再现光场的显示设备的例子。然而，例如，本技术的显示设备也可以应用于通过组合使用显示器和双凸透镜来再现光场的显示设备，以及通过使用显示器和视差屏障来再现光场的显示设备。

例如，在上述第一到第三、第十一、第十二和第十四例子中不一定必须设置目镜光学元件(例如，接目镜)。

例如，第一光学元件、第二光学元件或光学元件中的至少一个不一定必须是分束器。

例如，上述例子和变形例的显示设备的三维图像显示设备均不一定必须包括孔径阵列或微透镜阵列中的至少一个。当三维图像显示设备不包括微透镜阵列时，有利的是三维图像显示设备包括双凸透镜或视差屏障。

例如，上述例子和变形例的显示设备的三维图像显示设备可以分别包括充当目镜光学元件的目镜。

例如，上述例子和变形例的显示设备的三维图像显示设备可以分别在双眼中的至少一只眼睛上形成单个视点。

例如，中继光学系统可以包括反射镜。

本技术的显示设备也可以应用于除头戴式显示设备以外的显示设备，即，例如，裸眼式显示设备。

例如，可以在各个部分之间不存在不一致的情况下，组合使用上述例子和变形例的显示设备的各个构成的至少一部分。例如，在第一和第二例子中，代替组合使用分束器和接目镜，可以使用自由曲面棱镜。例如，在第三例子中，代替组合使用分束器和接目镜，可以使用自由曲面棱镜。例如，多个三维图像显示设备还可以包括第三三维图像显示设备。然后，包括来自第一光学元件(例如，分束器)的第一和第二光线组的一对光线组的行进方向和作为来自第三三维图像显示设备的光线组的第三光线组的行进方向可以相交，并且第二光学元件(例如，分束器或自由曲面棱镜)可以使一对光线组的行进方向与第三光线组的行进方向对准。

此外，本技术还可以采用以下构成。

(1)一种显示设备，包括

视点组生成系统，所述视点组生成系统包括与用户的双眼中的每只眼睛对应的多个三维图像显示设备，所述视点组生成系统使用从所述多个三维图像显示设备中的每一个射出的光线组为所述双眼中的对应眼睛生成视点组。

(2)按照(1)所述的显示设备，其中

多个所述视点组不重叠。

(3)按照(1)或(2)所述的显示设备，其中

在所述眼睛上生成在多个所述视点组中包括的多个视点中的至少两个视点。

(4)按照(1)～(3)任意之一所述的显示设备，其中

在多个所述视点组中的至少一个视点组的相邻的两个视点之间生成其他视点组的视点。

(5)按照(1)～(4)任意之一所述的显示设备，其中

所述多个三维图像显示设备中的每一个包括元素图像显示设备和微透镜阵列。

(6)按照(5)所述的显示设备，其中

所述多个三维图像显示设备中的每一个还包括位于所述元素图像显示设备和所述微透镜阵列之间的孔径阵列。

(7)按照(1)～(6)任意之一所述的显示设备，其中

所述多个三维图像显示设备包括至少一对第一和第二三维图像显示设备，其中从所述第一三维图像显示设备射出所述光线组的方向和从所述第二三维图像显示设备射出所述光线组的方向相交，并且

所述视点组生成系统包括引导来自所述多个三维图像显示设备中的每一个的所述光线组的光学系统。

(8)按照(7)所述的显示设备，其中

所述光学系统包括第一光学元件，所述第一光学元件使第一光线组的行进方向与第二光线组的行进方向对准，所述第一光线组是来自所述第一三维图像显示设备的光线组，所述第二光线组是来自所述第二三维图像显示设备的光线组。

(9)按照(8)所述的显示设备，其中

所述光学系统还包括第一中继光学系统和第二中继光学系统中的至少一个，所述第一中继光学系统布置在所述第一三维图像显示设备和所述第一光学元件之间以生成所述第一光线组的中间图像，所述第二中继光学系统布置在所述第二三维图像显示设备和所述第一光学元件之间，以生成所述第二光线组的中间图像。

(10)按照(8)或(9)所述的显示设备，其中

所述多个三维图像显示设备包括所述一对第一和第二三维图像显示设备，并且

所述第一光学元件将所述第一光线组和所述第二光线组的行进方向对准于朝向眼睛的方向。

(11)按照(8)～(10)任意之一所述的显示设备，其中

所述第一光学元件是分束器。

(12)按照(8)～(11)任意之一所述的显示设备，其中

所述光学系统还包括目镜光学元件，来自所述第一光学元件的所述第一光线组和所述第二光线组入射到所述目镜光学元件上。

(13)按照(8)～(10)任意之一所述的显示设备，其中

所述第一光学元件是还充当目镜光学元件的自由曲面棱镜。

(14)按照(8)或(9)所述的显示设备，其中

所述多个三维图像显示设备包括多对所述第一和第二三维图像显示设备，

针对所述多对中的每一对设置所述第一光学元件，

一对光线组的行进方向和另一对光线组的行进方向相交，所述一对光线组包括来自多个所述第一光学元件中的一个第一光学元件的第一和第二光线组，所述另一对光线组包括来自另一个第一光学元件的第一和第二光线组，并且

所述光学系统还包括第二光学元件，所述第二光学元件使所述一对光线组的行进方向与所述另一对光线组的行进方向对准。

(15)按照(14)所述的显示设备，其中

所述第一和第二光学元件中的至少一个是分束器。

(16)按照(14)或(15)所述的显示设备，其中

所述光学系统还包括目镜光学元件，所述一对光线组和所述另一对光线组入射到所述目镜光学元件上，所述一对光线组和所述另一对光线组来自所述第二光学元件。

(17)按照(14)或(15)所述的显示设备，其中

所述第二光学元件是还充当目镜光学元件的自由曲面棱镜。

(18)按照(14)～(17)任意之一所述的显示设备，其中

所述光学系统还包括第一中继光学系统和第二中继光学系统中的至少一个，所述第一中继光学系统布置在所述一个第一光学元件和所述第二光学元件之间，以生成来自所述一个第一光学元件的所述第一和第二光线组的中间图像，所述第二中继光学系统布置在所述另一个第一光学元件和所述第二光学元件之间，以生成来自所述另一个第一光学元件的所述第一和第二光线组的中间图像。

(19)按照(8)～(18)任意之一所述的显示设备，其中

所述多个三维图像显示设备还包括第三三维图像显示设备，

一对光线组的行进方向和第三光线组的行进方向相交，所述一对光线组包括来自所述第一光学元件的所述第一和第二光线组，所述第三光线组是来自所述第三三维图像显示设备的光线组，并且

所述光学系统还包括第二光学元件，所述第二光学元件使所述一对光线组的行进方向与所述第三光线组的行进方向对准。

(20)按照(20)所述的显示设备，其中

所述第一和第二光学元件中的至少一个是分束器。

(21)按照(8)～(20)任意之一所述的显示设备，还包括

与所述用户的双眼中的每只眼睛对应的二维图像显示设备，其中

从所述二维图像显示设备射出的光线组的行进方向和一对光线组的行进方向相交，所述一对光线组包括来自所述第一光学元件的所述第一和第二光线组，并且

所述光学系统还包括第二光学元件，所述第二光学元件使所述光线组的行进方向与所述一对光线组的行进方向对准。

(22)按照(21)所述的显示设备，其中

所述光学系统还包括中继光学系统，所述中继光学系统布置在所述第一和第二光学元件之间，以生成来自所述第一光学元件的所述第一和第二光线组的中间图像。

(23)按照(21)或(22)所述的显示设备，其中

所述第二光学元件是还充当目镜光学元件的自由曲面棱镜。

(24)按照(5)～(23)任意之一所述的显示设备，其中

所述多个三维图像显示设备中的每一个的所述元素图像显示设备包括显示器。

(25)按照(24)所述的显示设备，其中

多个所述显示器被层叠。

(26)按照(24)或(25)所述的显示设备，其中

所述多个三维图像显示设备共享所述微透镜阵列。

(27)按照(24)～(26)任意之一所述的显示设备，其中

所述视点组生成系统包括目镜光学元件，来自多个所述显示器中的各个显示器的光线组入射到所述目镜光学元件上。

(28)按照(24)～(27)任意之一所述的显示设备，其中

多个所述显示器中的至少一个包括光源和空间调制器。

(29)按照(28)所述的显示设备，其中

所述多个显示器包括包含反射式空间调制器的第一显示器和包括透射式空间调制器的第二显示器，

从所述反射式空间调制器射出光线组的方向和从所述透射式空间调制器射出光线组的方向相交，并且

所述光学系统包括使来自所述反射式空间调制器的所述光线组的行进方向与来自所述透射式空间调制器的所述光线组的行进方向对准的光学元件。

(30)按照(28)或(29)所述的显示设备，其中

所述空间调制器是液晶元件。

(31)按照(28)或(30)所述的显示设备，其中

所述空间调制器是透射式的。

(32)按照(28)或(30)所述的显示设备，其中

所述空间调制器是反射式的。

(33)按照(32)所述的显示设备，其中

所述空间调制器是硅上铁电液晶(FLCOS)。

(34)按照(32)所述的显示设备，其中

所述空间调制器是数字镜器件(DMD)。

(35)按照(24)～(27)任意之一所述的显示设备，其中

多个所述显示器中的至少一个包括自发光显示元件。

(36)按照(35)所述的显示设备，其中

所述显示元件包括发光二极管(LED)或有机发光二极管(OLED)。

(37)按照(1)～(36)任意之一所述的显示设备，还包括

视线检测系统，所述视线检测系统检测用户的视线，其中

基于所述视线检测系统进行的检测的结果，所述视点组生成系统控制生成所述视点组的位置。

(38)按照(1)～(37)任意之一所述的显示设备，其中

所述显示设备是头戴式显示设备。

(39)一种显示设备，包括：

视点组生成系统，所述视点组生成系统包括三维图像显示设备和包含目镜光学元件的光学系统，所述三维图像显示设备和光学系统对应于用户的双眼中的每只眼睛，所述视点组生成系统使用从所述三维图像显示设备射出并经过所述光学系统的光线组为所述双眼中的对应眼睛生成视点组；和

视线检测系统，所述视线检测系统检测用户的视线，

所述视点组生成系统基于所述视线检测系统进行的检测的结果，控制生成所述视点组的位置。

(40)按照(39)所述的显示设备，其中

多个三维图像显示设备中的每一个包括元素图像显示设备和微透镜阵列。

(41)按照(40)所述的显示设备，其中

所述多个三维图像显示设备中的每一个还包括位于元素图像显示设备和微透镜阵列之间的孔径阵列。

(42)按照(39)～(41)任意之一所述的显示设备，其中

所述视线检测系统包括

射出不可见光的光源部，以及

接收由所述光源部射出并被所述双眼中的一只眼睛反射的不可见光的受光器。

(43)按照(39)～(42)任意之一所述的显示设备，其中

所述视线检测系统设置到对应于所述一只眼睛的所述目镜光学元件。

(44)按照(39)～(42)任意之一所述的显示设备，其中

所述视线检测系统设置到对应于所述一只眼睛的所述三维图像显示设备。

(45)按照(42)所述的显示设备，其中

来自对应于所述一只眼睛的所述三维图像显示设备的所述光线组的射出方向和来自所述光源部的所述不可见光的射出方向相交，并且

所述光学系统还包括使所述光线组的行进方向与所述不可见光的行进方向对准的光学元件。

(46)按照(45)所述的显示设备，其中

由所述光源部射出的所述不可见光按顺序经由所述光学元件和所述目镜光学元件以照射到所述一只眼睛上，并且

所述受光器按顺序经由所述目镜光学元件和所述光学元件接收被所述一只眼睛反射的所述不可见光。

(47)按照(45)或(46)所述的显示设备，其中

所述光学元件是分束器。

(48)按照(42)所述的显示设备，其中

来自对应于所述一只眼睛的所述三维图像显示设备的光线组的射出方向和来自所述光源部的所述不可见光的射出方向相交，并且

所述目镜光学元件是使所述光线组的行进方向与所述不可见光的行进方向对准的自由曲面棱镜。

(49)按照(48)所述的显示设备，其中

由所述光源部射出的所述不可见光经由所述目镜光学元件照射到所述一只眼睛上，并且

所述受光器经由所述目镜光学元件接收被所述一只眼睛反射的所述不可见光。

(50)按照(39)～(49)任意之一所述的显示设备，其中

所述显示设备是头戴式显示设备。

(51)一种显示方法，包括

使用光线组为用户的双眼中的每只眼睛生成视点组，所述光线组从与所述双眼中的每只眼睛对应的多个三维图像显示设备的每一个射出。

(52)一种显示方法，包括：

检测用户的视线；以及

使用光线组为所述用户的双眼中的每只眼睛生成视点组，所述光线组从三维图像显示设备射出并经过包括目镜光学元件的光学系统，所述三维图像显示设备对应于所述双眼中的每只眼睛，

生成所述视点组包括基于通过检测视线进行的检测的结果，控制生成所述视点组的位置。

附图标记列表

10-L、10-R、11-L、11-R、12-L、12-R、13-L、13-R三维图像显示设备

10-1-L、10-1-R、11-1-L、11-1-R、12-1-L、12-1-R、13-1-L、13-1-R元素图像显示设备

10-2-L、10-2-R、11-2-L、11-2-R、12-2-L、12-2-R、13-2-L、13-2-R、14-2-L、15-2-L、16-10-L孔径阵列

10-3-L、10-3-R、11-3-L、11-3-R、12-3-L、12-3-R、13-3-L、13-3-R、14-3-L、15-3-L、1-11-L微透镜阵列

14-1-L、15-1-L显示器

16-5-L反射式空间调制器

16-9-L透射式空间调制器

20-L、20-R、23-L、23-R第一中继光学系统

21-L、21-R、22-L、22-R第二中继光学系统

24-L、24-R中继光学系统(第一中继光学系统)

25-L、25-R中继光学系统(第二中继光学系统)

30-L、30-R光学元件(第一光学元件)

31-L、31-R、32-L、32-R第一光学元件

30-L、30-R第二光学元件

40-L、40-R目镜光学元件

41-L、41-R自由曲面棱镜

60-L、60-R二维图像显示设备

70-L眼球追踪设备(视线检测系统的至少一部分)

70-1-L光源(光源部)

70-2L摄像头(受光器)

S10-L、S10-R、S11-L、S11-R、S12-L、S12-R、S13-L、S13-R视点(视点组的一部分)

Claims (52)

1.一种显示设备，包括

视点组生成系统，所述视点组生成系统包括与用户的双眼中的每只眼睛对应的多个三维图像显示设备，所述视点组生成系统使用从所述多个三维图像显示设备中的每一个射出的光线组为所述双眼中的对应眼睛生成视点组。

2.按照权利要求1所述的显示设备，其中

多个所述视点组不重叠。

3.按照权利要求1所述的显示设备，其中

在所述眼睛上生成在多个所述视点组中包括的多个视点中的至少两个视点。

4.按照权利要求1所述的显示设备，其中

在多个所述视点组中的至少一个视点组的相邻的两个视点之间生成其他视点组的视点。

5.按照权利要求1所述的显示设备，其中

所述多个三维图像显示设备中的每一个包括元素图像显示设备和微透镜阵列。

6.按照权利要求5所述的显示设备，其中

所述多个三维图像显示设备中的每一个还包括位于所述元素图像显示设备和所述微透镜阵列之间的孔径阵列。

7.按照权利要求1所述的显示设备，其中

所述多个三维图像显示设备包括至少一对第一三维图像显示设备和第二三维图像显示设备，其中从所述第一三维图像显示设备射出所述光线组的方向和从所述第二三维图像显示设备射出所述光线组的方向相交，并且

所述视点组生成系统包括引导来自所述多个三维图像显示设备中的每一个的所述光线组的光学系统。

8.按照权利要求7所述的显示设备，其中

所述光学系统包括第一光学元件，所述第一光学元件使第一光线组的行进方向与第二光线组的行进方向对准，所述第一光线组是来自所述第一三维图像显示设备的光线组，所述第二光线组是来自所述第二三维图像显示设备的光线组。

9.按照权利要求8所述的显示设备，其中

所述光学系统还包括第一中继光学系统和第二中继光学系统中的至少一个，所述第一中继光学系统布置在所述第一三维图像显示设备和所述第一光学元件之间以生成所述第一光线组的中间图像，所述第二中继光学系统布置在所述第二三维图像显示设备和所述第一光学元件之间，以生成所述第二光线组的中间图像。

10.按照权利要求8所述的显示设备，其中

所述多个三维图像显示设备包括所述一对第一三维图像显示设备和第二三维图像显示设备，并且

所述第一光学元件将所述第一光线组和所述第二光线组的行进方向对准于朝向眼睛的方向。

11.按照权利要求10所述的显示设备，其中

所述第一光学元件是分束器。

12.按照权利要求11所述的显示设备，其中

所述光学系统还包括目镜光学元件，来自所述第一光学元件的所述第一光线组和所述第二光线组入射到所述目镜光学元件上。

13.按照权利要求10所述的显示设备，其中

所述第一光学元件是还充当目镜光学元件的自由曲面棱镜。

14.按照权利要求8所述的显示设备，其中

所述多个三维图像显示设备包括多对所述第一三维图像显示设备和第二三维图像显示设备，

针对所述多对中的每一对设置所述第一光学元件，

一对光线组的行进方向和另一对光线组的行进方向相交，所述一对光线组包括来自多个所述第一光学元件中的一个第一光学元件的第一光线组和第二光线组，所述另一对光线组包括来自另一个第一光学元件的第一光线组和第二光线组，并且

所述光学系统还包括第二光学元件，所述第二光学元件使所述一对光线组的行进方向与所述另一对光线组的行进方向对准。

15.按照权利要求14所述的显示设备，其中

所述第一光学元件和第二光学元件中的至少一个是分束器。

16.按照权利要求14所述的显示设备，其中

所述光学系统还包括目镜光学元件，所述一对光线组和所述另一对光线组入射到所述目镜光学元件上，所述一对光线组和所述另一对光线组来自所述第二光学元件。

17.按照权利要求14所述的显示设备，其中

所述第二光学元件是还充当目镜光学元件的自由曲面棱镜。

18.按照权利要求14所述的显示设备，其中

所述光学系统还包括第一中继光学系统和第二中继光学系统中的至少一个，所述第一中继光学系统布置在所述一个第一光学元件和所述第二光学元件之间，以生成来自所述一个第一光学元件的所述第一光线组和第二光线组的中间图像，所述第二中继光学系统布置在所述另一个第一光学元件和所述第二光学元件之间，以生成来自所述另一个第一光学元件的所述第一光线组和第二光线组的中间图像。

19.按照权利要求8所述的显示设备，其中

所述多个三维图像显示设备还包括第三三维图像显示设备，

一对光线组的行进方向和第三光线组的行进方向相交，所述一对光线组包括来自所述第一光学元件的所述第一光线组和第二光线组，所述第三光线组是来自所述第三三维图像显示设备的光线组，并且

所述光学系统还包括第二光学元件，所述第二光学元件使所述一对光线组的行进方向与所述第三光线组的行进方向对准。

20.按照权利要求19所述的显示设备，其中

所述第一光学元件和第二光学元件中的至少一个是分束器。

21.按照权利要求8所述的显示设备，还包括

与所述用户的双眼中的每只眼睛对应的二维图像显示设备，其中

从所述二维图像显示设备射出的光线组的行进方向和一对光线组的行进方向相交，所述一对光线组包括来自所述第一光学元件的所述第一光线组和第二光线组，并且

所述光学系统还包括第二光学元件，所述第二光学元件使所述光线组的行进方向与所述一对光线组的行进方向对准。

22.按照权利要求21所述的显示设备，其中

所述光学系统还包括中继光学系统，所述中继光学系统布置在所述第一光学元件和第二光学元件之间，以生成来自所述第一光学元件的所述第一光线组和第二光线组的中间图像。

23.按照权利要求21所述的显示设备，其中

所述第二光学元件是还充当目镜光学元件的自由曲面棱镜。

24.按照权利要求5所述的显示设备，其中

所述多个三维图像显示设备中的每一个的所述元素图像显示设备包括显示器。

25.按照权利要求24所述的显示设备，其中

多个所述显示器被层叠。

26.按照权利要求24所述的显示设备，其中

所述多个三维图像显示设备共享所述微透镜阵列。

27.按照权利要求24所述的显示设备，其中

所述视点组生成系统包括目镜光学元件，来自多个所述显示器中的各个显示器的光线组入射到所述目镜光学元件上。

28.按照权利要求24所述的显示设备，其中

多个所述显示器中的至少一个包括光源和空间调制器。

29.按照权利要求28所述的显示设备，其中

所述多个显示器包括包含反射式空间调制器的第一显示器和包括透射式空间调制器的第二显示器，

从所述反射式空间调制器射出光线组的方向和从所述透射式空间调制器射出光线组的方向相交，并且

光学系统包括使来自所述反射式空间调制器的所述光线组的行进方向与来自所述透射式空间调制器的所述光线组的行进方向对准的光学元件。

30.按照权利要求28所述的显示设备，其中

所述空间调制器是液晶元件。

31.按照权利要求28所述的显示设备，其中

所述空间调制器是透射式的。

32.按照权利要求28所述的显示设备，其中

所述空间调制器是反射式的。

33.按照权利要求32所述的显示设备，其中

所述空间调制器是硅上铁电液晶(FLCOS)。

34.按照权利要求32所述的显示设备，其中

所述空间调制器是数字镜器件(DMD)。

35.按照权利要求24所述的显示设备，其中

多个所述显示器中的至少一个包括自发光显示元件。

36.按照权利要求35所述的显示设备，其中

所述显示元件包括发光二极管(LED)或有机发光二极管(OLED)。

37.按照权利要求1所述的显示设备，还包括

视线检测系统，所述视线检测系统检测用户的视线，其中

基于所述视线检测系统进行的检测的结果，所述视点组生成系统控制生成所述视点组的位置。

38.按照权利要求1所述的显示设备，其中

所述显示设备是头戴式显示设备。

39.一种显示设备，包括：

视点组生成系统，所述视点组生成系统包括三维图像显示设备和包含目镜光学元件的光学系统，所述三维图像显示设备和光学系统对应于用户的双眼中的每只眼睛，所述视点组生成系统使用从所述三维图像显示设备射出并经过所述光学系统的光线组为所述双眼中的对应眼睛生成视点组；和

视线检测系统，所述视线检测系统检测用户的视线，

所述视点组生成系统基于所述视线检测系统进行的检测的结果，控制生成所述视点组的位置。

40.按照权利要求39所述的显示设备，其中

多个三维图像显示设备中的每一个包括元素图像显示设备和微透镜阵列。

41.按照权利要求40所述的显示设备，其中

所述多个三维图像显示设备中的每一个还包括位于元素图像显示设备和微透镜阵列之间的孔径阵列。

42.按照权利要求39所述的显示设备，其中

所述视线检测系统包括

射出不可见光的光源部，以及

接收由所述光源部射出并被所述双眼中的一只眼睛反射的不可见光的受光器。

43.按照权利要求39所述的显示设备，其中

所述视线检测系统设置到对应于所述一只眼睛的所述目镜光学元件。

44.按照权利要求39所述的显示设备，其中

所述视线检测系统设置到对应于所述一只眼睛的所述三维图像显示设备。

45.按照权利要求42所述的显示设备，其中

来自对应于所述一只眼睛的所述三维图像显示设备的所述光线组的射出方向和来自所述光源部的所述不可见光的射出方向相交，并且

所述光学系统还包括使所述光线组的行进方向与所述不可见光的行进方向对准的光学元件。

46.按照权利要求45所述的显示设备，其中

由所述光源部射出的所述不可见光按顺序经由所述光学元件和所述目镜光学元件以照射到所述一只眼睛上，并且

所述受光器按顺序经由所述目镜光学元件和所述光学元件接收被所述一只眼睛反射的所述不可见光。

47.按照权利要求45所述的显示设备，其中

所述光学元件是分束器。

48.按照权利要求42所述的显示设备，其中

来自对应于所述一只眼睛的所述三维图像显示设备的光线组的射出方向和来自所述光源部的所述不可见光的射出方向相交，并且

所述目镜光学元件是使所述光线组的行进方向与所述不可见光的行进方向对准的自由曲面棱镜。

49.按照权利要求48所述的显示设备，其中

由所述光源部射出的所述不可见光经由所述目镜光学元件照射到所述一只眼睛上，并且

所述受光器经由所述目镜光学元件接收被所述一只眼睛反射的所述不可见光。

50.按照权利要求39所述的显示设备，其中

所述显示设备是头戴式显示设备。

51.一种显示方法，包括

使用光线组为用户的双眼中的每只眼睛生成视点组，所述光线组从与所述双眼中的每只眼睛对应的多个三维图像显示设备的每一个射出。

52.一种显示方法，包括：

检测用户的视线；以及

使用光线组为所述用户的双眼中的每只眼睛生成视点组，所述光线组从三维图像显示设备射出并经过包括目镜光学元件的光学系统，所述三维图像显示设备对应于所述双眼中的每只眼睛，

生成所述视点组包括基于通过检测视线进行的检测的结果，控制生成所述视点组的位置。