CN114578554B - 实现虚实融合的显示设备 - Google Patents

Abstract

本申请公开了一种虚实融合的显示设备。显示设备包括第一结合器、第二结合器、第一调制组件、第二调制组件、遮挡模板和光机。第一结合器接收第一环境光线，并将第一环境光线传输至第一调制组件；第一调制组件调制第一环境光线的偏振态，以形成第二环境光线，并将第二环境光线成像至遮挡模板；遮挡模板根据真实物体与虚拟物体的遮挡关系，调制第二环境光线的偏振态，以形成第三环境光线；第一调制组件再次调制第三环境光线的偏振态，形成第四环境光线，并传输至第二调制组件；第二调制组件用于将第四环境光线和第二显示光线传输至第二结合器；第二结合器可以将第四环境光线和第二显示光线入射至佩戴者的眼睛，以达到虚实融合的显示效果。

Description

实现虚实融合的显示设备

技术领域

本申请涉及头戴式显示设备的技术领域，特别涉及一种实现虚实融合的显示设备。

背景技术

头戴式显示设备(Head Mounted Display，HMD)是指供佩戴者佩戴到头上的显示设备，一般可以分成虚拟现实(Virtual Reality，VR)、增强现实(Augmented Reality，AR)和混合现实(Mixed Reality，MR)此三类。其中例如AR和MR的HMD虽然可以使佩戴者同时观察到真实物体和虚拟内容，但是由于HMD的结合器是将载有真实物体的光线和载有虚拟内容的光线同时投射到佩戴者的眼中，因此从佩戴者的视角看来，虚拟内容并不能有效地遮挡真实物体，虚拟内容和真是物体之间存在重影等问题，无法达到虚实融合的效果，佩戴者的体验效果较差。

发明内容

本申请的目的在于提供一种实现虚实融合的显示设备，以解决现有头戴式显示设备不能实现虚实融合的问题。

为了解决上述技术问题，本申请提供了一种实现虚实融合的显示设备，包括：第一结合器、第二结合器、第一调制组件、第二调制组件、遮挡模板和光机；所述第一调制组件位于所述第一结合器的出光侧；所述第二调制组件位于所述第一调制组件的出光侧，且位于所述第二结合器的入光侧。所述第一结合器用于接收第一环境光线，并将所述第一环境光线传输至所述第一调制组件，所述第一环境光线载有真实物体信息。所述第一调制组件用于调制所述第一环境光线的偏振态，以形成第二环境光线，并将所述第二环境光线成像至所述遮挡模板。所述遮挡模板用于根据真实物体与虚拟物体的遮挡关系，调制所述第二环境光线的偏振态，以形成第三环境光线。所述第一调制组件再次调制所述第三环境光线的偏振态，形成第四环境光线，将所述第四环境光线传输至所述第二调制组件。所述第二调制组件用于将所述第四环境光线传输至所述第二结合器，还用于调制第一显示光线的偏振态，以形成第二显示光线，以及将第二显示光线传输至所述第二结合器；其中，所述第一显示光线由所述光机产生，并载有所述虚拟物体信息；所述第二显示光线的偏振态和所述第四环境光线的偏振态不同。所述第二结合器用于传输所述第四环境光线和所述第二显示光线，使所述第四环境光线和所述第二显示光线入射至佩戴者的眼睛。基于此，佩戴者在看到虚拟内容和真实物体的同时，虚拟内容和真实物体之间可以相互遮挡，以达到虚实融合的效果，从而可以给佩戴者提供更为自然、逼真的视觉体验。

一些实施例中，所述第一调制组件包括第一透镜；所述第一透镜正对所述第一结合器的出光侧，用于将所述第一环境光线成像到所述遮挡模板，以便于遮挡模板对光线进行偏振态的调制。

一些实施例中，所述第一调制组件还包括第一偏振片、第一偏振分束镜和半波片。所述第一偏振片和所述第一偏振分束镜依次位于所述第一透镜的出光侧，并且远离所述第一结合器；所述半波片位于所述第一偏振分束镜的出光侧，所述遮挡模板位于所述第一透镜的后焦面上，所述半波片的快轴方向与所述第三环境光线的偏振方向之间的夹角为45°。所述第一偏振片用于调制所述第一环境光线的偏振态，以形成所述第二环境光线；所述偏振分束镜用于将所述第二环境光线反射至所述遮挡模板、以及供所述第三环境光线透过；所述半波片用于调制所述第三环境光线的偏振态，以形成所述第四环境光线。

一些实施例中，所述第二调制组件包括第二偏振片、第二偏振分束镜和第二透镜。所述第二透镜正对所述第二结合器的入光侧，所述第二偏振分束镜位于所述第二透镜的入光侧，并且正对所述半波片；所述光机和所述遮挡模板均位于所述第二透镜的焦平面上。所述第二偏振片用于调制所述第一显示光线的偏振态，以形成所述第二显示光线。所述第二偏振分束镜用于将所述第四环境光线反射至所述第二透镜，还用于供所述第二显示光线透过至所述第二透镜。所述第二透镜用于准直所述第四环境光线和所述第二显示光线。

一些实施例中，所述显示设备还包括第一变焦透镜，所述第一变焦透镜位于所述第一结合器的入光侧；所述第一变焦透镜用于准直所述第一环境光线，以便于第一环境光线在第一结合器中传输。

一些实施例中，所述显示设备还包括第二变焦透镜，所述第二变焦透镜位于所述第二结合器的出光侧；所述第二变焦透镜用于准直经所述第二结合器传输的所述第四环境光线和所述第二显示光线。

一些实施例中，所述显示设备还包括眼动追踪组件；所述眼动追踪组件用于捕获佩戴者的眼睛的视线方向。

一些实施例中，所述显示设备还包括控制器，所述控制器分别与所述第一变焦透镜、所述第二变焦透镜和所述眼动追踪组件电连接；所述控制器用于根据所述佩戴者的视线方向，调整所述第一变焦透镜和所述第二变焦透镜的光焦度。基于此，控制器可以调整第一变焦透镜和第二变焦透镜的光焦度，以适应性地调整真实物体和虚拟物体的呈现效果。

一些实施例中，根据佩戴者的视线方向而得到佩戴者的注视点的深度，所述控制器用于控制所述第一变焦透镜和所述第二变焦透镜，以将所述真实物体和所述虚拟物体所对应的虚像设置在注视点所在的虚像面上，以此来改善VAC问题。

一些实施例中，所述显示设备还包括深度探测器；所述深度探测器设于所述第一结合器的一侧，并且远离所述第二结合器；所述深度探测器用于获取佩戴者周围的真实环境的深度信息。根据所述深度信息以及所述虚拟内容，所述遮挡模板还用于实时刷新所述第三环境光线，以适应性地改变所述真实物体与所述虚拟物体之间的遮挡关系。根据所述深度信息，所述光机还用于实时刷新所述第一显示光线所载有的虚拟物体信息，以适应性地改变所述虚拟物体与所述真实物体之间的遮挡关系。

一些实施例中，基于佩戴者的近视度数，所述控制器用于根据以下公式调整所述第一变焦透镜和所述第二变焦透镜的光焦度。

其中，P₁为所述第一变焦透镜的光焦度，P₂为所述第二变焦透镜的光焦度，M为佩戴者的近视度数，V为由佩戴者的眼睛的视线方向而得到的注视点的深度。基于此，所述显示设备可以适应性地矫正佩戴者的近视。

一些实施例中，基于佩戴者的视线方向而得到的注视点的深度，所述遮挡模板还用于对入射的所述第二环境光线进行离焦虚化；和/或，所述光机用于对所述第一显示光线进行离焦虚化。基于此，可以提高真实物体与虚拟物体之间的虚实融合效果，以提高佩戴者的视觉体验。

一些实施例中，所述显示设备还包括电致变色片；所述电致变色片夹设在所述第一结合器和所述第二结合器之间，并用于在通电后遮挡透过所述第一结合器的光线。或者，所述显示设备还包括遮挡片；所述遮挡片夹设在所述第一结合器和所述第二结合器之间，并用于遮挡透过所述第一结合器的光线。

一些实施例中，所述显示设备为头戴式显示设备或者抬头显示设备。其中，抬头显示设备可以应用在汽车的智能座舱中。例如：该抬头显示设备可以配合汽车的前挡风玻璃，以在该前挡风玻璃上呈现相关内容。

一些实施例中，所述半波片的快轴方向与所述第三环境光线的偏振方向之间的夹角也可以约为45°。

一些实施例中，所述第一透镜为单个透镜，或者，所述第一透镜为两个或者多个透镜的组件。

一些实施例中，所述第二透镜为单个透镜，或者，所述第二透镜为两个或者多个透镜的组件。

一些实施例中，所述第一结合器为衍射光波导、反射光波导或者针孔反射镜。所述第二结合器为衍射光波导、反射光波导或者针孔反射镜。

一些实施例中，所述遮挡模板为LCoS或者DLP。

本申请通过第一调制组件、遮挡模板、第二调制组件等结构之间的配合，可以使佩戴者看到虚实融合的虚拟内容和真实物体，从而可以给佩戴者提供更为自然、逼真的视觉体验。

附图说明

图1是现有的AR显示设备的示意图。

图2是真实物体与虚拟内容在第一种位置关系下的示意图。

图3是真实物体与虚拟内容在第二种位置关系下的示意图。

图4是真实物体与虚拟内容在第三种位置关系下的示意图。

图5是本申请一实施例的头戴式显示设备的框架图。

图6是本申请一实施例的头戴式显示设备的结构示意图。

图7是本申请一实施例的头戴式显示设备的结构示意图。

图8是佩戴者注视真实物体时，遮挡模板、虚拟内容以及佩戴者看到的场景的示意图。

图9是佩戴者注视虚拟物体时，遮挡模板、虚拟内容以及佩戴者看到的场景的示意图。

图10是佩戴者观察真实物体时的场景示意图。

图11是佩戴者观察真实物体和虚拟内容时的场景示意图。

图12是佩戴者通过实施例的头戴式显示设备观察真实物体和虚拟内容时的场景示意图。

具体实施方式

下面将结合本申请实施方式中的附图，对本申请实施方式中的技术方案进行清楚、完整地描述。

请参考图1，以AR的头戴式显示设备10为例，其一般会包括光机12、结合器(Combiner)14、耦入光栅16和耦出光栅18。真实世界存在的真实物体20反射的光线可以依次穿过耦出光栅18和结合器14，以入射至佩戴者的眼睛30。同步的，光机12用于输出载有虚拟内容22的光线；该载有虚拟内容22的光线可以通过耦入光栅16耦入结合器14，并且在结合器14内以全反射的方式朝向耦出光栅18的方向传输。之后，该光线由耦出光栅18耦出，并出射至佩戴者的眼睛30，相应使佩戴者看到真实世界不存在的虚拟内容22。基于此，佩戴者在通过头戴式显示设备10观察真实物体20的同时，还可以看到虚拟内容22，以提供与手机、电视等电子设备不同的视觉体验。

应当理解，根据真实物体20在三维模型上的位置、以及真实物体20与虚拟内容22之间的遮挡关系，可以通过建模、渲染等来对虚拟内容22进行处理，以适应性地呈现虚拟内容22。例如：虚拟内容22被真实物体20遮挡了一部分；或者，虚拟内容22与真实物体20之间没有遮挡关系等。其中，该虚拟内容22可以包括虚拟物体以及对应的虚拟三维场景；或者，该虚拟内容22也可以仅包括虚拟物体或者虚拟三维场景，对此不加限制。例如：虚拟内容22可以为漂浮在空中的鲸鱼、热气球、建筑物指示牌等。但是，由于真实物体20是真实世界存在的物体，载有该真实物体20的光线是直接穿过头戴式显示设备10而入射到佩戴者的眼睛30。即，载有虚拟内容22的光线和载有真实物体20的光线是相对独立的，由光机12生成的虚拟内容22并不能对真实物体20进行遮挡。

为了便于理解，如无特别说明，各实施例中一般是将立方体作为真实物体20的示例、以及将圆柱体作为虚拟内容22的示例性来进行说明。

图2是真实物体与虚拟内容在第一种位置关系下的示意图。如图2所示例的，基于头戴式显示设备10，在该第一位置关系下，真实物体20与虚拟内容22之间不存在重叠，相应使得佩戴者可以相对清楚地看到不同方位上的真实物体20和虚拟内容22。

图3是真实物体与虚拟内容在第二种位置关系下的示意图。如图3所示例的，基于头戴式显示设备10，在该第二位置关系下，虚拟内容22位于真实物体20的后方时，二者之间虽然存在交叠，但是由于虚拟内容22是由光机12生成的，因此可以通过对虚拟内容22进行渲染等处理，以不显示虚拟内容22位于真实物体20后方的部分内容。由此在佩戴者的眼中，可以相对清楚地看到虚拟内容22位于真实物体20的后方。

图4是真实物体与虚拟内容在第三种位置关系下的示意图。如图4示例的，基于头戴式显示设备10，在该第三位置关系下，虚拟内容22位于真实物体20的前方时，理想情况下，虚拟内容22是要遮挡真实物体20的一部分。即，佩戴者并不能透过该虚拟内容22而看到后方的部分真实物体20。但是，由于头戴式显示设备10仅能够对圆柱体这个虚拟内容22进行渲染等处理，而不能对立方体此真实物体20进行渲染等处理，相应使得位于前方的虚拟内容22并不能很好地对真实物体20进行遮挡。虚拟内容22与真实物体20之间会存在重影等问题，违和感较强，佩戴者的体验效果也较差。

基于以上存在的问题，本申请实施例提供了虚实融合的光学透视式显示设备，佩戴者在看到虚拟内容和真实物体的同时，虚拟内容和真实物体之间可以相互遮挡，以达到虚实融合的效果，从而可以给佩戴者提供更为自然、逼真的视觉体验。

应当理解，本申请各实施例中主要是以头戴式显示设备来对光学透视式显示设备进行举例说明，但不以此为限。在其他的一些实施例中，该光学透视式显示设备也可以为抬头显示设备(Head Up Display，HUD)。其中，该抬头显示设备可以应用在汽车的智能座舱中。例如：该抬头显示设备可以配合汽车的前挡风玻璃，以在该前挡风玻璃上呈现相关内容。

为了对真实物体和虚拟内容进行区分，本申请各实施例中定义了环境光线和显示光线。其中，环境光线是指由真实物体反射的光线，该环境光线载有真实物体信息；该环境光线例如包括第一环境光线、第二环境光线等。显示光线则是载有虚拟内容的光线，其可以由光机12生成；该显示光线例如包括第一显示光线、第二显示光线等。

请同步参考图5和图6，本申请实施例提供的一种实现虚实融合的头戴式显示设备100。该头戴式显示设备100包括：第一结合器110和第二结合器120，第一结合器110和第二结合器120均可以供光线进行全反射传输。其中，第一结合器110主要是用于传输环境光线，第二结合器120主要是用于传输环境光线和显示光线。应当理解，如图5所示例的，各实施例中通过第一结合器110和第二结合器120的配合，延长了环境光线传输的光路。在该环境光线的传播过程中，可以相对方便地通过相关结构来对环境光线进行偏振、遮挡等处理，以此可以改变该环境光线所载有真实物体20的视觉信息，从而适应性地调整真实物体20与虚拟内容22之间的相互遮挡关系。从佩戴者的视角来看，真实物体20和虚拟内容22之间可以相互遮挡，头戴式设备的视觉呈现效果也会更好。

一些实施例中，第一结合器和第二结合器之间为间隔设置，但不以此为限。在其他的一些实施例中，第一结合器和第二结合器也可以为层叠设置。

请再同步参考图5和图6，一些实施例中，本申请各实施例提供的头戴式显示设备100还可以包括：第一调制组件130、第二调制组件140、遮挡模板152和光机154。第一调制组件130、第二调制组件140、遮挡模板152和光机154可以均设于第一结合器110的同一侧且靠近第二结合器120。应当理解，第一结合器110在远离第二结合器120的一侧的相关结构较少，由此可以较好地控制头戴式显示设备100的厚度，以提高头戴式显示设备100的集成度。此外，该头戴式显示设备100还可以具有较小的体积，便于佩戴者佩戴或者携带。

一些实施例中，第一调制组件130位于第一结合器110的出光侧，其可以传输和调制由第一结合器110出射的第一环境光线，以形成第二环境光线。该遮挡模板152可以调制和反射经第一调制组件130传输过来的第二环境光线，以形成第三环境光线。第一调制组件130可以再次传输和调制经遮挡模板152调制后的第三环境光线，以形成第四环境光线。该第四环境光线可以传输至第二调制组件140，以进行后续处理。

一些实施例中，遮挡模板152可以设于第一调制组件130的一侧，并且远离第二结合器120。

一些实施例中，第一调制组件130可以对第一环境光线进行成像、偏振等处理，以及将形成的第二环境光线中所对应的真实物体20的像成像(relay)到遮挡模板152上；即，遮挡模板152与真实物体20在光学上共轭。基于此，通过遮挡模板152可以对第二环境光线进行调制和反射等处理，以调整第二环境光线所载有的真实物体20的视觉信息。

一些实施例中，第二调制组件140设于第一调制组件130的一侧，并且远离遮挡模板152。以第二结合器120作为参照，该第二调制组件140具体是位于第二结合器120的入光侧并且远离第一结合器110。其中，第二调制组件140至少可以传输和准直第四环境光线，以将该第四环境光线传输至第二结合器120。

一些实施例中，光机154可以设于第二调制组件140的一侧，并且远离第二结合器120。基于此，光机154可以发射载有虚拟内容22的第一显示光线。应当理解，该第二调制组件140还可以接收从光机154发射的第一显示光线，并且可以对该第一显示光线进行偏振、准直等处理，以形成第二显示光线，以及将第二显示光线传输到第二结合器120上。由此，第四环境光线和第二显示光线通过第二调制组件140汇合后，可以入射到第二结合器120并且在第二结合器120中传输，以入射到佩戴者的眼睛30，从而使真实物体20和虚拟内容22之间达到相互遮挡的视觉效果。

请参考图7，一些实施例中，第一结合器110可以包括第一耦入光栅112、第一基底114和第一耦出光栅116。第一耦入光栅112和第一耦出光栅116间隔设置，并且均设于第一基底114的表面。第一环境光线通过第一耦入光栅112衍射后，耦入第一基底114。在第一基底114内，第一环境光线的某一衍射级可以发生全反射的现象，以朝向第一耦出光栅116的方向传输。经第一基底114传输后的第一环境光线通过第一耦出光栅116再次衍射，以从该第一结合器110耦出，进入第一调制组件130。应当理解，第一结合器110的入光侧可以是对应第一耦入光栅112的一侧，即如图6和图7中光线进入第一结合器110的一侧。第一结合器110的出光侧可以是对应第一耦出光栅116的一侧，即如图6和图7中光线射出第一结合器110的一侧。

一些实施例中，第一结合器110可例如为衍射光波导、反射光波导或者针孔反射镜(Pin-mirror)等，对此不加限制。

一些实施例中，如图7所示例的，第一耦入光栅112和第一耦出光栅116均为反射式衍射光栅，但不以此为限。在其他的一些实施例中，第一耦入光栅112和第一耦出光栅116中至少一个也可以为透射式衍射光栅。应当理解，基于第一耦入光栅112和第一耦出光栅116的类型，第一结合器110的入光侧和出光侧可以相同或者不同。例如：第一耦入光栅112为反射式衍射光栅，则第一结合器110的入光侧为远离该第一耦入光栅112的一侧。又例如：第一耦入光栅112为透射式衍射光栅，则第一结合器110的入光侧为设置该第一耦入光栅112的一侧。

请参考图7，一些实施例中，第一调制组件130可以包括第一透镜132，该第一透镜132正对第一结合器110的第一耦出光栅116，遮挡模板152位于第一透镜132的后焦面(又称第二焦平面)上。基于此，第一环境光线从第一结合器110耦出后，第一透镜132可以将第一环境光线所对应的真实物体20的像成像到遮挡模板152上。而由于遮挡模板152需要对第一环境光线进行调制和反射；即，在第一调制组件130和第二调制组件140之间，遮挡模板152是需要载有真实物体信息的光线进行反射的操作。对此，为了与该遮挡模板152配合，第一调制组件130还可以包括第一偏振片((Polarizer)134和第一偏振分束镜(PolarizationBeam Splitter，PBS)136，第一偏振片134和第一偏振分束镜136依次位于第一透镜132的出光侧，并且远离第一结合器110；其中，遮挡模板152设于第一偏振分束镜136的一侧并且远离第二调制组件140。第一偏振片134可以将第一环境光线调制成S偏振态的偏振光，即第二环境光线。基于此，该第一偏振分束镜136可以将第二环境光线反射到遮挡模板152上。

一些实施例中，由于遮挡模板152在光路上是位于第一透镜132的后焦面上，该遮挡模板152与真实物体20共轭。通过第一调制组件130对第一环境光线的调制，其可以将具有特定偏振态的第二环境光线成像到遮挡模板152上，所形成的像即与真实物体20相对应。

一些实施例中，遮挡模板152可例如为硅基液晶(Liquid Crystal on Silicon，LCoS)或者数字光处理器(Digital Light Processing，DLP)等器件，以对环境光线进行调制，对此不加限制。基于此，该遮挡模板152可以对第二环境光线进行像素级的偏振相位调制，以改变第二环境光线所载有的真实物体20的视觉信息。例如：头戴式显示设备的控制器可以获取真实物体20以及光机输出的虚拟内容22在深度、位置和姿态的方面的信息，进而通过比较虚拟内容22与真实物体20的该些信息，可以得到真实物体20与虚拟内容22之间的遮挡关系，此会在下文进行详细描述。

由此，通过遮挡模板152的调制，可以遮挡住对应真实物体20的像的一部分，该部分即是真实物体20被虚拟内容22挡住的部分。由此，当后续的第四环境光线入射到佩戴者的眼睛30，佩戴者基于第四环境光线看到的真实物体20，其与取下头戴式显示设备100后佩戴者所看到的真实物体20之间存在一定的差别。即，佩戴者基于第四环境光线看到的真实物体20可能会少了一部分，而该部分正是虚拟内容22遮挡真实物体20的部分。以此，当第四环境光线和第二显示光线入射到佩戴者的眼睛30，真实物体20与虚拟内容22之间不容易出现重影等问题，由此可以实现真实物体20与虚拟内容22之间的融合。

一些实施例中，以遮挡模板152为LCoS来举例说明，该LCoS可以对入射的第二环境光线进行调制，然后反射调制形成的第三环境光线。

应当理解，LCoS可以对第二环境光线做二值化的相位调制；即，LCoS上的像素具有两种状态，一种状态是改变入射光的偏振态，另一种状态则是不改变入射光的偏振态。为便于理解，将LCoS上的像素的状态定义为第一状态和第二状态。其中，在第一状态的像素的调制下，对应的部分第二环境光线可以反射出P偏振态的光线，基于第一偏振分束镜136的光学特性，该P偏振态的光线可以穿过第一偏振分束镜136，以进行后续处理。而在第二状态的像素的调制下，对应的部分第二环境光线反射出S偏振态的光线，基于第一偏振分束镜136的光学特性，该S偏振态的光线并无法穿过第一偏振分束镜136；即，该部分光线所对应的真实物体20的像被遮挡，也就不能入射到佩戴者的眼睛30。

一些实施例中，根据使用场景、画面呈现效果等需求，LCoS上的像素可以在第一状态和第二状态之间切换，以实现对第二环境光线的调制。

一些实施例中，LCoS上的像素的状态为实时变化，以实时刷新真实物体20与虚拟内容22之间的融合效果。

请参考图7，一些实施例中，第一调制组件130还可以包括半波片138。该半波片138位于第一偏振分束镜136的出光侧，并且远离遮挡模板152。当第三环境光线再次通过第一偏振分束镜136而传输到半波片138时，该半波片138可以将第三环境光线的偏振态调制成S偏振态，即形成第四环境光线，以便于与第二调制组件140配合而传输到第二结合器120。

一些实施例中，半波片138的快轴方向与入射的第三环境光线的偏振方向之间的夹角成45°；或者，半波片138的快轴方向与入射的第三环境光线的偏振方向之间的夹角大约成45°。基于此，当入射的P偏振态的第三环境光线从该半波片138出射后，其P偏振态会被调制成S偏振态，从而形成第四环境光线。该第四环境光线可以便于之后通过第二调制组件140实现传输。

一些实施例中，如图7所示例的，第一透镜132示例为单个透镜。在其他的一些实施例中，该第一透镜132也可以是两个或者多个透镜的组件，对此不加限制。

请参考图7，一些实施例中，第二调制组件140可以包括依次设置的第二偏振片142、第二偏振分束镜144和第二透镜146。第二偏振片142设于光机154和第二偏振分束镜144之间，该第二偏振片142可以将光机154发射的第一显示光线调制成P偏振态的光线，即形成第二显示光线。应当理解，第二偏振分束镜144正对半波片138，其可以使S偏振态的第四环境光线反射到第二透镜146上。此外，该第二偏振分束镜144还可以使P偏振态的第二显示光线透射到第二透镜146上，基于此，可以实现第四环境光线和第二显示光线的汇合。

一些实施例中，第二透镜146正对第二偏振分束镜144，并且位于第二偏振分束镜144和第二结合器120之间。该第二透镜146正对第二结合器120的入光侧，可以对汇合后的第四环境光线和第二显示光线进行准直处理。应当理解，在光路上，遮挡模板152和光机154均是位于第二透镜146的焦平面上，因此，第四环境光线和第二显示光线在通过第二透镜146准直后，可以在第二结合器120内传输以及入射到佩戴者的眼睛30。

以真实物体20与虚拟内容22相互遮挡为例，由于第二环境光线可以通过遮挡模板152的调制而自适应地遮挡掉其的一部分，该一部分即是真实物体20需要被虚拟内容22挡住的部分。而光机154在对虚拟内容22进行渲染时，可以自适应地不显示虚拟内容22的另一部分，该另一部分即是虚拟内容22被真实物体20挡住的部分。基于此，与拼图中各板块相嵌合类似，从佩戴者的角度来看，真实物体20和虚拟内容22之间刚好可以相互融合，二者之间不会或者较少存在重叠的部分，由此可以达到良好的虚实融合的视觉效果。

一些实施例中，该光机154可例如为基于硅基液晶(Liquid Crystal on Silicon，LCoS)、数字光处理器(Digital Light Processing，DLP)、微有机发光半导体(MicroOrganic Light-Emitting Diode，Micro-OLED)、微发光半导体(Micro Light-EmittingDiode，Micro-LED)或者激光束扫描仪(LaserBeam Scanner，LBS)等的光机，对此不加限制。

一些实施例中，如图7所示例的，类似第一透镜132，该第二透镜146示例为单个透镜。在其他的一些实施例中，该第二透镜146也可以是两个或者多个透镜的组件，对此不加限制。

请参考图7，一些实施例中，第二结合器120可以包括第二耦入光栅122、第二基底124和第二耦出光栅126。第二耦入光栅122和第二耦出光栅126间隔设置，并且均设于第二基底124的表面。类似第一结合器110，汇合后的第四环境光线和第二显示光线通过第二耦入光栅122衍射后，耦入第二基底124。在第二基底124内，第四环境光线的某一衍射级发生全反射的现象、以及第二显示光线的某一衍射级发生全反射的现象，第四环境光线和第二显示光线均朝向第二耦出光栅126的方向传输。经第二基底124传输后的光线可以通过第二耦出光栅126再次衍射，以从该第二结合器120耦出。从第二结合器120耦出的第四环境光线和第二显示光线可以入射到佩戴者的眼睛30。基于此，佩戴者可以看到虚实融合的真实物体20和虚拟内容22，以提高视觉体验。

应当理解，第二结合器120的入光侧可以是对应第二耦入光栅122的一侧，即如图6和图7中光线进入第二结合器120的一侧。第二结合器120的出光侧可以是对应第二耦出光栅126的一侧；即如图6和图7中光线射出第二结合器120的一侧。

一些实施例中，类似第一结合器110，该第二结合器120可例如为衍射光波导、反射光波导或者针孔反射镜等，对此不加限制。

一些实施例中，如图7所示例的，类似第一耦入光栅112和第一耦出光栅116，第二耦入光栅122和第二耦出光栅126均为反射式衍射光栅，但不以此为限。在其他的一些实施例中，第二耦入光栅122和第二耦出光栅126中至少一个也可以为透射式衍射光栅。应当理解，基于第二耦入光栅122和第二耦出光栅126的类型，第二结合器120的入光侧和出光侧可以相同或者不同。例如：第二耦入光栅122为反射式衍射光栅，则第二结合器120的入光侧为远离该第二耦入光栅122的一侧。又例如：第二耦入光栅122为透射式衍射光栅，则第二结合器120的入光侧为设置该第二耦入光栅122的一侧。

请参考图7，一些实施例中，头戴式显示设备100还可以包括电致变色片162，该电致变色片162夹设在第一结合器110和第二结合器120之间。

应当理解，由于本申请各实施例的头戴式显示设备100是需要对载有真实物体信息的光线进行遮挡处理。即，在头戴式显示设备100正常工作的情况下，第一环境光线并不会直接入射到佩戴者的眼睛30，佩戴者也不会直接看到真实物体20。基于上述的需求，电致变色片162在通电的情况下可以挡住透过第一结合器110的部分第一环境光线，以防止该部分第一环境光线直接入射到佩戴者的眼睛30，避免出现真实物体20与虚拟内容22之间重影以及对真实物体20的遮挡效果消失等问题。

一些实施例中，在电致变色片162没有通电的情况下，该电致变色片162处于透明的状态，基于此，佩戴者可以透过第二结合器120、电致变色片162和第一结合器110而直接看到真实物体20。

在其他的一些实施例中，头戴式显示设备100也可以不使用电致变色片162，而是使用深色系的遮挡片，其同样可以挡住透过第一结合器的部分第一环境光线。

请参考图7，一些实施例中，头戴式显示设备100还可以包括深度探测器164。该深度探测器164可以设于第一结合器110的一侧，并且远离第二结合器120。应当理解，该深度探测器164用于获取佩戴者周围的真实环境的深度信息。该深度探测器164可例如为基于双目相机、结构光、飞行时间(Time-of-Flight，ToF)等的器件。

基于佩戴者周围的真实环境的深度信息、以及即时定位与地图构建(Simultaneous Localization And Mapping，SLAM)系统，可以重建佩戴者周围的真实环境的三维模型。根据使用场景，还可以使虚拟内容22与真实物体20自适应地实现融合，以达到更好的视觉呈现效果。

请参考图7，一些实施例中，头戴式显示设备100还可以包括第一变焦透镜166。该第一变焦透镜166设于第一结合器110的一侧，并且远离所述第二结合器120。该第一变焦透镜166用于准直第一环境光线，以便于第一环境光线在第一结合器110中传输。应当理解，准直后的第一环境光线可以通过第一耦入光栅112耦入第一基底114，以朝向第一耦出光栅116的方向传输。

请参考图7，一些实施例中，头戴式显示设备100还可以包括第二变焦透镜168。该第二变焦透镜168设于第二结合器120的一侧，并且远离第一结合器110；即，两个结合器(110，120)是夹设在第一变焦透镜166和第二变焦透镜168之间。应当理解，汇合后的第四环境光线和第二显示光线通过第二耦出光栅126耦出后，该第二变焦透镜168可以对汇合后的第四环境光线和第二显示光线进行准直，以使准直后的第四环境光线和第二显示光线入射到佩戴者的眼睛30。

一些实施例中，第一变焦透镜166示例为凸透镜，第二变焦透镜168示例为凹透镜。第一变焦透镜166和第二变焦透镜168均可例如为液晶变焦透镜、液体变焦透镜、Alvarez透镜或其他可以实现实时变焦的器件。

在其他的一些实施例中，第一变焦透镜166和第二变焦透镜168均可以更换成焦距固定的透镜。例如：第一变焦透镜166更换成焦距固定的凸透镜，第二变焦透镜168更换成焦距固定的凹透镜，对此不加限制。

请参考图7，一些实施例中，头戴式显示设备100还可以包括控制器170和眼动追踪组件172。控制器170分别与第一变焦透镜166、第二变焦透镜168和眼动追踪组件172电连接。应当理解，眼动追踪组件可以捕获佩戴者的眼睛30的视线方向。根据双目视线的交点，可以得到佩戴者注视点的深度。基于该深度，控制器170可以调整第一变焦透镜166和第二变焦透镜168的光焦度，以适应性地调整真实物体20和虚拟内容22的呈现效果。

一些实施例中，如图7所示例的，控制器170的数量为一个，但不以此为限。在其他的一些实施例中，控制器170的数量也可以是两个，以分别控制第一变焦透镜166和第二变焦透镜168。

请参考图7，一些实施例中，该眼动追踪组件172可以包括近红外发射器172a和近红外接收器172b。近红外发射器172a可以发射近红外光，近红外接收器172b可以接收从佩戴者的眼睛30反射过来的近红外光。基于瞳孔角膜反射法，可以获取佩戴者双眼的视线方向，而根据佩戴者双眼在各自视线方向上的交点可以得到佩戴者的注视点的深度。

应当理解，基于深度探测器164获取佩戴者周围的真实环境的深度信息，SLAM系统可以重建该真实环境的三维模型。其中，该真实环境可以理解为真实世界的一部分，一般是根据佩戴者的位置和姿态而实时更新。

同步的，基于输入控制器170的虚拟三维场景，可以得到虚拟物体与真实物体20之间的相互遮挡关系。其中，该虚拟三维场景包括了虚拟物体、以及虚拟物体在虚拟三维场景中的位置、姿态、尺寸和色彩等信息。

基于真实环境的三维模型以及虚拟三维场景，通过比较虚拟物体与真实物体20在位置、姿态、深度和尺寸等方面的信息，可以得到虚拟物体与真实物体20之间的相互遮挡关系。例如：通过比较虚拟物体与真实物体的位置和深度等信息，可以确定虚拟物体是位于真实物体的后方，相应的，虚拟物体会被真实物体遮挡了一部分。又例如：通过比较虚拟物体与真实物体的位置和深度等信息，可以确定虚拟物体是位于真实物体的前方，相应的，真实物体会被虚拟物体遮挡了一部分。再例如：通过比较虚拟物体和真实物体的位置、姿态、尺寸、深度等信息，可以确定虚拟物体和真实物体的深度大致相同，并且虚拟物体和真实物体所处的方位不同，则可以确定虚拟物体和真实物体为间隔设置，且彼此之间均没有被遮挡。

应当理解，根据真实物体20被虚拟物体遮挡的情况，遮挡模板152可以对第二环境光线进行调制，在后续光路中，可以拦截对应真实物体20的像中被虚拟物体遮挡的部分；或者，经遮挡模板152的调制后，可以仅出射对应真实物体20的像中不被虚拟物体遮挡的部分。

根据虚拟三维场景，分别生成对应佩戴者左右眼的图像。应当理解，由于佩戴者一般是通过其左右眼的视角差来获取被注视物体的深度信息；基于此，在虚拟三维场景中，可以在对应佩戴者双眼的位置摆放虚拟相机，每个虚拟相机的光轴与佩戴者眼睛30的视线方向一致，虚拟相机的入瞳的位置和尺寸与佩戴者眼睛30的瞳孔匹配。虚拟相机拍摄虚拟三维场景所得到的图像，即为原始的虚拟内容。其中，佩戴者的双眼的位置可以根据佩戴者的位置和姿态来确定，佩戴者的视线方向可以根据眼动追踪组件172来确定。

根据虚拟物体与真实物体20之间的遮挡关系，可以得到虚拟物体被真实物体20遮挡的部分，在原始的虚拟内容中去掉该部分，即可以得到上述各实施例中的虚拟内容22。该虚拟内容22可以通过光机154发射，以作为第一显示光线。

如上所述的，第四环境光线可以通过第二调制组件140传输到第二结合器120，由光机154发射的第一显示光线通过第二调制组件140调制形成第二显示光线后，该第二显示光线也可以传输到第二结合器120，最后入射到佩戴者的眼睛30。基于此，佩戴者可以看到虚实融合的真实物体20和虚拟内容22。

应当理解，佩戴者在真实世界中注视真实物体20时，其眼球会转动并朝向该物体，而人脑可以通过双眼的辐辏角度来判断物体的深度，该深度被称为辐辏深度(VergenceDistance)。同时，人眼会通过睫状肌收缩来调节晶状体的屈光度使目标物清晰成像，因此睫状肌收缩的状态可以给大脑一个深度信号，该深度又被称为调焦深度(AccommodationDistance)。

基于此，为了更好地模拟出真实世界的情况，通过第一变焦透镜166、第二变焦透镜168和眼动追踪组件172等结构的配合，本申请各实施例的头戴式显示设备还可以对载有真实物体信息的光线和载有虚拟物体信息的光线进行离焦虚化处理，以提高虚实融合的视觉效果。图8佩戴者注视真实物体时，遮挡模板、虚拟内容以及佩戴者看到的场景的示意图，请参考图8，由于虚拟物体与真实物体20不在同一辐辏深度，因此当佩戴者注视真实物体20时，虚拟物体可以进行离焦虚化的处理，以使虚实融合的效果更为逼真。应当理解，根据虚拟物体到佩戴者注视点之间的距离可以确定虚拟物体的虚化程度。距离注视点越远，虚化程度越严重；反之，距离注视点越近，虚化程度越轻微。如图8所示例的，为了实现真实物体20与虚拟内容22之间的匹配，还可以对遮挡模板152做相同的虚化处理，即对图8中黑色的圆柱体进行离焦虚化处理。

图9是佩戴者注视虚拟物体时，遮挡模板、虚拟内容以及佩戴者看到的场景的示意图，请参考图9，由于佩戴者的注视点位于虚拟内容22上，对此，遮挡模板152和虚拟内容22均没有进行离焦虚化处理。应当理解，由于第一环境光线是来源于真实物体20，当佩戴者注视虚拟内容22时，对应真实物体20的像也会自动地离焦虚化，而不需要再做特别处理。

应当理解，对虚拟内容22的离焦虚化可以通过渲染算法来实现。此外，该离焦虚化的方式也可以类比摄影领域的景深来进行理解。

一些实施例中，基于控制器170、第一变焦透镜166、第二变焦透镜168和眼动追踪组件等结构的配合，该头戴式显示设备100在实现虚实融合的同时，还可以适应性地矫正佩戴者可能存在的近视或者远视。以近视为例，假设佩戴者的近视度数为M(单位为Diopter)，其对应期望的虚像位置为V(单位为Diopter)，第一变焦透镜166的光焦度为P1，第二变焦透镜168的光焦度为P2，则上述示出的参数可以满足以下关系式：

其中，佩戴者的近视度数可以由佩戴者自己输入。而根据眼动追踪组件获取的佩戴者的注视点的深度(即辐辏深度)，将该深度定义为虚像位置V。由此可以根据上述的关系式，通过调整P1和P2的数值来实现对虚像位置V的调整，以针对不同的佩戴者实现清晰成像。

应当理解，对于老花眼的佩戴者，其晶状体的调焦能力较弱，睫状肌等眼部肌肉的调节能力也较差。对此，本申请各实施例的头戴式显示设备100可以通过眼动追踪组件172来实时获取该佩戴者注视点的深度。基于该深度，第一变焦透镜166可以适应性地改变其光焦度，第二变焦透镜168可以适应性地改变其光焦度，以此在一定程度上可以代替佩戴者的晶状体以实现调焦功能，以实现清晰成像。

请参考图10，当人观察真实世界中的真实物体20(示例为圆柱体和立方体)时，辐辏深度和调焦深度是相符的，不会发生冲突。因此，佩戴者可以较好地感受自身与真实物体20之间的方位等关系；例如：佩戴者可以大概估算达到圆柱体的位置需要步行多少步。

但是由于VR、AR和MR等类型的头戴显示设备的原理大致上是将光机154或者显示屏等的图像投影到某个虚像位置。左眼和右眼对应的虚像具有一定的视差，当人眼注视虚像面上的某个物体时，眼球同样会转动并朝向该物体，因此大脑会根据双眼的辐辏角度得到物体的深度。请参考图10，虚线的圆柱体以及虚线的立方体即为大脑注视对应物体时所感受到的辐辏深度。以圆柱体为例，佩戴者根据双眼的辐辏角度而得到该圆柱体的辐辏深度为L1。与此同时，人眼为了清晰成像会一直聚焦到虚像面上，因此人眼到虚像面深度为调焦深度。如图11所示例的，实线的圆柱体和实线的立方体分别为大脑感受到的调焦深度，调焦深度示例为L2。以圆柱体为例，可以明显地看出，辐辏深度L1和调焦深度L2并不相等。当上述两个深度信号发生冲突时，显然是与佩戴者观察真实世界的真实物体不同，佩戴者并不能很好地把握自身与圆柱体之间的距离；此也就导致了佩戴者容易产生眼疲劳和眩晕感，这种现象又被称为视觉辐辏调节冲突(Vergence Accommodation Conflict，VAC)。

基于此，请参考图12，本申请各实施例的头戴式显示设备100基于控制器170、第一变焦透镜166、第二变焦透镜168和眼动追踪组件172等结构的配合，在提供良好的虚实融合的效果的同时，还可以通过眼动追踪组件172来获取佩戴者注视点的深度；即，可以知道佩戴者是在注视真实物体20还是虚拟内容22。基于此，通过调整第一变焦透镜166和第二变焦透镜168的光焦度，可以将虚像设置在对应的虚像面上，以改善VAC问题。

当佩戴者注视较远处的真实物体20(即图12中的立方体)时，佩戴者双眼辐辏的角度较小，基于眼动追踪组件172计算得到的佩戴者注视点的深度，可以调整第一变焦透镜166和第二变焦透镜168的光焦度，以将虚像设置在第一虚像面S101处。类似的，当佩戴者注视较近处的虚拟内容22(即图12中的圆柱体)时，佩戴者双眼辐辏的角度较大，基于眼动追踪组件172计算得到的佩戴者注视点的深度，可以调整第一变焦透镜166和第二变焦透镜168的光焦度，以将虚像设置在第二虚像面S102处。其中，相较于第一虚像面S101，第二虚像面S102会更靠近佩戴者。由此，从佩戴者的视角来看，在注视真实物体20或者虚拟内容22的过程中，对应的辐辏深度和调焦深度均保持一致，佩戴者并不容易产生眼疲劳和眩晕感，以改善VAC问题。

以上所述是本申请具体的实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本申请的保护范围。

Claims (14)

1.一种实现虚实融合的显示设备，其特征在于，包括：第一结合器、第二结合器、第一调制组件、第二调制组件、遮挡模板和光机；所述第一调制组件位于所述第一结合器的出光侧；所述第二调制组件位于所述第一调制组件的出光侧，且位于所述第二结合器的入光侧；

所述第一结合器用于接收第一环境光线，并将所述第一环境光线传输至所述第一调制组件，所述第一环境光线载有真实物体信息；

所述第一调制组件包括第一偏振片、第一偏振分束镜和半波片，所述第一偏振片和所述第一偏振分束镜依次位于所述第一结合器的出光侧，并且远离所述第一结合器；所述半波片位于所述第一偏振分束镜的出光侧；

所述第一偏振片用于调制所述第一环境光线的偏振态，以形成第二环境光线，所述偏振分束镜用于将所述第二环境光线反射至所述遮挡模板；

所述遮挡模板用于根据真实物体与虚拟物体的遮挡关系，调制所述第二环境光线的偏振态，以形成第三环境光线；

所述第一偏振分束镜还用于供所述第三环境光线透过，所述半波片用于调制所述第三环境光线的偏振态，以形成第四环境光线，将所述第四环境光线传输至所述第二调制组件；

所述第二调制组件用于将所述第四环境光线传输至所述第二结合器，还用于调制第一显示光线的偏振态，以形成第二显示光线，以及将所述第二显示光线传输至所述第二结合器；其中，所述第一显示光线由所述光机产生，并载有所述虚拟物体信息；所述第二显示光线的偏振态和所述第四环境光线的偏振态不同；

所述第二结合器用于传输所述第四环境光线和所述第二显示光线，使所述第四环境光线和所述第二显示光线入射至佩戴者的眼睛。

2.如权利要求1所述的显示设备，其特征在于，所述第一调制组件还包括第一透镜；所述第一透镜正对所述第一结合器的出光侧，用于将所述第一环境光线成像到所述遮挡模板。

3.如权利要求2所述的显示设备，其特征在于，所述第一偏振片和所述第一偏振分束镜依次位于所述第一透镜的出光侧，并且远离所述第一结合器；

所述遮挡模板位于所述第一透镜的后焦面上，所述半波片的快轴方向与所述第三环境光线的偏振方向之间的夹角为45°。

4.如权利要求3所述的显示设备，其特征在于，所述第二调制组件包括第二偏振片、第二偏振分束镜和第二透镜；

所述第二透镜正对所述第二结合器的入光侧，所述第二偏振分束镜位于所述第二透镜的入光侧，并且正对所述半波片；所述光机和所述遮挡模板均位于所述第二透镜的焦平面上；

所述第二偏振片用于调制所述第一显示光线的偏振态，以形成所述第二显示光线；

所述第二偏振分束镜用于将所述第四环境光线反射至所述第二透镜，还用于供所述第二显示光线透过至所述第二透镜；

所述第二透镜用于准直所述第四环境光线和所述第二显示光线。

5.如权利要求1至4任一项所述的显示设备，其特征在于，所述显示设备还包括第一变焦透镜，所述第一变焦透镜位于所述第一结合器的入光侧；所述第一变焦透镜用于准直所述第一环境光线。

6.如权利要求5所述的显示设备，其特征在于，所述显示设备还包括第二变焦透镜，所述第二变焦透镜位于所述第二结合器的出光侧；所述第二变焦透镜用于准直经所述第二结合器传输的所述第四环境光线和所述第二显示光线。

7.如权利要求6所述的显示设备，其特征在于，所述显示设备还包括眼动追踪组件；所述眼动追踪组件用于捕获佩戴者的眼睛的视线方向。

8.如权利要求7所述的显示设备，其特征在于，所述显示设备还包括控制器，所述控制器分别与所述第一变焦透镜、所述第二变焦透镜和所述眼动追踪组件电连接；所述控制器用于根据佩戴者的视线方向，调整所述第一变焦透镜和所述第二变焦透镜的光焦度。

9.如权利要求8所述的显示设备，其特征在于，根据佩戴者的视线方向而得到佩戴者的注视点的深度，所述控制器用于控制所述第一变焦透镜和所述第二变焦透镜，以将所述真实物体和所述虚拟物体所对应的虚像设置在注视点所在的虚像面上。

10.如权利要求8所述的显示设备，其特征在于，所述显示设备还包括深度探测器；所述深度探测器设于所述第一结合器的一侧，并且远离所述第二结合器；所述深度探测器用于获取佩戴者周围的真实环境的深度信息；

根据所述深度信息以及所述虚拟内容，所述遮挡模板还用于实时刷新所述第三环境光线，以适应性地改变所述真实物体与所述虚拟物体之间的遮挡关系；

根据所述深度信息，所述光机还用于实时刷新所述第一显示光线所载有的虚拟物体信息，以适应性地改变所述虚拟物体与所述真实物体之间的遮挡关系。

11.如权利要求8至10任一项所述的显示设备，其特征在于，基于佩戴者的近视度数，所述控制器用于根据以下公式调整所述第一变焦透镜和所述第二变焦透镜的光焦度；

其中，P₁为所述第一变焦透镜的光焦度，P₂为所述第二变焦透镜的光焦度，M为佩戴者的近视度数，V为由佩戴者的眼睛的视线方向而得到的注视点的深度。

12.如权利要求11所述的显示设备，其特征在于，基于佩戴者的视线方向而得到的注视点的深度，所述遮挡模板还用于对入射的所述第二环境光线进行离焦虚化；和/或，所述光机用于对所述第一显示光线进行离焦虚化。

13.如权利要求1至12任一项所述的显示设备，其特征在于，所述显示设备还包括电致变色片；所述电致变色片夹设在所述第一结合器和所述第二结合器之间，并用于在通电后遮挡透过所述第一结合器的光线；或者，

所述显示设备还包括遮挡片；所述遮挡片夹设在所述第一结合器和所述第二结合器之间，并用于遮挡透过所述第一结合器的光线。

14.如权利要求1至13任一项所述的显示设备，其特征在于，所述显示设备为头戴式显示设备或者抬头显示设备。