CN108227203B

CN108227203B - Ar显示方法、设备及装置

Info

Publication number: CN108227203B
Application number: CN201810017000.0A
Authority: CN
Inventors: 高震宇; 赵东峰; 姜滨; 迟小羽
Original assignee: Goertek Optical Technology Co Ltd
Current assignee: Goertek Optical Technology Co Ltd
Priority date: 2018-01-09
Filing date: 2018-01-09
Publication date: 2021-03-02
Anticipated expiration: 2038-01-09
Also published as: CN108227203A

Abstract

本发明提供一种AR显示方法、设备及装置，其中，装置包括：显示组件、透镜以及设于透镜上的微反射镜阵列；其中，显示组件包括显示屏以及投影组件，投影组件设于显示屏和微反射镜阵列之间；微反射镜阵列包括按照设定的排列维度以及行列间距进行排列的多个微反射单元，且微反射镜阵列设于显示组件发出的光的传播路径上；显示屏上包含多个有效显示区域，多个有效显示区域均为矩形区域，且多个有效显示区域的排列维度以及排列间距分别与微反射镜阵列的排列维度以及行列间距对应。本发明提供的技术方案，能够增大虚拟图像的景深，使得当眼睛观看不同空间深度的现实场景时，能够清晰地看到以矩形的视场展示虚拟图像。

Description

AR显示方法、设备及装置

技术领域

本发明涉及增强现实技术领域，尤其涉及一种AR显示方法、设备及装置。

背景技术

增强现实技术(Augmented Reality，简称AR)，是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型的技术。这种技术将虚拟信息叠加到真实世界的场景中，实现真实世界信息和虚拟世界信息“无缝”集成。

现有的AR显示设备中，通常采用棱镜反射方式、离轴曲面反射方式、自由曲面棱镜方式、几何波导方式或全息波导方式将虚拟图像成像在无穷远处或成像在眼前某个特定距离处。

但是，上述虚像的成像方式不能够兼顾较大的虚像景深需求以及多样化的视场需求。

发明内容

本发明的多个方面提供一种AR显示方法、设备及装置，能够增大虚拟图像的景深，使得当眼睛观看不同空间深度的现实场景时，能够清晰地看到以矩形的视场展示虚拟图像。

本发明提供一种AR显示方法，适用于AR显示装置，包括：根据多个矩形视场的排列状态，确定投影组件投影后得到的多个有效投影区域对应的排列间距；根据所述多个有效投影区域对应的排列间距以及所述投影组件对应的投影尺寸比例系数，确定显示屏上与所述多个有效投影区域对应的多个有效显示区域之间的排列间距；根据所述多个有效显示区域之间的排列间距，在所述显示屏上确定与微反射镜阵列的视场匹配的多个矩形区域，作为多个有效显示区域；在所述多个有效显示区域展示虚拟图像，以在人眼处形成符合所述排列状态的矩形视场。

本发明还提供一种AR显示设备，包括：存储器以及处理器；所述存储器用于存储一条或多条计算机指令；所述处理器用于执行所述一条或多条计算机指令以用于：根据多个矩形视场的排列状态，确定投影组件投影后得到的多个有效投影区域对应的排列间距；根据所述多个有效投影区域对应的排列间距以及所述投影组件对应的投影尺寸比例系数，确定显示屏上与所述多个有效投影区域对应的多个有效显示区域之间的排列间距；根据所述多个有效显示区域之间的排列间距，在所述显示屏上确定与微反射镜阵列的视场匹配的多个矩形区域，作为多个有效显示区域；在所述多个有效显示区域展示虚拟图像，以在人眼处形成符合所述排列状态的矩形视场。

本发明还提供一种AR显示装置，包括：用于展示虚拟图像的显示组件、透镜以及设于所述透镜上的微反射镜阵列；其中，所述显示组件包括显示屏以及投影组件，所述投影组件设于所述显示屏和所述微反射镜阵列之间；所述微反射镜阵列包括按照设定的排列维度以及行列间距进行排列的多个微反射单元，且所述微反射镜阵列设于所述显示组件发出的光的传播路径上；所述显示屏上包含多个有效显示区域，所述多个有效显示区域均为矩形区域，且所述多个有效显示区域的排列维度以及排列间距分别与所述微反射镜阵列的排列维度以及行列间距对应；所述显示组件发出的光，经所述微反射镜阵列反射后，与入射在所述透镜上的环境光合光后透射至人眼。

在本发明中，在透镜上设置微反射镜阵列，虚拟图像可通过微反射镜阵列与从光学系统入射的环境光合光后进入人眼。在上述的结构中，微反射镜阵列中的微反射镜作为孔径光阑，具有较小的尺寸，进而虚拟图像的景深得以增大。与此同时，显示屏上设有多个有效显示区域，多个有效显示区域均为矩形区域且其排列维度以及排列间距与微反射镜阵列的排列维度以及行列间距对应。基于上述结构，展示虚拟场景时，在显示屏的有效显示区域内进行显示，其他区域不显示，能够使得用户的眼睛观看不同空间深度的现实场景时，能够清晰地看到以矩形的视场展示虚拟图像。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1a为本发明一实施例提供的AR显示装置的结构示意图；

图1b为本发明一实施例提供的AR显示装置的等效光路示意图；

图1c为本发明一实施例提供的有效显示区域与微反射镜阵列的对应示意图；

图1d为本发明一实施例提供的具有不同排列状态的矩形视场的示意图；

图1e为本发明另一实施例提供的有效显示区域与微反射镜阵列的对应示意图；

图1f为本发明另一实施例提供的AR显示装置的结构示意图；

图1g为本发明一实施例提供的AR显示装置的结构俯视图；

图1h为本发明另一实施例提供的AR显示装置的结构俯视图；

图1i为本发明又一实施例提供的AR显示装置的结构示意图；

图2a为本发明一实施例提供的AR显示方法的方法流程图；

图2b是本发明提供的一AR显示装置的等效光路图；

图2c为图2b对应的叠加的圆形视场；

图2d是本发明提供的另一AR显示装置的等效光路图；

图2e为图2c对应的不叠加的圆形视场；

图2f为图2c对应的不叠加且连续的圆形视场；

图3a为本发明另一实施例提供的AR显示方法的方法流程图；

图3b为图3a对应的实施例提供的有效显示区域的示意图；

图3c为图3b提供的有效显示区在人眼处形成的叠加视场的示意图；

图3d为图3b提供的有效显示区在人眼处形成的不叠加视场的示意图；

图4a为本发明又一实施例提供的AR显示方法的方法流程图；

图4b为图4a对应的实施例提供的有效显示区域的示意图；

图4c为图4b提供的有效显示区在人眼处形成的叠加视场的示意图；

图4d为图4b提供的有效显示区在人眼处形成的不叠加视场的示意图；

图5为本发明一实施例提供的AR显示设备的设备结构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1a为本发明一实施例提供的AR显示装置的结构示意图。如图1a所示，该AR显示装置包括用于展示虚拟图像的显示组件100、透镜12以及设于透镜12上的微反射镜阵列13。

其中，显示组件100包括显示屏10以及投影组件11，投影组件11设于显示屏10和微反射镜阵列13之间。微反射镜阵列13包括按照设定的排列维度以及行列间距进行排列的多个微反射单元，且微反射镜阵列13设于显示组件100发出的光的传播路径上。

其中，微反射镜阵列13的排列维度，指的是由多个微反射单元组成的阵列的行数及列数。例如，微反射镜阵列13的维度为2×2，则表示微反射单元13由两行两列共4个微反射单元组成。微反射镜阵列13的行列间距，指的是由多个微反射单元组成的阵列中，位于同一行的两个相邻的微反射单元之间的间距，或位于同一列的两个相邻的微反射单元之间的间距。

其中，显示屏10上包含多个有效显示区域，多个有效显示区域均为矩形区域，且多个有效显示区域的排列维度以及排列间距分别与微反射镜阵列13的排列维度以及行列间距对应。

在上述的AR显示装置中，显示组件100发出的光，经微反射镜阵列13反射后，与入射在透镜12上的环境光合光后，先后经过瞳孔14和晶状体15后成像在视网膜16上，进而人眼能够看到以矩形视场展示的真实场景与显示组件100所展示的虚拟图像叠加后的图像。

本实施例中，在透镜上设置微反射镜阵列，虚拟图像可通过微反射镜阵列与从光学系统入射的环境光合光后进入人眼。在上述的结构中，微反射镜阵列中的微反射镜作为孔径光阑，具有较小的尺寸，进而虚拟图像的景深得以增大。与此同时，显示屏上设有多个有效显示区域，多个有效显示区域均为矩形区域且其排列维度以及排列间距与微反射镜阵列的排列维度以及行列间距对应。基于上述结构，展示虚拟场景时，在显示屏的有效显示区域内进行显示，其他区域不显示，能够使得用户的眼睛观看不同空间深度的现实场景时，能够清晰地看到以矩形的视场展示虚拟图像。

在一实施例中，显示屏10设于投影透镜组11的一倍焦距之内。图1b为本发明一实施例提供的AR光学系统的等效光路图，如图1b所示，显示屏10通过投影组件11可成放大的虚像10`，该放大的虚像10`可通过微反射镜阵列13进入人眼。可选的，显示屏10可以是LCOS(Liquid Crystal on Silicon，液晶附硅)显示系统、Micro-OLED(Micro-Organic Light-Emitting Diode,微型有机发光半导体)显示系统或其他微显示元件，或激光扫描系统等显示模块，本实施例不做限制。

其中，投影组件11可包括一个或多个透镜，图1a以及图1b中以一个透镜进行示意，应当理解，本发明实施例提供的投影组件11并不仅限于图示内容。可选的，投影透镜组11各面面型可以是平面、球面、非球面、菲涅尔面和自由曲面，镜片材料可以是玻璃或树脂，本实施例不做限制。

可选的，如图1c所示，显示屏10上的多个有效显示区域的排列维度与微反射镜阵列13的排列维度相同，且每一有效显示区域分别位于与之对应的微反射单元的视场在所述显示屏上对应的圆形区域内。

在一可选实施方式中，投影组件11的投影尺寸比例系数可满足如下条件：使多个有效显示区域的排列间距经投影组件投影后得到的间距小于微反射镜阵列13的行列间距。在这种情况下，视网膜16上能够呈现如图1d所示叠加的矩形视场。

在另一可选实施方式中，投影组件11的投影尺寸比例系数可满足如下条件：使多个有效显示区域的排列间距经投影组件投影后得到的间距等于微反射镜阵列13的行列间距。在这种情况下，视网膜16上能够呈现如图1d所示不叠加的矩形视场；特别的，当多个有效显示区域的排列间距经投影组件11投影后得到的间距等于微反射镜阵列13的行列间距，且微反射镜阵列的行列间距为4mm时，视网膜16上能够呈现如图1d所示不叠加且连续的矩形视场。其中，该4mm为人眼的瞳孔直径的平均值。

在上述实施方式中，每一有效显示区域分别位于与之对应的微反射单元的视场在显示屏10上对应的圆形区域内，如图1c所示。在这种情况下，显示屏10的显示单元的利用率并未达到最高。以下部分将介绍本发明的另一种可选实施方式，在该实施方式中，显示屏10上的显示单元的利用率达到最高。

可选的，如图1e所示，显示屏10上的多个有效显示区域中，每一有效显示区域的长度a`＝[a-y(M-1)]/M，宽度b`＝[b-y(N-1)]/N。

其中，a,b分别为显示屏10的长度和宽度，y为多个有效显示区域之间的排列间距，a`∈(0、a],b`∈(0、b],y＜max(a，b)，max()表示取最大值；M、N分别为微反射镜阵列12的行数以及列数；其中，投影组件11的投影尺寸比例系数满足如下条件：使y经投影组件11投影后得到的间距等于4mm。在这种实施方式中，微反射镜阵列13的排列间距满足如下条件：使得显示屏10上的每一有效显示区域分别位于与之对应的微反射单元的视场在显示屏10上对应的圆形区域内。

图1f为本发明另一实施例提供的AR装置的结构示意图。如图1f所示，在一可选实施方式中，透镜12包括：相胶合的第一透镜121以及第二透镜122。微反射镜阵列13设于第一透镜121和第二透镜122的胶合面上，且微反射镜阵列13的反射面靠近人眼。

其中，第一透镜121以及第二透镜122的材料可以是玻璃或树脂。第一透镜121以及第二透镜122之间的胶合面可以是平面、球面、非球面或自由曲面等，图1f以及其他附图中仅以平面进行示意，但应当理解在其他可选的实施例中，胶合面也可以是其他可选的面型。

如图1f所示，胶合面为倾斜面，该倾斜面上沿靠近人眼一侧到远离人眼一侧的方向上排列的微反射单元，构成微反射镜阵列13的行；位于该倾斜面上，沿由上至下的方向排列的微反射单元，构成微反射镜阵列13的行。

可选地，组成微反射镜阵列13的多个微反射单元，可分别是独立于透镜12的光学元件，例如，可以是多个微反射镜或多片反射膜。多个微反射镜或多片反射膜可按照设定维度以及设定排列间距贴合于透镜12的胶合面上。可选的，该多个微反射单元也可以是与透镜12一体的光学结构，例如蚀刻于透镜12上并具有反射功能的多个微结构。多个微结构按照设定维度以及设定行列间距蚀刻于直接加工蚀刻于透镜12的胶合面上并镀有反光膜。

在一可选实施方式中，微反射镜阵列13的行列间距可以胶合面为参考面，在这种情况下，行列间距等于两个相邻的微反射单元在胶合面上相隔的距离。在另一可选实施方式中，微反射镜阵列13的行列间距可以透镜12上靠近人眼的前光学表面或远离人眼的后光学表面为参考面，在这种情况下，行列间距指的是两个相邻的微反射单元在该参考面上对应的两个投影之间相隔的距离。

可选的，微反射镜阵列13中每一微反射单元的孔径可在100μm-2mm之间，例如，当微反射镜阵列13由微反射镜组成时，可控制微反射镜的孔径可在100μm-2mm之间。其优势在于，小尺寸的微反射单元对真实场景的光线遮挡小，使得AR显示装置具有较好的真实场景透视效果；与此同时，小尺寸的微反射单元具有较低的杂散光，使得人眼看到的虚拟图像具有较高的对比度。除此之外，小尺寸的微反射单元能够匹配人眼的分辨率，且具有较小的色差。

可选的，微反射镜或镀有反光膜的微结构的面型可以是平面、球面、非球面、菲涅尔面和自由曲面，微反射镜或反光膜的材质可以是银、铝或其他高反射率的材质，本实施例不做限制。

可选地，第一透镜121和第二透镜122上用于胶合的面可以为一斜面，微反射镜阵列13设于该斜面上靠近人眼的一侧，以将入射至其上的光反射至人眼。在一可选的实施方式中，当胶合面为斜面时，胶合面可以向第一透镜121的端部倾斜，也就是说胶合面与第一透镜121上靠近人眼的前光学表面的夹角为锐角。优选的，该胶合面的倾斜角可与视线平视方向成45°夹角，该夹角便于用户在观看微反射镜阵列13所反射的图像，且便于加工。其中，端部指的是第一透镜121或第二透镜122上，除胶合面所在端之外的另一端。

显示组件100设于第一透镜121的端面之外，显示组件100发出的光经第一透镜121的端面入射在微反射镜阵列13上，经微反射镜阵列13反射至人眼。可选的，在胶合面向第一透镜121的端部倾斜的情况下，如图1f以及图1g所示，第一透镜121上靠近人眼的前光学表面的横向长度大于远离人眼的后光学表面的横向长度，此时微反射镜阵列13反射的光通过第一透镜121的前光学表面透入人眼。

应当理解，在图1f中示意了第一透镜121在右，第二透镜122在左的情形，在其他实施例中，第一透镜121可以在左，第二透镜122可以在右，不再赘述。

可选的，如图1g所示，第一透镜121的端面与第一透镜121的后光学表面以及前光学表面垂直，且显示组件100的出光面平行于第一透镜121的端面。端面，也就是位于端部的面。在图1g所示的结构中，显示组件100发出的光经第一透镜121的端面直接入射在微反射镜阵列13上，经微反射镜阵列13反射至人眼。

可选的，如图1h所示，第一透镜121的端面以锐角倾斜于第一透镜121的后光学表面，且显示组件100的出光面平行于第一透镜121的端面。在图1h所示的结构中，显示组件100发出的光经第一透镜121的端面之后，以全反射临界角入射在第一透镜121的后光学表面，在第一透镜121内部传播并最终入射在微反射镜阵列13上，经微反射镜阵列13反射至人眼。应当理解，在图1h中示意了第一透镜121的端面以锐角倾斜于第一透镜121的后光学表面的情形，在其他实施例中，第一透镜121的端面可以锐角倾斜于第一透镜121的前光学表面，不再赘述。

可选的，第一透镜121的前光学表面的横向长度和第二透镜122后光学表面的横向长度可以相同，第一透镜121的后光学表面的横向长度和第二透镜122前光学表面的横向长度可以相同。通过上述的设计，可确保胶合面正对人眼瞳孔处，以提供较好的虚拟图像观看效果。

在上述附图中，示意了第一透镜121和第二透镜122沿左右眼的连线方向进行胶合的情形，在其他可选的实施例中，如图1i所示，第一透镜121与第二透镜122可沿与左右眼的连线方向垂直的方向进行胶合，其他结构可参考上述其他附图中的记载，不赘述。

可选的，本发明实施例提供的AR装置，可以应用于AR眼镜、AR相机或AR头戴设备，还可以是应用于车前窗玻璃上的抬头显示器等，本发明包含但并不仅限于此。应当理解，凡是采用本发明实施例提供的技术方案的VR产品均在本发明的保护范围之内。

图2a为本发明一实施例提供的AR显示方法的方法流程图，结合图2a，该方法包括：

步骤201、根据多个矩形视场的排列状态，确定投影组件投影后得到的多个有效投影区域对应的排列间距。

步骤202、根据所述多个有效投影区域对应的排列间距以及所述投影组件对应的投影尺寸比例系数，确定显示屏上与所述多个有效投影区域对应的多个有效显示区域之间的排列间距。

步骤203、根据所述多个有效显示区域之间的排列间距，在所述显示屏上确定与微反射镜阵列的视场匹配的多个矩形区域，作为多个有效显示区域。

步骤204、在所述多个有效显示区域展示虚拟图像，以在人眼处形成符合所述排列状态的矩形视场。

在步骤201中，多个矩形视场的排列状态，指的是用户通过AR显示装置观看虚拟图像时，多个矩形视场具有的特征。

有效投影区域，指的是显示屏上的有效显示区域经投影组件投影后对应的像。有效投影区域对应的排列间距与矩形视场的排列状态之间存在对应关系，在确定矩形视场的排列状态之后，可确定有效投影区域对应的排列间距。

在步骤202中，对于投影组件而言，显示屏上的有效显示区域与有效投影区域分别为物方以及像方，因此，在确定有效投影区域对应的排列间距之后，可将该有效投影区域对应的排列间距视为投影组件的像方，根据投影成像原理以及投影组件的光学参数计算该像对应的物方，该物方即为显示屏上的有效显示区域之间的排列距离。

在步骤203中，微反射镜阵列的视场，指的是人眼通过微反射镜阵列能够看到的范围，该范围在显示屏上对应一圆形区域。微反射镜阵列中每一个微反射镜对应一个视场，多个视场拼接组成微反射镜阵列的视场。由于微反射镜阵列中的微反射镜按照一定的阵列排布方式进行排列，那么微反射镜阵列的视场在显示屏上对应的圆形区域也按照该排布方式进行排布。

在确定所述有效显示区域之间的排列间距之后，可结合微反射镜阵列的视场在显示屏上对应的圆形区域的排布方式，确定与微反射镜阵列的视场匹配的矩形区域，并将确定的矩形区域作为显示屏上的有效显示区域。

在步骤204中，在确定有效显示区域后，可在有效显示区域内显示虚拟图像，有效显示区域之外的地方不显示虚拟图像。进而，用户可通过AR显示装置观看到符合所述排列状态的矩形视场。

在本实施例中，根据矩形视场的排列状态，确定投影组件投影后得到的多个有效投影区域对应的排列间距之后，基于该排列间距以及投影组件对应的投影尺寸比例系数在显示屏上确定用于展示虚拟图像的矩形区域，并在该矩形区域内展示虚拟图像。进而，用户能够通过基于微反射镜阵列的AR装置看到以矩形的视场展示虚拟图像。

上述实施例中记载了可根据矩形视场的排列状态，确定投影组件投影后得到的多个有效投影区域对应的排列间距。可选的，矩形视场的排列状态可包括：矩形视场不叠加或矩形视场叠加。以下部分将结合附图，对有效投影区域对应的排列间距与矩形视场的排列状态之间存在的对应关系进行具体说明。

图2b是一AR显示装置的等效光路图。在图2b中，17为显示屏10经投影组件11后得到的投影区域。显示屏10上的有效显示区域101、102以及103分别对应17上的有效投影区域171、172以及173。上述有效投影区域在视网膜16上成的像分别对应图2c所示的171`、172`以及173`。图2b中，由于微反射镜阵列13具有一定的行列间距，且有效投影区域171、172以及173连续，进而导致视网膜16上呈现如图2c所示的叠加的圆形视场。

图2d是另一AR显示装置的等效光路图。在图2d中，18为显示屏10经投影组件11后得到的投影区域。显示屏10上的有效显示区域101以及102分别对应18上的有效投影区域181以及182。上述有效投影区域在视网膜16上成的像分别对应图2e所示的181`以及182`。在图2d中，有效投影区域181以及182的分布不连续，具有和微反射镜阵列13行列间距相等的间距。进而，图2d中，作为上视场的有效投影区域181的下边缘光线和作为下视场的有效投影区域182的上边缘光线近似平行，两个视场间隔部分光线无法通过光学系统被人眼观察到。因此，人眼视网膜上成像区域181`以及182`为不叠加的圆。对应的，显示屏10上两块有效显示区域101和102之间也可能具有一定间距，间距大小受投影组件11的光学参数的限制。

可选的，当投影区域18的两块有效投影区域181以及182具有和微反射镜阵列13的行列间距相等的间距，且该间距约等于4mm，该4mm为人眼的瞳孔直径的平均值时，人眼视网膜上成像区域181``以及182``为相切的圆，如图2f所示。

综上，多个矩形视场的排列状态和有效投影区域对应的排列间距之间存在对应关系可总结如下：当排列状态为多个矩形视场叠加时，投影组件投影后得到的多个有效投影区域对应的排列间距小于微反射镜阵列的行列间距。当排列状态为多个矩形视场不叠加时，投影组件投影后得到的多个有效投影区域对应的排列间距等于微反射镜阵列的行列间距。可选的，当排列状态为多个矩形视场不叠加且连续时，投影组件投影后得到的多个有效投影区域对应的排列间距等于微反射镜阵列的行列间距，且微反射镜阵列的行列间距为4mm。

以下部分将结合图3a，对如何根据多个矩形视场的排列状态和多个有效投影区域对应的排列间距确定矩形视场的方法进行说明。

图3a为本发明另一实施例提供的AR显示方法的方法流程图，结合图3a，该方法包括：

步骤301、根据多个矩形视场的排列状态，确定投影组件投影后得到的多个有效投影区域对应的排列间距。

步骤302、根据所述多个有效投影区域对应的排列间距以及所述投影组件对应的投影尺寸比例系数，确定显示屏上与所述多个有效投影区域对应的多个有效显示区域之间的排列间距。

步骤303、根据所述微反射镜阵列的光学参数，确定所述微反射镜阵列中的每一个微反射单元的视场在所述显示屏上对应的圆形区域。

步骤304、在所述显示屏上的每一个所述圆形区域内确定一矩形区域且相邻的矩形区域之间的间隔等于所述多个有效显示区域之间的排列间距。

步骤305、将得到的多个矩形区域作为多个有效显示区域，并在所述多个有效显示区域展示虚拟图像，以在人眼处形成符合所述排列状态的矩形视场。

步骤301可参考上述实施例的记载，不赘述。

在步骤302中，投影组件对应的投影尺寸比例系数，可以是经投影系统后所成的像相对于对应的物的放大或缩小倍数。该系数可根据投影组件的光学参数进行计算，本步骤不做赘述。

在确定多个有效投影区域对应的排列间距之后，可根据投影组件对应的投影尺寸比例系数，计算得到显示屏上与该多个有效投影区域对应的有效显示区域之间的排列间距。

在步骤303中，微反射镜阵列中的每一个微反射单元对应一个视场，受人眼瞳孔形状的限制，该视场在显示屏上对应一圆形区域。可选的，每一个微反射单元的视场在显示屏上对应的圆形区域的圆心以及直径可以根据微反射镜阵单元的光学参数以及微反射镜阵列的排布方式进行计算。其中，微反射单元的光学参数可包括微反射单元的视场角以及微反射单元到显示屏的距离。

在步骤304中，在确定每一个微反射单元的视场在显示屏上对应的圆形区域后，可在每一个圆形区域内确定一矩形区域，并确保相邻两个圆形区域内的矩形区域之间的间隔等于上一步骤中确定的有效显示区域之间的排列距离D。

优选的，在每一个圆形区域内确定一矩形区域时，可在每一个圆形区域中确定一内接矩形，将该内接矩形所圈定的区域作为有效显示区域，如图3b所示。图3b为显示屏上有效显示区域的一种示意，在图3b中，有效显示区域对应的矩形内接于微反射单元的视场在显示屏上对应的圆形区域，且针对多个圆形区域而言，相邻两个圆形区域中的矩形区域之间的间隔等于上一步骤中确定的有效显示区域之间的排列距离D。进而，这种矩形区域内接于圆形区域的实施方式，能够较高效率地利用每个微反射单元的视场在显示屏上对应的区域。特别的，当内接矩形为内接正方形时，每个微反射单元的视场在显示屏上对应的区域能够得到最高效率的利用。

在步骤305中，在确定有效显示区域后，通过显示屏展示虚拟图像时，可在有效显示区域显示虚拟图像，有效显示区域之外的地方不展示虚拟图像。进而，人眼通过AR显示装置可看到矩形的视场，且该视场符合步骤301中所述的排列状态。图3c以及图3d示意了图3b提供的有效显示区域在人眼处可能产生的矩形视场。其中，图3c对应了视场叠加的情况，符合排列状态为矩形视场叠加的要求。图3d对应了视场不叠加的情况，符合排列状态为矩形视场叠加的要求。

图3a对应的实施例记载了如何在微反射镜阵列的行列间距确定的情况下，使得AR显示装置以矩形视场展示虚拟图像。但是在图3a对应的实施例中，显示屏上除了有效显示区域之外，存在较多的未利用区域。为使得显示屏的显示区域达到最高的利用率，本发明还提供了如图4a所示的实施方式。在图4a对应的实施方式中，可首先确定显示屏的显示区域达到最高利用率时对应的多个矩形区域，再根据多个矩形区域的位置确定微反射镜阵列的行列间距。以下部分将结合图4a对上述过程进行具体阐述。如图4a所示，该方法包括：

步骤401、根据多个矩形视场的排列状态，确定投影组件投影后得到的多个有效投影区域对应的排列间距。

步骤402、根据所述多个有效投影区域对应的排列间距以及所述投影组件对应的投影尺寸比例系数，确定显示屏上与所述多个有效投影区域对应的多个有效显示区域之间的排列间距y。

步骤403、根据显示屏的长度、宽度以及所述微反射镜阵列的行数以及列数，计算使得所述显示屏的显示区域利用率最大时，每一有效显示区域的长度a`和宽度b`。

步骤404、在所述显示屏上确定长度为a`以及宽度b`，且两两间隔等于y的多个矩形区域，作为多个有效显示区域。

步骤405、确定所述多个矩形区域中每一矩形区域对应的外接圆，分别作为微反射镜阵列中每一微反射单元的视场在所述显示屏上对应的圆形区域。

步骤406、根据所述微反射镜阵列中每一微反射单元的视场在所述显示屏上对应的圆形区域以及所述微反射镜阵列的光学参数，确定所述微反射镜阵列的行列间距。

步骤407、在所述多个有效显示区域展示虚拟图像，以在人眼处形成符合所述排列状态的矩形视场。

步骤401以及步骤402的具体实施方式可以参考前述实施例中的记载，此处不赘述。

在步骤403中，当显示屏上的显示区域的利用率最高时，多个有效显示区域和多个有效显示区域之间的排列间距应当能够填充满整个显示屏。假设显示屏的长度和宽度分别为a、b，微反射镜阵列的排列维度为MxN，也就是微反射镜阵列在长度和宽度方向上分别包含M和N个微反射单元,则长度方向上多个有效显示区域之间的排列间距的总长度为y(M-1)，显示屏的长度a减去该部分间距的总长度为多个有效显示区域的总长度。当长度方向上包含M个有效显示区域时，每一个有效显示区域的长度a`＝[a-y(M-1)]/M。同理可得到，当宽度方向上包含N个有效显示区域时，每一个有效显示区域宽度b`＝[b-y(N-1)]/N。

以下部分将结合具体的数值，以一个实际的例子对本步骤进行说明。例如，微反射镜阵列中包含的三个微反射单元对应三个有效显示区域，在显示屏的利用率最高的情况下，三个有效显示区域与各有效显示区域之间的间距的叠加应正好充满显示屏。此时，显示屏上每块有效显示区域尺寸约为显示屏的总尺寸减掉两个间距空间后的三分之一。若显示屏尺寸为16mm×9mm，且假设根据投影组件的尺寸比例系数得到投影后的4mm尺寸对应在显示屏上的尺寸为0.2mm，则三个有效显示区域分别对应显示屏上的显示区域尺寸为5.2mm×9mm。

在步骤405中，在确定多个矩形的有效显示区域之后，可作出每一有效显示区域的外接圆，并将每一个外接圆作为对应的微反射单元的视场在显示屏上对应的圆形区域,如图4b所示。图4b中示意了长度方向包含三个有效显示区域，宽度方向包含两个有效显示区域的情况。

在步骤406中，在确定每一个微反射单元的视场在显示屏上对应的圆形区域之后，可根据每一微反射单元的视场角以及与显示屏的距离，可确定微反射镜阵列的行列间距。

在步骤407中，在确定多个有效显示区域后，通过显示屏展示虚拟图像时，可在多个有效显示区域显示虚拟图像，多个有效显示区域之外的地方不展示虚拟图像。进而，人眼通过AR显示装置可看到矩形的视场，且该视场符合步骤401中所述的排列状态。图4c以及图4d示意了图4b提供的有效显示区域在人眼处可能产生的矩形视场。其中，图4c对应了视场叠加的情况，符合排列状态为矩形视场叠加的要求。图4d对应了视场不叠加的情况，符合排列状态为矩形视场叠加的要求。

本实施例中，在确定显示屏的显示区域达到最高利用率时对应的矩形区域之后，再根据矩形区域的位置确定微反射镜阵列的行列间距，进而在使得用户观看到矩形视场的同时，确保了显示屏的显示区域具有最高的利用率。

以上描述了AR显示方法的可选实施方式，如图5所示，实际中，该AR显示方法可通过AR显示设备实现，如图5所示，该设备包括：存储器501、处理器502、输入装置503以及输出装置504。

存储器501、处理器502、输入装置503以及输出装置504可以通过总线或其他方式连接，图5中以总线连接为例。

存储器501用于存储一条或多条计算机指令，并可被配置为存储其它各种数据以支持在AR显示设备上的操作。这些数据的示例包括用于在AR显示设备上操作的任何应用程序或方法的指令。

存储器501可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

在一些实施例中，存储器501可选包括相对于处理器502远程设置的存储器，这些远程存储器可以通过网络连接至后台服务控制装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

处理器502，与存储器501耦合，用于执行所述一条或多条计算机指令以用于：

根据多个矩形视场的排列状态，确定投影组件投影后得到的多个有效投影区域对应的排列间距；

根据所述多个有效投影区域对应的排列间距以及所述投影组件对应的投影尺寸比例系数，确定显示屏上与所述多个有效投影区域对应的多个有效显示区域之间的排列间距；

根据所述多个有效显示区域之间的排列间距，在所述显示屏上确定与微反射镜阵列的视场匹配的多个矩形区域，作为多个有效显示区域；

在所述多个有效显示区域展示虚拟图像，以在人眼处形成符合所述排列状态的矩形视场。

进一步可选地，所述多个矩形视场的排列状态包括：多个矩形视场不叠加或多个矩形视场叠加；所述处理器具体用于：当所述排列状态为所述多个矩形视场不叠加时，确定投影组件投影后得到的多个有效投影区域对应的排列间距等于所述微反射镜阵列的行列间距；或，当所述排列状态为所述多个矩形视场叠加时，确定投影组件投影后得到的多个有效投影区域对应的排列间距小于所述微反射镜阵列的行列间距。

进一步可选地，所述微反射镜阵列的行列间距为4mm。

进一步可选地，处理器502具体用于：根据所述微反射镜阵列的光学参数，确定所述微反射镜阵列中的每一个微反射单元的视场在所述显示屏上对应的圆形区域；在所述显示屏上的每一个所述圆形区域内确定一矩形区域，且相邻的矩形区域之间的间隔等于所述有效显示区域之间的排列间距。

进一步可选地，每一个所述圆形区域内确定的矩形区域内接于所述圆形区域。

进一步可选地，处理器502体用于：在所述显示屏上确定长度为a`＝[a-y(M-1)]/M，以及宽度b`＝[b-y(N-1)]/N，且两两间隔等于y的多个矩形区域，作为所述多个有效显示区域；其中，a、b分别为所述显示屏的长度和宽度，a`∈(0、a],b`∈(0、b]，y为所述多个有效显示区域之间的排列间距，y＜max(a，b)，M、N分别为所述微反射镜阵列的行数以及列数。

进一步可选地，处理器502还用于：确定所述多个矩形区域中每一矩形区域对应的外接圆，分别作为所述微反射镜阵列中每一微反射单元的视场在所述显示屏上对应的圆形区域；根据所述微反射镜阵列中每一微反射单元的视场在所述显示屏上对应的圆形区域以及所述微反射镜阵列的光学参数，确定所述微反射镜阵列的行列间距。

输入装置503可接收输入的数字或字符信息，以及产生与AR显示设备的用户设置以及功能控制有关的键信号输入。输出装置504可包括显示屏等显示设备。

进一步，如图5所示，该AR显示设备还包括：电源组件505。电源组件505，为电源组件所在设备的各种组件提供电力。电源组件可以包括电源管理系统，一个或多个电源，及其他与为电源组件所在设备生成、管理和分配电力相关联的组件。

上述AR显示设备可执行本申请实施例所提供的AR显示方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法，不再赘述。

Q1、一种AR显示方法，其特征在于，包括：

Q2、根据Q1所述的方法，其特征在于，所述多个矩形视场的排列状态包括：多个矩形视场不叠加或多个矩形视场叠加；

根据多个矩形视场的排列状态，确定投影组件投影后得到的多个有效投影区域对应的排列间距，包括：

当所述排列状态为所述多个矩形视场不叠加时，确定投影组件投影后得到的多个有效投影区域对应的排列间距等于所述微反射镜阵列的行列间距；或，

当所述排列状态为所述多个矩形视场叠加时，确定投影组件投影后得到的多个有效投影区域对应的排列间距小于所述微反射镜阵列的行列间距。

Q3、根据Q2所述的方法，其特征在于，所述微反射镜阵列的行列间距为4mm。

Q4、根据Q2或Q3所述的方法，其特征在于，根据所述多个有效显示区域之间的排列间距，在所述显示屏上确定与微反射镜阵列的视场匹配的多个矩形区域，包括：

根据所述微反射镜阵列的光学参数，确定所述微反射镜阵列中的每一个微反射单元的视场在所述显示屏上对应的圆形区域；

在所述显示屏上的每一个所述圆形区域内确定一矩形区域，且相邻的矩形区域之间的间隔等于所述有效显示区域之间的排列间距。

Q5、根据Q4所述的方法，其特征在于，每一个所述圆形区域内确定的矩形区域内接于所述圆形区域。

Q6、根据Q2或Q3所述的方法，其特征在于，根据所述多个有效显示区域之间的排列间距，在所述显示屏上确定与微反射镜阵列的视场匹配的多个矩形区域，作为多个有效显示区域，包括：

在所述显示屏上确定长度为a`＝[a-y(M-1)]/M，以及宽度b`＝[b-y(N-1)]/N，且两两间隔等于y的多个矩形区域，作为所述多个有效显示区域；

其中，a、b分别为所述显示屏的长度和宽度，a`∈(0、a],b`∈(0、b]，y为所述多个有效显示区域之间的排列间距，y＜max(a，b)，M、N分别为所述微反射镜阵列的行数以及列数。

Q7、根据Q6所述的方法，其特征在于，在所述显示屏上确定长度为a`＝[a-y(M-1)]/M，以及宽度b`＝[b-y(N-1)]/N，且两两间隔等于y的多个矩形区域，作为所述多个有效显示区域之后，还包括：

确定所述多个矩形区域中每一矩形区域对应的外接圆，分别作为所述微反射镜阵列中每一微反射单元的视场在所述显示屏上对应的圆形区域；

根据所述微反射镜阵列中每一微反射单元的视场在所述显示屏上对应的圆形区域以及所述微反射镜阵列的光学参数，确定所述微反射镜阵列的行列间距。

R8、一种AR显示设备，其特征在于，包括：存储器以及处理器；

所述存储器用于存储一条或多条计算机指令；

所述处理器用于执行所述一条或多条计算机指令以用于：

S9、一种AR显示装置，其特征在于，包括：

用于展示虚拟图像的显示组件、透镜以及设于所述透镜上的微反射镜阵列；

其中，所述显示组件包括显示屏以及投影组件，所述投影组件设于所述显示屏和所述微反射镜阵列之间；

所述微反射镜阵列包括按照设定的排列维度以及行列间距进行排列的多个微反射单元，且所述微反射镜阵列设于所述显示组件发出的光的传播路径上；

所述显示屏上包含多个有效显示区域，所述多个有效显示区域均为矩形区域，且所述多个有效显示区域的排列维度以及排列间距分别与所述微反射镜阵列的排列维度以及行列间距对应；

所述显示组件发出的光，经所述微反射镜阵列反射后，与入射在所述透镜上的环境光合光后透射至人眼。

S10、根据S9所述的装置，其特征在于，所述多个有效显示区域的排列维度与所述微反射镜阵列的排列维度相同，且每一有效显示区域分别位于与之对应的微反射单元的视场在所述显示屏上对应的圆形区域内。

S11、根据S10所述的装置，其特征在于，所述投影组件的投影尺寸比例系数满足如下条件：

使所述多个有效显示区域的排列间距经所述投影组件投影后得到的间距等于或小于所述微反射镜阵列的行列间距。

S12、根据S11所述的装置，其特征在于，所述微反射镜阵列的行列间距为4mm。

S13、根据S9所述的装置，其特征在于，所述显示屏上的多个有效显示区域中，每一有效显示区域的长度a`＝[a-y(M-1)]/M，宽度b`＝[b-y(N-1)]/N；

其中，a,b分别为所述显示屏的长度和宽度，y为所述多个有效显示区域之间的排列间距，a`∈(0、a],b`∈(0、b],y＜max(a，b)；M、N分别为所述微反射镜阵列的行数以及列数；其中，所述投影组件的投影尺寸比例系数满足如下条件：使y经所述投影组件投影后得到的间距等于4mm。

S14、根据S13所述的装置，其特征在于，所述微反射镜阵列的行列间距满足如下条件：

使得所述显示屏上的每一有效显示区域分别位于与之对应的微反射单元的视场在所述显示屏上对应的圆形区域内。

S15、根据S9～S14中任一项所述的装置，其特征在于，所述透镜包括：

相胶合的第一透镜以及第二透镜；所述微反射镜阵列设于所述第一透镜和所述第二透镜的胶合面上，且所述微反射镜阵列的反射面靠近人眼。

S16、根据S15所述的装置，其特征在于，设于所述透镜上的微反射镜阵列包括：

按照所述设定的排列维度以及设定行列间距贴合于所述胶合面上的多个微反射镜或多片微尺寸反光膜，或蚀刻于所述胶合面上并镀有反光膜的微结构。

S17、根据S16所述的装置，其特征在于，所述微反射镜、所述微尺寸反光膜或所述微结构的孔径在100μm-2mm之间。

S18、根据S15所述的装置，其特征在于，所述胶合面与所述第一透镜上靠近人眼的前光学表面的夹角为锐角，且所述显示组件设于所述第一透镜的端面之外；

所述显示组件发出的光经所述第一透镜的端面入射在所述微反射镜阵列上，再经所述微反射镜阵列反射至人眼。

S19、根据S18所述的装置，其特征在于，所述第一透镜的端面与所述第一透镜上远离人眼的后光学表面以及所述前光学表面垂直，且所述显示组件的出光面平行于所述第一透镜的端面；所述显示组件发出的光经所述第一透镜的端面直接入射在所述微反射镜阵列上，再经所述微反射镜阵列反射至人眼；或，

所述第一透镜的端面以锐角倾斜于所述第一透镜的所述后光学表面或所述前光学表面，且所述显示组件的出光面平行于所述第一透镜的端面；所述显示组件发出的光经所述第一透镜的端面之后，以全反射临界角入射在所述第一透镜的后光学表面或前光学表面上，并最终入射在所述微反射镜阵列上，经所述微反射镜阵列反射至人眼。

S20、根据S15所述的装置，其特征在于，所述第一透镜与所述第二透镜沿左右眼的连线方向进行胶合；或，所述第一透镜与所述第二透镜沿与左右眼的连线方向垂直的方向进行胶合。

以上所述仅为本发明的实施例而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims

1.一种AR显示方法，其特征在于，包括：

在所述多个有效显示区域展示虚拟图像，以在人眼处形成符合所述排列状态的矩形视场；

其中，所述微反射镜阵列包括多个微反射单元，每个所述微反射单元对应一个矩形区域，且所述排列间距与相邻为反射单元的行列间距对应。

2.根据权利要求1所述的方法，其特征在于，所述多个矩形视场的排列状态包括：多个矩形视场不叠加或多个矩形视场叠加；

3.根据权利要求2所述的方法，其特征在于，所述微反射镜阵列的行列间距为4mm。

4.根据权利要求2或3所述的方法，其特征在于，根据所述多个有效显示区域之间的排列间距，在所述显示屏上确定与微反射镜阵列的视场匹配的多个矩形区域，包括：

5.根据权利要求4所述的方法，其特征在于，每一个所述圆形区域内确定的矩形区域内接于所述圆形区域。

6.根据权利要求2或3所述的方法，其特征在于，根据所述多个有效显示区域之间的排列间距，在所述显示屏上确定与微反射镜阵列的视场匹配的多个矩形区域，作为多个有效显示区域，包括：

7.根据权利要求6所述的方法，其特征在于，在所述显示屏上确定长度为a`＝[a-y(M-1)]/M，以及宽度b`＝[b-y(N-1)]/N，且两两间隔等于y的多个矩形区域，作为所述多个有效显示区域之后，还包括：

8.一种AR显示设备，其特征在于，包括：存储器以及处理器；

所述存储器用于存储一条或多条计算机指令；

所述处理器用于执行所述一条或多条计算机指令以用于：

9.一种AR显示装置，其特征在于，包括：

所述显示组件发出的光，经所述微反射镜阵列反射后，与入射在所述透镜上的环境光合光后透射至人眼；

10.根据权利要求9所述的装置，其特征在于，所述多个有效显示区域的排列维度与所述微反射镜阵列的排列维度相同，且每一有效显示区域分别位于与之对应的微反射单元的视场在所述显示屏上对应的圆形区域内。

11.根据权利要求10所述的装置，其特征在于，所述投影组件的投影尺寸比例系数满足如下条件：

12.根据权利要求11所述的装置，其特征在于，所述微反射镜阵列的行列间距为4mm。

13.根据权利要求9所述的装置，其特征在于，所述显示屏上的多个有效显示区域中，每一有效显示区域的长度a`＝[a-y(M-1)]/M，宽度b`＝[b-y(N-1)]/N；

14.根据权利要求13所述的装置，其特征在于，所述微反射镜阵列的行列间距满足如下条件：

15.根据权利要求9～14中任一项所述的装置，其特征在于，所述透镜包括：

16.根据权利要求15所述的装置，其特征在于，设于所述透镜上的微反射镜阵列包括：

17.根据权利要求16所述的装置，其特征在于，所述微反射镜、所述微尺寸反光膜或所述微结构的孔径在100μm-2mm之间。

18.根据权利要求15所述的装置，其特征在于，所述胶合面与所述第一透镜上靠近人眼的前光学表面的夹角为锐角，且所述显示组件设于所述第一透镜的端面之外；所述显示组件发出的光经所述第一透镜的端面入射在所述微反射镜阵列上，再经所述微反射镜阵列反射至人眼。

19.根据权利要求18所述的装置，其特征在于，所述第一透镜的端面与所述第一透镜上远离人眼的后光学表面以及所述前光学表面垂直，且所述显示组件的出光面平行于所述第一透镜的端面；所述显示组件发出的光经所述第一透镜的端面直接入射在所述微反射镜阵列上，再经所述微反射镜阵列反射至人眼；或，

20.根据权利要求15所述的装置，其特征在于，所述第一透镜与所述第二透镜沿左右眼的连线方向进行胶合；或，所述第一透镜与所述第二透镜沿与左右眼的连线方向垂直的方向进行胶合。