CN113366376A

CN113366376A - 能够提供近距离的增强现实用图像的增强现实用光学装置

Info

Publication number: CN113366376A
Application number: CN201980090514.1A
Authority: CN
Inventors: 河政勋
Original assignee: LetinAR Co Ltd
Current assignee: LetinAR Co Ltd
Priority date: 2019-02-13
Filing date: 2019-10-17
Publication date: 2021-09-07
Anticipated expiration: 2039-10-17
Also published as: EP3907552A4; WO2020166785A1; US20220137422A1; CN113366376B; EP3907552A1; JP2022520398A; KR102099231B1; JP7356181B2

Abstract

本发明涉及一种能够提供近距离的增强现实用图像的增强现实用光学装置，包括：光学机构，其使从实际事物射出的图像光的至少一部分朝向用户的眼睛的瞳孔透过，并在内面使与从图像射出部射出的增强现实用图像相应的图像光反射至少一次并传递至光学元件；以及至少一个光学元件，其配置于所述光学机构的内部，并且通过朝向用户的眼睛的瞳孔传递与通过所述光学机构传递的增强现实用图像相应的图像光来向用户提供增强现实用图像，并且所述光学机构具有从实际事物射出的图像光入射的第一面和与通过所述光学元件传递的增强现实用图像相应的图像光射出的第二面，且所述第一面和第二面以彼此不平行的方式具有倾斜角(θ)。

Description

能够提供近距离的增强现实用图像的增强现实用光学装置

技术领域

本发明涉及一种能够提供近距离的增强现实用图像的增强现实用光学装置，更详细地，涉及一种能够将具有近焦距而不是无限远焦距的增强现实用图像无失真或无断像地提供给用户的增强现实用光学装置。

背景技术

如所周知，增强现实(Augmented Reality，AR)指在现实世界的实际影像上叠加由计算机等生成的虚拟的影像或图像来提供的技术。

为了实现这样的增强现实，需要能够将由诸如计算机的设备生成的虚拟的影像或图像叠加在现实世界的影像来提供的光学系统。作为这样的光学系统，使用诸如利用HMD(Head Mounted Display，头戴式显示器)或眼镜式装置来反射或折射虚拟影像的棱镜等的光学机构的技术为人所知。

然而，这样的利用以往的光学系统的装置所存在的问题是，由于其构造复杂且重量和体积相当大，用户佩戴起来不方便，并且制造工艺也较复杂，因而制造成本较高。

此外，以往的装置的局限性在于，在用户凝视现实世界时改变焦距的情况下，虚拟影像会失焦。为了解决该问题，已提出利用诸如能够调节对虚拟影像的焦距的棱镜的构件，或者根据焦距的变更对变焦透镜进行电控制等的技术。但是，这种技术也同样存在为了调节焦距需要由用户进行单独的操作或需要用于控制焦距的诸如单独的处理器等的硬件和软件的问题。

为了解决这样的现有技术的问题，如专利文献1中记载，本申请人曾开发一种能够通过利用尺寸小于人的瞳孔的反射部将虚拟影像通过瞳孔投影到网膜来实现增强现实的装置。

图1是示出如上述专利文献1中公开的增强现实用光学装置的图。

参照图1，图像射出部30是射出与增强现实用图像相应的图像光的机构，例如可以实现为小型显示装置。反射部20通过使与从图像射出部30射出的增强现实用图像相应的图像光朝向用户的瞳孔反射来提供增强现实用图像。

光学机构10是使从实际事物射出的图像光的至少一部分透过的机构，例如可以是眼镜镜片，其内部嵌入有反射部20。框架部40是固定和支撑图像射出部30和光学机构10的机构。

图1的反射部20形成为小于人的瞳孔大小的尺寸，即，8mm以下，通过如此将反射部20形成为小于瞳孔大小，可以使通过反射部20入射至瞳孔的光的景深(Depth of Field)接近无限远，即，可以使景深非常深。这里，景深指被识别为对焦的范围，当景深变深时，意味着对增强现实用图像的焦距也变深，因此，即使用户在凝视实际世界时改变对实际世界的焦距，增强现实用图像的焦点也会与此无关地始终被识别为对焦。这可以看作是针孔效应(pin hole effect)。因此，与用户在凝视存在于实际世界的实际事物时改变焦距无关地，对于增强现实用图像，始终可以提供清晰的虚拟影像。

图2是示出本申请人开发的增强现实用光学装置的另一例的图。

图2的增强现实用光学装置同样具有与如在图1中描述的优点，并且，其特征在于，从图像射出部30射出的增强现实用图像光在光学机构10的内面反射而被传递至反射部20，反射部20使其朝向瞳孔40反射，由此提供增强现实用图像。

然而，图2的增强现实用光学装置所存在的问题在于，仅当增强现实用图像的焦点无限远时，才可以正常地表达像。即，如图2所示，从图像射出部30射出的增强现实用图像光原则上应是完好形态的平行光。

图3和图4用于比较说明从图像射出部30射出的图像光为平行光的情况和不是平行光的情况。

参照图3，与从图像射出部30射出的增强现实用图像相应的图像光A、B为平行光，这些光在反射镜50反射后在光学机构10的内面全反射并被传递至反射部20。

此时，如图3所示，可以看出图像光A、B在从光学机构10的内表面反射后相互重叠。因此，在这种情况下，当由反射部20反射而被反射至瞳孔40时，在用户的立场上，将能够看到正常成像的像。

另一方面，在图4中可以看出从图像射出部30射出的图像光A、B不是平行光，在这种情况下，由于经反射镜50以彼此不同的角度入射至光学机构10的内面，因而，当在光学机构10的内面全反射时，不会如在图3中那样重叠，而是以彼此不同的角度全反射而行进。因此，在如图4所示的情况下，由通过反射部20传递至瞳孔40的图像光形成的像会错开或看起来破碎。换言之，当不是具有无限远的焦点的增强现实用图像时，存在无法正常成像的问题，这意味着难以正常地表达具有非无限远的焦距的近焦距的增强现实用图像。将这样的问题称为光路长度匹配(optical path length matching)或光路长度调节(optical pathlength adjusting)问题，在图4的情况下，光路长度匹配不完全，因而会发生断像现象。

图5至图7是示出断像现象的实际画面。

图5是如在图4中描述的那样从图像射出部30射出的图像光A、B不是完全的平行光的情况，可以看出具有近距离的焦距的虚拟事物(铅笔)的像被断像而显示。这意味着当与虚拟事物相应的图像光通过光学机构10传递时，图像不会自然连接，而是以不完整的状态结合，致使光路长度匹配不完全，因而虚拟事物(铅笔)被一点一点断像而提供。

图6示出焦距比图5略长的情况，可以看出，在这种情况下，同样地，虚拟事物的像也未自然连接，且光路长度匹配不完全。

另一方面，图7是焦距比图6甚长的情况，在这种情况下，可以看出虚拟事物的焦距接近无限远，因此，如图3所示，从虚拟事物射出的图像光A、B以平行光入射至光学机构10，因而可以为用户提供无失真且几乎没有断像现象的像，而这可以看作是光路长度匹配几乎完全的形式。

为了解决这样的问题，可以考虑图8所示的方法。

图8示出用于显示近焦距的增强现实用图像的以往的配置，如图8所示，在光学机构10的前后设置凸透镜和凹透镜的对，对于具有近焦距的增强现实用图像(虚拟事物)，在由反射部20反射后，使图像光通过凹透镜向外侧折射。在这种情况下，当仅使用凹透镜时，用户通过光学机构10识别的对实际世界中存在的实际事物的像可能会失真，但是，通过设置于光学机构10的外面的凸透镜，实际事物的像向内侧折射而入射至光学机构10，之后，通过凹透镜再向外侧折射，因此使得实际世界的事物的像可以正常地形成。因此，当使用如图8所示的结构时，可以正常地表达近焦距的增强现实用图像。

然而，由于如图8所示的构造需要在光学机构10的外部设置诸如凹透镜和凸透镜的额外的构件，因而存在体积增大且装置的重量增加的问题。

专利文献1：韩国授权专利公报10-1660519号(2016年09月29日公告)

发明内容

技术问题

本发明旨在解决如上所述的问题，其目的在于，提供一种能够将具有近焦距而不是无限远焦距的增强现实用图像无失真或无断像地清晰地提供给用户的增强现实用光学装置。

技术方案

为了解决如上所述的问题，本发明提供一种能够提供近距离的增强现实用图像的增强现实用光学装置，包括：光学机构，其使从实际事物射出的图像光的至少一部分朝向用户的眼睛的瞳孔透过，并在内面使与从图像射出部射出的增强现实用图像相应的图像光反射至少一次并传递至光学元件；以及至少一个光学元件，其配置于所述光学机构的内部，并且通过朝向用户的眼睛的瞳孔传递与通过所述光学机构传递的增强现实用图像相应的图像光来向用户提供增强现实用图像，所述光学机构具有从实际事物射出的图像光入射的第一面和与通过所述光学元件传递的增强现实用图像相应的图像光射出的第二面，且所述第一面和第二面以彼此不平行的方式具有倾斜角θ。

其中，优选所述光学元件由8mm以下的反射机构形成。

此外，优选从所述图像射出部的某一点射出的图像光彼此不平行。

此外，可以使从所述图像射出部射出的图像光在由配置于所述光学机构的内面的反射镜反射后在所述第一面和第二面至少全反射一次而被传递至光学元件。

此外，所述倾斜角θ可以被配置为是基于对应于与从图像射出部射出的增强现实用图像相应的图像光的增强现实用图像的焦距D和从所述图像射出部入射至光学机构的反射镜的面积S来设定的。

此外，优选所述倾斜角θ是基于tan^-1S/D的数学式来设定的。

此外，优选使所述倾斜角θ具有0.015°～4.6°范围的值。

此外，所述光学机构的第一面和第二面中的至少一个的至少一部分可以形成为曲面。

此外，所述光学机构的第一面和第二面可以部分地具有倾斜角θ。

发明的效果

根据本发明，可以提供能够将具有近焦距而不是无限远焦距的增强现实用图像无失真或无断像地清晰地提供给用户的增强现实用光学装置。

附图说明

图1是示出如专利文献1中公开的增强现实用光学装置的图。

图3和图4用于比较说明从图像射出部30射出的图像光是平行光的情况和不是平行光的情况。

图5至图7是示出断像现象的实际画面。

图8是示出用于显示近焦距的增强现实用图像的以往的配置的图。

图9是示出本发明的一实施例的增强现实用光学装置100的整体构造的图。

图10和图11是用于说明如图9所示的配置的相对于实际事物的图像光的折射及由此产生的影响的图。

图12是用于说明设定光学机构10的第一面11和第二面12的倾斜角θ的过程的图。

具体实施方式

下面参照附图对本发明的实施例进行详细描述。

参照图9，本实施例的增强现实用光学装置100(以下简称"光学装置100")包括光学机构10和光学元件20。

光学机构10是使从实际事物射出的图像光的至少一部分朝向用户的眼睛的瞳孔40透过，并在内面使与从图像射出部30射出的增强现实用图像相应的图像光反射至少一次而被传递至光学元件20的机构。

此外，光学机构10具有从实际事物射出的图像光入射的第一面11和与通过光学元件20传递的增强现实用图像相应的图像光射出的第二面12，且所述第一面11和第二面12以彼此不平行的方式设置为具有倾斜角θ。

光学元件20设置于光学机构10的内部，并且执行通过朝向用户的瞳孔40传递与通过光学机构10传递的增强现实用图像相应的图像光来为用户提供增强现实用图像的功能。

即，从存在于实际世界的实际事物射出的图像光通过光学机构10被传递至用户的瞳孔40，并且与从图像射出部30射出的增强现实用图像光相应的图像光通过光学机构10和光学元件20被传递至用户的瞳孔40，因而用户可以在凝视实际事物时接收增强现实用图像。

其中，图像射出部30是朝向光学机构10射出与增强现实用图像相应的图像光的机构，例如可以是诸如小型的LCD的显示装置，或使从显示装置射出的图像光反射或折射并朝向光学机构10传递的反射机构或折射机构。

即，图像射出部30指诸如显示增强现实用图像的显示装置或将从这样的显示装置射出的图像光最终传递至光学机构10的反射或折射机构等的其他多种多样的机构，由于图像射出部30本身并非本发明的直接目的，并且已通过现有技术为人所知，因而这里省略对其的详细描述。

另一方面，增强现实用图像指显示于显示装置上并由光学机构10和光学元件20传递至用户的瞳孔40的虚拟图像，可以是图像形式的静止影像或视频。这样的增强现实用图像通过从显示装置以图像光射出并由光学机构10和光学元件20传递至用户的瞳孔40来被提供为虚拟图像，与此同时，用户通过利用光学机构10用眼睛直接凝视从存在于实际世界的实际事物射出的图像光来接收增强现实服务。

另一方面，虽然图9中仅示出一个光学元件20，但也可以形成有多个光学元件20。当形成多个光学元件20时，可以在图9中的横向上设置为一列。此外，也可以在图9中的地面方向上形成为一列，或者形成为通过横向和地面方向的组合的矩阵形式。

另一方面，如在背景技术中描述，光学元件20优选形成为小于人的瞳孔的大小的尺寸，即8mm以下，以便通过加深景深来获得针孔效应。

此外，光学元件20例如可以是诸如小型反射镜或半反射镜的反射机构或衍射机构等，优选由小于人的瞳孔的大小的尺寸，即8mm以下的反射机构形成。

另一方面，在光学机构10的内面设置有反射镜50，其是用于反射从图像射出部30射出的图像光A、B而反射至光学机构10的内面，以通过全反射使图像光A、B被传递至光学元件20的机构。

需要指出的是，反射镜50是在如图9所示设置有图像射出部30的情况下需要的，例如在设置于使从图像射出部30射出的图像光A、B能够直接在光学机构10的内面进行全反射的位置的情况下可以被省略。

另一方面，在图9中，从图像射出部30的表面的某一点射出的图像光如在图4中前述的那样是彼此不平行的图像光A、B，这些光在由反射镜50反射后在光学机构10的第一面11和第二面12全反射至少一次后入射至光学元件20。

其中，由于光学机构10的第一面11和第二面12被设置为以彼此不平行的方式具有倾斜角θ，因而图像光A和图像光B以彼此不同的角度在光学机构10的第一面11全反射，从图像光A和图像光B在光学机构10的第一面11上第一次相遇的点起，图像光A和图像光B被重叠而传输至光学元件20。

另一方面，根据这样的构造，由于第一面11和第二面形成为彼此倾斜倾斜角θ，因而通过光学机构10的第一面11入射至瞳孔40的实际世界的影像，即从实际事物射出的图像光在通过光学机构10时可能会发生折射，这可能会对实际事物的像造成影响。

图10和图11是用于说明如图9所示的构造的相对于实际事物的图像光的折射及由此产生的影响的图。

参照图10，第一面11与第二面以倾斜角θ设置，当设光学机构10的折射率为n时，从实际事物射出的图像在入射至光学机构10并折射后射出的出射角θ′满足如下关系。

nsinθ＝sinθ′

sin^-1(nsinθ)＝θ′

因此，可以如下求出相对于用户的瞳孔40的正面方向的实际事物的图像光的出射角θ_s。

θ_s＝θ′-θ＝sin^-1(nsinθ)-θ

其中，当θ具有接近0的值时，sinθ收敛于θ，sin^-1nsinθ可以视为nθ。此外，在玻璃材质的光学机构10的情况下，折射率n为1.5，因而，最终成为

这意味着当光学机构10的第一面11和第二面12以倾斜角θ设置时，实际事物相对于瞳孔40的正面方向仅折射

另一方面，参照图11，从图像射出部30射出的彼此不平行的图像光A和图像光B在光学机构10的第一面11的一点全反射后射出至光学机构10的第二面12时具有倾斜角θ_c，这满足如下关系。

θ_c＝2θ

如前所述，由于θ为2θ_s，因而θ_c≒4θ_s。

这意味着当光学机构10的第一面11和第二面12具有倾斜角θ时，对与增强现实用图像相应的图像光的影响比对实际世界的实际事物的图像光的影响大4倍左右。因此，意味着对与增强现实用图像相应的图像光的像对准效果变大，相对于此，对实际世界的图像光的折射效果不大。

参照图12，当要将具有较近距离的焦距D的虚拟事物(虚像)提供为增强现实用图像时，与虚拟事物相应的图像光入射至反射镜50的面积S具有如下关系。

tanθ≒S/D

其中，θ是从虚拟事物的中心入射至反射镜50的最外廓的图像光的路径之间的角度，可以将其设定为光学机构10的第一面11与第二面12之间的倾斜角θ。

因此，可以通过计算tan^-1S/D来计算倾斜角θ，并且可以将光学机构10的第一面11与第二面12之间的倾斜角θ设定为近似与该计算结果的值。

即，意味着光学机构10的第一面11与第二面12之间的倾斜角θ可以基于要将增强现实用图像的焦距D置于何处来设定。

通常，据知，人眼的景深范围为±0.3屈光度。因此，在如前所述的以往具有无限远焦距的结构中，无法使焦距比3,333mm(＝1/0.3)近。此外，据知，人只有在约125mm以上的情况下才能对焦，而在125mm以下的情况下无法对焦。考虑到这一点，本发明的特征在于将增强现实用图像，即虚拟图像配置为可以将焦点置于3,333mm～125mm之间。

因此，倾斜角θ可具有的优选的最小值和最大值可以如下计算。

由于最小倾斜角θ为S＝3,333mm的情况，因而D与人的瞳孔大小相应，因此，在具有1mm～10mm的范围的值并且为最小倾斜角θ的情况下，D应具有最小值，因此，当设D＝1mm时，tanθ≒S/D≒0.017°。

由于最大倾斜角θ为S＝125mm的情况，因而D与人的瞳孔大小相应，因此，在具有1mm～10mm的范围的值并且为最大倾斜角θ的情况下，D应具有最大值，因此，当设D＝10mm时，tanθ≒S/D≒4.574°。

因此，倾斜角θ优选具有0.017°～4.574°之间的值，约0.015°～4.6°的范围以内便足以。

另一方面，尽管光学机构10的第一面11和第二面12被示出为平面，但其中的至少一个的至少一部分也可以形成为曲面。

此外，由于光学机构10的第一面11和第二面12均形成为平面，因而第一面11和第二面12相对于整个面具有倾斜角θ，但第一面11和第二面12也可以仅部分地具有倾斜角θ。例如，也可以仅使瞳孔40的周边部具有倾斜角θ，并使其余部分中第一面11和第二面12平行。

上面描述的本发明的增强现实用光学装置10具有能够向如图7所示的情况那样为用户提供具有近距离焦距而不具有无限远焦距的虚拟事物的效果。

尽管上面参照本发明的优选实施例对本发明进行了描述，但本发明不限于上述实施例，显然可以实施其他多种多样的修改和变形。

Claims

1.一种能够提供近距离的增强现实用图像的增强现实用光学装置，其特征在于，包括：

光学机构，其使从实际事物射出的图像光的至少一部分朝向用户的眼睛的瞳孔透过，并在内面使与从图像射出部射出的增强现实用图像相应的图像光反射至少一次并传递至光学元件；以及

至少一个光学元件，其配置于所述光学机构的内部，并且通过朝向用户的眼睛的瞳孔传递与通过所述光学机构传递的增强现实用图像相应的图像光来向用户提供增强现实用图像，并且

所述光学机构具有从实际事物射出的图像光入射的第一面和与通过所述光学元件传递的增强现实用图像相应的图像光射出的第二面，且所述第一面和第二面以彼此不平行的方式具有倾斜角(θ)。

2.根据权利要求1所述的能够提供近距离的增强现实用图像的增强现实用光学装置，其特征在于，

所述光学元件由8mm以下的反射机构形成。

3.根据权利要求1所述的能够提供近距离的增强现实用图像的增强现实用光学装置，其特征在于，

从所述图像射出部的某一点射出的图像光彼此不平行。

4.根据权利要求1所述的能够提供近距离的增强现实用图像的增强现实用光学装置，其特征在于，

从所述图像射出部射出的图像光在由配置于所述光学机构的内面的反射镜反射后在所述第一面和第二面至少全反射一次而被传递至光学元件。

5.根据权利要求4所述的能够提供近距离的增强现实用图像的增强现实用光学装置，其特征在于，

所述倾斜角(θ)是基于对应于与从图像射出部射出的增强现实用图像相应的图像光的增强现实用图像的焦距(D)和从所述图像射出部入射至光学机构的反射镜的面积(S)来设定的。

6.根据权利要求5所述的能够提供近距离的增强现实用图像的增强现实用光学装置，其特征在于，

所述倾斜角(θ)是基于tan^-1(S/D)的数学式来设定的。

7.根据权利要求6所述的能够提供近距离的增强现实用图像的增强现实用光学装置，其特征在于，

所述倾斜角(θ)具有0.015°～4.6°范围内的值。

8.根据权利要求1所述的能够提供近距离的增强现实用图像的增强现实用光学装置，其特征在于，

所述光学机构的第一面和第二面中的至少一个的至少一部分形成为曲面。

9.根据权利要求1所述的能够提供近距离的增强现实用图像的增强现实用光学装置，其特征在于，

所述光学机构的第一面和第二面部分地具有倾斜角(θ)。