CN109643157B - 用于增强现实的设备和方法 - Google Patents

Abstract

本发明公开用于在现实上投影由手提式装置(100)产生的内容的附件和方法。附件(2)包括被配置用于机械附接到所述手提式装置的外壳(102)，和在所述外壳内的观测光学器件(108)，所述观测光学器件被配置成经由透视显示器(23)在现实上投影由所述手提式装置产生的内容的图像。在一些应用中，所述手提式装置是智能电话。

Description

用于增强现实的设备和方法

技术领域

本发明涉及使用智能电话的增强现实应用。

背景技术

增强现实使用现实的直接或间接观测，其中通过在现实上叠加额外信息（通常，计算机产生的信息）来进一步增强现实。使用现实的直接观测的装置通常含有透视显示器，即，半透明镜（通常被称作组合器），通过所述透视显示器，可观察到现实且将其与叠加信息组合。

这些装置通常含有例如GPS的定位元件和进一步含有陀螺仪、加速度计和磁力计的例如IMU（惯性测量单元）的定向元件。

此增强现实装置的实例为HMD（头戴式显示器），例如，微软的全息透镜（HoloLens）。与规则的眼戴设备相比，这些装置通常体积大且较重，不太舒适，不太美且昂贵。这些缺点位列阻止HMD得到广泛消费者接受的主要障碍其中。

为了克服这些缺点，进行将移动电话用于增强现实应用的尝试。移动电话含有内置相机、GPS、IMU、显示器、处理器和无线连接性，且广泛地用作消费者产品。因而，移动电话使自身成为用于增强现实应用的平台。然而，移动电话只实现现实在其显示屏上的间接观测。因此，当使用用于增强现实的智能电话应用时，将叠加的信息与由电话相机获取的现实的图像组合，而非与现实自身组合。

用于增强现实的移动电话应用包括由（例如）Layar和Metaio开发的应用。

由于现实的观测是间接的，即，仅如与现实自身相反的现实的影响显现于智能电话显示屏上，因此如上所述的移动电话应用具有显著的缺点，因为显示图像是2D，取决于相机视野，且因而既不提供距离的感知，也不提供物体的维度的感知，从而使定向非常困难。

在智能电话上提供增强现实的另一尝试是引入具有透明显示屏的电话，即，联想的Zuk（http://gadgets.ndtv.com/mobiles/news/lenovos-zuk-unveils-transparent- display-smartphone-prototype-728043）。在这个应用中，用户可通过透明屏幕观测现实，同时将额外信息显示于显示屏上。主要缺点在于，由于视差，不能将显示的信息与风景对准，即，即使电话稳定且用户移动他/她的头，关于风景的注记的位置仍将改变。这是因为风景远（通常数十到数百米），而电话显示器近（通常，23到30 cm）。

发明内容

本发明通过将规则移动电话用作如本来已知的增强现实装置来克服以上缺点，但具有组合在现实自身上叠加而非在现实的图像上叠加的信息的进一步增强。以此方式，本发明提供无视差地组合叠加，下文将对其进行清楚描述。

根据本发明的增强现实系统还实现由用户标示真实物体（例如，建筑物），并且使用电话位置、相机定向和物体图像从数据库（例如，街景（Street View））提取其位置。

类似地，当物体的位置已知时，系统可将用户指引到物体，且将其标示。

在两个情况中，一旦已标示物体，可从例如街景的数据库提取那个物体的高分辨率图像。

一旦已从数据库提取物体的高分辨率图像，那么可在实现中叠加图像，从而实现由用户执行电子放大和缩小操作。

在不存在此数据库的情况下，到物体的距离可基于它的图像，使用例如深度学习（Deep Learning）（即，Yann LeCun，YoshuaBengio& Geoffrey Hinton，“深度学习”，自然，第521卷，第436-444页，2015）从所述图像来确定/估计，而不依赖已知坐标。对于训练此类方法，给予训练算法具有到每一图像中的至少一个目标位置的已知深度（图像中的点距相机的距离）的图像的大数据集。从这个训练集，算法自动确定用于到新图像中的所要的位置的距离估计的一组参数。

附图说明

为了理解本发明且看看实践中可将其进行的方式，现将仅通过非限制性实例，参看附图来描述实施例，其中：

图1是展示观测器机械附接到的智能电话的本发明的示意性表示；

图2是展示根据本发明的第一实施例的观测器的功能性的框图；

图3示意性展示根据本发明的第二实施例的与智能电话的显示屏成关系的观测器的光学组件；

图4示意性展示根据第二实施例的对应于所关注的区域的智能电话的显示屏的一部分；

图5a是根据第二实施例的附接到智能电话的观测器的图画表示；

图5b图画展示与智能电话的显示屏成关系的观测器的光学组件；

图6是示意性展示本发明的第三实施例的框图；且

图7是总结根据本发明的不同实施例的可标示物体的方式的流程图。

具体实施方式

在一些实施例的以下描述中，在不止一个图中出现或共享类似功能性的相同组件将由相同参考符号来参考。

图1示意性描绘展示观测器2（由附件构成）机械附接到的智能电话100的本发明的实施例。如在图2中展示的观测器2包括一外壳102，其含有耦合到光学引擎22的控制器21，所述光学引擎22可任选地为Lumus OE-32（见http://lumus-optical.com/#plx productssection），具有透视显示器（组合器）23，其部分透明，使得用户可通过它观察到真实风景。透视显示器23也用来投影由风景之上的智能电话100产生的信息。

观测器2的第一实施例进一步在图2中详述。控制器21具有USB接收器25，其被配置用于连接到智能电话的USB端口（未展示），并且将由电话产生的USB信号分裂到其组件，即，控制（所属领域中已知的I²C，集成电路总线）、功率和视频。USB接收器还将视频信号转换到并行的24位RGB信号。这转换的视频信号被传送到帧速率转换器（FRC）26，其增大视频帧速率以匹配转换的视频信号由FRC 26馈入到的微显示器27。微显示器27可为有机LED（OLED），但如果它是LCOS（硅上液晶），那么达成更高的照明强度。如果微显示器27基于LCOS技术建置，那么将I²C信号馈入到脉冲宽度调制器（PWM）28，其控制照射微显示器的LED 32的强度。LCOS微显示器27经由耦合光学器件30将图像馈入到透视显示器23，该耦合光学器件30将由微显示器产生的图像光学投影到透视显示器。I²C信号还用来控制微显示器27和FRC 26。在不太优选的情况中，微显示器27是OLED，省略PWM 28和LED 32，并且I²C直接控制OLED。经由USB接收器25将电力馈入到相关组件，即，微显示器27和LED 32。替代地，可使用外部电池（未展示）使电话电池的排放最小化。

替代地，替代使用电话USB接口，可使用诸如Moto-Z接口（http://newatlas.com/moto--z--review/44485/）的不同电话连接。

在透视显示器23上显示的图像叠加于真实风景上，优选地，以无限方式，因此在风景与叠加信息之间不存在视差。

另一实施例示意性地展示于图3和图4中。观测器2的外壳102直接或使用适配器机械附接到智能电话100。将附件附接到智能电话的机械方式在所属领域中是已知的，即，Miggo的Pictar iPhone相机附件（https://www.dpreview.com/news/1219763835/miggo- wants-to-dslr-your-iphone-with-the-pielar-grip）或用于智能电话的Zeiss的镜头附件（http://petapixei.com/2016/01/06/zeiss-is-jumping-into-the-world-of-smartphone-lens-accessores/）。在智能电话显示屏200上显示的信息（在这个实例中，在图4中的所关注的区域201上的数字“1234”）由观测器2投影到真实风景上。现将解释进行此的方式。

因此，观测器2包括镜子104，其具有引向智能电话显示屏200的反射表面，以便将来自它的光向上引导到大体展示为108的光学器件。光学器件108创建在电话显示屏上显示的信息的图像，优选地，以无限方式，使得不存在与风景的视差。光学器件108也可与聚焦机构（未展示）集成或耦合，用于上下移动光学器件108，使得显示的信息出现在与无限不同的距离处，小到优选地数米，以便使观测器的使用适于室内应用。半透明镜子（组合器）106将这个图像引到观察者的眼睛203。因此，观察者看到叠加于真实风景上的无限的投影信息200'，所述真实风景也由观察者通过半透明镜子106看到。

此实施例的更详细描述展示于图5a和图5b中。观测器2附接到智能电话100。观察者203（图3）通过前开口103观察风景和叠加的信息。如图5a和图5b所示，外壳102具有正面和背面，前开口103从正面延伸至背面，使用者可通过该开口观察现实。外壳的背面具有后开口109。外壳102被配置为机械附接到智能电话，后开口与智能电话的显示屏200的一部分201重叠。半透明镜106放置在前开口中，并位于所述正面和背面之间。观测光学器件108通过后开口109获取由智能电话100生成并显示在显示屏200的一部分201中的信息图像，并将信息图像投影在半透明镜106上，以将信息图像导向使用者的眼睛203，使得持有安装有所述附件的智能电话的使用者可通过前开口103看到叠加在现实上的信息图像。

光学器件108的更多细节展示于图5b中。光学器件108含有两个相同偶极子108'、108''，其被设计使得其组合的后焦面通过镜子104的图像与智能电话显示屏200重合。结果，无限地创建智能电话显示屏的图像。还在图5b中展示的是场透镜107，其用以校正在视野之边缘处的失真及象差。

此实施例的典型参数如下：

■所关注的区域201的尺寸是40 mm（水平）和22.5 mm（垂直）。

■光学器件108具有通常75 mm的焦距，且因此，所关注的区域201经投影到30°（水平）和16.7°（垂直）的视野。

另一实施例将智能电话显示屏用作到耦合光学器件30（图2中展示）而非微显示器27的输入。

对所属领域的技术人员明显的是，可进行具有不同参数的类似设计以导致不同视野。

图6展示另一实施例，其中耦合光学器件30将图像直接从智能电话显示屏200上的所关注的区域201投影到透视显示器23。耦合光学器件适合所关注的区域201的大小。透视显示器23可为在诸如谷歌眼镜、Epson Moverio、ODG R-7、Vuzix智能眼镜的智能眼镜中使用的类似透视显示器。透视显示器可为基于波导的显示器中的一个，诸如，在以上提及的Lumus OE-32（由Lumus称作“LOE”或“反射性光学波导”）或微软的全息透镜（HoloLens）中使用的显示器。

为了在物体上（在现实上或在其图像上）叠加信息，重要的是直接标示物体，即，电话的位置、观测它和应知道其图像的方向和距离。实现物体对位于不同位置的另一观测器的标示，这也是重要的。在一些情况下，例如，当隔一段距离观测时，不管是在使用在图1中展示为101的电话相机的显示屏上还是裸眼，不能清晰地观察到物体。在此等情况中，还重要的是，给用户提供高解析度图像，且将其叠加于物体上（在显示屏上或在实现中）。

存在对图像放大/缩小的两种方式。“常规”方式是使用光学变焦以通过使用变焦透镜来改变光学器件的焦距。当焦距增大时，视野变得较窄（被称作“放大”），且当焦距减小时，视野变得较宽（被称作“缩小”）。

数码相机中常见的另一方式是通过只看图像的一部分并使用数字技术将其放大以叠加所有屏幕区域来放大图像。这通常叫作“电子变焦”。

本发明提供改善的变焦，如下。一旦已标示物体，那么物体的高分辨率图像从数据库（例如，街景）提取，且叠加于现实（其图像）上。按这方式，我们提供看到物体的高解析度图像的能力，即使观察者与他的智能电话一起位于不允许物体的高分辨率成像的一段距离处。

如所解释，可标示物体的方式可按两种方式中的任一个来进行：

1.如在图7中所展示，用户将观测器引到物体。电话位置和定向以及由电话相机获取的物体的图像用来从例如街景的数据库提取物体数据，即，坐标和图像。这可如下进行。使用电话相机位置和方向，计算物体的粗略位置。现在，将由电话相机获取的物体的图像与在这个粗略位置处的街景数据库中的图像匹配，且在街景数据库中识别所述物体。街景数据库含有街景相机的位置，以及从相机到物体的距离和方向。使用这个数据，可确定物体的位置。

2.系统使用物体的已知位置坐标将用户引导到物体。已知坐标还被发送到例如街景的数据库。

在两种情况中，一旦已从数据库提取物体的高分辨率图像，那么可变换图像使得其显得如从电话位置看到一样，且在实现中叠加图像，从而实现由用户执行电子放大和缩小操作。

Claims (16)

1.一种用于增强现实的附件，其被配置为安装在手提式装置的显示屏（200）上的观测器，用于将所述显示屏（200）上显示的信息投影到现实上，从而将手提式装置转换为手提式增强现实装置，所述附件包括：

外壳（102），其具有：

正面和背面，

前开口（103），其从所述正面延伸至所述背面，使用者可通过该开口观察现实，

所述背面的后开口（109），

所述外壳（102）被配置为机械附接到所述手提式装置，所述后开口与所述显示屏（200）的一部分（201）重叠；

半透明镜（106），其放置在所述前开口中，并位于所述正面和背面之间；

所述外壳内的观测光学器件（108），其被配置成通过所述附件的后开口（109）获取由所述手提式装置生成并显示在所述显示屏（200）的一部分（201）中的信息图像，并将所述信息图像投影在所述半透明镜（106）上，以将所述信息图像导向使用者的眼睛（203），使得持有安装有所述附件的所述手提式装置的所述使用者可通过所述附件的前开口（103）看到叠加在所述现实上的所述信息图像。

2.根据权利要求1所述的用于增强现实的附件，其中所述手提式装置为智能电话（100）。

3.根据权利要求1或2所述的用于增强现实的附件，其中所述观测光学器件包括：

镜子（104），具有指向所述显示屏（200）的反射面，以将来自该显示屏（200）的光导向光学器件（108），该光学器件（108）被配置为产生显示在所述显示屏上的所述信息图像。

4.根据权利要求3所述的用于增强现实的附件，其中所述光学器件（108）包括一对光学双透镜（108¢, 108²），其设计成使所述光学双透镜组合的后焦面的图像通过所述镜子（104）与所述显示屏（200）重合。

5.根据权利要求3所述的用于增强现实的附件，其中所述光学器件（108）与用于移动所述光学器件的聚焦机构集成或耦合，以使显示的信息看起来不会无限远，适于观看者在室内使用。

6.根据权利要求1或2所述的用于增强现实的附件，还包括场透镜（107），其被配置为校正所述观测光学器件的视野边缘处的失真及象差。

7.根据权利要求1或2所述的用于增强现实的附件，其中，所述外壳的尺寸适于捕获所述显示屏的缩小部分的图像，所述显示屏的其余部分不会被所述外壳遮挡。

8.根据权利要求4所述的用于增强现实的附件，其中所述光学器件（108）与用于移动所述光学器件的聚焦机构集成或耦合，以使显示的信息看起来不会无限远，适于观看者在室内使用。

9.根据权利要求的1所述的用于增强现实的附件，其还被配置为获取由所述手提式装置显示的特定物体的高分辨率图像，并将所述高分辨率图像叠加在现实上。

10.根据权利要求9所述的用于增强现实的附件，其被配置为从数据库中提取所述物体的高分辨率图像，并对所述图像进行转换，使其看起来像是从所述手提式装置的位置看到的，使用户能够执行电子放大和缩小操作。

11.一种用于增强现实的附件，其被配置为安装在手提式装置上的观测器，用于将手提式装置产生的信息投影到现实上，从而将所述手提式装置转换为手提式增强现实设备，所述附件包括：

外壳（102），其被配置为机械附接到所述手提式装置；

所述外壳内的透视显示器（23），该显示器是部分透明的，使用户可通过该显示器观察现实；

所述外壳内的控制器（21），其被配置为从所述手提式装置接收表示所述信息的电子信号并将所述电子信号转换为图像，以及

所述外壳内的观测光学器件，其被配置为将所述信息图像光学投影到所述透视显示器上，通过该透视显示器，持有安装有所述附件的所述手提式装置的使用者看到覆盖在所述现实上的所述信息图像。

12.根据权利要求11所述的用于增强现实的附件，其中

所述控制器（21）被配置为连接到所述手提式装置的数据总线，以从所述手提式装置接收表示所述信息的数据信号，并且将转换后的视频信号馈送到微显示器（27），以显示表示所述信息的图像；

所述观测光学器件是耦合光学器件（30），其将由微显示器产生的图像光学投影到所述透视显示器（23）。

13.根据权利要求12所述的用于增强现实的附件，其中所述微显示器（27）是硅上液晶，所述数据信号被馈送到适于控制所述微显示器的发光强度的脉冲宽度调制器（28）。

14.根据权利要求11或13所述的用于增强现实的附件，其中所述透视显示器为光学波导。

15.根据权利要求的11所述的用于增强现实的附件，其还被配置为获取由所述手提式装置显示的特定物体的高分辨率图像，并将所述高分辨率图像叠加在现实上。

16.根据权利要求15所述的用于增强现实的附件，其被配置为从数据库中提取所述物体的高分辨率图像，并对所述图像进行转换，使其看起来像是从所述手提式装置的位置看到的，使用户能够执行电子放大和缩小操作。

Images