CN109643157A - 用于增强现实的设备和方法 - Google Patents

Abstract

本发明公开用于在现实上投影由手提式装置(100)产生的内容的附件和方法。附件(2)包括被配置用于机械附接到所述手提式装置的外壳(102)，和在所述外壳内的观测光学器件(108)，所述观测光学器件被配置成经由透视显示器(23)在现实上投影由所述手提式装置产生的内容的图像。在一些应用中，所述手提式装置是智能电话。

Description

用于增强现实的设备和方法

技术领域

本发明涉及使用智能电话的增强现实应用。

背景技术

增强现实使用现实的直接或间接观测，其中通过在现实上叠加额外信息(通常，计算机产生的信息)来进一步增强现实。使用现实的直接观测的装置通常含有透视显示器，即，半透明镜(通常被称作组合器)，通过所述透视显示器，可观察到现实且将其与叠加信息组合。

这些装置通常含有例如GPS的定位元件和进一步含有陀螺仪、加速度计和磁力计的例如IMU(惯性测量单元)的定向元件。

此增强现实装置的实例为HMD(头戴式显示器)，例如，微软的全息透镜(HoloLens)。与规则的眼戴设备相比，这些装置通常体积大且较重，不太舒适，不太美且昂贵。这些缺点位列阻止HMD得到广泛消费者接受的主要障碍其中。

为了克服这些缺点，进行将移动电话用于增强现实应用的尝试。移动电话含有内置相机、GPS、IMU、显示器、处理器和无线连接性，且广泛地用作消费者产品。因而，移动电话使自身成为用于增强现实应用的平台。然而，移动电话只实现现实在其显示屏上的间接观测。因此，当使用用于增强现实的智能电话应用时，将叠加的信息与由电话相机获取的现实的图像组合，而非与现实自身组合。

用于增强现实的移动电话应用包括由(例如)Layar和Metaio开发的应用。

由于现实的观测是间接的，即，仅如与现实自身相反的现实的影响显现于智能电话显示屏上，因此如上所述的移动电话应用具有显著的缺点，因为显示图像是2D，取决于相机视野，且因而既不提供距离的感知，也不提供物体的维度的感知，从而使定向非常困难。

在智能电话上提供增强现实的另一尝试是引入具有透明显示屏的电话，即，联想的Zuk(http://gadgets.ndtv.com/mobiles/news/lenovos-zuk-unveils-transparent- display-smartphone-prototype-728043)。在这个应用中，用户可通过透明屏幕观测现实，同时将额外信息显示于显示屏上。主要缺点在于，由于视差，不能将显示的信息与风景对准，即，即使电话稳定且用户移动他/她的头，关于风景的注记的位置仍将改变。这是因为风景远(通常数十到数百米)，而电话显示器近(通常，23到30cm)。

发明内容

本发明通过将规则移动电话用作如本来已知的增强现实装置来克服以上缺点，但具有组合在现实自身上叠加而非在现实的图像上叠加的信息的进一步增强。以此方式，本发明提供无视差地组合叠加，下文将对其进行清楚描述。

根据本发明的增强现实系统还实现由用户标示真实物体(例如，建筑物)，并且使用电话位置、相机定向和物体图像从数据库(例如，街景(Street View))提取其位置。

类似地，当物体的位置已知时，系统可将用户指引到物体，且将其标示。

在两个情况中，一旦已标示物体，可从例如街景的数据库提取那个物体的高分辨率图像。

一旦已从数据库提取物体的高分辨率图像，那么可在实现中叠加图像，从而实现由用户执行电子放大和缩小操作。

在不存在此数据库的情况下，到物体的距离可基于它的图像，使用例如深度学习(Deep Learning)(即，Yann LeCun，Yoshua Bengio&Geoffrey Hinton，“深度学习”，自然，第521卷，第436-444页，2015)从所述图像来确定/估计，而不依赖已知坐标。对于训练此类方法，给予训练算法具有到每一图像中的至少一个目标位置的已知深度(图像中的点距相机的距离)的图像的大数据集。从这个训练集，算法自动确定用于到新图像中的所要的位置的距离估计的一组参数。

附图说明

为了理解本发明且看看实践中可将其进行的方式，现将仅通过非限制性实例，参看附图来描述实施例，其中：

图1是展示观测器机械附接到的智能电话的本发明的示意性表示；

图2是展示根据本发明的第一实施例的观测器的功能性的框图；

图3示意性展示根据本发明的第二实施例的与智能电话的显示屏成关系的观测器的光学组件；

图4示意性展示根据第二实施例的对应于所关注的区域的智能电话的显示屏的一部分；

图5a是根据第二实施例的附接到智能电话的观测器的图画表示；

图5b图画展示与智能电话的显示屏成关系的观测器的光学组件；

图6是示意性展示本发明的第三实施例的框图；且

图7是总结根据本发明的不同实施例的可标示物体的方式的流程图。

具体实施方式

在一些实施例的以下描述中，在不止一个图中出现或共享类似功能性的相同组件将由相同参考符号来参考。

图1示意性描绘展示观测器2(由附件构成)机械附接到的智能电话100的本发明的实施例。如在图2中展示的观测器2包括一外壳102，其含有耦合到光学引擎22的控制器21，所述光学引擎22可任选地为Lumus OE-32(见http://lumus-optical.com/#plx products section)，具有透视显示器(组合器)23，其部分透明，使得用户可通过它观察到真实风景。透视显示器23也用来投影由风景之上的智能电话100产生的信息。

观测器2的第一实施例进一步在图2中详述。控制器21具有USB接收器25，其被配置用于连接到智能电话的USB端口(未展示)，并且将由电话产生的USB信号分裂到其组件，即，控制(所属领域中已知的I²C，集成电路总线)、功率和视频。USB接收器还将视频信号转换到并行的24位RGB信号。这转换的视频信号被传送到帧速率转换器(FRC)26，其增大视频帧速率以匹配转换的视频信号由FRC 26馈入到的微显示器27。微显示器27可为有机LED(OLED)，但如果它是LCOS(硅上液晶)，那么达成更高的照明强度。如果微显示器27基于LCOS技术建置，那么将I²C信号馈入到脉冲宽度调制器(PWM)28，其控制照射微显示器的LED 32的强度。LCOS微显示器27经由耦合光学器件30将图像馈入到透视显示器23，该耦合光学器件30将由微显示器产生的图像光学投影到透视显示器。I²C信号还用来控制微显示器27和FRC 26。在不太优选的情况中，微显示器27是OLED，省略PWM 28和LED 32，并且I²C直接控制OLED。经由USB接收器25将电力馈入到相关组件，即，微显示器27和LED 32。替代地，可使用外部电池(未展示)使电话电池的排放最小化。

替代地，替代使用电话USB接口，可使用诸如Moto-Z接口(http://newatlas.com/ moto--z--review/44485/)的不同电话连接。

在透视显示器23上显示的图像叠加于真实风景上，优选地，以无限方式，因此在风景与叠加信息之间不存在视差。

另一实施例示意性地展示于图3和图4中。观测器2的外壳102直接或使用适配器机械附接到智能电话100。将附件附接到智能电话的机械方式在所属领域中是已知的，即，Miggo的Pictar iPhone相机附件(https://www.dpreview.com/news/1219763835/miggo- wants-to-dslr-your-iphone-with-the-pielar-grip)或用于智能电话的Zeiss的镜头附件(http://petapixei.com/2016/01/06/zeiss-is-jumping-into-the-world-of- smartphone-lens-accessores/)。在智能电话显示屏200上显示的信息(在这个实例中，在图4中的所关注的区域201上的数字“1234”)由观测器2投影到真实风景上。现将解释进行此的方式。

因此，观测器2包括镜子104，其具有引向智能电话显示屏200的反射表面，以便将来自它的光向上引导到大体展示为108的光学器件。光学器件108创建在电话显示屏上显示的信息的图像，优选地，以无限方式，使得不存在与风景的视差。光学器件108也可与聚焦机构(未展示)集成或耦合，用于上下移动光学器件108，使得显示的信息出现在与无限不同的距离处，小到优选地数米，以便使观测器的使用适于室内应用。半透明镜子(组合器)106将这个图像引到观察者的眼睛203。因此，观察者看到叠加于真实风景上的无限的投影信息200'，所述真实风景也由观察者通过半透明镜子106看到。

此实施例的更详细描述展示于图5a和图5b中。观测器2附接到智能电话100。观察者203(图3)通过开口103观察风景和叠加的信息。

光学器件108的更多细节展示于图5b中。光学器件108含有两个相同偶极子108'、108”，其被设计使得其组合的后焦面通过镜子104的图像与智能电话显示屏200重合。结果，无限地创建智能电话显示屏的图像。还在图5b中展示的是场透镜107，其用以校正在视野之边缘处的失真及象差。

此实施例的典型参数如下：

■所关注的区域201的尺寸是40mm(水平)和22.5mm(垂直)。

■光学器件108具有通常75mm的焦距，且因此，所关注的区域201经投影到30°(水平)和16.7°(垂直)的视野。

另一实施例将智能电话显示屏用作到耦合光学器件30(图2中展示)而非微显示器27的输入。

对所属领域的技术人员明显的是，可进行具有不同参数的类似设计以导致不同视野。

图6展示另一实施例，其中耦合光学器件30将图像直接从智能电话显示屏200上的所关注的区域201投影到透视显示器23。耦合光学器件适合所关注的区域201的大小。透视显示器23可为在诸如谷歌眼镜、Epson Moverio、ODG R-7、Vuzix智能眼镜的智能眼镜中使用的类似透视显示器。透视显示器可为基于波导的显示器中的一个，诸如，在以上提及的Lumus OE-32(由Lumus称作“LOE”或“反射性光学波导”)或微软的全息透镜(HoloLens)中使用的显示器。

为了在物体上(在现实上或在其图像上)叠加信息，重要的是直接标示物体，即，电话的位置、观测它和应知道其图像的方向和距离。实现物体对位于不同位置的另一观测器的标示，这也是重要的。在一些情况下，例如，当隔一段距离观测时，不管是在使用在图1中展示为101的电话相机的显示屏上还是裸眼，不能清晰地观察到物体。在此等情况中，还重要的是，给用户提供高解析度图像，且将其叠加于物体上(在显示屏上或在实现中)。

存在对图像放大/缩小的两种方式。“常规”方式是使用光学变焦以通过使用变焦透镜来改变光学器件的焦距。当焦距增大时，视野变得较窄(被称作“放大”)，且当焦距减小时，视野变得较宽(被称作“缩小”)。

数码相机中常见的另一方式是通过只看图像的一部分并使用数字技术将其放大以叠加所有屏幕区域来放大图像。这通常叫作“电子变焦”。

本发明提供改善的变焦，如下。一旦已标示物体，那么物体的高分辨率图像从数据库(例如，街景)提取，且叠加于现实(其图像)上。按这方式，我们提供看到物体的高解析度图像的能力，即使观察者与他的智能电话一起位于不允许物体的高分辨率成像的一段距离处。

如所解释，可标示物体的方式可按两种方式中的任一个来进行：

1.如在图7中所展示，用户将观测器引到物体。电话位置和定向以及由电话相机获取的物体的图像用来从例如街景的数据库提取物体数据，即，坐标和图像。这可如下进行。使用电话相机位置和方向，计算物体的粗略位置。现在，将由电话相机获取的物体的图像与在这个粗略位置处的街景数据库中的图像匹配，且在街景数据库中识别所述物体。街景数据库含有街景相机的位置，以及从相机到物体的距离和方向。使用这个数据，可确定物体的位置。

2.系统使用物体的已知位置坐标将用户引导到物体。已知坐标还被发送到例如街景的数据库。

在两种情况中，一旦已从数据库提取物体的高分辨率图像，那么可变换图像使得其显得如从电话位置看到一样，且在实现中叠加图像，从而实现由用户执行电子放大和缩小操作。

Claims (17)

1.一种用于在现实上投影由手提式装置(100)产生的内容的附件(2)，所述附件包括：

外壳(102)，其被配置为机械附接到所述手提式装置，以及

所述外壳内的观测光学器件(108)，其被配置成经由透视显示器(23)在现实上投影由所述手提式装置产生的内容的图像。

2.根据权利要求1所述的附件，其中所述手提式装置(100)为智能电话。

3.根据权利要求1或2所述的附件，进一步包含控制器(21)，其被配置用于接收电子信号且将所述电子信号转换成由所述观测光学器件在现实上投影的图像。

4.根据前述权利要求中任一权利要求所述的附件，其中所述内容显示于所述手提式装置的显示屏(200)上，且所述查看光学器件(108)被配置成获得在所述手提式装置的所述显示屏上显示的所述图像的至少一部分，且将所述图像的所述部分投影于外部现实上。

5.根据权利要求4所述的附件，其中所述透视显示器为半透明镜子(106)。

6.根据权利要求4所述的附件，其中所述透视显示器为光学波导。

7.一种用于确定由其空间位置已知的手提式相机(101)成像的物体的空间中位置的方法，所述方法包括：

使用所述相机的所述已知位置，结合所述相机相对于所述物体的观测方向以及所述物体的图像，以找到含有物体图像的数据库中的记录和关于其相应位置的信息；以及

从所述数据库提取所述物体的所述位置。

8.根据权利要求7所述的方法，包含从所述数据库提取所述物体的高分辨率图像。

9.根据权利要求8所述的方法，包含从所述数据库提取的所述图像的变换，以便创建从所述相机的所述位置观察的所述物体的图像。

10.根据权利要求7到9中任一权利要求所述的方法，包含在显示屏上显示所述图像。

11.根据权利要求10所述的方法，包含在现实的图像上叠加所述图像。

12.根据权利要求10所述的方法，包含在现实上叠加所述图像，其中所述显示屏为透视显示器。

13.一种用于投影其位置已知的物体的图像的方法，所述方法包括：

使用所述物体的所述已知位置在包含物体图像和其相应位置信息的数据库中找到记录；

从所述数据库提取所述物体的图像；以及

在叠加于现实中的透视显示器上显示所述图像。

14.一种用于从数据库提取具有第一已知位置的物体的图像和在位于第二已知位置的透视显示器上显示所述物体的方法，其中所述数据库含有物体的图像和其相应位置，所述方法包括：

使用所述物体的所述第一已知位置在所述数据库中找到对应于所述物体的记录，

从所述数据库提取所述物体的图像；

变换所述图像，以便创建从所述透视显示器的所述第二已知位置观察的所述物体的图像，以及

在与现实或现实的图像叠加的所述透视显示器上显示所述变换的图像。

15.根据权利要求10到14中任一权利要求所述的方法，包括以电子方式放大或缩小所述显示图像。

16.一种用于估计物体与相机之间的距离的方法，所述方法包括：

使用由所述相机获取的所述物体的图像，并进行深度学习。

17.根据权利要求16所述的方法，其中所述物体为建筑物。