CN105899911B - 用于增强现实支持的系统和方法 - Google Patents

Abstract

公开了用于提供加强的增强现实特征和加强的方法和系统，诸如使用照明系统（100）中的照明单元（LU1）以改进增强现实设备（20）的性能的AR支持系统（100）。照明系统（100）还可以利用增强现实设备（20）的特征来改进照明系统（100）的安全性和性能。照明单元（LU1）包括传感器和通信能力，其检测关于增强设备何时将需要照明网络进行帮助的情况。最后，还描述了向增强现实设备提供帮助信息同时优化能量节省的方法。

Description

用于增强现实支持的系统和方法

本发明涉及用于提供加强型增强现实特征的方法和系统，特别地使用照明系统和网络来改进增强现实设备的性能的信息支持方法和系统。照明系统还可以利用增强现实设备来改进照明系统的安全性和性能。

增强现实（AR）是其物理真实环境的实况、直接或间接视图，其元素通过计算机生成的感官输入（诸如声音、视频、图形或GPS数据）而增强（或增补）。其涉及被称为居间现实的更一般概念，其中现实的视图由计算机修改（可能地甚至减弱而非增强）。作为结果，技术通过加强人们对现实的当前感知而起作用。增强通常是实时的并且在具有环境元素的语义上下文中，诸如在比赛期间电视上的运动成绩。在加强的AR技术（例如添加计算机视觉和对象识别）的帮助下，关于用户周围真实世界的信息变为互动并且数字可操控的。关于环境及其对象的人工信息可以叠覆在真实世界上。

随着智能电话以及诸如谷歌“眼镜”之类较新技术的增加，增强现实正变得无处不在。预期到AR在将来变得甚至更普遍。此外，由于汽车挡风玻璃上的抬高显示器方面的快速发展，AR正变为汽车产业中的重要议题。

对于任何AR应用而言，相机视图与信息/可视化层的对准是关键的。常规地，这使用嵌入在AR设备中的一个或多个传感器完成。传感器可以包括用于位置的GPS、罗盘和/或用于方位的加速度计。然而，因为这些传感器不足够准确并且有时候不提供可靠信息（由于信号丢失），所以它们通常增补有图像处理并且有时候甚至用图像处理替换，其中相机视图中的环境的唯一特征被分析和匹配以用于精准定位和对准。这些特征可能特别地是街道特征、建筑物边缘、唯一建筑物轮廓等，并且在比如谷歌地图之类的应用中容易可获得。例如，这样的常规特征在US20120293548和US20110199479中公开。

增强现实向不同应用领域中的发展开始于智能电话、汽车挡风玻璃上的抬高显示器和增强眼镜。现今的智能电话和平板已经具有可用于提供增强现实应用的所有资源（显示器、相机、图像处理、位置和方位感测、互联网连接性）。类似设施开始出现于机动车产业中，通过抬高显示器方面的发展而驱动，其提供向驾驶员告知导航和交通情况的更安全方式，并且其中还持续出现其他所要求的资源。

尽管基于AR的应用提供许多令人激动的可能性这一事实，但是存在许多缺点。第一个是针对良好照明条件的需要。为了具有真实图像与虚拟叠覆的近乎完美的对准，AR应用需要处理强烈地受光条件影响的相机图片信息。作为结果，这样的应用的性能将在傍晚和深夜期间明显降级。

另外，为了使AR设备有用，AR设备将需要较小，其可能使它们是资源有限的。因此，AR设备将需要来自外部计算资源的帮助以加强其可用性和性能。例如，如果你在深夜存在低光水平的区域中走动，则AR设备上的相机传感器的性能可能受损。其中AF设备的性能可能受阻的另一情况是在其中驾驶员难以看到远在他们前方的对象的有雾道路上。甚至在汽车上安装相机的情况下，所捕获的图像可能是不清楚的。一般的问题是确定在某些情况（行人区域中的低光水平；有雾道路等）下提供帮助所需要的是哪种类型信息、如何收集它以及如何与AR设备通信。

因而，现有技术中存在针对解决以上所述传统系统的缺点的系统和方法的需要。

本发明的一方面是使用可以遍及位置或城市部署的传感器以提供可以由AR设备使用的不同类型数据来改进性能。在这方面，智能照明系统可以用于向AR设备提供附加信息。

例如，本发明可以使用由室外照明设施在夜晚期间所提供的照明线索以增加AR设备的性能和满意度。

本发明还可以使用增强现实支持系统以帮助增加性能并且优化照明系统的能量节省。常规智能照明系统是已知的，其可以基于存在检测来调暗或增大光输出，例如道路上的汽车或者人行道上的人员。当检测事件发生时，来自照明单元的光水平输出可以在某一时间增加。这增加安全性并且加强可见性，但是降低能量节省。在增强现实的帮助下，光水平输出不需要在检测发生时总是增加至相同水平。

本发明的一方面是增强现实支持系统，其中AR设备与智能照明系统交换信息。照明系统包括具有通信能力的启用传感器的设备（诸如相机、存在检测设备、能够对不同对象分类的其它传感器，并且可能地甚至3D建模）。信息的交换取决于特定检测事件或情况而可以包括所标识的附近对象、障碍物、历史信息和环境条件（低光水平、雾等）。

AR支持系统可以向AR设备提供支持信息和帮助，包括图像、3D对象模型、到某些位置处的对象的距离、以及执行照明控制动作以支持增强设备而同时最大化能量节省。例如，光水平输出可以增加，但是在低得多的照明水平处，基于AR设备的能力。例如，这可以包括投影变换和图像配准技术来以附近以及更远的对象均变得“清楚”的方式重叠多个图像并且将所重叠的图像传送给增强设备。

本发明的另一方面是使用来自室外照明设施（例如街道照明）的线索和/或代码以用于提供针对AR视图与真实世界画像的对准的信息。使用位置方法，诸如GPS罗盘和加速度计，通过AR设备做出相机视点的粗略估计。该粗略估计利用来自在AR设备的相机的视图内承载唯一标识符（例如编码光）的一个或多个光点的信息而增强。可替换地，对准AR视图可以是基于检测由一个或多个光生成设备所生成的光图案（包括时间编码光图案和/或相机视图内的多个光源的空间光图案）。相比于常规方法，由光点提供的附加信息允许改进的对准。

本发明的一个实施例针对用于改进AR设备的性能的方法。方法包括以下步骤：通过AR设备从照明系统中的照明单元接收编码信号，以及处理编码信号以改进AR设备的视图的对准。

在本发明的另一实施例中，AR设备包括布置成从照明系统中的照明单元接收编码信号的传感器、显示器、以及布置成使用编码信号来改进显示器上的视图的对准的处理器。

本发明的另一实施例针对AR支持系统，其包括具有多个照明单元的照明系统。照明单元各自包括传感器和通信接口。AR支持系统还包括控制单元，其具有布置成与照明单元中的一个或多个通信的通信单元。通信接口还用于在一个或多个AR设备之间传送和/或接收数据。

一般地，本发明的各个方面和实施例可以以在本发明的范围内可能的任何方式组合和耦合。被视为本发明的主题在说明书结尾处的权利要求书中专门指出并且明确地要求保护。

本发明的前述和其它特征及优点将从结合附图考虑的以下详细描述显而易见。

图1示出根据本发明的实施例的照明系统100。

图2示出信息叠覆示例。

图3示出投影变换和图像配准的示例。

图4图示了示出依照本发明的实施例的各种方法和算法的流程图。

图5示出用于使用来自一个光源的编码光的图。

图6示出用于使用来自两个光源的编码光的图。

图7示出叠覆显示器。

图8示出另一叠覆显示器。

如图1中所示，照明系统100包括一个或多个照明单元（LU1-LU8）。LU（LU1-LU8）包括光产生机构11、一个或多个传感器12、数据库13、通信接口14和光水平控制器15。

传感器12可以用于检测预确定感测范围内的一个或多个AR设备20或者其它对象。传感器12可以是实现这一结果的任何适当的传感器。例如，可以使用被动红外、雷达传感器或者相机来给出检测结果。如果在传感器12的感测范围内检测到对象，则这样的传感器12可以发送“检测到”结果。传感器12还可以周期性地尝试检测感测范围内的对象，并且如果检测到对象，则是“检测到”结果，或者否则是“没有检测到”结果。

（多个）AR设备20还包括一个或多个传感器21。传感器21可以用于检测来自LU（LU1-LU8）的编码光信号。

通信接口14可以例如是硬布线链接和/或无线接口，其与DSRC、3G、LTE、WiFi、RFID、无线网状或另一类型无线通信系统和/或可见光通信兼容。通信接口14可以是在一个或多个LU（1-8）之间传递数据的任何适当的通信布置。

数据库13不需要包括在LU（1-8）中。由于LU（1-8）可以与一个或多个其它LU（1-8）和/或中间节点（没有在图1中示出）通信，所以将需要由特定LU（LU1-LU8）存储或访问的任何数据可以存储在另一LU（LU1-LU8）中的数据库13中、中间节点中或者在需要时的其它网络存储装置中，并且从其访问。

如图1中所示，照明系统100还可以包括控制单元30（例如服务中心、后台办公室、维护中心等）。控制单元30可以位于LU（LU1-LU8）附近或者远离它的位置。中央控制单元30包括通信单元31并且还可以包括数据库32。通信单元31用于与LU（LU1-LU8）或者其它外部网络（没有在图1中示出）通信。控制单元30直接地或者间接地通信耦合到LU（LU1-LU8）。例如，控制单元30可以经由有线和/或无线/无线网状连接而直接通信，或者经由诸如互联网、内联网、广域网（WAN）、城域网（MAN）、局域网（LAN）、陆地广播系统、线缆网络、卫星网络、无线网络、电力线或电话网络（POTS）、以及这些和其它类型网络的部分或组合之类的网络而间接通信。

控制单元30包括算法以用于操作、调用开/关时间和序列化、调光时间和百分比、以及其它控制功能。控制单元30还可以执行参数的数据记录，诸如运行小时数或者能量使用、警报和调度功能。

如上文关于通信单元31所指出的，通信接口14可以是向控制单元30和/或从控制单元30传递数据的任何适当的通信布置。在这方面，经由通信接口14，每一个LU（LU1-LU8）可能与控制单元30直接地和/或经由另一LU（LU1-LU8）而通信，如可能需要的那样。通信接口14使得能够进行远程命令、控制和监控LU（LU1-LU8）。

遍及照明系统100部署的传感器12捕获数据。该数据可以涉及传感器12的范围内的（多个）AR设备20和/或非AR设备。原始数据和/或预处理的数据（被称为“数据”）被传递到AR设备20。数据还可以传递到控制单元30或者其它网络设备以用于涉及增强现实的附加处理。

如上文所指出的，在常规智能照明系统中，当做出存在检测时，例如道路上的车辆或者人行道上的人员，LU（LU1-LU8）的光输出增大（如果在经调光的状态中）。在一个实施例中，当照明系统100检测到附近的AR设备20时，光输出不需要在照明系统100中自动地增大。通过在照明系统100与（多个）AR设备20之间交换数据，信息可以用于提供指导，从而放弃需要增大光输出（或者改变调光水平）并且最大化能量节省。例如，如果仅存在具有AR设备20的一个行人，则只要可以向AR设备20提供充足信息，光输出就不需要增大，所以可以节省更多能量。

附加地，通过提供区域的可视化信息（原本将不会单独检测到或者由于诸如低光水平之类的环境条件而不会检测到的障碍物和其它约束），AR设备20的性能可以改进。由照明系统100提供给AR设备20的数据可以包括历史信息（来自白天的图像或者例如已知障碍物）以再生成要发送给AR设备20的支持信息。

如图2的实施例中所示，AR设备20（例如眼镜或其它显示器）可以用于叠覆来自照明网络100（在该实施例中，照明系统100位于停车车库中）的数据（信息）。在该情况下，叠覆数据包括要避免的已知障碍物（即柱子和其它汽车）。

在涉及安全应用的另一实施例中，传感器（例如相机）收集信息并且将数据传递给AR设备20。在该情况下，位置中的光水平不需要增大以允许安全人员进行检测和干涉。

在另一实施例中，也可以通过本发明补偿其它类型的视觉减损条件。一个这样的条件可以是雾。在地面水平，雾可能遮挡观看遥远对象。

在图3的实施例中，每一个LU（LU1-LU8）的传感器12包括相机。每一个相机捕获前方道路的图像。在每一个图像中，附近的对象是清楚的，而前方更远的对象可能较不清楚。相比于AR设备20，在LU（1-8）上放置得较高或者沿着道路更远的相机（或其它传感器）具有前方道路的较清楚视图。使用可能位于控制单元30或其它处理单元中的投影变换&图像配准应用，这多个图像可以叠覆，其允许附近以及更远的对象均变得“清楚”。右下方的图像示出左边5个图像的叠覆结果。通过将叠覆图像连续地传送给AR设备20（例如机动车），驾驶员可以在其机动车仪表板上、在可佩戴眼镜上看到没有雾的实时视频或者其投影在挡风玻璃上。

图4示出照明系统100可以如何与（多个）AR设备20交互和操作的系统流程图。流程图强调了可以在正常光条件中（例如在白天期间）工作的常规对准方式（图像处理和建筑物特征检测），以及本发明中的改进方法（即使用LU（1-8）和编码光），其可以在低光（例如昏暗）条件下帮助AR设备20。在两种方法（白天对比夜晚）之间切换以用于改进的对准可以使用AR设备20中的光传感器自动地完成或者由AR设备20的用户手动地完成。

在图4中，示出了三个数据库（DB）。这些DB的位置可以取决于特定实现而变化。DB可以是数据库32的部分、AR设备20的部分和/或通信耦合到照明系统100和/或AR设备20的分离DB。在步骤S1中，由AR设备20搜集各种数据以用于AR加强。在步骤S2中，由AR设备20执行图像处理以从来自LU（1-8）的信号寻找线索和/或代码。这将在下文进一步描述。在步骤S3中，由AR设备20执行图像处理以用于特征检测。在步骤S4中，由AR设备20使用来自步骤S1、S2和/或S3的输入而确定位置、视图和角度的对准。在步骤S5中，生成用于所对准的叠覆屏幕的信息。在步骤S6中，所对准的叠覆屏幕与视频信号组合以显示在AR设备20的显示器上。

图5和6是关于可以如何实现虚拟和物理层的对准以及它们如何取决于AR设备20的视图中的LU数目的表示。图5和6反映了屏幕视图与相机视图完全对准时的情况。在其它实施例中，相机视图可能较大（例如使用鱼眼镜头），因此可以在用户周围获得来自更多LU（LU1-LU8）的信号。在该情况下，屏幕可以仅示出用户正前面的景象的部分。此外，AR设备20可以包括多于一个相机（例如一个用于屏幕上的视频流并且另一个用于围绕光源追踪）。

在图5中，在AR设备20的视图中仅一个LU（LU1-LU8）可见。在该情况下，取决于传感器21如何实现在AR设备20中，可以存在显示给AR设备20的用户的视图中的不同水平模糊性。在图5a中示出的情况下，AR设备20（例如移动电话）具有单个传感器21。在该情况下，用户的大概GPS位置、传感器21（例如相机）的属性和LU（LU1-LU8）的位置已知。对于该情况，在图5a中以变灰的电话剪影示出误差。如果替代地相机的每一个像素充当编码光传感器21，则误差空间显著下跌，如图5b中所示。如果向AR设备20添加方位传感器（加速度计），则误差几乎可以完全消除。

如果AR设备20的视图中存在多于一个LU（LU1-LU8），则误差可以甚至进一步减少，如图6a中所示（使用单个传感器21）。在AR设备20中的相机的每一个像素充当编码光传感器21的情况下，AR设备20的用户的视点甚至可以更精确地估计，如图6b中所示。

本领域普通技术人员还将领会到，在图5和6中描述的两种情况下，误差是在竖直平面中并且这同样适于水平平面。常规3D加速度计可以用于通过估计空间中的AR设备20的3D方位来减少总体误差。

许多常规设备已经装备有多远一个光传感器或相机。例如，智能电话或汽车可以具有前置相机和后置相机。如上文所述，使用来自照明系统100的关于AR设备20的位置和方位的信息，由AR设备20中的多个相机从照明系统100所拾取的线索和/或代码可以有助于精细调谐地确定AR设备20的位置和方位。

图7示出涉及用于诸如电话之类的移动设备的AR应用的另一实施例。AR应用可以在白天（正常照明条件）期间使用图像处理进行更好的图像对准（图7c）并且在傍晚/深夜（低光条件）期间使用来自LU（LU1-LU8）的信息以改进性能（图7b）。

在图7b中，AR设备（例如该示例中的智能电话）的传感器21（例如该示例中的相机）检测来自每一个LU（LU1-LU8）视图的编码光信号（包括唯一ID序号）。基于编码光信号，可以确定、提供或获得（多个）LU（LU1-LU8）的位置。例如，这样的信息可以包括在图5中的一个或多个DB中、数据库31中或者互联网或比如谷歌之类的地图服务之上。该信息然后由AR设备20使用以估计AR设备20的视图中有什么并且将其与信息层对准或者甚至提供比如夜晚视觉之类的服务。例如，这可以使用来自谷歌地图的街景图像而完成，如图7a中所示。

要指出的是，该实施例要求在调试阶段期间以可访问的方式记录和存储每一个LU（LU1-LU8）的位置，如上所述。这可以以与当前用于例如谷歌街景的图像信息类似的方式完成，其中汽车驾驶通过街道并且记录位置和图像信息。

如果LU（LU1-LU8）如参照图1所讨论的那样通信连接，则调试阶段可以简化。例如，可以使用基于6LowPan的网络，每一个LU（LU1-LU8）具有唯一IP地址。6LoWPAN是在低功率无线个域网之上的IPv6的缩写。方法还在现有技术在已知用于基于IP地址提供位置信息。如果LU（LU1-LU8）在夜晚期间使用编码光信号传送其唯一IP地址，则这可以提供LU（LU1-LU8）与AR设备20的视图中的建筑物或其它一般特征之间的链接。

本发明的另一实施例涉及用于机动车的AR应用。许多机动车装备有使得它们能够接通光的日光传感器，这样的机动车还可以包括后视相机，并且前向相机也集成在汽车中以使得能够实现新的安全功能，诸如前方撞击警告、跟随距离指示和车道偏离警告。使用AR设备20（例如该实施例中的汽车）的视图中的照明系统100，可以估计汽车的位置，其将允许驾驶员视图内的导航或其它类型信息的更精确对准。图8示出针对该实施例的挡风玻璃叠覆的两个示例。在那些情况下提供对准是关键的以便通过向驾驶员告知即将到来的交通情况（例如图8a中的转弯、交通拥堵）和导航引导（例如图8b中的离开、转向）来向驾驶员提供最佳安全性。

前述详细描述已经阐述了本发明可以采取的许多形式中的几个。以上示例仅仅说明本发明的各种方面的若干可能实施例，其中根据阅读和理解本发明及随附各图，本领域技术人员将认识到等同更改和/或修改。特别地，关于由以上所述组件（设备、系统等）执行的各种功能，用于描述这样的组件的术语（包括对“构件”的引用）意图对应，除非以其它方式指示任何组件，诸如硬件或其组合，其执行所述组件的指定功能（即在功能上等同），即便在结构上不等同于执行本公开的所图示实现方案中的功能的所公开结构。

本发明的原理实现为硬件、固件和软件的任何组合。此外，软件优选地实现为有形地体现在程序存储单元或者包括某些设备或其部分和/或设备的组合的计算机可读存储介质上的应用程序。应用程序可以上载到包括任何适当架构的机器并且由其执行。计算机平台还可以包括操作系统和微指令代码。本文描述的各种过程和功能可以是应用程序的部分或者微指令代码的部分或者其任何组合，其可以由CPU执行，而不管是否明确地示出这样的计算机或处理器。此外，各种其它外围单元可以连接到计算机平台，诸如附加数据存储单元和打印单元。

尽管可能已经关于若干实现方案中的仅一个图示和/或描述了本发明的特定特征，但是这样的特征可以与其它实现方案的一个或多个其它特征组合，如对于任何给定或特定应用可能期望和有利的。此外，对单数组件或项目的引用意图涵盖两个或更多这样的组件或项目，除非以其它方式指定。而且，就术语“包括”、“包含”、“具有”、“含有”、“带有”或其变形在详细描述和/或权利要求中所使用的程度而言，这样的术语意图以与术语“包括”相似的方式为包括式的。

已经参照优选实施例描述了本发明。然而，根据阅读和理解之前的详细描述，修改和更改将对于其他人是将会发生的。本发明意图解释为包括所有这样的修改和更改。意图仅由包括所有等同方案的权利要求来限定本发明的范围。

Claims (9)

1.一种用于改进增强现实AR设备（20）中的真实图像与虚拟叠覆的对准的方法，所述方法包括以下步骤：

通过增强现实AR设备做出相机视点的粗略估计；

利用来自在增强现实AR设备的相机的视图中承载唯一标识符的一个或多个光点的信息来增强粗略估计；

从照明系统（100）中的照明单元（LU1）接收编码信号；以及

使用编码信号来改进虚拟叠覆与真实图像的对准。

2.根据权利要求1的方法，其中接收编码信号的步骤包括：从照明系统（100）中的多个照明单元（LU1-LU8）接收多个编码信号。

3.根据权利要求1的方法，其中编码信号包括用于照明单元（LU1）的标识符。

4.一种增强现实AR设备（20），包括：

做出相机视点的粗略估计并且利用来自在增强现实AR设备的相机的视图中承载唯一标识符的一个或多个光点的信息来增强粗略估计的处理器；

被布置成从照明系统（100）中的照明单元（LU1）接收编码信号的传感器（21），并且

其中处理器被布置成使用编码信号来改进虚拟叠覆与真实图像的对准。

5.根据权利要求4的增强现实AR设备（20），其中传感器（21）被布置成从照明系统（100）中的多个照明单元（LU1-LU8）接收多个编码信号。

6.根据权利要求4的增强现实AR设备（20），其中编码信号包括用于照明单元（LU1）的标识符。

7.根据权利要求4的增强现实AR设备（20），其中增强现实AR设备（20）是移动电话。

8.根据权利要求4的增强现实AR设备（20），其中增强现实AR设备（20）是机动车。

9.根据权利要求4的增强现实AR设备（20），其中增强现实AR设备（20）是由用户可穿戴的。

Images