CN104704535A

CN104704535A - 增强现实系统

Info

Publication number: CN104704535A
Application number: CN201380051941.1A
Authority: CN
Inventors: 飞田博章
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2012-10-02
Filing date: 2013-09-23
Publication date: 2015-06-10
Also published as: US20150235423A1; WO2014053346A1; EP2904588A1; US9779550B2

Abstract

一种增强现实系统，其包括无人驾驶移动物和被布置在无人驾驶移动物上或无人驾驶移动物内的增强现实标记。增强现实系统进一步包括视觉渲染单元，该视觉渲染单元被配置为增强与增强现实标记相对应的虚拟信息并且将所述虚拟信息映射在无人驾驶移动物上。

Description

增强现实系统

技术领域

本公开涉及一种增强现实(augmented reality)系统。具体地，本公开涉及基于无人驾驶移动物(unmanned moving object)的增强现实标记(marker)。

背景技术

为了集成真实和虚拟世界，已经开发出了2D增强现实(AR)标记。AR系统通过摄影机识别AR标记的唯一的ID和3D位置，然后将虚拟信息叠加在AR标记上。因此，通过AR标记，用户可以看见叠加在真实世界上的虚拟信息。

AR是物理、真实世界环境的生动、直接或间接的视图，通过诸如声音、视频、图片或GPS数据的计算机生成的感官输入来增强其要素。换言之，AR通过改善人们的感官和技能来增强具有虚拟信息的真实世界环境。AR将虚拟信息和角色与真实世界混合。本公开主要专注于将虚拟视频或图像信息与真实世界信息相混合，但不限于此。

从现有技术已知的AR标记通常是纸制的，其所印制的2D编码是非常简单并且易于使用的。例如，从美国2007/0098234A1中已知的是各式各样不同的标记和用于检测标记的对应方法。一种传统的AR标记是所谓的ARTag，参见http://www.artag.net，在2009年2月最后一次更新版本。ARTag是支持增强现实的受托(fiduciary)标记系统。它能够使制造虚拟物体更加容易，游戏和动画开始进入真实世界。ARTag允许视频追踪能力，该追踪能力参照正方形物理标记实时地计算真实照相机位置和定向。一旦真实照相机的位置是已知的，则能够同时放置虚拟摄像机，并且3D计算机图形模型能够精确地叠加在标记上。使用这类2D ARTag或其他2D受托标记(AR标记)不需要像陀螺仪或磁性追踪器的专用感测设备。因此，不仅对研究投影而且对类似苹果和安卓应用程序的消费服务和投影是有用的。

2D AR标记的应用程序具有两个限制：一个限制是在AR标记与用户之间的关系保持与AR标记实质上相同，AR标记被印制或定位在静止的二维的纸片上。这意味着用户需要发现包括布置在其上的AR标记的纸、接近它并且利用照相机设备获取其图像以引发交互。同样，通过标记显示的虚拟信息取决于其位置，所以信息不能移动至用户不能获取标记的区域。考虑到游戏、漫画和动画片中的角色(例如，人、生物、机器人和车辆)。它们能够在场景中自由移动并且有时在空中飞行。相反，由于简单的原因阻止了AR标记的角色的移动。如果用户主要拍摄且跟随角色而不是标记，则当标记离开照相机范围时角色消失。因此，离开运动视点的动画角色与AR之间存在间隙。

另一局限是虚拟信息的真实性。虚拟信息通常被投影在布置了AR标记的纸片上。因此，虚拟信息实际上出现在AR标记的上方。用户不能直接触摸该虚拟信息，所以它们接收不到来自角色的反馈；他或她的手指正好穿过该虚拟信息。虽然一些标记具有物理属性，但是它们限于表达大量的VR信息。因此，在AR标记和与其相对应的虚拟信息之间存在间隙。

美国2009/0195538 A1公开了增强现实方法和系统，该系统包括标记检测单元，该标记检测单元接收来自包括标记的真实环境的图像并且检测被包括在图像中的标记。标记位置提取单元提取所检测到的标记的位置。噪声移除单元从标记位置提取单元提取到的标记的位置信息中移除噪声。包括虚拟物体增强单元的视觉渲染单元增强与标记相对应的虚拟物体，并且将它们输出至标记的位置。运动估计单元估计估计在一个时间步长上的标记的运动，从而基于从噪声移除单元转移的标记的位置信息来执行触觉渲染。碰撞检测单元检测与通过运动估计单元所估计出的标记的位置相对应的虚拟物体是否与触觉设备的端点碰撞。包括反作用力计算单元的触觉渲染单元根据碰撞检测单元的确定来计算通过触觉设备所提供的反作用力。

美国2009/0195538 A1涉及用于在增强现实中触觉交互的方法和系统。此方法和系统试图从通过图像拍摄设备所拍摄的真实图像中移除噪声，并且使触觉交互中所生成的力的非连续性最小化，从而稳定并且平滑地执行增强现实中的触觉交互。

发明内容

本发明的目标是提供一种改善的增强现实系统。

根据一方面，提供了一种增强现实系统，包括：

-无人驾驶移动物；

-增强现实标记，被布置在所述无人驾驶移动物上或所述无人驾驶移动物内；以及

-视觉渲染单元，被配置为增强与增强现实标记相对应的虚拟信息并且将所述虚拟信息映射在无人驾驶移动物上。

根据另一方面，提供了一种具有增强现实标记的无人驾驶移动物，该增强现实标记被布置在所述无人驾驶移动物上或所述无人驾驶移动物内，所述无人驾驶移动物被用于如上所述的增强现实系统中。

在从属权利要求中定义了优选实施方式。应理解的是，所要求保护的无人驾驶移动物具有与所要求保护的增强现实系统以及从属权利要求所限定的相似和/或相同的优选实施方式。

本公开的方面之一是使用无人驾驶移动物，该无人驾驶移动物具有布置在其上的AR标记。本文中提出的AR标记能够与无人驾驶移动物一起移动，并且因此能够朝向用户/观测员移动。因此，可以动态地改变用户与AR标记之间的关系。相比于静态的纸类AR标记，将虚拟信息映射在无人驾驶移动物上。因为无人驾驶移动物具有“真实的”物理、三维形状，所以当用户试图触摸虚拟信息时，用户可以具有“真实的”触觉反馈。因此，虚拟信息看起来还具有物理量(physical volume)。与AR标记相对应的虚拟信息被映射在无人驾驶移动物的表面上，即，叠加在无人驾驶移动物的外表面上，类似于3D计算机图形中的纹理映射使虚拟信息可触知(tangible)。因此，可以在用户与虚拟信息之间进行动态和物理交互。

无人驾驶移动物可以是可借助于一些致动器而移动的任何3D物体。例如，可以实现为无线电控制设备，诸如无线电控制的汽车、船、飞机等。根据实施方式，无人驾驶移动物被实现为遥控飞行物(unmanned flyingobject，无人驾驶飞行物)。由于其在空中飞行或漂浮的能力，包括布置在其上的AR标记的遥控飞行物还可以被称为“航空标记(Aero-Marker")”。通过将AR标记附接至遥控飞行物，标记可以在空中自由移动并且飞行。因此，该标记能够接近用户以启动交互。定制设计的飞行物能够很容易地构造为基于它们的形状和行为代表各式各样的物体，诸如漫画和动画角色。根据示例性实施方式，遥控飞行物被实现为具有充气气囊(gas-filledenvelope)的飞艇(blimp)。飞艇能够漂浮在空中并且自由移动。多数人能够通过显示在漂浮的飞艇上的图像和文本来了解事件。布置在飞艇上的AR标记的编码可以包含信息，该信息被用在渲染单元中以增强与AR标记相对应的虚拟信息，并且将所述虚拟信息映射在外表面的至少一部分上或者甚至是在飞艇的整个外表面上。例如，该信息能够通过使用纹理映射而叠加在飞艇的整个表面上，如在3D计算机图形中。因此，能够创建具有虚拟外观和物理特征的唯一物体。与不具有自己的物理外观而只是创建了不具有自己真实物质性(real physicality)的虚拟物体的传统的纸类的静止2D AR标记相比，飞艇物理地存在并且能够被用户触摸。

基于移动性和物理特征介绍的增强现实系统的方法用于诸如AR游戏和真人大小的VR游戏系统的新型娱乐系统和通信系统。此外，因为能够识别AR标记的ID和位置，所以能够基于用户的位置调整其运动和定向。另外，因为AR标记能够漂浮在头顶上，所以多数能够同时看见并且获得虚拟信息。用户能够与基于飞艇的增强现实系统直接以及间接地交互。用户能够向飞艇移动或飞艇能够根据应用程序和用户的需要而向用户移动。

应当理解的是，除飞艇之外的遥控飞行物还可以用于根据本公开的系统。无线电控制的直升机系统还使应用本文中所提出的灵活交互(flexibleinteraction)的概念成为可能。然而，它们是有噪声的并且移动的同时产生风，所以与非常安静和轻型的飞艇相比，它们难以在室内环境中使用。因为它们需要比飞艇更大的电池功率，所以它们还仅能够飞行几分钟。相比于其，飞艇几乎是无重量的，所以其能够通过仅由一个或多个小型致动器产生的弱的电力来移动。

应当指出，根据本公开的术语“飞艇”指代任意类型的自由飞行的飞船。其不限于这类飞艇的任何具体类型、形状、颜色或任何特有特性。飞艇可以被理解为使用充气气囊或引起浮力的升降气袋(ballonet)的任意类型的非硬式(non-rigid)、半硬式(semi-rigid)或硬式(rigid)飞艇。

应当理解，本发明的前述总体描述和以下详细描述均是示例性的而非限制本发明。

附图说明

当结合附图考虑时，通过参考以下详细描述将很容易获得并且同样更好地理解本公开的更完整的认识及其许多所伴随的优点，在附图中：

图1示出了示意性示出根据本公开的增强现实系统的第一实施方式的示例性侧视图，

图2示出了示意性示出根据本公开的增强现实系统的第二实施方式的示例性侧视图，

图3示出了根据本公开的增强现实系统的基本设置的示意图，

图4示意性示出了根据本公开使用虚拟纹理映射以将虚拟信息映射在遥控飞行物表面上，

图5示意性示出了根据本公开的增强现实系统的第二实施方式的详细视图，

图6示出了根据本公开所使用的编码技术，

图7示出了示意性示出根据本公开的增强现实系统的第三实施方式的示例性侧视图，

图8示意性示出了根据本公开的增强现实系统的实际应用，

图9示意性示出了根据本公开实施方式的用于移动遥控飞行物的驱动概念，以及

图10示意性示出了根据本公开另一个实施方式的用于移动遥控飞行物的可替代驱动概念。

具体实施方式

现在参考附图，其中，贯穿若干视图，相同参考数字指代相同或对应的零件，图1和图2示意性示出了根据本公开的可以在增强现实系统10中使用的无人驾驶移动物12和增强现实标记14(AR标记)的两个不同的实施方式。在本文中，无人驾驶移动物12被示出为遥控飞行物，具体地为飞艇12。飞艇12包括充气气囊16和附接至该充气气囊的吊舱(gondola)18。吊舱18有时还被表示为飞艇12的搭钩(buckle)18。如这将在下文中参考图7进一步说明，吊舱18可以携带诸如照相机20和/或扬声器22的若干移动设备。然而，应注意，吊舱18以及布置在其上的设备仅是可选的并且没有强制性特征。此外，应当注意的是无人驾驶移动物12还可以被实现为不同的3D设备，即无需是飞艇。

AR标记14优选地被布置在飞艇12的充气气囊16的外表面24上。根据图1中示意性示出的第一实施方式，AR标记14被实现为固定的AR标记14'。例如，固定的AR标记14'可以被印刷在飞艇的表面24上。可替代地，可以使用黑胶带而不是油漆以帮助改变AR标记14'的图案和尺寸。AR标记14'表示2D矩阵编码。2D矩阵编码本身可以与从2000年的DARE会议记录第1-10页的Rekimoto等人的“Cyber Code：Designing AugmentedReality Environments with Visual Tags”中已知的计算机编码类似。这类AR编码和对应的算法是开源的。还可以从1999年的WAR'99会议记录中的Kato等人的“Marker Tracking and HMD Calibration for a Video-BasedAugmented Reality Conferencing System”中已知的是AR工具组件(toolkit)。

在图1中示出的固定的AR标记14'包括长方形26和长方形26内部的点图案(dot pattern)28。长方形26被用于识别AR标记14'的位置。点图案28表示唯一的ID(编码)。因此利用简单的成像处理，系统可以同时识别AR标记14'的位置和ID。为了还能够确定AR标记14'的相对空间定向，点图案28在大多数情况下(但非强制性)是不对称的。

在图2中示意性示出的是生成AR标记14的可替代方法。根据第二实施方式，使用通过一个或多个光源30生成的灵活的AR标记14”。可以使用LED生成灵活的AR标记14”的不同部分。相比于根据第一实施方式(图1)使用的固定的AR标记14'，当使用根据第二实施方式(图2)的灵活的AR标记14”具有多个优点。首先，通过使用LED更容易灵活地改变AR标记14”的ID(编码)。第二，因为它们对周围环境中的照明条件不敏感，故在暗照明条件下还可以使用LED识别灵活的AR标记14”。LED标记即使在幽暗的房间内仍提供可加强识别(sustainable recognition)。当可以使用IR照相机识别LED标记14”，它还可以在亮照明条件下进行识别。第三，灵活的AR标记14”可以无需对于观测员的眼睛来说是可看见的。相反，当根据第一实施方式使用的固定的黑色图案和白色图案14'会使用户苦恼。下文将参考图5和图6进一步详细描述使用灵活的LED标记14”的详细布置和技术。

使用独立类型的AR标记14，本公开的中心点之一是将AR标记14布置在飞艇12的外表面24上。使用飞艇12实施AR标记14克服了传统纸类AR标记的限制移动性。这使AR标记14能够自由移动并且在空中飞行。因此，AR标记能够接近用户以启动交互。这也使AR标记14和对应的虚拟信息这两者能够以几乎自由的方式设计。定制设计的飞艇12能够容易地被构造为代表基于飞艇的形状和行为代表各式各样的物体，诸如漫画和动画角色。可以将与AR标记14相对应的虚拟信息映射在飞艇12的充气气囊16的外表面24上。因为能够自由地设计飞艇尺寸和形状，所以例如能够将虚拟信息叠加在飞艇的整个表面24上。因此，能够创建具有虚拟外观和物理特征的唯一物体。因为虚拟信息被虚拟地叠加在飞艇12的气囊16上，故用户通过触摸飞艇12的气囊16可以具有虚拟信息真实存在的感觉。用户通过触摸飞艇12识别“真实的”触觉反馈。换言之，飞艇12的物理特征允许用户触摸虚拟信息，并且飞艇12的移动性使(通过虚拟信息所创建的)虚拟角色能够接近用户并且启动通信。该结果是有形的标记。当虚拟信息优选地被叠加在飞艇12的整个表面上时，飞艇12本身变为具有有形特征的信息节点。因为意指飞艇12的节点即使很大但几乎是无重量的，所以用户能够很容易地提起、移动并且将它掷出。

因为它们通常填充氦气并且因此几乎是无重量的，所以本文中介绍的方法将飞艇12用作标记载体，这允许设计大的物理飞艇。另外，因为飞艇12能够漂浮在空中，故它能够朝向用户移动而不用使用类似磁场的特定设备或属性。飞艇12仅在用户需要它时朝向用户移动，所以用户能够更有效的利用真实空间。

虽然本文中重点提及的飞艇被用作遥控的飞行物12，但是应注意在不背离本公开范围的前提下还可以使用其他遥控飞行物12。直升机或四轴飞行器(quad-copters)还可以是将AR标记14附接至其中的一种选择并且从而实现漂浮的AR标记。

固定的AR标记14'以及灵活的LED AR标记14”能够以如上所述的类似方式附接至这类遥控的飞行物12。然而，因为在其中使用的螺旋桨比通常可以用于移动飞艇的那些螺旋桨更大并且旋转更快，故这类遥控飞行物的使用会是很危险的。因此，安全性会是一个问题。同样，电池具有有限的使用寿命，所以当电池用完时直升机可能会突然掉落在用户身上并且伤害用户。

图3示意性示出了根据本公开实施方式的增强现实系统10的总体设置和设计。应注意，不是所有在图3中示出的特征都是强制性特征。图3还示出了可以被包括在增强现实系统10中的一些可选特征。如以上已经参考图1和图2所描述的，增强现实系统10包括：遥控飞行物12，即优选地实现为飞艇12；增强现实标记14，被布置在所述飞艇12上或所述飞艇12内；以及视觉渲染单元32。该视觉渲染单元32被配置为增强与AR标记14相对应的虚拟信息并且被配置为将所述虚拟信息映射在飞艇12的外表面24上。该视觉渲染单元32被配置为将所述虚拟信息映射在飞艇12的所述外表面24的至少一部分上。根据实施方式，该视觉渲染单元32可以被配置为使用纹理映射以将所述虚拟信息虚拟地叠加在飞艇12的整个外表面24上。

该视觉渲染单元32可以是移动或静止的计算设备34的一部分。计算设备34可以被实现为任意类型的计算设备，诸如移动计算机、台式PC、PDA或智能电话。该视觉渲染单元32(即，计算设备34)可以根据一个实施方式与飞艇12进行通信。它可以接收来自飞艇12的信息(由箭头36表示)并且将信息传输至飞艇12(由箭头38表示)。飞艇12可以额外地配备有移动处理单元40(MPU)和任意类型的通信接口(未示出)。在飞艇与计算设备34之间的连接可以是硬线(hard-wired)连接或无线连接。例如，可以通过微控制器实现MPU。应当理解的是，飞艇还可以包括若干MPU或集成至一个MPU的若干处理单元。在无线连接的情况下(其是优选的)，例如，通信接口可以被实现为无线电收发器、Wi-Fi收发器、WLAN接口、蓝牙接口或红外线接口。因此，飞艇12可以被用作客户端和服务器这两者。当然还可以将视觉渲染单元32布置在飞艇12本身内。然而，如上所述的通信不是强制性的。根据实施方式，视觉渲染单元还可以被集成到无人驾驶移动物12中。

如图3中所示，增强现实系统10可以进一步包括可视化单元42，该可视化单元连接(或硬线或无线)至视觉渲染单元32(或直接或间接地位于计算设备34上)。该可视化单元42被配置为使真实环境可视化，该真实环境包括利用映射在飞艇12上的虚拟信息增强的飞艇。另外，它将所拍摄到的真实环境的图像传输(由箭头44表示)至计算设备34并且接收已经在视觉渲染单元32中渲染过的叠加的虚拟信息(由箭头46表示)。例如，可视化单元42可以被实现为可佩带的头戴式显示器(HMD，例如，索尼的HMZ-T1)或者被实现为安装在摄影机上的便携式设备(例如，游戏站之眼(PlayStation Eye))。然而，还能够想到的是用户使用智能电话作为可视化单元42。

集成在可视化单元42中的摄影机可以以60fps拍摄真实世界图像。另外可以使用传统的数字照相机。在利用LED生成AR标记的情况下(如上参考图2所述)，可以使用具有IR滤光片的照相机或红外线照相机。这样，系统识别被布置在飞艇12上的AR标记14的ID、利用已知的图像处理确定其位置和相对空间定向，并且然后将对应的渲染后的虚拟信息传输至可视化单元42(例如，至HMD)。另外，计算设备34可以包括标记识别单元48和运动检测单元50。该标记识别单元(marker identification unit)48接收包括飞艇12的真实环境的图像并且检测在所述图像内的AR标记14。例如，运动检测单元50检测AR标记14相对于观测员(即，相对于可视化单元42)的运动、空间定向和/或距离。例如，视觉渲染单元32被配置为根据检测到的AR标记14相对于观测员的运动、空间定向和距离来适配虚拟信息映射在飞艇12上的尺寸、定向和位置。这种信息最终被传输(由箭头46表示)至可视化单元42，在此，包括真实环境和叠加有渲染后的虚拟信息的飞艇12的虚拟增强图像被显现给用户/观测员。

图8示意性示出了用户可以如何与飞艇12交互。如上所述，用户确实不仅看得见叠加在飞艇12的表面上的虚拟信息，而且当触摸飞艇12时接收触觉反馈。因为飞艇12通常是非常轻量化的，故用户很容易与飞艇12进行交互。不存在用户可能被伤害的危险。这主要是因为飞艇12的非常柔软的性能。根据实施方式，飞艇12的气囊16优选地由氯乙烯片制成并且填充有氦气。因此它在感觉上是安全并且柔软的。因此，增强现实系统10适合于儿童。如果将乙烯基片用于壳体和人们无法看见的LED灯，则飞艇在特定照明条件下几乎是透明的。因此，通过使用不同的材料可以使其更加透明。仅当他们佩带安装在摄影机上的HMD或便携式设备时用户才能够看见具有虚拟信息的物体。如果飞艇是透明的，则AR标记14还能够被布置在飞艇12内部。除了以上提及的响应于用户触摸飞艇12来改变虚拟信息外观的可能性之外，根据本公开的实施方式，还可以利用用户相对于飞艇的距离来改变虚拟信息。因为该标记漂浮在空中，故这使得对于可视化来说更加有用。当飞艇12远离人群时，虚拟信息可以被放大以吸引他们，诸如通过具有展开他的或她的翅膀的虚拟鸟以及通过类似粒子效应围绕飞艇12添加物体。

如以上所提及，如本文中所实现的虚拟信息在飞艇12的整个或一部分表面上的叠加优选地与在计算机图形中的纹理映射相类似。这在图4a和图4b中被示例性示出。纹理映射被用于使虚拟物体真实化并且可触知。在系统识别AR标记14的位置和ID之后，使用计算网格(参见图4a)将虚拟纹理映射到飞艇上。因此，创建具有虚拟外观和物理特征的唯一的物体。任意类型的虚拟纹理能够被映射到飞艇12的充气气囊16的外表面24上。图4b示例性示出了漫画角色的笑脸。然而，显而易见的是，还能够使用本文中所提出的技术将其他类型的图像和文本映射到飞艇的外表面24。可以支持包括凹凸映射、混色和卡通渲染的各式各样的效果。

因此，各式各样的纹理效果和材料能够被用于使飞艇表面24更加真实。虽然3D物体是相同的，但是使用不同材料改变其外观。因此，该效果因此能够独立地定制为与应用程序相匹配，这与通过适配飞艇12的形状和尺寸所完成的类似。

从上文提及的Rekimoto等人的论文中已知的是示例性可视化技术。Rekimoto使用了两个层(layer)：背景层和虚拟信息层。该背景层被用于设定真实世界信息，其中，该虚拟信息层被用于将虚拟物体显示到标记的位置上。然而，如本文中所提出的系统10允许用户与虚拟物体(飞艇12)触摸交互，根据本公开的系统优选地利用额外的皮肤遮罩层(skin masklayer)以显示用户的手。通过组合这三个层，用户的皮肤被叠加到虚拟物体上。因此，该用户可以在触摸虚拟飞艇12的同时还能看见他/她自己的手，使外观和触觉感受更加真实。

返回至图3，在下文中将介绍根据本公开的增强现实系统10的更多的特征。飞艇12还可以配备有照明控制单元52，该照明控制单元控制至少一个光源30，以将多个不同的AR标记投影在飞艇12的气囊16上。如以上所提及的，光源可以被实现为用于显示AR标记信息的LED。照明控制单元52可以是MPU 40的任意的一部分。然而，它还可以被集成在独立的MPU中。

此外，飞艇12可以包括至少一个触摸传感器54，当用户触摸飞艇12时，通过触摸传感器54的帮助，用户能够交互式地改变飞艇的属性。飞艇12可以包含若干个这样的触摸传感器54，所以飞艇12能够检测用户的动作并且对用户动作做出反应，诸如触摸飞艇12的气囊16的外表面24。触摸传感器54可以被实现为导电线(conductive thread)56，该导电线被集成到或被布置在飞艇12的气囊16的外表面24上。该导电线56可以被布置在外表面24的一部分上或布置在整个外表面24上。可以通过MPU 40控制导电线56。一个或多个MPU可以连接到用于与媒体服务器34通信的XBee模块，该XBee模块控制各个LED的开/关定时并且改变标记ID。因此，如果用户触摸飞艇，则可以通过触摸传感器54生成触摸信号，这个触摸信号可以被发送至媒体服务器/计算设备34。因此，系统可以改变叠加在飞艇12上的信息的类型、响应于用户的触摸创建声音或任何其他类型的反应。这显著地增加了所提出的增强现实系统10的交互性。如果在这种情况下通过如上所述的LED生成AR标记14，则响应于用户交互(用户触摸飞艇12)很容易改变AR标记的ID以及对应的虚拟信息。通过将导电线附接至表面上，它变成多触摸面(multi-touch surface)。通过刻意布置导电线56的布局，系统10能够根据应用而提供有效的触摸输入。

此外或可替代地，增强现实系统10可以进一步包括至少一个超声波传感器60，该至少一个超声波传感器被布置在飞艇12上或飞艇12内，并且能够检测在飞艇12周围环境中的障碍物。作为响应，超声波传感器60生成对应的检测信号。移动控制单元58可以被布置为根据通过至少一个超声波传感器60所生成的检测信号控制飞艇的移动，该移动控制单元可以是单独的单元或者被集成到MPU 40中。下面将参照图9和图10进一步说明使飞艇12移动的构思。通过使用超声波传感器60，系统能够检测障碍物，诸如其他的飞艇12、墙壁和/或支柱。该超声波传感器60还可以用于防止与行走在飞艇12周围的用户相碰撞。

该至少一个超声波传感器60可以被布置在飞艇12的吊舱18上或被布置在飞艇12的气囊16的外表面24上。根据优选的实施方式，系统10优选地包括被布置在飞艇12的各个空间侧(前、后、左、右、底部和顶部)的四个或六个超声波传感器60。在这种情况下，飞艇12能够通过它的超声波传感器检测位于飞艇的各个侧的障碍物并且自动地避开它们。因此，因为飞艇12的控制可被设定为自动模式，故用户无需主动控制飞艇12。

当检测障碍物时，决定飞艇方向的算法可能被用于设置飞艇12的运动(或使用任何其他飞行物)。在超声波传感器60确定在传感器和障碍物之间的距离的情况下，飞艇12可以基于结果决定然后将去的方向。非常简单的算法可以实现为如下：

loop{

if(FrontSensorValue<FrontSensorThreshold){SetBack；}

else{if(RightSensorValue<RightSensorThreshold){TurnLeft；}

else if(LeftSensorValue<LeftSensorThreshold){TurnRight；}

else{GoStraight；}}

UnderMotorForce＝k·(UnderSensorValue)+b

//k、b是调整数}

图5和图6将详细描述上述所介绍的使用LED的灵活的AR标记14”。至此已经参考在图2中示出的第二实施方式对此进行了说明。为了更好的理解技术，在下文中将简化其详细描述。

相比于固定的AR标记14'(相比于图1)，灵活的LED类AR标记14”使用布置在AR标记14”的各个角中的导向(guide)LED 62。类似于在固定的AR标记14'中使用的长方形26，这些导向LED 62用于确定AR标记14”的位置。通过另一LED 66生成AR标记14”的ID图案64。因此，系统可以首先通过检测导向LED并且然后将在导向LED 62内部的LED图案与模板图案进行比较来识别LED标记14”。因为它的使用能够将多个标记投影到飞艇12上，故可以使用曼彻斯特编码(参见图6)控制开/关图案。利用这种编码，容易识别若干独特的标记。系统每十帧创建一个位阵列信息。头三位被用作起始位68a，接下来的四位被用作ID位68b，并且最后三位68c被用于检查错误。“c”表示一个循环。使用通过导向LED 62所指示的位置，系统计算模型视图矩阵并且将3D物体设定到图像上。上文已说明了这个过程。

系统可以根据照明条件在曼彻斯特编码与传统纸类方法之间进行切换。对环境的这种敏感度使得系统能够灵活地改变LED开/关图案以增强性能。与使用固定或灵活的AR标记14无关，应当理解的是，当然不仅一个而是多个(不同)标记可以被布置在飞艇12上。因此，还可想到的是，飞艇12根据观测员的侧面和视角而具有不同的外观。

根据在图7中示意性示出的另一个实施方式，根据本公开的增强现实系统10可以包括投影仪70，该投影仪被布置在飞艇12的充气气囊16内并且被配置为将图像投影在气囊16上。如以上参考图1所介绍的，飞艇12可以进一步包括照相机20、扬声器22以及麦克风72。例如，投影仪70、照相机20、扬声器22以及麦克风72可以被布置在吊舱18上，该吊舱可以被实现为薄的轻木板。可以在吊舱18内布置若干个传感器和电池74。这些项目20、22、70和72理所当然的可以通过飞艇12携带，这取决于飞艇12所包含的氦气的量。因此，可优选的是使用较大的飞艇12或加入额外的氦气以携带额外的模块和电池。照相机20可以检测围绕飞艇12的观测员的人类姿势并且可以获得真实世界的图像。因为扬声器22被附接至飞艇12，故整个飞艇12变为扬声器。例如，投影仪70可以将利用照相机20所获得的图像投影到飞艇12的气囊16的外表面24上。因此，飞艇12可以充当漂浮在观测员头部上的漂浮屏幕(floating screen)。

当将飞艇12用作屏幕时，一个半球体的飞艇的气囊16可以是白色的乙烯基片(或喷涂为白色)，并且另一半球体可以是透明的乙烯基片。通过使用通过照相机20所拍摄的信息，飞艇12能够自动地调整它的位置和定向。根据实施方式，这类照相机20还可以被安装在外部、与飞艇12局部分离。例如，照相机可能被布置在房间内的固定位置。然后，这个照相机可以从外部拍摄飞艇12或多个飞艇12。

根据另一个实施方式，照相机20可以被用于其他应用程序。如果两个用户出现在照相机20的前方，则两个飞艇可以在它们前方移动并且组合以产生更大的屏幕。如果用户然后相互远离，则飞艇可以分离并且在各个用户前方移动以显示该信息。还可以通过使用若干个小飞艇产生一个大屏幕。

根据这个实施方式的飞艇12(还被称为“Aerotop接口”)允许用户选择三种投影模式：显示器模式、投影仪模式以及屏幕模式。因为系统10使用数字数据，故连接到网络的计算机动态地改变所投影的信息。可以使用显示器模式将内容投影到飞艇的表面24上。许多用户能够同时看见飞艇12并且能够分享信息。这种模式被用于数字广告牌(digital signage)。

投影仪模式允许该接口起到实际的投影仪的作用，所以它能够用于将飞艇12外部的数字内容(例如，图像、电影和网络信息)投影到诸如地板上或投影至墙壁中。因此，用户通过使用这些表面能够分享信息。

在屏幕模式中，飞艇12的表面24充当屏幕。外部投影仪将信息投影到飞艇的表面24上。

通过使用这类飞艇12，还可以的是，用户能够通过这类飞艇12彼此进行通信。用户能够通过连接到网络的PC来控制飞艇的位置和属性。因为摄影机20附接至飞艇12，并且用户属性被显示在飞艇12上，故每个用户能够识别其他用户的面部属性。通过在飞艇12上观看行为和面部属性，其他成员能够识别他/她的感觉。这类头像(avatar)能够表达各式各样的情感(例如，高兴、惊讶、伤心、生气以及典型的平静的表情)。通过改变面部属性，用户能够通过飞艇图像详细地表达他/她的感受和印象。此外，通过改变飞艇的角度和位置，用户能够表达他的或她的感觉。例如，如果会议很乏味，则飞艇的方向能够改变，使得看起来远离发言者。与会者能够通过这类姿势理解用户的感觉。这个飞艇系统理所当然的还能够与上述根据本公开的增强现实系统10相结合，其中，虚拟信息增强至飞艇的表面上，使得飞艇12本身变为虚拟头像。

最后，参考图9和图10，将概述使飞艇12移动的方法。根据图9中示出的实施方式，若干致动器76a至76c可以被布置在吊舱18上，其允许控制飞艇12的移动。应注意的是，为了简单起见，在图9中未示出飞艇12的气囊16。该吊舱18例如可以使用三个螺旋桨76a至76c来控制飞艇的移动。可以通过上述MPU 40或通过外部无线电控制器来控制螺旋桨76a至76c，用户可以利用该外部无线电控制器操纵飞艇12。

控制飞艇12移动的另一种方法是通过在房间中设置若干个风力发电机单元78a至78d。在这种情况下，飞艇12可以在没有吊舱18的情况下围绕房间移动。在图10中示意性示出了这种情况。在这两种情况下，可以通过包含在充气气囊16内的氦气的总量来控制飞艇12的浮力(buoyancy)。

应注意，在未被实现为飞艇的情况下，还能够实用与上述示例性的相同的原理，以移动无人驾驶移动物12。可以使用任意类型的致动器四处移动无人驾驶移动物12。该一个或多个致动器可以被用于可以由人直接进行控制(例如，使用无线电控制器)或者可以使用被集成到AR系统中的软件进行控制。然而，还可以不控制或随机控制该一个或多个致动器。

总体上，本公开提出了一种增强现实系统，该增强现实系统包括AR标记，该AR标记具有虚拟外观和物理外观这两者。根据实施方式，它通过使用飞艇12来实施并且相比于传统的AR系统具有两个优点：移动性和物质性。“航空标记”飞艇漂浮在空中并且能够朝向潜在用户移动。因为该航空标记使用物理飞艇来实施，故它具有物理量。虚拟信息被叠加在飞艇的整个表面上，从而使虚拟信息可触知。

显然，根据上述教导可以对本公开进行各种修改和变形。因此应当理解的是，在所附权利要求的范围内，本发明可按不同于本文具体描述的方式来实践。

在权利要求中，措辞“包括(comprising)”不排除其它元件或步骤，并且不定冠词“一(a)”或“一个(an)”不排除复数。单个元件或其它单元可实现权利要求中记载的几项功能。单纯事实的是某些措施被记载在相互不同的从属权利要求中并不表示不能有利地使用这些措施的组合。

至此，本发明的实施方式被描述为至少部分地由软件控制的数据处理装置来实现，然而应当理解的是诸如光盘、磁盘、半导体存储器等携带该软件的非易失性机器可读介质还可以被考虑表示本发明的实施方式。此外，这样的软件还可以以其他形式来分布，诸如经由因特网或其他有线或无线的电信系统。

权利要求中的任何附图标记不应当被解释为限制该范围。

Claims

1.一种增强现实系统，包括：

-无人驾驶移动物；

-增强现实标记，被布置在所述无人驾驶移动物上或所述无人驾驶移动物内；

-视觉渲染单元，被配置为增强与所述增强现实标记相对应的虚拟信息并且将所述虚拟信息映射在所述无人驾驶移动物上。

2.根据权利要求1所述的增强现实系统，其中，所述无人驾驶移动物具有外表面，并且其中，所述视觉渲染单元被配置为将所述虚拟信息映射在所述无人驾驶移动物的所述外表面的至少一部分上。

3.根据权利要求2所述的增强现实系统，其中，所述视觉渲染单元被配置为使用纹理映射以将所述虚拟信息虚拟地叠加在所述无人驾驶移动物的所述外表面上。

4.根据权利要求1所述的增强现实系统，进一步包括用于改变所述无人驾驶移动物的位置的至少一个致动器。

5.根据权利要求1所述的增强现实系统，其中，所述无人驾驶移动物是遥控飞行物。

6.根据权利要求5所述的增强现实系统，其中，所述遥控飞行物是包括充气气囊的飞艇。

7.根据权利要求6所述的增强现实系统，其中，所述充气气囊具有外表面，并且其中，所述视觉渲染单元被配置为将所述虚拟信息映射在所述充气气囊的整个外表面上。

8.根据权利要求6所述的增强现实系统，进一步包括被布置在所述飞艇上或所述飞艇内的至少一个光源，所述至少一个光源将所述增强现实标记投影在所述飞艇的所述气囊上。

9.根据权利要求8所述的增强现实系统，进一步包括照明控制单元，所述照明控制单元控制所述至少一个光源，以响应于用户输入将多个不同的增强现实标记投影在所述飞艇的所述气囊上。

10.根据权利要求6所述的增强现实系统，进一步包括投影仪，所述投影仪被布置在所述飞艇的所述充气气囊内并且被配置为将图像投影在所述气囊上。

11.根据权利要求1所述的增强现实系统，其中，所述无人驾驶移动物包括至少一个触摸传感器，其中，能够通过用户触摸所述至少一个触摸传感器来改变映射在所述无人驾驶移动物上的所述虚拟信息。

12.根据权利要求2和11所述的增强现实系统，其中，所述至少一个触摸传感器包括导电线，所述导电线被布置在所述无人驾驶移动物的整个外表面上。

13.根据权利要求1所述的增强现实系统，进一步包括：

-至少一个超声波传感器，被布置在所述无人驾驶移动物上或所述无人驾驶移动物内，并且检测所述无人驾驶移动物周围环境中的障碍物并且生成对应的检测信号；以及

-移动控制单元，根据所述检测信号控制所述至少一个致动器的操作。

14.根据权利要求1所述的增强现实系统，进一步包括：

-标记识别单元，接收包括所述无人驾驶移动物的真实环境的图像并且检测所述增强现实标记；以及

-运动检测单元，检测所述增强现实标记相对于观测员的运动、空间定向和距离；

其中，所述视觉渲染单元被配置为根据检测到的所述增强现实标记相对于所述观测员的所述运动、所述空间定向和所述距离来适配所述虚拟信息映射在所述无人驾驶移动物上的尺寸、定向和位置。

15.根据权利要求1所述的增强现实系统，进一步包括可视化单元，所述可视化单元连接至所述视觉渲染单元并且被配置为使真实环境可视化，所述真实环境包括利用映射在所述无人驾驶移动物上的所述虚拟信息增强的所述无人驾驶移动物。

16.一种无人驾驶移动物，具有被布置在所述无人驾驶移动物上或所述无人驾驶移动物内的增强现实标记，所述无人驾驶移动物用于根据权利要求1所述的增强现实系统。