CN103201731B

CN103201731B - 增强现实系统

Info

Publication number: CN103201731B
Application number: CN201080069998.0A
Authority: CN
Inventors: 仓林修一; 吉田尚史; 鹰野孝典
Original assignee: Empire Technology Development LLC
Current assignee: Empire Technology Development LLC
Priority date: 2010-12-02
Filing date: 2010-12-02
Publication date: 2016-01-20
Anticipated expiration: 2030-12-02
Also published as: US20140126724A1; KR101458939B1; WO2012074528A1; CN103201731A; US8660679B2; US20120143361A1; WO2012074528A8; US9215530B2; JP2014507020A; JP5735128B2; KR20130052625A

Abstract

总体上描述了用于处理增强现实图像的系统的技术。在一些示例中，一种增强现实系统可以包括：增强现实引擎，被配置为通过将真实世界图像和虚拟对象加以合成来提供增强现实图像；以及消息处理单元，被配置为接收与所述虚拟对象有关的消息，以及将所述虚拟对象的空间属性转换为声音文件的音频属性。

Description

增强现实系统

背景技术

增强现实(AR)关注于将真实世界和计算机产生的数据进行合并，特别是将计算机图形对象实时混入真实镜头中，以向末端用户显示。AR的范围已扩展到包括非视觉增强和更广的应用领域中，如广告、导航和娱乐等。在提供将包括图像和非视觉增强数据在内的这种计算机产生的数据无缝合成到真实世界场景方面，存在日益增长的兴趣。

发明内容

在示例中，一种增强现实系统可以包括：增强现实引擎，被配置为通过将真实世界图像和虚拟对象加以合成来提供增强现实图像；以及消息处理单元，被配置为接收与所述虚拟对象有关的消息，以及将所述虚拟对象的空间属性转换为声音文件的音频属性。

在示例中，在增强现实系统控制下执行的方法可以包括：接收与虚拟对象有关的消息；以及将所述虚拟对象的空间属性转换为声音文件的音频属性。

在示例中，一种计算机可读存储介质可以包括使得处理器执行以下动作的内容：接收与虚拟对象有关的消息；以及将所述虚拟对象的空间属性转换为声音文件的音频属性。

前述发明内容仅是说明性的，且预期不受到各种形式的限制。除了上述说明性方案、实施例和特征之外，通过参考附图和以下具体实施方式，其他方案、实施例和特征将变得显而易见。

附图说明

通过以下描述和所附权利要求，结合附图，本公开的前述和其他特征将变得更完全显而易见。请理解，这些附图仅示出了根据本公开的若干实施例，且因此不应将其视为对其范围进行了限制，将通过使用附图来以额外的特征和细节描述本公开，在附图中：

图1示出了增强现实系统的说明性示例的示意框图；

图2示出了要由增强现实系统处理的真实世界图像的说明性示例；

图3示出了由增强现实系统所产生的增强现实图像的说明性示例；

图4示出了包括主动消息在内的增强现实图像的说明性示例；

图5示出了在移动设备上显示的包括被动消息在内的增强现实图像的说明性示例；

图6示出了声音映射表的说明性示例；

图7示出了在声音映射表中包括的函数公式的曲线的说明性示例；

图8示出了声音映射表的说明性示例；

图9示出了由增强现实系统所产生的增强现实图像的说明性示例；以及

图10示出了用于播放与虚拟对象有关的声音文件的方法的流程图；

根据本文所述至少一些实施例来布置所有附图。

具体实施方式

在以下具体实施方式中，参考形成了具体实施方式一部分的附图。在附图中，除非上下文另行说明，否则相似的附图标记通常识别相似的组件。在具体实施方式、附图和权利要求中描述的说明性实施例不意味着是限制性的。在不脱离本文所提出的主题的精神和范围的情况下，可以采用其他实施例，且可以进行其他改变。将容易理解：可以将如本文一般描述和附图中示出的本公开的各方案在各种不同的配置下加以布置、替换、组合、分离、以及设计，所有这些都被本文所明确预期。

本公开大体上涉及与增强现实有关的方法、装置、系统、设备、和计算机程序产品等。

简而言之，大体上描述了用于处理增强现实图像的系统的技术。在一些示例中，该系统可以包括用于捕获真实世界图像的图像捕获单元。在一些示例中，该系统可以包括用于存储一个或多个虚拟对象的虚拟对象仓库。在一些示例中，该系统可以包括增强现实引擎，该增强现实引擎用于将真实世界图像与一个或多个虚拟对象加以合成来提供增强现实图像。在一些示例中，该系统可以包括消息处理单元，该消息处理单元用于接收与一个或多个虚拟对象有关的消息，并转换这种一个或多个虚拟对象的空间属性。

图1示出了根据本文所述至少一些实施例的增强现实系统的说明性示例的示意框图。下面将参考图2至5所示的说明性示例图像来描述该增强现实系统。参见图1，该增强现实系统可以包括：图像捕获单元100、增强现实模块200、显示单元300和声音播放器400。

图像捕获单元100可以捕获一个或多个真实世界图像。作为示例，图像捕获单元100可以捕获如图2所示的真实世界图像510，且向增强现实模块200提供所捕获的真实世界图像510。图像捕获单元100可以包括(但不限于)：数字相机、嵌入在移动设备中的相机、HMD(头戴式显示器)、光学传感器、电子传感器、多个这种设备或它们的任意组合。

增强现实模块200可以包括：深度识别单元210、距离计算单元220、虚拟对象仓库230、增强现实引擎240、消息处理单元250、用户识别单元260、第一声音文件仓库270以及第二声音文件仓库280。

深度识别单元210可以获得图像捕获单元100所捕获的真实世界图像的空间属性。深度识别单元210可以计算图2所示真实世界图像510中的x、y和z轴，并获得真实世界图像510中的各种真实对象的图像或描绘(depiction)的x、y和z坐标。为了获得x、y和z轴以及真实世界图像510中各种真实对象的图像或描绘的x、y和z坐标，深度识别单元210可以使用位置识别算法。位置识别算法可以包括(但不限于)：使用平行跟踪和映射(PTAM)方法(如GeorgKlein和DavidMurray在“ParallelTrackingandMappingforSmallARWorkspaces，”InProc.InternationalSymposiumonMixedandAugmentedReality，ISMAR’07，Nara中描述的)和/或同时本地化和映射(SLAM)方法。使用的位置识别算法可以是本领域中众所周知的算法，且可以在不需要本文进一步说明的情况下实现。

距离计算单元220可以获得用户和虚拟对象之间的距离(即，虚拟对象相对于用户的位置)。距离计算单元220可以使用真实世界图像510的x、y和z轴以及其中真实对象的图像或描绘x、y和z坐标来计算用户和虚拟对象之间的距离和/或虚拟对象相对于用户的位置。可以将一个或多个虚拟对象存储在虚拟对象仓库230中，并布置在真实世界图像510中与真实对象的图像或描绘的x、y和z坐标相对应位置上。

距离计算单元220可以计算用户和虚拟对象之间的欧式(欧几里得)度量，以获得用户和虚拟对象之间的距离。欧式度量可以是在两个不同点之间的距离，且可以用以下公式1来表达。

d (p, p^{'}) = Σ_{i = 1}^{j} p_{i} {p^{'}}_{i}

(公式1)

此处，p可以表示两个不同点之一，且p’可以表示这两个不同点中的另一个。p可以具有x轴坐标x、y轴坐标y以及z轴坐标z，且可以表达为p(x，y，z)，且p’可以具有x轴坐标x’、y轴坐标y’以及z轴坐标z’，且可以表达为p’(x’，y’，z’)。为了详细说明，可以用以下公式2来表达公式1。

d (p, p^{'}) = \sqrt{{(x - x^{'})}^{2} + {(y - y^{'})}^{2} + {(z - z^{'})}^{2}}

(公式2)

当增强现实引擎240产生增强现实图像时，可以使用距离计算单元220计算的用户和虚拟对象之间的距离。

增强现实引擎240可以通过将真实世界图像510和一个或多个虚拟对象加以合成来提供增强现实图像。作为示例，如图3所示，增强现实引擎240可以被配置为通过使用真实世界图像510的x、y和z轴以及其中真实对象的图像或描绘的x、y和z坐标将真实世界图像510和虚拟对象530至541合成，以提供增强现实图像520。

此外，增强现实引擎240可以通过使用用户和虚拟对象530至541之间的距离来合成真实世界图像510和虚拟对象530至541。例如，与虚拟对象530至541中距离用户更大(更远)距离的一些虚拟对象相比，虚拟对象530至541中距离用户更小(更近)距离的其它虚拟对象可以在增强现实图像520上显示得更大。

参见图3，作为示例，在增强现实图像520上将虚拟对象531显示为大于虚拟对象534。因此，可以向用户告知以下事实：与虚拟对象531相对应的真实对象比与虚拟对象534相对应的真实对象更接近用户。

消息处理单元250可以从增强现实引擎240接收与在增强现实图像520上显示的虚拟对象530至541有关的一个或多个消息。这种消息可以包括至少两个部分。这两个部分之一可以是声音文件，且这两个部分中的另一个可以是实体，例如(但不限于)：文本数据、图形数据或数值数据。如下所述，消息处理单元250可以将虚拟对象的空间属性(可以包括消息)转换为声音文件的音频属性(其可以被包括在该消息中)。此外，可以由下面提到的声音播放器400来播放该声音文件。

文本数据可以包括任何信息，包括(但不限于)：广告、交通报告、方向以及新闻报道。此外，图形数据可以包括符号或图标，如“”的警告图标。此外，数值数据可以是增强现实图像的虚拟对象的x、y和z坐标，且虚拟对象的x、y和z坐标可以对应于用户输入的位置(x，y，z)，该位置(x，y，z)是由用户通过触摸、点击或拖放虚拟对象的描绘而对虚拟对象的选择。

消息可以包括主动消息和被动消息。主动消息可以是：不管用户是否通过触摸、点击或拖放虚拟对象的描绘来选择虚拟对象，可以根据增强现实图像的虚拟对象向用户自动传递的消息。被动消息可以是：作为对用户通过触摸、点击或拖放虚拟对象的描绘来选择虚拟对象的响应，可以根据增强现实图像的虚拟对象向用户传递的消息。为了向用户告知增强现实系统正在识别用户选择，可以通过用户选择虚拟对象来产生被动消息。

可以根据虚拟对象530至541来提供主动消息并在增强现实图像520上传递给用户。可以在虚拟对象仓库230中存储包括主动消息在内的虚拟对象530至541。此外，可以基于用户输入来产生被动消息并在增强现实图像520上传递给用户。作为示例，被动消息可以是：响应于与虚拟对象530至541有关的用户输入而来自虚拟对象530至541之一的响应。可以在虚拟对象仓库230中存储包括相关联的被动消息在内的虚拟对象530至541。

尽管在实施例中，主动和被动消息可以由虚拟对象530至541来提供，且在虚拟对象仓库230中与这些虚拟对象一起存储，在一些实施例中，可以由增强现实引擎240将主动和被动消息与虚拟对象530至541相关联。例如，可以在与虚拟对象仓库230分离的仓库中存储主动和被动消息。增强现实引擎240可以从该分离的仓库中检索与虚拟对象530至541有关的主动和被动消息，并将他们与虚拟对象530至541相结合。

消息处理单元250可以从增强现实引擎240接收增强现实图像520。在实施例中，增强现实图像520上的虚拟对象530至541可以包括主动消息。消息处理单元250可以接收在虚拟对象530至541中包括的主动消息，并在增强现实图像520上显示接收到的主动消息。例如，如图4所示，消息处理单元250可以接收主动消息并在增强现实图像520上显示该消息，该主动消息可以具有文本数据(如，“10路公共汽车在2分钟后到来”)的实体数据，且可以被包括在虚拟对象532中。此外，消息处理单元250可以接收主动消息并在增强现实图像520上显示该消息，该主动消息可以具有文本数据(如，“11:00AM之前10％的折扣”)的实体数据，且可以被包括在虚拟对象540中。此外，消息处理单元250可以接收主动消息并在增强现实图像520上显示该消息，该主动消息可以具有图形数据(如，“”)的实体数据，且可以被包括在虚拟对象535中。

用户识别单元260可以识别与在增强现实图像520上的虚拟对象530至541有关的用户输入。作为示例，用户识别单元260可以识别在显示单元300上显示的增强现实图像520上的虚拟对象530至541有关的用户输入。例如，用户识别单元260可以识别通过触摸显示单元300来进行的用户输入。

此外，用户识别单元260可以使用诸如(但不限于)便捷增强现实方法(T.LeeandT.Hollerer.2009.TransactionsonVisualizationandComputerGraphics15，3(May2009)，355-368)的算法来识别由图像捕获单元100所捕获的用户输入，该便捷增强现实方法用于识别在相机所捕获的用户的指尖和虚拟对象530至541之间的交互。此处，对于本领域技术人员显而易见的是：用户识别单元260可以使用除了便捷增强现实方法之外的其他用于识别在用户和虚拟对象530至541之间的交互的算法。

如果在显示单元300上输入了与在增强现实图像520上的虚拟对象530至541有关的用户输入，则可以根据虚拟对象530至541产生被动消息。此外，如果在增强现实图像520上输入由图像捕获单元100所捕获的用户输入，则可以根据虚拟对象530至541来产生被动消息。

返回对消息处理单元250的描述，消息处理单元250可以从增强现实引擎240接收增强现实图像520。此处，增强现实图像520上的虚拟对象530至541可以包括被动图像。消息处理单元250可以接收在虚拟对象530至541中包括的被动消息。

作为示例，如图5所示，用户560可以进行与在移动设备550上显示的增强现实图像520上的虚拟对象538有关的用户输入。该用户输入可以是用户通过触摸、点击或拖放移动设备550上虚拟对象530的描绘而对虚拟对象538的选择。用户识别单元260可以识别来自移动设备550的屏幕上的用户输入。图5所示的移动设备550可以包括(但不限于)：个人数字助理(PDA)、智能电话、平板计算机、个人计算机、膝上型计算机、蜂窝电话、任何类型的无线或有线通信设备以及便携多媒体播放器(PMP)或它们的任意组合。如果进行用户输入，可以基于虚拟对象538的用户选择的位置(x，y，z)来产生具有数值数据(如，增强现实图像520的虚拟对象538的x、y和z坐标)的被动消息。然后，消息处理单元250可以接收从虚拟对象538产生的被动消息。被动消息可以是用于在用户和虚拟对象之间通信的内部数据结构，从而可以不在移动设备550的屏幕上显示该被动消息。

在图3至5中，尽管在增强现实图像520上显示了12个虚拟对象530至541，能够在增强现实图像520上显示的虚拟对象的数目可以不限于此。此外，尽管在图3至5中的增强现实图像520上示出了x轴、y轴、和z轴，可以不在显示单元300上显示它们。此外，尽管在移动设备550显示的图5中示出了增强现实图像520，用于显示增强现实图像520的设备不限于移动设备550。

返回图1，消息处理单元250可以将虚拟对象的空间属性转换为声音文件的音频属性。空间属性可以由深度识别单元210来获得，如本文所述。空间属性可以包括：第一空间分量、第二空间分量以及第三空间分量。例如，第一空间分量可以是虚拟对象的x坐标，第二空间分量可以是虚拟对象的y坐标，以及第三空间分量可以是虚拟对象的z坐标。声音文件的音频属性可以包括：第一音频分量、第二音频分量以及第三音频分量。作为示例，第一音频分量可以是声音文件的音调分量，第二音频分量可以是声音文件的音高分量，以及第三音频分量可以是声音文件的音量分量。在实施例中，可以通过使用与各种乐器相关联的声音来实现音调分量。例如，可以由钢琴声来指示较低的音调分量，而由小提琴声来指示较高的音调分量。指示音调分量的任何其他手段或可以与音调分量相关联的任何其他声音或声音的组合预期在本公开的范围内。

尽管将第一、第二、和第三空间分量分别描述为x坐标、y坐标和z坐标，它们只不过是示例，且不限于此。此外，尽管可以将第一、第二、和第三音频分量分别描述为音调、音高、和音量分量，它们只不过是示例，且不限于此。

消息处理单元250可以将第一空间分量、第二空间分量以及第三空间分量分别转换为第一音频分量、第二音频分量以及第三音频分量。例如，消息处理单元250可以将虚拟对象的x、y和z坐标分别转换为声音文件的音调、音高和音量分量。

然而，如本文所述，由于x、y和z坐标并不始终可以分别是第一、第二和第三空间分量，且音调、音高、和音量分量并不始终可以分别是第一、第二、和第三音频分量，在x、y和z坐标与音调、音高和音量分量之间的转换关系可以变化。例如，消息处理单元250可以将虚拟对象的x、y和z坐标分别转换为声音文件的音高、音量和音调分量。此外，消息处理单元250可以将虚拟对象的x、y和z坐标分别转换为声音文件的音量、音调和音高分量。

消息处理单元250可以通过使用声音映射表，将虚拟对象的空间属性转换为声音文件的音频属性。声音映射表可以包括指示空间属性和音频属性之间的关系的函数公式。

图6示出了根据本文所述至少一些实施例的声音映射表600的说明性示例。如图6所示，声音映射表600可以包括定义了空间属性的每个空间分量与音频属性的每个音频分量之间的关系的函数公式。作为示例，可以由函数公式t＝f₁(x)来定义在x坐标和音调分量之间的关系。因此，通过使用函数公式t＝f₁(x)，消息处理单元250可以将虚拟对象的x坐标转换为声音文件的音调分量。

同样地，可以由函数公式p＝f₂(x)来定义在x坐标和音高分量之间的关系，以及可以由函数公式v＝f₃(x)来定义在x坐标和音量分量之间的关系。此外，可以由函数公式t＝f₄(y)来定义在y坐标和音调分量之间的关系，可以由函数公式p＝f₅(y)来定义在y坐标和音高分量之间的关系，以及可以由函数公式v＝f₆(y)来定义在y坐标和音量分量之间的关系。此外，可以由函数公式t＝f₇(z)来定义在z坐标和音调分量之间的关系，可以由函数公式p＝f₈(z)来定义在z坐标和音高分量之间的关系，以及可以由函数公式v＝f₉(z)来定义在z坐标和音量分量之间的关系。

在图6中，尽管声音映射表600包括定义了x、y和z坐标中每一个坐标与音调、音高和音量分量中每一个分量之间的关系的9个不同的函数公式，函数公式的数目不限于此。作为示例，可以都由f₁(x)来定义在x坐标和音调分量之间的关系、在x坐标和音高分量之间的关系以及在x坐标和音量分量之间的关系。

图7示出了图6所示的声音映射表600中包括的函数公式的曲线的说明性示例。如图7所示，图中的x轴表示虚拟对象的空间属性，且图中的y轴指示声音文件的音频属性。图7的曲线1是1+log10(x)的曲线；曲线2是1+x/10的曲线；曲线3是1-x/10的曲线；以及曲线4是1-log10(x)的曲线。作为示例，在声音映射表600中包括的f_n(f₁(x)、f₂(x)、f₃(x)、f₄(y)、f₅(y)、f₆(y)、f₇(z)、f₈(z)和f₉(z))可以是图7中的曲线1至4中任一个。尽管参考图7描述了f_n是曲线1至4中任一个，f_n不限于此。

图8示出了根据本文所述至少一些实施例的声音映射表700。声音映射表700可以包括示出了在空间属性和音频属性之间的关系的查找表。尽管在声音映射表700中示出了虚拟对象的x、y和z坐标分别对应于声音文件的音调、音高以及音量分量，在x、y和z坐标与音调、音高和音量分量之间的对应关系不限于此。此外，尽管在图8所示的声音映射表700中可以以厘米(cm)为单位来划分虚拟对象的x、y和z坐标，单位可以不限于此。即，可以用比cm更小或更大的单位来划分虚拟对象的空间属性。

返回图1，第一声音文件仓库270可以包括第一声音映射表。当消息处理单元250将具有主动消息的虚拟对象的空间属性转换为声音文件的音频属性时，消息处理单元250可以使用第一声音映射表。作为示例，返回图4，当消息处理单元250将虚拟对象532和540之一的空间属性转换为对应声音文件的音频属性时，消息处理单元250可以使用第一声音映射表。

第二声音文件仓库280可以包括第二声音映射表。当消息处理单元250将与被动消息有关的虚拟对象的空间属性转换为声音文件的音频属性时，消息处理单元250可以使用第二声音映射表。例如，返回图5，当消息处理单元250将虚拟对象531和538之一的空间属性转换为对应声音文件的音频属性时，消息处理单元250可以使用第二声音映射表。

在图1中，增强现实模块200可以包括：第一声音文件仓库270，具有在消息处理单元250将包括主动消息在内的虚拟对象的空间属性转换为音频属性时使用的第一声音映射表；以及第二声音文件仓库280，具有在消息处理单元250将与被动消息有关的虚拟对象的空间属性转换为音频属性时使用的第二声音映射表。然而，对于本领域技术人员显而易见的是：增强现实模块200可以包括在将与主动消息有关的虚拟对象的空间属性以及与被动消息有关的虚拟对象530至541的空间属性转换为音频属性时公用的单一声音映射表。

显示单元300可以显示增强现实图像520和消息。作为示例，显示单元300可以显示增强现实图像520和在增强现实图像520上的与虚拟对象530至541有关的消息。此外，显示单元300可以包括移动设备(如，个人数字助理(PDA)、智能电话、蜂窝电话或便携多媒体播放器(PMP))的屏幕、数字相机的屏幕、计算机监视器、笔记本或平板计算机的屏幕等。显示单元300可以接收用户输入。例如，用户可以通过触摸、点击或拖放在显示单元300上显示的增强现实图像520上的虚拟对象530至541中一个或多个虚拟对象来输入用户输入或选择。

声音播放器400可以播放声音文件。如本文所述，消息处理单元250可以将增强现实图像520上的虚拟对象530至541的空间属性转换为一个或多个声音文件的音频属性。声音播放器400可以播放包括由消息处理单元250所转换的音频属性在内的这种声音文件。声音文件可以被包括在虚拟对象530至541包括的消息中。因此，声音播放器400可以根据具有消息的虚拟对象530至541的位置来播放不同的声音文件。例如，在向用户传递消息时，声音播放器400可以播放不同的声音文件。

在一些实施例中，声音播放器400可以创作包括由消息处理单元250转换的音调、音高和音量分量在内的声音文件。作为示例，可以在分离的仓库中存储具有基本音调、音高和音量分量的至少一个基本声音文件。此外，声音播放器400可以从分离的仓库中检索基本声音文件，且根据消息处理单元250转换的音调、音高和音量分量来调整检索到的声音文件的基本音调、音高和音量分量，并播放具有调整过的音调、音高和音量分量的声音文件。

在一些实施例中，声音文件可以存储在分离的数据库中。例如，可以在分离的数据库中存储各自具有不同音调、音高和音量分量的多个声音文件。声音播放器400可以从分离的数据库中检索具有消息处理单元250转换的音调、音高和音量分量的声音文件，并播放检索到的声音文件。此外，可以在不同数据库中存储与主动消息有关的声音文件和与被动消息有关的声音文件。

将参照图4和5来进一步详细描述声音播放器400对声音文件的播放。作为示例，假定在增强现实图像520上的虚拟对象的第一空间分量、第二空间分量和第三空间分量分别是x坐标、y坐标和z坐标。此外，假定声音文件的第一音频分量、第二音频分量和第三音频分量分别是音调分量、音高分量和音量分量。因此，消息处理单元250将x坐标、y坐标和z坐标分别转换为音调分量、音高分量和音量分量。

参见图4，增强现实图像520上的虚拟对象532与虚拟对象540相比，可以具有更小的x坐标、更小的y坐标和更大的z坐标。因此，与虚拟对象532有关的声音文件和与虚拟对象540有关的声音文件相比，可以具有较低的音调分量、较低的音高分量和较大的音量分量。例如，当显示单元300显示虚拟对象532的主动消息和虚拟对象540的主动消息时，声音播放器400可以播放具有与各个虚拟对象532和540的空间属性相对应的音频属性的声音文件。由于与虚拟对象532有关的声音文件和与虚拟对象540有关的声音文件相比，具有较低的音调分量、较低的音高分量和较大的音量分量，当用户收听播放的声音文件时，可以向他或她告知在虚拟对象532和540之间的相对位置关系(即，通过两个声音文件的不同的音调、音高和音量)。

参见图5，在增强现实图像520上的虚拟对象531与虚拟对象538相比，可以具有更小的x坐标、更小的z坐标以及相同的y坐标。因此，与虚拟对象531有关的声音文件和与虚拟对象538有关的声音文件相比，可以具有较低的音调分量、较小的音量分量和相同的音高分量。例如，当向用户传递虚拟对象531的被动消息和虚拟对象538的被动消息时，声音播放器400可以播放具有与各个虚拟对象531和538的空间属性相对应的音频属性的声音文件。由于与虚拟对象531有关的声音文件和与虚拟对象538有关的声音文件相比，可以具有较低的音调分量、较小的音量分量和相同的音高分量，当用户收听播放的声音文件时，可以向他或她告知在虚拟对象531和538之间的相对位置关系。

如本文所述，消息处理单元250可以使用在声音映射表600中包括的函数公式将虚拟对象530至541的空间属性转换为音频属性。作为示例，当消息处理单元250将x坐标、y坐标、和z坐标分别转换为音调分量、音高分量和音量分量时，其可以使用与图7所示的曲线1相对应的函数公式。在这种情况下，由于曲线1是对数函数，即使x轴、y轴和z轴坐标微小改变，音调、音高和音量分量也可以极大地变化。因此，可以根据增强现实图像250上虚拟对象530至541的位置，清楚地区分与各个虚拟对象530至541相对应的声音文件。从而，在收听声音文件时，用户可以更容易区分在增强现实图像520上的虚拟对象530至541之间的相对位置。此外，在区分与主动消息有关的声音文件和与被动消息有关的声音文件的情况下，可以通过收听声音文件向用户告知产生了主动消息还是产生了被动消息。

到目前为止，已描述了在增强现实图像520上的虚拟对象530至541的空间属性包括第一、第二和第三空间分量，且声音文件的音频属性包括第一、第二和第三音频分量。然而，增强现实图像上的虚拟对象的空间属性可以仅包括第一和第二空间分量，而不具有第三空间分量。此外，声音文件的音频属性可以仅包括第一和第二音频分量，而不具有第三音频分量。作为示例，第一空间分量可以是虚拟对象的x坐标，且第二空间分量可以是虚拟对象的z坐标。此外，第一音频分量可以是声音文件的音高分量，且第二音频分量可以是声音文件的音量分量。

此处，对于本领域技术人员显而易见的是：第一空间分量可以是虚拟对象的y坐标或z坐标，第二空间分量可以是虚拟对象的x坐标或y坐标，第一音频分量可以是声音文件的音调分量或音量分量，且第二音频分量可以是声音文件的音高分量或音调分量。

消息处理单元250可以将第一空间分量和第二空间分量分别转换为第一音频分量和第二音频分量。例如，消息处理单元250可以将虚拟对象的x坐标转换为声音文件的音高分量，且将虚拟对象的z坐标转换为声音文件的音量分量。

声音播放器400可以创作声音文件。作为示例，声音播放器400可以创作具有消息处理单元250转换的音高分量和音量分量的声音文件、具有音调分量和音高分量的声音文件和/或具有消息处理单元250转换的音调分量和音量分量的声音文件，并播放所创作的声音文件。

图9示出了由增强现实系统产生的增强现实图像的说明性示例。可以在移动设备810上显示增强现实图像820。在增强现实图像820上显示的虚拟对象821至829可以指示钢琴键。虚拟对象821至829中每一个可以包括空间属性。虚拟对象821至829中每一个的空间属性可以包括第一空间分量和第二空间分量。作为示例，第一空间分量可以是虚拟对象821至829中每一个的x坐标，且第二空间分量可以是虚拟对象821至829中每一个的z坐标。此处，增强现实图像820的z轴可以指示按下虚拟对象821至829的深度方向。

消息处理单元250可以将虚拟对象821至829中每一个的第一空间分量和第二空间分量转换为声音文件的第一音频分量和第二音频分量。作为示例，声音文件的第一音频分量可以是声音文件的音高分量，且第二音频分量可以是声音文件的音量分量。

如果用户向虚拟对象821至829输入用户输入，消息处理单元250可以将虚拟对象821至829中被输入了用户输入的每一个虚拟对象的第一和第二空间分量转换为声音文件的第一和第二音频分量。然后，声音播放器400可以播放具有由消息处理单元250转换的第一和第二音频分量的声音文件。

虚拟对象821至829的x坐标可以在从虚拟对象821到虚拟对象829的方向上增加，且与虚拟对象821至829有关的声音文件可以按照虚拟对象821至829的顺序具有更高的音高分量。此外，随着虚拟对象821至829的z坐标增加，它们的声音文件可以具有更大的音量分量。作为示例，随着用户更用力或更长时间段的按下虚拟对象821至829，声音文件可以具有更大的音量分量。

图10示出了根据本文所述至少一些实施例的用于播放与虚拟对象有关的声音文件的方法的流程图。可以使用例如上述增强现实系统来实现图10中的方法。示例方法可以包括如步骤S910、S920、S930、S940和/或S950中一项或多项所说明的一个或多个操作、动作或功能。尽管以分离的步骤示出，可以根据所需实现方式，将各种步骤分为附加步骤，组合为更少的步骤，或消除步骤。

在步骤S910，增强现实系统可以被配置为捕获一个或多个真实世界图像。真实世界图像可以示出或描绘各种真实对象，如建筑物、树、公园、地铁站等等。

在步骤S920，增强现实系统可以被配置为通过将在步骤S910所捕获的真实世界图像与一个或多个虚拟对象加以合成来提供增强现实图像。在增强现实图像中，可以将位于更接近用户的虚拟对象示出为比位于更远离用户的虚拟对象更大。

在步骤S930，增强现实系统可以被配置为接收与虚拟对象有关的消息。如本文所讨论的，该消息可以包括主动消息和/或被动消息。

在步骤S940，增强现实系统可以被配置为将虚拟对象的空间属性转换为声音文件的音频属性。虚拟对象的空间属性可以包括第一空间分量、第二空间分量和第三空间分量。声音文件的音频属性可以包括第一音频分量、第二音频分量和第三音频分量。

作为示例，虚拟对象的第一空间分量、第二空间分量和第三空间分量分别可以是虚拟对象的x坐标、y坐标和z坐标。此外，声音文件的第一音频分量、第二音频分量和第三音频分量分别可以是音调分量、音高分量和音量分量。然而，对于本领域技术人员显而易见的是：在第一、第二和第三空间分量与x、y、和z坐标之间的对应关系可以变化。此外，对于本领域技术人员也显而易见的是：在第一、第二和第三音频分量与音调、音高和音量分量之间的对应关系也可以变化。

在步骤S940，增强现实系统可以被配置为：通过使用声音映射表将第一、第二和第三空间分量分别转换为第一、第二和第三音频分量。作为示例，增强现实系统可以将虚拟对象的x、y和z坐标分别转换为声音文件的音调、音高和音量分量。

在步骤S950，增强现实系统可以被配置为播放具有在步骤S940转换的音频属性的声音文件。作为示例，如果用户触摸在增强现实图像上的虚拟对象，或如果虚拟对象将其与主动消息相关联，可以将虚拟对象的空间属性转换为声音文件的音频属性，且增强现实系统可以播放具有转换后的音频属性的声音文件。

在一些实施例中，在步骤S930至S950，增强现实系统可以被配置为：在处理具有主动消息的虚拟对象之后，处理具有被动消息的虚拟对象。然而，转换序列不限于上述，且增强现实系统可以被配置为：在处理具有主动消息的虚拟对象之前，处理具有被动消息的虚拟对象。此外，增强现实系统可以被配置为根据消息产生的次序来处理虚拟对象。

本公开不应受限于在本申请中描述的具体实施例，这些具体实施例意在说明各种方案。如本领域技术人员显而易见的，可以在不脱离本公开的精神和范围的情况下，进行很多修改和变化。除了本文列举的那些之外，在本公开的范围内的功能等价的方法和装置将对于知晓前述描述的本领域技术人员是显而易见的。这种修改和变化预期落在所附权利要求的范围中。本公开应仅受到所附权利要求的条款以及这些所附权利要求的全等价范围的限制。应当理解本公开不限于具体方法或系统。还应当理解本文所使用的术语仅用于描述特定实施例，且预期不是限制性的。

在说明性实施例中，可以将本文所述的任何操作、过程等实现为在计算机可读介质上存储的计算机可读指令。可以由移动单元、网络元件、和/或任何其他计算设备的处理器来执行该计算机可读指令。

在系统方案的硬件和软件实现方式之间存在一些小差别。硬件或软件的使用一般(但并非总是，因为在特定情况下硬件和软件之间的选择可能变得很重要)是一种体现成本与效率之间权衡的设计选择。可以各种手段(例如，硬件、软件和/或固件)来实施本文所描述的过程和/或系统和/或其他技术，并且优选的手段可以随着所述过程和/或系统和/或其他技术所应用的环境而改变。例如，如果实现方确定速度和准确性是最重要的，则实现方可以选择主要为硬件和/或固件的手段；如果灵活性是最重要的，则实现方可以选择主要是软件的实施方式。备选地，实现方可以选择硬件、软件和/或固件的特定组合。

以上的具体实施方式通过使用框图、流程图和/或示例，已经阐述了设备和/或过程的各种实施例。在这种框图、流程图和/或示例包含一个或多个功能和/或操作的情况下，本领域技术人员应理解，这种框图、流程图或示例中的每一功能和/或操作可以通过各种硬件、软件、固件或实质上它们的任意组合来单独和/或共同实现。在一个实施例中，本文所述主题的若干部分可以通过专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、和/或其他集成格式来实现。然而，本领域技术人员应认识到，本文所公开的实施例的一些方面在整体上或部分地可以等同地实现在集成电路中，实现为在一台或多台计算机上运行的一个或多个计算机程序(例如，实现为在一台或多台计算机系统上运行的一个或多个程序)，实现为在一个或多个处理器上运行的一个或多个程序(例如，实现为在一个或多个微处理器上运行的一个或多个程序)，实现为固件，或者实质上实现为上述方式的任意组合，并且本领域技术人员根据本公开，将具备设计电路和/或写入软件和/或固件代码的能力。此外，本领域技术人员将认识到，本文所述主题的机制能够作为多种形式的程序产品进行分发，并且无论实际用来执行分发的信号承载介质的具体类型如何，本文所述主题的说明性实施例均适用。信号承载介质的示例包括(但不限于)：可记录型介质，如软盘、硬盘驱动器、CD、DVD、数字磁带、计算机存储器等；以及传输型介质，如数字和/或模拟通信介质(例如，光纤光缆、波导、有线通信链路、无线通信链路等)。

本领域技术人员将认识到，以本文阐述的方式来描述设备和/或过程，此后使用工程实践将所描述的设备和/或过程集成到数据处理系统中是本领域的常用手段。即，本文所述的设备和/或过程的至少一部分可以通过合理数量的试验而被集成到数据处理系统中。本领域技术人员将认识到，典型的数据处理系统一般包括以下各项中的一项或多项：系统单元外壳；视频显示设备；存储器，如易失性和非易失性存储器；处理器，如微处理器和数字信号处理器；计算实体，如操作系统、驱动程序、图形用户接口、以及应用程序；一个或多个交互设备，如触摸板或屏幕；和/或控制系统，包括反馈环和控制电机(例如，用于感测位置和/或速度的反馈；用于移动和/或调节成分和/或数量的控制电机)。典型的数据处理系统可以利用任意合适的商用部件(如数据计算/通信和/或网络计算/通信系统中常用的部件)予以实现。

本文所述的主题有时说明不同部件包含在不同的其他部件内或者不同部件与不同的其他部件相连。应当理解，这样描述的架构只是示例，事实上可以实现许多能够实现相同功能的其他架构。在概念上，有效地“关联”用以实现相同功能的部件的任意设置，从而实现所需功能。因此，本文组合实现具体功能的任意两个部件可以被视为彼此“关联”从而实现所需功能，而无论架构或中间部件如何。同样，任意两个如此关联的部件也可以看作是彼此“可操作地连接”或“可操作地耦合”以实现所需功能，且能够如此关联的任意两个部件也可以被视为彼此“能可操作地耦合”以实现所需功能。能可操作地耦合的具体示例包括但不限于物理上可配对和/或物理上交互的部件，和/或无线交互和/或可无线交互的部件，和/或逻辑交互和/或可逻辑交互的部件。

至于本文中任何关于多数和/或单数术语的使用，本领域技术人员可以从多数形式转换为单数形式，和/或从单数形式转换为多数形式，以适合具体环境和应用。为清楚起见，在此明确声明单数形式/多数形式可互换。

本领域技术人员应当理解，一般而言，所使用的术语，特别是所附权利要求中(例如，在所附权利要求的主体部分中)使用的术语，一般地应理解为“开放”术语(例如，术语“包括”应解释为“包括但不限于”，术语“具有”应解释为“至少具有”等)。本领域技术人员还应理解，如果意在所引入的权利要求中标明具体数目，则这种意图将在该权利要求中明确指出，而在没有这种明确标明的情况下，则不存在这种意图。例如，为帮助理解，所附权利要求可能使用了引导短语“至少一个”和“一个或多个”来引入权利要求中的特征。然而，这种短语的使用不应被解释为暗示着由不定冠词“一”或“一个”引入的权利要求特征将包含该特征的任意特定权利要求限制为仅包含一个该特征的实施例，即便是该权利要求既包括引导短语“一个或多个”或“至少一个”又包括不定冠词如“一”或“一个”(例如，“一”和/或“一个”应当被解释为意指“至少一个”或“一个或多个”)；在使用定冠词来引入权利要求中的特征时，同样如此。另外，即使明确指出了所引入权利要求特征的具体数目，本领域技术人员应认识到，这种列举应解释为意指至少是所列数目(例如，不存在其他修饰语的短语“两个特征”意指至少两个该特征，或者两个或更多该特征)。另外，在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。本领域技术人员还应理解，实质上任意表示两个或更多可选项目的转折连词和/或短语，无论是在说明书、权利要求书还是附图中，都应被理解为给出了包括这些项目之一、这些项目任一方、或两个项目的可能性。例如，短语“A或B”应当被理解为包括“A”或“B”、或“A和B”的可能性。

另外，在以马库什组描述本公开的特征或方案的情况下，本领域技术人员应认识到，本公开由此也是以该马库什组中的任意单独成员或成员子组来描述的。

本领域技术人员应当理解，出于任意和所有目的，例如为了提供书面说明，本文公开的所有范围也包含任意及全部可能的子范围及其子范围的组合。任意列出的范围可以被容易地看作充分描述且实现了将该范围至少进行二等分、三等分、四等分、五等分、十等分等。作为非限制性示例，在此所讨论的每一范围可以容易地分成下三分之一、中三分之一和上三分之一等。本领域技术人员应当理解，所有诸如“直至”、“至少”、“大于”、“小于”之类的语言包括所列数字，并且指代了随后可以如上所述被分成子范围的范围。最后，本领域技术人员应当理解，范围包括每一单独数字。因此，例如具有1～3个单元的组是指具有1、2或3个单元的组。类似地，具有1～5个单元的组是指具有1、2、3、4或5个单元的组，以此类推。

尽管已经在此公开了多个方案和实施例，但是本领域技术人员应当明白其他方案和实施例。本文所公开的多个方案和实施例是出于说明性的目的，而不是限制性的，本公开的真实范围和精神由所附权利要求表征。

Claims

1.一种增强现实系统，包括：

增强现实引擎，被配置为通过将真实世界图像和虚拟对象加以合成来提供增强现实图像；以及

消息处理单元，被配置为接收与所述虚拟对象有关的消息，以及将所述虚拟对象的空间属性转换为声音文件的音频属性，

其中，所述空间属性包括所述虚拟对象的第一空间分量、第二空间分量以及第三空间分量，

其中，所述音频属性包括所述声音文件的第一音频分量、第二音频分量以及第三音频分量，

其中，所述消息处理单元还被配置为：将所述第一空间分量、所述第二空间分量以及所述第三空间分量分别转换为所述第一音频分量、所述第二音频分量以及所述第三音频分量，

其中，所述第一空间分量、所述第二空间分量以及所述第三空间分量分别包括所述虚拟对象的x轴分量、y轴分量以及z轴分量，以及

其中，所述第一音频分量、所述第二音频分量以及所述第三音频分量分别包括所述声音文件的音调分量、音高分量以及音量分量。

2.根据权利要求1所述的增强现实系统，还包括被配置为播放所述声音文件的声音播放器。

3.根据权利要求1所述的增强现实系统，其中，所述消息包括根据所述虚拟对象而产生的主动消息和根据针对所述虚拟对象的用户输入而产生的被动消息。

4.根据权利要求3所述的增强现实系统，还包括：

第一声音文件仓库，被配置为存储第一声音映射表；以及

第二声音文件仓库，被配置为存储第二声音映射表，

其中，所述消息处理单元还被配置为：使用所述第一声音映射表将与所述主动消息有关的所述虚拟对象的空间属性转换为所述音频属性，以及使用所述第二声音映射表将与所述被动消息有关的所述虚拟对象的空间属性转换为所述音频属性。

5.根据权利要求1所述的增强现实系统，还包括：

声音文件仓库，被配置为存储声音映射表，

其中，所述消息处理单元还被配置为：使用所述声音映射表将所述空间属性转换为所述音频属性。

6.根据权利要求5所述的增强现实系统，其中，所述声音映射表包括函数公式，所述函数公式示出了所述空间属性之一和所述音频属性之一之间的关系。

7.根据权利要求1所述的增强现实系统，还包括：

深度识别单元，被配置为识别所捕获的真实世界图像的空间属性；以及

距离计算单元，被配置为基于所捕获的真实世界图像的空间属性来计算用户和所述虚拟对象之间的距离。

8.根据权利要求1所述的增强现实系统，还包括：

显示单元，被配置为显示所述增强现实图像和所述消息。

9.根据权利要求1所述的增强现实系统，还包括：

用户识别单元，被配置为识别由图像捕获单元所捕获的用户行为。

10.一种在增强现实系统的控制下执行的方法，所述方法包括：

接收与虚拟对象有关的消息；以及

将所述虚拟对象的空间属性转换为声音文件的音频属性，

其中，所述转换包括：将所述第一空间分量、所述第二空间分量以及所述第三空间分量分别转换为所述第一音频分量、所述第二音频分量以及所述第三音频分量，

11.根据权利要求10所述的方法，还包括：播放所述声音文件。

12.根据权利要求10所述的方法，其中，所述消息包括根据所述虚拟对象而产生的主动消息和根据针对所述虚拟对象的用户输入而产生的被动消息。

13.根据权利要求10所述的方法，其中，所述转换包括：使用声音映射表将所述空间属性转换为所述音频属性。