CN203422737U - 用于生成用户界面的系统 - Google Patents

Abstract

一种用于生成用户界面的系统。用户界面包括将用户界面功能或命令表示为音频信号的装置，其中由在取决于功能或命令的空间不同位置的用户来感知音频信号。提供用户输入设备使得用户选择功能或命令，或通过音频信号的空间表示进行导航。

Description

用于生成用户界面的系统

相关申请的交叉引用 

本申请是中国专利申请第201090000881.2（国际申请号为PCT/US2010/030421）的分案申请，其全部内容通过引用合并于此。本申请要求于2009年4月9日提交的临时申请no.61/168,165（专利申请代理号no.02673-002100US）的优先权和权益，全部公开内容通过引用结合于此以用于所有目的。 

技术领域

本发明涉及用于电子设备的用户界面，更具体的是，涉及一种为音频系统或子系统提供用户界面的装置和方法，该用户界面基于将用户界面功能或命令与相应于那个功能或命令的音频信号相关联，并且是由在特定空间位置内的用户所感知的。 

背景技术

用户界面，有时称为人机界面，允许用户与多个设备和应用进行交互。这样的界面可以用于将用户的输入转换成命令或者指令，该指令或命令由应用执行以在设备上生成界面或显示。用户界面还可以用于将用户输入转换成使得应用执行特定的任务、处理、操作或功能的命令或指令。用户界面可以采取具有一种或多种数据输入模式的多重形式，其中这种数据输入模式包括触摸屏、小键盘输入或语音输入（例如话音命令）。 

许多系统或设备提供给用户用以理解和控制系统或设备的功能的机构。例如，计算机系统通常提供屏幕、键盘和鼠标（或其功能等同物），以使得用户提供输入和接收反馈来作为使得用户控制系统的部分。然而，一些系统或设备在其提供用户界面功能性程度的能力方面是有限的，其中该功能性可以是用户期望的用于系统或设备的典型操作。例如，移动电话通常不具有鼠标并且大多不具有全键盘。在移动电话的情况下，提供有小屏幕、数字小键盘和通常少数的功能按钮。一些系统可能在其界面功能性 方面更加有限，并且可能未提供屏幕或任何形式的键盘或小键盘用于数据输入。具有这样相对有限的界面的系统的一个示例是音频受话器，其通常连同移动电话一起用作无线音频接收和音频输入设备。通常，这样的受话器不提供屏幕，并且只提供用于用户输入的两个或三个按钮（或其他数据或命令输入模式）。这些设备的优点是其可以在没有显著地使用户从例如驾驶的其他任务中分心而使用，并且可以具有长于包括更多先进用户界面特征的类似设备的电池寿命并以低成本生产。 

可以不要求用户注视或阅读呈现在屏幕上的信息而有效操作的设备为可以参加其他活动或希望自由地将其目光投入到其他的对象或事件的用户提供优点。此外，如果设备具有相对简单的输入机构也是优点，其中用户可以不必从其他任务中分心来操作这些相对简单的输入机构。这样的设备通常在驾驶时操作更安全、在走在街上时操作更快速并且通常生产更便宜。 

然而，这些类型的用户界面系统的缺点是对于对设备或其功能性不熟悉的用户可能难于操作。例如，音频受话器通常需要用户手册来说明如何使用设备（而具有屏幕的设备可以能够呈现足够的信息以使得用户不需要这种手册而操作设备）。一些设备使用音频提示以建议用户其可能希望采取的动作或可以在特定输入上执行的或基于特定事件的操作。在一些情况中，这可以改进设备的可用性，但是这仅在选项范围是合理固定的并且选项可由用户合理简单地理解时是有效的。 

期望的是一种用于生成适合于与系统一起使用的用户界面的装置和方法，其中界面能够在系统不具有、或仅具有有限的屏幕显示能力和/或有限的数据输入能力的情况下提供给用户音频信号。进一步期望的是，用户界面能够使得用户能够控制相对复杂的系统，而不需要大量的培训并且不需要显著地从用户可能在系统操作的同时正执行的其他任务中分心。本发明的实施例单独地并且共同地解决这些问题和其他问题。 

发明内容

本发明的实施例涉及用于为电子设备或软件应用提供用户界面的系统、装置和方法，该电子设备或软件应用例如为移动电话或用于与移动电话或其他设备交互的音频受话器。所发明的用户界面包括将用户界面的（并且因此设备的）功能或命令表示为音频信号的装置，其中音频信号由 在相对于用户的空间位置的用户所感知，该空间位置可以取决于功能或命令。在一些实施例中，相应于功能或命令的音频信号或提示的空间位置（或使用的音频信号或提示的类型）可以根据规则、试探法（heuristics）、或原理来确定，该规则、试探法或原理以设计为由用户更容易理解和更高效使用的方式来构建用户界面。因此，在一些实施例中，音频信号或内容（例如音乐、话音提示、其他音频的回放）或者音频信号或内容的所感知的位置之一或两者可以设计成向用户建议那个用户界面元素的操作、那个用户界面元素的显著性、或用户界面元素或设备的其他方面。 

在一些实施例中，所发明的界面通过将音频信号或提示与用户界面功能或命令相关联来生成，其中这些信号或提示被使得由用户在空间布置中所感知。用户将声音感知为源自相对于用户的特定位置（例如后、前、左侧、右侧、上象限、下象限等）的能力用作所发明的用户界面或控制方案的一个基础，所发明的用户界面或控制方案通过将特定的用户界面功能或命令与被感知为源自于特定方向或位置的声音相关联。通过充分地分离所感知的方向或位置并且如果需要的话，改变声音的其他特性（例如音量、重复、音调改变等等），可以以不需要视觉显示或简化视觉显示要求的方式提供给用户多种用户界面控制或命令。此外，正如指出的，所使用的音频信号或提示的类型、那些信号或提示的布置或者全部二者可以选择为使得为用户提供一个或多个使用简易性，符合用户的希望或行为，增加用户识别信号或提示的可能性，增加用户理解信号或提示的含义的可能性等。发明的用户界面可以单独使用或与其他用户界面或数据输入方法结合使用以为用户提供期望的功能性。 

如下面描述的，在一些实施例中，本发明包括用于系统、装置或设备的用户界面元素的空间模型以及生成该模型的方法。空间模型可以从一组将每一个用户界面元素（例如应用的功能或命令）映射到空间位置的规则、试探法或标准来生成。音频信号与每个用户界面元素相关联，导致与用户界面元素和由用户所感知的空间位置二者相关联的特定声音或声音序列。提供控制或选择设备使得用户选择或激活用户界面元素并且由此激活与该元素相关联的功能、命令或操作。在一些实施例中，控制或选择设备可以用于通过改变相应于用户界面的一个或多个元素的音频信号的所感知的位置来修改元素的呈现。因此用户可以修改音频信号或提示的空间布置以使得他们对应于用户更加期望的布置（在使用简易性，用户对声音位置的意识，用户对由音频信号或提示所表示的功能的理解等等方面）。 

在一些实施例中，本发明可以包括下列元素、功能或能力： 

●用于建立和维持概念上的空间模型的元素、功能或能力，在所述空间模型中一个或多个用户界面元素与在用户所感知的音频空间内的一个或更多空间位置相关联； 

●用于将每个用户界面元素呈现为一个或多个空间分离的音频信号的元素、功能或能力，由此使得用户将这个或这些信号与用户界面元素或与用户界面元素的功能相关联；以及 

●用于从用户接收选择或否则激活用户界面元素、或修改空间模型所表示的一个或多个音频信号的布置的输入信号的元素、功能或能力。 

本发明的实施例可以以包括系统、装置、用户界面、设备或方法的多种形式来实施。在其他适合的形式中，本发明可以实施为由已编程的计算机硬件或逻辑门执行的方法，实施为包含在计算机可读介质上的一组可执行指令，或以模拟电路的形式来实施。 

在一个实施例中，发明涉及生成用户界面的系统，其中系统包括：空间模型生成器，操作用于接收与用户界面元素相关联的输入数据，并且生成定义空间位置的输出数据，用户将在该空间位置处感知相应于该用户界面元素的音频信号；空间音效处理器，操作用于接收作为输入的音频输入并且生成作为输出的音频信号，音频信号表示由用户在空间位置感知的处理的音频输入；以及用户输入设备，操作用于选择音频信号或改变由用户感知的音频信号的空间布置。 

在另一实施例中，本发明涉及用户界面，其中用户界面包括：多个音频信号，每个信号由在空间不同位置的用户所感知，并且每个信号与系统、设备或应用的功能或操作相关联；用户输入设备，操作用于选择多个音频信号中的一个或改变由用户感知的音频信号的空间布置；以及控制器，操作用于接收来自用户输入设备的信号并且对激活系统、设备或应用的功能或操作作出响应，或改变由用户所感知的音频信号的空间布置。 

在再一实施例中，本发明涉及用于生成用户界面的方法，其中方法包括：访问关于用户界面元素的信息；基于访问的信息生成用于用户界面元素的空间模型，该空间模型表示用户界面元素到在用户的感知的音频空间内的位置的映射；并且将音频信号与在用户的感知的音频空间内的位置相关联。 

根据本发明的实施例，提供一种用于生成用户界面的系统，包括：空 间模型管理器，被配置为保存相应于多个用户界面元素的空间布置的数据，并且响应于输入来更新空间布置，空间模型管理器操作用于管理在音频信号被映射到的空间内的多个用户界面元素中的一个或更多个的用户感知的位置，并且响应于输入修改在空间内的多个用户界面元素中的一个或更多个的用户感知的位置；空间音效处理器，被配置为处理与作为空间布置的一部分呈现给用户的多个用户界面元素中的每个相关联的音频内容，并且生成一个或更多个音频信号，一个或更多个音频信号在空间布置内由用户感知为空间上彼此不同；和空间输入解码器，被配置为对输入解码，并且响应于输入来实现多个用户界面元素在空间布置内的布置。 

在本发明的实施例中，空间布置包括空间模型。 

在本发明的实施例中，输入包括用户输入设备。 

在本发明的实施例中，输入包括应用要求的变化。 

在本发明的实施例中，空间模型管理器被配置为将新的用户界面元素添加到空间布置，并且将相应的音频信号添加到音频信号被映射到的空间。 

在本发明的实施例中，其中空间模型管理器被配置为从空间布置移除用户界面元素，并且从相应的音频信号被映射到的空间移除音频信号。 

在本发明的实施例中，空间模型管理器被配置为响应于输入将位置变换应用于多个用户界面元素中的一个或更多个。 

在本发明的实施例中，输入包括用户输入设备。 

在本发明的实施例中，空间音效处理器被配置为放大或减弱一个或更多个音频信号以实现空间中的位置变换。 

在本发明的实施例中，空间音效处理器包括选自于由微处理器和数字信号处理器组成的组中的处理器。 

在本发明的实施例中，用于生成用户界面的系统还包括：非暂时性计算机可读介质，被配置为在处理器上执行，并且操作用于处理与多个用户界面元素中的每个相关联的音频内容。 

在本发明的实施例中，空间模型管理器、空间输入解码器或两者包括选自于由微处理器和数字信号处理器组成的组中的处理器。 

在本发明的实施例中，用于生成用户界面的系统还包括：非暂时性计算机可读介质，被配置为在处理器上执行，并且操作用于实现空间模型管 理器、空间输入解码器或两者。 

在本发明的实施例中，输入包括选自于由导航开关、拨轮、加速计、接触式传感器和麦克风组成的组中的一个或更多个用户输入设备。 

在本发明的实施例中，空间音效处理器被配置为创建单声道输入信号的两个副本，两个副本由第一信号和第二信号组成。 

在本发明的实施例中，空间音效处理器通过如下方式来改变第一信号和第二信号的立体声平衡：放大第一信号并且减弱第二信号，或者放大第二信号并且减弱第一信号。 

在本发明的实施例中，空间音效处理器被配置为将一个或更多个音效应用于音频内容，并且音效选自于由放大、减弱、推延、均衡、频率相关的放大、频率相关的减弱和回响组成的组。 

在本发明的实施例中，空间音效处理器被配置为将一组滤波器应用于音频内容。 

在本发明的实施例中，空间音效处理器包括可编程放大元件、可编程延迟元件和可编程均衡元件。 

在本发明的实施例中，空间模型管理器与空间音效处理器通讯以更新影响相应于多个用户界面元素的音频内容的空间效果处理的参数。 

本发明其他的目的和优点在查阅本发明的详细描述和所包括的附图时对于所属领域的技术人员是明显的。 

附图说明

图1是示出本发明的示例实施例的主要功能元件的方块图； 

图2（a）是示出图1中描绘的主要功能元件可以如何与应用、系统或设备的元件连接和交互的方块图，其中本发明为该应用、系统或设备提供用户界面； 

图2（b）是示出根据本发明的一些实施例的用于生成空间用户界面和与用户交互的方法或处理的流程图； 

图3示出根据本发明的一些实施例的示例空间模型和在该模型中的示例用户界面元素的放置； 

图4示出对于到音频系统的输出包括两个流的情况，一个设计为左声 道并且另一个设计为右声道以用于在立体声受话器或扬声器系统中使用，应用于参照图3描述的示例音频用户界面元素和示例空间模型的空间音效处理器的功能性的示例； 

图5是示出根据本发明的一些实施例的使得用户与空间模型和用户界面元素交互的示例输入设备的图； 

图6示出在用户已经按了在图5的导航输入设备上的左按钮之后，图3所示的空间模型； 

图7示出在用户已经按了在图5的导航输入设备上的“上”按钮之后，图6所示的空间模型，； 

图8示出根据本发明的一些实施例的、可以用手指或拇指操作并且可以以与图5中描绘的输入设备类似的方式来使用的另外的输入设备； 

图9示出根据本发明的一些实施例的使用加速计将用户手的移动映射成空间模型的变化的输入设备； 

图10示出可以用在本发明的一些实施例中的另一输入设备，其中输入设备包括附连到用户头的每一侧的加速计；和 

图11示出用户输入设备，其中将接触式传感器添加到图10的输入设备的元件中。 

具体实施方式

本发明的实施例涉及用于应用、系统、装置或设备的用户界面（UI）。UI作为一组音频信号（音调、音乐片段、话音提示、声效、电话呼叫等）呈现给用户，其中每个音频信号相应于应用、系统、装置或设备的用户可选的功能或操作。音频信号由在用户的音频空间内的用户所感知，并且分布在相对于用户的头或身体（上、下、左、右、前、后等）的空间内。在一些实施例中，不同的音频属性或效果可以与在该空间内的不同的区域或位置相关联（诸如例如，在用户前面所感知的音频信号或提示的回声效果，在用户的左边所感知的音频信号或提示的增加音量的效果等）。在空间内的音频信号或提示的分布可以通过处理音频信号的技术实现，使得人的听觉将音频与“位置”关联；即每个音频信号可以被处理并且呈现给用户，以使得仿佛该信号的声音来自于相对于人的特定位置或来自于具有特定属性或效果的位置。在空间内的分布由空间UI映射来确定，这进而可以 根据寻求最大化UI效用（例如，增强用户发现或最高效地使用UI或由UI促进的功能或操作的可能性）的规则、试探法等来确定。空间UI映射可以通过应用、系统、装置或设备来确定，或通过子程序来确定，其中所述子程序访问关于应用、系统、装置或设备的UI元素或特征的数据，并且然后处理该信息以建立空间映射。在一些实施例中，用户可以提供有数据输入设备，其使得用户对空间UI的元素导航和/或选择音频信号中的一个，由此激活应用、系统、装置或设备的功能或操作。在一些实施例中，数据输入设备可以具有用户可直观地将其关联到在所感知的音频空间内的音频信号或提示的分布的操作属性。例如，在输入设备上向左移动控制允许在所感知的音频空间内向左侧导航。 

图1是示出本发明示例实施例的主要功能元件的方块图。在这个示例中，发明包括空间模型管理器110、空间音效处理器120和空间输入解码器130。注意，每个所示出的元件的主要功能可以以一个或多个逻辑门、计算硬件、固件或由适当编程的处理器或计算设备执行的指令的形式来执行。 

空间模型管理器110保存相应于多个用户界面元素的空间布置或模型的数据，并且如下要说明的，响应于在应用（或设备或系统）要求的变化或响应于用户输入来更新空间布置。空间模型管理器110操作用于管理在抽象空间内（例如为音频信号可以被映射或呈现到其中的空间）的一个或多个用户界面元素的用户感知的位置，并且响应于用户输入修改在这样的空间内的这样用户界面元素的感知位置。 

其中，由空间模型管理器110执行的功能可以包括： 

●将新的用户界面元素添加到模型（并且因此将相应的音频信号添加到用户的所感知的音频空间）； 

●从用户的所感知的音频空间移除用户界面元素（并且因此移除相应于那个元素的音频信号）； 

●响应于用户输入来更新在用户的所感知的音频空间（或其他抽象空间）内的一些或全部用户界面元素的位置；或 

●确定在用户的所感知的音频空间内的用户界面元素的布置，即，相应于由用户所感知的用户界面元素的音频信号的空间布置。 

在一些实施例中，设备或应用可以通过使用由空间模型管理器110所提供的允许定义或添加新元素的功能，将用户界面元素添加到空间模型 （并且由此添加到作为整体的空间用户界面）。类似地，设备或应用可以修改用户界面元素的功能或操作，以提供给用户用于该元素的新的或者添加的功能性。例如，新元素“添加”功能可以操作用于允许设备或应用提供元素本身（由此提供音频数据的源或宿，该音频数据的回放将组成用户界面元素的呈现）。用户界面元素可以提供有或未提供有数据或特性，其中该数据或特性可以协助空间模型管理器110最佳地或最高效地在用户的所感知的音频空间内布置用户界面元素。例如，用户界面元素可以提供有指示它是默认或最可能的选择的特性。作为响应，空间模型管理器110可以布置一组用户界面元素，使得默认或最可能的选择元素通常呈现给在类似位置的用户，或以对于用户是可预测的或用户期待的方式来定位。如将要讨论的，将用户界面元素添加到空间模型通常将导致空间模型管理器110重估计在模型内的其他元素的位置，从而以最优或期望的方式将整组用户界面元素呈现给用户。 

空间模型管理器110还可以提供用于从空间模型中移除元素的装置（以及由此用于停止向用户呈现用户界面元素的装置）。如同元素的添加一样，移除一个或多个元素会导致空间模型管理器110重估计在空间模型内的其他用户界面元素的位置。 

空间模型管理器110可以通常响应于用户输入，提供用于待应用到在空间模型内的一些或全部用户界面元素的位置（例如平移或旋转）变换的机制或处理。例如，如果用户执行具有“向前移动用户”的效果的用户界面动作，则空间模型管理器110可以应用变换（例如，平移），使得感知为“在用户前”的用户界面元素向其移动，而那些“在用户后”的用户界面元素远离其移动。 

除了允许用户界面元素增加到空间模型或从空间模型移除之外，空间模型管理器110的功能是确定在用户的所感知的音频空间内的用户界面元素的位置，并且当需要时（例如，作为用户交互或者设备或应用使得用户界面元素的可用性改变或使得他们的特性改变的结果）再计算这些位置。在这点上，本发明的实施例或实施可以使用不同的机制以确定在用户的所感知的音频空间内的用户界面元素的位置。 

例如，在一个实施中，空间模型管理器110可以以半圆周布置用户界面元素，其中这样的半圆起初以用户为中心并且在用户前面或在用户旁边。在一些实施例中，空间模型管理器110可以完全地基于将元素添加到用户界面的顺序来布置元素。在这种实例中，空间模型管理器110可以为 每个元素提供位置，该位置由下面给出： 

$P_i=\left(1\right|{\mathrm{\θ}}_i)=\left(1\right|\frac{\mathrm{\π}\·i}{N}),$

这导致使得元素沿着单位半圆周均匀地隔开的一种分布，第一个是在左边，最后一个在右边。 

在另一示例中，元素可以不基于将它们添加到用户界面的顺序来排序，而代替的是，基于由空间模型管理器110基于用户界面元素的特性二确定的顺序。例如，如果每个元素提供有优先级特性或指示，则空间模型管理器110可以对元素排序，使得最高优先级元素是元素0，次高的是元素1等等，并且然后提供给每一个元素如下所计算的位置： 

$P_i=\left(1\right|{\mathrm{\θ}}_i)=\left(1\right|\frac{\mathrm{\π}\·p\left(i\right)}{N}),$

其中p(i)是第i个元素的优先级。 

在又一示例中，可以提供多于一个的特性和/或可以使用多维空间。例如，如果每个元素提供有紧急性特性和优先级特性，则位置可以确定为： 

$P_i=\left(r_i\right|{\mathrm{\θ}}_i)=\left(\frac{1}{U_i}\right|\frac{\mathrm{\π}\·p\left(i\right)}{N}),$

其中围绕着半圆周的布置如上确定，但是与用户的距离（例如半径）确定为使得用户界面元素越不紧急，则它被径向地置于离用户越远。 

在一些实施例中，注意，例如，空间模型管理器110可以实施为运行在适合的微处理器（诸如ARM7微处理器）上的适合的软件代码。 

空间音效处理器120操作用于生成、修改或否则处理与作为空间模型的一部分呈现给用户的每个用户界面元素相关联的音频内容或数据。这建立一个或多个音频信号，这一个或多个音频信号由用户感知为空间上不同并且用于将用户界面元素的空间布置传达给用户，如同这些用户界面元素根据空间模型管理器110所定义的那样。 

空间音效处理器120操作用于处理与每个用户界面元素相关联的音频流、信号或内容，以建立每个流、信号或内容的空间布置的用户的感知。相应于由空间模型管理器110所保存的空间模型内的流、信号或内容的用户界面元素的位置或定位被提供作为用于该处理或功能的输入。 

对于每个相应于用户界面元素的流、信号或内容，空间音效处理器120接收音频数据直到用于该用户界面元素的音频内容结束。例如，在用户界面元素是音频文件（例如.wav文件或.mp3文件）的情况下，空间音效处理器120以合理的恒定速率（文件编码采样速率）接收音频数据直到文件完全地回放。 

在一个实施例或实施中，空间音效处理器120可以为每个流、信号或内容提供在立体声空间内的位置。如果每个输入是单声道的，则空间音效处理器120可以建立输入的两个副本（即“左”和“右”输出）并且然后可以改变输出的“立体声平衡”。在这样的操作中，可以通过放大一个信号并且减弱另一个来改变立体声平衡，同时保持总信号功率相同（以使得信号相比较身体的一侧显得更多地来自身体的另一侧）。立体声平衡还可以通过相对于一个信号使另一个信号推延时间差来改变，该时间差等价于对来自身体一侧的空间内的点的信号的接收相比较于另一侧的接收之间的时间差（其中如已知的，源自空间内与双耳不等距的点的信号将花费稍微长一些的时间到达距离较远的耳朵）。 

在一些实施例中，空间音效处理器120的功能可以是应用一些音效组合，包括例如放大、减弱、推延、均衡、频率相关的放大或减弱、回响的引入等，以便产生效果，该效果由用户感知上认识为在围绕着用户的感知空间内建立音频流、信号或内容的显著位置。空间音效处理器120可以使用从空间模型管理器110所接收的用于音频用户界面元素的期望位置作为其用于这个处理的输入，并且可以应用一组滤波器以将用于该用户界面元素的音频放置在在空间内的那个显著的位置，使得其由用户在期望的位置所感知。 

在一些实施例中，注意，空间音效处理器120可以实施为运行在适合的数字信号处理器或微处理器（例如，诸如克林巴琴（Klimba）数字信号处理器或ARM7微处理器）上的合适的数字信号处理代码，或实施为一组连接在一起的模拟音频信号处理滤波器。例如，空间音效处理器120可以实施为连接到可编程延迟元件（例如，布置用于提供可编程延迟的运算放大器）的可编程放大元件（例如，布置用于提供可编程增益的运算放大器）以及可编程均衡元件（例如，多个可编程放大元件，其中每一个带有带通滤波器以选择施加放大的特定的子频带）。空间音效处理器120还可以提供有能够确定对其每个操作元件的编程的元件。 

对于本发明的一些实施或使用情况，可以期望或必须将在空间模型内 的一个或多个用户界面元素的位置转换为参数，空间音效处理器120可以使用该参数来为用户产生期望的空间感知。对于这些实施，空间音效处理器120的附加功能可以是执行这种转换，并且适当地设定空间音效处理器元件的参数。例如，在空间模型管理器110定义位于用户正左侧的用户界面元素并且空间音效处理由减弱右耳并且放大左耳的元件来执行的情况下，空间音效处理器120可以为每个耳朵确定放大和减弱，并且适当地对放大和减弱元件编程。在音效处理元件实施在数字信号处理器之内的情况下，这个功能可以实施为在数字信号处理器之内的附加的功能。在元件实施为模拟音频处理元件的情况下，这个功能可以由微处理器（计算适合的数值）和数字或模拟的输出管脚（例如是模拟到数字转换器）来实施以对数值编程。 

空间输入解码器130用于对用户输入解码并且确定其在用户界面元素布置上的效果，用户界面元素的布置由空间模型管理器110所保存的空间模型来定义。在典型的实施例中，空间输入解码器130采用由设备或用户输入元件所提供的用户输入。考虑由摇臂开关提供用户输入的示例系统（该摇臂开关可以提供“左”、“右”和“向前”的动作）。空间输入解码器130可接收这些动作中的一个作为其输入。在这种情况中，空间输入解码器130的功能是（与空间模型管理器110协同）使用输入以引起空间模型的变换。例如，“左”输入的接收可以应用统一的例如45°的左旋转，使在空间模型内左边的用户界面元素更多地向前，同时使前方的用户界面元素更多地向右。按压“向前”可以提供将空间模型的中心相比较其当前位置向前移动的变换（即，使得在前方的用户界面元素更近）。基于在空间模型管理器100和空间音效处理器120之间的关系，这样的动作还具有将音频源的显著的位置移向用户的效果。 

在一些实施例中，例如，空间输入解码器130可以实施为运行在适当的微处理器（例如ARM7微处理器）上的适当的软件代码。空间输入解码器130与空间模型管理器110通讯并且可以用于对位置信息提供更新，或引起用户界面元素的位置或方向的变化，其中根据由空间模型管理器110所保存的模型显示这些元素。在空间输入解码器130实施为运行在与空间模型管理器110一样的微处理器上的软件代码的情况下，空间输入解码器130可以通过调用合适的功能、通过改变存储器的共享区域的内容或通过另一适合的操作来传输这些更新。在空间输入解码器130与空间模型管理器110分开实施的情况下，这些更新可以使用I2C接口或另一合适的通信接口来传输。 

空间模型管理器110与空间音效处理器120通讯以更新影响相应于多种用户界面元素的音频的空间效果处理的参数。在空间模型管理器110和空间音效处理器120在同一处理器中实施的情况下，可以通过调用合适的功能、通过更新存储器的共享区域或由另一合适的操作来实现通讯。在空间模型管理器110和空间音效处理器120在单独的处理器上实施的情况下，可以在合适的数据总线上执行通讯。在空间模型管理器110实施为微处理器并且空间音效处理器120实施为一系列模拟或数字音频信号处理元件的情况下，可以通过微处理器设定适合的通用输入/输出管脚的输出来实现通讯。 

图2（a）是示出在图1中描绘的主要功能元件可以如何与本发明提供用户界面的应用、系统、装置或设备的元件连接和交互的方块图。如在图中所描绘的，空间音效处理器120和空间模型管理器110连接到本发明提供用户界面的应用系统210。应用系统210可以采取任何合适的形式，包括例如，运行合适的应用软件代码来执行本发明提供用户界面的系统、设备或应用的主要任务的微处理器。例如，通过蓝牙受话器实施的应用系统210可以是运行用于受话器的应用代码的微处理器（执行如建立无线链接、初始化和结束呼叫等这样的任务）。在移动电话中，应用系统210可以是用于移动电话的操作系统连同在其上运行操作系统的微处理器。应用系统210可以采取一个或多个多种可能形式并且提供宽范围的功能，其中应理解，不要求特定形式和/或功能以便与本发明的实施例一起使用。 

在一些实施例中，应用系统210将关于系统210接受的用户界面元素或输入的信息提供给空间模型管理器110。这样的信息可以包括对于应用、系统、装置或设备的用户可用的用户界面元素的说明以及关于可以通过这些元素的选择来执行的应用系统210的操作或功能的信息。这可以允许空间模型管理器110了解可以用于建立空间模型的用户界面元素（在一些实施例中，这可以通过利用允许添加或移除用户界面元素的空间模型管理器110的功能来实施）。在操作中，应用系统210从空间模型管理器110接收关于用户交互的信息，其中这些交互通常由一个或多个输入设备220（例如，按钮、开关、键盘、指向设备、触摸表面等）提供。 

输入设备220通常接收用户的一些动作作为其输入（诸如手指移动，以按压按钮或提供触摸表面上的运动、语音命令、由身体生成的电化学信号等），并且将表示用户输入或用户动作（按压的按钮，说出的命令字等）的信号作为其输出提供给电子系统。到输入设备220的用户输入由空间 输入解码器130处理并且提供给空间模型管理器110用于期望的操作或功能的执行。在应用系统210和空间模型管理器110实施为由同一微处理器所执行的指令的情况下，可以通过调用合适的功能、存储器的共享区域的更新或其他合适的处理来实现在这两个元件之间的通讯。例如，在应用系统210实施为由不同于空间模型管理器110的微处理器所执行的一组指令的情况下，可以通过在例如I2C总线的合适的数据总线上的通讯来实现这种通讯。 

空间输入解码器130可以耦合（即，连接或否则能够通讯和/或交换信号）到任何适合的输入设备220，例如麦克风（但是麦克风可以代替地提供为下面说明的音频系统230的一部分），一组按钮、导航开关、操纵杆、拨轮、触摸板或其他触敏表面、加速计或上述的任何组合，还有其他适合的输入系统或设备。要注意的是，输入设备220可以提供作为应用系统210的一部分，并且可以执行除了由用户执行的关于输入数据或命令的那些任务之外的、用于应用系统的额外的任务作为利用用户界面元素的一部分。 

空间音效处理器120还可以耦合到合适的音频系统230用于将音频传递给用户并且从用户接收音频输入。音频系统230接收相应于用户待听到的音频的电信号作为输入并且提供相应于该输入的音频作为其输出（并且反之亦然，接收例如来自麦克风的音频信号并且将他们转换成对音频信号编码的电信号）。因此音频系统230将相应于期望的音频流的信号处理成听觉信号，并且以相反的方向作用以将听觉信号处理成电信号。音频系统230可以包括连接到麦克风和扬声器（或头戴式耳机）的CODEC（编解码器），或包括其他适合的系统。例如，空间音效处理器120可以通过I2S或其他音频数据总线与音频系统230通讯。注意，音频系统230可以提供为应用系统210的一部分，并且可以为应用系统执行除了为用户界面功能所执行的任务之外的任务。 

空间音效处理器120还可以耦合到应用系统210并且用于将相应于用户界面元素的音频信号和/或数据传递到应用系统210以及从应用系统210进行传递。在空间音效处理器120实施为由与应用系统210相同的微处理器所执行的一组指令的实施例中，可以通过调用合适的功能、通过更新存储器的共享区或其他合适的处理来实现这种通讯。在空间音效处理器120实施为由不同于应用系统210的处理器所执行的一组指令的实施例中，可以通过利用例如I2S数据总线或USB数据总线的合适的数据总线 或其他适合的方法来实现这种通讯。 

在本发明的实施例中，空间模型管理器110和空间音效处理器120对由应用系统210所提供的音频用户界面元素（和关于这些元素的呈现和操作的数据）（以及在一些情况中，还可以由应用系统210提供的关于这些元素的元数据）进行操作，以生成相应于用户界面元素的空间感知的音频信号并且实现与用户界面元素的用户交互。 

注意，已知宽范围的音频用户界面元素，并且通常用户认识并且可以希望交互的任何音频信号或声音可以认为是音频界面元素。可以用作用户界面元素（还可能有其显著性和/或功能）的指示的合适的音频信号、声音或提示的示例包括但是不局限于音频提示（这可以是例如发音的人话音提示或录制的音乐提示的预录的音频数据，或可以是由声音发生器生成的例如MIDI音乐提示或蜂鸣声的生成音频数据），单工的、双工的和半双工的话音流（这可以包括电话呼叫、双向无线电通话、使用Voice over IP（网络电话）系统的通话），在电话会议中的多个通话中的一个，接收的或传送的广播（例如无线电流），或音频文件的回放（例如以例如MP3或AAC格式播放的储存的音乐）。 

每个用户界面元素可以与指示可能关于该用户界面元素的一个或多个潜在或当前的用户交互或操作的一系列元数据相关联。例如，音频提示可以与指示其可以是“选择的”、“未选择的”或“在检查中”的元数据相关联。 

用于用户界面元素的元数据可以采取多种不同的形式。例如，其可以是布尔值（即，数据项采用两个可能的值之一），枚举形式（即，数据项采用固定数量的可能值之一），标量（即，数据项采用在一定范围内的值），向量（即，数据项采用在多于一个轴上的范围内的值），或任何其他合适的格式。 

图2（b）是示出根据本发明的一些实施例的用于生成空间用户界面和与用户交互的方法或处理的流程图。如在图中所绘出的，在一些实施例中，发明的方法或处理可以以访问包含说明和其他相关信息的文件或数据结构开始（阶段250），该说明和其他相关信息关于用于本发明打算针对其生成空间用户界面的应用的用户界面元素。文件或数据结构通常与应用相关联，并且可以是应用的一部分或从与应用相关联的网站或其他位置访问。访问的文件或数据结构可以包括描述用户界面元素、用户界面元素的特性、用户界面元素的功能、用户界面元素的值、用户界面元素的相对重 要性或显著性、用户界面元素的建议空间显示的数据或信息、或关于用户界面元素的定义、功能、显示或使用的其他数据或信息。在访问关于用于应用的用户界面元素（或如果不全部是这样的元素，则为空间UI所期望的元素）的信息之后，处理用户元素信息以生成空间模型（阶段260）。 

空间模型将每个用户界面元素与在用户的感知音频空间内的位置相关联，即，每个用户界面元素将由用户感知为源自相对于用户的特定位置或区域的一个或多个声音。每个用户界面元素与位置或区域的关联可以全部或部分地取决于多种因素，包括那个元素的功能或操作、那个元素的使用频率或相对显著性、指示特定元素的优选布局的人类行为模型等，因为这种布局可以增强对那些元素的发现、导航或使用。在一些实施例中，空间模型的生成可以通过试探法、规则等的应用来实现，该试探法、规则等用于将每个期望的用户界面元素映射到在用户音频空间内的位置或区域，用户将在该位置或区域内感知相应于那个元素的音频信号或提示。 

接下来，将一个或多个音频信号与在用户的音频空间内的每个空间位置相关联（阶段270）。与每个位置相关联（并且因此与特定用户界面元素或功能相关联）的一个或多个音频信号可以出于任何合适的原因来选择。例如，可以因为通常认为音频信号与那个用户界面元素或那个元素的功能相关联、因为信号将引起用户注意到那个用户界面功能等来选择音频信号。类似地，可以基于如下期望来选择与用户界面元素相关联的音量或音效（回声，提高或降低音调等等）：使得用户充分在用户界面元素之间区分，或增强用户对特定用户界面元素的发现、导航或应用。注意，将用户界面元素与用户的音频空间的位置或区域相关联和将每个用户界面元素与特定音频信号相关联的步骤可以在一个或多个步骤中进行，并且可以以如同确定为最佳地实施本发明的任何顺序进行（例如，首先将声音或音频信号与每个用户界面元素相关联，并且然后对于每个声音或信号确定由用户所感知的期望的空间位置-在这样的示例中，可以颠倒步骤260和270的顺序）。 

在发明的系统或装置通过将每个用户界面元素与一个或多个特定的音频信号相关联并且使得那个或那些信号由在用户的音频空间的特定区域内的用户所感知来生成空间用户界面之后，用户可以使用合适的数据输入设备输入数据、命令或指令（阶段280）。数据、命令或指令可以意图选择用户界面的元素的功能或操作，或通过改变相应于用户界面的元素的音频信号的呈现来导航或重定向空间模型。处理用户输入以确定其是否表 示功能或操作的选择/激活，或代替的是，意图是改变在用户的感知音频空间内的用户界面元素的呈现（阶段290）。作为响应，并且在这个确定之后，激活期望的功能或操作（例如呼叫的处理、改变音量、切换到在播放列表中的新歌，等等），或改变空间用户界面以引起在用户的音频空间内的用户如何感知相应于用户界面元素的一些或全部音频信号的变化。 

将参照图3说明空间模型管理器的功能或操作的示例，图3示出了根据本发明的一些实施例的示例空间模型和在那个模型中的示例性用户界面元素的放置。 

图3示出可以用在本发明的一些实施例中的示例空间模型，在这种情况中为限制到两个象限的二维极化概念空间。距离原点的等距线以0.1单位间隔标注。可以理解的是，描绘在图中的空间模型是抽象构成，并且因此距离以任意单位标注。还可以理解的是，所描绘的空间模型是多个可能或合适的空间模型之一。例如，另一合适的空间模型可以是音频信号布置在线性的x-y轴上的模型、空间扩展360°的模型，或是对数地而不是线性地放置径向轮廓的模型等等。还可以理解的是，空间模型不需要限制于二维，并且可以表示为一维或三维空间。 

图3还示出表示用户可用的功能、操作或处理的四个示例性音频用户界面元素，作为提供给用户主动呼叫的音频电话系统的一部分。图还示出用户可以执行作为控制或与主动呼叫交互的一部分的功能或操作。 

在这个示例中，标识为呼叫A的当前的主动呼叫（并且可通过相应用户界面元素的激活来选择）提供为用户界面元素，该用户界面元素使得用户接听并且讲电话，还改变其音量并且执行其他动作。提供话音提示“切换呼叫”，其中这个提示的选择有效地将当前呼叫与等待的呼叫切换，为了示例目的，等待呼叫可以认为是当前可用的。提供用于使用户的麦克风静音的“消音”话音提示，使得其话音被消音。提供“挂断”话音提示，其有效地切断当前呼叫（即，呼叫A）。 

在图中所示出的示例中，可用的音频用户界面元素放置在感知的音频空间内使得其以角度分离，并且距原点等距，全部都距离原点0.3个单位。可以理解的是，相对间距和位置的其他布置是可能的，并且可以基于对易于使用、可发现性等等的考虑来选择。 

在一些实施例中，相关音频用户界面元素的空间布置可以已经根据期望而预先确定或建议。例如，可以针对多个音频用户界面元素的每一个， 根据那个数量（即，例如，当正好3个元素是可用的时，可以使用一个预先确定的布置，而当正好4个元素是可用的时可以使用另一预先确定的布置，等等）生成预先确定的放置，或者可以通过由应用系统提供的元数据来确定元素的布置。例如，如所提及的，除了描述每个用户界面元素的数据，应用系统可以提供指示对用户界面元素的用户的优先级或重要性的元数据项（这可以随当前应用系统状态而变）。在这个示例中，可以确定距离空间模型上的用户界面元素的初始放置的原点的距离，使得越接近于原点放置越重要的元素。可选或额外的是，可以更中心（即离0°更近）地放置最重要的元素。类似地，用户界面元素的初始空间音频布置可以响应于新的应用系统或响应于现有应用系统的改变的状态或操作条件来改变（使得基于在系统或应用的状态、条件或操作中的变化呈现不同的或不同定向的用户界面元素）。 

在一些实施例中，可以选择（多个）用户界面元素的布置以最优化用户的聆听体验。例如，可以布置元素使得最大化在具有相似频谱（例如，大部分具有高音（treble）的音频声音的元素可以有目的地放置在大部分具有低音的音频声音的元素附近）的元素之间的分离或用户认知（可发现性）。用户界面元素可以根据心理声学原理来安置，即，根据感知上重要的音频次频带中的哪个包含在用于每个元素的信号或提示内来最大化地分离用户界面元素。 

在空间模型上的用户界面元素的放置（并且因此相应于那些元素的音频信号如何由用户所感知）被提供给空间音效处理器（图1和2（a）的元件120）。通常地，这以可以与空间音效处理器从应用系统接收的用户界面音频元素数据有关的方式来完成。例如，用户界面元素可以从0开始向上编号，该数字被提供给空间模型管理器并且是在空间音效处理器上的端口的数字。在这种情况下，空间模型管理器可以为（多个）用户界面元素提供空间信息，例如距离原点的角度和距离，如在下面的表格中所示： 

如所示的，表格指示，代表“呼叫A”的用户界面元素对空间模型管理器被识别为用户界面元素0，并且使其音频数据通过端口0传给空间音效处理器。空间模型管理器通过指示用户界面元素0以角度30°在0.3的距离处来将在空间模型上的用户界面元素的位置传输给空间音效处理器，并且对于其他用户界面元素也是如此。 

图4示出对于到音频系统（图2的元件230）的输出包括两个流的情况，一个设计为左声道并且一个作为右声道以用于立体声受话器或扬声器系统中，应用到参照图3描述的示例音频用户界面元素和示例空间模型的空间音效处理器（图1和2（a）的元件120）的功能性的示例。在示出在图4中的示例空间音效处理器中，应该理解的是，每个音频用户界面元素在初始根据其到原点的距离被减弱到一定程度（在原点的元素以其输入音量被听见，距离1个单位的流以1dB减弱，等等）。 

接下来，为每个音频源生成左声道和右声道流，其中对于每个源的左和右声道的音量的相对强度根据其在空间模型内的角度来计算。结果是，当通过头戴式耳机或立体声扬声器系统聆听时，音频源的显著的方向（即，相对于用户的感知角位置）与在空间模型内的角度相同或近似相同。全部的左声道流一起添加（即，混合）到最终左声道输出中，并且全部的右声道流类似地一起添加到最终右声道输出中。 

在数学上，左输出流可以由下述函数给出： 

$S_{\mathrm{lsftoutput}}\left(t\right)=\underset{\mathrm{selectedinputstrecms}}{\mathrm{\Σ}}\frac{(1-M_{\mathrm{stream}})\left((90+{\arg }_{\mathrm{stream}})\right)}{180}{S}_{\mathrm{stream}}\left(t\right)$

其中S_x（t）给出给定流在时刻t的瞬时值，M是在空间模型内的流的幅度，arg是辐角（argument）度数。 

右输出流可以通过下述函数给出： 

$S_{\mathrm{rightoutput}}\left(t\right)=\underset{\mathrm{selectsdinputstreams}}{\mathrm{\Σ}}(1-M_{\mathrm{stream}})\frac{(90-{\arg }_{\mathrm{stream}})}{180}{S}_{\mathrm{stream}}\left(t\right)$

考虑在图4中给出的示例，注意，四个单音频流被输入到空间音效处理器，对于四个流中的每一个，“呼叫A”-是与实际音频呼叫相关联的音频流，“切换呼叫”-是与允许用户切换到另一呼叫的用户界面元素相关联的音频流，“挂断”-是与允许用户挂断当前呼叫的用户界面元素相关联的音频流，并且“消音”是与允许用户将当前呼叫消音的用户界面元素相关联的音频流。可以看到，初始地，每个流减弱3dB（如图3中所示，其中这种减弱是由于每个流在离空间模型的中心3个单位的距离处）。然后复制每个流，使得对于每个流存在左流（意图提供给用户的左耳）和右流（意图提供给用户的右耳）。每个左或右流然后可以以期望的量被放大或减弱（例如，在图中的L0是对于用户界面元素0在左流上的减弱，R0是对于这个元素在右流上的减弱，等等）。减弱可以操作用于根据用户界面元素的角度产生明显的空间化（即，在由用户感知的音频空间内的位置或其他行为）。左流然后混合在一起以提供合成左耳流用于呈现给用户，并且右流混合在一起以提供合成右耳流用于呈现给用户。 

在示例实施例中，其中空间音效处理系统由通过编程的数字信号处理器或微控制器执行的软件代码实施，软件代码通常将用于实施上述数学函数。注意，已知用于从单音频流生成左和右分量的其他算法（包括稍微延迟一个信号并且考虑头部阴影影响），并且这些还可以适合与本发明的一些实施例一起使用。 

注意，收听例如连接到运行在这些流上的音频子系统的头戴式耳机的用户将以大约相同的音量听到用户界面元素，其中是“呼叫A”的音频流出现在大约中心偏左30°，用于“切换呼叫”的音频提示在中心的全部左边的显著位置处听到，用于消音的音频提示在大约中心偏右30°听到，并且用于挂断的音频提示在中心的全部右边听到。用户能够根据他们与在用户的感知立体声音频空间内的源的显著空间布置的对应关系，区分在抽象空间模型内的用户界面元素的空间布置（距离原点的角度和幅度）。 

在一些实施例中，来自用户（例如来自麦克风）的音频输入不需要通过用户界面元素的空间布置来修改。在这个实例中，空间音效处理器可以不将基于位置的效果提供给麦克风输入。在其他实施例中，音频输入可以根据呈现双工返回路径的流的位置而不同地引导在不同的返回双工路径上。例如，在具有多个呼叫者的电话会议中，可以仅将麦克风音频流提供给放置在距离用户足够近的这些双工用户界面元素。 

注意，许多不同的空间效果功能可以由空间音效处理器单独地或组合地提供。此外，用户所听到的音频的空间布置不需要直接地映射到空间模型，而是仅是用户可以从以音频信号、提示等形式呈现给他们的内容中相对容易地理解在空间模型上的用户界面元素的空间布置。此外，音频不需要以立体声呈现给用户以使得用户能够理解空间模型，这是由于其可以替代地以单声道呈现。 

例如，在单声道受话器的情况下，代替对用户界面元素执行立体声平衡调整，空间音效处理器可以应用陷波滤波器，其具有大约1.5kHz的带宽并且其陷波频率对于在0度的用户界面元素大约为8kHz，对于在空间模型上更偏左定位的元素降低频率并且对于定位在右的元素增加频率。这可以是有益的，因为已知的是，人耳感知应用有高于8kHz的陷波滤波器的声音来自于头部之上，并且感知应用有低于8kHz的陷波滤波器的声音来自头部之下。当结合本发明的其他元件使用时，这样的滤波器可以允许用户理解在高于和低于用户的显著的定位与在空间模型上的用户界面元素的布置之间的关系。 

一些效果或信号处理操作可以由空间音效处理器来施加以增强用户在不同的用户界面元素之间区分的能力。例如，用于用户界面元素的音频信号可以被延迟与在空间模型上的幅度或角度成比例的时间量。或者，可以为音频信号提供回响量，使得距离原点越远的元素具有越多的回响或者调整更左或更右的元素以具有更多回响。 

此外，如所指出的，空间模型不需要限制于二维。可以通过在混合中使用更多数量的效果并且使用效果系统以映射到额外的自由度引入额外的维度。例如，如果空间模型是三维的，则可以组合音量、立体声角度和回响以在音频输出中给出三个维度，用户可以将这三个维度与在空间模型内的维度关联。 

一旦用户能够确定在空间模型内的音频用户界面元素的空间布置（通过检测与在空间模型内的用户界面元素的位置关联的音频效果和特征），其可以结合合适的输入设备使用该信息，以控制并且影响系统、装置、设备或其他对象或处理的操作。 

在一些实施例中，合适的输入设备的有利的特性是可以提供输入模式，用户可以直观地将该输入模式相关于空间模型中（并且因此也在用户感知的音频空间内）的用户界面元素的位置。许多不同的输入设备是可能的，包括导航开关、拨轮、加速计、接触式传感器等。输入设备通过空间 输入解码器可以引起空间模型直接变化，或其可以引起应用或设备操作的变化，这转而可以引起空间模型的变化。 

图5是示出根据本发明的一些实施例的、使得用户与空间模型和用户界面元素交互的示例输入设备的图。为了示例，考虑在图3中示出的空间模型可以受到来自在图5中示出的示例输入设备的输入的影响。在这个示例中，输入设备是导航开关510，其使得用户选择四个方向中的一个，具有通过用户按压按钮来激活的中心“选择”按钮。导航开关能够提供关于按压5个按钮（即上、下、左、右、选择）的组合的信息。 

考虑在如上述示例中的聆听音频流的用户希望关注于与在呼叫A上的一方或多方通话的情况。在这个情况下，用户可能不希望再听到话音提示。如上面所说明的，用户认识到呼叫A用户界面元素（呼叫本身）位于中心稍微偏左（因为他们可以听到它显然地定位在中心稍微偏左，如在图3中描绘的）。 

在本发明的一个实施中，按压在数据输入设备上的“左”按钮可以足够用于选择位于左边的选项（即，在这个示例中为切换呼叫）。然而，为了提供本发明的操作的另一示例，考虑另一实施例。因此，在这个示例中，图6示出在用户已经按压了在图5的导航输入设备上的左按钮之后，在图3中示出的空间模型。如在图6中示出，按压“左”按钮的结果是，空间模型已被旋转30°，使得呼叫A现在在用户正前方（即，相应于呼叫A的音频流现在定位在用户之前）。注意，在这个示例中，“挂断”用户界面元素不再适合示例空间模型。结果，用户将不再听到这个音频流或提示。 

以示例的方式，下面考虑用户按压在图5的用户输入设备上的“上”按钮。图7示出在用户已经按压在图5的导航输入设备上的“上”按钮之后，在图6中示出的空间模型。如在图7中示出，原点现在已经被向前平移（在通过输入设备按压建议的方向上）。相应于呼叫A的音频流现在看起来接近并且中心地定位。其他用户界面元素不再映射在空间模型上，因此仅听到来自呼叫A的音频信号。如果用户在这时候按压在导航开关上的“下”，则空间模型将平移回到其之前的位置，恢复如在图6中示出的之前的空间模型（以及相应地听到的音频空间）。注意，多种导航开关按压可以用来旋转空间模型并且平移或变换空间模型，使得用户可以以其觉得最有用的方式呈现和导航空间模型。 

现在，考虑用户希望挂断呼叫的情况。在这个实例中，他们可以向右旋转直到在中心听到“挂断”提示，并且然后向前移动使得其在原点。用 户然后可以按压选择按钮以确认他们的动作。可选的是，将提示移动到原点右侧的处理可能足够指示用户希望挂断呼叫。 

为了执行用户所感知的音频信号或提示的这种导航或重新定向，空间输入解码器从输入设备获取输入并且将其变换成用于空间模型管理器的相关命令。对于上面描述的导航开关输入设备和动作，可以如下说明适合的空间输入解码器的功能： 

输入设备动作	给空间模型管理器的消息
		左	旋转30°
右	旋转-30°
		上	将原点向上移动3个单位
下	将原点向下移动3个单位
		选择	在最近项上的选择动作

在这个示例中，注意，用户输入选择引起空间模型的变化，用户可以将该用户输入选择与用户感知为待布置的音频流的空间布置关联，其中引起用户所听到的输出的相应的变化。 

注意，在执行在输入设备上的用户动作和在空间模型上相应的效果之间存在许多可能的关系。通常，有利的是，如果用户更好地理解特定输入动作会引起空间模型什么样的变化。例如，用户输入选择可以代替引起空间模型的旋转，而引起空间模型的平移，在特定方向上移动原点，并且因此引起空间地放置在那个方向上的流显得更近并且更响亮。 

在一些实施例中，空间模型可以概念地认为是连续体，在其中放置有包括那些当前没有选择的流的多个流。例如，用于“更响亮、更轻柔”的音频提示可以放置在临近、但是稍微超过可以改变音量的音频流。向音频流移动或聚焦到那个音频流可以概念上将用户向可以听到音量提示（增加或降低音量）的位置移动。或者，例如，空间模型可以包括多个较小空间，其中存在通过特定选项的选择或通过移动到空间模型内的特定位置所引起的在空间之间的链接或跳跃。 

如发明人所认识的，存在适合用于本发明的范围广泛的可能的输入设备，每个具有相应的输入解码器，其作用为将用户输入（或对作为设备一部分的输入元件的激活）转换成可以影响在空间模型内的音频信号的布置或选择的指令。图8示出根据本发明的一些实施例的额外的输入设备，其 可以通过手指或拇指操作并且可以以与图5描绘的输入设备类似的方式来使用。 

在图中示出的一个示例是拨轮810，包括围绕轴旋转的轮，该轴能够在垂直于轴的方向上相对于弹簧而移动。通常，这种拨轮针对旋转轮的每次回转提供特定数量的电脉冲，并且在压入轴一定距离时提供一个或多个脉冲。用于这种设备的输入解码器通常可以对脉冲计数并且确定相对于拨轮已经被压入的最大行程的距离或旋转的度数。这种输入解码器可以将这种信息提供到空间模型管理器，其转而可以旋转空间模型，并且关于原点将空间模型平移拨轮的回转次数所指示的量。 

输入设备的另一示例包括触摸板820，由此用户可以在两个维度上移动他们的手指，以改变例如在检测器阵列内的特定的检测器的电阻或电容。用于这个输入设备的解码器可以确定用户的（多个）手指在触摸板相对空间内的哪个位置，并且将这个信息提供给空间模型管理器。作为用户的手指移动的结果，空间模型然后可以在二维内被平移。 

输入设备的第三个示例包括新月形的、马蹄铁形或半圆形触敏表面830，例如印刷在电路板上的电容检测器。用户可以在马蹄铁形附近移动他们的手指，并且潜在地移进或移出中心。输入解码器可以包括模数转换器以探测用户手指的位置。在新月形周围的移动可以用于旋转空间模型，同时移进和移出可以平移空间模型。 

可以理解的是，为了示例，在用户输入空间内的位置信息已经说明为映射到在空间模型内的位置信息，其他类型的映射也是可能的并且可以用于实施本发明。特别地，在输入设备空间内的位置信息可以映射到在空间模型内的音频信号的速度或加速度（例如，声音向着或远离用户移动的速度）。在一些实施例中，这可以通过叠加在音频信号上的多普勒效应（即，升高或降低音调）来指示。 

除了通过用户手指触摸或按压某物所激活的输入设备，其他的输入设备和其相应的输入检测器是可行的并且可以用于实施本发明。图9示出可能的输入设备910，其使用加速计将用户手的移动映射到空间模型的变化。 

在图9中示出的输入设备作为示例包括两个适合于手持外壳930的三维加速计920。用户可以握住这个输入设备并且移动它，例如指向左或右。用于输入设备910的输入解码器可以包括电路，该电路确定来自两个加速 计的以三维形式的共模信号和差模信号，并且由此确定在外壳空间内的移动和旋转（如由用户的手所引起）。这可以映射到空间模型相应的平移和旋转。 

图10示出可以用在本发明的一些实施例中的另一输入设备1010，其中输入设备包括附连到用户头的每一侧的加速计1012。用于这个输入设备的输入解码器类似于可以用于例如参照图9所说明的示例输入设备的输入解码器。当用户将他们的头从一侧移动到另一侧时，加速计检测这种移动并且可以通过输入解码器旋转、平移或否则改变空间模型，并且因此旋转、平移或否则改变由用户感知的音频信号。 

在输入设备的另一示例实施例中，用户可以佩戴电子光学计（electro-optigram）形式的附连在眼睛附近的电极。在这个实施例中，由输入检测器解码的用户的眼睛移动可以用于产生空间模型的变换或引起模型元素的选择。 

注意的是，一些输入设备（例如基于检测头部移动的那些输入设备）的可能的问题例如是很难将用户打算用作输入的移动与用户作为其正常动作的一部分而进行的移动区分开来。例如，头部的旋转可以是意图引起空间模型旋转的输入，或它可以意味着用户已经看见他们希望看见的东西。 

响应于这个可能的问题，图11示出了用户输入设备，在其中将接触式传感器1110添加到图10的输入设备的元件中。在用户输入设备的这个实施例中，输入设备仅在用户触摸接触式传感器时是有效的（并且输入解码器仅解码输入）。因此，用户必须触摸或激活接触式传感器，同时进行用于要用于影响空间模型的那些头部移动的头部移动。 

在一些实施例中，可以由空间音效处理器提供额外的音频信息以指示关于特定用户界面元素什么样的动作是可能的，或提供来自用户界面元素的改进的反馈。例如，可以“选择”一些音频界面元素。例如，用户可以选择“挂断”以结束呼叫，但是他们不可以选择正在进行的呼叫。空间音效处理器可以将音效提供给用户界面元素以指示什么样的用户动作对于该元素是可行的。例如，“可选择的”元素可以提供有用户接近时的额外的回响，以指示可以由用户采取选择动作。 

下面提供关于对于本发明的用户体验和一些示例性使用情况的另外的信息。在用户体验方面，通常，用户能够听到“在范围内的”的任何音 频信号或流，其中在范围内表示音频信号与他们当前的应用内容有关，或与应用或设备的功能或操作有关。注意，用户可以同时地听到多于一个音频信号，但是不会必然听到全部生成的音频信号。在这个意义上，一些信号可以是在用户的感知的音频空间内“超出可听到的范围”（至少直到他们被提供作为应用选项或已经导航到在音频空间内的更显著和可发现的位置）。在一个示例实施例中，宽的导航隐喻可以用来确定什么是“在范围内”，例如： 

右移=>下一个； 

左移=>前一个； 

前移=>用户当前关注的信号的更多细节；和 

后移=>移动到更少细节（即，到上层），包括为当前源的同等实体的新源。 

注意，用户可以感知来自音频空间内的多个位置的多个信号。在一些实施例中，系统可以具有不同的信号，其中轮流地从不同位置播放每个信号（首先是左边的，第二个是直前的，第三个是右边的）。然而，通常期望的是，通过利用人耳的空间地分离同时发生的源的能力来获得更大的效用（更高效访问的用户界面）。 

在下面说明所发明的空间用户界面的两个另外的示例应用或使用情况： 

（a）MP3或音乐库界面： 

在此，用户戴上受话器。初始地，他们听到例如多个流派的名字或样本：在左耳是“Hip-Hop”，直前是“雷格乐（Reggae）”，右边是“古典乐”。他们在音频空间之内右移（下一个）和左移（前一个）直到他们找到他们想要的流派。当他们继续向右时，在当前最右的流派旋转到中心时出现另外的流派：“摇滚”，“乡村”，等。如果他们在前面听到他们想要的流派，他们向前以“进入”到该流派。现在，他们听到不同艺术家的名字，“Steel Pulse”在左耳，“Heptones”在中心，“Bob Marley”在右边。然后他们左/右移动以浏览艺术家。为了选择艺术家，他们“向前”移动。为了返回到上层（即流派），他们可以再次将按钮向后按压。 

在这样的示例中，应用系统可以是运行代码的微处理器，该代码用于从例如硬盘驱动器的本地存储设备或例如服务器的远程设备读取可用的流派、专辑和曲目。应用系统还可以在一段时间内跟踪来自一个流派、专 辑或艺术家的音乐的播放频率，使得维持很快将要播放的期望的流派、专辑或艺术家的可能性。这样的应用系统可以提供有作为用户输入设备的导航轮（其是允许用户左旋转、右旋转并且通过按压设备的适当部分来选择的系统）。 

根据在存储系统上可用的流派的列表，并且根据流派播放的频率，应用可以形成多个用户界面元素，其中每一个相应于用户可选择的流派。对于每个用户界面元素，可以是音频流（例如说出的流派名字的预录音频文件）连同根据回放频率确定的特性优先级。每个用户界面元素可以通过空间模型管理器的使用而被添加到空间模型。 

例如，在伪码中， 

SpatialModeManager.AddNewElement(new FileStream(“HipHop.wav”,5)); 

SpatialModeManager.AddNewElement(new FileStream(“Classical.wav”,2)); 

SpatialModeManager.AddNewElement(new FileStream(“Reggae.wav”,3)); 

一旦已将用户界面元素加入空间模型，空间模型管理器确定其布置。考虑示例空间模型，其中用户界面元素径向平均地间隔开，其中最高优先级更远地偏向左，而最低优先级最远地偏向右，并且其中越高优先级元素离用户更近而越低优先级元素离用户越远。注意，这种机制确保越高优先级元素越近（并且因此越响亮）并且越偏左，并且因此用户对于不同元素可以在哪里定位以及元素的特性具有良好的感觉（用户觉得最重要的东西可能主要更偏左侧听到并且还可能是最响亮的）。 

在这个示例中，空间模型管理器可以将用于Hip-Hop的用户界面元素放置离在左耳（相当近），在中心稍微更远的是用于Reggae的用户界面元素，并且古典的用户界面元素在全部右边，并且更远（更安静）。想象用户现在在导航开关上向左旋转。这个运动可以与用户向左转动他的头相关。如果用户向他们的左侧转动他们的头，则已经朝向他们左侧的可听见的信号现在将更多地在用户前面被听到，并且已经在前面的可听到的信号现在将更多地在右侧被听到。以类似的处理，如果用户将输入设备转向左，则已经更偏向左的用户界面元素现在将更多地在前面被听到并且已经在用户前面的用户界面信号现在将偏右地听到。注意，用户具有用于浏览选 项范围的简单、直观和快速的机制-更偏左的选项是更可能的选项，并且通过旋转输入设备，可以布置选项范围以围绕用户旋转使得他们可以确定选择哪一个选项。按压输入设备上的选择按钮可以使得其选择现在在其前面的选项。 

这个界面比用户顺序地（即在前一个已经播放完之后）听到每个选项的典型菜单系统更加高效，其可以以自然的方式导航（以从听到用户界面元素的方向旋转表盘直到用户听到用户界面元素在他们之前），并且它将每个元素的质量的感觉提供给用户，该感觉有助于然后快速地识别并且选择适当的元素（最可能的元素偏左并且更响亮一点）。 

（b）电话会议系统 

在此用户戴上受话器。他们听到多个布置在他们周围的在电话会议中讲话的人，第一个完全在其左侧，第二个在45度偏左，第三个在直前，第四个在45度偏右并且第五个在右耳。为了离开电话会议，用户可以往后并且然后可以听到所有在直前讲话的与会者，“离开电话会议”的提示在他们的左耳，并且“对电话会议消音”在他们的右耳。他们可以再向前按压以再次进入电话会议。如果他们希望与其中一个参与者进行私人对话，他们可以旋转空间已将用于那个人的音频放置到他们的前面。然后他们可以再次向前按压。他们可以仅听到所选择的一方（或许外加指示他们在私人“房间”内的音频信号）。这使得用户与一方进行对话而参加会议的其他方听不到。当用户结束时，他们可以往后按压，并且可以再次放置回到会议“房间”内。 

在一些实施例中，用于生成和使用所说明的空间用户界面的发明的方法、处理或操作可以完全地或者部分地以一组指令的形式实施，其中这些指令由编程的中央处理单元（CPU）或微处理器执行。CPU或微处理器可以并入受话器、音频网关、MP3播放器、移动电话、台式计算机、便携式计算机或其他计算设备。指令可以储存在存储器或其他数据储存设备内、嵌入在计算机可读介质内或以任何其他合适的方式提供。指令的执行可以在一个或多个编程的中央处理单元（CPU）或微处理器之间共享。 

应该理解的是，如上说明的本发明可以以控制逻辑的方式来实施，该控制逻辑使用模块化或集成形式的计算机软件。基于在此所提供的公开和教导，本领域技术人员知道并且领会其他方式和/或方法以使用硬件以及硬件和软件的结合来实施本发明。 

正如指出的，在这个申请中说明的任何软件部件或功能可以实施为要由处理器使用任意适当的计算机语言执行的软件代码，该计算机语言诸如例如为使用例如传统的或面向对象的技术的Java、C++或Perl。软件代码可以储存为在计算机可读介质上的一系列指令、或命令，其中计算机可读介质例如为随机存取存储器（RAM）、只读存储器（ROM）、如硬盘或软盘的磁介质，或例如CD-ROM的光介质。任何这样的计算机可读介质可以驻留在单独的计算装置上或在单独的计算装置之内，并且可以呈现在系统或网络内的不同计算装置上或呈现在系统或网络内的不同计算装置之内。 

尽管已经在附图中详细说明和示出了某些示例性实施例，但是需要理解的是，这些实施例仅说明而并不意图限制宽广的本发明，并且由于本领域技术人员可以对发明作出多种其他的修改，因此这个发明不限制于示出的和说明的特定布置和结构。 

如在此所使用的，使用“一（a）”、“一个（an）”或“所述”意欲表示“至少一个”，除非明确表示相反。 

另外，下面的配置也在本申请的保护范围以内： 

1.一种用于生成用户界面的系统，包括： 

空间模型生成器，操作用于接收与用户界面元素相关联的输入数据，并且生成定义空间位置的输出数据，用户将在所述空间位置处感知相应于所述用户界面元素的音频信号； 

空间音效处理器，操作用于接收作为输入的音频输入并且生成作为输出的所述音频信号，所述音频信号表示由所述用户在所述空间位置处感知的处理的音频输入；和 

用户输入设备，操作用于选择所述音频信号或改变由所述用户感知的所述音频信号的空间布置。 

2.根据附记1所述的系统，其中所述空间音效处理器进一步操作用于处理所述音频输入，以包含向所述用户建议与所述音频信号相关联的功能或者操作的信息。 

3.根据附记2所述的系统，其中建议与所述音频信号相关联的功能或者操作的信息包括回声、音量、升调、降调或回响中的一个或多个。 

4.根据附记1所述的系统，其中所述空间模型生成器操作用于生成 定义空间位置的输出数据，所述输出数据向所述用户建议与所述音频信号相关联的用户界面元素的功能或操作。 

5.根据附记1所述的系统，其中所述用户输入设备是导航开关、拨轮、加速计、接触式传感器或麦克风中的一个或多个。 

6.根据附记1所述的系统，其中与用户界面元素相关联的所述输入数据是与所述用户界面元素的功能、所述用户界面元素的操作或所述用户界面元素的相对重要性有关的数据中的一个或多个。 

7.一种用于系统、设备或应用的用户界面，包括： 

多个音频信号，每个信号由在空间不同位置的用户所感知，并且每个信号与所述系统、设备或应用的功能或操作相关联； 

用户输入设备，操作用于选择所述多个音频信号中的一个或改变由所述用户感知的所述音频信号的空间布置；和 

控制器，操作用于接收来自所述用户输入设备的信号并且对激活所述系统、设备或应用的功能或操作进行响应，或改变由所述用户所感知的所述音频信号的所述空间布置。 

8.根据附记7所述的用户界面，其中所述多个音频信号中的一个或多个包括向所述用户建议与所述音频信号相关联的功能或者操作的信息。 

9.根据附记8所述的用户界面，其中建议与所述音频信号相关联的功能或者操作的信息包括回声、音量、升调、降调或回响中的一个或多个。 

10.根据附记7所述的用户界面，其中所述用户输入设备是导航开关、拨轮、加速计、接触式传感器或麦克风中的一个或多个。 

11.根据附记7所述的用户界面，其中所述多个音频信号中的一个或多个由在空间不同位置的用户感知，所述多个音频信号中的一个或多个向所述用户建议与所述音频信号相关联的功能或操作。 

12.根据附记7所述的用户界面，其中所述多个音频信号中的一个或多个由在空间不同位置的用户感知，所述多个音频信号中的一个或多个向所述用户建议与所述音频信号相关联的功能或操作的相对重要性。 

13.一种用于生成用户界面的方法，包括： 

访问关于用户界面元素的信息； 

基于访问的信息生成用于所述用户界面元素的空间模型，所述空间模 型表示所述用户界面元素到在用户的感知的音频空间内的位置的映射；和 

将音频信号和在所述用户的感知的音频空间内的所述位置相关联。 

14.根据附记13所述的方法，进一步包括： 

通过用户输入设备接收来自所述用户的输入；和 

处理接收的输入以确定所述输入表示所述用户对所述用户界面元素的选择还是表示改变所述空间模型的用户请求。 

15.根据附记13所述的方法，其中访问的信息是关于所述用户界面元素的功能或操作的信息。 

16.根据附记13所述的方法，其中访问的信息是关于所述用户界面元素的相对重要性的信息。 

17.根据附记14所述的方法，其中所述用户输入设备是导航开关、拨轮、加速计、接触式传感器或麦克风中的一个或多个。 

18.根据附记13所述的方法，其中与在所述用户的感知的音频空间内的位置相关联的所述音频信号是话音提示、音乐或声效中的一个或多个。 

19.根据附记18所述的方法，其中所述音频信号包括向所述用户建议与所述音频信号相关联的用户界面元素功能或者操作的信息。 

20.根据附记19所述的方法，其中建议与所述音频信号相关联的功能或者操作的信息包括回声、音量、升调、降调或回响中的一个或多个。 

Claims (20)

1.一种用于生成用户界面的系统，包括：

空间模型管理器，被配置为保存相应于多个用户界面元素的空间布置的数据，并且响应于输入来更新所述空间布置，所述空间模型管理器操作用于管理在音频信号被映射到的空间内的所述多个用户界面元素中的一个或更多个的用户感知的位置，并且响应于所述输入修改在所述空间内的所述多个用户界面元素中的一个或更多个的用户感知的位置；

空间音效处理器，被配置为处理与作为所述空间布置的一部分呈现给所述用户的所述多个用户界面元素中的每个相关联的音频内容，并且生成一个或更多个音频信号，所述一个或更多个音频信号在所述空间布置内由所述用户感知为空间上彼此不同；和

空间输入解码器，被配置为对所述输入解码，并且响应于所述输入来实现所述多个用户界面元素在所述空间布置内的布置。

2.根据权利要求1所述的系统，其中所述空间布置包括空间模型。

3.根据权利要求1所述的系统，其中所述输入包括用户输入设备。

4.根据权利要求1所述的系统，其中所述输入包括应用要求的变化。

5.根据权利要求1所述的系统，其中所述空间模型管理器被配置为将新的用户界面元素添加到所述空间布置，并且将相应的音频信号添加到所述音频信号被映射到的空间。

6.根据权利要求1所述的系统，其中所述空间模型管理器被配置为从所述空间布置移除用户界面元素，并且从相应的音频信号被映射到的空间移除所述音频信号。

7.根据权利要求1所述的系统，其中所述空间模型管理器被配置为响应于所述输入将位置变换应用于所述多个用户界面元素中的一个或更多个。

8.根据权利要求7所述的系统，其中所述输入包括用户输入设备。

9.根据权利要求7所述的系统，其中所述空间音效处理器被配置为放大或减弱所述一个或更多个音频信号以实现所述空间中的所述位置变换。

10.根据权利要求1所述的系统，其中所述空间音效处理器包括选自于由微处理器和数字信号处理器组成的组中的处理器。

11.根据权利要求1所述的系统，还包括：

非暂时性计算机可读介质，被配置为在所述处理器上执行，并且操作用于处理与所述多个用户界面元素中的每个相关联的所述音频内容。

12.根据权利要求1所述的系统，其中所述空间模型管理器、所述空间输入解码器或两者包括选自于由微处理器和数字信号处理器组成的组中的处理器。

13.根据权利要求12所述的系统，还包括：

非暂时性计算机可读介质，被配置为在所述处理器上执行，并且操作用于实现所述空间模型管理器、所述空间输入解码器或两者。

14.根据权利要求1所述的系统，其中所述输入包括选自于由导航开关、拨轮、加速计、接触式传感器和麦克风组成的组中的一个或更多个用户输入设备。

15.根据权利要求1所述的系统，其中所述空间音效处理器被配置为创建单声道输入信号的两个副本，所述两个副本由第一信号和第二信号组成。

16.根据权利要求15所述的系统，其中所述空间音效处理器通过如下方式来改变所述第一信号和所述第二信号的立体声平衡：

放大所述第一信号并且减弱所述第二信号，或者

放大所述第二信号并且减弱所述第一信号。

17.根据权利要求1所述的系统，其中所述空间音效处理器被配置为将一个或更多个音效应用于所述音频内容，并且所述音效选自于由放大、减弱、推延、均衡、频率相关的放大、频率相关的减弱和回响组成的组。

18.根据权利要求1所述的系统，其中所述空间音效处理器被配置为将一组滤波器应用于所述音频内容。

19.根据权利要求1所述的系统，其中所述空间音效处理器包括可编程放大元件、可编程延迟元件和可编程均衡元件。

20.根据权利要求1所述的系统，其中所述空间模型管理器与空间音效处理器通讯以更新影响相应于所述多个用户界面元素的音频内容的空间效果处理的参数。

Images