CN111913682A - 利用空间音频提示增强控件声音 - Google Patents

Abstract

本公开涉及利用空间音频提示增强控件声音。本文公开了一种头戴式耳机，其可包括左耳戴式扬声器和右耳戴式扬声器以及控件。响应于控件的控制输入，可利用包括具有由空间听觉提示确定的虚拟位置的控件声音的驱动信号来驱动耳戴式扬声器。控件声音可指示控件的作为控制输入的结果的行为。也描述了其他方面并要求对其他方面进行保护。

Description

利用空间音频提示增强控件声音

技术领域

本文的公开内容的一个方面涉及利用空间音频提示增强控件声音。也描述了其他方面。

背景技术

物理控件(例如，按钮、开关、旋钮、滑块)被用于消费设备，诸如头戴式耳机、移动电话和平板电脑。对来自物理控件的输入的响应可能有所不同。例如，控件还可用于接收用户输入以在各种菜单或其他用户界面对象中进行导航。按钮可改变设备的开/关状态，或使扬声器的输出静音。旋钮可改变扬声器输出的响度。滑块可使屏幕变暗。

空间音频技术允许通过使用耳机控制收听者耳朵处的声压来感知外部声源。

发明内容

由控件创建的声音可向用户提供用户的输入已被正确管理的有用反馈。该反馈可改善设备的总体用户体验。然而，由于控件的构造限制以及控件与其他部件的交互，控制这些声音可能很困难。在一些情况下，当物理声音由于控件(例如，触摸控件或其他安静控件)的构造而不可听见时，设备可通过扬声器生成控件声音以向用户提供可听见的反馈。在一些情况下，在控件在头戴式设备上发出物理声音的情况下，由于耳朵被覆盖(例如，在戴耳机的情况下)，声音可被压低。由物理控件产生的声音可与设备的其他部件(例如，外壳或设备的其他构件)相互作用，并且可能不可预测。声音在到达用户的耳朵之前可从控件行进通过空气和/或通过设备的各种机械构件。

物理控件如按钮、开关、拨号盘、滑块可由手指致动。当考虑在头戴式设备(例如，耳罩式(护耳式)头戴式耳机)上使用的物理控件时，当致动控件时，由于控件和耳朵之间的短距离和/或机械耦接，来自控件的声音可从控件被动地传播到耳朵。在这种情况下，由于具有密封耳机的闭塞效应，控件声音可能是明显可听见的并且令人不悦。然而，头戴式耳机的扬声器可用于播放双耳音频提示以掩蔽或增强控件的声音，从而提供直接控件声音反馈。由头戴式耳机播放的控件声音可比由物理控件生成的被动声音更令人愉快，因为控件声音不会听起来被闭塞。

当按钮是静默触敏按钮时，在被感知为指示触敏按钮的物理位置的虚拟位置处生成控件声音可向用户提供通过控件进行的用户输入已被感测并将被处理的反馈。

控件声音可在空间上被渲染以模拟或增强由设备(例如，头戴式设备)的按钮所产生的物理声音。用户下压按钮与匹配该按钮位置的空间音频提示之间的紧密相互作用可强化设备生成的虚拟控件声音与控件相关联。由空间音频提示创建的控件声音的虚拟位置可基于对应物理控件的物理位置而改变。一些控件诸如滑块和拨号盘(旋转控件)可提供连续的输入(例如，向上/向下、更响亮/更安静等)。可例如通过将虚拟控件声音的位置在感知的旋转方向上从一个位置移动到另一个更靠近和更远的位置而生成虚拟控件声音以对此类连续统一体建模。

在一个方面，用于提供与控件相关的音频反馈的方法包括：接收控件的控制输入；响应于控制输入，利用包括具有虚拟位置(例如，基于空间音频提示)的控件声音的驱动信号来驱动耳戴式扬声器。控件声音可指示控件的行为(例如，按压、移动、定向移动或控制状态)—由控制输入产生的行为。致动控件的用户可听到通过耳戴式扬声器播放的控件声音，并且通过用户对控件的致动将a)控件声音和b)控件声音的虚拟位置关联起来。该反馈可改善总体用户体验。

以上概述不包括本公开的所有方面的详尽列表。可预期的是，本公开包括可由上文概述的各个方面以及在下文的具体实施方式中公开并且在权利要求书部分特别指出的各个方面的所有合适的组合来实践的所有系统和方法。此类组合可具有未在上述发明内容中具体阐述的特定优点。

附图说明

本公开的各方面以举例的方式进行说明，而不仅限于各个附图的图示，在附图中类似的附图标号指示类似的元件。应当指出的是，在本公开中提到“一”或“一个”方面未必是同一方面，并且其意指至少一个。另外，为了简洁以及减少附图的总数，可使用给定附图示出本公开的不止一个方面的特征部，并且对于给定方面，可能并非需要该附图中的所有元件。

图1至图3示出了根据不同方面的产生具有空间化控件声音的驱动音频信号的音频系统或设备。

图4示出了根据一个方面的头戴式设备。

图5示出了根据一个方面的拨号盘或旋转控件。

图6示出了根据一个方面的滑动控件。

图7示出了根据一个方面的音频系统。

具体实施方式

现在将参考所附附图来解释本公开的各方面。每当所描述的部件的形状、相对位置和其他方面未明确限定时，本公开的范围并不仅局限于所示出的部件，所示出的部件仅用于例示性目的。另外，虽然阐述了许多细节，但应当理解，本公开的一些方面可在没有这些细节的情况下被实施。在其他情况下，未详细示出熟知的电路、结构和技术，以免模糊对该描述的理解。

空间化控件声音

现在参考图1，示出了与响应于控制输入12生成空间化控件声音相关的音频系统或设备10。在一个方面，音频系统10可以是头戴式设备，例如可以是耳罩式(护耳式)、耳内式或挂耳式的头戴式扬声器。与扩音器相比，通过耳戴式扬声器空间化声音允许更好地控制空间化，因为耳戴式扬声器将空间提示直接递送到收听者的耳朵。

控件14(它可以是物理控件或呈现在显示器上的控件)可位于头戴式设备之上或设备之外，例如膝上型计算机、台式计算机、移动电话、智能电话、平板电脑、智能扬声器、家庭音频系统、具有音频功能的任何消费电子设备和车辆中的系统(例如，用于汽车的信息娱乐系统)。控件可以是手指致动控件，诸如拨号盘旋钮、按钮、开关、滑块、触敏控件或图形用户界面控件(例如，位于触摸显示器上)。

控制输入12(诸如按压或触摸按钮)可通过控件14生成。响应于控制输入，空间音频处理器16可生成包括具有虚拟位置的控件声音的驱动音频信号。虚拟位置可基于一个或多个空间听觉提示生成；例如，耳间时间差(ILD)、耳间声强差(ILD)、头部相关传递函数(HRTF)、频谱提示、单耳提示和动态双耳提示。基于人类如何处理和局部化声音，收听者可将控件声音的这些提示感知为控件声音的虚拟位置。处理器可利用驱动信号(例如，左驱动信号和右驱动信号)来驱动耳戴式扬声器18。

控件声音(它可以是任何类型的声音)可指示控件的作为控制输入的结果的行为。例如，控件声音可以是“咔哒”噪音、扫掠声音、以语言说出的词语等。这可以向用户提供已经接收到用户的控制输入(例如，下压按钮)的反馈。在控件机械耦接至头戴式设备的情况下，控件声音的空间回放可以增强由控件引起的物理声音，否则该物理声音将由于被闭塞的声音而产生负面的用户体验。

预先生成的控件声音

在一个方面，如图2所示，空间音频处理器30基于预先确定的空间化控件音频资产24响应于控制输入26生成驱动信号，该预先确定的资产是在控制输入之前的时间生成的。该预先确定的资产可以是用空间渲染器22预先生成的合成声音，该空间渲染器对控件声音和空间信息(例如，控件的虚拟位置)进行空间化并将该数据编码为嵌入有空间提示的声音文件。除此之外或另选地，音频资产可通过控件声音的双耳录音生成，从而在录音环境中将控件声音的空间信息嵌入资产中。这些仅仅是控件声音在致动控件之前可如何空间化并作为资产存储的示例。可存储空间化的控件音频资产的库，每个控件音频资产对应于具有预先确定的位置的特定控件，使得当控件被按压时，空间音频处理器30可选择对应的控件资产以通过该控件资产生成驱动信号。

控件声音的动态处理

在一个方面，如图3所示，驱动信号可响应于控制输入42利用空间渲染器实时或动态地生成。应当理解，“实时”意味着以最小延迟生成驱动信号，该延迟可包括处理延迟、缓冲和通信延迟。控件音频资产46(例如，包含与控件相关的编码的声音数据的数据文件)和空间信息(例如，方位角、高度或距离)可由空间音频处理器44使用以生成具有带有空间听觉提示的控件声音的驱动信号。空间信息以及控件、空间信息和/或控件音频资产之间的映射可存储在存储器中。当接收到控制输入时，处理器可选择空间信息和与控件对应的控件音频资产。由空间信息生成的空间听觉提示连同控件声音可提供丰富的用户体验。

控件声音、位置和移动

在一个方面，控件声音的虚拟位置可以指示控件的物理位置。例如，当向用户播放时，用户可将听觉空间中虚拟位置的方位角、高度或距离坐标中的一者或多者感知为指示物理按钮相对于用户的方位角、高度或距离。虚拟位置可以与控件的物理位置相同或大体上相同。尽管控件声音的虚拟位置不必精确地匹配控件的物理位置，但应当理解，如果用户不能通过位置关联声音，则控件声音的反馈可能令人困惑。因此，在某个阈值处，虚拟位置和物理位置之间的差异可能会导致迷失方向，然而，此类阈值可以通过例行测试或重复来确定。

在一个方面，如图4所示，控件62可位于头戴式设备60上，或位于单独的设备66(例如，平板电脑、移动电话或计算机)上。在控件相对于用户的位置不固定的情况下，可以提供用于确定控件的相对位置的方法。此类方法可包括利用设备66、利用一个或多个传感器诸如一个或多个相机61或利用麦克风63(例如，利用三角测量或波束形成)来跟踪用户。可使用其他技术来跟踪用户相对于控件的位置，如在本领域中已知的。

另选地或除此之外，控件可与头戴式设备60成一整体并且/或者具有相对于用户的固定位置。因此，空间化控件声音可基于控件相对于用户的位置(例如，其在用户头部的左侧还是用户头部的右侧)来预先确定。在一个方面，头戴式设备60可以是头戴式显示器(HMD)。控件可以是混合现实、虚拟现实或增强现实中的虚拟控件。头戴式设备60可包括麦克风70，该麦克风可用于提供噪声消除或允许声音在透明模式下主动“传递”到用户的耳朵。无论控件62的物理位置是变化的还是固定的，头戴式设备的扬声器68都可以利用具有带有虚拟位置的控件声音的音频信号来驱动，该虚拟位置指示控件62的物理位置。

虚拟位置的移动可指示控件的基于用户输入的行为。例如，移动可以是：相对于用户从一侧到另一侧、向上和向下、在接近和远离之间，或者以旋转弧的形式。控件声音可与虚拟位置的变化协调以模拟控件的虚拟旋转或移动。在一个方面，图5示出了控件可以是能够旋转的旋转控件106。控件声音108的虚拟位置可沿着线107移动，例如来回扫动。该轴线可在控件处或附近虚拟化。在一个方面，控件声音可沿旋转路径109扫动，指示旋转控件的移动和/或位置。

类似地，如图6所示，滑动控件120可具有基于滑动控件120的操纵而移动(例如，向上和向下、来回或接近和远离)的控件声音114。通过空间听觉提示实现的控件声音的移动可与相应控件的操纵同步。在一个方面，控件声音可包括间隔声音。间隔(例如，旋转控件的每5度，或滑块的每毫米行程)可用间隔声音诸如滴答声、咔哒声、蜂鸣声或其他声音来指示。这些间隔声音可被空间化。可向用户提供听觉反馈以响应于控制输入来测量值被改变了多少。控件可以是可变控件，诸如可提供一系列状态或位置的旋转控件或滑块，或者控件可以是具有按压状态(例如，手指当前在按钮上)、已按压状态(按钮已被按压)和/或未按压状态(按钮未被按压)的按钮。这些示例是例示性的，因为控件可采取其他形式。

图7示出了用于解释可与本文所述的任何方面一起使用的音频处理系统硬件的示例的框图。需注意，虽然图7示出了可被结合到耳机、扬声器系统、麦克风阵列和娱乐系统中的音频处理系统的各种部件，但这仅仅是特定具体实施的一个示例，并且仅仅是为了示出可存在于音频处理系统中的部件的类型。图7并不旨在表示使这些部件互连的任何特定架构或方式，因为此类细节与本文所述的各方面并无密切关系。还应理解，还可使用具有比图7所示更少部件或更多部件的其他类型的音频处理系统。例如，该过程的一些操作可由位于头戴式耳机外壳内的电子电路执行，而其他操作由位于与头戴式耳机外壳通信的另一设备(例如，智能电话、车载信息娱乐系统或远程服务器)内的电子电路执行。因此，本文所述的过程不限于与图6的硬件和软件一起使用。

图7是上文结合图1至图6所述的具有经编程的处理器152的音频系统和方法的示例性具体实施。所示部件可集成在外壳内，诸如智能电话、智能扬声器或头戴式扬声器的外壳。这些包括麦克风154，该麦克风可彼此具有固定的几何关系(并且因此被视为麦克风阵列)。音频系统150可包括扬声器156，例如，耳戴式扬声器。

麦克风信号可被提供给处理器152和存储器151(例如，固态非易失性存储器)，以用于通过音频编解码以数字、离散时间格式存储。处理器152还可经由通信模块164与外部设备进行通信，例如以通过互联网进行通信。处理器152可以是单个处理器或多个处理器。

存储器151中存储有当由处理器152执行时执行本文所述的音频处理的指令。还需注意，图1中所述的模块(例如，空间音频处理器16)可由处理器208通过存储在存储器210上的指令来执行。需注意，这些电路部件中的一些以及它们相关联的数字信号处理可另选地由硬连线逻辑电路(例如，专用数字滤波器块、硬连线状态机)来实现。该系统可包括一个或多个相机158和/或显示器160(例如，头戴式显示器)。

本文所述的各个方面可至少部分地在软件中实现。也就是说，响应于其处理器执行存储介质(诸如非暂态机器可读存储介质(例如DRAM或闪存存储器))中包含的指令序列而可在音频处理系统中实施这些技术。在各个方面中，可将硬连线电路与软件指令结合地使用来实现本文所述的技术。因此，这些技术不限于硬件电路与软件的任何指定组合，也不限于由音频处理系统执行的指令的任何特定源。

在本说明书中，某些术语用于描述各个方面的特征。例如，在某些情况下，术语“处理器”、“分离器”、“渲染器”、“估计器”、“处理器”、“计算器”、“组合器”、“合成器”、“部件”、“单元”、“模块”和“逻辑部件”表示被配置为执行一个或多个功能的硬件和/或软件。例如，“硬件”的示例包括但不限于集成电路诸如处理器(例如，数字信号处理器、微处理器、专用集成电路、微控制器等)。当然，硬件可另选地实现为有限状态机或甚至组合逻辑部件。“软件”的示例包括应用程序、小应用程序、例程甚至一系列指令形式的可执行代码。如上所述，软件可存储在任何类型的机器可读介质中。

已按照对计算机存储器中的数据位进行操作的算法和符号表示来呈现前面详细描述的某些部分。这些算法描述和表示是音频处理领域技术人员所用的方法，而这些方法也能最有效地将他们的工作实质传达给该领域其他技术人员。算法在这里并通常是指导致所希望的结果的操作的自相一致的序列。操作是需要对物理量进行物理操纵的那些操作。然而，应当谨记，所有这些以及类似的术语都与适当的物理量相关联，并且只是应用于这些量的方便标签。除非另外特别说明，否则从上述讨论中显而易见的是，可以理解在整个说明书中，使用诸如那些在下文权利要求书中给出的术语的讨论涉及音频处理系统或类似电子设备的动作和过程，其操纵在系统的寄存器和存储器中被表示为物理(电子)量的数据以及将其转换成在系统存储器或寄存器或其他此类信息存储、传输或显示设备中类似地被表示为物理量的其他数据。

本文所述的过程和块不限于所述的特定示例，并且不限于在本文中作为示例使用的特定次序。相反，可根据需要对任何处理块进行重新排序、组合或移除、并行或串行地执行，以实现上述结果。与实施音频处理系统相关联的处理块可通过一个或多个可编程处理器执行存储在非暂态计算机可读存储介质上的一个或多个计算机程序来执行，以执行系统的功能。音频处理系统的全部或部分可被实现为专用逻辑电路(例如，FPGA(现场可编程门阵列)和/或ASIC(专用集成电路))。音频系统的全部或部分可利用包括电子设备诸如例如处理器、存储器、可编程逻辑器件或逻辑门中至少一者的电子硬件电路来实现。另外，过程可在任何组合硬件设备和软件部件中实现。

虽然已经在附图中描述和示出了某些方面，但是应当理解，这些方面仅仅是对本发明的说明而非限制，并且本发明不限于所示出和所描述的具体结构和布置，因为本领域的普通技术人员可以想到各种其他修改型式。因此，要将描述视为示例性的而非限制性的。

众所周知，使用个人可识别信息应遵循公认为满足或超过维护用户隐私的行业或政府要求的隐私政策和做法。具体地，应管理和处理个人可识别信息数据，以使无意或未经授权的访问或使用的风险最小化，并应当向用户明确说明授权使用的性质。

为了帮助专利局和本申请中发布的任何专利的任何读者解译所附权利要求书，申请人希望注意到它们并不意欲所附权利要求书中的任一个或权利要求要素调用35U.S.C.112(f)，除非在特定权利要求中明确使用字词“用于......的装置”或“用于......的步骤”。

Claims (20)

1.一种用于提供与控件相关的音频反馈的方法，包括：

接收所述控件的控制输入；

响应于所述控制输入，利用第一驱动信号和第二驱动信号来驱动耳戴式扬声器，所述第一驱动信号和所述第二驱动信号包括具有由空间听觉提示确定的虚拟位置的控件声音，

其中所述控件声音指示所述控件的作为所述控制输入的结果的行为。

2.根据权利要求1所述的方法，其中所述控件声音的所述虚拟位置指示所述控件的物理位置。

3.根据权利要求1所述的方法，其中所述控件为下压按钮、拨动开关或触敏按钮。

4.根据权利要求1所述的方法，其中所述控件为旋转控件，并且所述空间听觉提示引起所述控件声音相对于所述旋转控件的操纵的感知的移动或与所述旋转控件的操纵同步的感知的移动。

5.根据权利要求4所述的方法，其中所述感知的移动沿着弧线或直线。

6.根据权利要求1所述的方法，其中所述控件为滑块，并且所述空间听觉提示引起所述控件声音与所述滑块的操纵同步的从一个虚拟位置到另一个虚拟位置的感知的移动。

7.根据权利要求6所述的方法，其中所述虚拟位置的所述感知的移动是相对于用户a)从一侧到另一侧，b)在向上和向下之间，或c)在接近和远离之间。

8.根据权利要求1所述的方法，其中所述控件声音和所述空间听觉提示包含在存储于电子存储器中的预先确定的资产中，并且响应于所述控制输入基于所述预先确定的资产生成所述驱动信号。

9.根据权利要求1所述的方法，其中响应于所述控制输入利用空间渲染器实时生成所述驱动信号。

10.根据权利要求1所述的方法，其中所述控件机械耦接至容纳所述耳戴式扬声器的头戴式设备，并且所述控件声音在通过所述耳戴式扬声器播放时增强由所述控件引起的物理声音。

11.一种制品，包括：

第一扬声器和第二扬声器，所述第一扬声器和所述第二扬声器为耳戴式扬声器；

控件；以及

在其中存储有指令的机器可读介质，所述指令当由所述制品的处理器执行时，使得所述制品执行以下操作：

响应于所述控件的控制输入，利用第一驱动信号驱动所述第一扬声器并且利用所述第二驱动信号驱动所述第二扬声器，所述驱动信号包括具有由空间听觉提示确定的虚拟位置的控件声音，

其中所述控件声音指示所述控件的作为所述控制输入的结果的行为。

12.根据权利要求11所述的制品，其中所述控件声音的所述虚拟位置指示所述控件的物理位置。

13.根据权利要求11所述的制品，其中所述控件为下压按钮、拨动开关或触敏按钮。

14.根据权利要求11所述的制品，其中所述控件为旋转控件，并且所述空间听觉提示引起所述控件声音相对于所述旋转控件的操纵的感知的移动或与所述旋转控件的操纵同步的感知的移动。

15.根据权利要求14所述的制品，其中所述感知的移动沿着弧线或直线。

16.根据权利要求11所述的制品，其中所述控件为滑块，并且所述空间听觉提示引起所述控件声音与所述滑块的操纵同步的从一个虚拟位置到另一个虚拟位置的感知的移动。

17.根据权利要求16所述的制品，其中所述虚拟位置的所述感知的移动是相对于用户a)从一侧到另一侧，b)在向上和向下之间，或c)在接近和远离之间。

18.根据权利要求11所述的制品，其中所述控件声音和所述空间听觉提示包含在存储于电子存储器中的预先确定的资产中，并且响应于所述控制输入基于所述预先确定的资产生成所述驱动信号。

19.根据权利要求11所述的制品，其中响应于所述控制输入利用空间渲染器实时生成所述驱动信号。

20.一种头戴式耳机，包括：

多个耳戴式扬声器；

控件；和

处理器，所述处理器被配置为执行以下操作：

响应于所述控件的控制输入，利用驱动信号来驱动耳戴式扬声器，所述驱动信号包括具有由空间听觉提示确定的虚拟位置的控件声音，

其中所述控件声音指示所述控件的作为所述控制输入的结果的行为，并且所述控件声音的所述虚拟位置指示所述控件的物理位置。

Images