CN108540899B - 包含用户交互式听觉显示器的听觉设备 - Google Patents

Abstract

一种听力设备，包括处理器，其被配置为生成虚拟听觉显示器，该虚拟听觉显示器包括声场、多个相异的声场区域、以及多个安静区域，该多个安静区域在声场区域之间提供声学对比。声场区域和安静区域在声场内在位置上保持静止。一个或多个传感器被配置为感测来自佩戴者的多个输入。处理器被配置为响应于从一个或多个传感器接收的导航输入，来促进佩戴者在声场内的移动。处理器还被配置为响应于从一个或多个传感器接收的选择输入，来选择声场区域中的一个声场区域用以经由扬声器回放或对听力设备功能进行致动。

Description

包含用户交互式听觉显示器的听觉设备

技术领域

本申请通常涉及听力设备，其包括助听器、个人放大设备和其他可听设备(hearables)。

背景技术

听力设备可以包含允许用户与听力设备交互的若干个机电开关和控件。因为开关和控件的数目有限并且在佩戴听力设备的同时经常看不到，因此与听力设备交互的常规途径繁琐并且功能性有限。

发明内容

各种实施例涉及一种用于由适于佩戴者佩戴的听力设备布置来生成虚拟听觉显示器的方法。根据一些实施例，一种方法包括：通过听力设备布置来生成虚拟听觉显示器，该虚拟听觉显示器包括声场、多个相异的声场区域、以及多个安静区域，该多个安静区域在声场区域之间提供声学对的。声场区域和安静区域在声场内在位置上保持静止。该方法包括：经由听力设备布置处的传感器来感测来自佩戴者的输入，以及响应于从传感器接收的导航输入，来促进佩戴者在声场内的移动。该方法还包括：响应于从传感器接收的选择输入，来选择声场区域中的一个声场区域用以向佩戴者回放或者由听力设备布置对功能进行致动。

根据其他实施例，一种听力设备布置包括一对听力设备，其被配置为由佩戴者佩戴。每个听力设备包括处理器，其被配置为生成虚拟听觉显示器，该虚拟听觉显示器包括声场、多个相异的声场区域、以及多个安静区域，该在声场区域之间提供声学对比。声场区域和安静区域在声场内在位置上保持静止。传感器被配置为感测来自佩戴者的多个输入。处理器被配置为响应于从传感器接收到的导航输入，来促进佩戴者在声场内的移动。处理器还被配置为响应于从传感器接收的选择输入，来选择声场区域中的一个声场区域用以经由扬声器回放或者对听力设备功能进行致动。

以上发明内容并非旨在描述本公开的每个公开的实施例或每个实现方式。下文的附图和具体实施方式更具体地例示了说明性实施例。

附图说明

在整个说明书中，参考附图，其中：

图1图示了按照各种实施例的为了调整响度而在时间上包括三个音频图标的听觉显示器；

图2A和图2B图示了按照各种实施例的为了选择音频内容以供回放而在时间上包括三个音频图标的听觉显示器；

图3图示了按照各种实施例的用于虚拟听觉显示器的示例声场和安静区域配置；

图4是按照各种实施例的由听觉显示器实现的方法的流程图；

图5是按照各种实施例的由听觉显示器实现的方法的流程图；

图6A至图6D图示了按照各种实施例的生成听觉显示器的声场区域和安静区域的过程；

图7是按照各种实施例的由听觉显示器实现的方法的流程图；

图8图示了按照各种实施例的用于生成具有安静区域的听觉显示器的声场的渲染设置；

图9示出了按照各种实施例的代表性合成声场；

图10示出了图9的合成声场的以dB为单位的电平分布；

图11是用于测量头部相关传递函数(HRTF)的传统设置的图示；

图12图示了按照各种实施例的用于获得把佩戴者相对于虚拟扬声器阵列的相对移动考虑在内的HRTF集合的策略；

图13是示出了按照各种实施例的可以被配置为实现听觉显示器的听力设备的各种部件的框图；以及

图14是示出了按照各种实施例的可以被配置为实现听觉显示器的听力设备的各种部件的框图；

这些附图不一定按比例绘制。在附图中使用的相同的附图标记是指相同部件。然而，应当理解，在给定附图中使用数字来指代部件不旨在限制在用相同数字标记的另一附图中的部件。

具体实施方式

应当理解，在不背离本公开的范围的情况下，本文中所描述的实施例可以与任何听力设备一起使用。附图中描绘的设备旨在演示主题，而非以有限的、穷尽的或排他性的意义来演示。还应当理解，本主题可以与被设计成用于在佩戴者的右耳朵或左耳朵或双耳中或上使用的设备一起使用。

听力设备(诸如助听器和可听设备(例如，可佩戴式耳机))通常包括封壳(诸如外壳或壳体)，内部部件被布置在该封壳内。例如，听力设备的典型部件可以包括数字信号处理器(DSP)、存储器、电力管理电路、一个或多个通信设备(例如，无线电、近场磁感应设备)、一个或多个天线、一个或多个麦克风、以及接收器/扬声器。更先进的听力设备可以包含远距离通信设备，诸如

收发器或其他类型的射频(RF)收发器。

本公开的听力设备可以包含耦合到高频无线电(诸如2.4GHz无线电)的天线布置。例如，该无线电可以符合IEEE 802.11(例如，WiFi)或

(例如，BLE、

4.2或5.0)规范。应当理解，本公开的听力设备可以采用其他无线电，诸如900MHz的无线电。

本公开的听力设备被配置为从电子源或数字源接收流式音频(例如，数字音频数据或文件)。代表性电子源/数字源(本文中还被称为附属设备)包括辅助收听系统、电视流设备、收音机、智能手机、手机/娱乐设备(CPED)、或充当数字音频数据或文件源的其他电子设备。电子源/数字源还可以是另一听力设备，诸如第二助听器。例如，无线辅助收听系统用于多种情形和场合，其中听力受损人员的听力难以辨别声音(例如，人员说话、或音频广播、或呈现)。无线辅助收听系统可以用于诸如剧院、博物馆、会议中心、音乐厅、教室、餐厅、会议室、银行柜台或免下车服务窗口(drive-up window)、购买点位置以及其他私人和公众会议场所之类的场合。

术语“听力设备”是指可以帮助听力受损人员的广泛多种设备。术语“听力设备”还是指可以为听力正常人员产生优化或处理的声音的广泛多种设备。例如，本公开的听力设备包括可听设备(例如，可佩带式耳机、头戴式耳机、耳塞式耳机、虚拟现实耳机)、助听器(例如，听力仪器)、耳蜗植入物、以及骨传导设备。听力设备包括但不限于耳背(BTE)型听力设备、耳内(ITE)型听力设备、耳道(ITC)型听力设备、隐形耳道(IIC)型听力设备、耳道内接收器(RIC)型听力设备、耳内接收器(RITE)型听力设备、或深耳道(CIC)型听力设备、或上述的某个组合。听力设备在辅助收听系统中还可以被称为辅助收听设备。在整个本公开中，参照“听力设备”，其被理解为是指单个听力设备或一对听力设备。

本公开的实施例涉及包含用户交互式听觉显示器的听力设备。术语“听觉显示器”是指合成包括单独的音频信号的空间表示的声场的系统。这些空间表示可以被称为声场区域。一些声场区域与指定声音(诸如语音或音乐)相关联。一些声场区域是安静区域(例如，没有或基本上没有声音的区域)。一些声场区域(诸如与指定声音相关联的声场区域)用作声音图标。声音图标可以由听力设备的佩戴者激活，从而导致回放指定声音(例如，歌曲)或致动由听力设备执行或者与听力设备配合执行的功能。本公开的听觉显示器包含一个或多个传感器，其允许听力设备的佩戴者与声场交互，该声场可以呈现声音图标的音频菜单。佩戴者可以通过声场导航、并且在声场中呈现的不同声音图标之间进行选择，以便回放所期望的音频信号或者致动听力设备的不同功能。

根据一些实施例，听力设备布置的听觉显示器被实现为点播界面。听觉显示器可以根据需要由听力设备的佩戴者激活和去激活。响应于用户输入，可以实现听觉显示器的激活和去激活。例如，听力设备可以被编程为响应于此而收听指定话音命令(例如，“激活显示器”、“去激活显示器”)并且激活或去激活音频显示器。听力设备的一个或多个传感器可以用于检测来自佩戴者的激活或去激活输入。通过进一步示例，快速连续向左点头两次可以通过听力设备的加速度计被检测为激活输入。快速连续向右点头两次可以通过加速度计被检测为去激活输入。

听力设备的佩戴者通常需要调整听力设备在场中的操作。现有的听力设备通常没有任何视觉显示器，并且由于空间限制仅能够提供一对微型机械或光学控件以供用户调整。另外，在无法看到控件的情况下在听力设备上操纵这种微型控件具有挑战性。随着听力设备功能性变得越来越复杂和精密，对更多用户选项的需求也越来越多。已经提供遥控器和智能手机来满足这些要求。然而，这样的途径需要佩戴者携带额外的设备，其增加了成本和不便。结果，期望的是为听力设备创建用户界面，其不需要额外的设备，易于使用，并且支持更精密的用户界面的日益增长需求。

在传统人机用户界面中，用户选项在计算机屏幕上被呈现为不同视觉图标。这里，视觉图标是指在屏幕上逻辑地分组为不同区域的一个或多个视觉图像。与视觉显示器相比，本公开的听觉显示器以连续或同时声音图标的形式呈现用户选项。声音图标是指与双耳渲染声场中的独立空间区域相关联的一个或多个声音。空间组织的声音图标的集合可以被称为音景。包括空间组织的声音图标集合的音景表示根据各种实施例的听觉显示器。

图1图示了按照各种实施例的听觉显示器。在图1中，听力设备的佩戴者呈现有听觉显示器100，其被配置为促进用户调整设备的音量。听觉显示器100生成声场101，其包含三个不同的声音图标102、104和106。声音图标102(较响亮)当被选择时允许佩戴者增加听力设备的音量。声音图标104(相同)当被选择时允许佩戴者维持听力设备的相同音量。声音图标106(较柔和)当被选择时允许佩戴者减小听力设备的音量。

声音图标102、104和106中的每个声音图标被呈现在声场101中的不同空间位置(仰角，方位角)处并且在相异时间。例如，在时刻1，较响亮图标102被呈现在空间位置(45°，-90°)处，使得佩戴者会从左上方听到单词“louder”。在时刻2，相同图标104被呈现在空间位置(45°，0°)，使得佩戴者会从中上方听到单词“same”。在时刻3，更柔和的图标106被呈现在空间位置(45°，90°)处，使得佩戴者会从右上方听到单词“softer”。重复该声音图标呈现序列，直到佩戴者响应选项中的一个选项。响应于选择声音图标选项中的一个声音图标选项，听力设备按照选定选项来自动调整音量。

填充听觉显示器的声场的声音图标可以以分层方式进行组织和呈现。一些声音图标可以触发声音图标的子集。例如，并且参考图2A和图2B，呈现听觉显示器200，其允许佩戴者在若干个不同声音图标之间进行选择。在图2A中，呈现声音图标的顶级菜单，其允许佩戴者在音乐图标202、天气图标204和新闻图标206之间进行选择。如在图1中所示的实施例的情况下那样，不同声音图标202、204、206中的每一个声音图标被呈现在声场201内的不同空间位置处并且在不同的时间。在该说明性示例中，佩戴者选择音乐图标202。

响应于选择音乐图标202，音乐图标210、212和214的子集被呈现在声场201内的不同空间位置处并且在不同的时间。如图2B所示，音乐图标的子集包括爵士乐图标210、古典乐图标212和摇滚乐图标214。例如，在选择爵士乐图标210之后，爵士乐图标的子集可以被呈现在声场中201。例如，可以显示若干个不同的爵士乐艺术家或爵士乐流派以供佩戴者选择和致动。各个爵士乐歌曲的附加图标子集可以被呈现在声场201中呈现的一个或多个后续菜单中。

被呈现在声场中的声音图标可以是佩戴者可感知的任何声音。例如，声音图标可以是来自熟悉人员或优选人员的自然话音或合成话音。声音图标可以是自然声音或合成声音，诸如鸟类声音、海浪声音、溪流声音或计算机生成声音。声音图标还可以是音乐。应当理解，声音图标不限于上文所列出的声音。在一些实施例中，用于听觉显示器的首选项、收藏夹和反馈可以可选地与和听力设备协作的不同设备(诸如移动电话或具有安装在这些设备上的专用应用的PC)同步。

声音图标在听觉显示器的声场中的布置可以以自适应方式实现，使得最常选择的图标在空间位置方面与声场内的“用户注意力停留点”最接近。这样，佩戴者的平均滚动努力被最小化。可以基于佩戴者的认知负荷来优化在声场中渲染的声音图标的数目。例如，听力设备可以包含可以感测来自佩戴者的EEG信号的脑电图(EEG)传感器。可以从EEG信号中推断佩戴者的认知负荷，并且可以基于根据情感检测算法从佩戴者的话音推断的佩戴者的情绪来布置声音图标。例如，如果佩戴者感到悲伤，则可以在佩戴者在声场中的当前位置旁边渲染具有佩戴者最喜欢的忧郁音乐的声音图标。

为了提高效率，可以经由以下方式中的一个方式基于佩戴者的意图来选择和布置声场内的声音图标：佩戴者说出并且经由自动语音识别由听力设备识别的关键字；佩戴者认为/想象并且经由包括但不限于使用EEG信号在内的脑解码由听力设备识别的关键字。重要的是，识别因为过度使用可能导致混乱或意识丧失，所以应当明智地使用上述效率测量。

在传统人机用户界面中，用户自动或借助于鼠标滚动和点击通过在计算机屏幕上在视觉上浏览不同的视觉图标来浏览用户界面。按照各种实施例，听觉显示器的用户导航基于分析以下各项中的一项或多项：生物电信号、生物力学移动或话音命令。例如，佩戴者可以通过以可调整的速度自动地收听和识别声景中的不同声音图标、或者通过评估以下佩戴者输入中的一个佩戴者输入来导航听觉显示器。一个佩戴者输入包括：使用由听力设备中的EOG传感器感测的眼电图(EOG)信号来检测蓄意眼睛移动或眼睑移动。另一佩带者输入包括经由听力设备的一个或多个惯性传感器(诸如加速度计或陀螺仪)来检测蓄意头部移动。其他佩戴者输入包括经由由听力设备的处理器实现的麦克风和话音识别算法来识别来自佩戴者的话音命令。另一佩戴者输入包括：经由包括但不限于使用听力设备的EEG传感器在内的脑解码来识别佩戴者所想象的命令思维。

当通过评估佩戴者命令在声场内导航佩戴者的实际移动或虚拟移动时，可以以有组织的方式在声场内呈现更多声音图标，以便不会在给定时间用太多声音图标淹没(overwhelm)佩戴者。例如，佩戴者从右向左的眼睛移动可以触发在给定上下文中呈现另一声音图标集合。

在传统人机界面中，用户通过按压键盘上的键或者通过实现在计算机屏幕上呈现的视觉图标上的鼠标点击来指示他或她的选择。计算机通过提供选定视觉图标、声音或两者的视觉改变来响应用户选择。按照各种实施例，佩戴者通过以下方式中的一个方式选择由听觉显示器呈现的选项。佩戴者可以经由自动语音识别发出由听力设备识别的关键字。听力设备可以经由包括但不限于使用听力设备的EEG传感器在内的脑解码来识别佩戴者所想象的关键词思维。选项的佩戴者选择可以通过检测固定相关眼环微小扫视运动(microsaccade)模式、或者由听力设备的EOG传感器产生的EOG信号中的有意凝视来实现。佩戴者的注意力检测可以基于EEG信号。更具体地，佩戴者的EEG信号可以被分析、被频移和滤波以供均衡。每个声音图标的声音流的包络可以与均衡的EEG信号的包络相关。具有最高相关性的声音流被选择。

本公开的实施例涉及听觉显示器，其特别是在使用EEG信号的实施例中，不仅通过例如以双耳方式在空间上表示声音，而且以由代码复用、时间复用或频率复用而启发的方式来提供更多的用户选项。例如，声场内的两个声音图标可以具有相同的空间位置，但是声音内容是可区分的。这可以经由频率复用来实现，使得两个声音图标具有不同的独特频谱(例如，一个图标正在播放男性话音，而另一图标正在播放女性话音)。这可以经由代码复用来实现，使得两个声音图标具有不同的音频内容(例如，一个图标是音乐而另一图标是语音，或者一个图标是英语信号而另一图标是德国信号)。这可以经由时间复用来实现，使得两个声音图标被放置在相同位置处，但是被时间交错使得它们不会在相同的时间发出声音。

在听觉显示器中使得声音空间化最近得到日益关注。然而，现有的空间化途径是基于自由场假设。也就是说，现有的空间化途径依赖于佩戴者解决以双耳方式渲染的声场中的“鸡尾酒会问题”的能力，限制了佩戴者在听觉显示器中的选项的数目，并且经常导致佩戴者的声景混乱。对于现有的以双耳方式渲染的声源，面对另一源时的源的余量(residual)由源的自由场传播和头部散射来确定。

为了确保对声景中不同声源进行清晰和简单感知，重要的是通过渲染多区域声场来控制这些声源的空间扩展、以及控制不同声场区域之间的潜在串扰。本公开的实施例涉及使用虚拟扬声器阵列来合成具有安静区域的声场，其相当于合成具有硬声音边界的声场。结果，可以通过变化每个声场区域的虚拟边界的导纳(admittance)来实现可调整的串扰能力。因为在可听设备中只有双耳渲染是可行的，所以根据各种实施例可以在两个步骤中完成声场合成：(1)使用虚拟扬声器来合成声场；以及(2)用头部相关传递函数(HRTF)集合来过滤虚拟扬声器信号。以下提供涉及听觉显示器的各种实施例的这些过程和其他过程的细节。

现在转到图3，图示了按照各种实施例的用于虚拟听觉显示器的代表性声场和安静区域配置。更具体地，图3以图表方式图示了听力设备的佩戴者可声音地感知的听觉显示器的各种特征。根据各种实施例，听力设备布置被配置为生成包括声场302的虚拟听觉显示器300。声场302包括若干相异的声场区域sf1、sf2和sf3。应当理解，出于说明的目的而非限制，图3中示出了三个声场区域。声场区域sf1、sf2和sf3中的每个声场区域都与单独的声音(诸如本文中所描述的声音中的任一声音)相关联。例如，声场区域sf1、sf2和sf3中的一个或多个声场区域可以与经由设备的收发器由听力设备接收的单独的音频流(例如，音乐、语音、自然声音、合成声音)相关联。

除了若干个不同的声场区域sf1、sf2和sf3之外，声场302还包括若干个安静区域(qzi，j)，其中i表示第i个安静区域并且j表示第j个声场区域。在图3所示的代表性实施例中，声场302包括用于声场区域sf1、sf2和sf3中的每个声场区域的两个安静区域。一般而言，声场302可以包括N个相异的声场区域和至少N-1个安静区域。安静区域(qzi，j)在声场区域sf1、sf2和sf3之间提供增加的声学对比。安静区域可以被视为声场区域sf1、sf2和sf3之间的硬声音边界。如将更详细描述的，包括声场区域和安静区域的声场302使用虚拟扬声器阵列通过听力设备来合成。下文参考图6A至图6D提供关于生成声场的声场区域和安静声音的详细描述。

如上文所讨论的，图3是本公开的听觉显示器的视觉表示。声场区域sf1、sf2和sf3表示空间上不干扰的声学区域。在每个声场区域中，用诸如波形传播(例如，具有特定入射角的平面波)、频率范围或特定内容(语音、音乐、音调信号)之类的各个特点来合成声音。每个声场区域与特定音频内容或菜单选项相对应。根据各种实施例，声场区域sf1、sf2和sf3以及安静区域(qzi，j)在声场302内在位置上保持静止。听觉显示器被配置为不是将佩戴者固定在声场302的中心，而是促进佩戴者在声场302内的自由移动。

听力设备的一个或多个传感器感测与导航输入或选择输入相对应的用户输入。听力设备的佩戴者可以通过由听力设备的传感器感测的适当手势、话音命令或思维在声场302中导航。佩戴者可以通过激活选定区域的适当手势、话音命令或思维来选择特定声场区域。选定区域可以是菜单选项或声音(例如，歌曲或口头播客)。因而，听觉显示器300不一定将收听者置于合成声场302的中心，如同使用常规空间化技术的情况一样。相反，佩戴者可以有效地穿过(虚拟上或实际上)无视角声场302。通过导航，佩戴者选择他或她的视角。

听觉显示器300被实现为将听力设备的佩戴者暴露于具有受控声学对比的不同的空间音频内容。佩戴者当导航声场302时的体验可以与包括单独的音乐室的音乐学院的走廊中的声音的合成相比较。在这个说明性场景中，来自每个单独的房间的声音在收听者的耳朵处混合有不同的级别和字符。收听者可以走过走廊，收听不同的播放材料，并且最后选择他或她喜欢进入的房间。在这方面选择房间相当于选择菜单选项，其可以选择特定听力设备配置或开始与听力设备进行特定活动，诸如播放音频书籍或收听新闻。

在图3中，三个声场区域sf1、sf2和sf3可以表示三种不同的音乐流派，诸如爵士乐(sf1)、古典乐(sf2)和摇滚乐(sf3)。如图3所示，佩戴者在位置A处进入声场302。在位置A处，佩戴者可以基于每个区域与位置A相距的空间距离来聆听声场302的不同空间位置处并且不同幅度的声场sf1、sf2和sf3中的每个声场。由于存在在声场区域sf1、sf2和sf3之间提供声学对比的安静区域(qzi，j)，所以从声场区域sf1、sf2和sf3发出的声音在空间上彼此不干扰。三种不同的音乐流派可以顺序或同时回放给佩戴者。从位置A，佩戴者可以提供用户输入以选择期望的声场区域，诸如爵士乐声场区域sf1。

响应于选择声场区域sf1，声音图标的子集可以替换声场302中的声场区域sf1、sf2和sf3。声音图标的这个子集可以表示爵士乐的不同子流派，诸如传统、摇摆、轻柔、西海岸、新奥尔良、大乐队和现代。佩戴者可以选择期望的爵士乐的子流派的声音图标，并且表示不同爵士乐艺术家的声音图标的另一子集可以填充声场302。爵士乐艺术家声音图标可以被实现为以顺序或同时的方式回放每个爵士乐艺术家的名字。在选择了期望的爵士乐艺术家之后，可以在声场302中呈现与所选择的爵士乐艺术家相关联的用于各个歌曲的声音图标。然后，佩戴者可以选择用于回放的特定歌曲图标。

以上所描述的关于选择期望音乐的功能性可以被实现用于配置听力设备。例如，可以在声场302中呈现用于控制听力设备的不同功能的声音图标的初始集合。佩戴者可以提供用户输入以选择期望功能，诸如音量调整。然后，声场302可以由允许调整音量的声音图标(诸如图1中所示的图标)填充。

除了上文所描述的功能性之外，听觉显示器300可以被实现为促进佩戴者经由听力设备的一个或多个传感器在声场302内移动。声场302内的移动可以是虚拟的或实际的。随着佩戴者在声场302内移动，响应于佩戴者的移动，来调整从声场区域sf1、sf2和sf3发出的声音的佩戴者感知幅度和方向性。随着佩戴者从位置A移动到位置B，从声场区域sf1发出的声音相对于从声场区域sf2和sf3发出的声音的幅度增加。随着佩戴者从位置B移动到位置C，佩戴者感知来自声场区域sf1的声音幅度的减小以及来自声场区域sf2和sf3的声音幅度的增加。从位置C移动，佩戴者决定选择声场区域sf2(古典乐)，其被指示为佩戴者的位置D。响应于选择声场区域sf2，可以在声场302中呈现声音图标的附加菜单。

图4是按照各种实施例的由听觉显示器实现的方法的流程图。图4中所示的过程总结了上文参考图3所讨论的过程。图4的方法包括：通过可佩戴式听力设备布置来生成402虚拟音频显示器，该虚拟音频显示器具有包括静止声场区域和静止安静区域的声场。该方法包括：经由听力设备布置的传感器来感测404来自佩戴者的输入。该方法还包括：响应于从传感器接收的导航输入，来促进佩戴者在音频显示器的声场内的移动406。该方法还包括：响应于从传感器接收的选择输入，来选择408声场区域中的一个声场区域以供向佩戴者回放或者对功能进行致动。

图5是按照其他实施例的由听觉显示器实现的方法的流程图。图5所示的方法包括：生成502虚拟音频显示器的声场以供听力设备使用。该方法包括：生成504虚拟音频显示器的N个声场区域，使得每个声场区域与单独的声音或音频流相关联。该方法还包括：针对每个声场区域，在声场区域之间生成506至少N-1个安静区域。该方法还包括：将安静区域与它们对应的声场区域共同定位508。

图6A至图6D图示了按照各种实施例的生成听觉显示器的声场区域和安静区域的过程。图6A示出了具有声场302的听觉显示器300。声场302被设计为包括在图6A中示出的特定位置处的三个声场区域sf1、sf2和sf3。图6B至图6D图示了如何生成声场区域和相关联的安静区域中的每个区域以创建图6A中所示的三个声场。声场和安静区域由使用将在下文中描述的虚拟扬声器阵列和音频处理(经由声音处理器或数字信号处理器(DSP))的听力设备来生成。

图6B示出了关于生成声场区域sf1的细节。声场区域sf1在图6A所示的位置处生成。第一安静区域qz1,2在声场区域sf2将被创建的位置处生成。qz1,2中的项qz之后的数字1标识声音正在被衰减的声场区域，数字2标识安静区域所在的声场区域。如此，第一安静区域qz1,2位于声场区域sf2将被创建的位置，并且被配置为衰减从第一声场区域sf1发出的声音。第二安静区域qz1,3在声场区域sf3将被创建的位置处生成。第二安静区域qz1,3位于声场区域sf3将被定位的位置，并且被配置为衰减从第一声场区域sf1发出的声音。

图6C示出了关于声场区域sf2的生成的细节。声场区域sf2在图6A所示的位置处生成。第三安静区域qz2,1在第一声场区域sf1的位置处生成。第三安静区域qz2,1被配置为衰减从第二声场区域sf2发出的声音。第四安静区域qz2,3在第三声场区域sf3的位置处生成。第四安静区域qz2,3被配置为衰减从第二声场区域sf2发出的声音。

图6D示出了关于生成声场区域sf3的细节。声场区域sf3在图6A所示的位置处生成。第五安静区域qz3,1在第一声场区域sf1的位置处生成。第五安静区域qz3,1被配置为衰减从第三声场区域sf3发出的声音。第六安静区域qz3,2在第二声场区域sf2的位置处生成。第六安静区域qz3,2被配置为衰减从第三声场区域sf3发出的声音。声场区域之间的安静区域的布置提供了声场302的声场区域之间的声学对比。

图7是按照各种实施例的由听觉显示器实现的方法的流程图。图7中所示的方法包括：通过可佩戴式听力设备布置来生成702虚拟音频显示器，该虚拟音频显示器具有包括静止声场区域和静止安静声音(诸如图6D中所示的那些)的声场。图7的方法包括：使用头部相关传递函数(HRTF)集合来合成704从声场区域发出的双耳声音。该方法包括：经由听力设备布置的传感器来感测706来自佩戴者的输入。该方法还包括：响应于从传感器接收的导航输入，来促进708佩戴者在音频显示器的声场内的移动。该方法还包括：响应于佩戴者在声场内的移动，来调整710声场区域和安静区域之间的声学对比。该方法还包括：响应于从传感器接收的选择输入，来选择712声场区域中的一个声场区域以供向佩戴者回放或对功能进行致动。该方法还包括：使用HRTF集合对从所选择的声场区域发出的声音进行双耳化714。

图8图示了按照各种实施例的用于生成具有安静区域的虚拟听觉显示器的声场的渲染设置。按照本公开实现的声场合成技术旨在使用在该区域的边界处的致动器803来控制有界区域802内的声场。有助于合成声场的阵列的元件被称为次级源803，例如，虚拟扬声器。尽管所示为部分地包围渲染区域802，但是应当理解，次级源803通常分布在整个渲染区域802周围。主要源是合成的目标，例如，发射语音信号或音乐音频流的点源。

由次级源803的分布(诸如2维情况下的圆形阵列或3维情况下的球形扬声器阵列)所界定的某个2维区域或3维区域中的合成空间多样声场可以通过有限脉冲响应(FIR)滤波器来描述，这些FIR滤波器通过卷积操作与主要源的信号一起确定每个扬声器信号的输出信号。这些FIR滤波器被称为驱动函数，并且通过由描述在次级源803与期望点之间的渲染区域802中的声音传播的格林函数对特定点分布处的期望声场进行去卷积来以分析或数字方式获得。在图8中，由次级源803的分布所界定的区域802被称为渲染区域。渲染区域802可以包含由封闭边界界定的几个区域。每个区域可以是几个主要源的声场或安静区域的叠加。

合成声场可以包含虚拟刚性边界。在渲染区域802内的虚拟刚性边界条件下合成声场允许创建安静区域804。实际上，为了在渲染区域802内合成具有安静区域804的声场，沿着期望安静区域804的边界对压力(P)和速度(V)进行控制。速度通过以下等式以数学方式描述：

V(x,ω)＝-1/jωρgrad P(x,ω),

其中j表示复数单位(complex unity)，ρ表示传播介质的密度，并且ω表示径向频率。

为了控制位于渲染区域802内的某个预先定义的边界处的速度，可以通过将该边界视为两层的边界806和808来做出近似。如图8所描绘的，该近似允许将速度的法向分量计算为两层806和808之间的压力的加权有限差分。

虚拟刚性边界应当满足约束法向速度为零的诺伊曼边界条件。为了最佳地控制非安静(明亮)区域(例如，声场区域)中的声场，可以应用诸如本地声场合成之类的技术。优选地，满足狄利克雷边界条件的软散射体沿着期望区域而被虚拟地模拟。

如先前参考图6A至图6D所讨论的，可以通过创建与安静区域一起的一个局部明亮区域来迭代地完成创建包含非干扰区域(例如，声场区域)的声场，这些安静区域与期望的其他非干扰明亮区域的位置一致。通过利用叠加原理，在第二迭代中，优化目标是与覆盖其他区域的安静区域一起创建与已经创建的安静区域中的一个安静区域一致的另一明亮区域。这对于每个期望的区域而言被重复。

应当指出，使用二维阵列合成安静区域限于合成不相交的明亮区域和安静区域、或合成完全包括在明亮区域中的安静区域。如图9和图10所示，可以在三维渲染设置中实现更大的灵活性。图9示出了合成声场，而图10示出了图9的合成声场的以dB为单位的水平分布。在图9和图10中，在感兴趣平面处，明亮区域904(叶形声场区域)被包括在安静区域902中。这可以通过模拟三维虚拟刚性散射体来实现，该三维虚拟刚性散射体具有在x-y平面中期望安静区域902的形状、以及在高度上(在z轴上的延伸)直至小于阵列尺寸的长度的极限。

为了使根据各种实施例的合成的多样声场听觉化，使用在消声室中测量的HRTF集合。如图11所示，通过将扬声器1106放置在距假人头部1103预先定义的距离处并且旋转假人头部1103、或者通过沿着圆形1104旋转扬声器1106来获得传统HRTF测量，该圆形1104的原点与假人头部1103的中心一致。对于三维测量，两个轴通常用来获得扬声器的虚拟球体。这个圆形(球体)被称为测量圆形(球体)。可替代地，HRTF可以从个人收听者记录、或从收听者的耳朵的图像计算。

为了解释的目的，参照图11对二维设置进行描述。测量圆形1104可以被认为是用于声场合成的次级源(例如，虚拟扬声器)的分布。为了允许听力设备佩戴者从不同视角来扫描合成声场，这些不同视角不仅由于头部旋转而且由于还由于空间中的平移而不同，根据各种实施例需要HRTF的几个测量，其不仅使得假人头部在测量圆形的中心、而且还扫描该空间。这可以通过单个HRTF测量来完成，其中假人头部1103位于测量圆形1104的中心。

通过利用声场合成与HRTF无关的事实来实现在HRTF测量期间从假人头部1103的视角放松(松开)佩戴者朝向声景的视角。例如，假设可以使用环绕声场的360个虚拟扬声器的阵列来合成虚拟声场。索引的HRTF集合(例如，360×2滤波器的集合{(h1，L，h1，R)，...，(hP，L，hP，R)})可以描述从由{1，...，P}索引的圆形上的每个扬声器到由{L，R}索引的假人头部1103的耳朵中的两个麦克风的声音传播，分辨率为1度。具有360个虚拟扬声器的阵列提供了在空间中的任何位置处合成虚拟点源的声音，其可以再次使用单输入/多输出(SIMO)FIR滤波器集合实现。这些滤波器可以使用声场合成技术(诸如波场合成、或(近场补偿的)高阶高保真度立体声响复制)来获得。使SIMO滤波器与原始HRTF数据集卷积作为360×2多输入/多输出(MIMO)FIR会产生描述新HRTF集合的1×2SIMO滤波器，该新HRTF集合描述从新虚拟声源到假人头部1103的耳朵的传播。

如此，音景合成可以被称为HRTF相关的。而且，佩戴者移动等同于其原点是初始点处的佩戴者的惯性系统的平移。图12图示了该平移的示例。图12图示了获得把佩戴者相对于虚拟扬声器阵列1204的相对移动(从位置1202到1202')考虑在内的HRTF集合的策略。佩戴者移动等同于阵列1204沿相反方向(从位置1206到1206')的移动。阵列1204的新位置(1206')用于将虚拟扬声器合成为点源。

促进佩戴者在合成声场内的移动(松开视角)包括：确定旧扬声器位置1206与新佩戴者位置(例如，1202')之间的HRTF。为此，旧扬声器位置1206被合成为平移后的惯性系统单输入/多输出FIR滤波器中的点源，其可以被表达为尺寸RLx1的矢量Dp，其中R是HRTF数据集分辨率，并且L是合成运算符所需的滤波器长度。用于每个耳朵的新HRTF集合作为用于扬声器P的每个滤波器Dp与原始HRTF的卷积来获得。类似地，佩戴者的头部旋转等同于阵列1204在相反方向上的旋转。因此，为了获得旋转头部的效果，HRTF滤波器的指标在与头部旋转相反的方向上循环移位。

图13和图14是示出了按照各种实施例的可以被配置为实现听觉显示器的听力设备的各种部件的框图。出于说明的目的，图13的框图表示通用听力设备。图13中所示的电路可以被实现以包含图14中所示的电路。应当理解，听力设备可以排除图13中所示的部件中的一些部件和/或包括附加部件。

图13中所示的听力设备1302包括电连接到母柔性电路1303的几个部件。电池1305电连接到母柔性电路1303，并且向听力设备1302的各种部件提供电力。一个或多个麦克风1306电连接到母柔性电路1303，其提供麦克风1306与DSP 1304之间的电通信。在其他部件中，DSP 1304包含或耦合到音频信号处理电路，其被配置为实现本公开的听觉显示器。在一些实施例中，DSP 1304可以包含图14中所示的电路。在其他实施例中，DSP 1304耦合到包含图14中所示的电路的处理器或其他电路。一个或多个用户开关1308(例如，开/关、音量、麦克方向设置)经由柔性母电路1303而被电耦合到DSP 1304。在一些实施例中，可以排除一些或全部用户开关1308，并且它们的功能由与听力设备1302的听觉显示器交互的佩戴者来替换。

音频输出设备1310经由柔性母电路1303而被电连接到DSP 1304。在一些实施例中，音频输出设备1310包括扬声器(耦合到放大器)。在其他实施例中，音频输出设备1310包括耦合到适于定位在佩戴者的耳朵内的外部接收器1312的放大器。听力设备1302可以包含通信设备1307，其经由柔性母电路1303而被直接或间接地耦合到柔性母电路1303并且耦合到天线1309。通信设备1307可以是

收发器，诸如BLE(

低能量)收发器或其他收发器(例如，IEEE 802.11兼容设备)。通信设备1307可以被配置为接收多个音频流，其可以用作按照各种实施例合成的声场的主要源。

图14示出了按照各种实施例的听力设备的各种部件，其合作以提供用户交互式听觉显示器。如先前所讨论的，图14中所示的部件可以集成到DSP 1304或者耦合到DSP 1304。在图14中所示的示例中，描绘了听觉显示器1402，其包括声场1404，该声场1404包括两个独立的声场区域1403，sf1和sf2。尽管在图14中未明确示出，但是声场1404包括在两个声场区域1403之间提供声学对比的若干个安静区域。还示出了声场1404内的听力设备佩戴者1406的视角(位置)。使用虚拟扬声器1408的阵列来合成声场1404。

听觉显示器电路包括合成FIR滤波器1410的集合和双耳化FIR滤波器1420的集合。合成FIR滤波器1410包括用于N个独立声场区域1403的第一滤波器集合1412。合成FIR滤波器1410包括用于P个虚拟扬声器1408的第二滤波器集合1414。双耳化FIR滤波器1420包括用于P个虚拟扬声器1408的左(L)滤波器集合1422和右(R)滤波器集合1424。为了简单起见，图14所示的合成FIR滤波器1410和双耳FIR滤波器1420的数目是基于到P个虚拟扬声器1408中的两个虚拟扬声器和N个声场区域1403中的两个声场区域的连接。示出了合成FIR滤波器1410的两个输入(z1和zN)，每个输入接收不同的主要电子/数字源输入(例如，声音、音频流、话音提示)。输入z1与声场区域sf1相对应，而输入zN与该说明性示例中的声场区域sf2相对应。该电路还包括HRTF计算电路1430和HRTF数据集1432的存储器。佩戴者被示出佩戴包括左扬声器(L)和右扬声器(R)的听力设备布置1440。尽管听力设备布置1440被图示为头戴式耳机，但是应当理解，听力设备布置1440表示任何种类的可听设备(例如，左听力仪器或可听设备、以及右听力仪器或可听设备)。

目标声场1404具有由大小为N个输入和P个输出的MIMO系统描述的N个独立声场区域1403。在声场区域1403中的每个声场区域中，被表示为单音频通道的特定音频材料可以独立于其他声场区域1403进行播放。描述听觉显示器1402的声场1404通过用获得P个虚拟扬声器通道的大小为N×P的MIMO滤波器滤波N个单通道来合成。P也是经由HRTF计算电路1430在HRTF测量期间使用的虚拟扬声器的数目。因此，HRTF数据集1432由具有P个输入和2个输出的MIMO系统来描述。

根据佩戴者在空间中的位置(其可以使用定位算法(例如，听力设备中的麦克风的基于音频的定位)推断)，根据上文所描述的方法来计算新HRTF数据集。附加地，根据可以由专用传感器(例如，集成在听力设备中的加速度计和陀螺仪)获得的佩戴者的头部方位，合成HRTF的索引被相应地循环移位，并且P个原始虚拟扬声器通道用提供两个信号的新计算出的HRTF进行滤波，这两个信号经由听力设备布置1440最终被表示为佩戴者的左耳信号和右耳信号。

该文件公开了许多实施例，包括但不限于以下内容：

项目1是一种由适于佩戴者佩戴的听力设备布置来实现的方法，该方法包括：

通过听力设备布置来生成虚拟听觉显示器，该虚拟听觉显示器包括声场、多个相异的声场区域、以及多个安静区域，该多个安静区域在声场区域之间提供声学对比，声场区域和安静区域在声场内在位置上保持静止；

经由听力设备布置处的一个或多个传感器来感测来自佩戴者的输入；

响应于从一个或多个传感器接收的导航输入，来促进佩戴者在声场内的移动；以及

响应于从一个或多个传感器接收的选择输入，来选择声场区域中的一个声场区域用以向佩戴者回放或者由听力设备布置对功能进行致动。

项目2是根据项目1所述的方法，其中生成包括：

生成N个相异的声场区域；以及

生成至少N-1个安静区域。

项目3是根据项目1所述的方法，其中促进佩戴者移动包括：促进佩戴者在声场内的虚拟移动或实际移动。

项目4是根据项目1所述的方法，其中生成虚拟听觉显示器包括：同时或顺序地回放来自声场区域中的每个声场区域的声音。

项目5是根据项目1所述的方法，包括：响应于佩戴者在声场内的移动，来调整从声场区域发出的声音的佩戴者感知幅度和方向性。

项目6是根据项目1所述的方法，包括：使用头部相关传递函数(HRTF)集合对从声场区域发出的声音进行双耳化。

项目7是根据项目6所述的方法，包括：

使用虚拟扬声器来合成声场；

其中HRTF集合基于合成虚拟扬声器而被计算。

项目8是根据项目1所述的方法，其中一个或多个传感器被配置为：感测佩戴者的头部和身体之一或二者的移动。

项目9是根据项目1所述的方法，其中一个或多个传感器包括眼电图(EOG)传感器以及脑电图(EEG)传感器之一或二者。

项目10是根据项目1所述的方法，其中声场区域中的至少一些声场区域与单独的音频流相关联。

项目11是根据项目1所述的方法，包括：从一个或多个源无线地接收多个音频流。

项目12是根据项目1所述的方法，还包括：响应于从一个或多个传感器接收的话音命令或输入，来选择性地激活和去激活虚拟听觉显示器。

项目13是一种装置，包括：

一对听力设备，其被配置为由佩戴者佩戴，每个听力设备包括：

处理器，其被配置为生成虚拟听觉显示器，该虚拟听觉显示器包括声场、多个完全相异的声场区域、以及多个安静区域，该多个安静区域在声场区域之间提供声学对比，声场区域和安静区域在声场内在位置上保持静止；

一个或多个传感器，其被配置为感测来自佩戴者的多个输入，该处理器被配置为响应于从一个或多个传感器接收的导航输入，来促进佩戴者在声场内的移动；以及

扬声器；

其中该处理器被配置为响应于从一个或多个传感器接收的选择输入，来选择声场区域中的一个声场区域用以经由扬声器回放或致动听力设备功能。

项目14是根据项目13所述的装置，其中处理器被配置为：生成N个相异的声场区域和至少N-1个安静区域。

项目15是根据项目13所述的装置，其中处理器被配置为响应于从一个或多个传感器接收的导航输入，来促进佩戴者在声场内的虚拟移动或实际移动。

项目16是根据项目13所述的装置，其中：

处理器可操作在导航模式和选择模式下；

处理器被配置为：在导航模式下，经由扬声器同时或顺序地回放来自声场区域中的每个声场区域的声音；以及

处理器被配置为：在选择模式下，经由扬声器回放来自选定声场区域的声音或致动听力设备功能。

项目17是根据项目13所述的装置，其中处理器被配置为响应佩戴者在声场内的移动，来调整从声场区域发出的声音的佩戴者感知幅度和方向性。

项目18是根据项目13所述的装置，其中处理器被配置为：使用头部相关传递函数(HRTF)集合对从声场区域发出的声音进行双耳化。

项目19是根据项目13所述的装置，其中：

声场使用虚拟扬声器而被合成；以及

HRTF集合基于合成虚拟扬声器而被计算。

项目20是根据项目13所述的装置，其中处理器被配置为响应于佩戴者在声场内的移动，来修改用于调整声场区域和安静区域之间的声学对比的滤波器集合。

项目21是根据项目13所述的装置，其中一个或多个传感器被配置为：感测佩戴者的头部和身体之一或二者的移动。

项目22为根据项目13所述的装置，其中一个或多个传感器包括眼电图(EOG)传感器以及脑电图(EEG)传感器之一或二者。

项目23是根据项目13所述的装置，其中声场区域中的至少一些声场区域与由听力设备的无线收发器所接收的单独的音频流相关联。

项目24是根据项目13所述的装置，其中虚拟听觉显示器被配置用于：响应于由听力设备的麦克风接收的话音命令、或由处理器从一个或多个传感器接收的输入，来选择性地激活和去激活。

尽管已经用特定于结构特征和/或方法动作的语言对主题进行了描述，但是应当理解，所附权利要求中限定的主题不一定限于上文所描述的特定特征或动作。相反，上文所描述的具体特征和动作被公开为实现权利要求的代表性形式。

Claims (24)

1.一种由适于佩戴者佩戴的听力设备布置来实施的方法，所述方法包括：

通过所述听力设备布置来生成虚拟听觉用户界面，所述虚拟听觉用户界面包括声场、多个相异的声场区域以及多个安静区域，所述多个安静区域在所述声场区域之间提供声学对比，所述声场区域和所述安静区域在所述声场内在位置上保持静止，其中所述多个安静区域中的每一个安静区域在创建了多个声场区域之一的位置处被生成，并且被配置为衰减从所述多个声场区域中的另一个声场区域发出的声音；

经由所述听力设备布置处的一个或多个传感器感测来自所述佩戴者的输入；

响应于从所述一个或多个传感器接收的导航输入，来促进所述佩戴者在所述声场内的移动；以及

响应于从所述一个或多个传感器接收的选择输入，来选择所述声场区域中的一个声场区域，用以向所述佩戴者回放或者由所述听力设备布置对功能进行致动。

2.根据权利要求1所述的方法，其中生成包括：

生成N个相异的声场区域；以及

生成至少N-1个安静区域。

3.根据权利要求1所述的方法，其中促进佩戴者移动包括：促进所述佩戴者在所述声场内的虚拟移动或实际移动。

4.根据权利要求1所述的方法，其中生成所述虚拟听觉用户界面包括：同时或顺序地回放来自所述声场区域中的每个声场区域的声音。

5.根据权利要求1所述的方法，包括：响应于所述佩戴者在所述声场内的移动，来调整从所述声场区域发出的声音的佩戴者感知幅度和方向性。

6.根据权利要求1所述的方法，包括：使用头部相关传递函数(HRTF)集合对从所述声场区域发出的声音进行双耳化。

7.根据权利要求6所述的方法，包括：

使用虚拟扬声器来合成所述声场；

其中所述HRTF集合基于合成所述虚拟扬声器而被计算。

8.根据权利要求1所述的方法，其中所述一个或多个传感器被配置为：感测所述佩戴者的头部和身体之一或二者的移动。

9.根据权利要求1所述的方法，其中所述一个或多个传感器包括眼电图(EOG)传感器以及脑电图(EEG)传感器之一或二者。

10.根据权利要求1所述的方法，其中所述声场区域中的至少一些声场区域与单独的音频流相关联。

11.根据权利要求1所述的方法，包括：从一个或多个源无线地接收多个音频流。

12.根据权利要求1所述的方法，还包括：响应于从所述一个或多个传感器接收的话音命令或输入，来选择性地激活和去激活所述虚拟听觉用户界面。

13.一种装置，包括：

一对听力设备，其被配置为由佩戴者佩戴，每个听力设备包括：

处理器，其被配置为生成虚拟听觉用户界面，所述虚拟听觉用户界面包括声场、多个相异的声场区域以及多个安静区域，所述多个安静区域在所述声场区域之间提供声学对比，所述声场区域和所述安静区域在所述声场内在位置上保持静止，其中所述多个安静区域中的每一个安静区域在创建了多个声场区域之一的位置处被生成，并且被配置为衰减从所述多个声场区域中的另一个声场区域发出的声音；

一个或多个传感器，其被配置为感测来自所述佩戴者的多个输入，所述处理器被配置为响应于从所述一个或多个传感器接收的导航输入，来促进所述佩戴者在所述声场内的移动；以及

扬声器；

其中所述处理器被配置为响应于从所述一个或多个传感器接收的选择输入，来选择所述声场区域中的一个声场区域，用以经由所述扬声器回放或对听力设备功能进行致动。

14.根据权利要求13所述的装置，其中所述处理器被配置为：生成N个相异的声场区域以及至少N-1个安静区域。

15.根据权利要求13所述的装置，其中所述处理器被配置为：响应于从所述一个或多个传感器接收的所述导航输入，来促进所述佩戴者在所述声场内的虚拟移动或实际移动。

16.根据权利要求13所述的装置，其中：

所述处理器可操作在导航模式和选择模式下；

所述处理器被配置为：在所述导航模式下，经由所述扬声器同时或顺序地回放来自所述声场区域中的每个声场区域的声音；以及

所述处理器被配置为：在所述选择模式下，经由所述扬声器回放来自所选择的声场区域的声音、或对听力设备功能进行致动。

17.根据权利要求13所述的装置，其中所述处理器被配置为：响应于所述佩戴者在所述声场内的移动，来调整从所述声场区域发出的声音的佩戴者感知幅度和方向性。

18.根据权利要求13所述的装置，其中所述处理器被配置为：使用头部相关传递函数(HRTF)集合对从所述声场区域发出的声音进行双耳化。

19.根据权利要求13所述的装置，其中：

所述声场使用虚拟扬声器而被合成；以及

所述HRTF集合基于合成所述虚拟扬声器而被计算。

20.根据权利要求13所述的装置，其中所述处理器被配置为：响应于所述佩戴者在所述声场内的移动，来修改用于调整所述声场区域与所述安静区域之间的所述声学对比的滤波器集合。

21.根据权利要求13所述的装置，其中所述一个或多个传感器被配置为感测所述佩戴者的头部和身体之一或二者的移动。

22.根据权利要求13所述的装置，其中所述一个或多个传感器包括眼电图(EOG)传感器以及脑电图(EEG)传感器之一或二者。

23.根据权利要求13所述的装置，其中所述声场区域中的至少一些声场区域与由所述听力设备的无线收发器接收的单独的音频流相关联。

24.根据权利要求13所述的装置，其中所述虚拟听觉用户界面被配置用于：响应于由所述听力设备的麦克风接收的话音命令、或由所述处理器从所述一个或多个传感器接收的输入，来选择性地激活和去激活。

Images