CN117135554A - 用于平衡定向到用户的每只耳朵的音频的方法和系统 - Google Patents

Abstract

用于向用户提供音频的方法和系统包括检索所述用户的听觉属性并分析所述听觉属性以检测所述用户的两只耳朵之间的任何听觉不平衡。根据在所述用户的两只耳朵之间检测到的听觉不平衡，对由交互式应用程序生成的音频进行动态校准以生成经校准音频。将所述交互式应用程序的所述音频转发到耳机的朝向所述用户的第一耳朵定向的第一侧，并且将所述经校准音频转发到所述耳机的朝向第二耳朵定向的第二侧。通过所述耳机的不同侧提供的不同音频补偿在所述用户中检测到的所述听觉不平衡。

Description

用于平衡定向到用户的每只耳朵的音频的方法和系统

技术领域

本公开涉及向用户提供由交互式应用程序生成的音频，并且更具体地涉及根据与用户的每只耳朵相关联的听觉属性向用户的每只耳朵提供音频。

背景技术

随着视频游戏(即，交互式应用程序)的日益普及以及用户在不同装置上可获得的视频游戏的数量的日益增长，及时地向用户提供适当的反馈变得尤其重要。视频游戏接收来自用户的游戏输入，更新游戏状态，并且向用户提供包括当前状态的游戏内容。游戏内容包括游戏场景和游戏音频。游戏音频可通过与游戏输入装置相关联的耳机或麦克风提供给用户。当用户完全沉浸在视频游戏中时，用户可能不太注意或可能不知道用户附近的真实世界环境条件。用户可使用控制器或其他输入装置与视频游戏交互。通常，用户可能在他们的两只耳朵之间遭受听觉不平衡，并且可能不能完全听到或区分提供给每只耳朵的音频。

另外，用户可使用头戴式显示器(HMD)与视频游戏交互。HMD用于提供游戏输入，在HMD的显示屏上渲染视频游戏的游戏场景，以及向用户提供与游戏玩法相关的音频。HMD可被配置为压低或完全阻挡来自真实世界环境的声音，以允许用户具有完全沉浸式的游戏体验。当听力不平衡的用户使用HMD与视频游戏交互并接收游戏内容时，用户不仅可在每只耳朵中正确地听到游戏音频，而且还可听到现实世界环境中由正在朝向用户移动的人或动物或对象生成的声音(例如，打开门，或他们的步伐，或人/动物说话/吠叫/奔跑)。由于耳朵之间的不平衡和/或由于HMD对声音的压低，用户可能无法完全感知他们自己在真实世界环境中的安全。另外，这可导致用户的注意力分散，从而可影响用户的游戏游玩。

正是在此背景下提出了本公开的实施方案。

发明内容

本公开的实现方式涉及用于向用户提供交互式应用程序的音频的系统和方法。用户的每只耳朵的听觉属性被确定并用于确定用户的两只耳朵之间是否存在任何不平衡。当检测到两只耳朵之间的不平衡时，对提供给用户的音频进行校准以考虑两只耳朵之间的感知到的不平衡，并且将适当的音频(即，未调整的音频或经调整音频)转发到用户的每只耳朵。转发到每只耳朵的音频是根据针对每只耳朵确定的听觉属性进行的。用户通常使用耳机来收听音频，并且适当的音频被定向朝向耳机的每一侧以允许用户清楚地听到音频。

在一些情况下，可进行听觉测试(例如，听力测定测试)以确定用户的每只耳朵的听觉属性。根据听觉测试确定的听觉属性可存储在用户的用户配置文件中，并且在向用户提供来自交互式应用程序的音频时使用。在一些其他情况下，用户可自己提供每只耳朵的听觉属性作为由用户为交互式应用程序定义的自定义设置的一部分。在其他情况下，由用户提供的听觉属性可用于验证根据听觉测试确定的用户的每只耳朵的听觉属性，并且验证的结果可用于调整提供给用户的音频。

因此，各种实现方式用于确定用户的每只耳朵的听力能力，检测用户的两只耳朵之间的听力能力的任何不平衡，以及在检测到听力不平衡时，校准朝向用户的每只耳朵定向的音频。对音频的校准可包括调制音量、音高等，和/或过滤一些会打扰或刺激用户的内容。向用户的每只耳朵提供可变音频使得用户能够准确地听到音频，从而增强他们的视频游戏体验。听力有困难的人可具有定向到一只耳朵的减小音量或较低音高的音频以及定向到另一只耳朵的增大音量或较高音高。

在一个实现方式中，公开一种用于向用户提供音频的方法。所述方法包括响应于检测到用户对交互式应用程序以进行交互的选择而检索用户的听觉属性。交互式应用程序生成连同交互式内容一起渲染给用户的音频。分析听觉属性以检测用户的两只耳朵之间的听觉不平衡。根据在两只耳朵之间检测到的听觉不平衡，对由交互式应用程序提供的音频进行动态校准以生成经校准音频。将音频转发到耳机的朝向用户的第一耳朵定向的第一侧，并且将经校准音频转发到耳机的朝向用户的第二耳朵定向的第二侧。定向到第二耳朵的经校准音频补偿在用户的两只耳朵之间检测到的听觉平衡，以使得用户能够准确地听到由交互式应用程序提供的音频。

在替代实现方式中，公开一种用于向用户提供音频的方法。所述方法包括检测用户对交互式应用程序的选择以进行交互。交互式应用程序生成用于提供给用户的音频。响应于对交互式应用程序的选择，动态地进行听觉测试以确定用户的每只耳朵的听觉属性。针对用户的每只耳朵确定的用户的听觉属性存储在用户的用户配置文件中。分析每只耳朵的听觉属性以检测用户的两只耳朵之间的听觉不平衡。基于在用户的两只耳朵之间检测到的听觉不平衡，对交互式应用程序的音频进行动态校准以生成经校准音频。将由交互式应用程序生成的音频转发到耳机的朝向第一耳朵定向的第一侧，并且将经校准音频转发到耳机的朝向用户的第二耳朵定向的第二侧。经校准音频补偿在用户的两只耳朵之间检测到的听觉不平衡，以使得用户能够准确地听到由交互式应用程序提供的音频。

根据结合附图进行的以示例方式说明本公开的原理的以下详细描述，将明白本公开的其他方面和优点。

附图说明

通过参考结合附图进行的以下描述，可最好地理解本公开。

图1提供根据本公开的一个实现方式的用于向用户提供由交互式应用程序生成的音频的系统的简化框图。

图2A示出根据本公开的一个实现方式的用于提供由交互式应用程序生成的音频所遵循的数据流程图。

图2B示出根据本公开的一个替代实现方式的用于提供由交互式应用程序生成的音频所遵循的数据流程图。

图3示出根据本公开的一个实现方式的用于验证在控制器处提供的用于交互式应用程序的输入的方法的简化操作流程。

图4示出可用于执行本公开的各种实现方式的各方面的示例性计算装置的部件。

具体实施方式

在以下描述中，阐述许多具体细节，以便提供对本公开的透彻理解。然而，本领域技术人员将明白，可在没有这些具体细节中的一些或全部的情况下实践本公开。在其他情况下，没有详细描述众所周知的过程步骤，以免使本公开不清楚。

随着交互式应用程序(例如，视频游戏)的数量的日益增长，及时地向用户提供适当的游戏内容对于允许用户具有视频游戏的丰富的游戏游玩体验很重要。游戏内容包括视频游戏的游戏场景和与所述游戏场景相关联的游戏音频。游戏场景在客户端装置(诸如头戴式显示器(HMD)、电视监视器、显示屏或与计算装置相关联的显示表面)的显示屏上渲染。游戏音频通过嵌入在用户所佩戴的耳机内的扬声器来提供，其中耳机是用于与视频游戏交互的客户端装置(例如，HMD或控制器或计算装置)的一部分。来自用户所存在的真实世界环境的声音由嵌入在计算装置、HMD和/或控制器内的麦克风捕获，并被提供给交互式应用程序或用户或系统以向用户提供附加警告。

用户可具有识别用户的每只耳朵的听力能力的不同听觉属性。在一些情况下，用户左耳的听觉属性可明显不同于用户右耳的听觉属性。在此类情况下，用户的听力可能存在听觉不平衡(即，听力障碍)。如先前所指出，听觉属性和听觉不平衡可通过对用户进行听觉测试来确定。每当用户选择交互式应用程序(诸如视频游戏)以进行交互时，可进行听觉测试。替代地，可在交互式应用程序(例如，视频游戏)或用户用以与视频游戏交互的系统(例如，计算装置、控制器和/或HMD)的初始设置期间进行听觉测试。来自识别用户的每只耳朵的听觉属性的听觉测试的结果可存储在用户的用户配置文件中，并且在用户想要游玩视频游戏时使用。通过确定用户的两只耳朵之间的不平衡，可动态地调整由视频游戏生成的音频(例如，游戏音频)以补偿听觉不平衡，使得用户可准确地听到通过用户的每只耳朵提供的音频。

需要对任何音频进行以补偿在用户的两只耳朵之间检测到的任何听觉不平衡的调整量也可存储在用户的用户配置文件中。每只耳朵的听觉属性、两只耳朵之间的听觉不平衡以及需要对朝向特定耳朵定向的音频进行的调整量也可作为用户的系统设置存储在系统中。作为系统设置的一部分维持听觉属性和听觉不平衡使得能够跨系统中用户的所有交互式应用程序和使用环境应用用户的听觉设置。

在一些实现方式中，用户的每只耳朵的听觉属性可由用户提供作为输入设置。在一些实现方式中，系统可仅依赖于由用户提供的输入设置，而不执行任何听觉测试。在替代实现方式中，可对照听觉测试结果对来自由用户提供的输入设置的听觉属性进行验证。此附加验证步骤可用于确保由用户提供的听觉设置表示用户当前的听力能力。根据用户的当前听觉设置向用户提供交互式应用程序的音频。例如，在一些实现方式中，听觉属性用于调制通过耳机转发到用户的每只耳朵的声音。替代地，可识别和滤除会打扰或刺激用户的一只或两只耳朵的某些声音，并且可根据相应耳朵的听觉设置将剩余声音转发到用户的每只耳朵。代替滤除某些声音，可将某些声音滤入到提供给用户的音频中。例如，可将由人或宠物或对象正在从右侧朝向用户移动生成的声音过滤到提供给右耳的游戏音频中，以便向用户通知所述人、宠物或对象正在从右侧接近用户。在此示例中，提供给左耳的音频可以是未调整的音频。

在大体理解本公开的情况下，将参考各种附图来描述具体示例。

图1示出根据本公开的各种实现方式的示例性系统10的简化框图，所述示例性系统包括用于执行音频处理引擎110的服务器计算装置(或本文简称为“服务器”)100。服务器100可以是独立的服务器计算装置或者是服务器计算装置的网络的一部分，或者可以是云系统的一部分，或者可以是虚拟计算装置。服务器100通过诸如互联网的网络(未示出)耦接到多个客户端装置(未示出)。音频处理引擎110可存储在服务器的存储器中或者可供服务器使用并由服务器的处理器执行。音频处理引擎110包括用于确定用户的听觉属性以及根据所确定的听觉属性来处理提供给用户的任何音频的多个部件。用户的听觉属性可通过对用户进行听觉测试来确定。替代地，听觉属性可由用户提供作为用户的系统设置的一部分。当由用户提供听觉属性时，可对照由用户提供的听觉属性对根据听觉测试确定的听觉属性进行验证，以确认用户的当前听觉设置。

为此，音频处理引擎110中所包括的部件中的一些包括听觉属性测试引擎112、听觉属性检索引擎114、听觉不平衡计算引擎116、音频校准引擎118和音频流引擎120。上述部件仅作为示例提供，并且不应被视为详尽的或限制性的。音频处理引擎110可包括更少部件或附加部件，以确定用户的听觉属性和处理呈现给用户的音频。

音频处理引擎110接合听觉属性测试引擎112以对用户的每只耳朵进行听觉测试。听觉属性测试引擎112可采用任何标准或定制的测试装置、过程或机制来确定用户的每只耳朵的听觉属性。在一些实现方式中，每当用户访问服务器100以选择交互式应用程序(诸如视频游戏)进行交互(即，游玩游戏)时，执行听觉测试。在替代实现方式中，听觉测试可在视频游戏或系统的初始设置期间执行一次，并且听觉测试的结果存储在用户的用户配置文件112a中以供后续检索和使用。因此，用户配置文件112a可用于单独存储用户的左耳和右耳的听觉属性。

除了或代替执行听觉测试，听觉属性可由用户提供并作为自定义设置112b存储。在一些实现方式中，由用户提供的自定义设置112b可存储在用户的用户配置文件112a中或单独的系统设置数据库(未示出)中，并被检索以供续使用。用户在自定义设置中提供的听觉属性可跨多个应用程序或使用环境应用。除了听觉属性之外，由用户提供的自定义设置还可包括装置偏好(即，使用哪个装置来提供到视频游戏的输入，使用哪个装置来接收内容，使用哪个装置来渲染内容，使用哪个装置来与其他用户通信等)、视频偏好、内容偏好等。装置偏好可涵盖多于一个装置，其中用户所使用的每个装置都耦接到服务器100以允许使用所述装置来与视频游戏交互和/或接收游戏相关内容。听觉属性包括用户的右耳和左耳两者的属性。

听觉属性检索引擎114被接合来检索用户的听觉属性。在通过每当用户访问服务器100以与视频游戏交互时进行听觉测试来确定用户的听觉属性的情况下，用户的听觉属性通过实时执行听觉测试来动态地获得。动态确定的听觉属性作为输入被提供到听觉属性检索引擎114。在于先前交互式会话期间或于系统10或视频游戏(即，交互式应用程序)的初始设置期间进行听觉测试的情况下，听觉设置通过查询用户的用户配置文件来获得。听觉属性检索引擎114发起对用户的用户配置文件112a或用户的系统设置(未示出)的查询以获得存储在其中的用户的听觉属性。如所指出，用户的听觉属性包括左耳属性114a和右耳属性114b，并且用于确定用户的每只耳朵的听觉能力。用户的右耳的听力能力可与左耳的听力能力相同或不同。在用户的右耳的听力能力不同于左耳的情况下，用户可能正在经历听力障碍。类似地，用户的听力能力可与多个其他用户的听力能力相同或不同。在用户具有听力障碍的情况下，需要调整提供给用户的一只或两只耳朵的音频，以允许用户准确地听到音频。听觉障碍和/或听觉属性的细节被转发到听觉不平衡计算引擎116。

听觉不平衡计算引擎116被接合来分析从用户配置文件112a或自定义设置(112b)检索的或由听觉属性测试引擎112提供的用户的听觉属性，并且确定用户是否在他们的两只耳朵之间具有听觉不平衡。为了确定听觉不平衡，听觉不平衡计算引擎116将左耳的听觉属性对照右耳的对应听觉属性进行比较，并且当两者之间存在差异时，可声明用户具有听力不平衡(即，听力障碍)。另外，听觉不平衡计算引擎116可将每只耳朵(即，左耳和右耳)的听觉属性对照预定义听觉设置中所定义的对应听觉属性进行比较，以确定哪只耳朵表现出正常属性，并且哪只耳朵具有听力障碍。预定义听觉设置中所包括的听觉属性可定义正常听力的基本水平。如果在两只耳朵的属性之间以及在每只耳朵的属性与预定义听觉设置之间没有检测到差异，则系统10可声明用户没有听力障碍。替代地，在两只耳朵的听觉属性之间可能没有检测到任何差异。然而，在每只耳朵的听觉属性与预定义听觉设置中所包括的对应听觉属性之间可能存在差异。在这种情况下，可声明用户具有听力障碍。

音频校准引擎118被接合来校准提供给用户的音频。音频校准引擎118接收来自视频游戏的游戏音频(即，交互式应用程序的音频)和来自听觉不平衡计算引擎116的听觉不平衡计算的结果。当确定用户具有听力障碍(即，听觉不平衡)时，音频校准引擎118用于根据与用户的每只耳朵相关联的听觉属性调整提供给用户的游戏音频，以生成经校准游戏音频。必须对游戏音频进行的调整量可取决于针对用户检测到的听觉不平衡的程度。在一些实现方式中，基于针对用户检测到的听觉不平衡或听觉障碍，可为一只耳朵(即，左耳或右耳)或两只耳朵或每只耳朵生成经校准游戏音频。在视频游戏是流视频游戏并且游戏音频被实时流式传输的情况下，对游戏音频的调整也是实时进行的，以生成经校准游戏音频流。在一些实现方式中，经校准游戏音频通过调制游戏音频的音量118a、音高或其他属性来生成。在一些实现方式中，经校准游戏音频通过滤除游戏音频中所包括的可能打扰或刺激用户的一只耳朵或两只耳朵的某些音频部分或类型来进一步调整。对经校准游戏音频的调整通过选择性地应用一个或多个音频过滤器(118b)来进行。为用户的一只或两只耳朵生成所得经校准游戏音频是根据用户指定的听觉属性和/或自定义设置进行的。

尽管参考使用游戏音频和调整游戏音频讨论了各种实现方式，但所述实现方式可被扩展到包括在视频游戏之外生成的其他音频，诸如音乐、播客、视频等。例如，用于渲染/调整游戏音频的听觉设置可从在视频游戏之外进行的听觉测试或由用户为其他媒体提供的自定义设置导入。类似地，例如，根据使用游戏音频进行的听觉测试确定的游戏内听觉设置可导出到其他应用程序并且用于在视频游戏之外渲染音频。如所指出，听觉设置可保存在用户的用户配置文件中或由用户定义的系统设置中，并且用于呈现游戏内和游戏外的音频。用户的听觉设置可用于通过耦接到计算装置的或嵌入在用户所佩戴的头戴式显示器(HMD)内的耳机(例如，有线或无线)渲染音频。HMD可用于与内容(诸如音乐、媒体内容(电影、视频(流或预录制)、用户生成的内容等)、游戏内容、社交媒体内容、播客等)交互。

继续参考图1，为用户的一只或两只耳朵生成的游戏音频和经校准游戏音频被转发到音频流引擎120。音频流引擎120识别必须提供给每只耳朵的游戏音频或经校准游戏音频，并将相关游戏音频转发(例如，流式传输)到用户所佩戴的耳机的适当侧，使得用户可准确地听到流式传输到相应耳朵的游戏音频。例如，可确定用户的左耳受损(即，有听力困难)而用户的右耳正常(即，未受损)。在一些实现方式中，术语“正常”可意指用户的听力能力与预定义听觉设置中所定义的听力能力相当。基于此确定，音频流引擎120向用户的左耳120L提供经校准游戏音频并且向用户的右耳120R提供游戏音频。因此，经校准游戏音频被流式传输到用户所佩戴的耳机的左侧扬声器，并且游戏音频被转发到耳机的右侧扬声器。除了游戏音频之外，视频游戏还生成游戏场景的视频内容。视频内容被转发到显示屏或显示表面以供渲染。显示屏或显示表面通过查询用户配置文件或由用户定义的系统设置来识别。因此，显示屏可与客户端装置(例如，HMD的显示屏，或TV监视器，或计算装置的监视器，或移动计算装置的显示屏)相关联。

图2A和图2B示出在一些实现方式中系统10所遵循的用于提供由视频游戏或由用户选择以进行交互的其他交互式应用程序生成的音频内容的数据流程的示例。图2A示出在一个实现方式中在用户的两只耳朵之间没有检测到听觉不平衡并且用户具有正常听力的情况下的数据流程，并且图2B示出在用户的两只耳朵之间检测到听觉不平衡并且用户具有听力障碍时的数据流程。

如图2A所示，数据流程通过获得用户的听觉属性开始。听觉属性可通过针对用户进行听觉测试201a来获得。听觉测试(例如，听力测定测试)可使用任何已知或定制的装置、过程或机制来进行。听觉测试单独针对用户的每只耳朵进行。除了或代替进行听觉测试201a，可从用户配置文件或由用户提供的系统设置检索(201b)用户的听觉属性。当从用户配置文件检索听觉属性时，所检索的听觉属性用于验证从听觉测试获得的听觉属性，以定义用户的当前听觉设置。当前听觉设置识别左耳属性和右耳属性202。分析左耳和右耳属性以确定用户的听力能力。在图2A所示的实现方式中，确定左耳属性和右耳属性相等203。另外，基于用户的听觉属性对照预定义听觉设置中所包括的对应听觉属性的比较，声明用户具有正常听力，其中预定义听觉设置包括识别正常听觉以及各种水平的听力损伤的听觉设置。在一些实现方式中，预定义听觉设置可基于用户的年龄来定义。在替代实现方式中，预定义听觉设置与年龄无关。

分析左耳和右耳属性以确定在用户的两只耳朵之间是否检测到听觉不平衡，这可用于确定用户是否具有听力损伤。因此，分析左耳和右耳属性以确定用户的听力能力。在图2A所示的实现方式中，在操作204处到达决策点，其中将左耳属性对照对应右耳属性进行比较，并且将每只耳朵的属性对照预定义听觉设置中所指定的对应听觉属性进行比较，以确定用户的两只耳朵之间是否存在听觉不平衡以及用户是否正在经历听力损伤。过程前进到操作205，其中将来自交互式应用程序的音频(诸如来自视频游戏的游戏音频)流式传输到用户的两只耳朵。由于用户被示出为不具有任何听力损伤，因此将游戏音频转发到用户的每只耳朵(即，左耳和右耳)，而不调整任何属性。

图2B示出在一个实现方式中的替代数据流程图，其中用户被确定为具有听力损伤。数据流程在211a处开始，其中针对用户获得听觉属性。用户的每只耳朵的听觉属性可通过针对用户进行听觉测试来获得。在一些实现方式中，当在服务器100处没有听觉属性可供用于用户时，可进行听觉测试。替代地，每当用户访问服务器100以选择并游玩在服务器或通信地连接到服务器100的另一服务器处执行的视频游戏时，可进行听觉测试。在其他替代实现方式中，可从用户配置文件或系统设置检索用户的听觉属性(211b)。听觉属性可由用户提供作为自定义设置的一部分，所述自定义设置被保存为系统设置，使得这些系统设置可跨不同应用程序(即，视频游戏、其他交互式应用程序)或使用环境应用。响应于检测到用户选择视频游戏以进行交互，检索用户提供的听觉设置。在进行听觉测试并且还由用户提供听觉属性的情况下，由用户提供的听觉属性可用于进一步验证根据听觉测试确定的听觉属性，以便定义当前听觉设置。

听觉属性识别右耳和左耳属性(212)。然后，分析每只耳朵的属性以确定右耳属性是否与左耳属性相同(213)。基于分析，确定用户的右耳表现出正常属性并且将左耳示出为具有表明用户具有听力障碍(即，听觉不平衡)的属性。一旦确定用户的左耳和右耳听觉属性，则将左耳属性对照右耳属性进行比较以确定两只耳朵之间是否存在任何听觉不平衡(214)。另外，还将左耳和右耳属性对照预定义听觉设置中所包括的对应听觉属性进行比较。基于比较，可确定用户的两只耳朵之间存在听觉不平衡。响应于检测到用户的听觉不平衡，对定向到用户的音频进行校准以生成经校准音频(215)。例如，对响应于接收到来自用户的输入而生成的视频游戏的游戏音频进行校准以生成经校准游戏音频。通过调制音量、音高等，或者通过滤除游戏音频的不满足用户的听觉设置或者打扰或刺激用户的一只或多只耳朵的某个部分，来生成经校准游戏音频。在一些实现方式中，代替滤除某些声音，可通过滤入特殊声音来生成经校准游戏音频，其中经校准游戏音频中所包括的特殊声音基于视频游戏的上下文、用户在视频游戏中的用户交互期间的安全性、用户相对于用户附近的真实世界对象的位置来识别。经校准游戏音频输出补偿不平衡的声音。例如，如果一人正在从左侧接近用户，则对应于或表示正在接近用户的此人的声音被包括在游戏音频或经校准游戏音频中，使得与视频游戏交互的用户可知道此人正在接近用户。在一些实现方式中，根据此人正在接近用户的方向，可对正被提供给耳朵的、处于此人接近用户的方向上的游戏音频或经校准游戏音频进行特殊声音的滤入。

可针对用户的一只耳朵或两只耳朵或者单独地针对每只耳朵生成经校准游戏音频。基于每只耳朵的听觉属性并且基于在用户的两只耳朵之间检测到听觉不平衡，针对用户的一只耳朵、两只耳朵或每只耳朵生成经校准游戏音频。例如，当确定用户的每只耳朵或两只耳朵的听觉属性与预定义的听觉设置中所定义的对应属性不同时，可针对用户的两只耳朵或每只耳朵生成经校准游戏音频。替代地，当确定用户的一只耳朵具有听力损伤并且另一只耳朵不具有任何听力损伤时，可针对一只耳朵生成经校准游戏音频。在视频游戏是流视频游戏的实现方式中，游戏音频是实时流式传输的。在此实现方式中，经校准游戏音频是实时生成并流式传输的。当确定用户的左耳具有听力损伤并且右耳不具有听力损伤时，未调整的游戏音频216a被流式传输到耳机的向右耳提供音频的右侧，并且经校准游戏音频216b被流式传输到耳机的向用户的左耳提供音频的左侧。将游戏音频和经校准游戏音频流式传输到用户的不同耳朵补偿两只耳朵之间的听觉不平衡，以便允许用户准确地听到游戏音频，从而丰富用户的游戏游玩体验。

图3示出根据本公开的一个实现方式的用于向用户提供交互式应用程序(诸如视频游戏)的音频的方法的操作流程。方法在操作301处开始，其中响应于检测到用户对视频游戏的选择以进行游戏游玩，由系统获得与用户的每只耳朵相关联的听觉属性。视频游戏接收来自用户的游戏输入并提供游戏内容以供渲染给用户。游戏内容包括游戏视频和游戏音频。听觉属性由用户提供或根据针对用户进行的听觉测试来确定。分析用户的听觉属性以确定用户的两只耳朵之间是否存在任何听觉不平衡，如操作302所示。当在用户的两只耳朵之间检测到听觉不平衡时，对由视频游戏生成并且被提供给用户的游戏音频进行动态校准以生成经校准游戏音频，如操作303所示。用户佩戴耳机以收听由视频游戏生成的音频。将未调整的游戏音频转发到耳机的朝向用户的第一耳朵(例如，右耳)定向的第一侧，而将经校准游戏音频转发到耳机的朝向被示出为具有听力损伤的第二耳朵(例如右耳)定向的第二侧，如操作304所示。转发到具有听力损伤的耳朵的经校准游戏音频可具有减小或增大的音量或音高，以实现更准确的听力。

尽管本文所讨论的各种实现方式是参考对提供给用户的视频游戏的游戏音频进行校准来描述的，但所述实现方式可被扩展到覆盖对提供给(例如，流式传输)用户的由任何其他交互式应用程序生成的任何音频进行校准。因此，各种实现方式提供了检测用户的听力障碍和调整由交互式应用程序(例如，视频游戏)输出到用户用以收听所生成的音频的耳机的每一侧的声音(即，音频)的方法。所调整的音频补偿所检测到的用户的听力不平衡，使得用户可准确地收听音频。

图4示出可用于执行本公开的各种实施方案的各方面的示例性服务器装置400的部件。此框图示出服务器装置400，其可结合或者可以是个人计算机、视频游戏控制台、个人数字助理、头戴式显示器(HMD)、可穿戴计算装置、膝上型或台式计算装置、服务器或适合于实践本公开的实施方案的任何其他数字计算装置。服务器装置(或简称为“服务器”或“装置”)400包括用于运行软件应用程序和任选地操作系统的中央处理单元(CPU)402。CPU 402可由一个或多个同构或异构处理核心构成。例如，CPU 402是具有一个或多个处理核心的一个或多个通用微处理器。另外的实施方案可使用具有微处理器架构的一个或多个CPU来实现，所述微处理器架构特别适于高度并行且计算密集的应用程序，诸如处理解释查询、识别上下文相关资源以及立即在视频游戏中实施和渲染上下文相关资源的操作。装置400可以是游玩游戏片段的玩家本地的(例如，游戏控制台)，或者是远离玩家的(例如，后端服务器处理器)，或者是在游戏云系统中使用虚拟化来向客户端装置远程流式传输游戏玩法的许多服务器中的一者。

存储器404存储供CPU 402使用的应用程序和数据。存储装置406提供用于应用程序和数据的非易失性存储装置和其他计算机可读介质，并且可包括固定磁盘驱动器、可移动磁盘驱动器、快闪存储器装置以及CD-ROM、DVD-ROM、蓝光、HD-DVD或其他光学存储装置，以及信号传输和存储介质。用户输入装置408将来自一个或多个用户的用户输入传达到装置400，所述用户输入装置的示例可包括键盘、鼠标、操纵杆、触摸板、触摸屏、静物或视频录像机/相机、用于辨识手势的跟踪装置，和/或麦克风。网络接口414允许装置400通过电子通信网络与其他计算机系统通信，并且可包括通过局域网和广域网(诸如互联网)进行的有线或无线通信。音频处理器412适于根据由CPU 402、存储器404和/或存储装置406提供的指令和/或数据生成模拟或数字音频输出。装置400的部件(包括CPU 402、存储器404、数据存储装置406、用户输入装置408、网络接口414和音频处理器412)通过一根或多根数据总线422连接。

图形子系统420还与数据总线422和装置400的部件连接。图形子系统420包括图形处理单元(GPU)416和图形存储器418。图形存储器418包括用于存储输出图像的每个像素的像素数据的显示存储器(例如，帧缓冲器)。图形存储器418可与GPU 416集成在同一装置中，作为单独的装置与GPU 416连接，和/或实现在存储器404内。像素数据可直接从CPU 402提供到图形存储器418。替代地，CPU 402向GPU 416提供定义所需输出图像的数据和/或指令，GPU 416根据所述数据和/或指令生成一个或多个输出图像的像素数据。定义所需输出图像的数据和/或指令可存储在存储器404和/或图形存储器418中。在一个实施方案中，GPU 416包括3D渲染能力，所述3D渲染能力用于根据定义场景的几何图形、照明、着色、纹理、运动和/或相机参数的指令和数据生成输出图像的像素数据。GPU 416还可包括能够执行着色器程序的一个或多个可编程执行单元。

图形子系统420周期性地从图形存储器418输出图像的像素数据，以在显示装置410上显示。显示装置410可以是能够响应于来自装置400的信号而显示视觉信息的任何装置，包括CRT、LCD、等离子体和OLED显示器。除了显示装置410之外，像素数据还可投射到投影表面上。装置400可向显示装置410提供例如模拟或数字信号。

应当指出，在广泛的地理区域上递送的访问服务(诸如提供对当前实施方案的游戏的访问)通常使用云计算。云计算是一种计算风格，其中动态可扩展且通常虚拟化的资源作为服务通过互联网提供。用户不需要是支持他们的“云”中的技术基础设施方面的专家。云计算可划分成不同的服务，诸如基础设施即服务(IaaS)、平台即服务(PaaS)和软件即服务(SaaS)。云计算服务通常提供在线的从web浏览器访问的常用应用程序(诸如视频游戏)，而软件和数据则存储在云中的服务器上。基于计算机网络图中描绘互联网的方式，术语云被用作互联网的隐喻，并且是其隐藏的复杂基础设施的抽象。

在一些实施方案中，游戏服务器可用于执行视频游戏玩家的持续时间信息平台的操作。通过互联网游玩的大多数视频游戏都是通过到游戏服务器的连接操作的。通常，游戏使用专用服务器应用程序，所述专用服务器应用程序从玩家收集数据并将其分发给其他玩家。在其他实施方案中，视频游戏可由分布式游戏引擎执行。在这些实施方案中，分布式游戏引擎可在多个处理实体(PE)上执行，使得每个PE执行视频游戏在其上运行的给定游戏引擎的功能片段。游戏引擎将每个处理实体简单地视为计算节点。游戏引擎通常执行一系列功能多样的操作，以执行视频游戏应用程序以及用户体验的另外服务。例如，游戏引擎实施游戏逻辑，执行游戏计算、物理效果、几何变换、渲染、照明、着色、音频、以及附加的游戏内或游戏相关服务。附加服务可包括例如消息传送、社交实用程序、音频通信、游戏游玩/重玩功能、帮助功能等。虽然游戏引擎有时可在由特定服务器的管理程序虚拟化的操作系统上执行，但在其他实施方案中，游戏引擎本身分布在多个处理实体间，所述多个处理实体中的每一者可驻留在数据中心的不同服务器单元上。

根据此实施方案，根据每个游戏引擎片段的需要，用于执行操作的相应处理实体可以是服务器单元、虚拟机或容器。例如，如果游戏引擎片段负责相机变换，则可向此特定游戏引擎片段提供与图形处理单元(GPU)相关联的虚拟机，因为它将进行大量相对简单的数学运算(例如，矩阵变换)。可以向需要更少但更复杂的操作的其他游戏引擎片段提供与一个或多个更高功率的中央处理单元(CPU)相关联的处理实体。

通过分布游戏引擎，游戏引擎具备不受物理服务器单元的能力约束的弹性计算性质。替代地，在需要时，向游戏引擎提供更多或更少的计算节点，以满足视频游戏的需求。从视频游戏和视频游戏玩家的角度看，分布在多个计算节点上的游戏引擎与在单个处理实体上执行的非分布式游戏引擎没有区别，因为游戏引擎管理器或监督程序分发工作负荷并无缝地整合结果以便为最终用户提供视频游戏输出分量。

用户利用客户端装置访问远程服务，所述客户端装置至少包括CPU、显示器和I/O。客户端装置可以是PC、移动电话、上网本、PDA等。在一个实施方案中，在游戏服务器上执行的网络辨识客户端所使用的装置类型并调整所采用的通信方法。在其他情况下，客户端装置使用标准通信方法(诸如html)来通过互联网访问游戏服务器上的应用程序。

应当理解，可针对具体的平台和具体的相关联控制器装置开发给定视频游戏或游戏应用程序。然而，当这种游戏通过如本文所呈现的游戏云系统可用时，用户可能正在利用不同的控制器装置来访问视频游戏。例如，可能已经针对游戏控制台及其相关联控制器开发了游戏，而用户可能正在使用键盘和鼠标从个人计算机访问游戏的基于云的版本。在这种情形下，输入参数配置可定义从用户的可用控制器装置(在这种情况下为键盘和鼠标)可生成的输入到执行视频游戏可接受的输入的映射。

又如，用户可通过平板计算装置、触摸屏智能手机或其他触摸屏驱动装置来访问云游戏系统。在这种情况下，客户端装置和控制器装置一起集成在同一装置中，其中输入通过检测到的触摸屏输入/手势来提供。对于这种装置，输入参数配置可定义与视频游戏的游戏输入相对应的特定触摸屏输入。例如，可能在视频游戏的运行期间显示或叠加按钮、定向垫或其他类型的输入元件，以指示触摸屏上用户可触摸以生成游戏输入的位置。手势(诸如在特定方向上的轻扫或具体的触摸运动)也可作为游戏输入被检测到。在一个实施方案中，例如在开始视频游戏的游戏游玩之前，可向用户提供指示如何通过触摸屏提供输入以进行游戏游玩的教程，以便使用户适应在触摸屏上操作控件。

在一些实施方案中，客户端装置用作控制器装置的连接点。也就是说，控制器装置通过无线或有线连接与客户端装置通信以从控制器装置向客户端装置传输输入。继而，客户端装置可处理这些输入，然后通过网络将输入数据传输到云游戏服务器(例如，通过本地联网装置(诸如路由器)访问)。然而，在其他实施方案中，控制器本身可以是联网装置，具有直接通过网络将输入传达到云游戏服务器的能力，而无需首先通过客户端装置传达此类输入。例如，控制器可连接到本地联网装置(诸如上述路由器)以向云游戏服务器发送数据和从云游戏服务器接收数据。因此，虽然可能仍然需要客户端装置接收来自基于云的视频游戏的视频输出并将其渲染在本地显示器上，但通过允许控制器直接通过网络将输入发送到云游戏服务器从而绕过客户端装置，可减少输入等待时间。

在一个实施方案中，联网控制器和客户端装置可被配置为将某些类型的输入直接从控制器发送到云游戏服务器，并且通过客户端装置发送其他类型的输入。例如，检测不取决于控制器本身以外的任何附加硬件或处理的输入可通过网络直接从控制器发送到云游戏服务器，从而绕过客户端装置。此类输入可包括按钮输入、操纵杆输入、嵌入式运动检测输入(例如，加速度计、磁力计、陀螺仪)等。然而，利用附加硬件或需要客户端装置处理的输入可由客户端装置发送到游戏云服务器。这些输入可包括来自游戏环境的所捕获视频或音频，所述视频或音频可在发送到云游戏服务器之前由客户端装置进行处理。另外，来自控制器的运动检测硬件的输入可由客户端装置结合所捕获视频进行处理，以检测控制器的位置和运动，所述位置和运动随后将由客户端装置传达到云游戏服务器。应当理解，根各种实施方案的控制器装置还可从客户端装置或直接从云游戏服务器接收数据(例如，反馈数据)。

在一个实施方案中，可通过头戴式显示器(HMD)使用虚拟环境来实施各种技术示例。HMD也可称为虚拟现实(VR)头戴式装置。如本文所用，术语“虚拟现实”(VR)通常是指用户与虚拟空间/环境的交互，所述交互涉及通过HMD(或VR头戴式装置)以实时响应于HMD的移动(如由用户控制)的方式观看虚拟空间以向用户提供在虚拟空间或元宇宙中的感觉。例如，用户在面向给定方向时可看到虚拟空间的三维(3D)视图，而当用户转向一侧并由此同样地转动HMD时，则在HMD上渲染虚拟空间中的这一侧的视图。HMD可以类似于眼镜、护目镜或头盔的方式佩戴，并且被配置为向用户显示视频游戏或其他元宇宙内容。HMD可借助其显示机构紧靠用户的眼睛的设置来向用户提供非常沉浸式的体验。因此，HMD可向用户的每只眼睛提供占据用户视场的大部分或甚至全部的显示区域，并且还可提供具有三维深度和透视的观看。

在一个实施方案中，HMD可包括注视跟踪相机，所述注视跟踪相机被配置为在用户与VR场景交互时捕获用户眼睛的图像。由一个或多个注视跟踪相机捕获的注视信息可包括与用户的注视方向以及VR场景中用户关注的或有兴趣与其交互的特定虚拟对象和内容项相关的信息。因此，基于用户的注视方向，系统可检测可能受到用户关注的、用户有兴趣与其交互和参与其中的特定虚拟对象和内容项，例如游戏人物、游戏对象、游戏项等。

在一些实施方案中，HMD可包括一个或多个面向外部的相机，所述一个或多个面向外部的相机被配置为捕获用户的真实世界空间的图像(诸如用户的身体移动)和可位于真实世界空间中的任何真实世界对象的图像。在一些实施方案中，可分析由面向外部的相机捕获的图像以确定真实世界对象相对于HMD的位置/取向。使用HMD、真实世界对象的已知位置/取向以及来自惯性运动单元(IMU)传感器的惯性传感器数据，可在与VR场景的用户交互期间连续地监视和跟踪用户的姿势和移动。例如，在与游戏中的场景交互时，用户可作出各种姿势，诸如指向和走向场景中的特定内容项。在一个实施方案中，系统可跟踪并处理姿势以生成对与游戏场景中的特定内容项的交互的预测。在一些实施方案中，机器学习可用于促进或协助所述预测。

在HMD使用期间，可使用各种各样的单手以及双手控制器。在一些实现方式中，可通过跟踪控制器中所包括的灯或跟踪与控制器相关联的形状、传感器和惯性数据来跟踪控制器本身。使用这些各种类型的控制器、或甚至简单地所作出并由一个或多个相机捕获的手势，可介接、控制、操纵渲染在HMD上的虚拟现实环境或元宇宙，与其交互并参与其中。在一些情况下，HMD可通过网络无线地连接到云计算和游戏系统。在一个实施方案中，云计算和游戏系统维护并且执行用户所游玩的视频游戏。在一些实施方案中，云计算和游戏系统被配置为通过网络接收来自HMD和接口对象的输入。云计算和游戏系统被配置为处理输入以影响正在执行的视频游戏的游戏状态。来自正在执行的视频游戏的输出(诸如视频数据、音频数据和触觉反馈数据)被传输到HMD和接口对象。在其他实现方式中，HMD可无线地通过替代机制或信道(诸如蜂窝网络)与云计算和游戏系统通信。

另外，尽管可参考头戴式显示器来描述本公开中的实现方式，但应当理解，在其他实现方式中，可替换为非头戴式显示器，包括但不限于便携式装置屏幕(例如，平板计算机、智能手机、膝上型计算机等)或可被配置为根据本实现方式渲染视频和/或提供交互式场景或虚拟环境的显示的任何其他类型的显示器。应当理解，可使用本文所公开的各种特征将本文所定义的各种实施方案组合或组装成特定实现方式。因此，所提供的示例只是一些可能的示例，而不限于通过组合各种元件来定义更多实现方式而可能的各种实现方式。在一些示例中，在不背离本公开或等效实现方式的精神的情况下，一些实现方式可包括更少的元件。

如所指出，可使用各种计算机装置配置来实践本公开的用于在计算装置之间通信的实现方式，所述各种计算机装置配置包括手持式装置、微处理器系统、基于微处理器的或可编程的消费电子产品、小型计算机、大型计算机、头戴式显示器、可穿戴计算装置等。还可在分布式计算环境中实践本公开的实施方案，在所述分布式计算环境中，由通过基于有线的网络或无线网络链接的远程处理装置执行任务。

在一些实施方案中，可使用无线技术来促进通信。此类技术可包括例如5G无线通信技术。5G是第五代蜂窝网络技术。5G网络是数字蜂窝网络，其中提供商覆盖的服务区域被划分成被称为小区的小地理区域。表示声音和图像的模拟信号在电话中数字化、由模数转换器转换并作为位流传输。通过由收发器从其他小区中再用的频率池中分配的频率信道，小区中的所有5G无线装置通过无线电波与小区中的本地天线阵列和小功率自动收发器(发射器和接收器)通信。本地天线通过高带宽光纤或无线回程连接与电话网络和互联网连接。与在其他小区网络中一样，从一个小区跨到另一小区的移动装置自动转到新的小区。应当理解，5G网络只是通信网络的示例性类型，并且本公开的实施方案可利用更早一代的无线或有线通信，以及5G之后的更新一代的有线或无线技术。

考虑到上述实施方案，应当理解，本公开可采用涉及存储在计算机系统中的数据的各种计算机实现的操作。这些操作是需要对物理量的物理操纵的那些操作。形成本公开的一部分的本文描述的任何操作都是有用的机器操作。本公开还涉及用于执行这些操作的装置或设备。所述设备可针对所需目的进行专门构造，或者所述设备可以是由存储在计算机中的计算机程序选择性地激活或配置的通用计算机。具体地，各种通用机器可与根据本文的教示内容编写的计算机程序一起使用，或者构造更专门的设备来执行所需操作可更方便。

尽管按特定顺序描述了方法操作，但应当理解，可在操作之间执行其他内务处理操作，或者可调整操作以使得它们在略微不同的时间发生，或者可将操作分布在系统中，所述系统允许处理操作以与所述处理相关的各种时间间隔发生，只要用于生成所修改游戏状态的遥测和游戏状态数据的处理以所需方式执行即可。

一个或多个实施方案还可被制造为计算机可读介质上的计算机可读代码。计算机可读介质是可存储数据的任何数据存储装置，所述数据随后可由计算机系统读取。计算机可读介质的示例包括硬盘驱动器、网络附接存储装置(NAS)、只读存储器、随机存取存储器、CD-ROM、CD-R、CD-RW、磁带以及其他光学和非光学数据存储装置。计算机可读介质可包括分布在网络耦接的计算机系统上的计算机可读有形介质，使得以分布式方式存储和执行计算机可读代码。

尽管出于清楚理解的目的而略微详细地描述了前述实施方案，但应明白，可在所附权利要求的范围内实践某些变化和修改。因此，本发明实施方案应认为是说明性而非限制性的，并且所述实施方案不限于本文给出的细节，而是可在所附权利要求的范围和等效范围内进行修改。

应当理解，可使用本文中所公开的各种特征将本文中所限定的各种实施方案组合或组装成特定实现方式。因此，所提供的示例只是一些可能的示例，而不限于通过组合各种元件来定义更多实现方式而可能的各种实现方式。在一些示例中，在不背离本公开或等效实现方式的精神的情况下，一些实现方式可包括更少的元件。

Claims (11)

1.一种用于向用户提供音频的方法，其包括：

在检测到所述用户对交互式应用程序的选择以进行交互时，检索所述用户的听觉属性，所述交互式应用程序程序生成用于渲染给所述用户的所述音频；

分析所述听觉属性以检测所述用户的两只耳朵之间的听觉不平衡；

基于在所述用户的所述两只耳朵之间检测到的听觉不平衡，对提供给所述用户的所述音频进行动态校准以生成用于所述交互式应用程序的经校准音频；以及

将所述音频转发到耳机的朝向所述用户的第一耳朵定向的第一侧，并且将所述经校准音频转发到所述耳机的朝向所述用户的第二耳朵定向的第二侧，所述耳机用于向所述用户提供所述音频，定向到所述第二耳朵的所述经校准音频补偿在所述用户的所述两只耳朵之间检测到的所述听觉不平衡，以便允许所述用户准确地听到由所述交互式应用程序提供的所述音频，

其中所述方法的操作由系统的处理器执行。

2.如权利要求1所述的方法，其中所述听觉属性存储在所述用户的用户配置文件中，并且响应于检测到所述用户对所述交互式应用程序的所述选择而被检索。

3.如权利要求1所述的方法，其中所述听觉属性由所述用户提供作为用户听觉设置的一部分，并且响应于检测到所述用户对所述交互式应用程序的所述选择而被检索。

4.如权利要求1所述的方法，其中所述听觉属性通过响应于检测到所述用户对所述交互式应用程序的所述选择而自动地针对所述用户进行听觉测试来确定，所述听觉测试用于确定所述用户的每只耳朵的听觉属性，所述听觉属性存储在所述用户的用户配置文件中并且被检索以确定所述用户的所述两只耳朵之间的所述听觉不平衡。

5.如权利要求4所述的方法，其中根据所述听觉测试确定的所述用户的所述每只耳朵的听觉属性对照由所述用户针对所述每只耳朵提供的听觉设置中所定义的对应听觉属性进行验证，由所述用户提供的所述听觉设置与针对所述用户确定的所述听觉属性一起存储在所述用户的所述用户配置文件中。

6.如权利要求1所述的方法，其中动态校准包括：调制朝向所述用户的每只耳朵定向的音量，使得朝向所述每只耳朵定向的所述音频满足所述每只耳朵的所述听觉属性。

7.如权利要求1所述的方法，其中动态校准包括：当所述音频的特定部分中的音频不满足所述第一耳朵的所述听觉属性时，滤除所述特定部分中的音频以生成朝向所述用户的所述第一耳朵定向的所述经校准音频。

8.如权利要求7所述的方法，其中当所述音频的所述特定部分满足所述第二耳朵的所述听觉属性时，提供给所述第二耳朵的所述音频继续渲染所述音频的所述特定部分。

9.一种用于平衡提供给用户的音频的方法，其包括：

检测到所述用户对交互式应用程序的选择以进行交互，所述交互式应用程序生成用于提供给所述用户的所述音频；

响应于对所述交互式应用程序的所述选择，动态地进行听觉测试以确定所述用户的每只耳朵的听觉属性，所述用户的所述每只耳朵的听觉属性存储在所述用户的用户配置文件中；

分析所述每只耳朵的听觉属性以检测所述用户的两只耳朵之间的听觉不平衡；

基于在所述用户的所述两只耳朵之间检测到的所述听觉不平衡，对提供给所述用户的所述交互式应用程序的所述音频进行动态校准以生成经校准音频；以及

将由所述交互式应用程序生成的所述音频转发到耳机的朝向所述用户的第一耳朵的第一侧，并且将所述经校准音频转发到所述耳机的朝向所述用户的第二耳朵定向的第二侧，所述耳机由所述用户用以听到所述音频，定向到所述第二耳朵的所述经校准音频补偿在所述用户的所述两只耳朵之间检测到的所述听觉不平衡，以便允许所述用户准确地听到所述音频，

其中所述方法的操作由系统的处理器执行。

10.如权利要求9所述的方法，其中存储在所述用户的所述用户配置文件中的所述听觉属性与由所述用户选择以进行交互的其他交互式应用程序共享，所述共享允许根据所述听觉属性将由所述其他交互式应用程序生成的所述音频提供给所述用户，以便允许更准确地听到所述其他交互式应用程序的所述音频。

11.如权利要求9所述的方法，其中针对所述用户的每只耳朵确定的所述听觉属性对照由所述用户在听觉设置中提供的针对所述每只耳朵的对应听觉属性进行验证，针对所述每只耳朵的所述听觉设置与所述每只耳朵的对应听觉属性一起存储在所述用户的所述用户配置文件中。